feat: add causal frame set attention fusion
This commit is contained in:
@@ -174,6 +174,27 @@ warmup_factor=0.3、dropout=0.2、LSTR-MCE、不加 transition objective。
|
||||
Loader 会检查 sample、时间、label_indices、维度、valid mask 和 encoder/pooling 配置。
|
||||
训练与评测必须用同一种 AP 协议作比较;不要混用 full-timeline 与 causal-valid 的表格。
|
||||
|
||||
## 4. F1 Frame-set Attention
|
||||
|
||||
已有完整局部 sidecar 的 persons 字段保存了逐帧、逐人的原生 2048D 特征,因此 F1
|
||||
不需要重新提取图片或音频。新增训练参数为:
|
||||
|
||||
--local-feature-root "$LOCAL_ROOT" \
|
||||
--local-modalities av \
|
||||
--local-fusion frame-set-attention \
|
||||
--local-projection-dim 256 \
|
||||
--person-attention-dim 256 \
|
||||
--person-attention-heads 4
|
||||
|
||||
F1 用融合后的 G 和直接局部音频 A 构造一个 query,读取当前最新半开因果帧中的可变人物
|
||||
集合。人物集合只在 batch 内动态 padding;NULL person 处理没有有效框的时刻。A 仍直接
|
||||
进入最终 head。第一版不使用 bbox、track ID、跨帧 GRU 或双向 AV attention。
|
||||
|
||||
训练输出会打印 source frame 数、person observation 数、max_people 和 attention 配置。
|
||||
推理只需继续提供 local feature root;融合方式和 attention 参数从 checkpoint 恢复。
|
||||
正式比较需要重新训练同 split、seed 和优化设置的 pooled AV 对照,不能直接把不同开发
|
||||
协议的旧 checkpoint 当作唯一基线。
|
||||
|
||||
## Ego4D 接口
|
||||
|
||||
完整命令见 [Ego4D 四组局部增强实验](ego4d_local_baselines.md):新增 manifest 批量提取、
|
||||
|
||||
Reference in New Issue
Block a user