Add causal person fusion and MuVAP stage-3 baselines

This commit is contained in:
Xin Wang
2026-09-10 06:54:22 +08:00
parent 0534c9d3d0
commit d426b4740a
225 changed files with 27716 additions and 119 deletions

View File

@@ -25,3 +25,10 @@ step(25.6 秒)、stride 4、2048D embedding、1024D hidden 和 10 个 future
匿名人物轨迹之间共享,并用零门控残差修正 matched pooled Omni head。官方实现仍应作为
单独的 sequence-GRU 强基线;逐人 track continuity 是否有效,需要 broken-ID/no-ID 控制
而不能由架构名称推断。
为控制逐人时序 stem 的实现差异,项目另提供
`causal-person-adapter-egospeak-gru`。它仅采用 MiniROADA 的
`Linear-LayerNorm-ReLU-Dropout-GRU-ReLU` 层序,仍处理逐人视觉 track,并保留 V2 的
G+A query、人物集合注意力、动态 gate 和 pooled residual base。因此实验中必须称为
**EgoSpeak-style per-track GRU**,不能称为 EgoSpeak/MiniROADA 复现。真正的官方
sequence-GRU baseline 仍需单独实现全局 5 Hz 序列和 anticipation decoder。

View File

@@ -2,8 +2,8 @@
- 作者:Haotian Qi、Gabriel Skantze
- 状态:2026 预印本;作者仓库标注 Interspeech 2026,本轮未找到正式 ISCA 条目
- 阅读深度:重点方法、训练、事件评测及局限章节;未运行
- 核查日期:2026-08-28
- 阅读深度:重点方法、训练、事件评测及局限章节;VAP/ASD 源码已审计,Stage 3 未公开
- 核查日期:2026-09-10
- 来源:[论文](https://arxiv.org/html/2606.16731)、[官方仓库](https://github.com/Haotian-Qi/MuVAP)
## 摘要与项目关系
@@ -18,4 +18,8 @@ MuVAP 不是对多人脸做普通平均。它先用 CPC 与 causal Transformer
不能把“单声道+逐人视觉+因果接话”作为独有贡献。我们的区别需要落在不可见 wearer、讲话对象及受召回约束的误开口上,而不是只换编码器。
作者承认角色识别存在延迟;验证主要为第三人称双人/三人英语场景。其数据准备使用 RetinaFace/SCRFD 检测、ArcFace 特征、匈牙利匹配,并从每段完整视频随机抽取 50 帧建立全局身份锚点。这适合构建稳定标注,但会使用未来/全片信息,不能作为本项目部署时的严格在线 tracking。论文模型本身宣称 causal,不代表这套数据身份初始化也是可在线运行的。仓库当前只有 README/LICENSE,写明 code coming soon;不要称已有可直接运行的复现。
作者承认角色识别存在延迟;验证主要为第三人称双人/三人英语场景。其数据准备使用 RetinaFace/SCRFD 检测、ArcFace 特征、匈牙利匹配,并从每段完整视频随机抽取 50 帧建立全局身份锚点。这适合构建稳定标注,但会使用未来/全片信息,不能作为本项目部署时的严格在线 tracking。论文模型本身宣称 causal,不代表这套数据身份初始化也是可在线运行的。
作者仓库现已公开 VAP 和 ASD 的训练代码、CPC/Mimi 前端及对应发布权重;完整 MuVAP
multiparty Stage 3 仍标注为 `to follow`,没有训练入口。因此项目中的 Stage-3 baseline
必须称为按论文描述做的 clean-room reconstruction,不能称为官方复现。