Files
icassp2027-experiment/results/easycom_oracle_pooled_wearer_audit_2026-09-10

Pooled AV 与 oracle 的 wearer 增益审计

日期:2026-09-10。来源:用户粘贴的远程三种子控制台结果,以及已有的 pooled/encoder-only 记录。 本记录没有重新运行训练或读取远程 checkpoint/predictions。

协议与来源

新 oracle:Sessions 4--12 全训练,固定 4 epochs,保存末轮,无 dev checkpoint selection;Sessions 1--3 测试;seeds 0/1/2;causal_valid_only。 命令入口:bash run_easycom_oracle_information.sh final 0 1 2。 预测根目录:results/easycom_oracle_information_4ep_train4_12_fixed4_test/; checkpoint 按 runner 默认应为 checkpoints/easycom_oracle_information_4ep_train4_12_fixed4/<condition>_seed<seed>.pth, 但实际环境覆盖值、checkpoint hash 和运行代码 revision 未随日志提供,尚未核验。 运行契约见 oracle 手册。

metrics.csv 保存用户提供的全部 18 行数值,单位均为 AP/mAP 百分点。 BG/wearer/others AP 三列仅对应 0.2 秒;mean mAP 是三个类别、十个 horizon 的平均, 不能当成十 horizon wearer AP。

当前观测

三种子均值差值(百分点):

比较 0.2s mAP 0.2s wearer AP 十 horizon mean mAP
aggregate-visible − audio +4.82609 +0.57206 +1.77462
delayed − audio +0.08185 +0.00647 +0.16443
visibility-only − audio +0.07598 −0.06329 +0.04018
per-person − shuffled-id +0.34857 +0.03092 +0.20013
aggregate-visible − per-person +0.42975 +0.22818 +0.29128

aggregate 的 0.2s 宏平均增益主要来自 BG(+10.45109)和 others(+3.45514), wearer 增益为 +0.57206。三种子方向一致,但 seed 方差不能替代跨 session 泛化的 置信区间,也不能据此声称事件级改善。

与历史 pooled AV 的关系

历史 seed-0 causal_valid_only:G+A wearer AP 85.06554,G+A+V 85.08583, 局部视觉的 0.2s wearer 增量仅 +0.02029;mean mAP 增量 +0.29083。 历史完整曲线采用另一协议 egospeak_full_timeline:

  • G+A+V − G+A:十 horizon wearer AP 平均 +0.06078,mean mAP +0.29073。
  • A+V − A:十 horizon wearer AP 平均 −0.99993;0.2s wearer AP −1.40150。

因此普通 pooled V 尚无稳定改善 wearer 的证据;encoder-only A+V 还出现 wearer 退步。历史单种子与新 oracle 三种子不是一组完全匹配实验,不能用它们直接计算 oracle-gap recovery 或判定两个方法的统计显著差异。

可以和不可以得出的结论

  1. 已支持:在当前实验设置下,真实的可见 others 活动标注具有互补预测价值; aggregate 条件优于 visibility-only,收益不能仅由人物可见性控制解释。
  2. 及时性有证据:per-person 优于同结构 delayed 条件;aggregate 与 delayed 同时 改变了聚合方式和时间,不能单独作为纯时间干预对照。
  3. 身份连续性:per-person 对 shuffled-id 有小幅同向增益,不能继续称为完全持平或 断言 identity 无用;但 wearer 增量仅 +0.03,且 aggregate 更好,不支持其必要性。
  4. 尚未证明:增益来自真实 RGB 可恢复的信息,或 pooling 是失败原因。Oracle 使用 说话标注,可能提供当前视觉/音频前端根本无法可靠估计的信号;信息缺失与访问困难 目前也不能区分。
  5. 尚未证明:更少抢话、addressee 理解或更好的 entry/yield。短期活动延续也能改善 BG/others AP,需要直接分析已有 wearer predictions 的事件表现。
  6. Oracle 是特权信息参照,不是数学性能上界;learned latent 可以携带额外线索而超过它。

对后续研究的含义

优先验证从真实因果 AV 估计的局部活动是否对 wearer 提供增量,保留简单 aggregate 对照;在证据出现前,不预设 track、pooling 修复或层间注入必然有效。 新 oracle 尚缺十 horizon wearer AP 曲线与事件结果,不能仅凭 mean mAP 批准强论文主张。 Sessions 1--3 已被查看;后续选择不能依赖这次 test 表,使用训练侧验证或预先固定配置。