Document global-local Omni paper position and oracle evidence

docs/README.md

@@ -7,6 +7,7 @@ implemented or validated.
 
 | Document | Role |
 |---|---|
+| [global_local_omni_paper_position_2026-09-07.md](global_local_omni_paper_position_2026-09-07.md) | Evidence-backed paper thesis after the causal oracle information screen |
 | [progressive_feature_fusion_route_2026-09-02.md](progressive_feature_fusion_route_2026-09-02.md) | Gated route from pooled local evidence to Frame-set Attention, temporal person memory and Thinker adapters |
 | [`omni_speaker_floor_experiment_plan_2026-08-30.md`](omni_speaker_floor_experiment_plan_2026-08-30.md) | Current hypotheses, experiment gates, main table and stopping rules |
 | [`multiparty_egocentric_floor_gap_audit_2026-08-30.md`](multiparty_egocentric_floor_gap_audit_2026-08-30.md) | Novelty boundary, closest work and restricted claims |

docs/omni_speaker_floor_experiment_plan_2026-08-30.md

@@ -7,13 +7,14 @@ GRU/Transformer”作为最终主线。它只是一个 representation baseline
 
 主问题应收敛为：
 
-> 严格因果的 Omni 模型是否真正编码了多人场景中的“谁在何时说话、话语是否面向
-> wearer”这类视听 grounding；把这种逐人证据加入预测后，能否使不可见的 camera
-> wearer 更合理地进入或让出话轮？
+> 严格因果的全局 Omni state 是否保留了多人场景中及时的局部视听 floor evidence；用
+> 人物 crop 组织的局部分支补充这种信息后，能否使不可见的 camera wearer 更合理地进入
+> 或让出话轮？进一步保留逐人 track continuity 是否真的提供 aggregate activity 之外的
+> 增量，是实验问题而不是预设。
 
 最重要的可证伪目标是：
 
-> 在相同 wearer 开口事件召回率下，正确对齐的逐人视觉应减少 other↔other 交谈期间
+> 在相同 wearer 开口事件召回率下，正确对齐的局部视听证据应减少 other↔other 交谈期间
 > 的错误开口预测；同时，不能降低对真正 addressed-to-wearer 接话事件的召回率，也
 > 不能恶化 wearer 正在讲话时的让话预测。
 
@@ -34,7 +35,7 @@ grounding，但它们尚未完整覆盖以下交集：
 - 使用逐人/对象指向的视觉证据；
 - 用事件召回、错误开口率和响应延迟，而不只用逐帧未来活动 mAP。
 
-更稳妥的论文表述是：
+只有逐人控制通过后，才可使用下面的强表述：
 
 > To our knowledge, this is the first study of strictly causal,
 > speaker-grounded audiovisual forecasting of both floor-entry and floor-yield
@@ -45,6 +46,10 @@ grounding，但它们尚未完整覆盖以下交集：
 “首个在线多人 EOT”。完整边界见
 [多人 egocentric floor gap audit](multiparty_egocentric_floor_gap_audit_2026-08-30.md)。
 
+在当前 oracle 结果下，更稳妥的主张是研究 **global Omni context 与 causal local AV
+floor evidence 的互补性**。人物框/track 暂时只是组织局部观测的接口，不能写成已验证的
+speaker grounding 或 identity-aware reasoning。
+
 ### 不足以成为贡献的内容
 
 - 仅把 EgoSpeak 的旧 backbone 换成 Qwen2.5-Omni；
@@ -62,13 +67,13 @@ grounding，但它们尚未完整覆盖以下交集：
 | 假设 | 问题 | 可观察证据 |
 |---|---|---|
 | H1 | 全局 Omni state 是否包含 aggregate floor 信息？ | wearer/others 活动与未来活动 probe 优于简单先验和 encoder-only baseline |
-| H2 | 全局 Omni state 是否可靠地区分画面中的不同说话人？ | 匿名 person-slot active-speaker probe 明显优于随机/时序错位视觉 |
-| H3 | 逐人 grounding 是否改变 wearer 的开口决策？ | matched onset recall 下，other↔other 时段 false entry/min 显著下降 |
+| H2 | 真实因果 AV 能否恢复 oracle 所显示的 timely local floor evidence？ | learned local branch 优于 audio、visibility、错人/错时和参数匹配控制，并恢复可报告比例的 oracle gap |
+| H3 | 逐人 continuity 是否提供 aggregate evidence 之外的增量？ | correct track 稳定优于 aggregate、no-ID、shuffled/broken-ID 控制 |
 | H4 | 这种抑制是否只是让模型更保守？ | addressed-to-wearer response recall/latency 和 wearer yield 不退化 |
 
-如果 H2 不成立，论文不能宣称原始 Omni 已经具有可靠 speaker grounding；这时逐人分支
-本身就是所需的适配模块。如果 H2 成立但 H3 不成立，则 representation 有说话者信息，
-但它没有转化为 floor-action 收益，也不能强行讲成成功故事。
+如果 H2 不成立，论文不能宣称局部 AV 分支解决了 Omni 的 floor-evidence 缺口；应先审计
+编码和时间对齐。如果 H2 成立但 H3 不成立，则采用简单 aggregate/person-set 分支，并
+明确 track identity 没有增量，不能强行讲成 speaker-continuity 故事。
 
 ## 4. 实验顺序
 
@@ -119,6 +124,16 @@ P1 的通过条件不是一个固定绝对阈值，而是：正确对齐的人
 且三次随机种子置信区间不完全被简单 pooled baseline 覆盖。否则不要进入昂贵的 Thinker
 adapter 实验。
 
+2026-09-07 的 seed-0 Session-12 oracle screen 给出了更精确的门控信号：完全对齐的
+`aggregate-visible` 活动相对 local-audio baseline 提升 `+6.96649` 个点的 0.2 秒 mAP 和
+`+2.91047` 个点的十 horizon mean mAP，而 visibility-only 和延迟 1 秒的活动接近 audio。
+这支持“及时的局部 floor evidence 有信息价值”。但是 `aggregate-visible` 高于
+`per-person`，且 `per-person` 与 `shuffled-id` 基本相同，因此当前结果不支持人物 ID
+连续性。下一步优先学习可部署的 causal visible-person active-speaker/floor estimator；只有
+正确逐人证据稳定优于 aggregate、no-ID、broken-continuity 和错时控制，才进入 track-aware
+主方法。完整数值见
+[`oracle result record`](../results/easycom_oracle_information_4ep_2026-09-07/README.md)。
+
 ### P2：建立 floor-action 基线，并证明普通池化视觉的局限
 
 已有结果应重新放入同一个事件协议：
@@ -250,9 +265,10 @@ train 内 calibration/dev，不读取官方 test 结果做超参数搜索。
 
 ## 8. 最小可投稿版本与强版本
 
-**最小可投稿版本**：新的 wearer entry/yield 事件协议、Omni speaker-grounding 诊断、
-EgoSpeak/encoder-only/Thinker/local-audio/pooled-video 强基线、EasyCom+Ego4D 复现，并清楚
-展示逐帧 mAP 隐藏的行为差异。
+**最小可投稿版本**：新的 wearer entry/yield 事件协议、global/local information audit、
+EgoSpeak/encoder-only/Thinker/local-audio/pooled-video 强基线、至少一个从真实 AV 恢复
+oracle local-floor gap 的模型，以及 EasyCom+Ego4D 复现；并清楚展示逐帧 mAP 隐藏的行为
+差异。
 
 **强版本**：在上述基础上，匿名逐人 causal fusion 在 matched wearer recall 下显著降低
 third-party false entry，保持 addressed response 与 yield，并通过 wrong-person、time-shift、

docs/progressive_feature_fusion_route_2026-09-02.md

@@ -27,8 +27,11 @@ mAP。它表现稳定，但与旧 pooled 结果的 split/dev 协议并不匹配
 视觉控制，因此不能写成注意力优于 pooling。另加入两个仅用
 当前 sidecar 的 F5/F6 **screening** 模式：`audio-person-frame-set` 和
 `gated-person-state-adapter`。前者没有 F4 人物历史，后者位于 Thinker readout 之后；二者
-都不能写成完整 F5/F6。第一版 F3 `track-gru-residual` 已实现但尚待远程运行；F2、F4、
-真正的 F5/F6 和 D1 仍然只是计划。
+都不能写成完整 F5/F6。第一版 F3 `track-gru-residual` 已完成远程运行，但因 zero-gate
+阻塞早期梯度只能记为优化失败，不能用于判断 track continuity。随后完成的 oracle
+information screen 表明及时的 aggregate visible activity 有明显价值，而逐人历史与
+shuffled-ID 无差别。因此当前优先级已从“继续加深 track 模型”改为“先从真实 AV 学出及时
+的局部 floor evidence”；F2、F4、真正的 F5/F6 和 D1 仍然只是计划。
 
 ## 2. 不可改变的实验条件
 
@@ -70,7 +73,24 @@ P0 修正前的 entry/yield 数值只能称为 timing-derived proxy，不得作
 | F6 | Thinker person-memory adapter | 旁路证据能否安全接入 Omni 内部 | D1 |
 | D1 | 在线 detector + causal tracker | 部署管线与 provided-box 上限的差距 | 完整系统 |
 
-F1 是下一项实现。F2 及以后不并行堆叠，避免无法判断收益来自哪一层。
+F1 已完成初筛，但尚未通过视觉错位/错人和事件 gate。当前先执行下面的 oracle 驱动
+学习步骤；F2 及以后仍不并行堆叠，避免无法判断收益来自哪一层。
+
+### 3.1 Oracle 信息门对路线的修正
+
+2026-09-07 的 Session 12 seed-0、四 epoch screen 使用严格 past/current-only 的
+transcript-derived activity 作为 analysis-only sidecar。`aggregate-visible` 相对相同的
+G+A baseline 提升 `+6.96649` 个点的 0.2 秒 mAP 和 `+2.91047` 个点的十 horizon mean
+mAP；visibility-only 和延迟 1 秒的 activity 仍接近 G+A。这说明当前模型缺少的是及时的
+局部 floor activity，而不只是“画面里有人”或额外参数。
+
+但是 `aggregate-visible` 高于 `per-person`，且 `per-person` 与 `shuffled-id` 的差异仅为
+`-0.05826`（0.2 秒）和 `-0.07725`（mean mAP）个百分点。当前 dense aggregate-others
+目标没有显示人物 ID 连续性的额外信息价值。因此，下一项学习模块首先应是从因果音频与
+人物 crop 估计 aggregate visible-person floor evidence，并报告它恢复了多少 oracle gap。
+只有正确人物/时间的逐人表示进一步稳定优于 aggregate、no-ID、broken-continuity 和错时
+控制，F3/F4 的 track 叙事才恢复为主线。完整结果见
+[`oracle result record`](../results/easycom_oracle_information_4ep_2026-09-07/README.md)。
 
 ## 4. F0：冻结现有 pooling 基线
 
@@ -286,14 +306,13 @@ README 必须写明 split、seed、checkpoint、输入特征版本、评测协
 
 ## 12. 最近执行顺序
 
-1. 第一版 matched pooled/`track-gru-residual` dense-AP screen 已完成，但因 zero-gate
-   gradient blockage 判为优化失败，不是 track continuity 的有效阴性结果。
-2. 先用零初始化 residual 输出层修正梯度路径，只在 Session 12 做 seed-0 诊断；确认分支
-   实际改变 logits 后再跑三 seed。若修正后仍无增益，再决定是否比较 8/16/32
-   observations；不要根据已经查看过的 Sessions 1--3 seed-0 结果调参。
-3. 若修正后的 track GRU 有稳定增益，补 broken-track、past-shift、no-ID 和 remove-person
-   控制；若仍无增益则停止该分支。
-4. correct track 通过控制后，再实现 F4 person-conditioned audio/Omni history；否则回到
-   对齐审计，不直接堆更深 interaction。
-5. 在形成论文事件结论前，仍须完成 P0 competing-risk censoring，并人工打印 response 与
+1. 用 seeds 1--2 复核六个 oracle 条件；只看 Session 12，不能根据 Sessions 1--3 调整结构。
+2. 从真实因果 AV 学习 aggregate visible-person activity/floor evidence，和 G+A、visibility、
+   past-shift、wrong-person/wrong-time、参数匹配分支比较，并报告 oracle-gap recovery。
+3. 若正确视觉没有稳定优于错时/错人控制，停止复杂 fusion，先修复局部编码或 AV 对齐。
+4. 只有 learned person-organized evidence 优于 aggregate/no-ID 时，才用零初始化 residual
+   输出层修复 track-GRU 梯度路径，并补 broken-track、past-shift 和 remove-person 控制。
+5. correct track 通过上述控制后，再实现 F4 person-conditioned audio/Omni history；否则
+   论文采用更简单的 global Omni + local aggregate floor-evidence 模型。
+6. 在形成论文事件结论前，仍须完成 P0 competing-risk censoring，并人工打印 response 与
    yield 时间轴。当前事件结果只能称为 timing-derived proxy。