Streamline targeted methods and experiment presentation

This commit is contained in:
Xin Wang
2026-09-24 18:52:10 +08:00
parent 80f270a30a
commit e0cb06198a
3 changed files with 55 additions and 86 deletions

View File

@@ -50,7 +50,7 @@ Introduction 的故事或改换核心研究问题;可继续核实文献、修
泛称所有 Omni 模型都缺乏局部感知。
4. **本文观点与三项贡献。** 先提出保留 Omni 全局状态、同时在每个因果截止点显式接入
近期模态证据的观点,再以冒号引出三项贡献:(1) SWE(short-window encoder
evidence,短窗编码器证据)将近期音频与可选的因果人物框视觉特征接入冻结 Omni
evidence,短窗编码器证据)将近期音频与可选的因果视觉编码特征接入冻结 Omni
预测头;“短窗”指时间局部,不是浅层网络或任务级端到端训练。(2) PTR(partial-tail
refresh,部分尾块刷新)在复用已完成块时只查询未完成块已观测前缀,不把它提交到
持久历史;其收益须由相同 cutoff、相同上下文上限的配对实验验证。(3) EasyCom
@@ -70,7 +70,7 @@ Method 按以下三个小节展开,除非用户明确要求,不再改变这
1. **Task and Global--Local Fusion。** 定义 5 Hz 因果截止点、十个未来 horizon 和
background/wearer/others 输出;说明 Thinker 全局状态本身已含音视频,再定义 SWE
的近期音频及可选视觉旁路。区分 pooled 特征的拼接聚合与 F2/F3 保留视觉 token 的
的近期音频及可选视觉旁路。区分 pooled 特征的拼接聚合与 SVA/TSVA 保留视觉 token 的
query attention。训练范围分开写:主方案只训练 readout/局部分支/预测头;Thinker
LoRA、限制在上层的 LoRA、预测头冻结或联合训练是参数适配控制。最后四层
**readout** 与 LoRA 更新哪些层是两个独立维度。已归档 LoRA 结果为非匹配探索,
@@ -78,13 +78,18 @@ Method 按以下三个小节展开,除非用户明确要求,不再改变这
2. **Causal Partial-Tail Refresh。** 完成块进入持久历史;每个 200 ms 截止点只临时查询
当前 2 秒块已观测的前缀,尾块不提交、不中途引入未来媒体。与 completed-only
在同一截止点和上下文上限下配对比较;未完成实验前只称因果访问规则。
3. **Short-Window Feature Extraction。** 默认局部音频为截止点前一秒混合波形经冻结
Qwen 音频编码器;EgoSpeak 式 wav2vec2 卷积编码是待做的同窗口、同预测头对照,
不能冒充已测 G+A。视觉区分最近单帧、最近一秒多帧人物框 pooled 特征、无框的
F2 最新全画面空间 token,以及 F3 同网格位置两帧 token 经共享 GRU 后注意力聚合。
另列一种特殊的短窗信息审计:由转写标注生成、仅含截止点之前的可见非 wearer
活动历史,比较逐人、打乱、延迟和 OR 聚合等形式。它不是部署时可获得的视觉特征,
也不是性能上界。F3 不是人物跟踪,F3--F2 差异也不能单独归因于运动理解。
3. **Short-Window Feature Extraction。** 默认局部音频 `A` 为截止点前一秒混合波形经冻结
Qwen 音频编码器;EgoSpeak 式 wav2vec2 卷积编码记为 `A_E`,是待做的同窗口、同预测头对照,
不能冒充已测 G+A。视觉区分最近一秒多帧人物框池化的 Pool、无框的
SVA(spatial visual attention)最新单帧全画面空间 token,以及 TSVA(temporal
spatial visual attention)同网格位置两帧 token 经共享 GRU 后注意力聚合。
TSVA 不是人物跟踪,TSVA--SVA 差异也不能单独归因于运动理解。由转写标注生成的
过去可见人活动历史只在 Results 的信息审计中定义和分析,不放进 Method 2.3;
它不是部署时可获得的视觉特征,也不是性能上界。
主结果表固定为 EasyCom 与 Ego4D 各四行:EgoSpeak A+V、Omni G、Omni G+A、
Omni G+A+SVA,并保留十个 0.2--2.0 秒 horizon 与均值。尚未取得的 SVA/Ego4D
分数用 `--` 占位,不插值、不把计划写成结果;pooled-V 与 TSVA 只进入视觉分析表。
## 不可破坏的研究契约