226 lines
12 KiB
Markdown
226 lines
12 KiB
Markdown
# ICASSP 2027 投稿主线与通过标准（2026-09-10）
|
||
|
||
状态：论文战略决策记录，不是实验结果。本文用于约束后续实验、方法选择和稿件取舍；
|
||
代码、测试和不可变结果记录仍是实现与数值的依据。
|
||
|
||
## 1. 最终应回答的一个问题
|
||
|
||
论文不以“更大的 Omni 模型替换较小的专用模型”为主张。建议收敛为：
|
||
|
||
> 通用 Omni 模型擅长理解多模态场景，却不天然适合第一视角下的亚秒级 floor control；
|
||
> 如何把长时全局 Omni context 与及时、角色相对的局部视听 floor evidence 结合，使模型
|
||
> 判断不可见 wearer 何时进入或让出 floor？
|
||
|
||
英文工作命题：
|
||
|
||
> General-purpose Omni models are multimodally capable but not automatically
|
||
> task-sufficient: causal egocentric floor prediction requires explicit access
|
||
> to wearer-relative, short-term audiovisual floor evidence.
|
||
|
||
研究价值不来自参数量本身，而来自 foundation-model capability 与实时 interaction-control
|
||
capability 之间的适配问题。
|
||
|
||
## 2. 第一性原理分解
|
||
|
||
一个 conversational agent 决定是否开口，需要：
|
||
|
||
1. 理解对话、场景和长时上下文；
|
||
2. 判断周围的 floor 是否仍被其他人占据或正在释放；
|
||
3. 判断潜在机会是否属于自己，并在数百毫秒内采取行动。
|
||
|
||
Omni 预训练主要服务于第一步。第二、三步具有明显的任务结构：
|
||
|
||
- 预测主体是摄像机后的 wearer，视觉上不可见；
|
||
- 可见人物是推断 wearer 行为的条件证据，而不是输出候选人；
|
||
- other-to-other handover 不等于 wearer 获得开口机会；
|
||
- wearer 的头部/摄像机运动与自身行为耦合；
|
||
- 决策是严格因果、连续、多 horizon 的，而不是 turn boundary 上的离线分类；
|
||
- entry 与 yield 是受 wearer 当前状态制约的不同决策情形。
|
||
|
||
因此，论文的科学问题不是“Omni 是否理解对话”，而是“通用理解表示如何转化为
|
||
wearer-relative 的实时 floor decision”。
|
||
|
||
## 3. ICASSP 审稿视角下的取舍
|
||
|
||
ICASSP 2027 官方审稿维度包括 importance/relevance、novelty/originality、technical
|
||
correctness、experimental validation、prior work 和 clarity。常规稿只有四页正文，第五页
|
||
仅可放参考文献。因此一篇稿不能并列承载 Omni survey、LoRA 分析、oracle audit、track
|
||
model、多个 adapter 和新评测六条主线。
|
||
|
||
- **重要性**：Omni agent 的安全、自然 floor control 有明确价值。
|
||
- **新颖性**：仅使用 Qwen/LoRA 很弱；由 egocentric role mismatch 导出的适配结构更强。
|
||
- **正确性**：严格因果和 competing-risk event attribution 是硬门槛。
|
||
- **验证充分性**：必须有 learned method、三种子、容量/错时控制和行为级指标。
|
||
- **清晰度**：正文只保留一个最终方法和一个中心结论。
|
||
|
||
官方依据：
|
||
|
||
- [ICASSP 2027 editorial policies](https://2027.ieeeicassp.org/about/editorial-policies/)
|
||
- [ICASSP 2027 paper submission instructions](https://2027.ieeeicassp.org/paper-submission-instructions/)
|
||
|
||
按当前研究状态，直接投稿仍会是 borderline/weak reject：oracle 信息价值已出现，但
|
||
learned local method 尚未恢复该增益，事件 evaluator 尚未冻结，最终架构也未确定。
|
||
|
||
## 4. 最简、最强的故事线
|
||
|
||
### Act 1：Omni 已能理解，但 floor timing 仍未解决
|
||
|
||
Omni/full-duplex 模型正在成为实时音视频 agent 的基础，但生成“说什么”和控制“何时说”
|
||
不是同一问题。本文研究后者。
|
||
|
||
### Act 2：专用模型的优势来自任务归纳偏置，而非单纯规模
|
||
|
||
VAP 显式预测未来 voice activity；EgoSpeak 定义第一视角、在线、连续 wearer activity
|
||
forecasting；MM-VAP/MuVAP 显式保存 gaze、active-speaker 和 visible-speaker structure。
|
||
它们是现代 task-specific predictive systems，不能称为“传统方法”。
|
||
|
||
### Act 3：naive Omni adaptation 暴露 temporal-role mismatch
|
||
|
||
Frozen readout 和受控 LoRA 用作诊断基线。若它们不能稳定超过专用基线，结论只能限定为：
|
||
当前 backbone/readout/recipe 未显式解决亚秒级时间线索和不可见 wearer 的角色不对称，
|
||
不能泛化为“所有 Omni 无法适配”。
|
||
|
||
### Act 4：oracle 与干预定位 evidence-access bottleneck
|
||
|
||
当前 seed-0 oracle screen 显示，及时的 `aggregate-visible` activity 相对 matched audio
|
||
baseline 提高 0.2 秒 mAP `+6.96649`、十 horizon mean mAP `+2.91047`；visibility-only 和
|
||
延迟一秒的 activity 接近 audio；per-person 与 shuffled identity 不分离。
|
||
|
||
该证据支持：
|
||
|
||
> 全局 Omni readout 没有向预测头充分暴露及时的 visible-other floor activity。
|
||
|
||
它不支持 speaker identity、track continuity、addressee understanding 或一般性的 Omni
|
||
能力缺失。
|
||
|
||
### Act 5：用一个角色相对、双时间尺度 adapter 解决问题
|
||
|
||
候选最终方法应尽量简单：
|
||
|
||
```text
|
||
long-context causal Omni state -------------------+
|
||
+--> residual fusion --> 10 x 3 future activity
|
||
short-window causal audio + visible-person set ---+
|
||
conditioned by wearer state
|
||
```
|
||
|
||
- 慢/全局路径保留场景、语义和长时对话信息；
|
||
- 快/局部路径保存最近约 0.5--1 秒的 prosody 和 visible-person floor activity；
|
||
- 人物集合使用共享编码器、mask、permutation-invariant aggregation 和 NULL/OFFSCREEN；
|
||
- wearer silent/active 状态用于区分 entry/yield 情形；
|
||
- 输出继续遵守 EgoSpeak-compatible `10 x 3` 契约；
|
||
- 最终称为层间注入还是旁路 residual，由受控结果决定，而不是预先绑定故事。
|
||
|
||
方法的解释统一为 **local floor-evidence routing**，而不是泛泛的“增加特征多样性”。
|
||
|
||
### Act 6：行为级结果闭环
|
||
|
||
论文最重要的结果应是：
|
||
|
||
> 在相同 valid wearer-onset recall 下，模型更少打断 other-to-other exchange，同时没有
|
||
> 抑制有效 wearer response，也没有恶化 yield。
|
||
|
||
Dense 10-horizon AP/mAP 用于与 EgoSpeak 比较，但不是唯一 headline。
|
||
|
||
## 5. 最终只保留三个贡献
|
||
|
||
1. **Adaptation gap**：明确通用 Omni 表示与 causal egocentric floor forecasting 之间的
|
||
temporal-role mismatch。
|
||
2. **Method**：提出 wearer-relative causal adapter，将长时 Omni context 与短时局部 AV
|
||
floor evidence 结合。
|
||
3. **Evidence**：用严格因果的对齐干预和 competing-risk event evaluation 证明收益来自
|
||
timely local evidence，并改善实际 entry/yield 行为。
|
||
|
||
Oracle audit、LoRA 和事件协议分别是动机、baseline 和验证工具，不再各自占一个主贡献。
|
||
|
||
## 6. 必须降级或删除的内容
|
||
|
||
- LoRA 只作为 matched adaptation baseline，不做泛化的 LoRA 失败论文；
|
||
- oracle 只用于提出可恢复的信息上限，不能进入部署方法；
|
||
- track continuity 只有稳定超过 aggregate/no-ID/shuffled/broken-ID 后才成为贡献；
|
||
- 未通过 correct-person/correct-time 干预前不使用 speaker-grounded；
|
||
- 没有可靠标签时不主张 addressee、语义 EOT 或 INT；
|
||
- 多个 Omni 家族不是必要条件，优先做同族 3B/7B scaling 来回答“参数更大是否足够”；
|
||
- Ego4D 只报告标注真正支持的泛化结果；
|
||
- 正文只描述最终胜出的融合结构，其余候选放消融或不写。
|
||
|
||
## 7. Strong-accept 内部证据门槛
|
||
|
||
以下是项目内部 go/no-go 标准，不是 ICASSP 官方阈值：
|
||
|
||
1. learned local variant 在三种子上稳定超过 `G+A` 和参数匹配 temporal baseline；
|
||
2. 恢复一个有实际意义的 oracle gap 比例，暂以约 30%--50% 为内部目标；
|
||
3. 在 matched wearer-onset recall 下，third-party false entry/min 有清楚且带置信区间的下降，
|
||
暂以 15%--20% relative reduction 作为有说服力的内部目标；
|
||
4. valid entry/response recall 和 yield 不发生置信区间外的退化；
|
||
5. correct-time local evidence 明显优于 time-shift、remove-video 和容量匹配控制；
|
||
6. 至少一个规模控制表明简单增大 backbone 参数不能代替正确的适配结构；
|
||
7. 主结果至少三种子，并按 session/event 做 bootstrap；
|
||
8. competing-risk censoring、split、阈值和 calibration 全部在看正式 test 前冻结。
|
||
|
||
若只能得到约 `+0.3` 的 dense mean mAP、没有行为级改善，不应包装成强 Omni adaptation
|
||
论文。若真实 causal local branch 无法恢复 oracle gap，应先审计特征质量和时间对齐；仍不
|
||
成立则转向更可证实的问题，而不是继续堆 adapter。
|
||
|
||
## 8. 四页稿件结构
|
||
|
||
- **Introduction，约 0.6--0.7 页**：问题、专用模型背景、temporal-role mismatch、方法与
|
||
三项贡献。Related work 融入此处。
|
||
- **Method，约 1.0 页**：严格因果任务、global/short-local decomposition、wearer-relative
|
||
fusion、训练目标。
|
||
- **Experiments，约 1.8 页**：数据协议、主表、关键消融和事件结果。
|
||
- **Conclusion，约 0.2 页**。
|
||
|
||
正文只需一张方法图、一个主结果表和一个紧凑消融表。
|
||
|
||
## 9. 推荐标题与最终结论
|
||
|
||
若双时间尺度实现和消融成立：
|
||
|
||
> **Is It My Turn? Dual-Rate Adaptation of Omni Models for Causal Egocentric
|
||
> Floor Forecasting**
|
||
|
||
若最终只有局部 evidence residual 成立：
|
||
|
||
> **Is It My Turn? Causal Local Evidence Adaptation for Egocentric Omni Models**
|
||
|
||
最终希望证实的结论是：
|
||
|
||
> Scaling multimodal capacity alone does not solve egocentric turn-taking.
|
||
> Reliable floor control requires explicitly routing short-term observations
|
||
> of visible interlocutors into a role-relative prediction for the invisible
|
||
> wearer.
|
||
|
||
这个结论只有在 learned causal method、错时/容量控制和冻结后的事件指标共同通过后才能写入
|
||
摘要。
|
||
|
||
## 10. 2026-09-10 manuscript 对齐决策
|
||
|
||
对 `manuscript/main/main.tex` 的逐段审查发现并记录以下冲突；稿件骨架已据此收缩：
|
||
|
||
1. 标题只写 `floor-entry`，正文却同时主张 entry/yield，统一改为更宽的 floor
|
||
forecasting；在 same-rate 对照通过前不在标题使用 `dual-rate`。
|
||
2. 单种子 oracle 不再充当摘要 headline；最终摘要必须以 learned method 和行为级结果为
|
||
主体。
|
||
3. gap 从“Omni 尚未用于这一任务组合”改为 global semantic representation 与 sub-second
|
||
wearer-relative floor evidence 之间的 temporal--role mismatch。
|
||
4. 四项并列贡献压缩为 adaptation mismatch、一个 local adapter、causal behavioral
|
||
evidence 三项；LoRA/oracle/event protocol 分别降为 baseline、动机和验证。
|
||
5. 主方法不再预设 track-GRU/identity continuity，改为匿名、no-ID 的短时 visible-person
|
||
set；track 只有超过 no-ID/shuffled/capacity controls 后才恢复。
|
||
6. wearer current state 默认只用于 entry/yield event interpretation。若作为模型输入，必须
|
||
先定义严格因果且部署可得的来源，并加入 no-state 对照。
|
||
7. Qwen2.5-Omni-3B 为主 backbone，7B 仅作参数规模控制；MiniCPM-o 和跨家族 sweep 从四页
|
||
主线删除。
|
||
8. Introduction 不得把尚未实现的 competing-risk censoring 写成已完成；P0 evaluator、测试
|
||
和人工时间轴是正式事件结论的硬门槛。
|
||
9. 已查看的 Sessions 1--3 单种子 exploratory pooled-vision 表从投稿骨架删除，不用于模型
|
||
选择或 confirmatory claim。
|
||
10. 最终只保留一个主结果表和一个机制消融表；oracle table、conditional track table 和
|
||
候选方法树不得并列占据正文。
|
||
11. Conclusion 必须报告最终 learned method、matched-recall false-entry、onset/yield 和
|
||
causal controls；若这些证据未通过，改写为 information audit 或停止方法型投稿。
|
||
|
||
当前 `manuscript/main/main.tex` 是带显式 TODO 的内容骨架。TODO 表示未实现、未冻结或未测量，
|
||
不得被引用为项目当前能力或实验结论。
|