docs: define ICASSP acceptance storyline
This commit is contained in:
@@ -20,6 +20,7 @@ recall, without hurting addressed responses or yield behavior.
|
||||
|
||||
| Need | Authoritative file |
|
||||
|---|---|
|
||||
| ICASSP submission story, pruning and acceptance evidence bar | [docs/icassp2027_acceptance_storyline_2026-09-10.md](docs/icassp2027_acceptance_storyline_2026-09-10.md) |
|
||||
| Current paper thesis and claim boundary | [docs/global_local_omni_paper_position_2026-09-07.md](docs/global_local_omni_paper_position_2026-09-07.md) |
|
||||
| Progressive feature-fusion implementation route | [docs/progressive_feature_fusion_route_2026-09-02.md](docs/progressive_feature_fusion_route_2026-09-02.md) |
|
||||
| Current hypotheses, experiment gates and stopping rules | [`docs/omni_speaker_floor_experiment_plan_2026-08-30.md`](docs/omni_speaker_floor_experiment_plan_2026-08-30.md) |
|
||||
|
||||
@@ -7,6 +7,7 @@ implemented or validated.
|
||||
|
||||
| Document | Role |
|
||||
|---|---|
|
||||
| [icassp2027_acceptance_storyline_2026-09-10.md](icassp2027_acceptance_storyline_2026-09-10.md) | Submission-focused paper story, evidence bar, pruning decisions and go/no-go criteria |
|
||||
| [global_local_omni_paper_position_2026-09-07.md](global_local_omni_paper_position_2026-09-07.md) | Evidence-backed paper thesis after the causal oracle information screen |
|
||||
| [progressive_feature_fusion_route_2026-09-02.md](progressive_feature_fusion_route_2026-09-02.md) | Gated route from pooled local evidence to Frame-set Attention, temporal person memory and Thinker adapters |
|
||||
| [`omni_speaker_floor_experiment_plan_2026-08-30.md`](omni_speaker_floor_experiment_plan_2026-08-30.md) | Current hypotheses, experiment gates, main table and stopping rules |
|
||||
|
||||
195
docs/icassp2027_acceptance_storyline_2026-09-10.md
Normal file
195
docs/icassp2027_acceptance_storyline_2026-09-10.md
Normal file
@@ -0,0 +1,195 @@
|
||||
# ICASSP 2027 投稿主线与通过标准(2026-09-10)
|
||||
|
||||
状态:论文战略决策记录,不是实验结果。本文用于约束后续实验、方法选择和稿件取舍;
|
||||
代码、测试和不可变结果记录仍是实现与数值的依据。
|
||||
|
||||
## 1. 最终应回答的一个问题
|
||||
|
||||
论文不以“更大的 Omni 模型替换较小的专用模型”为主张。建议收敛为:
|
||||
|
||||
> 通用 Omni 模型擅长理解多模态场景,却不天然适合第一视角下的亚秒级 floor control;
|
||||
> 如何把长时全局 Omni context 与及时、角色相对的局部视听 floor evidence 结合,使模型
|
||||
> 判断不可见 wearer 何时进入或让出 floor?
|
||||
|
||||
英文工作命题:
|
||||
|
||||
> General-purpose Omni models are multimodally capable but not automatically
|
||||
> task-sufficient: causal egocentric floor prediction requires explicit access
|
||||
> to wearer-relative, short-term audiovisual floor evidence.
|
||||
|
||||
研究价值不来自参数量本身,而来自 foundation-model capability 与实时 interaction-control
|
||||
capability 之间的适配问题。
|
||||
|
||||
## 2. 第一性原理分解
|
||||
|
||||
一个 conversational agent 决定是否开口,需要:
|
||||
|
||||
1. 理解对话、场景和长时上下文;
|
||||
2. 判断周围的 floor 是否仍被其他人占据或正在释放;
|
||||
3. 判断潜在机会是否属于自己,并在数百毫秒内采取行动。
|
||||
|
||||
Omni 预训练主要服务于第一步。第二、三步具有明显的任务结构:
|
||||
|
||||
- 预测主体是摄像机后的 wearer,视觉上不可见;
|
||||
- 可见人物是推断 wearer 行为的条件证据,而不是输出候选人;
|
||||
- other-to-other handover 不等于 wearer 获得开口机会;
|
||||
- wearer 的头部/摄像机运动与自身行为耦合;
|
||||
- 决策是严格因果、连续、多 horizon 的,而不是 turn boundary 上的离线分类;
|
||||
- entry 与 yield 是受 wearer 当前状态制约的不同决策情形。
|
||||
|
||||
因此,论文的科学问题不是“Omni 是否理解对话”,而是“通用理解表示如何转化为
|
||||
wearer-relative 的实时 floor decision”。
|
||||
|
||||
## 3. ICASSP 审稿视角下的取舍
|
||||
|
||||
ICASSP 2027 官方审稿维度包括 importance/relevance、novelty/originality、technical
|
||||
correctness、experimental validation、prior work 和 clarity。常规稿只有四页正文,第五页
|
||||
仅可放参考文献。因此一篇稿不能并列承载 Omni survey、LoRA 分析、oracle audit、track
|
||||
model、多个 adapter 和新评测六条主线。
|
||||
|
||||
- **重要性**:Omni agent 的安全、自然 floor control 有明确价值。
|
||||
- **新颖性**:仅使用 Qwen/LoRA 很弱;由 egocentric role mismatch 导出的适配结构更强。
|
||||
- **正确性**:严格因果和 competing-risk event attribution 是硬门槛。
|
||||
- **验证充分性**:必须有 learned method、三种子、容量/错时控制和行为级指标。
|
||||
- **清晰度**:正文只保留一个最终方法和一个中心结论。
|
||||
|
||||
官方依据:
|
||||
|
||||
- [ICASSP 2027 editorial policies](https://2027.ieeeicassp.org/about/editorial-policies/)
|
||||
- [ICASSP 2027 paper submission instructions](https://2027.ieeeicassp.org/paper-submission-instructions/)
|
||||
|
||||
按当前研究状态,直接投稿仍会是 borderline/weak reject:oracle 信息价值已出现,但
|
||||
learned local method 尚未恢复该增益,事件 evaluator 尚未冻结,最终架构也未确定。
|
||||
|
||||
## 4. 最简、最强的故事线
|
||||
|
||||
### Act 1:Omni 已能理解,但 floor timing 仍未解决
|
||||
|
||||
Omni/full-duplex 模型正在成为实时音视频 agent 的基础,但生成“说什么”和控制“何时说”
|
||||
不是同一问题。本文研究后者。
|
||||
|
||||
### Act 2:专用模型的优势来自任务归纳偏置,而非单纯规模
|
||||
|
||||
VAP 显式预测未来 voice activity;EgoSpeak 定义第一视角、在线、连续 wearer activity
|
||||
forecasting;MM-VAP/MuVAP 显式保存 gaze、active-speaker 和 visible-speaker structure。
|
||||
它们是现代 task-specific predictive systems,不能称为“传统方法”。
|
||||
|
||||
### Act 3:naive Omni adaptation 暴露 temporal-role mismatch
|
||||
|
||||
Frozen readout 和受控 LoRA 用作诊断基线。若它们不能稳定超过专用基线,结论只能限定为:
|
||||
当前 backbone/readout/recipe 未显式解决亚秒级时间线索和不可见 wearer 的角色不对称,
|
||||
不能泛化为“所有 Omni 无法适配”。
|
||||
|
||||
### Act 4:oracle 与干预定位 evidence-access bottleneck
|
||||
|
||||
当前 seed-0 oracle screen 显示,及时的 `aggregate-visible` activity 相对 matched audio
|
||||
baseline 提高 0.2 秒 mAP `+6.96649`、十 horizon mean mAP `+2.91047`;visibility-only 和
|
||||
延迟一秒的 activity 接近 audio;per-person 与 shuffled identity 不分离。
|
||||
|
||||
该证据支持:
|
||||
|
||||
> 全局 Omni readout 没有向预测头充分暴露及时的 visible-other floor activity。
|
||||
|
||||
它不支持 speaker identity、track continuity、addressee understanding 或一般性的 Omni
|
||||
能力缺失。
|
||||
|
||||
### Act 5:用一个角色相对、双时间尺度 adapter 解决问题
|
||||
|
||||
候选最终方法应尽量简单:
|
||||
|
||||
```text
|
||||
long-context causal Omni state -------------------+
|
||||
+--> residual fusion --> 10 x 3 future activity
|
||||
short-window causal audio + visible-person set ---+
|
||||
conditioned by wearer state
|
||||
```
|
||||
|
||||
- 慢/全局路径保留场景、语义和长时对话信息;
|
||||
- 快/局部路径保存最近约 0.5--1 秒的 prosody 和 visible-person floor activity;
|
||||
- 人物集合使用共享编码器、mask、permutation-invariant aggregation 和 NULL/OFFSCREEN;
|
||||
- wearer silent/active 状态用于区分 entry/yield 情形;
|
||||
- 输出继续遵守 EgoSpeak-compatible `10 x 3` 契约;
|
||||
- 最终称为层间注入还是旁路 residual,由受控结果决定,而不是预先绑定故事。
|
||||
|
||||
方法的解释统一为 **local floor-evidence routing**,而不是泛泛的“增加特征多样性”。
|
||||
|
||||
### Act 6:行为级结果闭环
|
||||
|
||||
论文最重要的结果应是:
|
||||
|
||||
> 在相同 valid wearer-onset recall 下,模型更少打断 other-to-other exchange,同时没有
|
||||
> 抑制有效 wearer response,也没有恶化 yield。
|
||||
|
||||
Dense 10-horizon AP/mAP 用于与 EgoSpeak 比较,但不是唯一 headline。
|
||||
|
||||
## 5. 最终只保留三个贡献
|
||||
|
||||
1. **Adaptation gap**:明确通用 Omni 表示与 causal egocentric floor forecasting 之间的
|
||||
temporal-role mismatch。
|
||||
2. **Method**:提出 wearer-relative causal adapter,将长时 Omni context 与短时局部 AV
|
||||
floor evidence 结合。
|
||||
3. **Evidence**:用严格因果的对齐干预和 competing-risk event evaluation 证明收益来自
|
||||
timely local evidence,并改善实际 entry/yield 行为。
|
||||
|
||||
Oracle audit、LoRA 和事件协议分别是动机、baseline 和验证工具,不再各自占一个主贡献。
|
||||
|
||||
## 6. 必须降级或删除的内容
|
||||
|
||||
- LoRA 只作为 matched adaptation baseline,不做泛化的 LoRA 失败论文;
|
||||
- oracle 只用于提出可恢复的信息上限,不能进入部署方法;
|
||||
- track continuity 只有稳定超过 aggregate/no-ID/shuffled/broken-ID 后才成为贡献;
|
||||
- 未通过 correct-person/correct-time 干预前不使用 speaker-grounded;
|
||||
- 没有可靠标签时不主张 addressee、语义 EOT 或 INT;
|
||||
- 多个 Omni 家族不是必要条件,优先做同族 3B/7B scaling 来回答“参数更大是否足够”;
|
||||
- Ego4D 只报告标注真正支持的泛化结果;
|
||||
- 正文只描述最终胜出的融合结构,其余候选放消融或不写。
|
||||
|
||||
## 7. Strong-accept 内部证据门槛
|
||||
|
||||
以下是项目内部 go/no-go 标准,不是 ICASSP 官方阈值:
|
||||
|
||||
1. learned local variant 在三种子上稳定超过 `G+A` 和参数匹配 temporal baseline;
|
||||
2. 恢复一个有实际意义的 oracle gap 比例,暂以约 30%--50% 为内部目标;
|
||||
3. 在 matched wearer-onset recall 下,third-party false entry/min 有清楚且带置信区间的下降,
|
||||
暂以 15%--20% relative reduction 作为有说服力的内部目标;
|
||||
4. valid entry/response recall 和 yield 不发生置信区间外的退化;
|
||||
5. correct-time local evidence 明显优于 time-shift、remove-video 和容量匹配控制;
|
||||
6. 至少一个规模控制表明简单增大 backbone 参数不能代替正确的适配结构;
|
||||
7. 主结果至少三种子,并按 session/event 做 bootstrap;
|
||||
8. competing-risk censoring、split、阈值和 calibration 全部在看正式 test 前冻结。
|
||||
|
||||
若只能得到约 `+0.3` 的 dense mean mAP、没有行为级改善,不应包装成强 Omni adaptation
|
||||
论文。若真实 causal local branch 无法恢复 oracle gap,应先审计特征质量和时间对齐;仍不
|
||||
成立则转向更可证实的问题,而不是继续堆 adapter。
|
||||
|
||||
## 8. 四页稿件结构
|
||||
|
||||
- **Introduction,约 0.6--0.7 页**:问题、专用模型背景、temporal-role mismatch、方法与
|
||||
三项贡献。Related work 融入此处。
|
||||
- **Method,约 1.0 页**:严格因果任务、global/short-local decomposition、wearer-relative
|
||||
fusion、训练目标。
|
||||
- **Experiments,约 1.8 页**:数据协议、主表、关键消融和事件结果。
|
||||
- **Conclusion,约 0.2 页**。
|
||||
|
||||
正文只需一张方法图、一个主结果表和一个紧凑消融表。
|
||||
|
||||
## 9. 推荐标题与最终结论
|
||||
|
||||
若双时间尺度实现和消融成立:
|
||||
|
||||
> **Is It My Turn? Dual-Rate Adaptation of Omni Models for Causal Egocentric
|
||||
> Floor Forecasting**
|
||||
|
||||
若最终只有局部 evidence residual 成立:
|
||||
|
||||
> **Is It My Turn? Causal Local Evidence Adaptation for Egocentric Omni Models**
|
||||
|
||||
最终希望证实的结论是:
|
||||
|
||||
> Scaling multimodal capacity alone does not solve egocentric turn-taking.
|
||||
> Reliable floor control requires explicitly routing short-term observations
|
||||
> of visible interlocutors into a role-relative prediction for the invisible
|
||||
> wearer.
|
||||
|
||||
这个结论只有在 learned causal method、错时/容量控制和冻结后的事件指标共同通过后才能写入
|
||||
摘要。
|
||||
Reference in New Issue
Block a user