6.0 KiB
6.0 KiB
ICASSP 2027 文献笔记
本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。
最后更新：2026-08-27
本轮专题：多人 AV、多速率流式处理与四条实验路线。新增 21–27 七篇笔记，并补充 01、05、16 的适用边界；摘要级筛选不等同于全文复现。
阅读深度
- 深入阅读：检查过方法、实验或附录，可用于设计实验和论证。
- 重点章节阅读：阅读过与当前问题直接相关的方法或实验部分。
- 摘要级筛选：主要依据摘要和论文主页判断相关性，只适合作为候选线索。
论文索引
| 编号 | 论文 | 年份 | 阅读深度 | 与当前项目的主要关系 |
|---|---|---|---|---|
| 01 | Qwen2.5-Omni Technical Report | 2025 | 深入阅读 | 原生流式多模态语义与 Thinker 状态 |
| 02 | EgoSpeak | 2025 | 深入阅读 | 任务定义、数据划分、标签和评测协议 |
| 03 | Long Short-Term Transformer for Online Action Detection | 2021 | 重点章节阅读 | 在线时序建模与 LSTR-MCE 基线 |
| 04 | MiniROAD | 2023 | 重点章节阅读 | 在线检测、时间步损失与高效递归建模 |
| 05 | ROMA | 2026 | 深入阅读 | 流式 AV 单元、持久 KV、Speak Head、末层融合 |
| 06 | DuplexPO | 2026 | 深入阅读 | 对话动态关键窗口和强化学习 |
| 07 | ASPIRin | 2026 | 深入阅读 | 将 RL 动作空间投影到 active/inactive |
| 08 | SoulX-Duplug | 2026 | 深入阅读 | 显式流式状态预测和低延迟监督学习 |
| 09 | SALMONN-omni | 2025 | 重点章节阅读 | 全双工对话、DPO 与策略训练稳定性 |
| 10 | Tempo-R0 | 2025 | 重点章节阅读 | 可验证的时间定位奖励和 GRPO |
| 11 | VideoTG-R1 | 2025 | 重点章节阅读 | 边界反思、样本筛选与课程 RL |
| 12 | TAR-TVG | 2025 | 摘要级筛选 | 时间戳锚点和分阶段时序推理训练 |
| 13 | Video-R2 | 2025 | 摘要级筛选 | 时间对齐奖励与视频推理一致性 |
| 14 | Prompt-Guided Turn-Taking Prediction | 2025 | 摘要级筛选 | 可控式轮次预测 |
| 15 | Multilingual Turn-taking Prediction Using VAP | 2024 | 摘要级筛选 | VAP、跨语言轮次线索与泛化 |
| 16 | Predicting Turn-Taking and Backchannel | 2025 | 摘要级筛选 | 多模态轮次与 backchannel 分类 |
| 17 | Action Sensitivity Learning | 2023 | 摘要级筛选 | 边界敏感重加权，作为 RL 的低风险替代 |
| 18 | LLM-Enhanced Dialogue Management | 2025/2026 | 摘要级筛选 | 模块化流式对话控制状态 |
| 19 | Aligning Spoken Dialogue Models from User Interactions | 2025 | 摘要级筛选 | 从用户交互构造偏好数据 |
| 20 | Optimizing Conversational Quality with RLAIF | 2026 | 摘要级筛选 | 块级语音生成与多奖励偏好优化 |
| 21 | VideoLLM-online | 2024 | 摘要级筛选 | 流式训练目标、时间对齐与在线推理 |
| 22 | ProVideLLM | 2025 | 摘要及引言筛选 | 短期细粒度视觉与长期压缩记忆 |
| 23 | Multi-speaker Attention Alignment | 2026 | 重点章节阅读 | 说话人区域与话语对齐；原工作是视觉—文本设定 |
| 24 | EgoAVU | 2026 | 摘要及官方实现说明筛选 | 第一视角 AV 对应关系、模态偏置与任务适配 |
| 25 | Egocentric Deep Multi-Channel AV Active Speaker Localization | 2022 | 摘要及引言筛选 | 佩戴者、可见及画外说话人的活动与位置 |
| 26 | Egocentric Auditory Attention Localization in Conversations | 2023 | 摘要及引言筛选 | 区分谁在说话与佩戴者在听谁 |
| 27 | OmniMMI | 2025 | 摘要级筛选 | 主动流式交互评测与多模态复用 |
当前综合判断
截至 2026-08-27，四状态/BCE 和 R1/R2 的活动预测增益较小；R1/R2 仅有两个已报告 seed，不能视作最终结论。最后四层读取有较大单次增益，但仍需匹配训练配置的多 seed 对照。参见损失消融、transition 消融和last-4 结果。
当前建议把资源优先投入以下四条待验证路线，而不是继续放大 transition loss 或直接转向通用 RL：
- 多速率近期/历史表征：保留块式 Omni 上下文，同时显式保留每 200 ms 更新的近期 AV 线索。
- 说话人感知对齐：从合并的 others 场景描述，走向按参与者组织的音视频证据。
- 分块稳定性：先测 chunk phase，再检验相位输入、分块偏移增强和严格因果教师蒸馏。
- 选择性适配：冻结骨干建立有效分支，再有限度调整连接层或上层 LoRA。
这些是本项目的研究假设，不是所引论文已在 EasyCom/Ego4D 接话预测上验证的结论。现有 open-stream 已经输出 5 Hz 状态；需要检验的是局部信息质量，而不是把已有 200 ms 更新误写为不存在。四状态表达 overlap，但不区分多个他人的身份。
维护约定
- 新增论文时，创建独立 Markdown 文件，并在本索引登记阅读深度。
- 若后来深入阅读过一篇摘要级论文，更新其阅读深度、方法细节和实验结论。
- 实验设计引用具体数值前，应再次核对论文正文、版本和官方实现。