116 lines
13 KiB
Markdown
116 lines
13 KiB
Markdown
# ICASSP 2027 文献笔记
|
||
|
||
本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。
|
||
|
||
最后更新：2026-09-07
|
||
|
||
最新增补：两篇 ICASSP 2025 第一视角 ASD 工作进一步约束当前视觉方案。
|
||
[EgoASD](54_egoasd.md)表明 EasyCom 局部视觉需要认真处理嘴部运动、运动模糊和因果时序，
|
||
而不只是静态人脸语义；[speaker-embedding-informed ASD](55_speaker_embedding_egocentric_asd.md)
|
||
说明显式身份/参考语音 memory 已有先例。当前更可辩护的方向是匿名、无需 enrollment 的逐人
|
||
因果证据，并验证它是否改变不可见 wearer 的未来 entry/yield 行为。
|
||
|
||
最新专题：[多方第一视角 AV wearer floor-state prediction 文献 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。结论是宽泛组件均有先例；仍可信的交集是单 wearer 严格因果流、不可见 wearer 的 entry/yield、逐人 grounding 和事件级评测。MuVAP、EgoSpeak、3M-Transformer、AV-CONV 与在线多方 EOT 必须正面区分。
|
||
|
||
此前专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。
|
||
|
||
同日此前专题：[逐人 chunk、train-free Thinker 与 wearer onset/offset 计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)。新增 28–32 五篇笔记，补读 16、23，核查 24 的实现边界。
|
||
|
||
此前专题：[多人 AV、多速率流式处理与四条实验路线](2026-08-27_multirate_speaker_aware_routes.md)。保留其当时判断，不用新结果改写历史。
|
||
|
||
## 阅读深度
|
||
|
||
- 深入阅读：检查过方法、实验或附录，可用于设计实验和论证。
|
||
- 重点章节阅读：阅读过与当前问题直接相关的方法或实验部分。
|
||
- 摘要级筛选：主要依据摘要和论文主页判断相关性，只适合作为候选线索。
|
||
|
||
## 论文索引
|
||
|
||
| 编号 | 论文 | 年份 | 阅读深度 | 与当前项目的主要关系 |
|
||
|---|---|---:|---|---|
|
||
| 01 | [Qwen2.5-Omni Technical Report](01_qwen2_5_omni.md) | 2025 | 深入阅读 | 原生流式多模态语义与 Thinker 状态 |
|
||
| 02 | [EgoSpeak](02_egospeak.md) | 2025 | 深入阅读 | 任务定义、数据划分、标签和评测协议 |
|
||
| 03 | [Long Short-Term Transformer for Online Action Detection](03_lstr.md) | 2021 | 重点章节阅读 | 在线时序建模与 LSTR-MCE 基线 |
|
||
| 04 | [MiniROAD](04_miniroad.md) | 2023 | 重点章节阅读 | 在线检测、时间步损失与高效递归建模 |
|
||
| 05 | [ROMA](05_roma.md) | 2026 | 深入阅读 | 流式 AV 单元、持久 KV、Speak Head、末层融合 |
|
||
| 06 | [DuplexPO](06_duplexpo.md) | 2026 | 深入阅读 | 对话动态关键窗口和强化学习 |
|
||
| 07 | [ASPIRin](07_aspirin.md) | 2026 | 深入阅读 | 将 RL 动作空间投影到 active/inactive |
|
||
| 08 | [SoulX-Duplug](08_soulx_duplug.md) | 2026 | 深入阅读 | 显式流式状态预测和低延迟监督学习 |
|
||
| 09 | [SALMONN-omni](09_salmonn_omni.md) | 2025 | 重点章节阅读 | 全双工对话、DPO 与策略训练稳定性 |
|
||
| 10 | [Tempo-R0](10_tempo_r0.md) | 2025 | 重点章节阅读 | 可验证的时间定位奖励和 GRPO |
|
||
| 11 | [VideoTG-R1](11_videotg_r1.md) | 2025 | 重点章节阅读 | 边界反思、样本筛选与课程 RL |
|
||
| 12 | [TAR-TVG](12_tar_tvg.md) | 2025 | 摘要级筛选 | 时间戳锚点和分阶段时序推理训练 |
|
||
| 13 | [Video-R2](13_video_r2.md) | 2025 | 摘要级筛选 | 时间对齐奖励与视频推理一致性 |
|
||
| 14 | [Prompt-Guided Turn-Taking Prediction](14_prompt_guided_turn_taking.md) | 2025 | 摘要级筛选 | 可控式轮次预测 |
|
||
| 15 | [Multilingual Turn-taking Prediction Using VAP](15_multilingual_vap.md) | 2024 | 摘要级筛选 | VAP、跨语言轮次线索与泛化 |
|
||
| 16 | [Predicting Turn-Taking and Backchannel](16_multimodal_turn_taking_backchannel.md) | 2025 | 重点章节阅读 | 多模态轮次与 backchannel 分类；双人词级协议 |
|
||
| 17 | [Action Sensitivity Learning](17_action_sensitivity_learning.md) | 2023 | 摘要级筛选 | 边界敏感重加权，作为 RL 的低风险替代 |
|
||
| 18 | [LLM-Enhanced Dialogue Management](18_llm_enhanced_dialogue_management.md) | 2025/2026 | 摘要级筛选 | 模块化流式对话控制状态 |
|
||
| 19 | [Aligning Spoken Dialogue Models from User Interactions](19_aligning_spoken_dialogue_from_interactions.md) | 2025 | 摘要级筛选 | 从用户交互构造偏好数据 |
|
||
| 20 | [Optimizing Conversational Quality with RLAIF](20_spoken_dialogue_rlaif.md) | 2026 | 摘要级筛选 | 块级语音生成与多奖励偏好优化 |
|
||
| 21 | [VideoLLM-online](21_videollm_online.md) | 2024 | 摘要级筛选 | 流式训练目标、时间对齐与在线推理 |
|
||
| 22 | [ProVideLLM](22_providellm.md) | 2025 | 摘要及引言筛选 | 短期细粒度视觉与长期压缩记忆 |
|
||
| 23 | [Multi-speaker Attention Alignment](23_multi_speaker_attention_alignment.md) | 2026 | 重点章节阅读 | 说话人区域与话语对齐；原工作是视觉—文本设定 |
|
||
| 24 | [EgoAVU](24_egoavu.md) | 2026 | 摘要及官方实现说明筛选 | 第一视角 AV 对应关系、模态偏置与任务适配 |
|
||
| 25 | [Egocentric Deep Multi-Channel AV Active Speaker Localization](25_egocentric_av_speaker_localization.md) | 2022 | 摘要及引言筛选 | 佩戴者、可见及画外说话人的活动与位置 |
|
||
| 26 | [Egocentric Auditory Attention Localization in Conversations](26_egocentric_auditory_attention.md) | 2023 | 摘要及引言筛选 | 区分谁在说话与佩戴者在听谁 |
|
||
| 27 | [OmniMMI](27_omnimmi.md) | 2025 | 摘要级筛选 | 主动流式交互评测与多模态复用 |
|
||
| 28 | [AV-SpeakerBench / See, Hear, and Understand](28_av_speakerbench.md) | 2026 | 摘要及任务设计筛选 | CVPR Findings；检验真正依赖 AV 的逐人语音理解 |
|
||
| 29 | [Temporal Contrastive Decoding](29_temporal_contrastive_decoding.md) | 2026 | 重点章节阅读 | ACL Findings；冻结模型对瞬态声学证据的解码干预 |
|
||
| 30 | [ThinkOmni](30_thinkomni.md) | 2026 | 重点章节阅读 | ICLR；文本推理模型指导 Omni 词表解码 |
|
||
| 31 | [On the Structure of Address in Multi-Party Dialogue](31_continuous_address_levels.md) | 2026 | 重点章节阅读 | SIGDIAL；讲话对象的连续性及与听者行为的关系 |
|
||
| 32 | [HeadRouter（音频 token 剪枝）](32_headrouter_audio.md) | 2026 | 重点章节及官方实现说明阅读 | 作者宣布 ACM MM 接收；声学/语义 head 分工与校准 |
|
||
| 33 | [MuVAP](33_muvap.md) | 2026 | 重点方法、训练和评测阅读 | 单声道逐人因果预测；作者标注 Interspeech，代码待发布 |
|
||
| 34 | [SICNet / Long-Term Social Interaction Context](34_sicnet_addressee.md) | 2024 | 重点章节阅读 | ICASSP；Ego4D talking-to-me 与提供的身份信息 |
|
||
| 35 | [AV-Dialog](35_av_dialog.md) | 2026 | 重点章节及训练附录阅读 | ACL 主会；目标人 AV 对话与大规模训练边界 |
|
||
| 36 | [FLoRA for Device Directed Speech Detection](36_flora_device_directed.md) | 2024 | 重点章节阅读 | Interspeech；模态适配和固定拒绝率误触发 |
|
||
| 37 | [Whisper-Flamingo](37_whisper_flamingo.md) | 2024 | 重点章节及代码说明阅读 | Interspeech；强音频模型内的门控视觉增量 |
|
||
| 38 | [LoCoNet](38_loconet.md) | 2024 | 重点章节及代码说明阅读 | CVPR；人内时间、跨人互动，需改造成因果输入 |
|
||
| 39 | [Gaze-Enhanced Triadic Turn-Taking](39_gaze_triadic_turn_taking.md) | 2025 | 重点章节阅读 | Interspeech；ConvLSTM/人物 attention，额外传感器 |
|
||
| 40 | [Triadic Multi-party VAP](40_triadic_vap.md) | 2025 | 重点章节阅读 | Interspeech；三人未来活动，但使用逐人麦克风 |
|
||
| 41 | [Visual Cues Support Robust Turn-taking Prediction in Noise](41_visual_turn_taking_noise.md) | 2025 | 重点章节阅读 | Interspeech；噪声分层、视觉鲁棒性与输入条件 |
|
||
| 42 | [Attention Bottlenecks for Multimodal Fusion](42_multimodal_bottleneck_transformer.md) | 2021 | 重点章节阅读 | NeurIPS；有限 token 和融合位置 |
|
||
| 43 | [LAVISH](43_lavish.md) | 2023 | 方法段落及官方项目说明 | CVPR；冻结骨干的低成本 AV 适配 |
|
||
| 44 | [Flamingo](44_flamingo.md) | 2022 | 摘要及方法片段筛选 | NeurIPS；内部 gated cross-attention 基础结构 |
|
||
| 45 | [InfoReg](45_inforeg.md) | 2025 | 摘要、引言及代码发布核查 | CVPR；模态竞争候选，尚非本项目已诊断病因 |
|
||
| 46 | [InfoBridge](46_infobridge.md) | 2025 | 摘要及引言筛选 | ICCV；保护模态独有的互补信息 |
|
||
| 47 | [3M-Transformer](47_3m_transformer.md) | 2024 | 摘要级筛选 | ICASSP；多视角 EgoCom，区别于单视角 EasyCom |
|
||
| 48 | [VA-related Pretrained Encoders for MM-VAP](48_va_pretrained_multimodal_vap.md) | 2026 | 重点章节阅读 | 作者声明 RO-MAN 接收；LoRA 与窗口因果性审计 |
|
||
| 49 | [Modality Drop-Out for DDSD](49_modality_dropout_ddsd.md) | 2024 | 摘要及会议信息筛选 | ICASSP；缺失模态及固定工作点误接受率 |
|
||
| 50 | [Audio-Visual Conversational Graph / AV-CONV](50_av_conversational_graph.md) | 2024 | 问题、输入和标注重点阅读 | CVPR；第一视角逐人 speaking/listening graph，但不是因果未来 wearer action |
|
||
| 51 | [Online Multimodal End-of-Turn Prediction](51_online_multiparty_eot.md) | 2024 | 任务、采集、方法和局限重点阅读 | ICMI；在线三方 EOT，但依赖实验室 gaze/mocap/独立麦克风 |
|
||
| 52 | [TurnBench](52_turnbench.md) | 2026 | 任务、因果提交和 leaderboard 重点阅读 | 双人音频事件评测；recall/FPR/latency 范式 |
|
||
| 53 | [AMusE](53_amuse.md) | 2026 | 摘要及官方论文页筛选 | CVPR；MLLM 多说话人身份、角色和 AV grounding 短板 |
|
||
| 54 | [Advancing Active Speaker Detection for Egocentric Videos（EgoASD）](54_egoasd.md) | 2025 | 摘要、方法贡献和 EasyCom 结果筛选 | ICASSP；因果 egocentric ASD、固定嘴部区域及运动模糊增强 |
|
||
| 55 | [Speaker Embedding Informed Audiovisual Active Speaker Detection](55_speaker_embedding_egocentric_asd.md) | 2025 | 摘要、方法和实验设置重点阅读 | ICASSP；参考语音身份、SCAN 与第一视角 ASD，约束 identity-memory novelty |
|
||
|
||
## 当前综合判断
|
||
|
||
2026-08-30 更新：宽泛的“多方 AV turn-taking”已被 MuVAP、3M-Transformer、在线多方 EOT
|
||
等工作覆盖；“第一视角 AV when-to-speak”已有 EgoSpeak，“逐人第一视角 speaking/listening”
|
||
已有 AV-CONV。当前可辩护定位是：**单个严格因果第一视角流中，利用 speaker-grounded AV
|
||
预测不可见 wearer 自身的 floor entry 与 yield，并作事件级误触发/召回/延迟评价**。
|
||
参见[完整 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。gap 不替代方法贡献；
|
||
仍需证明逐人视觉在同 onset recall 下减少第三方交谈期间 false entry，并不损害真实 response。
|
||
|
||
2026-08-28 更新：[encoder-only 完整结果](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)显示近期音频与 Thinker 历史互补；普通视觉池化对 wearer 的增益尚不清楚。先补 wearer 专属事件及讲话对象分层，再对照逐人时序旁路和模型内可训练 adapter/LoRA。现有 R1/R2 是全活动变化，不是 wearer onset/offset 的直接评测。MuVAP 等工作使“逐人＋因果融合”不再足以单独构成创新；新假设是对不可见 wearer 的讲话对象条件化预测与受召回约束的第三方误开口降低。
|
||
|
||
以下为 2026-08-27 的阶段判断：
|
||
|
||
截至 2026-08-27，四状态/BCE 和 R1/R2 的活动预测增益较小；R1/R2 仅有两个已报告 seed，不能视作最终结论。最后四层读取有较大单次增益，但仍需匹配训练配置的多 seed 对照。参见[损失消融](../results/easycom_loss_structure_4ep_2026-08-26/README.md)、[transition 消融](../results/easycom_transition_auxiliary_4ep_2026-08-27/README.md)和[last-4 结果](../results/easycom_frozen_3b_8s_last4_learned_mix_2026-08-26/README.md)。
|
||
|
||
当前建议把资源优先投入以下四条待验证路线，而不是继续放大 transition loss 或直接转向通用 RL：
|
||
|
||
1. 多速率近期/历史表征：保留块式 Omni 上下文，同时显式保留每 200 ms 更新的近期 AV 线索。
|
||
2. 说话人感知对齐：从合并的 others 场景描述，走向按参与者组织的音视频证据。
|
||
3. 分块稳定性：先测 chunk phase，再检验相位输入、分块偏移增强和严格因果教师蒸馏。
|
||
4. 选择性适配：冻结骨干建立有效分支，再有限度调整连接层或上层 LoRA。
|
||
|
||
这些是本项目的研究假设，不是所引论文已在 EasyCom/Ego4D 接话预测上验证的结论。现有 open-stream 已经输出 5 Hz 状态；需要检验的是局部信息质量，而不是把已有 200 ms 更新误写为不存在。四状态表达 overlap，但不区分多个他人的身份。
|
||
|
||
## 维护约定
|
||
|
||
- 新增论文时，创建独立 Markdown 文件，并在本索引登记阅读深度。
|
||
- 若后来深入阅读过一篇摘要级论文，更新其阅读深度、方法细节和实验结论。
|
||
- 实验设计引用具体数值前，应再次核对论文正文、版本和官方实现。
|