Record speaker-aware AV research and literature

2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
--- a/README.md
+++ b/README.md
@@ -22,6 +22,18 @@ horizon curves are archived in
 It keeps causal-valid summaries separate from full-timeline curves and records
 the head-capacity/context caveats for comparisons with G+A and G+A+V.

+The next research plan is
+[speaker-aware Thinker and wearer-transition evaluation](docs/speaker_aware_thinker_plan_2026-08-28.md)
+(2026-08-28): person-organized video chunks, frozen-Thinker local-evidence
+interventions, and onset/offset plus third-party-conversation diagnostics.
+These are planned experiments, not implemented or validated results.
+
+The [trainable speaker-fusion survey](docs/trainable_speaker_fusion_survey_2026-08-28.md)
+extends this to person-wise temporal branches, local-memory adapters and upper-layer
+Thinker LoRA on 8×L20, with matched-onset-recall false-entry evaluation and
+addressee-specific safeguards. It also records related-work and input-permission
+limits; none of these new variants has been implemented or measured yet.
+
 The main experiment is deliberately simple:

 ```text
--- a/docs/speaker_aware_thinker_plan_2026-08-28.md
+++ b/docs/speaker_aware_thinker_plan_2026-08-28.md
@@ -0,0 +1,284 @@
+# 多人交互感知 Thinker：视觉证据、train-free 干预与 wearer 切换评测
+
+日期：2026-08-28。状态：研究与实验计划，**尚未实现或验证下述新方法**。
+本轮仅核查代码、官方论文和公开实现，没有启动远程提取、训练或人工/LLM 标注。
+
+同日后续：[可训练多人 AV 融合调研与 8×L20 实验矩阵](trainable_speaker_fusion_survey_2026-08-28.md)
+扩展了逐人时序旁路、局部 memory adapter、末层 LoRA，以及 matched-recall 评测。
+新增 MuVAP、SICNet、AV-Dialog 等相关工作约束；本文保留此前 train-free 路线，不代表仍只推荐 train-free。
+
+## 1. 主线与当前证据
+
+建议将研究问题收敛为：**因果地利用逐人 AV 证据，预测 wearer 何时进入、保持或退出发言。**
+“谁在说话”“在对谁说话”“wearer 接下来是否开口”是不同问题，需要分别验证。
+观测到 wearer 未开口，不等于证明其主动决定不打断；离线人类行为预测也不等于闭环 agent 策略。
+
+当前 [EasyCom 完整结果记录](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)
+显示，标称 0.2s、`causal_valid_only`、seed 0 下：
+
+| 输入 | mAP | wearer AP | 十 horizon 平均 mAP |
+|---|---:|---:|---:|
+| G | 73.44637 | 77.86650 | 60.84861 |
+| A | 79.69221 | 84.09982 | 60.50771 |
+| A+V | 79.00727 | 82.69832 | 60.76303 |
+| G+A | 81.72257 | 85.06554 | 65.10895 |
+| G+A+V | 82.02661 | 85.08583 | 65.39978 |
+
+G 为全局 Thinker，A 为最近 1s 混合音频编码器池化，V 为局部人物视觉池化。
+G+A+V 相对 G+A 的 wearer AP 仅增加 0.02029 个百分点；不能据此声称已获得社会交互理解。
+但这也不能证明视觉无用：当前 V 丢掉了大量逐人、空间和时间结构。
+这些是单 seed、不同 head 容量/上下文条件的初步比较，不是已控制变量的显著性结论。
+
+## 2. 已核查的代码与可用标注
+
+- [局部提取器](../extract_turn_local_features.py)：视觉为每张 crop 的空间 token mean，随后同帧逐人 mean、最近 1s 帧 mean；音频为有效 token mean。`persons` 仍保存逐人的池化向量、frame offsets、时间和框记录，但**没有保留完整空间/音频 token 序列**。
+- [Thinker 输入与读出](../streaming_turn_model.py)：`_multimodal_embeddings` 已通过原生 encoder/merger 构造媒体 embedding；`_read_open_state` 复制 cache、临时闭合、读出并丢弃分支，是候选干预入口。
+- 同文件 `_open_media_pieces` 当前仅识别连续的 audio/video payload；直接插入独立 image token、人物 ID 文本或多路视频，不能假设无需改 parser/position IDs 就可运行。
+- [现有 transition 定义](../easycom_head.py) `transition_targets_from_activity` 是三路活动中任意一项变化。R1/R2 的 transition AP **不是 wearer onset/offset AP**；others 改变而 wearer 不变也会产生正例。
+- [已有交互事件工具](../derive_easycom_interaction_events.py) 读取逐人转写、帧区间和 `Target_of_Speech`，生成时序事件及 backchannel/interruption **proxy**；不能把 proxy 或 LLM 共识升级为人工语义真值。
+
+[EasyCom 官方说明](https://github.com/facebookresearch/EasyComDataset#speech-transcriptions-and-voice-activity)
+确认转写包含说话人、活动帧区间和估计的讲话对象：参与者 ID、`Group`、`None`。
+因此 EasyCom 是“第三方交谈 / 对 wearer 讲话”诊断的优先数据集。
+先统计每 session 的 ID 覆盖、Group/None、缺失和多目标情况，再冻结子集规则。
+`Group` 不能当成“不对 wearer 说话”；官方 `None` 与字段缺失/无法确定必须分开。
+
+Ego4D 先验证逐人活动、可见/画外和 wearer 状态泛化；本轮没有确认其具有与 EasyCom
+等价的 addressee 标签，不能直接复制“谁在对谁说”的真值定义。
+
+同日补充核查：[Ego4D Social 官方文档](https://ego4d-data.org/docs/benchmarks/social/)实际定义了
+TTM/LAM，并列出 `social_segments_talking`、`social_segments_looking` 和 `is_at_me`。
+这提供了监督线索，但尚未核对远程 433 个 clip 的覆盖；不等于已具有完整的逐人 A→B 对象标签。
+需要核对 clip/source video、时间及训练测试划分，缺失标注不能填为负例，GT speaker status 不能作为主模型测试输入。
+
+输入权限统一：继续使用现有视频混合音频；不把其他参与者独立头戴麦克风、真值 VAD、
+转写、讲话对象或未来帧作为主实验输入。提供的框属于 `provided-boxes` 条件，
+与在线 detector/tracker 条件分列；时间戳正确不代表已验证整个检测链是在线因果系统。
+
+## 3. 路线 V：让逐人视觉成为 Thinker 的结构化证据
+
+### V0：先建立同输入预算的视觉诊断
+
+固定 3B、8s 历史、2FPS、5Hz 读出、同音频、同层融合与 head，比较：
+
+1. 全图 + 音频（现有 Thinker 参考）。
+2. 逐人 crops + 音频。
+3. 全图 + 逐人 crops + 音频。
+4. 同像素/token 预算的普通全图增强或重复视图控制。
+
+保留全图是为了提供人物相对位置、头朝向和交互上下文。不要只留下嘴部或把“看向”
+直接标成“正在对某人讲话”。2FPS 可先研究粗粒度朝向和交互组织，不能保证足够刻画唇动；
+后续若加入 5/10FPS 局部窗口，应独立消融采样率、分辨率与 token 数，不把三者同时改变。
+
+### V1：第一个可实现版本——固定人物槽位的视频拼图
+
+每个真实采样时刻生成“全图 + P1/P2/... 的扩展头肩 crops”的确定性拼图，作为一帧
+送入原生视频处理器；一个 chunk 仍只有一份同时间段音频。
+这是代码生成的输入布局，不是 AI 生成/修改人物内容。
+
+- slot 在同一连续片段内保持身份稳定；只按当前及过去可见信息分配，不按真值说话状态排序。
+- 槽位数设上限，选择规则预先固定，报告被截掉的人数和遮挡率；无效槽位使用明确空白/mask。
+- 不把“P1 在 t 的 crop、P2 在 t 的 crop”串成两个不同时间点；拼图坐标也不等于真实场景坐标。
+- 总像素预算与普通全图相匹配，并另做“允许增加预算”的工程上限；比较中记录每步实际 token 数。
+- 沿用项目的 2s 完整块提交与不足块重算读出协议，每次只读取截至 t 可获得的 AV。
+  不等待块结束后才回填更早的状态，不把本项目的 bounded replay 说成官方完整在线 API。
+
+优点是先验证逐人证据是否有用，不立即重写多路媒体的 TMRoPE。
+限制是拼图改变了自然图像布局且缩小全图；正负结果都需要上述预算和分辨率控制解释。
+
+### V2：有效后才实现原生多视图 token 序列
+
+按 `time × local_track` 保留各 crop 的原生视觉 token 和 grid 元数据，再与音频时间块组织。
+同为 2048D 不代表当前 mean-pooled sidecar 是可直接替换的原生媒体 token；
+需从原始 crop 重新编码，或新存未池化的 encoder/merger 输出。
+必须测试 placeholder 数目、位置编码、缺失人物、跨块身份、尾块和 replay 一致性。
+不能用新随机 connector 却声称 train-free，也不能从单个 mean 向量还原唇动/空间细节。
+
+### 证明视觉意义的证据链
+
+先分层回答三个问题，而不是只展示漂亮 attention 图：
+
+| 层级 | 问题 | 推荐验证 |
+|---|---|---|
+| 感知 | 当前可见人物中谁在发声？ | 逐人活动 AP/宏平均、可见覆盖率；允许多人同时发声和画外来源 |
+| 交互 | 说话对象是 wearer、另一人、Group 还是未知？ | 目标对象识别/置信度及人工核查；真值仅用于离线评测 |
+| 行为预测 | wearer 下一段时间进入还是保持未发言？ | onset 指标、第三方交谈子集的错误开口预测与召回权衡 |
+
+“A 与 B 互相交谈”严格子集可要求：过去观察窗口出现 A→B 和 B→A 的标注话语，
+A/B 都非 wearer，且两人的视觉证据有覆盖。单向 A→B、Group、未知目标另列。
+评测使用离线标注划分场景不等于模型获得这些标签；已开始但尚未结束话语的完整转写/目标
+也不进入测试 prompt。涉及未来话语的关系定义必须另标为事后分析，不能伪装成在线条件。
+
+主要对照包括同一段音频下去掉人物视图、同一已观测窗口内错配人物/时间、非人物 crop 等。
+扰动只作敏感性诊断，不等于真实世界因果干预；单个 attention 热图或流畅解释不是模型
+真正利用社会关系的充分证据。成功需体现正确视觉相对这些控制的稳定优势。
+
+## 4. 路线 F：冻结 Thinker，在内部重新利用局部证据
+
+“train-free”在此特指 **Qwen 参数冻结、无新学习的 connector**；若仍训练预测 head，
+整条 pipeline 不能称为完全零训练。超参数搜索/校准也需要公开数据来源。
+
+### F0：近期证据重读分支，先不改 attention
+
+从持久 cache 复制临时分支，使用原生 processor 把截至 t 的最近 1s 音频及人物视图
+作为明确的“近期片段重读”输入，再读出预测特征，随后丢弃分支。
+使用未池化、已投影到 Thinker 输入空间的媒体序列，不把侧路 2048D 均值直接加到 hidden state。
+
+这是一项待实现的输入/读出改造，不是现有 `_read_open_state` 已支持的功能。
+它会重复观察近期内容，必须记录原始时间段、正确生成模板和位置编码，且不把重读内容
+作为新发生的事件写回永久时间线。增加“重复同一原始片段、但无局部组织”的等预算控制，
+区分重读收益与局部结构收益；若无收益，及时停止这条分支。
+
+### F1：最小的内部干预——只调整临时读出 query 的近期证据注意力
+
+先在原有媒体序列上试，再与 F0 组合。记录 key 对应的模态、真实时间、人物区域；
+只对临时读出 query 的部分 head 加有界的注意力偏置，指向近期音频或当前有效人物区域。
+概念上为 `softmax(QKᵀ/√d + causal_mask + b_recent + b_person)`，不是给所有 head 无差别放大。
+
+- 先做固定近期偏置与随机 head 控制，再研究内容相关 head 选择，避免复杂方法没有朴素对照。
+- “偏向人物”不等于“识别谁发声”。声源—人物对应须来自可用 AV 的因果估计；
+  如用真值说话人关联，标为 oracle 上限。不能把 raw A/V 向量余弦直接假定为已校准的对应概率。
+- 只改分支 query，可保持已提交媒体 KV 不变；若改媒体 token 的历史注意力，受影响 KV 和后续状态必须重算。
+- 因果 mask 仍有效，不能为了 AV 对齐让 token 读取在当前 cutoff 之后的观测。
+- 优先测试“零偏置严格复现基线”、cache 未被分支污染、额外时间/显存开销。
+- FlashAttention-2 不一定支持所需 attention 输出/自定义 bias；小试可用 eager/兼容实现，
+  但性能比较必须同后端，另报原 FA2 基线，不能混淆算法开销与实现开销。
+
+F0/F1 改变特征分布，应分开报告“沿用旧 head 的无适配迁移”和“同配置重训 head”。
+后者仍是 frozen-backbone 比较，不是纯 inference-only 的整个系统。
+
+### F2：对比解码作为诊断候选，不直接套到当前 head
+
+TCD 用原音频与平滑音频的词表 logits 对比；ThinkOmni 用额外文本推理模型指导词表解码。
+两者可作为局部证据问答诊断的参考，但当前项目主要读取 hidden state，不生成长回答。
+不能将词表 logit 公式直接改成 `q_full + α(q_local − q_smooth)` 就声称复现论文。
+如研究 hidden-state 干预，必须作为新假设单独消融，并计入额外前向开销。
+
+HeadRouter 可借鉴“不同 head 对语义/声学信号作用不同”的机制及 Qwen 代码；
+当前先不剪掉近期音频 token。压缩基准成绩不证明 pruning 会提高 onset/offset 预测。
+
+## 5. 路线 E：wearer onset/offset 与第三方交谈期间的未进入
+
+### E0：先统一物理时间，再谈预测提前量
+
+保留历史 `EgoSpeak-compatible` 标称 horizon，不改写旧成绩。
+新增记录每个预测的 `input_cutoff`、`target_timestamp`、`available_timestamp`，报告：
+
+- 物理提前量 `target_timestamp − input_cutoff`。
+- 在线可用提前量 `target_timestamp − available_timestamp`，后者需实测推理延迟。
+- 实际事件时间差与 5Hz 栅格量化误差。
+
+目前特征 row i 的 cutoff 为 `(i+1)/5`，预测映射到 `j=i+h`。
+若该数据集的标签时间审计确认 `timestamp(j)=j/5`，真实提前量就是 `(h−1)/5`，
+标称 0.2s 对应 0s；若标签使用其他约定，应使用审计后的映射而非猜测。
+此前 EasyCom 首段匹配是重要证据，但不自动证明所有 session 或 Ego4D 的完整协议。
+零/负提前量结果只作检测或延迟结果，不称为提前预测。
+
+### E1：把 wearer 事件和全活动 transition 分开
+
+令 `w[j]` 为 wearer 活动：
+
+```text
+onset[j]  = (w[j-1] == 0) and (w[j] == 1)
+offset[j] = (w[j-1] == 1) and (w[j] == 0)
+```
+
+先评 G、A、G+A、G+A+V 的已有预测，不为测量效果立即增加 transition loss。
+可对固定 horizon 的流式 wearer 分数构造明确标名的上升/下降启发式和过阈值事件；
+它们不是模型直接输出的事件概率。若比较同一 cutoff 的相邻未来步，必须先从保存的
+`[target_time, class, horizon]` 数组还原共同预测起点，不能错用不同起点当同一次预测。
+缺少当前步分数时，不能把真值当前状态偷偷填入模型输出；oracle-current-VAD 需单列。
+
+若需要校准的“未来 H 内首次 onset”或 offset 概率，再增加 wearer 专属事件/hazard readout；
+这是后续有监督消融，与原 R1/R2 all-label transition 不同。
+未来某时刻的活动概率不等于期间至少发生一次 onset 的概率，尤其存在短 backchannel 时。
+
+主要报告：
+
+1. wearer-onset、wearer-offset 分别的 AP（明确 score 来源）、正例率和 AP/random。
+2. 事件级 precision/recall/F1：分别用 ±0.2s、±0.4s 作为预注册容差，一对一匹配，重复报警不能重复计对。
+3. 按真实提前量分层的 recall、错误报警次数/分钟、报警提前/滞后分布；允许迟到命中的 detection F1 与严格提前报警分开。
+4. 在固定 wearer-onset recall 下比较 false-entry rate，以及 onset recall–false alarms/min 曲线。
+5. 同时保留十 horizon 活动 AP/mAP，观察局部事件收益是否牺牲整体表现。
+
+AP 采用项目一致的计算方式，不把梯形积分 PR-AUC 和 AP 混报。
+阈值扫描可完整报告为描述性曲线；从测试曲线上读出的固定 recall 点不是已部署阈值。
+操作阈值、平滑和去抖规则必须预注册，或仅在训练侧校准；不在 Session 1–3 选择最优。
+保持既有 4 epochs、无 dev 的主协议时，预声明参数组合并完整报告，不能暗中 test-tune。
+
+session 起点、未观测上下文、原始被删片段形成的断点均需 mask；不能把拼接边界当成真实交接。
+先报告原始逐帧事件；若合并极短 VAD 间隙，另列敏感性分析，不能为了更高 F1 改真值。
+原始 20FPS 标注可用于更精细时间审计，但 5Hz 输出不能宣称已获得低于 200ms 的时间分辨率。
+
+### E2：对应用户想要的“别人互聊，wearer 没插话”
+
+用讲话对象与参与者活动建立分层：
+
+- 两位非 wearer 的定向交谈；
+- 其他人对 wearer 讲话；
+- Group / 未知对象；
+- 可见说话人 / 画外说话人；
+- 单人活动 / 多人重叠。
+
+在每个场景内同时保留 wearer 开口与未开口样本，避免构造全为负例的漂亮子集。
+“未来 H 内 wearer 没有 onset”可以作观察标签，不能直接命名为“合理不插话”。
+场景条件尽量只用过去窗口定义，未来只用于行为结果标注；若只分析事后未进入负例，明确注明。
+
+关键指标是：**在保持相同真实开口召回率时，第三方交谈子集的错误开口预测是否减少**。
+同时报告对 wearer 讲话子集的开口召回、延迟和每组样本/事件数，防止模型只学会普遍压低 wearer。
+控制/分层近期 wearer 活动、others 活动、语音能量和上下文长度，减轻普通 VAD/持续性差异混淆。
+
+若语义上要区分 backchannel、抢话、顺畅交接，利用现有 proxy 工具筛选候选，再人工复核。
+至少两名标注者、报告一致性与无法判断比例；不要求强行判定意图。
+示例预先固定抽样规则，展示成功、失败和模态冲突，附过去输入截止线、逐人活动、讲话对象、
+wearer 真值及预测曲线；不挑单个回答作为整体有效的证据。
+
+## 6. 近期文献与我们的差别
+
+| 工作 / 已核查发表状态 | 可借鉴点 | 不能直接推导的结论 |
+|---|---|---|
+| [MSA，CVPR 2026](../literature_notes/23_multi_speaker_attention_alignment.md) | 选择跨模态 head，并对同人区域/话语加偏置 | 原设定有身份话语转录；不是混合音频到逐人的在线对齐 |
+| [EgoAVU，CVPR 2026](../literature_notes/24_egoavu.md) | 需要验证声音—视觉的对应，而非仅输入两种模态 | 官方是数据与 SFT 路线，不证明必须新增 connector |
+| [AV-SpeakerBench，CVPR Findings 2026](../literature_notes/28_av_speakerbench.md) | 以说话人为单位，检查真正需要 AV 的问题 | 视频理解问答并非 200ms 轮次预测 |
+| [TCD，ACL Findings 2026](../literature_notes/29_temporal_contrastive_decoding.md) | 在冻结音频语言模型上增强瞬态声学证据 | 词表解码干预不等于 hidden-state/head 的直接替代 |
+| [ThinkOmni，ICLR 2026](../literature_notes/30_thinkomni.md) | Qwen2.5-Omni 的 train-free 推理增强确有实现思路 | 需要额外文本模型/解码；并非低延迟局部特征融合 |
+| [Address levels，SIGDIAL 2026](../literature_notes/31_continuous_address_levels.md) | 讲话对象及其不确定性与接话/注视/反馈有关 | 关系分析不证明因果决策，不把 uncertain 当 not-addressed |
+| [HeadRouter，作者宣布 ACM MM 2026 接收](../literature_notes/32_headrouter_audio.md) | 声学/语义 head 分工，有 Qwen 集成代码 | 用了校准数据；压缩效果不能当作本任务提升证据 |
+| [多模态 turn/backchannel，ACL 2025](../literature_notes/16_multimodal_turn_taking_backchannel.md) | 分别观察 keep、turn、backchannel | 双人、词级协议与第一视角多人预测不同 |
+
+截至本次核查，MSA 官方仓库的 zero-shot/LoRA 实现仍列为待发布；不能承诺直接运行原代码。
+HeadRouter 有公开核心代码及 Qwen 集成，但没有在本项目环境安装/验证。
+
+## 7. 实施次序、资源与停止条件
+
+| 优先级 | 待做交付物（名称为提案，不是已有命令） | 进入下一阶段的条件 |
+|---|---|---|
+| P0 | `eval_wearer_events.py`、目标对象覆盖审计、事件报告 | 时间映射、valid mask、事件计数可人工复核；获得已有基线的事件表现 |
+| P1 | `streaming_turn_model_people.py`，先 V1 拼图与预览 | 因果/尾块/缓存测试通过；同预算下有稳定感知或事件收益 |
+| P2 | 临时读出干预模块，F0/F1 分开消融 | 零干预复现；不污染 KV；超出普通重读/随机 head 控制 |
+| P3 | EasyCom 多 seed + Ego4D wearer/可见性复核 | 参数协议冻结后测试；不按测试表现反复改变子集 |
+
+8×L20 优先按不同 clip/session 或固定消融分配独立 worker，而不是一开始做大规模微调。
+先在训练 session 的少量有事件片段上做开发及边界检查，再运行完整 split。
+分片不能丢历史：同一连续流不能任意切段后把冷启动结果当完整上下文结果。
+正式复现保持 4 epochs、seed 0/1/2、同 split/head，并报告 token 数、参数量、显存和每步 p50/p95 延迟。
+多卡吞吐提升不等于单流 200ms 实时性。统计采用 session/clip 层级的配对汇总或 block bootstrap，
+不能把强相关帧当独立重复；EasyCom 仅三个测试 session，应展示逐 session 结果并谨慎解释区间。
+
+停止/转向规则：
+
+- V1 只在增加 token 后变好：先解释为输入预算收益，不声称人物组织创新。
+- AV 关联指标改善但 wearer 事件不改善：研究定位为感知/grounding，不宣称 agent 时机控制提升。
+- 所谓“不插话”收益来自 onset recall 降低：不支持社会选择性结论。
+- F1 不能胜过简单近期偏置/重读，或延迟明显不合目标：保留为负结果，不强行堆复杂干预。
+- 只有个例而无稳定分层指标/多 seed 证据：不能作为主贡献。
+
+## 8. 可主张的论文贡献与暂不能主张的内容
+
+值得争取的组合是：逐人 AV 证据的因果组织、冻结 Thinker 的可审计局部读出机制、
+以及 wearer 进入/退出与 third-party-exchange 分层评测。
+单独“加 crop”“加 attention bias”已有强相关先例，不能当作充分新颖性。
+
+若证据成立，可表述为“在其他参与者交谈的情境中降低错误 wearer-entry 预测，同时保持
+真实 entry 召回”。若要进一步表述为“agent 学会不打断”，还需真实动作、闭环交互及
+用户体验/打断代价评测；现有 EasyCom/Ego4D 离线数据不能独立完成这项证明。
--- a/docs/trainable_speaker_fusion_survey_2026-08-28.md
+++ b/docs/trainable_speaker_fusion_survey_2026-08-28.md
@@ -0,0 +1,253 @@
+# 可训练的多人 AV 融合：从视觉证据到 wearer 开口预测
+
+日期：2026-08-28。状态：研究方案，尚未实现、训练或验证。
+本文扩展[逐人 Thinker 与事件评测计划](speaker_aware_thinker_plan_2026-08-28.md)，不再限定 train-free。
+本轮只检查本地代码及公开一手文献，没有访问远程 GPU、下载模型、改变训练配置或提交 Git。
+
+## 1. 研究目标与需要区分的变量
+
+目标：在相同 wearer 开口事件召回率下，正确视觉降低第三方交谈期间的错误开口预测；同时，对 wearer 讲话的片段中，接话召回及提前量不退化。
+这是离线行为预测目标，不等于已经证明 agent 会礼貌地选择不插话。
+
+不要把以下四个轴混为一次实验：
+
+1. 信息结构：人物平均，还是保留逐人身份、空间位置和时间。
+2. 时序模型：单帧 MLP，还是有限历史 GRU/TCN/因果 attention。
+3. 融合位置：最终 head，还是 Thinker 内部。
+4. 监督：三路未来活动，还是额外的逐人活动、讲话对象及 wearer onset。
+
+“换成 RNN”不自动找回已经被人物平均抹掉的信息；“放入 Thinker”也不自动获得 AV 对齐。
+主要问题应是 **speaker/addressee-conditioned forecasting**，而不是预先指定必须由大模型胜出。
+
+## 2. 已有实现与资产
+
+- `extract_turn_local_features.py::extract_local`：`persons.features` 保存逐张 crop 的 2048D 空间池化向量；另有 `frame_times/frame_offsets/records`。可以先复用，不必重新提取全部局部特征。
+- 现有 `visual` 又经过人物平均与最近 1s 时间平均；当前 `TurnPredictionHead` 是投影、拼接、MLP，没有逐人 RNN。
+- `audio` 是最近 1s **混合音频**的编码器池化，每 200ms 更新；不是每人独立麦克风或分离音源。
+- G 已经包含全局音视频。G+A 不是 audio-only；G+A+V 对 G+A 只能证明额外局部视觉的价值。
+- `train_omni_turn_lora.py` 已有 PEFT、末 N 层 LoRA、gradient checkpointing、torchrun/DDP、冻结 Thinker 对照；`omni_cached_av.py` 可重建 pre-Thinker AV 序列。
+- 该入口尚不包含本文提出的逐人 memory adapter、addressee loss 或事件评测。代码存在不代表已完成 L20 验证。
+- 最终 G 状态 `.pt` 不能用来反向训练生成它的 Thinker。需要 pre-Thinker AV 缓存或在线编码；缓存的 encoder 若要训练，就必须重新在线计算。
+
+现有单 seed 结果：G+A wearer AP 85.06554，G+A+V 85.08583，仅差 0.02029 个百分点；不能据此证明视觉社会理解。详见[完整记录](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)。
+
+## 3. 直接相关文献及其适用边界
+
+各独立笔记在[文献目录](../literature_notes/README.md)，均标明阅读深度。以下是研究设计所用的证据，不是对我们数据集效果的承诺。
+
+| 方法 / 发表信息 | 借鉴点 | 不应直接搬用的条件 |
+|---|---|---|
+| [MuVAP](https://arxiv.org/html/2606.16731)，作者仓库标注 Interspeech 2026 | 单路混合音频、逐人视觉、因果多人预测；最接近的结构性相关工作 | 官方仓库仍为 code coming soon；外部 ASD/VAP 预训练；第三人称可见人物设定，不直接覆盖不可见 wearer |
+| [SICNet](https://www.amazon.science/publications/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection)，ICASSP 2024 | 第一视角 talking-to-me 与较长社会上下文 | 使用转写、提供的 diarization/框；在话语结束处分类，不是连续提前预测 |
+| [AV-Dialog](https://aclanthology.org/2026.acl-long.1954/)，ACL 2026 主会 | 将视觉目标人跟踪、流式理解和轮次事件共同训练 | 指定目标人的干扰对话不等同于自由多人分配；大规模预训练不适合作为本项目起点 |
+| [FLoRA](https://www.isca-archive.org/interspeech_2024/palaskar24_interspeech.html)，Interspeech 2024 | 模态适配器、缺失模态处理；固定拒绝率报告误接受率 | BART/T5 和私有 device-directed 数据；不是 Qwen 插件或 wearer 事件预测 |
+| [Whisper-Flamingo](https://www.isca-archive.org/interspeech_2024/rouditchenko24_interspeech.html)，Interspeech 2024 | 在强音频模型内部通过零初始化门控 cross-attention 学习视觉增量 | 原任务是 AVSR/翻译；不是已验证的在线接话模型 |
+| [LoCoNet](https://arxiv.org/html/2301.08237)，CVPR 2024 | 逐人时间结构与跨人互动；可用作专门 ASD 编码路线 | 原模型整段预测不等于流式因果；需要审计/修改 temporal conv 和 attention |
+| [MBT](https://proceedings.neurips.cc/paper/2021/hash/76ba9f564ebbc35b1014ac498fafadd0-Abstract.html)，NeurIPS 2021；[LAVISH](https://openaccess.thecvf.com/content/CVPR2023/html/Lin_Vision_Transformers_Are_Parameter-Efficient_Audio-Visual_Learners_CVPR_2023_paper.html)，CVPR 2023 | 少量 latent token 限制融合成本、保留各模态支路 | 分类任务结构启发，不是接话预测证据 |
+| [InfoReg](https://openaccess.thecvf.com/content/CVPR2025/html/Huang_Adaptive_Unimodal_Regulation_for_Balanced_Multimodal_Information_Acquisition_CVPR_2025_paper.html)，CVPR 2025；[InfoBridge](https://openaccess.thecvf.com/content/ICCV2025/html/Li_InfoBridge_Balanced_Multimodal_Integration_through_Conditional_Dependency_Modeling_ICCV_2025_paper.html)，ICCV 2025 | 模态竞争、过度对齐及互补信息保护 | 不能因我们 A 强就断言发生了优化失衡；冻结特征头与端到端 encoder 调节不同 |
+
+另外筛选了 triadic VAP、gaze-enhanced turn-taking、噪声下视觉接话、3M-Transformer 和 LoRA-adapted MM-VAP。逐人麦克风、眼动仪、多视角以及非因果窗口均必须作为额外条件列明，而不能冒充单路 AV 基线。
+
+### 最重要的新颖性限制
+
+MuVAP 已经涉及单路音频、逐人视觉和多人未来活动；MSA 已有 speaker-aware attention。
+因此“局部 crop + cross-attention/LoRA”本身不足以成为完整贡献。
+我们的待验证差异是：不可见 wearer 的第一视角、对 wearer / 对第三方的关系、真实提前量，以及召回受约束的误开口评测。
+是否达到某会议发表标准仍取决于实验质量、泛化和新颖性复核。
+
+## 4. 路线 A：逐人因果时序旁路，优先实施
+
+### 输入和结构
+
+对每个时刻 t，读取截至 t 的 `persons`，按连续片段内的 local track 整理为人物序列，保留缺失 mask、框坐标和观测年龄。
+使用同一组权重编码各人物，避免把 Session_4 的某个身份编号学成固定说话倾向。
+
+```text
+逐人 crop 向量 + bbox + 有效性/观测年龄
+  → 共享的有限历史 GRU / causal TCN
+  → 当前及历史人物 token
+
+近期混合音频 + 全局 G
+  → query → 对人物 token 的 cross-attention
+  → 逐人发声 / 对 wearer 讲话的辅助预测
+  → gated residual → 未来活动与 wearer onset/offset
+```
+
+建议第一版 d=256、1 层 GRU 或 2 层小型 attention、8s 有限历史。它们是工程初值，不是已调优配置。
+GRU 必须从每个有限窗口起点重建状态，或另行标注持续记忆条件；仅 detach 梯度并不会把推理记忆限制在 8s。
+第一轮仅把当前 G(t) 作为全局 query，不再对过去一串 G 做 RNN，否则每个 G 自带的历史会扩大有效上下文。
+局部音频向量本身含 1s 历史；选择过去向量时要检查其原始波形起点，而非只看向量的结束时间。
+必须另做相同有效历史的 G+A temporal 基线，防止把额外音频历史收益误归因于视觉。
+2Hz 视觉在 5Hz 输出间使用最近可用观测及 age/mask，不能将重复的画面称为新的 200ms 视觉信息。
+音频每人分支可以共享同一混合表示，但不能把它说成多个分离音源。
+
+保持 G+A 基线作为残差起点：
+
+`logits(t) = logits_GA(t) + gate(t) * delta_relation(t)`
+
+gate 由输入预测，不由测试真值决定；增量可正可负。不能写成“别人讲话则禁止 wearer 开口”，因为真实对话有 overlap 和 backchannel。
+先固定 G+A 分支训练增量，随后将联合训练作为单独消融。零初始化增量能保持初始基线，但不保证训练后的不退化。
+
+### 训练目标
+
+第一阶段只改变表示/结构，保持现有活动 loss。
+第二阶段按顺序加入监督，而不是一次叠加多个新项：
+
+1. 逐人当前活动 BCE：教会视觉与混合音频关联；overlap 是多标签。
+2. 讲话对象监督：wearer / another participant / group / none，未知标注 mask；不要把 group 或缺失合并为负例。
+3. wearer 专属 onset/offset：只针对 wearer 变化，区别于 R1/R2 的任意三路标签变化。
+
+可用 `L_activity + λ_asd L_asd + λ_addr L_addr + λ_event L_event`，逐项 ablate、在训练侧确定系数。
+不沿用“pos_weight=3 一定合适”的假设，先统计各监督的正例率与有效覆盖。
+
+事件 head 可预测未来 K 个 200ms bin 内“第一次 onset”的 K+1 分类（含窗口内不开口），或离散 hazard。
+“未来某点正在说话”和“未来发生开口”不是同一标签。onset 在当前静默的风险集训练/评测，offset 则相反。
+这些真值风险集只用于监督/分析；实际系统不能查询未来/当前标注来触发决策。部署时需要预测状态或已知的 agent 自身发声状态。
+
+### 何时放弃复杂化
+
+若逐人分支对 ASD/讲话对象都没有可用预测能力，先查身份/时刻对齐、裁剪范围和视觉表示。
+若辅助任务可行但 wearer 不改善，则应检查这些关系是否真正提供额外预测信息，而不是继续增加模型参数。
+
+## 5. 路线 B：把局部证据放进 Thinker，作为主方法候选
+
+### B1：有限 local memory + 门控 cross-attention
+
+保留全局 AV 输入，把最近逐人向量组成独立 local memory，经共享投影与小型 resampler 压缩成有限 token。
+保持人物身份边界；例如每人 4 个 latent，4 人约 16 个，加一组近期音频 token。
+最初可用已有 pooled 向量；更细版本才重新缓存空间 token。可训练投影能适配 pooled 特征，但无法还原被池化丢失的信息。
+
+在 Thinker 最后若干层加入：
+
+`h' = h + tanh(alpha) * CrossAttention(LN(h), local_memory)`
+
+alpha 初值为 0，先只训练 local adapter 和输出 head。
+优先尝试仅作用于临时 readout query 的版本，让局部记忆影响本次读出，不回写历史 media KV；与“所有 token 都融合”分列实验。
+memory 使用独立时间/track 编码及可用性 mask，不伪装成原视频网格位置。借鉴 Flamingo/Whisper-Flamingo 的结构，不声称这是原生 Qwen 功能。
+
+### B2：adapter + 末层 LoRA
+
+B1 有效后，再对最后 4 层 q/v 投影做 rank=8 LoRA；rank=16、最后 8 层为预算允许时的扩展。
+额外必要基线：相同 LoRA、不输入局部人物特征。否则无法判断收益来自普通任务微调还是局部 AV。
+训练只使用同一时刻的历史前缀，不在权重更新后复用旧权重产生的 Thinker KV。
+冻结 AV encoder 可用现有 pre-Thinker cache；最终状态 cache 不可替代。
+
+另可试输入端局部 prefix/mosaic + LoRA，作为较少改 transformer 的对照。
+它需要更新媒体 token 组织、parser、TMRoPE 和预算审计；不应将多个同时刻人物串成不同视频时刻。
+
+### 必须与路线 A 公平比较
+
+固定原始输入、8s 历史、人物数、2FPS 起始采样、活动监督以及事件标签。
+比较三条：G+A+person temporal branch；同输入的 Thinker adapter；adapter+LoRA。
+报告参数、token 数、训练 GPU-hours、峰值显存、端到端每步 P50/P95 延迟及实际可用提前量。
+仅最终 AP 更高但无法及时输出，不能称为更好的实时接话系统。
+
+## 6. 路线 C：专门 AV 编码器 / 蒸馏，独立实验家族
+
+Qwen 图像 encoder 的单帧语义并非为唇动、gaze 或 ASD 专门训练。
+若路线 A 的表示诊断不理想，可引入 causalized TalkNet/LoCoNet 风格 AV 分支，保留逐人唇动时间结构，再与 G 融合。
+首先用原始视频小规模对照 2、5/10、原模型所需高帧率；低帧率不应插值成所谓真实高帧率。
+专门模型的 temporal conv、双向网络、全片归一化、未来 tracking 都须审计，不能直接把离线 ASD 特征作为因果特征。
+
+这条路线改变了编码器/预训练数据，应与“只用 Qwen 编码器”分表；全局语义/长期历史与近期声学视觉运动可能互补，但需要验证。
+不要一开始就声源分离：分离引入额外模型、时延、伪影和信号权限；在混合表示上先做人物归属更容易控制变量。
+
+蒸馏属于后续加速：在相同过去前缀下由有效的 Thinker+local 教师给时序小模型软目标；额外完整未来教师只能作为 privileged teacher 协议。
+未经验证的教师推断不能变成“真实社交意图”标签。
+
+## 7. 把“不退化”落实为评测，而非口头保证
+
+### 时间与事件
+
+- 保存 input cutoff、源帧/音频最大时间、输出可用时刻、目标物理时间、segment ID。
+- 旧特征 row i 的 cutoff=(i+1)/5；若标签 row j 的时间为 j/5，旧 i+1 对齐的真实 lead=0，不是 0.2s。须逐数据集审计，原标称指标保留，不混成新提前量。
+- 事件预测提前窗口使用严格正 lead，例如预先指定 0.2/0.6/1.0s；合并连续告警并一对一匹配真值 onset。提前量按可用时刻计算，另报只按输入 cutoff 的理想值。
+- 训练和评测窗口都不能跨原始缺片拼接断点。仅重置新分支还不足以保证已有 G 未跨断点；需要审计全局 cache 或排除受影响窗口。
+
+### 分层定义
+
+1. 第三方交谈：可见他人 A/B 有交替发言，讲话对象明确为对方或其他非 wearer，wearer 当前静默；如果预测窗口内真实开口，不算误报。
+2. Addressed-to-wearer：当前/最近他人话语明确对 wearer，单独统计有真实 wearer onset 的事件召回、提前量，以及没有回应时的误报。
+3. Group / Unknown：单列；不要挑掉难例后只汇报容易的子集。
+
+两个人可见、others=1 或两个人同时发声，都不足以证明 A↔B 交谈。切片规则先根据训练侧冻结，测试侧不按预测效果挑选。
+
+### 主要指标
+
+- wearer onset 事件 AP、offset 事件 AP；保留原 10-horizon 活动 AP。
+- `third_party_false_entries_per_minute @ wearer_onset_recall=r`，r 如 0.7/0.8/0.9 预先指定；达不到的目标召回应报告不可达。
+- 同一阈值下 addressed-to-wearer 子集的 onset recall、提前量/延迟。
+- 预设不退化容限 epsilon，报告配对差及区间；不能仅因 p>0.05 就宣称不退化。
+- 按 session/连续对话块聚类 bootstrap，另报逐 session 结果。EasyCom 仅 3 个测试 session，区间稳定性有限，不能把相邻 5Hz 样本当独立重复。
+
+固定全局召回仍可能牺牲 addressed 子集，所以两条约束必须同时报告。
+测试集上完整预定义曲线的插值可用于描述匹配召回比较，但不能选出部署阈值再称独立验证。
+继续保留原 4 epoch、无 dev 的对照；要确定实际阈值，用训练集内部交叉拟合/校准并明确协议，不能使用 Session_1–3 挑阈值、epoch 或 loss 权重。
+
+可以后续研究训练侧约束优化：最小化第三方负例风险，同时约束 onset 总召回与 addressed 召回。
+但权重/拉格朗日训练并不保证测试集满足约束；先验证表示与指标，不把它包装成已有有效 RL。
+
+### 视觉对照与因果表述
+
+- 同模型正确局部视觉、缺失局部视觉、仅使用更早的局部视觉、破坏跨时刻身份对应的局部视觉。
+- 缺失/错配可能是分布外扰动，因此还要有从头训练的无局部视觉与匹配预算控制。
+- 同步重排人物槽位应不影响 permutation-equivariant 模型；这种重排不是错误视觉。应破坏时间—身份或 AV 对应，并记录具体扰动。
+- 若 G 固定，仅检验新增局部 V；要检验全部视觉，必须同步重算 G 的视觉输入，不能只删除旁路。
+- 不从测试集选择最有利案例；案例按预定分层抽样，同时显示成功/失败与完整时间线。
+- 上述输入干预支持模型是否利用视觉的证据，不证明人类未开口的心理因果动机。
+
+## 8. 标注供给：先 EasyCom，再审计 Ego4D
+
+[EasyCom 官方](https://github.com/facebookresearch/EasyComDataset#speech-transcriptions-and-voice-activity)提供逐人发声和 `Target_of_Speech`。可以作为训练辅助监督及评测分层；禁止作为测试模型输入。
+Optitrack、独立参与者麦克风或人工转写作为输入，均须另列 privileged 条件。
+
+本轮新确认：[Ego4D Social](https://ego4d-data.org/docs/benchmarks/social/)包含 LAM/TTM，并在 AV schema 中定义 `social_segments_talking` / `social_segments_looking` 和 `is_at_me`。
+这修正了此前“尚未确认可用 addressee”的信息状态，但**没有确认远程 433 个 clip 的字段覆盖**。
+下一步需按 clip_uid/source_clip_uid、时间和 split 对齐，统计已标注/缺失范围；字段缺失不能填作 negative，TTM=false 也不自动指出具体在对哪位第三方说话。
+官方 TTM benchmark 包含 speaker-status 条件；本研究主模型只能用预测的逐人活动，不可直接拿 GT VAD 作输入。
+本项目 346/87 EgoSpeak split 与官方 TTM split 不等价，监督预训练时检查 video/session/participant 重叠，避免把本项目测试 clip 用作辅助任务训练。
+
+## 9. 8×L20 实施顺序与资源边界
+
+以下是工程预算判断，不是实测吞吐。按每卡约 48GB 规划，执行前以 nvidia-smi 核实；DDP 复制模型，不将 8 张显存自动合并成一块。
+
+| 实验 | 起步资源 | 可复用资产 | 优先级 |
+|---|---|---|---|
+| matched-recall 事件评测、字段覆盖审计 | CPU | 原预测、原始标注 | P0 |
+| pooled-GRU vs person-GRU/cross-attention | 预期单卡可训；多卡分配独立 seed/消融 | 已有 G、A、persons | P1 |
+| 加逐人活动、addressee、onset 监督 | 同上 | 同一输入；新增训练标签 | P1 |
+| local memory adapter | 先单卡 microbatch=1 profiling，再 DDP | 冻结 AV 编码缓存；必要时重存局部 token | P2 |
+| adapter + 最后 4 层 rank-8 LoRA | 同上；梯度累积/checkpointing | 现有 LoRA trainer 的基础设施 | P2 |
+| 专门高帧率 ASD / AV encoder 适配 | 先 1 卡小样本，合适后分布式 | 原视频/框、外部预训练 | P3 |
+| 从头复现 AV-Dialog 全流程、Omni 全参大规模预训练 | 不列为当前主线 | 数据/训练规模超出低成本验证 | 暂缓 |
+
+[AV-Dialog 附录](https://arxiv.org/html/2511.11124)报告 stage 1 用 128×A100、stage 2 用 32×A100；这不是说 8 卡数学上无法训练，而是完整重现所需成本不适合本项目当前优先级。
+先用现成 Qwen3B 做任务适配，不能把“训练参数少”当作“激活显存一定少”。
+
+第一轮建议矩阵：
+
+| ID | 设置 | 回答的问题 |
+|---|---|---|
+| A0 | G+A，原 MLP | 已有参考 |
+| A0t | G+A temporal，无局部视觉、匹配有效历史及容量 | 音频时序增强能解释多少收益？ |
+| A1 | G+A+pooled V，有限历史 GRU | 时序建模本身是否足够？ |
+| A2 | G+A+person GRU/cross-attention，相同历史/容量 | 人物身份结构是否有价值？ |
+| A3 | A2 + 逐人活动监督 | 是否学到 AV 人物对应？ |
+| A4 | A3 + 讲话对象监督 | 交互关系是否降低第三方误报？ |
+| A5 | A4 + wearer 事件监督 | 是否改善事件而非仅活动 AP？ |
+| B0 | 无局部 memory 的相同 Thinker LoRA | 普通任务微调收益 |
+| B1/B2 | local adapter / adapter+LoRA，同监督 | 内部融合是否优于强旁路？ |
+
+每项先 seed0 做数据/接口 smoke test；正式主比较至少相同 seeds 0/1/2，不按 seed0 测试提升挑方法。
+8 卡优先分配独立消融与 seed；只有实测单次训练需要时再用全部 DDP。记录失败实验和计算成本。
+
+## 10. 后续代码落点（尚未创建）
+
+- 先扩展 `local_turn_features.py` 的读取契约，整理 track-level 序列；保留旧 pooled 接口不变。
+- 拟新增 person temporal head；训练/推理配置显式保存 history、缺失处理、track 策略和监督覆盖。
+- 复用 `derive_easycom_interaction_events.py` 的时刻/人物映射，新增讲话对象与 wearer 专属评测；不要复用 generic transition 指标名称。
+- Ego4D 先新增 social coverage 审计，再决定是否共用 addressee loss。
+- 内部融合在 `train_omni_turn_lora.py` / `omni_cached_av.py` 的基础上单独实现和测试；不先改全局提取结果的含义。
+- 必测：未来媒体扰动不改变过去输出；有限历史/断点重置；人物排列等变；缺失与全空；overlap；时间匹配；阈值只用训练侧；adapter=0 与基线一致；更新权重后旧 KV 不复用。
+
+推荐决策：先完成 A 路线和评测，确认视觉对应/讲话对象信号存在，再投入 B。若 A 的强基线已经实现目标，论文也不必强行要求 Thinker 内部融合。
--- a/literature_notes/16_multimodal_turn_taking_backchannel.md
+++ b/literature_notes/16_multimodal_turn_taking_backchannel.md
@@ -1,15 +1,19 @@
 # Predicting Turn-Taking and Backchannel in Human-Machine Conversations Using Linguistic, Acoustic, and Visual Signals

 - 会议：ACL 2025
- 阅读深度：摘要级筛选
+- 阅读深度：重点章节阅读（2026-08-28 补读数据构造 §3、模态消融 §5）
 - 官方链接：https://aclanthology.org/2025.acl-long.743/

 ## 摘要（中文转述）

-该工作构建超过 210 小时的 MM-F2F 对话数据，研究联合语言、声学和视觉线索的轮次转换及 backchannel 预测。框架强调模态间关系，并支持不同输入模态组合，论文报告其在两个任务上的改进。这里按摘要级证据记录，不把这些结果直接外推到第一视角多人在线预测。
+该工作构建超过 210 小时的 MM-F2F 对话数据，研究联合语言、声学和视觉线索的轮次转换及 backchannel 预测。框架强调模态间关系，并支持不同输入模态组合。补读发现其为双人面对面对话的词级 KEEP / TURN / BACKCHANNEL 分类，并非我们的 5Hz 多 horizon 活动预测。

 ## 与当前项目的关系

 它支持把笼统的 wearer/others 活动进一步拆成 transition 子类型进行诊断。即使训练标签暂时不变，也可以从目标序列派生 onset、offset、overlap onset 和短促 backchannel-like 片段，分别报告性能，判断模型真正改善了哪种动态。

 补充边界：短促语音不必然是 backchannel；仅凭三路活动标签不能得到可靠的互动功能标签。若要报告真正的 backchannel 或说话对象识别，需要相应标注和协议，不能把活动时长规则当作语义真值。
+
+## 补读后的实验启发
+
+论文[正文 Table 3 与 Figure 4](https://aclanthology.org/2025.acl-long.743.pdf)分别观察各行为的 F1，并讨论头部运动、注视和表情线索；整体准确率与各行为的变化并不总同向。因此不能只用总体 mAP 判断视觉贡献。它也不证明任意 audio+video 组合都优于 audio-only，更不能把其 F1 与本项目 AP 直接比较。
--- a/literature_notes/23_multi_speaker_attention_alignment.md
+++ b/literature_notes/23_multi_speaker_attention_alignment.md
@@ -3,7 +3,7 @@
 - 作者：Liangyang Ouyang 等
 - 会议：CVPR 2026；预印本初发于 2025 年
 - 阅读深度：重点章节阅读（问题分析、方法及输入要求）
- 记录日期：2026-08-27
+- 记录日期：2026-08-27；方法与代码状态复核：2026-08-28
 - 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2026/html/Ouyang_Multi-speaker_Attention_Alignment_for_Multimodal_Social_Interaction_CVPR_2026_paper.html)、[arXiv 正文](https://arxiv.org/pdf/2511.17952)

 ## 摘要（中文转述）
@@ -17,3 +17,9 @@
 ## 本项目的待验证迁移

 用当前可见 track 的区域特征构成参与者集合，训练音频条件下的融合和逐人活动辅助任务。身份标签可作训练监督；推理若使用真值框或真值说话人归属，必须单列为 oracle 条件，不能与仅原始 AV 的结果混报。还需保留佩戴者和画外/未定位说话人的表示。
+
+## 2026-08-28 补读
+
+方法 §4.1–4.2 按话语 token 到人物区域的注意力选择 head，再对同人话语—视觉关系加偏置。因而“在 Thinker 内加人物 attention bias”本身已有直接相关先例；本项目须验证无真值话语身份输入的 AV 关联、严格输入截止时间以及 wearer 事件收益。
+
+[官方仓库](https://github.com/ut-vision/SocialInteraction) 本次核查仅将论文发布勾选完成，zero-shot 与 LoRA 实现仍列为待发布；未运行其代码。新版迁移设想见[实验计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)，其中读出分支干预是我们的假设，不是原论文已实现的 Qwen2.5-Omni 在线方案。
--- a/literature_notes/24_egoavu.md
+++ b/literature_notes/24_egoavu.md
@@ -17,3 +17,5 @@ EgoAVU 用数据生成与筛选流程，将第一视角视频中的音频和视
 ## 适用边界

 其任务主要是理解与问答，并非多人轮次预测；大规模指令数据上的微调收益不保证迁移到小规模 EasyCom。由此提出的局部 LoRA、模态 dropout 等是我们的候选控制，而非本次阅读已验证的原作训练结论。
+
+2026-08-28 核查：[官方 Training 说明](https://github.com/facebookresearch/EgoAVU#training)提供既有 Qwen2.5-Omni 的 LoRA / full SFT 配置。不能将这项工作解读为“已经证明必须额外增加一个模态连接层”。先检验输入组织和冻结模型的局部证据利用，再决定是否需要训练新模块。
--- a/literature_notes/28_av_speakerbench.md
+++ b/literature_notes/28_av_speakerbench.md
@@ -0,0 +1,18 @@
+# See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models
+
+- 简称：AV-SpeakerBench
+- 作者：Le Thien Phuc Nguyen 等
+- 会议：CVPR **Findings** 2026；不是 CVPR 主会论文集
+- 阅读深度：摘要及任务设计筛选；未复现
+- 记录日期：2026-08-28
+- 来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2026F/html/Nguyen_See_Hear_and_Understand_Benchmarking_Audiovisual_Human_Speech_Understanding_in_CVPRF_2026_paper.html)、[论文正文](https://arxiv.org/html/2512.02231)、[官方实现](https://github.com/plnguyen2908/AV-SpeakerBench)
+
+## 摘要（中文转述）
+
+该基准以说话人而非整个场景为推理单位，用 3,212 道选择题检验人、语音内容和时间的跨模态关联。问题设计强调仅看视频或仅听音频不应轻易解决所有问题，人工核查保证语音理解与画面证据确实相关。
+
+## 本项目的启发与边界
+
+为“视觉有意义”设计证据需求明确的小型诊断：保持音频不变，正确人物视图是否优于遮挡/错配视图？让模型区分多个可见人物，不只预测合并的 others。
+
+原作是视频理解问答，不是未来轮次或合理打断的标注集。我们仍需独立的 wearer 事件指标、因果 cutoff 和稳定样本选择，不能拿自由文本解释代替预测成绩。
--- a/literature_notes/29_temporal_contrastive_decoding.md
+++ b/literature_notes/29_temporal_contrastive_decoding.md
@@ -0,0 +1,18 @@
+# Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models
+
+- 简称：TCD
+- 作者：Yanda Li、Yuhan Liu、Zirui Song、Yunchao Wei、Martin Takáč、Salem Lahlou
+- 会议：ACL **Findings** 2026
+- 阅读深度：重点章节阅读（方法、架构适用性及开销附录）；未复现
+- 记录日期：2026-08-28
+- 来源：[ACL 论文页](https://aclanthology.org/2026.findings-acl.733/)、[正文](https://aclanthology.org/2026.findings-acl.733.pdf)
+
+## 摘要（中文转述）
+
+统一音频语言模型可能偏向平滑的上下文而弱化瞬态声学信息。TCD 对原音频和平滑后的音频分别编码，用两条路径的词表 logits 差异进行有门控的局部解码修正，无需更新模型参数。实验包含 Qwen2.5-Omni；适用性分析强调 decoder 应能访问有时间结构的音频序列。
+
+## 本项目的启发与边界
+
+先保留近期未池化音频 token，检验 Thinker 是否使用起音/停顿线索，是比直接放大 pooled A 更明确的假设。
+
+原法修改生成词概率，不是 2048D hidden state。直接对 hidden state 做相减不是复现；音频平滑和两路前向也有额外开销。若在流式场景迁移，只可在已观测前缀内构造对比音频。QA 诊断可以参考原方法，wearer 事件预测需另做实验。
--- a/literature_notes/30_thinkomni.md
+++ b/literature_notes/30_thinkomni.md
@@ -0,0 +1,17 @@
+# ThinkOmni: Lifting Textual Reasoning to Omni-modal Scenarios via Guidance Decoding
+
+- 作者：Yiran Guan 等
+- 会议：ICLR 2026（已核查官方 poster 条目）
+- 阅读深度：重点章节阅读（§3 方法与实验设置）；未复现
+- 记录日期：2026-08-28
+- 来源：[ICLR 条目](https://iclr.cc/virtual/2026/poster/10007339)、[论文正文](https://arxiv.org/html/2602.23306v1)
+
+## 摘要（中文转述）
+
+ThinkOmni 将现成文本推理模型作为 Omni 解码的指导者，不微调 Omni 参数。它在共同文本前缀上对比指导模型与 Omni 文本路径，再结合完整多模态路径，并动态平衡感知与推理信号。实验包含 Qwen2.5-Omni-3B/7B。
+
+## 本项目的启发与边界
+
+这是“冻结 Omni 也能改变其推理行为”的直接例子，但不是插入局部特征的免费解决方案：需额外模型、兼容词表/解码和计算预算。其输出目标是文本推理，不是我们的未来活动 head；若只读取状态向量，不能原样迁移词表混合公式。
+
+优先级低于近期证据读出与逐人输入。可用固定结构化问答检验模型是否识别讲话关系，但推理说明不是社会决策的真值。
--- a/literature_notes/31_continuous_address_levels.md
+++ b/literature_notes/31_continuous_address_levels.md
@@ -0,0 +1,17 @@
+# On the Structure of Address in Multi-Party Dialogue: From Discrete Labels to Continuous Levels
+
+- 作者：Taiga Mori、Koji Inoue、Divesh Lala、Tatsuya Kawahara
+- 会议：SIGDIAL 2026（对话领域专业会议，不标成 ACL 主会）
+- 阅读深度：重点章节阅读（问题、标注与行为建模）；未复现
+- 记录日期：2026-08-28
+- 来源：[ACL Anthology](https://aclanthology.org/2026.sigdial-1.47/)、[正文](https://aclanthology.org/2026.sigdial-1.47.pdf)
+
+## 摘要（中文转述）
+
+该工作质疑“每句话只对应一个离散听众”的假设，用多标注者判断构造连续 address level，并分析它与后续接话、听者注视及 backchannel 的关系。包含层级因素的统计模型显示，连续表示比简单离散标签具有更好的拟合表现。
+
+## 本项目的启发与边界
+
+“有人发声”不足以说明“wearer 应当回复”；是否对 wearer 讲话是值得单独检验的因素。EasyCom 的 `Target_of_Speech` 可启动这一分析，但 Group、None、未知及标注不一致需分别保留，不能强行二值化为“轮到/没轮到 wearer”。
+
+原论文主要是标注与关系分析，不是已验证的因果在线控制器。过去话语的目标与未来接话存在关联，也不意味着所有未被直接指向的接话都不恰当。
--- a/literature_notes/32_headrouter_audio.md
+++ b/literature_notes/32_headrouter_audio.md
@@ -0,0 +1,18 @@
+# HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models
+
+- 作者：Peize He 等
+- 发表状态：作者官方项目页与仓库宣布 ACM MM 2026 接收；本次未另外核对 ACM 正式论文集
+- 阅读深度：重点方法/校准章节及官方代码说明；未安装或运行
+- 记录日期：2026-08-28
+- 来源：[论文](https://arxiv.org/html/2604.23717)、[作者项目页](https://dabdans.github.io/HeadRouter/)、[官方仓库](https://github.com/DabDans/HeadRouter)
+- 注意：不是同名的图像编辑 HeadRouter
+
+## 摘要（中文转述）
+
+该方法观察到音频任务中语义与声学所依赖的注意力头不同，按输入行为混合 head 权重后选择音频 token，实现冻结模型的任务自适应压缩。官方代码提供 Qwen2.5-Omni 集成。其路由分布使用少量开发集统计校准，因此 train-free 不等于完全 data-free。
+
+## 本项目的启发与边界
+
+可借鉴 head 分工和探测实现，检验负责近期声学证据的 head 是否有助于 onset/offset。但先保留近期音频，不把“非语音/低能量”全部剪掉：停顿本身可能是轮次线索。
+
+原论文优化压缩—理解权衡，不直接证明 turn-taking 改善。迁移必须重测因果前缀、KV 一致性及事件性能；不能用测试 session 校准路由参数。
--- a/literature_notes/33_muvap.md
+++ b/literature_notes/33_muvap.md
@@ -0,0 +1,15 @@
+# MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild
+
+- 作者：Haotian Qi、Gabriel Skantze
+- 状态：2026 预印本；作者仓库标注 Interspeech 2026，本轮未找到正式 ISCA 条目
+- 阅读深度：重点方法、训练、事件评测及局限章节；未运行
+- 核查日期：2026-08-28
+- 来源：[论文](https://arxiv.org/html/2606.16731)、[官方仓库](https://github.com/Haotian-Qi/MuVAP)
+
+## 摘要与项目关系
+
+将单声道混合音频与逐人脸轨迹结合，先学习声学轮次和因果 ASD 表示，再融合为全局及逐人未来活动预测。用相对发言角色控制多人联合状态空间；任务包含 shift/hold 和 next speaker。是我们逐人时序旁路最直接的相关工作。
+
+不能把“单声道＋逐人视觉＋因果接话”作为独有贡献。我们的区别需要落在不可见 wearer、讲话对象及受召回约束的误开口上，而不是只换编码器。
+
+作者承认角色识别存在延迟；验证主要为第三人称双人/三人英语场景。数据预处理的全片身份锚点也需与严格在线 tracking 分开讨论。仓库当前只有 README/LICENSE，写明 code coming soon；不要称已有可直接运行的复现。
--- a/literature_notes/34_sicnet_addressee.md
+++ b/literature_notes/34_sicnet_addressee.md
@@ -0,0 +1,13 @@
+# Long-Term Social Interaction Context: The Key to Egocentric Addressee Detection
+
+- 作者：Deqian Kong、Furqan Khan、Xu Zhang、Prateek Singhal、Ying Nian Wu
+- 发表：ICASSP 2024
+- 阅读深度：重点方法与输入设定；未运行
+- 记录日期：2026-08-28
+- 来源：[Amazon Science](https://www.amazon.science/publications/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection)、[论文](https://cdn.amazon.science/64/e3/22da99d74e3097774c7fa907374f/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection.pdf)
+
+## 摘要与项目关系
+
+SICNet 在 Ego4D talking-to-me 中结合较长对话历史和人物视觉上下文。对话分支编码转写及 ego/non-ego 信息，视觉分支编码人脸、身体与位置，再融合做讲话对象分类。
+
+启发是单纯“谁在讲话”不足以确定 wearer 是否应接话。限制是它在话语结束处分类，并使用数据集 diarization 和提供的框；不能把结果直接当作无真值输入的连续预测。我们应将讲话对象作为训练辅助目标，输入仍保持因果混合 AV。官方 TTM 划分与 EgoSpeak 划分需要独立核对。
--- a/literature_notes/35_av_dialog.md
+++ b/literature_notes/35_av_dialog.md
@@ -0,0 +1,13 @@
+# AV-Dialog: Spoken Dialogue Models with Audio-Visual Input
+
+- 作者：Tuochao Chen、Bandhav Veluri、Hongyu Gong、Shyamnath Gollakota
+- 发表：ACL 2026 主会，已核对 ACL Anthology
+- 阅读深度：重点架构、训练附录和项目发布状态；未运行
+- 记录日期：2026-08-28
+- 来源：[正式条目](https://aclanthology.org/2026.acl-long.1954/)、[论文](https://arxiv.org/html/2511.11124)、[项目页](https://avdialog.cs.washington.edu/)
+
+## 摘要与项目关系
+
+融合视觉流和声学 token，在干扰说话人条件下学习目标人的语音理解、轮次事件与回复，比较分离理解/生成模块和统一模型。支持将人物感知与轮次监督结合，而不只在最终向量上做分类。
+
+其目标人条件及合成干扰不等同于自由多人交流中的 wearer 进入预测。附录报告 stage 1 使用 128 A100、stage 2 使用 32 A100，完整训练不是本项目低成本起点；应借鉴任务分解，使用现成 Qwen3B 适配。项目页的代码链接仍标记 Coming Soon，不能假设已有可下载完整训练产物。
--- a/literature_notes/36_flora_device_directed.md
+++ b/literature_notes/36_flora_device_directed.md
@@ -0,0 +1,13 @@
+# Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection
+
+- 第一作者：Shruti Palaskar；Apple
+- 发表：Interspeech 2024
+- 阅读深度：重点方法、输入与指标章节；未运行
+- 记录日期：2026-08-28
+- 来源：[ISCA 论文](https://www.isca-archive.org/interspeech_2024/palaskar24_interspeech.pdf)、[Apple](https://machinelearning.apple.com/research/llm-fusion-low-rank)
+
+## 摘要与项目关系
+
+FLoRA 通过模态投影、低秩适配及缺失模态处理，让预训练语言模型吸收音视频，判断语音是否对设备发出。使用 BART/T5 系列与私有数据，采用 EER 和固定 false reject rate 下的 false accept rate。
+
+两点可借鉴：固定召回比较误触发有先例；局部特征可以通过训练适配进入模型，不必局限最终拼接。其任务是 utterance-level device-directed detection，不是 wearer onset。当前均值向量虽可训练映射，却不能被声称保留了原生细粒度媒体 token 的全部信息。
--- a/literature_notes/37_whisper_flamingo.md
+++ b/literature_notes/37_whisper_flamingo.md
@@ -0,0 +1,13 @@
+# Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation
+
+- 第一作者：Andrew Rouditchenko
+- 发表：Interspeech 2024
+- 阅读深度：重点方法、融合消融与官方仓库说明；未运行
+- 记录日期：2026-08-28
+- 来源：[ISCA](https://www.isca-archive.org/interspeech_2024/rouditchenko24_interspeech.html)、[论文](https://arxiv.org/html/2406.10082)、[代码](https://github.com/roudimit/whisper-flamingo)
+
+## 摘要与项目关系
+
+将 AV-HuBERT 视觉特征通过门控 cross-attention 融入 Whisper decoder，在噪声条件改善语音识别和翻译。门控从零开始，初始新增层为恒等变换；适配阶段保留强音频模型。
+
+这是“内部学习视觉增量”的直接结构参考，比直接修改冻结 hidden state 更有训练依据。但原版不是流式接话模型，也不是自动不退化保证；仍需按可用前缀限制视频/音频。我们优先试少量上层或临时 readout query 的 adapter，不照搬每层宽 cross-attention 的参数开销。
--- a/literature_notes/38_loconet.md
+++ b/literature_notes/38_loconet.md
@@ -0,0 +1,13 @@
+# LoCoNet: Long-Short Context Network for Active Speaker Detection
+
+- 作者：Xizi Wang、Feng Cheng、Gedas Bertasius、David Crandall
+- 发表：CVPR 2024
+- 阅读深度：重点方法、训练、Ego4D 实验与代码说明；未运行
+- 记录日期：2026-08-28
+- 来源：[论文](https://arxiv.org/html/2301.08237)、[CVF 论文](https://openaccess.thecvf.com/content/CVPR2024/papers/Wang_LoCoNet_Long-Short_Context_Network_for_Active_Speaker_Detection_CVPR_2024_paper.pdf)、[官方代码](https://github.com/SJTUwxz/LoCoNet_ASD)
+
+## 摘要与项目关系
+
+用较长人物内时序建模和较短跨人物互动建模识别正在发声的人，在包含 Ego4D 的 ASD 数据上验证。提供训练代码和 AVA 预训练权重链接，可作为专门 AV 表征路线。
+
+原方法对整段序列输出活动，不能直接视为因果未来预测。迁移需检查 temporal convolution、attention 和帧窗口，再训练/评测 causal 版本；不得将包含未来的离线特征接到因果 head。优先借鉴“人内时间＋人际交互”的分解，而非将相同混合音频重复后称为独立音源。
--- a/literature_notes/39_gaze_triadic_turn_taking.md
+++ b/literature_notes/39_gaze_triadic_turn_taking.md
@@ -0,0 +1,13 @@
+# Gaze-Enhanced Multimodal Turn-Taking Prediction in Triadic Conversations
+
+- 作者：Seongsil Heo、Christi Miller、Calvin Murdock、Michael Proulx
+- 发表：Interspeech 2025
+- 阅读深度：重点输入、ConvLSTM/user attention、评测章节
+- 记录日期：2026-08-28
+- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.pdf)
+
+## 摘要与项目关系
+
+以 gaze、发声位置和 VAD 构建单人表示，再通过跨用户注意力建模三人交互。提供视觉方向与说话角色相关的证据，但使用 Aria 眼动、多通道音频及头运动，而非我们的视频混合单声道。
+
+其 transition-level 评测包含转变后 1s，不能据此宣称已经实现提前 200ms 开口预测。我们可以借鉴逐人时序结构；不能把视频头朝向估计等同于眼动仪真值，也不能把角色识别指标与未来 onset AP 混用。
--- a/literature_notes/40_triadic_vap.md
+++ b/literature_notes/40_triadic_vap.md
@@ -0,0 +1,13 @@
+# Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
+
+- 作者：Mikey Elmers、Koji Inoue、Divesh Lala、Tatsuya Kawahara
+- 发表：Interspeech 2025
+- 阅读深度：重点输入、模型和标签章节
+- 记录日期：2026-08-28
+- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.pdf)
+
+## 摘要与项目关系
+
+将 dyadic VAP 扩展为三人的未来活动预测，通过逐通道表示及跨通道 attention 学习互动，并加入当前活动辅助目标。研究使用三路独立领夹麦克风及既往活动信息。
+
+启发是将多人活动结构作为预测目标，而不是合并为 others 后再学习所有关系。但它不是单声道视觉落地方案，固定人数联合状态也不自动推广到动态人数。我们的 `local.audio` 不能复制三遍就声称复现了该输入条件。
--- a/literature_notes/41_visual_turn_taking_noise.md
+++ b/literature_notes/41_visual_turn_taking_noise.md
@@ -0,0 +1,13 @@
+# Visual Cues Support Robust Turn-taking Prediction in Noise
+
+- 作者：Sam O’Connor Russell、Naomi Harte
+- 发表：Interspeech 2025
+- 阅读深度：重点输入、噪声实验及局限章节
+- 记录日期：2026-08-28
+- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/oconnorrussell25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/oconnorrussell25_interspeech.pdf)
+
+## 摘要与项目关系
+
+研究预测式轮次模型对噪声的脆弱性，显示噪声训练能帮助多模态模型利用视觉，但对未知噪声和不准转写的泛化有限。视觉特征包括脸部动作、gaze、头姿等；数据为双人视频会议和逐人音轨。
+
+我们可增加自然重叠、低信噪比、人物可见性分层，避免只看总体 AP；噪声增强应独立于正常社交互动主实验。其双路音频与对齐标注条件不等于 EasyCom 当前的单路混合输入。人为错配视觉导致下降也可能只是分布外错误，不能单独证明社会关系理解。
--- a/literature_notes/42_multimodal_bottleneck_transformer.md
+++ b/literature_notes/42_multimodal_bottleneck_transformer.md
@@ -0,0 +1,13 @@
+# Attention Bottlenecks for Multimodal Fusion
+
+- 作者：Arsha Nagrani、Shan Yang、Anurag Arnab、Aren Jansen、Cordelia Schmid、Chen Sun
+- 发表：NeurIPS 2021
+- 阅读深度：重点 bottleneck 方法与融合位置消融
+- 记录日期：2026-08-28
+- 来源：[正式条目](https://proceedings.neurips.cc/paper/2021/hash/76ba9f564ebbc35b1014ac498fafadd0-Abstract.html)、[论文](https://proceedings.neurips.cc/paper/2021/file/76ba9f564ebbc35b1014ac498fafadd0-Paper.pdf)
+
+## 摘要与项目关系
+
+MBT 通过少量共享 latent 单元传递跨模态信息，让各模态保留自身处理路径，同时减少全 token 交互成本。论文比较早、中、晚融合，在 AV 分类数据上进行验证。
+
+可借鉴为逐人 memory 的有限瓶颈和融合层消融，不必让所有帧/所有人物与全部 Thinker token 两两交互。原任务不是流式预测，迁移时必须增加时间可用性 mask。瓶颈是学习式压缩，数量和人物边界是否保留需要消融。
--- a/literature_notes/43_lavish.md
+++ b/literature_notes/43_lavish.md
@@ -0,0 +1,13 @@
+# Vision Transformers Are Parameter-Efficient Audio-Visual Learners
+
+- 作者：Yan-Bo Lin、Yi-Lin Sung、Jie Lei、Mohit Bansal、Gedas Bertasius
+- 发表：CVPR 2023
+- 阅读深度：方法段落及官方项目说明；未运行
+- 记录日期：2026-08-28
+- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2023/html/Lin_Vision_Transformers_Are_Parameter-Efficient_Audio-Visual_Learners_CVPR_2023_paper.html)、[项目页](https://genjib.github.io/project_page/LAVISH/)
+
+## 摘要与项目关系
+
+LAVISH 在冻结 ViT 中插入可训练 latent AV adapter，通过少量 token 压缩和双向跨模态交换实现高效迁移。任务包含 AV 事件等，不要求重新大规模预训练全部模型。
+
+支持“小型跨模态连接也值得训练”的方案。这里冻结的是 ViT，而非 Qwen Thinker；将其思想用于现有 Omni 必须重新实现接口和时序限制。若 adapter 位于 encoder 内部，原先冻结 encoder 的离线特征不再有效，不能一边改 encoder 一边复用旧输出。
--- a/literature_notes/44_flamingo.md
+++ b/literature_notes/44_flamingo.md
@@ -0,0 +1,13 @@
+# Flamingo: a Visual Language Model for Few-Shot Learning
+
+- 第一作者：Jean-Baptiste Alayrac
+- 发表：NeurIPS 2022 主会
+- 阅读深度：摘要及 gated cross-attention 方法片段筛选
+- 记录日期：2026-08-28
+- 来源：[正式条目](https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html)、[论文](https://arxiv.org/abs/2204.14198)
+
+## 摘要与项目关系
+
+利用桥接视觉和语言模型的结构，使模型能处理交错图像/视频及文本；通过新增视觉交互模块利用预训练骨干。它是门控 cross-attention 内部融合的基础参考，不是本项目需要从头重训的完整系统。
+
+本项目拟借鉴有限视觉 memory 与局部 adapter，不声称新增 gate 本身构成方法创新。更直接的 AV 迁移证据参见 Whisper-Flamingo 笔记；接话因果性和人物交互仍需本项目独立证明。
--- a/literature_notes/45_inforeg.md
+++ b/literature_notes/45_inforeg.md
@@ -0,0 +1,13 @@
+# Adaptive Unimodal Regulation for Balanced Multimodal Information Acquisition
+
+- 作者：Chengxiang Huang、Yake Wei、Zequn Yang、Di Hu
+- 发表：CVPR 2025
+- 阅读深度：摘要、引言及代码发布核查；尚未复核完整算法
+- 记录日期：2026-08-28
+- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2025/html/Huang_Adaptive_Unimodal_Regulation_for_Balanced_Multimodal_Information_Acquisition_CVPR_2025_paper.html)、[代码](https://github.com/GeWu-Lab/InfoReg_CVPR2025)
+
+## 摘要与项目关系
+
+InfoReg 研究早期学习时信息强模态主导、弱模态信息获取受抑制的问题，通过调节学习过程改善模态平衡。
+
+我们 A 明显强于 V，值得检查视觉分支梯度、辅助任务能力和缺失模态训练，但这尚不能诊断为优化失衡，也可能是采样或表示丢失。当前冻结特征无法通过调整 head 梯度修复 encoder 丢失的信息。本论文作为训练策略候选，不作为已经适用的处方。
--- a/literature_notes/46_infobridge.md
+++ b/literature_notes/46_infobridge.md
@@ -0,0 +1,13 @@
+# InfoBridge: Balanced Multimodal Integration through Conditional Dependency Modeling
+
+- 第一作者：Chenxin Li
+- 发表：ICCV 2025
+- 阅读深度：摘要及引言筛选；尚未复核完整算法
+- 记录日期：2026-08-28
+- 来源：[CVF](https://openaccess.thecvf.com/content/ICCV2025/html/Li_InfoBridge_Balanced_Multimodal_Integration_through_Conditional_Dependency_Modeling_ICCV_2025_paper.html)
+
+## 摘要与项目关系
+
+通过条件依赖建模，在跨模态融合和模态独有信息之间取得平衡，避免过强对齐抹掉互补性。
+
+启发是视觉未必需要重复预测音频已明确提供的发声证据，应保留关系/方向信息。不要把所有人脸都强行与同一混合音频对齐为正例。具体 loss 是否适用需要进一步方法核查；当前优先使用清楚的逐人活动和讲话对象监督。
--- a/literature_notes/47_3m_transformer.md
+++ b/literature_notes/47_3m_transformer.md
@@ -0,0 +1,13 @@
+# 3M-Transformer: A Multi-Stage Multi-Stream Multimodal Transformer for Embodied Turn-Taking Prediction
+
+- 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
+- 发表：ICASSP 2024，8050–8054
+- 阅读深度：作者机构摘要及正式会议信息筛选
+- 记录日期：2026-08-28
+- 来源：[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
+
+## 摘要与项目关系
+
+在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer 预测轮次。强调不同人物视角和模态间的交互。
+
+这是多人时序融合的相关工作，但 EgoCom 不等于 EasyCom，多个参与者摄像机也不同于单 wearer 视角。本轮未完整核对方法、输入因果性及代码，不能直接作为可复现命令来源。
--- a/literature_notes/48_va_pretrained_multimodal_vap.md
+++ b/literature_notes/48_va_pretrained_multimodal_vap.md
@@ -0,0 +1,12 @@
+# Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
+
+- 状态：2026 预印本；作者声明 RO-MAN 2026 已接收，正式版本待发表
+- 阅读深度：重点编码器、LoRA、输入窗口和局限章节
+- 记录日期：2026-08-28
+- 来源：[论文](https://arxiv.org/html/2607.07294)、[发表状态](https://arxiv.org/abs/2607.07294)
+
+## 摘要与项目关系
+
+把 TalkNet、Whisper-Flamingo 等与发声相关的 AV 骨干通过 LoRA 适配到双人 VAP，再加入跨人关系建模。为“专门 AV 表征＋参数高效预测适配”提供直接候选。
+
+不能直接采信为我们的因果基线：方法写到以 t 为中心的输入窗口和逐人信号，且承认尚未实时验证。迁移必须重新限定过去窗口、输入音源和输出可用时间，再报告结果。论文较高离线分数不证明可在相同真实提前量下复现。
--- a/literature_notes/49_modality_dropout_ddsd.md
+++ b/literature_notes/49_modality_dropout_ddsd.md
@@ -0,0 +1,13 @@
+# Modality Drop-Out for Multimodal Device Directed Speech Detection Using Verbal and Non-Verbal Features
+
+- 第一作者：Gautam Krishna；Apple
+- 发表：ICASSP 2024
+- 阅读深度：摘要及会议信息筛选
+- 记录日期：2026-08-28
+- 来源：[论文摘要](https://arxiv.org/abs/2310.15261)、[IEEE](https://ieeexplore.ieee.org/document/10446421/)
+
+## 摘要与项目关系
+
+研究对设备说话检测中韵律、声学/语言信息融合，以及缺失模态时的稳健性。使用固定工作点的误接受率衡量改进。
+
+可以作为我们的 fixed-recall 误开口评测与缺失模态对照的参考，但非 verbal 不自动意味着视觉，不能将该韵律工作描述为逐人视觉接话。具体算法尚未完整复核，暂不建议照搬数值或超参数。
--- a/literature_notes/README.md
+++ b/literature_notes/README.md
@@ -2,9 +2,13 @@

 本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。

-最后更新：2026-08-27
+最后更新：2026-08-28

-本轮专题：[多人 AV、多速率流式处理与四条实验路线](2026-08-27_multirate_speaker_aware_routes.md)。新增 21–27 七篇笔记，并补充 01、05、16 的适用边界；摘要级筛选不等同于全文复现。
+最新专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。
+
+同日此前专题：[逐人 chunk、train-free Thinker 与 wearer onset/offset 计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)。新增 28–32 五篇笔记，补读 16、23，核查 24 的实现边界。
+
+此前专题：[多人 AV、多速率流式处理与四条实验路线](2026-08-27_multirate_speaker_aware_routes.md)。保留其当时判断，不用新结果改写历史。

 ## 阅读深度

@@ -31,7 +35,7 @@
 | 13 | [Video-R2](13_video_r2.md) | 2025 | 摘要级筛选 | 时间对齐奖励与视频推理一致性 |
 | 14 | [Prompt-Guided Turn-Taking Prediction](14_prompt_guided_turn_taking.md) | 2025 | 摘要级筛选 | 可控式轮次预测 |
 | 15 | [Multilingual Turn-taking Prediction Using VAP](15_multilingual_vap.md) | 2024 | 摘要级筛选 | VAP、跨语言轮次线索与泛化 |
-| 16 | [Predicting Turn-Taking and Backchannel](16_multimodal_turn_taking_backchannel.md) | 2025 | 摘要级筛选 | 多模态轮次与 backchannel 分类 |
+| 16 | [Predicting Turn-Taking and Backchannel](16_multimodal_turn_taking_backchannel.md) | 2025 | 重点章节阅读 | 多模态轮次与 backchannel 分类；双人词级协议 |
 | 17 | [Action Sensitivity Learning](17_action_sensitivity_learning.md) | 2023 | 摘要级筛选 | 边界敏感重加权，作为 RL 的低风险替代 |
 | 18 | [LLM-Enhanced Dialogue Management](18_llm_enhanced_dialogue_management.md) | 2025/2026 | 摘要级筛选 | 模块化流式对话控制状态 |
 | 19 | [Aligning Spoken Dialogue Models from User Interactions](19_aligning_spoken_dialogue_from_interactions.md) | 2025 | 摘要级筛选 | 从用户交互构造偏好数据 |
@@ -43,9 +47,35 @@
 | 25 | [Egocentric Deep Multi-Channel AV Active Speaker Localization](25_egocentric_av_speaker_localization.md) | 2022 | 摘要及引言筛选 | 佩戴者、可见及画外说话人的活动与位置 |
 | 26 | [Egocentric Auditory Attention Localization in Conversations](26_egocentric_auditory_attention.md) | 2023 | 摘要及引言筛选 | 区分谁在说话与佩戴者在听谁 |
 | 27 | [OmniMMI](27_omnimmi.md) | 2025 | 摘要级筛选 | 主动流式交互评测与多模态复用 |
+| 28 | [AV-SpeakerBench / See, Hear, and Understand](28_av_speakerbench.md) | 2026 | 摘要及任务设计筛选 | CVPR Findings；检验真正依赖 AV 的逐人语音理解 |
+| 29 | [Temporal Contrastive Decoding](29_temporal_contrastive_decoding.md) | 2026 | 重点章节阅读 | ACL Findings；冻结模型对瞬态声学证据的解码干预 |
+| 30 | [ThinkOmni](30_thinkomni.md) | 2026 | 重点章节阅读 | ICLR；文本推理模型指导 Omni 词表解码 |
+| 31 | [On the Structure of Address in Multi-Party Dialogue](31_continuous_address_levels.md) | 2026 | 重点章节阅读 | SIGDIAL；讲话对象的连续性及与听者行为的关系 |
+| 32 | [HeadRouter（音频 token 剪枝）](32_headrouter_audio.md) | 2026 | 重点章节及官方实现说明阅读 | 作者宣布 ACM MM 接收；声学/语义 head 分工与校准 |
+| 33 | [MuVAP](33_muvap.md) | 2026 | 重点方法、训练和评测阅读 | 单声道逐人因果预测；作者标注 Interspeech，代码待发布 |
+| 34 | [SICNet / Long-Term Social Interaction Context](34_sicnet_addressee.md) | 2024 | 重点章节阅读 | ICASSP；Ego4D talking-to-me 与提供的身份信息 |
+| 35 | [AV-Dialog](35_av_dialog.md) | 2026 | 重点章节及训练附录阅读 | ACL 主会；目标人 AV 对话与大规模训练边界 |
+| 36 | [FLoRA for Device Directed Speech Detection](36_flora_device_directed.md) | 2024 | 重点章节阅读 | Interspeech；模态适配和固定拒绝率误触发 |
+| 37 | [Whisper-Flamingo](37_whisper_flamingo.md) | 2024 | 重点章节及代码说明阅读 | Interspeech；强音频模型内的门控视觉增量 |
+| 38 | [LoCoNet](38_loconet.md) | 2024 | 重点章节及代码说明阅读 | CVPR；人内时间、跨人互动，需改造成因果输入 |
+| 39 | [Gaze-Enhanced Triadic Turn-Taking](39_gaze_triadic_turn_taking.md) | 2025 | 重点章节阅读 | Interspeech；ConvLSTM/人物 attention，额外传感器 |
+| 40 | [Triadic Multi-party VAP](40_triadic_vap.md) | 2025 | 重点章节阅读 | Interspeech；三人未来活动，但使用逐人麦克风 |
+| 41 | [Visual Cues Support Robust Turn-taking Prediction in Noise](41_visual_turn_taking_noise.md) | 2025 | 重点章节阅读 | Interspeech；噪声分层、视觉鲁棒性与输入条件 |
+| 42 | [Attention Bottlenecks for Multimodal Fusion](42_multimodal_bottleneck_transformer.md) | 2021 | 重点章节阅读 | NeurIPS；有限 token 和融合位置 |
+| 43 | [LAVISH](43_lavish.md) | 2023 | 方法段落及官方项目说明 | CVPR；冻结骨干的低成本 AV 适配 |
+| 44 | [Flamingo](44_flamingo.md) | 2022 | 摘要及方法片段筛选 | NeurIPS；内部 gated cross-attention 基础结构 |
+| 45 | [InfoReg](45_inforeg.md) | 2025 | 摘要、引言及代码发布核查 | CVPR；模态竞争候选，尚非本项目已诊断病因 |
+| 46 | [InfoBridge](46_infobridge.md) | 2025 | 摘要及引言筛选 | ICCV；保护模态独有的互补信息 |
+| 47 | [3M-Transformer](47_3m_transformer.md) | 2024 | 摘要级筛选 | ICASSP；多视角 EgoCom，区别于单视角 EasyCom |
+| 48 | [VA-related Pretrained Encoders for MM-VAP](48_va_pretrained_multimodal_vap.md) | 2026 | 重点章节阅读 | 作者声明 RO-MAN 接收；LoRA 与窗口因果性审计 |
+| 49 | [Modality Drop-Out for DDSD](49_modality_dropout_ddsd.md) | 2024 | 摘要及会议信息筛选 | ICASSP；缺失模态及固定工作点误接受率 |

 ## 当前综合判断

+2026-08-28 更新：[encoder-only 完整结果](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)显示近期音频与 Thinker 历史互补；普通视觉池化对 wearer 的增益尚不清楚。先补 wearer 专属事件及讲话对象分层，再对照逐人时序旁路和模型内可训练 adapter/LoRA。现有 R1/R2 是全活动变化，不是 wearer onset/offset 的直接评测。MuVAP 等工作使“逐人＋因果融合”不再足以单独构成创新；新假设是对不可见 wearer 的讲话对象条件化预测与受召回约束的第三方误开口降低。
+
+以下为 2026-08-27 的阶段判断：
+
 截至 2026-08-27，四状态/BCE 和 R1/R2 的活动预测增益较小；R1/R2 仅有两个已报告 seed，不能视作最终结论。最后四层读取有较大单次增益，但仍需匹配训练配置的多 seed 对照。参见[损失消融](../results/easycom_loss_structure_4ep_2026-08-26/README.md)、[transition 消融](../results/easycom_transition_auxiliary_4ep_2026-08-27/README.md)和[last-4 结果](../results/easycom_frozen_3b_8s_last4_learned_mix_2026-08-26/README.md)。

 当前建议把资源优先投入以下四条待验证路线，而不是继续放大 transition loss 或直接转向通用 RL：