wx44wx/icassp2027-experiment
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: define speaker-grounded floor experiment plan

Browse Source
This commit is contained in:
Xin Wang
2026-08-30 19:18:53 +08:00
parent 6f5115f299
commit b74e905870
9 changed files with 546 additions and 37 deletions
Download Patch File Download Diff File Expand all files Collapse all files

114
README.md
View File

@@ -1,8 +1,45 @@
# Omni-only Turn-Taking Experiment # Speaker-Grounded Omni Floor-State Forecasting
This project tests whether **Qwen2.5-Omni-3B can replace both the handcrafted This project studies whether a strictly causal, end-to-end pretrained
audio/visual feature extractors and the downstream RNN/Transformer used by **Qwen2.5-Omni-3B** backbone contains speaker-grounded audiovisual evidence,
EgoSpeak** for egocentric turn-taking anticipation. and whether that evidence can improve the **floor-entry and floor-yield
actions of an invisible egocentric wearer** in natural multiparty
conversations.
Replacing EgoSpeak's handcrafted encoders and downstream GRU/Transformer is
retained as a Stage-0 representation baseline. It is no longer the final paper
question. The central test is behavioral: at matched wearer-onset recall,
correct person-aligned vision should reduce false wearer entries while two
other people are conversing, without reducing responses addressed to the
wearer or degrading wearer yield decisions.
## Current paper question and experiment plan (2026-08-30)
The full staged plan is in
[the Omni speaker-floor experiment plan](docs/omni_speaker_floor_experiment_plan_2026-08-30.md).
It separates four questions that must not be conflated:
1. Does a frozen global Omni state encode aggregate wearer/others activity?
2. Can Omni features identify **which visible person** is speaking, rather
than merely detect that somebody is speaking?
3. Does anonymous person-wise causal fusion reduce third-party false entries
at matched wearer onset recall?
4. Does any suppression preserve addressed-to-wearer response recall/latency
and wearer yield behavior, rather than making the model globally passive?
The immediate order is: freeze the event protocol and competing-risk
attribution; run speaker-grounding probes and wrong-person/time-shift controls;
re-evaluate `G`, `G+A`, and `G+A+pooled-V`; then train an anonymous person-wise
causal side branch. A person-memory adapter or Thinker LoRA is a second-stage
experiment only after the simpler branch passes those diagnostic gates.
The literature boundary and novelty threats are recorded in
[the multiparty egocentric floor gap audit](docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md).
The precise target is the intersection of egocentric wearer action, strict
causality, speaker/addressee grounding, both entry and yield, and event-level
evaluation. This repository does **not** claim the first multiparty AV
turn-taking system, the first online multiparty EOT detector, or that a frozen
Omni backbone is task-level end-to-end training.
The persistent paper index and Chinese summaries are maintained in The persistent paper index and Chinese summaries are maintained in
[literature_notes](literature_notes/README.md). [literature_notes](literature_notes/README.md).
@@ -22,7 +59,7 @@ horizon curves are archived in
It keeps causal-valid summaries separate from full-timeline curves and records It keeps causal-valid summaries separate from full-timeline curves and records
the head-capacity/context caveats for comparisons with G+A and G+A+V. the head-capacity/context caveats for comparisons with G+A and G+A+V.
The next research plan is The earlier engineering plan is
[speaker-aware Thinker and wearer-transition evaluation](docs/speaker_aware_thinker_plan_2026-08-28.md) [speaker-aware Thinker and wearer-transition evaluation](docs/speaker_aware_thinker_plan_2026-08-28.md)
(2026-08-28): person-organized video chunks, frozen-Thinker local-evidence (2026-08-28): person-organized video chunks, frozen-Thinker local-evidence
interventions, and onset/offset plus third-party-conversation diagnostics. interventions, and onset/offset plus third-party-conversation diagnostics.
@@ -34,7 +71,7 @@ Thinker LoRA on 8×L20, with matched-onset-recall false-entry evaluation and
addressee-specific safeguards. It also records related-work and input-permission addressee-specific safeguards. It also records related-work and input-permission
limits; none of these new variants has been implemented or measured yet. limits; none of these new variants has been implemented or measured yet.
The main experiment is deliberately simple: The Stage-0 representation experiment is deliberately simple:
```text ```text
causal audio + video up to time t causal audio + video up to time t
@@ -51,9 +88,11 @@ causal audio + video up to time t
future logits [10 horizons, 3 classes] future logits [10 horizons, 3 classes]
``` ```
There is **no RNN after Qwen**. The Omni Thinker is the temporal model. The There is **no RNN after Qwen in this Stage-0 baseline**. The Omni Thinker is
only supervised component in the first experiment is a small `10 x 3` its temporal model, and its only supervised component is a small `10 x 3`
classification head. classification head. Later person-wise GRU/TCN branches and local-memory
adapters are controlled methods for testing speaker grounding; they do not
change what the Stage-0 result measures.
## Current status ## Current status
@@ -66,6 +105,8 @@ classification head.
| `TurnPredictionHead` | Trained and evaluated | Map `[2048]` to `[10, 3]` logits | | `TurnPredictionHead` | Trained and evaluated | Map `[2048]` to `[10, 3]` logits |
| `train_turn_head.py` | Verified on EasyCom | Train the frozen-Omni anticipation head with the official EasyCom split | | `train_turn_head.py` | Verified on EasyCom | Train the frozen-Omni anticipation head with the official EasyCom split |
| `infer_turn_head.py` | Verified on EasyCom | Save EgoSpeak-format predictions and reproduce per-horizon AP/mAP | | `infer_turn_head.py` | Verified on EasyCom | Save EgoSpeak-format predictions and reproduce per-horizon AP/mAP |
| `extract_turn_local_features.py` | Verified on EasyCom; Ego4D extraction in progress | Extract person-crop and recent-audio Qwen sidecars |
| `evaluate_floor_state_changes.py` | Implemented; attribution revision required | Diagnose wearer entry/yield events from saved predictions |
| `eval_omni_turn_lora.py` | Implemented, remote validation pending | Evaluate Thinker LoRA from dense AV caches with the same AP/mAP protocol | | `eval_omni_turn_lora.py` | Implemented, remote validation pending | Evaluate Thinker LoRA from dense AV caches with the same AP/mAP protocol |
The full Thinker input path, embedded audio, direct video decoding, The full Thinker input path, embedded audio, direct video decoding,
@@ -1687,28 +1728,40 @@ Reference Table 2 targets from the EgoSpeak paper:
Do not compare these numbers with EgoSpeak Table 3 target-speaker-only AP; Do not compare these numbers with EgoSpeak Table 3 target-speaker-only AP;
Table 3 uses a different metric. Table 3 uses a different metric.
## Experiments that demonstrate Omni's semantic advantage ## Current paper experiment ladder
The headline comparison alone cannot establish that improvements come from The headline comparison cannot establish speaker grounding or social
semantics. Run the following controlled experiments: understanding. Experiments therefore proceed through explicit gates:
1. **Omni audio vs Omni audio+video**: measure whether visual grounding helps. 1. **P0 — protocol correctness:** preserve physical 5 Hz timing and causal
2. **Per-horizon curve**: semantic completion should be especially visible at masks, then prevent an other-offset response from being attributed after a
longer horizons such as 1.2--2.0 seconds. new other onset (and symmetrically censor yield after the next other
3. **Context length**: compare 4, 10, 15, and 20 seconds without adding an RNN. offset). Freeze scenario rules without tuning on EasyCom test Sessions 1--3.
4. **Layer ablation**: compare audio-encoder output and several Thinker layers, 2. **P1 — representation diagnosis:** compare EgoSpeak features, Qwen
because an intermediate layer may be more discriminative than the final encoder-only A/V/AV, the global Thinker state, and anonymous person slots on
generation-oriented layer. aggregate activity and per-person active-speaker probes. Include wrong-person,
5. **Semantic-completion subset**: contrast completed utterances with time-shifted, visual-only, and audio-only controls.
hesitation/incomplete pauses while matching pause duration and basic 3. **P2 — behavioral baselines:** evaluate `G`, `G+A`, `G+A+pooled-V`, shuffled
prosody as closely as possible. visual features, and a parameter/history-matched temporal control using
6. **Question/statement/backchannel subsets**: report target-speaker AP and entry/yield event AP and third-party false entries at matched onset recall.
premature-interruption rate on linguistically meaningful events. 4. **P3 — primary method:** use a shared causal person encoder plus
7. **Causal transcript baseline**: compare Omni audio with causal ASR text plus wearer-state-conditioned attention, then ablate per-person active-speaker,
a language model to isolate lexical/semantic contribution. addressee, and wearer event supervision.
5. **P4 — Omni adaptation ceiling:** compare parameter-matched Thinker LoRA,
local person-memory adapters, and adapter+LoRA only if person features pass
P1 and improve floor behavior in P3.
The frozen-Omni head is the cleanest representation test. LoRA can be reported Original 0.2--2.0-second EgoSpeak AP/mAP remains a secondary comparability
as a second-stage ceiling, not as the only result. metric. The primary paper evidence is selective behavior: correct person
alignment must reduce false wearer entry during third-party conversation while
preserving addressed response and yield. Full hypotheses, tables, stopping
rules, and the 8×L20 execution order are in
[the current experiment plan](docs/omni_speaker_floor_experiment_plan_2026-08-30.md).
Secondary semantic analyses can still include context/layer ablations,
completed-versus-hesitation subsets, question/statement/backchannel subsets,
and a causal ASR-text baseline. They support interpretation but cannot replace
the person-alignment interventions above.
## Transcript-derived interaction-event proxies ## Transcript-derived interaction-event proxies
@@ -2125,7 +2178,7 @@ Do not launch full EasyCom/Ego4D extraction until all of these pass:
- test session IDs never enter training, validation, normalization statistics, - test session IDs never enter training, validation, normalization statistics,
or hyperparameter selection. or hyperparameter selection.
Once these checks pass, the first publishable experiment is: Once these checks pass, the historical Stage-0 representation baseline is:
```text ```text
frozen Qwen2.5-Omni-3B Thinker frozen Qwen2.5-Omni-3B Thinker
@@ -2136,4 +2189,5 @@ frozen Qwen2.5-Omni-3B Thinker
+ exact EgoSpeak split and Table 2 metric + exact EgoSpeak split and Table 2 metric
``` ```
Repository workflow verified on 2026-08-19. The repository workflow was first verified on 2026-08-19. The paper question
and gated experiment plan were revised on 2026-08-30.

104
docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md Normal file
View File

@@ -0,0 +1,104 @@
# 多方第一视角 AV wearer floor-state prediction：文献 gap 审计
日期：2026-08-30。状态：顶会与 arXiv 文献检索后的研究定位；不是实验结论。
## 1. 结论
截至核查日期，**宽泛的“多方音视频轮次预测”已经不是 research gap**，
“第一视角 when-to-speak”“在线多方 EOT”“逐人音视频 conversational graph”也都有直接先例。
仍然可信、但必须精确定义的空白是：
> 从单个第一视角、严格因果的音视频流中，利用逐人说话人 grounding，预测不可见
> camera wearer 自身的 floor-entry（OFF→ON）与 floor-yield（ON→OFF）行为，并在自然多方
> 对话中以事件级召回、误触发和延迟评测其表现。
本轮没有找到一项工作同时满足以下六点：
1. 自然多方对话，而非固定双人；
2. 单个 wearer 的第一视角输入，而非静态第三人称、多视角同步设备或每人独立传感器；
3. 原始、连续、严格因果的音视频观测；
4. 预测主体是画面中不可见的 wearer 自身；
5. 同时研究 wearer 开口与停口/让出 floor，而非只做当前活动、next speaker 或 EOT；
6. 逐人/讲话对象条件化，并用事件级 recall、false-trigger 与 latency 评价。
“没有找到同时满足”只限于本次检索范围，不能在论文中写成不受限定的绝对结论。
## 2. 关键工作的覆盖边界
| 工作 | 已覆盖 | 相对本项目缺少什么 |
|---|---|---|
| [EgoSpeak, Findings of NAACL 2025](https://aclanthology.org/2025.findings-naacl.163/) | 第一视角、在线 AV、EasyCom/Ego4D、预测 wearer 未来活动 | 将所有 others 合并为一类；三路未来逐帧分类，不显式建模逐人关系、wearer yield 或事件级误触发 |
| [3M-Transformer, ICASSP 2024](https://arxiv.org/pdf/2310.14859) | 多方、AVT、egocentric、预测 1/3/5/10s 后 next speaker | 使用至少两个参与者的同步穿戴视角及预计算文本；不是单 wearer 原始流，也不是 200ms start/yield 事件 |
| [AV-CONV, CVPR 2024](https://openaccess.thecvf.com/content/CVPR2024/html/Jia_The_Audio-Visual_Conversational_Graph_From_an_Egocentric-Exocentric_Perspective_CVPR_2024_paper.html) | 第一视角、多方、逐人 speaking/listening graph、局部头部和多通道音频 | 主要识别 clip 内各时刻的当前 conversational graph，不是严格因果的未来 wearer action forecast |
| [Online Multimodal EOT, ICMI 2024](https://graphics.cs.uh.edu/wp-content/papers/2024/2024-ICMI-OnlineTurnPrediction.pdf) | 三人、在线 EOT、overlap/interruption、文本/韵律/视线 | 受控实验室，使用 mocap、眼动仪和独立麦克风；不是自然单 wearer 第一视角原始 AV，也不以 wearer start/yield 为动作目标 |
| [Triadic VAP, Interspeech 2025](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.html) | 三方未来 voice activity projection | 纯音频、逐人通道、固定三人，不利用第一视角人物证据 |
| [MuVAP, arXiv 2026](https://arxiv.org/pdf/2606.16731) | 因果、多方、单目、单声道、face grounding、未来 floor holder | 最强 novelty threat；数据明确采用静态第三方视角，预测可见参与者的 current/next speaker，不预测不可见 wearer 的 response/yield |
| [Gaze-Enhanced Triadic Turn-Taking, Interspeech 2025](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.html) | 三方、egocentric gaze、VAD、transition-level 分析 | 依赖专用眼动/空间传感器，目标为听觉辅助，不是普通第一视角 AV wearer action |
| [TurnBench, arXiv 2026](https://arxiv.org/abs/2608.25218) | 严格因果 EOT/INT，recall/FPR/latency | 双人、纯音频；适合作为事件评测范式，不是同输入/任务的直接竞争者 |
## 3. 最容易误写的新颖性声明
以下说法不能使用：
- “第一个多方 turn-taking 模型”；
- “第一个多方音视频 turn-taking 模型”；
- “第一个第一视角 when-to-speak 模型”；
- “第一个在线多方 EOT 模型”；
- “第一个逐人音视频 conversational graph”；
- “第一个 speaker-aware causal AV floor model”。
推荐使用带齐限定条件的表述：
> To our knowledge, this is the first study of strictly causal, speaker-grounded
> audiovisual forecasting of both floor-entry and floor-yield actions for an invisible
> egocentric wearer in natural multiparty conversations.
最终投稿前还应重新检索，并在正文紧接着解释 `single-egocentric-stream`、`invisible wearer`、
`both entry and yield`、`speaker-grounded` 和 `event-level evaluation` 分别排除了哪些先例。
## 4. 文献主线与必须引用的关系
### 未来活动与轮次预测
- [Voice Activity Projection, Interspeech 2022](https://www.isca-archive.org/interspeech_2022/ekstedt22_interspeech.html)：
未来联合语音活动及 shift/backchannel 基础。
- [Triadic VAP, Interspeech 2025](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.html)：
将 VAP 扩展到固定三人逐通道输入。
- [MuVAP, arXiv 2026](https://arxiv.org/abs/2606.16731)：
单摄像机、单声道、逐人 grounding 的因果多方预测，是方法比较中必须正面处理的工作。
### 第一视角多方交互
- [3M-Transformer, ICASSP 2024](https://arxiv.org/abs/2310.14859)：多视角 EgoCom 上的 next-speaker anticipation。
- [AV-CONV, CVPR 2024](https://arxiv.org/abs/2312.12870)：从第一视角建立 wearer 与其他人的 speaking/listening graph。
- [EgoSpeak, Findings of NAACL 2025](https://aclanthology.org/2025.findings-naacl.163/)：
与本项目最接近的数据、标签和 wearer future-activity 前身。
### 事件评测与多人 MLLM 动机
- [TurnBench](https://turnbench.sesame.com/)：EOT/INT 的事件级 recall、false-positive rate 和 latency。
- [Multi-speaker Attention Alignment, CVPR 2026](https://openaccess.thecvf.com/content/CVPR2026/html/Ouyang_Multi-speaker_Attention_Alignment_for_Multimodal_Social_Interaction_CVPR_2026_paper.html)：
当前 MLLM 的说话人话语—视觉区域对齐短板。
- [AMusE, CVPR 2026](https://openaccess.thecvf.com/content/CVPR2026/html/Chowdhury_AMusE_Audio-Visual_Benchmark_and_Alignment_Framework_for_Agentic_Multi-Speaker_Understanding_CVPR_2026_paper.html)：
多说话人身份、角色和跨时间 grounding 仍困难，为方法动机提供证据，但不是 floor-action 任务。
- [SICNet, ICASSP 2024](https://www.amazon.science/publications/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection)：
第一视角 talking-to-me/addressee 已有先例，不能把“讲话对象”本身写成首次提出。
## 5. 对当前论文主线的约束
gap 本身不足以形成 ICASSP 方法贡献。论文需要证明逐人视觉不是普通容量增益：
1. 在相同 wearer onset recall 下，正确的逐人视觉减少其他人彼此交谈期间的 false entry；
2. 对真正向 wearer 交接的场景，response recall 与 latency 不退化；
3. wearer 已在说话时，对真实竞争性进入的 yield 预测改善；
4. 正确人物/时间对齐优于人物打乱、时间错配、普通全图或等预算视觉控制；
5. G、G+A、G+V、G+A+V 及 pooled/person-grounded fusion 使用相同训练和评测协议。
方法上优先考虑 speaker-grounded、wearer-state-conditioned 的 entry/yield hazard heads 或
逐人 AV 融合，而不是只增加一个普通池化旁路。TurnBench 风格事件评测应作为贡献之一，
但不能替代方法增量。
EasyCom 的逐人时间/框/讲话对象最适合验证“other→other 时不误开口”；Ego4D 可验证规模与
泛化，但相同语义分层只能在 `is_at_me`、逐人轨迹和 voice segment 确认覆盖的样本上报告。
只用 wearer 活动真值可以研究实际 start/yield，不能据此声称模型理解了 EOT、INT 或讲话意图。

262
docs/omni_speaker_floor_experiment_plan_2026-08-30.md Normal file
View File

@@ -0,0 +1,262 @@
# Omni 多人说话者理解与 wearer floor action：实验主线（2026-08-30）
## 1. 论文真正要回答的问题
本项目不再把“Qwen2.5-Omni 是否能替换 EgoSpeak 的 ResNet、wav2vec 和
GRU/Transformer”作为最终主线。它只是一个 representation baseline。
主问题应收敛为：
> 严格因果的 Omni 模型是否真正编码了多人场景中的“谁在何时说话、话语是否面向
> wearer”这类视听 grounding；把这种逐人证据加入预测后，能否使不可见的 camera
> wearer 更合理地进入或让出话轮？
最重要的可证伪目标是：
> 在相同 wearer 开口事件召回率下，正确对齐的逐人视觉应减少 other↔other 交谈期间
> 的错误开口预测；同时，不能降低对真正 addressed-to-wearer 接话事件的召回率，也
> 不能恶化 wearer 正在讲话时的让话预测。
这比“整体 mAP 提高”更能说明模型理解了多人交互，而不只是利用音量、静音和数据
先验。
## 2. 可以和不可以主张什么
### 可以主张的研究空缺
现有工作分别研究了 egocentric 未来说话状态、多人 EOT/VAP、视听对话图和说话者
grounding，但它们尚未完整覆盖以下交集：
- 单个 egocentric wearer 视角；
- 严格因果的音频和视频；
- wearer 本人通常不在画面中，却是需要预测行为的主体；
- 同时评估进入话轮和让出话轮；
- 使用逐人/对象指向的视觉证据；
- 用事件召回、错误开口率和响应延迟，而不只用逐帧未来活动 mAP。
更稳妥的论文表述是：
> To our knowledge, this is the first study of strictly causal,
> speaker-grounded audiovisual forecasting of both floor-entry and floor-yield
> actions for an invisible egocentric wearer in natural multiparty
> conversations.
这个 claim 仍需在投稿前按检索结果逐条核对，不能写成“首个多人视听 turn-taking”或
“首个在线多人 EOT”。完整边界见
[多人 egocentric floor gap audit](multiparty_egocentric_floor_gap_audit_2026-08-30.md)。
### 不足以成为贡献的内容
- 仅把 EgoSpeak 的旧 backbone 换成 Qwen2.5-Omni；
- 仅报告 0.2--2.0 秒逐帧 mAP；
- 仅发现 G+A+V 高于 G，但没有正确人物、错位人物或参数匹配控制；
- 把 aggregate `others` 的边界直接称为语义 EOT、INT 或 addressee 真值；
- 把冻结 Omni 特征加 MLP 称为任务级端到端训练；
- 继续优化此前泛化的 transition auxiliary loss，而不区分 wearer entry/yield 场景。
冻结 Thinker 加 head 应称为 **frozen-backbone adaptation** 或 representation probe。
只有联合优化局部 adapter/LoRA 与任务目标时，才接近 task-adapted end-to-end 模型。
## 3. 四个假设
| 假设 | 问题 | 可观察证据 |
|---|---|---|
| H1 | 全局 Omni state 是否包含 aggregate floor 信息？ | wearer/others 活动与未来活动 probe 优于简单先验和 encoder-only baseline |
| H2 | 全局 Omni state 是否可靠地区分画面中的不同说话人？ | 匿名 person-slot active-speaker probe 明显优于随机/时序错位视觉 |
| H3 | 逐人 grounding 是否改变 wearer 的开口决策？ | matched onset recall 下，other↔other 时段 false entry/min 显著下降 |
| H4 | 这种抑制是否只是让模型更保守？ | addressed-to-wearer response recall/latency 和 wearer yield 不退化 |
如果 H2 不成立，论文不能宣称原始 Omni 已经具有可靠 speaker grounding；这时逐人分支
本身就是所需的适配模块。如果 H2 成立但 H3 不成立，则 representation 有说话者信息，
但它没有转化为 floor-action 收益，也不能强行讲成成功故事。
## 4. 实验顺序
### P0：先冻结评测和数据定义
在训练新模型前完成，否则后续所有数值都可能回答错问题。
1. 核实 5 Hz `row t` 的输入截止时间和 `t+h` 标签物理时间；保留现有 causal-valid
mask。
2. 修正事件归因的 competing risk：
- other offset 后的 wearer response 只在下一次 other onset 之前归因；
- other onset 后的 wearer yield 只在下一次 other offset 之前归因。
现有 `evaluate_floor_state_changes.py` 使用固定 horizon 内任意 transition，暂时只能作为
proxy，可能把后来无关的动作归给前一个边界。
3. 固定 EasyCom train/test（4--12 / 1--3）；阈值、窗口和规则不能在 test 上调。
4. 从训练 session 内留出 calibration/dev 子集，用来选择阈值和 early stopping；最终表格
仍在官方 test 上一次性报告。
5. 冻结三个场景切片：
- `third_party`: other↔other，wearer 不应开口；
- `addressed`: 他人明确面向 wearer，期待 wearer 响应；
- `group_or_unknown`: 群体/目标未知，只作独立报告。
6. 审计 EasyCom `Target_of_Speech` 的覆盖与可靠性；Ego4D 缺少充分 addressee 标注时，
不把它用于 addressed-to-wearer 主指标。
P0 的产物应包括事件计数、正负样本数、示例时间轴和人工复核样例，而不只是一个 AP。
### P1：先诊断 Omni 是否真的知道“谁在说话”
使用冻结表示和轻量、容量匹配的 probe，避免先训练复杂模型后再猜收益来源。
| ID | 输入表示 | 目的 |
|---|---|---|
| D0 | EgoSpeak 原始音频/视觉特征 | 可参照的旧表示基线 |
| D1-A/V/AV | Qwen audio/visual encoder-only | 区分 encoder 信息和 Thinker 融合信息 |
| D2 | 全局 Thinker state `G` | 检查 Omni 全局状态 |
| D3 | 匿名 person slots `V_i` | 逐人 active-speaker / visible-speaker probe |
| D4 | `G + V_i` | 检查全局语义能否帮助人物归因 |
必须加入的控制：
- audio-only、visual-only、正确 AV；
- 同一时刻随机换人的 crop；
- 时间错位 crop；
- person slot permutation（模型不能依赖固定 person ID）；
- 参数量和历史长度匹配的 pooled-person baseline。
P1 的通过条件不是一个固定绝对阈值，而是：正确对齐的人物表示稳定优于错人/错时控制，
且三次随机种子置信区间不完全被简单 pooled baseline 覆盖。否则不要进入昂贵的 Thinker
adapter 实验。
### P2：建立 floor-action 基线，并证明普通池化视觉的局限
已有结果应重新放入同一个事件协议：
| ID | 模型 | 已知作用 |
|---|---|---|
| B0 | `G` | 全局 Thinker baseline |
| B1 | `G + A` | 当前最主要的局部音频增益来源 |
| B2 | `G + A + pooled V` | 检查普通局部视觉的边际价值 |
| B3 | `G + A + shuffled V` | 判断视觉收益是否来自正确对齐 |
| B4 | `G + A + temporal pooled V` | 与 person-wise temporal model 做公平容量/历史控制 |
当前 EasyCom seed-0 结果中，B1 到 B2 的 0.2 秒 wearer AP 只约 `+0.02`，mean mAP
约 `+0.29`。这说明“有视觉输入”尚不等于“理解谁在对谁说话”，也正好构成逐人方法的
动机。不要把这点写成视觉已被证实有效。
逐帧 10-horizon AP/mAP 保留为与 EgoSpeak 可比的次级指标；主指标改为：
- wearer entry event AP；
- wearer yield event AP；
- matched entry recall（建议 0.7/0.8/0.9）下 third-party false entries/min；
- addressed-to-wearer response recall 和 latency；
- wearer 已经讲话时的 yield recall 和 latency。
### P3：第一优先方法——匿名逐人时序旁路
先做易解释、能在 8×L20 上完成的旁路，而不是直接修改整个 Thinker。
```text
global Thinker states G_t ───────────────────────────────┐
recent local audio A_t -> causal audio temporal encoder ─┤
person crops V_{t,i} -> shared causal encoder per person ┤
-> wearer-state-conditioned attention
-> floor entry/yield head
```
关键约束：
- 人物轨迹使用匿名 slot，共享视觉编码器和时序 GRU/TCN，避免依赖 person ID；
- 每个时刻显式 mask 不可见人物；
- causal attention 只能看到当前及过去；
- 用 wearer 当前状态门控 entry/yield 分支；
- 所有比较匹配历史长度、参数量、优化器、训练轮数与种子。
逐步消融：
| ID | 增量 | 回答的问题 |
|---|---|---|
| A0t | `G+A` + 参数匹配时序层 | 收益是否只是更多 temporal capacity？ |
| A1 | pooled-person temporal branch | 收益是否只是人物区域平均更干净？ |
| A2 | person-wise shared encoder + causal cross-attention | 保留人物结构是否必要？ |
| A3 | A2 + per-person active-speaker auxiliary loss | 显式“谁在说”监督是否必要？ |
| A4 | A3 + addressee auxiliary loss | “对谁说”是否降低 third-party false entry？ |
| A5 | A4 + wearer entry/yield hazard loss | grounding 是否能转化为行为事件？ |
论文的关键对照是 A2/A3/A4 对 A0t、A1、B3，而不是只对最弱的 B0。
### P4：第二阶段方法——把人物记忆接入 Omni Thinker
只有 P1 证明人物特征可解码、P3 证明人物结构对 floor action 有效后，再做：
| ID | 方法 | 作用 |
|---|---|---|
| T0 | Thinker LoRA，无人物 memory | 参数与任务适配控制 |
| T1 | local person-memory adapter，冻结 Thinker | 测试 trainable modality connection |
| T2 | person-memory adapter + upper-layer LoRA | 最接近 task-adapted end-to-end 的上限 |
adapter 应把每个 200 ms 或短 causal chunk 的人物 token 作为有 mask 的 memory，而不是把
所有人脸拼成一张图后再让模型猜人物边界。T1/T2 必须与 T0 参数匹配，并继续做 wrong
person、time-shift 和 remove-video 干预。若 T1 不优于 P3，就保留更简单、更容易解释的
旁路作为论文方法。
## 5. 主表和证据链
### 主表
每个方法至少 3 seeds，报告 mean ± sample standard deviation，并对 session/event 做
bootstrap 置信区间：
| Method | Entry event AP | Yield event AP | False entry/min @ R=.8 | Addressed recall | Response latency | EgoSpeak mean mAP |
|---|---:|---:|---:|---:|---:|---:|
其中 `False entry/min @ R=.8` 应作为最容易读懂的 headline metric；R=.7/.9 放附表或曲线。
### 三个必要的因果证据
1. **正确人物 > 错误人物**：随机换人不能保留收益。
2. **正确时间 > 错位时间**：未来帧绝不能进入输入，过去错位也应降低收益。
3. **选择性改善而非整体保守**：third-party false entry 降低时，addressed response recall
不下降。
### 定性案例
挑选固定规则而不是事后挑最好看的例子：
- 两个 visible others 连续互相讲话，wearer 保持沉默；
- visible other 转向/面向 wearer 后，wearer 在合理延迟内开口；
- wearer 正在讲话，other 竞争性进入后 wearer 让话；
- 失败案例：遮挡、背脸、多人同时讲话、目标未知。
每个案例画同一时间轴：人物框、per-person speaking score、addressee score、wearer
entry/yield score、真实 wearer 状态。
## 6. 8×L20 的执行优先级
不要一开始把 8 张卡都投入 T2。建议按 gate 推进：
1. **第 1 轮**：3 seeds 的 B1、B2、A0t，加 B3 wrong-alignment control；冻结评测。
2. **第 2 轮**：D3/D4 person probe；确认人物和时间对齐真的可解码。
3. **第 3 轮**：3 seeds 的 A1、A2、A3；根据 matched-recall 主指标选方向。
4. **第 4 轮**：只对通过的 A3 增加 addressee/event supervision。
5. **第 5 轮**：T0/T1；只有 T1 显著优于旁路后才做 T2。
6. **跨数据集**：EasyCom 用于完整 speaker/addressee 分析；Ego4D 用于 activity、entry/yield
泛化，不强行报告其不支持的 addressee 主指标。
每轮都先在一个 session 做 shape、时间和 leakage smoke test，再并行 full run。模型选择只看
train 内 calibration/dev，不读取官方 test 结果做超参数搜索。
## 7. 结果如何决定论文方向
| 观察 | 应得结论 |
|---|---|
| 正确视觉与错位视觉无差别 | 当前局部视觉没有被模型使用；不能讲 AV social grounding |
| 只有 audio 提升 | 收敛成 prosody/audio floor forecasting，不硬写视觉故事 |
| person probe 好，但 floor 指标无提升 | Omni 有人物信息，但当前任务/融合没有利用它 |
| A2 优于 pooled，但 A3/A4 无额外收益 | 人物结构有效，辅助标签质量或目标设计需调整 |
| A4 在 matched recall 下降低 third-party false entry，addressed recall 不退化 | 最强、最直接的多人 AV floor-action 证据 |
| T1/T2 不优于旁路 | 采用简单旁路；不为“端到端”牺牲可解释性 |
## 8. 最小可投稿版本与强版本
**最小可投稿版本**：新的 wearer entry/yield 事件协议、Omni speaker-grounding 诊断、
EgoSpeak/encoder-only/Thinker/local-audio/pooled-video 强基线、EasyCom+Ego4D 复现，并清楚
展示逐帧 mAP 隐藏的行为差异。
**强版本**：在上述基础上，匿名逐人 causal fusion 在 matched wearer recall 下显著降低
third-party false entry，保持 addressed response 与 yield，并通过 wrong-person、time-shift、
audio-only、参数匹配和跨数据集控制。
前者回答“现有 Omni 到底会不会管理话轮”；后者进一步给出“怎样让它利用多人视觉管理
话轮”。后者才是更有竞争力的 ICASSP 主线。

16
literature_notes/47_3m_transformer.md
View File

@@ -2,12 +2,18 @@
- 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli - 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
- 发表：ICASSP 2024，8050–8054 - 发表：ICASSP 2024，8050–8054
- 阅读深度：作者机构摘要及正式会议信息筛选 - 阅读深度：方法、数据、输入和预测协议重点阅读
- 记录日期：2026-08-28 - 记录日期：2026-08-30
- 来源：[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136) - 来源：[论文](https://arxiv.org/pdf/2310.14859)、[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
## 摘要与项目关系 ## 摘要与项目关系
在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer 预测轮次。强调不同人物视角和模态间的交互。 在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer
融合 audio/video/text，预测 1、3、5、10 秒后的 next speaker。EgoCom 包含三人对话，至少
两人佩戴同步音视频眼镜；输入使用预计算视觉、说话人音频和 transcript embeddings，并聚合
过去 4、5、10 或 30 秒。
这是多人时序融合的相关工作，但 EgoCom 不等于 EasyCom，多个参与者摄像机也不同于单 wearer 视角。本轮未完整核对方法、输入因果性及代码，不能直接作为可复现命令来源。 这是“多方＋第一视角＋AVT＋未来 next speaker”的直接先例。它与本项目的区别不能只写数据集：
其系统依赖多位参与者的同步穿戴视角和已有文本，预测远期 speaker class；本项目目标是单个
wearer 传感流下不可见 wearer 的 200ms 级 entry/yield 事件及误触发。论文表格中的高 accuracy
还混合了 `Use Prior=True` 条件，不能与本项目逐帧 AP 或事件指标直接比较。

18
literature_notes/50_av_conversational_graph.md Normal file
View File

@@ -0,0 +1,18 @@
# The Audio-Visual Conversational Graph: From an Egocentric-Exocentric Perspective
- 作者：Wenqi Jia、Miao Liu、Hao Jiang、Ishwarya Ananthabhotla、James M. Rehg、Vamsi Krishna Ithapu、Ruohan Gao
- 发表：CVPR 2024，26396–26405
- 阅读深度：摘要、问题定义、输入、标注及补充实验重点阅读
- 核查日期：2026-08-30
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2024/html/Jia_The_Audio-Visual_Conversational_Graph_From_an_Egocentric-Exocentric_Perspective_CVPR_2024_paper.html)、[arXiv](https://arxiv.org/abs/2312.12870)
## 摘要与项目关系
从第一视角音视频构造动态 conversational graph，同时预测 camera wearer 与画面中各人物的
speaking/listening 关系。模型显式融合跨时间、跨人物和跨模态信息，并使用人物头部 crop、
空间 mask 与多通道音频。实验数据包含多说话人及并行会话。
这是“第一视角＋多方＋逐人 AV 交互图”的直接先例，因此不能把这些组件本身作为首次贡献。
但其任务是根据约 3s clip 重建各时刻当前的 speaking/listening graph，补充材料说明各帧结果
一次性预测；没有建立严格因果的 wearer 未来 entry/yield 事件协议。其多通道音频、提供的头框
以及预定义交谈组也不同于本项目的单 wearer 流式输入。

18
literature_notes/51_online_multiparty_eot.md Normal file
View File

@@ -0,0 +1,18 @@
# Online Multimodal End-of-Turn Prediction for Three-party Conversations
- 作者：Meng-Chen Lee、Zhigang Deng
- 发表：ICMI 2024，57–65；Best Paper Runner-up
- 阅读深度：任务、采集、方法、评测及局限重点阅读
- 核查日期：2026-08-30
- 来源：[作者论文 PDF](https://graphics.cs.uh.edu/wp-content/papers/2024/2024-ICMI-OnlineTurnPrediction.pdf)、[DOI](https://doi.org/10.1145/3678957.3685742)
## 摘要与项目关系
用连续窗口及 PLM-GRU 融合文本、韵律、视线和交互状态，在线预测三方对话中的 end-of-turn，
标注包含 turn-taking、interruption 与 overlap。相对依赖停顿后的 IPU 方法，它强调连续预测
和低延迟，因此“第一个在线多方 EOT”不能作为本项目 claim。
数据来自受控实验室：八台光学 mocap 相机、每人眼动仪、mocap suit 和独立无线麦克风。
输入是工程化 gaze/prosody/text/state，而不是自然环境中的单个第一视角原始 AV；任务检测当前
说话人的 EOT，也不等于预测不可见 wearer 自身何时进入或退出 floor。论文还承认尚未形成
完整的实时多模态 top-down 系统。

18
literature_notes/52_turnbench.md Normal file
View File

@@ -0,0 +1,18 @@
# TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
- 作者：Freeman Jiang 等
- 状态：2026 arXiv 预印本及公开 benchmark
- 阅读深度：摘要、任务定义、提交因果性和公开 leaderboard 重点阅读
- 核查日期：2026-08-30
- 来源：[论文](https://arxiv.org/abs/2608.25218)、[benchmark](https://turnbench.sesame.com/)、[官方仓库](https://github.com/SesameAILabs/turnbench)
## 摘要与项目关系
建立跨六类对话的双人双通道 EOT/INT benchmark。模型必须提交其作出决定的时间，而不是事后
回填事件发生时间；主要指标是固定工作点下的 recall、false-positive rate 和 latency。
结果显示 backchannel 密集的对话特别容易造成 interruption false positives，而且现有系统尚未
同时达到快速、高召回和低误报。
它不是多方、音视频或第一视角任务，但提供了比逐帧 AP 更接近 agent 行为的评测依据。
本项目应借鉴一对一事件匹配、因果提交时间、匹配召回率和误报预算，同时保留 wearer entry/yield
及多方场景分层；不能直接把由二值活动自动派生的 proxy 称为 TurnBench 人工 EOT/INT 真值。

16
literature_notes/53_amuse.md Normal file
View File

@@ -0,0 +1,16 @@
# AMusE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding
- 作者：Sanjoy Chowdhury 等
- 发表：CVPR 2026，22998–23009
- 阅读深度：摘要及官方论文页筛选
- 核查日期：2026-08-30
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2026/html/Chowdhury_AMusE_Audio-Visual_Benchmark_and_Alignment_Framework_for_Agentic_Multi-Speaker_Understanding_CVPR_2026_paper.html)
## 摘要与项目关系
系统评估 MLLM 在多说话人对话中的人物身份追踪、角色保持及音视频事件时序 grounding，报告
当前通用模型在 agentic multi-speaker understanding 上仍有明显短板。
该工作不是 wearer floor-entry/yield 预测，也不能作为直接数值基线；它适合与 Multi-speaker
Attention Alignment 一起支撑“简单加入视觉并不等于获得逐人社会理解”的动机。引用时应把
其 benchmark/理解任务与本项目 200ms 因果行为预测明确分开。

17
literature_notes/README.md
View File

@@ -2,9 +2,11 @@
本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。 本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。
最后更新：2026-08-28 最后更新：2026-08-30
最新专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。 最新专题：[多方第一视角 AV wearer floor-state prediction 文献 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。结论是宽泛组件均有先例；仍可信的交集是单 wearer 严格因果流、不可见 wearer 的 entry/yield、逐人 grounding 和事件级评测。MuVAP、EgoSpeak、3M-Transformer、AV-CONV 与在线多方 EOT 必须正面区分。
此前专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。
同日此前专题：[逐人 chunk、train-free Thinker 与 wearer onset/offset 计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)。新增 28–32 五篇笔记，补读 16、23，核查 24 的实现边界。 同日此前专题：[逐人 chunk、train-free Thinker 与 wearer onset/offset 计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)。新增 28–32 五篇笔记，补读 16、23，核查 24 的实现边界。
@@ -69,9 +71,20 @@
| 47 | [3M-Transformer](47_3m_transformer.md) | 2024 | 摘要级筛选 | ICASSP；多视角 EgoCom，区别于单视角 EasyCom | | 47 | [3M-Transformer](47_3m_transformer.md) | 2024 | 摘要级筛选 | ICASSP；多视角 EgoCom，区别于单视角 EasyCom |
| 48 | [VA-related Pretrained Encoders for MM-VAP](48_va_pretrained_multimodal_vap.md) | 2026 | 重点章节阅读 | 作者声明 RO-MAN 接收；LoRA 与窗口因果性审计 | | 48 | [VA-related Pretrained Encoders for MM-VAP](48_va_pretrained_multimodal_vap.md) | 2026 | 重点章节阅读 | 作者声明 RO-MAN 接收；LoRA 与窗口因果性审计 |
| 49 | [Modality Drop-Out for DDSD](49_modality_dropout_ddsd.md) | 2024 | 摘要及会议信息筛选 | ICASSP；缺失模态及固定工作点误接受率 | | 49 | [Modality Drop-Out for DDSD](49_modality_dropout_ddsd.md) | 2024 | 摘要及会议信息筛选 | ICASSP；缺失模态及固定工作点误接受率 |
| 50 | [Audio-Visual Conversational Graph / AV-CONV](50_av_conversational_graph.md) | 2024 | 问题、输入和标注重点阅读 | CVPR；第一视角逐人 speaking/listening graph，但不是因果未来 wearer action |
| 51 | [Online Multimodal End-of-Turn Prediction](51_online_multiparty_eot.md) | 2024 | 任务、采集、方法和局限重点阅读 | ICMI；在线三方 EOT，但依赖实验室 gaze/mocap/独立麦克风 |
| 52 | [TurnBench](52_turnbench.md) | 2026 | 任务、因果提交和 leaderboard 重点阅读 | 双人音频事件评测；recall/FPR/latency 范式 |
| 53 | [AMusE](53_amuse.md) | 2026 | 摘要及官方论文页筛选 | CVPR；MLLM 多说话人身份、角色和 AV grounding 短板 |
## 当前综合判断 ## 当前综合判断
2026-08-30 更新：宽泛的“多方 AV turn-taking”已被 MuVAP、3M-Transformer、在线多方 EOT
等工作覆盖；“第一视角 AV when-to-speak”已有 EgoSpeak，“逐人第一视角 speaking/listening”
已有 AV-CONV。当前可辩护定位是：**单个严格因果第一视角流中，利用 speaker-grounded AV
预测不可见 wearer 自身的 floor entry 与 yield，并作事件级误触发/召回/延迟评价**。
参见[完整 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。gap 不替代方法贡献；
仍需证明逐人视觉在同 onset recall 下减少第三方交谈期间 false entry，并不损害真实 response。
2026-08-28 更新：[encoder-only 完整结果](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)显示近期音频与 Thinker 历史互补；普通视觉池化对 wearer 的增益尚不清楚。先补 wearer 专属事件及讲话对象分层，再对照逐人时序旁路和模型内可训练 adapter/LoRA。现有 R1/R2 是全活动变化，不是 wearer onset/offset 的直接评测。MuVAP 等工作使“逐人＋因果融合”不再足以单独构成创新；新假设是对不可见 wearer 的讲话对象条件化预测与受召回约束的第三方误开口降低。 2026-08-28 更新：[encoder-only 完整结果](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)显示近期音频与 Thinker 历史互补；普通视觉池化对 wearer 的增益尚不清楚。先补 wearer 专属事件及讲话对象分层，再对照逐人时序旁路和模型内可训练 adapter/LoRA。现有 R1/R2 是全活动变化，不是 wearer onset/offset 的直接评测。MuVAP 等工作使“逐人＋因果融合”不再足以单独构成创新；新假设是对不可见 wearer 的讲话对象条件化预测与受召回约束的第三方误开口降低。
以下为 2026-08-27 的阶段判断： 以下为 2026-08-27 的阶段判断：