110 lines
7.3 KiB
Markdown
110 lines
7.3 KiB
Markdown
# Local evidence adaptation：四页稿结构决策
|
||
|
||
日期：2026-09-17。状态：用户要求的内容重排，不是新模型实现或最终实验结论。
|
||
本文更新当前稿件组织；此前战略记录保留其当时判断。
|
||
|
||
## 同日后续决定：分析与待做实验
|
||
|
||
按用户要求暂不展开 Omni LoRA。结果部分采用 Main Comparison、Local Evidence
|
||
Analysis、Streaming and Context Analysis、Error and Qualitative Analysis。
|
||
详细队列、tail × local audio 四组、4/8/16-s context cap、persistence baseline、
|
||
capacity/recency 控制及运行代价记录在
|
||
[待做实验日志](local_evidence_analysis_experiment_log_2026-09-17.md)；全部 pending，
|
||
不是新增实测结果，也没有启动训练或修改实现。正文保留数值表/图空位，先控制四页篇幅。
|
||
Hard-negative/qualitative 合并；原始活动标签与语义负例不能混用，semantic audit 仍暂缓。
|
||
同日追加 Qwen2.5-Omni 3B/7B 与 MiniCPM-o 4.5 的 backbone-transfer 配对。
|
||
主骨干仍为 3B；各骨干 G→G+A 固定同一份 local A，并区分 refresh/history/readout
|
||
差异。细节与准入门槛放日志，正文仅 Local Evidence 短段和 compact 表三行增量空位，
|
||
不新增独立贡献或大节。MiniCPM 提取入口未 GPU 验证，native cache 不等于 8-s cap。
|
||
|
||
## 中心命题与三点贡献
|
||
|
||
以 **causal local evidence adaptation** 组织近期音频、可选局部视觉和当前尾块读取。
|
||
两者不是相同表示：local A/V 显式暴露近期模态证据；tail handling 使全局 Thinker state
|
||
包含截止时刻已经观测到的当前块。不能把 tail 误写为另一条已提取的内容 embedding。
|
||
|
||
1. **模型适配框架**：不可见 wearer 的 global--local future-activity forecasting，
|
||
用冻结 Omni context 与近期模态证据融合，而非宣称首次提出多人 turn-taking。
|
||
2. **流式实现**：bounded context + committed history + temporary partial tail，
|
||
每 200 ms 对齐同一物理 cutoff。普通 cache 本身不是新算法；预测收益与实测效率待验证。
|
||
3. **受控分析**：分别报告 dense forecasting 与 endpoint onset/offset anticipation，
|
||
通过匹配容量、输入和刷新规则的对照定位收益，不能预写已改善语义 floor control。
|
||
|
||
第三项目前是研究设计，不是已通过的机制结论。近期音频是核心，视觉是可选消融；
|
||
即使正确视觉没有增量，也可如实报告，不能让稿件依赖未验证的视觉收益。
|
||
|
||
## 四页技术内容预算
|
||
|
||
官方上限为四页技术内容（含图表），可选第五页仅参考文献，
|
||
见 [ICASSP 2027 author guidelines](https://2027.ieeeicassp.org/author-guidelines/)
|
||
和 [submission instructions](https://2027.ieeeicassp.org/paper-submission-instructions/)。
|
||
篇幅符合要求不意味着工作必然被接收。
|
||
|
||
| 部分 | 建议预算 | 内容 |
|
||
|---|---:|---|
|
||
| Abstract + Introduction | 约 0.8 页 | 问题、相关工作、适配动机、三项贡献 |
|
||
| Method | 约 1.1 页 | 两个子节及一张模型/流式对齐图 |
|
||
| Experimental Setup | 约 0.6 页 | split、训练和两层 threshold-free 指标 |
|
||
| Results and Analysis | 约 1.3 页 | 主表、关键机制/尾块对照、限制 |
|
||
| Conclusion | 约 0.2 页 | 支持的窄结论 |
|
||
|
||
方法仅保留一条融合/输出公式，不展开普通 attention、mask、loss 或 cache 公式。
|
||
最终数值表和一条 horizon/phase 曲线优先于增加候选方法。
|
||
|
||
## 与当前代码对齐
|
||
|
||
- 主体：`easycom_head.py` 的 last-four-layer concat-MLP、256D local projection、
|
||
validity-aware feature concatenation 与 10×3 forecast head。
|
||
- 局部：`extract_turn_local_features.py` 的近期 1s Qwen audio valid-token mean；
|
||
可选视觉为 2FPS crop spatial mean → equal-person mean → recent valid-frame mean。
|
||
- 流式：`streaming_turn_model.py` 的 `OpenStreamReplayExtractor`，
|
||
2s source blocks、最多 8s presentation budget、完成块 payload 复用、临时 tail/cache
|
||
分支及单次完成块提交。稳态 span 为约 6.2--8s，不是每行精确 8s sliding crop。
|
||
- preserved-EgoSpeak residual 和阶段二仅为辅助架构实验，不是默认正文方法。
|
||
- `tail_embedding` 仅存在于 `egospeak_omni_residual.py`，编码十档 block phase；
|
||
不能归入当前 G+A head，更不是 tail-content/未来 horizon embedding。
|
||
- from-scratch replay 的正确性参照必须使用同一 block decomposition。
|
||
continuously encoded prefix 是独立表示对照，不能直接声称数值等价。
|
||
|
||
## 评测与实验边界
|
||
|
||
Dense：逐 horizon 三类 AP 的 mAP，再平均十个 horizon。Raw onset/offset：
|
||
按 source wearer OFF/ON 条件化，分别用 p(wearer)/1-p(wearer) 判断 future endpoint。
|
||
多个 source rows 可属于同一物理边界，不是 event detection 或 semantic ENTRY/YIELD。
|
||
两类 AP 的 prevalence 不同，不直接比较其绝对值；比较方法时固定共同 valid pairs。
|
||
|
||
Opportunity-conditioned semantic evaluation 按用户决定暂缓。旧 annotation workload 和
|
||
协议存于 [`annotation_protocol_notes.tex`](../manuscript/main/annotation_protocol_notes.tex)，
|
||
不编入四页正文；历史数值仍在原 results/reports 记录中，不改成 human-reviewed。
|
||
P0 真实数据审核未完成，不能据此宣称减少抢话、理解 takeover 或 addressee。
|
||
|
||
新超参数、窗口和 recipe 只用训练侧 folds 确定。父 checkpoint 已见过的 Session 12
|
||
不能算其 continuation 的独立 dev。已反复查看的 Sessions 1--3 属 exploratory evidence，
|
||
新三种子只检验稳定性，不会自动恢复独立 confirmatory test 的性质。
|
||
|
||
最小对照：A/G/G+A；容量匹配；可选 V on/off；过去延迟的 local sensitivity；
|
||
completed-only versus observed-tail refresh（local A 固定 5Hz）；block-phase 分层。
|
||
跨骨干对照报告同骨干 G/GA 增量；1-Hz hold 需匹配 Qwen 1-Hz 控制，不能用 2-s hold
|
||
替代；5-Hz MiniCPM 行必须通过 tail/cache/因果及 history 可比性审计。
|
||
在没有采样同一 cutoff 的 latency 和 memory 测量前，5Hz 是逻辑输出网格，不是实测 FPS。
|
||
|
||
## 稿件位置
|
||
|
||
- [`main.tex`](../manuscript/main/main.tex)：重排正文，结果与机制结论仍显式 TODO。
|
||
- [`method_architecture.tex`](../manuscript/main/figures/method_architecture.tex)：
|
||
模型与流式实现统一图，移除尚未测量的 25Hz MuVAP person-set 主结构。
|
||
- [`README.md`](../manuscript/main/README.md)：当前编译和 scope 说明。
|
||
- [`REVIEWER_CHECKLIST.md`](../manuscript/main/REVIEWER_CHECKLIST.md)：追加当前优先项，
|
||
旧的 semantic/track 路线保留为条件分支，不是本轮硬性实验清单。
|
||
|
||
提交前还需最终 author kit、作者信息、全部 TODO、实验证据与 IEEE AI-assisted drafting
|
||
披露检查。本轮仅修改文稿和图，未修改模型、目标、特征契约或训练 CLI。
|
||
|
||
## 本轮文档验证
|
||
|
||
使用本机已提供的 Tectonic 和现有未改动的 `spconf` / `IEEEbib` 模板编译，
|
||
当前 working PDF 共四页（含参考文献）；最终填入结果后须重新检查技术内容不超过四页。
|
||
主方法仅一条展示公式。相对链接、TeX 引用和 bib keys 检查通过，
|
||
`git diff --check` 通过；方法图与所有 PDF 页完成渲染检查，并修复图中文字重叠和表格溢出。
|
||
结果 TODO 是有意保留的研究门槛，当前 PDF 不是可直接提交的最终稿。
|