7.3 KiB
Local evidence adaptation：四页稿结构决策
日期：2026-09-17。状态：用户要求的内容重排，不是新模型实现或最终实验结论。 本文更新当前稿件组织；此前战略记录保留其当时判断。
同日后续决定：分析与待做实验
按用户要求暂不展开 Omni LoRA。结果部分采用 Main Comparison、Local Evidence Analysis、Streaming and Context Analysis、Error and Qualitative Analysis。 详细队列、tail × local audio 四组、4/8/16-s context cap、persistence baseline、 capacity/recency 控制及运行代价记录在 待做实验日志；全部 pending， 不是新增实测结果，也没有启动训练或修改实现。正文保留数值表/图空位，先控制四页篇幅。 Hard-negative/qualitative 合并；原始活动标签与语义负例不能混用，semantic audit 仍暂缓。 同日追加 Qwen2.5-Omni 3B/7B 与 MiniCPM-o 4.5 的 backbone-transfer 配对。 主骨干仍为 3B；各骨干 G→G+A 固定同一份 local A，并区分 refresh/history/readout 差异。细节与准入门槛放日志，正文仅 Local Evidence 短段和 compact 表三行增量空位， 不新增独立贡献或大节。MiniCPM 提取入口未 GPU 验证，native cache 不等于 8-s cap。
中心命题与三点贡献
以 causal local evidence adaptation 组织近期音频、可选局部视觉和当前尾块读取。 两者不是相同表示：local A/V 显式暴露近期模态证据；tail handling 使全局 Thinker state 包含截止时刻已经观测到的当前块。不能把 tail 误写为另一条已提取的内容 embedding。
- 模型适配框架：不可见 wearer 的 global--local future-activity forecasting， 用冻结 Omni context 与近期模态证据融合，而非宣称首次提出多人 turn-taking。
- 流式实现：bounded context + committed history + temporary partial tail， 每 200 ms 对齐同一物理 cutoff。普通 cache 本身不是新算法；预测收益与实测效率待验证。
- 受控分析：分别报告 dense forecasting 与 endpoint onset/offset anticipation， 通过匹配容量、输入和刷新规则的对照定位收益，不能预写已改善语义 floor control。
第三项目前是研究设计，不是已通过的机制结论。近期音频是核心，视觉是可选消融； 即使正确视觉没有增量，也可如实报告，不能让稿件依赖未验证的视觉收益。
四页技术内容预算
官方上限为四页技术内容（含图表），可选第五页仅参考文献， 见 ICASSP 2027 author guidelines 和 submission instructions。 篇幅符合要求不意味着工作必然被接收。
| 部分 | 建议预算 | 内容 |
|---|---|---|
| Abstract + Introduction | 约 0.8 页 | 问题、相关工作、适配动机、三项贡献 |
| Method | 约 1.1 页 | 两个子节及一张模型/流式对齐图 |
| Experimental Setup | 约 0.6 页 | split、训练和两层 threshold-free 指标 |
| Results and Analysis | 约 1.3 页 | 主表、关键机制/尾块对照、限制 |
| Conclusion | 约 0.2 页 | 支持的窄结论 |
方法仅保留一条融合/输出公式，不展开普通 attention、mask、loss 或 cache 公式。 最终数值表和一条 horizon/phase 曲线优先于增加候选方法。
与当前代码对齐
- 主体：
easycom_head.py的 last-four-layer concat-MLP、256D local projection、 validity-aware feature concatenation 与 10×3 forecast head。 - 局部：
extract_turn_local_features.py的近期 1s Qwen audio valid-token mean； 可选视觉为 2FPS crop spatial mean → equal-person mean → recent valid-frame mean。 - 流式：
streaming_turn_model.py的OpenStreamReplayExtractor， 2s source blocks、最多 8s presentation budget、完成块 payload 复用、临时 tail/cache 分支及单次完成块提交。稳态 span 为约 6.2--8s，不是每行精确 8s sliding crop。 - preserved-EgoSpeak residual 和阶段二仅为辅助架构实验，不是默认正文方法。
tail_embedding仅存在于egospeak_omni_residual.py，编码十档 block phase； 不能归入当前 G+A head，更不是 tail-content/未来 horizon embedding。- from-scratch replay 的正确性参照必须使用同一 block decomposition。 continuously encoded prefix 是独立表示对照，不能直接声称数值等价。
评测与实验边界
Dense：逐 horizon 三类 AP 的 mAP，再平均十个 horizon。Raw onset/offset： 按 source wearer OFF/ON 条件化，分别用 p(wearer)/1-p(wearer) 判断 future endpoint。 多个 source rows 可属于同一物理边界，不是 event detection 或 semantic ENTRY/YIELD。 两类 AP 的 prevalence 不同，不直接比较其绝对值；比较方法时固定共同 valid pairs。
Opportunity-conditioned semantic evaluation 按用户决定暂缓。旧 annotation workload 和
协议存于 annotation_protocol_notes.tex，
不编入四页正文；历史数值仍在原 results/reports 记录中，不改成 human-reviewed。
P0 真实数据审核未完成，不能据此宣称减少抢话、理解 takeover 或 addressee。
新超参数、窗口和 recipe 只用训练侧 folds 确定。父 checkpoint 已见过的 Session 12 不能算其 continuation 的独立 dev。已反复查看的 Sessions 1--3 属 exploratory evidence， 新三种子只检验稳定性，不会自动恢复独立 confirmatory test 的性质。
最小对照：A/G/G+A；容量匹配；可选 V on/off；过去延迟的 local sensitivity； completed-only versus observed-tail refresh（local A 固定 5Hz）；block-phase 分层。 跨骨干对照报告同骨干 G/GA 增量；1-Hz hold 需匹配 Qwen 1-Hz 控制，不能用 2-s hold 替代；5-Hz MiniCPM 行必须通过 tail/cache/因果及 history 可比性审计。 在没有采样同一 cutoff 的 latency 和 memory 测量前，5Hz 是逻辑输出网格，不是实测 FPS。
稿件位置
main.tex：重排正文，结果与机制结论仍显式 TODO。method_architecture.tex： 模型与流式实现统一图，移除尚未测量的 25Hz MuVAP person-set 主结构。README.md：当前编译和 scope 说明。REVIEWER_CHECKLIST.md：追加当前优先项， 旧的 semantic/track 路线保留为条件分支，不是本轮硬性实验清单。
提交前还需最终 author kit、作者信息、全部 TODO、实验证据与 IEEE AI-assisted drafting 披露检查。本轮仅修改文稿和图，未修改模型、目标、特征契约或训练 CLI。
本轮文档验证
使用本机已提供的 Tectonic 和现有未改动的 spconf / IEEEbib 模板编译，
当前 working PDF 共四页（含参考文献）；最终填入结果后须重新检查技术内容不超过四页。
主方法仅一条展示公式。相对链接、TeX 引用和 bib keys 检查通过，
git diff --check 通过；方法图与所有 PDF 页完成渲染检查，并修复图中文字重叠和表格溢出。
结果 TODO 是有意保留的研究门槛，当前 PDF 不是可直接提交的最终稿。