Record targeted manuscript storyline in AGENTS

This commit is contained in:
Xin Wang
2026-09-24 15:48:52 +08:00
parent 15f1b779b3
commit 8ccfc364d0

View File

@@ -21,6 +21,37 @@
跨过下一次 other onset,yield 不能跨过下一次 other offset。在该问题修正前,事件结果
只能称为 timing-derived proxy。
## Targeted manuscript 的固定故事主线
写作入口是**第一视角会话代理的 when-to-speak 预测**:相机佩戴者通常不在画面里,
模型须从严格因果的多人音视频流预测其未来讲话活动。先概述活跃的 turn-taking/VAP、
多方对话和流式语音交互研究,再准确定位缺口:第一视角 AV 已有 EgoSpeak、
3M-Transformer、AV-CONV 等先例,不能宣称“首个 egocentric AV turn-taking”;
当前要研究的是单个 wearer 的 5 Hz 未来活动预测中,Omni 全局状态能否及时暴露
局部视听证据。相关工作按轮次预测、第一视角视听、流式 Omni/编码器适配三组组织,
以约 25--30 篇经过核对的文献支撑,而非堆砌引用。具体边界见
[`docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md`](docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。
方法叙事是两个**截止时刻对齐的接口**,不是声称所有 Omni 都缺乏局部感知:
- **SWE(short-window encoder evidence,短窗编码器证据)**:把最近 1 秒的音频
编码特征及可选的因果人物框视觉特征直接接到冻结 Omni readout 的预测头。
“短窗/时间局部”指观测范围,不称为浅层网络特征,也不把冻结骨干加 head 写成
端到端训练。
- **PTR(partial-tail refresh,部分尾块刷新)**:在复用已完成块的同时,于每个
200 ms 截止时刻只查询当前未完成 2 秒块的已观测前缀。2 秒是本项目 Qwen 提取
的块设置,相对 200 ms 决策间隔较粗;不能推广为所有 Omni 模型的固定块长。
PTR 的独立准确率收益和运行延迟须经相同 cutoff、相同上下文上限的配对实验验证。
论文按 Introduction/Related Work → Method → Experiments → Results and Analysis →
Conclusion 展开。EasyCom 用官方 Sessions 4--12/1--3 划分做 0.2--2.0 秒十个
horizon mAP、raw onset/offset、局部音视频与 oracle/时序消融;Ego4D 用于同协议
迁移检验。**当前只有 EasyCom 已归档筛查分数;Ego4D 测试分数、匹配的 PTR
消融和可靠的事件级行为结论均未完成**。稿件可写明 Ego4D 实验协议与待填表,
不得写成已获得跨数据集提升;raw endpoint AP 不能替代语义 EOT/INT。将实测、
历史非匹配 screen、分析用 privileged oracle、待测方案明确分开。targeted 正文见
[`manuscript/targeted/main.tex`](manuscript/targeted/main.tex)。
## 不可破坏的研究契约
- 严格因果:任何输入音频、视频帧、人物框或归一化统计不得来自预测截止时间之后。