From 8ccfc364d0fab56e0538385610f155f314864b0f Mon Sep 17 00:00:00 2001 From: Xin Wang Date: Thu, 24 Sep 2026 15:48:52 +0800 Subject: [PATCH] Record targeted manuscript storyline in AGENTS --- AGENTS.md | 31 +++++++++++++++++++++++++++++++ 1 file changed, 31 insertions(+) diff --git a/AGENTS.md b/AGENTS.md index 32282bf..1dc41b7 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -21,6 +21,37 @@ 跨过下一次 other onset，yield 不能跨过下一次 other offset。在该问题修正前，事件结果 只能称为 timing-derived proxy。 +## Targeted manuscript 的固定故事主线 + +写作入口是**第一视角会话代理的 when-to-speak 预测**：相机佩戴者通常不在画面里， +模型须从严格因果的多人音视频流预测其未来讲话活动。先概述活跃的 turn-taking/VAP、 +多方对话和流式语音交互研究，再准确定位缺口：第一视角 AV 已有 EgoSpeak、 +3M-Transformer、AV-CONV 等先例，不能宣称“首个 egocentric AV turn-taking”； +当前要研究的是单个 wearer 的 5 Hz 未来活动预测中，Omni 全局状态能否及时暴露 +局部视听证据。相关工作按轮次预测、第一视角视听、流式 Omni/编码器适配三组组织， +以约 25--30 篇经过核对的文献支撑，而非堆砌引用。具体边界见 +[`docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md`](docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。 + +方法叙事是两个**截止时刻对齐的接口**，不是声称所有 Omni 都缺乏局部感知： + +- **SWE（short-window encoder evidence，短窗编码器证据）**：把最近 1 秒的音频 + 编码特征及可选的因果人物框视觉特征直接接到冻结 Omni readout 的预测头。 + “短窗/时间局部”指观测范围，不称为浅层网络特征，也不把冻结骨干加 head 写成 + 端到端训练。 +- **PTR（partial-tail refresh，部分尾块刷新）**：在复用已完成块的同时，于每个 + 200 ms 截止时刻只查询当前未完成 2 秒块的已观测前缀。2 秒是本项目 Qwen 提取 + 的块设置，相对 200 ms 决策间隔较粗；不能推广为所有 Omni 模型的固定块长。 + PTR 的独立准确率收益和运行延迟须经相同 cutoff、相同上下文上限的配对实验验证。 + +论文按 Introduction/Related Work → Method → Experiments → Results and Analysis → +Conclusion 展开。EasyCom 用官方 Sessions 4--12/1--3 划分做 0.2--2.0 秒十个 +horizon mAP、raw onset/offset、局部音视频与 oracle/时序消融；Ego4D 用于同协议 +迁移检验。**当前只有 EasyCom 已归档筛查分数；Ego4D 测试分数、匹配的 PTR +消融和可靠的事件级行为结论均未完成**。稿件可写明 Ego4D 实验协议与待填表， +不得写成已获得跨数据集提升；raw endpoint AP 不能替代语义 EOT/INT。将实测、 +历史非匹配 screen、分析用 privileged oracle、待测方案明确分开。targeted 正文见 +[`manuscript/targeted/main.tex`](manuscript/targeted/main.tex)。 + ## 不可破坏的研究契约 - 严格因果：任何输入音频、视频帧、人物框或归一化统计不得来自预测截止时间之后。