icassp2027-experiment/docs/local_evidence_analysis_experiment_log_2026-09-17.md

Local evidence analysis：待做实验日志

日期：2026-09-17。状态：设计已记录，以下实验均未在本轮执行。 只修改日志与手稿占位，不新增训练、提取或 evaluator 实现；未产生新的实测结果。 当前稿件边界见 四页稿结构决策。

本轮决定与篇幅

正文按 Main Comparison、Local Evidence Analysis、Streaming and Context Analysis、 Error and Qualitative Analysis 展开，不把六类实验并列成六个小节。 近期音频是核心，视觉是可选增量；Omni LoRA 暂缓，不预留独立小节。 MiniROADA stage-two continuation 不是 Omni LoRA，也不替代其适配对照。 同日追加：Qwen2.5-Omni 3B/7B 与 MiniCPM-o 4.5 的 backbone transfer 对照， 用于检验 local evidence 增量是否依赖单一骨干，不新增独立贡献或正文大节。

四页技术内容内优先保留：一张方法图、一张主表、一张 compact controls 表， 一张包含错误/失败案例的定性图。Detailed recipe、全部窗口/相位曲线和错误切片 存入实验记录；正文仅选择事先指定、能回答核心假设的摘要，不按测试涨点挑选。 结果解释文字将替换 TODO，而不是在当前四页基础上无限追加。

固定研究契约

• EasyCom Sessions 4--12 训练，1--3 测试；5 Hz，10 个 0.2--2.0 s horizon； 固定 background / wearer / others 顺序和原 dense labels。
• 新 recipe、窗口、干预延迟、场景规则和 case-selection rule 仅用训练侧确定。 最终沿用固定四 epoch 协议；若需改变，先记录训练侧依据与新协议版本。
• 正式矩阵 seeds 0/1/2；记录 split、parent/checkpoint hash、运行 commit、 feature/model/processor revision、优化器、有效学习参数、预算和 common valid pairs。
• Training-side development 必须重建未见该 fold 的 task parent；已经用全部训练 sessions 训练过的 parent 不能把 Session 12 宣称为 continuation 的 held-out dev。
• Sessions 1--3 已多次被查看，后续对照如实标为 exploratory；新增 seeds 不恢复 独立 confirmatory test，也不把帧或十个相关 horizon 当作独立重复。
• Dense：逐 horizon 三类 AP / mAP、wearer AP、十-horizon mean。 Raw：source wearer OFF/ON 条件下，分别以 p(wearer)/1-p(wearer) 预测未来 endpoint。 报告 AP、prevalence、分母和每个 session；GT current activity 只用于评测切片。
• 这些是 endpoint anticipation，不是 one-event-one-vote onset/offset detection。 P0 真实数据审计仍未完成；semantic opportunity-v1 AP 已 superseded，不能复用为新证据。

实验队列：全部 pending

ID	待做对照 / 审计	回答的问题	手稿位置
E0	核验原始 pred/valid/target、sidecar 和 checkpoint provenance；打印代表性时间轴	是否比较了相同物理时间与有效样本？	Setup / 主表说明
L1	同 recipe、seed 和 cutoff 的 A、G、G+A、G+A+V	音频与全局 context 是否互补？V 是否提供额外收益？	主表 + Local Evidence
L2	宽 global-only head，尽可能匹配 G+A 的有效学习参数；统一下游 hidden width 并报告 allocated/active 参数	收益是否仅来自更大 head？	Local Evidence TODO
L3	固定 checkpoint 的 past-delayed A / V，保留对应时间与 mask 审计	模型是否依赖及时局部证据？	Local Evidence TODO
L4	因果 current-activity classifier，当前预测概率重复至十个 horizon	Dense 收益是否主要是更好的当前状态识别？	Main Comparison TODO
T1	8-s cap 下 tail refresh × local A 的四组训练对照	两条最新证据路径互补，还是冗余？	Streaming 表上半部
T2	同 block decomposition 从头 replay、future-only media intervention、cache reset；按十档 phase 分层	cache 正确性与 tail-length dependence 是否成立？	Streaming TODO
C1	4/8/16-s cap 的 tail-aware G+A；按 cap 重提取并分别训练	历史长度是否影响主方法，8 s 是否是合理折中？	Streaming 表下半部
C2	仅当要声称 local 分支缓解窗口敏感性时，在各 cap 增加 G 对照	窗口能否替代近期证据？融合是否对 cap 更稳定？	条件追加，不新增正文小节
B0	审计各骨干的 causal readout、维度、刷新与实际历史范围；先短片 GPU smoke	跨骨干样本和接口是否可比？	Setup / Backbone transfer 说明
B1	Qwen2.5-Omni 3B/7B 各跑 G 与 G+A，保持同一份 local A	增量是否在同系列不同规模下保留？	Local Evidence + compact 表末三行
B2	MiniCPM-o 4.5 各跑 G 与 G+A；匹配 Qwen refresh 对照后报告增量	增量能否迁移到另一 Omni 家族？	Local Evidence + compact 表末三行
H1	预定义 activity 场景切片、正负计数、score/AP；纯负类只报告 distribution 或 calibrated FPR	哪些可复核的活动场景仍混淆？	Error TODO
Q1	固定规则选择 raw onset、offset、hard-negative/shared failure 的同-horizon 时间轴	定量差异对应什么可观察错误？	定性图空位
S1	同硬件完整流水线 P50/P95 latency、吞吐、峰值显存；记录阶段分项与 block-transition cost	逻辑 5 Hz 是否可实测在线运行，代价是什么？	Streaming TODO

L1 的 A 是近期 1 s，G 是有历史的 integrated AV state。即使 recipe 和 head family 一致，也不能把 A/G 的差异纯粹归给 Thinker、语言推理或长时记忆；L2/C1 是必要限制性 对照。闲置占位权重不能充当有效学习容量匹配。

L3 只使用过去输入，不能拿未来帧、双向平滑或 nearest-future 对齐作为合法干预。 mask-only/availability 对照在缺失率与标签明显相关时追加，不先假定模型确有此 shortcut。 局部视觉采用逐人平均，person-slot permutation 应不改变结果；不能把排列不变当成 成功的 wrong-person grounding control。

T1 四组及解释规则

Omni refresh	local A off	local A on，固定 1 s / 5 Hz
Completed-only / 2-s update-and-hold	T1-C-G	T1-C-GA
Observed-tail / 200-ms refresh	T1-T-G	T1-T-GA

四组共同固定：source-aligned 2-s blocks、8-s maximum budget、readout/head family、 训练暴露、目标、seed、common startup treatment 与 valid source--horizon pairs。 各组单独训练匹配的 head，不把单纯在 test masking 的 OOD 差异写成消融收益。

分别记录 tail 在 A off/on 下的 AP delta、A 在两种 refresh 下的 AP delta； 四组差值之差仅作为描述性交互量，AP 非线性且帧间相关，不直接推出统计独立或机制定论。 completed-only 未得到首个 state 的行在全部条件中统一处理并报告，不未来回填。 因 phase 不同，历史 span 随当前块位置变化；对齐同一 cutoff/phase 并保存实际范围。

tail_embedding 是辅助 preserved-EgoSpeak residual 的 block-phase 编码，不是 tail 内容。其 on/off 只能是该辅助架构内的独立可选实验，不能替代 T1。 同分块 replay 的数值一致性与当前尾块带来的预测收益分开报告；continuous-prefix 编码属于不同 representation condition，不作为必然数值等价的参照。

窗口与运行代价

C1 中 local A/V 固定 1 s，Omni cap 为预先指定的 4/8/16 s。各 cap 的 global state 必须从对应因果输入提取，不能通过裁剪缓存向量伪造窗口。8-s cap 行与 T1-T-GA 复用同一个确切 run，不重复训练后择优填写两处。 固定 checkpoint 改 cap 若执行，单独标成 distribution-shift sensitivity；不能混入 分别训练的主比较。C2 在没有执行前，不声称融合已降低对长 context 的依赖。

S1 计时包括视频读取/裁切、模态编码、尾块重算、cache/history rebuild、local evidence 和 head，不以缓存特征上的 head FPS 代替系统 FPS。固定硬件/dtype，预热、GPU 同步， 采样非边界与 block transition cutoff；记录是否含 I/O、并发/batching 和延迟积压。 没有完整测量前只能称 5-Hz logical output，不称已验证 real-time。

Backbone transfer：同日追加，全部 pending

模型标识核对自官方模型卡： Qwen2.5-Omni-3B、 Qwen2.5-Omni-7B、 MiniCPM-o-4_5。 本轮没有提取新特征、训练这些配对或验证跨骨干性能。

骨干	Global-only	Global + local audio	主要解释
Qwen2.5-Omni-3B	B1-3-G	B1-3-GA	主体参考；协议完全一致时复用 L1/T1 的确切 run
Qwen2.5-Omni-7B	B1-7-G	B1-7-GA	同家族规模对照，不等于仅改变参数量的因果实验
MiniCPM-o 4.5	B2-M-G	B2-M-GA	跨家族迁移；先过 B0，不能与未匹配 Qwen 原分数直接排名

主迁移矩阵固定现有同一份 causal 1-s / 5-Hz Qwen local audio sidecar、mask 和 下游 head family，只更换 global backbone。不能同时把 A 换成该模型自己的 encoder， 否则无法区分 global backbone 与 local encoder 的贡献。若后续试 native local A， 另设第二层实验，不混入主迁移矩阵；V 在音频配对完成后再作可选扩展。

每个骨干都分别训练 G/GA，固定训练暴露与预先锁定的 recipe，记录参数与逐 seed delta。 完整记录保留绝对 M/W/On/Off、每-session/count；正文三行只摘要 Delta(G+A - G) 的四项 AP/mAP 百分点增量。不只呈现涨点骨干。 跨模型 head 不能直接复用权重；不同 hidden dimensions 用明确适配的投影，报告有效参数， 不能静默 padding 或截断。Qwen 当前 last-four-layer readout 与 MiniCPM 当前 final normalized state 不同；B0 需冻结共同可实现的 readout 控制或明确标成接口差异， 不能把默认导出方式不一致解释成纯骨干效果。

B0 固定并审计相同 split/目标、physical cutoffs、模态可用性、输入采样、刷新频率、 startup/common valid pairs、history 范围、readout 和下游训练预算；保存实际范围、 source times、processor/model/code revision 与完整 latency/memory。 同样称“8 s”或“5 Hz”不代表相同可见历史或相同 state freshness。 不同预训练、编码器和 tokenization 仍有差异，因此配对增量是适配可迁移性的证据， 不是纯架构排名，也不预设 7B 更好或大模型不需要 local A。

MiniCPM 的现有状态见 提取与验证说明： native-1hz-hold 与 cached-partial-5hz 已有入口，但均缺真实 GPU smoke 证据。 原生 one-second commits 保留其 streaming-window policy；当前入口没有与 Qwen 物理 8-s budget 等价的已验证 cap。不能仅把原生缓存写成“8-s matched”。

• 先做 native 1-Hz hold G/GA pilot；必须另做 Qwen 1-Hz update-and-hold G/GA， 对齐 one-second chunk boundaries、初始化与 source-age。T1 的 2-s hold 不能替代。 若 history 范围暂无法匹配，仅报告各自协议内增量为 scoped exploratory transfer， 不放进 matched 跨骨干摘要，不声称同预算的绝对性能排名。
• 主体采用 5-Hz observed-tail 时，MiniCPM 行仅在 boundary/同分块 clean replay、 snapshot restoration、future-only media tests 与实际 history 审计通过后准入。 --allow-unverified-partial-tail 产物不能进入论文训练；失败记 pending/unsupported， 不填 0 AP，也不拿 1-Hz 行顶替 5-Hz matched 行。
• Qwen 7B 也需独立 causal smoke、维度/显存检查和匹配提取；旧的不同窗口特征不能 因模型名相同就视为本矩阵已完成。每种 refresh 分层报告，不混合平均。

执行优先级：主 3B 归因矩阵先完成，再做 7B 配对；MiniCPM 先 B0/native pilot， 验证与可比性门槛通过后补正式配对。若跨骨干只验证了 local audio 的增量， 不能进一步声称同一 tail 算法或视觉收益已普遍迁移。

Hard negative 与定性分析规则

先用 participant timing facts 冻结切片，例如同 other 的 pause/resume、other-to-other 切换、overlap；场景命名不直接赋予 semantic floor ownership。 positive/negative 仍由该 family/horizon 的原 dense endpoint 定义决定，不用 LLM verdict 强行覆盖。wearer backchannel 可以是 raw onset positive；other backchannel 是否是 raw offset negative，取决于 wearer 在未来 endpoint 是否仍在讲话。

H1 保存每种 scene × family × horizon 的 Npositive/Nnegative、duration、invalid counts、 分数分布；两类都存在时报告 AP/prevalence。纯负类 AP 记为 undefined，不记成 0； 若报告 FPR，阈值只在训练侧 calibration 选择，并同时给 matched-recall 结果与实际召回。 原 semantic-v1 ENTRY/INT AP 不再使用；v2 真实数据与人工审核后才能恢复 semantic panel。

Q1 用训练侧固定的 case-selection/horizon 规则选择病例并保留失败案例。将预测定位到 其未来 target time，同时标出实际 causal source cutoff；同一 horizon 比较 EgoSpeak、G、 G+A，V 仅在实际跑完时加入。不能将十个 horizon 的最大值包络或未来平滑曲线与当前 GT 直接拼接。转写/participant annotations 只作为分析可视化，不回流为模型输入。

下一步顺序与交付

1. E0 / training-side recipe freeze，然后 L1/L2；复用已提取特征，先补最小归因证据。
2. T1/T2，再执行 C1 和 S1；每个新提取路径先做单 session / 短片因果 smoke。
3. L4 与 L3；若要窗口稳定性 claim，补 C2，而不仅看 G+A 窗口曲线。
4. H1/Q1 与前述结果配套；语义审核与 v2 audit 独立保留，不因数值好坏决定是否审核。
5. B0/B1/B2：7B 配对与 MiniCPM native pilot 可在核心冻结后推进；准入后补迁移摘要。
6. LoRA 留作后续可选替代适配对照，不是本轮执行要求。

实际运行后放入 results/<dataset>_<question>_<date>/，至少 README、summary.json 或 metrics.csv，保留 provenance 与协议。正文替换 TODO/--，不要把 pending 改名为 measured。 阴性视觉、尾块或窗口结果均如实保留；三种子与逐 session 结果不等于足够的显著性证据。

手稿占位：main.tex，主表 tab:main、compact controls 表 tab:ablation、错误/定性图 fig:qualitative_floor_events。本轮没有启动 GPU 训练。

本轮文稿检查

本机 Tectonic 编译后的预览共四页（含参考文献）；方法仍只有一条展示公式。 相对链接、TeX/bib 引用和 git diff --check 通过。四页及新表/图空位完成渲染检查， 没有 overfull 警告或可见重叠/裁切。现有 XeTeX/旧模板字体替代和 underfull 警告仍在， 这是 working preview，不是官方工具链的最终字体/篇幅验证。填入数值与分析后重新检查。 本轮没有修改 feature/label/evaluator/训练代码，没有将任何 pending 实验标为完成。 同日追加 backbone-transfer 短段和三行增量空位后重新编译、渲染检查全部四页， 仍为四页含参考文献；链接、TeX/bib keys、单展示公式与 git diff --check 再次通过。 未修改旧运行或宣称跨骨干提取/对照已完成。