Add transition-aware R1 and R2 objectives

This commit is contained in:
Xin Wang
2026-08-26 17:18:50 +08:00
parent 0590df1e88
commit 5923b89d60
27 changed files with 979 additions and 22 deletions

View File

@@ -0,0 +1,15 @@
# ROMA: A Real-Time Omni-Multimodal Assistant
- 年份:2026
- 阅读深度:深入阅读
- 官方链接:https://arxiv.org/abs/2601.10323
- 本地参考实现:/Users/wx44wx/Code/ROMA
## 摘要(中文转述)
ROMA 面向实时全模态助手,把连续音视频整理成同步的流式单元,通过分块时间位置编码和持久 KV 维持在线上下文。模型把内容理解与“是否说话”的时机判断分离,设置独立 Speak Head,并对最后若干层隐藏状态做可学习聚合。训练包含流式模板对齐和时间感知决策阶段,目标是同时支持主动响应、被动倾听和打断处理。
## 与当前项目的关系
最值得复用的不是照搬其 1 秒块,而是三个思想:最后四层可学习融合、表示头与时机头解耦、对临界转换区域增加决策监督。ROMA 的时间分辨率和任务输出与当前 5 Hz EgoSpeak 预测不同,不能直接把 1 秒决策粒度当作替代方案。本地实现还应结合论文逐项核查,不能默认所有描述组件都已完整落地。