16 lines
1.0 KiB
Markdown
16 lines
1.0 KiB
Markdown
# ROMA: A Real-Time Omni-Multimodal Assistant
|
||
|
||
- 年份：2026
|
||
- 阅读深度：深入阅读
|
||
- 官方链接：https://arxiv.org/abs/2601.10323
|
||
- 本地参考实现：/Users/wx44wx/Code/ROMA
|
||
|
||
## 摘要（中文转述）
|
||
|
||
ROMA 面向实时全模态助手，把连续音视频整理成同步的流式单元，通过分块时间位置编码和持久 KV 维持在线上下文。模型把内容理解与“是否说话”的时机判断分离，设置独立 Speak Head，并对最后若干层隐藏状态做可学习聚合。训练包含流式模板对齐和时间感知决策阶段，目标是同时支持主动响应、被动倾听和打断处理。
|
||
|
||
## 与当前项目的关系
|
||
|
||
最值得复用的不是照搬其 1 秒块，而是三个思想：最后四层可学习融合、表示头与时机头解耦、对临界转换区域增加决策监督。ROMA 的时间分辨率和任务输出与当前 5 Hz EgoSpeak 预测不同，不能直接把 1 秒决策粒度当作替代方案。本地实现还应结合论文逐项核查，不能默认所有描述组件都已完整落地。
|
||
|