20 lines
1.6 KiB
Markdown
20 lines
1.6 KiB
Markdown
# Qwen2.5-Omni Technical Report
|
||
|
||
- 年份：2025
|
||
- 阅读深度：深入阅读
|
||
- 官方链接：https://arxiv.org/abs/2503.20215
|
||
|
||
## 摘要（中文转述）
|
||
|
||
Qwen2.5-Omni 是端到端全模态模型，统一处理文本、图像、音频和视频输入，并生成文本与语音。其架构采用 Thinker–Talker 分工：Thinker 负责多模态理解和文本语义建模，Talker 负责流式语音生成。模型用分块式音频、视频编码和时间对齐机制组织连续媒体，借助 TMRoPE 表达跨模态时间关系；语音侧还采用滑窗式扩散生成以降低延迟。
|
||
|
||
## 与当前项目的关系
|
||
|
||
当前特征提取借鉴其分块编码和 AV 时间对齐：本项目按固定块提交，在开放媒体 turn 内保留已提交块的 KV，并处理当前部分块。因果前缀反复重算是另一个连续窗口参照，两种输入组织不必数值等价。预先重编码成 2 FPS 便于构造严格网格，但直接解码或重编码都需显式验证时间戳、末尾处理和目标对齐。
|
||
|
||
## 2026-08-27 补充：适用边界
|
||
|
||
因果窗口参照可以离线提取，但不指可以看未来的双向教师。论文的块式编码/TMRoPE、官方处理器的 AV 交织参数，以及本项目的开放 turn、部分块重算和滚动 KV 策略应分开描述，不能把本项目策略直接写成官方已提供的完整在线 API。
|
||
|
||
视频采样率、编码/交织块长和预测更新频率是三个不同量。2 FPS 输入可以支持 5 Hz 决策，但并非每个决策点都有新视频帧。短期高频分支是本项目的适配假设，不是 Qwen 原作要求；缩短块长也不保证与连续窗口逐数值等价。
|