20 lines
1.3 KiB
Markdown
20 lines
1.3 KiB
Markdown
# 3M-Transformer: A Multi-Stage Multi-Stream Multimodal Transformer for Embodied Turn-Taking Prediction
|
||
|
||
- 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
|
||
- 发表：ICASSP 2024，8050–8054
|
||
- 阅读深度：方法、数据、输入和预测协议重点阅读
|
||
- 记录日期：2026-08-30
|
||
- 来源：[论文](https://arxiv.org/pdf/2310.14859)、[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
|
||
|
||
## 摘要与项目关系
|
||
|
||
在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer
|
||
融合 audio/video/text，预测 1、3、5、10 秒后的 next speaker。EgoCom 包含三人对话，至少
|
||
两人佩戴同步音视频眼镜；输入使用预计算视觉、说话人音频和 transcript embeddings，并聚合
|
||
过去 4、5、10 或 30 秒。
|
||
|
||
这是“多方＋第一视角＋AVT＋未来 next speaker”的直接先例。它与本项目的区别不能只写数据集：
|
||
其系统依赖多位参与者的同步穿戴视角和已有文本，预测远期 speaker class；本项目目标是单个
|
||
wearer 传感流下不可见 wearer 的 200ms 级 entry/yield 事件及误触发。论文表格中的高 accuracy
|
||
还混合了 `Use Prior=True` 条件，不能与本项目逐帧 AP 或事件指标直接比较。
|