1.1 KiB
1.1 KiB
Online Multimodal End-of-Turn Prediction for Three-party Conversations
- 作者：Meng-Chen Lee、Zhigang Deng
- 发表：ICMI 2024，57–65；Best Paper Runner-up
- 阅读深度：任务、采集、方法、评测及局限重点阅读
- 核查日期：2026-08-30
- 来源：作者论文 PDF、DOI
摘要与项目关系
用连续窗口及 PLM-GRU 融合文本、韵律、视线和交互状态，在线预测三方对话中的 end-of-turn， 标注包含 turn-taking、interruption 与 overlap。相对依赖停顿后的 IPU 方法，它强调连续预测 和低延迟，因此“第一个在线多方 EOT”不能作为本项目 claim。
数据来自受控实验室：八台光学 mocap 相机、每人眼动仪、mocap suit 和独立无线麦克风。 输入是工程化 gaze/prosody/text/state，而不是自然环境中的单个第一视角原始 AV；任务检测当前 说话人的 EOT，也不等于预测不可见 wearer 自身何时进入或退出 floor。论文还承认尚未形成 完整的实时多模态 top-down 系统。