1.2 KiB
1.2 KiB
TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
- 作者:Freeman Jiang 等
- 状态:2026 arXiv 预印本及公开 benchmark
- 阅读深度:摘要、任务定义、提交因果性和公开 leaderboard 重点阅读
- 核查日期:2026-08-30
- 来源:论文、benchmark、官方仓库
摘要与项目关系
建立跨六类对话的双人双通道 EOT/INT benchmark。模型必须提交其作出决定的时间,而不是事后 回填事件发生时间;主要指标是固定工作点下的 recall、false-positive rate 和 latency。 结果显示 backchannel 密集的对话特别容易造成 interruption false positives,而且现有系统尚未 同时达到快速、高召回和低误报。
它不是多方、音视频或第一视角任务,但提供了比逐帧 AP 更接近 agent 行为的评测依据。 本项目应借鉴一对一事件匹配、因果提交时间、匹配召回率和误报预算,同时保留 wearer entry/yield 及多方场景分层;不能直接把由二值活动自动派生的 proxy 称为 TurnBench 人工 EOT/INT 真值。