測試設計與參與者表現數據

研究團隊製作了 40 段合成音訊，每段包含一個由合成語音讀出的目標句子，並混入多個背景人聲隨機朗讀的短片段。背景聲音採用錯開起始時間的方式播放，並衰減 4 dB 以模擬雞尾酒會效應。

共有 18 個測試場次參與人類測試，產生 146 份轉錄結果，參與者被允許無限次重播音訊。作為對照組，研究測試了 8 種模型配置，包括 Whisper base/small、Vosk、Wav2Vec2、Qwen3-ASR 0.6B、Parakeet CTC 0.6B，以及 Gemini 3.8 Flash（分別使用簡單提示與引導專注於主要說話者的指令）。

評估指標為詞準確率（1 減去字錯誤率 WER），及格門檻設為詞準確率高於或等於 0.5。結果顯示人類的平均詞準確率為 0.71，通過率為 77%；表現最佳的 Gemini 模型在獲得專注指令後，平均詞準確率為 0.54，通過率為 55%。

人類與模型的效能差距不足以作為驗證碼

研究者的初始目標是希望人類表現超過 80% 而機器低於 20%，以形成明顯的區分界限。然而數據顯示，無論將及格門檻從 0.5 調整至 0.9，都無法達到這種預期差距。

針對同一音訊片段進行配對比較時，人類相對於 Gemini 的平均詞準確率僅高出 0.13（95% 信賴區間為 +0.03 至 +0.23）。用於區分人類與模型的受試者工作特徵曲線下方面積（AUC）僅為 0.62，顯示預測能力有限。

這種微小的差距意味著該任務無法可靠地將人類與機器分開，因此不適合用作類似圖靈測試反向驗證碼的應用場景。

提示詞調整對模型表現的影響

在測試 Gemini 3.8 Flash 時，研究發現單純使用簡單提示（naive prompt）時，模型的詞準確率僅為 0.34。

當改用明確指示模型專注於主要說話者的指令後，Gemini 的準確率顯著提升至 0.54。

錯誤模式與重複播放的效果

分析錯誤分佈發現，無論是人類還是所有測試的模型，錯誤率都隨著句子進行而增加，特別是在句子末尾部分更容易出現辨識失敗。

儘管人類參與者被允許無限次重播音訊，但數據顯示重複播放並未帶來可測量的準確率提升。此外，人類傾向於重播那些對模型來說同樣最困難的片段。

研究限制與未來方向

該研究的樣本規模較小，僅包含 18 個場次且參與者多為英語母語人士。測試環境僅使用單一合成設定，未涉及真實錄音或源分離技術。

除了 Gemini 之外，研究未測試其他大型或商業級別的自動語音辨識（ASR）系統。研究者邀請社群對方法提供回饋，特別是尋找那些對人類容易但對模型持續困難的音訊設計思路。