前沿模型在真實 ASMR 場景中的辨識表現

為了訓練一個能從文字生成 ASMR（包含耳語及敲擊、皺褶、刷動等觸發音效）的模型，開發者需要為約 12.6 萬個錄音片段進行標註。由於人工標註成本高昂，開發者嘗試使用前沿大型語言模型作為自動標註工具，並對其效能進行了嚴格測試。

測試使用了 480 個片段，分為兩類：一類是來自 FSD50K 和 ESC-50 資料庫、已由人類標註單一類別的乾淨音效片段，用於測量召回率；另一類是來自 ASMRBoard 網站、由多位使用者標註的 6 秒真實 ASMR 片段，用於測量 F1 分數。

結果顯示，Gemini 3.1 Pro 在與人類標註比較的 F1 分數為 0.325，GPT Audio 1.5 為 0.288，Claude Opus 5.5（透過頻譜圖輸入）僅為 0.121。這些數字遠低於預期，顯示現有模型在處理複雜的 ASMR 音訊時存在顯著困難。

乾淨音效與真實環境音的巨大落差

測試揭示了一個關鍵現象：模型在辨識經過清理、背景單純的音效庫片段時表現尚可，但在面對包含複雜背景噪音或細微動態變化的真實 ASMR 錄音時，準確率急劇下降。

以「刷動」（brushing）聲音為例，Gemini 3.1 Pro 在 FSD50K/ESC-50 的乾淨刷動音效片段中，有 92% 的機率能正確標註出該聲音。然而，當面對真實 ASMR 片段時，其與人類標註比對的 F1 分數僅剩 0.18。

對於「紙張翻動」（paper rustling）這類細微聲音，模型的表現更是接近隨機猜測。在 40 個包含紙張或翻頁聲音的片段中，Gemini 3.1 Pro 和 Gemini 2.5 Pro 各自僅標註出 4 次，而 MiMo v2.6 Pro 僅標註出 1 次。這表明模型幾乎無法從真實錄音中分離出這些特定的物理觸發音。

人聲辨識較佳但存在特定幻覺偏差

相較於物理音效，模型在辨識人聲相關特徵時表現較好。測試顯示，Gemini 和 MiMo 系列模型在辨識「耳語」（whispering）方面的 F1 分數介於 0.70 到 0.79 之間，這對於 ASMR 生成任務中的聲音風格控制具有一定參考價值。

然而，每個測試的模型都展現出特定的錯誤偏好。例如，Gemini 2.5 Pro 在外部音效片段中，有 59 次將實際上並非黏性的聲音標註為「sticky」（黏性）。

此外，早期實驗發現，若讓較便宜的模型同時讀取文字記錄（transcript），它們會傾向於根據文字內容推測聲音，而非實際聆聽音訊。例如，一個線性探測器無法在僅使用凍結的 CLAP 嵌入向量時超越多數類別預測，但在加入文字資訊後表現改變，這證實了模型容易受到非音訊資訊的干擾。

多模型融合與人工標註的混合策略

鑑於單一前沿模型的不可靠性，開發者採用 Dawid-Skene 演算法來整合多個標註來源。參與融合的系統包括所有測試過的大型語言模型、一個 AudioSet AST 標籤器、一個能量偵測器，以及開發者自建的 CLAP 模型。

每個標註來源根據其在特定類別上與人類標註的可靠性獲得不同的權重。對於融合後概率不確定的片段，系統會優先將其交由人工標註處理。特別是那些所有模型都無法辨識的類別（如紙張、刷動、切割、黏性、噴霧聲），會被優先送交人類專家進行標註。

開發者訓練了一個名為 CLAP-ASMR 的學生模型，這是基於 laion/clap-htsat-unfused 的微調版本。雖然加入 2,400 個 Freesound 片段使測試 mAP 從 0.516 提升至 0.549，但該模型在外部音效片段上對刷動和紙張聲音的檢測率仍為 0%（在 p > 0.5 閾值下）。這再次證實了融合步驟無法保留那些沒有任何標註來源能聽到的標籤。

開放人工標註平台與數據發布計畫

為了填補模型無法辨識的空白，開發者建立了 ASMRBoard 平台（asmrboard.vercel.app），邀請公眾參與標註。使用者需佩戴耳機聆聽 6 秒片段並勾選聽到的聲音，每個片段會由多位使用者獨立標註以計算可靠性。

截至發文時，已有 34 位使用者提供了 1,056 個標籤。平台要求使用者註冊免費帳號且年齡需滿 18 歲，因為部分片段包含親密的人聲聲音。開發者承諾在模型訓練完成後，將發布標註權重與標籤數據。

相關程式碼已開源於 GitHub（aloshdenny/text2asmr）。開發者也向社群徵求建議，詢問是否有其他能更好辨識細微 Foley 音效的音訊大型語言模型或聲音事件模型，以便納入未來的標註系統中。