單模型整合多項語音處理任務

Arc-Transcriber採用ASR-NL(自動語音辨識結合自然語言處理)架構,聲稱能在1步內完成處理。每100毫秒,單一模型會回傳轉錄文字以及多種結構化資訊。

這些資訊包括將人名連結至使用者提供的清單(如花名冊、聯絡人或產品名稱),若出現清單外的新名字則標記為「不在清單上」。此外,模型還能提取帶有數值的數字(如分數、時間、金額、日期)、識別說話者及其角色,並偵測聲音與頻道事件(如電話音訊、削波、音質不佳)。

模型內建對話行為標籤、說話者分割等功能,總計包含200多個訓練過的決策頭。這種設計將傳統上需要ASR、NER(命名實體識別)、實體連結及LLM鏈式處理的流程,整合進模型自身的決策頭中。

即時清單比對與技術變體

由於所有處理都在串流內部完成,針對使用者清單的即時事實檢查無需經過第二遍處理或呼叫第二個模型。開發者指出,這種架構允許在語音輸入過程中直接進行名單比對。

目前Arc-Transcriber提供兩個變體:Arc mini使用moonshot預編碼器,而Arc-v1則使用parakeet預編碼器。相關權重已發布於Hugging Face平台(WhissleAI/arc-v1.1),程式碼與CLI工具則託管於GitHub(WhissleAI/arc_transcriber)。

端側應用實例:語音搜尋書籍

開發者表示已在自家的Mac應用程式中於裝置端使用該模型。具體應用場景為針對61,000本書進行語音搜尋,系統會在用戶說話的同時,利用匹配的書名清單對Arc模型進行預先填充(priming)。

這種做法展示了如何將特定領域的知識庫(如書名列表)作為上下文輸入,讓模型在即時轉錄過程中直接識別並連結這些特定實體。