透過雙模型分工解決速度與智慧的矛盾

傳統語音代理往往面臨兩難：要嘛反應迅速但內容淺薄，要嘛回答精準但延遲過高。ConvFill提出一種折衷方案，將任務拆分給兩個不同規模的模型處理。

運作流程為：當使用者的語音被轉錄後，0.6B參數的小型說話者模型會立即生成一段快速回應，目的是爭取時間讓大型推理模型進行思考。

在小型模型發出填充性回應的同時，大型推理模型正在背景計算合適的回答內容。一旦大型模型完成生成，小型模型便會讀出這個經過深思熟慮的答案，繼續對話。

研究團隊與發表場合

ConvFill是由華盛頓大學UbiComp Lab的學生所開發的研究成果。該團隊將於本週在EMNLP（自然語言處理經驗方法會議）上正式發表相關論文。

Reddit用戶futterneid表示，因覺得該技術有趣而主動聯繫研究團隊，並合作建置了一個示範應用（demo）。

實際體驗與改進空間

發布者在試用後認為，ConvFill的核心概念確實存在且是一個極具潛力的發展方向。然而，他也指出目前的小型說話者模型智慧程度仍有不足，導致整體體驗尚未達到「如魔法般」流暢的效果。

發布者建議，若要讓該系統運作得更完美，小型說話者模型需要具備更高的理解與生成能力。