開發者推出 Open-XTTS-Trainer，解決 XTTS v2 訓練代碼缺失與新語言腳本支援問題

針對 Coqui AI 關閉後 XTTS v2 缺乏官方訓練代碼的困境，開發者推出了開源工具 Open-XTTS-Trainer。該套件整合了音訊分詞器、GPT 模型及聲碼器的訓練流程，並透過動態擴展詞彙表來支援阿拉伯語等新 Unicode 腳本。

AI 新聞雷達編輯團隊·本站收錄：2026/10/24 04:15（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

Open-XTTS-Trainer 採用 MPL-2.0 授權，提供包含 DVAE 音訊分詞器、GPT 文本處理及 HiFi-GAN 聲碼器的完整訓練管線。

工具透過掃描新語言語料庫並動態調整 GPT 嵌入矩陣，解決了 XTTS v2 原本僅支援固定 17 種語言導致的詞彙表溢出錯誤。

開發者在 NVIDIA T4 GPU 上使用真實人類語音進行測試，顯示各組件的損失函數在訓練過程中顯著下降且穩定收斂，但未提供端到端推理的完整效能數據。

解決 Coqui AI 關閉後的訓練斷層與依賴問題

Coqui AI 停止營運後，XTTS v2 模型缺乏官方的 DVAE 音訊分詞器與 Latent HiFi-GAN 聲碼器訓練代碼。過去僅有 GPT 微調流程較為常見，其他階段的訓練管線要么未發布，要么處於碎片化狀態。

此外，現代 PyTorch（2.4+ 版本）升級過程中常因缺少 torchcodec 或授權提示而導致依賴衝突。Open-XTTS-Trainer 旨在解決這些問題，提供一個能在 Python 3.10–3.13 環境下直接運行的模組化訓練套件。

原始 XTTS v2 模型硬編碼僅支援 17 種語言，當輸入包含印地語、阿拉伯語或泰米爾語等新 Unicode 腳本的文本時，會因詞彙超出範圍或矩陣維度錯誤而崩潰。

新工具的第二階段（Text & Vocab Extender）能掃描新的語言語料庫，識別唯一的 Unicode 字形並將其附加到分詞器中。該過程會動態調整 GPT 嵌入矩陣的大小，同時確保不損壞現有權重，從而實現對新腳本的支援。

該套件涵蓋 XTTS v2 的三個核心組件訓練。第一階段為 DVAE 音訊分詞器，採用 Gumbel-Softmax 碼本退火技術與梅爾譜重建損失函數進行訓練與微調。

第三階段為 Latent HiFi-GAN 神經聲碼器，使用多週期（MPD）和多尺度（MSD）判別器以及特徵匹配損失函數進行潛空間條件化的聲碼器訓練。第二階段則包含自迴歸 GPT 的訓練循環。

開發者在 NVIDIA T4 GPU 上使用 LJSpeech 和 JFK 演講等真實人類語音數據進行了基準測試。測試顯示 HiFi-GAN 的梅爾重建損失在 10 個週期內從 190.83 降至 63.49，降幅達 67%；判別器 MPD 與 MSD 穩定在 3.62，未出現模式崩潰。

DVAE 的梅爾誤差同樣從 8.14 降至 2.71，降幅為 67%。開發者明確指出，這些數據僅驗證了各組件層級的訓練收斂性與梯度穩定性，完整的端到端文字轉語音推理需將訓練好的模組整合回標準 XTTS 生成管線中進行評估。