訓練方法與技術挑戰
研究團隊訓練了參數量約 10 億的小型模型，分為讀取詞元（token）與讀取原始位元組（byte）兩組進行比較。
為了提升效率，部分模型採用蒸餾技術，參考較大的 Llama 3 8B 模型作為教師模型。
由於教師模型基於詞元運作而學生模型讀取位元組，研究人員必須設計機制來轉換兩者之間的表示方式。
訓練過程中的性能對比
在訓練初期，讀取詞元的模型表現遠優於讀取位元組的模型。
隨著訓練持續進行，詞元模型的改進幅度趨於平緩，而位元組模型的表現則持續上升。
數據顯示，位元組模型達到相同性能水平所需的訓練文本量約為詞元模型的六分之一。
長期預測與實際限制
根據曲線延伸預測，位元組模型最終可能在基準測試中超越 Llama 3.2 1B 和 Gemma 3 1B 幾個百分点。
然而，這一結論僅基於對訓練趨勢的外推，實際運行的結果顯示詞元模型在實驗結束時仍領先。
讀取位元組意味著每個字元需單獨處理，而一個詞元通常對應 4 到 5 個字元，因此處理相同文本所需的計算步驟約增加五倍。
適用範圍與未來方向
此方法目前僅在小規模模型上測試，尚不清楚是否能擴展至更大參數量的模型。
對於手機或筆記型電腦等資源受限裝置，在相同參數規模下提升品質具有實際意義。
移除大型詞彙表可能有助於解決如字元計數錯誤等特定問題，但社群正在探討如何優化位元組模型的執行速度以匹配詞元模型。
