模型架構與訓練方法

Carbon-X 是一個僅含解碼器(decoder-only)的模型,參數量為 14.8B。它透過一個新的混合分詞器,將 DNA 序列與自然語言整合在同一個 token 流中處理,其中 DNA 部分使用 6-mer tokens。

該模型是基於 Qwen3 14B 進行中期訓練(midtraining)而來,訓練數據包含 302B tokens 的 DNA 與自然語言混合資料。團隊已發布關於中期訓練與強化學習(RL)配方的部落格文章供研究參考。

基準測試表現與成本比較

根據 Hugging Face 報告,Carbon-X 在五項 DNA 基準測試中,於禁用思考模式(thinking disabled)的情況下取得了平均 66.7% 的分數。作為對比,GPT-6.1 Sol 在相同條件下的分數為 67.5%。

開發團隊宣稱 Carbon-X 的運行成本約為 GPT-6.1 Sol 的千分之一(1,000x lower cost)。模型權重可以在單一 80GB GPU 上以 bfloat16 精度載入並執行。

本地運行與應用場景

為了讓使用者能在本地環境運行,團隊發布了 GGUF 格式的模型版本,可透過 llama.cpp 等工具進行推論。這使得處理高度敏感的基因數據成為可能,因為前沿雲端模型常拒絕處理常規的基因组請求,可能阻礙合法的研究工作。

主要應用場景包括用純英文詢問 DNA 序列、預測突變的影響,以及生成新的 DNA 序列。開發者強調開放權重模型對於生物學 AI 的重要性,特別是在數據隱私要求高的領域。

限制與未驗證事項

Carbon-X 目前未經臨床驗證(clinically validated)。模型卡片明確指出,精確的序列操作(exact sequence operations)仍應由程式碼處理,而非依賴模型的語言生成能力。

社群討論中有人詢問基準測試的提升是否在私有變異數據集上依然成立,但原始來源未提供針對私有數據集的具體驗證結果或第三方獨立測試數據。