Hugging Face 發布 FineDNA 資料集，用於訓練 DNA 語言模型

研究團隊公開 FineDNA 資料集，這是將 Qwen3-14B 轉換為 Carbon-X 模型所使用的完整訓練數據。該資料集涵蓋基因體序列、對話與可驗證提示，並開放程式碼供其他開發者套用至不同大型語言模型。

AI 新聞雷達編輯團隊·本站收錄：2026/11/02 03:38（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

FineDNA 包含超過 3000 億個 token 的基因體與 DNA 相關文本，用於模型的中期訓練（Midtraining）階段。

除了海量原始數據，還提供約 20 萬筆對話資料與近 9.8 萬筆可驗證提示，涵蓋監督微調與強化學習步驟。

團隊同時開放程式碼與訓練配方，允許開發者將此方法應用於其他大型語言模型，而非僅限於 Carbon-X。

FineDNA 資料集的組成與規模

FineDNA 是研究團隊為了訓練 Carbon-X 模型而釋出的完整數據集，Carbon-X 被描述為目前最強的開放權重 DNA 語言模型。該資料集基於 Qwen3-14B 架構進行轉換，旨在讓大型語言模型具備處理 DNA 序列的能力。

在中期訓練（Midtraining）階段，FineDNA 提供了超過 3000 億個 token 的基因體數據與富含 DNA 資訊的文本。

除了大規模中期訓練數據，FineDNA 還包含約 20 萬筆對話資料，用於監督微調（SFT）階段。此外，團隊提供了約 9.8 萬筆可驗證提示，用於強化學習（RL）階段。

FineDNA 包含 Midtraining、SFT 和 RL 階段的數據。

團隊強調 FineDNA 的程式碼與訓練配方均已開放，這意味著開發者可以將相同的數據處理方法與訓練策略應用於其他大型語言模型。

相關資源已發布在 Hugging Face Hub 上的 datasets/HuggingFaceBio/FineDNA，程式碼則存放於 GitHub 的 huggingface/carbon 倉庫。