模型架構與參數配置

Clover-35B-A3B-Preview 的核心是一個擁有 350 億(35B)參數的混合專家(Mixture-of-Experts, MoE)主幹網路。

該模型在處理每個 token 時僅啟用約 30 億(3B)個活動參數。

生成機制與上下文能力

Clover 採用區塊擴散(block diffusion)技術進行文本生成。

該模型支援高達 128K 的上下文視窗。

效能宣稱與資源發布

DiffuSpace 在其發布部落格中聲稱,Clover-35B-A3B-Preview 在當時報告的基準測試中,於開放權重擴散語言模型類別裡達到最先進(state-of-the-art)的表現。

來源提供了指向 Hugging Face 頁面及程式碼/推論後端的連結。