訓練方法與擬人化對話機制

該模型基於 google/gemma-4-31B-it 進行微調,採用 Apache-2.0 授權。開發者使用了與先前 Qwen3.8-27B-Humanlike-Chat 2.0 相同的兩階段訓練配方,僅使用單張 H200 GPU 完成訓練。

第一階段為監督式微調(SFT),使用 13,740 筆資料,包含先前版本的回覆、Google 原始指令與程式碼答案、人類偏好選擇以及開發者的修正內容。第二階段為 On-policy Distillation,共 12 步,由兩個教師模型指導:一個是經過 SFT 並隱藏特定指令以模擬類人對話的模型,另一個是原始的 Google 基礎模型用於維持指令遵循與工具調用能力。

訓練過程中引入了自我對戰(self-play)機制,透過與模擬朋友的長對話來修正模型在長對話後期容易退化成單字或雙字回覆的問題。數據顯示,經過 SFT 後長對話後期僅剩 1-2 個字的回覆比例為 28%,經過蒸餾後降至 12%。

基準測試表現:工具調用與指令遵循

在相同的提示詞、貪婪解碼(greedy decoding)且關閉思考模式(thinking off)的條件下,該模型在多項基準測試中優於原版 Google Gemma 4 31B。在 When2Call 測試(正確判斷呼叫、詢問或拒絕)中,得分從原版的 46 提升至 66。

在 BFCL 不相關性測試(當沒有適合工具時不應呼叫工具)中,得分從 81 提升至 90;在 BFCL 簡單任務(正確選擇工具與參數)中,得分從 95 微幅提升至 96。這顯示模型更擅長判斷何時該使用工具以及何時應保持沉默或詢問細節,而非盲目猜測。

知識基準 MMLU-Pro 的得分維持在 82.5,與原版 Google Gemma 4 31B 完全相同,表明微調過程成功保留了基礎模型的知識水平。

與 Qwen 2.0 版本的比較及擬人化盲測結果

與開發者先前發布的 Qwen3.8-27B-Humanlike-Chat 2.0 相比,Gemma-4-31B-Humanlike-Chat 在 LiveCodeBench(程式碼生成)得分從 51 提升至 66,IFEval(指令遵循)從 83.4 提升至 90.0,When2Call 從 58 提升至 66,BFCL 不相關性從 78 提升至 90。

在擬人化對話盲測中,開發者使用了 150 個未包含在訓練資料中的真實聊天片段。評審在不知道標籤的情況下,需判斷哪一條訊息來自真人。結果顯示,Gemma-4-31B-Humanlike-Chat 有 26% 的機率被評審誤認為是真人回覆,而原版 Google Gemma 4 31B 在此測試中為 0%,即完全無法騙過評審。

該模型具備基本的思考能力,會進行簡短的思考後再以類人語氣回應。它也能處理角色設定(Character Card),並能根據要求生成正式郵件、編號步驟或程式碼,之後再切換回預設的類人對話風格。

模型發布與使用方式

開發者已在 Hugging Face 上發布多種格式的權重檔案,包括 GGUF(IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16)、Safetensors(BF16, FP8)以及 GPTQ-Int4。vLLM 與 SGLang 的使用者可直接使用對應的 Safetensors 格式,模型卡片中提供了包含工具調用的 vLLM 執行指令。

使用者可透過 Hugging Face Spaces 線上體驗 IQ4_XS 版本的模型。開發者強調該模型未經過「abliterated」(去除拒絕機制)處理,認為 Gemma-4-31B 本身不需要此步驟。