NVIDIA 發布 Nemotron-3.5-Bolt-E4B-4GB 小型語言模型，專為低記憶體裝置設計

NVIDIA 推出基於 Gemma-4-E4B-it 後訓練的小型語言模型 Nemotron-3.5-Bolt-E4B-4GB。該模型針對低記憶體與低首字延遲（TTFT）環境最佳化，旨在提升本地語音助理與邊緣裝置的互動速度及工具使用能力。

AI 新聞雷達編輯團隊·本站收錄：2026/10/24 04:15（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

模型由 NVIDIA 基於 Gemma-4-E4B-it 進行後訓練，強化多輪對話中的工具調用、指令遵循與輸入接地能力。

設計目標為低記憶體佔用與快速響應，適用於本地語音助理、互動角色及嵌入式介面。

提供 GGUF 格式版本供不同平台使用，並建議搭配 DFlash drafter 進行推測解碼以進一步加速。

模型授權允許商業與非商業用途使用。

基於 Gemma 架構強化本地互動能力

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 是一款小型語言模型（SLM），由 NVIDIA 在 Gemma-4-E4B-it 的基礎上進行進一步後訓練。

該模型繼承了 Gemma 強大的對話能力，並針對多輪工具使用、指令遵循以及輸入接地（input grounding）進行了改進。

這些優化旨在服務於快速本地語音或裝置助理、互動角色設定，以及嵌入式與邊緣運算介面等應用場景。

模型設計重點在於低記憶體佔用與低首字延遲（Time to First Token, TTFT）的運作效率。

透過降低資源需求，該模型允許代理程式（agents）快速回應，同時為應用程式或相鄰的模型管線保留系統資源餘裕。

對於需要更高推理速度的場景，官方建議搭配配套的 DFlash drafter 進行推測解碼（speculative decoding）。

除了主要的 4GB 版本外，NVIDIA 也提供了全精度 BF16 版本的模型 NVIDIA-Nemotron-3.5-Bolt-E4B-BF16。

社群已發布 GGUF 格式的版本，分別由 ggml-org 與 unsloth 維護，方便使用者在本地環境部署。

該模型明確標示可用於商業或非商業用途，並附有技術報告供開發者參考。