低顯存環境下的高上下文支援

Ternary Nemotron 3.5 Lightning 是一個基於 Ternary（1.58-bit）量化技術的 30B-A3B Mixture-of-Experts (MoE) 模型。透過極致的壓縮，該模型允許使用者在僅具備 12GB 顯存的 GPU 上載入並運行。

除了低硬體門檻外，該模型支援高達 368K tokens 的上下文長度。

雙引擎相容性與效能數據

該 GGUF 檔案設計為單一檔案同時支援兩種推理引擎：標準版的 llama.cpp 以及 PrismML fork（又稱 Bonsai）。開發者指出，在標準 llama.cpp 版本 b11555+ 及 b11796 上已通過驗證，而在 PrismML fork 的 b10793 版本上也同樣可用。

根據發布資訊，該模型在解碼（decode）階段的生成速度為每秒 172 tokens，預填充（prefill）階段的速度則超過每秒 7000 tokens。來源提供了上述效能數據。

三元量化 MoE 模型的進展

開發者補充說明，這是繼 maple-preview 之後，第二個能夠在標準 llama.cpp 中運行的三元 MoE 模型。開發者指出這是繼 maple-preview 之後的第二個相容模型。

目前社群討論中尚缺乏僅使用 CPU 運算的效能數據，以及更低顯存環境（約 10GB）下的實際測試結果。開發者請求社群分享 CPU-only 及約 10GB VRAM 環境下的數據。