Windows 支援與新模型格式整合
Infernix 此次更新將 Windows 列為一級支援平台,使用者可從 GitHub Releases 頁面直接下載所需檔案執行。
引擎新增對多種 Qwen3.8-Flash-Next 模型格式的原生支援,包括 NVIDIA 推出的 QAD FP4 版本、GSQ-RCO-IQ3_S 量化模型以及 Full FP8 版本。其中 Full FP8 版本雖然速度較慢,但能與官方 FP8 模型保持位元級精確一致(bit-exact)。
此外,更新也支援 Ornith 1.5 122B NVFP4 模型及其無審查版本,以及 Swift 1.5 Qwen3.8-Flash-Next NVFP4 Dense8 模型。開發者指出,Ornith 1.5 雖有亮眼的基準測試表現,但其對該模型的實際品質影響仍持保留態度。
推論速度與精度的權衡策略
Infernix 在速度優化上採取不同於其他引擎的策略,避免犧牲模型品質的激進優化手段,例如預設不啟用專家尾端跳過(expert tail skipping)或低於建議值的量化精度。開發者強調,這使得 Infernix 在多數情況下表現優於 Strata,偶爾超越 Basalt,但部分階段會使用比 Basalt 更高的計算精度。
若使用者願意犧牲部分品質以換取速度,可透過參數啟用專家尾端跳過(--expert-tail-skip)或將激活值降至 8-bit(--a8-activations)。預設情況下,Infernix 遵循 NVIDIA 建議使用 4-bit 激活值,但在解碼階段對專家層保留 8-bit 精度。
新增的 --lossless 模式可確保結果完全可重現,並使用與模型訓練時相同精度的位元級計算(通常為 BF16)及 FP32 logits。此模式主要用於品質測試基準,開發者正致力於建立更嚴謹的品質門檻機制,以驗證優化不會影響輸出品質。
與 Strata 及 Basalt 的性能對比數據
在 Qwen3.8-Flash-Next NVFP4 權重模型的測試中,Infernix 的首字元生成時間比 Strata v0.2.8 快 1.4 至 1.6 倍(128K 上下文長度下),但在 250K 長度時慢 4%。與 Basalt c08284cb 相比,Infernix 的首字元生成時間快 5 至 8 倍,但整體解碼速度在部分情境下較慢。
具體數據顯示,在 NVFP4 模型上,Basalt 將 NVIDIA 的 BF16 密集層以 6-bit 運行(根據 Basalt 自身測量,這會導致 KL 散度增加 10%),並將專家層以外的所有激活值降至 8-bit;而 Infernix 則保留 16-bit 激活值。當 Infernix 啟用 --a8-activations 時,其解碼速度在約 8K、128K 及 250K 上下文長度下分別為 199/185/268 tok/s,略低於 Basalt 的 202/173/216 tok/s,但首字元生成時間仍快 4 至 6 倍。
在 IQ3_S GGUF 模型測試中,Strata 與 Basalt 均將所有激活值計算為 8-bit,且 Basalt 從 8-bit 副本讀取 BF16 超連接矩陣,並從輸出頭的 2-bit 副本獲取 logits;Infernix 則保留 16-bit 激活值、BF16 矩陣及 GGUF 原始頭部。在此設定下,Infernix 的首字元生成時間與 Basalt 相當,但 Basalt 整體速度仍稍快。
自動配置與使用者介面改進
更新引入了新的 WebUI 啟動器(Beta 版),提供類似 LMStudio 或 Unsloth 的圖形化介面,用於下載、配置模型及切換模型。該介面包含統計儀表板、日誌記錄及快速測試聊天功能,目前處於早期階段,介面較為複雜但旨在簡化 Infernix 的使用流程。
引擎新增自動推測解碼(speculative decoding)配置功能,透過校準後的設定在不同類型文本中提供最佳的每秒生成 token 數(tok/sec)。使用者只需使用 --spec auto --draft-tokens auto 並指定草稿模型路徑即可啟用此功能。
針對 Qwen3.8-Flash-Next 模型,新增了 DFlash2 草稿模型支援,可透過指定草稿模型檔案路徑來進一步加速推論過程。開發者表示將盡快支援即將發布的 Qwen 4 模型。



