不同硬體環境下的量化成果與效能數據

開發者 PeasantSmith 推出的 Maya-XS 版本將模型壓縮至 93 GB，可在配備 128 GB 記憶體的個人電腦上運行。該版本在工具呼叫與代理任務的測試中，達到 88.8% 的首選一致性（top-1 agreement）。

開發者 ViC305 針對單張 NVIDIA DGX Spark 硬體推出 SAGE-EXL3 版本，檔案大小為 108.64 GiB。在保留序列的測試中達到 96.89% 的首選一致性，並在 48K 上下文長度下提供每秒 24.37 至 29.72 token 的解碼速度。

針對擁有 160 GB 以上記憶體的系統，Unsloth 團隊提供了 UD-Q2_K_XL 版本，檔案大小為 143.9 GB。該版本在七個類別的加權測試中達到 91.5% 的首選一致性。

開發者 superalesha 使用自研引擎搭配 Unsloth 的 2-bit 量化技術，在四張 RTX 3090 顯卡的環境下運行。該配置提供每秒 23 至 31 token 的解碼速度，並在 16K 上下文長度下達到每秒 1120 token 的預填充（prefill）速度。

其他平台與架構的優化版本

除了上述主要版本外，社群還針對 Apple Silicon 推出了由 jundotkim/mlx-community 開發的 oMLX 版本，使用 oQ3e 量化格式，檔案大小為 196.2 GB。

AMD 提供了 Quark MXFP4 格式以支援 MI350 與 MI355 顯示卡。Mia-AiLab 則推出了 EXL3-EAQ 版本，每權重位元數（bpw）為 3.55。Atomic Chat 也發布了 GGUF 格式的模型檔案。

開發者 superalesha 提到，由於在 128 GB 記憶體環境下遇到記憶體不足的問題，他將硬體升級至 512 GB 以繼續進行測試與優化工作。

模型架構特性對量化工作的影響

MiniMax M3.1 Flash 是一款支援圖片與影片輸入的編碼與代理模型，最大上下文長度可達 1M token，但實際運行需視硬體記憶體容量而定。

該模型在訓練過程中已內建量化機制，並在每一層採用稀疏注意力架構。根據參數設定，每個 token 僅啟用 428B 總參數中的 23B 參數進行計算。

來源指出，該模型在訓練時已內建量化機制，這有助於後續的權重量化工作。開發者投入大量校準工作，通常是為了確保這些優化後的權重能在實際生產環境中持續運行。