M5 Max 上的端到端推論效能數據
開發者 Ye 指出，Kapitsa 是專為 Apple Silicon 最佳化的開源推論引擎，最新版本 0.2.26 已發布。自上次 M5 Max 測試以來，Flash-Next 180B 的提示詞讀取速度提升了 46%，27B 模型的寫入速度則提升 8%。
在配備 M5 Max 與 128GB 記憶體的 2026 MacBook Pro 16 上，測試涵蓋了從 1K 到 32K 上下文長度的六種模型架構，包括 dense、MoE、hybrid Mamba-2 MoE 以及 block-diffusion MoE。
以生成 512 token 編碼回答為解碼測試，並使用 4K prompt 進行預填充（prefill），取三次運行的中位數數據顯示：Qwen3.6 35B-A3B 的解碼速度為 346 tok/s，預填充速度為 6,036 tok/s；Clover 35B-A3B 分別為 304 tok/s 與 5,981 tok/s。
其他測試結果包括 Flint 40B（解碼 265 tok/s，預填充 5,770 tok/s）、Nemotron Bolt 74B（解碼 154 tok/s，預填充 1,075 tok/s）、Qwen3.8 27B（解碼 143 tok/s，預填充 904 tok/s）以及 Qwen Flash-Next 180B（解碼 108 tok/s，預填充 1,701 tok/s）。
長上下文處理與 SSD 卸載技術
測試顯示模型在處理長上下文時仍能維持一定的效能。當上下文長度達到 32K 時，35B 模型的寫入速度仍維持在 175 tok/s，而 Flash-Next 的速度僅從 90 tok/s 輕微下降至 78 tok/s。
Kapitsa 支援 Qwen Flash-Next 180B 的 SSD 卸載功能。對於記憶體不足以完全容納模型的 Mac 裝置，無法放入 RAM 的專家模型參數會從 SSD 串流讀取。
此技術使得 Flash-Next 180B 能在僅有 48GB 記憶體的 MacBook Pro 上運行，並達到 61 tok/s 的推論速度。
與其他推論引擎的效能比較
在同一台 Mac 上與各模型次快引擎進行對比，Kapitsa 在 35B 模型上比 Splash 快 1.23 倍，在 Bolt 模型上比 oMLX 快 2.2 倍。
在 Flint 模型上，Kapitsa 比 rec 快 1.18 倍；在 27B 模型上則比 mlx-serve 快 1.12 倍。Flash-Next 與 mlx-serve 表現持平，但 Splash 在兩個 Qwen 模型的提示詞讀取速度上較快。
值得注意的是，目前僅有 Kapitsa 能在 Mac 上執行 Clover 模型。
KFlash 加速技術原理與限制
Kapitsa 的加速核心來自 KFlash 技術。不同於其他引擎將草稿模型的猜測視為單一鏈條並在首次錯誤時停止，KFlash 在同一個 8-row pass 中驗證草稿候選的最佳優先樹（best-first tree），並保留目標模型同意且最長的分支。
該技術針對 Apple Silicon 進行了三項關鍵優化：首先，利用 Apple GPU 以 8-row tiles 運作的特性，使得在 dense 模型上進行 8-row 驗證的成本僅約為單個解碼步驟的 1.1 至 1.25 倍。
其次，每個樹的大小會根據該 Mac 實測的預算逐週期調整，包含每行數量的 GPU 時間以及草稿模型相對於其自身接受率的逐位置校準。
最後，採用 Seed-exact 機制，僅當猜測等於目標模型使用相同隨機數進行普通解碼所採樣的 token 時才接受該猜測，確保在相同 seed 下生成的回覆與普通採樣寫出的結果一致。
使用者測試與社群貢獻機制
開發者鼓勵使用者在自己的 Mac 上執行相同的測試並將結果加入社群資料庫。透過安裝 Kapitsa 並執行 kapitsa bench --submit，系統會詢問後將結果作為 GitHub pull request 發送。
提交的數據約為 2 KB，包含 Mac 型號、晶片、RAM、macOS 版本及測試數值，不包含序號、使用者名稱或路徑。若無 GitHub 帳號，可直接將印出的數值貼在評論區。
開發者同時徵求關於「樹狀驗證採樣在相同 seed 下與普通採樣逐 token 匹配」的先前研究文獻，目前引用的相關工作包括 SpecInfer、Medusa、EAGLE-2 和 Sequoia。
