Reddit 用戶 u/Don_Reuter 分享其在兩張 AMD Radeon R9700 顯示卡上測試 Strata 推論引擎的經驗,結果令人失望。該用戶原本的目標是尋找一套至少能媲美 Qwen 3.8 27B Q8 MTP 配置、但具備更大上下文(理想為 1M)的設置。此前他使用 llama.cpp 執行 Next Flash Q2 模型,雖適合對話但不適合編程;Q4 版本則運行過慢。
在參考了 Reddit 上關於 Strata 與 Qwen Next Flash 組合表現良好的多篇報告後,該用戶決定嘗試 Strata。然而測試結果顯示,他僅能將量化等級提升至 Q3。具體技術細節如下: 1. **穩定性問題**:當使用兩張顯卡並將專家模型(Experts)卸載至系統記憶體(RAM)時,無論嘗試何種設置,處理長任務都會掛起(hangs)。只有在所有專家模型都能放入 VRAM 時才保持穩定。在 64GB VRAM 的限制下,這意味著必須使用 3-bit 量化。 2. **效能對比**:雖然理論速度較快(約 60 tokens/s,對比 llama.cpp),但在 HumanEval+ 基準測試中,3-bit 的 Flash-Next 得分為 93.9%,低於 Qwen3.8-27B Q8 在純 llama.cpp 上的 95.1%。此外,達到該結果所需的 token 數量幾乎是後者的兩倍。
用戶結論指出,對於其使用場景而言,相對於成熟的 llama.cpp 技術棧,並沒有獲得實際的效能增益。相反地,使用者需要面對單一模型引擎、其分支版本、特殊量化格式以及大量環境變數的變通方法。該用戶質疑這些關於替代推論引擎的正面報告是否僅為炒作或邊緣案例,並詢問是否有其他人在使用特定模型引擎時,相比 llama.cpp 或 vLLM 獲得了持久的實際效益。
尚待確認:用戶提到的 'Next Flash' 具體指代哪個模型版本未明確說明(推測可能為 Qwen Next 系列相關變體,但原文僅稱 Next Flash)。
尚待確認:用戶提到的 'Qwen 3.8 27b' 與 'Qwen3.8-27B' 是否為同一模型或特定內部測試版本,原文未提供官方發布資訊佐證。
尚待確認:Strata 引擎的具體版本號及測試時的環境變數細節未在原文中列出。




