測試任務設定與執行環境差異
此次基準測試旨在回應先前社群對於比較公平性的質疑，因此採用更嚴格的受控對比方式。所有模型執行的任務相同，為 LlamaStash 專案路線圖中的一個真實功能：在卸載 llama-server 前儲存 KV cache，並在模型重新載入時還原。
測試共包含六種組合，每種組合執行兩次，總計產生 12 個 Pull Request。雲端模型 Claude Opus 5.5、Qwen3.8-Flash-Next 與 Kimi K3 作為評分者，針對每個 PR 進行七項審查問題評估及 CI 檢查。
Qwen3.8-Flash-Next 在開發者的 Strix Halo 筆記型電腦（Flow Z13）上透過 Halogen 本地運行，使用約 Q4 量化版本。相比之下，Opus 5.5 作為前沿模型以 FP16 或至少 FP8 精度運行，兩者並非處於同一級別。
執行 Flash-Next 的機器全程維持在 70W TDP 上限，開發者表示若提升至 90W 可略微提升速度，但考慮到風扇噪音與熱壓力，認為不值得這樣做。
程式碼品質評分與成本比較
根據平均得分（滿分 8 分），Claude Code 搭配 Opus 5.5 在高努力程度設定下獲得最高分 6.94 分（87%），耗時 43.5 分鐘，API 成本為 17.78 美元。
Claude Code 搭配 Qwen3.8-Flash-Next 在中等努力程度下得分為 5.5 分（69%），雖然報告中列出的 API 成本為 0.32 美元，但開發者強調實際上是本地運行，僅消耗電力。
其他組合如 Pi 搭配 Flash-Next 或 Claude Code 搭配 Flash-Next 的高努力程度設定，得分落在 5.06 分至 5.44 分之間（63% 至 68%）。Opus 在中等努力程度下得分為 6.25 分（78%），成本為 6.52 美元。
開發者指出，Opus 與 Qwen 之間的差距主要在於邊界情況處理、測試撰寫與文件說明，而非核心功能邏輯。所有生成的程式碼皆能正常運作核心功能。
執行效率與工具影響分析
在相同努力程度設定下，Qwen3.8-Flash-Next 的執行時間是 Opus 的 1.1 倍至 2.1 倍。例如，Claude Code 搭配 Flash-Next 中等設定耗時 45.3 分鐘，而 Claude Code 搭配 Opus 中等設定僅需 23.4 分鐘。
對於 Qwen3.8-Flash-Next，使用「medium」與「xhigh」兩種努力程度設定的得分差異不大，且「medium」設定在所有四組對比中均較快完成任務。
Opus 5.5 在使用「xhigh」設定時得分略高於「medium」，但成本增加至 2.7 倍。這顯示對於雲端模型而言，提高推理努力程度能帶來些微品質提升，但代價高昂。
在 CI 檢查方面，Claude Code 生成的四個 PR 全部通過 CI，而 Pi 生成的四個 PR 僅有一個通過。開發者提到，使用 Claude Code 與 Pi 搭配 Flash-Next 時，兩者在審查問題上的得分表現相近。
模型精度與硬體限制對結果的影響
開發者特別強調比較條件的不對稱性：Opus 是雲端前沿模型，以高精度運行；而 Qwen3.8-Flash-Next 是在筆記型電腦上運行的量化版本（4.16 bpw）。
若 Qwen3.8-Flash-Next 能以 FP8 精度運行，預期品質會比目前的 Q4 量化版本更好。這意味著目前的測試結果可能低估了該模型在更高硬體資源下的潛力。
所有 12 個 Pull Request 均已公開於 GitHub 供查閱，詳細的方法論與每次執行的具體遺漏項目可在開發者的部落格文章中找到。
