統一模型環境下的五項日常開發任務測試
此次盲測由 Reddit 使用者 GapNew4766 執行，硬體環境為配備 64GB 記憶體 M5 Max MacBook Pro。所有代理均運行於 llama.cpp 框架下，使用相同版本的 Qwen 3.8 27B uncensored Q4_K_M 模型，以確保比較基準一致。
測試包含五項常見開發任務：合併含有重複姓名與混亂 Email 的聯絡人清單、跨三個檔案重命名函數、修復帶有隱藏測試的 Bug、統計三個日誌檔中的錯誤數量，以及將收據 PDF 轉換為試算表。
在合併聯絡人（涉及兩位 Alex Kim）與跨檔案重命名函數這兩項任務中，五款代理全部通過測試。統計日誌錯誤任務中，所有代理均正確計算出 43 個錯誤。
部分任務出現失敗：格式處理錯誤與權限詢問導致中斷
在修復 Bug 任務中，僅有四款代理通過測試。標示為 C 的代理將字串 "Q3/Q4" 錯誤轉換為 "q3q4"，而非預期的 "q3-q4"，導致該項任務失敗。
在將收據 PDF 轉換為試算表的任務中，同樣有四款代理通過。標示為 A 與 B 的代理在未詢問使用者的情況下自動安裝了缺失的 Python 函式庫並完成任務。
標示為 C 的代理在此任務中停止執行並詢問「我可以安裝這個嗎？」，由於測試環境無人回應，該代理最終未能完成任務而被判定失敗。作者指出，在無人監控的實際使用情境下，這種行為會被視為失敗；但在其實際硬體環境中，這是他所期望的行為。
各代理執行時間差異與測試設定說明
五款代理完成全部任務的總耗時差異顯著：最快者（Agent A）僅需 10 分 29 秒，最慢者（Agent B）則耗時 24 分 07 秒。其他代理分別為 Agent E（11:34）、Agent D（12:10）與 Agent C（16:04）。
單一任務的執行時間也呈現巨大差異。例如在轉換收據 PDF 任務中，Agent B 耗時 15 分 04 秒，而 Agent C 僅需 49 秒；但在合併聯絡人任務中，Agent C 卻耗時 13 分 32 秒，遠超其他代理的 4 至 6 分鐘。
測試採用自動批准模式（auto-approve on），並由腳本自動判定通過與否。參與測試的五款代理依字母順序排列為 OpenCode、goose、Atomic Agent、Hermes 與 OpenClaw，但結果代號 A 至 E 並未對應此順序，作者承諾將在數日後公布完整答案鍵。
