模型準確率對比與統計顯著性

開發者使用 Allganize 發布的韓文 RAG 資料集進行評估，該資料集包含 300 個問題、64 份 PDF 文件，採用 MIT 授權。所有模型均接收相同的 Top 5 頁面與相同提示詞作為輸入。

在開啟思考模式（Thinking on）的情況下，Qwen3.8 27B 獲得 77.3% 的準確率，Opus 5.5 則為 76.6%。McNemar 檢定顯示 p 值為 0.82，表明兩者表現無統計顯著差異。

若由 Opus 5.5 擔任評審模型，Qwen3.8 得分為 80.6%，Opus 自身為 80.3%，結果趨勢一致。開發者指出，若關閉 Qwen3.8 的思考模式，準確率會下降約 6 個百分點，顯示該功能對表現影響重大。

錯誤來源分析：檢索與解析才是瓶頸

開發者深入檢視 Opus 5.5 的 70 個錯誤案例，發現其中 22 例涉及僅有掃描圖片而無文字層的頁面，23 例是檢索器未能提取正確頁面，僅有 25 例歸因於模型本身的生成錯誤。

這顯示在該測試環境中，限制系統表現的主要因素已非語言模型能力，而是 PDF 解析與檢索環節。作者表示其測試環境未使用 OCR 技術。

作為對比，2024 年發布的商業系統 Alli（搭配 Claude 3.5 Sonnet）在同一資料集上的表現僅在掃描頁面部分優於本地測試環境，其餘項目則無明顯優勢。

檢索技術對韓文處理的關鍵影響

測試顯示檢索器的分詞策略對結果影響巨大。使用簡單空白字元切分的 BM25 演算法，其 Top 5 命中率僅為 56%。

改用專為韓文設計的形態位分析器（Morphological Tokenizer）後，命中率顯著提升至 80%。開發者承認此前長期使用簡易切分方式導致效能低落，此結果雖事後看來合理，但凸顯了正確預處理的重要性。

其他模型測試與硬體限制

GPT-OSS 20B 初始表現僅 57.5%，經檢查發現是因輸出長度限制（1024 tokens）導致思考過程被截斷。將限制放寬至 8192 tokens 後，準確率提升至 69.6%。

KRAFTON 的新模型 Raon-1 mini preview（30B MoE 架構，約 4B 活躍參數）在 RTX 3090 上達到每秒 96 個 token 的生成速度，準確率約為 74-75%。

然而，Raon-1 mini 在溫度設為 0 且開啟思考模式時，於 320 個問題中有 16 題陷入無限迴圈。該測試集包含開發者自寫的 20 個無法回答的問題，但所有模型均正確拒絕回答，顯示這些題目難度過低，未能有效區分模型能力。

測試限制與不確定性

開發者強調所有結果僅基於單次執行且溫度設為 0。在不同硬體環境下重現同一模型時，曾出現 11 個判定結果翻轉的情況，因此小於 1% 的分數差異應視為無意義。

測試中自寫的無法回答問題過於簡單，未能提供有效區分度。開發者表示需要撰寫更難的問題來改進測試。