為何推論速度測試常採用極低溫度

許多投機解碼（Speculative Decoding）的基準測試聲稱擁有驚人的速度，這些測試通常採用貪婪解碼（Greedy Decoding），即設定溫度為0。

在溫度為0時，模型每次都會選擇機率最高的下一個詞元（Token）。這種做法讓投機解碼的驗證過程變得極其簡單，從而能得出漂亮的加速數據。

然而，模型的「創造性」思考很大程度上依賴於詞元選擇中的隨機性。強制模型始終選擇最可能的路徑，會限制其在非回憶類任務上的表現，並增加catastrophic looping（災難性迴圈）的風險。

測試環境與參數設定

本次測試使用Qwen3.8模型，壓縮格式為IQ4_XS-M，該格式將每個權重數值存儲約4 bits（約4.6 bpw），而非標準的16 bits。

執行引擎為llamAmpere v0.5.2，針對24 GB顯卡使用官方發布的設定。推理努力程度（Reasoning effort）設為「medium」，控制模型回答前的思考長度。

採樣器固定參數包括top_p 0.95、top_k 20及min_p 0。測試僅改變溫度參數，分別測試0、0.25、0.5、0.75和1.0五種設定。溫度1.0時直接使用模型原始機率分佈。

編程任務準確率隨溫度顯著提升

測試使用LiveCodeBench v6中標記為困難的100道最新競賽題目，程式碼必須通過所有隱藏測試才算成功。

結果顯示編程準確率隨溫度升高而顯著上升：溫度0時為70.0%，0.25與0.5時均為76.0%，0.75時為79.7%，1.0時達到82.7%。

溫度0和0.25與溫度1.0之間的差距具有統計顯著性。雖然單獨看0.5（差4.1個百分點）和0.75（差3.0個百分點）的差距在個別測試中未達顯著標準，但合併計算時則具顯著性。

作為對比，溫度為0時的表現約等於較舊的2.5 bpw量化Qwen27b模型水平，後者檔案大小比本次測試使用的量化版本小約40%。

低溫度引發重複迴圈與冗長回答

在極低溫度下，模型出現重複迴圈的頻率顯著增加。溫度為0時迴圈錯誤率達9%，0.25時為6%，而溫度1.0時僅為0.3%。

這些迴圈錯誤雖然不全是災難性的，但都會導致最終答案錯誤。統計上，合併0.5和0.75的數據顯示顯著差異，但個別階段的測試樣本量不足以單獨確認。

低溫度還會使平均回答長度增加。來源原文提及「temp=1. vs temp=1」存在明顯筆誤，但上下文明確指出「Lower temperatures also make answers more verbose」（較低溫度使回答更冗長），且編程任務中回答長度增加約20%。在知識回憶任務（GPQA Diamond）中，低溫度雖未損害準確率，但也使回答長度增加約8%，此差異僅具邊緣統計顯著性。

後續驗證與實際應用考量

測試者正在進行溫度0.8和0.9的後續測試，以評估這些設定是否可行。

評估標準不僅是每秒生成詞元數（TPS），還包括實際牆鐘時間（Wall clock time）。這是因為如果模型因低溫度導致回答過度冗長，可能會抵消投機解碼帶來的速度優勢。