透過核心模組解除張量運算速度限制

社群使用者分享一項名為 gpu-unlock 的 Linux 核心模組,據稱能解除 NVIDIA RTX 3090 顯示卡內部對 FP32 累積張量運算的速度限制。該模組由開發者 Zagitta 製作,運作機制是在 NVIDIA 驅動程式載入之前,將原本被設定為半速(FMLA32 = 1/2)的參數修改為全速(full)。

根據使用者測試,在冷開機後,四張 RTX 3090 顯示卡的狀態均顯示 FMLA32 已變更為 full。此過程未更換硬體、驅動程式版本或功耗設定,維持在 300W 的功率限制下進行。

基準測試數據顯示張量吞吐量顯著提升

在使用者提供的基準測試中,BF16 張量管線的吞吐量從原本的 82 TFLOPS 提升至 155 TFLOPS,接近翻倍。在 cuBLAS BF16 GEMM 8192 的測試項目中,速度從 64 TFLOPS 提升至 99 TFLOPS;TF32 精度下的吞吐量則從 41 TFLOPS 提升至 79 TFLOPS。

這些數據顯示該模組確實能釋放被驅動程式限制的硬體潛能。然而,這些測試結果僅反映特定數學運算核心的峰值效能,並不直接等同於整體應用程式的加速比。

實際推理應用效能提升幅度低於預期

儘管基準測試數據亮眼,但在實際的大型語言模型推理任務中,效能提升幅度明顯較小。使用者在兩張 RTX 3090 上執行 Strata 與 Qwen3.8 Flash-Next 模型的預填充(prefill)階段測試,結果顯示在 4K 與 10K 長度的輸入下,速度僅提升約 12%;在 90K 長度的極端情況下,生成速度從每秒 3,205 tokens 提升至 3,536 tokens,增幅約為 10%。

使用者原本預期能有 14% 至 19% 的提升,但實際結果低於預測。分析原因指出,雖然 GEMM(通用矩陣乘法)階段的執行時間縮短了 23%,但這部分僅佔整體預填充流程的約 40%。其餘如 int8 專家模型運算、記憶體複製以及 CUDA Core 核心運算等環節並未獲得加速,因此稀釋了整體的效能增益。

輸出結果一致性與未來驗證方向

使用者進行了輸出比對測試。在相同的專家快取大小設定下,針對 1,996 個教師強制(teacher-forced)位置的對數機率(log-prob)進行轉儲比較,結果顯示修改後的輸出檔案與使用原版驅動時的輸出逐位元組完全相同。

這表明 gpu-unlock 模組僅改變了運算速度的限制參數,並未改變底層的數學計算邏輯或產生數值漂移。目前該使用者正在詢問社群是否有人已驗證此模組在 RTX 40 系列顯示卡上的可行性。