硬體配置與模型規格

此次基準測試基於 NVIDIA RTX 5080 顯示卡,配備 16GB VRAM,搭配 Intel Core Ultra 9 285K 處理器與 62GB DDR5-6800 記憶體。

執行的模型為 Qwen3.8-Flash-Next,採用 IQ3_S 量化格式,並設定支援 262K 上下文長度,KV Cache 使用 int8 精度。

代理編碼會話性能表現

在模擬 opencode 代理編碼會話的測試中,系統處理了 103 個請求,上下文長度最高達 130K tokens。

該場景下的平均生成速度為每秒 153.0 token,峰值達到每秒 262 token;提示處理(Prompt Processing, PP)平均速度為每秒 5,011 token,峰值為每秒 5,118 token。

記憶體使用方面,VRAM 佔用約 15.7GB,系統 RAM 總用量為 54.1GB,剩餘可用空間約 5.2GB。

長上下文掃描測試結果

另一項測試針對新建立的提示進行上下文掃描,範圍從 15K 到 207K tokens。

在此範圍內,提示處理平均速度為每秒 5,475 token,峰值為每秒 5,662 token;生成速度平均為每秒 154.9 token,峰值為每秒 186.6 token。

記憶體佔用情況與代理測試相似,VRAM 維持在 15.7GB,RAM 總用量為 54.1GB,剩餘空間約 5.1GB。

測試方法與數據解讀

代理測試中的提示處理數據受到兩次大型未快取讀取(分別為 10.7K 和 8K 新 token)的影響,但整體而言,99.5% 的提示 token 來自於提示快取命中。

首字延遲(Time to First Token, TTFT)的中位數為 0.2 秒。代理測試的生成峰值代表最佳單秒表現,而平均值則是所有解碼時間內的總生成 token 數平均。

上下文掃描測試的生成數據為每個請求的平均值(每次生成 384 tokens,溫度設定 0.7),每個深度執行兩次測試以確保穩定性。