Qwen3.8-Flash-Next 量化版在單張 RTX 5090 穩定運行

社群分享 Qwen3.8-Flash-Next 模型經 exl3 格式量化後，可在單張 36GB VRAM 的 RTX 5090 顯示卡上完全載入並穩定推理。該配置未將專家層卸載至記憶體，生成速度約為每秒 200 至 300 tokens，但受限於顯存容量，上下文長度仍相當有限。

AI 新聞雷達編輯團隊·本站收錄：2026/10/22 04:23（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

Qwen3.8-Flash-Next 模型以 exl3 格式量化後，可完整載入單張 RTX 5090 顯示卡，無需將 MoE 專家層卸載至系統記憶體。

在該配置下推理速度約為每秒 200 至 300 tokens，且未出現推理迴圈或不穩定現象。

儘管模型權重可完全放入顯存，但剩餘空間不足以支撐長上下文，需依賴快取量化技術壓縮佔用。

單張 RTX 5090 完整載入與推理表現

社群用戶分享 Qwen3.8-Flash-Next 模型經 exl3 格式量化後，可在單張具備 36GB VRAM 的 NVIDIA RTX 5090 顯示卡上穩定運行。該配置將所有參數完全載入顯存，未採用將 MoE（混合專家）架構中的專家層卸載至系統記憶體的做法。

根據分享者描述，模型在推理過程中表現穩定，未出現常見的推理迴圈問題，生成速度維持在每秒 200 至 300 tokens 之間。分享者同時提供了一段由該量化模型生成的「Liquid cat」示範影片作為佐證。

雖然模型權重可完全放入單張 36GB 顯示卡，但剩餘的顯存空間對於長上下文支援仍相當有限。分享者指出，即使使用了快取量化技術來壓縮 KV Cache 佔用，可用的上下文長度依然不足。

這意味著在該硬體配置下，使用者需接受較短的對話或文件處理長度限制，無法充分利用模型潛在的長上下文能力。