針對長上下文大型語言模型中注意力機制設計所面臨的「不可能三角」（KV 快取大小、訓練與預填充 FLOPs、模型品質），研究團隊提出了 Virtual Head Attention (VHA)。傳統方法如 GQA 雖能維持高品質但 KV 快取開銷大；MLA 可壓縮快取但犧牲品質；MFA 則大幅增加訓練與預填充計算量。VHA 透過兩個輕量線性運算同時改善這三個面向：Q Premix 對每個 KV 群組內的查詢應用近似恆等變換，從減半的物理查詢頭中恢復虛擬頭的多樣性；Linear Postmix 則透過低秩 I+AB⊤ 殘差結構融合跨頭特徵。由於 VHA 不引入非線性運算，Premix 可在推理時折疊進查詢投影，Postmix 折疊進輸出投影，使模型在推理階段退化為標準的 GQA-2 架構，從而直接重用所有現有的 GQA 推理優化技術。僅使用兩個 KV 頭時，大型模型中的群組大小可輕鬆達到 64，充分發揮解碼期間 Tensor Core 的並行能力。實驗結果顯示，在四個規模下進行 4K 上下文、50B token 預訓練時，VHA 在所有規模上均穩定超越標準 GQA 基線（提升 +0.05% 至 +0.81%），同時在密集模型規模下較 GQA-8 減少 4 倍 KV 快取，在 MoE 規模下較 GQA-4 減少 2 倍，並降低訓練與預填充 FLOPs 7.9%（1.7B 參數，序列長度 S=4096）。在一個基於 500B token、8K 上下文訓練的工業級 30B-A3B MoE 模型上，VHA 在包含 12 個基準測試的基礎模型評估套件中，較 MLA 和 GQA-4 分別高出 +0.70% 和 +2.60%。此外，在經過長上下文中期訓練後的匹配 10B-A1B MoE 比較中，VHA 在 8K--128K 範圍內的平均 RULER 分數達到 84.4，而 GQA 為 73.0，且 VHA 在全注意力層中僅使用兩個而非四個 KV 頭。
尚待確認：原文未提供具體的基準測試名稱或詳細評估指標定義，僅提及 '12-benchmark base-model evaluation suite' 和 'RULER score'。
尚待確認：原文未說明 VHA 與現有 GQA 推理優化技術整合時的具體工程實現細節或潛在兼容性問題。
