突破文字對齊限制：填補模型未使用的維度
EmbeddingGemma-2 是一個基於 Google 架構的 577M 參數模型，其文字主幹隱藏層大小為 512d，最終通過一個 768x512 的線性矩陣投影至 768d。由於該投影矩陣沒有後續的非線性激活函數，所有文字向量都位於一個 512d 的子空間內。
透過對該投影矩陣進行奇異值分解（SVD），可以識別出剩餘的 256 個正交方向，即所谓的「零空間」（null space）。這些方向在處理文字向量時完全未被使用，且任何注入這些方向的音訊向量與所有文字向量的點積為零。
研究人員利用 PCA（主成分分析）將模型第 2 層和第 6 層 Conformer 的特徵壓縮至 256d，並將其注入這 256 個未使用的維度中。PCA 的擬合僅使用了來自四個外部音訊資料集的 1,400 個片段，未使用 MAEB 或 MSEB 測試數據，且整個過程無需訓練任何模型權重。
性能提升與任務影響：語義保留與聲學增強的權衡
注入特徵後，模型的宏觀分數從 49.3% 提升至 54.4%，在 MAEB 音訊專用排行榜上從第 26 名升至第 1 名，超越了參數量達 8B-9B 的多模態模型。
由於注入的維度與文字向量正交，文字嵌入保持逐位元不變，且跨語言的文字對音訊檢索任務（如 FLEURS、CommonVoice）表現維持在原有水平，差異小於 0.05 點。
然而，這種方法並非沒有代價。由於加入了固定的聲學特徵，正規化後的語義組件會被輕微縮放，導致那些需要忽略說話者聲音的純語義任務表現下降。例如，口語主題分類（SIBFLEURS）準確率從 57.2% 降至 21.3%，口語意圖識別（MInDS14）從 97.6% 降至 88.3%。
此外，由於沒有進行重新訓練，為了保持正交性，音訊嵌入必須使用全部 768d 維度，這意味著無法使用 Matryoshka 技術將向量截斷為 512/256/128d 以節省儲存空間。
技術原理：中間層特徵與零空間的結合
先前的研究指出，語音編碼器的不同深度層級保留了不同的屬性：早期和中間層保留說話者、音高和情感等副語言特徵，而最終層則過濾掉這些特徵以對齊文字語義。
對 EmbeddingGemma-2 的 12 個 Conformer 層進行探測證實了這一點。第 2 層的特徵在 VoxPopuli 性別聚類任務中從最終輸出的 0.05% 提升至 65% 以上，IEMOCAP 性別分類從 66.4% 提升至 83.0%。
第 6 層的特徵則使 CREMA-D 情感分類準確率從 19.7% 翻倍至 39.5%。這些中間層的信號被提取並注入零空間後，顯著提升了音訊對音訊的任務表現，例如無監督聲音/性別聚類從 0.05% 提升至 63.1%，歌手/歌曲檢索從 55.2% 提升至 93.8%。
應用場景與限制：邊緣裝置的可行性
該方法生成的額外組件僅為一個 2.37 MB 的 safetensors 檔案，包含凍結的 PCA 矩陣。由於基礎模型參數量小（577M）且向量維度較低（768d），它可以在筆記型電腦或邊緣裝置上輕鬆運行，比領先的 9B Omni 模型小 15 倍。
標準的文字對齊音訊模型擅長將口語單詞匹配到文字，但在按聲音、情感或聲音相似度分組音訊方面表現不佳，因為最終層保留了「說了什麼」而丟棄了「如何發出聲音」。
此技術展示了從過度訓練的基礎模型中提取未開發信號的潛力。作者指出，如果實際對零空間部分進行受限訓練，性能可能會有更大的提升空間。
