透過採樣偏置引導預訓練模型即時伴奏

Riccardo Cataldi為了測試預訓練符號音樂模型的極限,嘗試在不進行任何訓練或微調的情況下,讓Anticipatory Music Transformer(music-medium-800k版本)與人類演奏者進行即興合奏。

系統運作時,開發者透過MIDI鍵盤輸入旋律,模型則負責生成第二聲部的鋼琴伴奏。為了確保伴奏的和聲正確性,系統即時追蹤演奏者的調性、當前按下的和弦以及節奏速度。

這些資訊被轉換為對數機率(logits)的偏置值,在採樣前直接加到模型的輸出分佈上。具體而言,非調內音符的機率會被降低,而屬於當前和弦音或延伸音(tensions)的機率則會被提高。

避免音域衝突與模擬對話感的技術細節

為了防止伴奏聲部干擾主旋律,系統會降低演奏者雙手正在按壓之琴鍵附近的音符生成機率,確保兩個聲部在音域上保持分離。

當演奏者停止彈奏時,系統會提高旋律性音符的生成權重,使伴奏能自然地填補空白,營造出對話般的互動感。此外,模型還會獲得一個微小的獎勵,鼓勵其延續演奏者上一個樂句的音程結構,以增強呼應效果。

該系統採用約一秒鐘的預先採樣機制,以便提前規劃音樂走向。一旦偵測到和弦發生變化,系統會立即丟棄先前已規劃好的音符序列,並根據新的和聲條件重新進行採樣計算。

硬體限制與參數調整的現況

整個即時伴奏系統運行於NVIDIA Jetson Orin Nano邊緣運算裝置上,顯示該方法在資源受限的硬體環境下仍具備可行性。相關程式碼與示範影片已發布於GitHub專案「duetto」。

開發者指出,目前所有用於調整採樣分佈的偏置數值(offsets)均為憑藉聽覺經驗手動微調而成,這種做法缺乏理論依據且效率較低。

Cataldi在社群討論中詢問是否有更系統化的方法可以取代手動調整,例如引入小型學習條件化頭(learned conditioning head),或在符號模型上應用類似引導式生成(guidance-style)的技術來自動優化伴奏表現。