透過調整機率分布與分詞策略打破命名慣性
大型語言模型在生成虛構角色或地點名稱時,往往傾向於重複使用特定的幾個名字,例如 Elara 或 Elias。過去常見的做法是透過提示詞要求模型避免這些名字,或是直接封鎖特定詞元(token banning),但這些方法並未觸及模型底層過度偏好少數名字的機率分布問題。
開發者 zoracapri 推出的 Monadize 模型採取了不同的技術路徑。該模型在引入新名稱時採用單字元分詞(single-character tokenization),並透過微調過程移轉下一個詞元的機率分布。這種做法旨在從根本上分散模型對特定起始字母或音節的過度集中,而非僅在輸出層進行過濾。
測試數據顯示名稱多樣性顯著提升
為了驗證效果,開發者比較了基礎 Gemma 模型與 Monadize 在相同提示詞「Create a character. Respond only with the name.」下的下一個詞元分布圖表。結果顯示,相較於基礎模型,Monadize 的首字母分布範圍顯著擴大,這直接轉化為生成名稱的多樣性提升。
在溫度參數設為 1 的條件下,開發者分別生成了 30 個角色名稱與 30 個城市名稱。基礎 Gemma 模型產生了大量重複結果,例如「Elias Thorne」出現了 10 次,「Silas Thorne」出現 9 次,城市名稱中「Aethelgard」也重複了 15 次。
相對地,Monadize 在同樣的測試條件下產出了 60 個完全獨立的名稱,涵蓋角色與城市兩類。生成的名字包括 Akira Thompson、Delany Sullivan、Yarnstad、Julerapoint 等,且每個名稱僅出現一次。這表明模型成功避免了陷入少數幾個高機率名稱的循環。
微調對敘事風格產生的非預期影響
雖然 Monadize 的微調目標僅專注於命名多樣性,但開發者觀察到模型在故事生成風格上也出現了明顯差異。在溫度設為 1、隨機種子(seed)固定為 1553407422 且提示詞為「Write a short story.」的條件下,兩個模型的輸出內容呈現截然不同的氛圍與結構。
基礎 Gemma 模型生成的故事以「Elias Thorne」為主角,描寫了一家販售時間幻覺的鐘錶店,風格偏向傳統奇幻與機械意象,並出現了典型的重複名字模式。相比之下,Monadize 生成的故事主角名為 Alani,背景設定在一個風會說話的小鎮 Juniper Delve,敘事風格轉向更具抽象感與感官描寫的奇幻設定,且未出現基礎模型常見的名字重複現象。
開發者展示了兩個模型在相同提示詞下的不同輸出風格。
模型發布資訊與使用限制
Monadize 目前作為實驗性模型發布於 Hugging Face 平台(zoracapri/gemma-4-31B-Monadize-v0.1)。開發者明確指出,該模型是在關閉思考模式(thinking disabled)的狀態下進行微調的,因此建議使用者在推理階段也保持思考模式關閉,以確保行為一致性。
由於這是實驗性版本,模型可能會出現未預期的行為。




