一位同時擔任 AAAI 2027 與 ICLR 2027 會議審稿人的 Reddit 用戶指出,隨著第一階段和第二階段審查完成並能查看其他審稿意見後,他發現其所審閱的論文中,約有一半的審稿意見完全由 AI 生成或在 AI 生成後經過編輯。該用戶自 2022 年起已為 NeurIPS、ICML、AAAI 和 ICLR 等頂級會議進行約 10 次審稿工作,表示從未像近期這樣對審稿意見或論文本身產生同樣的感受。

在作者端方面,該用戶指出在其經手的 3 篇 ICLR 投稿中,僅有一篇感覺完全由人類撰寫。其他論文雖無法確切證明,但帶有疑似 AI 生成的特徵,例如過度使用色彩鮮豔、行銷風格的描述性標題(如「理論預測了性能,且實證評估證實了這一點」),或是句子冗長密集導致邏輯斷裂,以及重複使用同義詞替換既有術語。

在審稿端方面,該用戶觀察到審稿意見之間及單一审稿內部缺乏語言多樣性。具體跡象包括:段落長度幾乎完全一致,彷彿被要求生成固定數量的優點、缺點和問題;出現人類罕見的過度努力跡象,例如不僅提供 DOI 連結還額外標註「(doi.org)」,或是在 weaknesses 欄位中將本應屬於新設定的「specific points for rebuttal」欄位內容錯置並填上 N/A。此外,審稿意見呈現出面向公眾消費的寫作風格,而非通常為了讓作者理解而採用的溝通方式。其他疑似 AI 的特徵包括智慧引號(smart quotes)頻繁出現、使用 Unicode 符號取代 LaTeX 格式(如 \tilde{d})、以及非連字號的破折號甚至用於減號。

該用戶提到至少有兩篇 AAAI 投稿僅有兩份審稿意見,且他強烈懷疑另一份為 AI 撰寫。對於如何解決此問題,該用戶表示目前沒有具體想法,但提出一個可能的建議:完全禁止使用 AI,包括用於潤飾風格和語氣。他認為雖然作者可能覺得這只是語氣和風格的改變,但讀者往往能迅速察覺。他指出在強大 LLM 出現之前,論文評審並非基於語言品質進行判斷,並認為即使這是基於榮譽制度(honor system),完全禁止 AI 使用仍是可接受的,因為允許「用 AI 潤飾」可能會創造出必須使用 AI 潤飾的預期心理。

尚待確認:作者明確指出其對審稿意見是否為 AI 生成的判斷為主觀意見,無法提供確切證明。

尚待確認:關於「約一半」審稿意見為 AI 生成或編輯的估計,僅基於該用戶個人審閱經驗的主觀推斷。