圖書館基礎設施不堪負荷與服務中斷
大學圖書館表示,整個館藏經常因持續不斷且難以控制的機器人流量而離線,這些機器人試圖存取包含學術、歷史和政府文件的檔案。聖荷西州立大學編目與政府文件負責人 Jill Strykowski 指出,這些機器人只是在網路上轟炸他們,試圖抓取盡可能多的材料。
維多利亞大學圖書館館藏與數位基礎設施總監 Dean Seeman 表示,有時機器人流量會嚴重到導致網站完全當機一段時間,這對於公眾存取造成了「真正的問題」。研究發現,這類報告自 2024 年底開始在北美、歐洲和大洋洲出現,且專家告訴 CBC News 情況持續惡化。
北卡羅來納大學教堂山分校去年報告稱,在同一天內收到了來自數千個不同網路位址的超過 11,000 次芬蘭音樂搜尋請求。該大學表示,由於機器人流量,其圖書館目錄定期將學生、教職員排除在外。
好機器人与壞機器人的區別與技術挑戰
Project Gutenberg 執行總監 Eric Hellman 將這些機器人描述為編程不良的「怪物」,並稱它們正在「摧毀網路上的開放存取」。他解釋說,問題在於好機器人和壞機器人的區別:Google 等搜尋引擎和 Internet Archive 等存檔網站使用的機器人會遵循 robots.txt(網站上關於可以或不可以做什麼的自願指令集),以免在收集資訊時干擾網站運作。
相比之下,AI 抓取機器人有時會忽略這些規則並使網站不堪重負,在某些情況下每秒請求數千份文件,並下載所有可用格式。Hellman 指出,由於一個公司或機器人農場可以從數千個 IP 位址運作,舊有的封鎖問題 IP 的方法已不再有用。
Project Gutenberg 樂見其材料被用作 AI 訓練數據,甚至提供整個圖書館書籍的一鍵下載,但 Hellman 抱怨說:「這些機器人太笨了,無法使用它。」他表示,雖然他們的材料幾乎全是公有領域內容,正是應該用於訓練的材料,但他希望他們能以一種不導致網站當機的方式進行。
應對措施的限制與對公共存取的影響
一些圖書館已設置 CAPTCHA 挑戰或其他驗證系統來篩除機器人,但紐約大學法學院和華威大學合作學術倡議 GLAM-E 的聯合總監 Michael Weinberg 指出,這些措施也可能誤傷好的機器人。此外,一些圖書館開始要求登入憑證,這是一個爭議性的舉措,受訪者表示他們希望避免這樣做,因為這會為人類存取他們認為應該容易取得的內容設置障礙。
安大略理工大學可信賴人工intelligence加拿大研究主席 Peter Lewis 指出,普通人在使用圖書館網站時,實際上是在與來自機器人農場的無限流量競爭。他批評這是大型私營公司以非常剝削的方式利用公共利益機構,假設這些資源是免費可用的,然後用它來生產高度商業化的模型並賣回给人们。
Weinberg 表示,寶貴資訊的數位化對人類來說是一個「極佳」的發展,讓研究人員、教師和好奇的市民能夠輕鬆獲得資源。然而,目前的機器人造成了圖書館和其他機構將部分館藏線上化的「誘因減少」。他強調,圖書館、博物館和其他文化機構投入大量工作使其館藏可存取,這對社會是一個巨大的好處。
AI 公司的立場與潛在解決方案
主要 AI 公司辯稱,抓取公開可用的數據來訓練模型在公平使用原則下是允許的,且符合公眾利益。然而,面對廣泛的批評和版權訴訟,Anthropic、OpenAI、Google 和 Microsoft 上周表示支持遵守網站 robots.txt 檔案中的單一標準化退出信號(opt-out signal),該信號可以阻止它們的網路爬蟲收集數據。
不過,Weinberg 指出,遵守將是自願的,且該協議排除了來自第三方公司和小型 AI 新創企業的問題機器人。隨著抓取機器人變得更加先進,專家表示它們也可能學會繞過這些策略。GLAM-E 等組織正試圖尋找長期解決方案,以保護人類和有用機器人的存取權限。




