樣板污染導致模型輸出結構異常

開發者指出，網路爬蟲資料中最隱蔽的問題是樣板污染（Boilerplate contamination）。網頁中的導航選單、Cookie 同意橫幅以及頁尾文字容易混入訓練範例中。

當這些非內容性的結構化文字進入訓練集後，模型開始生成結構怪異的輸出，外觀看起來像是只渲染了一半的 HTML 程式碼。

透過 DOM 提取與輪替代理改善原始資料品質

為了解決樣板污染問題，該開發者放棄單純抓取原始文字的做法，轉而採用針對 DOM（文件物件模型）的提取策略。這種方法能更精確地過濾掉非內容元素。

此外，切換至輪替住宅代理層（rotating residential proxy layer）也帶來明顯改善。透過每個請求輪替 IP 位址，目標網站會提供與真實瀏覽器工作階段相同的渲染後 DOM，而非經過機器人過濾後的簡化骨架。這使得在進入解析器之前，原始 HTML 的乾淨程度就有顯著提升。

去重順序影響模型複製傾向

開發者發現，去重流程的執行順序比預期更為關鍵。先執行精確去重（exact dedup）再執行模糊去重（fuzzy dedup），與相反順序相比，會產生意義上不同的訓練集。

這種差異直接反映在模型的行為上：模型複製特定措辭的傾向會隨著去重順序的不同而發生明顯變化。

跨語言近重複偵測仍為未解難題

儘管單語環境下的 MinHash 演算法在近重複偵測上運作良好，但開發者表示跨語言的近重複偵測仍未完全解決。在多語去重過程中，不斷出現令人不滿意的邊緣案例（edge cases）。

作者在貼文中提出疑問，詢問是否有其他人遇到同樣問題，以及是否有人有原則性的方法來判斷爬蟲資料品質已達到「足夠好」的程度，從而停止清理並開始訓練？