Qwen3.8 Flash Next 模型跨五台裝置串聯運行，60k 上下文生成速度達 37-39 tok/s
開發者將 Qwen3.8 Flash Next 混合專家模型拆分至兩台遊戲電腦、一台 M4 Pro MacBook 及兩支 iPhone 17 Pro Max 上協同運行。透過乙太網路與 USB-C 連接，該系統在 60k 上下文長度下達到每秒 37-39 個 token 的生成速度，並利用推測解碼技術提升整體吞吐量。
最新 AI 新聞
第 15 / 73 頁，依本站收錄時間整理（台灣時間），不代表原文發布時間。
OpenAI Python SDK 推出 v3.34.0 版本，新增即時翻譯 WebSocket 功能
OpenAI 於 2026 年 10 月 17 日發布 openai-python SDK 的 v3.34.0 版本。此次更新主要新增了即時翻譯 WebSocket 會話支援，並加入了外部儲存降級狀態的 API 欄位。
Sphinx推出Git Hook工具，在程式碼合併前透過提問確認開發者理解程度
開源工具 Sphinx 作為 Git hook 介入代理輔助開發流程，在程式碼推送至受保護分支前，要求開發者回答關於該變更邏輯的問題。此機制旨在確保開發者在依賴 AI 生成程式碼時，仍能掌握其運作原理與邊界條件，而非僅進行無腦合併。
TempoPFN 以合成資料預訓練線性 RNN，實現零樣本時間序列預測
研究團隊發表 TempoPFN，透過一套合成時間序列生成器與增強技術，預訓練線性循環神經網路（Linear RNN），使其具備零樣本時間序列預測能力。該方法已被 NeurIPS 2026 接收，且相關合成資料技術此前已應用於 Toto-2 與 TS-ICL 等模型。
研究提出「先驗證再重用」機制，避免編碼代理將錯誤經驗存入程序記憶
一項小型案例研究測試了如何防止編碼代理從受污染的學習會話中記住錯誤的程式修改。實驗結果顯示，若要求後續會話必須重現該修改並通過測試才允許使用該技能，可有效阻擋錯誤資訊進入代理的程序記憶。
GPT-2 KV Cache 從零實作：驗證正確性並量測延遲與記憶體
開發者以 PyTorch 從頭實作 GPT-2 small 的 KV Cache，並在 NVIDIA A40 上進行基準測試。結果顯示在特定條件下，使用 KV Cache 可將單詞生成時間從約 30 毫秒降至 5 毫秒，但整體加速比受系統開銷影響而低於理論計算值。
17款AI模型對戰7700局德州撲克：決策模型棄牌AA，廉價推理LLM表現媲美頂級模型
一項測試讓17種不同類型的AI模型進行7,700局德州撲克對戰，結果顯示傳統決策模型在持有口袋A時選擇棄牌，反而輸給僅30行程式碼的簡單腳本。同時，每千局成本低於一美元的廉價推理LLM，其表現與Opus及Sol等頂級模型相當。
AuroraASR-1M發布：94萬參數語音辨識模型，CPU單執行緒達436倍即時速度
開發者推出僅有94.9萬參數的極輕量語音辨識模型AuroraASR-1M，採用權重共享Conformer-CTC架構。該模型在單一CPU執行緒上可達到約436倍的即時處理速度，且以Apache 2.0授權釋出。
使用者分享以單張 16GB 顯卡與 24GB 記憶體執行 Qwen 3.8 27B 模型
Reddit 用戶 Maglcite 展示其本地 LLM 建置，僅使用一張 AMD Radeon RX 9060 XT（16GB VRAM）與總計 24GB DDR5 系統記憶體。該配置成功執行 Qwen 3.8 27B 模型，並透過特定 llama.cpp 分支實現 262k 上下文長度下的推理運作。
llama.cpp 提案新增 IQ2_K 至 IQ6_K 量化格式，檔案大小與 Q-quants 相同但 KLD 改善
llama.cpp 專案出現一個 Pull Request，建議引入 IQ2_K、IQ3_K、IQ4_K、IQ5_K 和 IQ6_K 五種新的量化類型。根據提案內容，這些新格式的檔案大小與現有的 Q-quants 相同，且在 KL 散度（KLD）指標上有顯著改善，但模型執行效能會略微下降。
社群推出 DeepSeek v4.1 Flash 1017 的 ds4 量化版本，支援視覺功能並可在 M5 Max 達 20 TPS
開發者 returnity 發布了基於 DeepSeek v4.1 Flash 1017 檢查點的 ds4 量化模型，透過合併 PR 修復了先前無法載入的視覺編碼器。該版本採用與原版相同的 2-bit 路由專家混合精度策略，在 M5 Max 硬體上解碼速度可達每秒 20 tokens。
Xolotl (Strata based)：單張 RTX 4090 運行 DeepSeek-V4.1-Flash (552B) 達 ~27 tok/s，即將推出 Uncensored 1017 量化版
開發者 Indras Mirror 發布了基於 Strata 架構的推理引擎 Xolotl，該引擎能在單張 RTX 4090 (24GB VRAM) 上運行擁有 552B 參數的 DeepSeek-V4.1-Flash 模型。測試環境使用 Ryzen 7 5700X CPU、90GB DDR4 RAM 及 NVMe 儲存裝置，透過將權重分散至 VRAM…
用戶透過 llama.cpp RPC 在四台 DGX Spark 上載入 Ling 3.1 Flash (560B MoE)
Reddit 用戶 sudoing 分享了他成功將 Ling 3.1 Flash 模型載入於四台 NVIDIA DGX Spark 裝置上的經驗。該模型為一個擁有 5600 億參數的混合專家（MoE）架構，每個 token 僅激活約 250 億參數。sudoing 表示他先前對 Ling 系列的早期版本體驗良好，因此希望測試最新的 3.1 Flash …
DeepSeek 發布 V4.1-Flash-1017 更新，主打降低推理成本與執行時間
DeepSeek 推出 DeepSeek-V4.1-Flash-1017 模型，這是前版本的次要更新，旨在提升推理、編碼及代理任務的表現。該版本透過縮短輸出長度和任務執行時間，試圖在多個代理測試框架中推進性能與成本的平衡點。
Anthropic 研究團隊利用 Claude 還原 NIST 橢圓曲線種子參數來源
Anthropic 的 Frontier Red Team 利用 Claude 模型成功還原了 NIST P-192、P-224、P-256、P-384 及 P-521 等橢圓曲線加密標準中長期未解的種子參數來源。這些曾被懷疑含有後門的參數，實際上是使用 1990 年代 C 語言函式庫中的 lrand48 偽隨機數生成器，並以 Unix 時間戳記作為種子所產生。
FLUX 3 Image Klein 發布：5.6B 參數開放權重模型，主打低延遲與本地端執行
Black Forest Labs 推出 FLUX 3 Image Klein，這是一個擁有 5.6B 參數的開放權重模型，支援文字生成圖片、圖片編輯及多參考圖生成。該模型經過優化以適應消費級 GPU，在 RTX 4070 上可在 9 秒內生成 1MP 影像，並提供 FP8、INT8 等多種量化版本以降低硬體門檻。
研究團隊推出ORL技術，讓擴散語言模型在單張RTX 5090上達到每秒2788個token生成速度
研究團隊發表名為ORL（On-Policy Residual Learning）的新技術，透過優化推論引擎dlmrt，使擴散語言模型在單張NVIDIA RTX 5090顯卡上達到每秒2,788個token的生成速度。該技術旨在解決擴散語言模型收斂速度慢的問題，並已將相關模型、訓練程式碼及推論引擎完全開源。
從記憶體角度重新發明 Transformer：解析線性層、MLP 與自注意力的儲存容量
Alex Wang 發表了一篇技術文章，提出透過「記憶體儲存」的直觀視角來理解 Transformer 架構中的線性映射、多層感知器（MLP）及自注意力機制。文章的核心論點在於，評估記憶體儲存品質的關鍵指標是「干擾與訊號比率」（interference-to-signal ratio），即當嘗試召回特定記憶時，其他記憶造成的干擾程度。一個儲存系統在干擾…
PS5LM 讓越獄 PS5 成為本地語言模型伺服器，支援 OpenAI 與 Anthropic API
開發者推出 PS5LM 應用程式，讓已越獄的 PlayStation 5 能透過 GPU 執行 GGUF 格式的大型語言模型。該工具提供 OpenAI 與 Anthropic 相容的 API 介面，允許網路上的其他裝置直接連接主機進行推理運算。
亞馬遜內部文件顯示使用 AI 工具 Atlas 預測英國倉庫工會風險
流傳的法庭文件指出，亞馬遜開發名為 Atlas 的人工智慧預測工具，透過分析社群媒體與內部調查數據，為美國、加拿大及英國的倉庫計算「工會活動風險分數」。雖然亞馬遜發言人否認該系統目前用於英國且強調僅針對場站層級而非個人監控，但文件顯示英國考文垂與薩頓科爾菲爾德兩處倉庫被列為最高風險等級。
NVIDIA 發布 Dory1.0-4B：採用循環架構的 40 億參數語言模型
NVIDIA 於 2026 年 10 月 16 日在 Hugging Face 發布 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 模型。這款 40 億參數的語言模型採用循環（latent-recurrent）架構，透過重複應用共享層區塊來增加每個詞元的計算量，以支援最高 256K 詞元上下文長度並提升推理能力。
開發者移植自適應 KV 串流技術至 AMD ROCm，讓 RX 9070 XT 在 16GB VRAM 下執行 Qwen 27B 長上下文推理
一名開發者將原本僅支援 NVIDIA CUDA 的自適應 KV 串流技術移植到 AMD ROCm/HIP 平台，成功讓單張 16GB VRAM 的 RX 9070 XT 執行 Qwen3.8-27B 模型。透過將大部分 KV 快取存放在系統記憶體並異步傳輸至 GPU，該方案在啟用多詞元預測（MTP）的情況下，於短上下文達到每秒 80 個詞元以上的解碼速度，但在 262k 完整上下文時速度降至約 31 t/s。
llama.cpp 加入 Aleph Alpha Kolibri-1 支援，78B MoE 模型主打德英雙語與長上下文
開源推理引擎 llama.cpp 合併了對 Aleph Alpha 最新混合專家（MoE）模型 Kolibri-1 的支援。該模型總參數達 780 億，但每 token 僅啟用約 34.6 億參數，專為德語與英語的多步驟推理及長上下文任務設計。
多州控告 OpenAI：指稱 ChatGPT 傷害兒童並誤導成人，且催生「網路駭客代理」
多個美國州政府對 OpenAI 提起訴訟，指控其產品 ChatGPT 傷害兒童並誤導成人。訴狀同時指稱該公司賦予「網路駭客代理」（cyberhacking agents）生命。
巴西 Itau 銀行推出 ia.i 生成式 AI 助手與 IARA 治理平台，目標 2026 年底覆蓋全客戶群
巴西 Itau 銀行（Itaú）於 2026 年 10 月 16 日披露其生成式 AI 戰略進展，推出對話式介面 ia.i 及治理平台 IARA，將「AI First」策略應用於客戶與員工端。Itaú 於 2024 年開始引入「Inteligência Itaú」AI 能力，ia.i 為其後續推出的對話式介面，現已進入首階段測試，服務約 30 萬名客戶…
Anthropic 工程師分享 Claude Code 團隊如何將程式碼審查改為持續進行
Anthropic 的 Addy Osmani、Morgan Westlee Lunt 與 Qing Wang 撰文說明，Claude Code 團隊已改變程式碼審查流程，從最終關卡轉為開發過程中的持續檢查。他們認為「人類是否讀過程式碼」並非評估變更風險的精確指標，而是應關注哪種自動或人工檢查能正確捕捉潛在問題。
EpochGo推出本地優先AutoML引擎，結合離線LLM與Scikit-Learn確定性執行
開發者發布開源工具EpochGo，旨在解決雲端API推理成本與數據隱私風險。該系統利用本地運行的Ollama模型進行策略規劃，並透過Scikit-Learn執行確定性的機器學習流程，全程無需連接網路。
開發者打造 Rust 深度學習框架 DenseCore，聲稱在特定硬體上與 PyTorch 訓練結果逐位元一致
一名計算機科學學生開發了名為 DenseCore 的 Rust 語言深度學習框架，並提供類似 PyTorch 的 Python API。該開發者宣稱，在 Apple Silicon Mac 上執行未修改的 nanoGPT 模型時，其訓練過程中的權重、損失與梯度數值能與 PyTorch 達到逐位元完全一致。
社群發現 Qwen3.8-Flash-Next 使用 FP8 格式 PLE 檔案可提升生成品質且不影響速度
Reddit 使用者分享，將 Qwen3.8-Flash-Next 模型中存放於 SSD 的 n-gram table（PLE）從高度量化改為 FP8 格式後，能明顯減少錯誤且未降低執行速度。此做法需透過特定腳本打包官方發布的 FP8 權重檔案，並調整載入設定以啟用完整品質的 PLE。
Otaku 推出本地 LLM 創意寫作前端，支援長篇故事上下文管理與多介面操作
開發者推出名為 Otaku 的開源工具，專為本地大型語言模型（LLM）設計，主打維持長篇創作品質並壓縮上下文長度。該工具提供網頁與終端機兩種介面，自動偵測 llama.cpp、KoboldCpp 等本地引擎，並支援角色庫管理與網路搜尋功能。