混合雲端與本地模型的協作架構

該 Reddit 使用者描述了一種雙層代理架構:GPT-6.1 Sol 擔任協調者(Orchestrator),負責規劃任務;而本地端部署的 GLM-5.3-Flash 則作為子代理(Subagents),執行程式碼探索、撰寫與實作。

該配置將 GPT-6.1 Sol 作為協調者,GLM 作為子代理。使用者表示,經過兩週測試,此配置運作效果超出預期,且其初衷是希望能以此降低訂閱與 API 成本。

選擇 OpenCode 的原因與工具限制

使用者提到,原本傾向使用 Claude Code 或 Codex,但發現這些工具不允許在單一會話或其子代理中使用來自不同供應商的模型。

OpenCode 被選用的關鍵在於其靈活性,允許每個代理獨立設定供應商與模型。這使得 GLM 能作為子代理運行,同時保留 ChatGPT 訂閱的使用權限以調用 GPT-6.1 Sol。

GLM-5.3-Flash 的本地端部署規格

GLM-5.3-Flash 採用混合專家(MoE)架構,總參數規模為 320B,但每次推理僅激活 18B 參數。該模型被部署在一台配備四張 NVIDIA H200 GPU 的本地伺服器上。

該模型被部署在一台配備四張 NVIDIA H200 GPU 的本地伺服器上,並設定了 512K 的上下文視窗(Context Window)。使用者指出,雖然無法完全取代所有編碼任務,但在搭配雲端模型協調下,GLM 能承擔大部分實際的程式碼生成工作。

通用性與社群互動

作者強調此架構並非僅適用於 GLM,任何可在本地端服務化的模型皆可作為執行主力(Workhorse)。他已撰寫一篇部落格文章詳細說明設定步驟,連結至 aayushgarg.dev 網站。

該貼文旨在徵求其他開發者分享如何單獨使用開源模型,或將其與 Opus、Sol、Astra 等雲端模型配對使用的經驗,以探討降低 API 成本與訂閱費用的多種方案。