非生成式架構與運作原理
Drex Max v1 的核心差異在於它不進行文字生成,因此沒有 token 輸出或需要解析的 JSON 結構。使用者輸入包含文本、JSON 或高解析度圖像的上下文狀態,以及一個或多個具名問題後,模型透過單次前向傳播(single forward pass)運作。
最後隱藏層直接映射到最多 255 個選項的機率分佈,由讀出頭(readout head)返回結果。這種設計消除了傳統語言模型的解碼迴路,旨在提供確定性的輸出,適用於低延遲路由、代理工具選擇及多模態 UI 自動化任務。
混合注意力架構與上下文處理
該模型採用 64 層混合骨幹網路,結合了 48 層 Gated DeltaNet 線性注意力層(因果、從左至右)與 16 層全注意力層。全注意力層每隔四層插入一次,且為雙向設計,允許每個 token 檢視整個上下文。
預設上下文長度為 16,384 tokens,但可透過設定環境變數 DREX_MAX_CONTEXT=N 或參數 --max-length N 擴展至 262,144 tokens。在視覺處理方面,單張圖像最高支援 4,194,304 像素,且每個批次中的問題共享同一份編碼後的圖像特徵。
硬體需求與本地端推理效能
在 Apple Silicon (Metal) 環境下,Q8_0 GGUF 格式的大小約為 27.25 GB。測試顯示,在配備 48 GB 統一記憶體的 M5 Pro 晶片上,單次決策延遲約為 400ms,且機率結果與 H100 GPU 上未量化的 bf16 版本差異小於 0.02。
在 NVIDIA CUDA 環境中,bf16 精度需要約 48.6 GiB VRAM(測試於 H100 80GB),而使用 --8bit 參數時則降至約 25.9 GiB VRAM(測試於 L40S 48GB),結果與 bf16 差異小於 0.03。模型可透過 Python SDK、llama.cpp 分支或 Ollama 分支進行本地端推理。
基準測試表現
在結構化決策任務的公開指標上,Drex Max v1 (27B) 得分為 67.52,優於 Nace.AI 先前發布的更大參數模型 Drex v2.0 (35B) 的 61.25。具體項目包括原始工具檢索 (Raw Tools Retrieval) 81.9、語言知識與推理 72.2 等。
在特定基準測試中,Decision Bench v4 得分為 94.30% (1,010/1,071),JevBench 得分為 92.2% (213/231)。公開視覺指標總分為 73.92,其中 InfographicVQA 得分 97.3,KIE (CORD+FUNSD) 得分 92.4。
使用方式與授權
開發者可透過 Python SDK 載入模型並呼叫 predict 方法,輸出結果包含選擇的選項、信心分數及各選項機率。例如在工單分類範例中,模型直接輸出 'billing' 選項及 0.9982 的信心分數。
llama.cpp 分支提供基於 Metal 的文字骨幹服務,需透過 /v1/systemone 端點存取;Ollama 分支則透過 Dockerfile 定義能力為 decision。模型權重與讀出頭檔案發布於 Hugging Face,授權條款為 Nace.AI Open RAIL-M。




