SGLang v0.5.23 發布:新增多模型支援與 TPU 原生整合,提升 DeepSeek-V4.1 推理效能
開源推理框架 SGLang 推出 v0.5.23 版本,透過合併來自 257 位貢獻者的 1007 個 Pull Request,大幅擴展對 Muse Spark、MiniMax-M3.1 等新模型的支援。此次更新重點在於優化 DeepSeek-V4.1 在 NVIDIA GB300 與 AMD MI350X 上的推理速度,並首次透過 SGLang-TorchTPU 插件原生支援 Google TPU7x 硬體。





























