智慧模型路由是一種透過動態分析使用者請求內容,在模型備選集中自動匹配最適合的模型進行處理,協助企業在複雜場景中實現 AI 資源的最佳配置。
概述
智慧模型路由的 model-code 固定為 auto-model 前綴,後接 8 位隨機字元(如 auto-model-abcd1234)。客戶端透過該 model-code 發起請求 → 路由服務動態分析請求內容並從備選集中自動匹配最適合的模型 → 實際模型推理 → 回應返回(x-dashscope-resolved-model 標註實際模型,保留真實 token 用量)。
適用範圍:
| 維度 | 說明 |
|---|---|
| 地域 | 北京(cn-beijing)+ 新加坡(ap-southeast-1) |
| 模型類型 | 僅文字輸入 |
| 呼叫協定 | 僅支援 OpenAI 相容介面(Chat Completions),不支援 DashScope 協定與 Anthropic 協定 |
| 計費 | 按量計費 |
| 限流 | 依實際路由模型在帳號與業務空間進行限流 |
- 最大化模型效果:針對不同任務自動匹配最佳模型,尤其適合對效果有極致需求的使用者。
- 精準降低成本:簡單任務自動路由至輕量模型,複雜任務匹配高階模型,避免「大材小用」的資源浪費,實現成本與需求的精準適配。
- 化解模型選擇難題:無需使用者手動進行複雜的模型评测與對比,平台全程自動篩選最佳解,大幅降低模型選型門檻。
- 極簡使用體驗:與常規模型接入流程完全一致,透過 model-code 即可呼叫,無需額外修改程式碼。
建立模型路由
在百煉控制台「模型推理 > 专属部署」下,點擊「部署新模型」進入建立頁,在「部署模式」中選擇「智能模型路由」建立。
前提條件
- 已開通百煉工作空間。
- 目標路由模型版本已發佈,且目前帳號已開通該版本及備選模型的呼叫權限。
操作步驟
- 填寫服務名稱(必填,最長 50 個字元)。
- 在部署模式中選擇「智能模型路由」。
- 在路由模型版本下拉式選單中選擇一個已發佈版本(由平台維護)。
- 在路由策略中選擇「效果優先」或「成本優先」。
- 在模型备选集中勾選備選模型(至少 2 個)。
- 點擊确认部署完成建立。
model-code(格式如 auto-model-XXXXXXXX),客戶端以該 model-code 發起呼叫。model-code 刪除後不會重複使用。
路由策略
路由策略決定每條請求由備選模型集內哪個模型執行。兩種策略均按請求內容動態匹配(非固定路由),於建立時選定。
策略 | 選模機制 | 適用場景 |
|---|---|---|
效果優先(EFFECT_FIRST) | 每條請求選擇備選集內效果最強的模型 | 關鍵業務、複雜推理、高品質內容生成等品質要求嚴苛的場景 |
成本優先(COST_FIRST) | 在滿足效果下限前提下智慧調度輕量級模型 | 成本敏感、高併發、對延遲與單位成本更關注的場景 |
備選模型設定
備選模型集是路由服務選模時可挑選的範圍。建立模型路由時,請在「模型备选集」區域從備選清單中勾選參與路由的模型,至少選擇 2 個備選模型,否則無法部署。
- model-router-2026-0908
備選模型 | 上下文 | 輸入價 | 輸出價 | 快取命中輸入價 |
|---|---|---|---|---|
| 1M | 12 | 36 | 1.5 |
| 1M | 0.8 | 2.7 | 0.1 |
| 1M | 2 | 8 | 0.4 |
| 1M | 0.2 | 0.8 | 0.04 |
| 1M | 12 | 36 | 2.4 |
| 1M | 9 | 27 | 0.9 |
| 1M | 3 | 9 | 0.3 |
| 1M | 20 | 100 | 2 |
| 1M | 8 | 28 | 2 |
呼叫模型路由
模型路由建立後,呼叫方式與普通模型一致——仅需將請求中的 model 參數替換為模型路由的 model-code(如 auto-model-abcd1234),客戶端即可零程式碼改動接入。
呼叫範例:
x-dashscope-resolved-model 的值為實際呼叫模型的識別碼,可用於驗證路由是否生效;回應主體保留實際執行模型名稱與真實 token 用量,計費按實際路由到的模型計算。
計費:智慧路由模式按每個請求路由到的實際模型計費,路由模型本身不收費。
故障自動切換
模型路由內建故障自動切換,預設啟用、無需設定。當目標模型不可用時,路由服務會使用備選集內其他模型重新發起整個請求,不會在推理中途切換。
以下情況不會觸發故障自動切換,錯誤會直接透出實際模型的原始資訊:
- 429(限流)
- 400/403/404/500 等確定性錯誤(更換模型極可能同樣失敗)
- 逾時或網路異常
- 串流已開始回傳內容後發生錯誤
即時篩選規則
路由服務對備選集進行即時篩選:
- 篩選目前帳號無呼叫權限的模型。
- 篩選已下線的模型。
- 篩選與目前請求參數不相容的模型(如請求攜帶
response_format,則僅路由到支援該參數的備選模型)。
使用限制
| 限制項目 | 說明 |
|---|---|
| 呼叫協定 | 僅 OpenAI 相容介面 |
參數說明
response_format:僅路由到支援該參數的備選模型。enable_search:僅路由到支援該參數的備選模型。reasoning_effort:預設僅路由到支援該參數的備選模型,該參數僅支援none、minimal、low、medium、high、xhigh、max列舉值;非 minimum 檔僅路由到非思考模型。enable_thinking:僅路由到支援思考模式的備選模型。
| 參數 | 說明 |
|---|---|
top_logprobs | 限制返回 logprobs 數量 |
logit_bias | token 偏置 |
stop | 停止序列 |
tool_choice | 工具選擇 |
parallel_tool_calls | 平行工具呼叫 |
logprobs | 是否返回 logprobs |
top_p | 核心採樣 |
temperature | 採樣溫度 |
presence_penalty | 存在懲罰 |
n | 生成數量 |
thinking_budget | 思考預算長度 |
快取
智慧路由功能暫不支援顯式快取,僅支援實際呼叫模型提供的隱式快取。 僅當請求被路由至同一模型,且提示詞前綴滿足該模型的快取條件時,才可能命中快取。 由於不同請求可能被路由至不同模型,智慧路由不保證快取命中率。 有關快取的工作原理及其支援模型的詳細資訊,請參閱上下文快取。
管理路由服務
檢視詳情
部署成功後,在专属部署列表點擊服務名稱進入詳情頁,可查看:
- 基本資訊:服務名稱、
model-code、運作狀態、路由策略標籤。 - 路由設定:路由版本、路由策略、備選集與備選模型清單。
- 計費方式:按量計費,按實際使用模型單價計費。
- 部署設定:各備選模型的 TPM/RPM 限流配額。
修改路由設定
在詳情頁的「路由配置」區域點擊「编辑」,可修改路由模型版本、路由策略與備選模型。切換路由版本時備選模型集將隨之變更,修改後幾分鐘內生效,且不影響線上請求。
選定具體版本後,線上業務的路由行為將保持長期穩定;升級版本前請務必進行全面評估,避免對業務造成影響。目前版本為 model-router-2026-0908。路由版本預設不會自動更新。
刪除服務
在專屬部署列表中刪除模型路由服務。model-code 刪除後不會重複使用,需重新建立。
智慧路由效果
本章介紹智慧路由的運作效果指標與監控方式。效果指標可在詳情頁的「智能路由效果」索引標籤查看,呼叫監控則在模型监控頁面查看。
路由效果指標
在詳情頁的「智能路由效果」索引標籤查看以下指標。頁面顯示的指標為預估值,僅供參考,不能用於出帳,實際帳單以「费用用量」為準:
指標 | 含義 | 異常處理 |
|---|---|---|
路由請求總量 | 路由服務接收的請求總數(含故障自動切換成功) | 突增排查上游限流/異常 |
路由成功率 | 成功轉發請求 ÷ 總請求 × 100% | 下降則排查備選模型可用性 |
實際模型成本(預估) | 按實際模型目錄價估算的全量成本(階梯計費取最低檔,峰谷定價取峰值,不含免費額度,與實際帳單有偏差) | 上升則檢查路由策略與備選集 |
基準模型成本(預估) | 假設全部由基準模型處理的對照成本(同口徑估算) | — |
節省金額 | 基準成本 − 實際成本(正值表示路由節省) | — |
計費請求數 | 產生費用的成功請求數 | — |
花費佔比 | 單模型成本 ÷ 總成本 | 異常則檢查備選集分佈 |
成本說明
成本分析資料約有 1 小時延遲,並非即時統計。 上述成本均按目錄價估算全量成本,不含帳號折扣優惠與免费额度,僅供衡量智慧路由節省效果參考。 階梯計費模型取最低檔目錄價,峰谷定價模型取峰值價格。 實際帳單金額可在「费用用量」中查看。
模型监控
如需查看更細粒度的呼叫監控,可前往模型监控頁面。 該頁面展示 auto-model 維度的模型监控和日誌,不展示實際路由到的各模型的獨立監控。