Skip to main content

模型路由

智慧模型路由是一種透過動態分析使用者請求內容,在模型備選集中自動匹配最適合的模型進行處理,協助企業在複雜場景中實現 AI 資源的最佳配置。

概述

智慧模型路由的 model-code 固定為 auto-model 前綴,後接 8 位隨機字元(如 auto-model-abcd1234)。客戶端透過該 model-code 發起請求 → 路由服務動態分析請求內容並從備選集中自動匹配最適合的模型 → 實際模型推理 → 回應返回(x-dashscope-resolved-model 標註實際模型,保留真實 token 用量)。 適用範圍:
維度說明
地域北京(cn-beijing)+ 新加坡(ap-southeast-1)
模型類型僅文字輸入
呼叫協定僅支援 OpenAI 相容介面(Chat Completions),不支援 DashScope 協定與 Anthropic 協定
計費按量計費
限流依實際路由模型在帳號與業務空間進行限流
主要優勢:
  • 最大化模型效果:針對不同任務自動匹配最佳模型,尤其適合對效果有極致需求的使用者。
  • 精準降低成本:簡單任務自動路由至輕量模型,複雜任務匹配高階模型,避免「大材小用」的資源浪費,實現成本與需求的精準適配。
  • 化解模型選擇難題:無需使用者手動進行複雜的模型评测與對比,平台全程自動篩選最佳解,大幅降低模型選型門檻。
  • 極簡使用體驗:與常規模型接入流程完全一致,透過 model-code 即可呼叫,無需額外修改程式碼。

建立模型路由

在百煉控制台「模型推理 > 专属部署」下,點擊「部署新模型」進入建立頁,在「部署模式」中選擇「智能模型路由」建立。

前提條件

  • 已開通百煉工作空間。
  • 目標路由模型版本已發佈,且目前帳號已開通該版本及備選模型的呼叫權限。

操作步驟

  1. 填寫服務名稱(必填,最長 50 個字元)。
  2. 在部署模式中選擇「智能模型路由」。
  3. 在路由模型版本下拉式選單中選擇一個已發佈版本(由平台維護)。
  4. 在路由策略中選擇「效果優先」或「成本優先」。
  5. 在模型备选集中勾選備選模型(至少 2 個)。
  6. 點擊确认部署完成建立。
部署成功後系統會產生全域唯一的 model-code(格式如 auto-model-XXXXXXXX),客戶端以該 model-code 發起呼叫。model-code 刪除後不會重複使用。

路由策略

路由策略決定每條請求由備選模型集內哪個模型執行。兩種策略均按請求內容動態匹配(非固定路由),於建立時選定。

策略

選模機制

適用場景

效果優先(EFFECT_FIRST)

每條請求選擇備選集內效果最強的模型

關鍵業務、複雜推理、高品質內容生成等品質要求嚴苛的場景

成本優先(COST_FIRST)

在滿足效果下限前提下智慧調度輕量級模型

成本敏感、高併發、對延遲與單位成本更關注的場景

備選模型設定

備選模型集是路由服務選模時可挑選的範圍。建立模型路由時,請在「模型备选集」區域從備選清單中勾選參與路由的模型,至少選擇 2 個備選模型,否則無法部署。
RAM 使用者只能勾選其已獲模型呼叫權限的備選模型——若可勾選項不足 2 個,需先在該業務空間為該 RAM 使用者補充模型呼叫授權。
路由模型版本是智慧模型路由能力的標準化發佈形式,每個版本明確了對應階段下路由系統支援的模型範圍與核心能力。 備選模型清單由所選路由模型版本決定——每個版本對應一組備選集,不能跨版本組合。 目前已發佈的路由模型版本及備選模型如下:
  • model-router-2026-0908

備選模型

上下文

輸入價

輸出價

快取命中輸入價

qwen3.8-max

1M

12

36

1.5

qwen3.8-flash

1M

0.8

2.7

0.1

qwen3.7-plus

1M

2

8

0.4

qwen3.7-flash

1M

0.2

0.8

0.04

qwen3.7-max

1M

12

36

2.4

deepseek-v4-pro-0813

1M

9

27

0.9

deepseek-v4-flash-0731

1M

3

9

0.3

Kimi-K3

1M

20

100

2

glm-5.2

1M

8

28

2

價格單位:元/百萬 tokens。deepseek-v4 系列採用尖峰/離峰分時計費,上表為尖峰價格。所有備選模型皆支援思考模式,思考 token 按輸出價格計費。
選擇備選模型時需注意各備選模型的配額限制,避免因配額不足導致路由到備選模型時被限流。建議選擇配額充足的模型作為備選,或在建立前為帳號提升相應模型的 RPM/TPM 額度。

呼叫模型路由

模型路由建立後,呼叫方式與普通模型一致——仅需將請求中的 model 參數替換為模型路由的 model-code(如 auto-model-abcd1234),客戶端即可零程式碼改動接入。 呼叫範例:
curl
curl -X POST https://dashscope-intl.aliyuncs.com/compatible-mode/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto-model-abcd1234",
    "messages": [{"role": "user", "content": "你好"}]
  }'
回應:回應標頭 x-dashscope-resolved-model 的值為實際呼叫模型的識別碼,可用於驗證路由是否生效;回應主體保留實際執行模型名稱與真實 token 用量,計費按實際路由到的模型計算。 計費:智慧路由模式按每個請求路由到的實際模型計費,路由模型本身不收費。

故障自動切換

模型路由內建故障自動切換,預設啟用、無需設定。當目標模型不可用時,路由服務會使用備選集內其他模型重新發起整個請求,不會在推理中途切換。 以下情況不會觸發故障自動切換,錯誤會直接透出實際模型的原始資訊:
  • 429(限流)
  • 400/403/404/500 等確定性錯誤(更換模型極可能同樣失敗)
  • 逾時或網路異常
  • 串流已開始回傳內容後發生錯誤
故障自動切換不重複計費:模型 A → 故障自動切換 → 模型 B 成功,僅計算模型 B 費用。

即時篩選規則

路由服務對備選集進行即時篩選:
  • 篩選目前帳號無呼叫權限的模型。
  • 篩選已下線的模型。
  • 篩選與目前請求參數不相容的模型(如請求攜帶 response_format,則僅路由到支援該參數的備選模型)。
單條請求實際可選的子集隨權限、模型狀態與請求參數動態變化。

使用限制

限制項目說明
呼叫協定僅 OpenAI 相容介面

參數說明

  • response_format:僅路由到支援該參數的備選模型。
  • enable_search:僅路由到支援該參數的備選模型。
  • reasoning_effort:預設僅路由到支援該參數的備選模型,該參數僅支援 none、minimal、low、medium、high、xhigh、max 列舉值;非 minimum 檔僅路由到非思考模型。
  • enable_thinking:僅路由到支援思考模式的備選模型。
在智慧路由模式下,以下參數不支援使用,設定會導致執行報錯:
參數說明
top_logprobs限制返回 logprobs 數量
logit_biastoken 偏置
stop停止序列
tool_choice工具選擇
parallel_tool_calls平行工具呼叫
logprobs是否返回 logprobs
top_p核心採樣
temperature採樣溫度
presence_penalty存在懲罰
n生成數量
thinking_budget思考預算長度

快取

智慧路由功能暫不支援顯式快取,僅支援實際呼叫模型提供的隱式快取。 僅當請求被路由至同一模型,且提示詞前綴滿足該模型的快取條件時,才可能命中快取。 由於不同請求可能被路由至不同模型,智慧路由不保證快取命中率。 有關快取的工作原理及其支援模型的詳細資訊,請參閱上下文快取。

管理路由服務

檢視詳情

部署成功後,在专属部署列表點擊服務名稱進入詳情頁,可查看:
  • 基本資訊:服務名稱、model-code、運作狀態、路由策略標籤。
  • 路由設定:路由版本、路由策略、備選集與備選模型清單。
  • 計費方式:按量計費,按實際使用模型單價計費。
  • 部署設定:各備選模型的 TPM/RPM 限流配額。

修改路由設定

在詳情頁的「路由配置」區域點擊「编辑」,可修改路由模型版本、路由策略與備選模型。切換路由版本時備選模型集將隨之變更,修改後幾分鐘內生效,且不影響線上請求。 選定具體版本後,線上業務的路由行為將保持長期穩定;升級版本前請務必進行全面評估,避免對業務造成影響。目前版本為 model-router-2026-0908。路由版本預設不會自動更新。

刪除服務

在專屬部署列表中刪除模型路由服務。model-code 刪除後不會重複使用,需重新建立。

智慧路由效果

本章介紹智慧路由的運作效果指標與監控方式。效果指標可在詳情頁的「智能路由效果」索引標籤查看,呼叫監控則在模型监控頁面查看。

路由效果指標

在詳情頁的「智能路由效果」索引標籤查看以下指標。頁面顯示的指標為預估值,僅供參考,不能用於出帳,實際帳單以「费用用量」為準:

指標

含義

異常處理

路由請求總量

路由服務接收的請求總數(含故障自動切換成功)

突增排查上游限流/異常

路由成功率

成功轉發請求 ÷ 總請求 × 100%

下降則排查備選模型可用性

實際模型成本(預估)

按實際模型目錄價估算的全量成本(階梯計費取最低檔,峰谷定價取峰值,不含免費額度,與實際帳單有偏差)

上升則檢查路由策略與備選集

基準模型成本(預估)

假設全部由基準模型處理的對照成本(同口徑估算)

—

節省金額

基準成本 − 實際成本(正值表示路由節省)

—

計費請求數

產生費用的成功請求數

—

花費佔比

單模型成本 ÷ 總成本

異常則檢查備選集分佈

成本說明

成本分析資料約有 1 小時延遲,並非即時統計。 上述成本均按目錄價估算全量成本,不含帳號折扣優惠與免费额度,僅供衡量智慧路由節省效果參考。 階梯計費模型取最低檔目錄價,峰谷定價模型取峰值價格。 實際帳單金額可在「费用用量」中查看。

模型监控

如需查看更細粒度的呼叫監控,可前往模型监控頁面。 該頁面展示 auto-model 維度的模型监控和日誌,不展示實際路由到的各模型的獨立監控。