部署模型管理介面, 適用於文本、映像、視頻、語音等所有模型類型 。支援查詢部署狀態、擷取可部署模型列表與部署列表、修改限流、擴縮容及刪除部署。
適用範圍
- 適用地區:本文描述的功能僅在新加坡地區可用,且必須使用該地區的API Key。
- 已成功擷取 API Key並配置到環境變數。
- 已閱讀模型部署和使用 API 進行模型部署,瞭解模型部署的基本步驟。
查詢部署模型狀態
查詢指定部署模型的詳細資料和運行狀態。可輪詢此介面,當任務狀態status變為RUNNING時,表示模型已部署成功。
地址
請求樣本
通過以下命令可以查詢指定專屬服務的詳細資料:
請求參數
參數 | 類型 | 傳參方式 | 必選 | 說明 |
|---|---|---|---|---|
deployed_model | String | path | 是 | 部署模型的唯一標識,可通過部署模型或查詢部署模型列表介面擷取。 |
響應樣本
關注status欄位。當狀態變為 RUNNING 時,表示模型已部署成功,可以開始調用。
響應參數
欄位 | 類型 | 描述 |
|---|---|---|
request_id | String | 請求的唯一識別碼。 |
output | Object | 任務詳情。 |
output.deployed_model | String | 部署模型的唯一標識。用於查詢模型部署狀態和調用模型。 |
output.model_name | String | 模型標識名。 |
output.base_model | String | 使用的基準模型。 |
output.status | String | 部署狀態:
|
output.base_capacity | Number | 基礎資源單元數量。 |
output.capacity | Number | 當前資源單元數量。 |
output.ready_capacity | Number | 已就緒的資源單元數量。 |
output.workspace_id | String | 阿里雲百鍊 API Key 所屬的業務空間 ID。請參見擷取Workspace ID。 |
output.charge_type | String | 付費模式。post_paid 表示後付費。 |
output.gmt_create | String | 部署任務建立時間。 |
output.gmt_modified | String | 部署任務更新時間。 |
output.creator | String | 建立人的阿里雲帳號 ID。 |
output.modifier | String | 修改人的阿里雲帳號 ID。 |
output.plan | String | 部署方式。 |
擷取可部署模型列表
擷取百鍊平台上有資格部署的候選模型清單,即哪些模型可以用來建立部署。
地址
請求樣本
通過下面的命令可以查詢支援部署的模型,推薦使用version=v1.0擷取包含部署方案和模板資訊的完整響應。
請求參數
參數 | 類型 | 必選 | 說明 |
|---|---|---|---|
page_no | Number | 否 | 頁碼,預設值為1。 |
page_size | Number | 否 | 頁大小,預設為50,最大值為100,最小值為1。 |
model_source | String | 否 | 模型來源。 |
version | String | 否 | API 版本,推薦使用 |
響應樣本
命令執行完成後,獲得以下結果:
響應參數
參數 | 類型 | 說明 |
|---|---|---|
models | Array | 可部署模型列表。 |
models[].model_name | String | 模型名稱。 |
models[].plans | Array | 該模型支援的部署方案列表。使用 |
models[].plans[].plan | String | 部署方案類型: |
models[].plans[].templates | Array | 部署模板列表( |
models[].plans[].templates[].template_id | String | 模板 ID,在建立模型部署任務時作為 |
models[].plans[].templates[].template_name | String | 模板顯示名稱。 |
models[].plans[].templates[].template_type | String | 模板類型: |
models[].plans[].templates[].template_version | String | 模板版本。 |
models[].plans[].templates[].template_desc | String | 模板描述。 |
models[].plans[].templates[].roles | Object | 節點角色配置。COUPLED 模式包含 |
models[].plans[].templates[].roles.{role}.model_unit_spec | String | 模型單元規格。 |
models[].plans[].templates[].roles.{role}.capacity_unit_per_instance | Number | 單一實例容量單元數,即 base_capacity。建立部署時 |
page_no | Number | 查詢頁碼。 |
page_size | Number | 查詢頁大小。 |
total | Long | 滿足查詢條件的所有模型個數。 |
擷取已部署模型列表
擷取已建立的部署執行個體列表,即當前工作空間下實際運行或已部署的模型服務。
地址
請求樣本
通過以下命令可以擷取專屬服務列表:
請求參數
參數 | 類型 | 傳參方式 | 必選 | 說明 |
|---|---|---|---|---|
page_no | Number | query | 否 | 頁碼,預設值為1。 |
page_size | Number | query | 否 | 頁大小,預設為50,最大值為200,最小值為1。 |
響應樣本
命令執行完成後,返回以下結果:
響應參數
欄位 | 類型 | 描述 |
|---|---|---|
request_id | String | 本次請求的系統唯一碼。 |
output.page_no | Number | 當前頁碼。 |
output.page_size | Number | 每頁數量。 |
output.total | Number | 部署總數。 |
output.deployments | Array | 部署模型列表,每個元素的欄位與查詢部署模型狀態的 output 欄位一致。 |
修改部署模型的限流
修改指定部署模型的 RPM(每分鐘請求數)和 TPM(每分鐘 Token 數)限流設定。
地址
請求樣本
通過以下命令可以修改指定部署的限流設定:
請求參數
參數 | 類型 | 傳參方式 | 必選 | 說明 |
|---|---|---|---|---|
deployed_model | String | path | 是 | 部署模型的唯一標識,可通過部署模型或查詢部署模型列表介面擷取。 |
rpm_limit | Number | body | 至少填寫一個參數 | Requests per minute,每分鐘請求數。 |
tpm_limit | Number | body | Token per minute,每分鐘 Token 使用量。 |
響應樣本
命令執行完成後,返回如下結果:
響應參數
除查詢部署模型狀態中列出的基礎欄位外,還可能包含以下欄位:
欄位 | 類型 | 描述 |
|---|---|---|
output.plan | String | 部署方式。 |
output.model_unit_spec | String | 模型單元部署模板,如 MU1。 |
output.enable_thinking | Boolean | 是否開啟思考模式。 |
output.max_context_length | Number | 最大上下文長度。 |
output.rpm_limit | Number | 每分鐘請求數限制。 |
output.tpm_limit | Number | 每分鐘 Token 數限制。 |
擴縮容部署服務
通過更新操作調整專屬服務使用的資源單元數量。
地址
請求樣本
通過以下命令可以將指定的服務進行擴縮容:
請求參數
參數 | 類型 | 必選 | 說明 |
|---|---|---|---|
deployed_model | String | 是 | 部署模型的唯一標識(path 參數),可通過部署模型或查詢部署模型列表介面擷取。 |
capacity | Integer | 條件必選 | 僅 更新後模型所使用的資源單元數量,必須是 |
ptu_capacity | Object | 條件必選 | 僅 範例: |
ptu_capacity.input_tpm | Number | 條件必選 | 僅 部署的模型每分鐘支援的最大輸入 Token 量(input tokens per minute)。所有模型支援。 |
ptu_capacity.output_tpm | Number | 條件必選 | 僅 部署的模型每分鐘支援的最大輸出 Token 量(output tokens per minute)。所有模型支援。 |
ptu_capacity.thinking_output_tpm | Number | 否 | 僅 部署的模型每分鐘支援的預置思考最大輸出 Token 量(thinking output tokens per minute)。部分模型支援。 |
響應樣本
命令執行完成後,返回以下結果:
響應參數
響應欄位與查詢部署模型狀態一致,請參考查詢部署模型狀態的響應參數。
刪除部署
刪除指定的部署模型,釋放對應的計算資源。
地址
請求樣本
通過以下命令可以刪除指定的部署任務。
請求參數
參數 | 類型 | 傳參方式 | 必選 | 說明 |
|---|---|---|---|---|
deployed_model | String | path | 是 | 部署模型的唯一標識,可通過部署模型或查詢部署模型列表介面擷取。 |
響應樣本
關注status欄位。當狀態變為 DELETING 時,表示正在刪除部署任務。
響應參數
響應欄位與查詢部署模型狀態一致,請參考查詢部署模型狀態的響應參數。
異常響應
響應樣本
響應參數
欄位 | 類型 | 描述 |
|---|---|---|
request_id | String | 本次請求的系統唯一碼。 |
code | String | 錯誤碼。 |
message | String | 錯誤資訊。 |
錯誤碼 | 錯誤資訊 | 錯誤原因 |
|---|---|---|
NotFound | Model: xxx not found! |
|
Conflict | Deployed model xxx already exists, please specify a suffix. | 建立部署任務時使用了已使用過的suffix。 |
InvalidParameter | Invalid capacity (xx), capacity must be larger than or equal to 0 and multiples of 1 and less than 1000! | 建立/更新部署任務時指定了無效的算力單元數量。 |