モデルデプロイ管理 API です。 テキスト、画像、動画、音声など、すべてのモデルタイプに対応しています 。デプロイメントのステータスと一覧の照会、スロットリングとスケーリングの変更、デプロイメントの削除が可能です。
前提条件
- 対応リージョン: このドキュメントで説明する機能はシンガポールリージョンでのみ利用可能で、そのリージョンのAPI キーを使用する必要があります。
- API キーの取得と環境変数としての設定が完了していること。
- モデルデプロイとAPI を使用したモデルのデプロイを読み、モデルデプロイの基本的な手順を理解していること。
モデルデプロイステータスの取得
指定されたモデルデプロイの詳細と実行ステータスを照会します。この API をポーリングできます。status が RUNNING になると、モデルが正常にデプロイされたことを示します。
エンドポイント
リクエスト例
次のコマンドを使用して、指定された専用サービスの詳細を照会できます。
リクエストパラメーター
パラメーター | タイプ | 場所 | 必須 | 説明 |
|---|---|---|---|---|
deployed_model | 文字列 | パス | はい | モデルデプロイの一意の識別子。デプロイメントの作成またはデプロイメントの一覧表示操作から取得できます。 |
レスポンス例
status フィールドにご注意ください。ステータスが RUNNING になると、モデルは正常にデプロイされ、呼び出し可能になります。
レスポンスパラメーター
フィールド | タイプ | 説明 |
|---|---|---|
request_id | 文字列 | リクエストの一意の識別子。 |
output | オブジェクト | ジョブの詳細。 |
output.deployed_model | 文字列 | モデルデプロイの一意の識別子。モデルデプロイのステータスの照会とモデルの呼び出しに使用されます。 |
output.model_name | 文字列 | モデルの識別子名。 |
output.base_model | 文字列 | 使用されているベースモデル。 |
output.status | 文字列 | デプロイメントのステータス:
|
output.base_capacity | 数値 | ベースリソースユニット数。 |
output.capacity | 数値 | 現在のリソースユニット数。 |
output.ready_capacity | 数値 | レディ状態のリソースユニット数。 |
output.workspace_id | 文字列 | Alibaba Cloud Model Studio API キーに関連付けられたワークスペース ID。ワークスペース ID の取得をご参照ください。 |
output.charge_type | 文字列 | 課金モード。post_paid は従量課金を示します。 |
output.gmt_create | 文字列 | デプロイメントの作成時刻。 |
output.gmt_modified | 文字列 | デプロイメントの最終更新時刻。 |
output.creator | 文字列 | 作成者の Alibaba Cloud アカウント ID。 |
output.modifier | 文字列 | 更新者の Alibaba Cloud アカウント ID。 |
output.plan | 文字列 | デプロイメントプラン。 |
デプロイ可能なモデルの一覧
Model Studio プラットフォームでデプロイ可能な候補モデル、つまりデプロイメントの作成に使用できるモデルのリストを取得します。
エンドポイント
リクエスト例
次のコマンドを使用して、デプロイ可能なモデルを照会します。デプロイメントプランとテンプレート情報を含む完全なレスポンスを取得するには、version=v1.0 の使用を推奨します。
リクエストパラメーター
パラメーター | タイプ | 必須 | 説明 |
|---|---|---|---|
page_no | 数値 | いいえ | ページ番号。デフォルト値:1。 |
page_size | 数値 | いいえ | ページサイズ。デフォルト値:50。最大値:100。最小値:1。 |
model_source | 文字列 | いいえ | モデルソース。 |
version | 文字列 | いいえ | API バージョン。 |
レスポンス例
コマンドが実行されると、次の結果が返されます。
レスポンスパラメーター
パラメーター | タイプ | 説明 |
|---|---|---|
models | 配列 | デプロイ可能なモデルのリスト。 |
models[].model_name | 文字列 | モデル名。 |
models[].plans | 配列 | モデルがサポートするデプロイメントプランのリスト。 |
models[].plans[].plan | 文字列 | デプロイメントプランのタイプ: |
models[].plans[].templates | 配列 | デプロイメントテンプレートのリスト ( |
models[].plans[].templates[].template_id | 文字列 | テンプレート ID。デプロイメントタスクの作成時に |
models[].plans[].templates[].template_name | 文字列 | テンプレートの表示名。 |
models[].plans[].templates[].template_type | 文字列 | テンプレートタイプ: |
models[].plans[].templates[].template_version | 文字列 | テンプレートのバージョン。 |
models[].plans[].templates[].template_desc | 文字列 | テンプレートの説明。 |
models[].plans[].templates[].roles | オブジェクト | ノードロールの設定。COUPLED モードには |
models[].plans[].templates[].roles.{role}.model_unit_spec | 文字列 | モデルユニットの仕様。 |
models[].plans[].templates[].roles.{role}.capacity_unit_per_instance | 数値 | インスタンスあたりのキャパシティユニット数、すなわち base_capacity です。デプロイメントの作成時、 |
page_no | 数値 | 照会のページ番号。 |
page_size | 数値 | 照会のページサイズ。 |
total | Long | 照会条件に一致するモデルの総数。 |
デプロイ済みモデルの一覧表示
作成済みのデプロイメントインスタンス、つまり現在のワークスペースで実際に実行中またはデプロイ済みのモデルサービスのリストを取得します。
エンドポイント
リクエスト例
次のコマンドを実行して、専用サービスの一覧を取得します。
リクエストパラメーター
パラメーター | タイプ | 場所 | 必須 | 説明 |
|---|---|---|---|---|
page_no | 数値 | クエリ | いいえ | ページ番号。デフォルト値:1。 |
page_size | 数値 | クエリ | いいえ | ページサイズ。デフォルト値:50。最大値:200。最小値:1。 |
レスポンス例
コマンドが実行されると、次の結果が返されます。
レスポンスパラメーター
フィールド | タイプ | 説明 |
|---|---|---|
request_id | 文字列 | リクエストの一意の識別子。 |
output.page_no | 数値 | 現在のページ番号。 |
output.page_size | 数値 | 1 ページあたりの項目数。 |
output.total | 数値 | デプロイメントの総数。 |
output.deployments | 配列 | モデルデプロイのリスト。各要素は モデルデプロイステータスの取得の出力と同じフィールドを持ちます。 |
デプロイメントのスロットリング更新
指定されたモデルデプロイの RPM (1 分あたりのリクエスト数) と TPM (1 分あたりのトークン数) のスロットリング設定を変更します。
エンドポイント
リクエスト例
次のコマンドを実行して、指定されたデプロイメントのスロットリング設定を変更します。
リクエストパラメーター
パラメーター | タイプ | 場所 | 必須 | 説明 |
|---|---|---|---|---|
deployed_model | 文字列 | パス | はい | モデルデプロイの一意の識別子。デプロイメントの作成またはデプロイメントの一覧表示操作から取得できます。 |
rpm_limit | 数値 | body | 少なくとも 1 つのパラメーター | 1 分あたりのリクエスト数 (RPM)。 |
tpm_limit | 数値 | body | 1 分あたりのトークン数 (TPM)。 |
レスポンス例
コマンドが実行されると、次の結果が返されます。
レスポンスパラメーター
モデルデプロイステータスの取得に記載されている基本フィールドに加えて、レスポンスには次のフィールドも含まれる場合があります。
フィールド | タイプ | 説明 |
|---|---|---|
output.plan | 文字列 | デプロイメントプラン。 |
output.model_unit_spec | 文字列 | モデルユニットのデプロイメントテンプレート (例:MU1)。 |
output.enable_thinking | ブール値 | 思考モードが有効かどうか。 |
output.max_context_length | 数値 | 最大コンテキスト長。 |
output.rpm_limit | 数値 | 1 分あたりのリクエスト数の上限。 |
output.tpm_limit | 数値 | 1 分あたりのトークン数の上限。 |
デプロイメントのスケーリング
更新操作を実行して、専用サービスが使用するリソースユニットの数を調整します。
エンドポイント
リクエスト例
次のコマンドを実行して、指定されたサービスをスケーリングします。
リクエストパラメーター
パラメーター | タイプ | 必須 | 説明 |
|---|---|---|---|
deployed_model | 文字列 | はい | モデルデプロイの一意の識別子 (パスパラメーター)。デプロイメントの作成またはデプロイメントの一覧表示操作から取得できます。 |
capacity | 整数 | 条件付きで必須 |
更新後のモデルが使用するリソースユニット数。 |
ptu_capacity | オブジェクト | 条件付きで必須 |
例: |
ptu_capacity.input_tpm | 数値 | 条件付きで必須 |
デプロイ済みモデルがサポートする 1 分あたりの最大入力トークン数 (入力トークン/分)。すべてのモデルでサポートされています。 |
ptu_capacity.output_tpm | 数値 | 条件付きで必須 |
デプロイ済みモデルがサポートする 1 分あたりの最大出力トークン数 (出力トークン/分)。すべてのモデルでサポートされています。 |
ptu_capacity.thinking_output_tpm | 数値 | いいえ |
デプロイ済みモデルがサポートする 1 分あたりの最大思考出力トークン数 (思考出力トークン/分)。一部のモデルでサポートされています。 |
レスポンス例
コマンドが実行されると、次の結果が返されます。
レスポンスパラメーター
レスポンスフィールドはモデルデプロイステータスの取得と同じです。詳細については、モデルデプロイステータスの取得のレスポンスパラメーターをご参照ください。
デプロイメントの削除
指定されたモデルデプロイを削除し、対応するコンピューティングリソースを解放します。
エンドポイント
リクエスト例
次のコマンドを実行して、指定されたデプロイメントを削除します。
リクエストパラメーター
パラメーター | タイプ | 場所 | 必須 | 説明 |
|---|---|---|---|---|
deployed_model | 文字列 | パス | はい | モデルデプロイの一意の識別子。デプロイメントの作成またはデプロイメントの一覧表示操作から取得できます。 |
レスポンス例
status フィールドにご注意ください。ステータスが DELETING になると、デプロイメントが削除中であることを示します。
レスポンスパラメーター
レスポンスフィールドはモデルデプロイステータスの取得と同じです。詳細については、モデルデプロイステータスの取得のレスポンスパラメーターをご参照ください。
エラーレスポンス
レスポンス例
レスポンスパラメーター
フィールド | タイプ | 説明 |
|---|---|---|
request_id | 文字列 | リクエストの一意の ID。 |
code | 文字列 | エラーコード。 |
message | 文字列 | エラーメッセージ。 |
エラーコード | エラーメッセージ | エラーの理由 |
|---|---|---|
NotFound | Model: xxx not found! |
|
Conflict | Deployed model xxx already exists, please specify a suffix. | デプロイメントの作成時に指定されたサフィックスは既に使用されています。 |
InvalidParameter | Invalid capacity (xx), capacity must be larger than or equal to 0 and multiples of 1 and less than 1000! | デプロイメントの作成または更新時に無効なキャパシティユニットが指定されました。 |