モデルデプロイ タスクを作成します。
前提条件
- リージョン: モデルデプロイ API は現在シンガポールリージョンのみで利用可能です。別のリージョンを使用している場合は、そのリージョンの Model Studio コンソールでモデルデプロイを完了してください。
- アカウント権限: Alibaba Cloud サブアカウント (RAM ユーザー) を使用する場合は、モデルの呼び出し、トレーニング、デプロイのための権限をサブアカウントに付与する必要があります。
- 環境変数の設定: API キーを取得し、それを環境変数として設定済みである必要があります。
- デプロイメントドキュメントの確認: まず 専用デプロイの概要 と API を使用したモデルデプロイタスクの作成 を読み、モデルデプロイの仕組みと基本的な手順を理解することを推奨します。
モデルのデプロイ
- シンガポール
POST https://dashscope-intl.aliyuncs.com/api/v1/deploymentsWindows CMD では、$DASHSCOPE_API_KEYを%DASHSCOPE_API_KEY%に置き換えてください。PowerShell では、$env:DASHSCOPE_API_KEYに置き換えてください。
リクエストパラメーターヘッダーContent-Typestring (必須)固定値: application/jsonAuthorization string (必須)API キー認証。形式は Bearer sk-xxxx です。リクエストボディmodel_namestring (必須)デプロイするモデルの名前。マイモデル 内のモデル ID に対応します。Create a Tuning Job 操作の出力からも取得できます。plan string (必須)デプロイプラン。有効な値:
string (条件付き必須)デプロイテンプレート。plan が mu の場合に必須です。例: "deploy_spec": "MU1"。Get Deployable Model List 操作が返す template_id フィールドから取得できます。capacity integer (条件付き必須)デプロイで使用されるリソースユニット数。値は base_capacity の整数倍である必要があります。制約は deploy_spec によって異なります。たとえば、MU2 は 8 の倍数を必要とし、MU5 は 1 を受け入れます。billing_method string (条件付き必須)課金方法。plan が mu の場合に必須です。現在、"POST_PAY" (後払い) がサポートされています。enable_thinking boolean (任意)plan が mu の場合にのみ利用できます。一部のモデルでサポートされています。true または false に設定できます。max_context_length number (任意)plan が mu の場合にのみ利用できます。一部のモデルでサポートされています。例: "max_context_length": 131072。rpm_limit number (任意)plan が mu の場合にのみ利用できます。一部のモデルでサポートされています。1 分あたりのリクエスト数 (RPM) を指定します。tpm_limit number (任意)plan が mu の場合にのみ利用できます。一部のモデルでサポートされています。1 分あたりのトークン数 (TPM) を指定します。ptu_capacity object (任意)plan が ptu の場合にのみ有効です。このパラメーターを指定しない場合、デフォルトで 10,000 input_tpm と 1,000 output_tpm になります。
ptu_capacity のプロパティ input_tpm numberデプロイされたモデルがサポートする、1 分あたりの最大入力トークン数。output_tpm numberデプロイされたモデルがサポートする、1 分あたりの最大出力トークン数。thinking_output_tpm number一部のモデルでサポートされています。デプロイされたモデルがサポートする、プロビジョニングされた思考出力トークンの 1 分あたりの最大数。string (任意)コンソールでのモデルの表示名。このパラメーターを指定しない場合、model_name の値が自動的にデプロイ名として使用されます。suffix string (任意)モデルがデプロイされると、新しいモデル名が生成されます。suffix は新しいモデル名のサフィックスを指定します。最大長は 8 文字で、グローバルに一意である必要があります。モデルを初めてデプロイする際はサフィックスを省略できます。同じモデルを複数回デプロイする場合は、デプロイを区別するためにサフィックスを指定する必要があります。 |
モデルユニットによる課金では、モデルユニットの使用期間に基づいて課金されます。モデルのファインチューニング後の大規模な推論ワークロードに適しており、専用リソースと柔軟なパフォーマンスとコストを提供します。 以下のデプロイコマンドを実行すると、モデルデプロイサービスは、モデルをまだ呼び出していなくても、デプロイの成功直後から課金を開始します。デプロイコマンドを実行する前に、サービスの課金ルールを確認することを推奨します。 |
デプロイのトラブルシューティングとパフォーマンスチューニング
max-num-seqs パラメーターは設定できません
プロビジョニングされたスループットによる課金とモデルユニットによる課金の方法における Model Studio のモデルデプロイでは、スループット、同時実行数、生成速度はプラットフォームによってプリセットされています。vLLM 内の max-num-seqs などの推論エンジンのパラメーターを直接調整することはできず、この API のリクエストパラメーターにそのようなパラメーターは存在しません。
モデルユニットによる課金の方法では、モデルユニットタイプ (deploy_spec リクエストパラメーター) を選択し、デプロイレプリカ数 (capacity リクエストパラメーター) を調整することで、スループットを間接的に制御できます。
デプロイテンプレートとリソースの分離
現在のデプロイテンプレートは、単一ノードデプロイ (シングルノードデプロイ - 拡張汎用推論) のみをサポートしており、マルチカードインスタンスの分離はサポートしていません。リソースの分離が必要な場合は、モデルユニットによる課金の方法を使用してください。この方法では、コンピューティングリソースがお客様の業務専用になります。
スロットリングエラーの処理
同時リクエストがレート制限のしきい値を超えると、API は HTTP 429 を返します。エラーコードは Throttling.RateQuota、エラーメッセージは Requests rate limit exceeded, please try again later です。対処方法:
- プロビジョニングされたスループットによる課金:
ptu_capacityのinput_tpmとoutput_tpmを調整する (コンソールの入力 kTPM と出力 kTPM に相当)、またはリクエスト頻度を下げる。オーバーフローポリシーには、自動オーバーフロー (従量課金への切り替え) とPTU 容量のみ (容量を超えたリクエストは直接429を返す) があります。 - モデルユニットによる課金:
rpm_limitとtpm_limitを調整するか、リクエスト頻度を下げてください。
コンテキスト長のチューニング
モデルユニットによる課金の方法では、max_context_length リクエストパラメーターを使用して最大コンテキスト長を設定できます。値の範囲は 1 ～ 262144 です (実際の上限は、デプロイされたモデルの能力によって異なります)。このパラメーターは各リクエストのコンテキストサイズを制限し、それによってリクエストあたりのメモリ使用量も制限するため、OOM のリスクを軽減できます。
大量の画像を含むワークロードを処理する場合は、画像サイズと 1 リクエストあたりの画像数に基づいてこのパラメーターを設定してください。
レスポンスパラメーターrequest_idstringリクエストの一意の識別子。output objectタスクの詳細。
プロパティ deployed_model stringデプロイされたモデルの一意の識別子。デプロイステータスの照会とモデルの呼び出しに使用されます。model_name stringモデル名。status stringデプロイのステータス:
string使用されたベースモデル。gmt_create stringデプロイタスクの作成時刻。gmt_modified stringデプロイタスクの更新時刻。workspace_id stringModel Studio API キーが属するワークスペースの ID。詳細については、「ワークスペース ID の取得」をご参照ください。charge_type string支払いモデル。post_paid は後払いを示します。creator string作成者の Alibaba Cloud アカウント ID。modifier stringデプロイタスクを最後に変更したユーザーの Alibaba Cloud アカウント ID。plan stringデプロイ方法。base_capacity numberベースモデルの実行に必要な最小リソースユニット数。ready_capacity number準備が完了しており、即座にリクエストを処理できるリソースユニット数。model_unit_spec stringモデルユニットの仕様。plan が mu の場合にのみ返されます。enable_thinking boolean思考モードが有効かどうか。plan が mu の場合にのみ返されます。max_context_length number最大コンテキスト長の制限。plan が mu の場合にのみ返されます。rpm_limit number1 分あたりのリクエスト数。plan が mu の場合にのみ返されます。tpm_limit number1 分あたりのトークン数。plan が mu の場合にのみ返されます。ptu_capacity objectプロビジョニングされたスループットの設定。plan が ptu の場合にのみ返されます。
ptu_capacity のプロパティ input_tpm numberデプロイされたモデルがサポートする、1 分あたりの最大入力トークン数。output_tpm numberデプロイされたモデルがサポートする、1 分あたりの最大出力トークン数。thinking_output_tpm number一部のモデルでサポートされています。デプロイされたモデルがサポートする、プロビジョニングされた思考出力トークンの 1 分あたりの最大数。stringエラーコード。呼び出しが失敗した場合に返されます。message stringエラーの詳細な説明。呼び出しが失敗した場合に返されます。 |
注目すべき主なフィールド: output.deployed_model (デプロイされたモデルの一意の識別子) と output.status (デプロイのステータス)。 |