Skip to main content

専用デプロイの概要

デプロイを通じて独立した専用リソースの推論サービスを取得し、高い同時実行性や低遅延など、さまざまなパフォーマンスレベルに対するビジネスニーズを満たすことができます。

課金方法

デプロイ前に、専用デプロイコンソールで、さまざまなモデルの時間単位の推定コストを確認できます。
サービスの作成後に課金方法を変更することはできません。切り替えるには、デプロイしたモデルをオフラインにしてから再デプロイする必要があります。

プロビジョニング済みスループット (PTU, Provisioned Throughput Unit)

(高スループット、高性能)

モデルユニット

(カスタムパフォーマンスメトリクス、リソース分離)

トークンベースの使用量

(ファインチューニング/効果検証後の従量課金)

定義

プラットフォームリソースを予約して特定の TPM スループット容量を保証するモデルデプロイ方法です。保証されたクォータ内ではレート制限はありません。

使用期間とモデルユニット数に基づいてコンピューティング能力を設定し、専用リソースを使用するモデルデプロイ方法です。

呼び出しごとに生成される入力トークンと出力トークンを使用量の計測基準とするモデルデプロイ方法です。

メリット

  1. 高負荷の本番環境に対して、安定したスループット容量、低遅延、およびより強力なリソースの確実性を提供します。

  2. トークンベースの課金と比較して、TPS (1 秒あたりに生成されるトークン数) は通常、約 1.5 倍から 2.0 倍に増加します。

  3. 自動更新設定をサポートします。

  1. 遅延/スループットなどのパフォーマンスメトリクスをカスタマイズ可能です。

  2. 自動更新設定をサポートします。

使用しない場合は課金されません。

サポート対象モデル

一部の事前設定済みモデル

一部の事前設定済みモデルとすべてのファインチューニング済みモデル

LoRA でファインチューニングされた一部のモデル

利用シーン

  1. 銀行アプリのインテリジェントカスタマーサービス (安定したトラフィック、保証された同時実行エクスペリエンスが必要)。

  2. ソーシャルプラットフォームのリアルタイムコンテンツモデレーション (予測可能なパイプラインタスクの安定した処理が必要)。

  3. パブリッククラウド翻訳 API (標準パッケージユーザーにベースラインのサービス保証を提供)。

  1. E コマース専用のファインチューニング済み大規模モデル (プライベートモデルをデプロイし、大規模なプロモーション中に手動でスケールアップ)。

  2. 製薬会社の分子スクリーニングモデル (長時間実行タスクに専用リソースが必要)。

  3. 自動運転シミュレーション (長期間の連続コンピューティングが必要)。

ファインチューニング済みモデルの効果検証

課金図

image

image

image

課金方法

使用期間とプロビジョニング済みスループットによる

従量課金、日次パッケージ

使用期間とモデルユニット数による

従量課金、月次パッケージ

モデルのトークン使用量による

従量課金

スケーリング方法

スループットのセルフサービスによる増減

モデルユニットのセルフサービスによる増減

コンソールで申請を送信し、手動レビューを待ちます。

製品の制約

  1. 前払いは日単位で課金されます。早期終了がサポートされており、使用済み部分は 1.2 倍の係数で精算されて返金されます。

  2. 単位時間内の使用量が購入したスループットを超えた場合、作成時に選択したオーバーフロー戦略に従って処理されます。「自動オーバーフロー」はそのモデルのモデル呼び出しの従量課金に切り替わり、「PTU 容量のみ使用」は 429 を返します。

前払い購入後、最初の 1 か月以内に早期解約した場合、日次単価 (≈ 月次単価 / 30) が 1.2 倍で請求されます

  1. 効率的なファインチューニング (LoRA) 後の一部のモデルのみをサポートします。

  2. 1 か月以内に使用されない場合、自動的にリリースされます。

各呼び出しのトークン使用量と呼び出し回数の履歴統計を表示するには、モデルモニタリングに移動します。 DTU はモデルユニット (MU) の後継であり、課金の計測粒度がユニット数から入力/出力 TPM に変わります。専用デプロイの新規購入には DTU をお勧めします。詳細は専用コンピューティングデプロイをご参照ください。

デプロイモード

各デプロイモードでサポートされるモデルと価格については、対応するモードのページをご参照ください。
プロビジョニング済みスループットユニット (PTU) の作成と管理は、現在スループット予約ページでサポートされており、積み重ね可能なキャパシティパッケージなど、より完全なキャパシティ管理機能を提供します。詳細については、スループット予約をご参照ください。

デプロイ方法

コンソールでモデルをデプロイできます。次の手順をご参照ください。
権限不足のメッセージが表示された場合は、API デプロイガイドの権限トラブルシューティングのセクションをご参照ください。
  1. Model Studio コンソールにログオンします。左側のナビゲーションウィンドウで、モデル推論 > 専用デプロイを選択します。
  2. 新規モデルのデプロイをクリックします。
  3. サービス名を入力し、モデルの選択と課金方法を設定して、他の設定はデフォルトのままにして、確認をクリックします。
    ほとんどのモデルをデプロイするには、先にモデルのファインチューニングを完了する必要があります。
  4. デプロイリストに戻ります。デプロイステータスが実行中に変わると、モデルは正常にデプロイされています。
モデルが正常にデプロイされた後に料金が発生します。
image
image
デプロイの詳細設定パラメータ (サービス名、モデル、モデルユニットタイプ、レプリカ数、推論モード、最大コンテキスト、スロットリングなど) については、専用コンピューティングデプロイおよび API デプロイガイドをご参照ください。

デプロイメントリストページ

デプロイメントが成功すると、デプロイメントリストページですべてのデプロイメントサービスを表示および管理できます。このリストページには、以下の情報が含まれます：
  • サービス名：デプロイメントサービスの名前です。クリックすると、デプロイメントの詳細が表示されます。
  • モデル名：デプロイメントに使用されるモデルです。
  • モデルコード：モデルが正常にデプロイメントされた後に生成される一意の識別子で、API を呼び出す際にモデルを指定するために使用されます。
  • デプロイメントステータス/イベントステータス：デプロイメント保留中、デプロイメント中、実行中、デプロイメント失敗、オフライン処理中、サービス一時停止、停止済み、削除中、サブスクリプション一時停止/支払い延滞による一時停止、サービス再開中、実行中 (設定変更中)、実行中 (変更失敗) などのステータスが含まれます。
  • 課金方法：現在のデプロイメントサービスの課金方法です。
  • デプロイメント詳細：モデルユニットタイプやレプリカ数などの構成情報です。
  • スロットリング詳細：RPM (1 分あたりのリクエスト数) や TPM (1 分あたりのトークン数) など、現在のデプロイメントサービスのスロットリング構成が表示されます。
  • サービス期間：デプロイメントサービスの作成時間と有効期限が表示されます。
  • 操作：デプロイメントステータスと課金方法に応じて、更新、監視、スケール、延長、オフライン化、削除、試用などの操作を実行できます。プロビジョニング済みスループットユニット (PTU) インスタンスは、スループット予約ページでのキャパシティパックの追加もサポートしています。
デプロイ後の API 呼び出し方法 (DashScope / OpenAI 互換インターフェイス / Assistant SDK) については、API デプロイガイドをご参照ください。 各課金方法のスケーリング操作 (手動によるスループット/モデルユニット調整、トークンのスケールアウト申請、自動スケーリングポリシーなど) については、対応するモードのページをご参照ください：PTU プロビジョニング済みスループットデプロイ、専用コンピューティングデプロイ、トークン従量課金デプロイ。

デプロイメントサービスのオフライン化

専用デプロイコンソールに移動し、停止するデプロイメントサービスを見つけて、課金タイプに応じて対応する操作をクリックします：
  • モデルユニット前払い：非アクティブ化をクリックして確認します。
  • 後払い：削除をクリックして確認します。
操作が完了すると、それ以降の課金は発生しません。
image

よくある質問

独自のモデルのアップロードとデプロイは可能ですか？

マイモデルコンソール (北京)で一部のオープンソースモデルをインポートできます。サポートされるモデルの詳細なリストについては、モデルインポートをご参照ください。 また、Alibaba Cloud Artificial Intelligence Platform PAI は、独自のモデルをデプロイする機能を提供しています。デプロイ方法については、PAI-LLM 大規模言語モデルのデプロイをご参照ください。

他の課金方法に切り替えるにはどうすればよいですか？

元のリソースを解放してから、希望する課金方法で新しいリソースを作成する必要があります。 次の手順で切り替えることをお勧めします：
  1. 希望する課金方法で新しいリソースをデプロイします。
  2. API を切り替え、サービスの可用性をテストします。
  3. 元のリソースをオフラインにして解放します。