モデルモニタリングを使用すると、以下の操作を実行できます。
モデルモニタリングの概要
Model Studio は統一されたモデルモニタリングを提供します。呼び出しは発生後数分以内にモニタリングチャートに反映され、モデル呼び出しをリアルタイムに追跡できます。モニタリングデータはワークスペースごとに分離されており、現在選択しているワークスペースのデータのみを閲覧できます。モニタリングデータは参考用であり、課金の根拠にはなりません。突合確認については、「費用とコスト」で請求内容をご確認ください。
モニタリングとアラートのサポート状況はモデルによって異なります。音声、画像、動画生成モデルや、直接アクセスするサードパーティモデルなど、一部のモデルはサポートされません。コンソールでご確認ください。
ディメンションによるモニタリングデータの絞り込み
モニタリングデータは、時間（クイックプリセットとカスタム）、推論タイプ、API キー（デフォルトはすべて。ID と説明が表示され、現在のワークスペースに存在する API キーのみ一覧表示されます）で絞り込めます。時間粒度での絞り込みは、モデルモニタリング詳細ページでのみ利用できます。
呼び出し全体の規模と健全性の確認
概要ページには、モデル総数、総呼び出し回数、総失敗回数、平均呼び出し時間、平均初回トークン時間（初回トークンレイテンシ）などのデータカードが表示され、呼び出し全体の規模と健全性をすばやく把握できます。
モデルのモニタリング詳細またはログの確認
モデル一覧には、現在のワークスペース内の各モデルのモニタリングデータが表示されます。詳細を表示をクリックするとモデルモニタリング詳細ページが開き、ログを表示をクリックするとログページの監査ログタブが開きます。Model Studio コンソールにログインし、左側のナビゲーションウィンドウで運用 > モデルモニタリングを選択すると、モニタリング概要ページが開きます。
モデルモニタリング詳細
モニタリング概要ページのモデル一覧で対象のモデルを見つけ、詳細を表示をクリックすると、そのモデルのモニタリング詳細ページが開きます。ページ上部のナビゲーションパスは「モデルモニタリング > モデル名」です。
詳細ページには、単一モデルの呼び出し統計とパフォーマンスチャートが表示され、アラート設定への入口も用意されています。メトリクスチャートのアラートベルから、現在のモデルやメトリクスのアラートをすばやく設定できます（モデル横断のルール管理全般については、アラートセクションをご参照ください）。フィルタ条件は概要ページと同じ（時間、時間粒度、推論タイプ、API キー）で、概要ページから移動した場合はその設定が引き継がれます。ログを確認するには、概要ページのモデル一覧に戻り、ログ表示の入口をクリックします（ログセクションを参照）。
モニタリングメトリクス
詳細ページでは、メトリクスは呼び出し統計とパフォーマンスの 2 つのグループで表示されます。各メトリクスの意味、参考事項、アラート対応状況は以下の表のとおりです。
| メトリクス名 | 説明 | 参考 | アラート対応 |
|---|---|---|---|
| 呼び出し回数 | モデルが呼び出された合計回数 | ビジネスにより異なる | 設定可能 |
| 使用量 | 合計トークン数 | ビジネスにより異なる | 設定可能 |
| 失敗回数 | 失敗した呼び出しの回数 | ビジネスにより異なる | 設定可能 |
| 失敗率 | 失敗回数を総呼び出し回数で割った値 | ビジネスにより異なる | 設定可能 |
| 呼び出し時間 | リクエストからレスポンスまでの合計時間 | モデルとシナリオにより異なる | 設定可能 |
| 初回トークン時間 | リクエストから最初のトークンが返されるまでのレイテンシ | モデルとシナリオにより異なる | 設定可能 |
| 以降のトークンレイテンシ | 初回以降に各トークンを生成する平均時間 | モデルとシナリオにより異なる | サポートなし |
| モデル TotalToken 消費量 | モデル別に集計された消費合計トークン数（プリセットアラートテンプレート専用のメトリクス） | ビジネスにより異なる | 設定可能 |
| リクエストあたりの平均使用量 | リクエストあたりの平均トークン数 | ビジネスにより異なる | サポートなし |
| コンテンツモデレーションエラー回数 | コンテンツモデレーションによるブロック回数 | ビジネスにより異なる | サポートなし |
| レート制限エラー回数 | 429 レート制限がトリガーされた回数 | ビジネスにより異なる | 設定可能 |
| RPM | 1 分あたりのリクエスト数 | ビジネスにより異なる | サポートなし |
| TPM | 1 分あたりのトークン数 | ビジネスにより異なる | サポートなし |
| 1 秒あたりの出力トークン数（TPS） | 1 秒あたりの出力トークン数 | モデルとシナリオにより異なる | サポートなし |
| キャッシュヒット量 | コンテキストキャッシュのヒットトークン数 | モデルとシナリオにより異なる | サポートなし |
| キャッシュヒット率 | 入力トークンに対するキャッシュヒットトークンの割合 | モデルとシナリオにより異なる | サポートなし |
メトリクスがアラートに対応するかどうかは、プリセットアラートテンプレートに含まれているかどうかで決まります（プリセットテンプレートについては、アラート > アラートテンプレートをご参照ください）。プリセットテンプレートに含まれないメトリクス（コンテンツモデレーションエラー回数や RPM など）にはアラートベルが表示されず、アラートを設定できません。
アラートベルの設定
アラートに対応するメトリクスのチャートには、アラートベルアイコンが表示されます。ベルをクリックすると、アラートルール設定サイドパネルが開きます（フィールドの詳細は、アラートルール管理セクションをご参照ください）。ベルアイコンとサイドパネルのステータスラベルの意味は以下のとおりです。
| 種類 | ステータス | 色 | 意味 |
|---|---|---|---|
| ベルアイコン | アラート未設定 | グレー | アラートルールが設定されていません。クリックすると設定サイドパネルが開きます |
| ベルアイコン | アラート設定済み・正常 | ブルー | ルールが設定されており、現在はトリガーされていません。クリックするとルールの詳細を表示します |
| ベルアイコン | アラート発生中 | レッド | アラートがトリガーされています。クリックするとトリガーの詳細を表示します |
| サイドパネルのラベル | 正常 | グリーン | ルールが設定されており、ステータスは正常です |
| サイドパネルのラベル | アラート発生中 | レッド | アラートがトリガーされています |
| サイドパネルのラベル | 無効 | グレー | ルールがオフになっており、アラートを生成しなくなります |
| フィールド | 正常 | 回復済み | アラート発生中 |
|---|---|---|---|
| アラートルール名 | 表示 | 表示 | 表示 |
| アラートルール ID | 表示 | 表示 | 表示 |
| アラート内容 | 表示 | 表示 | 表示 |
| アラートメトリクス | 表示 | 表示 | 表示 |
| 通知受信者 | 表示 | 表示 | 表示 |
| アラート対象 | 表示 | 表示 | 表示 |
| 開始時刻 | 非表示 | 表示 | 表示 |
| 継続時間 | 非表示 | 表示 | 表示 |
| アラート回数 | 非表示 | 表示 | 表示 |
| ステータス | 非表示 | 表示 | 表示 |
| 回復時刻 | 非表示 | 表示 | 非表示 |
アラート
Model Studio は、アラートルール、アラートテンプレート、アラート履歴の 3 つのアラート機能を提供します。いずれもモデルアラートページのアラートルール、アラートテンプレート、アラート履歴の各タブにあります。
アラートルール管理
モデルアラートページでアラートタブをクリックすると、アラートルール管理ページが開きます。アラートルール一覧には現在有効なアラートルールが表示され、ルールの作成、編集、停止、削除に対応しています。一覧には通知受信者（連絡先または連絡先グループ）が表示され、メールなどの複数のチャネルに対応しています。
初めてアラートを設定する際の完全な手順は次のとおりです。まずデータ転送 > モニタリングデータ転送で CloudMonitor サービスロールの承認を完了し、次にこのセクションでアラートルールを作成し（アラートテンプレートを選択して各フィールドを入力）、最後にアラート通知（連絡先または連絡先グループ、通知時間帯、繰り返しポリシー）を設定します。
アラートルールを作成する前に、モデルモニタリング転送で CloudMonitor サービスロールを承認しておく必要があります（設定方法は、データ転送 > モニタリングデータ転送をご参照ください）。承認されていない場合、[アラートルールの作成]ボタンはクリックできず、ボタンにホバーすると「CloudMonitor サービスロールが承認されていないため、アラートルールを作成できません。クリックして承認してください。」というヒントが表示されます。承認後、CloudMonitor サービスはバックグラウンドで自動的に有効化されます。
承認後、CloudMonitor、Alibaba Cloud Simple Log Service（SLS）、Prometheus が自動的に有効化されます。アラートルールは無料で利用できます。すでに有効化されているプロダクトは、実際の使用量に基づいて課金されます。
- **[アラートルールの作成]**をクリックして新しいページを開きます。
- 以下のフィールドの説明に従って、アラート名、アラートテンプレート、モデル、期間、アラートチェック周期、アラート内容、アラートレベルを入力します。
- アラート通知（アラート連絡先または連絡先グループ、通知時間帯、繰り返しポリシー）を設定し、**[作成]**をクリックして完了します。
| フィールド | 必須 | 説明 |
|---|---|---|
| アラート名 | 必須 | 最大 50 文字 |
| アラートテンプレート | 必須 | ドロップダウンリストからプリセットまたはカスタムテンプレートを選択するか、テンプレートを基に「名前を付けて保存」で新規作成できます |
| モデル選択 | 必須 | 最大 50 モデル |
| 期間 | 必須 | 分単位で指定します |
| アラートチェック周期 | 必須 | デフォルトは 60 秒（秒単位）。0 以上の整数である必要があります（0 はトリガー時に即時アラート） |
| アラート内容 | 必須 | 最大 200 文字。変数をサポートします（ワークスペース、モデル、現在値などのプレースホルダーを挿入可能） |
| アラートレベル | 任意 | INFO（通常）/ WARNING（警告）/ ERROR（エラー）/ CRITICAL（重大）。デフォルトは INFO |
| アラート連絡先 / 連絡先グループ | 複数設定可 | CloudMonitor の連絡先または連絡先グループから取得します |
| 通知時間帯 | 必須 | 24 時間以内の任意の間隔で、日をまたぐこともできます（例：23:00 ～ 翌日 01:00） |
| 繰り返しポリシー | 必須 | エスカレーションなしの場合、未解決の間アラートは 1 回のみ送信されます。または「時＋分」の間隔を指定して通知を繰り返します |
- アラートルール一覧の上にある**[今すぐ移行]または[アラートルールの移行]**をクリックします。
- 移行元の確認。Prometheus インスタンスの名前とステータスを確認し、**[検出の開始]**をクリックします。
- アラートルールの確認。システムが移行可能なアラートルールと互換性のないルールを検出します。選択して確認し、**[移行の開始]**をクリックします。
- アラートルールの移行。移行中は「移行中」ステータスが表示されます。移行が完了すると、成功または失敗の結果が表示されます。移行に失敗した場合は再試行できます。移行成功後、ダイアログボックスを閉じます。
アラートテンプレート
アラートテンプレートとは、トリガー条件がプリセットされたアラート設定です。ゼロから設定せずに、テンプレートを基にアラートルールをすばやく作成できます。現在システムは 12 個のプリセットテンプレートを提供しており、独自のテンプレートを作成することもできます。アラートテンプレートタブはモデルアラートページにあり、アラートルールタブおよびアラート履歴タブと同じ階層にあります。
**[アラートテンプレートの作成]**をクリックしてアラートテンプレート作成サイドパネルを開き、以下の情報を入力します。
- テンプレート名：必須。最大 20 文字。
- パラメーター選択：最大 10 パラメーター。すべてのルールが条件を満たした場合（AND）またはいずれか 1 つが条件を満たした場合（OR）にアラートをトリガーするかを選択します。
- メトリクス：必須。アラートで監視するメトリクスを選択します。ドロップダウンの選択肢には、呼び出し回数、失敗回数、失敗率、呼び出し時間、初回トークン時間が含まれます。
- アラートしきい値：必須。比較演算子（
>、>=、<、<=、==、!=）と値を選択します。 - 統計サイクル：分単位。有効範囲は 1 ～ 10080 分です。
| プリセットアラートテンプレート名 | メトリクス名 |
|---|---|
| モデル呼び出し失敗回数：1 分合計 > 10 | モデル呼び出し失敗回数 |
| モデル呼び出し失敗率：1 分合計 > 1% | モデル呼び出し失敗率 |
| モデル 4xx 呼び出し回数：1 分合計 > 10 | モデル 4xx 呼び出し回数 |
| モデル 4xx 率：1 分合計 > 1% | モデル 4xx 率 |
| モデル 429 呼び出し回数：1 分合計 > 10 | モデル 429 呼び出し回数 |
| モデル 429 率：1 分合計 > 1% | モデル 429 率 |
| モデル 5xx 呼び出し回数：1 分合計 > 10 | モデル 5xx 呼び出し回数 |
| モデル 5xx 率：1 分合計 > 1% | モデル 5xx 率 |
| モデル呼び出し回数：1 分合計 > 500 | モデル呼び出し回数 |
| モデル呼び出し時間：1 分平均 > 60 秒 | モデル呼び出し時間 |
| モデル初回パケット時間：1 分平均 > 10 秒 | モデル初回パケット時間（初回トークン時間） |
| モデル TotalToken 消費量：1 分合計 > 10000 | モデル TotalToken 消費量 |
アラート履歴
モデルアラートページで履歴タブをクリックすると、アラートのトリガー記録を確認できます。アラート履歴一覧では、通知受信者には連絡先情報のみが表示され、関連する通知チャネルの情報は表示されません。
アラート履歴は 4 つの条件で絞り込めます：アラート時刻（クイックプリセットとカレンダー）、アラートルール、アラートレベル、ステータス（回復済みまたはアラート発生中）。
アラート履歴一覧には以下の列が表示されます。
| 列 | 説明 |
|---|---|
| アラートインスタンス | アラートインスタンスの識別子 |
| アラートレベル | 通常 / 警告 / エラー / 重大 |
| アラート時刻 | アラートがトリガーされた時刻 |
| アラート回数 | このアラートがトリガーされた回数 |
| アラートルール | アラートルールの名前と ID |
| ステータス | 回復済み / アラート発生中 |
| 通知受信者 | アラート連絡先または連絡先グループ |
| 操作 | 詳細を表示（アラート詳細サイドパネルを開きます） |
ログ
Model Studio はデフォルトで監査ログを記録します（プラットフォームに保存され、設定は不要です）。各モデル呼び出しのリクエスト情報を記録しますが、Prompt や Response は含まれません。推論ログは完全な Prompt、Response、中間ステップを記録しますが、手動で有効化する必要があり、ログ転送を利用してお客様自身の Simple Log Service（SLS）Logstore にログを書き込みます（ログ転送については、データ転送セクションをご参照ください）。
監査ログ
監査ログはすべてのユーザーに対してデフォルトで有効になっており、設定は不要で、Model Studio プラットフォームに保存されます。監査ログは各モデル呼び出しのリクエスト情報を記録します。リクエスト ID、時刻、モデル、トークン使用量、レイテンシ、ステータスなどの主要メトリクスが含まれますが、Prompt と Response の内容は含まれません。完全な Prompt と Response の内容を確認するには、推論ログを有効化してください（有効化方法は、推論ログセクションをご参照ください）。
絞り込み条件
監査ログは以下の絞り込み条件をサポートします。
- 時間範囲：デフォルトは過去 7 日間。最大 30 日間までのログを照会できます。
- モデル：ドロップダウン選択。デフォルトはすべてのモデルです。
- API キー ID：ドロップダウン選択。API キーには ID と説明が表示されます。API キーが削除された場合、説明は空になります。
- ステータス：複数選択。0（リクエストは成功したがユーザーが自ら中断）、200（成功）、4XX（ユーザー操作による例外）、5XX（サービス利用不可）を含みます。
- 推論タイプ：デフォルトはリアルタイム推論です。
- リクエスト ID の検索：完全一致。
ログ一覧
監査ログ一覧には、リクエスト ID、呼び出し時刻、モデル、使用量、初回トークン時間、呼び出し時間、ステータス、エラーコードのフィールドが表示されます。操作列の**[詳細を表示]**から、監査ログ詳細サイドパネルを開けます。
詳細サイドパネル
監査ログ詳細サイドパネルでは、一覧表示と JSON 表示を切り替えられます。
- 基本情報：リクエスト ID、呼び出し時刻、モデル、API キー
- 使用量：合計トークン数、出力トークン数、入力トークン数
- パフォーマンス：初回トークン時間、呼び出し時間、ステータスコード、エラーコードとエラーメッセージ（ある場合）
推論ログ
推論ログは手動で有効化する必要があります。監査ログに加えて、推論ログは完全な Prompt、Response、中間ステップを追加で記録し、デバッグ、最適化、トラブルシューティングに役立ちます。推論ログはお客様自身の Simple Log Service Logstore に保存されます。
推論ログの有効化
推論ログはデフォルトで無効です。まず監査ログ転送を有効化する必要があります。ログページで推論ログタブに切り替え（未設定の場合、このタブには有効化のガイドページが表示されます）、**[設定の開始]をクリックすると、ログ転送設定ダイアログボックスが開きます。ログページ右上隅の[ログ転送設定]**ボタンからも開けます。承認と Logstore の設定が完了すると、推論ログ一覧を確認できます。
推論ログは現在、北京およびシンガポールリージョンのみでサポートされています。その他のリージョンはまだサポートされていません。
ログ一覧と詳細
推論ログの絞り込み条件は監査ログと同じですが、推論タイプの絞り込み（リアルタイム推論/バッチ推論）は削除されています。推論ログ非対応のモデルには「現在のモデルはサポートされていません」と表示されます。
推論ログ一覧は、監査ログに加えて Prompt と Response のデータを追加で表示し、長さの上限は 128K です。128K を超える内容は切り捨てられます。完全な内容を確認するには、実際の呼び出しログをご確認ください。
API キー削除後の表示ルールは監査ログと同じです（一覧には説明が表示されず、詳細には ID のみ表示されます）。
推論ログはトレーニングデータセットとして再利用できます。詳細については、ログバックフローをご参照ください。
データ転送
デフォルトでは、Model Studio はモニタリングメトリクスと監査ログをプラットフォームに保存するため、転送なしでコンソールから確認できます。モニタリングメトリクスやログをお客様自身のクラウドサービスへ転送するには（長期保存や独自の O&M システムとの統合のため。クラウドサービスの料金が発生します）、対応するデータ転送を有効化してください。モニタリングデータは CloudMonitor の Prometheus インスタンスへ転送され、ログは Simple Log Service（SLS）の Logstore へ転送されます。ログ転送は、推論ログの前提条件でもあります。
推論ログの有効化およびお客様自身の SLS Logstore へのログ転送には、Simple Log Service の料金が発生します。
モニタリングデータ転送
モデルモニタリング転送の入口は、モニタリング概要ページの左上隅にあります。モデルモニタリング転送は、Model Studio のモデルのモニタリングデータを Alibaba Cloud CloudMonitor の Prometheus インスタンスへ自動転送し、モニタリングデータを一元管理します。Model Studio はデフォルトでモデルサービスメトリクスを提供しており、追加設定なしでプラットフォーム上で確認できます。メトリクスをお客様のアカウント配下の CloudMonitor サービスへ転送するには、データ転送を有効化し、転送先リソースを設定してください。
設定手順
新規ユーザーがモデルモニタリング転送を設定するには、以下の手順が必要です。
- CloudMonitor サービスロールを承認します。
- CloudMonitor サービスを有効化します。
- CloudMonitor の Prometheus モニタリングインスタンスを作成します。
高度モニタリングを有効化している既存ユーザーは、モニタリングデータ転送がデフォルトで有効になります。不要な場合は、モデルモニタリング転送の入口で無効化できます。
転送ステータス
データ転送を設定すると、モデルモニタリング転送の横にステータスインジケーターが表示されます。
- 転送中（グリーン）
- 転送失敗（レッド）
- 転送未設定（グレー）
ログ転送
ログ転送設定の入口は、ログページの右上隅にあります。モニタリング概要ページでモデルを選択して詳細ページに入り、ログページに切り替えると、この入口が表示されます。ログ転送は、Model Studio のモデルの監査ログと推論ログを Alibaba Cloud Simple Log Service の Logstore へ自動転送し、データを一元管理します。お客様のアカウント配下の Simple Log Service へログを転送するには、ログ転送を有効化して設定を完了してください。
設定手順
初めてログ転送を設定するには、以下の 3 つのステップが必要です。
- Simple Log Service ロールを承認します
- Simple Log Service を有効化します
- Logstore を作成します