評価軸の定義

​

評価軸の概要

評価軸は、モデル評価タスクの採点ルールを定義します。各評価軸には 1 つのスコアラーが設定されます。テンプレートとして作成すると、複数の評価タスクから参照できるため、評価基準の統一管理と再利用が可能になります。 Model Studio プラットフォームでは、LLM による自動評価、ルールマッチング、人力レビューという 3 つの主要な評価パラダイムをカバーする、次の 5 種類のスコアラータイプが提供されています。

• LLM評価 - カテゴリ型：判定モデルが、ユーザー定義のラベル（Pass/Fail）に基づいてモデルの出力を分類します。コンテンツの安全性チェックや回答の正確性判定など、意味理解が必要なシナリオに適しています。
• LLM評価 - 数値型：判定モデルが、モデルの出力に連続的な数値スコア（例：0~5）を付けます。Q&A の品質評価やコンテンツ生成品質の採点など、細かい定量化が必要なシナリオに適しています。
• ルール評価 - 文字列マッチング：モデルの出力と参照テキストの正確な一致関係（等しい/等しくない/含む）をプログラムで判定します。Function Calling や NL2SQL など、確定的な標準回答があるシナリオに適しています。
• ルール評価 - テキスト類似度：アルゴリズムを使用して、モデルの出力と参照テキストの類似度（BLEU/ROUGE/コサイン類似度など）を計算します。翻訳、要約、書き換えなど、自由記述形式の回答の類似度を定量化するのに適しています。
• 人力評価 - カテゴリ型：評価者が手動でラベルに基づいてモデルの出力を分類します。トーン＆スタイルやコンプライアンスレビューなど、主観的判断が必要なシナリオに適しています。

評価軸タイプ	評価方法	適用シナリオ	参照回答の要否	自動化のレベル
LLM評価 - カテゴリ型	判定モデルがラベルで分類	コンテンツの安全性、回答の正確性	不要	完全自動化
LLM評価 - 数値型	判定モデルが範囲で採点	Q&A 品質、生成品質	不要	完全自動化
ルール評価 - 文字列マッチング	文字列の完全/部分マッチング	Function Calling、NL2SQL	要	完全自動化
ルール評価 - テキスト類似度	BLEU/ROUGE/コサイン類似度などのアルゴリズム	翻訳、要約、書き換え	要	完全自動化
人力評価 - カテゴリ型	ラベルによる手動レビュー	トーン＆スタイル、コンプライアンスレビュー	不要	手動

スコアラータイプを選択する際は、次の判断パスを参考にできます。

• 固定形式の標準回答がある場合：ルール評価 - 文字列マッチングを推奨します。コストが最も低く、速度が最も速いためです。
• 表現が多様な標準回答がある場合：ルール評価 - テキスト類似度を使用します。アルゴリズムによって表現の違いを吸収できます。
• 標準回答がなく、意味理解が必要な場合：LLM評価（カテゴリ型または数値型）を使用し、判定モデルに意味レベルで評価させます。
• 主観的判断または専門的レビューが必要な場合：人力評価 - カテゴリ型を使用し、評価者が 1 件ずつレビューします。

Model Studio では、LLM 評価とルール評価のタイプ向けにプリセットテンプレートが提供されており、タイプ（LLM評価 - 数値型、LLM評価 - カテゴリ型、ルール評価）とラベル（汎用品質、テキストマッチング、テキスト類似度、安全性、テキスト分類）で絞り込めます。選択すると、スコアラーのプロンプトとデフォルト設定が自動的に入力されるため、一般的なシナリオを素早く開始できます。特定の業務ロジックに合わせた判定基準をカスタマイズするには、カスタム評価軸を作成してプロンプトを手動で作成できます。 評価軸テンプレートを作成すると、評価タスクで判定基準として参照できます。評価タスクの作成と実行の詳細については、モデル評価を参照してください。

​

評価軸テンプレートの作成

Model Studio コンソールにログインします。左側のナビゲーションウィンドウでモデル評価 > 評価軸を選択し、評価軸の作成をクリックして選択ダイアログを開きます：プリセットテンプレートリストでタイプとラベルによって絞り込み、テンプレートカードのテンプレートを使用をクリックしてワンクリックで適用できます。または、+ カスタム評価軸の作成をクリックしてカスタム設定ページに入ります。 評価軸テンプレートを作成する際は、まず次の共通フィールドを入力する必要があります。

• 評価軸名：必須。20 文字以内です。
• 説明：任意。100 文字以内です。評価軸の判定目的を補足するために使用します。
• タイプ：必須。5 種類のスコアラータイプから 1 つ選択します。スコアラータイプは作成後に変更できません。誤って選択した場合は、削除して再作成するしかありません。

次の表は、評価軸テンプレート作成時の共通パラメーターとタイプ固有のパラメーターの一覧です。

パラメーター	説明	必須	値の説明
評価軸名	評価軸テンプレートの名前	必須	20 文字以内
説明	評価軸の補足説明	任意	100 文字以内
タイプ	スコアラーの評価方法。作成後は変更できません	必須	5 種類から 1 つ選択
判定モデル	評価を実行する大規模言語モデル	LLM 評価タイプでは必須	ドロップダウンリストから選択
スコアラーテンプレート	判定モデルを導くプロンプトテンプレート	LLM 評価タイプでは必須	プリセットテンプレートまたはカスタム
スコア範囲	数値採点の最小値と最大値	数値タイプでは必須	整数、デフォルトは 0~5
合格しきい値	合格判定のための最小スコアまたは類似度	数値/類似度タイプでは必須	数値

タイプを選択すると、ページにタイプ固有の設定項目が表示されます。各タイプの完全な作成手順は以下のとおりです。

重要 スコアラータイプは作成後に変更できません。誤って選択した場合は、削除して再作成するしかありません。

​

スコアラープロンプトの設定

スコアラープロンプトは、判定モデルが出力品質を評価する際の指針となる指示です。LLM 評価タイプ（カテゴリ型および数値型）にのみ適用されます。プロンプトを作成することで、判定モデルの判定基準と出力形式を定義します。

​

プロンプト変数

スコアラープロンプトは次の 3 つの変数をサポートしており、評価実行時にシステムが実際の値に自動的に置き換えます (プロンプトエディタで / を入力すると、変数をすばやく参照できます)。

• ${messages}：完全な会話コンテンツ。マルチターン (ChatML) 評価セットではすべてのメッセージ、シングルターン (prompt&completion) 評価セットではユーザー入力です。
• ${completion}：参照返信。つまり、評価データセットに事前設定された参照回答です (マルチターン評価セットでは最後の assistant メッセージ)。
• ${output}：評価対象モデルの出力結果。つまり、評価対象モデルによる現在の質問への返答です。

プロンプト内では ${変数名} という構文を使用して変数を参照します。プロンプトには少なくとも 1 つの変数が含まれている必要があります。含まれていない場合、送信できません。

​

プリセットテンプレート

システムでは、LLM 評価タイプ向けにプリセットのスコアラーテンプレートが提供されています。選択すると、プロンプトの内容とデフォルトのラベル設定が自動的に入力されます。テンプレート一覧はシステム設定から動的に取得され、評価軸作成ダイアログでタイプ（LLM評価 - 数値型、LLM評価 - カテゴリ型、ルール評価）とラベル（汎用品質、テキストマッチング、テキスト類似度、安全性、テキスト分類）で絞り込んだ後、テンプレートを使用をクリックして適用できます。 数値型のプリセットテンプレート（9 個）：

• 翻訳品質：訳文が原文の意味、トーン、用語、表現を総合的に再現しているかを評価します。
• コンテンツの創造性：タスク要件を満たした上で、返信に新鮮で価値のある表現や発想が含まれているかを評価します。
• リスク識別の完全性：返信が案や行動における重要なリスクを完全に識別しているかを評価します。
• プライバシー保護：返信が個人情報、機密データ、ユーザーのプライバシーを適切に保護しているかを評価します。
• アドバイスの実行可能性：返信のアドバイスが具体的で実行可能であり、次のアクションを導けるかを評価します。
• 回答の有用性：返信がユーザーの現在の目標達成に実際に役立つかを評価します。
• 論理的一貫性：返信の論述構造、前後の一貫性、推論のつながりを評価します。
• 回答の簡潔性：返信が冗長を避け、必要な分量でタスクを完了しているかを評価します。
• 言語の流暢性：返信が自然で滑らか、読みやすいかを評価します。

カテゴリ型のプリセットテンプレート（5 個）：

• 問題解決ステータス分類：返信がユーザーの現在の問題を解決したかどうかを判定します。
• 問題回答可能性分類：現在の質問が提供済みの情報に基づいて直接回答できるかを判定します。
• 安全リスク分類：返信が安全か、潜在的なリスクがあるか、高リスクのコンテンツを含むかを識別します。
• ユーザー意図分類：完全な会話におけるユーザーの現在の主要な意図を識別します。
• センチメント傾向分類：評価対象の返信をポジティブ、ニュートラル、またはネガティブに分類します。

ルール評価にもプリセットテンプレート（テキストマッチング、テキスト類似度などのラベル）が提供されており、一覧はシステム設定から動的に取得されます。

​

カスタムプロンプトの作成

カスタムテンプレートを選択した場合は、プロンプト編集エリアに採点ガイドラインを記述します。要点：

• ${messages}、${completion}、${output} の各変数を使用して評価データを参照します。
• 採点基準を明確に定義します。カテゴリ型では各ラベルの判定条件を、数値型では各スコアに対応する品質基準を定義します。
• 出力形式の要件を指定し、判定モデルの評価結果がシステムによって正しく解析されるようにします。

以下は、LLM評価 - カテゴリ型のカスタムプロンプトの例です。 次のモデル応答の品質を評価してください。完全な会話：${messages}、モデル応答：${output}、参照回答：${completion}。採点基準：応答が参照回答の核心要素を含み、事実誤りがない場合は合格（Pass）と判定します。応答が重要な情報を省略している場合、または事実誤りを含む場合は不合格（Fail）と判定します。Pass または Fail のみを出力してください。 スコアラーテンプレートを切り替えると、現在のプロンプトの内容が上書きされます。切り替える前に、手動で編集した内容をバックアップしてください。 カスタムプロンプトは、以下の支援機能をサポートしています：

• AI 最適化：プロンプトエディタのツールバーの最適化をクリックすると、システムが現在のプロンプトに基づいて最適化版を生成します。ダイアログですぐに使用、再生成を選択するか、終了できます。
• 試験実行：設定完了後、試験実行エリアで実行開始をクリックすると、サンプルデータを使用してスコアリング効果を検証できます。右側に実行結果が表示されます。試験実行と判定モデルの呼び出しは期間限定で無料です。

​

評価軸テンプレートの管理

評価軸一覧ページで、作成した評価軸テンプレートの表示、変更、削除ができます。

​

評価軸の表示

評価軸一覧ページには、作成済みのすべての評価軸テンプレートが表示され、次の操作がサポートされています。

• 名前で検索：検索ボックスに評価軸名のキーワードを入力すると、あいまい検索ができます。
• タイプで絞り込み：タイプ列のヘッダーにある絞り込みアイコンをクリックすると、複数のスコアラータイプを選択して絞り込めます。
• 作成時間でソート：作成時間でソートをクリックすると、昇順と降順が切り替わります。

評価軸一覧で対象の評価軸の名前をクリックすると、詳細ページに移動し、評価軸の完全な設定（スコアラータイプ、プロンプト、ラベル、スコア範囲など）を確認できます。

​

評価軸の変更

評価軸の詳細ページでは、評価軸名、説明、スコアラープロンプト、ラベルなどの設定項目を変更できます。スコアラータイプは作成後に変更できません。変更は保存後すぐに反映されます。

​

評価軸の削除

評価軸一覧で対象の評価軸の操作列にある削除ボタンをクリックします。削除操作は取り消せません。評価軸が評価タスクから参照されている場合、その評価軸は削除できません。削除する前に、関連する評価タスクを解除する必要があります。

​

評価軸の設計に関する推奨事項

高品質の評価軸を設計することは、モデルの性能を正確に測定するのに役立ちます。以下は、実践に基づく主な推奨事項です。

​

タイプの選択と反復

評価シナリオに基づいて適切なタイプを選択します。標準回答があるシナリオではルール評価を推奨し（コストが低く高速）、意味理解が必要なシナリオでは LLM 評価を、主観的な品質判断には人力評価を使用します。タイプの詳細な比較については、評価軸の概要を参照してください。 まずプリセットテンプレートで評価軸を作成し、小規模なサンプル（10~20 件のデータ）で評価を実行して効果を検証することを推奨します。評価結果の乖離が大きい事例を踏まえて、プロンプトの判定基準やスコア定義を重点的に調整し、検証後に評価の規模を拡大していきます。プリセットテンプレートからカスタムプロンプトへ段階的に移行してください。

​

パラメーター設定の推奨事項

PassラベルとFailラベルは相互排他かつ網羅的であるべきです。つまり、考えられるすべての出力をどちらか一方に分類できる必要があります。単純なシナリオでは 2 分類で十分であり、複雑なシナリオで複数のラベルが必要な場合も、判断の曖昧さを減らすためにラベルの数を少なく抑えてください。 LLM評価 - 数値型では、スコア範囲は 10 以下を推奨します（範囲が大きすぎると LLM の採点の一貫性が低下します）。デフォルトの 0~5 の範囲で合格しきい値を 3 にするのが一般的な設定です。合格しきい値は品質に対する業務の許容度に基づいて設定してください。しきい値が高いほど、合格基準は厳しくなります。 評価タスクの種類に応じて適切な類似度アルゴリズムを選択します。

• 翻訳タスク：BLEU（n-gram の完全一致を測定）。
• 要約タスク：ROUGE-L（最長共通部分列を測定）。
• 意味的関連性：コサイン類似度（意味ベクトルの距離を測定）。
• 分類タスク：正解率（完全一致率を測定）。

​

命名規則

「評価観点 + 評価方法」という命名パターンを推奨します。たとえば、「回答の正確性 - LLM 採点」「センチメント傾向 - ラベル分類」「形式準拠 - 文字列マッチング」などです。明確な命名は、評価タスクで評価軸を素早く識別して選択するのに役立ちます。

​

よくある質問

以下は、評価軸機能を使用する際によくある問題と解決方法です。

問題：評価軸テンプレートを作成した後、スコアラータイプを誤って選択していたことに気づきました。

スコアラータイプは作成後に変更できません。評価軸テンプレートを削除して再作成するしかありません。評価軸が評価タスクから参照されている場合は、削除する前にまず関連する評価タスクを解除する必要があります。

問題：評価軸テンプレートを削除しようとすると、削除できないことを示すメッセージが表示されます。

評価軸テンプレートは、評価タスクから参照されている場合、削除できません。まず評価タスク一覧でその評価軸を参照している評価タスクを削除または変更してから、評価軸テンプレートを削除してください。

問題：スコアラープロンプトを送信すると、変数が不足していることを示すシステムメッセージが表示されます。

スコアラープロンプトには、少なくとも 1 つの変数（${messages}、${completion}、または ${output}）が含まれている必要があります。プロンプトの内容を確認し、変数が ${変数名} 形式で正しく参照されていることを確認してください。

問題：Pass/Fail ラベルを設定した後、送信に失敗します。

PassラベルとFailラベルが重複していないか確認してください。同じラベルが Pass と Fail の両方に存在することはできず、Pass 内または Fail 内でもラベルは重複できません。

問題：スコアラーテンプレートを切り替えた後、手動で編集したプロンプトの内容が消えてしまいました。

これは想定された動作です。テンプレートを切り替えると、プロンプトがテンプレートのプリセット内容に置き換えられます。重要なカスタムプロンプトの内容がある場合は、テンプレートを切り替える前にバックアップしてください。

問題：LLM 評価タイプの評価軸を使用すると料金は発生しますか？

評価軸テンプレートの作成と管理は無料です。ただし、評価タスクの実行中、LLM 評価タイプは推論のために判定モデルを呼び出すため、その推論料金は判定モデルの課金基準に従って請求されます。