RAG パフォーマンス最適化

​

RAG ワークフロー

​

RAG パフォーマンスの最適化

​

準備

• 関連知識を含む: ナレッジベースに関連情報が不足している場合、モデルが関連質問に回答できない可能性があります。これを解決するには、ナレッジベースを更新して必要な知識を追加してください。
• Markdown フォーマットの使用（推奨）: PDF ファイルは複雑なレイアウトを持つことが多く、解析結果が不良になる可能性があります。PDF を Markdown、DOC、DOCX などのテキスト形式に事前に変換してください。たとえば、DashScopeParse を使用して PDF を Markdown に変換し、その後モデルを使用してフォーマットを整理します。「Alibaba Cloud 大規模モデル ACP コース」の RAG の章をご参照ください。 ドキュメント内のイラストはどのように扱うべきですか？

  ナレッジベースは、現在ドキュメント内の動画または音声コンテンツを解析できません。

• 明確な表現、合理的な構造、特殊なスタイルの不使用: ドキュメントのレイアウト も RAG パフォーマンスに大きな影響を与えます。詳細については、「RAG の効果を高めるためのドキュメントフォーマット方法」をご参照ください。
• プロンプト言語との一致: ユーザーのプロンプトが主に英語などの特定の言語で記述されている場合、ドキュメントコンテンツも同じ言語で記述されていることを確認してください。必要に応じて（例：ドキュメント内の専門用語）、2 つ以上の言語を使用できます。
• エンティティの曖昧性解消: ドキュメント内で同一エンティティの異なる表現を統一します。たとえば、「ML」と「Machine Learning」を「Machine Learning」に標準化できます。

  ドキュメントをモデルに入力し、用語を標準化するよう依頼できます。ドキュメントが長い場合は、複数の部分に分割して順次入力してください。

​

解析とチャンク分割

本セクションでは、RAG チャンク分割ステージを最適化するための Model Studio の設定項目のみを説明します。

短いチャンク	長いチャンク	セマンティック切り捨て
短いチャンクはセマンティック情報が不足し、取得が失敗する可能性があります。	長いチャンクは無関係なトピックを含み、リコールプロセスでノイズや無関係な情報が返される可能性があります。	強制的なセマンティック切り捨てにより、リコール時にコンテンツが欠落する可能性があります。

1. ナレッジベース作成時に、ドキュメントチャンク分割方法として インテリジェントチャンク分割 を選択します。
2. ドキュメントをナレッジベースに正常にインポートした後、テキストチャンクのコンテンツを手動で確認・修正します。

​

インテリジェントチャンク分割

• ドキュメントタイプ: 専門文献の場合、長いチャンクの方がより多くのコンテキストを保持できることが多いです。ソーシャルメディア投稿の場合、短いチャンクの方がセマンティクスをより正確に捉えられます。
• プロンプトの複雑さ: 一般に、ユーザーのプロンプトが複雑で具体的な場合は、長いチャンクが必要になることがあります。そうでない場合は、短いチャンクの方が適している場合があります。

1. まず、組み込みの文区切り文字を使用してドキュメントを段落に分割します。
2. 分割された段落に基づき、固定長ではなくセマンティック関連性（セマンティックチャンク分割）に基づいてチャンク境界を適応的に選択します。

​

チャンクコンテンツの修正

この操作はナレッジベース内のテキストチャンクのみを変更し、データ管理（一時ストレージ）内の元のドキュメントまたはデータテーブルは変更しません。したがって、ドキュメントを再度インポートする場合は、手動での確認と修正を再度行う必要があります。

​

取得とリコール

本セクションでは、取得とリコールステージを最適化するための Model Studio の設定項目のみを説明します。

​

マルチターン対話の書き換え

• スマートフォン製品は、複数の世代が同時に販売されていることがよくあります。
• 同一世代の製品でも、メーカーは通常 128 GB や 256 GB など、さまざまなストレージオプションを提供しています。 ...

Model Studio Phone X1.

製品ライブラリにある Model Studio Phone X1 の利用可能なすべてのバージョンと、それぞれの具体的なパラメーターを提供してください。

​

タグによるフィルタリング

本セクションは、ドキュメント検索のナレッジベースにのみ適用されます。

• ドキュメントアップロード時にタグを設定: コンソールでの手順については、「データのインポート」をご参照ください
• Data Management ページでタグを編集: アップロード済みのドキュメントについて、ドキュメントの右側にある ラベル をクリックしてタグを編集できます
  

• Model Studio アプリケーションを API で呼び出す 際、tags リクエストパラメーターでタグを指定できます。
• コンソールでアプリケーションを編集する際にタグを設定します。ただし、この方法は エージェントアプリケーション にのみ適用されます。

  この設定は、このエージェントアプリケーションに対する以降のすべてのユーザー質問と回答に適用されます。

  

​

メタデータ抽出

本セクションは、ドキュメント検索のナレッジベースにのみ適用されます。

Model Studio Phone X1 の特徴概要。

取得テストの結果はランキングのみを保証しますが、絶対的な類似度スコアは参考値です。絶対値の差が小さい場合（5% 以内）、リコール確率は同等とみなせます。

1. プロンプトからメタデータ {"key": "name", "value": "Model Studio Phone X1"} を抽出します。
2. 抽出されたメタデータに基づき、「Model Studio Phone X1」メタデータを含むすべてのテキストチャンクを見つけます。
3. 次に、ベクトル（セマンティック）検索を実行して、最も関連性の高いテキストチャンクを見つけます。

​

類似度しきい値

取得テストの推奨手順
顧客の一般的な質問をカバーするテストケースを設計します。 ナレッジベースの具体的なアプリケーションシナリオと以前インポートされたドキュメントの品質に基づいて、適切な類似度しきい値を選択します。 取得テストを実行して、ナレッジベースのリコール結果を確認します。 リコール結果に基づいて、ナレッジベースの類似度しきい値を再調整します。具体的な操作については、「ナレッジベースの作成と使用」をご参照ください。

​

取得チャンク数

Model Studio X1 スマートフォンの利点は何ですか？

多くの実験により、「リスト...」、「要約...」、「X と Y を比較...」などのシナリオでは、上位 10 件または上位 5 件だけを提供するよりも、より多くの高品質なテキストチャンク（例：K=20）をモデルに提供する方が効果的であることが示されています。これによりノイズが混入する可能性がありますが、テキストチャンクの品質が高ければ、高性能なモデルは通常その影響を処理できます。

​

回答生成

本セクションでは、回答生成ステージを最適化するための Model Studio がサポートする設定項目のみを説明します。

​

モデル選択

• シンプルな情報クエリや要約の場合は、パラメーター数が少ない大規模モデル（Qwen-Turbo など）で十分です。
• RAG に複雑な論理的推論を実行させたい場合は、パラメーター数が多く推論能力が強い大規模モデル（Qwen-Max など）を選択してください。
• クエリで多数のドキュメントスニペットを参照する必要がある場合は、コンテキスト長が長い大規模モデル（Qwen-Plus など）を選択してください。
• 法律分野などの専門分野向けに RAG アプリケーションを構築する場合は、その特定の分野向けにトレーニングされたモデル（Qwen-Legal など）を使用してください。

​

プロンプトテンプレートの最適化

提供された情報で質問に回答できない場合は、「既存の情報に基づくと、この質問には回答できません」と明確に述べてください。回答をでっち上げないでください。

プロンプトテンプレート	結果
Copy # 要件 以下のテキストから技術仕様を抽出し、JSON 形式で表示してください。 ${documents}
Copy # 要件 以下のテキストから技術仕様を抽出し、JSON 形式で表示してください。例で提供されたフィールドに厳密に従ってください。 ${documents} # 例 ## 入力: Stardust S9 Pro は、画期的な 6.9 インチ 1440 x 3088 ピクセルのディスプレイ下カメラ設計により、無限の視覚体験を提供します。最高構成の 512 GB ストレージと 16 GB RAM に、6000 mAh バッテリーと 100 W 高速充電技術を組み合わせることで、パフォーマンスとバッテリー寿命を両立し、テクノロジートレンドを牽引しています。参考価格: 5999 - 6499。 ## 出力: { "product":"Stardust S9 Pro", "screen_size":"6.9inch", "ram_size": "16GB", "battery":"6000mAh" }

# 役割
あなたは顧客サービス担当者であり、ナレッジベースからの取得によりユーザーの問題を分析・解決し、正確なソリューションを提供することに重点を置いています。

# 要件
**結果を直接返却**: ユーザーのプロンプトとナレッジベースのコンテンツに基づき、推論なしで直接的な回答を提供してください。
**返却結果に具体的な連絡先情報を含めないでください**: 返却結果には、ユーザーのプロンプトの概要、関連する当直担当者の氏名およびその責任範囲のみを含めてください。
**デフォルトの連絡先**: 関連する当直担当者が見つからない場合は、「本日の担当者: Model Studio カスタマーサービス 01」と返却してください。

# ナレッジベース
以下の資料を覚えておいてください。質問への回答に役立つ可能性があります。
${documents}

​

拒否

回答範囲: ナレッジベース + LLM 知識	回答範囲: ナレッジベースのみ
Model Studio アプリケーションの結果は、ナレッジベースから取得された知識とモデル自身の一般的な知識を組み合わせたものになります。	Model Studio アプリケーションの結果は、ナレッジベースから取得された知識のみに基づいたものになります。

# 判定ルール:
- 質問とドキュメントが一致するのは、質問に含まれるエンティティがドキュメントで説明されているエンティティと完全に同一の場合のみです。
- ドキュメントに質問がまったく言及されていない場合。

成功したクエリ	失敗したクエリ

​

モデルパラメーター

• 多様なテキストは、創造的なライティング（小説や広告コピーなど）、ブレインストーミング、チャットアプリケーションのシナリオに適しています。
• 決定論的なテキストは、明確な回答を必要とするシナリオ（問題分析、多肢選択問題、事実確認など）や、正確な表現が求められるシナリオ（技術文書、法的文書、ニュース記事、学術論文など）に適しています。

​

よくある質問

RAG の効果を高めるためのドキュメントフォーマット方法

ドキュメントコンテンツレイアウトの推奨事項

• 明確な見出しレベルを使用します。各見出しの下のコンテンツが明確で自己完結的であるようにします。
• ウォーターマークを避けてください。
• リストの中間項目の下にリストレベルをネストしないでください。
• 可能であればテーブルや画像を避けます。複雑なテーブルは解析品質に悪影響を及ぼす可能性があります。

不明瞭な見出しレベル：例元のドキュメントレベル 1 見出しが「IV. 賞品の使用ルール:」で、コンテンツに「賞品 1:...」および「賞品 2:...」が含まれています。

処理後の問題「賞品 2:...」が「賞品 1:...」のサブ見出しとして解析されます。ドキュメントで「賞品 1:...」および「賞品 2:...」を番号付きのレベル 2 見出しとして設定してください。ドキュメント内のウォーターマーク：例元のドキュメントドキュメントにウォーターマークが含まれており、合計で 3 つの項目があります。

処理後の問題3 番目の項目が単一のチャンクに分割されます。しかし、ウォーターマークがテキストとして認識されるため、「(V) 第 11 学年農地：120,000 元/エーカー」の後に「政府公報」などの余分な単語が表示されます。「政府公報」というウォーターマークがテキストの早い段階に現れるため、項目 (I) ～ (V) の順序が (I)、(V)、(III)、(IV)、(II) に乱されることもあります。中間項目の下のネストリスト：例元のドキュメントレベル 1 見出し「アクティビティルール」の下には、順序付きリストがあります。その 3 番目の項目「アクティビティ紹介」には、別のリスト（項目 a および b）が含まれています。

処理後の問題3 番目の項目にネストリストが含まれているため、「キャンペーン紹介」がレベル 2 見出しとして誤読され、その後のすべてのコンテンツがその下にグループ化されます。ネストリストは避けてください。必要であれば、ネストリストを親リストの末尾に配置してください。良い例

• 各見出しの下のコンテンツが明確で比較的独立しています。
• ウォーターマークがありません。
• 見出しの下にリストが表示されますが、ネストリストは含まれていません。
• テーブルや画像がありません。