Skip to main content

Définir les dimensions d’évaluation

Cette rubrique explique comment créer et gérer des modèles de dimensions d’évaluation.

Vue d’ensemble des dimensions d’évaluation

Les dimensions d’évaluation définissent les règles de notation des tâches d’évaluation de modèles. Chaque dimension est configurée avec un évaluateur (scorer). Une fois créée sous forme de modèle, elle peut être référencée par plusieurs tâches d’évaluation, ce qui permet une gestion unifiée et la réutilisation des critères d’évaluation. La plateforme Model Studio propose les cinq types d’évaluateurs suivants, couvrant trois grands paradigmes d’évaluation : l’évaluation automatique par LLM, la correspondance par règles et la revue humaine :
  • Évaluation par LLM - Catégorielle : le modèle évaluateur classe les sorties du modèle selon des libellés définis par l’utilisateur (Réussite/Échec). Convient aux scénarios nécessitant une compréhension sémantique, comme les contrôles de sécurité du contenu ou le jugement de l’exactitude des réponses.
  • Évaluation par LLM - Numérique : le modèle évaluateur attribue des scores numériques continus aux sorties du modèle (par exemple, 0~5). Convient aux scénarios nécessitant une quantification fine, comme l’évaluation de la qualité des questions-réponses ou la notation de la qualité de la génération de contenu.
  • Évaluation par règles - Correspondance de chaînes : détermine par programme la relation de correspondance exacte (égal/différent/contient) entre la sortie du modèle et le texte de référence. Convient aux scénarios avec réponses standard déterministes, comme le Function Calling et le NL2SQL.
  • Évaluation par règles - Similarité de texte : utilise des algorithmes pour calculer la similarité entre la sortie du modèle et le texte de référence (BLEU/ROUGE/Cosinus, etc.). Convient pour quantifier la similarité des réponses ouvertes, comme la traduction, le résumé et la réécriture.
  • Évaluation humaine - Catégorielle : les évaluateurs classent manuellement les sorties du modèle par libellé. Convient aux scénarios nécessitant un jugement subjectif, comme le ton et le style, ou la revue de conformité.

Type de dimension

Méthode d’évaluation

Scénarios applicables

Réponse de référence requise

Niveau d’automatisation

Évaluation par LLM - Catégorielle

Le modèle évaluateur classe par libellé

Sécurité du contenu, exactitude des réponses

Non

Entièrement automatisé

Évaluation par LLM - Numérique

Le modèle évaluateur note par plage

Qualité Q&A, qualité de génération

Non

Entièrement automatisé

Évaluation par règles - Correspondance de chaînes

Correspondance de chaînes exacte/partielle

Function Calling, NL2SQL

Oui

Entièrement automatisé

Évaluation par règles - Similarité de texte

BLEU/ROUGE/Cosinus et autres algorithmes

Traduction, résumé, réécriture

Oui

Entièrement automatisé

Évaluation humaine - Catégorielle

Revue manuelle par libellé

Ton et style, revue de conformité

Non

Manuel

Lors de la sélection d’un type d’évaluateur, vous pouvez vous référer au chemin de décision suivant :
  • Réponses standard à format fixe : privilégiez l’évaluation par règles - correspondance de chaînes, qui offre le coût le plus faible et la vitesse la plus élevée.
  • Réponses standard à formulations variées : utilisez l’évaluation par règles - similarité de texte, qui tolère les variations de formulation grâce aux algorithmes.
  • Absence de réponse standard et besoin de compréhension sémantique : utilisez l’évaluation par LLM (catégorielle ou numérique) et laissez le modèle évaluateur apprécier au niveau sémantique.
  • Besoin d’un jugement subjectif ou d’une revue professionnelle : utilisez l’évaluation humaine - catégorielle, les évaluateurs examinant chaque élément.
Model Studio propose des modèles prédéfinis pour les types d’évaluation par LLM et d’évaluation par règles, filtrables par type (Évaluation par LLM - Numérique, Évaluation par LLM - Catégorielle, Évaluation par règles) et par libellé (Qualité générale, Correspondance de texte, Similarité de texte, Sécurité, Classification de texte). Après en avoir sélectionné un, l’invite de l’évaluateur et la configuration par défaut sont automatiquement renseignées, ce qui convient pour démarrer rapidement les scénarios courants. Pour personnaliser les critères d’évaluation selon une logique métier spécifique, vous pouvez créer une dimension d’évaluation personnalisée et rédiger l’invite manuellement. Après avoir créé un modèle de dimension, vous pouvez le référencer comme critère d’évaluation dans les tâches d’évaluation. Pour plus d’informations sur la création et l’exécution de tâches d’évaluation, consultez Évaluation de modèle.

Créer un modèle de dimension d’évaluation

Connectez-vous à la console Model Studio. Dans le volet de navigation de gauche, choisissez Model Evaluation > Evaluation Dimensions, puis cliquez sur Create Evaluation Dimension pour ouvrir la boîte de dialogue de sélection : dans la liste des modèles prédéfinis, vous pouvez filtrer par type et par libellé, puis cliquer sur Use Template sur la carte d’un modèle pour l’appliquer en un clic ; ou cliquez sur + Create Custom Evaluation Dimension pour accéder à la page de configuration personnalisée. Lors de la création d’un modèle de dimension d’évaluation, vous devez d’abord renseigner les champs communs suivants :
  • Nom de la dimension : obligatoire, 20 caractères au maximum.
  • Description : facultatif, 100 caractères au maximum. Sert à préciser l’objectif d’évaluation de la dimension.
  • Type : obligatoire. Sélectionnez l’un des cinq types d’évaluateurs. Le type d’évaluateur ne peut pas être modifié après la création. En cas d’erreur de sélection, vous devez supprimer puis recréer la dimension.
Le tableau suivant répertorie les paramètres communs et spécifiques au type pour la création d’un modèle de dimension d’évaluation.

Paramètre

Description

Obligatoire

Description des valeurs

Nom de la dimension

Nom du modèle de dimension d’évaluation

Oui

20 caractères au maximum

Description

Explication complémentaire de la dimension

Non

100 caractères au maximum

Type

Méthode d’évaluation de l’évaluateur, non modifiable après la création

Oui

Sélectionnez l’un des 5 types

Modèle évaluateur

Le grand modèle de langage qui effectue l’évaluation

Requis pour les types d’évaluation par LLM

Sélection dans la liste déroulante

Modèle d’évaluateur

Le modèle d’invite qui guide le modèle évaluateur

Requis pour les types d’évaluation par LLM

Modèle prédéfini ou personnalisé

Plage de scores

Valeurs minimale et maximale de la notation numérique

Requis pour le type numérique

Entier, par défaut 0~5

Seuil de réussite

Score ou similarité minimal pour un jugement de réussite

Requis pour les types numérique/similarité

Numérique

Après avoir sélectionné un type, la page affiche les éléments de configuration spécifiques au type. Le processus de création complet de chaque type est décrit ci-dessous.
Important Le type d’évaluateur ne peut pas être modifié après la création. En cas d’erreur de sélection, vous devez supprimer puis recréer la dimension.
  • Évaluation par LLM - Catégorielle
  • Évaluation par LLM - Numérique
  • Évaluation par règles - Correspondance de chaînes
  • Évaluation par règles - Similarité de texte
  • Évaluation humaine - Catégorielle
L’évaluation par LLM - Catégorielle utilise le modèle évaluateur pour classer les sorties du modèle par libellé. Étapes complètes de création :
  1. Sélectionnez un modèle évaluateur : sélectionnez dans la liste déroulante le grand modèle de langage utilisé pour l’évaluation.
  2. Sélectionnez un modèle d’évaluateur : via Select preset template, appliquez un modèle prédéfini de la plateforme (les modèles prédéfinis du type catégoriel sont présentés dans Modèles prédéfinis) ou modifiez vous-même l’invite par défaut de l’éditeur. Après avoir sélectionné un modèle prédéfini, le système renseigne automatiquement l’invite et les libellés par défaut. Pour plus d’informations, consultez Configurer les invites d’évaluateur.
  3. Rédigez l’invite de l’évaluateur : l’invite doit contenir au moins une variable (${messages}, ${completion}, ${output}) et ne pas dépasser 20000 caractères. L’invite définit les critères d’évaluation et le format de sortie du modèle évaluateur.
  4. Configurez les libellés de réussite et les libellés d’échec : définissez les libellés de classification pour la réussite et l’échec, 20 caractères au maximum chacun. Les libellés de réussite et d’échec ne peuvent pas être dupliqués.
  5. Cliquez sur Save.

Configurer les invites d’évaluateur

L’invite de l’évaluateur est l’instruction qui guide le modèle évaluateur dans l’évaluation de la qualité des sorties. Elle ne s’applique qu’aux types d’évaluation par LLM (catégorielle et numérique). En rédigeant l’invite, vous définissez les critères d’évaluation et le format de sortie du modèle évaluateur.

Variables d’invite

Les invites d’évaluateur prennent en charge les trois variables suivantes, que le système remplace automatiquement par les valeurs réelles lors de l’exécution de l’évaluation (saisissez / dans l’éditeur d’invite pour référencer rapidement une variable) :
  • ${messages} : le contenu complet de la conversation. Pour les jeux de données d’évaluation multi-tours (ChatML), il s’agit de l’ensemble des messages ; pour les jeux de données mono-tour (prompt&completion), il s’agit de l’entrée de l’utilisateur.
  • ${completion} : la réponse de référence, c’est-à-dire la réponse attendue prédéfinie dans le jeu de données d’évaluation (pour les jeux de données multi-tours, le dernier message assistant).
  • ${output} : la sortie du modèle évalué, c’est-à-dire la réponse du modèle évalué à la question actuelle.
Utilisez la syntaxe ${nom de variable} dans l’invite pour référencer les variables. L’invite doit contenir au moins une variable ; sinon, elle ne peut pas être soumise.

Modèles prédéfinis

Le système fournit des modèles d’évaluateurs prédéfinis pour les types d’évaluation par LLM. Après en avoir sélectionné un, le contenu de l’invite et la configuration par défaut des libellés sont automatiquement renseignés. La liste des modèles est récupérée dynamiquement depuis la configuration du système ; dans la boîte de dialogue de création de dimension d’évaluation, filtrez par type (Évaluation par LLM - Numérique, Évaluation par LLM - Catégorielle, Évaluation par règles) et par libellé (Qualité générale, Correspondance de texte, Similarité de texte, Sécurité, Classification de texte), puis cliquez sur Use Template pour appliquer un modèle. Modèles prédéfinis pour le type numérique (9) :
  • Qualité de traduction : évalue la restitution globale du sens, du ton, de la terminologie et de l’expression de la traduction par rapport à l’original.
  • Créativité du contenu : évalue si la réponse, tout en répondant aux exigences de la tâche, présente des expressions ou des idées nouvelles et de valeur.
  • Exhaustivité de l’identification des risques : évalue si la réponse identifie complètement les risques clés d’un plan ou d’un comportement.
  • Protection de la vie privée : évalue si la réponse protège correctement les informations personnelles, les données sensibles et la vie privée des utilisateurs.
  • Applicabilité des conseils : évalue si les conseils de la réponse sont concrets, réalisables et peuvent orienter les actions suivantes.
  • Utilité de la réponse : évalue si la réponse aide réellement l’utilisateur à atteindre son objectif actuel.
  • Cohérence logique : évalue la structure argumentaire, la cohérence d’ensemble et l’enchaînement du raisonnement de la réponse.
  • Concision de la réponse : évalue si la réponse évite les redondances et accomplit la tâche avec la longueur nécessaire.
  • Fluidité linguistique : évalue si la réponse est naturelle, fluide et facile à lire.
Modèles prédéfinis pour le type catégoriel (5) :
  • Classification de l’état de résolution du problème : détermine si la réponse résout le problème actuel de l’utilisateur.
  • Classification de la réponse possible : détermine si la question actuelle peut être répondue directement à partir des informations fournies.
  • Classification des risques de sécurité : identifie si la réponse est sûre, présente des risques potentiels ou contient du contenu à haut risque.
  • Classification de l’intention de l’utilisateur : identifie le besoin principal actuel de l’utilisateur dans la conversation complète.
  • Classification de la tendance sentimentale : marque la réponse évaluée comme positive, neutre ou négative.
L’évaluation par règles propose également des modèles prédéfinis (libellés Correspondance de texte, Similarité de texte, etc.), et la liste est récupérée dynamiquement depuis la configuration du système.

Rédiger une invite personnalisée

Lorsque vous sélectionnez le modèle personnalisé, rédigez les directives de notation dans la zone d’édition de l’invite. Points clés :
  • Utilisez les variables ${messages}, ${completion} et ${output} pour référencer les données d’évaluation.
  • Définissez clairement les critères de notation. Pour le type catégoriel, définissez les conditions de jugement de chaque libellé ; pour le type numérique, définissez le standard de qualité correspondant à chaque score.
  • Précisez les exigences de format de sortie pour que les résultats d’évaluation du modèle évaluateur puissent être correctement analysés par le système.
Voici un exemple d’invite personnalisée pour l’évaluation par LLM - Catégorielle : Évaluez la qualité de la réponse du modèle suivante. Conversation complète : ${messages}, réponse du modèle : ${output}, réponse de référence : ${completion}. Critères de notation : si la réponse contient les éléments clés de la réponse de référence et ne comporte aucune erreur factuelle, jugez-la Réussite ; si la réponse omet des informations clés ou contient des erreurs factuelles, jugez-la Échec. Ne sortez que Réussite ou Échec. Le changement de modèle d’évaluateur remplace le contenu actuel de l’invite. Sauvegardez le contenu modifié manuellement avant de changer. L’invite personnalisée prend en charge les fonctions auxiliaires suivantes :
  • Optimisation par IA : cliquez sur Optimize dans la barre d’outils de l’éditeur d’invite ; le système génère une version optimisée à partir de l’invite actuelle, et vous pouvez, dans la boîte de dialogue, choisir Use Now, Regenerate ou quitter.
  • Exécution d’essai : une fois la configuration terminée, cliquez sur Start Run dans la zone d’exécution d’essai pour vérifier l’effet de la notation avec des données d’exemple ; le résultat de l’exécution s’affiche à droite. L’exécution d’essai et les appels au modèle évaluateur sont actuellement gratuits pour une durée limitée.

Gérer les modèles de dimensions d’évaluation

Sur la page de liste des dimensions d’évaluation, vous pouvez afficher, modifier et supprimer les modèles de dimensions que vous avez créés.

Afficher les dimensions

La page de liste des dimensions affiche tous les modèles de dimensions créés et prend en charge les opérations suivantes :
  • Recherche par nom : saisissez un mot-clé de nom de dimension dans la zone de recherche pour une recherche floue.
  • Filtrage par type : cliquez sur l’icône de filtre dans l’en-tête de colonne Type pour filtrer en sélectionnant plusieurs types d’évaluateurs.
  • Tri par date de création : cliquez sur Sort by creation time pour basculer entre l’ordre croissant et l’ordre décroissant.
Cliquez sur le nom d’une dimension cible dans la liste des dimensions pour accéder à la page de détails et afficher la configuration complète de la dimension (y compris le type d’évaluateur, l’invite, les libellés, la plage de scores, etc.).

Modifier les dimensions

Sur la page de détails de la dimension, vous pouvez modifier le nom de la dimension, la description, l’invite de l’évaluateur, les libellés et d’autres éléments de configuration. Le type d’évaluateur ne peut pas être modifié après la création. Les modifications prennent effet immédiatement après l’enregistrement.

Supprimer les dimensions

Cliquez sur le bouton Delete dans la colonne des opérations de la dimension cible dans la liste des dimensions. La suppression est irréversible. Si la dimension est référencée par une tâche d’évaluation, elle ne peut pas être supprimée. Vous devez retirer les tâches d’évaluation associées avant de supprimer la dimension.

Recommandations de conception des dimensions d’évaluation

La conception de dimensions d’évaluation de haute qualité permet de mesurer précisément les performances des modèles. Voici les principales recommandations issues de la pratique.

Choix du type et itération

Sélectionnez un type approprié selon le scénario d’évaluation : privilégiez l’évaluation par règles pour les scénarios avec réponses standard (coût faible et rapidité), utilisez l’évaluation par LLM pour les scénarios nécessitant une compréhension sémantique, et l’évaluation humaine pour les jugements de qualité subjectifs. Pour une comparaison détaillée des types, consultez Vue d’ensemble des dimensions d’évaluation. Nous vous recommandons de créer d’abord des dimensions avec des modèles prédéfinis et d’exécuter une évaluation sur un petit échantillon (10~20 entrées de données) pour vérifier l’effet. En vous appuyant sur les cas présentant de grands écarts dans les résultats d’évaluation, ajustez de manière ciblée les critères d’évaluation et les définitions de scores de l’invite, puis passez à l’évaluation à plus grande échelle après vérification. Évoluez progressivement des modèles prédéfinis vers des invites personnalisées.

Recommandations de configuration des paramètres

Les libellés de réussite et d’échec doivent être mutuellement exclusifs et collectivement exhaustifs, c’est-à-dire que toutes les sorties possibles peuvent être classées dans l’un d’eux. Une classification binaire suffit pour les scénarios simples ; lorsque plusieurs libellés sont nécessaires pour des scénarios complexes, maintenez leur nombre faible afin de réduire l’ambiguïté du jugement. Pour l’évaluation par LLM - Numérique, nous recommandons une plage de scores ne dépassant pas 10 (une plage trop large réduit la cohérence de la notation par LLM). La plage par défaut de 0~5 avec un seuil de réussite de 3 est une configuration courante. Définissez le seuil de réussite selon la tolérance métier à la qualité : plus le seuil est élevé, plus le standard de réussite est strict. Sélectionnez un algorithme de similarité approprié selon le type de tâche d’évaluation :
  • Tâches de traduction : BLEU (mesure la correspondance exacte des n-grammes).
  • Tâches de résumé : ROUGE-L (mesure la plus longue sous-séquence commune).
  • Pertinence sémantique : similarité cosinus (mesure la distance entre vecteurs sémantiques).
  • Tâches de classification : Accuracy (mesure le taux de correspondance exacte).

Conventions de nommage

Nous recommandons le modèle de nommage « aspect évalué + méthode d’évaluation », comme « Exactitude des réponses - notation par LLM », « Tendance sentimentale - classification par libellés » et « Conformité du format - correspondance de chaînes ». Un nommage clair vous aide à identifier et à sélectionner rapidement les dimensions dans les tâches d’évaluation.

FAQ

Voici les problèmes courants et leurs solutions lors de l’utilisation de la fonctionnalité de dimensions d’évaluation.
Le type d’évaluateur ne peut pas être modifié après la création. Vous ne pouvez que supprimer le modèle de dimension et le recréer. Si la dimension est référencée par une tâche d’évaluation, vous devez retirer les tâches associées avant de la supprimer.
Un modèle de dimension ne peut pas être supprimé lorsqu’il est référencé par des tâches d’évaluation. Supprimez ou modifiez d’abord, dans la liste des tâches d’évaluation, les tâches qui référencent la dimension, puis supprimez le modèle de dimension.
L’invite de l’évaluateur doit contenir au moins une variable (${messages}, ${completion} ou ${output}). Vérifiez le contenu de l’invite et assurez-vous que les variables sont correctement référencées au format ${nom de variable}.
Vérifiez si les libellés de réussite et d’échec sont dupliqués. Un même libellé ne peut pas apparaître à la fois dans Réussite et Échec, et les libellés au sein de Réussite ou au sein d’Échec ne peuvent pas non plus être dupliqués.
Ce comportement est attendu. Le changement de modèle remplace l’invite par le contenu prédéfini du modèle. Si vous avez un contenu d’invite personnalisé important, sauvegardez-le avant de changer de modèle.
La création et la gestion de modèles de dimensions d’évaluation sont gratuites. Cependant, pendant l’exécution des tâches d’évaluation, le type d’évaluation par LLM appelle le modèle évaluateur pour l’inférence, et les frais d’inférence générés sont facturés selon le barème de facturation du modèle évaluateur.