Cette rubrique explique comment créer et gérer des modèles de dimensions d’évaluation.
Vue d’ensemble des dimensions d’évaluation
Les dimensions d’évaluation définissent les règles de notation des tâches d’évaluation de modèles. Chaque dimension est configurée avec un évaluateur (scorer). Une fois créée sous forme de modèle, elle peut être référencée par plusieurs tâches d’évaluation, ce qui permet une gestion unifiée et la réutilisation des critères d’évaluation.
La plateforme Model Studio propose les cinq types d’évaluateurs suivants, couvrant trois grands paradigmes d’évaluation : l’évaluation automatique par LLM, la correspondance par règles et la revue humaine :
- Évaluation par LLM - Catégorielle : le modèle évaluateur classe les sorties du modèle selon des libellés définis par l’utilisateur (Réussite/Échec). Convient aux scénarios nécessitant une compréhension sémantique, comme les contrôles de sécurité du contenu ou le jugement de l’exactitude des réponses.
- Évaluation par LLM - Numérique : le modèle évaluateur attribue des scores numériques continus aux sorties du modèle (par exemple, 0~5). Convient aux scénarios nécessitant une quantification fine, comme l’évaluation de la qualité des questions-réponses ou la notation de la qualité de la génération de contenu.
- Évaluation par règles - Correspondance de chaînes : détermine par programme la relation de correspondance exacte (égal/différent/contient) entre la sortie du modèle et le texte de référence. Convient aux scénarios avec réponses standard déterministes, comme le Function Calling et le NL2SQL.
- Évaluation par règles - Similarité de texte : utilise des algorithmes pour calculer la similarité entre la sortie du modèle et le texte de référence (BLEU/ROUGE/Cosinus, etc.). Convient pour quantifier la similarité des réponses ouvertes, comme la traduction, le résumé et la réécriture.
- Évaluation humaine - Catégorielle : les évaluateurs classent manuellement les sorties du modèle par libellé. Convient aux scénarios nécessitant un jugement subjectif, comme le ton et le style, ou la revue de conformité.
Type de dimension | Méthode d’évaluation | Scénarios applicables | Réponse de référence requise | Niveau d’automatisation |
|---|---|---|---|---|
Évaluation par LLM - Catégorielle | Le modèle évaluateur classe par libellé | Sécurité du contenu, exactitude des réponses | Non | Entièrement automatisé |
Évaluation par LLM - Numérique | Le modèle évaluateur note par plage | Qualité Q&A, qualité de génération | Non | Entièrement automatisé |
Évaluation par règles - Correspondance de chaînes | Correspondance de chaînes exacte/partielle | Function Calling, NL2SQL | Oui | Entièrement automatisé |
Évaluation par règles - Similarité de texte | BLEU/ROUGE/Cosinus et autres algorithmes | Traduction, résumé, réécriture | Oui | Entièrement automatisé |
Évaluation humaine - Catégorielle | Revue manuelle par libellé | Ton et style, revue de conformité | Non | Manuel |
- Réponses standard à format fixe : privilégiez l’évaluation par règles - correspondance de chaînes, qui offre le coût le plus faible et la vitesse la plus élevée.
- Réponses standard à formulations variées : utilisez l’évaluation par règles - similarité de texte, qui tolère les variations de formulation grâce aux algorithmes.
- Absence de réponse standard et besoin de compréhension sémantique : utilisez l’évaluation par LLM (catégorielle ou numérique) et laissez le modèle évaluateur apprécier au niveau sémantique.
- Besoin d’un jugement subjectif ou d’une revue professionnelle : utilisez l’évaluation humaine - catégorielle, les évaluateurs examinant chaque élément.
Créer un modèle de dimension d’évaluation
Connectez-vous à la console Model Studio. Dans le volet de navigation de gauche, choisissez Model Evaluation > Evaluation Dimensions, puis cliquez sur Create Evaluation Dimension pour ouvrir la boîte de dialogue de sélection : dans la liste des modèles prédéfinis, vous pouvez filtrer par type et par libellé, puis cliquer sur Use Template sur la carte d’un modèle pour l’appliquer en un clic ; ou cliquez sur + Create Custom Evaluation Dimension pour accéder à la page de configuration personnalisée.
Lors de la création d’un modèle de dimension d’évaluation, vous devez d’abord renseigner les champs communs suivants :
- Nom de la dimension : obligatoire, 20 caractères au maximum.
- Description : facultatif, 100 caractères au maximum. Sert à préciser l’objectif d’évaluation de la dimension.
- Type : obligatoire. Sélectionnez l’un des cinq types d’évaluateurs. Le type d’évaluateur ne peut pas être modifié après la création. En cas d’erreur de sélection, vous devez supprimer puis recréer la dimension.
Paramètre | Description | Obligatoire | Description des valeurs |
|---|---|---|---|
Nom de la dimension | Nom du modèle de dimension d’évaluation | Oui | 20 caractères au maximum |
Description | Explication complémentaire de la dimension | Non | 100 caractères au maximum |
Type | Méthode d’évaluation de l’évaluateur, non modifiable après la création | Oui | Sélectionnez l’un des 5 types |
Modèle évaluateur | Le grand modèle de langage qui effectue l’évaluation | Requis pour les types d’évaluation par LLM | Sélection dans la liste déroulante |
Modèle d’évaluateur | Le modèle d’invite qui guide le modèle évaluateur | Requis pour les types d’évaluation par LLM | Modèle prédéfini ou personnalisé |
Plage de scores | Valeurs minimale et maximale de la notation numérique | Requis pour le type numérique | Entier, par défaut 0~5 |
Seuil de réussite | Score ou similarité minimal pour un jugement de réussite | Requis pour les types numérique/similarité | Numérique |
Important Le type d’évaluateur ne peut pas être modifié après la création. En cas d’erreur de sélection, vous devez supprimer puis recréer la dimension.
- Évaluation par LLM - Catégorielle
- Évaluation par LLM - Numérique
- Évaluation par règles - Correspondance de chaînes
- Évaluation par règles - Similarité de texte
- Évaluation humaine - Catégorielle
- Sélectionnez un modèle évaluateur : sélectionnez dans la liste déroulante le grand modèle de langage utilisé pour l’évaluation.
- Sélectionnez un modèle d’évaluateur : via Select preset template, appliquez un modèle prédéfini de la plateforme (les modèles prédéfinis du type catégoriel sont présentés dans Modèles prédéfinis) ou modifiez vous-même l’invite par défaut de l’éditeur. Après avoir sélectionné un modèle prédéfini, le système renseigne automatiquement l’invite et les libellés par défaut. Pour plus d’informations, consultez Configurer les invites d’évaluateur.
- Rédigez l’invite de l’évaluateur : l’invite doit contenir au moins une variable (${messages}, ${completion}, ${output}) et ne pas dépasser 20000 caractères. L’invite définit les critères d’évaluation et le format de sortie du modèle évaluateur.
- Configurez les libellés de réussite et les libellés d’échec : définissez les libellés de classification pour la réussite et l’échec, 20 caractères au maximum chacun. Les libellés de réussite et d’échec ne peuvent pas être dupliqués.
- Cliquez sur Save.
Configurer les invites d’évaluateur
L’invite de l’évaluateur est l’instruction qui guide le modèle évaluateur dans l’évaluation de la qualité des sorties. Elle ne s’applique qu’aux types d’évaluation par LLM (catégorielle et numérique). En rédigeant l’invite, vous définissez les critères d’évaluation et le format de sortie du modèle évaluateur.
Variables d’invite
Les invites d’évaluateur prennent en charge les trois variables suivantes, que le système remplace automatiquement par les valeurs réelles lors de l’exécution de l’évaluation (saisissez / dans l’éditeur d’invite pour référencer rapidement une variable) :
- ${messages} : le contenu complet de la conversation. Pour les jeux de données d’évaluation multi-tours (ChatML), il s’agit de l’ensemble des messages ; pour les jeux de données mono-tour (prompt&completion), il s’agit de l’entrée de l’utilisateur.
- ${completion} : la réponse de référence, c’est-à-dire la réponse attendue prédéfinie dans le jeu de données d’évaluation (pour les jeux de données multi-tours, le dernier message assistant).
- ${output} : la sortie du modèle évalué, c’est-à-dire la réponse du modèle évalué à la question actuelle.
Modèles prédéfinis
Le système fournit des modèles d’évaluateurs prédéfinis pour les types d’évaluation par LLM. Après en avoir sélectionné un, le contenu de l’invite et la configuration par défaut des libellés sont automatiquement renseignés. La liste des modèles est récupérée dynamiquement depuis la configuration du système ; dans la boîte de dialogue de création de dimension d’évaluation, filtrez par type (Évaluation par LLM - Numérique, Évaluation par LLM - Catégorielle, Évaluation par règles) et par libellé (Qualité générale, Correspondance de texte, Similarité de texte, Sécurité, Classification de texte), puis cliquez sur Use Template pour appliquer un modèle.
Modèles prédéfinis pour le type numérique (9) :
- Qualité de traduction : évalue la restitution globale du sens, du ton, de la terminologie et de l’expression de la traduction par rapport à l’original.
- Créativité du contenu : évalue si la réponse, tout en répondant aux exigences de la tâche, présente des expressions ou des idées nouvelles et de valeur.
- Exhaustivité de l’identification des risques : évalue si la réponse identifie complètement les risques clés d’un plan ou d’un comportement.
- Protection de la vie privée : évalue si la réponse protège correctement les informations personnelles, les données sensibles et la vie privée des utilisateurs.
- Applicabilité des conseils : évalue si les conseils de la réponse sont concrets, réalisables et peuvent orienter les actions suivantes.
- Utilité de la réponse : évalue si la réponse aide réellement l’utilisateur à atteindre son objectif actuel.
- Cohérence logique : évalue la structure argumentaire, la cohérence d’ensemble et l’enchaînement du raisonnement de la réponse.
- Concision de la réponse : évalue si la réponse évite les redondances et accomplit la tâche avec la longueur nécessaire.
- Fluidité linguistique : évalue si la réponse est naturelle, fluide et facile à lire.
- Classification de l’état de résolution du problème : détermine si la réponse résout le problème actuel de l’utilisateur.
- Classification de la réponse possible : détermine si la question actuelle peut être répondue directement à partir des informations fournies.
- Classification des risques de sécurité : identifie si la réponse est sûre, présente des risques potentiels ou contient du contenu à haut risque.
- Classification de l’intention de l’utilisateur : identifie le besoin principal actuel de l’utilisateur dans la conversation complète.
- Classification de la tendance sentimentale : marque la réponse évaluée comme positive, neutre ou négative.
Rédiger une invite personnalisée
Lorsque vous sélectionnez le modèle personnalisé, rédigez les directives de notation dans la zone d’édition de l’invite. Points clés :
- Utilisez les variables ${messages}, ${completion} et ${output} pour référencer les données d’évaluation.
- Définissez clairement les critères de notation. Pour le type catégoriel, définissez les conditions de jugement de chaque libellé ; pour le type numérique, définissez le standard de qualité correspondant à chaque score.
- Précisez les exigences de format de sortie pour que les résultats d’évaluation du modèle évaluateur puissent être correctement analysés par le système.
- Optimisation par IA : cliquez sur Optimize dans la barre d’outils de l’éditeur d’invite ; le système génère une version optimisée à partir de l’invite actuelle, et vous pouvez, dans la boîte de dialogue, choisir Use Now, Regenerate ou quitter.
- Exécution d’essai : une fois la configuration terminée, cliquez sur Start Run dans la zone d’exécution d’essai pour vérifier l’effet de la notation avec des données d’exemple ; le résultat de l’exécution s’affiche à droite. L’exécution d’essai et les appels au modèle évaluateur sont actuellement gratuits pour une durée limitée.
Gérer les modèles de dimensions d’évaluation
Sur la page de liste des dimensions d’évaluation, vous pouvez afficher, modifier et supprimer les modèles de dimensions que vous avez créés.
Afficher les dimensions
La page de liste des dimensions affiche tous les modèles de dimensions créés et prend en charge les opérations suivantes :
- Recherche par nom : saisissez un mot-clé de nom de dimension dans la zone de recherche pour une recherche floue.
- Filtrage par type : cliquez sur l’icône de filtre dans l’en-tête de colonne Type pour filtrer en sélectionnant plusieurs types d’évaluateurs.
- Tri par date de création : cliquez sur Sort by creation time pour basculer entre l’ordre croissant et l’ordre décroissant.
Modifier les dimensions
Sur la page de détails de la dimension, vous pouvez modifier le nom de la dimension, la description, l’invite de l’évaluateur, les libellés et d’autres éléments de configuration. Le type d’évaluateur ne peut pas être modifié après la création. Les modifications prennent effet immédiatement après l’enregistrement.
Supprimer les dimensions
Cliquez sur le bouton Delete dans la colonne des opérations de la dimension cible dans la liste des dimensions. La suppression est irréversible. Si la dimension est référencée par une tâche d’évaluation, elle ne peut pas être supprimée. Vous devez retirer les tâches d’évaluation associées avant de supprimer la dimension.
Recommandations de conception des dimensions d’évaluation
La conception de dimensions d’évaluation de haute qualité permet de mesurer précisément les performances des modèles. Voici les principales recommandations issues de la pratique.
Choix du type et itération
Sélectionnez un type approprié selon le scénario d’évaluation : privilégiez l’évaluation par règles pour les scénarios avec réponses standard (coût faible et rapidité), utilisez l’évaluation par LLM pour les scénarios nécessitant une compréhension sémantique, et l’évaluation humaine pour les jugements de qualité subjectifs. Pour une comparaison détaillée des types, consultez Vue d’ensemble des dimensions d’évaluation.
Nous vous recommandons de créer d’abord des dimensions avec des modèles prédéfinis et d’exécuter une évaluation sur un petit échantillon (10~20 entrées de données) pour vérifier l’effet. En vous appuyant sur les cas présentant de grands écarts dans les résultats d’évaluation, ajustez de manière ciblée les critères d’évaluation et les définitions de scores de l’invite, puis passez à l’évaluation à plus grande échelle après vérification. Évoluez progressivement des modèles prédéfinis vers des invites personnalisées.
Recommandations de configuration des paramètres
Les libellés de réussite et d’échec doivent être mutuellement exclusifs et collectivement exhaustifs, c’est-à-dire que toutes les sorties possibles peuvent être classées dans l’un d’eux. Une classification binaire suffit pour les scénarios simples ; lorsque plusieurs libellés sont nécessaires pour des scénarios complexes, maintenez leur nombre faible afin de réduire l’ambiguïté du jugement.
Pour l’évaluation par LLM - Numérique, nous recommandons une plage de scores ne dépassant pas 10 (une plage trop large réduit la cohérence de la notation par LLM). La plage par défaut de 0~5 avec un seuil de réussite de 3 est une configuration courante. Définissez le seuil de réussite selon la tolérance métier à la qualité : plus le seuil est élevé, plus le standard de réussite est strict.
Sélectionnez un algorithme de similarité approprié selon le type de tâche d’évaluation :
- Tâches de traduction : BLEU (mesure la correspondance exacte des n-grammes).
- Tâches de résumé : ROUGE-L (mesure la plus longue sous-séquence commune).
- Pertinence sémantique : similarité cosinus (mesure la distance entre vecteurs sémantiques).
- Tâches de classification : Accuracy (mesure le taux de correspondance exacte).
Conventions de nommage
Nous recommandons le modèle de nommage « aspect évalué + méthode d’évaluation », comme « Exactitude des réponses - notation par LLM », « Tendance sentimentale - classification par libellés » et « Conformité du format - correspondance de chaînes ». Un nommage clair vous aide à identifier et à sélectionner rapidement les dimensions dans les tâches d’évaluation.
FAQ
Voici les problèmes courants et leurs solutions lors de l’utilisation de la fonctionnalité de dimensions d’évaluation.
Problème : après avoir créé un modèle de dimension d’évaluation, je constate que le type d’évaluateur sélectionné est erroné.
Problème : après avoir créé un modèle de dimension d’évaluation, je constate que le type d’évaluateur sélectionné est erroné.
Problème : un message s’affiche lorsque je supprime un modèle de dimension, indiquant qu’il ne peut pas être supprimé.
Problème : un message s’affiche lorsque je supprime un modèle de dimension, indiquant qu’il ne peut pas être supprimé.
Problème : lorsque je soumets une invite d’évaluateur, le système indique que des variables sont manquantes.
Problème : lorsque je soumets une invite d’évaluateur, le système indique que des variables sont manquantes.
Problème : la soumission échoue après la configuration des libellés de réussite/d’échec.
Problème : la soumission échoue après la configuration des libellés de réussite/d’échec.
Problème : après avoir changé de modèle d’évaluateur, le contenu de l’invite que j’ai modifié manuellement disparaît.
Problème : après avoir changé de modèle d’évaluateur, le contenu de l’invite que j’ai modifié manuellement disparaît.
Problème : l’utilisation de dimensions d’évaluation de type évaluation par LLM entraîne-t-elle des frais ?
Problème : l’utilisation de dimensions d’évaluation de type évaluation par LLM entraîne-t-elle des frais ?