Definir dimensiones de evaluación

​

Descripción general de las dimensiones de evaluación

Las dimensiones de evaluación definen las reglas de puntuación de las tareas de evaluación de modelos. Cada dimensión se configura con un calificador. Una vez creada como plantilla, puede ser referenciada por múltiples tareas de evaluación, lo que permite la gestión unificada y la reutilización de los criterios de evaluación. La plataforma Model Studio proporciona los siguientes cinco tipos de calificador, que cubren tres grandes paradigmas de evaluación: evaluación automática basada en LLM, coincidencia por reglas y revisión humana:

• Evaluación por LLM - Categórica: el modelo evaluador clasifica las salidas del modelo según etiquetas definidas por el usuario (Pass/Fail). Es adecuada para escenarios que requieren comprensión semántica, como la comprobación de la seguridad del contenido y el juicio de la corrección de las respuestas.
• Evaluación por LLM - Numérica: el modelo evaluador asigna puntuaciones numéricas continuas a las salidas del modelo (por ejemplo, 0~5). Es adecuada para escenarios que requieren cuantificación fina, como la valoración de la calidad de preguntas y respuestas y la puntuación de la calidad del contenido generado.
• Evaluación por reglas - Coincidencia de cadenas: determina de forma programática la relación de coincidencia exacta (igual/no igual/contiene) entre la salida del modelo y el texto de referencia. Es adecuada para escenarios con respuestas estándar deterministas, como Function Calling y NL2SQL.
• Evaluación por reglas - Similitud de texto: utiliza algoritmos para calcular la similitud entre la salida del modelo y el texto de referencia (BLEU/ROUGE/Coseno, entre otros). Es adecuada para cuantificar la similitud de respuestas abiertas, como traducción, resumen y reescritura.
• Evaluación humana - Categórica: los evaluadores clasifican manualmente las salidas del modelo por etiqueta. Es adecuada para escenarios que requieren juicio subjetivo, como el tono y el estilo, y la revisión de cumplimiento.

Tipo de dimensión	Método de evaluación	Escenarios aplicables	Respuesta de referencia requerida	Nivel de automatización
Evaluación por LLM - Categórica	El modelo evaluador clasifica por etiqueta	Seguridad del contenido, corrección de las respuestas	No	Totalmente automatizado
Evaluación por LLM - Numérica	El modelo evaluador puntúa por rango	Calidad de Q&A, calidad de generación	No	Totalmente automatizado
Evaluación por reglas - Coincidencia de cadenas	Coincidencia exacta/parcial de cadenas	Function Calling, NL2SQL	Sí	Totalmente automatizado
Evaluación por reglas - Similitud de texto	BLEU/ROUGE/Coseno y otros algoritmos	Traducción, resumen, reescritura	Sí	Totalmente automatizado
Evaluación humana - Categórica	Revisión manual por etiqueta	Tono y estilo, revisión de cumplimiento	No	Manual

Al seleccionar un tipo de calificador, puede consultar la siguiente ruta de decisión:

• Respuestas estándar con formato fijo: prefiera la evaluación por reglas - coincidencia de cadenas, que ofrece el menor costo y la mayor velocidad.
• Respuestas estándar con redacción variada: utilice la evaluación por reglas - similitud de texto, que admite variaciones de redacción mediante algoritmos.
• Sin respuesta estándar y con necesidad de comprensión semántica: utilice la evaluación por LLM (categórica o numérica) y deje que el modelo evaluador valore a nivel semántico.
• Juicio subjetivo o revisión profesional requeridos: utilice la evaluación humana - categórica, con evaluadores que revisan cada elemento.

Model Studio proporciona plantillas predefinidas para los tipos de evaluación por LLM y evaluación por reglas, que se pueden filtrar por tipo (evaluación por LLM - numérica, evaluación por LLM - categórica, evaluación por reglas) y etiqueta (calidad general, coincidencia de texto, similitud de texto, seguridad, clasificación de texto). Después de seleccionar una, el prompt del calificador y la configuración predeterminada se rellenan automáticamente, lo que resulta adecuado para iniciar rápidamente escenarios comunes. Para personalizar los criterios de juicio de una lógica de negocio específica, puede crear una dimensión de evaluación personalizada y escribir el prompt manualmente. Después de crear una plantilla de dimensión, puede referenciarla como criterio de juicio en las tareas de evaluación. Para obtener más información sobre la creación y ejecución de tareas de evaluación, consulte Evaluación de modelos.

​

Crear una plantilla de dimensión de evaluación

Inicie sesión en la consola de Model Studio. En el panel de navegación izquierdo, elija Evaluación de modelos > Dimensiones de evaluación y haga clic en Crear dimensión de evaluación para abrir el cuadro de diálogo de selección: puede filtrar la lista de plantillas predefinidas por tipo y etiqueta y hacer clic en Usar plantilla en la tarjeta de la plantilla para aplicarla con un solo clic, o hacer clic en + Crear dimensión de evaluación personalizada para acceder a la página de configuración personalizada. Al crear una plantilla de dimensión de evaluación, primero debe rellenar los siguientes campos comunes:

• Nombre de la dimensión: obligatorio, no más de 20 caracteres.
• Descripción: opcional, no más de 100 caracteres. Se utiliza para complementar el objetivo de juicio de la dimensión.
• Tipo: obligatorio. Seleccione uno de los cinco tipos de calificador. El tipo de calificador no se puede cambiar después de la creación. Si selecciona uno incorrecto, solo puede eliminarlo y volver a crearlo.

La siguiente tabla enumera los parámetros comunes y los específicos de cada tipo para crear una plantilla de dimensión de evaluación.

Parámetro	Descripción	Obligatorio	Descripción del valor
Nombre de la dimensión	Nombre de la plantilla de dimensión de evaluación	Sí	No más de 20 caracteres
Descripción	Explicación complementaria de la dimensión	No	No más de 100 caracteres
Tipo	Método de evaluación del calificador, que no se puede cambiar después de la creación	Sí	Seleccione uno de los 5 tipos
Modelo evaluador	El modelo de lenguaje de gran escala que realiza la evaluación	Obligatorio para los tipos de evaluación por LLM	Seleccione de la lista desplegable
Plantilla de calificador	La plantilla de prompt que guía al modelo evaluador	Obligatorio para los tipos de evaluación por LLM	Plantilla predefinida o personalizada
Rango de puntuación	Valores mínimo y máximo de la puntuación numérica	Obligatorio para el tipo numérico	Número entero, valor predeterminado 0~5
Umbral de aprobación	Puntuación o similitud mínima para un juicio de aprobación	Obligatorio para los tipos numérico/similitud	Numérico

Después de seleccionar un tipo, la página muestra los elementos de configuración específicos del tipo. A continuación se describe el proceso de creación completo de cada tipo.

Importante El tipo de calificador no se puede cambiar después de la creación. Si selecciona uno incorrecto, solo puede eliminarlo y volver a crearlo.

​

Configurar prompts del calificador

El prompt del calificador es la instrucción que guía al modelo evaluador al evaluar la calidad de la salida. Se aplica únicamente a los tipos de evaluación por LLM (categórica y numérica). Al escribir el prompt, usted define los criterios de juicio y el formato de salida del modelo evaluador.

​

Variables del prompt

Los prompts del calificador admiten las siguientes tres variables, que el sistema reemplaza automáticamente por los valores reales durante la ejecución de la evaluación (escriba / en el editor de prompts para referenciar rápidamente una variable):

• ${messages}: la conversación completa. Para los conjuntos de evaluación multivuelta (ChatML), son todos los mensajes; para los conjuntos de evaluación de una sola vuelta (prompt&completion), es la entrada del usuario.
• ${completion}: la respuesta de referencia, es decir, la respuesta de referencia predefinida en el conjunto de datos de evaluación (para los conjuntos multivuelta, el último mensaje de assistant).
• ${output}: la salida del modelo en prueba, es decir, la respuesta del modelo evaluado a la pregunta actual.

Utilice la sintaxis ${nombre de la variable} en el prompt para referenciar variables. El prompt debe contener al menos una variable; de lo contrario, no se puede enviar.

​

Plantillas predefinidas

El sistema proporciona plantillas de calificador predefinidas para los tipos de evaluación por LLM. Después de seleccionar una, el contenido del prompt y la configuración de etiquetas predeterminada se rellenan automáticamente. La lista de plantillas se obtiene dinámicamente de la configuración del sistema. En el cuadro de diálogo de creación de dimensiones de evaluación, puede filtrar las plantillas por tipo (evaluación por LLM - numérica, evaluación por LLM - categórica, evaluación por reglas) y etiqueta (calidad general, coincidencia de texto, similitud de texto, seguridad, clasificación de texto) y, a continuación, hacer clic en Usar plantilla para aplicarlas. Plantillas predefinidas para el tipo numérico (9):

• Calidad de la traducción: evalúa la calidad con la que la traducción reproduce de forma integral el significado, el tono, la terminología y la expresión del texto original.
• Creatividad del contenido: evalúa si la respuesta, cumpliendo los requisitos de la tarea, presenta expresiones o ideas novedosas y valiosas.
• Integridad de la identificación de riesgos: evalúa si la respuesta identifica de forma completa los riesgos clave de un plan o comportamiento.
• Protección de la privacidad: evalúa si la respuesta protege adecuadamente la información personal, los datos sensibles y la privacidad del usuario.
• Accionabilidad de las sugerencias: evalúa si las sugerencias de la respuesta son específicas, viables y capaces de guiar las acciones siguientes.
• Utilidad de las respuestas: evalúa si la respuesta ayuda realmente al usuario a alcanzar su objetivo actual.
• Coherencia lógica: evalúa la estructura argumentativa, la consistencia interna y la articulación del razonamiento de la respuesta.
• Concisión de las respuestas: evalúa si la respuesta evita la redundancia y completa la tarea con la extensión necesaria.
• Fluidez del lenguaje: evalúa si la respuesta es natural, fluida y fácil de leer.

Plantillas predefinidas para el tipo categórico (5):

• Clasificación del estado de resolución del problema: determina si la respuesta resuelve el problema actual del usuario.
• Clasificación de la posibilidad de responder la pregunta: determina si la pregunta actual puede responderse directamente con la información proporcionada.
• Clasificación del riesgo de seguridad: identifica si la respuesta es segura, presenta riesgos potenciales o contiene contenido de alto riesgo.
• Clasificación de la intención del usuario: identifica la intención principal del usuario en la conversación completa.
• Clasificación de la tendencia de sentimiento: marca la respuesta evaluada como positiva, neutral o negativa.

La evaluación por reglas también proporciona plantillas predefinidas (etiquetas como coincidencia de texto y similitud de texto), y la lista se obtiene dinámicamente de la configuración del sistema.

​

Escribir un prompt personalizado

Cuando selecciona la plantilla personalizada, escriba las directrices de puntuación en el área de edición del prompt. Puntos clave:

• Utilice las variables ${messages}, ${completion} y ${output} para referenciar los datos de evaluación.
• Defina claramente los criterios de puntuación. Para el tipo categórico, defina las condiciones de juicio de cada etiqueta; para el tipo numérico, defina el estándar de calidad correspondiente a cada puntuación.
• Especifique los requisitos de formato de salida para asegurarse de que el sistema pueda analizar correctamente los resultados de la evaluación del modelo evaluador.

A continuación se muestra un ejemplo de prompt personalizado para la evaluación por LLM - Categórica: Evalúe la calidad de la siguiente respuesta del modelo. Conversación completa: ${messages}, respuesta del modelo: ${output}, respuesta de referencia: ${completion}. Criterios de puntuación: si la respuesta contiene los elementos clave de la respuesta de referencia y no tiene errores factuales, júzguela como Pass; si omite información clave o contiene errores factuales, júzguela como Fail. Genere únicamente Pass o Fail. Cambiar de plantilla de calificador sobrescribe el contenido actual del prompt. Haga una copia de seguridad del contenido editado manualmente antes de cambiar. Los prompts personalizados admiten las siguientes capacidades auxiliares:

• Optimización por IA: haga clic en Optimizar en la barra de herramientas del editor de prompts y el sistema generará una versión optimizada basada en el prompt actual; en el cuadro de diálogo puede elegir Usar ahora, Regenerar o salir.
• Ejecución de prueba: después de completar la configuración, haga clic en Iniciar ejecución en el área de ejecución de prueba para verificar el efecto de puntuación con datos de muestra; el resultado se muestra a la derecha. Las ejecuciones de prueba y las llamadas al modelo evaluador son gratuitas por tiempo limitado.

​

Gestionar plantillas de dimensiones de evaluación

En la página de lista de dimensiones de evaluación, puede ver, modificar y eliminar las plantillas de dimensión que ha creado.

​

Ver dimensiones

La página de lista de dimensiones muestra todas las plantillas de dimensión creadas y admite las siguientes operaciones:

• Búsqueda por nombre: introduzca una palabra clave del nombre de la dimensión en el cuadro de búsqueda para realizar una consulta difusa.
• Filtrado por tipo: haga clic en el icono de filtro del encabezado de la columna Tipo para filtrar seleccionando varios tipos de calificador.
• Ordenación por hora de creación: haga clic en Ordenar por hora de creación para alternar entre el orden ascendente y el descendente.

Haga clic en el nombre de la dimensión de destino en la lista de dimensiones para ir a la página de detalles y ver la configuración completa de la dimensión (incluidos el tipo de calificador, el prompt, las etiquetas, el rango de puntuación, entre otros).

​

Modificar dimensiones

En la página de detalles de la dimensión, puede modificar el nombre de la dimensión, la descripción, el prompt del calificador, las etiquetas y otros elementos de configuración. El tipo de calificador no se puede cambiar después de la creación. Los cambios surten efecto inmediatamente después de guardar.

​

Eliminar dimensiones

Haga clic en el botón Eliminar de la columna de operaciones de la dimensión de destino en la lista de dimensiones. La operación de eliminación es irreversible. Si la dimensión está referenciada por una tarea de evaluación, no se puede eliminar. Debe eliminar las tareas de evaluación asociadas antes de eliminar la dimensión.

​

Recomendaciones de diseño de dimensiones de evaluación

Diseñar dimensiones de evaluación de alta calidad ayuda a medir con precisión el rendimiento del modelo. A continuación se presentan recomendaciones clave extraídas de la práctica.

​

Selección e iteración del tipo

Seleccione un tipo adecuado según el escenario de evaluación: prefiera la evaluación por reglas para escenarios con respuestas estándar (bajo costo y alta velocidad), utilice la evaluación por LLM para escenarios que requieren comprensión semántica y utilice la evaluación humana para juicios de calidad subjetivos. Para una comparación detallada de los tipos, consulte Descripción general de las dimensiones de evaluación. Recomendamos crear primero dimensiones con plantillas predefinidas y ejecutar una evaluación en una muestra pequeña (10~20 entradas de datos) para verificar el efecto. Con base en los casos con grandes desviaciones en los resultados de la evaluación, ajuste de forma dirigida los criterios de juicio y las definiciones de puntuación del prompt, y escale la evaluación después de la verificación. Transicione gradualmente de las plantillas predefinidas a los prompts personalizados.

​

Recomendaciones de configuración de parámetros

Las etiquetas Pass y Fail deben ser mutuamente excluyentes y colectivamente exhaustivas, es decir, todas las salidas posibles deben poder clasificarse en una de ellas. La clasificación binaria es suficiente para escenarios simples; cuando se requieran varias etiquetas para escenarios complejos, mantenga un número bajo de etiquetas para reducir la ambigüedad del juicio. Para la evaluación por LLM - Numérica, recomendamos un rango de puntuación no superior a 10 (un rango excesivamente grande reduce la consistencia de la puntuación del LLM). El rango predeterminado de 0~5 con un umbral de aprobación de 3 es una configuración común. Establezca el umbral de aprobación según la tolerancia del negocio respecto a la calidad: cuanto mayor sea el umbral, más estricto será el estándar de aprobación. Seleccione un algoritmo de similitud adecuado según el tipo de tarea de evaluación:

• Tareas de traducción: BLEU (mide la coincidencia exacta de n-gramas).
• Tareas de resumen: ROUGE-L (mide la subsecuencia común más larga).
• Relevancia semántica: similitud del coseno (mide la distancia entre vectores semánticos).
• Tareas de clasificación: exactitud (Accuracy) (mide la tasa de coincidencia exacta).

​

Convenciones de nomenclatura

Recomendamos el patrón de nomenclatura "aspecto de valoración + método de evaluación", como "Precisión de las respuestas - puntuación por LLM", "Tendencia de sentimiento - clasificación por etiqueta" y "Cumplimiento de formato - coincidencia de cadenas". Una nomenclatura clara le ayuda a identificar y seleccionar rápidamente las dimensiones en las tareas de evaluación.

​

Preguntas frecuentes

A continuación se presentan problemas y soluciones comunes al utilizar la función de dimensiones de evaluación.

Problema: después de crear una plantilla de dimensión de evaluación, descubrí que se seleccionó un tipo de calificador incorrecto.

El tipo de calificador no se puede cambiar después de la creación. Solo puede eliminar la plantilla de dimensión y volver a crearla. Si la dimensión está referenciada por una tarea de evaluación, debe eliminar las tareas de evaluación asociadas antes de eliminarla.

Problema: aparece un mensaje al eliminar una plantilla de dimensión que indica que no se puede eliminar.

Una plantilla de dimensión no se puede eliminar cuando está referenciada por tareas de evaluación. Elimine o modifique primero las tareas de evaluación que referencian la dimensión en la lista de tareas de evaluación y, a continuación, elimine la plantilla de dimensión.

Problema: al enviar un prompt del calificador, el sistema indica que faltan variables.

El prompt del calificador debe contener al menos una variable (${messages}, ${completion} o ${output}). Compruebe el contenido del prompt y asegúrese de que las variables estén correctamente referenciadas en el formato ${nombre de la variable}.

Problema: el envío falla después de configurar las etiquetas Pass/Fail.

Compruebe si las etiquetas Pass y Fail están duplicadas. La misma etiqueta no puede aparecer tanto en Pass como en Fail, y las etiquetas dentro de Pass o dentro de Fail tampoco pueden estar duplicadas.

Problema: después de cambiar de plantilla de calificador, el contenido del prompt que edité manualmente desaparece.

Este es el comportamiento esperado. Cambiar de plantilla reemplaza el prompt con el contenido predefinido de la plantilla. Si tiene contenido de prompt personalizado importante, haga una copia de seguridad antes de cambiar de plantilla.

Problema: ¿el uso de dimensiones de evaluación del tipo de evaluación por LLM genera costos?

La creación y gestión de plantillas de dimensiones de evaluación es gratuita. Sin embargo, durante la ejecución de las tareas de evaluación, el tipo de evaluación por LLM llama al modelo evaluador para realizar la inferencia, y las tarifas de inferencia resultantes se cobran según el estándar de facturación del modelo evaluador.