Skip to main content

Definir dimensões de avaliação

Este tópico descreve como criar e gerenciar modelos de dimensões de avaliação.

Visão geral das dimensões de avaliação

As dimensões de avaliação definem as regras de pontuação das tarefas de avaliação de modelos. Cada dimensão é configurada com um avaliador (scorer). Após ser criada como modelo, ela pode ser referenciada por várias tarefas de avaliação, permitindo o gerenciamento unificado e a reutilização dos critérios de avaliação. A plataforma Model Studio oferece os cinco tipos de avaliador a seguir, cobrindo três grandes paradigmas de avaliação: avaliação automática baseada em LLM, correspondência de regras e revisão humana:
  • Avaliação por LLM - Categórica: o modelo avaliador classifica as saídas do modelo de acordo com rótulos definidos pelo usuário (Aprovado/Reprovado). É adequada para cenários que exigem compreensão semântica, como verificações de segurança de conteúdo e julgamento da correção das respostas.
  • Avaliação por LLM - Numérica: o modelo avaliador atribui pontuações numéricas contínuas às saídas do modelo (por exemplo, 0~5). É adequada para cenários que exigem quantificação refinada, como avaliação da qualidade de perguntas e respostas e pontuação da qualidade de geração de conteúdo.
  • Avaliação por regras - Correspondência de strings: determina programaticamente a relação de correspondência exata (igual/diferente/contém) entre a saída do modelo e o texto de referência. É adequada para cenários com respostas padrão determinísticas, como Function Calling e NL2SQL.
  • Avaliação por regras - Similaridade de texto: usa algoritmos para calcular a similaridade entre a saída do modelo e o texto de referência (BLEU/ROUGE/Cosseno, entre outros). É adequada para quantificar a similaridade de respostas abertas, como tradução, sumarização e reescrita.
  • Avaliação humana - Categórica: avaliadores classificam manualmente as saídas do modelo por rótulo. É adequada para cenários que exigem julgamento subjetivo, como tom e estilo, e revisão de conformidade.

Tipo de dimensão

Método de avaliação

Cenários aplicáveis

Resposta de referência necessária

Nível de automação

Avaliação por LLM - Categórica

Modelo avaliador classifica por rótulo

Segurança de conteúdo, correção das respostas

Não

Totalmente automatizada

Avaliação por LLM - Numérica

Modelo avaliador pontua por intervalo

Qualidade de Q&A, qualidade de geração

Não

Totalmente automatizada

Avaliação por regras - Correspondência de strings

Correspondência exata/parcial de strings

Function Calling, NL2SQL

Sim

Totalmente automatizada

Avaliação por regras - Similaridade de texto

BLEU/ROUGE/Cosseno e outros algoritmos

Tradução, sumarização, reescrita

Sim

Totalmente automatizada

Avaliação humana - Categórica

Revisão manual por rótulo

Tom e estilo, revisão de conformidade

Não

Manual

Ao selecionar um tipo de avaliador, você pode consultar o seguinte caminho de decisão:
  • Respostas padrão com formato fixo: prefira a avaliação por regras - correspondência de strings, que oferece o menor custo e a maior velocidade.
  • Respostas padrão com formulações variadas: use a avaliação por regras - similaridade de texto, que acomoda variações de formulação por meio de algoritmos.
  • Sem resposta padrão, com necessidade de compreensão semântica: use a avaliação por LLM (categórica ou numérica) e deixe que o modelo avaliador julgue no nível semântico.
  • Julgamento subjetivo ou revisão profissional necessária: use a avaliação humana - categórica, com avaliadores revisando cada item.
O Model Studio oferece modelos predefinidos para os tipos de avaliação por LLM e de avaliação por regras, que podem ser filtrados por tipo (Avaliação por LLM - Numérica, Avaliação por LLM - Categórica, Avaliação por regras) e por etiqueta (qualidade geral, correspondência de texto, similaridade de texto, segurança, classificação de texto). Após selecionar um, o prompt do avaliador e a configuração padrão são preenchidos automaticamente, o que é adequado para iniciar rapidamente cenários comuns. Para personalizar critérios de julgamento para lógica de negócios específica, você pode criar uma dimensão de avaliação personalizada e escrever o prompt manualmente. Após criar um modelo de dimensão, você pode referenciá-lo como critério de julgamento em tarefas de avaliação. Para mais informações sobre como criar e executar tarefas de avaliação, consulte Avaliação de modelos.

Criar um modelo de dimensão de avaliação

Faça login no console do Model Studio. No painel de navegação à esquerda, escolha Model Evaluation > Evaluation Dimensions e clique em Create Evaluation Dimension para abrir a caixa de diálogo de seleção: na lista de modelos predefinidos, filtre por tipo e etiqueta e clique em Use Template no cartão de um modelo para aplicá-lo com um clique; ou clique em + Create Custom Evaluation Dimension para entrar na página de configuração personalizada. Ao criar um modelo de dimensão de avaliação, primeiro preencha os seguintes campos comuns:
  • Nome da dimensão: obrigatório, no máximo 20 caracteres.
  • Descrição: opcional, no máximo 100 caracteres. Usada para complementar o objetivo de julgamento da dimensão.
  • Tipo: obrigatório. Selecione um dos cinco tipos de avaliador. O tipo de avaliador não pode ser alterado após a criação. Se você selecionar o errado, só é possível excluir e recriar.
A tabela a seguir lista os parâmetros comuns e os parâmetros específicos de cada tipo para a criação de um modelo de dimensão de avaliação.

Parâmetro

Descrição

Obrigatório

Descrição do valor

Nome da dimensão

Nome do modelo de dimensão de avaliação

Sim

No máximo 20 caracteres

Descrição

Explicação complementar da dimensão

Não

No máximo 100 caracteres

Tipo

Método de avaliação do avaliador, que não pode ser alterado após a criação

Sim

Selecione um dos 5 tipos

Modelo avaliador

O modelo de linguagem grande que realiza a avaliação

Obrigatório para os tipos de avaliação por LLM

Selecione na lista suspensa

Modelo de avaliador

O modelo de prompt que orienta o modelo avaliador

Obrigatório para os tipos de avaliação por LLM

Modelo predefinido ou personalizado

Intervalo de pontuação

Valores mínimo e máximo da pontuação numérica

Obrigatório para o tipo numérico

Inteiro, padrão 0~5

Limite de aprovação

Pontuação ou similaridade mínima para um julgamento de aprovação

Obrigatório para os tipos numérico/similaridade

Numérico

Após selecionar um tipo, a página exibe os itens de configuração específicos do tipo. O processo completo de criação de cada tipo é descrito abaixo.
Importante O tipo de avaliador não pode ser alterado após a criação. Se você selecionar o errado, só é possível excluir e recriar.
  • Avaliação por LLM - Categórica
  • Avaliação por LLM - Numérica
  • Avaliação por regras - Correspondência de strings
  • Avaliação por regras - Similaridade de texto
  • Avaliação humana - Categórica
A avaliação por LLM - Categórica usa o modelo avaliador para classificar as saídas do modelo por rótulo. Etapas completas de criação:
  1. Selecione um modelo avaliador: selecione na lista suspensa o modelo de linguagem grande usado para a avaliação.
  2. Selecione um modelo de avaliador: use Select Preset Template para escolher um modelo predefinido da plataforma (para os modelos predefinidos categóricos, consulte Modelos predefinidos) ou modifique por conta própria o prompt padrão do editor. Após selecionar um modelo predefinido, o sistema preenche automaticamente o prompt e os rótulos padrão. Para mais informações, consulte Configurar prompts de avaliador.
  3. Escreva o prompt do avaliador: o prompt deve conter pelo menos uma variável (${messages}, ${completion}, ${output}) e no máximo 20000 caracteres. O prompt define os critérios de julgamento e o formato de saída do modelo avaliador.
  4. Configure os rótulos de aprovação e os rótulos de reprovação: defina os rótulos de classificação para aprovação e reprovação, cada um com no máximo 20 caracteres. Os rótulos de aprovação e de reprovação não podem ser duplicados.
  5. Clique em Save.

Configurar prompts de avaliador

O prompt do avaliador é a instrução que orienta o modelo avaliador na avaliação da qualidade da saída. Ele se aplica apenas aos tipos de avaliação por LLM (categórica e numérica). Ao escrever o prompt, você define os critérios de julgamento e o formato de saída do modelo avaliador.

Variáveis do prompt

Os prompts de avaliador oferecem suporte às três variáveis a seguir, que o sistema substitui automaticamente pelos valores reais durante a execução da avaliação (digite / no editor de prompt para referenciar rapidamente as variáveis):
  • ${messages}: o conteúdo completo da conversa. Para conjuntos de avaliação de conversas de múltiplas rodadas (ChatML), corresponde a todas as mensagens; para conjuntos de avaliação de rodada única (prompt&completion), corresponde à entrada do usuário.
  • ${completion}: a resposta de referência, ou seja, a resposta de referência predefinida no conjunto de dados de avaliação (para conjuntos de múltiplas rodadas, a última mensagem assistant).
  • ${output}: a saída do modelo em avaliação, ou seja, a resposta do modelo avaliado à pergunta atual.
Use a sintaxe ${nome da variável} no prompt para referenciar variáveis. O prompt deve conter pelo menos uma variável; caso contrário, não poderá ser enviado.

Modelos predefinidos

O sistema oferece modelos de avaliador predefinidos para os tipos de avaliação por LLM. Após selecionar um, o conteúdo do prompt e a configuração padrão de rótulos são preenchidos automaticamente. A lista de modelos é recuperada dinamicamente da configuração do sistema. Na caixa de diálogo de criação de dimensões de avaliação, filtre por tipo (Avaliação por LLM - Numérica, Avaliação por LLM - Categórica, Avaliação por regras) e etiqueta (qualidade geral, correspondência de texto, similaridade de texto, segurança, classificação de texto) e clique em Use Template para aplicar um modelo. Modelos predefinidos para o tipo numérico (9):
  • Qualidade da tradução: avalia a qualidade geral com que a tradução reproduz o significado, o tom, a terminologia e a expressão do original.
  • Criatividade do conteúdo: avalia se a resposta apresenta expressões ou ideias novas e valiosas dentro dos requisitos da tarefa.
  • Integridade da identificação de riscos: avalia se a resposta identifica completamente os riscos-chave do plano ou do comportamento.
  • Proteção de privacidade: avalia se a resposta protege adequadamente informações pessoais, dados confidenciais e a privacidade do usuário.
  • Acionabilidade das sugestões: avalia se as sugestões da resposta são específicas, viáveis e capazes de orientar as próximas ações.
  • Utilidade das respostas: avalia se a resposta realmente ajuda o usuário a alcançar o objetivo atual.
  • Coerência lógica: avalia a estrutura argumentativa, a consistência interna e a coesão do raciocínio da resposta.
  • Concisão das respostas: avalia se a resposta evita redundâncias e cumpre a tarefa com a extensão necessária.
  • Fluência da linguagem: avalia se a resposta é natural, fluida e fácil de ler.
Modelos predefinidos para o tipo categórico (5):
  • Classificação do status de resolução do problema: determina se a resposta resolveu o problema atual do usuário.
  • Classificação da respondabilidade da pergunta: determina se a pergunta atual pode ser respondida diretamente com base nas informações fornecidas.
  • Classificação de risco de segurança: identifica se a resposta é segura, apresenta riscos potenciais ou contém conteúdo de alto risco.
  • Classificação da intenção do usuário: identifica a demanda principal do usuário na conversa completa.
  • Classificação de tendência de sentimento: marca a resposta em avaliação como positiva, neutra ou negativa.
A avaliação por regras também oferece modelos predefinidos (etiquetas como correspondência de texto e similaridade de texto), e a lista é recuperada dinamicamente da configuração do sistema.

Escrever um prompt personalizado

Ao selecionar o modelo personalizado, escreva as diretrizes de pontuação na área de edição do prompt. Pontos principais:
  • Use as variáveis ${messages}, ${completion} e ${output} para referenciar os dados de avaliação.
  • Defina claramente os critérios de pontuação. Para o tipo categórico, defina as condições de julgamento de cada rótulo; para o tipo numérico, defina o padrão de qualidade correspondente a cada pontuação.
  • Especifique os requisitos de formato de saída para garantir que os resultados da avaliação do modelo avaliador possam ser analisados corretamente pelo sistema.
A seguir, um exemplo de prompt personalizado para a avaliação por LLM - Categórica: Avalie a qualidade da resposta do modelo a seguir. Conversa completa: ${messages}, resposta do modelo: ${output}, resposta de referência: ${completion}. Critérios de pontuação: se a resposta contiver os elementos centrais da resposta de referência e não tiver erros factuais, julgue-a como Aprovado; se a resposta omitir informações importantes ou contiver erros factuais, julgue-a como Reprovado. Produza apenas Aprovado ou Reprovado. Trocar de modelo de avaliador substitui o conteúdo atual do prompt. Faça backup do conteúdo editado manualmente antes de trocar. O prompt personalizado oferece os seguintes recursos auxiliares:
  • Otimização por IA: clique em Optimize na barra de ferramentas do editor de prompt e o sistema gerará uma versão otimizada com base no prompt atual; na caixa de diálogo, você pode usar imediatamente, gerar novamente ou sair.
  • Execução de teste: após concluir a configuração, clique em Start Run na área de execução de teste para validar o efeito de pontuação com dados de exemplo; os resultados da execução são exibidos à direita. A execução de teste e as chamadas ao modelo avaliador são gratuitas por tempo limitado.

Gerenciar modelos de dimensão de avaliação

Na página de lista de dimensões de avaliação, você pode visualizar, modificar e excluir os modelos de dimensão que criou.

Visualizar dimensões

A página de lista de dimensões exibe todos os modelos de dimensão criados e oferece suporte às seguintes operações:
  • Pesquisar por nome: insira uma palavra-chave do nome da dimensão na caixa de pesquisa para uma consulta difusa.
  • Filtrar por tipo: clique no ícone de filtro no cabeçalho da coluna Type para filtrar selecionando vários tipos de avaliador.
  • Ordenar por hora de criação: clique em Sort by creation time para alternar entre ordem crescente e decrescente.
Clique no nome de uma dimensão de destino na lista de dimensões para ir à página de detalhes e visualizar a configuração completa da dimensão (incluindo tipo de avaliador, prompt, rótulos, intervalo de pontuação, entre outros).

Modificar dimensões

Na página de detalhes da dimensão, você pode modificar o nome da dimensão, a descrição, o prompt do avaliador, os rótulos e outros itens de configuração. O tipo de avaliador não pode ser alterado após a criação. As alterações entram em vigor imediatamente após salvar.

Excluir dimensões

Clique no botão Delete na coluna de operações da dimensão de destino na lista de dimensões. A operação de exclusão é irreversível. Se a dimensão for referenciada por uma tarefa de avaliação, ela não poderá ser excluída. Você deve remover as tarefas de avaliação associadas antes de excluir a dimensão.

Recomendações de design das dimensões de avaliação

Projetar dimensões de avaliação de alta qualidade ajuda a medir com precisão o desempenho do modelo. A seguir, as principais recomendações da prática.

Seleção e iteração de tipos

Selecione um tipo adequado de acordo com o cenário de avaliação: prefira a avaliação por regras para cenários com respostas padrão (baixo custo e alta velocidade), use a avaliação por LLM para cenários que exigem compreensão semântica e use a avaliação humana para julgamentos subjetivos de qualidade. Para uma comparação detalhada dos tipos, consulte Visão geral das dimensões de avaliação. Recomendamos criar primeiro dimensões com modelos predefinidos e executar uma avaliação em uma pequena amostra (10~20 entradas de dados) para verificar o efeito. Com base nos casos com grandes desvios nos resultados da avaliação, ajuste de forma direcionada os critérios de julgamento e as definições de pontuação do prompt e escale a avaliação após a verificação. Faça a transição gradual dos modelos predefinidos para prompts personalizados.

Recomendações de configuração de parâmetros

Os rótulos de aprovação e de reprovação devem ser mutuamente exclusivos e coletivamente exaustivos, ou seja, todas as saídas possíveis podem ser classificadas em um deles. A classificação binária é suficiente para cenários simples; quando vários rótulos são necessários para cenários complexos, mantenha o número de rótulos baixo para reduzir a ambiguidade do julgamento. Para a avaliação por LLM - Numérica, recomendamos um intervalo de pontuação de no máximo 10 (um intervalo excessivamente grande reduz a consistência de pontuação do LLM). O intervalo padrão de 0~5 com um limite de aprovação de 3 é uma configuração comum. Defina o limite de aprovação de acordo com a tolerância do negócio à qualidade: quanto maior o limite, mais rigoroso o padrão de aprovação. Selecione um algoritmo de similaridade adequado de acordo com o tipo de tarefa de avaliação:
  • Tarefas de tradução: BLEU (mede a correspondência exata de n-gramas).
  • Tarefas de sumarização: ROUGE-L (mede a maior subsequência comum).
  • Relevância semântica: similaridade de cosseno (mede a distância de vetores semânticos).
  • Tarefas de classificação: Acurácia (mede a taxa de correspondência exata).

Convenções de nomenclatura

Recomendamos o padrão de nomenclatura "aspecto avaliado + método de avaliação", como "Precisão das respostas - pontuação por LLM", "Tendência de sentimento - classificação por rótulo" e "Conformidade de formato - correspondência de strings". Uma nomenclatura clara ajuda a identificar e selecionar rapidamente as dimensões nas tarefas de avaliação.

Perguntas frequentes

A seguir, problemas comuns e soluções ao usar o recurso de dimensões de avaliação.
O tipo de avaliador não pode ser alterado após a criação. Só é possível excluir o modelo de dimensão e recriá-lo. Se a dimensão for referenciada por uma tarefa de avaliação, você deve remover as tarefas de avaliação associadas antes de excluí-la.
Um modelo de dimensão não pode ser excluído quando é referenciado por tarefas de avaliação. Exclua ou modifique primeiro, na lista de tarefas de avaliação, as tarefas que referenciam a dimensão e, em seguida, exclua o modelo de dimensão.
O prompt do avaliador deve conter pelo menos uma variável (${messages}, ${completion} ou ${output}). Verifique o conteúdo do prompt e certifique-se de que as variáveis sejam referenciadas corretamente no formato ${nome da variável}.
Verifique se os rótulos de aprovação e de reprovação estão duplicados. O mesmo rótulo não pode aparecer tanto em Aprovado quanto em Reprovado, e os rótulos dentro de Aprovado ou dentro de Reprovado também não podem ser duplicados.
Este é o comportamento esperado. Trocar de modelo substitui o prompt pelo conteúdo predefinido do modelo. Se você tiver conteúdo de prompt personalizado importante, faça backup antes de trocar de modelo.
A criação e o gerenciamento de modelos de dimensões de avaliação são gratuitos. No entanto, durante a execução das tarefas de avaliação, o tipo de avaliação por LLM chama o modelo avaliador para inferência, e as taxas de inferência resultantes são cobradas de acordo com o padrão de cobrança do modelo avaliador.