Este tópico descreve como criar e gerenciar modelos de dimensões de avaliação.
Visão geral das dimensões de avaliação
As dimensões de avaliação definem as regras de pontuação das tarefas de avaliação de modelos. Cada dimensão é configurada com um avaliador (scorer). Após ser criada como modelo, ela pode ser referenciada por várias tarefas de avaliação, permitindo o gerenciamento unificado e a reutilização dos critérios de avaliação.
A plataforma Model Studio oferece os cinco tipos de avaliador a seguir, cobrindo três grandes paradigmas de avaliação: avaliação automática baseada em LLM, correspondência de regras e revisão humana:
- Avaliação por LLM - Categórica: o modelo avaliador classifica as saídas do modelo de acordo com rótulos definidos pelo usuário (Aprovado/Reprovado). É adequada para cenários que exigem compreensão semântica, como verificações de segurança de conteúdo e julgamento da correção das respostas.
- Avaliação por LLM - Numérica: o modelo avaliador atribui pontuações numéricas contínuas às saídas do modelo (por exemplo, 0~5). É adequada para cenários que exigem quantificação refinada, como avaliação da qualidade de perguntas e respostas e pontuação da qualidade de geração de conteúdo.
- Avaliação por regras - Correspondência de strings: determina programaticamente a relação de correspondência exata (igual/diferente/contém) entre a saída do modelo e o texto de referência. É adequada para cenários com respostas padrão determinísticas, como Function Calling e NL2SQL.
- Avaliação por regras - Similaridade de texto: usa algoritmos para calcular a similaridade entre a saída do modelo e o texto de referência (BLEU/ROUGE/Cosseno, entre outros). É adequada para quantificar a similaridade de respostas abertas, como tradução, sumarização e reescrita.
- Avaliação humana - Categórica: avaliadores classificam manualmente as saídas do modelo por rótulo. É adequada para cenários que exigem julgamento subjetivo, como tom e estilo, e revisão de conformidade.
Tipo de dimensão | Método de avaliação | Cenários aplicáveis | Resposta de referência necessária | Nível de automação |
|---|---|---|---|---|
Avaliação por LLM - Categórica | Modelo avaliador classifica por rótulo | Segurança de conteúdo, correção das respostas | Não | Totalmente automatizada |
Avaliação por LLM - Numérica | Modelo avaliador pontua por intervalo | Qualidade de Q&A, qualidade de geração | Não | Totalmente automatizada |
Avaliação por regras - Correspondência de strings | Correspondência exata/parcial de strings | Function Calling, NL2SQL | Sim | Totalmente automatizada |
Avaliação por regras - Similaridade de texto | BLEU/ROUGE/Cosseno e outros algoritmos | Tradução, sumarização, reescrita | Sim | Totalmente automatizada |
Avaliação humana - Categórica | Revisão manual por rótulo | Tom e estilo, revisão de conformidade | Não | Manual |
- Respostas padrão com formato fixo: prefira a avaliação por regras - correspondência de strings, que oferece o menor custo e a maior velocidade.
- Respostas padrão com formulações variadas: use a avaliação por regras - similaridade de texto, que acomoda variações de formulação por meio de algoritmos.
- Sem resposta padrão, com necessidade de compreensão semântica: use a avaliação por LLM (categórica ou numérica) e deixe que o modelo avaliador julgue no nível semântico.
- Julgamento subjetivo ou revisão profissional necessária: use a avaliação humana - categórica, com avaliadores revisando cada item.
Criar um modelo de dimensão de avaliação
Faça login no console do Model Studio. No painel de navegação à esquerda, escolha Model Evaluation > Evaluation Dimensions e clique em Create Evaluation Dimension para abrir a caixa de diálogo de seleção: na lista de modelos predefinidos, filtre por tipo e etiqueta e clique em Use Template no cartão de um modelo para aplicá-lo com um clique; ou clique em + Create Custom Evaluation Dimension para entrar na página de configuração personalizada.
Ao criar um modelo de dimensão de avaliação, primeiro preencha os seguintes campos comuns:
- Nome da dimensão: obrigatório, no máximo 20 caracteres.
- Descrição: opcional, no máximo 100 caracteres. Usada para complementar o objetivo de julgamento da dimensão.
- Tipo: obrigatório. Selecione um dos cinco tipos de avaliador. O tipo de avaliador não pode ser alterado após a criação. Se você selecionar o errado, só é possível excluir e recriar.
Parâmetro | Descrição | Obrigatório | Descrição do valor |
|---|---|---|---|
Nome da dimensão | Nome do modelo de dimensão de avaliação | Sim | No máximo 20 caracteres |
Descrição | Explicação complementar da dimensão | Não | No máximo 100 caracteres |
Tipo | Método de avaliação do avaliador, que não pode ser alterado após a criação | Sim | Selecione um dos 5 tipos |
Modelo avaliador | O modelo de linguagem grande que realiza a avaliação | Obrigatório para os tipos de avaliação por LLM | Selecione na lista suspensa |
Modelo de avaliador | O modelo de prompt que orienta o modelo avaliador | Obrigatório para os tipos de avaliação por LLM | Modelo predefinido ou personalizado |
Intervalo de pontuação | Valores mínimo e máximo da pontuação numérica | Obrigatório para o tipo numérico | Inteiro, padrão 0~5 |
Limite de aprovação | Pontuação ou similaridade mínima para um julgamento de aprovação | Obrigatório para os tipos numérico/similaridade | Numérico |
Importante O tipo de avaliador não pode ser alterado após a criação. Se você selecionar o errado, só é possível excluir e recriar.
- Avaliação por LLM - Categórica
- Avaliação por LLM - Numérica
- Avaliação por regras - Correspondência de strings
- Avaliação por regras - Similaridade de texto
- Avaliação humana - Categórica
- Selecione um modelo avaliador: selecione na lista suspensa o modelo de linguagem grande usado para a avaliação.
- Selecione um modelo de avaliador: use Select Preset Template para escolher um modelo predefinido da plataforma (para os modelos predefinidos categóricos, consulte Modelos predefinidos) ou modifique por conta própria o prompt padrão do editor. Após selecionar um modelo predefinido, o sistema preenche automaticamente o prompt e os rótulos padrão. Para mais informações, consulte Configurar prompts de avaliador.
- Escreva o prompt do avaliador: o prompt deve conter pelo menos uma variável (${messages}, ${completion}, ${output}) e no máximo 20000 caracteres. O prompt define os critérios de julgamento e o formato de saída do modelo avaliador.
- Configure os rótulos de aprovação e os rótulos de reprovação: defina os rótulos de classificação para aprovação e reprovação, cada um com no máximo 20 caracteres. Os rótulos de aprovação e de reprovação não podem ser duplicados.
- Clique em Save.
Configurar prompts de avaliador
O prompt do avaliador é a instrução que orienta o modelo avaliador na avaliação da qualidade da saída. Ele se aplica apenas aos tipos de avaliação por LLM (categórica e numérica). Ao escrever o prompt, você define os critérios de julgamento e o formato de saída do modelo avaliador.
Variáveis do prompt
Os prompts de avaliador oferecem suporte às três variáveis a seguir, que o sistema substitui automaticamente pelos valores reais durante a execução da avaliação (digite / no editor de prompt para referenciar rapidamente as variáveis):
- ${messages}: o conteúdo completo da conversa. Para conjuntos de avaliação de conversas de múltiplas rodadas (ChatML), corresponde a todas as mensagens; para conjuntos de avaliação de rodada única (prompt&completion), corresponde à entrada do usuário.
- ${completion}: a resposta de referência, ou seja, a resposta de referência predefinida no conjunto de dados de avaliação (para conjuntos de múltiplas rodadas, a última mensagem assistant).
- ${output}: a saída do modelo em avaliação, ou seja, a resposta do modelo avaliado à pergunta atual.
Modelos predefinidos
O sistema oferece modelos de avaliador predefinidos para os tipos de avaliação por LLM. Após selecionar um, o conteúdo do prompt e a configuração padrão de rótulos são preenchidos automaticamente. A lista de modelos é recuperada dinamicamente da configuração do sistema. Na caixa de diálogo de criação de dimensões de avaliação, filtre por tipo (Avaliação por LLM - Numérica, Avaliação por LLM - Categórica, Avaliação por regras) e etiqueta (qualidade geral, correspondência de texto, similaridade de texto, segurança, classificação de texto) e clique em Use Template para aplicar um modelo.
Modelos predefinidos para o tipo numérico (9):
- Qualidade da tradução: avalia a qualidade geral com que a tradução reproduz o significado, o tom, a terminologia e a expressão do original.
- Criatividade do conteúdo: avalia se a resposta apresenta expressões ou ideias novas e valiosas dentro dos requisitos da tarefa.
- Integridade da identificação de riscos: avalia se a resposta identifica completamente os riscos-chave do plano ou do comportamento.
- Proteção de privacidade: avalia se a resposta protege adequadamente informações pessoais, dados confidenciais e a privacidade do usuário.
- Acionabilidade das sugestões: avalia se as sugestões da resposta são específicas, viáveis e capazes de orientar as próximas ações.
- Utilidade das respostas: avalia se a resposta realmente ajuda o usuário a alcançar o objetivo atual.
- Coerência lógica: avalia a estrutura argumentativa, a consistência interna e a coesão do raciocínio da resposta.
- Concisão das respostas: avalia se a resposta evita redundâncias e cumpre a tarefa com a extensão necessária.
- Fluência da linguagem: avalia se a resposta é natural, fluida e fácil de ler.
- Classificação do status de resolução do problema: determina se a resposta resolveu o problema atual do usuário.
- Classificação da respondabilidade da pergunta: determina se a pergunta atual pode ser respondida diretamente com base nas informações fornecidas.
- Classificação de risco de segurança: identifica se a resposta é segura, apresenta riscos potenciais ou contém conteúdo de alto risco.
- Classificação da intenção do usuário: identifica a demanda principal do usuário na conversa completa.
- Classificação de tendência de sentimento: marca a resposta em avaliação como positiva, neutra ou negativa.
Escrever um prompt personalizado
Ao selecionar o modelo personalizado, escreva as diretrizes de pontuação na área de edição do prompt. Pontos principais:
- Use as variáveis ${messages}, ${completion} e ${output} para referenciar os dados de avaliação.
- Defina claramente os critérios de pontuação. Para o tipo categórico, defina as condições de julgamento de cada rótulo; para o tipo numérico, defina o padrão de qualidade correspondente a cada pontuação.
- Especifique os requisitos de formato de saída para garantir que os resultados da avaliação do modelo avaliador possam ser analisados corretamente pelo sistema.
- Otimização por IA: clique em Optimize na barra de ferramentas do editor de prompt e o sistema gerará uma versão otimizada com base no prompt atual; na caixa de diálogo, você pode usar imediatamente, gerar novamente ou sair.
- Execução de teste: após concluir a configuração, clique em Start Run na área de execução de teste para validar o efeito de pontuação com dados de exemplo; os resultados da execução são exibidos à direita. A execução de teste e as chamadas ao modelo avaliador são gratuitas por tempo limitado.
Gerenciar modelos de dimensão de avaliação
Na página de lista de dimensões de avaliação, você pode visualizar, modificar e excluir os modelos de dimensão que criou.
Visualizar dimensões
A página de lista de dimensões exibe todos os modelos de dimensão criados e oferece suporte às seguintes operações:
- Pesquisar por nome: insira uma palavra-chave do nome da dimensão na caixa de pesquisa para uma consulta difusa.
- Filtrar por tipo: clique no ícone de filtro no cabeçalho da coluna Type para filtrar selecionando vários tipos de avaliador.
- Ordenar por hora de criação: clique em Sort by creation time para alternar entre ordem crescente e decrescente.
Modificar dimensões
Na página de detalhes da dimensão, você pode modificar o nome da dimensão, a descrição, o prompt do avaliador, os rótulos e outros itens de configuração. O tipo de avaliador não pode ser alterado após a criação. As alterações entram em vigor imediatamente após salvar.
Excluir dimensões
Clique no botão Delete na coluna de operações da dimensão de destino na lista de dimensões. A operação de exclusão é irreversível. Se a dimensão for referenciada por uma tarefa de avaliação, ela não poderá ser excluída. Você deve remover as tarefas de avaliação associadas antes de excluir a dimensão.
Recomendações de design das dimensões de avaliação
Projetar dimensões de avaliação de alta qualidade ajuda a medir com precisão o desempenho do modelo. A seguir, as principais recomendações da prática.
Seleção e iteração de tipos
Selecione um tipo adequado de acordo com o cenário de avaliação: prefira a avaliação por regras para cenários com respostas padrão (baixo custo e alta velocidade), use a avaliação por LLM para cenários que exigem compreensão semântica e use a avaliação humana para julgamentos subjetivos de qualidade. Para uma comparação detalhada dos tipos, consulte Visão geral das dimensões de avaliação.
Recomendamos criar primeiro dimensões com modelos predefinidos e executar uma avaliação em uma pequena amostra (10~20 entradas de dados) para verificar o efeito. Com base nos casos com grandes desvios nos resultados da avaliação, ajuste de forma direcionada os critérios de julgamento e as definições de pontuação do prompt e escale a avaliação após a verificação. Faça a transição gradual dos modelos predefinidos para prompts personalizados.
Recomendações de configuração de parâmetros
Os rótulos de aprovação e de reprovação devem ser mutuamente exclusivos e coletivamente exaustivos, ou seja, todas as saídas possíveis podem ser classificadas em um deles. A classificação binária é suficiente para cenários simples; quando vários rótulos são necessários para cenários complexos, mantenha o número de rótulos baixo para reduzir a ambiguidade do julgamento.
Para a avaliação por LLM - Numérica, recomendamos um intervalo de pontuação de no máximo 10 (um intervalo excessivamente grande reduz a consistência de pontuação do LLM). O intervalo padrão de 0~5 com um limite de aprovação de 3 é uma configuração comum. Defina o limite de aprovação de acordo com a tolerância do negócio à qualidade: quanto maior o limite, mais rigoroso o padrão de aprovação.
Selecione um algoritmo de similaridade adequado de acordo com o tipo de tarefa de avaliação:
- Tarefas de tradução: BLEU (mede a correspondência exata de n-gramas).
- Tarefas de sumarização: ROUGE-L (mede a maior subsequência comum).
- Relevância semântica: similaridade de cosseno (mede a distância de vetores semânticos).
- Tarefas de classificação: Acurácia (mede a taxa de correspondência exata).
Convenções de nomenclatura
Recomendamos o padrão de nomenclatura "aspecto avaliado + método de avaliação", como "Precisão das respostas - pontuação por LLM", "Tendência de sentimento - classificação por rótulo" e "Conformidade de formato - correspondência de strings". Uma nomenclatura clara ajuda a identificar e selecionar rapidamente as dimensões nas tarefas de avaliação.
Perguntas frequentes
A seguir, problemas comuns e soluções ao usar o recurso de dimensões de avaliação.
Problema: Após criar um modelo de dimensão de avaliação, descobri que o tipo de avaliador errado foi selecionado.
Problema: Após criar um modelo de dimensão de avaliação, descobri que o tipo de avaliador errado foi selecionado.
Problema: Uma mensagem é exibida quando excluo um modelo de dimensão, indicando que ele não pode ser excluído.
Problema: Uma mensagem é exibida quando excluo um modelo de dimensão, indicando que ele não pode ser excluído.
Problema: Quando envio um prompt de avaliador, o sistema avisa que faltam variáveis.
Problema: Quando envio um prompt de avaliador, o sistema avisa que faltam variáveis.
Problema: O envio falha após eu configurar os rótulos de Aprovado/Reprovado.
Problema: O envio falha após eu configurar os rótulos de Aprovado/Reprovado.
Problema: Após trocar de modelo de avaliador, o conteúdo do prompt que editei manualmente desaparece.
Problema: Após trocar de modelo de avaliador, o conteúdo do prompt que editei manualmente desaparece.
Problema: O uso de dimensões de avaliação do tipo de avaliação por LLM gera cobranças?
Problema: O uso de dimensões de avaliação do tipo de avaliação por LLM gera cobranças?