O Roteamento Inteligente de Modelos analisa dinamicamente o conteúdo da solicitação e seleciona automaticamente o modelo mais adequado do conjunto candidato, ajudando as empresas a alcançar a alocação ideal de recursos de IA em cenários complexos.
Visão geral
O model-code tem um prefixo fixo auto-model seguido por 8 caracteres aleatórios (por exemplo, auto-model-abcd1234). O cliente chama este model-code → o roteamento analisa dinamicamente o conteúdo da solicitação e corresponde ao modelo mais adequado do conjunto de candidatos → o modelo real faz a inferência → resposta (o corpo marca o modelo em execução real e retém o uso real de tokens).
Escopo:
| Dimensão | Descrição |
|---|---|
| Região | Pequim (cn-beijing) + Singapura (ap-southeast-1) |
| Tipo de modelo | Apenas entrada de texto |
| Protocolo de chamada | A interface compatível com OpenAI (Chat Completions, Responses) e o protocolo Anthropic (Messages) são suportados; o protocolo DashScope nativo não é suportado |
| Faturamento | Pagamento conforme o uso |
| Limitação de taxa | Pelo modelo roteado real, no nível da conta e do workspace |
- Maximizar a eficácia do modelo: Corresponde automaticamente ao modelo ideal para cada tarefa, ideal para usuários com requisitos extremos de qualidade.
- Redução precisa de custos: Roteia tarefas simples para modelos leves e tarefas complexas para modelos avançados, evitando provisionamento excessivo e alcançando um alinhamento preciso entre custo e demanda.
- Eliminar a dificuldade de seleção de modelos: Não há necessidade de avaliação ou comparação manual de modelos; a plataforma seleciona automaticamente a solução ideal, reduzindo drasticamente a barreira de seleção de modelos.
- Curva de aprendizado mínima: Consistente com o acesso regular ao modelo; invoque via model-code sem alterações de código.
Criar um roteador de modelos
No console do Bailian, em "Model Inference > Dedicated Deployment", clique em Deploy New Model para entrar na página de criação e selecione Roteamento Inteligente em "Deployment Mode".
Pré-requisitos
- Um workspace do Bailian está ativado.
- A versão do modelo de rota alvo está publicada e a conta atual possui permissão de invocação para a versão e para os modelos candidatos.
Etapas
- Insira um Nome do Serviço (obrigatório, até 50 caracteres).
- Em Deployment Mode, selecione "Roteamento Inteligente".
- Em Versão do Modelo de Rota, selecione uma versão publicada (mantida pela plataforma).
- Em Estratégia de roteamento, selecione "Effect First" ou "Cost First".
- Em Conjunto de Modelos Candidatos, selecione os modelos candidatos (pelo menos 2).
- Clique em Confirm Deploy para concluir a criação.
model-code globalmente único (no formato auto-model-XXXXXXXX). O model-code não é reutilizado após a exclusão.
Estratégia de roteamento
A estratégia de roteamento determina qual modelo no conjunto de candidatos executa cada solicitação. Ambas as estratégias correspondem dinamicamente pelo conteúdo da solicitação (não é um roteamento fixo); a escolha é feita na criação.
Estratégia | Mecanismo de seleção | Cenários adequados |
|---|---|---|
Efeito Primeiro (EFFECT_FIRST) | Seleciona o modelo de maior efeito no conjunto de candidatos por solicitação | Negócios críticos, raciocínio complexo, geração de conteúdo de alta qualidade onde a qualidade é rigorosa |
Custo Primeiro (COST_FIRST) | Agenda inteligentemente modelos leves enquanto atende a um patamar mínimo de qualidade | Cenários sensíveis a custos, alta concorrência, latência e custo unitário |
Configuração do modelo candidato
O conjunto de modelos candidatos é o intervalo que o serviço de roteamento pode escolher. Ao criar um roteador de modelos, selecione os modelos para participar do roteamento na lista de candidatos na área Conjunto de Modelos Candidatos — pelo menos 2 modelos candidatos são necessários, caso contrário, a implantação será bloqueada.
- model-router-20260908
Modelo candidato | Entrada | Entrada em cache | Saída |
|---|---|---|---|
| $0.15 | $0.016 | $0.47 |
| $3 | $0.3 | $15 |
| 0-256K:$0.4 256k-1M:$1.2 | 0-256K:$0.08 256k-1M:$0.24 | 0-256K:$1.6 256k-1M:$4.8 |
| $0.44 | $0.044 | $1.32 |
| $0.22 | $0.022 | $0.66 |
| $2.5 | $0.5 | $7.5 |
| $1.4 | $0.28 | $4.4 |
| $1.32 | $0.132 | $3.96 |
| $0.66 | $0.066 | $1.98 |
| $2 | $0.25 | $6 |
| 0-32K:$0.03 256k-1M:$0.2 32k-256K:$0.1 | 0-32K:$0.006 256k-1M:$0.04 32k-256K:$0.02 | 0-32K:$0.13 256k-1M:$0.8 32k-256K:$0.4 |
Invocar um roteador de modelos
Uma vez criado, chamar um roteador de modelos é igual a chamar um modelo comum — basta substituir o parâmetro model na solicitação pelo model-code do roteador (por exemplo, auto-model-abcd1234); o cliente pode integrar sem alterações de código. Três opções de chamada são suportadas: a interface compatível com OpenAI (Chat Completions e Responses) e o protocolo Anthropic; os exemplos abaixo são agrupados por protocolo.
- Compatível com OpenAI (Chat Completions)
- Compatível com OpenAI (Responses)
- Protocolo Anthropic
model do corpo da resposta contém o identificador do modelo realmente chamado (use-o para verificar se o roteamento teve efeito); o corpo mantém o uso real de tokens, e o faturamento é feito pelo modelo realmente roteado.
Faturamento: O roteamento inteligente cobra pelo modelo real para o qual cada solicitação é roteada; o próprio modelo de roteamento é gratuito.
Failover automático
O Roteamento de Modelos possui um auto-failover integrado, habilitado por padrão sem necessidade de configuração. Quando o modelo alvo está indisponível, o serviço de roteamento reenvia toda a solicitação com outro modelo candidato, sem trocar durante a inferência.
Os seguintes erros NÃO acionam o auto-failover; os erros são repassados com as informações originais de erro do modelo real:
- 429 (limite de taxa)
- 400/403/404/500 e outros erros determinísticos (a troca de modelos provavelmente também falharia)
- Erros de tempo limite ou de rede
- Erros após o streaming começar a retornar conteúdo
Regras de filtragem em tempo real
O serviço de roteamento aplica filtragem em tempo real ao conjunto de candidatos:
- Filtra modelos que a conta atual não tem permissão para invocar.
- Filtra modelos que estão offline.
- Filtra modelos incompatíveis com os parâmetros da solicitação atual (por exemplo, se a solicitação contiver
response_format, apenas modelos candidatos que suportam esse parâmetro serão roteados).
Limites de uso
| Limite | Descrição |
|---|---|
| Protocolo de chamada | Interface compatível com OpenAI (Chat Completions, Responses) e protocolo Anthropic (Messages); o protocolo DashScope nativo não é suportado |
| Protocolo | Suportado |
|---|---|
| Interface compatível com OpenAI (Chat Completions) | ✓ |
| Interface compatível com OpenAI (Responses) | ✓ |
| Protocolo DashScope | ✗ |
| Protocolo Anthropic | ✓ |
| Tipo de solicitação | Apenas entrada de texto (Chat Completions, Responses e Messages são todos suportados); entrada de imagem e vídeo, geração de imagens, inferência em lote, Embedding/Rerank e outras interfaces não generativas não são suportadas |
| Comprimento do contexto | Limite superior = a janela de contexto mínima dos modelos do conjunto candidato; erros de contexto excessivamente longo ocorrem diretamente sem acionar o failover automático |
| Limitação de taxa | RPM/TPM limitado pelo modelo roteado real no nível da conta e do workspace; em caso de failover, apenas o consumo do modelo final bem-sucedido é contabilizado |
Observações sobre parâmetros
O roteamento inteligente filtra o conjunto de candidatos em tempo real conforme os parâmetros da solicitação e rejeita parâmetros não suportados (retornando um erro 400 no formato does not support parameter(s): <nome do parâmetro>). O suporte a parâmetros difere entre os três protocolos de chamada:
- Compatível com OpenAI (Chat Completions)
- Compatível com OpenAI (Responses)
- Protocolo Anthropic
response_format: Roteia apenas para modelos candidatos que suportam este parâmetro.enable_search: Roteia apenas para modelos candidatos que suportam este parâmetro.reasoning_effort: Roteia apenas para modelos candidatos que suportam este parâmetro por padrão; valores enum suportados:none,minimal,low,medium,high,xhigh,max; níveis não mínimos roteiam apenas para modelos sem pensamento.enable_thinking: Roteia apenas para modelos candidatos que suportam o modo de pensamento.
| Parâmetro | Descrição |
|---|---|
top_logprobs | Limite de logprobs retornados |
logit_bias | Viés de token |
stop | Sequência de parada |
tool_choice | Escolha de ferramenta |
parallel_tool_calls | Chamadas paralelas de ferramentas |
logprobs | Se deve retornar logprobs |
top_p | Amostragem por núcleo |
temperature | Temperatura de amostragem |
presence_penalty | Penalidade de presença |
n | Número de gerações |
thinking_budget | Comprimento do orçamento de raciocínio |
Cache
O roteamento inteligente não suporta cache explícito; ele suporta apenas o cache implícito fornecido pelo modelo real chamado.
Cache só é atingido quando uma solicitação é roteada para o mesmo modelo e o prefixo do prompt atende às condições de cache desse modelo.
Como diferentes solicitações podem ser roteadas para diferentes modelos, o roteamento inteligente não garante a taxa de acerto de cache.
Para detalhes sobre como o cache funciona e os modelos suportados, consulte Cache de Contexto.
Gerenciar serviço de rota
Ver detalhes
Após a implantação, clique no nome do serviço na lista de Dedicated Deployment para entrar na página de detalhes:
- Informações básicas: nome do serviço,
model-code, status de execução, tag de estratégia de roteamento. - Configuração da rota: versão do modelo de rota, estratégia de roteamento, conjunto de candidatos e lista de modelos candidatos.
- Faturamento: pagamento conforme o uso, cobrado pelo preço unitário do modelo real.
- Configuração de implantação: cota de limitação TPM/RPM de cada modelo candidato.
Modificar configuração de rota
Clique em "Editar" na área de Configuração da Rota para modificar a versão da rota, a estratégia e os modelos candidatos. A troca de versão altera o conjunto de candidatos, entrando em vigor em alguns minutos sem afetar solicitações ativas.
Após selecionar uma versão específica, o comportamento de roteamento online permanece estável a longo prazo; realize uma avaliação completa antes de atualizar para evitar impactos nos negócios. Versão atual: model-router-2026-0908. As versões de rota não são atualizadas automaticamente.
Excluir serviço
Exclui o serviço de roteamento de modelos da lista de Implantação Dedicada. model-code não é reutilizado após a exclusão.
Efeito do roteamento
Este capítulo aborda métricas de efeito de roteamento e monitoramento. As métricas de efeito são visualizadas na aba "Efeito do roteamento" da página de detalhes; o monitoramento de chamadas é visualizado na página de Model Monitoring.
Métricas de roteamento
Visualize as seguintes métricas na aba "Efeito do roteamento" da página de detalhes. As métricas exibidas são estimativas, apenas para referência; não servem para liquidação de faturamento; o faturamento real baseia-se em "Cost and Usage":
Métrica | Significado | Ação em anomalia |
|---|---|---|
Total de solicitações de roteamento | Total de solicitações recebidas (incluindo as com failover bem-sucedido) | Investigar limitações/anomalias upstream em picos |
Taxa de sucesso do roteamento | Solicitações encaminhadas ÷ total de solicitações × 100% | Em caso de queda, verifique a disponibilidade do modelo candidato |
Custo real do modelo (estimado) | Custo total estimado pelo preço de tabela do modelo real (faturamento escalonado: nível mais baixo; pico-vale: preço de pico; exclui cota gratuita; difere do faturamento real) | Em caso de aumento, verifique a estratégia de roteamento e o conjunto de candidatos |
Custo do modelo base (estimado) | Custo hipotético se tudo fosse processado pelo modelo base (mesma metodologia de estimativa) | — |
Economias | Custo base − custo real (positivo significa que o roteamento economizou custos) | — |
Contagem de solicitações faturadas | Solicitações bem-sucedidas que geram cobranças | — |
Participação nos gastos | Custo de modelo único ÷ custo total | Em caso de anomalia, verifique a distribuição do conjunto de candidatos |
Notas sobre custos
Os dados de análise de custos têm um atraso aproximado de 1 hora e não são em tempo real.
Os custos acima são todos estimados pelo preço de catálogo como custo total, excluindo descontos da conta e cotas gratuitas, apenas para referência na avaliação das economias de roteamento.
Modelos com faturamento escalonado usam o preço de catálogo do nível mais baixo; modelos com precificação pico-vale usam preços de pico.
O faturamento real pode ser visualizado em "Custos e Uso".
Monitoramento de modelos
Para um monitoramento de chamadas mais granular, acesse a página de Monitoramento de Modelos.
Ela mostra o monitoramento e logs de modelos na dimensão auto-model, não o monitoramento individual dos modelos realmente roteados.