Skip to main content

Routage de modèles

Le routage intelligent de modèles analyse dynamiquement le contenu des requêtes et associe automatiquement le modèle le plus approprié de l'ensemble candidat, aidant ainsi les entreprises à optimiser l'allocation des ressources IA dans des scénarios complexes.

Vue d'ensemble

Le model-code possède un préfixe fixe auto-model suivi de 8 caractères aléatoires (par exemple, auto-model-abcd1234). Le client appelle ce model-code → le routage analyse dynamiquement le contenu de la requête et sélectionne le modèle le plus approprié dans l'ensemble des candidats → le modèle réel effectue l'inférence → réponse (le corps indique le modèle réellement exécuté et conserve l'utilisation réelle des tokens). Portée :
DimensionDescription
RégionPékin (cn-beijing) + Singapour (ap-southeast-1)
Type de modèleEntrée texte uniquement
Protocole d'appelL'interface compatible OpenAI (Chat Completions, Responses) et le protocole Anthropic (Messages) sont pris en charge ; le protocole DashScope natif n'est pas pris en charge
FacturationPaiement à l'usage
Limitation du débitSelon le modèle routé réel, au niveau du compte et de l'espace de travail
Avantages clés :
  • Maximiser l'efficacité du modèle : Associe automatiquement le modèle optimal à chaque tâche, idéal pour les utilisateurs ayant des exigences de qualité extrêmes.
  • Réduction précise des coûts : Route les tâches simples vers des modèles légers et les tâches complexes vers des modèles haut de gamme, évitant le surdimensionnement et assurant un alignement précis entre coût et demande.
  • Éliminer la difficulté de sélection des modèles : Pas besoin d'évaluation ou de comparaison manuelle des modèles ; la plateforme sélectionne automatiquement la solution optimale, réduisant considérablement la barrière de sélection des modèles.
  • Courbe d'apprentissage minimale : Identique à l'accès aux modèles classiques ; appel via model-code sans aucune modification de code.

Créer un routeur de modèles

Dans la console Bailian sous « Model Inference > Dedicated Deployment », cliquez sur Deploy New Model pour accéder à la page de création, puis sélectionnez Routage intelligent sous « Deployment Mode ».

Prérequis

  • Un espace de travail Bailian est activé.
  • La version du modèle de route cible est publiée et le compte actuel dispose de l'autorisation d'appel pour cette version et les modèles candidats.

Étapes

  1. Saisissez un Nom du service (obligatoire, jusqu'à 50 caractères).
  2. Sous Mode de déploiement, sélectionnez « Routage intelligent ».
  3. Dans Version du modèle de route, sélectionnez une version publiée (maintenue par la plateforme).
  4. Sous Stratégie de routage, sélectionnez « Priorité à l'effet » ou « Priorité au coût ».
  5. Sous Ensemble de modèles candidats, sélectionnez les modèles candidats (au moins 2).
  6. Cliquez sur Confirmer le déploiement pour terminer la création.
Après le déploiement, le système génère un model-code globalement unique (sous la forme auto-model-XXXXXXXX). Le model-code n'est pas réutilisé après la suppression.

Stratégie de routage

La stratégie de routage détermine quel modèle de l'ensemble des candidats exécute chaque requête. Les deux stratégies effectuent une correspondance dynamique en fonction du contenu de la requête (pas de routage fixe) ; le choix s'effectue lors de la création.

Stratégie

Mécanisme de sélection

Scénarios adaptés

Priorité à l'effet (EFFECT_FIRST)

Sélectionne le modèle le plus performant de l'ensemble des candidats pour chaque requête

Activités critiques, raisonnement complexe, génération de contenu de haute qualité où la qualité est stricte

Priorité au coût (COST_FIRST)

Planifie intelligemment les modèles légers tout en respectant un seuil de qualité minimal

Scénarios sensibles aux coûts, à forte concurrence, attentifs à la latence et au coût unitaire

Configuration des modèles candidats

L'ensemble des modèles candidats correspond à la plage parmi laquelle le service de routage peut choisir. Lors de la création d'un routeur de modèles, sélectionnez les modèles participant au routage dans la liste des candidats de la zone Ensemble de modèles candidats — au moins 2 modèles candidats sont requis, sinon le déploiement est bloqué.
Les utilisateurs RAM ne peuvent sélectionner que les modèles candidats pour lesquels ils disposent d'une autorisation d'appel — si moins de 2 sont sélectionnables, accordez d'abord à l'utilisateur RAM l'autorisation d'appel de modèle dans cet espace de travail.
La version du modèle de route est la forme de publication standardisée de la capacité de routage intelligent ; chaque version spécifie la gamme de modèles et les capacités principales prises en charge par le système de routage à ce stade. La liste des candidats est déterminée par la version du modèle de route sélectionnée — chaque version correspond à un ensemble de candidats ; la combinaison inter-versions n'est pas autorisée. La version du modèle de route actuellement publiée et les modèles candidats :
  • model-router-20260908

Modèle candidat

Entrée

Entrée en cache

Sortie

qwen3.8-flash

$0.15

$0.016

$0.47

kimi-k3

$3

$0.3

$15

qwen3.7-plus

0-256K:$0.4

256k-1M:$1.2

0-256K:$0.08

256k-1M:$0.24

0-256K:$1.6

256k-1M:$4.8

deepseek-v4-flash-0731(heures pleines)

$0.44

$0.044

$1.32

deepseek-v4-flash-0731(heures creuses)

$0.22

$0.022

$0.66

qwen3.7-max

$2.5

$0.5

$7.5

glm-5.2

$1.4

$0.28

$4.4

deepseek-v4-pro-0813(heures pleines)

$1.32

$0.132

$3.96

deepseek-v4-pro-0813(heures creuses)

$0.66

$0.066

$1.98

qwen3.8-max

$2

$0.25

$6

qwen3.7-flash

0-32K:$0.03

256k-1M:$0.2

32k-256K:$0.1

0-32K:$0.006

256k-1M:$0.04

32k-256K:$0.02

0-32K:$0.13

256k-1M:$0.8

32k-256K:$0.4

Le tableau indique les prix d'appel des modèles candidats (USD par million de tokens). La série deepseek-v4 utilise une tarification horaire heures pleines/heures creuses. Tous les modèles candidats prennent en charge le mode de réflexion ; les tokens de réflexion sont facturés au prix de sortie.
Lors de la sélection des modèles candidats, notez les limites de quota de chaque modèle pour éviter d'être limité lors du routage vers un modèle en raison d'un quota insuffisant. Choisissez des modèles disposant d'un quota suffisant ou augmentez le quota RPM/TPM du compte pour les modèles concernés avant la création.

Appeler un routeur de modèles

Une fois créé, l'appel d'un routeur de modèles est identique à celui d'un modèle classique — il suffit de remplacer le paramètre model dans la requête par le model-code du routeur (par exemple, auto-model-abcd1234) ; le client peut s'intégrer sans aucune modification de code. Trois options d'appel sont prises en charge : l'interface compatible OpenAI (Chat Completions et Responses) et le protocole Anthropic ; les exemples ci-dessous sont regroupés par protocole.
  • Compatible OpenAI (Chat Completions)
  • Compatible OpenAI (Responses)
  • Protocole Anthropic
curl
curl -X POST https://{WorkspaceId}.{region}.maas.aliyuncs.com/compatible-mode/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "auto-model-abcd1234",
    "messages": [{"role": "user", "content": "你好"}]
  }'
Réponse : le champ model du corps de réponse contient l'identifiant du modèle réellement appelé (utilisez-le pour vérifier que le routage a bien fonctionné) ; le corps conserve l'utilisation réelle des tokens, et la facturation est effectuée selon le modèle réellement routé. Facturation : Le routage intelligent facture selon le modèle réel vers lequel chaque requête est routée ; le modèle de routage lui-même est gratuit.

Basculement automatique

Le routage de modèles intègre un basculement automatique, activé par défaut sans configuration. Lorsque le modèle cible est indisponible, le service de routage réémet la requête entière avec un autre modèle candidat, sans changer de modèle en cours d'inférence. Les éléments suivants ne déclenchent PAS le basculement automatique ; les erreurs sont transmises avec les informations d'erreur d'origine du modèle réel :
  • 429 (limite de taux)
  • 400/403/404/500 et autres erreurs déterministes (le changement de modèle échouerait probablement aussi)
  • Erreurs de délai d'attente ou de réseau
  • Erreurs après que le streaming a commencé à renvoyer du contenu
Le basculement automatique n'entraîne pas de double facturation : modèle A → basculement automatique → modèle B réussit, seul le modèle B est facturé.

Règles de filtrage en temps réel

Le service de routage applique un filtrage en temps réel à l'ensemble des candidats :
  • Filtre les modèles que le compte actuel n'a pas l'autorisation d'appeler.
  • Filtre les modèles qui sont hors ligne.
  • Filtre les modèles incompatibles avec les paramètres de la requête actuelle (par exemple, si la requête contient response_format, seuls les modèles candidats prenant en charge ce paramètre sont routés).
Le sous-ensemble réellement sélectionnable pour une seule requête change dynamiquement en fonction des autorisations, de l'état du modèle et des paramètres de la requête.

Limites d'utilisation

LimiteDescription
Protocole d'appelInterface compatible OpenAI (Chat Completions, Responses) et protocole Anthropic (Messages) ; le protocole DashScope natif n'est pas pris en charge
Prise en charge des protocoles :
ProtocolePris en charge
Interface compatible OpenAI (Chat Completions)✓
Interface compatible OpenAI (Responses)✓
Protocole DashScope✗
Protocole Anthropic✓
Type de requêteEntrée texte uniquement (Chat Completions, Responses et Messages sont tous pris en charge) ; les entrées image et vidéo, la génération d'images, l'inférence par lot, l'Embedding/Rerank et les autres interfaces non génératives ne sont pas pris en charge
Longueur du contexteLimite supérieure = la fenêtre de contexte minimale des modèles de l'ensemble candidat ; les erreurs de contexte trop long surviennent directement sans déclencher le basculement automatique
Limitation du débitRPM/TPM limité par le modèle routé réel au niveau du compte et de l'espace de travail ; lors d'un basculement, seule la consommation du modèle final ayant réussi est comptabilisée

Notes sur les paramètres

Le routage intelligent filtre l'ensemble des candidats en temps réel selon les paramètres de la requête et rejette les paramètres non pris en charge (en renvoyant une erreur 400 sous la forme does not support parameter(s): <nom du paramètre>). La prise en charge des paramètres diffère selon les trois protocoles d'appel :
  • Compatible OpenAI (Chat Completions)
  • Compatible OpenAI (Responses)
  • Protocole Anthropic
  • response_format : Route uniquement vers les modèles candidats prenant en charge ce paramètre.
  • enable_search : Route uniquement vers les modèles candidats prenant en charge ce paramètre.
  • reasoning_effort : Route par défaut uniquement vers les modèles candidats prenant en charge ce paramètre ; valeurs d'énumération prises en charge : none, minimal, low, medium, high, xhigh, max ; les niveaux non minimaux routent uniquement vers des modèles sans réflexion.
  • enable_thinking : Route uniquement vers les modèles candidats prenant en charge le mode de réflexion.
En mode de routage intelligent, les paramètres suivants ne sont pas pris en charge ; leur définition provoque une erreur d'exécution :
ParamètreDescription
top_logprobsLimite des logprobs retournés
logit_biasBiais de token
stopSéquence d'arrêt
tool_choiceChoix d'outil
parallel_tool_callsAppels d'outils parallèles
logprobsRetourner ou non les logprobs
top_pÉchantillonnage par noyau
temperatureTempérature d'échantillonnage
presence_penaltyPénalité de présence
nNombre de générations
thinking_budgetLongueur du budget de réflexion

Cache

Le routage intelligent ne prend pas en charge le cache explicite ; il prend uniquement en charge le cache implicite fourni par le modèle réel appelé. Le cache ne peut être sollicité que lorsqu'une requête est routée vers le même modèle et que le préfixe de l'invite remplit les conditions de cache de ce modèle. Comme différentes requêtes peuvent être routées vers différents modèles, le routage intelligent ne garantit pas le taux de succès du cache. Pour plus de détails sur le fonctionnement du cache et les modèles pris en charge, voir Context Cache.

Gérer le service de routage

Voir les détails

Après le déploiement, cliquez sur le nom du service dans la liste Dedicated Deployment pour accéder à la page de détails :
  • Informations de base : nom du service, model-code, état d'exécution, balise de stratégie de routage.
  • Configuration de la route : version du modèle de route, stratégie de routage, ensemble de candidats et liste des modèles candidats.
  • Facturation : paiement à l'usage, facturé selon le prix unitaire du modèle réel.
  • Configuration de déploiement : quota de limitation TPM/RPM de chaque modèle candidat.

Modifier la configuration de route

Cliquez sur « Edit » dans la zone Route Configuration pour modifier la version de la route, la stratégie et les modèles candidats. Le changement de version modifie l'ensemble des candidats, prend effet en quelques minutes et n'affecte pas les requêtes en cours. Après la sélection d'une version spécifique, le comportement de routage en ligne reste stable à long terme ; veuillez procéder à une évaluation approfondie avant toute mise à niveau afin d'éviter tout impact sur l'activité. Version actuelle : model-router-2026-0908. Les versions de route ne sont pas mises à jour automatiquement.

Supprimer le service

Supprimez le service de routage de modèles de la liste Dedicated Deployment. model-code n'est pas réutilisé après la suppression.

Effet du routage

Ce chapitre couvre les métriques d'effet de routage et la surveillance. Les métriques d'effet sont consultables dans l'onglet « Routing effect » de la page de détails ; la surveillance des appels est consultable sur la page Model Monitoring.

Métriques de routage

Consultez les métriques suivantes dans l'onglet « Routing effect » de la page de détails. Les métriques affichées sont des estimations, fournies à titre indicatif uniquement ; elles ne servent pas au règlement de la facturation ; la facturation réelle est basée sur « Cost and Usage » :

Métrique

Signification

Action en cas d'anomalie

Total des requêtes de routage

Total des requêtes reçues (y compris celles ayant réussi après basculement)

Examiner les limitations/anomalies en amont lors des pics

Taux de réussite du routage

Requêtes transmises ÷ total des requêtes × 100%

En cas de baisse, vérifier la disponibilité des modèles candidats

Coût réel du modèle (estimé)

Coût complet estimé au prix catalogue du modèle réel (facturation par paliers : palier le plus bas ; tarification heures pleines/creuses : prix heures pleines ; exclut le quota gratuit ; diffère de la facturation réelle)

En cas de hausse, vérifier la stratégie de routage et l'ensemble des candidats

Coût du modèle de référence (estimé)

Coût hypothétique si tout était traité par le modèle de référence (même méthodologie d'estimation)

—

Économies

Coût de référence − coût réel (une valeur positive indique une économie grâce au routage)

—

Nombre de requêtes facturées

Requêtes réussies entraînant des frais

—

Part des dépenses

Coût par modèle ÷ coût total

En cas d'anomalie, vérifier la distribution de l'ensemble des candidats

Notes sur les coûts

Les données d'analyse des coûts ont un délai d'environ 1 heure et ne sont pas en temps réel. Les coûts ci-dessus sont tous estimés au prix catalogue comme coût complet, hors remises de compte et quotas gratuits, à titre indicatif uniquement pour évaluer les économies réalisées grâce au routage. Les modèles à facturation par paliers utilisent le prix catalogue du palier le plus bas ; les modèles à tarification heures pleines/creuses utilisent les prix heures pleines. La facturation réelle peut être consultée dans « Cost and Usage ».

Surveillance des modèles

Pour une surveillance des appels plus granulaire, accédez à la page Model Monitoring. Elle affiche la surveillance des modèles et les journaux au niveau de la dimension auto-model, et non la surveillance individuelle des modèles réellement routés.