Le routage intelligent de modèles analyse dynamiquement le contenu des requêtes et associe automatiquement le modèle le plus approprié de l'ensemble candidat, aidant ainsi les entreprises à optimiser l'allocation des ressources IA dans des scénarios complexes.
Vue d'ensemble
Le model-code possède un préfixe fixe auto-model suivi de 8 caractères aléatoires (par exemple, auto-model-abcd1234). Le client appelle ce model-code → le routage analyse dynamiquement le contenu de la requête et sélectionne le modèle le plus approprié dans l'ensemble des candidats → le modèle réel effectue l'inférence → réponse (le corps indique le modèle réellement exécuté et conserve l'utilisation réelle des tokens).
Portée :
| Dimension | Description |
|---|---|
| Région | Pékin (cn-beijing) + Singapour (ap-southeast-1) |
| Type de modèle | Entrée texte uniquement |
| Protocole d'appel | L'interface compatible OpenAI (Chat Completions, Responses) et le protocole Anthropic (Messages) sont pris en charge ; le protocole DashScope natif n'est pas pris en charge |
| Facturation | Paiement à l'usage |
| Limitation du débit | Selon le modèle routé réel, au niveau du compte et de l'espace de travail |
- Maximiser l'efficacité du modèle : Associe automatiquement le modèle optimal à chaque tâche, idéal pour les utilisateurs ayant des exigences de qualité extrêmes.
- Réduction précise des coûts : Route les tâches simples vers des modèles légers et les tâches complexes vers des modèles haut de gamme, évitant le surdimensionnement et assurant un alignement précis entre coût et demande.
- Éliminer la difficulté de sélection des modèles : Pas besoin d'évaluation ou de comparaison manuelle des modèles ; la plateforme sélectionne automatiquement la solution optimale, réduisant considérablement la barrière de sélection des modèles.
- Courbe d'apprentissage minimale : Identique à l'accès aux modèles classiques ; appel via model-code sans aucune modification de code.
Créer un routeur de modèles
Dans la console Bailian sous « Model Inference > Dedicated Deployment », cliquez sur Deploy New Model pour accéder à la page de création, puis sélectionnez Routage intelligent sous « Deployment Mode ».
Prérequis
- Un espace de travail Bailian est activé.
- La version du modèle de route cible est publiée et le compte actuel dispose de l'autorisation d'appel pour cette version et les modèles candidats.
Étapes
- Saisissez un Nom du service (obligatoire, jusqu'à 50 caractères).
- Sous Mode de déploiement, sélectionnez « Routage intelligent ».
- Dans Version du modèle de route, sélectionnez une version publiée (maintenue par la plateforme).
- Sous Stratégie de routage, sélectionnez « Priorité à l'effet » ou « Priorité au coût ».
- Sous Ensemble de modèles candidats, sélectionnez les modèles candidats (au moins 2).
- Cliquez sur Confirmer le déploiement pour terminer la création.
model-code globalement unique (sous la forme auto-model-XXXXXXXX). Le model-code n'est pas réutilisé après la suppression.
Stratégie de routage
La stratégie de routage détermine quel modèle de l'ensemble des candidats exécute chaque requête. Les deux stratégies effectuent une correspondance dynamique en fonction du contenu de la requête (pas de routage fixe) ; le choix s'effectue lors de la création.
Stratégie | Mécanisme de sélection | Scénarios adaptés |
|---|---|---|
Priorité à l'effet (EFFECT_FIRST) | Sélectionne le modèle le plus performant de l'ensemble des candidats pour chaque requête | Activités critiques, raisonnement complexe, génération de contenu de haute qualité où la qualité est stricte |
Priorité au coût (COST_FIRST) | Planifie intelligemment les modèles légers tout en respectant un seuil de qualité minimal | Scénarios sensibles aux coûts, à forte concurrence, attentifs à la latence et au coût unitaire |
Configuration des modèles candidats
L'ensemble des modèles candidats correspond à la plage parmi laquelle le service de routage peut choisir. Lors de la création d'un routeur de modèles, sélectionnez les modèles participant au routage dans la liste des candidats de la zone Ensemble de modèles candidats — au moins 2 modèles candidats sont requis, sinon le déploiement est bloqué.
- model-router-20260908
Modèle candidat | Entrée | Entrée en cache | Sortie |
|---|---|---|---|
| $0.15 | $0.016 | $0.47 |
| $3 | $0.3 | $15 |
| 0-256K:$0.4 256k-1M:$1.2 | 0-256K:$0.08 256k-1M:$0.24 | 0-256K:$1.6 256k-1M:$4.8 |
| $0.44 | $0.044 | $1.32 |
| $0.22 | $0.022 | $0.66 |
| $2.5 | $0.5 | $7.5 |
| $1.4 | $0.28 | $4.4 |
| $1.32 | $0.132 | $3.96 |
| $0.66 | $0.066 | $1.98 |
| $2 | $0.25 | $6 |
| 0-32K:$0.03 256k-1M:$0.2 32k-256K:$0.1 | 0-32K:$0.006 256k-1M:$0.04 32k-256K:$0.02 | 0-32K:$0.13 256k-1M:$0.8 32k-256K:$0.4 |
Appeler un routeur de modèles
Une fois créé, l'appel d'un routeur de modèles est identique à celui d'un modèle classique — il suffit de remplacer le paramètre model dans la requête par le model-code du routeur (par exemple, auto-model-abcd1234) ; le client peut s'intégrer sans aucune modification de code. Trois options d'appel sont prises en charge : l'interface compatible OpenAI (Chat Completions et Responses) et le protocole Anthropic ; les exemples ci-dessous sont regroupés par protocole.
- Compatible OpenAI (Chat Completions)
- Compatible OpenAI (Responses)
- Protocole Anthropic
model du corps de réponse contient l'identifiant du modèle réellement appelé (utilisez-le pour vérifier que le routage a bien fonctionné) ; le corps conserve l'utilisation réelle des tokens, et la facturation est effectuée selon le modèle réellement routé.
Facturation : Le routage intelligent facture selon le modèle réel vers lequel chaque requête est routée ; le modèle de routage lui-même est gratuit.
Basculement automatique
Le routage de modèles intègre un basculement automatique, activé par défaut sans configuration. Lorsque le modèle cible est indisponible, le service de routage réémet la requête entière avec un autre modèle candidat, sans changer de modèle en cours d'inférence.
Les éléments suivants ne déclenchent PAS le basculement automatique ; les erreurs sont transmises avec les informations d'erreur d'origine du modèle réel :
- 429 (limite de taux)
- 400/403/404/500 et autres erreurs déterministes (le changement de modèle échouerait probablement aussi)
- Erreurs de délai d'attente ou de réseau
- Erreurs après que le streaming a commencé à renvoyer du contenu
Règles de filtrage en temps réel
Le service de routage applique un filtrage en temps réel à l'ensemble des candidats :
- Filtre les modèles que le compte actuel n'a pas l'autorisation d'appeler.
- Filtre les modèles qui sont hors ligne.
- Filtre les modèles incompatibles avec les paramètres de la requête actuelle (par exemple, si la requête contient
response_format, seuls les modèles candidats prenant en charge ce paramètre sont routés).
Limites d'utilisation
| Limite | Description |
|---|---|
| Protocole d'appel | Interface compatible OpenAI (Chat Completions, Responses) et protocole Anthropic (Messages) ; le protocole DashScope natif n'est pas pris en charge |
| Protocole | Pris en charge |
|---|---|
| Interface compatible OpenAI (Chat Completions) | ✓ |
| Interface compatible OpenAI (Responses) | ✓ |
| Protocole DashScope | ✗ |
| Protocole Anthropic | ✓ |
| Type de requête | Entrée texte uniquement (Chat Completions, Responses et Messages sont tous pris en charge) ; les entrées image et vidéo, la génération d'images, l'inférence par lot, l'Embedding/Rerank et les autres interfaces non génératives ne sont pas pris en charge |
| Longueur du contexte | Limite supérieure = la fenêtre de contexte minimale des modèles de l'ensemble candidat ; les erreurs de contexte trop long surviennent directement sans déclencher le basculement automatique |
| Limitation du débit | RPM/TPM limité par le modèle routé réel au niveau du compte et de l'espace de travail ; lors d'un basculement, seule la consommation du modèle final ayant réussi est comptabilisée |
Notes sur les paramètres
Le routage intelligent filtre l'ensemble des candidats en temps réel selon les paramètres de la requête et rejette les paramètres non pris en charge (en renvoyant une erreur 400 sous la forme does not support parameter(s): <nom du paramètre>). La prise en charge des paramètres diffère selon les trois protocoles d'appel :
- Compatible OpenAI (Chat Completions)
- Compatible OpenAI (Responses)
- Protocole Anthropic
response_format: Route uniquement vers les modèles candidats prenant en charge ce paramètre.enable_search: Route uniquement vers les modèles candidats prenant en charge ce paramètre.reasoning_effort: Route par défaut uniquement vers les modèles candidats prenant en charge ce paramètre ; valeurs d'énumération prises en charge :none,minimal,low,medium,high,xhigh,max; les niveaux non minimaux routent uniquement vers des modèles sans réflexion.enable_thinking: Route uniquement vers les modèles candidats prenant en charge le mode de réflexion.
| Paramètre | Description |
|---|---|
top_logprobs | Limite des logprobs retournés |
logit_bias | Biais de token |
stop | Séquence d'arrêt |
tool_choice | Choix d'outil |
parallel_tool_calls | Appels d'outils parallèles |
logprobs | Retourner ou non les logprobs |
top_p | Échantillonnage par noyau |
temperature | Température d'échantillonnage |
presence_penalty | Pénalité de présence |
n | Nombre de générations |
thinking_budget | Longueur du budget de réflexion |
Cache
Le routage intelligent ne prend pas en charge le cache explicite ; il prend uniquement en charge le cache implicite fourni par le modèle réel appelé.
Le cache ne peut être sollicité que lorsqu'une requête est routée vers le même modèle et que le préfixe de l'invite remplit les conditions de cache de ce modèle.
Comme différentes requêtes peuvent être routées vers différents modèles, le routage intelligent ne garantit pas le taux de succès du cache.
Pour plus de détails sur le fonctionnement du cache et les modèles pris en charge, voir Context Cache.
Gérer le service de routage
Voir les détails
Après le déploiement, cliquez sur le nom du service dans la liste Dedicated Deployment pour accéder à la page de détails :
- Informations de base : nom du service,
model-code, état d'exécution, balise de stratégie de routage. - Configuration de la route : version du modèle de route, stratégie de routage, ensemble de candidats et liste des modèles candidats.
- Facturation : paiement à l'usage, facturé selon le prix unitaire du modèle réel.
- Configuration de déploiement : quota de limitation TPM/RPM de chaque modèle candidat.
Modifier la configuration de route
Cliquez sur « Edit » dans la zone Route Configuration pour modifier la version de la route, la stratégie et les modèles candidats. Le changement de version modifie l'ensemble des candidats, prend effet en quelques minutes et n'affecte pas les requêtes en cours.
Après la sélection d'une version spécifique, le comportement de routage en ligne reste stable à long terme ; veuillez procéder à une évaluation approfondie avant toute mise à niveau afin d'éviter tout impact sur l'activité. Version actuelle : model-router-2026-0908. Les versions de route ne sont pas mises à jour automatiquement.
Supprimer le service
Supprimez le service de routage de modèles de la liste Dedicated Deployment. model-code n'est pas réutilisé après la suppression.
Effet du routage
Ce chapitre couvre les métriques d'effet de routage et la surveillance. Les métriques d'effet sont consultables dans l'onglet « Routing effect » de la page de détails ; la surveillance des appels est consultable sur la page Model Monitoring.
Métriques de routage
Consultez les métriques suivantes dans l'onglet « Routing effect » de la page de détails. Les métriques affichées sont des estimations, fournies à titre indicatif uniquement ; elles ne servent pas au règlement de la facturation ; la facturation réelle est basée sur « Cost and Usage » :
Métrique | Signification | Action en cas d'anomalie |
|---|---|---|
Total des requêtes de routage | Total des requêtes reçues (y compris celles ayant réussi après basculement) | Examiner les limitations/anomalies en amont lors des pics |
Taux de réussite du routage | Requêtes transmises ÷ total des requêtes × 100% | En cas de baisse, vérifier la disponibilité des modèles candidats |
Coût réel du modèle (estimé) | Coût complet estimé au prix catalogue du modèle réel (facturation par paliers : palier le plus bas ; tarification heures pleines/creuses : prix heures pleines ; exclut le quota gratuit ; diffère de la facturation réelle) | En cas de hausse, vérifier la stratégie de routage et l'ensemble des candidats |
Coût du modèle de référence (estimé) | Coût hypothétique si tout était traité par le modèle de référence (même méthodologie d'estimation) | — |
Économies | Coût de référence − coût réel (une valeur positive indique une économie grâce au routage) | — |
Nombre de requêtes facturées | Requêtes réussies entraînant des frais | — |
Part des dépenses | Coût par modèle ÷ coût total | En cas d'anomalie, vérifier la distribution de l'ensemble des candidats |
Notes sur les coûts
Les données d'analyse des coûts ont un délai d'environ 1 heure et ne sont pas en temps réel.
Les coûts ci-dessus sont tous estimés au prix catalogue comme coût complet, hors remises de compte et quotas gratuits, à titre indicatif uniquement pour évaluer les économies réalisées grâce au routage.
Les modèles à facturation par paliers utilisent le prix catalogue du palier le plus bas ; les modèles à tarification heures pleines/creuses utilisent les prix heures pleines.
La facturation réelle peut être consultée dans « Cost and Usage ».
Surveillance des modèles
Pour une surveillance des appels plus granulaire, accédez à la page Model Monitoring.
Elle affiche la surveillance des modèles et les journaux au niveau de la dimension auto-model, et non la surveillance individuelle des modèles réellement routés.