Pour les scénarios ne nécessitant pas de réponses en temps réel, comme l'annotation de données et la génération de contenu, les API d'inférence en temps réel souffrent de coûts élevés et d'une concurrence limitée. L'API Batch Chat d'Alibaba Cloud Model Studio conserve le même style d'appel synchrone que l'API en temps réel : vous envoyez simplement une requête et attendez le retour du résultat final. Cette fonctionnalité bénéficie actuellement d'une remise limitée de 50 % sur le site officiel, réduisant directement vos coûts d'inférence de 50 %.
Cette interface ne prend en charge que la soumission d'une requête unique. Pour soumettre plusieurs requêtes à la fois, vous pouvez les soumettre via un fichier. Pour plus de détails, consultez OpenAI-compatible-Batch (entrée par fichier).
Fonctionnement
- Soumission de la requête : le client envoie une requête et établit une connexion.
- Maintien de la connexion : la requête entre dans une file d'attente et le client maintient la connexion ouverte en attendant.
-
Retour synchrone : une fois la requête traitée, le serveur renvoie le résultat complet au client en une seule fois via la connexion précédemment maintenue ouverte.
Si le temps d'attente maximal est dépassé, la connexion est automatiquement fermée et une erreur de délai d'expiration est renvoyée.
Disponibilité
- Chine (Pékin)
- Modèles de génération de texte : qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen-plus, qwen-flash
- Modèles de compréhension d'images et de vidéos : qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-plus, qwen3.5-omni-flash, qwen3-vl-plus
Utilisation
Prérequis
-
Vous avez activé le service Alibaba Cloud Model Studio et obtenu une clé API.
Nous vous recommandons de configurer votre clé API dans des variables d'environnement afin de réduire le risque de fuite de la clé API.
- Si vous effectuez des appels via le SDK OpenAI, vous devez installer le SDK.
Étape 1 : Configurez le point de terminaison de l'API
Changez simplement le point de terminaison de l'API (base_url) pour basculer facilement vos requêtes d'inférence en temps réel existantes vers l'inférence par lots. Configurez le point de terminaison d'API correct selon votre méthode d'appel.
Configuration du SDK : définissez base_url sur https://batch.dashscope.aliyuncs.com/compatible-mode/v1
Appel HTTP : le point de terminaison de requête est POST https://batch.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions
Étape 2 : Effectuez l'appel
Cette section prend une conversation textuelle comme exemple pour montrer comment appeler l'API Batch Chat.
Le délai d'attente par défaut d'une requête est de 3600 secondes (1 heure) ; dans la plupart des cas, aucune configuration supplémentaire n'est nécessaire.
L'exemple suivant montre comment définir de manière proactive un délai d'attente personnalisé (60-3600 secondes), à titre de référence.
- Python
- Java
- Node.js
- Go
- C#(HTTP)
- PHP(HTTP)
- curl
Exemple de requêteExemple de réponse
Limites
- Temps d'attente : après la soumission d'une requête, le résultat est attendu de manière synchrone et le serveur maintient la connexion ouverte pendant une durée maximale de 3600 secondes (1 heure). Vous pouvez définir un délai d'expiration personnalisé selon vos besoins réels, avec une plage valide de 60 à 3600 secondes.
- Limite de concurrence : un même compte peut maintenir jusqu'à 10 000 requêtes en attente par modèle. Les nouvelles requêtes dépassant cette limite sont rejetées avec un code d'erreur correspondant jusqu'à ce que les requêtes en attente soient traitées et libèrent des emplacements disponibles.
-
Taux de requêtes : un même compte peut soumettre des requêtes à un débit maximal de 1000 QPS (10 000 requêtes / 10 secondes).
Cette limite est un maximum théorique défini par le système. En usage réel, les ressources disponibles de l'API sont affectées de manière dynamique par la charge globale du système. Nous vous recommandons d'implémenter une logique de nouvelle tentative dans votre code.
Détails de facturation
- Prix unitaire de facturation : vous êtes facturé pour les jetons d'entrée et de sortie des requêtes réussies, aux mêmes tarifs que les appels de modèle en temps réel. Pendant une période limitée, le site officiel offre une remise de 50 % sur les appels Batch Chat, le montant final étant 50 % du prix de l'appel en temps réel. Pour plus d'informations, consultez Modèles.
- Périmètre de facturation : seules les requêtes exécutées avec succès dans une tâche sont facturées. Les requêtes échouées (y compris les erreurs système ou les délais d'expiration) ne sont pas facturées.
Codes d'erreur
Si l'appel au modèle échoue et renvoie un message d'erreur, consultez Codes d'erreur pour résoudre le problème.
FAQ
- Y a-t-il une différence de temps de traitement entre les requêtes Batch Chat et les API en temps réel ? Oui. Les requêtes Batch Chat doivent être mises en file d'attente pour la planification, le temps de traitement de bout en bout est donc généralement plus long que celui des API en temps réel. Le temps d'attente maximal côté serveur est d'une heure. Si une requête n'est pas exécutée dans ce délai, la connexion est automatiquement fermée et une erreur est renvoyée.
- Comment choisir entre Batch Chat et Batch File ? Choisissez Batch Chat lorsque votre logique métier nécessite la soumission d'un grand nombre de requêtes de conversation indépendantes avec une forte concurrence via des appels d'API synchrones. Choisissez Batch File lorsque vous devez traiter un seul fichier volumineux contenant de nombreuses requêtes et pouvez accepter la récupération asynchrone du fichier de résultats.
- Batch Chat garantit-il que toutes les requêtes sont terminées ? Non. Batch Chat utilise des ressources Batch et l'achèvement dépend de l'allocation des ressources système. Si les ressources système sont occupées, les requêtes peuvent attendre dans la file. Si une requête n'est toujours pas planifiée pour exécution après le temps d'attente maximal, la connexion expire et se ferme. Dans ce cas, la requête n'est pas facturée et vous pouvez réessayer ultérieurement.
Documentation connexe
- Pour la liste complète des paramètres des appels de modèle en temps réel, consultez Compatible OpenAI - Chat.
- Pour effectuer un traitement par lots en soumettant des fichiers et en récupérant les résultats de manière asynchrone, consultez OpenAI-compatible-Batch (entrée par fichier).