Sans réutilisation des connexions, chaque appel API ouvre une nouvelle connexion TCP et exécute une négociation TLS, ce qui accroît la latence. Dans les scénarios à forte concurrence, cette surcharge entraîne des délais d'attente et un gaspillage de ressources. La réutilisation des connexions évite ces initialisations répétées, réduisant ainsi la latence et la consommation de ressources.
Le SDK DashScope prend en charge la réutilisation des connexions pour Java et Python :
Avant d'exécuter les exemples de code :
Le SDK Java intègre un pool de connexions activé par défaut. Ajustez le nombre maximal de connexions et les délais d'attente afin d'optimiser les performances selon votre charge de travail.
Contraintes des paramètres :
L'exemple suivant configure les paramètres du pool de connexions (délais d'attente, nombre maximal de connexions) et appelle un service de modèle. Ajustez ces paramètres pour optimiser la concurrence et l'utilisation des ressources.
Le SDK Python DashScope permet la réutilisation des connexions en transmettant un client HTTP personnalisé (
Pour les scénarios asynchrones, utilisez
L'exemple ci-dessous configure la réutilisation des connexions et appelle un service de modèle de manière asynchrone :
Pour les scénarios synchrones, utilisez
L'exemple suivant configure la réutilisation des connexions et appelle un service de modèle de manière synchrone :
Pour réutiliser une Session lors de plusieurs appels :
En cas d'échec d'un appel de modèle, consultez la rubrique Messages d'erreur pour résoudre le problème.
- SDK Java : Un pool de connexions intégré est activé par défaut. Configurez des paramètres tels que le nombre maximal de connexions et les délais d'attente.
- SDK Python : Activez la réutilisation des connexions en transmettant une Session personnalisée. Cette méthode fonctionne aussi bien pour les appels synchrones qu'asynchrones.
Prérequis
Avant d'exécuter les exemples de code :
SDK Java
Le SDK Java intègre un pool de connexions activé par défaut. Ajustez le nombre maximal de connexions et les délais d'attente afin d'optimiser les performances selon votre charge de travail.
Paramètres
| Paramètre | Description | Valeur par défaut | Unité |
|---|---|---|---|
| connectTimeout | Délai d'établissement de la connexion. | 120 | secondes |
| readTimeout | Délai de lecture des données. | 300 | secondes |
| writeTimeout | Délai d'écriture des données. | 60 | secondes |
| connectionIdleTimeout | Délai d'inactivité des connexions dans le pool. | 300 | secondes |
| connectionPoolSize | Nombre maximal de connexions dans le pool. | 32 | connexions |
| maximumAsyncRequests | Nombre maximal de requêtes simultanées sur tous les hôtes (limite globale). | 32 | requêtes |
| maximumAsyncRequestsPerHost | Nombre maximal de requêtes simultanées par hôte. | 32 | requêtes |
- La valeur de
maximumAsyncRequestsdoit être ≤connectionPoolSize; sinon, les requêtes risquent d'être bloquées. - La valeur de
maximumAsyncRequestsPerHostdoit être ≤maximumAsyncRequests.
- connectTimeout : Pour les scénarios nécessitant une faible latence, définissez un délai plus court afin de réduire le temps d'attente.
- connectionIdleTimeout : En cas de forte concurrence, augmentez le délai d'inactivité pour éviter la création fréquente de connexions et limiter la consommation de ressources.
- connectionPoolSize : Dans un contexte de forte concurrence, un nombre insuffisant de connexions entraîne des blocages, des délais d'attente et des reconnexions fréquentes (augmentation de l'utilisation des ressources). À l'inverse, trop de connexions peuvent surcharger le serveur. Équilibrez ce nombre en fonction de votre charge de travail.
Exemple de code
L'exemple suivant configure les paramètres du pool de connexions (délais d'attente, nombre maximal de connexions) et appelle un service de modèle. Ajustez ces paramètres pour optimiser la concurrence et l'utilisation des ressources.
SDK Python
Le SDK Python DashScope permet la réutilisation des connexions en transmettant un client HTTP personnalisé (httpx.Client / httpx.AsyncClient). Deux modes d'appel sont disponibles : HTTP asynchrone (basé sur des coroutines) et HTTP synchrone.
HTTP asynchrone
Pour les scénarios asynchrones, utilisez httpx.AsyncClient avec httpx.Limits afin d'activer la réutilisation des connexions. httpx.Limits permet de configurer des paramètres tels que les limites de connexion :
| Paramètre | Description | Valeur par défaut | Notes |
|---|---|---|---|
| max_connections | Limite totale de connexions. | None (illimité) | Contrôle le nombre maximal de connexions. Dans les scénarios à forte concurrence, augmentez cette valeur pour améliorer le parallélisme. |
| max_keepalive_connections | Nombre maximal de connexions keep-alive. | None (illimité) | Contrôle le nombre de connexions actives maintenues dans le pool, évitant une charge excessive sur un serveur unique. |
| keepalive_expiry | Durée de maintien en vie (keep-alive) des connexions. | 5.0 (secondes) | Les connexions keep-alive inactives sont automatiquement fermées au-delà de cette durée. |
Exemple de code
L'exemple ci-dessous configure la réutilisation des connexions et appelle un service de modèle de manière asynchrone :
HTTP synchrone
Pour les scénarios synchrones, utilisez httpx.Client pour activer la réutilisation des connexions. Plusieurs requêtes au sein d'un même client HTTP réutilisent la connexion TCP sous-jacente, évitant ainsi la surcharge liée aux établissements répétés de connexions.
Exemple de code : appel unique
L'exemple suivant configure la réutilisation des connexions et appelle un service de modèle de manière synchrone :
Exemple de code : appels multiples avec une Session partagée
Pour réutiliser une Session lors de plusieurs appels :
Bonnes pratiques
- SDK Java : Définissez
connectionPoolSizeetmaximumAsyncRequestsen fonction de votre charge de travail. Trouvez le bon équilibre pour le nombre de connexions : trop peu entraînent des blocages, tandis qu'un excès surcharge le serveur. - SDK Python : Utilisez l'instruction
withpour gérer le cycle de vie du client HTTP et garantir la libération correcte des ressources. - Choix de la méthode appropriée : Privilégiez les appels asynchrones pour les applications asynchrones (asyncio, FastAPI). Réservez les appels synchrones aux applications traditionnelles.