Récupère les détails d'un déploiement de modèle spécifique.
Prérequis
- Région prise en charge : les fonctionnalités décrites dans ce document sont disponibles uniquement dans la région Singapour, et vous devez utiliser la clé API de cette région.
- Vous avez obtenu une clé API et l'avez configurée en tant que variable d'environnement.
- Vous avez lu Déploiement de modèles et Déployer des modèles via l'API afin de comprendre les étapes de base du déploiement de modèles.
Obtenir l'état d'un déploiement de modèle
Interroge les détails et l'état d'exécution d'un déploiement de modèle spécifique. Vous pouvez interroger cette API à intervalles réguliers ; lorsque status devient RUNNING, cela indique que le modèle a été déployé avec succès.
Endpoint
Exemple de requête
Vous pouvez utiliser la commande suivante pour interroger les détails d'un service dédié spécifique :
Paramètres de la requête
Paramètre | Type | Emplacement | Obligatoire | Description |
|---|---|---|---|---|
deployed_model | String | path | Oui | Identifiant unique du déploiement de modèle. Vous pouvez l'obtenir via l'opération Créer un déploiement ou l'opération Lister les déploiements. |
Exemple de réponse
Attention au champ status. Lorsque le statut devient RUNNING, le modèle a été déployé avec succès et est prêt à être appelé.
Paramètres de la réponse
Champ | Type | Description |
|---|---|---|
request_id | String | Identifiant unique de la requête. |
output | Object | Détails de la tâche. |
output.deployed_model | String | Identifiant unique du déploiement de modèle. Utilisé pour consulter l'état du déploiement et appeler le modèle. |
output.model_name | String | Nom d'identification du modèle. |
output.base_model | String | Modèle de base utilisé. |
output.status | String | Statut du déploiement:
|
output.base_capacity | Number | Nombre d'unités de ressources de base. |
output.capacity | Number | Nombre actuel d'unités de ressources. |
output.ready_capacity | Number | Nombre d'unités de ressources prêtes. |
output.workspace_id | String | ID de l'espace de travail associé à la clé API Model Studio d'Alibaba Cloud. Voir Obtenir l'ID de l'espace de travail. |
output.charge_type | String | Mode de facturation. post_paid indique un paiement à l'usage. |
output.gmt_create | String | Heure de création du déploiement. |
output.gmt_modified | String | Heure de la dernière modification du déploiement. |
output.creator | String | ID du compte Alibaba Cloud du créateur. |
output.modifier | String | ID du compte Alibaba Cloud de la personne ayant effectué la modification. |
output.plan | String | Plan de déploiement. |
Lister les modèles déployables
Obtient la liste des modèles candidats éligibles au déploiement sur la plateforme Model Studio, c'est-à-dire les modèles pouvant être utilisés pour créer des déploiements.
Endpoint
Exemple de requête
Utilisez la commande suivante pour interroger les modèles disponibles pour le déploiement. Nous recommandons d'utiliser version=v1.0 pour obtenir une réponse complète incluant les plans de déploiement et les informations des gabarits.
Paramètres de la requête
Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
page_no | Number | Non | Numéro de page. Valeur par défaut: 1. |
page_size | Number | Non | Taille de page. Valeur par défaut: 50. Valeur maximale: 100. Valeur minimale: 1. |
model_source | String | Non | Source du modèle. |
version | String | Non | Version de l'API. Nous recommandons d'utiliser |
Exemple de réponse
Après l'exécution de la commande, le résultat suivant est renvoyé :
Paramètres de la réponse
Paramètre | Type | Description |
|---|---|---|
models | Array | Liste des modèles déployables. |
models[].model_name | String | Nom du modèle. |
models[].plans | Array | Liste des plans de déploiement pris en charge par le modèle. Renvoyée lorsque |
models[].plans[].plan | String | Type de plan de déploiement: |
models[].plans[].templates | Array | Liste des gabarits de déploiement (renvoyée lorsque |
models[].plans[].templates[].template_id | String | ID du gabarit, à passer en tant que paramètre |
models[].plans[].templates[].template_name | String | Nom d'affichage du gabarit. |
models[].plans[].templates[].template_type | String | Type de gabarit: |
models[].plans[].templates[].template_version | String | Version du gabarit. |
models[].plans[].templates[].template_desc | String | Description du gabarit. |
models[].plans[].templates[].roles | Object | Configuration des rôles de nœud. Le mode COUPLED contient un nœud |
models[].plans[].templates[].roles.{role}.model_unit_spec | String | Spécification de l'unité de modèle. |
models[].plans[].templates[].roles.{role}.capacity_unit_per_instance | Number | Nombre d'unités de capacité par instance, c'est-à-dire base_capacity. Lors de la création d'un déploiement, |
page_no | Number | Numéro de page interrogée. |
page_size | Number | Taille de page interrogée. |
total | Long | Nombre total de modèles correspondant aux conditions de la requête. |
Lister les modèles déployés
Obtient la liste des instances de déploiement créées, c'est-à-dire les services de modèles réellement en cours d'exécution ou déployés dans l'espace de travail actuel.
Endpoint
Exemple de requête
Exécutez la commande suivante pour obtenir la liste des services dédiés :
Paramètres de la requête
Paramètre | Type | Emplacement | Obligatoire | Description |
|---|---|---|---|---|
page_no | Number | query | Non | Numéro de page. Valeur par défaut: 1. |
page_size | Number | query | Non | Taille de page. Valeur par défaut: 50. Valeur maximale: 200. Valeur minimale: 1. |
Exemple de réponse
Après l'exécution de la commande, le résultat suivant est renvoyé :
Paramètres de la réponse
Champ | Type | Description |
|---|---|---|
request_id | String | Identifiant unique de la requête. |
output.page_no | Number | Numéro de page actuel. |
output.page_size | Number | Nombre d'éléments par page. |
output.total | Number | Nombre total de déploiements. |
output.deployments | Array | Liste des déploiements de modèles. Chaque élément comporte les mêmes champs que la sortie de Obtenir l'état d'un déploiement de modèle. |
Modifier les limites de débit d'un déploiement
Modifie les paramètres de limitation RPM (requêtes par minute) et TPM (jetons par minute) d'un déploiement de modèle spécifique.
Endpoint
Exemple de requête
Exécutez la commande suivante pour modifier les paramètres de limitation de débit d'un déploiement spécifique :
Paramètres de la requête
Paramètre | Type | Emplacement | Obligatoire | Description |
|---|---|---|---|---|
deployed_model | String | path | Oui | Identifiant unique du déploiement de modèle. Vous pouvez l'obtenir via l'opération Créer un déploiement ou l'opération Lister les déploiements. |
rpm_limit | Number | body | Au moins un paramètre | Requêtes par minute (RPM). |
tpm_limit | Number | body | Jetons par minute (TPM). |
Exemple de réponse
Après l'exécution de la commande, le résultat suivant est renvoyé :
Paramètres de la réponse
En plus des champs de base listés dans Obtenir l'état d'un déploiement de modèle, la réponse peut également inclure les champs suivants :
Champ | Type | Description |
|---|---|---|
output.plan | String | Plan de déploiement. |
output.model_unit_spec | String | Gabarit de déploiement par unité de modèle, par exemple MU1. |
output.enable_thinking | Boolean | Indique si le mode réflexion est activé. |
output.max_context_length | Number | Longueur maximale du contexte. |
output.rpm_limit | Number | Limite de requêtes par minute. |
output.tpm_limit | Number | Limite de jetons par minute. |
Mettre à l'échelle un déploiement
Ajuste le nombre d'unités de ressources utilisées par un service dédié en effectuant une opération de mise à jour.
Endpoint
Exemple de requête
Exécutez la commande suivante pour mettre à l'échelle un service spécifique :
Paramètres de la requête
Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
deployed_model | String | Oui | Identifiant unique du déploiement de modèle (paramètre de chemin). Vous pouvez l'obtenir via l'opération Créer un déploiement ou l'opération Lister les déploiements. |
capacity | Integer | Conditionnellement requis | Ne prend effet que lorsque Nombre d'unités de ressources utilisées par le modèle après la mise à jour. Il doit être un multiple entier de |
ptu_capacity | Object | Conditionnellement requis | Ne prend effet que lorsque Exemple: |
ptu_capacity.input_tpm | Number | Conditionnellement requis | Ne prend effet que lorsque Nombre maximal de jetons d'entrée par minute (input tokens per minute) pris en charge par le modèle déployé. Pris en charge par tous les modèles. |
ptu_capacity.output_tpm | Number | Conditionnellement requis | Ne prend effet que lorsque Nombre maximal de jetons de sortie par minute (output tokens per minute) pris en charge par le modèle déployé. Pris en charge par tous les modèles. |
ptu_capacity.thinking_output_tpm | Number | Non | Ne prend effet que lorsque Nombre maximal de jetons de sortie de réflexion provisionnés par minute (thinking output tokens per minute) pris en charge par le modèle déployé. Pris en charge par certains modèles. |
Exemple de réponse
Après l'exécution de la commande, le résultat suivant est renvoyé :
Paramètres de la réponse
Les champs de la réponse sont identiques à ceux de Obtenir l'état d'un déploiement de modèle. Pour plus de détails, consultez les paramètres de réponse de la section Obtenir l'état d'un déploiement de modèle.
Supprimer un déploiement
Supprime un déploiement de modèle spécifique et libère les ressources de calcul correspondantes.
Endpoint
Exemple de requête
Exécutez la commande suivante pour supprimer un déploiement spécifique.
Paramètres de la requête
Paramètre | Type | Emplacement | Obligatoire | Description |
|---|---|---|---|---|
deployed_model | String | path | Oui | Identifiant unique du déploiement de modèle. Vous pouvez l'obtenir via l'opération Créer un déploiement ou l'opération Lister les déploiements. |
Exemple de réponse
Attention au champ status. Lorsque le statut devient DELETING, cela indique que le déploiement est en cours de suppression.
Paramètres de la réponse
Les champs de la réponse sont identiques à ceux de Obtenir l'état d'un déploiement de modèle. Pour plus de détails, consultez les paramètres de réponse de la section Obtenir l'état d'un déploiement de modèle.
Réponses d'erreur
Exemple de réponse
Paramètres de la réponse
Champ | Type | Description |
|---|---|---|
request_id | String | ID unique de la requête. |
code | String | Code d'erreur. |
message | String | Message d'erreur. |
Code d'erreur | Message d'erreur | Cause de l'erreur |
|---|---|---|
NotFound | Model: xxx not found! |
|
Conflict | Deployed model xxx already exists, please specify a suffix. | Le suffixe spécifié lors de la création du déploiement a déjà été utilisé. |
InvalidParameter | Invalid capacity (xx), capacity must be larger than or equal to 0 and multiples of 1 and less than 1000! | Unités de capacité non valides spécifiées lors de la création ou de la mise à jour du déploiement. |