API de gestión de despliegue de modelos, aplicable a todos los tipos de modelos, incluidos texto, imagen, video y voz. Admite la consulta del estado y la lista de despliegues, la modificación de la limitación de tasa, el escalado y la eliminación de despliegues.
Requisitos previos
- Región admitida: Las funciones descritas en este documento solo están disponibles en la región de Singapur, y debe utilizar la API Key de esa región.
- Ha obtenido correctamente una API Key y la ha configurado como variable de entorno.
- Ha leído Despliegue de modelos y Desplegar modelos mediante la API para comprender los pasos básicos del despliegue de modelos.
Obtener estado del despliegue de modelo
Consulte los detalles y el estado de ejecución de un despliegue de modelo específico. Puede sondear esta API; cuando status cambia a RUNNING, indica que el modelo se ha desplegado correctamente.
Endpoint
Ejemplo de solicitud
Puede utilizar el siguiente comando para consultar los detalles de un servicio dedicado específico:
Parámetros de solicitud
Parámetro | Tipo | Ubicación | Obligatorio | Descripción |
|---|---|---|---|---|
deployed_model | String | path | Sí | El identificador único del despliegue de modelo. Puede obtenerlo desde Crear despliegue o la operación Listar despliegues. |
Ejemplo de respuesta
Preste atención al campo status. Cuando el estado cambia a RUNNING, el modelo se ha desplegado correctamente y está listo para su invocación.
Parámetros de respuesta
Campo | Tipo | Descripción |
|---|---|---|
request_id | String | Identificador único de la solicitud. |
output | Object | Detalles del trabajo. |
output.deployed_model | String | Identificador único del despliegue de modelo. Se utiliza para consultar el estado del despliegue e invocar el modelo. |
output.model_name | String | Nombre del identificador del modelo. |
output.base_model | String | El modelo base utilizado. |
output.status | String | Estado del despliegue:
|
output.base_capacity | Number | Recuento de unidades de recursos base. |
output.capacity | Number | Recuento actual de unidades de recursos. |
output.ready_capacity | Number | Número de unidades de recursos listas. |
output.workspace_id | String | El ID del espacio de trabajo asociado con la API Key de Alibaba Cloud Model Studio. Consulte Obtener el ID del espacio de trabajo. |
output.charge_type | String | Modo de facturación. post_paid indica pago por uso. |
output.gmt_create | String | Hora de creación del despliegue. |
output.gmt_modified | String | Hora de la última modificación del despliegue. |
output.creator | String | ID de cuenta de Alibaba Cloud del creador. |
output.modifier | String | ID de cuenta de Alibaba Cloud del modificador. |
output.plan | String | Plan de despliegue. |
Listar modelos desplegables
Obtenga la lista de modelos candidatos elegibles para el despliegue en la plataforma Model Studio, es decir, qué modelos se pueden utilizar para crear despliegues.
Endpoint
Ejemplo de solicitud
Utilice el siguiente comando para consultar los modelos disponibles para el despliegue. Recomendamos usar version=v1.0 para obtener una respuesta completa que incluya planes de despliegue e información de plantillas.
Parámetros de solicitud
Parámetro | Tipo | Obligatorio | Descripción |
|---|---|---|---|
page_no | Number | No | Número de página. Valor predeterminado: 1. |
page_size | Number | No | Tamaño de página. Valor predeterminado: 50. Valor máximo: 100. Valor mínimo: 1. |
model_source | String | No | Origen del modelo. |
version | String | No | Versión de API. Recomendamos usar |
Ejemplo de respuesta
Después de ejecutar el comando, se devuelve el siguiente resultado:
Parámetros de respuesta
Parámetro | Tipo | Descripción |
|---|---|---|
models | Array | Lista de modelos desplegables. |
models[].model_name | String | Nombre del modelo. |
models[].plans | Array | Lista de planes de despliegue admitidos por el modelo. Devuelta cuando se especifica |
models[].plans[].plan | String | Tipo de plan de despliegue: |
models[].plans[].templates | Array | Lista de plantillas de despliegue (devuelta cuando |
models[].plans[].templates[].template_id | String | ID de plantilla, pasado como parámetro |
models[].plans[].templates[].template_name | String | Nombre para mostrar de la plantilla. |
models[].plans[].templates[].template_type | String | Tipo de plantilla: |
models[].plans[].templates[].template_version | String | Versión de la plantilla. |
models[].plans[].templates[].template_desc | String | Descripción de la plantilla. |
models[].plans[].templates[].roles | Object | Configuración de roles de nodo. El modo COUPLED contiene un nodo |
models[].plans[].templates[].roles.{role}.model_unit_spec | String | Especificación de la unidad de modelo. |
models[].plans[].templates[].roles.{role}.capacity_unit_per_instance | Number | Número de unidades de capacidad por instancia, es decir, base_capacity. Al crear un despliegue, |
page_no | Number | Número de página de consulta. |
page_size | Number | Tamaño de página de consulta. |
total | Long | Número total de modelos que coinciden con las condiciones de consulta. |
Listar modelos desplegados
Obtenga la lista de instancias de despliegue creadas, es decir, los servicios de modelo que están realmente en ejecución o se han desplegado en el espacio de trabajo actual.
Endpoint
Ejemplo de solicitud
Ejecute el siguiente comando para obtener la lista de servicios dedicados:
Parámetros de solicitud
Parámetro | Tipo | Ubicación | Obligatorio | Descripción |
|---|---|---|---|---|
page_no | Number | query | No | Número de página. Valor predeterminado: 1. |
page_size | Number | query | No | Tamaño de página. Valor predeterminado: 50. Valor máximo: 200. Valor mínimo: 1. |
Ejemplo de respuesta
Después de ejecutar el comando, se devuelve el siguiente resultado:
Parámetros de respuesta
Campo | Tipo | Descripción |
|---|---|---|
request_id | String | Identificador único de la solicitud. |
output.page_no | Number | Número de página actual. |
output.page_size | Number | Número de elementos por página. |
output.total | Number | Número total de despliegues. |
output.deployments | Array | Lista de despliegues de modelos. Cada elemento tiene los mismos campos que la salida de Obtener estado del despliegue de modelo. |
Modificar limitación de tasa del despliegue
Modifique la configuración de limitación de RPM (Solicitudes Por Minuto) y TPM (Tokens Por Minuto) para un despliegue de modelo específico.
Endpoint
Ejemplo de solicitud
Ejecute el siguiente comando para modificar la configuración de limitación de tasa de un despliegue específico:
Parámetros de solicitud
Parámetro | Tipo | Ubicación | Obligatorio | Descripción |
|---|---|---|---|---|
deployed_model | String | path | Sí | El identificador único del despliegue de modelo. Puede obtenerlo desde Crear despliegue o la operación Listar despliegues. |
rpm_limit | Number | body | Al menos un parámetro | Solicitudes por minuto (RPM). |
tpm_limit | Number | body | Tokens por minuto (TPM). |
Ejemplo de respuesta
Después de ejecutar el comando, se devuelve el siguiente resultado:
Parámetros de respuesta
Además de los campos base enumerados en Obtener estado del despliegue de modelo, la respuesta también puede incluir los siguientes campos:
Campo | Tipo | Descripción |
|---|---|---|
output.plan | String | Plan de despliegue. |
output.model_unit_spec | String | Plantilla de despliegue de unidades de modelo, como MU1. |
output.enable_thinking | Boolean | Indica si el modo de pensamiento está habilitado. |
output.max_context_length | Number | Longitud máxima del contexto. |
output.rpm_limit | Number | Límite de solicitudes por minuto. |
output.tpm_limit | Number | Límite de tokens por minuto. |
Escalar un despliegue
Ajuste el número de unidades de recursos utilizadas por un servicio dedicado mediante una operación de actualización.
Endpoint
Ejemplo de solicitud
Ejecute el siguiente comando para escalar un servicio específico:
Parámetros de solicitud
Parámetro | Tipo | Obligatorio | Descripción |
|---|---|---|---|
deployed_model | String | Sí | El identificador único del despliegue de modelo (parámetro de ruta). Puede obtenerlo desde Crear despliegue o la operación Listar despliegues. |
capacity | Integer | Condicionalmente requerido | Solo surte efecto cuando se especifica El número de unidades de recursos utilizadas por el modelo después de la actualización. Debe ser un múltiplo entero de |
ptu_capacity | Object | Condicionalmente requerido | Solo surte efecto cuando se especifica Ejemplo: |
ptu_capacity.input_tpm | Number | Condicionalmente requerido | Solo surte efecto cuando se especifica La cantidad máxima de tokens de entrada por minuto (tokens de entrada por minuto) admitida por el modelo desplegado. Admitido por todos los modelos. |
ptu_capacity.output_tpm | Number | Condicionalmente requerido | Solo surte efecto cuando se especifica La cantidad máxima de tokens de salida por minuto (tokens de salida por minuto) admitida por el modelo desplegado. Admitido por todos los modelos. |
ptu_capacity.thinking_output_tpm | Number | No | Solo surte efecto cuando se especifica La cantidad máxima de tokens de salida de pensamiento aprovisionados por minuto (tokens de salida de pensamiento por minuto) admitida por el modelo desplegado. Admitido por algunos modelos. |
Ejemplo de respuesta
Después de ejecutar el comando, se devuelve el siguiente resultado:
Parámetros de respuesta
Los campos de respuesta son los mismos que los de Obtener estado del despliegue de modelo. Para más detalles, consulte los parámetros de respuesta de Obtener estado del despliegue de modelo.
Eliminar un despliegue
Elimine un despliegue de modelo específico y libere los recursos informáticos correspondientes.
Endpoint
Ejemplo de solicitud
Ejecute el siguiente comando para eliminar un despliegue específico.
Parámetros de solicitud
Parámetro | Tipo | Ubicación | Obligatorio | Descripción |
|---|---|---|---|---|
deployed_model | String | path | Sí | El identificador único del despliegue de modelo. Puede obtenerlo desde Crear despliegue o la operación Listar despliegues. |
Ejemplo de respuesta
Preste atención al campo status. Cuando el estado cambia a DELETING, indica que el despliegue se está eliminando.
Parámetros de respuesta
Los campos de respuesta son los mismos que los de Obtener estado del despliegue de modelo. Para más detalles, consulte los parámetros de respuesta de Obtener estado del despliegue de modelo.
Respuestas de error
Ejemplo de respuesta
Parámetros de respuesta
Campo | Tipo | Descripción |
|---|---|---|
request_id | String | El ID único de la solicitud. |
code | String | El código de error. |
message | String | El mensaje de error. |
Código de error | Mensaje de error | Motivo del error |
|---|---|---|
NotFound | Modelo: xxx no encontrado. |
|
Conflict | El modelo desplegado xxx ya existe; especifique un sufijo. | El sufijo especificado al crear el despliegue ya está en uso. |
InvalidParameter | Capacidad no válida (xx); la capacidad debe ser mayor o igual que 0, múltiplo de 1 y menor que 1000. | Unidades de capacidad no válidas especificadas al crear o actualizar el despliegue. |