Crear una tarea de implementación de modelo.
Requisitos previos
- Regiones: La API de implementación de modelos está disponible actualmente solo en la región de Singapur. Si utiliza otra región, complete la implementación del modelo en la consola de Model Studio de esa región.
- Permisos de la cuenta: Si utiliza una subcuenta de Alibaba Cloud (usuario RAM), debe otorgar a la subcuenta permisos para la invocación, el entrenamiento y la implementación de modelos.
- Configurar variables de entorno: Ha obtenido una clave de API y la ha configurado como variable de entorno.
- Lea la documentación de implementación: Recomendamos que lea primero Descripción general de la implementación dedicada y Crear tareas de implementación de modelos mediante la API para comprender cómo funciona la implementación de modelos y los pasos básicos.
Desplegar un modelo
- Singapur
POST https://dashscope-intl.aliyuncs.com/api/v1/deploymentsEn Windows CMD, reemplace$DASHSCOPE_API_KEYcon%DASHSCOPE_API_KEY%; en PowerShell, reemplácelo con$env:DASHSCOPE_API_KEY.
Parámetros de solicitudEncabezadosContent-Typestring (Obligatorio)Valor fijo: application/jsonAuthorization string (Obligatorio)Autenticación mediante clave de API. El formato es Bearer sk-xxxx.Cuerpo de la solicitudmodel_namestring (Obligatorio)El nombre del modelo que se va a implementar. Corresponde al ID del modelo en My Models. También puede obtenerlo de la salida de la operación Crear un trabajo de ajuste fino.plan string (Obligatorio)El plan de implementación. Valores válidos:
string (Requerido condicionalmente)La plantilla de implementación. Obligatorio cuando plan es mu. Ejemplo: "deploy_spec": "MU1".Puede obtenerla del campo template_id devuelto por la operación Obtener la lista de modelos implementables.capacity integer (Requerido condicionalmente)El número de unidades de recursos utilizadas por la implementación. El valor debe ser un múltiplo entero de base_capacity. Las restricciones varían según deploy_spec: por ejemplo, MU2 requiere un múltiplo de 8 y MU5 acepta 1.billing_method string (Requerido condicionalmente)El método de facturación. Obligatorio cuando plan es mu. Actualmente se admite "POST_PAY" (pospago).enable_thinking boolean (Opcional)Disponible solo cuando plan es mu. Compatible con algunos modelos. Puede establecerlo en true o false.max_context_length number (Opcional)Disponible solo cuando plan es mu. Compatible con algunos modelos. Ejemplo: "max_context_length": 131072.rpm_limit number (Opcional)Disponible solo cuando plan es mu. Compatible con algunos modelos. Especifica el número de solicitudes por minuto (RPM).tpm_limit number (Opcional)Disponible solo cuando plan es mu. Compatible con algunos modelos. Especifica el número de tokens utilizados por minuto (TPM).ptu_capacity object (Opcional)Tiene efecto solo cuando plan es ptu. Si no especifica este parámetro, el valor predeterminado es 10,000 input_tpm y 1,000 output_tpm.
Propiedades de ptu_capacity input_tpm numberEl número máximo de tokens de entrada por minuto que admite el modelo implementado.output_tpm numberEl número máximo de tokens de salida por minuto que admite el modelo implementado.thinking_output_tpm numberCompatible con algunos modelos. El número máximo de tokens de salida de pensamiento aprovisionados por minuto que admite el modelo implementado.string (Opcional)El nombre visible del modelo en la consola. Si no especifica este parámetro, el valor de model_name se utiliza automáticamente como nombre de la implementación.suffix string (Opcional)Después de implementar un modelo, se genera un nuevo nombre de modelo. suffix especifica el sufijo del nuevo nombre de modelo, con una longitud máxima de 8 caracteres, y debe ser globalmente único. Puede omitir el sufijo cuando implemente un modelo por primera vez. Para implementar el mismo modelo varias veces, debe especificar un sufijo para distinguir las implementaciones. |
Con la facturación por unidad de modelo, se le cobra según la duración de uso de las unidades de modelo. Es adecuado para cargas de trabajo de inferencia a gran escala después del ajuste fino del modelo, con recursos dedicados y rendimiento y costo flexibles. Después de ejecutar el siguiente comando de implementación, el servicio de implementación de modelos comienza a facturar inmediatamente tras una implementación exitosa, incluso si aún no ha invocado el modelo. Recomendamos confirmar las reglas de facturación del servicio antes de ejecutar el comando de implementación. |
Solución de problemas de implementación y ajuste del rendimiento
El parámetro max-num-seqs no es configurable
Para la implementación de modelos de Model Studio con los métodos de facturación por rendimiento aprovisionado y facturación por unidad de modelo, el rendimiento, la concurrencia y la velocidad de generación están preestablecidos por la plataforma. Los parámetros del motor de inferencia como max-num-seqs dentro de vLLM no se pueden ajustar directamente, y no existe tal parámetro en los parámetros de solicitud de esta API.
Con el método de facturación por unidad de modelo, puede controlar indirectamente el rendimiento seleccionando el tipo de unidad de modelo (el parámetro de solicitud deploy_spec) y ajustando el número de réplicas de implementación (el parámetro de solicitud capacity).
Plantillas de implementación y aislamiento de recursos
Las plantillas de implementación actuales solo admiten la implementación de un solo nodo (implementación de un solo nodo - inferencia general mejorada) y no admiten el aislamiento de instancias con múltiples tarjetas. Si necesita aislamiento de recursos, utilice el método de facturación por unidad de modelo, con el cual los recursos de cómputo están dedicados a su negocio.
Manejo de errores de limitación
Cuando las solicitudes concurrentes superan el umbral del límite de velocidad, la API devuelve HTTP 429 con el código de error Throttling.RateQuota y el mensaje de error Requests rate limit exceeded, please try again later. Soluciones:
- Facturación por rendimiento aprovisionado: ajuste
input_tpmyoutput_tpmenptu_capacity(correspondientes a Input kTPM y Output kTPM en la consola), o reduzca la frecuencia de las solicitudes. La política de desbordamiento puede ser desbordamiento automático (cambio a pago por uso) o solo capacidad PTU (las solicitudes que exceden la capacidad devuelven429directamente). - Facturación por unidad de modelo: ajuste
rpm_limitytpm_limit, o reduzca la frecuencia de las solicitudes.
Ajuste de la longitud del contexto
Con el método de facturación por unidad de modelo, puede configurar la longitud máxima del contexto con el parámetro de solicitud max_context_length. El valor oscila entre 1 y 262144 (el límite superior real depende de las capacidades del modelo implementado). Este parámetro limita el tamaño del contexto de cada solicitud y, por lo tanto, el uso de memoria por solicitud, lo que ayuda a reducir el riesgo de OOM.
Cuando procese cargas de trabajo con una gran cantidad de imágenes, establezca este parámetro según el tamaño de las imágenes y el número de imágenes por solicitud.
Parámetros de respuestarequest_idstringEl identificador único de la solicitud.output objectLos detalles de la tarea.
Propiedades deployed_model stringEl identificador único del modelo implementado. Se utiliza para consultar el estado de la implementación e invocar el modelo.model_name stringEl nombre del modelo.status stringEl estado de la implementación:
stringEl modelo base utilizado.gmt_create stringLa hora de creación de la tarea de implementación.gmt_modified stringLa hora de actualización de la tarea de implementación.workspace_id stringEl ID del espacio de trabajo al que pertenece la clave de API de Model Studio. Para obtener más información, consulte Obtener el ID del espacio de trabajo.charge_type stringEl modelo de pago. post_paid indica pospago.creator stringEl ID de la cuenta de Alibaba Cloud del creador.modifier stringEl ID de la cuenta de Alibaba Cloud del usuario que modificó por última vez la tarea de implementación.plan stringEl método de implementación.base_capacity numberEl número mínimo de unidades de recursos necesarias para ejecutar el modelo base.ready_capacity numberEl número de unidades de recursos que están listas y pueden procesar solicitudes de inmediato.model_unit_spec stringLa especificación de la unidad de modelo. Se devuelve solo cuando plan es mu.enable_thinking booleanSi el modo de pensamiento está habilitado. Se devuelve solo cuando plan es mu.max_context_length numberEl límite de longitud máxima del contexto. Se devuelve solo cuando plan es mu.rpm_limit numberEl número de solicitudes por minuto. Se devuelve solo cuando plan es mu.tpm_limit numberEl número de tokens utilizados por minuto. Se devuelve solo cuando plan es mu.ptu_capacity objectLa configuración del rendimiento aprovisionado. Se devuelve solo cuando plan es ptu.
Propiedades de ptu_capacity input_tpm numberEl número máximo de tokens de entrada por minuto que admite el modelo implementado.output_tpm numberEl número máximo de tokens de salida por minuto que admite el modelo implementado.thinking_output_tpm numberCompatible con algunos modelos. El número máximo de tokens de salida de pensamiento aprovisionados por minuto que admite el modelo implementado.stringEl código de error. Se devuelve cuando la invocación falla.message stringLa descripción detallada del error. Se devuelve cuando la invocación falla. |
Campos clave a los que prestar atención: output.deployed_model (el identificador único del modelo implementado) y output.status (el estado de la implementación). |