Crie uma tarefa de implantação de modelo.
Pré-requisitos
- Regiões: A API de implantação de modelos está disponível atualmente apenas na região de Singapura. Se você usar outra região, conclua a implantação do modelo no console do Model Studio dessa região.
- Permissões da conta: Se você usar uma subconta do Alibaba Cloud (usuário RAM), deverá conceder à subconta permissões para invocação, treinamento e implantação de modelos.
- Configurar variáveis de ambiente: Você obteve uma chave de API e a configurou como uma variável de ambiente.
- Leia a documentação de implantação: Recomendamos que você leia primeiro Visão geral da implantação dedicada e Criar tarefas de implantação de modelos usando a API para entender como funciona a implantação de modelos e as etapas básicas.
Implantar um modelo
- Singapura
POST https://dashscope-intl.aliyuncs.com/api/v1/deploymentsNo Windows CMD, substitua$DASHSCOPE_API_KEYpor%DASHSCOPE_API_KEY%; no PowerShell, substitua-o por$env:DASHSCOPE_API_KEY.
Parâmetros da requisiçãoCabeçalhosContent-Typestring (Obrigatório)Valor fixo: application/jsonAuthorization string (Obrigatório)Autenticação por chave de API. O formato é Bearer sk-xxxx.Corpo da requisiçãomodel_namestring (Obrigatório)O nome do modelo a ser implantado. Ele corresponde ao ID do modelo em Meus Modelos. Você também pode obtê-lo na saída da operação Criar uma Tarefa de Ajuste Fino.plan string (Obrigatório)O plano de implantação. Valores válidos:
string (Condicionalmente obrigatório)O modelo de implantação. Obrigatório quando plan é mu. Exemplo: "deploy_spec": "MU1".Você pode obtê-lo no campo template_id retornado pela operação Obter Lista de Modelos Implantáveis.capacity integer (Condicionalmente obrigatório)O número de unidades de recurso usadas pela implantação. O valor deve ser um múltiplo inteiro de base_capacity. As restrições variam conforme o deploy_spec: por exemplo, MU2 exige um múltiplo de 8, e MU5 aceita 1.billing_method string (Condicionalmente obrigatório)O método de faturamento. Obrigatório quando plan é mu. Atualmente, há suporte para "POST_PAY" (pós-pago).enable_thinking boolean (Opcional)Disponível apenas quando plan é mu. Compatível com alguns modelos. Você pode defini-lo como true ou false.max_context_length number (Opcional)Disponível apenas quando plan é mu. Compatível com alguns modelos. Exemplo: "max_context_length": 131072.rpm_limit number (Opcional)Disponível apenas quando plan é mu. Compatível com alguns modelos. Especifica o número de requisições por minuto (RPM).tpm_limit number (Opcional)Disponível apenas quando plan é mu. Compatível com alguns modelos. Especifica o número de tokens usados por minuto (TPM).ptu_capacity object (Opcional)Surte efeito apenas quando plan é ptu. Se você não especificar este parâmetro, o padrão será 10.000 input_tpm e 1.000 output_tpm.
Propriedades de ptu_capacity input_tpm numberO número máximo de tokens de entrada por minuto suportado pelo modelo implantado.output_tpm numberO número máximo de tokens de saída por minuto suportado pelo modelo implantado.thinking_output_tpm numberCompatível com alguns modelos. O número máximo de tokens de saída de raciocínio provisionados por minuto suportado pelo modelo implantado.string (Opcional)O nome de exibição do modelo no console. Se você não especificar este parâmetro, o valor de model_name será usado automaticamente como o nome da implantação.suffix string (Opcional)Depois que um modelo é implantado, um novo nome de modelo é gerado. suffix especifica o sufixo do novo nome de modelo, com comprimento máximo de 8 caracteres, e ele deve ser globalmente exclusivo. Você pode omitir o sufixo ao implantar um modelo pela primeira vez. Para implantar o mesmo modelo várias vezes, você deve especificar um sufixo para distinguir as implantações. |
Com o faturamento por unidade de modelo, a cobrança é baseada na duração de uso das unidades de modelo. Ele é adequado para cargas de trabalho de inferência em grande escala após o ajuste fino do modelo, com recursos dedicados e desempenho e custo flexíveis. Depois de executar o comando de implantação a seguir, o serviço de implantação de modelos começa a cobrar imediatamente após a implantação bem-sucedida, mesmo que você ainda não tenha invocado o modelo. Recomendamos confirmar as regras de faturamento do serviço antes de executar o comando de implantação. |
Solução de problemas de implantação e ajuste de desempenho
O parâmetro max-num-seqs não é configurável
Para a implantação de modelos do Model Studio nos métodos de faturamento por throughput provisionado e faturamento por unidade de modelo, o throughput, a concorrência e a velocidade de geração são predefinidos pela plataforma. Parâmetros do mecanismo de inferência, como max-num-seqs dentro do vLLM, não podem ser ajustados diretamente, e não existe tal parâmetro nos parâmetros de requisição desta API.
No método de faturamento por unidade de modelo, você pode controlar o throughput indiretamente selecionando o tipo de unidade de modelo (o parâmetro de requisição deploy_spec) e ajustando a quantidade de réplicas da implantação (o parâmetro de requisição capacity).
Modelos de implantação e isolamento de recursos
Os modelos de implantação atuais suportam apenas a implantação em nó único (implantação em nó único - inferência geral aprimorada) e não suportam isolamento de instâncias com múltiplas placas. Se você precisar de isolamento de recursos, use o método de faturamento por unidade de modelo, no qual os recursos de computação são dedicados ao seu negócio.
Tratamento de erros de limitação
Quando as requisições simultâneas excedem o limite de taxa, a API retorna HTTP 429 com o código de erro Throttling.RateQuota e a mensagem de erro Requests rate limit exceeded, please try again later. Soluções:
- Faturamento por throughput provisionado: ajuste
input_tpmeoutput_tpmemptu_capacity(correspondentes a Entrada kTPM e Saída kTPM no console), ou reduza a frequência de requisições. A política de excedente pode ser auto-overflow (mudança para pagamento por uso) ou apenas capacidade de PTU (requisições que excedem a capacidade retornam429diretamente). - Faturamento por unidade de modelo: ajuste
rpm_limitetpm_limit, ou reduza a frequência de requisições.
Ajuste do comprimento do contexto
No método de faturamento por unidade de modelo, você pode configurar o comprimento máximo de contexto com o parâmetro de requisição max_context_length. O valor varia de 1 a 262144 (o limite superior real depende das capacidades do modelo implantado). Este parâmetro limita o tamanho do contexto de cada requisição e, portanto, o uso de memória por requisição, o que ajuda a reduzir o risco de OOM.
Ao processar cargas de trabalho com um grande número de imagens, defina este parâmetro com base no tamanho das imagens e no número de imagens por requisição.
Parâmetros da respostarequest_idstringO identificador exclusivo da requisição.output objectOs detalhes da tarefa.
Propriedades deployed_model stringO identificador exclusivo do modelo implantado. Ele é usado para consultar o status da implantação e invocar o modelo.model_name stringO nome do modelo.status stringO status da implantação:
stringO modelo base utilizado.gmt_create stringO horário de criação da tarefa de implantação.gmt_modified stringO horário de atualização da tarefa de implantação.workspace_id stringO ID do workspace ao qual a chave de API do Model Studio pertence. Para mais informações, consulte Obter o ID do Workspace.charge_type stringO modelo de pagamento. post_paid indica pós-pago.creator stringO ID da conta do Alibaba Cloud do criador.modifier stringO ID da conta do Alibaba Cloud do usuário que modificou a tarefa de implantação pela última vez.plan stringO método de implantação.base_capacity numberO número mínimo de unidades de recurso necessárias para executar o modelo base.ready_capacity numberO número de unidades de recurso que estão prontas e podem processar requisições imediatamente.model_unit_spec stringA especificação da unidade de modelo. Retornado apenas quando plan é mu.enable_thinking booleanIndica se o modo thinking está ativado. Retornado apenas quando plan é mu.max_context_length numberO limite do comprimento máximo de contexto. Retornado apenas quando plan é mu.rpm_limit numberO número de requisições por minuto. Retornado apenas quando plan é mu.tpm_limit numberO número de tokens usados por minuto. Retornado apenas quando plan é mu.ptu_capacity objectA configuração de throughput provisionado. Retornado apenas quando plan é ptu.
Propriedades de ptu_capacity input_tpm numberO número máximo de tokens de entrada por minuto suportado pelo modelo implantado.output_tpm numberO número máximo de tokens de saída por minuto suportado pelo modelo implantado.thinking_output_tpm numberCompatível com alguns modelos. O número máximo de tokens de saída de raciocínio provisionados por minuto suportado pelo modelo implantado.stringO código de erro. Retornado quando a invocação falha.message stringA descrição detalhada do erro. Retornado quando a invocação falha. |
Campos principais a observar: output.deployed_model (o identificador exclusivo do modelo implantado) e output.status (o status da implantação). |