Skip to main content

Criar implantação

Crie uma tarefa de implantação de modelo.

Pré-requisitos

Implantar um modelo

  • Singapura
POST https://dashscope-intl.aliyuncs.com/api/v1/deployments
No Windows CMD, substitua $DASHSCOPE_API_KEY por %DASHSCOPE_API_KEY%; no PowerShell, substitua-o por $env:DASHSCOPE_API_KEY.

Parâmetros da requisição

Cabeçalhos
Content-Type string (Obrigatório)Valor fixo: application/jsonAuthorization string (Obrigatório)Autenticação por chave de API. O formato é Bearer sk-xxxx.
Corpo da requisição
model_name string (Obrigatório)O nome do modelo a ser implantado. Ele corresponde ao ID do modelo em Meus Modelos. Você também pode obtê-lo na saída da operação Criar uma Tarefa de Ajuste Fino.plan string (Obrigatório)O plano de implantação. Valores válidos:
  • mu: Faturamento por unidade de modelo.
  • lora: Implantação compartilhada LoRA (faturada por uso de tokens).
  • ptu: Faturamento por throughput provisionado.
deploy_spec string (Condicionalmente obrigatório)O modelo de implantação. Obrigatório quando plan é mu. Exemplo: "deploy_spec": "MU1".Você pode obtê-lo no campo template_id retornado pela operação Obter Lista de Modelos Implantáveis.capacity integer (Condicionalmente obrigatório)O número de unidades de recurso usadas pela implantação. O valor deve ser um múltiplo inteiro de base_capacity. As restrições variam conforme o deploy_spec: por exemplo, MU2 exige um múltiplo de 8, e MU5 aceita 1.billing_method string (Condicionalmente obrigatório)O método de faturamento. Obrigatório quando plan é mu. Atualmente, há suporte para "POST_PAY" (pós-pago).enable_thinking boolean (Opcional)Disponível apenas quando plan é mu. Compatível com alguns modelos. Você pode defini-lo como true ou false.max_context_length number (Opcional)Disponível apenas quando plan é mu. Compatível com alguns modelos. Exemplo: "max_context_length": 131072.rpm_limit number (Opcional)Disponível apenas quando plan é mu. Compatível com alguns modelos. Especifica o número de requisições por minuto (RPM).tpm_limit number (Opcional)Disponível apenas quando plan é mu. Compatível com alguns modelos. Especifica o número de tokens usados por minuto (TPM).ptu_capacity object (Opcional)Surte efeito apenas quando plan é ptu. Se você não especificar este parâmetro, o padrão será 10.000 input_tpm e 1.000 output_tpm.

Propriedades de ptu_capacity

input_tpm numberO número máximo de tokens de entrada por minuto suportado pelo modelo implantado.output_tpm numberO número máximo de tokens de saída por minuto suportado pelo modelo implantado.thinking_output_tpm numberCompatível com alguns modelos. O número máximo de tokens de saída de raciocínio provisionados por minuto suportado pelo modelo implantado.
name string (Opcional)O nome de exibição do modelo no console. Se você não especificar este parâmetro, o valor de model_name será usado automaticamente como o nome da implantação.suffix string (Opcional)Depois que um modelo é implantado, um novo nome de modelo é gerado. suffix especifica o sufixo do novo nome de modelo, com comprimento máximo de 8 caracteres, e ele deve ser globalmente exclusivo. Você pode omitir o sufixo ao implantar um modelo pela primeira vez. Para implantar o mesmo modelo várias vezes, você deve especificar um sufixo para distinguir as implantações.
  • Faturamento por unidade de modelo
  • Faturamento por uso de tokens
  • Faturamento por throughput provisionado
Com o faturamento por unidade de modelo, a cobrança é baseada na duração de uso das unidades de modelo. Ele é adequado para cargas de trabalho de inferência em grande escala após o ajuste fino do modelo, com recursos dedicados e desempenho e custo flexíveis.
Depois de executar o comando de implantação a seguir, o serviço de implantação de modelos começa a cobrar imediatamente após a implantação bem-sucedida, mesmo que você ainda não tenha invocado o modelo. Recomendamos confirmar as regras de faturamento do serviço antes de executar o comando de implantação.
curl "https://dashscope-intl.aliyuncs.com/api/v1/deployments" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "name": "my_qwen_plus",
    "model_name": "qwen-plus-2025-12-01",
    "plan": "mu",
    "deploy_spec": "MU1",
    "enable_thinking": true,
    "capacity": 4,
    "billing_method": "POST_PAY",
    "max_context_length": 10000,
    "rpm_limit": 500,
    "tpm_limit": 1000
}'

Solução de problemas de implantação e ajuste de desempenho

O parâmetro max-num-seqs não é configurável

Para a implantação de modelos do Model Studio nos métodos de faturamento por throughput provisionado e faturamento por unidade de modelo, o throughput, a concorrência e a velocidade de geração são predefinidos pela plataforma. Parâmetros do mecanismo de inferência, como max-num-seqs dentro do vLLM, não podem ser ajustados diretamente, e não existe tal parâmetro nos parâmetros de requisição desta API. No método de faturamento por unidade de modelo, você pode controlar o throughput indiretamente selecionando o tipo de unidade de modelo (o parâmetro de requisição deploy_spec) e ajustando a quantidade de réplicas da implantação (o parâmetro de requisição capacity).

Modelos de implantação e isolamento de recursos

Os modelos de implantação atuais suportam apenas a implantação em nó único (implantação em nó único - inferência geral aprimorada) e não suportam isolamento de instâncias com múltiplas placas. Se você precisar de isolamento de recursos, use o método de faturamento por unidade de modelo, no qual os recursos de computação são dedicados ao seu negócio.

Tratamento de erros de limitação

Quando as requisições simultâneas excedem o limite de taxa, a API retorna HTTP 429 com o código de erro Throttling.RateQuota e a mensagem de erro Requests rate limit exceeded, please try again later. Soluções:
  • Faturamento por throughput provisionado: ajuste input_tpm e output_tpm em ptu_capacity (correspondentes a Entrada kTPM e Saída kTPM no console), ou reduza a frequência de requisições. A política de excedente pode ser auto-overflow (mudança para pagamento por uso) ou apenas capacidade de PTU (requisições que excedem a capacidade retornam 429 diretamente).
  • Faturamento por unidade de modelo: ajuste rpm_limit e tpm_limit, ou reduza a frequência de requisições.

Ajuste do comprimento do contexto

No método de faturamento por unidade de modelo, você pode configurar o comprimento máximo de contexto com o parâmetro de requisição max_context_length. O valor varia de 1 a 262144 (o limite superior real depende das capacidades do modelo implantado). Este parâmetro limita o tamanho do contexto de cada requisição e, portanto, o uso de memória por requisição, o que ajuda a reduzir o risco de OOM. Ao processar cargas de trabalho com um grande número de imagens, defina este parâmetro com base no tamanho das imagens e no número de imagens por requisição.

Parâmetros da resposta

request_id stringO identificador exclusivo da requisição.output objectOs detalhes da tarefa.

Propriedades

deployed_model stringO identificador exclusivo do modelo implantado. Ele é usado para consultar o status da implantação e invocar o modelo.model_name stringO nome do modelo.status stringO status da implantação:
  • PENDING: A tarefa de implantação está sendo criada.
  • UPDATING: A tarefa de implantação está sendo atualizada.
  • RUNNING: A tarefa de implantação está em execução e o modelo implantado pode processar requisições normalmente.
  • STOPPED: A tarefa de implantação está interrompida e não há cobrança neste momento.
  • DELETING: A tarefa de implantação está sendo excluída.
  • FAILED: A tarefa de implantação falhou ao ser criada ou atualizada.
base_model stringO modelo base utilizado.gmt_create stringO horário de criação da tarefa de implantação.gmt_modified stringO horário de atualização da tarefa de implantação.workspace_id stringO ID do workspace ao qual a chave de API do Model Studio pertence. Para mais informações, consulte Obter o ID do Workspace.charge_type stringO modelo de pagamento. post_paid indica pós-pago.creator stringO ID da conta do Alibaba Cloud do criador.modifier stringO ID da conta do Alibaba Cloud do usuário que modificou a tarefa de implantação pela última vez.plan stringO método de implantação.base_capacity numberO número mínimo de unidades de recurso necessárias para executar o modelo base.ready_capacity numberO número de unidades de recurso que estão prontas e podem processar requisições imediatamente.model_unit_spec stringA especificação da unidade de modelo. Retornado apenas quando plan é mu.enable_thinking booleanIndica se o modo thinking está ativado. Retornado apenas quando plan é mu.max_context_length numberO limite do comprimento máximo de contexto. Retornado apenas quando plan é mu.rpm_limit numberO número de requisições por minuto. Retornado apenas quando plan é mu.tpm_limit numberO número de tokens usados por minuto. Retornado apenas quando plan é mu.ptu_capacity objectA configuração de throughput provisionado. Retornado apenas quando plan é ptu.

Propriedades de ptu_capacity

input_tpm numberO número máximo de tokens de entrada por minuto suportado pelo modelo implantado.output_tpm numberO número máximo de tokens de saída por minuto suportado pelo modelo implantado.thinking_output_tpm numberCompatível com alguns modelos. O número máximo de tokens de saída de raciocínio provisionados por minuto suportado pelo modelo implantado.
code stringO código de erro. Retornado quando a invocação falha.message stringA descrição detalhada do erro. Retornado quando a invocação falha.
  • Exemplo de resposta bem-sucedida
  • Exemplo de resposta de erro
Campos principais a observar: output.deployed_model (o identificador exclusivo do modelo implantado) e output.status (o status da implantação).
{
    "request_id": "f2ae64f7-83cc-410c-bc0b-840443f7eb86",
    "output": {
        "deployed_model": "qwen-plus-2025-12-01-mu-xxxx",
        "gmt_create": "2025-06-17T11:00:38.68",
        "gmt_modified": "2025-06-17T11:00:38.68",
        "status": "PENDING",
        "model_name": "qwen-plus-2025-12-01",
        "base_model": "qwen-plus",
        "model_unit_spec": "MU1",
        "enable_thinking": true,
        "max_context_length": 10000,
        "rpm_limit": 500,
        "tpm_limit": 1000,
        "base_capacity": 1,
        "ready_capacity": 0,
        "workspace_id": "llm-v71tlv3d***",
        "charge_type": "post_paid",
        "creator": "175805416***",
        "modifier": "175805416***",
        "plan": "mu"
    }
}

Próximas etapas

A implantação é uma operação assíncrona. Depois de chamar esta API, você pode consultar o status da implantação usando a operação Consultar e gerenciar implantações.