Recupera os detalhes de uma implantação de modelo específica.
Pré-requisitos
- Região suportada: os recursos descritos neste documento estão disponíveis apenas na região de Singapura, e é necessário usar a chave de API dessa região.
- Você obteve uma chave de API com sucesso e a configurou como uma variável de ambiente.
- Você leu Implantação de modelos e Implantar modelos usando a API para entender as etapas básicas da implantação de modelos.
Obter o status da implantação do modelo
Consulte os detalhes e o status de execução de uma implantação de modelo específica. É possível realizar polling nesta API; quando o status se tornar RUNNING, isso indica que o modelo foi implantado com sucesso.
Endpoint
Exemplo de solicitação
Você pode usar o comando a seguir para consultar os detalhes de um serviço dedicado específico:
Parâmetros da solicitação
Parâmetro | Tipo | Localização | Obrigatório | Descrição |
|---|---|---|---|---|
deployed_model | String | path | Sim | Identificador exclusivo da implantação do modelo. É possível obtê-lo em Criar uma implantação ou na operação Listar implantações. |
Exemplo de resposta
Atenção ao campo status. Quando o status se torna RUNNING, o modelo foi implantado com sucesso e está pronto para ser invocado.
Parâmetros da resposta
Campo | Tipo | Descrição |
|---|---|---|
request_id | String | Identificador exclusivo da solicitação. |
output | Object | Detalhes da tarefa. |
output.deployed_model | String | Identificador exclusivo da implantação do modelo. Usado para consultar o status da implantação e invocar o modelo. |
output.model_name | String | Nome do identificador do modelo. |
output.base_model | String | O modelo base utilizado. |
output.status | String | Status da implantação:
|
output.base_capacity | Number | Quantidade de unidades de recurso base. |
output.capacity | Number | Quantidade atual de unidades de recurso. |
output.ready_capacity | Number | Número de unidades de recurso prontas. |
output.workspace_id | String | O ID do espaço de trabalho associado à chave de API do Alibaba Cloud Model Studio. Consulte Obter o ID do espaço de trabalho. |
output.charge_type | String | Modo de cobrança. post_paid indica pagamento por uso. |
output.gmt_create | String | Hora de criação da implantação. |
output.gmt_modified | String | Hora da última modificação da implantação. |
output.creator | String | ID da conta do Alibaba Cloud do criador. |
output.modifier | String | ID da conta do Alibaba Cloud de quem realizou a modificação. |
output.plan | String | Plano de implantação. |
Listar modelos implantáveis
Obtenha a lista de modelos candidatos elegíveis para implantação na plataforma Model Studio, ou seja, quais modelos podem ser usados para criar implantações.
Endpoint
Exemplo de solicitação
Use o comando a seguir para consultar os modelos disponíveis para implantação. Recomendamos usar version=v1.0 para obter uma resposta completa, incluindo informações de planos de implantação e de templates.
Parâmetros da solicitação
Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
page_no | Number | Não | Número da página. Valor padrão: 1. |
page_size | Number | Não | Tamanho da página. Valor padrão: 50. Valor máximo: 100. Valor mínimo: 1. |
model_source | String | Não | Origem do modelo. |
version | String | Não | Versão da API. Recomendamos usar |
Exemplo de resposta
Após a execução do comando, o seguinte resultado é retornado:
Parâmetros da resposta
Parâmetro | Tipo | Descrição |
|---|---|---|
models | Array | Lista de modelos implantáveis. |
models[].model_name | String | Nome do modelo. |
models[].plans | Array | Lista de planos de implantação suportados pelo modelo. Retornada quando |
models[].plans[].plan | String | Tipo de plano de implantação: |
models[].plans[].templates | Array | Lista de templates de implantação (retornada quando |
models[].plans[].templates[].template_id | String | ID do template, passado como o parâmetro |
models[].plans[].templates[].template_name | String | Nome de exibição do template. |
models[].plans[].templates[].template_type | String | Tipo de template: |
models[].plans[].templates[].template_version | String | Versão do template. |
models[].plans[].templates[].template_desc | String | Descrição do template. |
models[].plans[].templates[].roles | Object | Configuração de funções dos nós. O modo COUPLED contém um nó |
models[].plans[].templates[].roles.{role}.model_unit_spec | String | Especificação da unidade de modelo. |
models[].plans[].templates[].roles.{role}.capacity_unit_per_instance | Number | Número de unidades de capacidade por instância, ou seja, base_capacity. Ao criar uma implantação, |
page_no | Number | Número da página consultada. |
page_size | Number | Tamanho da página consultada. |
total | Long | Número total de modelos que atendem às condições da consulta. |
Listar modelos implantados
Obtenha a lista de instâncias de implantação criadas, ou seja, os serviços de modelo que estão em execução ou já foram implantados no espaço de trabalho atual.
Endpoint
Exemplo de solicitação
Execute o comando a seguir para obter a lista de serviços dedicados:
Parâmetros da solicitação
Parâmetro | Tipo | Localização | Obrigatório | Descrição |
|---|---|---|---|---|
page_no | Number | query | Não | Número da página. Padrão: 1. |
page_size | Number | query | Não | Tamanho da página. Padrão: 50. Máximo: 200. Mínimo: 1. |
Exemplo de resposta
Após a execução do comando, o seguinte resultado é retornado:
Parâmetros da resposta
Campo | Tipo | Descrição |
|---|---|---|
request_id | String | Identificador exclusivo da solicitação. |
output.page_no | Number | Número da página atual. |
output.page_size | Number | Quantidade de itens por página. |
output.total | Number | Número total de implantações. |
output.deployments | Array | Lista de implantações de modelos. Cada elemento possui os mesmos campos da saída de Obter o status da implantação do modelo. |
Modificar a limitação de taxa da implantação
Modifique as configurações de limitação de RPM (requisições por minuto) e TPM (tokens por minuto) de uma implantação de modelo específica.
Endpoint
Exemplo de solicitação
Execute o comando a seguir para modificar as configurações de limitação de uma implantação específica:
Parâmetros da solicitação
Parâmetro | Tipo | Localização | Obrigatório | Descrição |
|---|---|---|---|---|
deployed_model | String | path | Sim | Identificador exclusivo da implantação do modelo. É possível obtê-lo em Criar uma implantação ou na operação Listar implantações. |
rpm_limit | Number | body | Pelo menos um parâmetro | Requisições por minuto (RPM). |
tpm_limit | Number | body | Tokens por minuto (TPM). |
Exemplo de resposta
Após a execução do comando, o seguinte resultado é retornado:
Parâmetros da resposta
Além dos campos base listados em Obter o status da implantação do modelo, a resposta também pode incluir os seguintes campos:
Campo | Tipo | Descrição |
|---|---|---|
output.plan | String | Plano de implantação. |
output.model_unit_spec | String | Template de implantação por unidade de modelo, como MU1. |
output.enable_thinking | Boolean | Indica se o modo de raciocínio (thinking) está ativado. |
output.max_context_length | Number | Comprimento máximo do contexto. |
output.rpm_limit | Number | Limite de requisições por minuto. |
output.tpm_limit | Number | Limite de tokens por minuto. |
Escalar uma implantação
Ajuste a quantidade de unidades de recurso usadas por um serviço dedicado executando uma operação de atualização.
Endpoint
Exemplo de solicitação
Execute o comando a seguir para escalar um serviço específico:
Parâmetros da solicitação
Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
deployed_model | String | Sim | Identificador exclusivo da implantação do modelo (parâmetro de caminho). É possível obtê-lo em Criar uma implantação ou na operação Listar implantações. |
capacity | Integer | Obrigatório condicional | Surte efeito apenas quando A quantidade de unidades de recurso usadas pelo modelo após a atualização. Ela deve ser um múltiplo inteiro de |
ptu_capacity | Object | Obrigatório condicional | Surte efeito apenas quando Exemplo: |
ptu_capacity.input_tpm | Number | Obrigatório condicional | Surte efeito apenas quando A quantidade máxima de tokens de entrada por minuto (input tokens per minute) suportada pelo modelo implantado. Suportado por todos os modelos. |
ptu_capacity.output_tpm | Number | Obrigatório condicional | Surte efeito apenas quando A quantidade máxima de tokens de saída por minuto (output tokens per minute) suportada pelo modelo implantado. Suportado por todos os modelos. |
ptu_capacity.thinking_output_tpm | Number | Não | Surte efeito apenas quando A quantidade máxima provisionada de tokens de saída de raciocínio por minuto (thinking output tokens per minute) suportada pelo modelo implantado. Suportado por alguns modelos. |
Exemplo de resposta
Após a execução do comando, o seguinte resultado é retornado:
Parâmetros da resposta
Os campos da resposta são os mesmos de Obter o status da implantação do modelo. Para mais detalhes, consulte os parâmetros de resposta de Obter o status da implantação do modelo.
Excluir uma implantação
Exclua uma implantação de modelo específica e libere os recursos de computação correspondentes.
Endpoint
Exemplo de solicitação
Execute o comando a seguir para excluir uma implantação específica.
Parâmetros da solicitação
Parâmetro | Tipo | Localização | Obrigatório | Descrição |
|---|---|---|---|---|
deployed_model | String | path | Sim | Identificador exclusivo da implantação do modelo. É possível obtê-lo em Criar uma implantação ou na operação Listar implantações. |
Exemplo de resposta
Atenção ao campo status. Quando o status se torna DELETING, isso indica que a implantação está sendo excluída.
Parâmetros da resposta
Os campos da resposta são os mesmos de Obter o status da implantação do modelo. Para mais detalhes, consulte os parâmetros de resposta de Obter o status da implantação do modelo.
Respostas de erro
Exemplo de resposta
Parâmetros da resposta
Campo | Tipo | Descrição |
|---|---|---|
request_id | String | O ID exclusivo da solicitação. |
code | String | O código do erro. |
message | String | A mensagem de erro. |
Código de erro | Mensagem de erro | Causa do erro |
|---|---|---|
NotFound | Model: xxx not found! |
|
Conflict | Deployed model xxx already exists, please specify a suffix. | O sufixo especificado ao criar a implantação já está em uso. |
InvalidParameter | Invalid capacity (xx), capacity must be larger than or equal to 0 and multiples of 1 and less than 1000! | Unidades de capacidade inválidas especificadas ao criar ou atualizar a implantação. |