Para cenários de inferência que não exigem respostas em tempo real, a inferência em lote pode processar de forma assíncrona grandes volumes de solicitações de dados por apenas 50% do custo da inferência em tempo real, com uma API compatível com OpenAI. É ideal para trabalhos em lote, como avaliação de modelos e rotulagem de dados.
Como funciona
- Envie a tarefa: faça o upload de um arquivo JSONL contendo várias solicitações para criar uma tarefa de inferência em lote.
- Processamento assíncrono: o sistema processa a tarefa em uma fila em segundo plano. Você pode consultar o progresso e o status da tarefa por meio do console ou da API.
- Baixe os resultados: após a conclusão da tarefa, o sistema gera um arquivo de resultados (registrando as respostas bem-sucedidas) e um arquivo de erros (registrando os detalhes das falhas, se houver).
Escopo aplicável
- Singapore
- China (Beijing)
-
Modelos de geração de texto
- Qwen Max: qwen3.8-max, qwen-max
- Qwen Plus: qwen3.7-plus, qwen-plus
- Qwen Flash: qwen-flash
-
Modelos multimodais
- Compreensão de imagem e vídeo: qwen3.8-max, qwen3.7-plus
Usar inferência em lote
Etapa 1: Preparar o arquivo de entrada
Antes de criar uma tarefa, prepare um arquivo JSONL em conformidade com as seguintes especificações:
- Formato: JSONL codificado em UTF-8 (um objeto JSON independente por linha).
-
Limites de tamanho: Até 50.000 solicitações e 500 MB por arquivo.
Se o volume de dados exceder esses limites, divida-o em várias tarefas e envie-as separadamente.
- Limite por linha: Cada objeto JSON deve ter ≤ 1 MB e não deve exceder o comprimento de contexto do modelo.
- Requisito de consistência: Todas as solicitações no mesmo arquivo devem usar o mesmo modelo.
-
Identificador exclusivo: Cada solicitação deve incluir um campo custom_id exclusivo no arquivo, usado para correspondência de resultados. O
custom_idaceita até 256 caracteres; exceder esse limite faz com que a validação da tarefa falhe. Para transmitir informações de identificador mais longas, use um campo personalizado demetadataao criar a tarefa. Para mais informações, consulte Usar metadata para retornar identificadores personalizados. -
Endereços de arquivos de mídia: Os arquivos de mídia referenciados por campos como
image_urlevideo_urlnobodyde solicitações multimodais devem usar URLs publicamente acessíveis. Caminhos de arquivos locais (comofile:///home/user/test.mp4) e endereços de rede interna não são suportados. Tarefas criadas com esses endereços podem ser enviadas com sucesso, mas nunca serão processadas até a conclusão. Faça primeiro o upload dos arquivos para um armazenamento publicamente acessível e, em seguida, referencie suas URLs.
Campo | Tipo | Obrigatório | Descrição |
|---|---|---|---|
| string | Sim | Identificador exclusivo da solicitação |
| string | Sim | Método HTTP; apenas |
| string | Sim | O endpoint da solicitação. Insira |
| object | Sim | O corpo da solicitação, cujo formato é o mesmo da API correspondente ao |
Arquivo de exemplo
Você pode baixar o arquivo de exemplo test_model.jsonl, que contém:
Uso
- Salve o código a seguir como
generate_batch_jsonl.py - Modifique o conteúdo das solicitações na lista
TASKSdo script - Execute
python generate_batch_jsonl.py - O arquivo
batch_input.jsonlgerado pode ser usado diretamente em tarefas de inferência em lote (Batch)
Script de geração de JSONL para modelos de geração de texto
Formato de solicitação para modelos multimodais
O campocontent dos modelos multimodais está em formato de matriz, contendo objetos de mídia e perguntas em texto. As URLs de mídia em cada linha de solicitação devem ser do mesmo tipo (imagem, vídeo ou áudio). Substitua TASKS no script acima pelo seguinte formato:
Formato de solicitação para modelos de embedding de texto
Os modelos de embedding de texto usam a API/v1/embeddings, e o formato da solicitação é diferente do formato dos modelos de geração de texto. Você pode usar o script independente a seguir para gerá-lo:
Configurar o modo de raciocínio na inferência em lote
Alguns modelos (como qwen3.7-plus, qwen3.7-max e as séries qwen3.6 e qwen3.5) têm o modo de raciocínio ativado por padrão, o que gera tokens de raciocínio adicionais. Para configurar o modo de raciocínio na inferência em lote, defina o parâmetro enable_thinking no body de cada linha de solicitação do arquivo JSONL, colocando-o no mesmo nível de model. O parâmetro opcional thinking_budget é usado para limitar o número máximo de tokens de raciocínio.
Exemplo: desativar o modo de raciocínio
Etapa 2: Criar uma tarefa de inferência em lote
- Na página **Inferência em lote**, clique em Criar Lote.
-
Na caixa de diálogo exibida: insira o Nome da Tarefa e a Descrição da Tarefa, defina o Tempo Máximo de Espera (de 1 a 14 dias) e faça o upload de um arquivo JSONL.
Você pode clicar em Baixar Arquivo de Exemplo para obter um modelo.
- Após preencher o formulário, clique em Confirmar.
Etapa 3: Monitorar e gerenciar tarefas
-
Visualizar:
- Na página de tarefas, visualize o progresso (número de solicitações processadas/total de solicitações) e o status de uma tarefa.
- Pesquise por nome ou ID da tarefa, ou filtre por workspace para localizar rapidamente a tarefa desejada.
-
Gerenciar:
- Cancelar: tarefas no estado "Em execução" podem ser canceladas na coluna Ações.
Etapa 4: Baixar os resultados
Após a conclusão de uma tarefa, clique em Visualizar Resultados para baixar os arquivos de saída:
- Arquivo de resultados: registra todas as solicitações bem-sucedidas e seus resultados de
response. - Arquivo de erros (se houver): registra todas as solicitações com falha e seus detalhes de
error.
custom_id, usado para corresponder aos dados de entrada originais, associar resultados ou localizar erros.
Etapa 5: Visualizar estatísticas de uso (opcional)
Na página Monitoramento, filtre e visualize as estatísticas de uso da inferência em lote.
-
Visualizar a visão geral dos dados: selecione um período (até 30 dias), defina o Tipo de Inferência como Inferência em Lote, e você poderá visualizar:
- Dados de Monitoramento: estatísticas resumidas de todos os modelos no período, como número total de chamadas e número total de falhas.
- Modelos: dados detalhados de cada modelo, como total de chamadas, taxa de falhas e duração média das chamadas.
Para visualizar dados de inferência de mais de 30 dias atrás, acesse a página Fatura.
-
Visualizar detalhes do modelo: Na lista Modelos, clique em Monitoramento na coluna Ações do modelo desejado para visualizar os detalhes das Estatísticas de Chamadas (como número de chamadas e volume de chamadas).

Usar metadata para retornar identificadores personalizados
O custom_id aceita até 256 caracteres. Para retornar informações de identificador mais longas no arquivo de resultados, você pode usar os campos personalizados de metadata.
Campos de metadata
O metadata é um parâmetro opcional ao criar uma tarefa Batch e suporta os seguintes campos:
ds_name: Nome da tarefa. Uma vez definido, é exibido na coluna Nome da Tarefa do console.ds_description: Descrição da tarefa. Uma vez definida, é exibida na coluna Descrição da Tarefa do console.- Campos personalizados: Além dos campos oficiais acima, o
metadatatambém suporta campos personalizados arbitrários, e os valores dos campos personalizados não estão sujeitos ao limite de 256 caracteres. Ao consultar os detalhes da tarefa, todos os campos personalizados são retornados integralmente.
Exemplo de código
O exemplo a seguir mostra como retornar informações de identificador com mais de 256 caracteres por meio dos campos personalizados de metadata:
GET /v1/batches/{batch_id}) para obter as informações completas de metadata, incluindo todos os campos personalizados e seu conteúdo integral.
Referência da API
Em ambientes de produção, use APIs compatíveis com OpenAI para criar e gerenciar tarefas Batch automaticamente. O fluxo de trabalho principal é o seguinte:
Exemplo:
-
Fazer upload do arquivo
Chame
POST /v1/filespara fazer o upload do arquivo e registre o ID do arquivo retornado. -
Criar a tarefa Passe o ID do arquivo e chame
POST /v1/batchespara criar uma tarefa; em seguida, registre obatch_idretornado. -
Consultar o status Use o
batch_idpara consultar periodicamenteGET /v1/batches/{batch_id}. Quando ostatusmudar paracompleted, registre ooutput_file_ide pare a consulta. -
Baixar os resultados Use o
output_file_idpara chamarGET /v1/files/{output_file_id}/contente baixar o arquivo de resultados.
Ciclo de vida da tarefa
Status | Descrição |
|---|---|
validating (Verificando) | O sistema está validando o formato do arquivo (especificação JSONL) e a validade do formato da API de cada linha de solicitação. |
in_progress (Em execução) | O arquivo passou na validação, e o sistema começou a processar as solicitações de inferência linha por linha. |
finalizing (Em execução) | Todas as solicitações foram processadas, e os resultados estão sendo gravados no arquivo de resultados e no arquivo de erros, respectivamente. Na lista de tarefas do console, esta etapa compartilha o rótulo de status Em execução com in_progress e não tem texto de exibição separado. |
completed (Concluído) | O arquivo de resultados e o arquivo de erros foram gravados e estão prontos para download. |
failed | A tarefa falhou durante a etapa de validating, geralmente devido a erros no nível do arquivo (como formato JSONL inválido ou arquivos grandes demais). Nesse estado, nenhuma solicitação de inferência é executada e nenhum arquivo de resultados é gerado. |
expired | O tempo de execução da tarefa excedeu o tempo máximo de espera definido na criação, e ela foi encerrada pelo sistema. Ao criar uma nova tarefa, recomendamos definir um tempo de espera mais longo. |
cancelled | O usuário cancela a tarefa, e as solicitações que ainda não começaram a ser processadas serão encerradas. |
Detalhes de faturamento
- Preço unitário de faturamento: Para todas as solicitações bem-sucedidas, o preço unitário dos tokens de entrada e saída é 50% do preço da inferência em tempo real do modelo correspondente. Para mais informações, consulte Modelos.
-
Escopo de faturamento:
- Apenas as solicitações executadas com sucesso na tarefa são faturadas.
- Falha na análise do arquivo, falha na execução da tarefa ou solicitações errôneas em nível de linha não geram cobranças.
- Para tarefas canceladas, as solicitações concluídas com sucesso antes do cancelamento ainda são faturadas normalmente.
- A inferência em lote é um item de faturamento independente. Ela suporta o Plano de Economia Universal de IA, mas não suporta descontos como pré-pagamento (savings plan) e cota gratuita para novos usuários, nem recursos como cache de contexto.
- Alguns modelos (como qwen3.7-plus, qwen3.7-max e as séries qwen3.6 e qwen3.5) têm o modo de raciocínio ativado por padrão, o que gera tokens de raciocínio adicionais faturados pelo preço dos tokens de saída, aumentando os custos. Recomendamos definir o parâmetro enable_thinking de acordo com a complexidade da tarefa para controlar os custos. Para mais informações, consulte raciocínio profundo.
Perguntas frequentes
- Preciso fazer uma compra ou ativação adicional para usar a inferência em lote? Não. Você pode usá-la assim que o Alibaba Cloud Model Studio for ativado, e as taxas são deduzidas do saldo da sua conta no modelo de pagamento conforme o uso.
-
Por que uma tarefa falha imediatamente após o envio (o status muda para failed)?
Isso geralmente é causado por erros no nível do arquivo, e a tarefa não executou nenhuma solicitação de inferência. Solucione o problema na seguinte ordem:
- Formato do arquivo: está no formato JSONL estrito, com um objeto JSON completo por linha?
- Tamanho do arquivo: o tamanho do arquivo, o número de linhas, etc. excedem os limites? Para mais informações, consulte Preparar arquivos de entrada.
- Consistência do modelo: verifique se o campo
body.modelde todas as solicitações no arquivo é exatamente o mesmo e se os modelos usados são suportados na região atual.
- Quanto tempo leva o processamento da tarefa? O tempo de processamento depende principalmente da carga do sistema no momento. Quando o sistema está ocupado, as tarefas podem precisar esperar em fila, mas os resultados, sejam de sucesso ou de falha, serão retornados dentro do tempo máximo de espera definido.