Para cenários que não exigem respostas em tempo real, como anotação de dados e geração de conteúdo, as APIs de inferência em tempo real sofrem com custos altos e concorrência limitada. A API Batch Chat do Alibaba Cloud Model Studio mantém o mesmo estilo de invocação síncrona da API em tempo real — você simplesmente envia uma requisição e aguarda o retorno do resultado final. Este recurso está atualmente com 50% de desconto por tempo limitado no site oficial, reduzindo diretamente seus custos de inferência em 50%.
Esta interface aceita apenas o envio de uma única requisição. Para enviar várias requisições de uma só vez, você pode enviá-las por meio de um arquivo. Para mais detalhes, consulte OpenAI-compatible - Batch (file input).
Como funciona
- Envio da requisição: O cliente envia uma requisição e estabelece uma conexão.
- Manutenção da conexão: A requisição entra em uma fila e o cliente mantém a conexão aberta enquanto aguarda.
-
Retorno síncrono: Após o processamento da requisição, o servidor retorna o resultado completo ao cliente de uma só vez pela conexão mantida anteriormente.
Se o tempo máximo de espera for excedido, a conexão é encerrada automaticamente e um erro de timeout é retornado.
Escopo
- China (Beijing)
- Modelos de geração de texto: qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen-plus, qwen-flash
- Modelos de compreensão de imagem e vídeo: qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-plus, qwen3.5-omni-flash, qwen3-vl-plus
Como usar
Pré-requisitos
-
Você ativou o serviço Alibaba Cloud Model Studio e obteve uma API Key.
Recomendamos configurar sua API Key em variáveis de ambiente para reduzir o risco de vazamento da API Key.
- Se você fizer chamadas por meio do SDK da OpenAI, é necessário instalar o SDK.
Etapa 1: Configure o endpoint da API
Basta alterar o endpoint da API (base_url) para converter facilmente suas requisições de inferência em tempo real existentes em inferência em lote. Configure o endpoint correto de acordo com seu método de invocação.
Configuração do SDK: Defina base_url como https://batch.dashscope.aliyuncs.com/compatible-mode/v1
Invocação HTTP: O endpoint da requisição é POST https://batch.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions
Etapa 2: Fazer a chamada
Esta seção usa uma conversa de texto como exemplo para mostrar como chamar a API Batch Chat.
O tempo limite de espera padrão de uma requisição é de 3600 segundos (1 hora); na maioria dos casos, nenhuma configuração adicional é necessária.
O exemplo a seguir mostra como definir proativamente um tempo limite personalizado (60-3600 segundos), como referência.
- Python
- Java
- Node.js
- Go
- C#(HTTP)
- PHP(HTTP)
- curl
Exemplo de requisiçãoExemplo de resposta
Limitações
- Tempo de espera: Após o envio de uma requisição, o resultado é aguardado de forma síncrona e o servidor mantém a conexão aberta por até 3600 segundos (1 hora). Você pode definir um tempo limite personalizado de acordo com suas necessidades reais, com um intervalo válido de 60 a 3600 segundos.
- Limite de concorrência: Uma única conta pode manter até 10.000 requisições pendentes por modelo. Novas requisições que excederem esse limite são rejeitadas com o código de erro correspondente, até que as requisições pendentes sejam concluídas e liberem os slots disponíveis.
-
Taxa de requisições: Uma única conta pode enviar requisições a uma taxa máxima de 1000 QPS (10.000 requisições / 10 segundos).
Este limite é um máximo teórico definido pelo sistema. No uso real, os recursos disponíveis da API são afetados dinamicamente pela carga geral do sistema. Recomendamos implementar lógica de nova tentativa em seu código.
Faturamento
- Preço unitário de faturamento: Os tokens de entrada e de saída das requisições bem-sucedidas são faturados pelas mesmas tarifas das invocações em tempo real do modelo. Por tempo limitado, o site oficial oferece 50% de desconto nas chamadas do Batch Chat, sendo a tarifa final 50% do preço da invocação em tempo real. Para mais informações, consulte Modelos.
- Escopo de faturamento: Apenas as requisições executadas com sucesso em uma tarefa são faturadas. Requisições com falha (incluindo erros de sistema ou timeouts) não são faturadas.
Códigos de erro
Se a invocação do modelo falhar e retornar uma mensagem de erro, consulte Códigos de erro para solução de problemas.
FAQ
- Existe diferença no tempo de processamento entre as requisições do Batch Chat e as APIs em tempo real? Sim. As requisições do Batch Chat precisam passar por uma fila para agendamento, portanto o tempo de processamento de ponta a ponta geralmente é maior que o das APIs em tempo real. O tempo máximo de espera no lado do servidor é de 1 hora. Se uma requisição não for executada dentro desse tempo, a conexão é encerrada automaticamente e um erro é retornado.
- Como escolher entre Batch Chat e Batch File? Escolha o Batch Chat quando sua lógica de negócio exigir o envio de um grande número de requisições de conversa independentes com alta concorrência por meio de chamadas de API síncronas. Escolha o Batch File quando precisar processar um único arquivo grande contendo muitas requisições e puder aceitar a recuperação assíncrona do arquivo de resultados.
- O Batch Chat garante que todas as requisições sejam concluídas? Não. O Batch Chat usa recursos de Batch e a conclusão depende da alocação de recursos do sistema. Se os recursos do sistema estiverem ocupados, as requisições podem aguardar na fila. Se uma requisição ainda não tiver sido agendada para execução após o tempo máximo de espera, a conexão atinge o timeout e é encerrada. Nesse caso, a requisição não é faturada e você pode tentar novamente mais tarde.
Documentação relacionada
- Para a lista completa de parâmetros das invocações em tempo real do modelo, consulte Chat compatível com OpenAI.
- Para realizar processamento em lote enviando arquivos e recuperando os resultados de forma assíncrona, consulte OpenAI-compatible - Batch (file input).