Skip to main content

Compatível com OpenAI - Batch Chat

Para cenários que não exigem respostas em tempo real, como anotação de dados e geração de conteúdo, as APIs de inferência em tempo real sofrem com custos altos e concorrência limitada. A API Batch Chat do Alibaba Cloud Model Studio mantém o mesmo estilo de invocação síncrona da API em tempo real — você simplesmente envia uma requisição e aguarda o retorno do resultado final. Este recurso está atualmente com 50% de desconto por tempo limitado no site oficial, reduzindo diretamente seus custos de inferência em 50%.

Esta interface aceita apenas o envio de uma única requisição. Para enviar várias requisições de uma só vez, você pode enviá-las por meio de um arquivo. Para mais detalhes, consulte OpenAI-compatible - Batch (file input).

Como funciona

  1. Envio da requisição: O cliente envia uma requisição e estabelece uma conexão.
  2. Manutenção da conexão: A requisição entra em uma fila e o cliente mantém a conexão aberta enquanto aguarda.
  3. Retorno síncrono: Após o processamento da requisição, o servidor retorna o resultado completo ao cliente de uma só vez pela conexão mantida anteriormente.
    Se o tempo máximo de espera for excedido, a conexão é encerrada automaticamente e um erro de timeout é retornado.

Escopo

  • China (Beijing)
  • Modelos de geração de texto: qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen-plus, qwen-flash
  • Modelos de compreensão de imagem e vídeo: qwen4-max, qwen3.8-max, qwen3.8-flash, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-plus, qwen3.5-omni-flash, qwen3-vl-plus
  • Em cenários de Batch, qwen3.8-max, qwen3.8-flash, qwen3.7-max, qwen3.7-plus, qwen3.6-plus, qwen3.7-flash, qwen3.6-flash, qwen3.5-plus, qwen3.5-flash, qwen3.5-omni-flash e qwen3.5-omni-plus suportam no máximo 256 K tokens de contexto por requisição; qwen3.5-omni-plus e qwen3.5-omni-flash não suportam saída de áudio.
  • Alguns modelos suportam o modo de raciocínio (thinking); quando ativado, ele gera tokens de raciocínio, o que aumenta os custos.
  • Os modelos das séries qwen3.8, qwen3.7, qwen3.6 e qwen3.5 têm o modo de raciocínio ativado por padrão. Ao usar modelos de raciocínio híbrido, recomendamos definir explicitamente o parâmetro enable_thinking (true para ativar / false para desativar).
  • No corpo da requisição JSONL, enable_thinking é um parâmetro de nível superior de body e deve ser passado no mesmo nível de model; ele não pode ser colocado dentro de extra_body.

Como usar

Pré-requisitos

pip3 install -U openai

Etapa 1: Configure o endpoint da API

Basta alterar o endpoint da API (base_url) para converter facilmente suas requisições de inferência em tempo real existentes em inferência em lote. Configure o endpoint correto de acordo com seu método de invocação. Configuração do SDK: Defina base_url como https://batch.dashscope.aliyuncs.com/compatible-mode/v1 Invocação HTTP: O endpoint da requisição é POST https://batch.dashscope.aliyuncs.com/compatible-mode/v1/chat/completions

Etapa 2: Fazer a chamada

Esta seção usa uma conversa de texto como exemplo para mostrar como chamar a API Batch Chat. O tempo limite de espera padrão de uma requisição é de 3600 segundos (1 hora); na maioria dos casos, nenhuma configuração adicional é necessária.
O exemplo a seguir mostra como definir proativamente um tempo limite personalizado (60-3600 segundos), como referência.
  • Python
  • Java
  • Node.js
  • Go
  • C#(HTTP)
  • PHP(HTTP)
  • curl
Exemplo de requisição
import os
from openai import OpenAI

client = OpenAI(
   # 若没有配置环境变量,可用阿里云百炼API Key将下行替换为:api_key="sk-xxx",但不建议在生产环境中直接将API Key硬编码到代码中,以减少API Key泄露风险.
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://batch.dashscope.aliyuncs.com/compatible-mode/v1",  # 阿里云百炼Batch chat API 的 URL
).with_options(timeout=1800.0) # 设置1800秒(30分钟)的等待时间,最长3600秒

completion = client.chat.completions.create(
    model="qwen-plus",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "你是谁?"},
    ]
)
print(completion.choices[0].message.content)
Exemplo de resposta
我是千问,阿里巴巴集团旗下的超大规模语言模型。我能够回答问题、创作文字,比如写故事、写公文、写邮件、写剧本、逻辑推理、编程等等,还能表达观点,玩游戏等。如果你有任何问题或需要帮助,欢迎随时告诉我!

Limitações

  • Tempo de espera: Após o envio de uma requisição, o resultado é aguardado de forma síncrona e o servidor mantém a conexão aberta por até 3600 segundos (1 hora). Você pode definir um tempo limite personalizado de acordo com suas necessidades reais, com um intervalo válido de 60 a 3600 segundos.
  • Limite de concorrência: Uma única conta pode manter até 10.000 requisições pendentes por modelo. Novas requisições que excederem esse limite são rejeitadas com o código de erro correspondente, até que as requisições pendentes sejam concluídas e liberem os slots disponíveis.
  • Taxa de requisições: Uma única conta pode enviar requisições a uma taxa máxima de 1000 QPS (10.000 requisições / 10 segundos).
    Este limite é um máximo teórico definido pelo sistema. No uso real, os recursos disponíveis da API são afetados dinamicamente pela carga geral do sistema. Recomendamos implementar lógica de nova tentativa em seu código.

Faturamento

  • Preço unitário de faturamento: Os tokens de entrada e de saída das requisições bem-sucedidas são faturados pelas mesmas tarifas das invocações em tempo real do modelo. Por tempo limitado, o site oficial oferece 50% de desconto nas chamadas do Batch Chat, sendo a tarifa final 50% do preço da invocação em tempo real. Para mais informações, consulte Modelos.
  • Escopo de faturamento: Apenas as requisições executadas com sucesso em uma tarefa são faturadas. Requisições com falha (incluindo erros de sistema ou timeouts) não são faturadas.
A inferência em lote é um item de faturamento separado e não suporta pagamento antecipado (planos de economia), a cota gratuita para novos usuários, nem recursos como cache de contexto.

Códigos de erro

Se a invocação do modelo falhar e retornar uma mensagem de erro, consulte Códigos de erro para solução de problemas.

FAQ

  1. Existe diferença no tempo de processamento entre as requisições do Batch Chat e as APIs em tempo real? Sim. As requisições do Batch Chat precisam passar por uma fila para agendamento, portanto o tempo de processamento de ponta a ponta geralmente é maior que o das APIs em tempo real. O tempo máximo de espera no lado do servidor é de 1 hora. Se uma requisição não for executada dentro desse tempo, a conexão é encerrada automaticamente e um erro é retornado.
  2. Como escolher entre Batch Chat e Batch File? Escolha o Batch Chat quando sua lógica de negócio exigir o envio de um grande número de requisições de conversa independentes com alta concorrência por meio de chamadas de API síncronas. Escolha o Batch File quando precisar processar um único arquivo grande contendo muitas requisições e puder aceitar a recuperação assíncrona do arquivo de resultados.
  3. O Batch Chat garante que todas as requisições sejam concluídas? Não. O Batch Chat usa recursos de Batch e a conclusão depende da alocação de recursos do sistema. Se os recursos do sistema estiverem ocupados, as requisições podem aguardar na fila. Se uma requisição ainda não tiver sido agendada para execução após o tempo máximo de espera, a conexão atinge o timeout e é encerrada. Nesse caso, a requisição não é faturada e você pode tentar novamente mais tarde.

Documentação relacionada