Descreve as especificações de formato, requisitos de empacotamento, limites de tamanho e quantidade, além das cotas de upload via API para dados de ajuste fino de modelos de geração de texto. Este conteúdo auxilia na construção e no envio de dados de treinamento SFT/DPO/CPT em conformidade, organizados por método de treinamento.
Visão geral
Este documento detalha as especificações de formato, requisitos de empacotamento, limites de tamanho e quantidade e cotas de upload via API para dados de ajuste fino de modelos de geração de texto. O escopo abrange o ajuste fino de modelos de geração de texto (texto/imagem/vídeo → texto), incluindo SFT/DPO/CPT em texto simples, compreensão de imagem e vídeo com Qwen VL, extração de quadros de vídeo, function calling e raciocínio. O ajuste fino de modelos de geração de vídeo (imagem → vídeo) está fora do escopo.
Não é possível alterar o tipo de dataset (conjunto de treinamento ou conjunto de avaliação) após a criação. A tabela Training method and element support matrix apresenta o suporte detalhado para cada método de treinamento e elemento. As regras de construção de formato para cada combinação estão descritas nos capítulos correspondentes abaixo.
Documentos relacionados abordam operações de gerenciamento, como parâmetros de criação, gestão de versões, regras do conjunto de avaliação, seleção de método de importação, limpeza de dados, segurança e conformidade. Consulte Training set and evaluation set, Introduction to model fine-tuning, entre outros. Recomendamos baixe o modelo de dados correspondente ao cenário na página de criação do dataset e preparar os dados conforme essa estrutura para evitar falhas na importação.
Para obter recomendações sobre a construção de datasets, incluindo escala de dados sugerida, diversidade, equilíbrio e estratégias de aumento de dados, consulte Model fine-tuning introduction - Dataset construction tips.
Matriz de suporte a métodos de treinamento e elementos
O conjunto de treinamento aceita três métodos: SFT, DPO e CPT. A tabela abaixo mostra o status de suporte de cada método e elemento. A ordem recomendada para ajuste fino é CPT (opcional) → SFT → DPO (opcional). Esses métodos são progressivos e não mutuamente exclusivos.
Disponibilidade por região:
- SFT, upload local, backflow de log, upload via API e formatos de dados multimodais têm suporte em todas as regiões.
- DPO, CPT, importação via OSS e montagem de armazenamento em cloud estão disponíveis apenas na região Beijing.
Método de treinamento | Geração de texto | Compreensão visual - Entrada de imagem | Compreensão visual - Entrada de vídeo (qwen3.5+) | Compreensão visual - Tool calling (qwen3.5+) | Raciocínio profundo |
|---|---|---|---|---|---|
✓ | ✓ | ✓ | ✓ | ✓ | |
✓ | ✗ | ✗ | ✗ | ✓ | |
✓ | ✗ | ✗ | ✗ | ✗ | |
✓ | ✗ | ✗ | ✗ | ✗ |
Geração de texto - Formato SFT
Os dados de treinamento SFT para geração de texto utilizam o formato de arquivo jsonl, baseados na estrutura multivolta ChatML messages.
- Três funções são suportadas: system, user e assistant. O campo content é uma string (para a estrutura de array content em cenários multimodais, consulte o capítulo correspondente ao formato multimodal).
- O tamanho máximo por arquivo individual é de 200 MB.
- Um dataset pode misturar linhas de diferentes formatos. Cada registro seleciona seu formato independentemente, sem necessidade de unificação.
- Formatos disponíveis: ChatML padrão, thinking, function calling e function calling combinado com thinking (consulte as abas de exemplo abaixo).
- Standard ChatML
- Thinking
- Function calling
(0.0, 1.0]. Quanto maior o valor, maior a importância durante o treinamento.Suportado nativamente pelo Qwen3.5+. Para outros modelos, entre em contato com seu gerente de conta caso necessite desse recurso.
Regras da tag thinking
O conteúdo de raciocínio fica envolvido pelas tags <think>\n…\n</think>\n\n, inserido dentro do texto de saída do assistant (compartilhando o mesmo último content do assistant com a resposta final). Regras:
- Insira a tag apenas na última saída do assistant. Saídas intermediárias não devem conter tags de thinking.
- Mantenha obrigatoriamente as quebras de linha antes e depois da tag thinking.
- Se uma amostra de treinamento configurar o modelo para não gerar tags de thinking, evite reativar o modo de raciocínio ao chamar o modelo após o treinamento.
Formato do conjunto de avaliação
O conjunto de avaliação atende exclusivamente a cenários de geração de texto e independe do método de treinamento SFT/DPO/CPT. Modelos treinados com DPO/CPT também utilizam o conjunto de avaliação de geração de texto, sem distinção por método de treinamento.
Especificações do conjunto de avaliação:
- O formato do arquivo é xlsx. A estrutura de colunas está disponível no modelo baixado pelo console.
- Métodos de ingestão aceitos: upload local e replay de log. Importação via Object Storage Service (OSS) e montagem de armazenamento em cloud não são suportadas.
- Apenas versões em rascunho permitem edição online (Prompt/Completion). Versões publicadas não são editáveis.
- O intervalo de logs suportado abrange os últimos 30 dias.
- Limite de 100.000 registros por importação.
- Autorize a função vinculada ao service e especifique a API Key e as condições de filtro do modelo.
- O conjunto de treinamento aplica-se apenas a cenários SFT de geração de texto (o conjunto de avaliação de geração de texto também é compatível).
Geração de texto - Formato DPO
Os dados de treinamento DPO para geração de texto usam o formato jsonl. Baseiam-se na estrutura multivolta ChatML messages e incluem duas saídas contrastantes do assistant, chosen e rejected, para treinamento de alinhamento de preferências. Todo o conteúdo dentro de messages serve como entrada, e o DPO treina o feedback positivo/negativo do modelo sobre a última entrada do user. Para regras da estrutura multivolta messages, consulte Text generation - SFT format.
Para conteúdo de raciocínio profundo, a saída chosen ou rejected do assistant pode ser envolvida por tags de thinking. A tag thinking deve aparecer apenas na última linha do assistant. Para as regras, consulte Text generation - SFT format.
O parâmetro loss_weight (disponível apenas por convite, suportado exclusivamente pelo Qwen3.5+) aceita o módulo chosen. O intervalo de valores vai de 0.0 a 1.0; quanto maior o valor, maior a importância no treinamento. Para mais detalhes, consulte Text generation - SFT format.
O limite de tamanho de arquivo único para dados de treinamento DPO é de 200 MB, igual ao SFT de geração de texto. Para a definição de DPO, consulte Introduction to model fine-tuning. Para operações de rascunho e publicação, consulte Training set and evaluation set.
Veja o bloco de código abaixo para uma amostra de dados de treinamento DPO para geração de texto:
- Standard ChatML
- Deep thinking (thinking)
Geração de texto - Formato CPT
Os dados de treinamento CPT para geração de texto utilizam o formato de texto simples jsonl, com um objeto jsonl por linha, estruturado como {text}, onde o campo text contém o conteúdo em texto simples. Para regras da estrutura multivolta messages, consulte Text generation - SFT format.
Restrições para dados de treinamento CPT:
- Recomenda-se um mínimo de 50 milhões de Tokens, e o limite de tamanho por arquivo único é de 300 MB.
- Status de rascunho e herança de dados não são suportados. Cada nova versão exige a criação de novos dados e publicação imediata.
Estratégia de herança de dados | SFT | DPO | CPT |
|---|---|---|---|
Herdar dados existentes | ✓ | ✓ | ✗ |
Criar novos dados | ✓ | ✓ | Suportado (força novo) |
Compreensão visual - Formato SFT
Os dados de treinamento SFT com imagens destinam-se à compreensão multimodal do Qwen VL (a opção na UI do console é "Image Understanding"). Utilizam o formato de pacote zip, contendo um arquivo de dados de texto de treinamento data.jsonl e arquivos de imagem. O arquivo data.jsonl deve ficar na raiz do pacote. Em cada registro de treinamento, o campo messages no data.jsonl adota uma estrutura de array content, cujos itens contêm um campo de imagem (image) e um campo de texto (text). Recomenda-se uma estrutura de diretório de camada única. Para regras de empacotamento, consulte Multimodal zip package packaging rules.
- Image input limits
- Video input limits
- A largura e a altura de uma única imagem não podem exceder 1024 px.
- Uma única imagem não pode ultrapassar 10 MB.
- Formatos suportados: bmp, jpeg, jpg, png, tif, tiff, webp.
- Standard ChatML
- Thinking (thinking)
- Function calling (function calling)
- Image input
- Video file path mode
- Image frame list mode
Descrição do campo tool
O modo function calling adiciona definições de tools e o mecanismo tool_calls/role:tool sobre a estrutura de mensagens multivolta. As restrições de campos são:
- tools: array de definições de ferramentas. Cada item contém type:"function" e function{name, description, parameters}. O campo parameters é um JSON Schema (contendo type/properties/required).
- messages: array de diálogo multivolta. As roles incluem user, assistant e tool.
- content: array de conteúdo multimodal. Pode conter itens image, text, video, entre outros (consistente com o formato de compreensão multimodal).
- assistant.tool_calls: array de chamadas de ferramenta geradas pelo modelo. Contém id, type:"function", function{name, arguments}. O campo arguments é uma string JSON.
- role:"tool": retorno da ferramenta. O tool_call_id deve corresponder um a um ao respectivo tool_calls[].id. O content contém o resultado retornado pela ferramenta.
- Parâmetro disponível apenas por convite. Intervalo de valores de 0.0 a 1.0. Quanto maior o valor, maior a importância relativa dessa linha durante o treinamento.
- Em modelos SFT com thinking, apenas a última linha do assistant aceita loss_weight.
Regras da tag thinking
O conteúdo de raciocínio fica envolvido pelas tags <think>\n…\n</think>\n\n e inserido dentro do texto de saída do assistant (pertencendo ao mesmo último content do assistant da resposta final). Regras:
- Posicione a tag apenas na última saída do assistant. Saídas intermediárias não recebem tags de thinking.
- Preserve obrigatoriamente as quebras de linha antes e depois das tags thinking.
- Se as amostras de treinamento configurarem o modelo para não gerar tags de thinking, evite ative o modo de raciocínio nas chamadas após a conclusão do treinamento.
Regras de empacotamento zip multimodal
Os dados de treinamento para compreensão multimodal são enviados como um pacote zip pela página Add Dataset. O empacotamento deve atender às seguintes restrições:
- O pacote zip suporta até 2 GB.
- O conjunto de caracteres permitido para nomes de pastas e arquivos dentro do pacote inclui letras ASCII (a-z, A-Z), dígitos (0-9), underscores (_) e hífens (-).
- O arquivo de dados de texto de treinamento é fixo como data.jsonl e deve estar no diretório raiz do pacote zip. Garanta que, após a extração, abrir o arquivo zip mostre diretamente o data.jsonl, sem nenhuma pasta externa adicional envolvendo o conteúdo.
Limites de tamanho e quantidade de arquivos
Os limites superiores de tamanho e quantidade de arquivos para upload local variam conforme o método de treinamento e o cenário, conforme detalhado na tabela específica por cenário abaixo. Para limites de admissão de imagens, consulte Visual understanding-SFT format; para limites de formato do conjunto de avaliação, consulte Evaluation set format; para limites de ingestão por backflow de log, consulte Evaluation set format.
O parâmetro max_length aceita valores entre 500 e 131072 como configuração de comprimento de sequência de treinamento, não como limite superior de admissão para upload. O documento source não fornece um valor numérico para o limite superior de tamanho de admissão por registro individual de dados de treinamento; consulte o valor exibido na página do console.
Os limites superiores de tamanho e quantidade de arquivos para upload local são definidos por método de treinamento e cenário. O volume de dados recomendado representa o valor mínimo sugerido:
Método/cenário de treinamento | Tamanho máx. por arquivo | Qtd. máx. de arquivos (maxCount) | Volume de dados recomendado |
|---|---|---|---|
Geração de texto - Formato SFT | 200 MB | 10 (padrão) | Pelo menos milhares de amostras |
Geração de texto - Formato DPO | 200 MB | 10 (padrão) | Pelo menos centenas de amostras |
Geração de texto - Formato CPT | 300 MB | 1 | Pelo menos 50 milhões de Tokens |
Multimodal (zip) | 2 GB | 1 | Prepare amostras suficientes conforme os cenários reais |
Nome do arquivo (sem extensão) | ≤120 caracteres e único | — | — |
Extensão | Deve constar na lista de Create dataset | — | — |
Cota de upload via API
A cota para envio de arquivos de ajuste fino via DashScope API (com purpose marcado como ajuste fino de modelo) consta na tabela de cotas abaixo. Ao crie um dataset no console, a lista File API permite mesclar e registrar até 10 arquivos. Arquivos de ajuste fino enviados via API ficam visíveis e utilizáveis tanto na página de ajuste fino de modelo do console quanto em chamadas de API.
Restrições para carregamento de datasets via montagem de armazenamento em cloud:
- Especifique o caminho do manifesto do diretório raiz data.jsonl via file_path do MountStorage. Arquivos zip não são suportados.
- Ao escolher montagem de armazenamento em cloud como local de armazenamento, a publicação imediata é obrigatória. Status de rascunho não é suportado.
- Antes de montar, autorize o service Bailian a acessar os dados no OSS.
- Arquivo único acima de 300 MB: envie via montagem de armazenamento em cloud ou pelo canal ZIP multimodal de 2 GB.
- Cota total excedida: exclua arquivos históricos para liberar espaço.
- Dados importados ativam automaticamente a criptografia do lado do servidor OSS (SSE-OSS, AES256).
Item de cota | Limite | Descrição |
|---|---|---|
Tamanho de arquivo único | Até 300 MB | Arquivos de ajuste fino (purpose: ajuste fino de modelo) |
Espaço total de arquivos válidos | 100 GB | Acumulado de arquivos não excluídos |
Contagem total de arquivos válidos | 10000 | Acumulado de arquivos não excluídos |
Duração de armazenamento de arquivos | Sem limite de tempo | Não expira automaticamente |
Limite superior da lista File API | 10 | Registro mesclado ao criar dataset no console |
Dimensão | Importação via OSS | Montagem de armazenamento em cloud |
|---|---|---|
Pré-requisito | Tag de autorização de acesso a dados do Bailian | Autorizar o service Bailian a acessar dados no OSS |
Forma dos dados | Arquivos individuais ou em lote | Pasta inteira do dataset descompactado (zip não suportado) |
Entrada | Data Management > New Dataset > OSS Import | Model Fine-tuning > Create Training Task > Data Configuration > Dataset Mount |
Versão em rascunho | Suporta rascunho e publicação imediata | Força publicação imediata (rascunho não suportado) |
Conjunto de avaliação ✓ | ✗ | ✗ |
Validação de upload e erros comuns
Ao enviar arquivos localmente na página Add Dataset, a validação de frontend rejeita arquivos fora das regras de admissão e exibe um aviso. Cenários comuns de rejeição por validação e erros de upload aparecem nos itens expansíveis abaixo:
Details
Details
- Verifique o limite maxCount correspondente ao método de treinamento atual. Para detalhes, consulte File size and quantity limits.
- Reduza a contagem de arquivos para dentro do limite. Mescle dados multimodais em um único zip e dados CPT em um único jsonl.
- Se a contagem ainda exceder o limite, divida em múltiplos datasets e envie em lotes.
Details
Details
- Renomeie o arquivo para que o nome (sem extensão) fique dentro de 120 caracteres.
- Use apenas caracteres a-z/A-Z/0-9/_/-. Remova caracteres chineses e outros não ASCII.
- Nomes de arquivos dentro de um pacote multimodal também devem ser globalmente únicos.
Details
Details
- Verifique se há arquivos com nomes duplicados e renomeie-os para que a parte sem extensão seja única.
- Arquivos com o mesmo nome mas extensões diferentes (ex.: image.jpg e image.png) também são considerados duplicados e devem ser diferenciados simultaneamente.
- Nomes de arquivos dentro de um zip multimodal devem ser globalmente únicos, mesmo se distribuídos em pastas diferentes.
Details
Details
- Verifique se o tamanho do arquivo excede o limite do método de treinamento correspondente.
- Divida o jsonl em múltiplos arquivos para upload em lotes (SFT/DPO). Dividir dados CPT exige criar múltiplos novos datasets.
- Para o método de tratamento de estouro quando um arquivo único excede 300 MB, consulte API upload quota.
Details
Details
- Verifique se a extensão do arquivo está na lista suportada para o cenário correspondente.
- Converta o arquivo para uma extensão suportada e reempacote para upload.
- Extensões de imagem e vídeo dentro de um zip multimodal devem estar todas em conformidade, caso contrário a importação do pacote inteiro falha.
Details
Details
- Verifique se o Bucket OSS tem a tag de autorização de acesso a dados do Bailian adicionada.
- Confirme que o service Bailian foi autorizado a acessar dados no OSS.
- Verifique se o data.jsonl e o formato do arquivo estão em conformidade com as regras de empacotamento e tente o upload novamente. Para detalhes, consulte Multimodal zip package packaging rules.
- Operações de publicação e exclusão são irreversíveis. Versões publicadas não podem ser editadas novamente, e apenas versões em rascunho podem ser excluídas ou editadas online.
- O tipo de dataset (conjunto de treinamento/conjunto de avaliação) não pode ser alterado ou trocado após a criação. Selecione o tipo errado exige criar um novo dataset e reimportar todos os dados.
- Alterar o tipo de dataset, cenário de treinamento ou método de treinamento limpa os arquivos enviados e redefine o local de armazenamento e o método de importação.