Descreve as especificações de formato, requisitos de empacotamento, limites de tamanho e quantidade, além das cotas de upload via API para dados de ajuste fino de modelos de geração de texto. Este conteúdo auxilia na construção e no envio de dados de treinamento SFT/DPO/CPT em conformidade, organizados por método de treinamento.
Visão geral
Este documento descreve as especificações de formato, os requisitos de empacotamento, os limites de tamanho e quantidade e as cotas de upload via API para dados de ajuste fino de modelos de geração de texto. O escopo abrange o ajuste fino de modelos de geração de texto (texto/imagem/vídeo → texto), incluindo SFT/DPO/CPT em texto simples, compreensão de imagem e vídeo do Qwen VL, extração de quadros de vídeo, function calling e raciocínio (thinking). O ajuste fino de modelos de geração de vídeo (imagem → vídeo) está fora do escopo.
O tipo de dataset (conjunto de treinamento ou conjunto de avaliação) não pode ser alterado após a criação. O suporte de cada método de treinamento e elemento está detalhado em Matriz de suporte a métodos de treinamento e elementos. As regras de construção de formato para cada combinação estão descritas nos capítulos correspondentes abaixo.
Operações de gerenciamento (parâmetros de criação, gestão de versões, regras do conjunto de avaliação, seleção do método de importação, limpeza de dados, segurança e conformidade) são abordadas em documentos correlatos; consulte Conjunto de treinamento e conjunto de avaliação, Introdução ao ajuste fino de modelos, entre outros. Recomendamos baixar o modelo de dados correspondente ao cenário na página de criação do dataset e preparar os dados conforme a estrutura do modelo para evitar falhas de importação.
Para obter recomendações sobre construção de datasets (escala de dados recomendada, diversidade e equilíbrio, estratégias de aumento de dados), consulte Introdução ao ajuste fino de modelos - Dicas de construção de datasets.
Matriz de suporte a métodos de treinamento e elementos
O conjunto de treinamento aceita três métodos de treinamento: SFT, DPO e CPT. O status de suporte de cada método de treinamento e elemento é mostrado na tabela de matriz abaixo. A ordem recomendada de ajuste fino é CPT (opcional) → SFT → DPO (opcional); os três são progressivos, não mutuamente exclusivos.
Disponibilidade por região:
- SFT, upload local, backflow de log, upload via API e formatos de dados multimodais são suportados em todas as regiões.
- DPO, CPT, importação via OSS e montagem de armazenamento em nuvem são suportados apenas na região Beijing.
Método de treinamento | Geração de texto | Compreensão visual - Entrada de imagem | Compreensão visual - Entrada de vídeo (qwen3.5+) | Compreensão visual - Tool calling (qwen3.5+) | Raciocínio profundo |
|---|---|---|---|---|---|
✓ | ✓ | ✓ | ✓ | ✓ | |
✓ | ✗ | ✗ | ✗ | ✓ | |
✓ | ✗ | ✗ | ✗ | ✗ | |
✓ | ✗ | ✗ | ✗ | ✗ |
Geração de texto - Formato SFT
Os dados de treinamento SFT de geração de texto usam o formato de arquivo jsonl, baseado na estrutura multivolta ChatML messages.
- Suporta três papéis: system, user e assistant. O campo content é uma string (para a estrutura de array content em cenários multimodais, consulte o capítulo correspondente ao formato multimodal).
- O tamanho máximo de um único arquivo é 200 MB.
- Um dataset pode misturar linhas de diferentes formatos — cada registro seleciona um formato de forma independente, sem necessidade de unificar em um único formato.
- Formatos disponíveis: diálogo padrão, raciocínio profundo, chamada de ferramentas (tool calling) e chamada de ferramentas combinada com raciocínio (consulte as abas de exemplo abaixo).
- Standard ChatML
- Raciocínio profundo (thinking)
- Function calling
Uso avançado
-
O parâmetro
loss_weighté suportado, com intervalo de valores de(0.0, 1.0]; quanto maior o valor, maior a importância deste registro durante o treinamento.Suportado por padrão nos modelos Qwen3.5 e posteriores; para habilitar o suporte nas séries Qwen3 e Qwen2.5, entre em contato com seu gerente de conta.
Regras da tag de raciocínio
O conteúdo de raciocínio é envolvido pelas tags <think>\n…\n</think>\n\n e colocado dentro do texto de saída do assistant (compartilhando o mesmo último content do assistant que a resposta final). Regras:
- Pode ser colocado apenas na última saída do assistant; saídas intermediárias do assistant não devem conter tags de raciocínio.
- As quebras de linha antes e depois da tag de raciocínio devem ser preservadas.
- Se uma amostra de treinamento for configurada para que o modelo não gere tags de raciocínio, não é recomendado reativar o modo thinking ao chamar o modelo após o treinamento.
Formato do conjunto de avaliação
O conjunto de avaliação atende apenas a cenários de geração de texto e é independente do método de treinamento SFT/DPO/CPT — modelos treinados com DPO/CPT também usam o conjunto de avaliação de geração de texto para avaliação, sem distinção por método de treinamento.
O conjunto de avaliação suporta dois formatos de amostra, selecionados no cenário de treinamento do formato de dados ao criar o dataset:
- Text generation (prompt&completion): formato de rodada única; cada amostra é composta por um Prompt (pergunta do usuário) e um Completion (resposta de referência). O upload local suporta apenas arquivos xls e xlsx (arquivo único de no máximo 20 MB); a estrutura de colunas pode ser consultada no modelo de dados fornecido pelo console.
- Text generation (ChatML-messages): formato de conversa de múltiplas rodadas; cada amostra é um array messages composto por mensagens com os papéis system, user e assistant, sendo a resposta de referência a última mensagem assistant do messages. O upload local suporta arquivos jsonl, xls e xlsx (arquivo único de no máximo 200 MB); o arquivo de exemplo pode ser baixado ao criar o dataset.
- messages: array de mensagens. A mensagem system é opcional e vem em primeiro lugar; as mensagens user e assistant se alternam; conversas de múltiplas rodadas continuam adicionando pares de mensagens user/assistant, e a última mensagem assistant é a resposta de referência da amostra.
- O content da mensagem assistant pode conter o raciocínio do modelo: o texto de raciocínio é colocado antes da resposta e separado pela marca
</think>(usado ao avaliar modelos de raciocínio). - extra: campo de extensão personalizado opcional, que suporta objetos, arrays, valores numéricos e outros tipos; é possível anexar dados personalizados às amostras conforme a necessidade do negócio.
- Métodos de ingestão: upload local e backflow de log; importação via Object Storage Service (OSS) e montagem de armazenamento em nuvem não são suportados.
- Apenas versões em rascunho criadas anteriormente suportam edição online (Prompt/Completion); versões publicadas não podem ser editadas.
- Datasets no formato ChatML exibem, na visualização de arquivos da página de detalhes do dataset, o conteúdo completo do messages amostra por amostra em jsonl.
- O intervalo de logs suportado é dos últimos 30 dias.
- Máximo de 100.000 registros por importação.
- É necessário autorizar a função vinculada ao serviço (service-linked role) e especificar a API Key e as condições de filtro de modelo.
- O conjunto de treinamento está disponível apenas para cenários SFT de geração de texto (o conjunto de avaliação de geração de texto também é suportado).
Geração de texto - Formato DPO
Os dados de treinamento DPO de geração de texto usam o formato jsonl. Com base na estrutura multivolta ChatML messages, contêm adicionalmente duas saídas contrastantes do assistant, chosen e rejected, para o treinamento de alinhamento de preferências. Todo o conteúdo dentro de messages é usado como entrada, e o DPO treina o feedback positivo/negativo do modelo sobre a última entrada do user. Para as regras da estrutura multivolta messages, consulte Geração de texto - Formato SFT.
Para conteúdo de raciocínio profundo, a saída chosen ou rejected do assistant pode ser envolvida por tags de raciocínio. A tag de raciocínio pode ser colocada apenas na última linha do assistant. Para as regras, consulte Geração de texto - Formato SFT.
O parâmetro loss_weight (disponível apenas por convite) suporta o módulo chosen. O intervalo de valores é de 0.0 a 1.0; quanto maior o valor, maior a importância no treinamento. Para detalhes, consulte Geração de texto - Formato SFT.
O limite de tamanho de arquivo único para dados de treinamento DPO é 200 MB, igual ao SFT de geração de texto. Para a definição de DPO, consulte Introdução ao ajuste fino de modelos. Para operações de gestão de versões e publicação, consulte Conjunto de treinamento e conjunto de avaliação.
Consulte o bloco de código abaixo para um exemplo de dados de treinamento DPO de geração de texto:
- Standard ChatML
- Raciocínio profundo (thinking)
Geração de texto - Formato CPT
Os dados de treinamento CPT de geração de texto usam o formato jsonl de texto simples, com um objeto jsonl por linha, estruturado como {text}, onde o campo text é o conteúdo em texto simples. Para as regras da estrutura multivolta messages, consulte Geração de texto - Formato SFT.
Restrições dos dados de treinamento CPT:
- Recomenda-se um mínimo de 50 milhões de Tokens, e o limite de tamanho de arquivo único é 300 MB.
Compreensão visual - Formato SFT
Os dados de treinamento SFT de imagem são usados para a compreensão multimodal do Qwen VL (a opção na UI do console é "Image Understanding"). Usam o formato de pacote zip contendo um arquivo de dados de texto de treinamento data.jsonl e arquivos de imagem. O data.jsonl deve ficar na raiz do pacote. O campo messages de cada registro de treinamento no data.jsonl adota uma estrutura de array content, com itens do array contendo um campo de imagem (image) e um campo de texto (text). Recomenda-se uma estrutura de diretório de camada única. Para as regras de empacotamento, consulte Regras de empacotamento do pacote zip multimodal.
- Limites de entrada de imagem
- Limites de entrada de vídeo
- A largura e a altura de uma única imagem não podem exceder 1024 px.
- Uma única imagem não pode exceder 10 MB.
- Formatos suportados: bmp, jpeg, jpg, png, tif, tiff, webp.
- Standard ChatML
- Raciocínio profundo (thinking)
- Function calling (function calling)
- Entrada de imagem
- Modo de caminho de arquivo de vídeo
- Modo de lista de quadros de imagem
Regras do formato function calling
O modo function calling adiciona definições de tools e o mecanismo tool_calls/role:tool sobre a estrutura multivolta messages. As restrições de campos são:
- tools: array de definição de ferramentas; cada item contém type:"function" e function{name, description, parameters}; parameters é um JSON Schema (contendo type/properties/required).
- messages: array de diálogo multivolta; os papéis incluem user, assistant e tool.
- content: array de conteúdo multimodal; pode conter itens image, text, video e outros (consistente com o formato de compreensão multimodal).
- assistant.tool_calls: array de chamadas de ferramenta geradas pelo modelo; contém id, type:"function", function{name, arguments}; arguments é uma string JSON.
- role:"tool": retorno da ferramenta; o tool_call_id deve corresponder um a um ao tool_calls[].id correspondente; o content contém o resultado retornado pela ferramenta.
Regras da tag de raciocínio
O conteúdo de raciocínio é envolvido pelas tags <think>\n…\n</think>\n\n e colocado dentro do texto de saída do assistant (pertencendo ao mesmo último content do assistant da resposta final). Regras:
- Deve ser colocado apenas na última saída do assistant; saídas intermediárias do assistant não adicionam tags de raciocínio.
- As quebras de linha antes e depois das tags de raciocínio devem ser preservadas.
- Se as amostras de treinamento configurarem o modelo para não gerar tags de raciocínio, após a conclusão do treinamento não é recomendado ativar o modo thinking nas chamadas.
Regras de empacotamento do pacote zip multimodal
Os dados de treinamento de compreensão multimodal são enviados como um pacote zip pela página Add Dataset. O empacotamento deve atender às seguintes restrições:
- O pacote zip suporta no máximo 2 GB.
- O conjunto de caracteres permitido para nomes de pastas e arquivos dentro do pacote é letras ASCII (a-z, A-Z), dígitos (0-9), underscores (_) e hífens (-).
- O arquivo de dados de texto de treinamento é fixo como data.jsonl e deve estar no diretório raiz do pacote zip — garanta que, após a extração, abrir o arquivo zip mostre diretamente o data.jsonl, sem nenhuma pasta externa adicional envolvendo o conteúdo.
Limites de tamanho e quantidade de arquivos
Os limites superiores de tamanho e quantidade de arquivos para upload local são definidos por método de treinamento e cenário, conforme detalhado na tabela específica de cenário abaixo. Para os limites de admissão de imagens, consulte Compreensão visual - Formato SFT; para os limites de formato do conjunto de avaliação, consulte Formato do conjunto de avaliação; para os limites de ingestão por backflow de log, consulte Formato do conjunto de avaliação.
O max_length assume valores no intervalo de 500 a 131072 como parâmetro de configuração de comprimento de sequência de treinamento, não como limite superior de admissão de upload. O limite superior do tamanho de admissão de um registro individual de dados de treinamento segue o exibido na página do console.
Os limites superiores de tamanho e quantidade de arquivos para upload local são definidos por método de treinamento e cenário. O volume de dados recomendado é o valor mínimo sugerido:
Método/cenário de treinamento | Tamanho máx. de arquivo único | Qtd. máx. de arquivos (maxCount) | Volume de dados recomendado |
|---|---|---|---|
Geração de texto - Formato SFT | 200 MB | 10 (padrão) | Pelo menos milhares de amostras |
Geração de texto - Formato DPO | 200 MB | 10 (padrão) | Pelo menos centenas de amostras |
Geração de texto - Formato CPT | 300 MB | 1 | Pelo menos 50 milhões de Tokens |
Multimodal (zip) | 2 GB | 1 | Prepare amostras suficientes conforme os cenários reais |
Nome do arquivo (sem extensão) | ≤120 caracteres e único | — | — |
Extensão | Deve constar na lista de Create dataset | — | — |
Cota de upload via API
A cota para envio de arquivos de ajuste fino via DashScope API (com purpose marcado como ajuste fino de modelo) é mostrada na tabela de cotas abaixo. Ao criar um dataset no console, a lista File API suporta mesclar e registrar até 10 arquivos; arquivos de ajuste fino enviados via API ficam visíveis e utilizáveis tanto na página de ajuste fino de modelo do console quanto em chamadas de API.
Restrições para carregamento de datasets via montagem de armazenamento em nuvem:
- Especifique o caminho do manifesto do diretório raiz data.jsonl via file_path do MountStorage; pacotes zip não são suportados.
- Antes de montar, você deve autorizar o serviço Bailian a acessar os dados do OSS.
- Arquivo único acima de 300 MB: envie via montagem de armazenamento em nuvem ou pelo canal ZIP multimodal de 2 GB.
- Cota total excedida: exclua arquivos históricos para liberar espaço.
- Dados importados ativam automaticamente a criptografia no lado do servidor do OSS (SSE-OSS, AES256).
Item de cota | Limite | Descrição |
|---|---|---|
Tamanho de arquivo único | Até 300 MB | Arquivos de ajuste fino (para ajuste fino de modelo) |
Espaço total de arquivos válidos | 100 GB | Acumulado de arquivos não excluídos |
Contagem total de arquivos válidos | 10000 | Acumulado de arquivos não excluídos |
Duração de armazenamento de arquivos | Sem limite de tempo | Não expira automaticamente |
Limite superior da lista File API | 10 | Registro mesclado ao criar dataset no console |
Dimensão | Importação via OSS | Montagem de armazenamento em nuvem |
|---|---|---|
Pré-requisito | Tag de autorização de acesso a dados do Bailian | Autorizar o serviço Bailian a acessar dados do OSS |
Forma dos dados | Arquivos individuais ou em lote | Pasta inteira do dataset descompactado (zip não suportado) |
Entrada | Data Management > New Dataset > OSS Import | Model Fine-tuning > Create Training Task > Data Configuration > Dataset Mount |
Conjunto de avaliação | ✗ | ✗ |
Validação de upload e erros comuns
Ao enviar arquivos localmente na página Add Dataset, a validação do frontend rejeita arquivos que não atendem às regras de admissão e exibe um aviso. Os cenários comuns de rejeição por validação e erros de upload são mostrados nos itens expansíveis abaixo:
Problema: ao enviar arquivos, o frontend informa que a contagem de arquivos excede o limite superior e rejeita os arquivos.
Problema: ao enviar arquivos, o frontend informa que a contagem de arquivos excede o limite superior e rejeita os arquivos.
- Verifique o limite superior de maxCount do método de treinamento atual; para detalhes, consulte Limites de tamanho e quantidade de arquivos.
- Reduza a contagem de arquivos para dentro do limite; mescle dados multimodais em um único zip e dados CPT em um único jsonl.
- Se a contagem ainda exceder o limite, divida em múltiplos datasets e envie em lotes.
Problema: o comprimento do nome do arquivo (excluindo a extensão) excede 120 caracteres, e o frontend rejeita o upload.
Problema: o comprimento do nome do arquivo (excluindo a extensão) excede 120 caracteres, e o frontend rejeita o upload.
- Renomeie o arquivo para que o nome (excluindo a extensão) fique dentro de 120 caracteres.
- Use apenas caracteres a-z/A-Z/0-9/_/-; remova caracteres chineses e outros não ASCII.
- Nomes de arquivos dentro de um pacote multimodal também devem ser globalmente únicos.
Problema: nomes de arquivos duplicados (comparação excluindo a extensão), e o frontend rejeita o upload.
Problema: nomes de arquivos duplicados (comparação excluindo a extensão), e o frontend rejeita o upload.
- Verifique se há arquivos com nomes duplicados e renomeie-os para que a parte sem extensão seja única.
- Arquivos com o mesmo nome mas extensões diferentes (ex.: image.jpg e image.png) também são considerados duplicados e devem ser diferenciados simultaneamente.
- Nomes de arquivos dentro de um zip multimodal devem ser globalmente únicos, mesmo se distribuídos em pastas diferentes.
Problema: o tamanho do arquivo único excede o limite superior do método de treinamento correspondente, e o frontend rejeita o upload.
Problema: o tamanho do arquivo único excede o limite superior do método de treinamento correspondente, e o frontend rejeita o upload.
- Verifique se o tamanho do arquivo excede o limite superior do método de treinamento correspondente.
- Divida o jsonl em múltiplos arquivos para envio em lotes (SFT/DPO); dividir dados CPT exige criar múltiplos novos datasets.
- Para o método de tratamento de estouro quando um arquivo único excede 300 MB, consulte Cota de upload via API.
Problema: a extensão do arquivo não está na lista supportedExtension, e o frontend exibe um alerta e rejeita o upload.
Problema: a extensão do arquivo não está na lista supportedExtension, e o frontend exibe um alerta e rejeita o upload.
- Verifique se a extensão do arquivo está dentro da lista suportada do cenário correspondente.
- Converta o arquivo para uma extensão suportada e reempacote para envio.
- Extensões de imagem e vídeo dentro de um zip multimodal devem estar cada uma em conformidade, caso contrário a importação do pacote inteiro falha.
Problema: durante o upload via OSS, o arquivo recebe o status de erro e o upload não é concluído.
Problema: durante o upload via OSS, o arquivo recebe o status de erro e o upload não é concluído.
- Verifique se o Bucket OSS recebeu a tag de autorização de acesso a dados do Bailian.
- Confirme que o serviço Bailian foi autorizado a acessar os dados do OSS.
- Verifique se o data.jsonl e o formato do arquivo estão em conformidade com as regras de empacotamento e tente o envio novamente; para detalhes, consulte Regras de empacotamento do pacote zip multimodal.
- Operações de publicação e exclusão são ambas irreversíveis; versões publicadas não podem ser editadas novamente, e apenas versões em rascunho podem ser excluídas ou editadas online.
- O tipo de dataset (conjunto de treinamento/conjunto de avaliação) não pode ser alterado nem alternado após a criação; selecionar o errado exige criar um novo dataset e reimportar todos os dados.
- Alternar o tipo de dataset, o cenário de treinamento ou o método de treinamento limpa os arquivos enviados e redefine o local de armazenamento e o método de importação.