Skip to main content

Criar um job de ajuste fino

Crie um job de ajuste fino de modelo.

Pré-requisitos

  • Regiões suportadas: Os recursos descritos neste tópico estão disponíveis apenas na região de Singapura, e você deve usar uma API Key desta região.
  • Permissões da conta: Se você usar uma subconta da Alibaba Cloud (usuário RAM), será necessário conceder à subconta permissões para invocação, treinamento e implantação de modelos.
  • Configure as variáveis de ambiente: Você obteve com sucesso uma API Key e a configurou como uma variável de ambiente.
  • Preparação: Você leu Ajuste de modelos Qwen para compreender os modelos compatíveis com ajuste fino, as etapas do ajuste fino, os formatos de dados e o faturamento.

Criar um job de ajuste fino

  • Singapura
POST https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes
Para o Windows CMD, substitua $DASHSCOPE_API_KEY por %DASHSCOPE_API_KEY%. Para o PowerShell, substitua por $env:DASHSCOPE_API_KEY

Parâmetros de solicitação

Cabeçalhos
Content-Type string (Obrigatório)Valor fixo: application/jsonAuthorization string (Obrigatório)Autenticação por API Key, no formato Bearer sk-xxxx.
Corpo da solicitação
model string (Obrigatório)O modelo para ajuste fino, ou o ID do modelo produzido por outro job de ajuste fino (para reajustar um modelo já ajustado fino).training_type string (Opcional)Método de ajuste fino. Valores disponíveis:
  • sft
  • efficient_sft
hyper_parameters object (Opcional)Configurações de hiperparâmetros. Modelos diferentes suportam conjuntos de parâmetros diferentes com valores padrão diferentes. Verifique o console com o mesmo modelo e método de ajuste para visualizar os valores padrão reais. Entre eles, n_epochs, batch_size e max_length afetam os custos do ajuste e devem ser especificados.

Propriedades dos hiperparâmetros

n_epochs int (Obrigatório)Número de épocas de treinamento. O número de vezes que o modelo percorre os dados de treinamento. Ajuste com base na sua experiência com ajuste fino.
  • Volume de dados < 10.000: recomendado 3-5 épocas.
  • Volume de dados > 10.000: recomendado 1-2 épocas.
Este parâmetro afeta o faturamento do treinamento. Mais épocas significam mais tempo de treinamento e custos mais altos.
batch_size int (Obrigatório)Tamanho do lote. O número de amostras de dados enviadas ao modelo para treinamento de uma só vez. Um valor muito pequeno aumenta significativamente o tempo de treinamento. Os valores padrão variam conforme o modelo; verifique o console.max_length int (Obrigatório)Comprimento da sequência. Valor recomendado: 8192. O comprimento máximo de tokens suportado por uma única amostra de treinamento. Se uma única amostra exceder esse comprimento de tokens, ela será descartada e não usada no treinamento.Para a relação entre caracteres e tokens, consulte Conversão entre token e string.learning_rate float (Opcional)Taxa de aprendizado. Recomenda-se usar o valor padrão do Model Studio. Controla a intensidade da correção dos pesos do modelo.
  • Se for muito alta, os parâmetros do modelo mudam drasticamente, podendo degradar o desempenho.
  • Se for muito baixa, o desempenho do modelo não mudará significativamente.
lr_scheduler_type string (Opcional)Tipo de agendador de taxa de aprendizado. Recomendado: linear ou inverse_sqrt. Uma estratégia para ajustar dinamicamente a taxa de aprendizado durante o treinamento. Para detalhes sobre cada estratégia, consulte Descrição dos agendadores de taxa de aprendizado.split float (Opcional)A proporção de dados de treinamento no arquivo de treinamento. Recomenda-se usar o valor padrão do Model Studio.Quando validation_datasets não está definido, o Model Studio usa automaticamente 80% como conjunto de treinamento e 20% como conjunto de validação. Este parâmetro não é válido quando validation_datasets está definido.max_split_val_dataset_sample int (Opcional)Tamanho máximo do conjunto de dados de validação. Recomenda-se usar o valor padrão do Model Studio.Quando validation_datasets não está definido, o conjunto de validação dividido automaticamente contém no máximo 1.000 amostras. Este parâmetro não é válido quando validation_datasets está definido.eval_steps int (Opcional)Etapas de validação. O intervalo de validação durante o treinamento, usado para avaliação periódica da precisão e da perda de treinamento do modelo.Este parâmetro afeta a frequência de exibição de Validation Loss e Validation Token Accuracy durante o ajuste.logging_steps int (Opcional)Etapas de registro. As etapas de intervalo para impressão dos logs de ajuste.warmup_ratio float (Opcional)Proporção de aquecimento. Recomenda-se usar o valor padrão do Model Studio. A proporção do processo total de treinamento usada para o aquecimento da taxa de aprendizado. O aquecimento da taxa de aprendizado significa que ela aumenta linearmente de um valor pequeno até o valor definido após o início do treinamento, ajudando o modelo a treinar de forma mais estável.
  • Se for muito grande: mesmo efeito de uma taxa de aprendizado muito baixa, resultando em mudança mínima no desempenho do modelo após o ajuste.
  • Se for muito pequeno: mesmo efeito de uma taxa de aprendizado muito alta, podendo piorar o desempenho do modelo após o ajuste.
Este parâmetro não se aplica ao agendador de taxa de aprendizado Constant.
weight_decay float (Opcional)Decaimento de peso (força de regularização L2). Recomenda-se usar o valor padrão do Model Studio. Ajuda a preservar até certo ponto as capacidades gerais do modelo. Um valor muito grande tornará os efeitos do ajuste menos perceptíveis.freeze_vit boolean (Opcional)Se o backbone visual deve ser congelado. Congela os parâmetros do backbone visual para que seus pesos não sejam atualizados durante o treinamento. Aplicável apenas a modelos Qwen-VL (compreensão visual).
Somente quando freeze_vit é definido como true o modelo pode ser cobrado pelo uso de tokens.
lora_rank int (Opcional)Rank do LoRA. Valor recomendado: 64. O rank da matriz de baixo rank no treinamento LoRA. Um rank maior gera melhores resultados de ajuste, mas um treinamento um pouco mais lento.Efetivo apenas quando training_type é efficient_sft ou dpo_lora.
Ao realizar um segundo ajuste fino eficiente em um modelo já ajustado de forma eficiente, lora_rank, lora_alpha e lora_dropout devem permanecer consistentes.
lora_alpha int (Opcional)Fator de escala do LoRA. Recomenda-se usar o valor padrão do Model Studio. Controla o fator de escala entre os pesos do modelo original e a correção de baixo rank do LoRA.
  • Um valor de alpha maior dá mais peso à correção do LoRA, tornando o modelo mais dependente de informações específicas da tarefa.
  • Um valor de alpha menor faz o modelo tender a reter o conhecimento pré-treinado original.
Efetivo apenas quando training_type é efficient_sft ou dpo_lora.lora_dropout float (Opcional)Taxa de dropout do LoRA. Recomenda-se usar o valor padrão do Model Studio. A taxa de dropout dos valores da matriz de baixo rank no treinamento LoRA. Usar o valor recomendado melhora a generalização do modelo. Um valor muito grande tornará os efeitos do ajuste fino menos perceptíveis.Efetivo apenas quando training_type é efficient_sft ou dpo_lora.save_strategy string (Opcional)Estratégia de salvamento de checkpoints. Pode ser definido como epoch ou steps. Quando definido como steps, você pode ajustar o intervalo de salvamento com o parâmetro save_steps.Efetivo apenas quando training_type é efficient_sft ou sft.save_steps int (Opcional)Etapas de salvamento. Define quantas etapas de treinamento há entre cada salvamento de checkpoint do modelo. Recomenda-se definir como um múltiplo inteiro de eval_steps .Efetivo apenas quando training_type é efficient_sft ou sft.save_total_limit int (Opcional)Limite de salvamento de checkpoints. Valor recomendado: 10. Limita o número máximo de checkpoints salvos para implantação.Efetivo apenas quando training_type é efficient_sft ou sft.
training_datasets Array of Dataset (Obrigatório)Lista de arquivos do conjunto de dados de treinamento.

Estrutura do Dataset

data_source_type string (Obrigatório)Tipo de origem de dados. Valores disponíveis:
  • oss_mount (Montar arquivo do OSS)
  • file_id (Arquivo enviado pela API de Gerenciamento de Arquivos)
mount_storage object (Condicionalmente obrigatório)Obrigatório quando o tipo de origem de dados é oss_mount. Informações de montagem do OSS.

Propriedades

region string (Obrigatório)A região do Bucket do OSS a montar. Suporta Pequim (cn-beijing) e Singapura (ap-southeast-1).bucket string (Obrigatório)O nome do Bucket do OSS a montar.file_path string (Obrigatório)O caminho do arquivo do OSS (object key) a montar. Para conjuntos de dados com vários arquivos, use o caminho para data.jsonl. Diferentemente do método file_id, você precisa enviar a pasta do conjunto de dados sem compactação para o OSS. Arquivos zip não são suportados.
file_id string (Condicionalmente obrigatório)Obrigatório quando o tipo de origem de dados é file_id. ID do arquivo, gerado pela API de Envio de Arquivos.
validation_datasets Array of Dataset (Opcional)Lista de arquivos do conjunto de dados de validação. Mesma estrutura que training_datasets.job_name string (Opcional)Nome do job de ajuste.model_name string (Opcional)Nome do modelo após a conclusão do ajuste.
curl --location --request POST "https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes" \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model":"qwen3-14b",
    "training_datasets":[
        {
            "data_source_type":"file_id",
            "file_id":"<Replace with the file ID of your training dataset>"
        }
    ],
    "validation_datasets":[
        {
            "data_source_type":"file_id",
            "file_id":"<Replace with the file ID of your validation dataset>"
        }
    ],
    "hyper_parameters":{
        "n_epochs":1,
        "learning_rate":"1.6e-5",
        "batch_size":32,
        "max_length":8192,
        "split":0.8
    },
    "training_type":"sft",
    "finetuned_output_suffix":"suffix"
}'
O assistente interativo SDK Expert pode realizar o mesmo desenvolvimento e solução de problemas por meio de linguagem natural; consulte DashScope SDK Expert.

Parâmetros de resposta

request_id stringO ID desta solicitação.output objectDetalhes do job.

Propriedades

job_id stringIdentificador exclusivo do job de ajuste fino, usado para consultar detalhes e logs do job, cancelá-lo ou excluí-lo. Regra de geração: ft-{yyyyMMddHHmm}-{4 char uuid}.job_name stringNome do job de ajuste fino.status stringStatus do job de ajuste fino:
  • PENDING: Treinamento pendente.
  • QUEUING: Treinamento na fila (apenas um job de ajuste fino pode ser executado por vez).
  • RUNNING: Treinamento em andamento.
  • SUCCEEDED: Treinamento concluído com sucesso.
  • FAILED: Falha no treinamento.
  • CANCELED: Treinamento cancelado.
  • CANCELING: Treinamento sendo cancelado.
finetuned_output stringO novo ID do modelo produzido após o ajuste fino. Retornado quando o status do job é SUCCEEDED.model stringO modelo base usado.base_model stringO modelo base usado.training_file_ids arrayCampo legado para compatibilidade com versões anteriores, sempre retorna um array vazio para novos jobs. Use training_datasets.training_datasets Array of DatasetLista de conjuntos de dados de treinamento.validation_file_ids arrayCampo legado para compatibilidade com versões anteriores, sempre retorna um array vazio para novos jobs. Use validation_datasets.validation_datasets Array of DatasetLista de conjuntos de dados de validação. Array vazio se nenhum conjunto de validação for especificado.hyper_parameters objectOs hiperparâmetros reais usados.training_type stringO método de treinamento para ajuste fino.create_time stringHora de criação do job.end_time stringHora de término do job. Retornado quando o status do job é SUCCEEDED, FAILED ou CANCELED.usage integerO número de tokens consumidos pelo job de ajuste fino. Para a fórmula de cálculo de cobrança, consulte: Cobrança. Retornado quando o status do job é SUCCEEDED ou CANCELED.workspace_id stringO ID do workspace do job de ajuste.user_identity stringIdentidade do usuário, ID da conta Alibaba Cloud.creator stringID da conta Alibaba Cloud do criador.modifier stringID da conta Alibaba Cloud de quem modificou.group stringGrupo do job de ajuste fino.
code stringCódigo de erro. Retornado quando a chamada falha. Consulte a tabela de códigos de erro abaixo.message stringDetalhes da mensagem de erro. Retornado quando a chamada falha.
{
    "request_id": "9654e55a-d74b-4113-aee1-fa19c9384fcc",
    "output": {
        "job_id": "ft-202410291653-1c7f",
        "job_name": "ft-202410291653-1c7f",
        "status": "PENDING",
        "model": "qwen3-14b",
        "base_model": "qwen3-14b",
        "training_file_ids": [],
        "training_datasets": [
            {
                "data_source_type": "file_id",
                "file_id": "976bd01a-f30b-4414-86fd-50c54486e3ef"
            }
        ],
        "validation_file_ids": [],
        "validation_datasets": [],
        "hyper_parameters": {
            "n_epochs": 3,
            "batch_size": 32,
            "max_length": 8192,
            "learning_rate": "1.6e-5",
            "lr_scheduler_type": "linear",
            "split": 0.9
        },
        "training_type": "sft",
        "create_time": "2024-10-29 16:53:53",
        "workspace_id":"llm-v71tlv***",
        "user_identity": "1396993924585947",
        "modifier": "1396993924585947",
        "creator": "1396993924585947",
        "group": "llm"
    }
}

Códigos de erro

Se a chamada falhar e retornar uma mensagem de erro, consulte a tabela a seguir para solução de problemas.

Código de status HTTP

Código de erro

Solução

400

InvalidParameter

Erro de parâmetro: parâmetros ausentes ou problemas de formato. Corrija seus parâmetros com base na mensagem de erro.

400

UnsupportedOperation

Não é possível operar o recurso enquanto ele está em um estado específico. Aguarde até que o recurso atinja um estado operável antes de tentar novamente.

404

NotFound

O recurso a consultar/operar não existe. Verifique se o ID do recurso está incorreto.

409

Conflict

Já existe uma instância de implantação com o mesmo nome. Especifique um sufixo para diferenciá-la.

429

Throttling

A criação do recurso acionou um limite da plataforma. Exclua modelos que não estão mais em uso.

500

InternalError

Erro interno. Registre o request_id e entre em contato com os engenheiros da Alibaba Cloud por meio de um ticket para investigação.

Próxima etapa

O ajuste fino é uma operação assíncrona. Após chamar esta API, você pode consultar o status do job de ajuste por meio da API Consultar e gerenciar jobs de ajuste.