Ajuste modelos Qwen no Model Studio por meio da API (HTTP) ou CLI (shell). Três métodos de ajuste são suportados: ajuste fino supervisionado (SFT), pré-treinamento contínuo (CPT) e otimização direta de preferência (DPO).
Pré-requisitos
- Revise a Introdução ao ajuste fino de modelos para compreender seus conceitos, processo e requisitos de dados.
- Ative o serviço e obtenha uma chave de API. Obtenha uma chave de API.
- Conceda ao usuário RAM (usuário RAM) as permissões necessárias de invocação, treinamento e implantação.
Fazer upload de arquivos de ajuste fino
Preparação dos arquivos de ajuste fino
Para conhecer as especificações de formato de dados, as regras de empacotamento, os limites de tamanho e quantidade e as cotas de upload da API de cada método de treinamento (SFT/DPO/CPT), consulte Regras de upload de dados de ajuste fino. Os formatos de arquivo suportados por cada método de treinamento:
Método de treinamento | Formato de arquivo |
|---|---|
Geração de texto SFT | jsonl (estrutura multiturno de mensagens ChatML) |
SFT multimodal (imagens/vídeos) | zip (data.jsonl + arquivos de imagem/vídeo) |
DPO | jsonl (pares de preferência escolhido/rejeitado) |
CPT | jsonl (texto simples {text}) |
Conjunto de avaliação | xlsx (prompt&completion) / jsonl, xls, xlsx (ChatML-messages) |
Você também pode baixar um template de dados no console do Model Studio. | Abaixo da área de upload de arquivos na página Create Dataset, você encontra o link de download do template de dados. |
Fazer upload dos arquivos de ajuste fino para o Model Studio
- API de arquivos compatível com OpenAI
- O tamanho máximo de um único arquivo é de 300 MB.
- A cota total de armazenamento de todos os arquivos válidos (não excluídos) é de 100 GB.
- A cota total de quantidade de todos os arquivos válidos (não excluídos) é de 10000 arquivos.
- O armazenamento de arquivos não tem limite de tempo.
Ajuste fino de modelo
A criação, a consulta, a obtenção de logs, o gerenciamento de checkpoints e a listagem/cancelamento/exclusão de jobs de ajuste fino são todas feitas por meio da API. Os parâmetros completos de solicitação/resposta e os exemplos de cada interface estão na página correspondente da API; esta seção descreve apenas o fluxo de trabalho.
Criar um job de ajuste fino
Chame a interface Criar um job de ajuste fino (POST /api/v1/fine-tunes) para iniciar o treinamento. Consulte essa página para ver o corpo da solicitação (model / training_datasets / hyper_parameters / training_type, etc.) e exemplos de resposta.
Consultar detalhes do job de ajuste fino
Use o job_id para consultar o status da tarefa. Para obter mais informações, consulte Consultar o status da tarefa de ajuste fino.
Obter logs do job de ajuste fino
Recupere os logs de treinamento por meio da interface Obter logs da tarefa de ajuste fino (GET /api/v1/fine-tunes/{job_id}/logs).
Consultar e publicar checkpoints do modelo
Os checkpoints produzidos pelo ajuste fino podem ser listados e exportados (publicados):
- Listar checkpoints: consulte Listar checkpoints (
GET /api/v1/fine-tunes/{job_id}/checkpoints). - Exportar (publicar) um checkpoint específico: consulte Exportar checkpoint (
GET /api/v1/fine-tunes/{job_id}/export/{checkpoint}?model_name=...), assíncrono; verifique o status por meio da interface de listagem.
Mais operações de ajuste fino
- Listar jobs: Listar jobs de ajuste fino
- Cancelar job: Cancelar job de ajuste fino
- Excluir job: Excluir job de ajuste fino
Implantação e invocação do modelo
Implantação do modelo
Para implantar o modelo, acesse o console de Implantação Dedicada.
Invocação do modelo
Quando o status da implantação for RUNNING, invoque o modelo ajustado como qualquer outro modelo.
Você também pode obter o Model Code no console de Implantação Dedicada.
Uso e parâmetros: Referência da API DashScope.