Skip to main content

Fine-tune with the API or CLI

Affinez les modèles Qwen dans Model Studio via l'API (HTTP) ou la CLI (shell). Trois méthodes d'affinage sont prises en charge : l'affinage supervisé (SFT), le pré-entraînement continu (CPT) et l'optimisation directe des préférences (DPO).

Prérequis

L'API prend uniquement en charge la facturation à la token. Pour utiliser des unités d'entraînement de modèle (prépayées ou postpayées), créez la tâche dans la console.

Importer des fichiers d'affinage

Préparation des fichiers d'affinage

Pour les spécifications de format des données, les règles d'emballage, les limites de taille et de quantité, ainsi que les quotas d'import via API propres à chaque méthode d'entraînement (SFT/DPO/CPT), consultez Règles de chargement des données d'ajustement fin. Formats de fichiers pris en charge par chaque méthode d'entraînement :

Méthode d'entraînement

Format de fichier

Génération de texte SFT

jsonl (structure multi-tours de messages ChatML)

SFT multimodal (images/vidéos)

zip (data.jsonl + fichiers image/vidéo)

DPO

jsonl (paires de préférence chosen/rejected)

CPT

jsonl (texte brut {text})

Jeu d'évaluation

xlsx (prompt&completion) / jsonl, xls, xlsx (ChatML-messages)

Vous pouvez également télécharger un modèle de données depuis la console Model Studio.

Sous la zone de téléchargement de fichiers de la page Create Dataset, vous trouverez le lien de téléchargement du data template.

Télécharger les fichiers d'affinage vers Model Studio

  • OpenAI-compatible Files API
python
import os
from pathlib import Path
from openai import OpenAI

client = OpenAI(
    # If you have not configured an environment variable, replace the following line with api_key="sk-xxx" and use your Model Studio API key.
    # API keys for the Singapore and China (Beijing) regions are different. Get an API key: https://www.alibabacloud.com/help/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # The following is the URL for the Singapore region. If you use the service in the China (Beijing) region, replace the URL with: https://dashscope.aliyuncs.com/compatible-mode/v1
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1",
)

# test.jsonl is a local sample file.
file_object = client.files.create(file=Path("test.jsonl"), purpose="fine-tune")

print(file_object.model_dump_json())
Limites applicables :
  • La taille maximale d'un fichier unique est de 300 Mo.
  • Le quota de stockage total pour tous les fichiers valides (non supprimés) est de 100 Go.
  • Le quota de nombre total pour tous les fichiers valides (non supprimés) est de 10 000 fichiers.
  • Le stockage des fichiers n'est pas limité dans le temps.
Les fichiers d'affinage importés via l'API sont visibles et utilisables à la fois sur la page d'affinage de modèle de la console Model Studio et dans les appels d'API.

Affinage de modèle

La création, l'interrogation, la consultation des journaux, la gestion des points de contrôle, ainsi que le listage, l'annulation et la suppression des tâches d'affinage s'effectuent tous via l'API. Les paramètres de requête et de réponse complets ainsi que les exemples de chaque interface figurent sur la page d'API correspondante ; cette section présente uniquement le déroulement global.

Créer une tâche d'affinage

Appelez l'interface Créer une tâche d'affinage (POST /api/v1/fine-tunes) pour démarrer l'entraînement. Consultez cette page pour le corps de la requête (model / training_datasets / hyper_parameters / training_type, etc.) et des exemples de réponse.

Interroger les détails d'une tâche d'affinage

Utilisez le job_id pour interroger l'état de la tâche. Pour plus d'informations, consultez Interroger l'état d'une tâche d'affinage.

Obtenir les journaux d'une tâche d'affinage

Récupérez les journaux d'entraînement via l'interface Obtenir les journaux d'une tâche d'affinage (GET /api/v1/fine-tunes/{job_id}/logs).

Interroger et publier les points de contrôle du modèle

Les points de contrôle produits par l'affinage peuvent être listés et exportés (publiés) :
  • Lister les points de contrôle : consultez Lister les points de contrôle (GET /api/v1/fine-tunes/{job_id}/checkpoints).
  • Exporter (publier) un point de contrôle spécifique : consultez Exporter un point de contrôle (GET /api/v1/fine-tunes/{job_id}/export/{checkpoint}?model_name=...) ; l'opération est asynchrone, interrogez son état via l'interface de listage.

Autres opérations d'affinage

Déploiement et invocation du modèle

Déploiement du modèle

Pour déployer le modèle, accédez à la console de déploiement dédié.

Invocation du modèle

Une fois l'état du déploiement défini sur RUNNING, invoquez le modèle affiné comme n'importe quel autre modèle. Vous pouvez également obtenir le Model Code depuis la console de déploiement dédié. Utilisation et paramètres : Référence de l'API DashScope.
curl 'https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY}  \
--header 'Content-Type: application/json' \
--data '{
    "model": "<your_model_instance_id>",
    "input":{
        "messages":[
            {
                "role": "user",
                "content": "Who are you?"
            }
        ]
    },
    "parameters": {
        "result_format": "message"
    }
}'