Skip to main content

Importation de modèles

La page My Models My Models vous permet de gérer les modèles créés ou importés. Utilisez cette page pour importer un modèle LoRA entraîné localement depuis Object Storage Service (OSS) vers Alibaba Cloud Model Studio.

Prérequis

Avant toute importation, vérifiez que les conditions suivantes sont remplies :
  • Préparation du bucket OSS : Créez un bucket OSS et ajoutez-y un tag.
    • Les classes de stockage Archive, Cold Archive et Deep Cold Archive ne sont pas prises en charge pour les buckets OSS. Les buckets privés et ceux avec chiffrement côté serveur activé sont autorisés.
    • Ne stockez pas les fichiers de modèle dans le répertoire racine du bucket OSS. Sélectionnez un sous-répertoire existant ou créez-en un nouveau pour permettre l'accès à Alibaba Cloud Model Studio.
    • Vous pouvez importer des fichiers de modèle de toute taille. Après l'importation, ils utilisent l'espace de stockage gratuit fourni par Alibaba Cloud Model Studio.
  • Préparation des fichiers de modèle : Vos fichiers de modèle doivent respecter les exigences et limites d'importation. Placez le dossier du modèle directement dans le bucket OSS afin que le système le détecte automatiquement.

Modèles de base pris en charge

Vous pouvez actuellement importer des versions affinées LoRA des modèles de base suivants :

Famille de modèles

Nom du modèle

Qwen3

Qwen3-32B

Qwen3-14B

Qwen3-8B

Qwen3-4B-Instruct-2507

Qwen3-VL

Qwen3-VL-8B-Instruct

Qwen2.5

Qwen2.5-72B-Instruct

Qwen2.5-32B-Instruct

Qwen2.5-14B-Instruct

Qwen2.5-7B-Instruct

Qwen2.5-VL

Qwen2.5-VL-72B-Instruct

Qwen2.5-VL-7B-Instruct

Procédure

Suivez ces étapes pour importer un modèle LoRA depuis OSS vers Model Studio :
  1. Sur la page My Models, cliquez sur le bouton Import Model.
  2. Sur la page Import Model, saisissez les informations suivantes :
    • Model name : Saisissez un nom d'affichage pour le modèle (50 caractères maximum).
    • Base model : Sélectionnez le modèle de base correspondant à votre modèle LoRA.
    • Training method : Choisissez la méthode d'entraînement utilisée pour le modèle. Les options dépendent du modèle de base sélectionné et s'affichent automatiquement après la sélection.
    • Import source : Seule l'option « Import from OSS » est prise en charge. Elle est sélectionnée par défaut.
    • Bucket : Sélectionnez le bucket OSS contenant vos fichiers de modèle.
    • Model directory : Parcourez et sélectionnez le répertoire du bucket choisi qui contient le checkpoint de votre modèle.
    • Model encryption : Pour protéger vos données, la plateforme active le chiffrement côté serveur OSS (SSE-OSS) à l'aide de clés entièrement gérées. L'algorithme de chiffrement est AES256.
  3. Après vérification des informations, cliquez sur OK pour envoyer la demande d'importation. Pour annuler, cliquez sur Cancel afin de revenir à la page de liste. Le système valide le format et l'intégrité du fichier de modèle. Si la validation réussit, l'importation démarre. Une fois terminée, consultez le modèle importé sur la page My Models My Models pour le déployer, l'affiner davantage ou le supprimer. Les états possibles d'un modèle importé sont les suivants : Creating (en cours d'importation), Created (importation réussie, prêt au déploiement), Creation Failed (échec de l'importation) et Expired (fichier de modèle modifié). La page de liste affiche également le nom et l'ID du modèle, le modèle de base, la source, les méthodes de déploiement prises en charge et la date de création. Utilisez le champ de recherche situé en haut pour filtrer les modèles par nom.

Exigences et limites d'importation

Important : Cette version prend uniquement en charge les modèles LoRA (Low-Rank Adaptation). Les modèles affinés sur tous les paramètres ne sont pas pris en charge.
Avant d'importer un modèle LoRA, assurez-vous que les exigences suivantes sont satisfaites :
  • Fichiers requis : Le bucket OSS doit contenir les fichiers suivants :
    • adapter_model.safetensors : Fichier de poids de l'adaptateur LoRA stocké au format SafeTensors.
    • adapter_config.json : Fichier de configuration de l'adaptateur LoRA contenant les paramètres clés tels que le rang et alpha.
  • Restriction du paramètre de rang : La valeur du rang doit être 8, 16, 32 ou 64. Toutes les couches LoRA d'un même modèle doivent utiliser la même valeur de rang.
  • Modèles avec vocabulaire modifié : Vous ne pouvez pas importer de modèles ayant ajouté de nouveaux tokens ou modifié le vocabulaire d'origine lors de l'entraînement. Le système exige une correspondance exacte entre le vocabulaire du modèle et celui du modèle de base.
  • Modèles avec chat_template modifié : Vous ne pouvez pas importer de modèles dont le chat_template a été modifié pendant l'entraînement. Seul le chat_template par défaut du modèle de base open source correspondant est pris en charge. La configuration du chat_template se trouve généralement à l'un des emplacements suivants :
    • Le champ chat_template du fichier config.json du modèle.
      image
    • Le champ chat_template du fichier tokenizer_config.json.
      image
  • Modèles vision-langage avec VIT non gelé : Pour les modèles VL (Vision-Language), la partie Vision Transformer (VIT) doit être gelée. L'importation échoue si les adaptateurs LoRA incluent des poids liés à la vision, ce qui indique que le VIT n'est pas gelé. Exécutez le code suivant pour effectuer la vérification :
    from safetensors import safe_open
    import argparse
    
    def print_safetensor_structure(file_path):
        print(f"Loading safetensor file: {file_path}")
        print("="*80)
    
        with safe_open(file_path, framework="pt") as f:
            keys = f.keys()
            print(f"Found {len(keys)} tensors in the file:\n")
    
            for key in sorted(keys):
                tensor = f.get_tensor(key)
                shape = tuple(tensor.shape)
                dtype = str(tensor.dtype)
                device = tensor.device if hasattr(tensor, 'device') else 'cpu'
    
                lora_tag = " [LoRA]" if "lora_A" in key or "lora_B" in key else ""
    
                print(f"[{dtype:>14}] {shape} | {key} {lora_tag}")
    
    if __name__ == "__main__":
        parser = argparse.ArgumentParser(description="Print structure of a .safetensors LoRA adapter.")
        parser.add_argument("filepath", type=str, help="Path to the .safetensors file")
        args = parser.parse_args()
    
        print_safetensor_structure(args.filepath)
    
    Méthode : Vérifiez si le fichier adapter_model.safetensors contient des paramètres de poids liés à la vision. La présence de clés de paramètres commençant par visual (par exemple, visual.encoder.layer.0...) indique que le composant ViT n'est pas gelé et que le modèle ne peut pas être importé.
    Example adapter files with the ViT component frozen
    Example adapter files with the ViT component not frozen (contains visual parameters)

FAQ

Pourquoi les résultats d'inférence du modèle importé diffèrent-ils de ceux obtenus localement avec vLLM ou SGLang ?

Le moteur d'inférence de Model Studio peut utiliser des valeurs de paramètres par défaut différentes de celles de votre framework local. Pour garantir la cohérence des résultats, ajustez les paramètres suivants lors de l'appel API :

Nom du paramètre

Valeur recommandée (correspond aux valeurs par défaut de vLLM)

temperature

Plage : [0, 2). Définissez-la à 1,0 pour correspondre à la valeur par défaut de vLLM.

top_p

Plage : (0, 1,0]. Définissez-le à 1,0 pour correspondre à la valeur par défaut de vLLM.

top_k

Définissez-le à None ou à une valeur supérieure à 100 pour désactiver l'échantillonnage top_k (seul top_p s'applique). Une valeur de 99 approxime la valeur par défaut de vLLM qui est de 0 (échantillonnage complet).

presence_penalty

Plage : [-2,0, 2,0]. Définissez-la à 0 pour correspondre à la valeur par défaut de vLLM.

repetition_penalty (protocole DashScope)

L'augmentation de repetition_penalty réduit les répétitions dans le texte généré. Une valeur de 1,0 signifie aucune pénalité. Plage : supérieure à 0. Définissez-la à 1,0 pour correspondre à la valeur par défaut de vLLM.

Remarque : Ces valeurs de paramètres sont basées sur les valeurs par défaut de vLLM. Si vous utilisez SGLang ou un autre framework d'inférence en local, reportez-vous à sa documentation pour ajuster les paramètres en conséquence.
S'il s'agit de votre première importation de fichiers depuis OSS vers Alibaba Cloud Model Studio, complétez l'autorisation comme indiqué et ajoutez le tag bailian-datahub-access à votre bucket OSS cible avant de procéder à l'importation.
Si vous n'êtes pas familier avec les comptes Alibaba Cloud et les utilisateurs RAM, lisez d'abord la rubrique Gestion des permissions.
  • Utilisation d'un compte Alibaba Cloud
  • Utilisation d'un utilisateur RAM
  1. Cliquez sur Go to authorize. Après avoir sélectionné Import from OSS sous Import source, la page affiche « You have not authorized OSS ». Repérez le lien Go to authorize situé à droite de ce message.
  2. Dans la boîte de dialogue qui s'affiche, cliquez sur Confirm Authorization. Le système crée automatiquement le rôle lié au service OSS (obligatoire).
    Cette action prend généralement effet en quelques secondes, mais peut subir un délai pendant les heures de pointe.
  3. Ajoutez le tag bailian-datahub-access à votre bucket OSS cible.
    Ce tag identifie les buckets accessibles par Alibaba Cloud Model Studio. Model Studio ne peut pas accéder aux buckets non tagués.
    1. Accédez à la console OSS. Dans le volet de navigation de gauche, cliquez sur Bucket List pour afficher vos buckets.
    2. Dans la colonne Tag du bucket cible, passez la souris sur l'icône image et cliquez sur Go to edit.
    3. Cliquez sur Create Tag.
    4. Cliquez sur Tag, ajoutez un tag nommé bailian-datahub-access avec la valeur read, puis cliquez sur Save.
  4. Retournez sur la page Import Model, resélectionnez le bucket cible et réessayez l'importation.
    Remarque : Alibaba Cloud Model Studio ne prend pas en charge l'accès aux fichiers stockés dans le répertoire racine du bucket. Sélectionnez un dossier existant dans le bucket ou créez-en un nouveau pour permettre l'accès à Model Studio.
Cette erreur survient généralement parce que le compte Alibaba Cloud n'a pas activé OSS. Suivez les étapes ci-dessous :
  1. Connectez-vous à la console OSS avec le compte Alibaba Cloud et activez OSS conformément aux instructions.
  2. Retournez sur la page Import Model d'Alibaba Cloud Model Studio et tentez à nouveau l'autorisation.