Importação de modelos

​

Pré-requisitos

• Preparação do bucket OSS: Crie um bucket OSS e adicione uma tag a ele.
  • As classes de armazenamento compatíveis excluem Archive, Cold Archive e Deep Cold Archive. Há suporte para buckets com criptografia no lado do servidor ativada e buckets privados.
  • Não armazene arquivos de modelo no diretório raiz do bucket OSS. Selecione um subdiretório existente ou crie um novo para acesso do Alibaba Cloud Model Studio.
  • É possível importar arquivos de modelo de qualquer tamanho. Após a importação, eles usam o espaço de armazenamento gratuito fornecido pelo Alibaba Cloud Model Studio.
• Preparação dos arquivos de modelo: Os arquivos devem atender aos requisitos e limitações de importação. Coloque a pasta do modelo diretamente no bucket OSS para detecção automática pelo sistema.

​

Modelos base compatíveis

​

Procedimento

1. Na página My Models, clique em Import Model.
2. Na página Import Model, insira as seguintes informações:
   • Model name: Insira um nome de exibição para o modelo (até 50 caracteres).
   • Base model: Selecione o modelo base correspondente ao seu modelo LoRA.
   • Training method: Escolha o método de treinamento usado no modelo. As opções dependem do modelo base selecionado e aparecem automaticamente após a seleção.
   • Import source: Apenas "Import from OSS" é compatível. Esta opção vem selecionada por padrão.
   • Bucket: Selecione o bucket OSS onde os arquivos de modelo estão armazenados.
   • Model directory: Navegue e selecione o diretório no bucket escolhido que contém o checkpoint do modelo.
   • Model encryption: Para proteger seus dados, a plataforma ativa a criptografia no lado do servidor do OSS (SSE-OSS) usando chaves totalmente gerenciadas. O algoritmo de criptografia é AES256.
3. Após verificar as informações, clique em OK para enviar a solicitação de importação. Para cancelar, clique em Cancel e retorne à página de lista. O sistema valida o formato e a integridade do arquivo de modelo. Se a validação for bem-sucedida, a importação será iniciada. Após a conclusão, visualize o modelo importado na página My Models My Models para implantá-lo, ajustá-lo incrementalmente ou excluí-lo. Os estados do modelo importado incluem: Creating (importando), Created (importação bem-sucedida, pronto para implantação), Creation Failed (falha na importação) e Expired (arquivo do modelo alterado). A página de lista também exibe nome/ID do modelo, modelo base, origem, métodos de implantação compatíveis e hora de criação. Use a caixa de pesquisa na parte superior para filtrar modelos por nome.

​

Requisitos e limitações de importação

• Arquivos obrigatórios: O bucket OSS deve conter os seguintes arquivos:
  • adapter_model.safetensors: Arquivo de pesos do adaptador LoRA armazenado no formato SafeTensors.
  • adapter_config.json: Arquivo de configuração do adaptador LoRA contendo parâmetros-chave como rank e alpha.
• Restrição do parâmetro Rank: O valor de rank deve ser 8, 16, 32 ou 64. Todas as camadas LoRA no mesmo modelo devem usar o mesmo valor de rank.
• Modelos com vocabulário modificado: Não é possível importar modelos que adicionaram novos tokens ou modificaram o vocabulário original durante o treinamento. O sistema exige que o vocabulário corresponda exatamente ao do modelo base.
• Modelos com templates de chat modificados: Não é possível importar modelos que alteraram o chat_template durante o treinamento. O sistema oferece suporte apenas ao chat_template padrão do modelo base open-source correspondente. A configuração do chat_template geralmente está localizada em um dos seguintes locais:
  • No campo chat_template do arquivo config.json do modelo.
    
  • No campo chat_template do arquivo tokenizer_config.json.
    
• Modelos de visão-linguagem com VIT não congelado: Para modelos VL (Vision-Language), a parte Vision Transformer (VIT) deve estar congelada. Não é possível importar modelos cujos adaptadores LoRA incluam pesos relacionados à visão (indicando VIT não congelado). Execute o código a seguir para verificar:

from safetensors import safe_open
import argparse

def print_safetensor_structure(file_path):
    print(f"Loading safetensor file: {file_path}")
    print("="*80)

    with safe_open(file_path, framework="pt") as f:
        keys = f.keys()
        print(f"Found {len(keys)} tensors in the file:\n")

        for key in sorted(keys):
            tensor = f.get_tensor(key)
            shape = tuple(tensor.shape)
            dtype = str(tensor.dtype)
            device = tensor.device if hasattr(tensor, 'device') else 'cpu'

            lora_tag = " [LoRA]" if "lora_A" in key or "lora_B" in key else ""

            print(f"[{dtype:>14}] {shape} | {key} {lora_tag}")

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="Print structure of a .safetensors LoRA adapter.")
    parser.add_argument("filepath", type=str, help="Path to the .safetensors file")
    args = parser.parse_args()

    print_safetensor_structure(args.filepath)

​

Perguntas frequentes

​

Por que o modelo importado produz resultados de inferência diferentes em comparação com vLLM ou SGLang locais?

{
    "Action": [
        "ram:CreateServiceLinkedRole"
    ],
    "Resource": "*",
    "Effect": "Allow",
    "Condition": {
        "StringEquals": {
            "ram:ServiceName": "datahub.sfm.aliyuncs.com"
        }
    }
}