Importación de modelos

​

Resumen de la importación de modelos

​

Autorizar OSS antes de la primera importación

{
    "Action": [
        "ram:CreateServiceLinkedRole"
    ],
    "Resource": "*",
    "Effect": "Allow",
    "Condition": {
        "StringEquals": {
            "ram:ServiceName": "datahub.sfm.aliyuncs.com"
        }
    }
}

​

Actualización desde el método de autorización heredado

​

Producto OSS no activado

​

Preparar archivos de modelo LoRA

​

Archivos requeridos y estructura de directorios

​

Restricciones de parámetros de entrenamiento

• Valores de rango: El rango debe ser uno de 8, 16, 32 o 64, y todas las capas LoRA del mismo modelo deben usar el mismo valor de rango; de lo contrario, el modelo no se puede importar.
• El vocabulario no debe modificarse: Los modelos que agregaron nuevos tokens o modificaron el vocabulario original durante el entrenamiento no se pueden importar; el vocabulario debe coincidir exactamente con el del modelo base.
• La plantilla de chat no debe modificarse: No se pueden importar modelos que hayan modificado chat_template durante el entrenamiento; chat_template debe coincidir con la configuración predeterminada del modelo base. chat_template se encuentra en el campo chat_template de config.json o tokenizer_config.json.
  
  
• Los modelos de visión-lenguaje deben congelar VIT: Los modelos de visión-lenguaje deben congelar la parte Vision Transformer. Si el adaptador LoRA contiene parámetros de peso relacionados con la visión (es decir, VIT no está congelado), el modelo no se puede importar.

from safetensors import safe_open
import argparse

def print_safetensor_structure(file_path):
    print(f"Loading safetensor file: {file_path}")
    print("="*80)

    with safe_open(file_path, framework="pt") as f:
        keys = f.keys()
        print(f"Found {len(keys)} tensors in the file:\n")

        for key in sorted(keys):
            tensor = f.get_tensor(key)
            shape = tuple(tensor.shape)
            dtype = str(tensor.dtype)
            device = tensor.device if hasattr(tensor, 'device') else 'cpu'

            lora_tag = " [LoRA]" if "lora_A" in key or "lora_B" in key else ""

            print(f"[{dtype:>14}] {shape} | {key} {lora_tag}")

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description="Print structure of a .safetensors LoRA adapter.")
    parser.add_argument("filepath", type=str, help="Path to the .safetensors file")
    args = parser.parse_args()

    print_safetensor_structure(args.filepath)

​

Validación automática previa al envío

​

Importar un modelo LoRA

1. En la página My Models, haga clic en el botón "Import Model" en la esquina superior derecha para abrir la página de creación de importación de modelos.
2. Complete la información del modelo según la tabla a continuación. El modelo base debe coincidir con la base utilizada para el entrenamiento LoRA, el bucket debe tener la etiqueta bailian-datahub-access=read, y después de seleccionar el directorio del modelo, el sistema valida automáticamente los archivos.
3. Después de verificar la información, haga clic en OK para enviar. El sistema valida automáticamente el formato y la integridad del archivo, y comienza la importación una vez que pasa la validación; para cancelar, haga clic en Cancel para regresar a la página de lista. Después de la importación, vea el estado en Gestionar modelos importados.

​

Gestionar modelos importados

​

Estados y transiciones

​

Disponibilidad de la columna Acciones

• Implementar: Disponible solo en el estado Creado; al hacer clic se abre la página de creación de implementación. Para operaciones de implementación, consulte Implementación y O&M. En otros estados, o cuando no hay ningún método de implementación disponible, el botón está deshabilitado.
• Entrenamiento incremental: Los modelos importados desde OSS no admiten entrenamiento incremental; el botón está deshabilitado.
• Eliminar: Los modelos en estado Creando no se pueden eliminar; los modelos cuantizados deben eliminarse desde la página de compresión de modelos.

​

FAQ