Resumen de datos de entrenamiento de Qwen y Wan
Fuentes de datos
Los datos de entrenamiento incluyen cuatro categorías:
- Datos de Internet disponibles públicamente: contenido web accesible para el público en general.
- Datos de socios externos: datos no públicos proporcionados por socios bajo acuerdo.
- Datos etiquetados y contratados: datos provenientes de servicios de etiquetado de datos y contratistas pagados.
- Datos sintéticos: datos generados por modelos propietarios de Alibaba Cloud para complementar los datos del mundo real.
Datos sintéticos
Los datos sintéticos generados por modelos propietarios abordan cuatro necesidades:
- Llenar vacíos donde los datos de entrenamiento del mundo real son limitados
- Manejar tareas complejas que requieren ejemplos de entrenamiento especializados
- Mejorar la generalización del modelo y el rendimiento perceptivo
- Fortalecer la seguridad y robustez del modelo
Capacidades principales
Los datos de entrenamiento desarrollan estas capacidades de servicio de inferencia:
- Comprensión general del lenguaje
- Razonamiento avanzado
- Interacción multimodal
- Procesamiento de contexto largo
- Generación visual
Política de datos del cliente
Alibaba Cloud Model Studio no utiliza datos comerciales de clientes para desarrollar o mejorar modelos sin consentimiento explícito.
Gobernanza de datos
Un marco de gobernanza de datos cubre todo el flujo de entrenamiento (desde el preentrenamiento hasta el post-entrenamiento) con medidas para la limpieza, procesamiento y optimización estructural de datos.
Preentrenamiento
Los datos de entrenamiento sin procesar se someten a limpieza y filtrado:
- El cribado automatizado de seguridad del contenido elimina contenido dañino o sensible.
- La revisión humana complementa los filtros automatizados como una salvaguarda adicional.
- El filtrado de información personal reduce la información personal en los conjuntos de datos de entrenamiento durante el preprocesamiento.
Post-entrenamiento
Aumento de datos para modelos de lenguaje
Los datos de alta calidad se seleccionan mediante un marco de anotación detallado en cinco dimensiones:
Dimensión | Propósito |
|---|---|
Valor educativo | Priorizar datos con señales de aprendizaje fuertes |
Cobertura de dominio | Cubrir amplitud en áreas de conocimiento |
Tipos de idioma | Admitir comprensión multilingüe |
Complejidad del razonamiento | Desarrollar capacidades avanzadas de razonamiento |
Niveles de seguridad | Filtrar según criterios de seguridad del contenido |
Procesamiento de modelos generativos visuales
Los datos multimodales se someten a un preprocesamiento específico:
- OCR de alta precisión y análisis estructural de documentos para la extracción de texto de imágenes y documentos
- Anotación semántica espacial 2D/3D para la comprensión espacial
- Alineación temporal explícita entre fotogramas de video y texto para la comprensión de video
Alineación de seguridad
Los conjuntos de datos de seguridad dedicados fortalecen las capacidades de seguridad integradas del modelo mediante la alineación de seguridad.
Objetivo
Estos procesos mejoran la calidad de los datos y la alineación de tareas, mantienen la seguridad y el cumplimiento del modelo, y logran el rendimiento objetivo en inferencias de propósito general, especializadas y multimodales.
Resumen de datos de entrenamiento de HappyHorse
La serie de modelos HappyHorse en Alibaba Cloud Model Studio son modelos desarrollados internamente, entrenados con conjuntos de datos que contienen billones de tokens en texto, imagen, video y audio.
Fuentes de datos
Los datos de entrenamiento incluyen cuatro categorías:
- Datos de Internet disponibles públicamente: contenido web accesible para el público en general.
- Datos de socios externos: datos no públicos proporcionados por socios bajo acuerdo.
- Datos etiquetados y contratados: datos provenientes de servicios de etiquetado de datos y contratistas pagados.
- Datos sintéticos: datos generados por modelos propietarios de Alibaba Cloud para complementar los datos del mundo real.
Datos sintéticos
Los datos sintéticos generados por modelos propietarios abordan cuatro necesidades:
- Llenar vacíos donde los datos de entrenamiento del mundo real son limitados
- Manejar tareas complejas que requieren ejemplos de entrenamiento especializados
- Mejorar la generalización del modelo y el rendimiento perceptivo
- Fortalecer la seguridad y robustez del modelo
Capacidades principales
Los datos de entrenamiento desarrollan estas capacidades de servicio de inferencia:
- Comprensión general del lenguaje
- Razonamiento avanzado
- Interacción multimodal
- Procesamiento de contexto largo
- Generación visual
Política de datos del cliente
Alibaba Cloud Model Studio no utiliza datos comerciales de clientes para desarrollar o mejorar modelos sin consentimiento explícito.
Gobernanza de datos
Un marco de gobernanza de datos cubre todo el flujo de entrenamiento (desde el preentrenamiento hasta el post-entrenamiento) con medidas para la limpieza, procesamiento y optimización estructural de datos.
Preentrenamiento
Los datos de entrenamiento sin procesar se someten a limpieza y filtrado:
- El cribado automatizado de seguridad del contenido elimina contenido dañino o sensible.
- La revisión humana complementa los filtros automatizados como una salvaguarda adicional.
- El filtrado de información personal reduce la información personal en los conjuntos de datos de entrenamiento durante el preprocesamiento.
Post-entrenamiento
Aumento de datos para modelos de lenguaje
Los datos de alta calidad se seleccionan mediante un marco de anotación detallado en cinco dimensiones:Dimensión | Propósito |
|---|---|
Valor educativo | Priorizar datos con señales de aprendizaje fuertes |
Cobertura de dominio | Cubrir amplitud en áreas de conocimiento |
Tipos de idioma | Admitir comprensión multilingüe |
Complejidad del razonamiento | Desarrollar capacidades avanzadas de razonamiento |
Niveles de seguridad | Filtrar según criterios de seguridad del contenido |
Procesamiento de modelos generativos visuales
Los datos multimodales se someten a un preprocesamiento específico:- OCR de alta precisión
- Anotación semántica espacial 2D/3D para la comprensión espacial
- Alineación temporal explícita entre fotogramas de video y texto para la comprensión de video