Model Studio proporciona monitoreo de modelos, alertas y registro de logs para que pueda supervisar las llamadas a los modelos en tiempo real, detectar anomalías de manera oportuna y solucionar problemas.
Resumen del monitoreo de modelos
Model Studio proporciona un monitoreo de modelos unificado. Una llamada se refleja en los gráficos de monitoreo minutos después de producirse, lo que le ayuda a rastrear las llamadas al modelo en tiempo real. Los datos de monitoreo están aislados por espacio de trabajo: solo puede ver los datos del espacio de trabajo seleccionado actualmente. Los datos de monitoreo son solo de referencia y no se utilizan como base para la facturación. Para la conciliación, consulte su factura en Gastos y costos.
La compatibilidad con el monitoreo y las alertas varía según el modelo: algunos modelos, como los de generación de voz, imagen y video, y los modelos de terceros accedidos directamente, no son compatibles. Verifique la consola para confirmar.
Filtrar datos de monitoreo por dimensión
Puede filtrar los datos de monitoreo por Hora (preajustes rápidos y personalizado), Tipo de inferencia y Clave API (todos de forma predeterminada; muestra el ID y la descripción, y enumera solo las claves API que existen en el espacio de trabajo actual). El filtrado por granularidad temporal solo está disponible en la página de detalles de monitoreo del modelo.
Ver la escala y el estado general de las llamadas
La página de resumen muestra tarjetas de datos como el total de modelos, el total de llamadas, el total de fallos, la duración promedio de llamada y el tiempo promedio hasta el primer token (latencia del primer token), para que pueda evaluar rápidamente la escala general de llamadas y el estado del sistema.
Ver detalles de monitoreo o logs de un modelo
La lista de modelos muestra datos de monitoreo para cada modelo en el espacio de trabajo actual. Haga clic en Ver detalles para abrir la página de detalles de monitoreo del modelo, o haga clic en Ver logs para abrir la pestaña Log de auditoría en la página de logs. Inicie sesión en la consola de Model Studio y, en el panel de navegación izquierdo, elija Operaciones > Monitoreo de modelos para abrir la página de resumen de monitoreo.
Detalles del monitoreo de modelos
En la página de resumen de monitoreo, busque el modelo objetivo en la lista de modelos y haga clic en Ver detalles para abrir su página de detalles de monitoreo del modelo. La ruta de navegación en la parte superior de la página es: Monitoreo de modelos > nombre del modelo.
La página de detalles muestra estadísticas de llamadas y gráficos de rendimiento para un solo modelo y proporciona una entrada para la configuración de alertas: la campana de alerta en un gráfico de métricas le permite configurar rápidamente una alerta para el modelo o métrica actual (para la gestión completa de reglas entre modelos, consulte la sección Alertas). Las condiciones de filtro son las mismas que en la página de resumen (tiempo, granularidad temporal, tipo de inferencia y clave API), y la configuración de la página de resumen se conserva cuando ingresa desde ella. Para ver logs, regrese a la lista de modelos en la página de resumen y haga clic en la entrada de ver logs (consulte la sección Logs).
Métricas de monitoreo
En la página de detalles, las métricas se muestran en dos grupos: estadísticas de llamadas y rendimiento. El significado, las notas de referencia y la compatibilidad con alertas de cada métrica se enumeran en la siguiente tabla.
| Métrica | Descripción | Referencia | Compatibilidad con alertas |
|---|---|---|---|
| Llamadas | Número total de veces que se llama al modelo | Varía según el negocio | Configurable |
| Uso | Total de tokens | Varía según el negocio | Configurable |
| Fallos | Número de llamadas fallidas | Varía según el negocio | Configurable |
| Tasa de fallos | Fallos divididos entre el total de llamadas | Varía según el negocio | Configurable |
| Duración de la llamada | Tiempo total desde la solicitud hasta la respuesta | Varía según el modelo y el escenario | Configurable |
| Tiempo hasta el primer token | Latencia desde la solicitud hasta el primer token devuelto | Varía según el modelo y el escenario | Configurable |
| Latencia de tokens subsiguientes | Tiempo promedio para generar cada token después del primero | Varía según el modelo y el escenario | No compatible |
| Consumo total de tokens del modelo | Total de tokens consumidos, agregados por modelo (una métrica dedicada a plantillas de alerta predefinidas) | Varía según el negocio | Configurable |
| Uso promedio por solicitud | Tokens promedio por solicitud | Varía según el negocio | No compatible |
| Recuento de errores de moderación de contenido | Número de bloqueos de moderación de contenido | Varía según el negocio | No compatible |
| Recuento de errores de limitación de tasa | Número de activaciones del límite de tasa 429 | Varía según el negocio | Configurable |
| RPM | Solicitudes por minuto | Varía según el negocio | No compatible |
| TPM | Tokens por minuto | Varía según el negocio | No compatible |
| Tokens de salida por segundo (TPS) | Tokens de salida por segundo | Varía según el modelo y el escenario | No compatible |
| Volumen de aciertos de caché | Número de tokens de aciertos de caché de contexto | Varía según el modelo y el escenario | No compatible |
| Tasa de aciertos de caché | Proporción de tokens de aciertos de caché respecto a los tokens de entrada | Varía según el modelo y el escenario | No compatible |
Que una métrica admita alertas depende de si está incluida en una plantilla de alerta predefinida (para las plantillas predefinidas, consulte Alertas > Plantillas de alerta). Las métricas que no están en una plantilla predefinida (como el recuento de errores de moderación de contenido y RPM) no muestran una campana de alerta y no se pueden configurar para alertas.
Configuración de la campana de alerta
Las métricas que admiten alertas muestran un icono de campana de alerta en su gráfico. Haga clic en la campana para abrir el panel lateral de configuración de reglas de alerta (para obtener detalles de los campos, consulte la sección Gestión de reglas de alerta). El icono de campana y las etiquetas de estado del panel lateral tienen los siguientes significados:
| Tipo | Estado | Color | Significado |
|---|---|---|---|
| Icono de campana | Sin alerta configurada | Gris | No hay ninguna regla de alerta configurada; haga clic para abrir el panel lateral de configuración |
| Icono de campana | Alerta configurada, normal | Azul | Hay una regla configurada y no se ha activado actualmente; haga clic para ver los detalles de la regla |
| Icono de campana | Alerta activada | Rojo | Se está activando una alerta; haga clic para ver los detalles de la activación |
| Etiqueta del panel lateral | Normal | Verde | Hay una regla configurada y su estado es normal |
| Etiqueta del panel lateral | Alerta activada | Rojo | Se está activando una alerta |
| Etiqueta del panel lateral | Deshabilitado | Gris | La regla está desactivada y ya no genera alertas |
| Campo | Normal | Recuperada | Alerta activada |
|---|---|---|---|
| Nombre de la regla de alerta | Mostrado | Mostrado | Mostrado |
| ID de la regla de alerta | Mostrado | Mostrado | Mostrado |
| Contenido de la alerta | Mostrado | Mostrado | Mostrado |
| Métrica de la alerta | Mostrado | Mostrado | Mostrado |
| Destinatarios de la notificación | Mostrado | Mostrado | Mostrado |
| Objetivo de la alerta | Mostrado | Mostrado | Mostrado |
| Hora de inicio | Oculto | Mostrado | Mostrado |
| Duración | Oculto | Mostrado | Mostrado |
| Recuento de alertas | Oculto | Mostrado | Mostrado |
| Estado | Oculto | Mostrado | Mostrado |
| Hora de recuperación | Oculto | Mostrado | Oculto |
Alertas
Model Studio ofrece tres funciones de alertas: reglas de alerta, plantillas de alerta e historial de alertas, todas ubicadas en las pestañas Reglas de alerta, Plantillas de alerta e Historial de alertas de la página de alertas de modelos.
Gestión de reglas de alerta
En la página de alertas de modelos, haga clic en la pestaña Alertas para abrir la página de gestión de reglas de alerta. La lista de reglas de alerta muestra las reglas vigentes actualmente y permite crear, editar, detener y eliminar reglas. La lista muestra los destinatarios de notificaciones (contactos o grupos de contactos) y admite múltiples canales, como el correo electrónico.
La ruta completa para configurar alertas por primera vez: primero complete la autorización del rol vinculado al servicio CloudMonitor en Entrega de datos > Entrega de datos de monitoreo, luego cree una regla de alerta en esta sección (seleccione una plantilla de alerta y complete los campos) y, finalmente, configure las notificaciones de alerta (contactos o grupos de contactos, rango de tiempo de notificación y política de repetición).
Antes de crear una regla de alerta, debe autorizar el rol vinculado al servicio CloudMonitor en la entrega de monitoreo de modelos (para saber cómo configurarlo, consulte Entrega de datos > Entrega de datos de monitoreo). Si no está autorizado, el botón Crear regla de alerta no será clicable y, al pasar el cursor sobre él, se mostrará la sugerencia: "El rol vinculado al servicio CloudMonitor no está autorizado, por lo que no puede crear una regla de alerta. Haga clic para autorizar". Después de la autorización, el servicio CloudMonitor se habilita automáticamente en segundo plano.
Tras la autorización, CloudMonitor, Alibaba Cloud Simple Log Service (SLS) y Prometheus se habilitan automáticamente. Las reglas de alerta son gratuitas; los productos ya habilitados se facturan según el uso real.
- Haga clic en Crear regla de alerta para abrir una nueva página.
- Complete el nombre de la alerta, la plantilla de alerta, el modelo, la duración, el período de verificación de la alerta, el contenido de la alerta y el nivel de alerta tal como se describe en las descripciones de campos a continuación.
- Configure las notificaciones de alerta (contactos de alerta o grupos de contactos, rango de tiempo de notificación y política de repetición) y luego haga clic en Crear para finalizar.
| Campo | Obligatorio | Descripción |
|---|---|---|
| Nombre de la alerta | Obligatorio | Hasta 50 caracteres |
| Plantilla de alerta | Obligatorio | Seleccione una plantilla predefinida o personalizada de la lista desplegable, o cree una guardándola como basada en una plantilla |
| Selección de modelos | Obligatorio | Hasta 50 modelos |
| Duración | Obligatorio | Especificado en minutos |
| Período de verificación de la alerta | Obligatorio | Valor predeterminado de 60 segundos, en segundos; debe ser un número entero no menor que 0 (0 significa alertar inmediatamente al activarse) |
| Contenido de la alerta | Obligatorio | Hasta 200 caracteres; admite variables (puede insertar marcadores de posición como espacio de trabajo, modelo y valor actual) |
| Nivel de alerta | Opcional | INFO (normal) / WARNING (advertencia) / ERROR (error) / CRITICAL (crítico), predeterminado INFO |
| Contactos / grupos de contactos de alerta | Se permiten varios | Proceden de contactos o grupos de contactos de CloudMonitor |
| Rango de tiempo de notificación | Obligatorio | Cualquier intervalo dentro de 24 horas, y puede abarcar días (por ejemplo, de 23:00 a 01:00 del día siguiente) |
| Política de repetición | Obligatorio | Sin escalación significa que la alerta se envía solo una vez mientras no se resuelva; alternativamente, especifique un intervalo de horas y minutos para repetir las notificaciones |
- Encima de la lista de reglas de alerta, haga clic en Migrar ahora o Migrar reglas de alerta.
- Confirmar el origen de la migración. Vea el nombre y el estado de la instancia de Prometheus y luego haga clic en Iniciar detección.
- Verificar reglas de alerta. El sistema detecta qué reglas de alerta se pueden migrar y cuáles son incompatibles. Selecciónelas y confírmelas, y luego haga clic en Iniciar migración.
- Migrar reglas de alerta. Durante la migración, se muestra un estado de "Migrando". Cuando finaliza la migración, se muestra el resultado de éxito o fallo. Si la migración falla, puede reintentarla. Después de una migración exitosa, cierre el cuadro de diálogo.
Plantillas de alerta
Una plantilla de alerta es una configuración de alerta con condiciones de activación predefinidas. Puede crear rápidamente reglas de alerta basadas en una plantilla sin tener que configurarlas desde cero. El sistema proporciona actualmente 12 plantillas predefinidas, y también puede crear las suyas propias. La pestaña Plantillas de alerta se encuentra en la página de alertas de modelos, al mismo nivel que la pestaña Reglas de alerta y la pestaña Historial de alertas.
Haga clic en Crear plantilla de alerta para abrir el panel lateral de creación de plantillas de alerta y complete la siguiente información:
- Nombre de la plantilla: Obligatorio, hasta 20 caracteres.
- Selección de parámetros: Hasta 10 parámetros. Elija activar la alerta cuando todas las reglas cumplan las condiciones (AND) o cuando cualquiera de ellas cumpla la condición (OR).
- Métrica: Obligatorio. Selecciona la métrica a monitorear para alertas. Las opciones desplegables incluyen llamadas, fallos, tasa de fallos, duración de la llamada y tiempo hasta el primer token.
- Umbral de alerta: Obligatorio. Seleccione un operador de comparación (
>,>=,<,<=,==,!=) y un valor. - Ciclo de estadísticas: En minutos. Rango válido de 1 a 10080 minutos.
| Nombre de la plantilla de alerta predefinida | Métrica |
|---|---|
| Fallos en llamadas al modelo: suma de 1 minuto > 10 | Fallos en llamadas al modelo |
| Tasa de fallos en llamadas al modelo: suma de 1 minuto > 1% | Tasa de fallos en llamadas al modelo |
| Llamadas 4xx del modelo: suma de 1 minuto > 10 | Llamadas 4xx del modelo |
| Tasa 4xx del modelo: suma de 1 minuto > 1% | Tasa 4xx del modelo |
| Llamadas 429 del modelo: suma de 1 minuto > 10 | Llamadas 429 del modelo |
| Tasa 429 del modelo: suma de 1 minuto > 1% | Tasa 429 del modelo |
| Llamadas 5xx del modelo: suma de 1 minuto > 10 | Llamadas 5xx del modelo |
| Tasa 5xx del modelo: suma de 1 minuto > 1% | Tasa 5xx del modelo |
| Llamadas al modelo: suma de 1 minuto > 500 | Llamadas al modelo |
| Duración de llamada al modelo: promedio de 1 minuto > 60 segundos | Duración de llamada al modelo |
| Tiempo hasta el primer paquete del modelo: promedio de 1 minuto > 10 segundos | Tiempo hasta el primer paquete del modelo (tiempo hasta el primer token) |
| Consumo TotalToken del modelo: suma de 1 minuto > 10000 | Consumo TotalToken del modelo |
Historial de alertas
En la página de alertas de modelos, haga clic en la pestaña Historial para ver los registros de activación de alertas. En la lista del historial de alertas, el destinatario de la notificación muestra solo la información de contacto, no la información de los canales de notificación relacionados.
El historial de alertas se puede filtrar por cuatro condiciones: hora de la alerta (preajustes rápidos y calendario), regla de alerta, nivel de alerta y estado (Recuperada o Alerta activada).
La lista del historial de alertas muestra las siguientes columnas:
| Columna | Descripción |
|---|---|
| Instancia de alerta | Identificador de la instancia de alerta |
| Nivel de alerta | Normal / Advertencia / Error / Crítico |
| Hora de la alerta | Cuándo se activó la alerta |
| Recuento de alertas | Número de veces que se activó esta alerta |
| Regla de alerta | Nombre e ID de la regla de alerta |
| Estado | Recuperada / Alerta activada |
| Destinatario de la notificación | Contactos o grupos de contactos de alerta |
| Acciones | Ver detalles (abre el panel lateral de detalles de la alerta) |
Logs
Model Studio registra logs de auditoría de forma predeterminada (almacenados en la plataforma, sin necesidad de configuración), capturando la información de solicitud de cada llamada al modelo, pero no el Prompt ni la Response. Los logs de inferencia registran el Prompt y la Response completos y los pasos intermedios; deben habilitarse manualmente y dependen de la entrega de logs para escribir los registros en su propio Logstore de Simple Log Service (SLS) (para la entrega de logs, consulte la sección Entrega de datos).
Log de auditoría
Los logs de auditoría están habilitados de forma predeterminada para todos los usuarios, no requieren configuración y se almacenan en la plataforma Model Studio. Los logs de auditoría registran la información de solicitud de cada llamada al modelo, incluidas métricas clave como Request ID, hora, modelo, uso de tokens, latencia y estado, pero no incluyen el contenido del Prompt ni de la Response. Para ver el contenido completo del Prompt y de la Response, habilite los logs de inferencia (para saber cómo habilitarlos, consulte la sección Log de inferencia).
Condiciones de filtro
Los logs de auditoría admiten las siguientes condiciones de filtro:
- Rango de tiempo: Últimos 7 días de forma predeterminada; admite la consulta de logs de hasta 30 días.
- Modelo: Selección desplegable; todos los modelos de forma predeterminada.
- ID de clave API: Selección desplegable. Las claves API muestran el ID y la descripción; si se elimina una clave API, la descripción aparece vacía.
- Estado: Selección múltiple, que incluye 0 (solicitud exitosa pero interrumpida activamente por el usuario), 200 (éxito), 4XX (excepciones causadas por el comportamiento del usuario) y 5XX (servicio no disponible).
- Tipo de inferencia: Inferencia en tiempo real de forma predeterminada.
- Buscar Request ID: Coincidencia exacta.
Lista de logs
La lista de logs de auditoría muestra los siguientes campos: Request ID, hora de llamada, modelo, uso, tiempo hasta el primer token, duración de la llamada, estado y código de error. La columna Acciones proporciona Ver detalles, que abre el panel lateral de detalles del log de auditoría.
Panel lateral de detalles
El panel lateral de detalles del log de auditoría admite alternar entre la vista de lista y la vista JSON:
- Información básica: Request ID, hora de llamada, modelo, clave API
- Uso: tokens totales, tokens de salida, tokens de entrada
- Rendimiento: tiempo hasta el primer token, duración de la llamada, código de estado, código de error y mensaje de error (si lo hay)
Log de inferencia
Los logs de inferencia deben habilitarse manualmente. Además de los logs de auditoría, los logs de inferencia registran adicionalmente el Prompt y la Response completos y los pasos intermedios, lo que ayuda en la depuración, optimización y solución de problemas. Los logs de inferencia se almacenan en su propio Logstore de Simple Log Service.
Activar logs de inferencia
Los logs de inferencia están deshabilitados de forma predeterminada; primero debe habilitar la entrega de logs de auditoría. En la página de logs, cambie a la pestaña Log de inferencia (cuando no está configurada, esta pestaña muestra una página guía para habilitarla) y haga clic en Iniciar configuración para abrir el cuadro de diálogo de configuración de entrega de logs. También puede acceder haciendo clic en el botón Configuración de entrega de logs en la esquina superior derecha de la página de logs. Una vez completada la autorización y la configuración del Logstore, podrá ver la lista de logs de inferencia.
Actualmente, los logs de inferencia solo son compatibles con las regiones de Pekín y Singapur; otras regiones aún no son compatibles.
Lista y detalles de logs
Las condiciones de filtro para los logs de inferencia son las mismas que para los logs de auditoría, excepto que se elimina el filtro de tipo de inferencia (inferencia en tiempo real/inferencia por lotes). Para los modelos que no admiten logs de inferencia, se muestra "El modelo actual no es compatible".
La lista de logs de inferencia agrega datos de Prompt y Response además de los logs de auditoría, con un límite de longitud de 128 KB. El contenido que exceda los 128 KB se trunca; para el contenido completo, consulte los logs de llamadas reales.
Las reglas de visualización tras eliminar una clave API son las mismas que para los logs de auditoría (la lista no muestra la descripción y los detalles solo muestran el ID).
Los logs de inferencia pueden reciclarse en conjuntos de datos de entrenamiento. Para obtener más información, consulte Reflujo de logs.
Entrega de datos
De forma predeterminada, Model Studio almacena las métricas de monitoreo y los logs de auditoría en la plataforma, por lo que puede verlos en la consola sin necesidad de ninguna entrega. Para entregar las métricas de monitoreo o los logs a sus propios servicios en la nube (para retención a largo plazo o integración con sus propios sistemas de O&M, lo cual genera cargos por servicios en la nube), habilite la entrega de datos correspondiente: los datos de monitoreo se entregan a una instancia de Prometheus de CloudMonitor y los logs se entregan a un Logstore de Simple Log Service (SLS). La entrega de logs también es un requisito previo para los logs de inferencia.
Habilitar los logs de inferencia y entregar los logs a su propio Logstore de SLS genera cargos de Simple Log Service.
Entrega de datos de monitoreo
La entrada de entrega de monitoreo de modelos se encuentra en la esquina superior izquierda de la página de resumen de monitoreo. La entrega de monitoreo de modelos envía automáticamente los datos de monitoreo de los modelos de Model Studio a una instancia de Prometheus de Alibaba Cloud CloudMonitor para la gestión unificada de los datos de monitoreo. Model Studio proporciona métricas de servicio de modelos de forma predeterminada, que puede ver en la plataforma sin configuración adicional. Para entregar las métricas al servicio CloudMonitor bajo su cuenta, habilite la entrega de datos y configure el recurso de destino.
Pasos de configuración
Para los nuevos usuarios, configurar la entrega de monitoreo de modelos requiere los siguientes pasos:
- Autorice el rol vinculado al servicio CloudMonitor.
- Active el servicio CloudMonitor.
- Cree una instancia de monitoreo Prometheus de CloudMonitor.
Los usuarios existentes que han habilitado el monitoreo avanzado tienen la entrega de datos de monitoreo habilitada de forma predeterminada; si no la necesita, puede deshabilitarla en la entrada de entrega de monitoreo de modelos.
Estado de entrega
Después de configurar la entrega de datos, se muestra un indicador de estado junto a la entrega de monitoreo de modelos:
- Entregando (verde)
- Error en la entrega (rojo)
- Entrega no configurada (gris)
Entrega de logs
La entrada de configuración de entrega de logs se encuentra en la esquina superior derecha de la página de logs. En la página de resumen de monitoreo, seleccione un modelo para ingresar a su página de detalles y luego cambie a la página de logs para ver esta entrada. La entrega de logs envía automáticamente los logs de auditoría y los logs de inferencia de los modelos de Model Studio a un Logstore de Alibaba Cloud Simple Log Service para la gestión unificada de datos. Para entregar los logs al Simple Log Service bajo su cuenta, habilite la entrega de logs y complete la configuración.
Pasos de configuración
Configurar la entrega de logs por primera vez requiere los siguientes tres pasos:
- Autorice el rol de Simple Log Service.
- Active Simple Log Service.
- Cree un Logstore.