Model Studio offre des fonctionnalités de surveillance, d'alerte et de journalisation des modèles, vous permettant de suivre les appels de modèle en temps réel, de détecter rapidement les anomalies et de résoudre les problèmes.
Vue d'ensemble de la surveillance des modèles
Model Studio propose une surveillance unifiée des modèles. Un appel apparaît dans les graphiques de surveillance quelques minutes après son occurrence, ce qui vous aide à suivre les appels de modèle en temps réel. Les données de surveillance sont isolées par workspace : vous ne pouvez consulter que les données du workspace actuellement sélectionné. Les données de surveillance sont fournies à titre indicatif et ne servent pas de base à la facturation. Pour la réconciliation, consultez votre facture dans Expenses and Costs.
La prise en charge de la surveillance et des alertes varie selon le modèle : certains modèles, tels que les modèles de parole, de génération d'images et de vidéos, ainsi que les modèles tiers accessibles directement, ne sont pas pris en charge. Vérifiez dans la console pour confirmer.
Filtrer les données de surveillance par dimension
Vous pouvez filtrer les données de surveillance par Time (préréglages rapides et personnalisé), Inference Type et API-Key (tous par défaut ; affiche l'ID et la description, et ne liste que les clés API existant dans le workspace actuel). Le filtrage par granularité temporelle est disponible uniquement sur la page des détails de la surveillance des modèles.
Consulter l'échelle globale des appels et l'état de santé
La page de vue d'ensemble affiche des cartes de données telles que le nombre total de modèles, le nombre total d'appels, le nombre total d'échecs, la durée moyenne des appels et le temps moyen jusqu'au premier token (latence du premier token), vous permettant d'évaluer rapidement l'échelle globale des appels et l'état de santé.
Afficher les détails de surveillance ou les journaux d'un modèle
La liste des modèles affiche les données de surveillance de chaque modèle du workspace actuel. Cliquez sur View details pour ouvrir la page des détails de la surveillance du modèle, ou sur View Logs pour ouvrir l'onglet Audit Log de la page des journaux. Connectez-vous à la console Model Studio, puis, dans le volet de navigation de gauche, choisissez Operations > Model Monitoring pour ouvrir la page de vue d'ensemble de la surveillance.
Détails de la surveillance des modèles
Sur la page de vue d'ensemble de la surveillance, repérez le modèle cible dans la liste des modèles et cliquez sur View details pour ouvrir sa page de détails de la surveillance. Le chemin de navigation en haut de la page est : Model monitoring > nom du modèle.
La page de détails affiche les statistiques d'appels et les graphiques de performance d'un modèle unique et fournit un accès à la configuration des alertes : la cloche d'alerte sur un graphique de métrique vous permet de configurer rapidement une alerte pour le modèle ou la métrique en cours (pour la gestion complète des règles inter-modèles, consultez la section Alerte). Les conditions de filtrage sont identiques à celles de la page de vue d'ensemble (temps, granularité temporelle, type d'inférence et clé API), et les paramètres définis sur la page de vue d'ensemble sont conservés lorsque vous y accédez depuis celle-ci. Pour consulter les journaux, revenez à la liste des modèles sur la page de vue d'ensemble et cliquez sur l'entrée View logs (voir la section Journalisation).
Métriques de surveillance
Sur la page de détails, les métriques sont présentées en deux groupes : statistiques d'appels et performance. La signification, les notes de référence et la prise en charge des alertes de chaque métrique sont listées dans le tableau suivant.
| Metric name | Description | Reference | Alerting support |
|---|---|---|---|
| Calls | Nombre total d'appels au modèle | Varie selon l'activité | Configurable |
| Usage | Total des tokens | Varie selon l'activité | Configurable |
| Failures | Nombre d'appels ayant échoué | Varie selon l'activité | Configurable |
| Failure rate | Échecs divisés par le nombre total d'appels | Varie selon l'activité | Configurable |
| Call duration | Durée totale de la requête à la réponse | Varie selon le modèle et le scénario | Configurable |
| Time to first token | Latence entre la requête et le premier token renvoyé | Varie selon le modèle et le scénario | Configurable |
| Subsequent token latency | Temps moyen de génération de chaque token après le premier | Varie selon le modèle et le scénario | Non pris en charge |
| Model TotalToken consumption | Total des tokens consommés, agrégé par modèle (métrique dédiée aux modèles d'alerte prédéfinis) | Varie selon l'activité | Configurable |
| Average usage per request | Moyenne des tokens par requête | Varie selon l'activité | Non pris en charge |
| Content moderation error count | Nombre de blocages dus à la modération de contenu | Varie selon l'activité | Non pris en charge |
| Rate limiting error count | Nombre de déclenchements de limite de débit 429 | Varie selon l'activité | Configurable |
| RPM | Requêtes par minute | Varie selon l'activité | Non pris en charge |
| TPM | Tokens par minute | Varie selon l'activité | Non pris en charge |
| Output tokens per second (TPS) | Tokens de sortie par seconde | Varie selon le modèle et le scénario | Non pris en charge |
| Cache hit volume | Nombre de tokens touchés par le cache de contexte | Varie selon le modèle et le scénario | Non pris en charge |
| Cache hit rate | Proportion de tokens touchés par le cache par rapport aux tokens d'entrée | Varie selon le modèle et le scénario | Non pris en charge |
La prise en charge des alertes pour une métrique dépend de son inclusion dans un modèle d'alerte prédéfini (pour les modèles prédéfinis, voir Alerte > Alert templates). Les métriques absentes des modèles prédéfinis (comme le nombre d'erreurs de modération de contenu et RPM) n'affichent pas de cloche d'alerte et ne peuvent pas être configurées pour l'alerte.
Configuration de la cloche d'alerte
Les métriques prenant en charge l'alerte affichent une icône de cloche sur leur graphique. Cliquez sur la cloche pour ouvrir le panneau latéral de configuration de la règle d'alerte (pour le détail des champs, voir la section Gestion des règles d'alerte). L'icône de cloche et les libellés de statut du panneau latéral ont les significations suivantes :
| Type | Status | Color | Meaning |
|---|---|---|---|
| Bell icon | No alert configured | Gray | Aucune règle d'alerte n'est configurée ; cliquez pour ouvrir le panneau de configuration |
| Bell icon | Alert configured, normal | Blue | Une règle est configurée et n'est pas actuellement déclenchée ; cliquez pour voir les détails de la règle |
| Bell icon | Alerting | Red | Une alerte est en cours de déclenchement ; cliquez pour voir les détails du déclenchement |
| Side-panel label | Normal | Green | Une règle est configurée et son statut est normal |
| Side-panel label | Alerting | Red | Une alerte est en cours de déclenchement |
| Side-panel label | Disabled | Gray | La règle est désactivée et ne génère plus d'alertes |
| Field | Normal | Recovered | Alerting |
|---|---|---|---|
| Alert rule name | Shown | Shown | Shown |
| Alert rule ID | Shown | Shown | Shown |
| Alert content | Shown | Shown | Shown |
| Alert metric | Shown | Shown | Shown |
| Notification recipients | Shown | Shown | Shown |
| Alert target | Shown | Shown | Shown |
| Start time | Hidden | Shown | Shown |
| Duration | Hidden | Shown | Shown |
| Alert count | Hidden | Shown | Shown |
| Status | Hidden | Shown | Shown |
| Recovery time | Hidden | Shown | Hidden |
Alerte
Model Studio propose trois fonctionnalités d'alerte — les règles d'alerte, les modèles d'alerte et l'historique des alertes — toutes situées sous les onglets Alert rules, Alert templates et Alert history de la page Model Alert.
Gestion des règles d'alerte
Sur la page Model Alert, cliquez sur l'onglet Alerting pour ouvrir la page de gestion des règles d'alerte. La liste des règles d'alerte affiche les règles d'alerte actuellement en vigueur et prend en charge la création, la modification, l'arrêt et la suppression de règles. La liste affiche les destinataires des notifications (contacts ou groupes de contacts) et prend en charge plusieurs canaux, tels que l'e-mail.
Le parcours complet pour configurer l'alerte pour la première fois : commencez par compléter l'autorisation du rôle lié au service CloudMonitor dans Livraison des données > Monitoring data delivery, puis créez une règle d'alerte dans cette section (en sélectionnant un modèle d'alerte et en remplissant les champs), et enfin configurez les notifications d'alerte (contacts ou groupes de contacts, plage horaire de notification et politique de répétition).
Avant de créer une règle d'alerte, vous devez autoriser le rôle lié au service CloudMonitor dans la livraison de la surveillance des modèles (pour savoir comment le configurer, consultez Livraison des données > Monitoring data delivery). Sans cette autorisation, le bouton Create alert rule n'est pas cliquable, et un survol de la souris affiche alors l'astuce suivante : « The CloudMonitor service role is not authorized, so you cannot create an alert rule. Click to authorize. » Après l'autorisation, le service CloudMonitor est activé automatiquement en arrière-plan.
Après l'autorisation, CloudMonitor, Simple Log Service (SLS) d'Alibaba Cloud et Prometheus sont activés automatiquement. Les règles d'alerte sont gratuites ; les produits déjà activés sont facturés en fonction de l'utilisation réelle.
- Cliquez sur Create Alert Rule pour ouvrir une nouvelle page.
- Renseignez le nom de l'alerte, le modèle d'alerte, le modèle, la durée, la période de vérification de l'alerte, le contenu de l'alerte et le niveau d'alerte, comme décrit dans les descriptions des champs ci-dessous.
- Configurez les notifications d'alerte (contacts ou groupes de contacts d'alerte, plage horaire de notification et politique de répétition), puis cliquez sur Create pour terminer.
| Field | Required | Description |
|---|---|---|
| Alert name | Required | Jusqu'à 50 caractères |
| Alert template | Required | Sélectionnez un modèle prédéfini ou personnalisé dans la liste déroulante, ou créez-en un en enregistrant une copie basée sur un modèle |
| Model selection | Required | Jusqu'à 50 modèles |
| Duration | Required | Spécifié en minutes |
| Alert check period | Required | Par défaut 60 secondes, exprimé en secondes ; doit être un entier supérieur ou égal à 0 (0 signifie que l'alerte est déclenchée immédiatement) |
| Alert content | Required | Jusqu'à 200 caractères ; prend en charge les variables (vous pouvez insérer des espaces réservés tels que workspace, model et current value) |
| Alert level | Optional | INFO (normal) / WARNING (avertissement) / ERROR (erreur) / CRITICAL (critique), INFO par défaut |
| Alert contacts / contact groups | Multiple allowed | Issus des contacts ou groupes de contacts CloudMonitor |
| Notification time range | Required | N'importe quel intervalle sur 24 heures, pouvant s'étendre sur plusieurs jours (par exemple, de 23:00 à 01:00 le lendemain) |
| Repeat policy | Required | Aucune escalade signifie que l'alerte n'est envoyée qu'une seule fois tant qu'elle n'est pas résolue ; sinon, spécifiez un intervalle en heures et minutes pour répéter les notifications |
- Au-dessus de la liste des règles d'alerte, cliquez sur Migrate now ou Migrate alert rules.
- Confirm the migration source. Consultez le nom et l'état de l'instance Prometheus, puis cliquez sur Start detection.
- Check alert rules. Le système détecte quelles règles d'alerte peuvent être migrées et lesquelles sont incompatibles. Sélectionnez-les et confirmez, puis cliquez sur Start migration.
- Migrate alert rules. Pendant la migration, un statut « Migrating » s'affiche. À la fin de la migration, le résultat (succès ou échec) est affiché. En cas d'échec, vous pouvez réessayer. Après une migration réussie, fermez la boîte de dialogue.
Modèles d'alerte
Un modèle d'alerte est une configuration d'alerte avec des conditions de déclenchement prédéfinies. Vous pouvez créer rapidement des règles d'alerte à partir d'un modèle, sans tout configurer depuis zéro. Le système fournit actuellement 12 modèles prédéfinis, et vous pouvez également créer les vôtres. L'onglet Alert templates se trouve sur la page Model Alert, au même niveau que les onglets Alert rules et Alert history.
Cliquez sur Create alert template pour ouvrir le panneau latéral de création de modèle d'alerte et renseignez les informations suivantes :
- Template name : Obligatoire, jusqu'à 20 caractères.
- Parameter selection : Jusqu'à 10 paramètres. Choisissez de déclencher l'alerte lorsque toutes les règles remplissent les conditions (ET) ou lorsqu'au moins une les remplit (OU).
- Metric : Obligatoire. Sélectionne la métrique à surveiller pour l'alerte. Les options de la liste déroulante incluent les appels, les échecs, le taux d'échec, la durée des appels et le temps jusqu'au premier token.
- Alert threshold : Obligatoire. Sélectionnez un opérateur de comparaison (
>,>=,<,<=,==,!=) et une valeur. - Statistics cycle : En minutes. Plage valide de 1 à 10080 minutes.
| Preset alert template name | Metric name |
|---|---|
| Model call failures: 1-minute sum > 10 | Model call failures |
| Model call failure ratio: 1-minute sum > 1% | Model call failure ratio |
| Model 4xx calls: 1-minute sum > 10 | Model 4xx calls |
| Model 4xx ratio: 1-minute sum > 1% | Model 4xx ratio |
| Model 429 calls: 1-minute sum > 10 | Model 429 calls |
| Model 429 ratio: 1-minute sum > 1% | Model 429 ratio |
| Model 5xx calls: 1-minute sum > 10 | Model 5xx calls |
| Model 5xx ratio: 1-minute sum > 1% | Model 5xx ratio |
| Model calls: 1-minute sum > 500 | Model calls |
| Model call duration: 1-minute average > 60 seconds | Model call duration |
| Model time to first packet: 1-minute average > 10 seconds | Model time to first packet (time to first token) |
| Model TotalToken consumption: 1-minute sum > 10000 | Model TotalToken consumption |
Historique des alertes
Sur la page Model Alert, cliquez sur l'onglet History pour consulter les enregistrements de déclenchements des alertes. Dans la liste de l'historique des alertes, le destinataire de la notification affiche uniquement les informations de contact, et non les informations du canal de notification associé.
L'historique des alertes peut être filtré selon quatre conditions : l'heure de l'alerte (préréglages rapides et calendrier), la règle d'alerte, le niveau d'alerte et le statut (Recovered ou Alerting).
La liste de l'historique des alertes affiche les colonnes suivantes :
| Column | Description |
|---|---|
| Alert instance | Identifiant de l'instance d'alerte |
| Alert level | Normal / Warning / Error / Critical |
| Alert time | Moment où l'alerte a été déclenchée |
| Alert count | Nombre de fois où cette alerte a été déclenchée |
| Alert rule | Nom et ID de la règle d'alerte |
| Status | Recovered / Alerting |
| Notification recipient | Contacts ou groupes de contacts d'alerte |
| Actions | View details (ouvre le panneau latéral des détails de l'alerte) |
Journalisation
Model Studio enregistre par défaut les audit logs (stockés sur la plateforme, aucune configuration requise), qui capturent les informations de requête de chaque appel de modèle, mais pas le Prompt ni la Response. Les inference logs enregistrent le Prompt et la Response complets ainsi que les étapes intermédiaires ; ils doivent être activés manuellement et reposent sur la livraison des journaux pour écrire les journaux dans votre propre Logstore Simple Log Service (SLS) (pour la livraison des journaux, consultez la section Livraison des données).
Audit Log
Les audit logs sont activés par défaut pour tous les utilisateurs, ne nécessitent aucune configuration et sont stockés sur la plateforme Model Studio. Les audit logs enregistrent les informations de requête de chaque appel de modèle, y compris les métriques clés telles que Request ID, l'heure, le modèle, l'utilisation des tokens, la latence et le statut, mais n'incluent pas le contenu du Prompt et de la Response. Pour consulter le contenu complet du Prompt et de la Response, activez les inference logs (pour savoir comment les activer, consultez la section Inference Log).
Conditions de filtrage
Les audit logs prennent en charge les conditions de filtrage suivantes :
- Time range : 7 derniers jours par défaut ; permet d'interroger les journaux sur une période allant jusqu'à 30 jours.
- Model : Sélection dans une liste déroulante ; tous les modèles par défaut.
- API-Key ID : Sélection dans une liste déroulante. Les clés API affichent l'ID et la description ; si une clé API est supprimée, la description est vide.
- Status : Sélection multiple, incluant 0 (requête réussie mais interrompue activement par l'utilisateur), 200 (succès), 4XX (exceptions causées par le comportement de l'utilisateur) et 5XX (service indisponible).
- Inference Type : Inférence en temps réel par défaut.
- Search Request ID : Correspondance exacte.
Liste des journaux
La liste des audit logs affiche les champs suivants : Request ID, heure de l'appel, modèle, utilisation, temps jusqu'au premier token, durée de l'appel, statut et code d'erreur. La colonne Actions propose View details, qui ouvre le panneau latéral des détails de l'audit log.
Panneau latéral des détails
Le panneau latéral des détails de l'audit log prend en charge le passage entre la vue liste et la vue JSON :
- Informations de base : Request ID, heure de l'appel, modèle, clé API
- Utilisation : total des tokens, tokens de sortie, tokens d'entrée
- Performance : temps jusqu'au premier token, durée de l'appel, code statut, code d'erreur et message d'erreur (le cas échéant)
Inference Log
Les inference logs doivent être activés manuellement. En plus des audit logs, les inference logs enregistrent également le Prompt et la Response complets ainsi que les étapes intermédiaires, qui aident au débogage, à l'optimisation et au dépannage. Les inference logs sont stockés dans votre propre Logstore Simple Log Service.
Activer les inference logs
Les inference logs sont désactivés par défaut ; vous devez d'abord activer la livraison des audit logs. Sur la page des journaux, passez à l'onglet Inference Log (lorsqu'il n'est pas configuré, cet onglet affiche une page de guide pour l'activer) et cliquez sur Start configuration pour ouvrir la boîte de dialogue de configuration de la livraison des journaux. Vous pouvez également y accéder en cliquant sur le bouton Log delivery configuration en haut à droite de la page des journaux. Après avoir complété l'autorisation et la configuration du Logstore, vous pouvez consulter la liste des inference logs.
Les inference logs sont actuellement pris en charge uniquement dans les régions Beijing et Singapore ; les autres régions ne sont pas encore prises en charge.
Liste des journaux et détails
Les conditions de filtrage des inference logs sont identiques à celles des audit logs, à l'exception du filtre de type d'inférence (inférence en temps réel/inférence par lots) qui est supprimé. Pour les modèles ne prenant pas en charge les inference logs, le message « The current model is not supported » s'affiche.
La liste des inference logs ajoute les données Prompt et Response en plus des audit logs, avec une limite de longueur de 128 Ko. Le contenu dépassant 128 Ko est tronqué ; pour le contenu complet, consultez les journaux d'appels réels.
Les règles d'affichage après la suppression d'une clé API sont les mêmes que pour les audit logs (la liste n'affiche pas la description, et les détails n'affichent que l'ID).
Les inference logs peuvent être réinjectés dans des jeux de données d'entraînement. Pour plus d'informations, consultez Log backflow.
Livraison des données
Par défaut, Model Studio stocke les métriques de surveillance et les audit logs sur la plateforme, de sorte que vous pouvez les consulter dans la console sans aucune livraison. Pour livrer les métriques de surveillance ou les journaux vers vos propres services cloud (pour une conservation à long terme ou une intégration avec vos propres systèmes d'exploitation et de maintenance, ce qui engendre des frais de services cloud), activez la livraison de données correspondante : les données de surveillance sont livrées vers une instance CloudMonitor Prometheus, et les journaux vers un Logstore Simple Log Service (SLS). La livraison des journaux est également une condition préalable aux inference logs.
L'activation des inference logs et la livraison des journaux vers votre propre Logstore SLS entraînent des frais Simple Log Service.
Livraison des données de surveillance
L'entrée de livraison de la surveillance des modèles se trouve dans le coin supérieur gauche de la page de vue d'ensemble de la surveillance. La livraison de la surveillance des modèles livre automatiquement les données de surveillance des modèles de Model Studio vers une instance Prometheus d'Alibaba Cloud CloudMonitor pour une gestion unifiée des données de surveillance. Model Studio fournit par défaut des métriques de service de modèle, que vous pouvez consulter sur la plateforme sans configuration supplémentaire. Pour livrer les métriques vers le service CloudMonitor de votre compte, activez la livraison de données et configurez la ressource cible.
Étapes de configuration
Pour les nouveaux utilisateurs, la configuration de la livraison de la surveillance des modèles nécessite les étapes suivantes :
- Autorisez le rôle lié au service CloudMonitor.
- Activez le service CloudMonitor.
- Créez une instance de surveillance CloudMonitor Prometheus.
Les utilisateurs existants ayant activé la surveillance avancée ont la livraison des données de surveillance activée par défaut ; si vous n'en avez pas besoin, vous pouvez la désactiver via l'entrée de livraison de la surveillance des modèles.
Statut de la livraison
Après avoir configuré la livraison des données, un indicateur de statut s'affiche à côté de la livraison de la surveillance des modèles :
- Delivering (vert)
- Delivery failed (rouge)
- Delivery not configured (gris)
Livraison des journaux
L'entrée de configuration de la livraison des journaux se trouve dans le coin supérieur droit de la page des journaux. Sur la page de vue d'ensemble de la surveillance, sélectionnez un modèle pour accéder à sa page de détails, puis passez à la page des journaux pour voir cette entrée. La livraison des journaux livre automatiquement les audit logs et les inference logs des modèles de Model Studio vers un Logstore d'Alibaba Cloud Simple Log Service pour une gestion unifiée des données. Pour livrer les journaux vers le service Simple Log Service de votre compte, activez la livraison des journaux et terminez la configuration.
Étapes de configuration
La configuration de la livraison des journaux pour la première fois nécessite les trois étapes suivantes :
- Autorisez le rôle Simple Log Service.
- Activez Simple Log Service.
- Créez un Logstore.