Skip to main content

Événements client Qwen-Audio-ASR-Message

Référence des événements client Qwen-Audio-ASR-Message : champs de run-task, continue-task et finish-task, ordre d’envoi et événements serveur correspondants.

Séquence des événements

  1. Envoyez run-task. Attendez task-started avant d’envoyer l’audio.
  2. Continuez à envoyer l’audio tout en recevant les événements result-generated.
  3. Pendant la tâche, utilisez continue-task pour mettre à jour le contexte de conversation. L’audio reste transmis par le canal audio.
  4. Une fois tout l’audio envoyé, envoyez finish-task et recevez les résultats jusqu’à task-finished. En cas d’échec, le serveur renvoie task-failed.
L’audio n’est pas envoyé dans run-task : WebSocket utilise des trames binaires et AOQ utilise une Audio Track. Pour la connexion, l’authentification et le transport audio, consultez l’API WebSocket ou l’accès AOQ.

run-task

Après l’établissement de la connexion, le client envoie un événement run-task pour démarrer une tâche de reconnaissance et configurer le modèle, le format audio, la fréquence d’échantillonnage et les autres paramètres.
Attendez task-started avant d’envoyer l’audio. run-task sert uniquement à démarrer et à configurer la tâche ; il ne contient pas de données audio.
headerobjectObligatoire
actionstringObligatoire
Le type de commande. Définir sur run-task.
task_idstringObligatoire
Un ID de tâche généré par le client (format UUID) qui lie les événements suivants à cette tâche.
streamingstringObligatoire
Définir sur duplex.
payloadobjectObligatoire
task_groupstringObligatoire
Le groupe de tâches. Définir sur audio.
taskstringObligatoire
Le type de tâche. Définir sur asr.
functionstringObligatoire
Le type de fonction. Définir sur recognition.
modelstringObligatoire
Le nom du modèle.
parametersobjectObligatoire
Les paramètres de reconnaissance vocale.
formatstringObligatoire
Le format audio.Valeurs valides :
  • pcm
  • wav
  • mp3
  • opus
  • speex
  • aac
  • amr
  • opus/speex : Doit utiliser l'encapsulation Ogg.
  • wav : Doit utiliser l'encodage PCM.
  • amr : Seul le type AMR-NB est pris en charge.
sample_rateintegerObligatoire
Le taux d’échantillonnage en Hz. Seule la valeur 16000 est prise en charge.
disfluency_removal_enabledbooleanFacultatif
Pris en charge uniquement par qwen-audio-3.1-asr-flash-message. Indique s'il faut filtrer les mots de remplissage et peaufiner la sortie. La valeur par défaut est false. Définissez sur true pour activer cette fonctionnalité.
intermediate_result_enabledbooleanFacultatif
Pris en charge uniquement par qwen-audio-3.1-asr-flash-message. Indique s'il faut retourner les résultats de streaming intermédiaires. La valeur par défaut est false. Définissez sur true pour retourner les résultats de streaming intermédiaires.
keep_dialectbooleanFacultatif
Pris en charge uniquement par qwen-audio-3.1-asr-flash-message. Spécifie s'il faut conserver les expressions dialectales. Par défaut : false. Définir sur false pour transcrire la parole dialectale en texte mandarin standard, ou sur true pour conserver les expressions dialectales.
Ce paramètre s’applique uniquement aux résultats finaux (sentence_end=true) et n’est pas pris en charge pour les résultats intermédiaires (sentence_end=false).
vad_modelstringFacultatif
Le modèle VAD. Valeur par défaut : far_field_meeting_16k.
  • near_meeting_16k : Pour un son capté à proximité de la personne qui parle, par exemple lors d’appels de service client avec un casque-micro ou de la saisie vocale dans une application sur un téléphone tenu en main.
  • far_field_meeting_16k : Pour un son capté à distance de la personne qui parle, par exemple lors d’interactions avec une enceinte connectée, de la captation par des microphones partagés en salle de réunion ou d’interactions vocales mains libres dans un véhicule.
max_sentence_silenceintegerFacultatif
Seuil de silence VAD pour la segmentation, en millisecondes. La phrase est considérée comme terminée si le silence après la parole dépasse ce seuil. Par défaut : 800. Plage valide : [200, 6000].
speech_noise_thresholdfloatFacultatif
Le seuil pour distinguer la parole du bruit, utilisé pour ajuster la sensibilité de la détection d'activité vocale (VAD).Valeurs valides : [-1.0, 1.0].Descriptions des valeurs :
  • Plus la valeur est proche de -1 : Le seuil de bruit diminue, donc le bruit est plus susceptible d'être reconnu comme de la parole, ce qui peut entraîner la transcription de davantage de bruit.
  • Plus la valeur est proche de +1 : Le seuil de bruit augmente, donc la parole est plus susceptible d'être jugée à tort comme du bruit, ce qui peut entraîner le filtrage de certaines paroles.
Il s'agit d'un paramètre de configuration avancé. Son ajustement peut affecter considérablement les résultats de la reconnaissance. Recommandations :
  • Effectuer des tests et vérifier minutieusement les résultats avant tout ajustement.
  • Ajustez par petits incréments en fonction de l'environnement audio réel (un pas de 0.1 est recommandé).
vocabulary_idstringFacultatif
L'identifiant d'une liste de mots-clés précompilée.Générez cet ID à l'avance en appelant l'API de création de liste de mots chauds. Transmettez l'ID lors de la reconnaissance pour utiliser les mots chauds de la liste.Convient aux scénarios où le vocabulaire est connu et relativement stable, et où vous devez réutiliser la même liste de mots entre les requêtes.Pour plus de détails sur l'utilisation, voir Mots chauds précompilés.
vocabularyobjectFacultatif
Mots-clés instantanés.Transmis sous forme de paires clé-valeur, où la clé est le texte du mot chaud (string) et la valeur est le poids du mot chaud (integer). Aucune liste de mots chauds ne doit être créée à l'avance. Le poids varie de [1, 5] ou est défini sur 50 : une valeur dans [1, 5] rend le modèle plus susceptible de produire le mot à mesure que la valeur augmente ; une valeur de 50 désigne un super mot chaud, ce qui améliore considérablement le rappel, mais le nombre de super mots chauds ne peut pas dépasser 50.Convient à l'optimisation temporaire des mots-clés au niveau de la session.
Lorsque des mots chauds instantanés et précompilés sont configurés ensemble, le système fusionne les deux ensembles. Si l'ensemble fusionné contient plus de 2000 mots chauds, le système en sélectionne aléatoirement 2000 à utiliser. Pour plus de détails sur l'utilisation, voir Mots chauds instantanés.
language_hintsarray[string]Facultatif
La langue de l'audio à reconnaître. Il n'y a pas de valeur par défaut ; si elle n'est pas définie, le modèle détecte automatiquement la langue.Vous pouvez définir jusqu’à 4 valeurs. Au-delà, seules les 4 premières prennent effet.
  • zh : Chinois
  • en : Anglais
  • ja : Japonais
  • ko : Coréen
  • vi : Vietnamien
  • th : Thaï
  • id : Indonésien
  • ms : Malais
  • tl : Filipino
  • hi : Hindi
  • ar : Arabe
  • fr : Français
  • de : Allemand
  • es : Espagnol
  • pt : Portugais
  • ru : Russe
  • it : Italien
  • nl : Néerlandais
  • sv : Suédois
  • da : Danois
  • fi : Finnois
  • no : Norvégien
  • el : Grec
  • pl : Polonais
  • cs : Tchèque
  • hu : Hongrois
  • ro : Roumain
  • bg : Bulgare
  • hr : Croate
  • sk : Slovaque
Ce paramètre s’applique uniquement aux résultats finaux (sentence_end=true) et n’est pas pris en charge pour les résultats intermédiaires (sentence_end=false).
heartbeatbooleanFacultatif
Indique s'il faut activer les paquets de battement de cœur.Valeur par défaut : false.
  • true : Maintient la connexion au serveur active même lorsque de l'audio silencieux est envoyé en continu.
  • false (par défaut) : Même lorsque de l'audio silencieux est envoyé en continu, la connexion expire et se ferme après un certain temps.
L'audio silencieux désigne le contenu d'un fichier audio ou d'un flux de données qui ne contient aucun signal sonore. Vous pouvez générer de l'audio silencieux de plusieurs manières, par exemple en utilisant un logiciel d'édition audio comme Audacity ou Adobe Audition, ou en utilisant un outil en ligne de commande comme FFmpeg.
inputobjectObligatoire
L'objet d'entrée. Passer {} lorsqu'aucun contexte n'est fourni.
Seuls les modèles qwen-audio-3.1-asr-flash-message prennent en charge le contexte.
contextarray[object]Facultatif
Le contexte de conversation, qui améliore la précision de la reconnaissance pour le vocabulaire spécifique au domaine. Pour plus de détails sur l'utilisation, voir Amélioration du contexte.
  • Nombre de messages : fournissez au maximum 5 messages de contexte de chaque type (input_text et text). Au-delà, seuls les 5 messages les plus récents sont conservés.
  • Longueur du texte : la longueur cumulée des champs text des messages user et assistant par tour ne doit pas dépasser 400 caractères. Chaque caractère compte pour 1. Le texte excédentaire est tronqué à partir de la fin.
  • Ordre des messages : organisez les messages par tour de conversation. Dans chaque tour, le message user (input_text) doit précéder le message assistant (text) correspondant.
rolestringObligatoire
Le rôle du message. Valeurs valides :
  • user : Les résultats de reconnaissance des tours précédents de parole utilisateur, ou une liste de mots spécifiques au domaine.
  • assistant : Les réponses du grand modèle linguistique lors des tours précédents.
contentarray[object]Obligatoire
La liste des contenus de message.
typestringObligatoire
Le type de contenu. Valeurs valides :
  • input_text : Les résultats de reconnaissance des tours précédents de parole utilisateur, ou une liste de mots spécifiques au domaine (utilisé lorsque le rôle est user). Vous devez également fournir le champ text.
  • text : Les réponses du grand modèle linguistique lors des tours précédents (utilisé lorsque le rôle est assistant). Vous devez également fournir le champ text.
textstringObligatoire
Le contenu textuel. Lorsque type est input_text, saisissez les résultats de reconnaissance des tours précédents de parole utilisateur ou une liste de mots spécifique au domaine. Lorsque type est text, saisissez les réponses du grand modèle linguistique des tours précédents.
  • Requête de base
  • Avec contexte
  • Mots-clés instantanés
Requête
{
  "header": {
    "action": "run-task",
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "streaming": "duplex"
  },
  "payload": {
    "input": {},
    "task_group": "audio",
    "task": "asr",
    "function": "recognition",
    "model": "qwen-audio-3.1-asr-flash-message",
    "parameters": {
      "format": "pcm",
      "sample_rate": 16000
    }
  }
}
Réponse
{
  "header": {
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "task_uuid": "852196dba9d14bea9cf0d6e04ff0b027",
    "event": "task-started",
    "attributes": {}
  },
  "payload": {}
}

continue-task

Après réception de task-started, le client peut envoyer continue-task pendant la tâche pour mettre à jour le contexte de conversation utilisé pour la reconnaissance suivante.
headerobjectObligatoire
actionstringObligatoire
Le type de commande. Définir sur continue-task.
task_idstringObligatoire
Un ID de tâche généré par le client (format UUID) qui doit correspondre au task_id dans l'événement run-task.
streamingstringObligatoire
Définir sur duplex.
payloadobjectObligatoire
inputobjectObligatoire
contextarray[object]Facultatif
Le contexte de conversation, qui améliore la précision de la reconnaissance pour le vocabulaire spécifique au domaine. Pour plus de détails sur l'utilisation, voir Amélioration du contexte.
  • Nombre de messages : fournissez au maximum 5 messages de contexte de chaque type (input_text et text). Au-delà, seuls les 5 messages les plus récents sont conservés.
  • Longueur du texte : la longueur cumulée des champs text des messages user et assistant par tour ne doit pas dépasser 400 caractères. Chaque caractère compte pour 1. Le texte excédentaire est tronqué à partir de la fin.
  • Ordre des messages : organisez les messages par tour de conversation. Dans chaque tour, le message user (input_text) doit précéder le message assistant (text) correspondant.
rolestringObligatoire
Le rôle du message. Valeurs valides :
  • user : Les résultats de reconnaissance des tours précédents de parole utilisateur, ou une liste de mots spécifiques au domaine.
  • assistant : Les réponses du grand modèle linguistique lors des tours précédents.
contentarray[object]Obligatoire
La liste des contenus de message.
typestringObligatoire
Le type de contenu. Valeurs valides :
  • input_text : Les résultats de reconnaissance des tours précédents de parole utilisateur, ou une liste de mots spécifiques au domaine (utilisé lorsque le rôle est user). Vous devez également fournir le champ text.
  • text : Les réponses du grand modèle linguistique lors des tours précédents (utilisé lorsque le rôle est assistant). Vous devez également fournir le champ text.
textstringObligatoire
Le contenu textuel. Lorsque type est input_text, saisissez les résultats de reconnaissance des tours précédents de parole utilisateur ou une liste de mots spécifique au domaine. Lorsque type est text, saisissez les réponses du grand modèle linguistique des tours précédents.
Cet exemple met à jour le contexte, puis poursuit l’envoi de l’audio. L’exemple de réponse est un résultat de reconnaissance reçu ensuite.
Requête
{
  "header": {
    "action": "continue-task",
    "task_id": "bdebb544-9411-413b-a199-aa43485716a0",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "context": [
        {
          "role": "user",
          "content": [
            {
              "type": "input_text",
              "text": "We were discussing the quarterly report."
            }
          ]
        },
        {
          "role": "assistant",
          "content": [
            {
              "type": "text",
              "text": "Please send the quarterly report to the project lead."
            }
          ]
        }
      ]
    }
  }
}
Réponse
{
  "header": {
    "task_id": "bdebb544-9411-413b-a199-aa43485716a0",
    "event": "result-generated",
    "attributes": {}
  },
  "payload": {
    "output": {
      "sentence": {
        "sentence_id": 1,
        "begin_time": 120,
        "end_time": 4040,
        "text": "Please send the quarterly project report to Kellera before Friday. ",
        "sentence_end": true,
        "words": [
          {
            "begin_time": 120,
            "end_time": 320,
            "text": "Please",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 320,
            "end_time": 560,
            "text": " send",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 560,
            "end_time": 760,
            "text": " the",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 760,
            "end_time": 1360,
            "text": " quarterly",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 1360,
            "end_time": 1800,
            "text": " project",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 1800,
            "end_time": 2120,
            "text": " report",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2120,
            "end_time": 2280,
            "text": " to",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2280,
            "end_time": 2336,
            "text": " ",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2336,
            "end_time": 2560,
            "text": "Kell",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2560,
            "end_time": 2800,
            "text": "era",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 2800,
            "end_time": 3160,
            "text": " before",
            "punctuation": "",
            "fixed": false
          },
          {
            "begin_time": 3160,
            "end_time": 4040,
            "text": " Friday",
            "punctuation": ". ",
            "fixed": false
          }
        ],
        "stash": {
          "sentence_id": 2,
          "text": "",
          "begin_time": 4040,
          "current_time": 4040,
          "words": []
        }
      }
    },
    "usage": {
      "duration": 4,
      "input_tokens": 73,
      "output_tokens": 13,
      "total_tokens": 86
    }
  }
}

finish-task

Après avoir envoyé toutes les données audio, le client envoie un événement finish-task pour signaler la fin de l’entrée audio au serveur et demander la fin de la tâche.
Après l’envoi de finish-task, continuez à recevoir les résultats restants jusqu’à task-finished. Utilisez le même task_id que dans run-task.
headerobjectObligatoire
actionstringObligatoire
Le type de commande. Définir sur finish-task.
task_idstringObligatoire
Un ID de tâche généré par le client (format UUID) qui doit correspondre au task_id dans l'événement run-task.
streamingstringObligatoire
Définir sur duplex.
payloadobjectObligatoire
inputobjectObligatoire
Définir sur {}.
Requête
{
  "header": {
    "action": "finish-task",
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Réponse
{
  "header": {
    "task_id": "ab4f7812-2d71-4e3d-93d3-b68ab80d3755",
    "event": "task-finished",
    "attributes": {}
  },
  "payload": {
    "output": {},
    "usage": {
      "duration": 4,
      "input_tokens": 51,
      "output_tokens": 13,
      "total_tokens": 64
    }
  }
}