Cette rubrique décrit les paramètres et les interfaces du SDK Python pour le modèle de reconnaissance vocale en temps réel Qwen-Audio-ASR-Message.
Consultez la documentation Qwen-Audio-ASR-Message Python SDK actuelle.
La ressource principale (
Définissez les paramètres de requête via les méthodes
Transmettez les paramètres suivants via l'argument nommé
La reconnaissance vocale en temps réel est montée sur la ressource
Appelez
Lors d'un appel bidirectionnel en flux continu, le serveur renvoie les informations clés du processus et les données au client via des événements. Dans un thread récepteur, itérez sur les
Les membres de la classe Sentence sont les suivants :
Les membres de la classe Word sont les suivants :
Si vous rencontrez des erreurs, consultez la rubrique Codes d'erreur pour le dépannage.
Si le problème persiste, rejoignez la communauté des développeurs pour signaler votre problème et fournir l'ID de requête afin de poursuivre l'investigation.
Définissez le paramètre de requête
Utilisez FFmpeg. Pour plus d'informations sur l'utilisation, consultez le site officiel de FFmpeg.
Il existe deux façons de reconnaître un fichier local :
Prérequis
Démarrage rapide
La ressource principale (client.audio.asr) fournit des interfaces pour les appels non diffusés (non-streaming) et les appels bidirectionnels en flux continu (streaming). Choisissez la méthode d'appel adaptée à vos besoins :
- Appel non diffusé (
recognize_file) : reconnaît un fichier local. Le SDK envoie automatiquement l'audio par segments et conduit la tâche jusqu'à son terme. Convient au traitement de fichiers audio préenregistrés. - Appel bidirectionnel en flux continu (session
recognize) : reconnaît un flux audio directement et produit des résultats en temps réel. Le flux audio peut provenir d'un périphérique externe, tel qu'un microphone, ou être lu depuis un fichier local. Convient aux scénarios nécessitant un retour immédiat.
- Appel non diffusé
- Appel bidirectionnel en flux continu
Soumettez une tâche unique de reconnaissance vocale en temps réel et obtenez le résultat de manière synchrone en transmettant un fichier local.Appelez la méthode
recognize_file de la ressource principale (client.audio.asr) pour associer les paramètres de requête et transmettre le chemin du fichier local, puis itérez sur les événements du serveur pour obtenir le résultat de reconnaissance.Paramètres de requête
Définissez les paramètres de requête via les méthodes recognize/recognize_file de la ressource principale (client.audio.asr) : model, format, sample_rate et vocabulary_id sont des paramètres nommés, et les autres paramètres (comme language_hints) se transmettent via le dictionnaire parameters.
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
model | str | Oui | Le nom du modèle. |
sample_rate | int | Oui | Le taux d’échantillonnage en Hz. Seule la valeur 16000 est prise en charge. |
format | str | Oui | Le format audio.Valeurs valides :
|
keep_dialect | bool | Non | Par défaut : false, pour transcrire les dialectes en chinois standard. Définissez sur true pour conserver les expressions dialectales. Transmettez-le comme argument nommé portant le même nom.Ce paramètre s’applique uniquement aux résultats finaux (sentence_end=true) et n’est pas pris en charge pour les résultats intermédiaires (sentence_end=false). |
vad_model | str | Non | Modèle VAD : near_meeting_16k (champ proche) ou far_field_meeting_16k (champ lointain, par défaut). Transmettez-le comme argument nommé portant le même nom. |
disfluency_removal_enabled | bool | Non | Indique s’il faut supprimer les mots de remplissage et améliorer le texte produit. Par défaut : false. Définissez sur true pour activer. Transmettez-le comme argument nommé portant le même nom. |
intermediate_result_enabled | bool | Non | Indique s’il faut renvoyer les résultats intermédiaires en streaming. Par défaut : false. Définissez sur true pour les recevoir. Transmettez-le comme argument nommé portant le même nom. |
vocabulary_id | str | Non | L'ID d'une liste de mots clés précompilée.Générez cet ID à l'avance en appelant l'API de création de liste de mots clés. Transmettez l'ID lors de la reconnaissance pour utiliser les mots clés de la liste.Convient aux scénarios où le vocabulaire est connu et relativement stable, et où vous devez réutiliser la même liste de mots entre plusieurs requêtes.Pour plus de détails sur l'utilisation, consultez la rubrique Mots clés précompilés. |
vocabulary | dict | Non | Mots clés instantanés.Transmis sous forme de paires clé-valeur, où la clé correspond au texte du mot clé (string) et la valeur au poids du mot clé (integer). Aucune liste de mots clés ne doit être créée à l'avance. Le poids varie de [1, 5] ou est défini sur 50 : une valeur comprise entre [1, 5] augmente la probabilité que le modèle génère le mot à mesure que la valeur augmente ; une valeur de 50 désigne un super mot clé, ce qui améliore considérablement le rappel, mais le nombre de super mots clés ne peut pas dépasser 50.Adapté à l'optimisation temporaire des mots clés au niveau de la session.Lorsqu'ils sont configurés conjointement avec des mots clés précompilés, seuls les mots clés instantanés prennent effet. Pour plus de détails sur l'utilisation, consultez la rubrique Mots clés instantanés.Exemple : |
language_hints | list[str] | Non | La langue de l'audio à reconnaître. Il n'y a pas de valeur par défaut ; si ce paramètre n'est pas défini, le modèle détecte automatiquement la langue.Vous pouvez définir jusqu’à 4 valeurs. Au-delà, seules les 4 premières prennent effet.
Cliquez pour afficher les codes de langue pris en charge
sentence_end=true) et n’est pas pris en charge pour les résultats intermédiaires (sentence_end=false). |
max_sentence_silence | int | Non | Seuil de silence VAD pour la segmentation, en millisecondes. La phrase est considérée comme terminée si le silence après la parole dépasse ce seuil. Par défaut : 800. Plage valide : [200, 6000]. |
heartbeat | bool | Non | Indique s'il faut activer les paquets de maintien de connexion (heartbeat).Par défaut : False.
|
speech_noise_threshold | float | Non | Le seuil permettant de distinguer la parole du bruit, utilisé pour ajuster la sensibilité de la détection d'activité vocale (VAD).Valeurs valides : [-1,0, 1,0].Descriptions des valeurs :
|
input des méthodes recognize/recognize_file.
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
input | dict | Non | L'objet d'entrée utilisé pour transmettre le contexte de conversation. L'amélioration contextuelle améliore la précision de la reconnaissance pour les termes spécifiques à un domaine. Pour l'utilisation, consultez le guide de démarrage rapide.Le dictionnaire doit inclure une clé context dont la valeur est une liste de messages (list[dict]). Chaque message contient les champs suivants :
Ce champ nécessite la version 2.0.1 ou ultérieure du SDK. input lors de la création de la session de reconnaissance : |
Interfaces principales
Ressource principale (client.audio.asr)
La reconnaissance vocale en temps réel est montée sur la ressource client.audio.asr : recognize crée une session de reconnaissance bidirectionnelle en flux continu (Recognition) et recognize_file reconnaît un fichier local en un seul appel.
| Méthode membre | Signature de la méthode | Description |
|---|---|---|
| recognize | Crée une session de reconnaissance bidirectionnelle en flux continu. L'entrée dans le contexte with appelle automatiquement start pour établir la connexion et envoyer la tâche.L'envoi d'audio et la consommation d'événements doivent s'exécuter de manière concurrente (à utiliser avec send_audio_frame, events()/results() et stop). | |
| recognize_file | Un appel non diffusé basé sur un fichier local : envoie automatiquement l'audio par segments et conduit la tâche jusqu'à son terme, en délivrant les événements du serveur un par un. Cette méthode nécessite une autorisation de lecture sur le fichier. | |
| start | Démarre la reconnaissance vocale : établit la connexion, envoie la tâche et attend task-started. Appelée automatiquement à l'entrée dans le contexte with. L'audio ne peut être envoyé qu'après un démarrage réussi. | |
| send_audio_frame | Envoie l'audio. Veillez à ce que chaque trame audio envoyée ne soit ni trop grande ni trop petite : environ 100 ms par trame, entre 1 Ko et 16 Ko.Les résultats de reconnaissance s'obtiennent en itérant sur events()/results(). | |
| stop | Arrête la reconnaissance vocale : notifie seulement le serveur que la saisie est terminée. Le thread récepteur doit continuer à consommer events() jusqu'à l'événement task-finished. | |
| events / results | Itère sur les événements du serveur : events() délivre des dict d'événements bruts (le texte reconnu se trouve dans payload.output.sentence) ; results() ne délivre que les trames de résultats de reconnaissance, en renvoyant des objets typés Résultat de reconnaissance (RecognitionResult) (les trames de heartbeat sont filtrées). | |
| close | Ferme la session de reconnaissance. Appelée automatiquement à la sortie du contexte with. | |
| request_id / first_package_delay / last_package_delay / last_response | Récupère le request_id, la latence du premier paquet (délai entre l'envoi du premier paquet audio et la réception du premier résultat de reconnaissance) et la latence du dernier paquet (temps écoulé entre l'envoi de la commande stop et le dernier résultat de reconnaissance). À utiliser après la fin de la tâche. last_response est le dernier message brut lu correctement, utile pour récupérer les erreurs d'une tâche échouée. Restent lisibles après la fermeture de la session. |
Mettre à jour le contexte de conversation
Appelez update_context pour mettre à jour le contexte de la conversation pendant l'exécution d'une tâche de reconnaissance. Le contexte sert à aider la reconnaissance de l'audio ultérieur. Cette méthode nécessite DashScope Python SDK 2.0.1 ou ultérieure.
- Quand appeler : après le début de la reconnaissance en flux continu (l'entrée dans le contexte
withappelle automatiquementstart) et avant l'appel destop. - Paramètre :
contextest un dictionnaire contenant l'objetpayload.inputd'un événementcontinue-task, incluant le champcontext. N'ajoutez pas d'enveloppepayloadouinputsupplémentaire. - Modèles pris en charge et restrictions de paramètres : consultez continue-task.
recognition existante et démarrée.
Itération d'événements (events()/results())
Lors d'un appel bidirectionnel en flux continu, le serveur renvoie les informations clés du processus et les données au client via des événements. Dans un thread récepteur, itérez sur les events() de la session (dict d'événements bruts) ou results() (trames typées de résultats de reconnaissance) pour traiter les informations et données renvoyées par le serveur.
| Événement/méthode d'itération | Sortie | Valeur de retour | Description |
|---|---|---|---|
Événement task-started | None | Lu en interne par start() et enregistré dans last_response au retour du démarrage. N'est pas redélivré par events(). | |
event : dict d'événement du serveur | Itérateur | Délivre des événements lors des réponses du serveur. Le résultat de reconnaissance se trouve dans payload.output.sentence, qui peut être un événement de heartbeat ou de texte vide que les applications peuvent ignorer selon les besoins. Consommez-le depuis un unique thread récepteur et ne créez pas plusieurs lecteurs concurrents. | |
result : résultat de reconnaissance (RecognitionResult) | Itérateur | Ne délivre que les trames de résultats de reconnaissance (les trames de heartbeat sont filtrées). L'itération se termine après le renvoi de tous les résultats de reconnaissance. | |
Exception DashScopeError | None | Levée dans le thread d'envoi/réception en cas d'erreur. Vous pouvez la capturer par try/except. | |
Événement task-finished | None | Délivré par events() lorsque le serveur a terminé toute la reconnaissance, après quoi l'itération se termine. Vous devez continuer à lire cet événement après l'appel de stop(). |
Réponse
Résultat de reconnaissance (RecognitionResult)
RecognitionResult représente une trame de résultat de reconnaissance unique délivrée lors de l'itération sur les results() de la session (utilisable aussi bien dans les appels bidirectionnels en flux continu que non diffusés ; events() délivre des dict d'événements bruts ; utilisez results() si vous avez besoin de cette vue typée).
| Méthode membre | Signature de la méthode | Description |
|---|---|---|
get_sentence | Récupère la phrase reconnue actuelle et ses informations d'horodatage. Cette méthode renvoie Dict[str, Any] (informations d'une seule phrase). Pour plus de détails, consultez la rubrique Phrase (Sentence). | |
request_id | Le request_id correspondant à l'événement courant. | |
is_sentence_end | Détermine si la phrase courante est terminée. Cette méthode vérifie si le champ end_time dans les informations de phrase unique renvoyées par get_sentence() est None : une valeur end_time différente de None indique que la phrase est terminée. |
| Paramètre | Type | Description |
|---|---|---|
begin_time | int | Heure de début de la phrase, en ms. |
end_time | int | Heure de fin de la phrase, en ms. |
text | str | Texte reconnu. |
words | Une liste d'informations d'horodatage au niveau des mots (Word) | Informations d'horodatage au niveau des mots. |
Informations d'horodatage au niveau des mots (Word)
Les membres de la classe Word sont les suivants :
| Paramètre | Type | Description |
|---|---|---|
begin_time | int | Heure de début du mot, en ms. |
end_time | int | Heure de fin du mot, en ms. |
text | str | Le mot. |
punctuation | str | La ponctuation. |
Codes d'erreur
Si vous rencontrez des erreurs, consultez la rubrique Codes d'erreur pour le dépannage.
Si le problème persiste, rejoignez la communauté des développeurs pour signaler votre problème et fournir l'ID de requête afin de poursuivre l'investigation.
FAQ
Fonctionnalités
Q : Comment maintenir la connexion active pendant de longues périodes de silence ?
Définissez le paramètre de requête heartbeat sur true et continuez d'envoyer de l'audio silencieux au serveur.
L'audio silencieux désigne le contenu d'un fichier audio ou d'un flux ne contenant aucun signal sonore. Vous pouvez générer de l'audio silencieux de plusieurs manières, par exemple en utilisant des logiciels de montage audio tels qu'Audacity ou Adobe Audition, ou des outils en ligne de commande comme FFmpeg.
Q : Comment convertir l'audio dans un format pris en charge ?
Utilisez FFmpeg. Pour plus d'informations sur l'utilisation, consultez le site officiel de FFmpeg.
Q : Comment reconnaître un fichier local (enregistrement) ?
Il existe deux façons de reconnaître un fichier local :
-
Transmettez directement le chemin du fichier local : cette méthode renvoie le résultat complet uniquement après la fin de la reconnaissance, elle n'est donc pas adaptée aux scénarios nécessitant un retour immédiat.
Consultez la section Appel non diffusé et transmettez le chemin du fichier à la méthode
recognize_filepour reconnaître l'enregistrement directement. -
Convertissez le fichier local en flux binaire pour la reconnaissance : cette méthode reconnaît le fichier tout en diffusant les résultats, elle convient donc aux scénarios nécessitant un retour immédiat.
Consultez la section Appel bidirectionnel en flux continu et envoyez le flux binaire au serveur pour reconnaissance via la méthode
send_audio_framede la session de reconnaissance.
Dépannage
Q : Pourquoi la parole n'est-elle pas reconnue (aucun résultat de reconnaissance) ?
-
Vérifiez que le format audio (
format) et la fréquence d'échantillonnage (sampleRate/sample_rate) dans les paramètres de requête sont corrects et respectent les contraintes des paramètres. Les erreurs courantes incluent :- Le fichier audio possède l'extension .wav mais est réellement au format MP3, tandis que le paramètre de requête
formatest défini sur mp3 (paramètre incorrect). - La fréquence d'échantillonnage audio est de 3 600 Hz, mais le paramètre de requête
sampleRate/sample_rateest défini sur 48 000 (paramètre incorrect).
- Le fichier audio possède l'extension .wav mais est réellement au format MP3, tandis que le paramètre de requête
- Si aucune des vérifications ci-dessus ne révèle de problème, ajoutez des mots clés personnalisés pour améliorer la reconnaissance de termes spécifiques.