Cette rubrique détaille les paramètres et les interfaces du SDK Java de reconnaissance vocale en temps réel Paraformer.
Guide d'utilisation : Pour une présentation des modèles et des recommandations de sélection, consultez Reconnaissance vocale en temps réel - Fun-ASR/Paraformer.
La classe Recognition fournit des interfaces d'appel non streaming et streaming bidirectionnel. Choisissez la méthode d'appel appropriée selon vos besoins :
Soumettez une tâche unique de transcription vocale en temps réel et obtenez de manière synchrone le résultat de transcription en transmettant un fichier local.
Instanciez la classe Recognition, appelez la méthode
Soumettez une tâche unique de transcription vocale en temps réel et recevez les résultats de reconnaissance en temps réel via l'interface de callback.
Soumettez une tâche unique de transcription vocale en temps réel et recevez les résultats de reconnaissance en temps réel via un workflow Flowable.
Flowable est un framework open source de gestion des workflows et des processus métier, publié sous licence Apache 2.0. Pour plus d'informations sur Flowable, consultez la documentation de l'API Flowable.
Le SDK Java DashScope utilise le pool de connexions OkHttp3 pour réduire la surcharge liée à l'établissement répété de connexions. Pour plus d'informations, consultez Optimiser la reconnaissance vocale en temps réel Paraformer pour une concurrence élevée.
Configurez des paramètres tels que le modèle, le taux d'échantillonnage et le format audio via les méthodes chaînées de
Lors des appels streaming bidirectionnels, le serveur renvoie des informations clés sur le processus et des données au client via des callbacks. Vous devez implémenter les méthodes de callback pour traiter les informations ou les données retournées par le serveur.
Les méthodes de callback sont implémentées en étendant la classe abstraite
Pour plus d'exemples, consultez GitHub.
Si vous rencontrez des erreurs, consultez les Codes d'erreur pour le dépannage.
Si le problème persiste, rejoignez la communauté des développeurs pour signaler votre problème et fournir l'ID de requête pour une investigation plus approfondie.
Prérequis
Lorsque vous devez accorder un accès temporaire à des applications tierces ou à des utilisateurs, ou lorsque vous souhaitez contrôler strictement des opérations sensibles telles que l'accès ou la suppression de données confidentielles, nous recommandons d'utiliser des jetons d'authentification temporaires.Contrairement aux clés API permanentes, les jetons d'authentification temporaires ont une durée de validité courte (60 secondes) et offrent une sécurité renforcée. Ils conviennent parfaitement aux scénarios d'appels temporaires et réduisent efficacement le risque de fuite de clé API.Utilisation : Dans votre code, remplacez la clé API initialement utilisée pour l'authentification par le jeton d'authentification temporaire obtenu.
Liste des modèles
| paraformer-realtime-v2 | paraformer-realtime-8k-v2 | |
|---|---|---|
| Cas d'utilisation | Streaming en direct, réunions et scénarios similaires | Reconnaissance audio 8 kHz pour des scénarios tels que le service client téléphonique et la messagerie vocale |
| Taux d'échantillonnage | Quelconque | 8kHz |
| Langue | Chinois (y compris le mandarin et divers dialectes), anglais, japonais, coréen, allemand, français, russeDialectes chinois pris en charge : shanghaïen, wu, minnan, nord-est, gansu, guizhou, henan, hubei, hunan, jiangxi, ningxia, shanxi, shaanxi, shandong, sichuan, tianjin, yunnan, cantonais | Chinois |
| Prédiction de la ponctuation | Prise en charge par défaut, aucune configuration requise | Prise en charge par défaut, aucune configuration requise |
| Normalisation inverse du texte (ITN) | Prise en charge par défaut, aucune configuration requise | Prise en charge par défaut, aucune configuration requise |
| Mots chauds personnalisés | Voir Mots chauds personnalisés | Voir Mots chauds personnalisés |
| Spécifier la langue de reconnaissance | Spécifiez via le paramètre language_hints | |
| Reconnaissance des sentiments |
(Cliquez pour voir l'utilisation) La reconnaissance des sentiments est soumise aux contraintes suivantes :
getEmoTag et getEmoConfidence des Informations sur la phrase (Sentence) afin d'obtenir respectivement le sentiment et le niveau de confiance du sentiment pour la phrase actuelle. |
Démarrage rapide
La classe Recognition fournit des interfaces d'appel non streaming et streaming bidirectionnel. Choisissez la méthode d'appel appropriée selon vos besoins :
- Appel non streaming : Reconnaît les fichiers locaux et retourne le résultat complet en une seule fois. Convient au traitement d'audio préenregistré.
- Appel streaming bidirectionnel : Reconnaît directement les flux audio et produit des résultats en temps réel. Le flux audio peut provenir de périphériques externes (comme un microphone) ou être lu depuis un fichier local. Idéal pour les scénarios nécessitant un retour immédiat.
Appel non streaming
Soumettez une tâche unique de transcription vocale en temps réel et obtenez de manière synchrone le résultat de transcription en transmettant un fichier local.
call avec les paramètres de requête et le fichier à reconnaître, effectuez la reconnaissance, puis récupérez le résultat.
Cliquez pour voir l'exemple complet
Cliquez pour voir l'exemple complet
Streaming bidirectionnel : basé sur les callbacks
Soumettez une tâche unique de transcription vocale en temps réel et recevez les résultats de reconnaissance en temps réel via l'interface de callback.
-
Démarrez la reconnaissance vocale en streaming
Instanciez la classe Recognition, appelez la méthode
callavec les paramètres de requête et l'interface de callback (ResultCallback) pour lancer la reconnaissance vocale en streaming. -
Transmettez les données audio en streaming
Appelez la méthode
sendAudioFramede la classe Recognition dans une boucle pour envoyer au serveur des segments de flux audio binaire lus depuis un fichier local ou un périphérique (tel qu'un microphone). Pendant la transmission des données audio, le serveur renvoie les résultats de reconnaissance au client en temps réel via la méthodeonEventde l'interface de callback (ResultCallback). Il est recommandé que chaque segment audio dure environ 100 millisecondes, avec une taille de données comprise entre 1 Ko et 16 Ko. -
Terminez le traitement
Appelez la méthode
stopde la classe Recognition pour arrêter la reconnaissance vocale. Cette méthode bloque le thread actuel jusqu'à ce que le callbackonCompleteouonErrorde l'interface de callback (ResultCallback) soit déclenché.
Cliquez pour voir l'exemple complet
Cliquez pour voir l'exemple complet
Streaming bidirectionnel : basé sur Flowable
Soumettez une tâche unique de transcription vocale en temps réel et recevez les résultats de reconnaissance en temps réel via un workflow Flowable.
Flowable est un framework open source de gestion des workflows et des processus métier, publié sous licence Apache 2.0. Pour plus d'informations sur Flowable, consultez la documentation de l'API Flowable.
Cliquez pour voir l'exemple complet
Cliquez pour voir l'exemple complet
Appelez directement la méthode
streamCall de la classe Recognition pour démarrer la reconnaissance.La méthode streamCall retourne une instance Flowable<RecognitionResult>. Vous pouvez appeler des méthodes telles que blockingForEach et subscribe de l'instance Flowable pour traiter les résultats de reconnaissance. Ces résultats sont encapsulés dans RecognitionResult.La méthode streamCall nécessite deux paramètres :- Une instance
RecognitionParam(Paramètres de requête) : Utilisez-la pour définir des paramètres tels que le modèle, le taux d'échantillonnage et le format audio pour la reconnaissance vocale. - Une instance
Flowable<ByteBuffer>: Vous devez créer une instance de typeFlowable<ByteBuffer>et y implémenter la méthode d'analyse du flux audio.
Appels à haute concurrence
Le SDK Java DashScope utilise le pool de connexions OkHttp3 pour réduire la surcharge liée à l'établissement répété de connexions. Pour plus d'informations, consultez Optimiser la reconnaissance vocale en temps réel Paraformer pour une concurrence élevée.
Paramètres de requête
Configurez des paramètres tels que le modèle, le taux d'échantillonnage et le format audio via les méthodes chaînées de RecognitionParam. Transmettez l'objet paramètre configuré à la méthode call/streamCall de la classe Recognition.
Cliquez pour voir l'exemple
Cliquez pour voir l'exemple
| Paramètre | Type | Valeur par défaut | Obligatoire | Description |
|---|---|---|---|---|
| model | String | Oui | Modèle pour la reconnaissance vocale en temps réel. Pour plus d'informations, consultez la Liste des modèles. | |
| sampleRate | Integer | Oui | Définissez le taux d'échantillonnage (en Hz) de l'audio à reconnaître.Varie selon le modèle :
| |
| format | String | Oui | Définissez le format audio à reconnaître.Formats audio pris en charge : pcm, wav, mp3, opus, speex, aac, amr. | |
| vocabularyId | String | Non | Définissez l'ID des mots chauds. Si ce champ n'est pas défini, les mots chauds ne seront pas pris en compte. Utilisez ce champ pour définir l'ID des mots chauds pour les modèles v2 et ultérieurs.Dans la session de reconnaissance vocale en cours, les informations relatives aux mots chauds correspondant à cet ID seront appliquées. Pour plus de détails sur l'utilisation, consultez Mots chauds personnalisés. | |
| disfluencyRemovalEnabled | boolean | false | Non | Indiquez si vous souhaitez filtrer les mots de remplissage :
|
| language_hints | String[] | ["zh", "en"] | Non | Définissez les codes de langue pour la reconnaissance. Si vous ne pouvez pas déterminer la langue à l'avance, vous pouvez laisser ce champ vide et le modèle détectera automatiquement la langue.Codes de langue actuellement pris en charge :
language_hints doit être défini via la méthode parameter ou la méthode parameters de l'instance RecognitionParam : |
| semantic_punctuation_enabled | boolean | false | Non | Indiquez si vous souhaitez activer la segmentation sémantique. Désactivée par défaut.
semantic_punctuation_enabled, vous pouvez modifier la méthode de segmentation de la reconnaissance vocale pour l'adapter à différents scénarios.Ce paramètre ne prend effet que lorsque le modèle est v2 ou ultérieur.semantic_punctuation_enabled doit être défini via la méthode parameter ou la méthode parameters de l'instance RecognitionParam : |
| max_sentence_silence | Integer | 800 | Non | Définissez le seuil de durée de silence (en ms) pour la segmentation VAD (Voice Activity Detection).Lorsque la durée de silence après un segment vocal dépasse ce seuil, le système considère que la phrase est terminée.La plage de valeurs de ce paramètre s'étend de 200 ms à 6000 ms, avec une valeur par défaut de 800 ms.Ce paramètre ne prend effet que lorsque le paramètre semantic_punctuation_enabled est false (segmentation VAD) et que le modèle est v2 ou ultérieur.max_sentence_silence doit être défini via la méthode parameter ou la méthode parameters de l'instance RecognitionParam : |
| multi_threshold_mode_enabled | boolean | false | Non | Lorsque ce commutateur est activé (true), il empêche la segmentation VAD de couper des phrases trop longues. Désactivé par défaut.Ce paramètre ne prend effet que lorsque le paramètre semantic_punctuation_enabled est false (segmentation VAD) et que le modèle est v2 ou ultérieur.multi_threshold_mode_enabled doit être défini via la méthode parameter ou la méthode parameters de l'instance RecognitionParam : |
| punctuation_prediction_enabled | boolean | true | Non | Indiquez si vous souhaitez ajouter automatiquement de la ponctuation dans les résultats de reconnaissance :
punctuation_prediction_enabled doit être défini via la méthode parameter ou la méthode parameters de l'instance RecognitionParam : |
| heartbeat | boolean | false | Non | Lorsque vous devez maintenir une connexion longue avec le serveur, utilisez ce commutateur pour contrôler le comportement :
La version du SDK doit être 2.19.1 ou ultérieure pour utiliser ce champ. heartbeat doit être défini via la méthode parameter ou la méthode parameters de l'instance RecognitionParam : |
| inverse_text_normalization_enabled | boolean | true | Non | Indiquez si vous souhaitez activer l'ITN (Normalisation Inverse du Texte).Activé par défaut (true). Lorsqu'il est activé, les chiffres chinois sont convertis en chiffres arabes.Ce paramètre ne prend effet que lorsque le modèle est v2 ou ultérieur.inverse_text_normalization_enabled doit être défini via la méthode parameter ou la méthode parameters de l'instance RecognitionParam : |
| apiKey | String | Non | Clé API de l'utilisateur. |
Référence de l’API
Classe Recognition
Recognition est importé via "import com.alibaba.dashscope.audio.asr.recognition.Recognition;". Ses interfaces clés sont les suivantes :
| Interface/Méthode | Paramètre | Valeur de retour | Description |
|---|---|---|---|
| Aucune | Reconnaissance en temps réel streaming basée sur les callbacks. Cette méthode ne bloque pas le thread actuel. | |
| Résultat de reconnaissance | Appel non streaming basé sur un fichier local. Cette méthode bloque le thread actuel jusqu'à ce que tout l'audio ait été lu. Le fichier à reconnaître doit disposer des autorisations de lecture. | |
| Flowable<RecognitionResult> | Reconnaissance en temps réel streaming basée sur Flowable. | |
| Aucune | Envoyez des données audio. Chaque paquet audio ne doit être ni trop grand ni trop petit. Il est recommandé que chaque paquet dure environ 100 ms, avec une taille comprise entre 1 Ko et 16 Ko.Les résultats de reconnaissance sont obtenus via la méthode onEvent de l'Interface de callback (ResultCallback). | |
| Aucun | Aucune | Arrêtez la reconnaissance en temps réel.Cette méthode bloque le thread actuel jusqu'à ce que la méthode onComplete ou onError de l'instance ResultCallback soit appelée. | |
| code : Code de fermeture WebSocketreason : Raison de la fermetureCes deux paramètres peuvent être configurés conformément à la documentation The WebSocket Protocol. | true | Une fois la tâche terminée, la connexion WebSocket doit être fermée, qu'une exception se soit produite ou non, afin d'éviter les fuites de connexion. Pour savoir comment réutiliser les connexions afin d'améliorer l'efficacité, consultez Optimiser la reconnaissance vocale en temps réel Paraformer pour une concurrence élevée. | |
| Aucun | requestId | Obtenez le requestId de la tâche en cours. Disponible après le démarrage d'une nouvelle tâche avec call ou streamingCall.Cette méthode est disponible à partir de la version 2.18.0 du SDK. | |
| Aucun | Délai du premier paquet | Obtenez le délai du premier paquet, c'est-à-dire la latence entre l'envoi du premier paquet audio et la réception du premier résultat de reconnaissance. À utiliser une fois la tâche terminée. Cette méthode est disponible à partir de la version 2.18.0 du SDK. | |
| Aucun | Délai du dernier paquet | Obtenez le délai du dernier paquet, c'est-à-dire la latence entre l'envoi de la commande stop et la réception du dernier résultat de reconnaissance. À utiliser une fois la tâche terminée.Cette méthode est disponible à partir de la version 2.18.0 du SDK. |
Interface de callback (ResultCallback)
Lors des appels streaming bidirectionnels, le serveur renvoie des informations clés sur le processus et des données au client via des callbacks. Vous devez implémenter les méthodes de callback pour traiter les informations ou les données retournées par le serveur.
Les méthodes de callback sont implémentées en étendant la classe abstraite ResultCallback. Lors de l'extension de cette classe abstraite, vous pouvez spécifier le type générique comme RecognitionResult. RecognitionResult encapsule la structure de données retournée par le serveur.
Étant donné que Java prend en charge la réutilisation des connexions, il n'y a pas de callbacks onClose ou onOpen.
Exemple
Exemple
| Interface/Méthode | Paramètre | Valeur de retour | Description |
|---|---|---|---|
result : Résultat de reconnaissance en temps réel (RecognitionResult) | Aucune | Appelé lorsque le serveur envoie une réponse. | |
| Aucun | Aucune | Appelé lorsque la tâche est terminée. | |
e : Informations sur l'exception | Aucune | Appelé lorsqu'une exception survient. |
Réponse
Résultat de reconnaissance en temps réel (RecognitionResult)
RecognitionResult représente le résultat d'une session de reconnaissance en temps réel.
| Interface/Méthode | Paramètre | Valeur de retour | Description |
|---|---|---|---|
| Aucun | requestId | Obtenez le requestId. | |
| Aucun | Indique s'il s'agit d'une phrase complète, c'est-à-dire si une limite de phrase a été atteinte | Déterminez si la phrase donnée est terminée. | |
| Aucun | Informations sur la phrase (Sentence) | Obtenez les informations sur la phrase, y compris les horodatages et le texte. |
Informations sur la phrase (Sentence)
| Interface/Méthode | Paramètre | Valeur de retour | Description |
|---|---|---|---|
| Aucun | Heure de début de la phrase en ms | Retourne l'heure de début de la phrase. | |
| Aucun | Heure de fin de la phrase en ms | Retourne l'heure de fin de la phrase. | |
| Aucun | Texte reconnu | Retourne le texte reconnu. | |
| Aucun | Liste des Informations d'horodatage des mots (Word) | Retourne les informations d'horodatage au niveau des mots. | |
| Aucun | Sentiment de la phrase actuelle | Retourne le sentiment de la phrase actuelle :
| |
| Aucun | Niveau de confiance du sentiment de la phrase actuelle | Retourne le niveau de confiance du sentiment de la phrase actuelle. Plage de valeurs : [0,0, 1,0]. Une valeur plus élevée indique une confiance plus grande.La reconnaissance des sentiments est soumise aux contraintes suivantes :
|
Informations d'horodatage des mots (Word)
| Interface/Méthode | Paramètre | Valeur de retour | Description |
|---|---|---|---|
| Aucun | Heure de début du mot en ms | Retourne l'heure de début du mot. | |
| Aucun | Heure de fin du mot en ms | Retourne l'heure de fin du mot. | |
| Aucun | Mot | Retourne le mot reconnu. | |
| Aucun | Ponctuation | Retourne la ponctuation. |