Prérequis
- Obtenez et configurez une clé API. Ne codez pas en dur de clé API de longue durée dans votre application mobile. Nous vous recommandons de générer une clé API temporaire sur votre serveur d’application et de la transmettre au client.
Installer le SDK
- Téléchargez le dernier package du SDK.
- Extrayez le package ZIP et ajoutez le fichier
nuisdk.xcframeworkinclus à votre projet. - Dans Build Phases → Link Binary With Libraries, ajoutez
nuisdk.xcframework. - Dans General → Frameworks, Libraries, and Embedded Content, définissez
nuisdk.xcframeworksur Embed & Sign.
Démarrage rapide
Ouvrez le projet d'exemple dans Xcode. Le code se trouve dans DashFunAsrSpeechTranscriberViewController.m. Remplacez la clé API par la vôtre pour essayer la fonctionnalité.
Paramètres de requête
Qwen-Audio-ASR-Streaming
Référence commune
Paramètres de connexion et de contrôle
Configurez ces paramètres en passant une chaîne JSON à l'argument parameters de nui_initialize.
Exemple de paramètres : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez ceux dont votre code a besoin.
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
url | String | Oui | Adresse du service :
{WorkspaceId} par votre véritable ID d'espace de travail. |
apikey | String | Oui | Clé API. |
service_mode | String | Oui | Mode d'exécution. Fixé à "1" pour la reconnaissance vocale en temps réel. |
device_id | String | Oui | Chaîne unique identifiant l'utilisateur final. Vous pouvez utiliser un ID utilisateur de l'application ou un identifiant d'appareil généré côté client. Cet ID sert principalement au suivi des journaux et au dépannage. |
audio_update_manually | String | Non | Active ou non l'envoi actif de données audio. Valeur par défaut : "false". Si la valeur est "true" et que la version du SDK prend en charge le traitement audio sur l'appareil, tel que l'AEC ou la VAD, ces capacités sont activées par défaut. |
workspace | String | Non | Le chemin où sont stockés les fichiers de ressources sur appareil. Ce paramètre est requis lorsque audio_update_manually est défini sur "true" et qu'une capacité de traitement audio sur appareil telle que AEC ou VAD est activée. |
debug_path | String | Non | Chemin de stockage des journaux. Ce paramètre ne prend effet que si save_log vaut YES dans nui_initialize. Dans ce cas, le chemin est obligatoire, sinon une erreur se produit. Deux fichiers journaux au maximum sont conservés localement. |
save_wav | String | Non | Enregistre ou non l'audio de débogage dans debug_path. Par défaut : "false". "true" enregistre le fichier ; "false" ne l'enregistre pas. Ce paramètre ne prend effet que si save_log vaut true dans nui_initialize. Il faut également définir debug_path. |
max_log_file_size | int | Non | Taille maximale du fichier journal, en octets. Ne prend effet que si save_log vaut YES dans nui_initialize. Valeur par défaut : 104857600 (100 × 1024 × 1024 octets, soit 100 MiB). |
log_track_level | int | Non | Niveau de filtrage des journaux renvoyés par onNuiLogTrackCallback. Par défaut : 2. Valeurs : 0 (LOG_LEVEL_VERBOSE), 1 (LOG_LEVEL_DEBUG), 2 (LOG_LEVEL_INFO), 3 (LOG_LEVEL_WARNING), 4 (LOG_LEVEL_ERROR), 5 (LOG_LEVEL_NONE, désactivé). Un journal n'est renvoyé que si son niveau est supérieur ou égal à log_track_level et au level de nui_initialize. Par exemple, avec 2 (INFO) et 3 (WARNING), seuls les journaux WARNING et supérieurs (valeur ≥ 3) sont renvoyés. |
Paramètres de qualité de reconnaissance
Configurez ces paramètres en passant une chaîne JSON à l'argument params de nui_set_params.
Exemple de paramètres : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez ceux dont votre code a besoin.
| Paramètre de premier niveau | Type | Obligatoire | Description |
|---|---|---|---|
service_type | int | Oui | Type de service vocal. Fixé à 4 pour la reconnaissance vocale en temps réel. |
nls_config | object | Oui | Objet de configuration principal de la reconnaissance. Il contient notamment la sélection du modèle et les contrôles de qualité de reconnaissance. |
nls_config.model | string | Oui | Le nom du modèle. |
nls_config.sr_format | string | Oui | Le format audio.Valeurs valides :
|
nls_config.sample_rate | int | Oui | Le taux d’échantillonnage en Hz. Tous les taux sont pris en charge. |
nls_config.keep_dialect | boolean | Non | Spécifie si les expressions dialectales doivent être conservées. Par défaut : false. Définissez ce paramètre sur false pour transcrire la parole dialectale en texte mandarin standard, ou sur true pour conserver les expressions dialectales.S’applique à qwen-audio-3.1-asr-flash-streaming. |
nls_config.vad_model | string | Non | Le modèle VAD. Par défaut : far_field_meeting_16k.
S’applique à qwen-audio-3.1-asr-flash-streaming. |
nls_config.max_sentence_silence | int | Non | Le seuil de silence VAD pour la segmentation, en ms. Lorsque le silence suivant un segment de parole dépasse ce seuil, le système détermine que la phrase est terminée.Valeur par défaut : 800.Valeurs valides : [200, 6000]. |
nls_config.multi_threshold_mode_enabled | boolean | Non | Active ou non le mode à seuils multiples, qui évite que les segments VAD deviennent trop longs.Valeur par défaut : false. |
nls_config.heartbeat | boolean | Non | Indique s'il faut activer les paquets de battement de cœur.Valeur par défaut : false.
|
nls_config.vocabulary_id | string | Non | L'ID d'une liste de mots clés précompilée.Générez cet ID à l'avance en appelant l'API de création de liste de mots clés. Transmettez l'ID lors de la reconnaissance pour utiliser les mots clés de la liste.Convient aux scénarios où le vocabulaire est connu et relativement stable, et où vous devez réutiliser la même liste de mots d'une requête à l'autre.Pour plus de détails sur l'utilisation, consultez Mots clés précompilés. |
nls_config.instant_vocabulary | object | Non | Mots-clés instantanés.Transmis sous forme de paires clé-valeur, où la clé est le texte du mot chaud (string) et la valeur est le poids du mot chaud (integer). Aucune liste de mots chauds ne doit être créée à l'avance. Le poids varie de [1, 5] ou est défini sur 50 : une valeur dans [1, 5] rend le modèle plus susceptible de produire le mot à mesure que la valeur augmente ; une valeur de 50 désigne un super mot chaud, ce qui améliore considérablement le rappel, mais le nombre de super mots chauds ne peut pas dépasser 50.Convient à l'optimisation temporaire des mots-clés au niveau de la session.Lorsque des mots chauds instantanés et précompilés sont configurés ensemble, le système fusionne les deux ensembles. Si l'ensemble fusionné contient plus de 2000 mots chauds, le système en sélectionne aléatoirement 2000 à utiliser. Pour plus de détails sur l'utilisation, voir Mots chauds instantanés. |
nls_config.language_hints | array[string] | Non | La langue de l'audio à reconnaître. Aucune valeur par défaut ; si elle n'est pas définie, le modèle détecte automatiquement la langue.Vous pouvez définir jusqu’à 4 valeurs. Au-delà, seules les 4 premières sont prises en compte.
Click to view the supported language codes
|
nls_config.speech_noise_threshold | float | Non | Le seuil pour distinguer la parole du bruit, utilisé pour ajuster la sensibilité de la détection d'activité vocale (VAD).Valeurs valides : [-1.0, 1.0].Descriptions des valeurs :
|
nls_config.special_word_filter | object | Non | Spécifie les mots sensibles à traiter lors de la reconnaissance vocale et permet de définir différentes méthodes de traitement pour différents mots sensibles. Pour plus de détails, voir Filtrage des mots sensibles. |
nls_config.enable_connection_fast_check | BOOL | Non | Active ou non la vérification réseau rapide pour signaler les déconnexions au plus tôt. Par défaut : NO. |
Qwen-Audio-ASR-Message
Référence commune
Paramètres de connexion et de contrôle
Configurez ces paramètres en passant une chaîne JSON à l'argument parameters de nui_initialize.
Exemple de paramètres : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez ceux dont votre code a besoin.
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
url | String | Oui | Adresse du service :
{WorkspaceId} par votre véritable ID d'espace de travail. |
apikey | String | Oui | Clé API. |
service_mode | String | Oui | Mode d'exécution. Fixé à "1" pour la reconnaissance vocale en temps réel. |
device_id | String | Oui | Chaîne unique identifiant l'utilisateur final. Vous pouvez utiliser un ID utilisateur de l'application ou un identifiant d'appareil généré côté client. Cet ID sert principalement au suivi des journaux et au dépannage. |
audio_update_manually | String | Non | Active ou non l'envoi actif de données audio. Valeur par défaut : "false". Si la valeur est "true" et que la version du SDK prend en charge le traitement audio sur l'appareil, tel que l'AEC ou la VAD, ces capacités sont activées par défaut. |
workspace | String | Non | Le chemin où sont stockés les fichiers de ressources sur appareil. Ce paramètre est requis lorsque audio_update_manually est défini sur "true" et qu'une capacité de traitement audio sur appareil telle que AEC ou VAD est activée. |
debug_path | String | Non | Chemin de stockage des journaux. Ce paramètre ne prend effet que si save_log vaut YES dans nui_initialize. Dans ce cas, le chemin est obligatoire, sinon une erreur se produit. Deux fichiers journaux au maximum sont conservés localement. |
save_wav | String | Non | Enregistre ou non l'audio de débogage dans debug_path. Par défaut : "false". "true" enregistre le fichier ; "false" ne l'enregistre pas. Ce paramètre ne prend effet que si save_log vaut true dans nui_initialize. Il faut également définir debug_path. |
max_log_file_size | int | Non | Taille maximale du fichier journal, en octets. Ne prend effet que si save_log vaut YES dans nui_initialize. Valeur par défaut : 104857600 (100 × 1024 × 1024 octets, soit 100 MiB). |
log_track_level | int | Non | Niveau de filtrage des journaux renvoyés par onNuiLogTrackCallback. Par défaut : 2. Valeurs : 0 (LOG_LEVEL_VERBOSE), 1 (LOG_LEVEL_DEBUG), 2 (LOG_LEVEL_INFO), 3 (LOG_LEVEL_WARNING), 4 (LOG_LEVEL_ERROR), 5 (LOG_LEVEL_NONE, désactivé). Un journal n'est renvoyé que si son niveau est supérieur ou égal à log_track_level et au level de nui_initialize. Par exemple, avec 2 (INFO) et 3 (WARNING), seuls les journaux WARNING et supérieurs (valeur ≥ 3) sont renvoyés. |
Paramètres de qualité de reconnaissance
Configurez ces paramètres en passant une chaîne JSON à l'argument params de nui_set_params.
Exemple de paramètres : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez ceux dont votre code a besoin.
| Paramètre de premier niveau | Type | Obligatoire | Description |
|---|---|---|---|
service_type | int | Oui | Type de service vocal. Fixé à 4 pour la reconnaissance vocale en temps réel. |
nls_config | object | Oui | Objet de configuration principal de la reconnaissance. Il contient notamment la sélection du modèle et les contrôles de qualité de reconnaissance. |
nls_config.model | string | Oui | Nom du modèle. Définissez-le sur qwen-audio-3.1-asr-flash-message. |
nls_config.sr_format | string | Oui | Le format audio.Valeurs valides :
|
nls_config.sample_rate | int | Oui | Le taux d’échantillonnage en Hz. Seule la valeur 16000 est prise en charge. |
nls_config.language_hints | array[string] | Non | La langue de l'audio à reconnaître. Aucune valeur par défaut ; si elle n'est pas définie, le modèle détecte automatiquement la langue.Vous pouvez définir jusqu’à 4 valeurs. Au-delà, seules les 4 premières sont prises en compte.
Click to view the supported language codes
sentence_end=true) et n’est pas pris en charge pour les résultats intermédiaires (sentence_end=false). |
nls_config.keep_dialect | boolean | Non | Spécifie si les expressions dialectales doivent être conservées. Par défaut : false. Définissez ce paramètre sur false pour transcrire la parole dialectale en texte mandarin standard, ou sur true pour conserver les expressions dialectales.Ce paramètre s’applique uniquement aux résultats finaux ( sentence_end=true) et n’est pas pris en charge pour les résultats intermédiaires (sentence_end=false). |
nls_config.vad_model | string | Non | Le modèle VAD. Par défaut : far_field_meeting_16k.
|
nls_config.max_sentence_silence | int | Non | Seuil de silence VAD pour la segmentation, en millisecondes. La phrase est considérée comme terminée si le silence après la parole dépasse ce seuil. Par défaut : 800. Plage valide : [200, 6000]. |
nls_config.heartbeat | boolean | Non | Indique s'il faut activer les paquets de battement de cœur.Valeur par défaut : false.
|
nls_config.disfluency_removal_enabled | boolean | Non | Indique s’il faut supprimer les mots de remplissage et améliorer le texte produit. Valeur par défaut : false. Définissez sur true pour activer cette fonction. |
nls_config.intermediate_result_enabled | boolean | Non | Indique s’il faut renvoyer les résultats intermédiaires en streaming. Valeur par défaut : false. Définissez sur true pour les renvoyer. |
nls_config.vocabulary_id | string | Non | L'ID d'une liste de mots clés précompilée.Générez cet ID à l'avance en appelant l'API de création de liste de mots clés. Transmettez l'ID lors de la reconnaissance pour utiliser les mots clés de la liste.Convient aux scénarios où le vocabulaire est connu et relativement stable, et où vous devez réutiliser la même liste de mots d'une requête à l'autre.Pour plus de détails sur l'utilisation, consultez Mots clés précompilés. |
nls_config.instant_vocabulary | object | Non | Mots-clés instantanés.Transmis sous forme de paires clé-valeur, où la clé est le texte du mot chaud (string) et la valeur est le poids du mot chaud (integer). Aucune liste de mots chauds ne doit être créée à l'avance. Le poids varie de [1, 5] ou est défini sur 50 : une valeur dans [1, 5] rend le modèle plus susceptible de produire le mot à mesure que la valeur augmente ; une valeur de 50 désigne un super mot chaud, ce qui améliore considérablement le rappel, mais le nombre de super mots chauds ne peut pas dépasser 50.Convient à l'optimisation temporaire des mots-clés au niveau de la session.Lorsque des mots chauds instantanés et précompilés sont configurés ensemble, le système fusionne les deux ensembles. Si l'ensemble fusionné contient plus de 2000 mots chauds, le système en sélectionne aléatoirement 2000 à utiliser. Pour plus de détails sur l'utilisation, voir Mots chauds instantanés. |
nls_config.speech_noise_threshold | float | Non | Le seuil pour distinguer la parole du bruit, utilisé pour ajuster la sensibilité de la détection d'activité vocale (VAD).Valeurs valides : [-1.0, 1.0].Descriptions des valeurs :
|
nls_config.enable_connection_fast_check | BOOL | Non | Active ou non la vérification réseau rapide pour signaler les déconnexions au plus tôt. Par défaut : NO. |
Fun-ASR-Realtime
Référence commune
Paramètres de connexion et de contrôle
Configurez ces paramètres en passant une chaîne JSON à l'argument parameters de nui_initialize.
Exemple de paramètres : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez ceux dont votre code a besoin.
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
url | String | Oui | Adresse du service :
{WorkspaceId} par votre véritable ID d'espace de travail. |
apikey | String | Oui | Clé API. |
service_mode | String | Oui | Mode d'exécution. Fixé à "1" pour la reconnaissance vocale en temps réel. |
device_id | String | Oui | Chaîne unique identifiant l'utilisateur final. Vous pouvez utiliser un ID utilisateur de l'application ou un identifiant d'appareil généré côté client. Cet ID sert principalement au suivi des journaux et au dépannage. |
audio_update_manually | String | Non | Active ou non l'envoi actif de données audio. Valeur par défaut : "false". Si la valeur est "true" et que la version du SDK prend en charge le traitement audio sur l'appareil, tel que l'AEC ou la VAD, ces capacités sont activées par défaut. |
workspace | String | Non | Le chemin où sont stockés les fichiers de ressources sur appareil. Ce paramètre est requis lorsque audio_update_manually est défini sur "true" et qu'une capacité de traitement audio sur appareil telle que AEC ou VAD est activée. |
debug_path | String | Non | Chemin de stockage des journaux. Ce paramètre ne prend effet que si save_log vaut YES dans nui_initialize. Dans ce cas, le chemin est obligatoire, sinon une erreur se produit. Deux fichiers journaux au maximum sont conservés localement. |
save_wav | String | Non | Enregistre ou non l'audio de débogage dans debug_path. Par défaut : "false". "true" enregistre le fichier ; "false" ne l'enregistre pas. Ce paramètre ne prend effet que si save_log vaut true dans nui_initialize. Il faut également définir debug_path. |
max_log_file_size | int | Non | Taille maximale du fichier journal, en octets. Ne prend effet que si save_log vaut YES dans nui_initialize. Valeur par défaut : 104857600 (100 × 1024 × 1024 octets, soit 100 MiB). |
log_track_level | int | Non | Niveau de filtrage des journaux renvoyés par onNuiLogTrackCallback. Par défaut : 2. Valeurs : 0 (LOG_LEVEL_VERBOSE), 1 (LOG_LEVEL_DEBUG), 2 (LOG_LEVEL_INFO), 3 (LOG_LEVEL_WARNING), 4 (LOG_LEVEL_ERROR), 5 (LOG_LEVEL_NONE, désactivé). Un journal n'est renvoyé que si son niveau est supérieur ou égal à log_track_level et au level de nui_initialize. Par exemple, avec 2 (INFO) et 3 (WARNING), seuls les journaux WARNING et supérieurs (valeur ≥ 3) sont renvoyés. |
Paramètres de qualité de reconnaissance
Configurez ces paramètres en passant une chaîne JSON à l'argument params de nui_set_params.
Exemple de paramètres : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez ceux dont votre code a besoin.
| Paramètre de premier niveau | Type | Obligatoire | Description |
|---|---|---|---|
service_type | int | Oui | Type de service vocal. Fixé à 4 pour la reconnaissance vocale en temps réel. |
nls_config | object | Oui | Objet de configuration principal de la reconnaissance. Il contient notamment la sélection du modèle et les contrôles de qualité de reconnaissance. |
nls_config.model | string | Oui | Le nom du modèle. |
nls_config.sr_format | string | Oui | Le format audio.Valeurs valides :
|
nls_config.sample_rate | int | Oui | Le taux d'échantillonnage, en Hz.Les modèles 8 kHz prennent en charge uniquement 8000 Hz ; les autres modèles acceptent n'importe quel taux d'échantillonnage. |
nls_config.max_sentence_silence | int | Non | Le seuil de silence VAD pour la segmentation, en ms. Lorsque le silence suivant un segment de parole dépasse ce seuil, le système détermine que la phrase est terminée.Valeur par défaut : 1300.Valeurs valides : [200, 6000]. |
nls_config.multi_threshold_mode_enabled | boolean | Non | Active ou non le mode à seuils multiples, qui évite que les segments VAD deviennent trop longs.Valeur par défaut : false. |
nls_config.heartbeat | boolean | Non | Indique s'il faut activer les paquets de battement de cœur.Valeur par défaut : false.
|
nls_config.vocabulary_id | string | Non | L'ID d'une liste de mots clés précompilée.Générez cet ID à l'avance en appelant l'API de création de liste de mots clés. Transmettez l'ID lors de la reconnaissance pour utiliser les mots clés de la liste.Convient aux scénarios où le vocabulaire est connu et relativement stable, et où vous devez réutiliser la même liste de mots d'une requête à l'autre.Pour plus de détails sur l'utilisation, consultez Mots clés précompilés. |
nls_config.language_hints | array[string] | Non | La langue de l'audio à reconnaître. Aucune valeur par défaut ; si elle n'est pas définie, le modèle détecte automatiquement la langue.Vous pouvez définir une seule valeur. Si vous en définissez plusieurs, seule la première prend effet.
Click to view the supported language codes
|
nls_config.speech_noise_threshold | float | Non | Le seuil pour distinguer la parole du bruit, utilisé pour ajuster la sensibilité de la détection d'activité vocale (VAD).Valeurs valides : [-1.0, 1.0].Descriptions des valeurs :
|
nls_config.special_word_filter | object | Non | Spécifie les mots sensibles à traiter lors de la reconnaissance vocale et permet de définir différentes méthodes de traitement pour différents mots sensibles. Pour plus de détails, voir Filtrage des mots sensibles. |
nls_config.enable_connection_fast_check | BOOL | Non | Active ou non la vérification réseau rapide pour signaler les déconnexions au plus tôt. Par défaut : NO. |
Référence de l’API
Interfaces communes
Séquence d'appel
- Initialisez le SDK.
- Configurez les paramètres selon votre cas d'usage : utilisez
nui_initializepour les paramètres de connexion et de contrôle, etnui_set_paramspour les paramètres de qualité de reconnaissance. - Appelez
nui_dialog_startpour démarrer la reconnaissance. - Dans le rappel
onNuiAudioStateChanged, ouvrez le périphérique d'enregistrement selon l'état audio. - Fournissez continuellement les données enregistrées dans
onNuiNeedAudioData, ou appeleznui_update_audio_datapour les envoyer activement. - Dans
onNuiEventCallback, écoutez les événements et récupérez les résultats de reconnaissance vocale. - Appelez
nui_dialog_cancelpour arrêter la reconnaissance et attendez l'événementEVENT_TRANSCRIBER_COMPLETEpour confirmer sa fin. - Lorsque la reconnaissance n'est plus nécessaire, appelez
nui_releasepour libérer les ressources du SDK.
nui_get_version
Obtient la version actuelle du SDK. Cette méthode ne renvoie une valeur qu'après l'appel de nui_initialize.
Method signature
nui_get_all_response
Obtient les informations complètes du rappel d'événement actuel.
Method signature
onNuiLogTrackCallback : réception des journaux de suivi
Ce rappel reçoit les journaux internes détaillés du SDK pour faciliter le diagnostic et le débogage.
Qwen-Audio-ASR-Streaming / Fun-ASR-Realtime
nui_release
Libère toutes les ressources internes du SDK et force l'arrêt de toutes les tâches en cours. L'instance devient inutilisable. Pour la réutiliser, réinitialisez-la avec nui_initialize.
Method signature
Qwen-Audio-ASR-Streaming
API principales
NeoNui
nui_initialize
Initialise l'instance du SDK de reconnaissance vocale. Le SDK est un singleton. Ne le réinitialisez pas avant d'appelernui_release.
Method signature
| Paramètre | Type | Description |
|---|---|---|
parameters | char* | Une chaîne JSON contenant des paramètres d'authentification, de connexion et de débogage. Voir Paramètres de connexion et de contrôle. |
level | NuiSdkLogLevel | Niveau d'impression pour les propres journaux du SDK. |
save_log | BOOL | Indique s'il faut enregistrer les journaux localement. Si défini sur YES, spécifiez un chemin avec debug_path dans les Paramètres de connexion et de contrôle, et définissez éventuellement la taille du fichier avec max_log_file_size. |
nui_set_params
Définit les paramètres de qualité de reconnaissance au format JSON. Appelez cette méthode avantnui_dialog_start.
Method signature
| Paramètre | Type | Description |
|---|---|---|
params | char* | Paramètres de qualité de reconnaissance. |
nui_dialog_start
Démarre la reconnaissance. Method signature| Paramètre | Type | Description |
|---|---|---|
vad_mode | NuiVadMode | Mode VAD. Fixé à MODE_P2T. |
dialog_params | char* | Si apikey dans les paramètres de connexion et de contrôle est une clé API temporaire, vous pouvez la mettre à jour ici après son expiration. Vous pouvez aussi fournir un contexte pour améliorer la précision par enrichissement du contexte.Le contenu est au format JSON : |
nui_dialog_cancel
Termine la reconnaissance ou annule immédiatement l'interaction en cours. Method signature| Paramètre | Type | Description |
|---|---|---|
force | BOOL | Indique s'il faut forcer l'arrêt et ignorer le résultat final. YES : termine immédiatement sans attendre le résultat final du serveur. NO : termine la tâche en attendant le résultat complet. |
nui_dialog_action
Envoie une action d'exécution pour informer l'AEC sur appareil de l'état de lecture. Method signature| Paramètre | Type | Description |
|---|---|---|
action_params | char* | Une chaîne JSON contenant l'action d'exécution. |
action_params.type | String | Fixé à "action". |
action_params.command | String | play_start: Lorsque l'AEC sur appareil est utilisé, informe le SDK que le lecteur a commencé à lire l'audio.play_over: Lorsque l'AEC sur appareil est utilisé, informe le SDK que le lecteur a terminé la lecture de l'audio. |
nui_update_audio_data
Siaudio_update_manually vaut "true", les données enregistrées ne sont plus fournies par onNuiNeedAudioData. Envoyez-les activement avec cette méthode.
Method signature
| Paramètre | Type | Description |
|---|---|---|
data | const char * | Les données audio à transmettre. |
length | int | La longueur des données audio, en octets. |
first_pack | BOOL | Vous n'avez pas besoin d'utiliser ce paramètre. |
nui_push_reference_data
Lorsqueaudio_update_manually vaut "true" et que l'AEC sur l'appareil est activé, utilisez cette méthode pour envoyer l'audio du lecteur comme signal de référence.
Method signature
| Paramètre | Type | Description |
|---|---|---|
data | const char * | Les données audio à transmettre. |
length | int | La longueur des données audio, en octets. |
first_pack | BOOL | Vous n'avez pas besoin d'utiliser ce paramètre. |
NeoNuiSdkDelegate : écouteurs de rappel
onNuiEventCallback : réception des événements et résultats de reconnaissance vocale
Method signature| Paramètre | Type | Description |
|---|---|---|
nuiEvent | NuiCallbackEvent | Événement de rappel. |
dialog | long | ID de session. Vous n'avez pas besoin d'utiliser ce paramètre. |
wuw | char* | Réveil vocal. Vous n'avez pas besoin d'utiliser ce paramètre. |
asr_result | char* | Résultat de la reconnaissance vocale. |
finish | BOOL | Indique si le tour de reconnaissance actuel est terminé. |
code | int | Valide uniquement lorsque l’événement EVENT_ASR_ERROR se produit. |
onNuiAudioStateChanged : suivi de l'état audio
Le SDK utilise ce rappel pour indiquer quand démarrer ou arrêter l'enregistrement. Method signature| Paramètre | Description |
|---|---|
STATE_OPEN | L'interaction a démarré. Vous pouvez ouvrir le périphérique d'enregistrement et commencer l'enregistrement. |
STATE_PAUSE | L'interaction s'est arrêtée. Vous pouvez arrêter l'enregistrement. |
STATE_CLOSE | L'instance du SDK a été libérée. Vous pouvez fermer complètement le périphérique d'enregistrement. |
onNuiNeedAudioData : fourniture des données audio à reconnaître
Après le démarrage de la reconnaissance, ce rappel est déclenché en continu. Fournissez-y les données audio à reconnaître. Method signature| Paramètre | Type | Description |
|---|---|---|
audioData | char* | Les données audio à fournir. |
len | int | La taille des données audio fournies, en octets. |
onNuiAssistEventCallback : réception de données et informations auxiliaires
Reçoit les événements auxiliaires et les données associées du SDK. Method signature| Paramètre | Type | Description |
|---|---|---|
nuiEvent | NuiCallbackEvent | L'événement de rappel. |
info | char* | Vous n'avez pas besoin d'utiliser ce paramètre. |
info_len | int | Vous n'avez pas besoin d'utiliser ce paramètre. |
buffer | char* | Données auxiliaires, telles que l'audio traité par l'AEC. |
len | int | La longueur des données auxiliaires, en octets. |
NuiCallbackEvent : types d'événements
| Événement | Description |
|---|---|
EVENT_TRANSCRIBER_STARTED | La tâche a démarré avec succès. |
EVENT_VAD_START | Déclenché dès le démarrage de la tâche. Ne signifie pas qu'un début de parole a été détecté. |
EVENT_VAD_END | La fin de la parole a été détectée. |
EVENT_ASR_PARTIAL_RESULT | Un résultat intermédiaire de reconnaissance vocale. |
| EVENT_ASR_ERROR | Une erreur s'est produite lors de la reconnaissance vocale. |
EVENT_MIC_ERROR | Déclenché lorsqu'aucune donnée audio n'a été reçue pendant 2 secondes consécutives. |
EVENT_SENTENCE_END | La fin d'une phrase a été détectée. Le résultat complet de reconnaissance de cette phrase est renvoyé. |
EVENT_TRANSCRIBER_COMPLETE | La reconnaissance vocale est terminée. |
EVENT_AEC_DATA | Données audio après traitement par annulation d'écho acoustique (AEC). |
Qwen-Audio-ASR-Message
API principales
NeoNui
nui_initialize
Initialise l'instance du SDK de reconnaissance vocale. Le SDK est un singleton. Ne le réinitialisez pas avant d'appelernui_release.
Method signature
| Paramètre | Type | Description |
|---|---|---|
parameters | char* | Une chaîne JSON contenant des paramètres d'authentification, de connexion et de débogage. Voir Paramètres de connexion et de contrôle. |
level | NuiSdkLogLevel | Niveau d'impression pour les propres journaux du SDK. |
save_log | BOOL | Indique s'il faut enregistrer les journaux localement. Si défini sur YES, spécifiez un chemin avec debug_path dans les Paramètres de connexion et de contrôle, et définissez éventuellement la taille du fichier avec max_log_file_size. |
nui_set_params
Définit les paramètres de qualité de reconnaissance au format JSON. Appelez cette méthode avantnui_dialog_start.
Method signature
| Paramètre | Type | Description |
|---|---|---|
params | char* | Paramètres de qualité de reconnaissance. |
nui_dialog_start
Démarre la reconnaissance. Method signature| Paramètre | Type | Description |
|---|---|---|
vad_mode | NuiVadMode | Mode VAD. Fixé à MODE_P2T. |
dialog_params | char* | Si apikey dans les paramètres de connexion et de contrôle est une clé API temporaire, vous pouvez la mettre à jour ici après son expiration. Vous pouvez aussi fournir un contexte pour améliorer la précision par enrichissement du contexte.Le contenu est au format JSON : |
nui_dialog_cancel
Termine la reconnaissance ou annule immédiatement l'interaction en cours. Method signature| Paramètre | Type | Description |
|---|---|---|
force | BOOL | Indique s'il faut forcer l'arrêt et ignorer le résultat final. YES : termine immédiatement sans attendre le résultat final du serveur. NO : termine la tâche en attendant le résultat complet. |
nui_dialog_action
Envoie une action pendant l'interaction pour mettre à jour le contexte de reconnaissance ou d'autres comportements à l'exécution. Method signature| Paramètre | Type | Description |
|---|---|---|
action_params | char* | Chaîne JSON utilisée pour mettre à jour le contexte de reconnaissance ou d'autres comportements à l'exécution. |
action_params.type | String | Fixé à "action". |
action_params.command | String | Commande à l'exécution. context : met immédiatement à jour l'enrichissement du contexte pour améliorer la précision. play_start : avec l'AEC sur l'appareil, notifie au lecteur AEC interne le début de lecture audio. play_over : lui notifie la fin de lecture. |
action_params.context | String | Lorsque command vaut "context", fournit l'enrichissement du contexte à mettre à jour immédiatement. Exemple : |
nui_update_audio_data
Siaudio_update_manually vaut "true", les données enregistrées ne sont plus fournies par onNuiNeedAudioData. Envoyez-les activement avec cette méthode.
Method signature
| Paramètre | Type | Description |
|---|---|---|
data | const char * | Les données audio à transmettre. |
length | int | La longueur des données audio, en octets. |
first_pack | BOOL | Vous n'avez pas besoin d'utiliser ce paramètre. |
nui_push_reference_data
Lorsqueaudio_update_manually vaut "true" et que l'AEC sur l'appareil est activé, utilisez cette méthode pour envoyer l'audio du lecteur comme signal de référence.
Method signature
| Paramètre | Type | Description |
|---|---|---|
data | const char * | Les données audio à transmettre. |
length | int | La longueur des données audio, en octets. |
first_pack | BOOL | Vous n'avez pas besoin d'utiliser ce paramètre. |
nui_release
Libère toutes les ressources internes du SDK et force l'arrêt de toutes les tâches en cours. L'instance devient inutilisable. Pour la réutiliser, réinitialisez-la avecnui_initialize.
Method signature
NeoNuiSdkDelegate : écouteurs de rappel
onNuiEventCallback : réception des événements et résultats de reconnaissance vocale
Method signature| Paramètre | Type | Description |
|---|---|---|
nuiEvent | NuiCallbackEvent | Événement de rappel. |
dialog | long | ID de session. Vous n'avez pas besoin d'utiliser ce paramètre. |
wuw | char* | Réveil vocal. Vous n'avez pas besoin d'utiliser ce paramètre. |
asr_result | char* | Résultat de la reconnaissance vocale. |
finish | BOOL | Indique si le tour de reconnaissance actuel est terminé. |
code | int | Code d’erreur. Valide lorsque l’événement EVENT_ASR_ERROR se produit. Consultez la référence des codes d’erreur. |
onNuiAudioStateChanged : suivi de l'état audio
Le SDK utilise ce rappel pour indiquer quand démarrer ou arrêter l'enregistrement. Method signature| Paramètre | Description |
|---|---|
STATE_OPEN | L'interaction a démarré. Vous pouvez ouvrir le périphérique d'enregistrement et commencer l'enregistrement. |
STATE_PAUSE | L'interaction s'est arrêtée. Vous pouvez arrêter l'enregistrement. |
STATE_CLOSE | L'instance du SDK a été libérée. Vous pouvez fermer complètement le périphérique d'enregistrement. |
onNuiNeedAudioData : fourniture des données audio à reconnaître
Après le démarrage de la reconnaissance, ce rappel est déclenché en continu. Fournissez-y les données audio à reconnaître. Method signature| Paramètre | Type | Description |
|---|---|---|
audioData | char* | Les données audio à fournir. |
len | int | La taille des données audio fournies, en octets. |
onNuiAssistEventCallback : réception de données et informations auxiliaires
Reçoit les événements auxiliaires et les données associées du SDK. Method signature| Paramètre | Type | Description |
|---|---|---|
nuiEvent | NuiCallbackEvent | L'événement de rappel. |
info | char* | Vous n'avez pas besoin d'utiliser ce paramètre. |
info_len | int | Vous n'avez pas besoin d'utiliser ce paramètre. |
buffer | char* | Données auxiliaires, telles que l'audio traité par l'AEC. |
len | int | La longueur des données auxiliaires, en octets. |
NuiCallbackEvent : types d'événements
| Événement | Description |
|---|---|
EVENT_TRANSCRIBER_STARTED | La tâche a démarré avec succès. |
EVENT_VAD_START | Déclenché dès le démarrage de la tâche. Ne signifie pas qu'un début de parole a été détecté. |
EVENT_VAD_END | La fin de la parole a été détectée. |
EVENT_ASR_PARTIAL_RESULT | Un résultat intermédiaire de reconnaissance vocale. |
| EVENT_ASR_ERROR | Une erreur s'est produite lors de la reconnaissance vocale. |
EVENT_MIC_ERROR | Déclenché lorsqu'aucune donnée audio n'a été reçue pendant 2 secondes consécutives. |
EVENT_SENTENCE_END | La fin d'une phrase a été détectée. Le résultat complet de reconnaissance de cette phrase est renvoyé. |
EVENT_TRANSCRIBER_COMPLETE | La reconnaissance vocale est terminée. |
EVENT_AEC_DATA | Données audio après traitement par annulation d'écho acoustique (AEC). |
Fun-ASR-Realtime
API principales
NeoNui
nui_initialize
Initialise l'instance du SDK de reconnaissance vocale. Le SDK est un singleton. Ne le réinitialisez pas avant d'appelernui_release.
Method signature
| Paramètre | Type | Description |
|---|---|---|
parameters | char* | Une chaîne JSON contenant des paramètres d'authentification, de connexion et de débogage. Voir Paramètres de connexion et de contrôle. |
level | NuiSdkLogLevel | Niveau d'impression pour les propres journaux du SDK. |
save_log | BOOL | Indique s'il faut enregistrer les journaux localement. Si défini sur YES, spécifiez un chemin avec debug_path dans les Paramètres de connexion et de contrôle, et définissez éventuellement la taille du fichier avec max_log_file_size. |
nui_set_params
Définit les paramètres de qualité de reconnaissance au format JSON. Appelez cette méthode avantnui_dialog_start.
Method signature
| Paramètre | Type | Description |
|---|---|---|
params | char* | Paramètres de qualité de reconnaissance. |
nui_dialog_start
Démarre la reconnaissance. Method signature| Paramètre | Type | Description |
|---|---|---|
vad_mode | NuiVadMode | Mode VAD. Fixé à MODE_P2T. |
dialog_params | char* | Si apikey dans les paramètres de connexion et de contrôle est une clé API temporaire, vous pouvez la mettre à jour ici après son expiration. Vous pouvez aussi fournir un contexte pour améliorer la précision par enrichissement du contexte.Le contenu est au format JSON : |
nui_dialog_cancel
Termine la reconnaissance ou annule immédiatement l'interaction en cours. Method signature| Paramètre | Type | Description |
|---|---|---|
force | BOOL | Indique s'il faut forcer l'arrêt et ignorer le résultat final. YES : termine immédiatement sans attendre le résultat final du serveur. NO : termine la tâche en attendant le résultat complet. |
nui_dialog_action
Envoie une action d'exécution pour informer l'AEC sur appareil de l'état de lecture. Method signature| Paramètre | Type | Description |
|---|---|---|
action_params | char* | Une chaîne JSON contenant l'action d'exécution. |
action_params.type | String | Fixé à "action". |
action_params.command | String | play_start: Lorsque l'AEC sur appareil est utilisé, informe le SDK que le lecteur a commencé à lire l'audio.play_over: Lorsque l'AEC sur appareil est utilisé, informe le SDK que le lecteur a terminé la lecture de l'audio. |
nui_update_audio_data
Siaudio_update_manually vaut "true", les données enregistrées ne sont plus fournies par onNuiNeedAudioData. Envoyez-les activement avec cette méthode.
Method signature
| Paramètre | Type | Description |
|---|---|---|
data | const char * | Les données audio à transmettre. |
length | int | La longueur des données audio, en octets. |
first_pack | BOOL | Vous n'avez pas besoin d'utiliser ce paramètre. |
nui_push_reference_data
Lorsqueaudio_update_manually vaut "true" et que l'AEC sur l'appareil est activé, utilisez cette méthode pour envoyer l'audio du lecteur comme signal de référence.
Method signature
| Paramètre | Type | Description |
|---|---|---|
data | const char * | Les données audio à transmettre. |
length | int | La longueur des données audio, en octets. |
first_pack | BOOL | Vous n'avez pas besoin d'utiliser ce paramètre. |
NeoNuiSdkDelegate : écouteurs de rappel
onNuiEventCallback : réception des événements et résultats de reconnaissance vocale
Method signature| Paramètre | Type | Description |
|---|---|---|
nuiEvent | NuiCallbackEvent | Événement de rappel. |
dialog | long | ID de session. Vous n'avez pas besoin d'utiliser ce paramètre. |
wuw | char* | Réveil vocal. Vous n'avez pas besoin d'utiliser ce paramètre. |
asr_result | char* | Résultat de la reconnaissance vocale. |
finish | BOOL | Indique si le tour de reconnaissance actuel est terminé. |
code | int | Valide uniquement lorsque l’événement EVENT_ASR_ERROR se produit. |
onNuiAudioStateChanged : suivi de l'état audio
Le SDK utilise ce rappel pour indiquer quand démarrer ou arrêter l'enregistrement. Method signature| Paramètre | Description |
|---|---|
STATE_OPEN | L'interaction a démarré. Vous pouvez ouvrir le périphérique d'enregistrement et commencer l'enregistrement. |
STATE_PAUSE | L'interaction s'est arrêtée. Vous pouvez arrêter l'enregistrement. |
STATE_CLOSE | L'instance du SDK a été libérée. Vous pouvez fermer complètement le périphérique d'enregistrement. |
onNuiNeedAudioData : fourniture des données audio à reconnaître
Après le démarrage de la reconnaissance, ce rappel est déclenché en continu. Fournissez-y les données audio à reconnaître. Method signature| Paramètre | Type | Description |
|---|---|---|
audioData | char* | Les données audio à fournir. |
len | int | La taille des données audio fournies, en octets. |
onNuiAssistEventCallback : réception de données et informations auxiliaires
Reçoit les événements auxiliaires et les données associées du SDK. Method signature| Paramètre | Type | Description |
|---|---|---|
nuiEvent | NuiCallbackEvent | L'événement de rappel. |
info | char* | Vous n'avez pas besoin d'utiliser ce paramètre. |
info_len | int | Vous n'avez pas besoin d'utiliser ce paramètre. |
buffer | char* | Données auxiliaires, telles que l'audio traité par l'AEC. |
len | int | La longueur des données auxiliaires, en octets. |
NuiCallbackEvent : types d'événements
| Événement | Description |
|---|---|
EVENT_TRANSCRIBER_STARTED | La tâche a démarré avec succès. |
EVENT_VAD_START | Déclenché dès le démarrage de la tâche. Ne signifie pas qu'un début de parole a été détecté. |
EVENT_VAD_END | La fin de la parole a été détectée. |
EVENT_ASR_PARTIAL_RESULT | Un résultat intermédiaire de reconnaissance vocale. |
| EVENT_ASR_ERROR | Une erreur s'est produite lors de la reconnaissance vocale. |
EVENT_MIC_ERROR | Déclenché lorsqu'aucune donnée audio n'a été reçue pendant 2 secondes consécutives. |
EVENT_SENTENCE_END | La fin d'une phrase a été détectée. Le résultat complet de reconnaissance de cette phrase est renvoyé. |
EVENT_TRANSCRIBER_COMPLETE | La reconnaissance vocale est terminée. |
EVENT_AEC_DATA | Données audio après traitement par annulation d'écho acoustique (AEC). |