Skip to main content

Reconnaissance vocale en différé (Qwen-Audio-ASR) HarmonyOS SDK

Le SDK HarmonyOS de reconnaissance vocale non temps réel Qwen-Audio-ASR convertit la parole en texte.

Pour les formats audio pris en charge, les limites de taille de fichier, les limites de durée et les autres exigences d'entrée, consultez Spécifications audio.

Démarrage rapide

  1. Obtenir une clé API : Obtenir une clé API. Pour des raisons de sécurité, nous vous recommandons de configurer la clé API dans une variable d'environnement.
  2. Téléchargez le SDK et exécutez l'exemple de code :
    • Télécharger le dernier bundle SDK.
    • Extrayez l'archive TAR. Obtenez le SDK au format HAR à partir de neonui et ajoutez-le aux dépendances de votre projet. Pour l'intégration C++, utilisez native/libs et native/include dans l'archive TAR pour obtenir les bibliothèques dynamiques et les fichiers d'en-tête.
    • Ouvrez le projet dans DevEco Studio. Le code d'exemple se trouve dans DashFunAsrFlashFileTranscriberPage.ets. Remplacez la clé API pour tester la fonctionnalité.

Procédure d'appel

Mode synchrone

  1. Initialiser le SDK
  2. Configurez les paramètres en fonction de vos besoins métier
  3. Appelez startFileTranscriber pour envoyer une requête de reconnaissance vocale non temps réel et attendre le résultat.
  4. Utilisez onFileTransEventCallback pour écouter l'événement EVENT_FILE_TRANS_RESULT et obtenir le résultat final de la reconnaissance.
  5. Appelez release pour libérer les ressources du SDK

Paramètres de requête

Paramètres de connexion et de contrôle

Transmettez une chaîne JSON au paramètre parameters de la méthode initializeFileTrans pour configurer ces paramètres. Exemple de paramètre : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez les paramètres selon vos besoins dans votre code :
{
    "url": "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}
Paramètres
ParamètreTypeObligatoireDescription
urlstringOuiLe point de terminaison du service. Définissez ce paramètre sur wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation. Remplacez {WorkspaceId} par votre véritable identifiant d'espace de travail.
apikeystringOuiLa clé API. Nous recommandons d'utiliser une clé API temporaire à durée de vie courte et plus sécurisée pour réduire le risque d'exposition d'une clé à longue durée de vie.
service_modestringOuiLe mode de fonctionnement. Pour la reconnaissance vocale non temps réel, définissez ce paramètre sur "1".
device_idstringOuiUne chaîne unique qui identifie l'utilisateur final. Vous pouvez utiliser un identifiant d'utilisateur dans l'application ou un identifiant d'appareil unique généré par le client. Cet identifiant est principalement utilisé pour le suivi des journaux et le dépannage.
debug_pathstringNonLe chemin d'accès aux fichiers journaux. Ce paramètre prend effet uniquement lorsque vous appelez initializeFileTrans avec save_log défini sur true. Dans ce cas, vous devez spécifier le chemin du fichier journal. Sinon, une erreur se produit. Jusqu'à deux fichiers journaux sont conservés localement.
max_log_file_sizenumberNonLa taille maximale du fichier journal en octets. Ce paramètre prend effet uniquement lorsque vous appelez initializeFileTrans avec save_log défini sur true. Par défaut : 104857600 (100 * 1024 * 1024 octets, soit 100 Mio).

Paramètres de reconnaissance

Utilisez setParams pour configurer les paramètres nls_config, ou utilisez startFileTranscriber pour configurer tous les paramètres de reconnaissance. Exemple de paramètre : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez les paramètres selon vos besoins dans votre code :
{
  "apikey": "st-****",
  "messages": [
    {
      "content": [
        {
          "input_audio": {
            "data": "{YOUR_AUDIO_URL}"
          },
          "type": "input_audio"
        }
      ],
      "role": "user"
    }
  ],
  "nls_config": {
    "format": "mp3",
    "model": "qwen-audio-3.0-asr-flash"
  }
}
Paramètres
ParamètreTypeObligatoireDescription
apikeystringNonSi les paramètres de connexion et de contrôle apikey utilisent une clé API temporaire, vous pouvez la mettre à jour ici pour éviter son expiration.
nls_configobjectOuiL'objet de configuration principal de la reconnaissance vocale, incluant le modèle et les paramètres qui contrôlent la reconnaissance.
nls_config.modelstringOuiLe nom du modèle.
nls_config.formatstringOuiLe format audio. Définissez ce paramètre sur le format réel. Les formats pris en charge incluent wav, mp3, opus. Pour plus de détails, consultez les spécifications audio.
nls_config.sample_ratestringNonLe taux d'échantillonnage audio en Hz. Par exemple, 16000 indique un taux d'échantillonnage de 16 kHz. Pour plus de détails, consultez les spécifications audio.
nls_config.vocabulary_idstringNonL'identifiant du vocabulaire précompilé. Créez un vocabulaire à l'avance et transmettez son identifiant lors de la reconnaissance pour utiliser ses mots-clés. Utilisez cette option lorsque le vocabulaire est connu, relativement stable et réutilisé d'une requête à l'autre. Pour les instructions d'utilisation, consultez Mots-clés précompilés.
nls_config.instant_vocabularyobjectNonMots-clés instantanés.Transmettez des paires clé-valeur. La clé est le texte du mot-clé (string) et la valeur est son poids (integer). Vous n'avez pas besoin de créer un vocabulaire à l'avance. Les poids valides sont [1, 5] ou 50. Dans l'intervalle [1, 5], un poids plus élevé rend le modèle plus susceptible de produire le mot. Un poids de 50 spécifie un super mot-clé et augmente considérablement le rappel. Vous pouvez spécifier jusqu'à 50 super mots-clés.Utilisez cette option pour une optimisation temporaire des mots-clés au niveau de la session.Lorsque des mots-clés instantanés et précompilés sont configurés, le système les fusionne. Si la liste fusionnée dépasse 2000 entrées, il sélectionne aléatoirement 2000 entrées. Pour les instructions d'utilisation, consultez Mots-clés instantanés.
{
 "张三": 5,
 "李四": 5
}
nls_config.language_hintsarray[string]NonLes codes des langues à reconnaître. Si la langue est inconnue, omettez ce paramètre pour que le modèle la détecte automatiquement. Vous pouvez définir jusqu’à 4 valeurs. Au-delà, seules les 4 premières sont prises en compte.La spécification des codes de langue peut améliorer la précision de la reconnaissance.
  • zh: Chinois
  • en: Anglais
  • ja: Japonais
  • ko: Coréen
  • vi: Vietnamien
  • th: Thaï
  • id: Indonésien
  • ms: Malais
  • tl: Filipino
  • hi: Hindi
  • ar: Arabe
  • fr: Français
  • de: Allemand
  • es: Espagnol
  • pt: Portugais
  • ru: Russe
  • it: Italien
  • nl: Néerlandais
  • sv: Suédois
  • da: Danois
  • fi: Finnois
  • no: Norvégien
  • el: Grec
  • pl: Polonais
  • cs: Tchèque
  • hu: Hongrois
  • ro: Roumain
  • bg: Bulgare
  • hr: Croate
  • sk: Slovaque
qwen-audio-3.1-asr-flash prend également en charge les codes de langue suivants :
  • tr: turc
  • fa: persan
  • mr: marathi
  • ml: malayalam
  • ne: népalais
  • ky: kirghize
  • az: azerbaïdjanais
  • ka: géorgien
  • hy: arménien
  • sl: slovène
  • sq: albanais
  • et: estonien
  • lv: letton
  • lt: lituanien
  • ca: catalan
  • eu: basque
  • gl: galicien
  • or: odia
  • dv: maldivien
  • as: assamais
  • kmr: kurde du Nord
  • tig: tigré
  • fy: frison occidental
  • ba: bachkir
  • be: biélorusse
  • tt: tatar
  • ia: interlingua
  • mhr: mari des prairies
  • tok: toki pona
messagesarray[object]OuiLa liste des messages. Elle contient l'audio à reconnaître et le contexte de conversation facultatif pour améliorer la reconnaissance.Consultez les descriptions suivantes.
paramètres de messages :
Le contexte améliore la précision de la reconnaissance des termes spécialisés. Pour les instructions d'utilisation, consultez Amélioration du contexte.Les messages de contexte (types input_text et text ) sont limités à cinq chacun. Si la limite est dépassée, seuls les cinq messages les plus récents sont conservés. La longueur totale du texte de contexte par tour (la somme des longueurs des champs user et assistant text ) ne doit pas dépasser 400 caractères. Chaque caractère compte pour un. Les caractères excédentaires sont tronqués à partir de la fin.
Lorsque le contexte est inclus, les messages messages doivent suivre un ordre spécifique. Organisez les messages de contexte par tour de conversation. Dans chaque tour, user (type input_text ) doit précéder le assistant correspondant (type text ). Le message input_audio user contenant l'audio d'entrée doit être placé à la fin de messages .
ParamètreTypeObligatoireDescription
rolestringOuiLe rôle du message. Valeurs valides :
  • user (requis) : un message utilisateur. Lorsque le type est input_audio, il représente l'audio à reconnaître. Lorsque le type est input_text, il représente les résultats de reconnaissance des tours précédents ou un vocabulaire spécifique à un domaine (contexte facultatif).
  • assistant (contexte facultatif) : Réponses du grand modèle de langage des tours précédents.
contentarray[object]OuiLa liste du contenu des messages. Consultez les descriptions suivantes.
paramètres de content :
ParamètreTypeObligatoireDescription
typestringOuiLe type de contenu. Chaque requête nécessite au moins un input_audio message. Valeurs valides :
  • input_audio (requis) : L'entrée audio à reconnaître (le rôle est user). Vous devez également fournir l'objet input_audio.
  • input_text (contexte facultatif) : Résultats de reconnaissance de la parole de l'utilisateur des tours précédents ou vocabulaire spécifique à un domaine (le rôle est user). Vous devez également fournir le champ text.
  • text (contexte facultatif) : Réponses du grand modèle de langage des tours précédents (le rôle est assistant). Vous devez également fournir le champ text.
input_audioobjectNonRequis lorsque type est input_audio.
input_audio.datastringOuiLes données audio à reconnaître. Pour les formats audio pris en charge, les limites de taille de fichier, les limites de durée et les autres exigences d'entrée, consultez Spécifications audio. Les deux méthodes d'entrée suivantes sont prises en charge :
  • URL du fichier audio : Transmettez une URL de fichier audio accessible publiquement.
  • URI de données Base64 : Transmettez l'audio encodé en Base64 sous forme d'URI de données. Concaténez le préfixe data:{MIME_TYPE};base64, avec les données audio encodées en Base64. Les types MIME pris en charge incluent audio/wav, audio/mp3.Exemple (URL) : https://example.com/audio/sample.wavExemple (Base64) : data:audio/wav;base64,{BASE64_ENCODED_DATA}
textstringNonRequis lorsque type est input_text, fournissez les résultats de reconnaissance de la parole de l'utilisateur des tours précédents ou un vocabulaire spécifique à un domaine. Lorsque type est text, fournissez les réponses du grand modèle de langage des tours précédents. La longueur du texte est comptée en caractères, chaque caractère comptant pour un. La longueur totale de tous les champs text des messages dans chaque tour de contexte ne doit pas dépasser 400 caractères. Les caractères excédentaires sont tronqués à partir de la fin.

Interfaces clés

NativeNui

initializeFileTrans

Initialisez l'instance du SDK de reconnaissance vocale.
Contrairement à la reconnaissance vocale en temps réel, la transcription non temps réel (fichier enregistré) nécessite initializeFileTrans avec un rappel INativeFileTransCallback au lieu de initialize.
Cette méthode est bloquante. Appelez-la depuis un thread non UI. Signature de la méthode
public initializeFileTrans(callback: INativeFileTransCallback,
                           parameters: string,
                           level: number,
                           save_log: boolean = false): number
Paramètres
ParamètreTypeDescription
callbackINativeFileTransCallbackL'implémentation de l'interface de rappel d'événement et de données de transcription de fichier.
parametersstringUne chaîne JSON contenant les paramètres d'authentification, de connexion et de débogage. Consultez les paramètres de connexion et de contrôle.
levelnumberLe niveau de journal du SDK. Utilisez une valeur de l'énumération .
save_logbooleanIndique s'il faut enregistrer les journaux localement. Si défini sur true, utilisez les paramètres de connexion et de contrôle pour définir debug_path afin de spécifier le chemin, et utilisez max_log_file_size pour définir la taille du fichier.

setParams

Utilisez cette méthode pour définir ou mettre à jour nls_config séparément. Vous n'avez pas besoin d'appeler cette méthode si tous les paramètres sont fournis dans startFileTranscriber en un seul appel. Signature de la méthode
public setParams(params: string): number
Paramètres
ParamètreTypeDescription
paramsstringParamètres de reconnaissance dans les paramètres nls_config ; les paramètres en dehors de nls_config ne peuvent pas être définis avec cette méthode.

startFileTranscriber

Démarrer la reconnaissance. Signature de la méthode
public startFileTranscriber(params: string, task_id: ArrayBuffer): number
Paramètres
ParamètreTypeDescription
paramsstringParamètres de reconnaissance.Exemple :
{
 "apikey": "st-****",
 "messages": [
 {
 "content": [
 {
 "input_audio": {
 "data": "{YOUR_AUDIO_URL}"
 },
 "type": "input_audio"
 }
 ],
 "role": "user"
 }
 ],
 "nls_config": {
 "format": "mp3",
 "model": "qwen-audio-3.0-asr-flash"
 }
}
task_idArrayBufferLe tampon d'identifiant de tâche. Le SDK écrit une chaîne d'identifiant de tâche aléatoire générée en interne dans ce tampon. Sa longueur en octets doit être >= 33 octets (l'exemple utilise new ArrayBuffer(64)). Après un appel réussi, décodez le tampon pour obtenir le task_id de la tâche.

queryFileTranscriber

Utilisez cette méthode pour interroger l'état actuel et le résultat d'une tâche asynchrone. Après un appel réussi, le résultat est renvoyé via l'événement EVENT_FILE_TRANS_QUERY_RESULT du rappel onFileTransEventCallback. Signature de la méthode
public queryFileTranscriber(task_id: string): number
Paramètres
ParamètreTypeDescription
task_idstringL'identifiant de la tâche à interroger (écrit dans le tampon par startFileTranscriber ).

cancelFileTranscriber

Annuler immédiatement la tâche en cours. Signature de la méthode
public cancelFileTranscriber(task_id: string): number
Paramètres
ParamètreTypeDescription
task_idstringL'ID de la tâche à annuler.

release

Libérez toutes les ressources internes du SDK. Après cet appel, l'instance du SDK devient indisponible. Pour la réutiliser, appelez initializeFileTrans pour l'initialiser à nouveau. Signature de la méthode
public release(): number

GetVersion

Obtenir la version actuelle du SDK. Signature de la méthode
public GetVersion(): string
Valeur de retour La version actuelle du SDK.

INativeFileTransCallback : Rappels

onFileTransEventCallback : Écouter les événements et les résultats de reconnaissance

Signature de la méthode
onFileTransEventCallback: (event: Constants.NuiEvent, resultCode: number, finish: number,
                           asrResult: AsrResult, taskId: string) => void;
Paramètres
ParamètreTypeDescription
eventConstants.NuiEventL'événement de rappel.
resultCodenumberValide uniquement lorsque l’événement EVENT_ASR_ERROR se produit.
finishnumberIndique si la tâche est terminée.
asrResultAsrResultLe résultat de la reconnaissance vocale.
taskIdstringL'ID de la tâche.

onFileTransLogTrackCallback : Écouter les journaux de suivi

Ce rappel reçoit les journaux internes détaillés du SDK pour le dépannage et le débogage. Pour utiliser ce rappel, téléchargez le package SDK HarmonyOS daté du 20260908 ou ultérieur.
onFileTransLogTrackCallback?: (level: Constants.LogLevel, log: string) => void;

Types d'événements

Dans le SDK HarmonyOS, les types d'événements sont définis par l'énumération Constants.NuiEvent . Les événements suivants sont liés à la transcription de fichiers enregistrés :
ÉvénementDescription
EVENT_FILE_TRANS_CONNECTEDConnexion au service réussie.
EVENT_FILE_TRANS_UPLOADEDLe fichier audio a été téléchargé avec succès.
EVENT_FILE_TRANS_QUERY_RESULTLe résultat de la requête de tâche.
EVENT_FILE_TRANS_RESULTLe résultat final de la reconnaissance.
EVENT_ASR_ERRORUne erreur s'est produite lors de la reconnaissance vocale.