Reconnaissance vocale en différé (Qwen-Audio-ASR) HarmonyOS SDK
Le SDK HarmonyOS de reconnaissance vocale non temps réel Qwen-Audio-ASR convertit la parole en texte.
Pour les formats audio pris en charge, les limites de taille de fichier, les limites de durée et les autres exigences d'entrée, consultez Spécifications audio.
Obtenir une clé API :Obtenir une clé API. Pour des raisons de sécurité, nous vous recommandons de configurer la clé API dans une variable d'environnement.
Téléchargez le SDK et exécutez l'exemple de code :
Extrayez l'archive TAR. Obtenez le SDK au format HAR à partir de neonui et ajoutez-le aux dépendances de votre projet. Pour l'intégration C++, utilisez native/libs et native/include dans l'archive TAR pour obtenir les bibliothèques dynamiques et les fichiers d'en-tête.
Ouvrez le projet dans DevEco Studio. Le code d'exemple se trouve dans DashFunAsrFlashFileTranscriberPage.ets. Remplacez la clé API pour tester la fonctionnalité.
Transmettez une chaîne JSON au paramètre parameters de la méthode initializeFileTrans pour configurer ces paramètres.Exemple de paramètre : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez les paramètres selon vos besoins dans votre code :
Le point de terminaison du service. Définissez ce paramètre sur wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation. Remplacez {WorkspaceId} par votre véritable identifiant d'espace de travail.
apikey
string
Oui
La clé API. Nous recommandons d'utiliser une clé API temporaire à durée de vie courte et plus sécurisée pour réduire le risque d'exposition d'une clé à longue durée de vie.
service_mode
string
Oui
Le mode de fonctionnement. Pour la reconnaissance vocale non temps réel, définissez ce paramètre sur "1".
device_id
string
Oui
Une chaîne unique qui identifie l'utilisateur final. Vous pouvez utiliser un identifiant d'utilisateur dans l'application ou un identifiant d'appareil unique généré par le client. Cet identifiant est principalement utilisé pour le suivi des journaux et le dépannage.
debug_path
string
Non
Le chemin d'accès aux fichiers journaux. Ce paramètre prend effet uniquement lorsque vous appelez initializeFileTrans avec save_log défini sur true. Dans ce cas, vous devez spécifier le chemin du fichier journal. Sinon, une erreur se produit. Jusqu'à deux fichiers journaux sont conservés localement.
max_log_file_size
number
Non
La taille maximale du fichier journal en octets. Ce paramètre prend effet uniquement lorsque vous appelez initializeFileTrans avec save_log défini sur true. Par défaut : 104857600 (100 * 1024 * 1024 octets, soit 100 Mio).
Utilisez setParams pour configurer les paramètres nls_config, ou utilisez startFileTranscriber pour configurer tous les paramètres de reconnaissance.Exemple de paramètre : La chaîne JSON suivante est un exemple et ne répertorie pas tous les paramètres. Ajoutez les paramètres selon vos besoins dans votre code :
Si les paramètres de connexion et de contrôle apikey utilisent une clé API temporaire, vous pouvez la mettre à jour ici pour éviter son expiration.
nls_config
object
Oui
L'objet de configuration principal de la reconnaissance vocale, incluant le modèle et les paramètres qui contrôlent la reconnaissance.
nls_config.model
string
Oui
Le nom du modèle.
nls_config.format
string
Oui
Le format audio. Définissez ce paramètre sur le format réel. Les formats pris en charge incluent wav, mp3, opus. Pour plus de détails, consultez les spécifications audio.
nls_config.sample_rate
string
Non
Le taux d'échantillonnage audio en Hz. Par exemple, 16000 indique un taux d'échantillonnage de 16 kHz. Pour plus de détails, consultez les spécifications audio.
nls_config.vocabulary_id
string
Non
L'identifiant du vocabulaire précompilé. Créez un vocabulaire à l'avance et transmettez son identifiant lors de la reconnaissance pour utiliser ses mots-clés. Utilisez cette option lorsque le vocabulaire est connu, relativement stable et réutilisé d'une requête à l'autre. Pour les instructions d'utilisation, consultez Mots-clés précompilés.
nls_config.instant_vocabulary
object
Non
Mots-clés instantanés.Transmettez des paires clé-valeur. La clé est le texte du mot-clé (string) et la valeur est son poids (integer). Vous n'avez pas besoin de créer un vocabulaire à l'avance. Les poids valides sont [1, 5] ou 50. Dans l'intervalle [1, 5], un poids plus élevé rend le modèle plus susceptible de produire le mot. Un poids de 50 spécifie un super mot-clé et augmente considérablement le rappel. Vous pouvez spécifier jusqu'à 50 super mots-clés.Utilisez cette option pour une optimisation temporaire des mots-clés au niveau de la session.Lorsque des mots-clés instantanés et précompilés sont configurés, le système les fusionne. Si la liste fusionnée dépasse 2000 entrées, il sélectionne aléatoirement 2000 entrées. Pour les instructions d'utilisation, consultez Mots-clés instantanés.
Copy
{ "张三": 5, "李四": 5}
nls_config.language_hints
array[string]
Non
Les codes des langues à reconnaître. Si la langue est inconnue, omettez ce paramètre pour que le modèle la détecte automatiquement. Vous pouvez définir jusqu’à 4 valeurs. Au-delà, seules les 4 premières sont prises en compte.La spécification des codes de langue peut améliorer la précision de la reconnaissance.
Codes de langue pris en charge
zh: Chinois
en: Anglais
ja: Japonais
ko: Coréen
vi: Vietnamien
th: Thaï
id: Indonésien
ms: Malais
tl: Filipino
hi: Hindi
ar: Arabe
fr: Français
de: Allemand
es: Espagnol
pt: Portugais
ru: Russe
it: Italien
nl: Néerlandais
sv: Suédois
da: Danois
fi: Finnois
no: Norvégien
el: Grec
pl: Polonais
cs: Tchèque
hu: Hongrois
ro: Roumain
bg: Bulgare
hr: Croate
sk: Slovaque
qwen-audio-3.1-asr-flash prend également en charge les codes de langue suivants :
tr: turc
fa: persan
mr: marathi
ml: malayalam
ne: népalais
ky: kirghize
az: azerbaïdjanais
ka: géorgien
hy: arménien
sl: slovène
sq: albanais
et: estonien
lv: letton
lt: lituanien
ca: catalan
eu: basque
gl: galicien
or: odia
dv: maldivien
as: assamais
kmr: kurde du Nord
tig: tigré
fy: frison occidental
ba: bachkir
be: biélorusse
tt: tatar
ia: interlingua
mhr: mari des prairies
tok: toki pona
messages
array[object]
Oui
La liste des messages. Elle contient l'audio à reconnaître et le contexte de conversation facultatif pour améliorer la reconnaissance.Consultez les descriptions suivantes.
paramètres de messages :
Le contexte améliore la précision de la reconnaissance des termes spécialisés. Pour les instructions d'utilisation, consultez Amélioration du contexte.Les messages de contexte (types input_text et text ) sont limités à cinq chacun. Si la limite est dépassée, seuls les cinq messages les plus récents sont conservés. La longueur totale du texte de contexte par tour (la somme des longueurs des champs user et assistanttext ) ne doit pas dépasser 400 caractères. Chaque caractère compte pour un. Les caractères excédentaires sont tronqués à partir de la fin.
Lorsque le contexte est inclus, les messages messages doivent suivre un ordre spécifique. Organisez les messages de contexte par tour de conversation. Dans chaque tour, user (type input_text ) doit précéder le assistant correspondant (type text ). Le message input_audiouser contenant l'audio d'entrée doit être placé à la fin de messages .
Paramètre
Type
Obligatoire
Description
role
string
Oui
Le rôle du message. Valeurs valides :
user (requis) : un message utilisateur. Lorsque le type est input_audio, il représente l'audio à reconnaître. Lorsque le type est input_text, il représente les résultats de reconnaissance des tours précédents ou un vocabulaire spécifique à un domaine (contexte facultatif).
assistant (contexte facultatif) : Réponses du grand modèle de langage des tours précédents.
content
array[object]
Oui
La liste du contenu des messages. Consultez les descriptions suivantes.
paramètres de content :
Paramètre
Type
Obligatoire
Description
type
string
Oui
Le type de contenu. Chaque requête nécessite au moins un input_audio message. Valeurs valides :
input_audio (requis) : L'entrée audio à reconnaître (le rôle est user). Vous devez également fournir l'objet input_audio.
input_text (contexte facultatif) : Résultats de reconnaissance de la parole de l'utilisateur des tours précédents ou vocabulaire spécifique à un domaine (le rôle est user). Vous devez également fournir le champ text.
text (contexte facultatif) : Réponses du grand modèle de langage des tours précédents (le rôle est assistant). Vous devez également fournir le champ text.
input_audio
object
Non
Requis lorsque type est input_audio.
input_audio.data
string
Oui
Les données audio à reconnaître. Pour les formats audio pris en charge, les limites de taille de fichier, les limites de durée et les autres exigences d'entrée, consultez Spécifications audio. Les deux méthodes d'entrée suivantes sont prises en charge :
URL du fichier audio : Transmettez une URL de fichier audio accessible publiquement.
URI de données Base64 : Transmettez l'audio encodé en Base64 sous forme d'URI de données. Concaténez le préfixe data:{MIME_TYPE};base64, avec les données audio encodées en Base64. Les types MIME pris en charge incluent audio/wav, audio/mp3.Exemple (URL) : https://example.com/audio/sample.wavExemple (Base64) : data:audio/wav;base64,{BASE64_ENCODED_DATA}
text
string
Non
Requis lorsque type est input_text, fournissez les résultats de reconnaissance de la parole de l'utilisateur des tours précédents ou un vocabulaire spécifique à un domaine. Lorsque type est text, fournissez les réponses du grand modèle de langage des tours précédents. La longueur du texte est comptée en caractères, chaque caractère comptant pour un. La longueur totale de tous les champs text des messages dans chaque tour de contexte ne doit pas dépasser 400 caractères. Les caractères excédentaires sont tronqués à partir de la fin.
Initialisez l'instance du SDK de reconnaissance vocale.
Contrairement à la reconnaissance vocale en temps réel, la transcription non temps réel (fichier enregistré) nécessite initializeFileTrans avec un rappel INativeFileTransCallback au lieu de initialize.
Cette méthode est bloquante. Appelez-la depuis un thread non UI.Signature de la méthode
Copy
public initializeFileTrans(callback: INativeFileTransCallback, parameters: string, level: number, save_log: boolean = false): number
Paramètres
Paramètre
Type
Description
callback
INativeFileTransCallback
L'implémentation de l'interface de rappel d'événement et de données de transcription de fichier.
parameters
string
Une chaîne JSON contenant les paramètres d'authentification, de connexion et de débogage. Consultez les paramètres de connexion et de contrôle.
level
number
Le niveau de journal du SDK. Utilisez une valeur de l'énumération .
save_log
boolean
Indique s'il faut enregistrer les journaux localement. Si défini sur true, utilisez les paramètres de connexion et de contrôle pour définir debug_path afin de spécifier le chemin, et utilisez max_log_file_size pour définir la taille du fichier.
Utilisez cette méthode pour définir ou mettre à jour nls_config séparément. Vous n'avez pas besoin d'appeler cette méthode si tous les paramètres sont fournis dans startFileTranscriber en un seul appel.Signature de la méthode
Copy
public setParams(params: string): number
Paramètres
Paramètre
Type
Description
params
string
Paramètres de reconnaissance dans les paramètres nls_config ; les paramètres en dehors de nls_config ne peuvent pas être définis avec cette méthode.
Le tampon d'identifiant de tâche. Le SDK écrit une chaîne d'identifiant de tâche aléatoire générée en interne dans ce tampon. Sa longueur en octets doit être >= 33 octets (l'exemple utilise new ArrayBuffer(64)). Après un appel réussi, décodez le tampon pour obtenir le task_id de la tâche.
Utilisez cette méthode pour interroger l'état actuel et le résultat d'une tâche asynchrone. Après un appel réussi, le résultat est renvoyé via l'événement EVENT_FILE_TRANS_QUERY_RESULT du rappel onFileTransEventCallback.Signature de la méthode
Copy
public queryFileTranscriber(task_id: string): number
Paramètres
Paramètre
Type
Description
task_id
string
L'identifiant de la tâche à interroger (écrit dans le tampon par startFileTranscriber ).
Libérez toutes les ressources internes du SDK. Après cet appel, l'instance du SDK devient indisponible. Pour la réutiliser, appelez initializeFileTrans pour l'initialiser à nouveau.Signature de la méthode
onFileTransLogTrackCallback : Écouter les journaux de suivi
Ce rappel reçoit les journaux internes détaillés du SDK pour le dépannage et le débogage.Pour utiliser ce rappel, téléchargez le package SDK HarmonyOS daté du 20260908 ou ultérieur.
Dans le SDK HarmonyOS, les types d'événements sont définis par l'énumération Constants.NuiEvent . Les événements suivants sont liés à la transcription de fichiers enregistrés :
Événement
Description
EVENT_FILE_TRANS_CONNECTED
Connexion au service réussie.
EVENT_FILE_TRANS_UPLOADED
Le fichier audio a été téléchargé avec succès.
EVENT_FILE_TRANS_QUERY_RESULT
Le résultat de la requête de tâche.
EVENT_FILE_TRANS_RESULT
Le résultat final de la reconnaissance.
EVENT_ASR_ERROR
Une erreur s'est produite lors de la reconnaissance vocale.