Skip to main content

Reconnaissance vocale en temps réel : Qwen

Découvrez les capacités de reconnaissance vocale en temps réel, les appels audio en continu et les méthodes pour améliorer les résultats.

Fonctionnalités

La reconnaissance vocale en temps réel reçoit un flux audio continu et renvoie le texte transcrit pour la saisie vocale, les comptes rendus de réunion et les sous-titres en direct.
  • Langues et dialectes : détecte automatiquement la langue et reconnaît plusieurs langues et dialectes chinois. Consultez la présentation de la reconnaissance vocale.
  • Détection vocale : détectez automatiquement les limites de la parole et ajustez le seuil de distinction entre voix et bruit selon les conditions de captation.
  • Traitement du texte : prédisez la ponctuation, conservez les expressions dialectales chinoises ou lissez les hésitations, répétitions et autocorrections.
  • Amélioration de la précision : utilise des mots clés pour les noms et termes spécifiques, et le contexte des échanges précédents.
  • Résultats structurés : fournit des résultats par phrase et des horodatages pour les sous-titres, l’enregistrement du texte et le repérage dans l’audio.
  • Entrée audio : utilisez plusieurs formats et choisissez une fréquence d’échantillonnage prise en charge par le modèle.
Les capacités varient selon le modèle. Vérifiez la portée de chaque fonctionnalité. Pour envoyer un enregistrement complet en une requête, consultez la reconnaissance vocale non temps réel.
Cas d’utilisationModèle recommandéComportement des résultats
Transcription continue de réunions, cours et sous-titresqwen-audio-3.1-asr-flash-streamingRenvoie des résultats intermédiaires et finaux pour afficher et actualiser le texte pendant la parole.
Saisie vocale courte et messages vocauxqwen-audio-3.1-asr-flash-messageRenvoie les résultats finaux par phrase par défaut. Les résultats intermédiaires et l’amélioration du texte peuvent être activés séparément.

Premiers pas

Installez le SDK DashScope, puis obtenez une clé API dans la console et définissez la variable d’environnement DASHSCOPE_API_KEY. Téléchargez l’audio d’exemple sous le nom asr_example.wav dans le répertoire de travail. Il contient de la parole en anglais au format WAV mono à 16 kHz, encodée en PCM 16 bits. Les exemples envoient le fichier par blocs pour simuler une entrée en temps réel, sans microphone.
  • Qwen-Audio-ASR-Streaming
  • Qwen-Audio-ASR-Message
Cet exemple utilise qwen-audio-3.1-asr-flash-streaming pour envoyer l’audio en continu avec le SDK DashScope tout en recevant et en affichant les résultats provisoires et finaux. Après l’envoi audio, attendez les résultats restants et la fin de la tâche avant de fermer la connexion.
Java
import com.alibaba.dashscope.audio.asr.recognition.Recognition;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionResult;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.io.InputStream;
import java.nio.ByteBuffer;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.concurrent.atomic.AtomicReference;

public class Main {
    public static void main(String[] args) throws Exception {
        Constants.baseWebsocketApiUrl =
            "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        RecognitionParam param = RecognitionParam.builder()
            .apiKey(System.getenv("DASHSCOPE_API_KEY"))
            .model("qwen-audio-3.1-asr-flash-streaming")
            .format("wav")
            .sampleRate(16000)
            .build();
        Recognition recognition = new Recognition();
        AtomicReference<Exception> failure = new AtomicReference<>();
        ResultCallback<RecognitionResult> callback = new ResultCallback<RecognitionResult>() {
            @Override
            public void onEvent(RecognitionResult result) {
                if (result.getSentence() != null && result.getSentence().getText() != null
                        && !result.getSentence().getText().isEmpty()) {
                    System.out.println(result.getSentence());
                }
            }
            @Override
            public void onComplete() {}
            @Override
            public void onError(Exception error) {
                failure.set(error);
            }
        };
        try {
            recognition.call(param, callback);
            try (InputStream audio = Files.newInputStream(Paths.get("asr_example.wav"))) {
                byte[] buffer = new byte[3200];
                int size;
                while ((size = audio.read(buffer)) != -1) {
                    recognition.sendAudioFrame(ByteBuffer.wrap(buffer, 0, size));
                    Thread.sleep(100);
                }
            }
            recognition.stop();
            if (failure.get() != null) throw failure.get();
        } finally {
            if (recognition.getDuplexApi() != null) {
                recognition.getDuplexApi().close(1000, "bye");
            }
        }
        System.exit(0);
    }
}

Traiter les résultats

  • Résultats provisoires : utilisez-les pour les sous-titres en direct ou la prévisualisation de saisie. Le texte d’un énoncé peut être révisé : actualisez son affichage au lieu de concaténer chaque résultat.
  • Résultats finaux : à la fin d’un énoncé, remplacez le texte provisoire par le résultat final pour les transcriptions enregistrées, les sous-titres ou les traitements ultérieurs.
    Qwen-Audio-ASR-Message ne renvoie que les résultats finaux par défaut ; activez intermediate_result_enabled pour une prévisualisation en direct.
  • Horodatages : reliez le texte à sa position audio pour aligner les sous-titres, surligner les mots-clés ou naviguer dans l’audio. Utilisez les horodatages par énoncé et par mot des résultats finaux plutôt qu’une heure de fin provisoire non confirmée. L’unité est la milliseconde.
    Qwen3-ASR-Flash-Realtime ne renvoie pas d’horodatages de transcription.

Améliorer la reconnaissance

Ajustez les limites des énoncés, lissez ou conservez les expressions orales et configurez les mots-clés et le contexte pour améliorer la segmentation, la lisibilité et la reconnaissance de termes précis.

Ajuster la segmentation

La détection d’activité vocale (VAD) utilise le silence après la parole pour déterminer la fin d’un énoncé et déclencher un résultat final. Un seuil court favorise les interactions rapides. Un seuil plus long tolère les pauses dans une phrase, mais augmente l’attente du résultat final. Adaptez-le au débit de parole et au rythme de l’interaction.
ModèleConfiguration
qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.1-asr-flash-messageRéglez le seuil de silence avec max_sentence_silence. Utilisez vad_model pour choisir un modèle VAD selon les conditions de captation audio :
  • Champ proche (near_meeting_16k) : la personne qui parle est proche du microphone, par exemple lors d’appels de service client avec un casque-micro ou de la saisie vocale dans une application sur un téléphone tenu en main.
  • Champ lointain (far_field_meeting_16k) : la personne qui parle est plus éloignée du microphone, par exemple lors d’interactions avec une enceinte connectée, de la captation par des microphones partagés en salle de réunion ou d’interactions vocales mains libres dans un véhicule.
qwen-audio-3.0-asr-flash-streaming, Fun-ASR-Realtime (série)Réglez le seuil de silence avec max_sentence_silence.
ParaformerPour la segmentation VAD, réglez max_sentence_silence. Vous pouvez aussi passer à la segmentation sémantique avec semantic_punctuation_enabled.
Qwen3-ASR-Flash-RealtimeRéglez le seuil de silence et la sensibilité avec silence_duration_ms et threshold dans session.turn_detection. Vous pouvez désactiver VAD pour que le client contrôle les limites en validant l’audio.

Améliorer le texte

La parole contient souvent des hésitations, répétitions et autocorrections. Le lissage du texte nettoie ces expressions, notamment pour les messages vocaux et la saisie vocale. Dans qwen-audio-3.1-asr-flash-message, disfluency_removal_enabled contrôle le lissage. Il s’applique aux résultats finaux ; actualisez le texte affiché à la fin de l’énoncé.

Conserver les expressions dialectales

Pour un dialecte chinois, choisissez de conserver les expressions dialectales ou de les transcrire en chinois standard. Les sous-titres dialectaux peuvent nécessiter les expressions originales, tandis qu’un compte rendu destiné à un public plus large peut nécessiter le chinois standard. Dans qwen-audio-3.1-asr-flash-streaming et qwen-audio-3.1-asr-flash-message, utilisez keep_dialect. Pour ce dernier modèle, le réglage ne s’applique qu’aux résultats finaux.

Mots clés et enrichissement du contexte

Les mots clés aident à reconnaître les marques, noms propres et termes spécialisés. L’enrichissement du contexte apporte les termes et le contexte des échanges précédents. Pour la configuration, les modèles compatibles et le réglage, consultez Améliorer la précision de reconnaissance.

Filtrer les mots sensibles

Le filtrage remplace les mots spécifiés par le même nombre d’astérisques ou les retire du texte, par exemple pour masquer une partie des sous-titres ou d’une transcription. Qwen-Audio-ASR-Streaming et Fun-ASR-Realtime utilisent special_word_filter.

Utilisation en production

En production, adaptez les connexions et la concurrence au trafic et gérez les longs silences, les nouvelles tentatives et la libération des ressources. Consultez les bonnes pratiques de reconnaissance vocale pour la préparation audio, la gestion des tâches et connexions, la concurrence Java et les exemples complets.

Modèles et régions pris en charge

  • Singapore
  • China (Beijing)
  • Qwen-Audio-ASR-Message : qwen-audio-3.1-asr-flash-message
  • Qwen-Audio-ASR-Streaming : qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streaming
  • Fun-ASR-Realtime : fun-asr-realtime (version stable)
  • Qwen-ASR-Realtime : qwen3-asr-flash-realtime (version stable)

Limites d’utilisation

L’audio en temps réel doit être mono. Choisissez le format et la fréquence d’échantillonnage dans le tableau, puis réglez format et sample_rate selon l’audio réel.
ModèleMéthode d’entréeFormat audioFréquence d’échantillonnageTaille/durée
qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streamingFlux binairepcm, wav, mp3, opus, speex, aac, amrToute fréquenceIllimité
qwen-audio-3.1-asr-flash-messageFlux binairepcm, wav, mp3, opus, speex, aac, amr16 kHz—
Fun-ASR-Realtime (série) (fun-asr-realtime)Flux binairepcm, wav, mp3, opus, speex, aac, amrToute fréquenceIllimité
Fun-ASR-Flash-8K-Realtime (série) (fun-asr-flash-8k-realtime)Flux binairepcm, wav, mp3, opus, speex, aac, amr8 kHzIllimité
qwen3-asr-flash-realtimeAudio Base64 dans des événements JSONpcm, opus8 kHz, 16 kHzIllimité
paraformer-realtime-v2Flux binairepcm, wav, mp3, opus, speex, aac, amrToute fréquenceIllimité
paraformer-realtime-8k-v2Flux binairepcm, wav, mp3, opus, speex, aac, amr8 kHzIllimité
Pour vérifier et convertir l’audio, consultez Préparer l’audio d’entrée.

Référence API

Pour un audio en temps réel nécessitant une faible latence, une résistance aux réseaux faibles, l’annulation d’écho et la réduction du bruit, envisagez AOQ. Consultez la présentation de Realtime API pour le choix du protocole, les modèles et l’intégration.