Skip to main content

Synthèse vocale en temps réel

Découvrez les fonctions de synthèse vocale en temps réel, les appels en streaming et les méthodes d’amélioration de la qualité.

Fonctionnalités

La synthèse vocale en temps réel reçoit des segments de texte et renvoie progressivement l’audio. Elle permet de vocaliser le texte au fur et à mesure de sa génération par un grand modèle de langage.
  • Langues et dialectes : choisissez un modèle et une voix adaptés à la langue cible, ou précisez le dialecte par une instruction. Consultez Dialectes.
  • Expression vocale : ajustez la diction avec des instructions en langage naturel ou insérez des balises d’émotion et de sons non verbaux. Consultez Contrôle par instructions et Balises d’émotion et de sons non verbaux.
  • Voix personnalisées : créez une voix à partir d’un échantillon audio avec le clonage vocal, ou d’une description avec la conception vocale.
  • Contrôle détaillé et formules : utilisez SSML et LaTeX pour contrôler les pauses et la prononciation ou convertir des formules en parole.
  • Contrôles audio : réglez la vitesse, la hauteur, le volume et le débit binaire, avec les principaux formats audio tels que PCM, WAV, MP3 et Opus et une fréquence d’échantillonnage maximale de 48 kHz. Consultez les paramètres de l’API pour les valeurs et conditions prises en charge.
Les fonctionnalités disponibles dépendent du modèle et de la voix. Consultez leur périmètre dans la documentation correspondante.Pour envoyer le texte complet dans une requête HTTP, consultez Synthèse vocale non temps réel.

Premiers pas

Installez le SDK DashScope, puis obtenez une clé API dans la console et définissez la variable d’environnement DASHSCOPE_API_KEY.
  • Qwen-Audio-TTS (recommandé)
  • CosyVoice
Cet exemple utilise qwen-audio-3.1-tts-flash et la voix système longanhuan_v3.1 dans la région de Beijing. Il envoie le texte par segments et enregistre l’audio reçu dans output.mp3.
Java
import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisAudioFormat;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;
import java.io.FileOutputStream;
import java.nio.ByteBuffer;

public class Main {
    public static void main(String[] args) throws Exception {
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference";
        try (FileOutputStream audio = new FileOutputStream("output.mp3")) {
            SpeechSynthesisParam param = SpeechSynthesisParam.builder()
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                .model("qwen-audio-3.1-tts-flash")
                .voice("longanhuan_v3.1")
                .format(SpeechSynthesisAudioFormat.MP3_24000HZ_MONO_256KBPS)
                .build();
            ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<>() {
                @Override
                public void onEvent(SpeechSynthesisResult result) {
                    ByteBuffer buffer = result.getAudioFrame();
                    if (buffer != null) {
                        byte[] bytes = new byte[buffer.remaining()];
                        buffer.get(bytes);
                        try { audio.write(bytes); }
                        catch (Exception e) { throw new RuntimeException(e); }
                    }
                }
                @Override
                public void onComplete() {}
                public void onError(Exception e) { e.printStackTrace(); }
            };
            SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
            try {
                for (String text : new String[]{"Hello, welcome to Alibaba Cloud Model Studio.", "Text can be sent in segments, and audio is returned progressively."}) {
                    synthesizer.streamingCall(text);
                }
                synthesizer.streamingComplete(60000);
            } finally {
                synthesizer.getDuplexApi().close(1000, "done");
            }
        }
    }
}

Améliorer la qualité de synthèse

Langues et prononciation

Choisissez la méthode selon le contenu à contrôler :
BesoinMéthode
Définir la langue cible de la voixUtilisez language_hints pour définir la langue globale de synthèse, guider la lecture des nombres, abréviations et symboles et améliorer les langues moins répandues.
Corriger des mots précis ou remplacer du texteUtilisez hot_fix pour attribuer un pinyin à certains mots ou remplacer des mots avant la synthèse, notamment pour corriger des noms propres.
Contrôler précisément les pauses, la lecture des nombres ou la prononciationBalisez le texte avec SSML pour définir les pauses, les règles de lecture et la prononciation.
Lire des formules mathématiquesUtilisez la fonction LaTeX de CosyVoice pour convertir les formules prises en charge en voix chinoise.
Pour les modèles et paramètres, consultez l’API Qwen-Audio-TTS ou l’API CosyVoice. Pour les modèles, voix, interfaces et usages de SSML et LaTeX, consultez SSML et LaTeX.
Avec SSML, envoyez le texte SSML complet en une seule fois et recevez l’audio progressivement. La saisie du texte en plusieurs fragments n’est pas prise en charge.

Contrôle par instructions

Utilisez instruction pour préciser la langue de synthèse et décrire le débit, l’émotion ou le style en langage naturel afin de contrôler la voix synthétisée.
Pour créer une voix avec un genre, un âge ou un caractère vocal précis, ou consulter des conseils et exemples de description vocale, reportez-vous à la conception vocale.
  • Qwen-Audio-TTS
  • CosyVoice
Les voix système, clonées et conçues de qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus et qwen-audio-3.0-tts-flash acceptent toutes des instructions en langage naturel via instruction dans les requêtes de synthèse.Nous vous recommandons de préciser la langue de synthèse et l’effet souhaité dans instruction pour améliorer la qualité de synthèse. La langue spécifiée dans l’instruction doit correspondre à celle du texte à synthétiser. Par exemple, pour synthétiser du texte en néerlandais, définissez :
Speak in Dutch, slowly and clearly.

Dialectes

La synthèse dialectale permet de générer de la parole dans des dialectes chinois, tels que ceux du Henan ou du Sichuan. La méthode de sélection dépend du modèle et du type de voix.
  • Qwen-Audio-TTS
  • CosyVoice
  • Voix système : choisissez une voix adaptée au dialecte dans la liste Qwen-Audio-TTS. Une voix prenant directement en charge le dialecte ne nécessite aucun réglage supplémentaire. Pour les voix compatibles avec les instructions de dialecte, utilisez le paramètre de contrôle par instructions instruction.
    Pour les voix multilingues et dialectales de qwen-audio-3.1-tts-flash, vous pouvez également spécifier le dialecte avec language_hints. Consultez les paramètres des voix multilingues et dialectales.
  • Voix clonées : précisez le dialecte avec le paramètre de contrôle par instructions instruction.
Pour les voix compatibles avec les instructions de dialecte, transmettez instruction="请讲上海话。" lors de l'initialisation de SpeechSynthesizer pour synthétiser du texte chinois en shanghaïen.
Pour Qwen3-TTS, choisissez une voix compatible avec le dialecte cible dans la liste des voix Qwen3-TTS.

Balises d’émotion et de sons non verbaux

Modèles concernés : qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus et qwen-audio-3.0-tts-flash.
Les balises d’émotion et paralinguistiques contrôlent l’émotion et le style de la parole et insèrent des sons tels que des rires ou des soupirs à des positions précises. Écrivez les balises directement dans le texte à synthétiser, text, sans paramètre supplémentaire.

Exemples d’utilisation

Ce texte commence avec une diction enthousiaste, insère un rire à l’endroit indiqué, puis poursuit la parole :
[excited]What a beautiful day![laughing]Let us go outside and have some fun!
Ce texte passe à une diction enthousiaste dans la deuxième phrase :
[serious]Please pay attention to the safety instructions.[excited]Now, let us get started!

Balises prises en charge

  • Balises de contrôle
  • Balises de sons non verbaux
Une balise de contrôle définit l’émotion ou le style du texte qui suit jusqu’à la balise de contrôle suivante. Si une longue phrase est segmentée automatiquement, son effet reste limité au segment obtenu.
BaliseDescription
[sad]Triste
[amazed]Émerveillé
[deep and loud shouting]Cri grave et puissant
[trembling]Tremblant
[angry]En colère
[excited]Enthousiaste
[sarcastic]Sarcastique
[curious]Curieux
[like dracula]Diction de Dracula
[bored]Ennuyé
[tired]Fatigué
[scornful]Méprisant
[shouting]Cri
[asmr]Voix douce ASMR
[panicked]Paniqué
[mischievously]Espiègle
[empathetic]Empathique
[whispers]Chuchotement
[reluctantly]Réticent
[crying]Pleurs
[serious]Sérieux
[very slowly]Très lent
[very fast]Très rapide

Utilisation en production

Pour l’envoi de texte, la lecture audio, la réutilisation des connexions, la gestion de la concurrence et le diagnostic des performances, consultez Bonnes pratiques de synthèse vocale. Respectez les limites de débit du modèle pour la fréquence des requêtes et la concurrence.

Annuler une tâche

Avec Qwen-Audio-TTS ou CosyVoice, envoyez une instruction d’annulation pour interrompre la synthèse en cours. Le serveur termine la tâche et renvoie task-finished.
MéthodeVersion requiseUtilisation
SDK Python2.0.1 ou ultérieureAppelez session.cancel() sur l'objet de session renvoyé par client.audio.tts.connect.
SDK Java2.22.26 ou ultérieureAppelez SpeechSynthesizer.streamingCancel().
Protocole WebSocket directSans SDKEnvoyez finish-task avec directive=cancel dans input.

Modèles pris en charge

  • Singapore
  • China (Beijing)
  • Qwen-Audio-TTS: qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, qwen-audio-3.0-tts-flash
  • CosyVoice: cosyvoice-v3-plus, cosyvoice-v3-flash
  • Qwen3-TTS: qwen3-tts-flash-realtime
Pour les voix système et les extraits audio, consultez les listes Qwen-Audio-TTS, CosyVoice et Qwen3-TTS. Une voix clonée ou conçue doit être utilisée avec le modèle cible indiqué à sa création.

Référence de l’API

Les applications mobiles qui nécessitent une faible latence et une transmission audio stable sur des réseaux dégradés peuvent utiliser AOQ. Pour l’accès AOQ, les différences entre AOQ, WebRTC et WebSocket et les modèles compatibles, consultez la présentation de Realtime API.

FAQ

Vérifiez que voice est l’ID d’une voix créée avec succès et que son target_model correspond au model de synthèse. Pour l’état, les exigences audio et les conseils de qualité, consultez Clonage vocal.
Créez un nouvel espace de travail et accordez l'accès uniquement à des modèles spécifiques. Cela limite la portée de la clé API. Pour plus de détails, consultez Gérer les espaces de travail.