Découvrez les fonctions de synthèse vocale en temps réel, les appels en streaming et les méthodes d’amélioration de la qualité.
Fonctionnalités
La synthèse vocale en temps réel reçoit des segments de texte et renvoie progressivement l’audio. Elle permet de vocaliser le texte au fur et à mesure de sa génération par un grand modèle de langage.
- Langues et dialectes : choisissez un modèle et une voix adaptés à la langue cible, ou précisez le dialecte par une instruction. Consultez Dialectes.
- Expression vocale : ajustez la diction avec des instructions en langage naturel ou insérez des balises d’émotion et de sons non verbaux. Consultez Contrôle par instructions et Balises d’émotion et de sons non verbaux.
- Voix personnalisées : créez une voix à partir d’un échantillon audio avec le clonage vocal, ou d’une description avec la conception vocale.
- Contrôle détaillé et formules : utilisez SSML et LaTeX pour contrôler les pauses et la prononciation ou convertir des formules en parole.
- Contrôles audio : réglez la vitesse, la hauteur, le volume et le débit binaire, avec les principaux formats audio tels que PCM, WAV, MP3 et Opus et une fréquence d’échantillonnage maximale de 48 kHz. Consultez les paramètres de l’API pour les valeurs et conditions prises en charge.
Les fonctionnalités disponibles dépendent du modèle et de la voix. Consultez leur périmètre dans la documentation correspondante.Pour envoyer le texte complet dans une requête HTTP, consultez Synthèse vocale non temps réel.
Premiers pas
Installez le SDK DashScope, puis obtenez une clé API dans la console et définissez la variable d’environnement DASHSCOPE_API_KEY.
- Qwen-Audio-TTS (recommandé)
- CosyVoice
Cet exemple utilise qwen-audio-3.1-tts-flash et la voix système
longanhuan_v3.1 dans la région de Beijing. Il envoie le texte par segments et enregistre l’audio reçu dans output.mp3.Java
Améliorer la qualité de synthèse
Langues et prononciation
Choisissez la méthode selon le contenu à contrôler :
| Besoin | Méthode |
|---|---|
| Définir la langue cible de la voix | Utilisez language_hints pour définir la langue globale de synthèse, guider la lecture des nombres, abréviations et symboles et améliorer les langues moins répandues. |
| Corriger des mots précis ou remplacer du texte | Utilisez hot_fix pour attribuer un pinyin à certains mots ou remplacer des mots avant la synthèse, notamment pour corriger des noms propres. |
| Contrôler précisément les pauses, la lecture des nombres ou la prononciation | Balisez le texte avec SSML pour définir les pauses, les règles de lecture et la prononciation. |
| Lire des formules mathématiques | Utilisez la fonction LaTeX de CosyVoice pour convertir les formules prises en charge en voix chinoise. |
Avec SSML, envoyez le texte SSML complet en une seule fois et recevez l’audio progressivement. La saisie du texte en plusieurs fragments n’est pas prise en charge.
Contrôle par instructions
Utilisez instruction pour préciser la langue de synthèse et décrire le débit, l’émotion ou le style en langage naturel afin de contrôler la voix synthétisée.
Pour créer une voix avec un genre, un âge ou un caractère vocal précis, ou consulter des conseils et exemples de description vocale, reportez-vous à la conception vocale.
- Qwen-Audio-TTS
- CosyVoice
Les voix système, clonées et conçues de qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus et qwen-audio-3.0-tts-flash acceptent toutes des instructions en langage naturel via
instruction dans les requêtes de synthèse.Nous vous recommandons de préciser la langue de synthèse et l’effet souhaité dans instruction pour améliorer la qualité de synthèse. La langue spécifiée dans l’instruction doit correspondre à celle du texte à synthétiser. Par exemple, pour synthétiser du texte en néerlandais, définissez :Dialectes
La synthèse dialectale permet de générer de la parole dans des dialectes chinois, tels que ceux du Henan ou du Sichuan. La méthode de sélection dépend du modèle et du type de voix.
- Qwen-Audio-TTS
- CosyVoice
-
Voix système : choisissez une voix adaptée au dialecte dans la liste Qwen-Audio-TTS. Une voix prenant directement en charge le dialecte ne nécessite aucun réglage supplémentaire. Pour les voix compatibles avec les instructions de dialecte, utilisez le paramètre de contrôle par instructions
instruction.Pour les voix multilingues et dialectales de qwen-audio-3.1-tts-flash, vous pouvez également spécifier le dialecte aveclanguage_hints. Consultez les paramètres des voix multilingues et dialectales. -
Voix clonées : précisez le dialecte avec le paramètre de contrôle par instructions
instruction.
instruction="请讲上海话。" lors de l'initialisation de SpeechSynthesizer pour synthétiser du texte chinois en shanghaïen.Balises d’émotion et de sons non verbaux
Modèles concernés : qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus et qwen-audio-3.0-tts-flash.
text, sans paramètre supplémentaire.
Exemples d’utilisation
Ce texte commence avec une diction enthousiaste, insère un rire à l’endroit indiqué, puis poursuit la parole :
Balises prises en charge
- Balises de contrôle
- Balises de sons non verbaux
Une balise de contrôle définit l’émotion ou le style du texte qui suit jusqu’à la balise de contrôle suivante. Si une longue phrase est segmentée automatiquement, son effet reste limité au segment obtenu.
| Balise | Description |
|---|---|
[sad] | Triste |
[amazed] | Émerveillé |
[deep and loud shouting] | Cri grave et puissant |
[trembling] | Tremblant |
[angry] | En colère |
[excited] | Enthousiaste |
[sarcastic] | Sarcastique |
[curious] | Curieux |
[like dracula] | Diction de Dracula |
[bored] | Ennuyé |
[tired] | Fatigué |
[scornful] | Méprisant |
[shouting] | Cri |
[asmr] | Voix douce ASMR |
[panicked] | Paniqué |
[mischievously] | Espiègle |
[empathetic] | Empathique |
[whispers] | Chuchotement |
[reluctantly] | Réticent |
[crying] | Pleurs |
[serious] | Sérieux |
[very slowly] | Très lent |
[very fast] | Très rapide |
Utilisation en production
Pour l’envoi de texte, la lecture audio, la réutilisation des connexions, la gestion de la concurrence et le diagnostic des performances, consultez Bonnes pratiques de synthèse vocale. Respectez les limites de débit du modèle pour la fréquence des requêtes et la concurrence.
Annuler une tâche
Avec Qwen-Audio-TTS ou CosyVoice, envoyez une instruction d’annulation pour interrompre la synthèse en cours. Le serveur termine la tâche et renvoie task-finished.
| Méthode | Version requise | Utilisation |
|---|---|---|
| SDK Python | 2.0.1 ou ultérieure | Appelez session.cancel() sur l'objet de session renvoyé par client.audio.tts.connect. |
| SDK Java | 2.22.26 ou ultérieure | Appelez SpeechSynthesizer.streamingCancel(). |
| Protocole WebSocket direct | Sans SDK | Envoyez finish-task avec directive=cancel dans input. |
Modèles pris en charge
- Singapore
- China (Beijing)
- Qwen-Audio-TTS: qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, qwen-audio-3.0-tts-flash
- CosyVoice: cosyvoice-v3-plus, cosyvoice-v3-flash
- Qwen3-TTS: qwen3-tts-flash-realtime
Référence de l’API
Les applications mobiles qui nécessitent une faible latence et une transmission audio stable sur des réseaux dégradés peuvent utiliser AOQ. Pour l’accès AOQ, les différences entre AOQ, WebRTC et WebSocket et les modèles compatibles, consultez la présentation de Realtime API.
FAQ
Comment diagnostiquer un audio silencieux avec une voix clonée ?
Comment diagnostiquer un audio silencieux avec une voix clonée ?
Vérifiez que
voice est l’ID d’une voix créée avec succès et que son target_model correspond au model de synthèse. Pour l’état, les exigences audio et les conseils de qualité, consultez Clonage vocal.Comment limiter une clé API au seul service de synthèse vocale pour isoler ses permissions ?
Comment limiter une clé API au seul service de synthèse vocale pour isoler ses permissions ?
Créez un nouvel espace de travail et accordez l'accès uniquement à des modèles spécifiques. Cela limite la portée de la clé API. Pour plus de détails, consultez Gérer les espaces de travail.