Synthétisez de la parole avec CosyVoice à l'aide du SDK Java DashScope.
Points de terminaison du service
Par défaut, le SDK se connecte au point de terminaison de la région de Pékin. Pour utiliser une autre région, définissez Constants.baseWebsocketApiUrl avant d'initialiser le SDK.
- Singapore
- China (Beijing)
wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inferenceRemplacez {WorkspaceId} par votre ID d'espace de travail réel.SpeechSynthesizer
Package : com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer
Constructeur
param: Paramètres de synthèse vocale, construits avecSpeechSynthesisParam.builder()callback: Rappel pour les appels en streaming. Transmettez la valeur null pour les appels sans streaming.
call() - Synthèse sans streaming ou en streaming unidirectionnel
Signature de la méthode :
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
text | String | Oui | Texte à synthétiser. Longueur maximale : 20 000 caractères. |
ByteBuffer ou null. Pour les appels sans streaming, renvoie les données audio complètes. Pour les appels en streaming unidirectionnel, cette méthode renvoie null ; l'audio est transmis via le rappel.
streamingCall() - Synthèse en streaming bidirectionnel
Signature de la méthode :
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
text | String | Oui | Texte à synthétiser. Longueur maximale : 20 000 caractères. Vous pouvez appeler cette méthode plusieurs fois pour ajouter du texte. |
streamingComplete() - Terminer le streaming bidirectionnel
Signature de la méthode :
streamingCancel() - Annuler le streaming bidirectionnel
Signature de la méthode :
SpeechSynthesizer.
callAsFlowable() - Synthèse en streaming unidirectionnel (réactif)
Signature de la méthode :
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
text | String | Oui | Texte à synthétiser. |
streamingCallAsFlowable() - Synthèse en streaming bidirectionnel (réactif)
Signature de la méthode :
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
textStream | Flowable<String> | Oui | Flux réactif de texte. |
SpeechSynthesisResult>.
getDuplexApi().close() - Fermer la connexion WebSocket
Signature de la méthode :
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
code | int | Oui | Code de fermeture. |
reason | String | Oui | Motif de fermeture. |
boolean. Renvoie true si la connexion a été fermée avec succès, false dans le cas contraire.
getLastRequestId() - Obtenir l'ID de requête
Signature de la méthode :
String, l'ID de requête.
getFirstPackageDelay() - Obtenir la latence du premier paquet
Signature de la méthode :
long. La latence du premier paquet en millisecondes, mesurée entre l'envoi du premier segment de texte et la réception du premier paquet audio.
SpeechSynthesisParam
Package : com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam
Exemple :
Méthodes de construction
| Méthode | Type de paramètre | Obligatoire | Description |
|---|---|---|---|
model(String) | String | Oui | Le nom du modèle. |
voice(String) | String | Oui | La voix utilisée pour la synthèse vocale.
|
format(SpeechSynthesisAudioFormat) | enum | Non | Format d'encodage audio et fréquence d'échantillonnage.Valeur par défaut : SpeechSynthesisAudioFormat.MP3_22050HZ_MONO_256KBPS.Package SpeechSynthesisAudioFormat : com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisAudioFormat. |
volume(int) | int | Non | Le niveau de volume.Valeur par défaut : 50.Plage de valeurs valides : [0, 100]. |
speechRate(float) | float | Non | La vitesse de parole.Valeur par défaut : 1,0.Plage de valeurs valides : [0,5, 2,0]. |
pitchRate(float) | float | Non | La hauteur tonale.Valeur par défaut : 1,0.Plage de valeurs valides : [0,5, 2,0]. |
enableWordTimestamp(boolean) | boolean | Non | Indique s'il faut activer les horodatages au niveau des mots.Valeur par défaut : false.Disponible uniquement en mode de sortie en continu (streaming). Voix prises en charge : voix clonées de cosyvoice-v3.5-plus, cosyvoice-v3.5-flash, cosyvoice-v3-flash, cosyvoice-v3-plus, cosyvoice-v2, ainsi que les voix système indiquées comme prises en charge dans la liste des voix CosyVoice. Les voix clonées d'autres modèles ne prennent pas en charge cette fonctionnalité. |
seed(int) | int | Non | Une graine aléatoire permettant de contrôler la variation dans le résultat de la synthèse. Lorsque la version du modèle, le texte, la voix et les autres paramètres restent inchangés, l'utilisation de la même graine produit des résultats identiques.Valeur par défaut : 0.Plage de valeurs valides : [0, 65535].Pour les versions du SDK antérieures à la 2.21.7, définissez seed via des paramètres supplémentaires. |
languageHints(List<String>) | List<String> | Non | Spécifie la langue cible de la synthèse vocale afin d'améliorer la qualité du résultat.Utilisez ce paramètre lorsque la prononciation des chiffres, le développement des abréviations, la lecture des symboles ou la synthèse dans des langues minoritaires ne donnent pas le résultat escompté. Par exemple :
Valeurs valides
|
instruction(String) | String | Non | Contrôle les caractéristiques de la synthèse, telles que le dialecte, l'émotion ou le style d'élocution.Pour plus de détails sur l'utilisation, consultez la section Contrôle par instruction. |
hotFix(ParamHotFix) | ParamHotFix | Non | Configure les corrections de prononciation et les remplacements de texte appliqués avant la synthèse. Cette fonctionnalité n'est pas prise en charge par cosyvoice-v2.
|
parameter(String key, Object value) | String, Object | Non | Définit les paramètres supplémentaires. |
parameters(Map<String, Object>) | Map | Non | Définit les paramètres supplémentaires. |
Paramètres supplémentaires
Définissez ces paramètres via parameter() ou parameters().
Exemple :
| Parameter | Type | Required | Description |
|---|---|---|---|
bit_rate | integer | No | Débit binaire audio en kbps. Lorsque le format audio est mp3 ou opus, utilisez bit_rate pour ajuster le débit.Valeur par défaut : 32.Valeurs valides : [6, 510]. |
enable_aigc_tag | boolean | No | Indique s'il faut intégrer un filigrane AIGC dans l'audio généré. Lorsqu'elle est définie sur true, cette option intègre le filigrane dans les fichiers audio aux formats pris en charge (wav/mp3/opus).Valeur par défaut : false. Seuls cosyvoice-v3-flash, cosyvoice-v3-plus, cosyvoice-v2 prennent en charge cette fonctionnalité. |
aigc_propagator | String | No | Définit le champ ContentPropagator du filigrane AIGC, qui identifie le propagateur de contenu. Ce paramètre n'est effectif que si enable_aigc_tag est défini sur true.Valeur par défaut : UID Alibaba Cloud.Seuls cosyvoice-v3-flash, cosyvoice-v3-plus, cosyvoice-v2 prennent en charge cette fonctionnalité. |
aigc_propagate_id | String | No | Définit le champ PropagateID du filigrane AIGC, qui identifie de manière unique une action de propagation spécifique. Ce paramètre n'est effectif que si enable_aigc_tag est défini sur true.Valeur par défaut : ID de la demande de synthèse vocale actuelle.Seuls cosyvoice-v3-flash, cosyvoice-v3-plus, cosyvoice-v2 prennent en charge cette fonctionnalité. |
enable_markdown_filter | boolean | No | Seules les voix clonées de cosyvoice-v3-flash prennent en charge cette fonctionnalité.
|
ResultCallback
Package : com.alibaba.dashscope.common.ResultCallback
onEvent() - Réception des données audio
Signature de la méthode :
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
result | SpeechSynthesisResult | Oui | Déclenché à la réception d'un événement de synthèse. Contient la trame audio, les informations d'horodatage et les données de sortie (type d'événement, texte original, etc.). |
onComplete() - Fin de la synthèse
Signature de la méthode :
onError() - Gestion des erreurs
Signature de la méthode :
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
e | Exception | Oui | Déclenché en cas d'erreur. Contient les informations relatives à l'exception. |
SpeechSynthesisResult
Package : com.alibaba.dashscope.audio.tts.SpeechSynthesisResult
getAudioFrame() - Obtention d'une trame audio
Signature de la méthode :
ByteBuffer, la trame de données audio.
getTimestamp() - Obtention des informations d'horodatage
Signature de la méthode :
getOutput() - Obtention des informations de sortie
Signature de la méthode :
com.google.gson.JsonObject, les informations de sortie de l'événement de synthèse, contenant le type d'événement et le contenu textuel. Nécessite une version du SDK >= 2.22.0.
Informations d'horodatage au niveau de la phrase (Sentence)
Sentence encapsule les informations d'horodatage au niveau de la phrase.
getBeginTime() - Obtention de l'heure de début de la phrase
Signature de la méthode :
getEndTime() - Obtention de l'heure de fin de la phrase
Signature de la méthode :
getWords() - Obtention des horodatages au niveau des mots
Signature de la méthode :
List d'objets Word contenant les informations d'horodatage au niveau des mots. Peut être vide.
Informations d'horodatage au niveau du mot (Word)
Word encapsule les informations d'horodatage au niveau du mot.
getBeginTime() - Obtention de l'heure de début du mot
Signature de la méthode :
getEndTime() - Obtention de l'heure de fin du mot
Signature de la méthode :
getText() - Obtention du texte
Signature de la méthode :
String, le contenu textuel.
getPhonemes() - Obtention des horodatages au niveau des phonèmes
Signature de la méthode :
List d'objets Phoneme contenant les informations d'horodatage au niveau des phonèmes. Peut être vide.
Informations d'horodatage au niveau du phonème (Phoneme)
Phoneme encapsule les informations d'horodatage au niveau du phonème.
getBeginTime() - Obtention de l'heure de début du phonème
Signature de la méthode :
getEndTime() - Obtention de l'heure de fin du phonème
Signature de la méthode :
getText() - Obtention du texte
Signature de la méthode :
String, le contenu textuel.
getTone() - Obtention du ton
Signature de la méthode :
- En anglais, 0, 1 et 2 représentent respectivement l'absence d'accentuation, l'accentuation primaire et l'accentuation secondaire.
- En pinyin chinois, 1, 2, 3, 4 et 5 représentent respectivement les premier, deuxième, troisième, quatrième tons et le ton neutre.
Informations de sortie (output)
getOutput() renvoie un JsonObject qui encapsule les informations de sortie de l'événement de synthèse. Récupérez-le dans le rappel onEvent ou dans le flux Flowable. Il contient les champs suivants :
| Champ | Type | Description |
|---|---|---|
type | String | Type d'événement. Valeurs possibles : sentence-begin (début de phrase ; renvoie le texte à synthétiser), sentence-synthesis (synthèse audio en cours ; renvoie un fragment de données audio), sentence-end (fin de phrase ; renvoie le contenu textuel et les horodatages au niveau des mots). |
original_text | String | Texte original de la phrase actuelle. Renvoyé dans les événements sentence-begin et sentence-end. |
sentence | JsonObject | Informations sur la phrase, contenant l'index de la phrase (index) et les horodatages au niveau des mots (words). L'événement sentence-end inclut les informations complètes d'horodatage au niveau des mots. |
Exemples de code
Le SDK prend en charge les modes de synthèse suivants :
- Non streaming : appel bloquant qui transmet l'intégralité du texte en une seule fois et renvoie directement le fichier audio complet. Cette méthode convient particulièrement à la synthèse vocale de textes courts.
- Streaming unidirectionnel : appel non bloquant qui transmet l'intégralité du texte en une seule fois et fournit les données audio (potentiellement par blocs) via une fonction de rappel. Plus adapté aux scénarios de textes courts nécessitant une faible latence.
- Streaming bidirectionnel : appel non bloquant qui envoie le texte en plusieurs segments et délivre l'audio synthétisé de manière incrémentielle via une fonction de rappel en temps réel. Conçu pour les scénarios de textes longs exigeant une faible latence.
- Appels non streaming
- Appels en streaming unidirectionnel
- Appels en streaming bidirectionnel
Appels basés sur Flowable
Flowable est un type RxJava représentant un flux réactif compatible avec la contre-pression (backpressure). Pour plus d'informations, consultez la documentation RxJava Flowable.
Avant d'utiliser Flowable, assurez-vous que la bibliothèque RxJava est intégrée et que vous maîtrisez les bases de la programmation réactive.
La longueur du texte pour chaque appel individuel ne doit pas dépasser 20 000 caractères, et la longueur cumulative du texte pour l'ensemble des appels ne doit pas excéder 200 000 caractères.
- Appels en streaming unidirectionnel
- Appels en streaming bidirectionnel
L'exemple suivant illustre l'utilisation de l'interface
blockingForEach d'un objet Flowable pour récupérer chaque objet SpeechSynthesisResult diffusé en streaming, de manière bloquante.