Sintetize fala com CosyVoice usando o DashScope Java SDK.
Endpoints de service
Por padrão, o SDK conecta-se ao endpoint da região de Beijing. Para usar uma região diferente, defina Constants.baseWebsocketApiUrl antes de inicializar o SDK.
- Singapore
- China (Beijing)
wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inferenceSubstitua {WorkspaceId} pelo seu workspace ID real.SpeechSynthesizer
Pacote: com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer
Construtor
param: Parâmetros de síntese de fala, construídos comSpeechSynthesisParam.builder()callback: Callback para chamadas em streaming. Passe null para chamadas sem streaming.
call() - Síntese sem streaming ou streaming unidirecional
Assinatura do método:
| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
text | String | Sim | Texto a sintetizar. Comprimento máximo: 20.000 caracteres. |
ByteBuffer ou null. Em chamadas sem streaming, retorna os dados de áudio completos. Em chamadas com streaming unidirecional, este método retorna null; o áudio é entregue via callback.
streamingCall() - Síntese com streaming bidirecional
Assinatura do método:
| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
text | String | Sim | Texto a sintetizar. Comprimento máximo: 20.000 caracteres. Chame este método várias vezes para anexar texto. |
streamingComplete() - Encerrar streaming bidirecional
Assinatura do método:
streamingCancel() - Cancele streaming bidirecional
Assinatura do método:
SpeechSynthesizer.
callAsFlowable() - Síntese com streaming unidirecional (reativo)
Assinatura do método:
| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
text | String | Sim | Texto a sintetizar. |
streamingCallAsFlowable() - Síntese com streaming bidirecional (reativo)
Assinatura do método:
| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
textStream | Flowable<String> | Sim | Stream reativo de texto. |
SpeechSynthesisResult>.
getDuplexApi().close() - Fechar conexão WebSocket
Assinatura do método:
| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
code | int | Sim | Código de fechamento. |
reason | String | Sim | Motivo do fechamento. |
boolean. Retorna true se a conexão for fechada com sucesso; caso contrário, retorna false.
getLastRequestId() - Obter ID da solicitação
Assinatura do método:
String, o ID da solicitação.
getFirstPackageDelay() - Obter latência do primeiro pacote
Assinatura do método:
long. Latência do primeiro pacote em milissegundos, medida do envio do primeiro segmento de texto até o recebimento do primeiro pacote de áudio.
SpeechSynthesisParam
Pacote: com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam
Exemplo:
Métodos do Builder
| Método | Tipo do parâmetro | Obrigatório | Descrição |
|---|---|---|---|
model(String) | String | Sim | Nome do modelo. |
voice(String) | String | Sim | Voz usada na síntese de fala.
|
format(SpeechSynthesisAudioFormat) | enum | Não | Formato de codificação de áudio e taxa de amostragem.Padrão: SpeechSynthesisAudioFormat.MP3_22050HZ_MONO_256KBPS.Pacote SpeechSynthesisAudioFormat: com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisAudioFormat. |
volume(int) | int | Não | Nível de volume.Valor padrão: 50.Valores válidos: [0, 100]. |
speechRate(float) | float | Não | Velocidade da fala.Valor padrão: 1,0.Valores válidos: [0,5, 2,0]. |
pitchRate(float) | float | Não | Tom da voz.Valor padrão: 1,0.Valores válidos: [0,5, 2,0]. |
enableWordTimestamp(boolean) | boolean | Não | Define se os carimbos de data/hora no nível de palavra devem ser ativados.Valor padrão: false.Disponível apenas no modo de saída em streaming. Vozes suportadas: vozes clonadas de cosyvoice-v3.5-plus, cosyvoice-v3.5-flash, cosyvoice-v3-flash, cosyvoice-v3-plus, cosyvoice-v2, além de vozes do sistema marcadas como suportadas em CosyVoice Voice list. Vozes clonadas de outros modelos não suportam este recurso. |
seed(int) | int | Não | Semente aleatória para controlar variações na saída da síntese. Se a versão do modelo, texto, voz e demais parâmetros permanecerem inalterados, usar a mesma semente produz resultados idênticos.Valor padrão: 0.Valores válidos: [0, 65535].Para versões do SDK anteriores a 2.21.7, defina seed por meio de parâmetros adicionais. |
languageHints(List<String>) | List<String> | Não | Especifica o idioma-alvo da síntese de fala para melhorar a qualidade da saída.Use este parâmetro quando a pronúncia de dígitos, expansão de abreviações, leitura de símbolos ou síntese de idiomas minoritários não atender às expectativas. Exemplos:
Valores válidos
|
instruction(String) | String | Não | Controla características da síntese, como dialeto, emoção ou estilo de fala.Para detalhes de uso, consulte Instruction control. |
hotFix(ParamHotFix) | ParamHotFix | Não | Configura correções de pronúncia e substituições de texto aplicadas antes da síntese. This feature isn't supported by cosyvoice-v2.
|
parameter(String key, Object value) | String, Object | Não | Defina Additional parameters. |
parameters(Map<String, Object>) | Map | Não | Defina Additional parameters. |
Parâmetros adicionais
Definidos por meio de parameter() ou parameters().
Exemplo:
| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
bit_rate | integer | Não | Taxa de bits de áudio em kbps. Quando o formato de áudio for mp3 ou opus, use bit_rate para ajustar a taxa de bits.Valor padrão: 32.Valores válidos: [6, 510]. |
enable_aigc_tag | boolean | Não | Define se uma marca d'água AIGC deve ser incorporada ao áudio gerado. Quando definido como true, a marca d'água é inserida em arquivos de áudio dos formatos suportados (wav/mp3/opus).Valor padrão: false. Apenas cosyvoice-v3-flash, cosyvoice-v3-plus, cosyvoice-v2 suportam este recurso. |
aigc_propagator | String | Não | Define o campo ContentPropagator na marca d'água AIGC, identificando o propagador do conteúdo. Só entra em vigor quando enable_aigc_tag é true.Valor padrão: UID da Alibaba Cloud.Apenas cosyvoice-v3-flash, cosyvoice-v3-plus, cosyvoice-v2 suportam este recurso. |
aigc_propagate_id | String | Não | Define o campo PropagateID na marca d'água AIGC, identificando exclusivamente uma ação de propagação específica. Só entra em vigor quando enable_aigc_tag é true.Valor padrão: ID da solicitação atual de síntese de fala.Apenas cosyvoice-v3-flash, cosyvoice-v3-plus, cosyvoice-v2 suportam este recurso. |
enable_markdown_filter | boolean | Não | Apenas vozes clonadas de cosyvoice-v3-flash suportam este recurso.
|
ResultCallback
Pacote: com.alibaba.dashscope.common.ResultCallback
onEvent() - Receber dados de áudio
Assinatura do método:
| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
result | SpeechSynthesisResult | Sim | Acionado ao receber um evento de síntese. Contém o quadro de áudio, informações de carimbo de data/hora e dados de saída (tipo de evento, texto original, etc.). |
onComplete() - Síntese concluída
Assinatura do método:
onError() - Tratamento de erros
Assinatura do método:
| Parâmetro | Tipo | Obrigatório | Descrição |
|---|---|---|---|
e | Exception | Sim | Acionado quando ocorre um erro. Contém as informações da exceção. |
SpeechSynthesisResult
Pacote: com.alibaba.dashscope.audio.tts.SpeechSynthesisResult
getAudioFrame() - Obter quadro de dados de áudio
Assinatura do método:
ByteBuffer, o quadro de dados de áudio.
getTimestamp() - Obter informações de carimbo de data/hora
Assinatura do método:
getOutput() - Obter informações de saída
Assinatura do método:
com.google.gson.JsonObject, contendo as informações de saída do evento de síntese, incluindo tipo de evento e conteúdo textual. Requer SDK versão >= 2.22.0.
Informações de carimbo de data/hora no nível de sentença (Sentence)
Sentence encapsula informações de carimbo de data/hora no nível de sentença.
getBeginTime() - Obter hora de início da sentença
Assinatura do método:
getEndTime() - Obter hora de término da sentença
Assinatura do método:
getWords() - Obter carimbos de data/hora no nível de palavra
Assinatura do método:
List de objetos Word com informações de carimbo de data/hora no nível de palavra. Pode estar vazia.
Informações de carimbo de data/hora no nível de palavra (Word)
Word encapsula informações de carimbo de data/hora no nível de palavra.
getBeginTime() - Obter hora de início da palavra
Assinatura do método:
getEndTime() - Obter hora de término da palavra
Assinatura do método:
getText() - Obter texto
Assinatura do método:
String, o conteúdo textual.
getPhonemes() - Obter carimbos de data/hora no nível de fonema
Assinatura do método:
List de objetos Phoneme com informações de carimbo de data/hora no nível de fonema. Pode estar vazia.
Informações de carimbo de data/hora no nível de fonema (Phoneme)
Phoneme encapsula informações de carimbo de data/hora no nível de fonema.
getBeginTime() - Obter hora de início do fonema
Assinatura do método:
getEndTime() - Obter hora de término do fonema
Assinatura do método:
getText() - Obter texto
Assinatura do método:
String, o conteúdo textual.
getTone() - Obter tom
Assinatura do método:
- Em inglês, 0, 1 e 2 representam sílaba átona, tônica primária e tônica secundária, respectivamente.
- No pinyin chinês, 1, 2, 3, 4 e 5 representam o primeiro, segundo, terceiro, quarto e tons neutros, respectivamente.
Informações de saída (output)
getOutput() retorna um JsonObject que encapsula as informações de saída do evento de síntese. Recupere-o no callback onEvent ou no stream Flowable. Ele contém os seguintes campos:
| Campo | Tipo | Descrição |
|---|---|---|
type | String | Tipo de evento. Valores possíveis: sentence-begin (início da sentença; retorna o texto a sintetizar), sentence-synthesis (síntese de áudio em andamento; retorna um bloco de dados de áudio), sentence-end (fim da sentença; retorna conteúdo textual e carimbos de data/hora no nível de palavra). |
original_text | String | Texto original da sentença atual. Retornado nos eventos sentence-begin e sentence-end. |
sentence | JsonObject | Informações da sentença, contendo o índice da sentença (index) e carimbos de data/hora no nível de palavra (words). O evento sentence-end inclui informações completas de carimbo de data/hora no nível de palavra. |
Código de exemplo
O SDK suporta os seguintes modos de síntese:
- Sem streaming: Chamada bloqueante que envia o texto completo de uma vez e retorna diretamente o áudio integral. Ideal para síntese de fala de textos curtos.
- Streaming unidirecional: Chamada não bloqueante que envia o texto completo de uma vez e entrega dados de áudio (potencialmente em blocos) via função de callback. Ideal para cenários de texto curto que exigem baixa latência.
- Streaming bidirecional: Chamada não bloqueante que envia texto em vários segmentos e entrega áudio sintetizado incrementalmente via função de callback em tempo real. Ideal para cenários de texto longo que exigem baixa latência.
- Chamadas sem streaming
- Chamadas com streaming unidirecional
- Chamadas com streaming bidirecional
Chamadas baseadas em Flowable
Flowable é um tipo RxJava que representa um stream reativo com suporte a backpressure. Para mais informações, consulte a documentação do RxJava Flowable.
Antes de usar Flowable, certifique-se de integrar a biblioteca RxJava e compreender os conceitos básicos de programação reativa.
O comprimento do texto por chamada individual não deve exceder 20.000 caracteres, e o comprimento acumulado do texto em todas as chamadas não deve ultrapassar 200.000 caracteres.
- Chamadas com streaming unidirecional
- Chamadas com streaming bidirecional
O exemplo a seguir mostra como usar a interface
blockingForEach de um objeto Flowable para recuperar cada objeto SpeechSynthesisResult transmitido de forma bloqueante.