Conheça os recursos da síntese de fala em tempo real, as chamadas em streaming e as formas de melhorar a qualidade da síntese.
Recursos
A síntese de fala em tempo real recebe segmentos de texto e retorna áudio progressivamente, permitindo converter o texto em fala enquanto um grande modelo de linguagem o gera.
- Idiomas e dialetos: selecione um modelo e uma voz para o idioma de destino ou especifique um dialeto por instrução. Consulte Dialetos.
- Expressividade: ajuste a interpretação com instruções em linguagem natural ou insira tags de emoção e sons não verbais. Consulte Controle por instruções e Tags de emoção e sons não verbais.
- Vozes personalizadas: crie uma voz a partir de uma amostra de áudio com a clonagem de voz ou de uma descrição com o design de voz.
- Controle detalhado e fórmulas: use SSML e LaTeX para controlar pausas e pronúncia ou converter fórmulas em fala.
- Controle de áudio: ajuste velocidade, tom, volume e taxa de bits, com formatos de áudio comuns, como PCM, WAV, MP3 e Opus, e taxas de amostragem de até 48 kHz. Consulte os parâmetros da API para valores e condições de suporte.
Os recursos disponíveis variam conforme o modelo e a voz. Verifique o escopo na documentação de cada recurso.Para enviar o texto completo em uma solicitação HTTP, consulte Síntese de fala não em tempo real.
Primeiros passos
Instale o SDK do DashScope, obtenha uma chave de API no console e configure a variável de ambiente DASHSCOPE_API_KEY.
- Qwen-Audio-TTS (recomendado)
- CosyVoice
Este exemplo usa qwen-audio-3.1-tts-flash e a voz do sistema
longanhuan_v3.1 em Beijing. Envia texto em segmentos e salva o áudio recebido em output.mp3.Java
Melhorar a qualidade da síntese
Idiomas e pronúncia
Escolha a abordagem de acordo com o conteúdo a controlar:
| Necessidade | Abordagem |
|---|---|
| Definir o idioma de destino da voz | Use language_hints para definir o idioma geral da síntese, orientar a leitura de números, abreviações e símbolos e melhorar a síntese em idiomas menos difundidos. |
| Corrigir palavras específicas ou substituir texto | Use hot_fix para atribuir pinyin a palavras específicas ou substituir palavras antes da síntese, por exemplo, para corrigir nomes próprios de forma consistente. |
| Controlar pausas, leitura de números ou pronúncia em detalhes | Marque o texto com tags SSML para controlar pausas, regras de leitura e pronúncia. |
| Ler fórmulas matemáticas | Use o recurso LaTeX do CosyVoice para converter as fórmulas compatíveis em fala em chinês. |
Ao usar SSML, envie o texto SSML completo em uma única entrada e receba o áudio gradualmente. A entrada de texto em vários fragmentos não é aceita.
Controle por instruções
Use instruction para especificar o idioma de síntese e descrever a velocidade, a emoção ou o estilo de fala em linguagem natural para controlar a voz sintetizada.
Para criar uma nova voz com gênero, idade ou características vocais específicas, ou consultar orientações e exemplos de descrições de voz, veja design de voz.
- Qwen-Audio-TTS
- CosyVoice
As vozes do sistema, clonadas e criadas por design de qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus e qwen-audio-3.0-tts-flash aceitam instruções em linguagem natural por meio de
instruction nas solicitações de síntese.Recomendamos especificar o idioma de síntese e o efeito desejado em instruction para melhorar a qualidade da síntese. O idioma especificado na instrução deve corresponder ao idioma do texto a ser sintetizado. Por exemplo, ao sintetizar texto em holandês, defina:Dialetos
A síntese de dialetos gera fala em dialetos chineses, como os de Henan ou Sichuan. A seleção do dialeto depende do modelo e do tipo de voz.
- Qwen-Audio-TTS
- CosyVoice
- Vozes do sistema: selecione uma voz compatível com o dialeto de destino na lista Qwen-Audio-TTS. Vozes que oferecem o dialeto diretamente não exigem configurações adicionais. Para vozes compatíveis com instruções de dialeto, use o parâmetro de controle por instruções
instruction. - Vozes clonadas: especifique o dialeto com o parâmetro de controle por instruções
instruction.
instruction="请讲上海话。" ao inicializar SpeechSynthesizer para sintetizar texto em chinês no dialeto de Xangai.Tags de emoção e sons não verbais
Aplica-se a qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus e qwen-audio-3.0-tts-flash.
text, sem parâmetros adicionais.
Exemplos de uso
Este texto começa com uma interpretação animada, insere uma risada na posição indicada e continua a fala:
Tags compatíveis
- Tags de controle
- Tags de sons não verbais
Uma tag de controle define a emoção ou o estilo do texto seguinte até a próxima tag de controle. Se frases longas forem segmentadas automaticamente, o efeito ficará restrito ao segmento resultante.
| Tag | Descrição |
|---|---|
[sad] | Triste |
[amazed] | Surpreso |
[deep and loud shouting] | Grito grave e forte |
[trembling] | Trêmulo |
[angry] | Irritado |
[excited] | Animado |
[sarcastic] | Sarcástico |
[curious] | Curioso |
[like dracula] | Interpretação de Drácula |
[bored] | Entediado |
[tired] | Cansado |
[scornful] | Desdenhoso |
[shouting] | Grito |
[asmr] | Voz suave de ASMR |
[panicked] | Em pânico |
[mischievously] | Travesso |
[empathetic] | Empático |
[whispers] | Sussurro |
[reluctantly] | Relutante |
[crying] | Choro |
[serious] | Sério |
[very slowly] | Muito lento |
[very fast] | Muito rápido |
Aplicação em produção
Para envio de texto, reprodução de áudio, reutilização de conexões, gerenciamento de concorrência e diagnóstico de desempenho, consulte Práticas recomendadas para síntese de fala. Mantenha a frequência de solicitações e a concorrência dentro dos limites de taxa do modelo.
Cancelar tarefa
Com Qwen-Audio-TTS ou CosyVoice, envie uma instrução de cancelamento para interromper a síntese atual. O servidor encerra a tarefa e retorna task-finished.
| Método | Versão necessária | Uso |
|---|---|---|
| SDK Python | 2.0.1 ou posterior | Chame session.cancel() do objeto de sessão (a sessão retornada por client.audio.tts.connect). |
| SDK Java | 2.22.26 ou posterior | Chame SpeechSynthesizer.streamingCancel(). |
| Protocolo WebSocket direto | Não requer SDK | Envie finish-task com directive=cancel em input. |
Modelos compatíveis
- Singapore
- China (Beijing)
- Qwen-Audio-TTS: qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, qwen-audio-3.0-tts-flash
- CosyVoice: cosyvoice-v3-plus, cosyvoice-v3-flash
- Qwen3-TTS: qwen3-tts-flash-realtime
Referência da API
Aplicações móveis que precisam de baixa latência e transmissão de áudio estável em redes instáveis podem usar AOQ. Para acesso via AOQ, diferenças entre AOQ, WebRTC e WebSocket e modelos compatíveis, veja a Visão geral da Realtime API.
FAQ
P: Como solucionar áudio mudo ao usar uma voz clonada?
P: Como solucionar áudio mudo ao usar uma voz clonada?
Verifique se
voice é o ID de uma voz criada com sucesso e se seu target_model corresponde ao model de síntese. Para estado, requisitos do áudio de origem e orientações de qualidade, consulte Clonagem de voz.P: Como restringir uma API key apenas ao service de síntese de fala (isolamento de permissões)?
P: Como restringir uma API key apenas ao service de síntese de fala (isolamento de permissões)?
Crie um novo workspace e conceda acesso apenas a modelos específicos. Isso limita o escopo da API key. Para mais detalhes, consulte Manage workspaces.