Skip to main content

Síntese de fala em tempo real

Conheça os recursos da síntese de fala em tempo real, as chamadas em streaming e as formas de melhorar a qualidade da síntese.

Recursos

A síntese de fala em tempo real recebe segmentos de texto e retorna áudio progressivamente, permitindo converter o texto em fala enquanto um grande modelo de linguagem o gera.
  • Idiomas e dialetos: selecione um modelo e uma voz para o idioma de destino ou especifique um dialeto por instrução. Consulte Dialetos.
  • Expressividade: ajuste a interpretação com instruções em linguagem natural ou insira tags de emoção e sons não verbais. Consulte Controle por instruções e Tags de emoção e sons não verbais.
  • Vozes personalizadas: crie uma voz a partir de uma amostra de áudio com a clonagem de voz ou de uma descrição com o design de voz.
  • Controle detalhado e fórmulas: use SSML e LaTeX para controlar pausas e pronúncia ou converter fórmulas em fala.
  • Controle de áudio: ajuste velocidade, tom, volume e taxa de bits, com formatos de áudio comuns, como PCM, WAV, MP3 e Opus, e taxas de amostragem de até 48 kHz. Consulte os parâmetros da API para valores e condições de suporte.
Os recursos disponíveis variam conforme o modelo e a voz. Verifique o escopo na documentação de cada recurso.Para enviar o texto completo em uma solicitação HTTP, consulte Síntese de fala não em tempo real.

Primeiros passos

Instale o SDK do DashScope, obtenha uma chave de API no console e configure a variável de ambiente DASHSCOPE_API_KEY.
  • Qwen-Audio-TTS (recomendado)
  • CosyVoice
Este exemplo usa qwen-audio-3.1-tts-flash e a voz do sistema longanhuan_v3.1 em Beijing. Envia texto em segmentos e salva o áudio recebido em output.mp3.
Java
import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisAudioFormat;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;
import java.io.FileOutputStream;
import java.nio.ByteBuffer;

public class Main {
    public static void main(String[] args) throws Exception {
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference";
        try (FileOutputStream audio = new FileOutputStream("output.mp3")) {
            SpeechSynthesisParam param = SpeechSynthesisParam.builder()
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                .model("qwen-audio-3.1-tts-flash")
                .voice("longanhuan_v3.1")
                .format(SpeechSynthesisAudioFormat.MP3_24000HZ_MONO_256KBPS)
                .build();
            ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<>() {
                @Override
                public void onEvent(SpeechSynthesisResult result) {
                    ByteBuffer buffer = result.getAudioFrame();
                    if (buffer != null) {
                        byte[] bytes = new byte[buffer.remaining()];
                        buffer.get(bytes);
                        try { audio.write(bytes); }
                        catch (Exception e) { throw new RuntimeException(e); }
                    }
                }
                @Override
                public void onComplete() {}
                public void onError(Exception e) { e.printStackTrace(); }
            };
            SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
            try {
                for (String text : new String[]{"Hello, welcome to Alibaba Cloud Model Studio.", "Text can be sent in segments, and audio is returned progressively."}) {
                    synthesizer.streamingCall(text);
                }
                synthesizer.streamingComplete(60000);
            } finally {
                synthesizer.getDuplexApi().close(1000, "done");
            }
        }
    }
}

Melhorar a qualidade da síntese

Idiomas e pronúncia

Escolha a abordagem de acordo com o conteúdo a controlar:
NecessidadeAbordagem
Definir o idioma de destino da vozUse language_hints para definir o idioma geral da síntese, orientar a leitura de números, abreviações e símbolos e melhorar a síntese em idiomas menos difundidos.
Corrigir palavras específicas ou substituir textoUse hot_fix para atribuir pinyin a palavras específicas ou substituir palavras antes da síntese, por exemplo, para corrigir nomes próprios de forma consistente.
Controlar pausas, leitura de números ou pronúncia em detalhesMarque o texto com tags SSML para controlar pausas, regras de leitura e pronúncia.
Ler fórmulas matemáticasUse o recurso LaTeX do CosyVoice para converter as fórmulas compatíveis em fala em chinês.
Para modelos e parâmetros, consulte a API Qwen-Audio-TTS ou a API CosyVoice. Para modelos, vozes, interfaces e uso de SSML e LaTeX, consulte SSML e LaTeX.
Ao usar SSML, envie o texto SSML completo em uma única entrada e receba o áudio gradualmente. A entrada de texto em vários fragmentos não é aceita.

Controle por instruções

Use instruction para especificar o idioma de síntese e descrever a velocidade, a emoção ou o estilo de fala em linguagem natural para controlar a voz sintetizada.
Para criar uma nova voz com gênero, idade ou características vocais específicas, ou consultar orientações e exemplos de descrições de voz, veja design de voz.
  • Qwen-Audio-TTS
  • CosyVoice
As vozes do sistema, clonadas e criadas por design de qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus e qwen-audio-3.0-tts-flash aceitam instruções em linguagem natural por meio de instruction nas solicitações de síntese.Recomendamos especificar o idioma de síntese e o efeito desejado em instruction para melhorar a qualidade da síntese. O idioma especificado na instrução deve corresponder ao idioma do texto a ser sintetizado. Por exemplo, ao sintetizar texto em holandês, defina:
Speak in Dutch, slowly and clearly.

Dialetos

A síntese de dialetos gera fala em dialetos chineses, como os de Henan ou Sichuan. A seleção do dialeto depende do modelo e do tipo de voz.
  • Qwen-Audio-TTS
  • CosyVoice
  • Vozes do sistema: selecione uma voz compatível com o dialeto de destino na lista Qwen-Audio-TTS. Vozes que oferecem o dialeto diretamente não exigem configurações adicionais. Para vozes compatíveis com instruções de dialeto, use o parâmetro de controle por instruções instruction.
  • Vozes clonadas: especifique o dialeto com o parâmetro de controle por instruções instruction.
Para vozes compatíveis com instruções de dialeto, passe instruction="请讲上海话。" ao inicializar SpeechSynthesizer para sintetizar texto em chinês no dialeto de Xangai.
Para Qwen3-TTS, selecione uma voz compatível com o dialeto desejado na lista de vozes Qwen3-TTS.

Tags de emoção e sons não verbais

Aplica-se a qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus e qwen-audio-3.0-tts-flash.
As tags de emoção e paralinguísticas controlam a emoção e o estilo da fala e inserem sons, como risadas ou suspiros, em posições específicas. Escreva as tags diretamente no texto a ser sintetizado, text, sem parâmetros adicionais.

Exemplos de uso

Este texto começa com uma interpretação animada, insere uma risada na posição indicada e continua a fala:
[excited]What a beautiful day![laughing]Let us go outside and have some fun!
Este texto muda para uma interpretação animada na segunda frase:
[serious]Please pay attention to the safety instructions.[excited]Now, let us get started!

Tags compatíveis

  • Tags de controle
  • Tags de sons não verbais
Uma tag de controle define a emoção ou o estilo do texto seguinte até a próxima tag de controle. Se frases longas forem segmentadas automaticamente, o efeito ficará restrito ao segmento resultante.
TagDescrição
[sad]Triste
[amazed]Surpreso
[deep and loud shouting]Grito grave e forte
[trembling]Trêmulo
[angry]Irritado
[excited]Animado
[sarcastic]Sarcástico
[curious]Curioso
[like dracula]Interpretação de Drácula
[bored]Entediado
[tired]Cansado
[scornful]Desdenhoso
[shouting]Grito
[asmr]Voz suave de ASMR
[panicked]Em pânico
[mischievously]Travesso
[empathetic]Empático
[whispers]Sussurro
[reluctantly]Relutante
[crying]Choro
[serious]Sério
[very slowly]Muito lento
[very fast]Muito rápido

Aplicação em produção

Para envio de texto, reprodução de áudio, reutilização de conexões, gerenciamento de concorrência e diagnóstico de desempenho, consulte Práticas recomendadas para síntese de fala. Mantenha a frequência de solicitações e a concorrência dentro dos limites de taxa do modelo.

Cancelar tarefa

Com Qwen-Audio-TTS ou CosyVoice, envie uma instrução de cancelamento para interromper a síntese atual. O servidor encerra a tarefa e retorna task-finished.
MétodoVersão necessáriaUso
SDK Python2.0.1 ou posteriorChame session.cancel() do objeto de sessão (a sessão retornada por client.audio.tts.connect).
SDK Java2.22.26 ou posteriorChame SpeechSynthesizer.streamingCancel().
Protocolo WebSocket diretoNão requer SDKEnvie finish-task com directive=cancel em input.

Modelos compatíveis

  • Singapore
  • China (Beijing)
  • Qwen-Audio-TTS: qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, qwen-audio-3.0-tts-flash
  • CosyVoice: cosyvoice-v3-plus, cosyvoice-v3-flash
  • Qwen3-TTS: qwen3-tts-flash-realtime
Para vozes do sistema e amostras de áudio, consulte as listas Qwen-Audio-TTS, CosyVoice e Qwen3-TTS. Uma voz clonada ou criada por design deve ser usada com o modelo de destino definido na criação.

Referência da API

Aplicações móveis que precisam de baixa latência e transmissão de áudio estável em redes instáveis podem usar AOQ. Para acesso via AOQ, diferenças entre AOQ, WebRTC e WebSocket e modelos compatíveis, veja a Visão geral da Realtime API.

FAQ

Verifique se voice é o ID de uma voz criada com sucesso e se seu target_model corresponde ao model de síntese. Para estado, requisitos do áudio de origem e orientações de qualidade, consulte Clonagem de voz.
Crie um novo workspace e conceda acesso apenas a modelos específicos. Isso limita o escopo da API key. Para mais detalhes, consulte Manage workspaces.