Skip to main content

Reconhecimento de fala em tempo real - Qwen

Conheça os recursos de reconhecimento de fala em tempo real, as chamadas de áudio em fluxo e as formas de melhorar os resultados.

Recursos

O reconhecimento de fala em tempo real recebe um fluxo contínuo de áudio e retorna o texto transcrito para entrada por voz, atas de reuniões, legendas ao vivo e aplicações semelhantes.
  • Idiomas e dialetos: detecta o idioma automaticamente e reconhece vários idiomas e dialetos chineses. Consulte a visão geral do reconhecimento de fala.
  • Detecção de fala: Detecte automaticamente os limites da fala e ajuste o limiar entre voz e ruído para diferentes ambientes de gravação.
  • Processamento de texto: Preveja pontuação, preserve expressões de dialetos chineses ou refine hesitações, repetições e autocorreções.
  • Melhoria de precisão: usa palavras-chave para nomes e termos específicos e o contexto de interações anteriores.
  • Resultados estruturados: fornece resultados por frase e carimbos de tempo para legendas, armazenamento de texto e localização no áudio.
  • Entrada de áudio: Use vários formatos e escolha uma taxa de amostragem compatível com o modelo.
Os recursos variam por modelo. Verifique o suporte de cada funcionalidade. Para enviar uma gravação completa em uma única solicitação, consulte Reconhecimento de fala não em tempo real.
Caso de usoModelo recomendadoComportamento dos resultados
Transcrição contínua de reuniões, aulas e legendasqwen-audio-3.1-asr-flash-streamingRetorna resultados intermediários e finais para exibir e atualizar o texto durante a fala.
Entradas de voz curtas, como digitação por voz e mensagens de vozqwen-audio-3.1-asr-flash-messageRetorna resultados finais por frase por padrão. Resultados intermediários e refinamento de texto podem ser ativados separadamente.

Primeiros passos

Instale o SDK DashScope e obtenha uma chave de API no console e configure a variável de ambiente DASHSCOPE_API_KEY. Baixe o áudio de exemplo como asr_example.wav no diretório de trabalho. Ele contém fala em inglês em um arquivo WAV mono de 16 kHz com codificação PCM de 16 bits. Os exemplos enviam o arquivo em blocos para simular entrada em tempo real, sem microfone.
  • Qwen-Audio-ASR-Streaming
  • Qwen-Audio-ASR-Message
Este exemplo usa qwen-audio-3.1-asr-flash-streaming para enviar áudio continuamente com o SDK DashScope enquanto recebe e imprime resultados provisórios e finais. Após o áudio terminar, aguarde os resultados restantes e a conclusão da tarefa antes de fechar a conexão.
Java
import com.alibaba.dashscope.audio.asr.recognition.Recognition;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionResult;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.io.InputStream;
import java.nio.ByteBuffer;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.concurrent.atomic.AtomicReference;

public class Main {
    public static void main(String[] args) throws Exception {
        Constants.baseWebsocketApiUrl =
            "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        RecognitionParam param = RecognitionParam.builder()
            .apiKey(System.getenv("DASHSCOPE_API_KEY"))
            .model("qwen-audio-3.1-asr-flash-streaming")
            .format("wav")
            .sampleRate(16000)
            .build();
        Recognition recognition = new Recognition();
        AtomicReference<Exception> failure = new AtomicReference<>();
        ResultCallback<RecognitionResult> callback = new ResultCallback<RecognitionResult>() {
            @Override
            public void onEvent(RecognitionResult result) {
                if (result.getSentence() != null && result.getSentence().getText() != null
                        && !result.getSentence().getText().isEmpty()) {
                    System.out.println(result.getSentence());
                }
            }
            @Override
            public void onComplete() {}
            @Override
            public void onError(Exception error) {
                failure.set(error);
            }
        };
        try {
            recognition.call(param, callback);
            try (InputStream audio = Files.newInputStream(Paths.get("asr_example.wav"))) {
                byte[] buffer = new byte[3200];
                int size;
                while ((size = audio.read(buffer)) != -1) {
                    recognition.sendAudioFrame(ByteBuffer.wrap(buffer, 0, size));
                    Thread.sleep(100);
                }
            }
            recognition.stop();
            if (failure.get() != null) throw failure.get();
        } finally {
            if (recognition.getDuplexApi() != null) {
                recognition.getDuplexApi().close(1000, "bye");
            }
        }
        System.exit(0);
    }
}

Processar os resultados

  • Resultados provisórios: Use para legendas ao vivo ou pré-visualização da entrada. O texto da fala pode ser revisado durante o reconhecimento. Atualize a fala exibida em vez de concatenar cada resultado.
  • Resultados finais: Ao fim da fala, substitua o texto provisório pelo resultado final para transcrições salvas, legendas ou processamento posterior.
    Qwen-Audio-ASR-Message retorna apenas resultados finais por padrão; ative intermediate_result_enabled para pré-visualização ao vivo.
  • Timestamps: Associe o texto à posição no áudio para alinhar legendas, destacar palavras-chave ou navegar pelo áudio. Use timestamps por fala e por palavra dos resultados finais em vez de um horário provisório de término ainda não confirmado. A unidade é o milissegundo.
    Qwen3-ASR-Flash-Realtime não retorna timestamps de transcrição.

Melhorar o reconhecimento

Ajuste os limites da fala, refine ou preserve expressões faladas e configure palavras-chave e contexto para melhorar a segmentação, a legibilidade e o reconhecimento de termos específicos.

Ajustar a segmentação de frases

A detecção de atividade de voz (VAD) usa o silêncio após a fala para determinar o fim de um enunciado e emitir o resultado final. Um limite curto favorece respostas rápidas. Um limite maior aceita pausas dentro da frase, mas aumenta a espera pelo resultado final. Ajuste-o ao ritmo da fala e da interação.
ModeloConfiguração
qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.1-asr-flash-messageAjuste o limite de silêncio com max_sentence_silence. Use vad_model para selecionar um modelo VAD de acordo com a forma de captação do áudio:
  • Campo próximo (near_meeting_16k): quem fala está próximo do microfone, como em chamadas de atendimento ao cliente com headset ou entrada de voz em aplicativos com o celular na mão.
  • Campo distante (far_field_meeting_16k): quem fala está mais distante do microfone, como em interações com alto-falantes inteligentes, captação por microfones compartilhados em salas de reunião e interações de voz com viva-voz em veículos.
qwen-audio-3.0-asr-flash-streaming, Fun-ASR-Realtime (série)Ajuste o limite de silêncio com max_sentence_silence.
ParaformerPara segmentação VAD, ajuste max_sentence_silence. Você também pode alternar para segmentação semântica com semantic_punctuation_enabled.
Qwen3-ASR-Flash-RealtimeAjuste o limite de silêncio e a sensibilidade com silence_duration_ms e threshold em session.turn_detection. Também é possível desativar VAD e deixar o cliente controlar os limites ao confirmar o áudio.

Refinar o texto

A fala costuma conter hesitações, repetições e autocorreções. O refinamento do texto organiza essas expressões para mensagens de voz e entrada por fala. No qwen-audio-3.1-asr-flash-message, disfluency_removal_enabled controla o refinamento. Ele se aplica aos resultados finais; atualize a exibição ao fim da fala.

Preservar expressões dialetais

Ao reconhecer um dialeto chinês, escolha entre preservar as expressões dialetais ou transcrevê-las em chinês padrão. Legendas dialetais podem exigir as expressões originais, enquanto registros para um público mais amplo podem exigir chinês padrão. Em qwen-audio-3.1-asr-flash-streaming e qwen-audio-3.1-asr-flash-message, use keep_dialect. No último modelo, a configuração aplica-se apenas aos resultados finais.

Palavras-chave e enriquecimento de contexto

Palavras-chave ajudam a reconhecer marcas, nomes próprios e termos especializados. O enriquecimento de contexto fornece termos e informações de interações anteriores. Para configuração, modelos compatíveis e ajustes, consulte Melhorar a precisão do reconhecimento.

Filtrar palavras sensíveis

A filtragem substitui palavras especificadas pelo mesmo número de asteriscos ou as remove do texto, por exemplo para ocultar conteúdo de legendas ou transcrições. Qwen-Audio-ASR-Streaming e Fun-ASR-Realtime usam special_word_filter.

Uso em produção

Em produção, gerencie conexões e concorrência conforme o tráfego e trate silêncios longos, novas tentativas e liberação de recursos. Consulte as práticas recomendadas de reconhecimento de fala para preparação do áudio, gerenciamento de tarefas e conexões, concorrência Java e exemplos completos.

Modelos e regiões suportados

  • Singapore
  • China (Beijing)
  • Qwen-Audio-ASR-Message: qwen-audio-3.1-asr-flash-message
  • Qwen-Audio-ASR-Streaming: qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streaming
  • Fun-ASR-Realtime: fun-asr-realtime (versão estável)
  • Qwen-ASR-Realtime: qwen3-asr-flash-realtime (versão estável)

Limites de uso

O áudio em tempo real deve ser mono. Selecione o formato e a taxa de amostragem na tabela e configure format e sample_rate conforme o áudio real.
ModeloMétodo de entradaFormato de áudioTaxa de amostragemTamanho/duração
qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streamingFluxo bináriopcm, wav, mp3, opus, speex, aac, amrQualquer taxaIlimitado
qwen-audio-3.1-asr-flash-messageFluxo bináriopcm, wav, mp3, opus, speex, aac, amr16 kHz—
Fun-ASR-Realtime (série) (fun-asr-realtime)Fluxo bináriopcm, wav, mp3, opus, speex, aac, amrQualquer taxaIlimitado
Fun-ASR-Flash-8K-Realtime (série) (fun-asr-flash-8k-realtime)Fluxo bináriopcm, wav, mp3, opus, speex, aac, amr8 kHzIlimitado
qwen3-asr-flash-realtimeÁudio Base64 em eventos JSONpcm, opus8 kHz, 16 kHzIlimitado
paraformer-realtime-v2Fluxo bináriopcm, wav, mp3, opus, speex, aac, amrQualquer taxaIlimitado
paraformer-realtime-8k-v2Fluxo bináriopcm, wav, mp3, opus, speex, aac, amr8 kHzIlimitado
Para verificar e converter o áudio, consulte Preparar o áudio de entrada.

Referência da API

Para áudio em tempo real que exige baixa latência, resiliência em redes fracas, cancelamento de eco e supressão de ruído, considere AOQ. Consulte a visão geral da Realtime API para seleção de protocolo, modelos e integração.