Skip to main content

Pengenalan ucapan real-time - Qwen

Pelajari kemampuan pengenalan ucapan real-time, pemanggilan aliran audio, dan cara meningkatkan hasil pengenalan.

Fitur

Pengenalan ucapan real-time menerima aliran audio berkelanjutan dan mengembalikan teks transkripsi untuk input suara, catatan rapat, teks langsung, dan aplikasi serupa.
  • Bahasa dan dialek: Mendeteksi bahasa secara otomatis dan mengenali berbagai bahasa serta dialek Mandarin. Lihat Ikhtisar pengenalan ucapan untuk cakupan dukungan.
  • Deteksi suara: Deteksi batas ucapan secara otomatis dan sesuaikan ambang suara versus derau untuk berbagai lingkungan perekaman.
  • Pemrosesan teks: Prediksi tanda baca, pertahankan ungkapan dialek Tionghoa, atau rapikan kata pengisi, pengulangan, dan koreksi diri.
  • Peningkatan akurasi: Menggunakan hotword untuk nama dan istilah tertentu serta konteks dari percakapan sebelumnya.
  • Hasil terstruktur: Menggunakan hasil per kalimat dan stempel waktu untuk menampilkan teks, menyimpan transkripsi, dan menemukan posisi dalam audio.
  • Masukan audio: Gunakan berbagai format audio dan pilih laju sampel yang didukung model.
Kemampuan berbeda menurut model. Periksa dukungan setiap fitur. Untuk mengirim rekaman lengkap dalam satu permintaan, lihat Pengenalan ucapan non-real-time.
Kasus penggunaanModel yang direkomendasikanPerilaku hasil
Transkripsi berkelanjutan untuk rapat, kelas, dan teks langsungqwen-audio-3.1-asr-flash-streamingMengembalikan hasil sementara dan akhir untuk menampilkan serta memperbarui teks saat pengguna berbicara.
Input suara singkat, seperti metode input suara dan pesan suaraqwen-audio-3.1-asr-flash-messageSecara default mengembalikan hasil akhir per kalimat. Hasil sementara dan perapian teks dapat diaktifkan secara terpisah.

Mulai menggunakan

Instal DashScope SDK, lalu dapatkan API key di konsol, lalu atur variabel lingkungan DASHSCOPE_API_KEY. Unduh audio contoh sebagai asr_example.wav dalam direktori kerja. File ini berisi ucapan bahasa Inggris dalam WAV mono 16 kHz dengan pengodean PCM 16-bit. Contoh mengirim file per potongan untuk menyimulasikan input real-time tanpa mikrofon.
  • Qwen-Audio-ASR-Streaming
  • Qwen-Audio-ASR-Message
Contoh ini menggunakan qwen-audio-3.1-asr-flash-streaming untuk mengirim audio terus-menerus melalui DashScope SDK sambil menerima dan mencetak hasil sementara dan akhir. Setelah audio berakhir, tunggu hasil yang tersisa dan penyelesaian tugas sebelum menutup koneksi.
Java
import com.alibaba.dashscope.audio.asr.recognition.Recognition;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionParam;
import com.alibaba.dashscope.audio.asr.recognition.RecognitionResult;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;

import java.io.InputStream;
import java.nio.ByteBuffer;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.concurrent.atomic.AtomicReference;

public class Main {
    public static void main(String[] args) throws Exception {
        Constants.baseWebsocketApiUrl =
            "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference";
        RecognitionParam param = RecognitionParam.builder()
            .apiKey(System.getenv("DASHSCOPE_API_KEY"))
            .model("qwen-audio-3.1-asr-flash-streaming")
            .format("wav")
            .sampleRate(16000)
            .build();
        Recognition recognition = new Recognition();
        AtomicReference<Exception> failure = new AtomicReference<>();
        ResultCallback<RecognitionResult> callback = new ResultCallback<RecognitionResult>() {
            @Override
            public void onEvent(RecognitionResult result) {
                if (result.getSentence() != null && result.getSentence().getText() != null
                        && !result.getSentence().getText().isEmpty()) {
                    System.out.println(result.getSentence());
                }
            }
            @Override
            public void onComplete() {}
            @Override
            public void onError(Exception error) {
                failure.set(error);
            }
        };
        try {
            recognition.call(param, callback);
            try (InputStream audio = Files.newInputStream(Paths.get("asr_example.wav"))) {
                byte[] buffer = new byte[3200];
                int size;
                while ((size = audio.read(buffer)) != -1) {
                    recognition.sendAudioFrame(ByteBuffer.wrap(buffer, 0, size));
                    Thread.sleep(100);
                }
            }
            recognition.stop();
            if (failure.get() != null) throw failure.get();
        } finally {
            if (recognition.getDuplexApi() != null) {
                recognition.getDuplexApi().close(1000, "bye");
            }
        }
        System.exit(0);
    }
}

Memproses hasil pengenalan

  • Hasil sementara: Gunakan untuk subtitel langsung atau pratinjau masukan. Teks ujaran dapat direvisi selama pengenalan. Perbarui tampilan ujaran, jangan gabungkan setiap hasil.
  • Hasil akhir: Saat ujaran berakhir, ganti teks sementara dengan hasil akhir untuk transkrip tersimpan, subtitel, atau pemrosesan berikutnya.
    Qwen-Audio-ASR-Message secara default hanya mengembalikan hasil akhir; aktifkan intermediate_result_enabled jika memerlukan pratinjau langsung.
  • Stempel waktu: Hubungkan teks dengan posisi audio untuk menyelaraskan subtitel, menyorot kata kunci, atau mencari posisi audio. Gunakan stempel waktu tingkat ujaran dan kata dari hasil akhir, bukan waktu akhir sementara yang belum pasti. Satuannya milidetik.
    Qwen3-ASR-Flash-Realtime tidak mengembalikan stempel waktu transkrip.

Meningkatkan hasil pengenalan

Sesuaikan batas ujaran, rapikan atau pertahankan ungkapan lisan, serta konfigurasikan hotword dan konteks untuk meningkatkan segmentasi, keterbacaan teks, dan pengenalan istilah tertentu.

Menyesuaikan pemenggalan kalimat

Deteksi aktivitas suara (VAD) menggunakan keheningan setelah ucapan untuk menentukan akhir ujaran dan menghasilkan hasil akhir. Ambang singkat cocok untuk interaksi cepat. Ambang lebih panjang mengakomodasi jeda dalam kalimat, tetapi menambah waktu tunggu hasil akhir. Sesuaikan dengan kecepatan bicara dan alur interaksi.
ModelKonfigurasi
qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.1-asr-flash-messageAtur ambang keheningan dengan max_sentence_silence. Gunakan vad_model untuk memilih model VAD berdasarkan cara audio direkam:
  • Jarak dekat (near_meeting_16k): pembicara berada dekat dengan mikrofon, seperti pada panggilan layanan pelanggan menggunakan headset atau input suara pada aplikasi di ponsel yang dipegang.
  • Jarak jauh (far_field_meeting_16k): pembicara berada jauh dari mikrofon, seperti pada interaksi dengan speaker pintar, penggunaan mikrofon bersama di ruang rapat, dan interaksi suara hands-free di kendaraan.
qwen-audio-3.0-asr-flash-streaming, Fun-ASR-Realtime (seri)Atur ambang keheningan dengan max_sentence_silence.
ParaformerUntuk segmentasi VAD, atur max_sentence_silence. Anda juga dapat beralih ke segmentasi semantik melalui semantic_punctuation_enabled.
Qwen3-ASR-Flash-RealtimeAtur ambang keheningan dan sensitivitas melalui silence_duration_ms dan threshold dalam session.turn_detection. Anda juga dapat menonaktifkan VAD agar klien mengontrol batas ujaran dengan melakukan commit audio.

Merapikan teks

Ucapan sering berisi kata pengisi, pengulangan, dan koreksi diri. Pemolesan teks merapikan ungkapan tersebut untuk pesan suara dan masukan suara. Pada qwen-audio-3.1-asr-flash-message, disfluency_removal_enabled mengontrol pemolesan. Fitur ini berlaku pada hasil akhir; perbarui tampilan saat ujaran berakhir.

Mempertahankan ungkapan dialek

Saat mengenali dialek Tionghoa, pilih apakah ungkapan dialek dipertahankan atau ditranskripsikan menjadi bahasa Mandarin standar. Subtitel dialek dapat memerlukan ungkapan asli, sedangkan catatan untuk pembaca lebih luas dapat memerlukan bahasa standar. Pada qwen-audio-3.1-asr-flash-streaming dan qwen-audio-3.1-asr-flash-message, gunakan keep_dialect. Untuk model yang disebut terakhir, pengaturan ini hanya berlaku pada hasil akhir.

Hotword dan peningkatan konteks

Hotword membantu mengenali merek, nama orang, dan istilah khusus. Peningkatan konteks menyediakan istilah serta latar belakang dari percakapan sebelumnya. Untuk konfigurasi, model yang didukung, dan penyesuaian, lihat Meningkatkan akurasi pengenalan.

Pemfilteran kata sensitif

Penyaringan kata sensitif mengganti kata yang ditentukan dengan tanda bintang dalam jumlah sama atau menghapusnya dari teks, misalnya untuk menyamarkan subtitel atau transkrip. Qwen-Audio-ASR-Streaming dan Fun-ASR-Realtime menggunakan special_word_filter.

Penggunaan dalam produksi

Untuk produksi, kelola koneksi dan konkurensi sesuai lalu lintas, serta tangani keheningan panjang, percobaan ulang, dan pembersihan sumber daya. Lihat praktik terbaik pengenalan suara untuk persiapan audio, pengelolaan tugas dan koneksi, konkurensi Java, dan contoh lengkap.

Model dan wilayah yang didukung

  • Singapura
  • China (Beijing)
  • Qwen-Audio-ASR-Message: qwen-audio-3.1-asr-flash-message
  • Qwen-Audio-ASR-Streaming: qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streaming
  • Fun-ASR-Realtime: fun-asr-realtime (versi stabil)
  • Qwen-ASR-Realtime: qwen3-asr-flash-realtime (versi stabil)

Batas penggunaan

Audio waktu nyata harus mono. Pilih format dan laju sampel dari tabel, lalu atur format dan sample_rate sesuai audio sebenarnya.
ModelMetode masukanFormat audioLaju sampelUkuran/durasi
qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streamingAliran binerpcm, wav, mp3, opus, speex, aac, amrBerapa punTanpa batas
qwen-audio-3.1-asr-flash-messageAliran binerpcm, wav, mp3, opus, speex, aac, amr16 kHz—
Fun-ASR-Realtime (seri) (fun-asr-realtime)Aliran binerpcm, wav, mp3, opus, speex, aac, amrBerapa punTanpa batas
Fun-ASR-Flash-8K-Realtime (seri) (fun-asr-flash-8k-realtime)Aliran binerpcm, wav, mp3, opus, speex, aac, amr8 kHzTanpa batas
qwen3-asr-flash-realtimeAudio Base64 dalam peristiwa JSONpcm, opus8 kHz, 16 kHzTanpa batas
paraformer-realtime-v2Aliran binerpcm, wav, mp3, opus, speex, aac, amrBerapa punTanpa batas
paraformer-realtime-8k-v2Aliran binerpcm, wav, mp3, opus, speex, aac, amr8 kHzTanpa batas
Untuk pemeriksaan dan konversi audio, lihat Siapkan audio masukan.

Referensi API

Untuk audio waktu nyata yang memerlukan latensi rendah, ketahanan pada jaringan lemah, pembatalan gema, dan peredaman derau, pertimbangkan AOQ. Lihat ikhtisar Realtime API untuk pemilihan protokol, model, dan integrasi.