Skip to main content

Sintesis suara real-time

Pelajari fitur sintesis ucapan real-time, pemanggilan streaming, dan cara meningkatkan kualitas sintesis.

Fitur

Sintesis ucapan real-time menerima segmen teks dan mengirimkan audio secara bertahap, sehingga teks yang dihasilkan model bahasa besar dapat langsung diubah menjadi ucapan.
  • Bahasa dan dialek: Pilih model dan suara untuk bahasa tujuan, atau tentukan dialek melalui instruksi. Lihat Dialek.
  • Ekspresi ucapan: Sesuaikan cara berbicara dengan instruksi bahasa alami atau sisipkan tag emosi dan nonverbal. Lihat Kontrol instruksi dan Tag emosi dan nonverbal.
  • Suara kustom: Buat suara dari sampel audio melalui kloning suara, atau dari deskripsi teks melalui desain suara.
  • Kontrol terperinci dan rumus: Gunakan SSML dan LaTeX untuk mengatur jeda dan pelafalan atau mengubah rumus menjadi ucapan.
  • Pemfilteran Markdown: Ubah konten Markdown, seperti tabel, menjadi teks yang sesuai untuk dibacakan. Lihat Pemfilteran Markdown.
  • Kontrol audio: Atur kecepatan, nada, volume, dan bitrate, dengan format audio umum seperti PCM, WAV, MP3, dan Opus serta laju sampel hingga 48 kHz. Lihat parameter API terkait untuk nilai dan cakupan dukungannya.
Fitur yang didukung berbeda menurut model dan suara. Periksa cakupannya pada dokumentasi fitur terkait.Untuk mengirim teks lengkap dalam satu permintaan HTTP, lihat Sintesis ucapan non-real-time.

Mulai menggunakan

Instal DashScope SDK, lalu dapatkan API key di konsol dan atur variabel lingkungan DASHSCOPE_API_KEY.
  • Qwen-Audio-TTS (disarankan)
  • CosyVoice
Contoh ini menggunakan qwen-audio-3.1-tts-flash dan suara sistem longanhuan_v3.1 di Beijing. Teks dikirim per segmen dan audio yang diterima disimpan ke output.mp3.
Java
import com.alibaba.dashscope.audio.tts.SpeechSynthesisResult;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisAudioFormat;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesisParam;
import com.alibaba.dashscope.audio.ttsv2.SpeechSynthesizer;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.utils.Constants;
import java.io.FileOutputStream;
import java.nio.ByteBuffer;

public class Main {
    public static void main(String[] args) throws Exception {
        Constants.baseWebsocketApiUrl = "wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference";
        try (FileOutputStream audio = new FileOutputStream("output.mp3")) {
            SpeechSynthesisParam param = SpeechSynthesisParam.builder()
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                .model("qwen-audio-3.1-tts-flash")
                .voice("longanhuan_v3.1")
                .format(SpeechSynthesisAudioFormat.MP3_24000HZ_MONO_256KBPS)
                .build();
            ResultCallback<SpeechSynthesisResult> callback = new ResultCallback<>() {
                @Override
                public void onEvent(SpeechSynthesisResult result) {
                    ByteBuffer buffer = result.getAudioFrame();
                    if (buffer != null) {
                        byte[] bytes = new byte[buffer.remaining()];
                        buffer.get(bytes);
                        try { audio.write(bytes); }
                        catch (Exception e) { throw new RuntimeException(e); }
                    }
                }
                @Override
                public void onComplete() {}
                public void onError(Exception e) { e.printStackTrace(); }
            };
            SpeechSynthesizer synthesizer = new SpeechSynthesizer(param, callback);
            try {
                for (String text : new String[]{"Hello, welcome to Alibaba Cloud Model Studio.", "Text can be sent in segments, and audio is returned progressively."}) {
                    synthesizer.streamingCall(text);
                }
                synthesizer.streamingComplete(60000);
            } finally {
                synthesizer.getDuplexApi().close(1000, "done");
            }
        }
    }
}

Meningkatkan kualitas sintesis

Bahasa dan pelafalan

Pilih metode berdasarkan konten yang perlu dikontrol:
KebutuhanMetode
Menentukan bahasa target suaraGunakan language_hints untuk menentukan bahasa sintesis secara keseluruhan, memandu pembacaan angka, singkatan, dan simbol, serta meningkatkan sintesis bahasa yang kurang umum.
Memperbaiki kata tertentu atau mengganti teksGunakan hot_fix untuk menetapkan pinyin pada kata tertentu atau mengganti kata sebelum sintesis, misalnya untuk memperbaiki nama khusus secara konsisten.
Mengontrol jeda, pembacaan angka, atau pelafalan secara terperinciTandai teks dengan tag SSML untuk mengatur jeda, aturan pembacaan, dan pelafalan.
Membacakan rumus matematikaGunakan fitur LaTeX CosyVoice untuk mengubah rumus yang didukung menjadi ucapan bahasa Mandarin.
Untuk model yang didukung dan konfigurasi parameter, lihat API Qwen-Audio-TTS atau API CosyVoice. Untuk model, suara, antarmuka, dan penggunaan SSML serta LaTeX, lihat SSML dan LaTeX.
Saat menggunakan SSML, kirim seluruh teks SSML dalam satu input dan terima audio secara bertahap. Input teks dalam beberapa bagian tidak didukung.

Pemfilteran Markdown

Saat menyintesis konten Markdown yang memuat tabel atau tautan, tetapkan enable_markdown_filter ke true untuk mengubah Markdown menjadi teks yang sesuai untuk dibacakan. Qwen-Audio-TTS dan CosyVoice mendukung fitur ini, kecuali cosyvoice-v2. Untuk konfigurasi, lihat API Qwen-Audio-TTS dan API CosyVoice.

Kontrol instruksi

Gunakan instruction untuk menentukan bahasa sintesis serta mendeskripsikan kecepatan, emosi, atau gaya bicara dalam bahasa alami guna mengontrol suara hasil sintesis.
Untuk membuat suara baru dengan gender, usia, atau karakter vokal tertentu, atau membaca panduan dan contoh penulisan deskripsi suara, lihat desain suara.
  • Qwen-Audio-TTS
  • CosyVoice
Suara sistem, hasil kloning, dan hasil desain untuk qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, dan qwen-audio-3.0-tts-flash semuanya mendukung instruksi bahasa alami melalui instruction dalam permintaan sintesis.Sebaiknya tentukan bahasa sintesis dan efek yang diinginkan dalam instruction untuk meningkatkan kualitas sintesis. Bahasa yang ditentukan dalam instruksi harus sama dengan bahasa teks yang akan disintesis. Misalnya, untuk menyintesis teks berbahasa Belanda, atur:
Speak in Dutch, slowly and clearly.

Dialek

Sintesis dialek menghasilkan ucapan dalam dialek Mandarin seperti Henan atau Sichuan. Cara memilih dialek bergantung pada model dan jenis suara.
  • Qwen-Audio-TTS
  • CosyVoice
  • Suara sistem: Pilih suara yang mendukung dialek tujuan dari daftar suara Qwen-Audio-TTS. Suara yang mendukung dialek secara langsung tidak memerlukan pengaturan tambahan. Untuk suara yang mendukung instruksi dialek, gunakan parameter kontrol instruksi instruction.
    Untuk suara multibahasa dan dialek pada qwen-audio-3.1-tts-flash, Anda juga dapat menggunakan language_hints untuk menentukan dialek. Lihat pengaturan suara multibahasa dan dialek.
  • Suara hasil kloning: Tentukan dialek melalui parameter kontrol instruksi instruction.
Untuk suara yang mendukung instruksi dialek, berikan instruction="请讲上海话。" saat menginisialisasi SpeechSynthesizer untuk menyintesis teks bahasa Mandarin dalam dialek Shanghai.
Untuk Qwen3-TTS, pilih suara yang mendukung dialek tujuan dari daftar suara Qwen3-TTS.

Tag emosi dan nonverbal

Berlaku untuk qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, dan qwen-audio-3.0-tts-flash.
Tag emosi dan paralinguistik mengontrol emosi serta gaya ucapan dan menyisipkan suara seperti tawa atau desahan pada posisi tertentu. Tulis tag langsung dalam teks yang akan disintesis, text, tanpa parameter tambahan.

Contoh penggunaan

Teks berikut dimulai dengan nada antusias, menyisipkan tawa di posisi tertentu, lalu melanjutkan ucapan:
[excited]What a beautiful day![laughing]Let us go outside and have some fun!
Teks berikut beralih ke nada antusias pada kalimat kedua:
[serious]Please pay attention to the safety instructions.[excited]Now, let us get started!

Tag yang didukung

  • Tag kontrol
  • Tag nonverbal
Tag kontrol mengatur emosi atau gaya teks berikutnya hingga tag kontrol selanjutnya. Jika kalimat panjang disegmentasi otomatis, efeknya dibatasi oleh segmen teks yang dihasilkan.
TagDeskripsi
[sad]Sedih
[amazed]Kagum
[deep and loud shouting]Teriakan berat dan lantang
[trembling]Gemetar
[angry]Marah
[excited]Antusias
[sarcastic]Sarkastis
[curious]Penasaran
[like dracula]Gaya Dracula
[bored]Bosan
[tired]Lelah
[scornful]Meremehkan
[shouting]Berteriak
[asmr]Suara ASMR lembut
[panicked]Panik
[mischievously]Jahil
[empathetic]Berempati
[whispers]Berbisik
[reluctantly]Enggan
[crying]Menangis
[serious]Serius
[very slowly]Sangat lambat
[very fast]Sangat cepat

Terapkan di produksi

Untuk pengiriman teks, pemutaran audio, penggunaan kembali koneksi, pengelolaan konkurensi, dan pemecahan masalah performa, lihat Praktik terbaik sintesis suara. Pastikan frekuensi permintaan dan konkurensi tetap dalam batas laju model.

Cancel task

Dengan Qwen-Audio-TTS atau CosyVoice, kirim instruksi pembatalan untuk menghentikan sintesis saat ini. Server mengakhiri tugas dan mengembalikan task-finished.
MetodePersyaratan versiPenggunaan
Python SDK2.0.1 atau lebih baruPanggil session.cancel() pada objek sesi (sesi yang dikembalikan oleh client.audio.tts.connect).
Java SDK2.22.26 atau lebih baruPanggil SpeechSynthesizer.streamingCancel().
Protokol WebSocket langsungTidak memerlukan SDKKirim finish-task dengan directive=cancel dalam input.

Model yang didukung

  • Singapura
  • China (Beijing)
  • Qwen-Audio-TTS: qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, qwen-audio-3.0-tts-flash
  • CosyVoice: cosyvoice-v3-plus, cosyvoice-v3-flash
  • Qwen3-TTS: qwen3-tts-flash-realtime
Untuk suara sistem dan sampel audio, lihat daftar suara Qwen-Audio-TTS, CosyVoice, dan Qwen3-TTS. Gunakan suara hasil kloning atau desain dengan model tujuan yang ditentukan saat suara dibuat.

Referensi API

Aplikasi seluler yang memerlukan latensi rendah dan transmisi audio stabil pada jaringan lemah dapat menggunakan AOQ. Untuk akses AOQ, perbedaan antara AOQ, WebRTC, dan WebSocket, serta dukungan modelnya, lihat Ikhtisar Realtime API.

FAQ

Pastikan voice adalah ID suara yang berhasil dibuat dan target_model-nya sesuai dengan model sintesis. Untuk status suara, persyaratan audio sumber, dan saran kualitas, lihat Kloning suara.
Buat ruang kerja baru dan berikan akses hanya ke model tertentu. Hal ini membatasi cakupan Kunci API. Untuk detailnya, lihat Kelola ruang kerja.