Pelajari fitur sintesis ucapan real-time, pemanggilan streaming, dan cara meningkatkan kualitas sintesis.
Fitur
Sintesis ucapan real-time menerima segmen teks dan mengirimkan audio secara bertahap, sehingga teks yang dihasilkan model bahasa besar dapat langsung diubah menjadi ucapan.
- Bahasa dan dialek: Pilih model dan suara untuk bahasa tujuan, atau tentukan dialek melalui instruksi. Lihat Dialek.
- Ekspresi ucapan: Sesuaikan cara berbicara dengan instruksi bahasa alami atau sisipkan tag emosi dan nonverbal. Lihat Kontrol instruksi dan Tag emosi dan nonverbal.
- Suara kustom: Buat suara dari sampel audio melalui kloning suara, atau dari deskripsi teks melalui desain suara.
- Kontrol terperinci dan rumus: Gunakan SSML dan LaTeX untuk mengatur jeda dan pelafalan atau mengubah rumus menjadi ucapan.
- Pemfilteran Markdown: Ubah konten Markdown, seperti tabel, menjadi teks yang sesuai untuk dibacakan. Lihat Pemfilteran Markdown.
- Kontrol audio: Atur kecepatan, nada, volume, dan bitrate, dengan format audio umum seperti PCM, WAV, MP3, dan Opus serta laju sampel hingga 48 kHz. Lihat parameter API terkait untuk nilai dan cakupan dukungannya.
Fitur yang didukung berbeda menurut model dan suara. Periksa cakupannya pada dokumentasi fitur terkait.Untuk mengirim teks lengkap dalam satu permintaan HTTP, lihat Sintesis ucapan non-real-time.
Mulai menggunakan
Instal DashScope SDK, lalu dapatkan API key di konsol dan atur variabel lingkungan DASHSCOPE_API_KEY.
- Qwen-Audio-TTS (disarankan)
- CosyVoice
Contoh ini menggunakan qwen-audio-3.1-tts-flash dan suara sistem
longanhuan_v3.1 di Beijing. Teks dikirim per segmen dan audio yang diterima disimpan ke output.mp3.Java
Meningkatkan kualitas sintesis
Bahasa dan pelafalan
Pilih metode berdasarkan konten yang perlu dikontrol:
| Kebutuhan | Metode |
|---|---|
| Menentukan bahasa target suara | Gunakan language_hints untuk menentukan bahasa sintesis secara keseluruhan, memandu pembacaan angka, singkatan, dan simbol, serta meningkatkan sintesis bahasa yang kurang umum. |
| Memperbaiki kata tertentu atau mengganti teks | Gunakan hot_fix untuk menetapkan pinyin pada kata tertentu atau mengganti kata sebelum sintesis, misalnya untuk memperbaiki nama khusus secara konsisten. |
| Mengontrol jeda, pembacaan angka, atau pelafalan secara terperinci | Tandai teks dengan tag SSML untuk mengatur jeda, aturan pembacaan, dan pelafalan. |
| Membacakan rumus matematika | Gunakan fitur LaTeX CosyVoice untuk mengubah rumus yang didukung menjadi ucapan bahasa Mandarin. |
Saat menggunakan SSML, kirim seluruh teks SSML dalam satu input dan terima audio secara bertahap. Input teks dalam beberapa bagian tidak didukung.
Pemfilteran Markdown
Saat menyintesis konten Markdown yang memuat tabel atau tautan, tetapkan enable_markdown_filter ke true untuk mengubah Markdown menjadi teks yang sesuai untuk dibacakan. Qwen-Audio-TTS dan CosyVoice mendukung fitur ini, kecuali cosyvoice-v2. Untuk konfigurasi, lihat API Qwen-Audio-TTS dan API CosyVoice.
Kontrol instruksi
Gunakan instruction untuk menentukan bahasa sintesis serta mendeskripsikan kecepatan, emosi, atau gaya bicara dalam bahasa alami guna mengontrol suara hasil sintesis.
Untuk membuat suara baru dengan gender, usia, atau karakter vokal tertentu, atau membaca panduan dan contoh penulisan deskripsi suara, lihat desain suara.
- Qwen-Audio-TTS
- CosyVoice
Suara sistem, hasil kloning, dan hasil desain untuk qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, dan qwen-audio-3.0-tts-flash semuanya mendukung instruksi bahasa alami melalui
instruction dalam permintaan sintesis.Sebaiknya tentukan bahasa sintesis dan efek yang diinginkan dalam instruction untuk meningkatkan kualitas sintesis. Bahasa yang ditentukan dalam instruksi harus sama dengan bahasa teks yang akan disintesis. Misalnya, untuk menyintesis teks berbahasa Belanda, atur:Dialek
Sintesis dialek menghasilkan ucapan dalam dialek Mandarin seperti Henan atau Sichuan. Cara memilih dialek bergantung pada model dan jenis suara.
- Qwen-Audio-TTS
- CosyVoice
-
Suara sistem: Pilih suara yang mendukung dialek tujuan dari daftar suara Qwen-Audio-TTS. Suara yang mendukung dialek secara langsung tidak memerlukan pengaturan tambahan. Untuk suara yang mendukung instruksi dialek, gunakan parameter kontrol instruksi
instruction.Untuk suara multibahasa dan dialek pada qwen-audio-3.1-tts-flash, Anda juga dapat menggunakanlanguage_hintsuntuk menentukan dialek. Lihat pengaturan suara multibahasa dan dialek. -
Suara hasil kloning: Tentukan dialek melalui parameter kontrol instruksi
instruction.
instruction="请讲上海话。" saat menginisialisasi SpeechSynthesizer untuk menyintesis teks bahasa Mandarin dalam dialek Shanghai.Tag emosi dan nonverbal
Berlaku untuk qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, dan qwen-audio-3.0-tts-flash.
text, tanpa parameter tambahan.
Contoh penggunaan
Teks berikut dimulai dengan nada antusias, menyisipkan tawa di posisi tertentu, lalu melanjutkan ucapan:
Tag yang didukung
- Tag kontrol
- Tag nonverbal
Tag kontrol mengatur emosi atau gaya teks berikutnya hingga tag kontrol selanjutnya. Jika kalimat panjang disegmentasi otomatis, efeknya dibatasi oleh segmen teks yang dihasilkan.
| Tag | Deskripsi |
|---|---|
[sad] | Sedih |
[amazed] | Kagum |
[deep and loud shouting] | Teriakan berat dan lantang |
[trembling] | Gemetar |
[angry] | Marah |
[excited] | Antusias |
[sarcastic] | Sarkastis |
[curious] | Penasaran |
[like dracula] | Gaya Dracula |
[bored] | Bosan |
[tired] | Lelah |
[scornful] | Meremehkan |
[shouting] | Berteriak |
[asmr] | Suara ASMR lembut |
[panicked] | Panik |
[mischievously] | Jahil |
[empathetic] | Berempati |
[whispers] | Berbisik |
[reluctantly] | Enggan |
[crying] | Menangis |
[serious] | Serius |
[very slowly] | Sangat lambat |
[very fast] | Sangat cepat |
Terapkan di produksi
Untuk pengiriman teks, pemutaran audio, penggunaan kembali koneksi, pengelolaan konkurensi, dan pemecahan masalah performa, lihat Praktik terbaik sintesis suara. Pastikan frekuensi permintaan dan konkurensi tetap dalam batas laju model.
Cancel task
Dengan Qwen-Audio-TTS atau CosyVoice, kirim instruksi pembatalan untuk menghentikan sintesis saat ini. Server mengakhiri tugas dan mengembalikan task-finished.
| Metode | Persyaratan versi | Penggunaan |
|---|---|---|
| Python SDK | 2.0.1 atau lebih baru | Panggil session.cancel() pada objek sesi (sesi yang dikembalikan oleh client.audio.tts.connect). |
| Java SDK | 2.22.26 atau lebih baru | Panggil SpeechSynthesizer.streamingCancel(). |
| Protokol WebSocket langsung | Tidak memerlukan SDK | Kirim finish-task dengan directive=cancel dalam input. |
Model yang didukung
- Singapura
- China (Beijing)
- Qwen-Audio-TTS: qwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-plus, qwen-audio-3.0-tts-flash
- CosyVoice: cosyvoice-v3-plus, cosyvoice-v3-flash
- Qwen3-TTS: qwen3-tts-flash-realtime
Referensi API
Aplikasi seluler yang memerlukan latensi rendah dan transmisi audio stabil pada jaringan lemah dapat menggunakan AOQ. Untuk akses AOQ, perbedaan antara AOQ, WebRTC, dan WebSocket, serta dukungan modelnya, lihat Ikhtisar Realtime API.
FAQ
T: Bagaimana cara memecahkan masalah audio diam saat menggunakan suara kloning?
T: Bagaimana cara memecahkan masalah audio diam saat menggunakan suara kloning?
Pastikan
voice adalah ID suara yang berhasil dibuat dan target_model-nya sesuai dengan model sintesis. Untuk status suara, persyaratan audio sumber, dan saran kualitas, lihat Kloning suara.T: Bagaimana cara membatasi Kunci API hanya untuk layanan sintesis ucapan (isolasi izin)?
T: Bagaimana cara membatasi Kunci API hanya untuk layanan sintesis ucapan (isolasi izin)?
Buat ruang kerja baru dan berikan akses hanya ke model tertentu. Hal ini membatasi cakupan Kunci API. Untuk detailnya, lihat Kelola ruang kerja.