Qwen-Audio-TTS Android SDK - Alibaba Cloud Model Studio

NativeNui

SDK mendukung beberapa instance NativeNui dan menggunakan callback untuk mengirimkan event sintesis. Sorotan arsitektur:

Beberapa instance: Buat instance dengan memanggil new NativeNui(Constants.ModeType.MODE_STREAM_INPUT_TTS).
Berbasis callback: Terima event dan data audio melalui antarmuka INativeStreamInputTtsCallback.
Jenis peristiwa:
- STREAM_INPUT_TTS_EVENT_SYNTHESIS_STARTED: Tugas sintesis telah dimulai.
- onStreamInputTtsDataCallback: Data audio dikirimkan.
- STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE: Tugas sintesis telah selesai.
- STREAM_INPUT_TTS_EVENT_TASK_FAILED: Tugas sintesis telah gagal.

Alur penggunaan

Qwen-Audio-TTS mendukung dua mode pemanggilan: input satu kali dan input streaming. Input satu kali cocok untuk teks pendek dan skenario apa pun yang menggunakan markup SSML.

playStreamInputTts() atau asyncPlayStreamInputTts() — mengirim teks lengkap dan memulai sintesis. Metode pertama bersifat sinkron dan mengembalikan nilai setelah sintesis selesai; metode kedua bersifat asinkron dan mengembalikan nilai segera setelah sintesis dimulai.
onStreamInputTtsDataCallback() — menerima data audio.
STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE — sintesis selesai.

Input streaming cocok untuk percakapan waktu nyata dan skenario "speak as you go" bentuk panjang. SSML tidak didukung dalam mode ini.

startStreamInputTts() — menginisialisasi SDK dan mengonfigurasi parameter callback dan koneksi.
sendStreamInputTts() — mengirim teks secara berkelanjutan saat teks tersedia.
onStreamInputTtsDataCallback() — menerima data audio.
stopStreamInputTts() atau asyncStopStreamInputTts() — mengirim permintaan akhir sintesis. Metode pertama bersifat sinkron dan mengembalikan nilai setelah sintesis selesai; metode kedua bersifat asinkron dan mengembalikan nilai segera setelah permintaan dikirim.
STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE — sintesis selesai.

startStreamInputTts

Memulai sintesis streaming dua arah, membuka koneksi ke layanan, dan mendaftarkan callback untuk event dan data audio. Metode ini dapat memblokir. Panggil pada thread non-UI. Signature metode:

public synchronized int startStreamInputTts(INativeStreamInputTtsCallback callback,
                                            String ticket,
                                            String parameters,
                                            String session_id,
                                            int log_level,
                                            boolean save_log)

Parameter:

Parameter	Tipe	Deskripsi
`callback`	INativeStreamInputTtsCallback	Implementasi Anda untuk antarmuka callback peristiwa dan data.
`ticket`	`String`	String JSON yang menyimpan pengaturan autentikasi, koneksi, dan debug. Lihat referensi parameter ticket di bawah ini.
`parameters`	`String`	String JSON yang mengontrol output sintesis ucapan. Lihat referensi parameter di bawah ini.
`session_id`	`String`	ID sesi yang ditentukan klien. Jika diabaikan, server akan membuatnya secara otomatis.
`log_level`	`int`	Mengontrol tingkat detail log internal SDK.Nilai yang valid: 0: LOG_LEVEL_VERBOSE 1: LOG_LEVEL_DEBUG 2: LOG_LEVEL_INFO 3: LOG_LEVEL_WARNING 4: LOG_LEVEL_ERROR 5: LOG_LEVEL_NONE (menonaktifkan pencatatan log)
`save_log`	`boolean`	Apakah akan menulis log ke file lokal. Jika true, atur `debug_path` dalam ticket untuk menentukan tujuan, dan secara opsional atur `max_log_file_size` untuk membatasi ukuran file.

Nilai pengembalian: Mengembalikan kode kesalahan. contoh JSON tiket:

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "sk-****",
    "device_id": "my_device_id"
}

parameter tiket:

Parameter	Tipe	Wajib	Deskripsi
`url`	`String`	Ya	Alamat layanan: `wss://dashscope.aliyuncs.com/api-ws/v1/inference` Tiongkok (Beijing): `wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference` Singapura: `wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference` Ganti `{WorkspaceId}` dengan ID Workspace Anda yang sebenarnya.
`apikey`	`String`	Ya	API key Anda. Untuk membatasi dampak jika key berumur panjang terekspos, gunakan API key sementara berumur pendek sebagai gantinya.
`device_id`	`String`	Ya	Pengidentifikasi unik untuk pengguna akhir. Atur ke ID pengguna dalam aplikasi Anda atau ke pengidentifikasi perangkat yang dibuat klien. ID ini terutama digunakan untuk korelasi log dan pemecahan masalah.
`complete_waiting_ms`	`int`	Tidak	Setelah Anda memanggil metode stop, waktu dalam milidetik untuk menunggu event `STREAM_INPUT_TTS_EVENT_SYNTHESIS_COMPLETE` sebelum waktu habis.Default: 10000.
`debug_path`	`String`	Tidak	Jalur lokal tempat file log ditulis.Parameter ini hanya berlaku ketika `save_log` diatur ke true untuk `startStreamInputTts`, `playStreamInputTts`, atau `asyncPlayStreamInputTts`. Dalam kasus tersebut, jalur wajib diisi; jika tidak, pemanggilan akan mengembalikan error.Paling banyak dua file log disimpan pada perangkat.
`max_log_file_size`	`int`	Tidak	Ukuran file log maksimum dalam byte.Parameter ini hanya berlaku ketika `save_log` diatur ke true untuk `startStreamInputTts`, `playStreamInputTts`, atau `asyncPlayStreamInputTts`.Default: 104857600 (100 × 1024 × 1024 byte, atau 100 MiB).
`log_track_level`	`int`	Tidak	Tingkat filter untuk log yang dikirimkan melalui callback log (`onStreamInputTtsLogTrackCallback`).Default: 2.Nilai yang valid: 0: LOG_LEVEL_VERBOSE 1: LOG_LEVEL_DEBUG 2: LOG_LEVEL_INFO 3: LOG_LEVEL_WARNING 4: LOG_LEVEL_ERROR 5: LOG_LEVEL_NONE (menonaktifkan pencatatan log) Catatan: `log_track_level` bekerja bersama dengan `log_level` (diatur pada `startStreamInputTts`, `playStreamInputTts`, atau `asyncPlayStreamInputTts`) untuk menentukan log mana yang mencapai callback. Entri log harus berada pada atau di atas `log_track_level` dan `log_level` agar dapat dikirim. Misalnya, jika `log_track_level` adalah 2 (INFO) dan `log_level` adalah 3 (WARNING), hanya WARNING dan di atasnya (level >= 3) yang mencapai callback.

contoh JSON parameter:

{
    "model": "qwen-audio-3.0-tts-flash",
    "voice": "longanlingxi",
    "format": "mp3",
    "volume": 50,
    "rate": 1.0,
    "pitch": 1.0
}

referensi parameter:

Parameter	Tipe	Wajib	Deskripsi
`model`	`String`	Ya	Nama model.
`voice`	`String`	Ya	Suara yang digunakan untuk sintesis suara. Suara sistem: Lihat Qwen-Audio-TTS daftar suara Suara kloning: Suara kustom yang dibuat melalui kloning suara Suara kustom: Suara kustom yang dibuat melalui desain suara
`format`	`String`	Tidak	Format pengkodean audio.Nilai yang valid: pcm wav mp3 (default) opus
`enable_audio_decoder`	`boolean`	Tidak	Apakah akan mengaktifkan decoder internal SDK. Default: false.Parameter ini hanya berlaku ketika format pengodean audio adalah opus atau mp3. Saat diaktifkan, SDK mendekode data audio opus atau mp3 menjadi data PCM sebelum mengembalikannya.
`volume`	`int`	Tidak	Tingkat volume.Nilai default: 50.Nilai yang valid: [0, 100].
`sample_rate`	`int`	Tidak	Tingkat sampel audio dalam Hz.Nilai yang valid: 8000, 16000, 22050 (default), 24000, 44100, 48000.
`rate`	`float`	Tidak	Kecepatan bicara.Nilai default: 1.0.Nilai yang valid: [0.5, 2.0].
`pitch`	`float`	Tidak	Pitch.Nilai default: 1.0.Nilai yang valid: [0.5, 2.0].
`bit_rate`	`int`	Tidak	Bit rate audio dalam kbps. Saat format audio adalah mp3 atau opus, gunakan `bit_rate` untuk menyesuaikan bit rate.Nilai default: 32.Nilai yang valid: [6, 510].
`enable_ssml`	`boolean`	Tidak	Apakah akan mengaktifkan SSML.Default: false. true: diaktifkan. false: dinonaktifkan. Untuk batasan penggunaan SSML (model, suara, dan API yang didukung), lihat Batasan.
`word_timestamp_enabled`	`boolean`	Tidak	Menentukan apakah akan mengaktifkan stempel waktu tingkat kata.Nilai default: false.Hanya tersedia dalam mode output streaming. Suara hasil kloning didukung. Untuk suara sistem yang didukung, lihat Qwen-Audio-TTS voice list. Timestamp kata dikembalikan dalam field all_response dari `INativeStreamInputTtsCallback`.
`seed`	`int`	Tidak	Seed acak untuk mengontrol variasi dalam output sintesis. Ketika versi model, teks, suara, dan parameter lainnya tidak berubah, menggunakan seed yang sama akan menghasilkan hasil yang identik.Nilai default: 0.Nilai yang valid: [0, 65535].
`language_hints`	`String[]`	Tidak	Parameter ini adalah array, tetapi versi saat ini hanya memproses elemen pertama. Berikan satu nilai. Parameter ini menentukan bahasa target untuk sintesis ucapan. Ini tidak terkait dengan bahasa sampel audio yang digunakan dalam kloning suara. Untuk mengatur bahasa sumber untuk tugas kloning, lihat referensi API kloning suara. Menentukan bahasa target untuk sintesis ucapan guna meningkatkan kualitas output.Ketika pengucapan angka, ekspansi singkatan, pembacaan simbol, atau sintesis bahasa minoritas tidak sesuai harapan, gunakan parameter ini. Misalnya: Pengucapan angka yang tidak terduga: "hello, this is 110" dibaca sebagai "hello, this is one zero" alih-alih pengucapan bahasa Mandarin yang diharapkan Pengucapan simbol yang tidak akurat: "@" dibaca sebagai padanan bahasa Mandarin, bukan "at" Kualitas sintesis bahasa minor yang buruk dengan hasil yang tidak wajar Nilai yang valid zh: Tiongkok en: Inggris fr: Prancis de: Jerman ja: Jepang ko: Korea ru: Rusia pt: Portugis th: Thai id: Indonesia vi: Vietnam es: Spanyol it: Italia ms: Malaysia fil: Filipina ar: Arab
`instruction`	`String`	Tidak	Mengontrol karakteristik sintesis seperti dialek, emosi, atau gaya bicara.Untuk detail penggunaan, lihat Kontrol instruksi.
`enable_aigc_tag`	`boolean`	Tidak	Menentukan apakah akan menyematkan watermark AIGC dalam audio yang dihasilkan. Jika diatur ke true, watermark disematkan dalam file audio dengan format yang didukung (wav/mp3/opus).Nilai default: false.
`aigc_propagator`	`String`	Tidak	Mengatur field `ContentPropagator` dalam watermark AIGC, yang mengidentifikasi penyebar konten. Hanya berlaku jika `enable_aigc_tag` adalah `true`.Nilai default: UID Alibaba Cloud.
`aigc_propagate_id`	`String`	Tidak	Mengatur field `PropagateID` dalam watermark AIGC, yang secara unik mengidentifikasi tindakan penyebaran tertentu. Hanya berlaku jika `enable_aigc_tag` adalah `true`.Nilai default: ID permintaan dari permintaan sintesis suara saat ini.
`hot_fix`	`object`	Tidak	Konfigurasi hot-fix teks untuk menyesuaikan pengucapan kata-kata tertentu atau mengganti teks sebelum sintesis.Field: pronunciation: Menentukan anotasi pinyin untuk kata-kata yang pengucapan defaultnya perlu dikoreksi. replace: Mengganti kata-kata tertentu sebelum sintesis. Teks pengganti digunakan sebagai input sintesis aktual. Contoh: `"hot_fix": { "pronunciation": [ {"天气": "tian1 qi4"} ], "replace": [ {"今天": "金天"} ] }`

sendStreamInputTts

Mengirim teks yang akan disintesis. Gunakan metode ini bersama dengan startStreamInputTts. Setelah Anda memanggil startStreamInputTts, panggil metode ini untuk mendorong teks secara berkelanjutan. Ketika Anda telah mengirim semua teks, panggil stopStreamInputTts atau asyncStopStreamInputTts untuk mengakhiri input. Signature metode:

public synchronized int sendStreamInputTts(String text)

Parameter:

Parameter	Tipe	Deskripsi
`text`	`String`	Teks yang akan disintesis. SSML tidak didukung. Tag SSML dalam input dibaca dengan keras sebagai teks biasa alih-alih diuraikan.