Gunakan AOQ untuk terhubung ke qwen-audio-3.0-realtime-plus dan manfaatkan VAD sisi server guna membangun percakapan suara real-time berlatensi rendah. Kode klien menggunakan Android Java.
Ikhtisar solusi
Qwen-Audio adalah model interaksi suara real-time end-to-end untuk skenario latensi rendah seperti asisten suara, layanan pelanggan, dan teman AI. AOQ mengirimkan audio dan event pada track yang terpisah. Track Audio membawa PCM uplink dari mikrofon dan PCM downlink dari model, sedangkan Track Data membawa event protokol Realtime.
Tutorial ini menggunakan server_vad. Klien terus-menerus mengirimkan audio, dan layanan mendeteksi kapan pengguna mulai dan berhenti berbicara serta memicu respons.
Prasyarat
- Aktifkan Model Studio dan ikuti Dapatkan dan konfigurasikan Kunci API. Simpan Kunci API hanya di server aplikasi Anda. Jangan sertakan dalam kode klien atau commit ke repositori kode.
- Konfirmasi endpoint AOQ untuk wilayah tempat aplikasi Anda diterapkan. Untuk panduan pemilihan, lihat Pilih wilayah, cakupan penerapan, dan endpoint.
- Unduh AOQ Client SDK versi terbaru sebagaimana dijelaskan dalam Unduhan SDK.
- Siapkan AppServer dengan mengikuti langkah autentikasi AOQ untuk Qwen-Audio-Realtime. Sebelum setiap koneksi baru, klien harus memperoleh kredensial koneksi baru dari AppServer.
Impor SDK
Impor SDK untuk platform pengembangan Anda. Implementasi klien menggunakan Android Java. Platform lain menyediakan antarmuka dan alur event yang sama. Tutorial ini menggunakan aliran audio PCM. Pengkodean Opus disediakan oleh plugin. Impor plugin Opus jika uplink menggunakan Opus.
- Android
- iOS
- HarmonyOS
- Linux (Python)
- Letakkan AoqClientSdk-release.aar di app/libs, lalu konfigurasikan dependensi serta ABIs yang didukung SDK di app/build.gradle:
- Deklarasikan izin berikut di AndroidManifest.xml:
- Minta izin RECORD_AUDIO saat runtime sebelum perangkat terkait digunakan.
Coba demo
Gunakan demo Android dari Alibaba Cloud Model Studio untuk memverifikasi konektivitas AOQ secara cepat. Unduh APK dan konfigurasikan Kunci API serta workspaceId untuk mencoba model yang dipilih.
Pindai kode QR berikut untuk mengunduh demo:

Alur implementasi
- Server aplikasi memperoleh kredensial untuk koneksi AOQ saat ini ke qwen-audio-3.0-realtime-plus dari URL token Realtime.
- Klien mengonfigurasi penyandi uplink SDK dan decoder downlink sesuai model yang dipilih dan format audio aplikasi.
- Klien menginisialisasi perangkat perekaman dan pemutaran serta membuat AoqConnectConfig. Klien mengisi bidang kredensial untuk koneksi saat ini dan mengonfigurasi Track Audio dan Data untuk dipublikasikan dan dilanggani. Klien menonaktifkan pengiriman Track Audio dan memanggil connect untuk membuat koneksi AOQ.
- Setelah koneksi terbentuk, klien mengirim session.update. Klien hanya mengaktifkan Track Audio setelah menerima session.updated.
- VAD sisi server secara otomatis menentukan batas giliran. Audio model diputar melalui Track Audio dan event percakapan dikembalikan melalui Track Data.
- Untuk mengakhiri, putuskan koneksi dan hapus engine. SDK secara otomatis menutup perangkat audio.

Peroleh token dari server aplikasi
Tetapkan DASHSCOPE_API_KEY di server aplikasi dan kirim permintaan ke endpoint untuk wilayah yang dipilih. clientIp adalah Alamat IP publik aktual dari klien. Bidang ini opsional, tetapi menentukannya membantu layanan mengalokasikan endpoint relay yang sesuai.
connect. Simpan API Key hanya di AppServer.
Bidang respons | Bidang SDK |
aoqTokenForClient | AoqConnectConfig.token |
sid | AoqConnectConfig.sid |
clientRelayCertFingerprint | AoqConnectConfig.certFingerprint |
clientRelayEndpoints | AoqConnectConfig.relayEndpoints |
extraInfo.workspaceIdHash | AoqConnectConfig.workspaceIdHash |
Implementasikan client Android
Sebelum setiap koneksi, klien memperoleh kredensial koneksi baru dari server aplikasi dan membuat AoqConnectConfig. Petakan bidang respons token dan tambahkan pengaturan koneksi sisi klien seperti track publish dan subscribe. Ikuti langkah-langkah berikut untuk mengimplementasikan percakapan suara real-time di Android.
1. Buat engine dan daftarkan callback
Buat engine AOQ singleton dan daftarkan callback event. Konfigurasikan sesi setelah koneksi berhasil, dan salurkan event server ke UI dan mesin keadaan aplikasi.
2. Konfigurasikan kodek audio
Konfigurasikan penyandi uplink SDK dan decoder downlink sesuai model yang dipilih dan format audio aplikasi. Nilai berikut adalah contoh PCM untuk tutorial ini dan tidak membatasi format audio aplikasi Anda.
3. Konfigurasikan track dan hubungkan
Gunakan antarmuka SDK untuk memulai penangkapan dan pemutaran audio. Petakan respons token server aplikasi saat ini ke bidang kredensial di AoqConnectConfig, lalu konfigurasikan Track Audio dan Data di publishTracks dan subscribeTracks. Nonaktifkan pengiriman Track Audio saat Anda memanggil connect. Aktifkan pengiriman hanya setelah menerima session.updated.
4. Kirim session.update
Setelah koneksi berhasil, konfigurasikan modalities output, voice, format audio, instruksi, dan VAD. Baik input_audio_format maupun output_audio_format menggunakan pcm. Konfigurasi kodek SDK menentukan laju sampel. Untuk semua parameter, lihat Event klien.
5. Aktifkan uplink setelah session.updated
session.updated menunjukkan bahwa konfigurasi sesi aktif. Aktifkan pengiriman Track Audio hanya pada titik ini agar audio yang ditangkap sebelumnya tidak dikirim ke model.
6. Menangani event server
Di onDataMsg, gunakan type untuk menampilkan transkrip pengguna dan model serta menangani error. Untuk semua field event, lihat Event server.
7. Putuskan koneksi dan hapus engine
Saat percakapan berakhir, putuskan koneksi dan hapus engine singleton. disconnect atau destroy secara otomatis menutup penangkapan dan pemutaran audio, sehingga Anda tidak perlu menghentikan perangkat secara terpisah.
Event server utama
Event Track Data diidentifikasi berdasarkan type. Klien harus menangani event kunci berikut. Untuk skema event lengkap, lihat Event server.
Event | Deskripsi |
session.created | Sesi dibuat dan pengaturan default dikembalikan |
session.updated | Pengaturan client aktif dan uplink audio dapat diaktifkan |
input_audio_buffer.speech_started | Layanan mendeteksi bahwa pengguna mulai berbicara |
input_audio_buffer.speech_stopped | Layanan mendeteksi bahwa pengguna berhenti berbicara |
input_audio_buffer.committed | Audio untuk giliran telah dikomit. |
response.created | Model mulai menghasilkan respons |
response.audio_transcript.delta | Transkrip model inkremental |
conversation.item.input_audio_transcription.completed | Transkrip pengguna akhir tersedia |
response.done | Respons selesai |
error | Terjadi error server |
Contoh lengkap
Kelas berikut menerima AoqConnectConfig yang diisi dengan kredensial untuk koneksi saat ini dan menambahkan pengaturan perangkat audio, track publish, dan track subscribe. Peroleh kredensial baru dan buat konfigurasi koneksi baru untuk setiap rekoneksi. Tambahkan izin, status UI, dan logika rekoneksi di lingkungan produksi.
Jalankan dan verifikasi
- Audio mikrofon mulai dialirkan hanya setelah menerima session.updated.
- Setelah pengguna berhenti berbicara, layanan mengirimkan audio dan mulai merespons. Event teks dan audio dari Audio-Track dikembalikan secara berkelanjutan.
Skenario umum
Ubah mode interaksi
Gunakan server_vad untuk deteksi giliran berbasis kesenyapan, smart_turn untuk deteksi giliran akustik dan semantik, atau atur turn_detection ke null untuk push-to-talk. turn_detection hanya dapat diubah sebelum input audio pertama. Buat sesi baru untuk mengubah mode.
Ubah suara
Tetapkan session.voice di session.update pertama. Voice sistem yang didukung bervariasi tergantung model. Untuk voice yang didukung dan kloning suara, lihat Percakapan suara real-time Qwen-Audio.
Speaker atau earpiece
Tetapkan perangkat output default dengan menggunakan AoqAudioPlaybackConfig.isDefaultSpeaker, dan panggil enableSpeakerphone untuk beralih selama sesi aktif.
Panggilan latar belakang di Android
Di Android 10 atau lebih baru, gunakan foreground service dengan foregroundServiceType="microphone|mediaPlayback" untuk melanjutkan penangkapan dan pemutaran di latar belakang. Mulai saat aplikasi terlihat oleh pengguna.
Pemecahan masalah
Masalah | Solusi |
Koneksi gagal | Pastikan token valid, endpoint sesuai dengan wilayah penerapan, dan bidang AoqConnectConfig dipetakan dengan benar. |
Sesi terbentuk tetapi tidak ada respons yang dikembalikan | Pastikan track Audio diaktifkan setelah session.updated dan penyandi uplink SDK sesuai dengan format audio model dan aplikasi. |
Respons tidak memiliki audio | Pastikan track Audio dilanggani dan pemutar audio berjalan, lalu verifikasi bahwa decoder downlink SDK sesuai dengan format audio output model. |