Gunakan AOQ untuk terhubung ke qwen3.5-omni-plus-realtime dan memungkinkan client mengontrol batas giliran (turn boundaries) untuk percakapan push-to-talk serta pertanyaan gambar opsional. Kode client menggunakan iOS Swift.
Solution overview
Qwen-Omni-Realtime mendukung VAD sisi server dan mode Manual yang dikontrol client. Tutorial ini mengatur session.turn_detection ke null. Client mengirim audio selama pengguna menahan tombol, lalu meng-commit audio tersebut dan secara eksplisit meminta respons saat pengguna melepas tombol.
Mode Manual cocok untuk tombol interkom perangkat keras, kontrol tekan-dan-tahan, lingkungan bising di mana aplikasi menentukan batas giliran, serta giliran yang secara opsional menyertakan gambar. Audio ditransmisikan melalui AOQ Audio track. Jangan kirim input_audio_buffer.append.
Item | VAD mode | Manual mode |
Turn boundary | Dideteksi oleh server_vad atau semantic_vad | Dikontrol oleh tombol atau status aplikasi |
Session setting | turn_detection berisi pengaturan VAD | turn_detection bernilai null |
Audio commit | Dilakukan secara otomatis oleh layanan | Client mengirim input_audio_buffer.commit |
Response trigger | Dipicu secara otomatis oleh layanan | Client mengirim response.create |
Image input | Continuous Video track atau gambar melalui Data track | Continuous Video track atau gambar melalui Data track |
Prerequisites
- Aktifkan Model Studio dan ikuti Obtain and configure an API key. Simpan Kunci API hanya di server aplikasi Anda. Jangan sertakan dalam kode client atau commit ke repositori kode.
- Konfirmasi endpoint AOQ untuk wilayah tempat aplikasi Anda diterapkan. Untuk panduan pemilihan, lihat Select a region, deployment scope, and endpoint.
- Unduh AOQ Client SDK versi terbaru sebagaimana dijelaskan dalam SDK download.
- Siapkan AppServer dengan mengikuti langkah autentikasi AOQ untuk Qwen-Omni-Realtime. Sebelum setiap koneksi baru, klien harus memperoleh kredensial koneksi baru dari AppServer.
Import the SDK
Impor SDK untuk platform pengembangan Anda. Implementasi client menggunakan iOS Swift. Platform lain menyediakan antarmuka dan alur event yang sama. Tutorial ini menggunakan aliran audio PCM. Pengkodean Opus disediakan oleh plugin. Impor plugin Opus jika uplink menggunakan Opus.
- Android
- iOS
- HarmonyOS
- Linux (Python)
- Letakkan AoqClientSdk-release.aar di app/libs, lalu konfigurasikan dependensi serta ABIs yang didukung SDK di app/build.gradle:
- Deklarasikan izin berikut di AndroidManifest.xml:
- Minta izin RECORD_AUDIO dan CAMERA saat runtime sebelum perangkat terkait digunakan.
Implementation flow
- Server aplikasi memperoleh parameter koneksi AOQ untuk qwen3.5-omni-plus-realtime dari URL token Realtime.
- Client membuat engine dan mengonfigurasi codec audio serta track. Client juga mengonfigurasi Video track jika diperlukan pemahaman visual kontinu.
- Client memulai capture dan pemutaran lokal, menonaktifkan pengiriman Audio-track secara default, terhubung ke AOQ, lalu mengirim session.update.
- Setelah session.updated diterima, opsi continuous-video mengaktifkan Video track. Audio track tetap dinonaktifkan hingga pengguna menekan tombol bicara.
- Saat pengguna menekan tombol, client mengaktifkan Audio track. Saat dilepas, client menonaktifkan Audio track, secara opsional mengirim gambar, lalu mengirim input_audio_buffer.commit dan response.create.
- Setelah response.done diterima, giliran berikutnya dapat dimulai. Untuk mengakhiri, hentikan perangkat, putuskan koneksi, dan hapus engine.
- Continuous Video track
- Send an image over the Data track

Obtain a token from the application server
Atur DASHSCOPE_API_KEY di server aplikasi dan kirim permintaan ke endpoint untuk wilayah yang dipilih. clientIp adalah Alamat IP publik aktual dari client. Field ini opsional, tetapi menentukannya membantu layanan mengalokasikan endpoint relay yang sesuai.
Response field | SDK field |
aoqTokenForClient | AoqConnectConfig.token |
sid | AoqConnectConfig.sid |
clientRelayCertFingerprint | AoqConnectConfig.certFingerprint |
clientRelayEndpoints | AoqConnectConfig.relayEndpoints |
extraInfo.workspaceIdHash | AoqConnectConfig.workspaceIdHash |
Implement the iOS client
Setelah client memperoleh AoqConnectConfig dari server aplikasi, ikuti langkah-langkah berikut untuk mengimplementasikan percakapan suara push-to-talk di iOS.
1. Create the engine and register callbacks
Buat engine AOQ singleton dan daftarkan objek aplikasi sebagai penerima callback. Tangani status koneksi, event server, error, dan peringatan dalam callback.
2. Start audio and video devices
Inisialisasi capture dan pemutaran audio. Mulai kamera hanya untuk opsi continuous-video. Peroleh izin mikrofon dan kamera sebelum metode ini dipanggil.
3. Configure codecs and tracks
Konfigurasikan codec audio untuk model yang dipilih dan format audio aplikasi, serta pilih track untuk opsi input gambar. Nilai audio dan video berikut merupakan contoh. Sesuaikan dengan kebutuhan model dan skenario aplikasi. Nonaktifkan pengiriman Audio-track sebelum koneksi dibuat.
- Continuous Video track
- Send an image over the Data track
4. Configure a Manual session
Setelah koneksi dibuat, panggil sendDataMsg untuk mengirim event session.update. Atur turn_detection ke null dan pilih modalities voice, instruksi, dan output untuk aplikasi Anda. Pertahankan parameter audio contoh agar konsisten dengan pengaturan codec SDK. Untuk semua field, lihat Client events.
5. Wait for the session configuration
Tangani event session.updated dalam callback onDataMsg. Jangan kirim media hingga event ini diterima. Untuk opsi continuous-video, panggil enableSendMediaStream untuk mengaktifkan Video track pada titik ini, tetapi tetap nonaktifkan Audio track agar audio sebelum pengguna menekan tombol tidak masuk ke buffer input.
6. Implement push-to-talk interaction
Saat tombol ditekan, panggil enableSendMediaStream untuk mengaktifkan Audio track. Saat dilepas, panggil enableSendMediaStream untuk menonaktifkan Audio track, pastikan giliran tersebut berisi audio, secara opsional kirim gambar, lalu panggil sendDataMsg untuk mengirim input_audio_buffer.commit diikuti response.create.
7. Select an image-input option
Pemahaman visual kontinu dan pertanyaan gambar sesekali menggunakan konfigurasi track dan perilaku pengiriman yang berbeda. Pilih opsi berdasarkan bandwidth, konsumsi daya, dan desain interaksi.
- Continuous Video track
- Send a single image over the Data track
8. Disconnect and destroy the engine
Saat sesi berakhir, putuskan koneksi dan hapus engine. disconnect atau destroy secara otomatis menutup perangkat media, sehingga Anda tidak perlu memanggil metode stop secara terpisah. AoqClientEngine adalah singleton dan tidak dapat dibuat lagi hingga destroy dipanggil.
Complete example
Kelas berikut menerima AoqConnectConfig yang dipetakan dari respons token server aplikasi. Tambahkan status UI, izin, pemulihan error, dan kompresi gambar di lingkungan produksi.
Run and verify
Lengkapi satu giliran push-to-talk hanya audio dan satu giliran dengan gambar. Hasil yang diharapkan:
- Audio track dinonaktifkan sebelum tombol ditekan dan mengirim audio secara kontinu selama tombol ditekan.
- Setelah dilepas, input_audio_buffer.committed, response.created, dan response.done diterima secara berurutan, dan audio model diputar melalui Audio track yang berlangganan.
- Dengan opsi single-image, model merespons menggunakan gambar dan audio dari giliran tersebut. Dengan video kontinu, model menggunakan frame video terbaru.
Important considerations
- AOQ mentransmisikan audio melalui Audio track. Jangan kirim input_audio_buffer.append juga.
- input_audio_buffer.commit hanya meng-commit giliran dan tidak memicu respons model. Kirim response.create setelahnya.
- Jangan commit buffer audio kosong. Layanan akan mengembalikan error.
- Jangan aktifkan pengiriman media sebelum session.updated. Di mode Manual, jangan aktifkan Audio track sebelum pengguna menekan tombol.
