Menjelaskan cara mengintegrasikan AOQ Client SDK pada Android, iOS, dan HarmonyOS untuk mengimplementasikan panggilan audio/video menggunakan AOQ dan qwen3.5-omni-plus-realtime.
Get the SDK
Untuk AOQ Client SDK dan plug-in audio Opus, lihat SDK download. Kodek Opus disediakan sebagai plug-in terpisah. Sertakan sesuai kebutuhan kasus penggunaan Anda.
Import the SDK
Salin file SDK inti ke direktori dependensi proyek Anda dan deklarasikan izin yang diperlukan dalam konfigurasi proyek.
Android
Letakkan AoqClientSdk-release.aar di direktori app/libs/ proyek Anda. Letakkan libPluginOpus.so berdasarkan ABI ke dalam app/libs/armeabi-v7a/ dan app/libs/arm64-v8a/. Di app/build.gradle:
AndroidManifest.xml:
RECORD_AUDIO dan CAMERA adalah izin runtime. Aplikasi Anda harus memanggil ActivityCompat.requestPermissions() milik Android saat runtime untuk meminta otorisasi pengguna.
iOS (framework)
-
Tarik
AoqClientSdk.frameworkdanPluginOpus.frameworkke dalam proyek Xcode Anda. Di bawah Target > General > Frameworks, Libraries, and Embedded Content, pilih Embed & Sign. -
Deklarasikan izin: di Xcode, pilih Target Anda > Info > Custom iOS Target Properties, lalu tambahkan dua deskripsi penggunaan izin berikut:
Key
Value
NSMicrophoneUsageDescriptionFor real-time voice calls
NSCameraUsageDescriptionFor real-time video calls
-
Proyek Swift:
import AoqClientSdk. Proyek Objective-C:#import <AoqClientSdk/AoqClientSdk.h>.
HarmonyOS (har)
- Letakkan
aoq-client-sdk.hardi direktorilibs/proyek Anda. LetakkanlibPluginOpus.soberdasarkan ABI ke dalamentry/libs/armeabi-v7a/danentry/libs/arm64-v8a/. Deklarasikan dependensi dientry/oh-package.json5. - Tambahkan izin di
entry/src/main/module.json5:
- Di
EntryAbility, picu otorisasi runtime melaluiabilityAccessCtrl.createAtManager().requestPermissionsFromUser.
Try the demo
Gunakan demo Android dari Alibaba Cloud Model Studio untuk memverifikasi konektivitas AOQ secara cepat. Unduh APK dan konfigurasikan Kunci API serta workspaceId untuk mencoba model yang dipilih.
Pindai kode QR berikut untuk mengunduh dan menginstal demo Android:

Get a token from the AppServer
Siapkan AppServer dengan mengikuti langkah autentikasi AOQ untuk Qwen-Omni-Realtime. Sebelum setiap panggilan, klien meminta kredensial koneksi baru dari AppServer.
Implement AI audio/video calls
Create engine and set callbacks
Panggil API createEngine untuk membuat instans AoqClientEngine.
iOS:
AoqEngineDelegate untuk mendengarkan callback seperti onConnectionStatusChange, onDataMsg, onError, dan lainnya.
Android:
Start audio/video capture and playback
Panggil startAudioCapture dan startAudioPlayer untuk memulai tangkapan dan pemutaran audio lokal. Panggil startVideoCapture untuk mengaktifkan kamera, dan gunakan setLocalView untuk mengikat target render SDK ke kontrol pratinjau Anda.
Pada contoh berikut, SDK memutar audio secara otomatis. Untuk meninjau audio sebelum memutarnya, atur isExternal ke true pada konfigurasi pemutaran yang diteruskan ke startAudioPlayer, untuk menonaktifkan pemutaran otomatis SDK, lalu aktifkan callback frame audio pemutaran. Aplikasi dapat menyalin dan menyangga audio PCM dari callback, lalu memilih untuk memutar atau membuangnya setelah peninjauan. Lihat Pemutaran audio kustom untuk detail konfigurasi.
iOS:
Untuk panggilan melalui pengeras suara, atur isVoipMode ke true pada konfigurasi perekaman dan pemutaran sebelum memulai keduanya agar peredam gema perangkat keras aktif. Biarkan mikrofon aktif selama pemutaran agar deteksi aktivitas suara (VAD) dapat mendeteksi saat pengguna berbicara dan memicu interupsi.
Get connection credentials
Klien meminta kredensial koneksi dari AppServer.
Configure codecs and establish connection
Atur parameter kodek dan panggil connect.
Catatan: qwen3.5-omni-plus-realtime mengharuskan klien mulai mengirim data media hanya setelah menerima session.updated dari server. Untuk menghindari pengiriman media secara tidak sengaja selama jendela antara connect yang berhasil dan kedatangan session.updated, panggil enableSendMediaStream(trackType, false) untuk setiap track upstream sebelum memanggil connect. Untuk detail event WebSocket, lihat Client events.
iOS:
Configure AI session
Dalam callback onConnectionStatusChange(Connected), kirim pesan session.update melalui sendDataMsg. Pesan ini berisi parameter sesi seperti modalities, voice, instructions, dan turn_detection, yang melengkapi handshake sesi. Untuk detail event WebSocket, lihat Client events.
iOS:
Enable media sending after receiving session.updated
Dalam callback onDataMsg, uraikan pesan masuk. Saat menerima session.updated dari model, panggil enableSendMediaStream(trackType, true) untuk setiap jenis track yang sebelumnya dinonaktifkan. Untuk detail event WebSocket, lihat Server events.
iOS:
-
Mulai mengirim aliran media hanya setelah menerima
session.updated. AI mungkin belum siap menerima data sebelum event ini. -
Track audio dan video yang ditambahkan selama koneksi (channel media AOQ) secara otomatis mengirimkan data ke server.
- Audio: dikirim langsung melalui track audio — tidak perlu mengirim event
input_audio_buffer.append. - Video: frame dikirim melalui track video — tidak perlu mengirim event
input_image_buffer.append.
- Audio: dikirim langsung melalui track audio — tidak perlu mengirim event
Disconnect and destroy engine
Common scenarios
Barge-in
- SDK terintegrasi secara mendalam dengan Alibaba Cloud Model Studio. Pesan barge-in dari model akan menginterupsi giliran sebelumnya ketika giliran baru dimulai.
- SDK menyediakan antarmuka
interruptAudioPlayeruntuk interupsi pemutaran lokal. Panggil API ini ketika pengguna ingin menghentikan pemutaran.
Mute / unmute
Setelah dimatikan suaranya, SDK tetap melakukan tangkapan audio tetapi hanya mengirim frame diam. session tidak terganggu.
Switch between front and rear cameras
Call subtitles and ASR results
Server mendorong hasil ASR dan respons teks AI melalui pesan data downstream. Di aplikasi Anda, arahkan berdasarkan bidang type dalam callback onDataMsg. Untuk detail event WebSocket, lihat Server events.
Important notes
-
Singleton semantics:
createEnginebersifat singleton — pemanggilan berulang mengembalikan instans yang sama. Engine hanya dapat dibuat ulang setelahdestroydipanggil. Untuk penggunaan multi-halaman, kelola siklus hidup engine di tingkat Application atau Ability. -
Local preview view types:
- Android:
SurfaceViewatauTextureView. Jenis lain tidak didukung. - iOS: Subkelas
UIViewapa pun. - HarmonyOS: Lihat dokumentasi SDK.
- Android:
-
Audio route changes: Event seperti pemasangan/pencabutan headphone atau koneksi Bluetooth memicu
onAudioDeviceRouteChanged. Biasanya tidak diperlukan penanganan di aplikasi Anda. Jika UI Anda menyertakan toggle speaker/earpiece, sinkronkan status berdasarkan callback ini. -
Background audio continuation: Agar audio tetap berlanjut saat panggilan berpindah ke latar belakang,
Info.plistharus memilikiUIBackgroundModes = audiodiaktifkan danAVAudioSessionharus diaktifkan dengan benar di latar depan. SDK menangani sebagian besar kasus; gunakansetAudioSessionRestriction:untuk kontrol detail halus.
iOS demo source code

Related documents
- API lengkap AOQ Client SDK: SDK overview
- Event klien model qwen3.5-omni-plus-realtime: Client events
- Event server model qwen3.5-omni-plus-realtime: Server events