Panduan integrasi Qwen-Audio-Realtime dengan Flutter SDK, mencakup urutan panggilan Dart, parameter permintaan, dan peristiwa.
Qwen-Audio-Realtime menerima audio langsung dan mengembalikan respons model. Konfigurasikan sesi untuk menerima respons teks dan audio.
Buka Pemilihan dan pengunduhan SDK ucapan seluler, pilih tab Flutter, lalu unduh dan ekstrak paket.
Salin direktori SDK yang telah diekstrak ke
Jalankan
Panggil metode berikut pada instance yang diperoleh dari
Contoh ini menggunakan salah satu model dalam paket. Untuk pengaturan tambahan, lihat
Teruskan JSON contoh sebagai string ke metode Dart.
Teruskan JSON contoh sebagai string ke metode Dart.
Gunakan ID model yang sama untuk parameter kueri URL
Untuk metode yang mengembalikan
Baca peristiwa dari
Prasyarat
- Siapkan lingkungan pengembangan Flutter untuk platform target. Aplikasi contoh memerlukan Dart versi 3.4 atau yang lebih baru, di bawah 4.0.
- Dapatkan kunci API. Pilih endpoint layanan di region yang sama dengan kunci API. Jika menggunakan domain khusus ruang kerja, dapatkan juga ID ruang kerja.
Instal SDK
Buka Pemilihan dan pengunduhan SDK ucapan seluler, pilih tab Flutter, lalu unduh dan ekstrak paket.
Salin direktori SDK yang telah diekstrak ke packages/aliyun_neonui di proyek Flutter, lalu tambahkan dependensi lokal ke pubspec.yaml.
flutter pub get, lalu impor SDK di file Dart.
Mulai cepat
Jalankan aplikasi contoh
-
Hubungkan perangkat target. Jalankan perintah berikut dari direktori SDK yang telah diekstrak.
- Pada layar utama aplikasi contoh, buka 百炼(DashScope). Pilih endpoint layanan dan masukkan API Key. Jika menggunakan domain khusus ruang kerja, masukkan juga WorkspaceId.
- Buka Qwen-Audio 实时语音对话 dan jalankan contoh. Izinkan akses mikrofon saat menjalankan contoh perekaman audio.
example/lib/pages/dashscope/dash_qwen_audio_chat_page.dart dalam paket SDK.
Model dalam contoh yang disertakan
qwen-audio-3.1-realtime-plusqwen-audio-3.0-realtime-plusqwen-audio-3.0-realtime-flash
Urutan pemanggilan
Panggil metode berikut pada instance yang diperoleh dari NativeNui().
Gunakan JSON koneksi dan JSON tugas pada bagian Parameter permintaan sebagai initJson dan sessionJson. Pastikan setiap panggilan berhasil sebelum melanjutkan.
-
Berlangganan
eventStreamdanttsAudioStreamsebelum memanggil metode berikut. -
Atur parameter koneksi dan tugas, lalu mulai sesi.
-
Setelah sesi dimulai, rekam audio dan kirim potongan PCM menggunakan
sendAudio. Contoh perekaman menggunakan PCM mono 16-bit pada 16 kHz. Di iOS, mulai mikrofon sebelum memulai pemutar audio. Jika pemutar sudah berjalan, mulai ulang setelah mikrofon aktif agar audio respons dapat diputar. -
Hentikan perekaman lalu panggil
dialogStop. Setelah menangani peristiwa terakhir, panggilnuiReleasedan batalkan langganan.
Parameter permintaan
Contoh ini menggunakan salah satu model dalam paket. Untuk pengaturan tambahan, lihat example/lib/dashscope_params.dart di dalam paket. Untuk penjelasan parameter lainnya, lihat Android SDK, iOS SDK, HarmonyOS SDK.
Ganti YOUR_WS_HOST dengan host WebSocket untuk region Anda, YOUR_DEVICE_ID dengan ID perangkat, dan YOUR_API_KEY dengan kunci API untuk region tersebut.
Parameter koneksi
Teruskan JSON contoh sebagai string ke metode Dart.
Parameter tugas
Teruskan JSON contoh sebagai string ke metode Dart.
model dan nls_config.model. Dalam SDK Dart ini, modalities dan turn_detection adalah string JSON.
Referensi API
Metode
Untuk metode yang mengembalikan Future<int>, kode 0 menandakan keberhasilan. Jenis hasil dari sendAudio adalah Future<Object?>.
| Tanda tangan metode | Kegunaan |
|---|---|
Future<int> nuiInitialize({required String params, int logLevel = 0, bool saveLog = false}) | Inisialisasi SDK dengan parameter koneksi sebagai string JSON. |
Future<int> dialogSetParams(String params) | Atur parameter JSON untuk sesi saat ini. |
Future<int> dialogStart({required int vadMode, String dialogParams = "{}"}) | Mulai sesi. vadMode memilih mode segmentasi dan dialogParams menerima parameter sesi khusus sebagai string JSON. |
Future<Object?> sendAudio(Uint8List data) | Kirim satu potongan audio PCM. |
Future<int> dialogStop() | Akhiri sesi perekaman saat ini dan pertahankan koneksi. |
Future<int> dialogCancel() | Batalkan sesi atau tugas sintesis saat ini. |
Future<int> nuiRelease() | Lepaskan sumber daya SDK. |
Future<int> dialogAction(String actionParams) | Kirim hasil pemanggilan alat ke sesi. |
Peristiwa dan stream audio
Baca peristiwa dari eventStream. Jika peristiwa dikirim sebagai map Dart, gunakan event untuk membaca nama peristiwa dan resultCode untuk memeriksa kegagalan tugas.
Stream ttsAudioStream mengirim potongan audio untuk diputar oleh aplikasi.
| Peristiwa | Kegunaan |
|---|---|
EVENT_ASR_PARTIAL_RESULT | Hasil pengenalan sementara |
EVENT_SENTENCE_END | Hasil pengenalan akhir untuk kalimat saat ini |
EVENT_AUDIO_TRANSCRIPTION_COMPLETED | Transkripsi respons suara selesai |
EVENT_ASR_TTS_START | Sintesis atau keluaran suara dimulai |
EVENT_ASR_TTS_COMPLETE | Tugas atau keluaran audio saat ini selesai |
EVENT_ASR_ERROR | Tugas gagal |