Gunakan SDK HarmonyOS percakapan suara realtime Qwen-Audio-Realtime untuk mengaktifkan input audio realtime serta output suara atau teks.
Untuk koneksi dan autentikasi, lihat Akses WebSocket. Untuk bidang peristiwa dan contoh JSON, lihat Peristiwa klien dan Peristiwa server.
Panduan pengguna: Untuk pengenalan model dan saran pemilihan, lihat Percakapan suara real-time.
Buka proyek di DevEco Studio. Kode contoh berada di
Dikonfigurasi dengan meneruskan string JSON ke parameter
Deskripsi parameter
Dikonfigurasi dengan meneruskan string JSON ke parameter
Deskripsi parameter
Tidak seperti Android yang menggunakan
Untuk menggunakan fitur perekaman, deklarasikan izin mikrofon di
Menginisialisasi instans SDK percakapan suara. SDK menggunakan pola singleton. Jangan menginisialisasinya lagi sebelum Anda memanggil release.
Antarmuka ini bersifat memblokir dan harus dipanggil pada thread non-UI.
Signature metode
Deskripsi parameter
Mengatur parameter percakapan suara dalam format JSON. Panggil metode ini sebelum startDialog.
Signature metode
Deskripsi parameter
Memulai percakapan.
Signature metode
Deskripsi parameter
Mengakhiri percakapan. Setelah Anda memanggil metode ini, server akan mengembalikan hasil percakapan akhir dan mengakhiri tugas.
Signature metode
Mengakhiri percakapan segera. Setelah Anda memanggil metode ini, tugas berakhir tanpa menunggu server mengembalikan hasil percakapan akhir.
Signature metode
Mengirimkan perintah tindakan percakapan selama interaksi untuk memperbarui perilaku runtime seperti konteks percakapan.
Signature metode
Deskripsi parameter
Parameter
Parameter
Contoh:
Saat parameter audio_update_manually diatur ke "true", data perekaman tidak lagi diisi melalui onNuiNeedAudioData; sebagai gantinya, data didorong secara aktif melalui API ini.
Signature metode
Deskripsi parameter
Saat parameter audio_update_manually diatur ke "true" dan kemampuan pembatalan gema AEC on-device diaktifkan, Anda wajib menggunakan API ini untuk mendorong data audio yang diputar oleh pemutar sebagai sinyal referensi.
Signature metode
Deskripsi parameter
Melepaskan semua sumber daya internal SDK. Instans SDK menjadi tidak tersedia setelah panggilan ini. Untuk menggunakan SDK lagi, panggil initialize untuk menginisialisasi ulangnya.
Signature metode
Mendapatkan informasi versi SDK saat ini.
Signature metode
Deskripsi nilai kembalian
Informasi versi SDK saat ini.
Signature metode
Deskripsi parameter
SDK menggunakan callback ini untuk memberi tahu kapan harus memulai atau menghentikan perekaman.
Signature metode
Deskripsi status AudioState
Mendengarkan volume data audio yang direkam, yang dapat digunakan untuk tampilan UI.
Signature metode
Deskripsi parameter
Setelah percakapan dimulai, callback ini dipicu secara terus-menerus, dan Anda harus menyediakan data audio yang akan diproses di dalamnya. Anda dapat mengabaikan callback ini saat parameter audio_update_manually diatur ke "true".
Signature metode
Deskripsi parameter
Deskripsi nilai kembalian
Jumlah byte aktual yang diisi.
Callback ini digunakan untuk menerima event tambahan dan data terkait dari dalam SDK.
Signature metode
Deskripsi parameter
Callback ini digunakan untuk menerima log terperinci dari dalam SDK, memfasilitasi pemecahan masalah dan debugging.
Dalam SDK HarmonyOS, tipe event didefinisikan oleh enumerasi
Prasyarat
- Dapatkan dan konfigurasikan API Key. Jangan hardcode API Key jangka panjang di aplikasi seluler. Kami menyarankan server aplikasi Anda membuat API Key sementara terlebih dahulu, lalu mengirimkannya ke klien.
Instal SDK
- Unduh paket SDK terbaru.
- Ekstrak paket integrasi SDK dalam format
.tar.gz. Dapatkan SDK dalam format HAR dari direktorientry/libsdan tambahkan ke dependensi proyek Anda. Untuk integrasi C++, gunakannative/libsdannative/includedalam paket untuk mendapatkan pustaka dinamis dan file header.
Mulai cepat
Buka proyek di DevEco Studio. Kode contoh berada di DashQwenAudioChatPage.ets. Ganti API Key lalu coba fitur-fiturnya.
Prosedur pemanggilan
- Inisialisasi SDK.
- Atur parameter sesuai kebutuhan bisnis: atur parameter koneksi dan kontrol melalui parameter
parametersdari antarmuka initialize; atur parameter percakapan melalui antarmuka setParams. - Panggil startDialog untuk memulai percakapan.
- Di onNuiAudioStateChanged, mulai perangkat perekaman berdasarkan status audio.
- Sediakan data perekaman secara terus-menerus di onNuiNeedAudioData, atau panggil updateAudio untuk mendorong data perekaman secara aktif.
- Terima data suara yang dikembalikan oleh AI secara terus-menerus di onNuiAssistEventCallback.
- Dengarkan event dan dapatkan informasi event di onNuiEventCallback.
- Panggil stopDialog untuk menghentikan percakapan, dan konfirmasi bahwa percakapan telah berakhir dengan mendengarkan event EVENT_TRANSCRIBER_COMPLETE.
- Saat fitur percakapan tidak lagi diperlukan, panggil release untuk melepaskan sumber daya SDK.
Parameter permintaan
Parameter koneksi dan kontrol
Dikonfigurasi dengan meneruskan string JSON ke parameter parameters dari antarmuka initialize.
Contoh parameter: Berikut adalah contoh string JSON dan tidak mencantumkan semua parameter. Tambahkan parameter sesuai kebutuhan saat coding:
Contoh ini menggunakan qwen-audio-3.1-realtime-plus. Saat Anda mengganti model, perbarui model dalam URL dan nls_config.model pada parameter percakapan sesuai.
| Parameter | Tipe | Wajib | Deskripsi |
|---|---|---|---|
url | String | Ya | Alamat layanan:
{WorkspaceId} dengan ID Workspace Anda yang sebenarnya. |
apikey | String | Ya | API key. |
service_mode | String | Ya | Mode operasi. Untuk percakapan suara realtime, nilainya tetap "1". |
device_id | String | Ya | String unik yang mengidentifikasi pengguna akhir. Anda dapat menggunakan ID pengguna dalam aplikasi atau pengidentifikasi perangkat yang dibuat klien. ID ini terutama digunakan untuk pelacakan log dan pemecahan masalah. |
| audio_update_manually | String | Tidak | Apakah akan mengaktifkan mode pendorongan data audio aktif. Nilai default: "false". Saat parameter ini diatur ke "true" untuk mengaktifkan mode pendorongan data audio aktif dan versi SDK mendukung kemampuan audio on-device (seperti AEC dan VAD), kemampuan audio on-device diaktifkan secara default. |
| workspace | String | Tidak | Saat parameter audio_update_manually diatur ke "true" dan kemampuan audio on-device (seperti AEC dan VAD) diaktifkan, Anda wajib menetapkan workspace, yaitu jalur tempat file sumber daya on-device disimpan. |
debug_path | String | Tidak | Jalur penyimpanan file log. Parameter ini hanya berlaku saat save_log diatur ke true ketika memanggil API initialize. Dalam hal ini, Anda wajib menetapkan jalur file log; jika tidak, kesalahan akan dilaporkan. Maksimal dua file log disimpan secara lokal. |
save_wav | String | Tidak | Apakah akan menyimpan file audio untuk debugging. File audio disimpan di bawah debug_path.Nilai default: "false". Nilai yang valid:
save_log diatur ke true ketika memanggil API initialize. Selain itu, debug_path juga harus diatur. |
max_log_file_size | int | Tidak | Jumlah byte maksimum untuk file log. Parameter ini hanya berlaku saat save_log diatur ke true ketika memanggil API initialize.Nilai default: 104857600 (100 × 1024 × 1024 byte, yaitu 100MiB). |
log_track_level | int | Tidak | Mengontrol tingkat filter konten log yang dikirim ke luar melalui callback log (onNuiLogTrackCallback).Nilai default: 2. Nilai yang valid:
log_track_level dan level (diatur melalui API initialize) bersama-sama menentukan log yang akhirnya di-callback. Log hanya di-callback jika nilai tingkatnya lebih besar dari atau sama dengan log_track_level dan level. Misalnya, jika log_track_level diatur ke 2 (INFO) dan level diatur ke 3 (WARNING), hanya log pada tingkat WARNING ke atas (nilai >= 3) yang di-callback. |
| aec_params | object | Tidak | Objek konfigurasi parameter tingkat lanjut untuk kemampuan AEC on-device. Objek konfigurasi ini hanya diaktifkan saat parameter audio_update_manually diatur ke "true". |
| aec_params.enable_aec | boolean | Tidak | Apakah akan mengaktifkan kemampuan pembatalan gema AEC on-device. Saat parameter audio_update_manually diatur ke "true" dan versi SDK mendukung kemampuan audio AEC on-device, kemampuan ini diaktifkan secara default. |
| aec_params.save_audio | boolean | Tidak | Apakah akan mengaktifkan fitur penyimpanan audio modul pembatalan gema AEC on-device. Saat save_wav adalah "true" dan debug_path diatur, fitur ini diaktifkan secara default, dan data audio runtime AEC disimpan di bawah debug_path. |
| aec_params.enable_aec_data_callback | boolean | Tidak | Apakah akan mengirim data pasca-AEC kepada pengguna. Nilai default: false. Setelah fitur ini diaktifkan, data diterima di EVENT_AEC_DATA pada onNuiAssistEventCallback. |
| vad_params | object | Tidak | Objek konfigurasi parameter tingkat lanjut untuk kemampuan VAD on-device. Objek konfigurasi ini hanya diaktifkan saat parameter audio_update_manually diatur ke "true". |
| vad_params.enable_vad | boolean | Tidak | Apakah akan mengaktifkan kemampuan deteksi suara VAD on-device. Saat parameter audio_update_manually diatur ke "true" dan versi SDK mendukung kemampuan audio VAD on-device, kemampuan ini diaktifkan secara default. |
| vad_params.save_audio | boolean | Tidak | Apakah akan mengaktifkan fitur penyimpanan audio modul deteksi suara VAD on-device. Saat save_wav adalah "true" dan debug_path diatur, fitur ini diaktifkan secara default, dan data audio runtime VAD disimpan di bawah debug_path. |
Parameter percakapan suara
Dikonfigurasi dengan meneruskan string JSON ke parameter params dari API setParams.
Contoh parameter: Berikut adalah contoh string JSON dan tidak mencantumkan semua parameter. Tambahkan parameter sesuai kebutuhan saat coding:
| Parameter tingkat atas | Tipe | Wajib | Deskripsi |
|---|---|---|---|
service_type | int | Ya | Tipe layanan suara. Atur parameter ini ke 4 untuk percakapan suara real-time. |
nls_config | object | Ya | Konfigurasi inti percakapan suara, termasuk pemilihan model dan perilaku percakapan. |
nls_config.model | string | Ya | Menentukan nama model. Mendukung model seri qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash. |
nls_config.sr_format | string | Ya | Format audio input. Saat ini hanya pcm (16kHz 16bit mono) yang didukung, yang merupakan nilai default. |
nls_config.modalities | string | Tidak | String dalam format array, menentukan pengaturan modalitas output model. Nilai yang valid:
|
nls_config.voice | string | Tidak | Nama suara TTS. Nilai default untuk 3.1 Plus/Flash adalah longanqian_v3.1, dan nilai default untuk 3.0 Plus/Flash adalah longanqian. Hanya dapat diatur pada session.update pertama; nilai yang diteruskan selanjutnya akan diabaikan.
|
nls_config.enable_speech_emotion | boolean | Tidak | Apakah akan mengaktifkan fitur peningkatan emosi. Saat diaktifkan, perubahan emosional suara balasan lebih kentara. Nilai default: true. Nilai yang valid: true, false. |
nls_config.instructions | string | Tidak | Instruksi sistem yang digunakan untuk menentukan identitas peran, gaya respons, dan preferensi perilaku model. Berlaku untuk seluruh sesi. |
nls_config.max_history_turns | int | Tidak | Jumlah maksimum giliran tanya-jawab historis yang diizinkan per permintaan. Rentang nilai 1-50, nilai default 20. |
nls_config.tools | string | Tidak | String dalam format array. Daftar definisi alat Function Calling. Saat dikonfigurasi, model dapat secara mandiri memutuskan apakah akan memanggil alat berdasarkan input pengguna. Deskripsi parameter internal: type string(wajib)Tetap function.function.name string(wajib)Nama fungsi alat. function.description string(opsional)Deskripsi fungsi alat, berdasarkan hal tersebut model menentukan apakah akan memanggil alat. function.parameters object(opsional)Deskripsi parameter input fungsi alat, berdasarkan hal tersebut model mengekstrak parameter yang diperlukan. Jika fungsi tidak memerlukan parameter input, bagian ini dapat dihilangkan. Contoh: |
nls_config.turn_detection | string | Tidak | Deskripsi bidang deteksi giliran berikut berlaku untuk qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash.String dalam format objek JSON. Konfigurasi deteksi giliran. Jika tidak diatur, akan beralih ke mode push-to-talk (kirim audio dan picu inferensi secara manual). Jika diatur, mode percakapan dupleks diaktifkan. |
nls_config.turn_detection.type | string | Tidak | Tipe VAD. Nilai yang valid:
|
nls_config.turn_detection.threshold | float | Tidak | Sensitivitas VAD. Berlaku untuk server_vad, smart_turn, dan smart_turn_v2. Semakin rendah nilainya, semakin mudah suara samar (termasuk kebisingan latar belakang) dikenali sebagai ucapan; semakin tinggi nilainya, semakin jelas dan keras ucapan yang diperlukan untuk memicu deteksi.Rentang nilai [-1.0, 1.0], nilai default 0.5. |
nls_config.turn_detection.silence_duration_ms | int | Tidak | Durasi hening minimum (dalam milidetik) setelah ucapan berakhir. Hanya efektif dalam mode server_vad (tidak efektif dalam mode smart_turn dan smart_turn_v2). Setelah hening mencapai durasi ini, respons model dipicu. Semakin rendah nilainya, semakin cepat responsnya, tetapi jeda singkat juga dapat menyebabkan pemicuan palsu. Rentang nilai [200, 6000], nilai default 800. 400-800 direkomendasikan untuk skenario percakapan. |
nls_config.turn_detection.voiceprint_audio_urls | string | Tidak | String dalam format array. Efektif dalam mode smart_turn dan smart_turn_v2. Daftar URL yang dapat diakses publik dari audio prarekam pengguna target, digunakan untuk peningkatan pembicara. Model menggunakan file audio ini untuk mengunci pembicara target dalam percakapan dupleks, mengabaikan suara orang di sekitar dan kebisingan latar belakang. Mendukung hingga 5 URL. Persyaratan format audio: PCM atau WAV 16kHz. |
Referensi API
Manajemen perangkat audio
Tidak seperti Android yang menggunakan AudioRecord / AudioTrack, HarmonyOS menyediakan kemampuan penangkapan dan pemutaran audio melalui @kit.AudioKit, masing-masing menggunakan AudioCapturer (perekaman) dan AudioRenderer (pemutaran). Contoh untuk produk ini telah mengenkapsulasinya menjadi dua kelas utilitas, AudioRecorder.ets dan AudioPlayer.ets, yang dapat langsung digunakan kembali.
Perekaman (AudioCapturer)
- Buat: Dibuat secara asinkron melalui
audio.createAudioCapturer(capturerOptions), dengan laju sampel tetap 16kHz, 16-bit, mono (SAMPLE_RATE_16000/CHANNEL_1/SAMPLE_FORMAT_S16LE/ENCODING_TYPE_RAW). - Sumber audio (
audio.SourceType):SOURCE_TYPE_MIC: Sumber audio mikrofon mentah, digunakan saat AEC internal SDK diaktifkan (data dikirim ke SDK melaluiupdateAudio).SOURCE_TYPE_VOICE_COMMUNICATION: Sumber audio panggilan suara, dengan pembatalan gema yang telah diterapkan oleh sistem saat penangkapan, digunakan saat AEC internal SDK dinonaktifkan (audio ditarik melaluionNuiNeedAudioData).
- Event data: Terima data perekaman secara terus-menerus melalui
capturer.on('readData', (buffer: ArrayBuffer) => void). - Event status: Dipantau melalui
capturer.on('stateChange', (state: audio.AudioState) => void);STATE_RUNNINGmenunjukkan perekaman telah dimulai,STATE_STOPPEDmenunjukkan perekaman telah berhenti. - Kontrol:
start()untuk memulai,stop()untuk menghentikan,release()untuk melepaskan.
Catatan:AudioCapturerHarmonyOS dibuat secara asinkron, danstart()hanya dapat dipanggil setelah pembuatan selesai. Oleh karena itu, jangan membuat dan langsung memulai perekam saatSTATE_OPEN— buat terlebih dahulu, lalu panggilstart()di callbackSTATE_OPEN(contoh membuatnya di tahapdoInitdan memulainya di tahaponNuiAudioStateChanged).
Pemutaran (AudioRenderer)
- Buat: Dibuat secara asinkron melalui
audio.createAudioRenderer(rendererOptions). - Laju sampel: Audio respons ucapan yang disintesis oleh DashScope realtime adalah 24kHz (diteruskan saat membangun
AudioPlayer). - Event data: Tarik audio yang akan diputar melalui
renderer.on('writeData', (data: ArrayBuffer): audio.AudioDataCallbackResult => ...); mengembalikanAudioDataCallbackResult.VALIDmenunjukkan data telah diisi,INVALIDmenunjukkan tidak ada data. - Event status: Pantau mulai dan berakhirnya pemutaran melalui
renderer.on('stateChange', (state: audio.AudioState) => void). - Kontrol:
start()untuk memulai,stop()untuk menghentikan,pause()untuk menjeda (menjeda mempertahankan data yang di-buffer).
Sinyal referensi AEC: Saat AEC internal SDK diaktifkan, audio yang dikeluarkan pemutar harus dikirim ke SDK sebagai sinyal referensi, dengan memanggilnuiInstance.pushReferenceData(data, false)(sesuai denganupdateRefAudioAndroid).
Deklarasi izin
Untuk menggunakan fitur perekaman, deklarasikan izin mikrofon di module.json5:
NativeNui
initialize · Inisialisasi SDK
Menginisialisasi instans SDK percakapan suara. SDK menggunakan pola singleton. Jangan menginisialisasinya lagi sebelum Anda memanggil release.
Antarmuka ini bersifat memblokir dan harus dipanggil pada thread non-UI.
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
callback | INativeNuiCallback | Implementasi antarmuka callback event dan data. |
parameters | string | String JSON yang berisi parameter autentikasi, koneksi, dan debugging. Lihat Parameter koneksi dan kontrol. |
level | number | Mengontrol tingkat log SDK itu sendiri. |
save_log | boolean | Apakah akan menyimpan log secara lokal. Jika true, Anda wajib menentukan jalur melalui debug_path di parameter koneksi dan kontrol, dan Anda dapat mengatur ukuran file melalui max_log_file_size. |
setParams
Mengatur parameter percakapan suara dalam format JSON. Panggil metode ini sebelum startDialog.
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
params | string | Parameter percakapan suara. |
startDialog
Memulai percakapan.
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
vad_mode | Constants.VadMode | Mode VAD. Tetap pada Constants.VadMode.TYPE_P2T. |
dialog_params | string | Jika parameter apikey dalam parameter koneksi dan kontrol menggunakan API key sementara, Anda dapat memperbaruinya di sini saat kedaluwarsa.Kontennya dalam format JSON: |
stopDialog
Mengakhiri percakapan. Setelah Anda memanggil metode ini, server akan mengembalikan hasil percakapan akhir dan mengakhiri tugas.
Signature metode
cancelDialog
Mengakhiri percakapan segera. Setelah Anda memanggil metode ini, tugas berakhir tanpa menunggu server mengembalikan hasil percakapan akhir.
Signature metode
dialogAction
Mengirimkan perintah tindakan percakapan selama interaksi untuk memperbarui perilaku runtime seperti konteks percakapan.
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
params | string | String JSON yang digunakan untuk memperbarui perilaku runtime seperti konteks percakapan. |
params.type | String | Tetap "action". |
params.command | String | Perintah runtime spesifik. Saat ini mendukung "function_call", "play_start", dan "play_over".
|
params.context | String | Saat command adalah "function_call", memperbarui permintaan function call. |
params.context.type | String | Tipe event. Wajib saat command adalah "function_call".
|
params.context.item | object | Wajib saat params.context.type adalah conversation.item.create, menunjukkan item percakapan yang akan dibuat. Lihat berikut untuk detailnya. |
params.context.response | object | Opsional saat params.context.type adalah response.create, menunjukkan konfigurasi sesi default yang digunakan untuk menimpa putaran inferensi saat ini. Jika tidak ditentukan, konfigurasi sesi saat ini yang digunakan. Lihat berikut untuk detailnya. |
context.item:
| Parameter | Tipe | Deskripsi |
|---|---|---|
| id | String | Opsional. Pengidentifikasi unik item percakapan. Jika tidak ditentukan, dibuat secara otomatis oleh server. Jika ID yang ditentukan sudah ada dalam percakapan, kesalahan akan dikembalikan. |
| type | String | Wajib. Tipe item percakapan. Nilai yang valid:
|
| role | String | Wajib untuk tipe message. Peran pesan. Nilai yang valid: system, user, assistant. |
| content | array | Wajib untuk tipe message. Daftar konten pesan. Setiap elemen berisi type dan bidang data terkait.Tipe konten yang didukung oleh setiap peran: system input_text: Pesan sistem, dengan bidang wajib text.user
output_text: Output teks asisten, bidang wajib text. |
| call_id | String | (Wajib untuk tipe function_call / function_call_output )Pengidentifikasi unik pemanggilan fungsi, digunakan untuk menghubungkan permintaan dan hasilnya. |
| name | String | (Wajib untuk tipe function_call )Nama fungsi yang akan dipanggil. |
| arguments | String | function_call type required)Parameter pemanggilan fungsi, dalam format string JSON. |
| output | String | (Wajib untuk tipe function_call_output )Hasil alat, dalam format string JSON. |
context.response:
| Parameter | Tipe | Deskripsi |
|---|---|---|
| modalities | array | String dalam format array, menentukan pengaturan modalitas output model. Nilai yang valid:
|
| voice | string | Menimpa suara TTS untuk giliran ini. |
updateAudio
Saat parameter audio_update_manually diatur ke "true", data perekaman tidak lagi diisi melalui onNuiNeedAudioData; sebagai gantinya, data didorong secara aktif melalui API ini.
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
data | ArrayBuffer | Data audio untuk di-push (PCM). |
first_pack | boolean | Apakah ini adalah paket audio pertama. SDK menghitung jumlah byte dari data.byteLength. |
pushReferenceData (sesuai dengan updateRefAudio Android)
Saat parameter audio_update_manually diatur ke "true" dan kemampuan pembatalan gema AEC on-device diaktifkan, Anda wajib menggunakan API ini untuk mendorong data audio yang diputar oleh pemutar sebagai sinyal referensi.
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
data | ArrayBuffer | Data audio untuk di-push (PCM). |
first_pack | boolean | Apakah ini adalah paket audio pertama. SDK menghitung jumlah byte dari data.byteLength. |
release · Lepaskan resource SDK
Melepaskan semua sumber daya internal SDK. Instans SDK menjadi tidak tersedia setelah panggilan ini. Untuk menggunakan SDK lagi, panggil initialize untuk menginisialisasi ulangnya.
Signature metode
GetVersion
Mendapatkan informasi versi SDK saat ini.
Signature metode
INativeNuiCallback: Mendengarkan callback
onNuiEventCallback: mendengarkan informasi event
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
event | Constants.NuiEvent | Event callback. |
resultCode | number | Hanya valid saat event EVENT_ASR_ERROR terjadi. |
arg2 | number | Parameter yang dicadangkan. |
asrResult | AsrResult | Hasil pengenalan ucapan. |
kwsResult | KwsResult | Fitur wake-up suara. Anda dapat mengabaikan parameter ini. |
onNuiAudioStateChanged: mendengarkan status audio
SDK menggunakan callback ini untuk memberi tahu kapan harus memulai atau menghentikan perekaman.
Signature metode
| Status | Deskripsi |
|---|---|
STATE_OPEN | Interaksi telah dimulai. Anda dapat membuka perangkat perekaman dan memulai perekaman. |
STATE_PAUSE | Interaksi telah berhenti. Anda dapat menghentikan perekaman. |
STATE_CLOSE | Instans SDK telah dilepaskan. Anda dapat menutup perangkat perekaman sepenuhnya. |
onNuiAudioRMSChanged: mendengarkan volume perekaman
Mendengarkan volume data audio yang direkam, yang dapat digunakan untuk tampilan UI.
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
val | number | Nilai volume data audio yang direkam. |
onNuiNeedAudioData: memasok data audio
Setelah percakapan dimulai, callback ini dipicu secara terus-menerus, dan Anda harus menyediakan data audio yang akan diproses di dalamnya. Anda dapat mengabaikan callback ini saat parameter audio_update_manually diatur ke "true".
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
buffer | ArrayBuffer | Data audio yang akan diberikan. SDK menggunakan buffer.byteLength sebagai jumlah byte yang diminta. |
onNuiAssistEventCallback: Data dan hasil informasi tambahan
Callback ini digunakan untuk menerima event tambahan dan data terkait dari dalam SDK.
Signature metode
| Parameter | Tipe | Deskripsi |
|---|---|---|
event | Constants.NuiEvent | Event NuiEvent. |
info | string | Informasi tambahan, biasanya berupa string JSON. |
infoLen | number | Panjang informasi tambahan. |
data | ArrayBuffer | Data biner tambahan, seperti audio TTS yang dikembalikan oleh AI. |
Catatan: Di HarmonyOS, callback ini bersifat opsional (?) dan dapat dibiarkan tidak diimplementasikan jika Anda tidak memerlukannya.
onNuiLogTrackCallback: mendengarkan log trace
Callback ini digunakan untuk menerima log terperinci dari dalam SDK, memfasilitasi pemecahan masalah dan debugging.
NuiEvent: Tipe event
Dalam SDK HarmonyOS, tipe event didefinisikan oleh enumerasi Constants.NuiEvent. Berikut mencantumkan event yang terkait dengan percakapan suara realtime:
| Event | Deskripsi |
|---|---|
| EVENT_TRANSCRIBER_STARTED | Tugas berhasil dimulai. |
| EVENT_VAD_START | Dipicu segera setelah tugas dimulai. Ini tidak berarti bahwa awal ucapan telah terdeteksi. |
| EVENT_VAD_END | Akhir ucapan terdeteksi. |
| EVENT_ASR_PARTIAL_RESULT | Hasil pengenalan ucapan sementara. |
| EVENT_ASR_RESULT | Hasil pengenalan ucapan yang lengkap. |
| EVENT_ASR_ERROR | Terjadi kesalahan selama percakapan suara. |
| EVENT_MIC_ERROR | Dipicu ketika tidak ada data audio yang diterima selama dua detik berturut-turut. |
| EVENT_SENTENCE_START | Awal kalimat telah terdeteksi. |
| EVENT_SENTENCE_END | Akhir kalimat terdeteksi dan hasil pengenalan lengkap dikembalikan. |
| EVENT_TRANSCRIBER_COMPLETE | Percakapan suara berakhir. |
| EVENT_AUDIO_TRANSCRIPTION | Event inkremental subjudul teks dalam mode audio, yang mengembalikan fragmen subjudul secara streaming. |
| EVENT_AUDIO_TRANSCRIPTION_COMPLETED | Event penyelesaian output subjudul dalam mode audio. |
| EVENT_OTHER_RESULT | Informasi event lain yang belum diklasifikasikan, misalnya hasil pengembalian function_call. |
| EVENT_ASR_TTS_START | AI mulai mengembalikan data TTS. |
| EVENT_ASR_TTS_DATA | Data TTS yang dikembalikan oleh AI. |
| EVENT_ASR_TTS_COMPLETE | AI selesai mengembalikan data TTS. |
| EVENT_RESULT_TRANSLATED | Hasil terjemahan sementara. |
| EVENT_RESULT_TRANSLATED_END | Output hasil terjemahan telah selesai. |
| EVENT_AEC_DATA | Data audio yang diproses oleh AEC. |