Skip to main content

Qwen-Audio-Realtime Android SDK

Gunakan SDK Android Qwen-Audio-Realtime untuk melakukan percakapan suara real-time, dengan input audio real-time serta output suara atau teks.

Untuk koneksi dan autentikasi, lihat Akses WebSocket; untuk bidang event dan contoh JSON, lihat event klien dan event server. Panduan pengguna:Untuk pengenalan model dan rekomendasi pemilihan model, lihat Percakapan suara real-time.

Prasyarat

  1. Dapatkan dan konfigurasikan API Key. Jangan menulis API Key jangka panjang secara permanen (hard-code) dalam aplikasi seluler. Sebaiknya server aplikasi Anda membuat API Key sementara lalu mendistribusikannya ke klien.

Instal SDK

  • Unduh bundel SDK terbaru.
  • Dekompresi paket ZIP. Dapatkan SDK dalam format AAR dari direktori app/libs dan tambahkan ke dependensi proyek Anda. Untuk integrasi Android C++, gunakan android_libs dan android_include dalam paket ZIP untuk mendapatkan pustaka dinamis dan file header.

Mulai cepat

Buka proyek di Android Studio. Kode contoh ada di DashQwenAudioChatActivity.java. Ganti API Key untuk mencoba fitur-fiturnya.

Prosedur pemanggilan

  1. Inisialisasi SDK.
  2. Atur parameter sesuai kebutuhan bisnis Anda: atur parameter koneksi dan kontrol melalui parameter parameters dari antarmuka initialize; atur parameter percakapan suara melalui antarmuka setParams.
  3. Panggil startDialog untuk memulai alur percakapan.
  4. Dalam callback onNuiAudioStateChanged, aktifkan perangkat perekaman berdasarkan status audio.
  5. Sediakan data perekaman secara terus-menerus dalam callback onNuiNeedAudioData, atau dorong data perekaman secara terus-menerus melalui updateAudio.
  6. Peroleh data suara yang dikembalikan oleh AI secara terus-menerus dalam callback onNuiAssistEventCallback.
  7. Dengarkan event dan peroleh informasi event dalam callback onNuiEventCallback.
  8. Panggil stopDialog untuk menghentikan percakapan, dan konfirmasikan bahwa percakapan telah berakhir dengan mendengarkan event EVENT_TRANSCRIBER_COMPLETE.
  9. Ketika fitur percakapan tidak lagi digunakan, panggil antarmuka release untuk melepaskan sumber daya SDK.

Parameter permintaan

Parameter koneksi dan kontrol

Konfigurasikan dengan meneruskan string JSON ke parameter parameters dari antarmuka initialize. Contoh parameter:Berikut adalah contoh string JSON dengan parameter yang tidak dicantumkan seluruhnya. Tambahkan parameter tersebut berdasarkan kebutuhan aktual Anda saat membuat kode: Contoh menggunakan qwen-audio-3.1-realtime-plus. Saat mengganti model, perbarui model dalam URL dan nls_config.model pada parameter percakapan suara.
{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=qwen-audio-3.1-realtime-plus",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}
Deskripsi parameter
ParameterTipeWajibDeskripsi
urlStringYaAlamat layanan:
  • wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
  • China (Beijing): wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime?model="<model_name>
  • Singapura: wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime?model="<model_name>
Saat melakukan panggilan, ganti {WorkspaceId} dengan ID Workspace Anda yang sebenarnya.
apikeyStringYaAPI Key.
service_modeStringYaMode eksekusi. Untuk percakapan suara real-time, nilai ini tetap "1".
device_idStringYaString unik yang mengidentifikasi pengguna akhir. Anda dapat mengaturnya ke ID pengguna dalam aplikasi atau pengidentifikasi unik perangkat yang dihasilkan oleh klien. ID ini terutama digunakan untuk pelacakan log dan pemecahan masalah.
audio_update_manuallyStringTidakApakah mengaktifkan mode pendorongan data audio aktif. Nilai default: "false".
Ketika diatur ke "true" untuk mengaktifkan mode pendorongan data audio aktif, dan versi SDK mendukung kemampuan audio on-device (seperti AEC dan VAD), kemampuan audio on-device diaktifkan secara default.
workspaceStringTidakKetika parameter audio_update_manually diatur ke "true" dan kemampuan audio on-device (seperti AEC dan VAD) diaktifkan, Anda wajib mengatur workspace, yaitu jalur tempat file sumber daya on-device disimpan.
debug_pathStringTidakJalur penyimpanan file log. Parameter ini hanya berlaku saat save_log diatur ke true saat memanggil API initialize. Dalam kasus ini, jalur file log wajib diatur, jika tidak, kesalahan akan dilaporkan. Maksimal dua file log disimpan secara lokal.
save_wavStringTidakApakah menyimpan file audio untuk debugging. File audio disimpan di bawah debug_path.
Nilai default: "false".
Nilai yang valid:
  • "true": Ya
  • "false": Tidak
Parameter ini hanya berlaku saat save_log diatur ke true saat memanggil API initialize. Sementara itu, debug_path juga harus diatur.
max_log_file_sizeintTidakUkuran maksimum file log dalam byte.
Parameter ini hanya berlaku saat save_log diatur ke true saat memanggil API initialize.
Nilai default: 104857600 (100 * 1024 * 1024 byte, yaitu 100MiB).
log_track_levelintTidakMengontrol tingkat filter untuk konten log yang dikirim melalui callback log (onNuiLogTrackCallback).
Nilai default: 2.
Nilai yang valid:
  • 0: LOG_LEVEL_VERBOSE
  • 1: LOG_LEVEL_DEBUG
  • 2: LOG_LEVEL_INFO
  • 3: LOG_LEVEL_WARNING
  • 4: LOG_LEVEL_ERROR
  • 5: LOG_LEVEL_NONE (menonaktifkan fitur ini)
Catatan: log_track_level dan level (diatur melalui API initialize) bersama-sama menentukan log yang pada akhirnya di-callback. Log hanya di-callback jika nilai tingkatnya lebih besar dari atau sama dengan log_track_level dan level. Misalnya, jika log_track_level diatur ke 2 (INFO) dan level diatur ke 3 (WARNING), hanya log pada tingkat WARNING ke atas (nilai >= 3) yang akan di-callback.
aec_paramsobjectTidakObjek konfigurasi parameter tingkat lanjut untuk kemampuan AEC on-device. Objek konfigurasi ini hanya diaktifkan ketika parameter audio_update_manually diatur ke "true".
aec_params.enable_aecbooleanTidakApakah mengaktifkan kemampuan pembatalan gema AEC on-device.
Ketika parameter audio_update_manually diatur ke "true" dan versi SDK mendukung kemampuan audio AEC on-device, kemampuan ini diaktifkan secara default.
aec_params.save_audiobooleanTidakApakah mengaktifkan fitur penyimpanan audio dari modul pembatalan gema AEC on-device. Ketika save_wav adalah "true" dan debug_path diatur, fitur ini diaktifkan secara default, dan data audio runtime AEC disimpan di bawah debug_path.
aec_params.enable_aec_data_callbackbooleanTidakApakah akan mengirim data yang telah diproses AEC kepada pengguna, default false; setelah diaktifkan, data diterima dalam EVENT_AEC_DATA pada onNuiAssistEventCallback.
vad_paramsobjectTidakObjek konfigurasi parameter tingkat lanjut untuk kemampuan VAD on-device.
Objek konfigurasi ini hanya diaktifkan ketika parameter audio_update_manually diatur ke "true".
vad_params.enable_vadbooleanTidakApakah mengaktifkan kemampuan deteksi suara VAD on-device.
Ketika parameter audio_update_manually diatur ke "true" dan versi SDK mendukung kemampuan audio VAD on-device, kemampuan ini diaktifkan secara default.
vad_params.save_audiobooleanTidakApakah mengaktifkan fitur penyimpanan audio dari modul deteksi suara VAD on-device.
Ketika save_wav adalah "true" dan debug_path diatur, fitur ini diaktifkan secara default, dan data audio runtime VAD disimpan di bawah debug_path.

Parameter efek percakapan suara

Dikonfigurasikan dengan meneruskan string JSON ke parameter params dari API setParams. Contoh parameter:Berikut adalah contoh string JSON dengan parameter yang tidak dicantumkan seluruhnya. Tambahkan parameter tersebut berdasarkan kebutuhan aktual Anda saat membuat kode:
{
    "service_type": 4,
    "nls_config": {
        "model": "qwen-audio-3.1-realtime-plus",
        "sr_format": "pcm"
    }
}
Deskripsi parameter
Parameter tingkat atasTipeWajibDeskripsi
service_typeintYaTipe layanan suara. Tetap 4 untuk percakapan suara real-time.
nls_configobjectYaObjek konfigurasi inti untuk percakapan suara, berisi parameter kunci seperti pemilihan model dan kontrol efek percakapan.
nls_config.modelstringYaMenentukan nama model. Mendukung model seri qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash.
nls_config.sr_formatstringYaFormat audio input. Saat ini hanya pcm (16kHz 16bit mono) yang didukung, yang merupakan nilai default.
nls_config.modalitiesstringTidakString dalam format array untuk pengaturan modalitas output model. Nilai yang valid:
  • ["text"]: Hanya output teks.
  • ["audio", "text"] (nilai default): Menghasilkan output teks dan audio.
nls_config.voicestringTidakNama suara TTS. Nilai default untuk 3.1 Plus/Flash adalah longanqian_v3.1, dan nilai default untuk 3.0 Plus/Flash adalah longanqian. Hanya dapat diatur pada session.update pertama; nilai yang diteruskan setelahnya akan diabaikan.
  • Suara sistem 3.1 Plus/Flash: Nilai yang valid mencakup longanqian_v3.1 dan semua suara dalam daftar suara TTS 3.1 Plus/Flash. Untuk rentang lengkapnya, lihat Konfigurasi suara.
  • Suara sistem 3.0 Plus/Flash: longanqian, longanlingxin, longanlingxi, longanxiaoxin, longanlufeng.
  • Suara hasil kloning: Dibuat melalui API kloning suara; isi voice_id yang dikembalikan untuk parameter ini. Untuk informasi selengkapnya, lihat Konfigurasi suara.
nls_config.enable_speech_emotionbooleanTidakApakah mengaktifkan fitur peningkatan emosi. Saat diaktifkan, perubahan emosional suara balasan lebih terlihat jelas. Nilai default: true. Nilai yang valid: true, false.
nls_config.instructionsstringTidakInstruksi sistem yang digunakan untuk mengatur identitas peran model, gaya respons, dan preferensi perilaku. Berlaku untuk seluruh sesi.
nls_config.max_history_turnsintTidakJumlah maksimum giliran tanya jawab historis yang diizinkan per permintaan. Rentang nilai: 1-50. Nilai default: 20.
nls_config.toolsstringTidakString dalam format array. Daftar definisi alat Function Calling. Setelah dikonfigurasi, model dapat secara mandiri memutuskan apakah akan memanggil alat berdasarkan input pengguna.
Deskripsi parameter internal:
typestring(wajib)
Tetap function.
function.namestring(wajib)
Nama fungsi alat.
function.descriptionstring(opsional)
Deskripsi kemampuan fungsi alat, yang digunakan model untuk menentukan apakah akan memanggil alat.
function.parametersobject(opsional)
Deskripsi parameter input fungsi alat, yang digunakan model untuk mengekstrak input yang diperlukan. Jika fungsi tidak memerlukan parameter input, bagian ini dapat dihilangkan.
Contoh:
[
  {
    "type": "function",
    "function": {
      "name": "get_weather",
      "description": "查询指定城市的天气信息。",
      "parameters": {
        "type": "object",
        "properties": {
          "city": {
            "type": "string",
            "description": "城市"
          }
        },
        "required": [
          "city"
        ]
      }
    }
  }
]
nls_config.turn_detectionstringTidakDeskripsi bidang deteksi giliran berikut berlaku untuk qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash.String dalam format objek JSON. Konfigurasi deteksi giliran. Ketika tidak diatur, beralih ke mode push-to-talk (kirim audio dan picu inferensi secara manual). Jika tidak, mode percakapan dupleks diaktifkan.
nls_config.turn_detection.typestringTidakTipe VAD. Nilai yang valid:
  • server_vad (default): mendeteksi awal dan akhir ucapan berdasarkan fitur akustik dan secara otomatis memicu inferensi.
  • smart_turn: deteksi giliran cerdas yang menggabungkan persepsi akustik dengan pemahaman semantik, menentukan batas giliran melalui penilaian akustik dan semantik. Suara non-ucapan (seperti "um" dan "ah") tidak akan memicu giliran percakapan atau mengganggu pemutaran model.
  • smart_turn_v2 (direkomendasikan): meningkatkan pemahaman konteks percakapan di atas smart_turn, lebih baik menentukan maksud interaksi dalam skenario multi-pembicara. Ini mengurangi respons salah dan gangguan salah yang disebabkan oleh ucapan orang di sekitar atau interjeksi yang tidak relevan.
nls_config.turn_detection.thresholdfloatTidakSensitivitas VAD. Berlaku untuk server_vad, smart_turn, dan smart_turn_v2. Semakin rendah nilainya, semakin mudah suara samar (termasuk kebisingan latar belakang) dikenali sebagai ucapan; semakin tinggi nilainya, semakin jelas dan keras ucapan yang diperlukan untuk memicu deteksi.
Rentang nilai: [-1.0, 1.0]. Nilai default: 0.5.
nls_config.turn_detection.silence_duration_msintTidakDurasi hening minimum (dalam milidetik) setelah ucapan berakhir. Hanya efektif dalam mode server_vad (tidak efektif dalam mode smart_turn dan smart_turn_v2). Setelah hening mencapai durasi ini, respons model dipicu. Semakin rendah nilainya, semakin cepat responsnya, tetapi jeda singkat juga dapat menyebabkan pemicuan yang salah.
Rentang nilai: [200, 6000]. Nilai default: 800. Untuk skenario percakapan, 400-800 direkomendasikan.
nls_config.turn_detection.voiceprint_audio_urlsstringTidakString dalam format array. Efektif dalam mode smart_turn dan smart_turn_v2. Daftar URL yang dapat diakses publik dari audio prarekam pengguna target, digunakan untuk penguatan pembicara. Model menggunakan klip audio ini untuk mengunci pembicara target selama percakapan dupleks, mengabaikan suara orang di sekitar dan kebisingan latar belakang. Mendukung hingga 5 URL. Persyaratan format audio: PCM atau WAV 16kHz.

Referensi antarmuka

NativeNui

initialize · Inisialisasi SDK

Menginisialisasi instance SDK percakapan suara. SDK adalah singleton; inisialisasi berulang dilarang sebelum memanggil release. Antarmuka ini memblokir dan harus dipanggil di thread non-UI. Signature metode
public synchronized int initialize(final INativeNuiCallback callback,
                                   String parameters,
                                   final Constants.LogLevel level,
                                   final boolean save_log)
Deskripsi parameter
ParameterTipeDeskripsi
callbackINativeNuiCallbackImplementasi antarmuka callback event dan data.
parametersStringString JSON yang berisi parameter autentikasi, koneksi, dan debugging. Lihat Parameter koneksi dan kontrol.
levelConstants.LogLevelMengontrol tingkat pencetakan log SDK itu sendiri.
save_logbooleanApakah menyimpan log lokal. Jika true, Anda harus menentukan jalur melalui debug_path dalam Parameter koneksi dan kontrol, dan Anda dapat mengatur ukuran file melalui max_log_file_size.

setParams

Menetapkan parameter efek percakapan suara dalam format JSON. Panggil sebelum startDialog. Signature metode
public synchronized int setParams(String params)
Deskripsi parameter
ParameterTipeDeskripsi
paramsStringParameter efek percakapan suara.

startDialog

Memulai percakapan. Signature metode
public synchronized int startDialog(VadMode vad_mode, String dialog_params)
Deskripsi parameter
ParameterTipeDeskripsi
vad_modeVadModeMode VAD. Tetap VadMode.TYPE_P2T.
dialog_paramsStringJika parameter apikey dalam Parameter koneksi dan kontrol menggunakan API Key sementara, Anda dapat memperbaruinya di sini saat kedaluwarsa.
Kontennya dalam format JSON:
{
  "apikey": "st-****"
}

stopDialog

Mengakhiri percakapan. Setelah antarmuka ini dipanggil, server mengembalikan hasil percakapan akhir dan mengakhiri tugas. Signature metode
public synchronized int stopDialog();

cancelDialog

Segera mengakhiri percakapan. Setelah antarmuka ini dipanggil, tugas langsung berakhir tanpa menunggu server mengembalikan hasil percakapan akhir. Signature metode
public synchronized int cancelDialog();

updateAction

Mengirim perintah aksi percakapan selama interaksi, digunakan untuk memperbarui perilaku runtime seperti konteks percakapan. Signature metode
public synchronized int updateAction(String params);
Deskripsi parameter
ParameterTipeDeskripsi
paramsStringString JSON yang digunakan untuk memperbarui perilaku runtime seperti konteks percakapan.
params.typeStringTetap "action".
params.commandStringInstruksi runtime spesifik. Saat ini, function_call, play_start, dan play_over didukung.
  • function_call: Instruksi untuk memperbarui permintaan function call.
  • play_start: Saat AEC on-device digunakan, instruksi ini memberi tahu pemutar AEC di dalam SDK untuk mulai memutar audio.
  • play_over: Saat AEC on-device digunakan, instruksi ini memberi tahu pemutar AEC di dalam SDK bahwa pemutaran telah berakhir.
params.contextStringMemperbarui permintaan function call ketika command adalah "function_call".
params.context.typeStringTipe event. Wajib ketika command adalah "function_call".
  • conversation.item.create: Menyisipkan item percakapan secara manual ke dalam konteks percakapan. Dapat digunakan untuk menyuntikkan konteks historis, melengkapi informasi teks, atau menulis kembali hasil eksekusi alat Function Calling.
  • response.create: Memicu putaran inferensi kedua setelah instruksi conversation.item.create dikirim.
params.context.itemobjectWajib ketika params.context.type adalah conversation.item.create, menunjukkan item percakapan yang akan dibuat. Lihat bagian berikut untuk detailnya.
params.context.responseobjectOpsional ketika params.context.type adalah response.create, menunjukkan konfigurasi default sesi yang digunakan untuk menimpa inferensi putaran saat ini. Jika tidak ditentukan, konfigurasi sesi saat ini yang digunakan. Lihat bagian berikut untuk detailnya.
Parameter context.item:
ParameterTipeDeskripsi
idStringOpsional. Pengidentifikasi unik item percakapan. Jika tidak ditentukan, secara otomatis dibuat oleh server. Jika ID yang ditentukan sudah ada dalam percakapan, kesalahan akan dikembalikan.
typeStringWajib. Tipe item percakapan. Nilai yang valid:
  • message: Pesan percakapan reguler.
  • function_call: Permintaan pemanggilan fungsi. Biasanya dibuat oleh server; juga dapat digunakan oleh klien untuk melengkapi konteks historis.
  • function_call_output: Hasil eksekusi alat. Setelah menerima function_call, klien mengeksekusi alat dan menulis kembali hasilnya dengan tipe ini.
roleStringWajib untuk tipe message. Peran pesan. Nilai yang valid: system, user, dan assistant.
contentarrayWajib untuk tipe message. Daftar konten pesan. Setiap elemen berisi type dan bidang data terkait.
Tipe konten yang didukung oleh setiap peran:
system
input_text: Pesan sistem, dengan bidang wajib text.
user
  • input_text: Input teks pengguna, dengan bidang wajib text.
  • input_audio: Input audio pengguna, dengan bidang wajib audio (dienkode Base64).
assistant
output_text: Output teks asisten, dengan bidang wajib text.
call_idString(Wajib untuk tipe function_call / function_call_output)
Pengidentifikasi unik pemanggilan fungsi, digunakan untuk mengaitkan permintaan dan hasilnya.
nameString(Wajib untuk tipe function_call)
Nama fungsi yang akan dipanggil.
argumentsString(Wajib untuk tipe function_call)
Parameter pemanggilan fungsi, dalam format string JSON.
outputString(Wajib untuk tipe function_call_output)
Hasil eksekusi alat, dalam format string JSON.
Parameter context.response:
ParameterTipeDeskripsi
modalitiesarrayString dalam format array untuk pengaturan modalitas output model. Nilai yang valid:
  • ["text"]: Hanya output teks.
  • ["audio", "text"] (nilai default): Menghasilkan output teks dan audio.
voicestringMenimpa suara TTS untuk putaran saat ini.
Contoh:
{
  "type": "action",
  "command": "function_call",
  "context": {
    "item": {
      "call_id": "call_xxxx",
      "output": "{\"city\":\"杭州\",\"condition\":\"晴\",\"temperature\":18}",
      "type": "function_call_output"
    },
    "type": "conversation.item.create"
  }
}

{
  "type": "action",
  "command": "function_call",
  "context": {
    "response": {
      "modalities": [
        "text",
        "audio"
      ]
    },
    "type": "response.create"
  }
}

updateAudio

Ketika parameter audio_update_manually diatur ke "true", data perekaman tidak lagi diisi melalui onNuiNeedAudioData, tetapi didorong secara aktif melalui antarmuka ini. Signature metode
public synchronized int updateAudio(byte[ ] data, int len,
                                    boolean first_pack);
Deskripsi parameter
ParameterTipeDeskripsi
databyte[]Data audio yang didorong.
lenintJumlah byte data audio yang didorong.
first_packbooleanMohon abaikan. Tidak perlu memperhatikan parameter ini.

updateRefAudio

Ketika parameter audio_update_manually diatur ke "true" dan kemampuan pembatalan gema AEC on-device diaktifkan, Anda harus menggunakan antarmuka ini untuk mendorong data audio yang diputar oleh pemutar sebagai sinyal referensi. Signature metode
public synchronized int updateRefAudio(byte[ ] data, int len,

                                       boolean first_pack);
Deskripsi parameter
ParameterTipeDeskripsi
databyte[]Data audio yang didorong.
lenintJumlah byte data audio yang didorong.
first_packbooleanMohon abaikan. Tidak perlu memperhatikan parameter ini.

release · Lepaskan sumber daya SDK

Melepaskan semua sumber daya internal SDK. Setelah metode ini dipanggil, instance SDK menjadi tidak dapat digunakan. Untuk menggunakannya kembali, Anda harus memanggil initialize lagi untuk menginisialisasi ulang. Signature metode
public synchronized int release();

GetVersion

Mendapatkan informasi versi SDK saat ini. Signature metode
public synchronized String GetVersion();
Deskripsi nilai kembalian Informasi versi SDK saat ini.

INativeNuiCallback: Mendengarkan callback

onNuiEventCallback: Mendengarkan informasi event

Signature metode
void onNuiEventCallback(NuiEvent event, final int resultCode, final int arg2, KwsResult kwsResult, AsrResult asrResult);
Deskripsi parameter
ParameterTipeDeskripsi
eventNuiEventEvent callback.
resultCodeintHanya valid saat event EVENT_ASR_ERROR terjadi.
arg2intParameter cadangan.
asrResultAsrResultHasil pengenalan ucapan.
kwsResultKwsResultFitur wake-up suara. Tidak perlu memperhatikan parameter ini.

onNuiAudioStateChanged: Mendengarkan status audio

SDK menggunakan callback ini untuk memberi tahu kapan harus memulai atau menghentikan perekaman. Signature metode
void onNuiAudioStateChanged(AudioState state);
Deskripsi status AudioState
StatusDeskripsi
STATE_OPENInteraksi dimulai. Anda dapat membuka perangkat perekaman untuk merekam.
STATE_PAUSEInteraksi berhenti. Anda dapat menghentikan perekaman.
STATE_CLOSEInstance SDK telah dilepaskan. Anda dapat menutup perangkat perekaman sepenuhnya.

onNuiNeedAudioData: Mengisi data audio yang akan diproses

Setelah percakapan dimulai, callback ini dipicu secara terus-menerus, dan Anda harus menyediakan data audio yang akan diproses di dalamnya. Ketika parameter audio_update_manually diatur ke "true", Anda dapat mengabaikan callback ini. Signature metode
int onNuiNeedAudioData(byte[ ] buffer, int len);
Deskripsi parameter
ParameterTipeDeskripsi
bufferbyte[]Data audio yang akan diisi.
lenintJumlah byte data audio yang diisi.
Deskripsi nilai kembalian Jumlah byte aktual yang diisi.

onNuiAssistEventCallback: Data dan hasil informasi tambahan

Callback ini digunakan untuk menerima event tambahan dan data terkait dari dalam SDK. Signature metode
void onNuiAssistEventCallback_(int event, byte[ ] info, int info_len,
                               byte[ ] data);
Deskripsi parameter
ParameterTipeDeskripsi
eventintEvent NuiEvent
infoStringAnda tidak perlu memperhatikan parameter ini.
info_lenintAnda tidak perlu memperhatikan parameter ini.
databyte[]Data tambahan, seperti audio TTS yang dikembalikan oleh AI.

onNuiLogTrackCallback: Mendengarkan log pelacakan

Callback ini digunakan untuk menerima log terperinci dari dalam SDK, memfasilitasi pemecahan masalah dan debugging.
default void onNuiLogTrackCallback(Constants.LogLevel level, String log)

NuiEvent: Tipe event

EventDeskripsi
EVENT_TRANSCRIBER_STARTEDTugas berhasil dimulai.
EVENT_VAD_STARTEvent ini dipicu segera setelah tugas dimulai. Ini tidak menunjukkan bahwa awal suara manusia telah terdeteksi.
EVENT_VAD_ENDAkhir suara manusia terdeteksi.
EVENT_ASR_PARTIAL_RESULTHasil pengenalan ucapan menengah.
EVENT_ASR_ERRORTerjadi kesalahan selama percakapan suara.
EVENT_MIC_ERRORDipicu karena tidak ada data audio yang diterima selama 2 detik berturut-turut.
EVENT_SENTENCE_ENDAkhir kalimat terdeteksi, dan hasil pengenalan lengkap dikembalikan.
EVENT_TRANSCRIBER_COMPLETEPercakapan suara berakhir.
EVENT_AUDIO_TRANSCRIPTIONEvent inkremental subjudul teks dalam mode audio, mengembalikan fragmen subjudul secara streaming.
EVENT_AUDIO_TRANSCRIPTION_COMPLETEDEvent penyelesaian output subjudul dalam mode audio.
EVENT_OTHER_RESULTInformasi event lain yang belum diklasifikasikan, seperti hasil pengembalian function_call.
EVENT_ASR_TTS_STARTAI mulai mengembalikan data TTS.
EVENT_ASR_TTS_DATAData TTS yang dikembalikan oleh AI.
EVENT_ASR_TTS_COMPLETEAI selesai mengembalikan data TTS.
EVENT_AEC_DATAData audio setelah pembatalan gema AEC.