Skip to main content

Qwen-Audio-Realtime iOS SDK

Gunakan SDK iOS percakapan suara realtime Qwen-Audio-Realtime untuk mengaktifkan input audio realtime serta output ucapan atau teks.

Untuk koneksi dan autentikasi, lihat Akses WebSocket. Untuk bidang event dan contoh JSON, lihat Event klien dan Event server. Panduan pengguna:Untuk pengenalan model dan rekomendasi pemilihan, lihat Percakapan suara real-time.

Prasyarat

  1. Dapatkan dan konfigurasikan kunci API. Jangan menanamkan kunci API jangka panjang secara langsung di aplikasi seluler. Kami menyarankan server aplikasi Anda membuat kunci API sementara lalu membagikannya ke klien.

Instal SDK

  • Unduh paket integrasi SDK terbaru.
  • Ekstrak paket ZIP dan tambahkan nuisdk.xcframework ke proyek Anda.
  • Di Build Phases → Link Binary With Libraries, tambahkan nuisdk.xcframework.
  • Di General → Frameworks, Libraries, and Embedded Content, atur nuisdk.xcframework ke Embed & Sign.

Mulai cepat

Buka proyek contoh di Xcode. Kode contoh berada di DashQwenAudioChatViewController.m. Ganti API Key dan coba fiturnya.

Prosedur

  1. Inisialisasi SDK.
  2. Atur parameter berdasarkan kebutuhan bisnis Anda: gunakan antarmuka nui_initialize untuk mengatur parameter koneksi dan kontrol; gunakan antarmuka nui_set_params untuk mengatur parameter efek percakapan suara.
  3. Panggil nui_dialog_start untuk memulai proses percakapan.
  4. Di callback onNuiAudioStateChanged, mulai perangkat perekaman berdasarkan status audio.
  5. Di callback onNuiNeedAudioData, sediakan data perekaman secara terus-menerus, atau gunakan nui_update_audio_data untuk mendorong data perekaman secara terus-menerus.
  6. Di callback onNuiAssistEventCallback, terima data suara yang dikembalikan oleh AI secara terus-menerus.
  7. Di callback onNuiEventCallback, dengarkan event dan dapatkan informasi event.
  8. Panggil nui_dialog_cancel untuk menghentikan percakapan, dan konfirmasikan bahwa percakapan telah berakhir dengan mendengarkan event EVENT_TRANSCRIBER_COMPLETE.
  9. Ketika fungsi percakapan tidak lagi diperlukan, panggil antarmuka nui_release untuk melepaskan sumber daya SDK.

Parameter permintaan

Parameter koneksi dan kontrol

Konfigurasikan dengan meneruskan string JSON ke parameter parameters dari antarmuka nui_initialize. Contoh parameter:Berikut adalah contoh string JSON. Parameter tidak dicantumkan seluruhnya. Tambahkan sesuai kebutuhan selama pengembangan: Contoh ini menggunakan qwen-audio-3.1-realtime-plus. Saat Anda mengganti model, perbarui model di URL dan nls_config.model pada parameter efek percakapan suara secara sesuai.
{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=qwen-audio-3.1-realtime-plus",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}
Deskripsi parameter
ParameterTipeWajibDeskripsi
urlStringYaURL layanan:
  • wss://dashscope.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
  • Tiongkok (Beijing): wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
  • Singapura: wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime?model=<model_name>
Saat memanggil, ganti {WorkspaceId} dengan ID Workspace Anda yang sebenarnya.
apikeyStringYaKunci API.
service_modeStringYaMode operasi. Untuk percakapan suara real-time, parameter ini tetap "1".
device_idStringYaString unik yang digunakan untuk mengidentifikasi pengguna akhir. Anda dapat mengaturnya ke ID pengguna dalam aplikasi atau pengidentifikasi unik perangkat yang dibuat oleh klien. ID ini terutama digunakan untuk pelacakan log dan pemecahan masalah.
audio_update_manuallyStringTidakApakah akan mengaktifkan mode dorong data audio proaktif. Nilai default: "false".
Saat diatur ke "true" untuk mengaktifkan mode dorong data audio proaktif dan versi SDK mendukung kemampuan audio on-device (seperti AEC dan VAD), kemampuan audio on-device diaktifkan secara default.
workspaceStringTidakJalur penyimpanan file sumber daya on-device. Parameter ini wajib diatur saat audio_update_manually diatur ke "true" dan kemampuan audio on-device (seperti AEC dan VAD) diaktifkan.
debug_pathStringTidakJalur penyimpanan file log. Parameter ini hanya berlaku saat save_log diatur ke YES saat memanggil metode nui_initialize. Dalam kasus ini, jalur file log wajib diatur; jika tidak, kesalahan akan dilaporkan. Maksimal dua file log disimpan secara lokal.
save_wavStringTidakApakah akan menyimpan file audio untuk debugging. File audio disimpan di bawah debug_path. Nilai default: "false".
Nilai yang valid:
  • "true": Ya
  • "false": Tidak
Parameter ini hanya berlaku saat save_log diatur ke true saat memanggil metode nui_initialize. Selain itu, debug_path juga harus diatur.
max_log_file_sizeintTidakMengatur jumlah byte maksimum untuk file log. Parameter ini hanya berlaku saat save_log diatur ke YES saat memanggil metode nui_initialize. Nilai default: 104857600 (100 × 1024 × 1024 byte, yaitu 100MiB).
log_track_levelintTidakMengontrol tingkat filter untuk konten log yang dikirim ke eksternal melalui callback log (onNuiLogTrackCallback).
Nilai default: 2.
Nilai yang valid:
  • 0: LOG_LEVEL_VERBOSE
  • 1: LOG_LEVEL_DEBUG
  • 2: LOG_LEVEL_INFO
  • 3: LOG_LEVEL_WARNING
  • 4: LOG_LEVEL_ERROR
  • 5: LOG_LEVEL_NONE (menonaktifkan fitur ini)
Catatan: log_track_level dan level (diatur melalui metode nui_initialize) bersama-sama menentukan log yang pada akhirnya dipanggil kembali. Log hanya dipanggil kembali jika nilai tingkatnya lebih besar dari atau sama dengan log_track_level dan level. Misalnya, jika log_track_level diatur ke 2 (INFO) dan level diatur ke 3 (WARNING), hanya log dengan tingkat WARNING dan lebih tinggi (nilai >=3) yang akan dipanggil kembali.

Parameter efek percakapan suara

Dikonfigurasi dengan meneruskan string JSON ke parameter params dari metode nui_set_params. Contoh parameter:Berikut adalah contoh string JSON. Parameter tidak dicantumkan seluruhnya. Tambahkan sesuai kebutuhan selama pengembangan:
{
    "service_type": 4,
    "nls_config": {
        "model": "qwen-audio-3.1-realtime-plus",
        "sr_format": "pcm"
    }
}
Deskripsi parameter
Parameter tingkat atasTipeWajibDeskripsi
service_typeintYaTipe layanan suara. Tetap ke 4 untuk percakapan suara real-time.
nls_configobjectYaObjek konfigurasi inti percakapan suara, berisi parameter kunci seperti pemilihan model dan kontrol efek percakapan.
nls_config.modelstringYaMenentukan nama model. Model yang didukung meliputi seri qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash.
nls_config.sr_formatstringYaFormat audio input. Saat ini, hanya pcm (16kHz 16bit mono) yang didukung, yang merupakan nilai default.
nls_config.modalitiesstringTidakString dalam format array. Pengaturan modalitas output model. Nilai yang valid:
  • ["text"]: Hanya output teks.
  • ["audio", "text"] (nilai default): Menghasilkan output teks dan audio.
nls_config.voicestringTidakNama suara TTS. Nilai default untuk 3.1 Plus/Flash adalah longanqian_v3.1, dan nilai default untuk 3.0 Plus/Flash adalah longanqian. Hanya dapat diatur di session.update pertama; input berikutnya akan diabaikan.
  • Suara sistem 3.1 Plus/Flash: Nilai yang valid meliputi longanqian_v3.1 dan semua suara dalam daftar suara TTS 3.1 Plus/Flash. Untuk jangkauan lengkap, lihat Konfigurasi suara.
  • Suara sistem 3.0 Plus/Flash: longanqian, longanlingxin, longanlingxi, longanxiaoxin, longanlufeng.
  • Suara hasil kloning suara: Dibuat melalui API kloning suara. Isi voice_id yang dikembalikan untuk parameter ini. Untuk informasi lebih lanjut, lihat Konfigurasi suara.
nls_config.enable_speech_emotionBOOLTidakApakah akan mengaktifkan peningkatan emosi. Saat diaktifkan, perubahan emosional suara balasan lebih terlihat. Nilai default: YES. Nilai yang valid: YES, NO.
nls_config.instructionsstringTidakInstruksi sistem, digunakan untuk menentukan peran model, gaya respons, dan preferensi perilaku. Berlaku untuk seluruh sesi.
nls_config.max_history_turnsintTidakJumlah maksimum giliran tanya-jawab historis yang diizinkan per permintaan. Rentang nilai: 1-50. Nilai default: 20.
nls_config.toolsstringTidakString dalam format array. Daftar definisi alat Function Calling. Setelah dikonfigurasi, model dapat secara mandiri memutuskan apakah akan memanggil alat berdasarkan input pengguna.
Deskripsi parameter internal:
typestring(wajib)
Tetap ke function.
function.namestring(wajib)
Nama fungsi alat.
function.descriptionstring (opsional)
Deskripsi fungsionalitas fungsi alat, berdasarkan hal tersebut model memutuskan apakah akan memanggil alat.
function.parametersobject (opsional)
Deskripsi parameter input fungsi alat, berdasarkan hal tersebut model mengekstrak parameter input yang diperlukan. Jika fungsi tidak memerlukan parameter input, bagian ini dapat dihilangkan.
Contoh:
[
  {
    "type": "function",
    "function": {
      "name": "get_weather",
      "description": "查询指定城市的天气信息。",
      "parameters": {
        "type": "object",
        "properties": {
          "city": {
            "type": "string",
            "description": "城市"
          }
        },
        "required": [
          "city"
        ]
      }
    }
  }
]
nls_config.turn_detectionstringTidakDeskripsi bidang deteksi giliran berikut berlaku untuk qwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, dan qwen-audio-3.0-realtime-flash.String dalam format objek JSON. Konfigurasi deteksi giliran. Jika tidak diatur, beralih ke mode push-to-talk (mengirimkan audio dan memicu inferensi secara manual). Jika tidak, mode percakapan dupleks diaktifkan.
nls_config.turn_detection.typestringTidakTipe VAD. Nilai yang valid:
  • server_vad (default): Mendeteksi awal dan akhir ucapan berdasarkan fitur akustik dan otomatis memicu inferensi.
  • smart_turn: Deteksi giliran cerdas yang menggabungkan persepsi akustik dengan pemahaman semantik, menentukan batas giliran melalui penilaian akustik dan semantik. Suara non-semantik (seperti "em" atau "ah") tidak akan memicu giliran percakapan atau mengganggu pemutaran model.
  • smart_turn_v2 (direkomendasikan): Meningkatkan pemahaman konteks percakapan berdasarkan smart_turn, lebih baik mengidentifikasi niat interaksi dalam skenario multi-pembicara. Mengurangi respons salah dan gangguan yang disebabkan oleh pembicara lain atau interjeksi yang tidak relevan.
nls_config.turn_detection.thresholdfloatTidakSensitivitas VAD. Berlaku untuk server_vad, smart_turn, dan smart_turn_v2. Semakin rendah nilainya, semakin mudah suara samar (termasuk kebisingan latar belakang) dikenali sebagai ucapan; semakin tinggi nilainya, semakin jelas dan keras ucapan yang diperlukan untuk memicu deteksi.
Rentang nilai: [-1.0, 1.0], nilai default: 0.5.
nls_config.turn_detection.silence_duration_msintTidakDurasi hening minimum (dalam milidetik) setelah ucapan berakhir. Hanya efektif dalam mode server_vad (tidak efektif dalam mode smart_turn dan smart_turn_v2). Setelah hening mencapai durasi ini, respons model dipicu. Nilai lebih rendah membuat respons lebih cepat, tetapi jeda singkat juga dapat menyebabkan pemicuan palsu.
Rentang nilai: [200, 6000], nilai default: 800. 400-800 direkomendasikan untuk skenario percakapan.
nls_config.turn_detection.voiceprint_audio_urlsstringTidakString dalam format array. Efektif dalam mode smart_turn dan smart_turn_v2.Daftar URL yang dapat diakses publik dari audio prarekam pengguna target, digunakan untuk peningkatan pembicara. Model menggunakan sampel audio ini untuk mengunci pembicara target selama percakapan full-duplex, mengabaikan suara lain dan kebisingan latar belakang. Mendukung hingga 5 URL. Persyaratan format audio: PCM 16kHz atau WAV.

Referensi API

NeoNui

nui_initialize

Menginisialisasi instance SDK percakapan suara. SDK adalah singleton; jangan menginisialisasinya berulang kali sebelum memanggil nui_release. Signature metode
- (NuiResultCode) nui_initialize:(const char *)parameters
                       logLevel:(NuiSdkLogLevel)level
                        saveLog:(BOOL)save_log;
Deskripsi parameter
ParameterTipeDeskripsi
parameterschar*String JSON yang berisi parameter autentikasi, koneksi, dan debug. Lihat Parameter koneksi dan kontrol.
levelNuiSdkLogLevelMengontrol tingkat output log dari log SDK itu sendiri.
save_logBOOLApakah akan menyimpan log lokal. Jika diatur ke YES, Anda harus menentukan jalur melalui debug_path di Parameter koneksi dan kontrol, dan Anda dapat mengatur ukuran file melalui max_log_file_size.

nui_set_params

Mengatur parameter efek percakapan suara dalam format JSON. Panggil sebelum nui_dialog_start. Signature metode
- (NuiResultCode) nui_set_params:(const char *)params;
Deskripsi parameter
ParameterTipeDeskripsi
paramschar*Parameter efek percakapan suara.

nui_dialog_start

Memulai percakapan. Signature metode
- (NuiResultCode) nui_dialog_start:(NuiVadMode)vad_mode
                      dialogParam:(const char *)dialog_params;
Deskripsi parameter
ParameterTipeDeskripsi
vad_modeNuiVadModeMode VAD. Tetap ke MODE_P2T.
dialog_paramschar*Jika parameter apikey dalam Parameter koneksi dan kontrol menggunakan kunci API sementara, Anda dapat memperbaruinya di sini saat kedaluwarsa.
Kontennya dalam format JSON:
{
  "apikey": "st-****"
}

nui_dialog_cancel

Mengakhiri percakapan atau segera membatalkan interaksi saat ini. Signature metode
- (NuiResultCode) nui_dialog_cancel:(BOOL)force;
Deskripsi parameter
ParameterTipeDeskripsi
forceBOOLApakah akan mengakhiri tugas secara paksa dan mengabaikan hasil akhir.
  • YES: Mengakhiri tugas segera tanpa menunggu server mengembalikan hasil pengenalan akhir.
  • NO: Mengakhiri tugas, tetapi menunggu hasil lengkap dikembalikan.

nui_dialog_action

Mengirimkan perintah aksi percakapan selama interaksi, digunakan untuk memperbarui perilaku runtime seperti konteks percakapan. Signature metode
- (NuiResultCode) nui_dialog_action:(const char *)params;
Deskripsi parameter
ParameterTipeDeskripsi
paramschar*String JSON yang digunakan untuk memperbarui perilaku runtime seperti konteks percakapan.
params.typeStringTetap ke "action".
params.commandStringPerintah runtime spesifik. Saat ini mendukung function_call, play_start, dan play_over.
  • function_call: Perintah untuk memperbarui permintaan function call.
  • play_start: Saat AEC on-device digunakan, perintah ini memberi tahu pemutar AEC internal SDK untuk mulai memutar audio.
  • play_over: Saat AEC on-device digunakan, perintah ini memberi tahu pemutar AEC internal SDK bahwa pemutaran telah selesai.
params.contextStringMemperbarui permintaan function call saat command adalah "function_call".
params.context.typeStringTipe event; wajib saat command adalah "function_call".
  • conversation.item.create: Menyisipkan item percakapan secara manual ke dalam konteks percakapan. Dapat digunakan untuk menyuntikkan konteks historis, menambahkan informasi teks pelengkap, atau menulis kembali hasil eksekusi alat Function Calling.
  • response.create: Memicu putaran inferensi kedua melalui perintah ini setelah perintah conversation.item.create dikirim.
params.context.itemobjectWajib saat params.context.type adalah conversation.item.create. Menunjukkan item percakapan yang akan dibuat. Untuk informasi lebih lanjut, lihat berikut.
params.context.responseobjectOpsional saat params.context.type adalah response.create. Menunjukkan konfigurasi default sesi yang digunakan untuk menimpa putaran inferensi saat ini. Jika tidak ditentukan, konfigurasi sesi saat ini digunakan. Untuk informasi lebih lanjut, lihat berikut.
Parameter context.item:
ParameterTipeDeskripsi
idStringOpsional. Pengidentifikasi unik item percakapan. Jika tidak ditentukan, dibuat secara otomatis oleh server. Jika ID yang ditentukan sudah ada dalam percakapan, kesalahan akan dikembalikan.
typeStringWajib. Tipe item percakapan. Nilai yang valid:
  • message: Pesan percakapan reguler.
  • function_call: Permintaan pemanggilan fungsi. Biasanya dibuat oleh server, dan juga dapat digunakan oleh klien untuk melengkapi konteks historis.
  • function_call_output: Hasil eksekusi alat. Klien menjalankan alat setelah menerima function_call dan menulis kembali hasilnya menggunakan tipe ini.
roleStringWajib untuk tipe message. Peran pesan. Nilai yang valid: system, user, assistant.
contentarrayWajib untuk tipe message. Daftar konten pesan. Setiap elemen berisi type dan bidang data terkait.
Tipe konten yang didukung oleh setiap peran:
system
input_text: Pesan sistem, bidang wajib text.
user
  • input_text: Input teks pengguna, bidang wajib text.
  • input_audio: Input audio pengguna, bidang wajib audio (dienkode Base64).
assistant
output_text: Output teks asisten, bidang wajib text.
call_idString(Wajib untuk tipe function_call / function_call_output)
Pengidentifikasi unik pemanggilan fungsi, digunakan untuk mengaitkan permintaan dan hasil.
nameString(Wajib untuk tipe function_call)
Nama fungsi yang akan dipanggil.
argumentsStringWajib untuk tipe function_call)
Parameter pemanggilan fungsi, dalam format string JSON.
outputString(Wajib untuk tipe function_call_output)
Hasil eksekusi alat, dalam format string JSON.
Parameter context.response:
ParameterTipeDeskripsi
modalitiesarrayString dalam format array. Pengaturan modalitas output model. Nilai yang valid:
  • ["text"]: Hanya output teks.
  • ["audio", "text"] (nilai default): Menghasilkan output teks dan audio.
voicestringMenimpa suara TTS untuk putaran saat ini.
Contoh:
{
  "type": "action",
  "command": "function_call",
  "context": {
    "item": {
      "call_id": "call_xxxx",
      "output": "{\"city\":\"杭州\",\"condition\":\"晴\",\"temperature\":18}",
      "type": "function_call_output"
    },
    "type": "conversation.item.create"
  }
}

{
  "type": "action",
  "command": "function_call",
  "context": {
    "response": {
      "modalities": [
        "text",
        "audio"
      ]
    },
    "type": "response.create"
  }
}

nui_update_audio_data

Saat audio_update_manually diatur ke "true", data perekaman tidak lagi diisi melalui onNuiNeedAudioData; sebagai gantinya, didorong secara aktif melalui antarmuka ini. Signature metode
- (NuiResultCode) nui_update_audio_data:(const char *)data
                                    Len:(int)length
                              FirstPack:(BOOL)first_pack;
Deskripsi parameter
ParameterTipeDeskripsi
dataconst char *Data audio yang didorong.
lengthintJumlah byte data audio yang didorong.
first_packBOOLAnda tidak perlu memperhatikan parameter ini.

nui_push_reference_data

Saat audio_update_manually diatur ke "true" dan kemampuan pembatalan gema AEC on-device diaktifkan, Anda perlu mendorong data audio yang diputar oleh pemutar melalui antarmuka ini sebagai sinyal referensi. Signature metode
- (NuiResultCode) nui_push_reference_data:(const char *)data
                                     Len:(int)length
                               FirstPack:(BOOL)first_pack;
Deskripsi parameter
ParameterTipeDeskripsi
dataconst char *Data audio yang didorong.
lengthintJumlah byte data audio yang didorong.
first_packBOOLAnda tidak perlu memperhatikan parameter ini.

nui_release

Melepaskan semua sumber daya internal SDK dan mengakhiri secara paksa semua tugas yang sedang berjalan. Setelah metode ini dipanggil, instance SDK menjadi tidak tersedia. Untuk menggunakannya kembali, Anda harus memanggil nui_initialize lagi untuk inisialisasi. Signature metode
- (NuiResultCode) nui_release;

nui_get_version

Mendapatkan informasi versi SDK saat ini. Antarmuka ini harus dipanggil setelah nui_initialize untuk mengembalikan nilai. Signature metode
- (const char*) nui_get_version;
Deskripsi nilai kembalian Informasi versi SDK saat ini.

nui_get_all_response

Mendapatkan informasi lengkap dari callback event saat ini. Signature metode
- (const char*) nui_get_all_response;
Deskripsi nilai kembalian Informasi event lengkap dalam format string JSON.

NeoNuiSdkDelegate: Callback listener

onNuiEventCallback: Mendengarkan informasi event

Signature metode
- (void) onNuiEventCallback:(NuiCallbackEvent)nuiEvent
                    dialog:(long)dialog
                 kwsResult:(const char *)wuw
                 asrResult:(const char *)asr_result
                  ifFinish:(BOOL)finish
                   retCode:(int)code;
Deskripsi parameter
ParameterTipeDeskripsi
nuiEventNuiCallbackEventEvent callback.
dialoglongEncoding sesi. Anda tidak perlu memperhatikan parameter ini.
wuwchar*Wake-up suara. Anda tidak perlu memperhatikan parameter ini.
asr_resultchar*Hasil pengenalan ucapan.
finishBOOLPenanda apakah pengenalan putaran ini telah berakhir.
codeintHanya valid saat event EVENT_ASR_ERROR terjadi.

onNuiAudioStateChanged: Mendengarkan status audio

SDK menggunakan callback ini untuk memberi tahu kapan harus memulai atau menghentikan perekaman. Signature metode
- (void) onNuiAudioStateChanged:(NuiAudioState)state;
Deskripsi NuiAudioState
ParameterDeskripsi
STATE_OPENInteraksi dimulai. Anda dapat menyalakan perangkat perekaman untuk merekam audio.
STATE_PAUSEInteraksi berhenti. Anda dapat menghentikan perekaman.
STATE_CLOSEInstance SDK telah dilepaskan. Anda dapat menutup perangkat perekaman sepenuhnya.

onNuiNeedAudioData: Mengisi data audio untuk diproses

Setelah percakapan dimulai, callback ini dipicu secara terus-menerus, dan Anda harus menyediakan data audio yang akan diproses di dalamnya. Anda dapat mengabaikan callback ini jika parameter audio_update_manually diatur ke "true". Signature metode
- (int) onNuiNeedAudioData:(char *)audioData length:(int)len;
Deskripsi parameter
ParameterTipeDeskripsi
audioDatachar *Data audio yang diisi.
lenintJumlah byte data audio yang diisi.

onNuiAssistEventCallback: Data auxiliari dan hasil informasi

Callback ini digunakan untuk menerima event auxiliari dan data terkait dari dalam SDK. Signature metode
- (void) onNuiAssistEventCallback:(NuiCallbackEvent)nuiEvent
                            info:(char*)info
                         infoLen:(int)info_len
                          buffer:(char*)buffer
                             len:(int)len;
Deskripsi parameter
ParameterTipeDeskripsi
nuiEventNuiCallbackEventEvent callback.
infochar *Anda tidak perlu memperhatikan parameter ini.
info_lenintAnda tidak perlu memperhatikan parameter ini.
bufferchar *Data auxiliari, seperti audio TTS yang dikembalikan oleh AI.
lenintJumlah byte data auxiliari.

onNuiLogTrackCallback: Mendengarkan log pelacakan

Callback ini digunakan untuk menerima log terperinci dari dalam SDK, yang memfasilitasi pemecahan masalah dan debugging.
- (void) onNuiLogTrackCallback:(NuiSdkLogLevel)level
                   logMessage:(const char *)log;

NuiCallbackEvent: Tipe event

EventDeskripsi
EVENT_TRANSCRIBER_STARTEDTugas berhasil dimulai.
EVENT_VAD_STARTEvent ini dipicu segera setelah tugas dimulai. Ini tidak menunjukkan bahwa awal ucapan manusia telah terdeteksi.
EVENT_VAD_ENDAkhir ucapan manusia terdeteksi.
EVENT_ASR_PARTIAL_RESULTHasil sementara pengenalan ucapan.
EVENT_ASR_ERRORTerjadi kesalahan selama percakapan suara.
EVENT_MIC_ERRORDipicu ketika tidak ada data audio yang diterima selama 2 detik berturut-turut.
EVENT_SENTENCE_ENDAkhir kalimat terdeteksi, dan hasil pengenalan lengkap dikembalikan pada saat ini.
EVENT_TRANSCRIBER_COMPLETEPercakapan suara berakhir.
EVENT_AUDIO_TRANSCRIPTIONEvent inkremental transkrip teks dalam mode audio, yang mengembalikan segmen transkrip secara streaming.
EVENT_AUDIO_TRANSCRIPTION_COMPLETEDEvent penyelesaian output transkrip dalam mode audio.
EVENT_OTHER_RESULTInformasi event lain yang belum diklasifikasikan, seperti hasil function_call yang dikembalikan.
EVENT_ASR_TTS_STARTAI mulai mengembalikan data TTS.
EVENT_ASR_TTS_DATAData TTS yang dikembalikan oleh AI.
EVENT_ASR_TTS_COMPLETEAI selesai mengembalikan data TTS.
EVENT_AEC_DATAData audio setelah pembatalan gema AEC.