Qwen-Audio-ASR-Message Android SDK

​

Mulai cepat

1. Mendapatkan kunci API
2. Unduh SDK dan jalankan kode sampel:
   • Unduh paket SDK terbaru.
   • Ekstrak paket ZIP. SDK format AAR berada di direktori app/libs. Tambahkan ke dependensi proyek Anda. Untuk integrasi C++ Android, gunakan android_libs dan android_include dari paket ZIP untuk mendapatkan pustaka dinamis dan file header.
   • Buka proyek di Android Studio. Kode contoh berada di DashFunAsrSpeechTranscriberActivity.java. Ganti kunci API untuk mencoba fitur ini.

​

Prosedur pemanggilan

1. Inisialisasi SDK.
2. Atur parameter untuk kasus penggunaan Anda. Gunakan argumen parameters dari metode initialize untuk mengatur Parameter koneksi dan kontrol, dan gunakan metode setParams untuk mengatur Parameter pengenalan ucapan.
3. Panggil startDialog untuk memulai pengenalan.
4. Dalam callback onNuiAudioStateChanged, mulailah perangkat perekaman berdasarkan status audio.
5. Terus sediakan data rekaman dalam callback onNuiNeedAudioData, atau dorong data rekaman secara aktif dengan memanggil updateAudio.
6. Dalam callback onNuiEventCallback, dengarkan peristiwa dan dapatkan hasil pengenalan ucapan.
7. Panggil stopDialog untuk menghentikan pengenalan, dan dengarkan peristiwa EVENT_TRANSCRIBER_COMPLETE untuk mengonfirmasi bahwa pengenalan telah berakhir.
8. Ketika Anda tidak lagi memerlukan pengenalan, panggil release untuk melepaskan sumber daya SDK.

​

Parameter permintaan

​

Parameter koneksi dan kontrol

• Contoh: Berikut adalah contoh string JSON. Tidak semua parameter dicantumkan. Tambahkan parameter lain sesuai kebutuhan saat Anda menulis kode:

{
    "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

• Parameter

  Parameter	Tipe	Wajib	Deskripsi
  url	String	Ya	Alamat layanan: wss://dashscope.aliyuncs.com/api-ws/v1/inference Tiongkok (Beijing): wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/inference Singapura: wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference Ganti {WorkspaceId} dengan ID Workspace Anda yang sebenarnya.
  apikey	String	Ya	Kunci API.
  service_mode	String	Ya	Mode eksekusi. Tetap diatur ke "1" untuk pengenalan ucapan waktu nyata.
  device_id	String	Ya	String unik yang mengidentifikasi pengguna akhir. Anda dapat mengaturnya ke ID pengguna dalam aplikasi atau pengenal perangkat unik yang dihasilkan klien. ID ini terutama digunakan untuk pelacakan log dan pemecahan masalah.
  audio_update_manually	String	Tidak	Apakah akan mengaktifkan pengiriman data audio secara aktif. Default: "false".Jika diatur ke "true" dan versi SDK mendukung kemampuan pemrosesan audio pada perangkat seperti AEC dan VAD, kemampuan tersebut diaktifkan secara default.
  workspace	String	Tidak	Jalur tempat file sumber daya pada perangkat disimpan. Parameter ini diperlukan ketika audio_update_manually diatur ke "true" dan kemampuan pemrosesan audio pada perangkat seperti AEC atau VAD diaktifkan.
  debug_path	String	Tidak	Jalur penyimpanan untuk file log.Parameter ini hanya berlaku ketika save_log diatur ke true dalam metode initialize. Dalam kasus ini, Anda harus mengatur jalur file log, jika tidak, kesalahan akan terjadi.Maksimal dua file log disimpan secara lokal.
  save_wav	String	Tidak	Apakah akan menyimpan file audio debug. File audio disimpan di bawah debug_path.Default: "false".Nilai yang valid: "true": simpan file. "false": jangan simpan file. Parameter ini hanya berlaku ketika save_log diatur ke true dalam metode initialize. Selain itu, debug_path juga harus diatur.
  max_log_file_size	int	Tidak	Ukuran maksimum file log, dalam byte.Parameter ini hanya berlaku ketika save_log diatur ke true dalam metode initialize.Default: 104857600 (100 * 1024 * 1024 byte, yaitu 100 MiB).
  log_track_level	int	Tidak	Tingkat filter untuk konten log yang dikirim melalui callback log (onNuiLogTrackCallback).Default: 2.Nilai yang valid: 0: LOG_LEVEL_VERBOSE 1: LOG_LEVEL_DEBUG 2: LOG_LEVEL_INFO 3: LOG_LEVEL_WARNING 4: LOG_LEVEL_ERROR 5: LOG_LEVEL_NONE (menonaktifkan fitur ini) Catatan: log_track_level dan level (diatur melalui metode initialize) bersama-sama menentukan log mana yang akhirnya dikirim ke callback. Log dikirim ke callback hanya ketika nilai levelnya lebih besar dari atau sama dengan log_track_level dan level. Misalnya, jika log_track_level diatur ke 2 (INFO) dan level diatur ke 3 (WARNING), maka hanya log dengan level WARNING atau lebih tinggi (nilai >= 3) yang dikirim ke callback.
  enable_reconnection	String	Tidak	Apakah akan melanjutkan transmisi setelah jaringan tersambung kembali. Default: "false".
  aec_params	object	Tidak	Objek konfigurasi tingkat lanjut untuk pembatalan gema akustik (AEC) pada perangkat. Objek ini hanya berlaku ketika audio_update_manually diatur ke "true".
  aec_params.enable_aec	boolean	Tidak	Apakah akan mengaktifkan AEC pada perangkat. Jika audio_update_manually diatur ke "true" dan versi SDK mendukung AEC pada perangkat, kemampuan ini diaktifkan secara default.
  aec_params.save_audio	boolean	Tidak	Menentukan apakah akan menyimpan audio yang diproses oleh modul AEC pada perangkat. Jika save_wav diatur ke "true" dan debug_path ditentukan, fitur ini diaktifkan secara default dan data audio AEC disimpan ke debug_path.
  aec_params.enable_aec_data_callback	boolean	Tidak	Apakah akan mengembalikan data yang diproses AEC ke aplikasi Anda. Default: false. Jika diaktifkan, terima data dari peristiwa EVENT_AEC_DATA di onNuiAssistEventCallback.
  vad_params	object	Tidak	Objek konfigurasi tingkat lanjut untuk deteksi aktivitas suara (VAD) pada perangkat. Objek ini hanya berlaku ketika audio_update_manually diatur ke "true".
  vad_params.enable_aec	boolean	Tidak	Apakah akan mengaktifkan VAD pada perangkat. Jika audio_update_manually diatur ke "true" dan versi SDK mendukung VAD pada perangkat, kemampuan ini diaktifkan secara default.
  vad_params.save_audio	boolean	Tidak	Menentukan apakah akan menyimpan audio yang diproses oleh modul VAD pada perangkat. Jika save_wav diatur ke "true" dan debug_path ditentukan, fitur ini diaktifkan secara default dan data audio VAD disimpan ke debug_path.

​

Parameter pengenalan ucapan

• Contoh: Berikut adalah contoh string JSON. Tidak semua parameter dicantumkan. Tambahkan parameter lain sesuai kebutuhan saat Anda menulis kode:

{
    "service_type": 4,
    "nls_config": {
        "model": "qwen-audio-3.1-asr-flash-message",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

• Parameter

  Parameter tingkat atas	Tipe	Wajib	Deskripsi
  service_type	int	Ya	Jenis layanan ucapan. Tetap diatur ke 4 untuk pengenalan ucapan waktu nyata.
  nls_config	object	Ya	Objek konfigurasi inti untuk pengenalan ucapan. Objek ini berisi parameter utama seperti pemilihan model dan kontrol kualitas pengenalan.
  nls_config.model	string	Ya	Model yang digunakan dalam contoh. Untuk informasi model, lihat Model dan wilayah yang didukung.
  nls_config.sr_format	string	Ya	Format audio.Nilai yang valid: pcm opus Untuk audio Opus, kirimkan audio PCM ke SDK. SDK akan menyandikannya sebagai Opus secara internal.
  nls_config.sample_rate	int	Ya	Laju sampel dalam Hz. Hanya 16000 yang didukung.
  nls_config.max_sentence_silence	int	Tidak	Ambang keheningan VAD untuk segmentasi, dalam milidetik. Kalimat dianggap selesai jika keheningan setelah ucapan melebihi ambang ini. Default: 1300. Rentang valid: [200, 6000].
  nls_config.heartbeat	boolean	Tidak	Apakah akan mengaktifkan paket heartbeat.Nilai default: false. true: Menjaga koneksi ke server tetap aktif bahkan ketika audio senyap dikirim secara terus-menerus. false (default): Bahkan ketika audio senyap dikirim secara terus-menerus, koneksi akan habis waktunya dan tertutup setelah jangka waktu tertentu. Audio senyap merujuk pada konten dalam file audio atau aliran data yang tidak mengandung sinyal suara. Anda dapat menghasilkan audio senyap dengan beberapa cara, seperti menggunakan perangkat lunak pengeditan audio seperti Audacity atau Adobe Audition, atau menggunakan alat baris perintah seperti FFmpeg.
  nls_config.disfluency_removal_enabled	boolean	Tidak	Hanya didukung oleh qwen-audio-3.1-asr-flash-message. Apakah akan memfilter kata pengisi dan memoles output. Defaultnya false. Atur ke true untuk mengaktifkan fitur ini.
  nls_config.intermediate_result_enabled	boolean	Tidak	Hanya didukung oleh qwen-audio-3.1-asr-flash-message. Apakah akan mengembalikan hasil streaming perantara. Defaultnya false. Atur ke true untuk mengembalikan hasil streaming perantara.
  nls_config.vocabulary_id	string	Tidak	ID dari daftar kata panas yang telah dikompilasi sebelumnya.Hasilkan ID ini terlebih dahulu dengan memanggil API buat daftar kata kunci. Berikan ID tersebut selama pengenalan untuk menggunakan kata kunci dalam daftar.Cocok untuk skenario di mana kosakata sudah diketahui dan relatif stabil, serta ketika Anda perlu menggunakan kembali daftar kata yang sama di berbagai permintaan.Untuk detail penggunaan, lihat Hotword prakompilasi.
  nls_config.instant_vocabulary	object	Tidak	Kata panas instan.Diteruskan sebagai pasangan kunci-nilai, di mana kuncinya adalah teks hotword (string) dan nilainya adalah bobot hotword (integer). Tidak perlu membuat daftar hotword terlebih dahulu. Bobot berkisar dari [1, 5] atau diatur ke 50: nilai dalam [1, 5] membuat model lebih mungkin mengeluarkan kata tersebut seiring bertambahnya nilai; nilai 50 menetapkan super hotword, yang sangat meningkatkan recall, tetapi jumlah super hotword tidak boleh melebihi 50.Cocok untuk pengoptimalan kata panas sementara tingkat sesi.Ketika hotword instan dan hotword prakompilasi dikonfigurasi bersama, sistem menggabungkan kedua set tersebut. Jika set gabungan berisi lebih dari 2000 hotword, sistem memilih 2000 secara acak untuk digunakan. Untuk detail penggunaan, lihat Hotword instan. Untuk model dan batasan yang berlaku untuk hotword instan, lihat Hotword instan.
  nls_config.speech_noise_threshold	float	Tidak	Ambang batas untuk membedakan ucapan dari kebisingan, digunakan untuk menyesuaikan sensitivitas Deteksi Aktivitas Suara (VAD).Nilai yang valid: [-1.0, 1.0].Deskripsi nilai: Semakin dekat nilainya ke -1: Ambang batas kebisingan menurun, sehingga kebisingan lebih mungkin dikenali sebagai ucapan, yang dapat menyebabkan lebih banyak kebisingan ditranskripsikan. Semakin dekat nilainya ke +1: Ambang batas kebisingan meningkat, sehingga ucapan lebih mungkin salah dinilai sebagai kebisingan, yang dapat menyebabkan sebagian ucapan terfilter keluar. Ini adalah parameter konfigurasi tingkat lanjut. Menyesuaikannya dapat memengaruhi hasil pengenalan secara signifikan. Rekomendasi: Uji dan verifikasi hasil secara menyeluruh sebelum menyesuaikan. Sesuaikan dalam kenaikan kecil berdasarkan lingkungan audio aktual (langkah sebesar 0.1 direkomendasikan).
  nls_config.enable_connection_fast_check	boolean	Tidak	Apakah akan mendeteksi gangguan jaringan dengan cepat dan melaporkannya sesegera mungkin. Default: false.

​

Antarmuka utama

​

NativeNui

​

initialize

• Tanda tangan metode

public synchronized int initialize(final INativeNuiCallback callback,
                                   String parameters,
                                   final Constants.LogLevel level,
                                   final boolean save_log)

• Parameter

  Parameter	Tipe	Deskripsi
  callback	INativeNuiCallback	Implementasi antarmuka callback peristiwa dan data.
  parameters	String	String JSON yang berisi parameter autentikasi, koneksi, dan debug. Lihat Parameter koneksi dan kontrol.
  level	Constants.LogLevel	Mengontrol tingkat pencetakan log SDK itu sendiri.
  save_log	boolean	Menentukan apakah akan menyimpan log lokal. Jika diatur ke true, tentukan jalur melalui debug_path dalam Parameter koneksi dan kontrol, dan secara opsional atur ukuran file melalui max_log_file_size.

• Nilai kembalian

​

setParams

• Tanda tangan metode

public synchronized int setParams(String params)

• Parameter

  Parameter	Tipe	Deskripsi
  params	String	Parameter pengenalan ucapan.

• Nilai kembalian

​

startDialog

• Tanda tangan metode

public synchronized int startDialog(VadMode vad_mode, String dialog_params)

• Parameter

  Parameter	Tipe	Deskripsi
  vad_mode	VadMode	Mode VAD. Tetap pada VadMode.TYPE_P2T.
  dialog_params	String	Jika parameter apikey dalam Parameter koneksi dan kontrol menggunakan kunci API sementara, Anda dapat memperbaruinya di sini saat kedaluwarsa.Untuk meningkatkan akurasi pengenalan dengan menggunakan konteks, perbarui konteks di sini.Konten dalam format JSON: Copy { "apikey": "st-****", "input_context": [ { "role": "user", "content": [ { "text": "xxxxx", "type": "input_text" } ] } ] }

• Nilai kembalian

​

stopDialog

• Tanda tangan metode

public synchronized int stopDialog();

• Nilai kembalian

​

cancelDialog

• Tanda tangan metode

public synchronized int cancelDialog();

• Nilai kembalian

​

updateAction

• Tanda tangan metode

public synchronized int updateAction(String params);

• Parameter

  Parameter	Tipe	Deskripsi
  params	String	String JSON yang digunakan untuk memperbarui perilaku runtime, seperti konteks pengenalan.
  params.type	String	Diatur ke "action".
  params.command	String	Perintah runtime. Nilai yang valid: context: Segera memperbarui konteks untuk meningkatkan akurasi pengenalan. play_start: Ketika AEC pada perangkat digunakan, memberi tahu SDK bahwa pemutar telah mulai memutar audio. play_over: Ketika AEC pada perangkat digunakan, memberi tahu SDK bahwa pemutar telah selesai memutar audio.
  params.context	String	Ketika command diatur ke context, segera memperbarui konteks untuk meningkatkan akurasi pengenalan. Nilainya adalah string JSON, seperti yang ditunjukkan dalam contoh berikut.

{
  "context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

• Nilai kembalian

​

updateAudio

• Tanda tangan metode

public synchronized int updateAudio(byte[] data, int len,
                                    boolean first_pack);

• Parameter

  Parameter	Tipe	Deskripsi
  data	byte[]	Data audio yang akan dikirimkan.
  len	int	Jumlah byte data audio yang akan dikirimkan.
  first_pack	boolean	Abaikan parameter ini.

• Nilai kembalian

​

updateRefAudio

• Tanda tangan metode

public synchronized int updateRefAudio(byte[] data, int len,
                                       boolean first_pack);

• Parameter

  Parameter	Tipe	Deskripsi
  data	byte[]	Data audio yang akan dikirimkan.
  len	int	Jumlah byte data audio yang akan dikirimkan.
  first_pack	boolean	Abaikan parameter ini.

• Nilai kembalian

​

release

• Tanda tangan metode

public synchronized int release();

• Nilai kembalian

​

GetVersion

• Tanda tangan metode

public synchronized String GetVersion();

• Nilai kembalian Informasi versi SDK saat ini.

​

INativeNuiCallback: callback listener

​

onNuiEventCallback: mendengarkan peristiwa dan hasil pengenalan ucapan

• Tanda tangan metode

void onNuiEventCallback(NuiEvent event, final int resultCode, final int arg2, KwsResult kwsResult, AsrResult asrResult);

• Parameter

  Parameter	Tipe	Deskripsi
  event	NuiEvent	Peristiwa callback.
  resultCode	int	Hanya valid saat event EVENT_ASR_ERROR terjadi.
  arg2	int	Parameter yang dipesan.
  asrResult	AsrResult	Hasil pengenalan ucapan.
  kwsResult	KwsResult	Fitur bangun suara. Anda tidak perlu menggunakan parameter ini.

​

onNuiAudioStateChanged: mendengarkan status audio

• Tanda tangan metode

void onNuiAudioStateChanged(AudioState state);

• Status AudioState

  Status	Deskripsi
  STATE_OPEN	Interaksi telah dimulai. Anda dapat membuka perangkat perekaman dan mulai merekam.
  STATE_PAUSE	Interaksi telah berhenti. Anda dapat menghentikan perekaman.
  STATE_CLOSE	Instans SDK telah dilepaskan. Anda dapat menutup perangkat perekaman sepenuhnya.

​

onNuiNeedAudioData: menyediakan data audio untuk dikenali

• Tanda tangan metode

int onNuiNeedAudioData(byte[] buffer, int len);

• Parameter

  Parameter	Tipe	Deskripsi
  buffer	byte[]	Data audio yang akan diisi.
  len	int	Jumlah byte data audio yang akan diisi.

• Nilai kembalian Jumlah byte yang benar-benar diisi.

​

onNuiAssistEventCallback: menerima peristiwa dan data tambahan

• Tanda tangan metode

void onNuiAssistEventCallback_(int event, byte[] info, int info_len,
                               byte[] data);

• Parameter

  Parameter	Tipe	Deskripsi
  event	int	Sebuah peristiwa NuiEvent.
  info	String	Abaikan parameter ini.
  info_len	int	Abaikan parameter ini.
  data	byte[]	Data tambahan, seperti data audio yang diproses oleh AEC.

​

onNuiLogTrackCallback: mendengarkan log pelacakan

default void onNuiLogTrackCallback(Constants.LogLevel level, String log)

​

NuiEvent: jenis peristiwa