SDK HarmonyOS percakapan suara waktu nyata Qwen-Audio-3.0-Realtime

​

Mulai cepat

1. Dapatkan dan konfigurasikan API key.
2. Unduh SDK dan jalankan kode contoh:
   • Unduh paket SDK terbaru.
   • Ekstrak paket SDK .tar.gz. Dapatkan HAR SDK dari entry/libs dan tambahkan ke dependensi proyek Anda. Untuk integrasi C++, gunakan native/libs dan native/include dalam paket untuk mendapatkan pustaka dinamis dan file header.
   • Buka proyek di DevEco Studio. Kode contoh ada di DashQwenAudioChatPage.ets. Ganti API key untuk mencoba fitur ini.

​

Prosedur pemanggilan

1. Inisialisasi SDK.
2. Atur parameter untuk kasus penggunaan Anda. Gunakan argumen parameters dari initialize untuk mengatur parameter koneksi dan kontrol, dan gunakan setParams untuk mengatur parameter percakapan suara.
3. Panggil startDialog untuk memulai percakapan.
4. Di onNuiAudioStateChanged, mulai perangkat perekaman berdasarkan status audio.
5. Sediakan data perekaman secara terus-menerus di onNuiNeedAudioData, atau panggil updateAudio untuk mendorong data perekaman secara aktif.
6. Terima secara terus-menerus audio yang dikembalikan oleh model di onNuiAssistEventCallback.
7. Dengarkan event dan dapatkan informasi event di onNuiEventCallback.
8. Panggil stopDialog untuk menghentikan percakapan, dan dengarkan EVENT_TRANSCRIBER_COMPLETE untuk mengonfirmasi bahwa percakapan telah berakhir.
9. Saat fitur percakapan tidak lagi diperlukan, panggil release untuk melepaskan sumber daya SDK.

​

Manajemen perangkat audio

​

Perekaman (AudioCapturer)

• Buat: Panggil audio.createAudioCapturer(capturerOptions) secara asinkron. Contoh menggunakan audio mono 16 kHz, 16-bit (SAMPLE_RATE_16000, CHANNEL_1, SAMPLE_FORMAT_S16LE, dan ENCODING_TYPE_RAW).
• Sumber audio (audio.SourceType):
  • SOURCE_TYPE_MIC: Audio mikrofon mentah. Gunakan sumber ini ketika AEC internal SDK diaktifkan, dan kirim data ke SDK dengan memanggil updateAudio.
  • SOURCE_TYPE_VOICE_COMMUNICATION: Audio panggilan yang telah dilakukan pembatalan gema oleh sistem. Gunakan sumber ini ketika AEC internal SDK dinonaktifkan, dan sediakan audio melalui onNuiNeedAudioData.
• Event data: Panggil capturer.on('readData', (buffer: ArrayBuffer) => void) untuk mendapatkan audio yang direkam secara terus-menerus.
• Event status: Panggil capturer.on('stateChange', (state: audio.AudioState) => void). STATE_RUNNING menunjukkan bahwa perekaman telah dimulai, dan STATE_STOPPED menunjukkan bahwa perekaman telah berhenti.
• Kontrol: Panggil start() untuk memulai, stop() untuk menghentikan, dan release() untuk melepaskan perekam.

import { audio } from '@kit.AudioKit';

const audioStreamInfo: audio.AudioStreamInfo = {
  samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_16000,
  channels: audio.AudioChannel.CHANNEL_1,
  sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_S16LE,
  encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
};
const audioCapturerInfo: audio.AudioCapturerInfo = {
  source: audio.SourceType.SOURCE_TYPE_MIC,
  capturerFlags: 0
};
const options: audio.AudioCapturerOptions = { streamInfo: audioStreamInfo, capturerInfo: audioCapturerInfo };

audio.createAudioCapturer(options).then((capturer) => {
  capturer.on('readData', (buffer: ArrayBuffer) => {
    // Send the recorded audio to the SDK.
    nuiInstance.updateAudio(buffer, false);
  });
  capturer.start();
});

Catatan: HarmonyOS membuat AudioCapturer secara asinkron. Panggil start() hanya setelah pembuatan selesai. Jangan membuat dan langsung memulai perekam di STATE_OPEN. Buat terlebih dahulu, lalu panggil start() dari callback STATE_OPEN. Contoh membuat perekam selama doInit dan memulainya selama onNuiAudioStateChanged.

​

Pemutaran (AudioRenderer)

• Buat: Panggil audio.createAudioRenderer(rendererOptions) secara asinkron.
• Laju sampel: Audio respons yang disintesis yang dikembalikan oleh DashScope Realtime adalah 24 kHz. Berikan laju ini ke konstruktor AudioPlayer.
• Event data: Panggil renderer.on('writeData', (data: ArrayBuffer): audio.AudioDataCallbackResult => ...) untuk menyediakan audio untuk pemutaran. Kembalikan AudioDataCallbackResult.VALID setelah mengisi buffer atau INVALID ketika tidak ada data yang tersedia.
• Event status: Panggil renderer.on('stateChange', (state: audio.AudioState) => void) untuk mendengarkan event mulai dan akhir pemutaran.
• Kontrol: Panggil start() untuk memulai, stop() untuk menghentikan, dan pause() untuk menjeda pemutaran. Menjeda akan mempertahankan data yang di-buffer.

import { audio } from '@kit.AudioKit';

const audioStreamInfo: audio.AudioStreamInfo = {
  samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_24000,
  channels: audio.AudioChannel.CHANNEL_1,
  sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_S16LE,
  encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
};
const audioRendererInfo: audio.AudioRendererInfo = {
  usage: audio.StreamUsage.STREAM_USAGE_VOICE_ASSISTANT,
  rendererFlags: 0
};
const options: audio.AudioRendererOptions = { streamInfo: audioStreamInfo, rendererInfo: audioRendererInfo };

audio.createAudioRenderer(options, (err, renderer) => {
  renderer.on('writeData', (data: ArrayBuffer): audio.AudioDataCallbackResult => {
    // Fill data with model response audio from the queue and return VALID or INVALID.
    return audio.AudioDataCallbackResult.VALID;
  });
  renderer.start();
});

Sinyal referensi AEC: Ketika AEC internal SDK diaktifkan, kirim audio output pemutar ke SDK sebagai sinyal referensi dengan memanggil nuiInstance.pushReferenceData(data, false), yang sesuai dengan updateRefAudio di Android.

​

Deklarasi izin

{
  "requestPermissions": [
    { "name": "ohos.permission.MICROPHONE" }
  ]
}

​

Parameter permintaan

​

Parameter koneksi dan kontrol

{
  "url": "wss://dashscope.aliyuncs.com/api-ws/v1/inference",
  "apikey": "st-****",
  "device_id": "my_device_id",
  "service_mode": "1"
}

​

Parameter percakapan suara

{
  "service_type": 4,
  "nls_config": {
    "model": "qwen-audio-3.1-realtime-plus",
    "sr_format": "pcm"
  }
}

[
  {
    "type": "function",
    "function": {
      "name": "get_weather",
      "description": "Queries weather information for a specified city.",
      "parameters": {
        "type": "object",
        "properties": {
          "city": {
            "type": "string",
            "description": "City"
          }
        },
        "required": [
          "city"
        ]
      }
    }
  }
]

​

API Utama

​

NativeNui

​

initialize

public initialize(
  callback: INativeNuiCallback,
  parameters: string,
  level: number,
  save_log: boolean = false
): number

​

setParams

public setParams(params: string): number

​

startDialog

public startDialog(vad_mode: Constants.VadMode, dialog_params: string): number

{
  "apikey": "st-****"
}

​

stopDialog

public stopDialog(): number

​

cancelDialog

public cancelDialog(): number

​

dialogAction

public dialogAction(params: string): number

{
  "type": "action",
  "command": "function_call",
  "context": {
    "item": {
      "call_id": "call_xxxx",
      "output": "{\"city\":\"Hangzhou\",\"condition\":\"sunny\",\"temperature\":18}",
      "type": "function_call_output"
    },
    "type": "conversation.item.create"
  }
}

{
  "type": "action",
  "command": "function_call",
  "context": {
    "response": {
      "modalities": ["text", "audio"]
    },
    "type": "response.create"
  }
}

​

updateAudio

public updateAudio(data: ArrayBuffer, first_pack: boolean): number

​

pushReferenceData (sesuai dengan updateRefAudio Android)

public pushReferenceData(data: ArrayBuffer, first_pack: boolean): number

​

release

public release(): number

​

GetVersion

public GetVersion(): string

​

INativeNuiCallback: callback listener

​

onNuiEventCallback: mendengarkan informasi event

onNuiEventCallback: (
  event: Constants.NuiEvent,
  resultCode: number,
  arg2: number,
  kwsResult: KwsResult,
  asrResult: AsrResult
) => void;

​

onNuiAudioStateChanged: mendengarkan status audio

onNuiAudioStateChanged: (state: Constants.AudioState) => void

​

onNuiAudioRMSChanged: mendengarkan volume perekaman

onNuiAudioRMSChanged: (val: number) => number

​

onNuiNeedAudioData: memasok data audio

onNuiNeedAudioData: (buffer: ArrayBuffer) => number

​

onNuiAssistEventCallback: menerima data dan informasi tambahan

onNuiAssistEventCallback?: (
  event: Constants.NuiEvent,
  info: string,
  infoLen: number,
  data: ArrayBuffer
) => void;

Catatan: Callback ini bersifat opsional (?) pada HarmonyOS. Abaikan jika Anda tidak memerlukan informasinya.

​

onNuiLogTrackCallback: mendengarkan log trace

onNuiLogTrackCallback: (level: Constants.LogLevel, log: string) => void

​

NuiEvent: tipe event