Gunakan SDK Node.js suara untuk mengonfigurasi sesi Qwen-Audio-Realtime, bertukar audio, serta menangani transkripsi dan pemanggilan fungsi.
Prasyarat
Dapatkan API key di konsol dan atur sebagai variabel lingkungan DASHSCOPE_API_KEY.
Instal SDK
Memerlukan Node.js 18 atau lebih baru. Unduh paket SDK 0.1.0, lalu jalankan perintah ini di proyek:
Mulai cepat
Unduh audio contoh sebagai input.mp3 dan konversi ke PCM mono 16 kHz, 16-bit:
example.mjs dan jalankan node example.mjs.
Parameter permintaan
Opsi konstruktor RealtimeClient:
| Parameter | Tipe | Wajib | Deskripsi |
|---|---|---|---|
apiKey | string | Tidak | API key. Default membaca DASHSCOPE_API_KEY. |
workspaceId | string | Tidak | ID ruang kerja. Default membaca DASHSCOPE_WORKSPACE_ID. |
baseUrl | string | Tidak | Atur nama host layanan ke dashscope-intl.aliyuncs.com (Singapura). |
model | string | Ya | ID model. |
voice | string | Tidak | ID suara. Menggunakan suara default layanan jika diabaikan. |
instructions | string | Tidak | Instruksi sistem untuk peran, gaya, dan perilaku lainnya. |
turnDetection | TurnDetection | null | Tidak | Default: { type: "server_vad" }. null mengaktifkan pengiriman manual. Juga mendukung smart_turn dan smart_turn_v2. |
modalities | Array<'text' | 'audio'> | Tidak | Modalitas keluaran. Default: ["text", "audio"]. |
maxHistoryTurns | number | Tidak | Jumlah giliran riwayat: [1,50]. Default layanan: 20. |
tools | ToolDefinition[] | Tidak | Definisi alat. Aplikasi mengeksekusi alat dan memvalidasi argumennya. |
inputTranscription | { model?: string; language?: string } | null | Tidak | Pengaturan transkripsi input, misalnya { model: "fun-asr", language: "zh" }; null menonaktifkannya. |
sessionExtras | SessionConfig | Tidak | Pengaturan sesi tambahan, seperti speech_rate dan enable_search. Menimpa pengaturan tingkat atas terkait; lihat peristiwa klien untuk kolomnya. |
connectTimeoutMs | number | Tidak | Batas waktu koneksi dalam ms. Default: 10000. |
Referensi API
Metode utama
| Metode | Nilai kembalian | Deskripsi |
|---|---|---|
connect() | Promise<void> | Hubungkan dan kirim pengaturan sesi. sessionUpdated mengonfirmasi penerapannya. |
updateSession(session: SessionConfig) | void | Perbarui pengaturan sesi; konfirmasikan melalui sessionUpdated. |
appendAudio(pcm: Buffer | Uint8Array) | void | Kirim audio PCM mono 16 kHz, 16-bit. |
commit() | void | Komit buffer audio dalam mode manual. |
clearAudioBuffer() | void | Bersihkan buffer audio yang belum dikomit. |
createResponse(response?: Record<string, unknown>) | void | Minta model membuat respons. |
cancelResponse() | void | Batalkan respons saat ini tanpa menutup sesi. |
createConversationItem(item: ConversationItem, previousItemId?: string) | void | Tambahkan riwayat atau hasil alat. previousItemId menentukan posisi sisipan. |
submitFunctionCallOutput(callId: string, output: string, autoCreateResponse?: boolean) | void | Kirim string hasil alat. autoCreateResponse default true dan meminta respons berikutnya. |
deleteConversationItem(itemId: string) | void | Hapus item percakapan. |
retrieveConversationItem(itemId: string) | void | Ambil item; terima melalui event. |
sendEvent(event: ClientEvent) | void | Kirim peristiwa klien asli. |
close(code?: number, reason?: string) | void | Tutup sesi dan koneksi WebSocket. |
Peristiwa callback
Daftarkan callback dengan on(event, listener). Lihat peristiwa server untuk kolom lengkap.
| Peristiwa | Payload | Deskripsi |
|---|---|---|
open | void | Koneksi terbentuk dan konfigurasi awal dikirim. |
sessionCreated / sessionUpdated | ServerEvent | Pembuatan sesi atau konfirmasi konfigurasi. |
audio | Buffer | Potongan audio biner; dapat dipicu beberapa kali. |
audioTranscriptDelta | { delta: string } | Teks inkremental transkrip output audio. |
outputTranscript | { transcript: string } | Transkrip lengkap output audio. |
textDelta / textDone | { delta: string } / { text: string } | Teks inkremental atau lengkap dalam modalitas teks saja. |
inputTranscriptDelta | { text: string; stash: string } | text adalah teks pasti, stash sementara. Ganti tampilan saat ini dengan gabungan keduanya, bukan menambahkannya. |
inputTranscript | { transcript: string } | Transkrip final input audio. |
speechStarted / speechStopped | ServerEvent | Ucapan pengguna mulai atau berhenti. |
responseCreated / responseDone | ServerEvent | Respons mulai atau berakhir. Periksa apakah responseDone.response.status adalah completed, dibatalkan, atau gagal. |
functionCall | { callId: string; name: string; arguments: string } | Argumen pemanggilan fungsi lengkap. Aplikasi mengurai dan memvalidasi string JSON arguments. |
ambientTranscript / ambientTranscriptCompleted | { text: string; stash: string } / { transcript: string } | Transkrip sementara atau final audio lingkungan, tidak masuk konteks percakapan. |
event | ServerEvent | Pesan JSON layanan asli. |
error | DashScopeError | Kesalahan koneksi atau layanan. |
close | { code: number; reason: string } | Notifikasi penutupan koneksi dasar. |