Skip to main content

Ikhtisar Realtime API

Pelajari model Realtime API yang didukung, metode akses, autentikasi, serta tutorial dan demo yang tersedia.

Realtime API mendukung interaksi multimodal realtime, pengenalan ucapan, sintesis ucapan, percakapan suara, serta terjemahan audio dan video. Periksa metode akses yang didukung model yang Anda perlukan, lalu pilih metode untuk aplikasi Anda dan buka dokumentasi akses yang sesuai.

Dukungan model dan protokol

Tabel berikut mencantumkan protokol yang didukung setiap model dan aplikasi. Klik “Didukung” untuk membuka dokumentasi akses terkait.
Jenis model/aplikasiModelWebSocketWebRTCAOQ
Multimodal realtimeqwen3.8-omni-flash-realtime, qwen3.5-omni-plus-realtime, qwen3.5-omni-flash-realtimeDidukungDidukungDidukung
Sintesis ucapan real-timeqwen-audio-3.1-tts-plus, qwen-audio-3.1-tts-flash, qwen-audio-3.0-tts-flash, qwen-audio-3.0-tts-plusDidukungTidak didukungDidukung
Model seri CosyVoiceDidukungTidak didukungDidukung
Pengenalan ucapan real-timeqwen-audio-3.1-asr-flash-message, qwen-audio-3.1-asr-flash-streaming, qwen-audio-3.0-asr-flash-streaming, model seri Fun-ASR-RealtimeQwen-Audio-ASR-MessageQwen-Audio-ASR-StreamingFun-ASR-RealtimeTidak didukungQwen-Audio-ASR-MessageQwen-Audio-ASR-StreamingFun-ASR-Realtime
Percakapan suara realtimeqwen-audio-3.1-realtime-plus, qwen-audio-3.1-realtime-flash, qwen-audio-3.0-realtime-plus, qwen-audio-3.0-realtime-flashDidukungDidukungDidukung
Terjemahan suara realtimeModel seri Qwen-Livetranslate-RealtimeDidukungDidukungDidukung
Untuk informasi mengenai nama model, ukuran context window, harga, dan versi Snapshot, kunjungi Konsol Alibaba Cloud Model Studio. Untuk batas laju (rate limits), lihat Rate limiting.

Memilih metode akses

Realtime API mendukung WebSocket, WebRTC, dan AOQ (AI over QUIC). Metode akses yang tersedia serta kemampuan input dan output bergantung pada model yang dipilih. Lihat dokumentasi akses model tersebut.
DimensiWebSocketWebRTCAOQ
Kasus penggunaanInteraksi suara dan multimodal realtime, integrasi sisi server, pembuatan prototipe cepatInteraksi audio dan video realtime di browser, aplikasi dengan infrastruktur WebRTC yang sudah adaAplikasi native yang memerlukan optimasi jaringan buruk dan transmisi audio, video, serta peristiwa model secara terkoordinasi
Kompatibilitas browserDidukung secara native; persyaratan autentikasi API tetap berlakuDidukung secara nativeAOQ SDK saat ini tidak menyediakan akses melalui browser
Pembatalan gema dan peredaman derauDisediakan oleh komponen perekaman dan pemrosesan audio yang digunakan klienDisediakan oleh browser atau klien WebRTC, bergantung pada platform dan konfigurasiBergantung pada konfigurasi audio AOQ SDK untuk platform yang digunakan
Dukungan platform klienSemua platform (lingkungan apa pun yang mendukung WebSocket)Browser, klien selulerSeluler, desktop, dan Linux. Untuk detailnya, lihat Unduhan AOQ SDK.
Token PlanDidukungDidukungDidukung
  • WebSocket: Untuk interaksi suara dan multimodal realtime, integrasi sisi server, dan pembuatan prototipe. DashScope SDK menyediakan cara cepat untuk menerapkan percakapan suara realtime.
  • WebRTC: Untuk interaksi audio dan video realtime yang memerlukan dukungan native browser atau menggunakan infrastruktur WebRTC yang sudah ada.
  • AOQ: AOQ berbasis QUIC dan dioptimalkan untuk interaksi realtime pada kondisi jaringan yang buruk. Audio, video, dan peristiwa model ditransmisikan melalui track terpisah. AOQ cocok untuk aplikasi native yang perlu mengintegrasikan pengambilan media, encoding dan decoding, serta pemutaran.

Persiapan akses

Konfirmasikan region dan endpoint, lalu dapatkan API Key untuk region serta ruang kerja tersebut.
Saat pertama kali digunakan, ikuti petunjuk Konsol untuk mengaktifkan layanan. Segera salin dan simpan Kunci API dengan aman setelah dibuat. Kelola melalui variabel lingkungan; jangan menanamkannya dalam kode klien atau melakukan commit ke repositori kode.
Untuk AOQ, unduh AOQ SDK sesuai platform klien.

Metode autentikasi

Realtime API menggunakan Kunci API untuk otentikasi. Baik Anda terhubung melalui AOQ, WebRTC, maupun WebSocket, Anda harus menyertakan bearer token dalam header permintaan HTTP Authorization. WebRTC dan WebSocket melakukan otentikasi saat penyiapan koneksi. Dengan AOQ, AppServer melakukan otentikasi menggunakan Kunci API saat meminta kredensial koneksi, lalu klien terhubung menggunakan token sementara. Transmisi data melalui koneksi yang sudah terbentuk tidak memerlukan otentikasi ulang.

Detail otentikasi koneksi

  • WebSocket
  • WebRTC
  • AOQ
WebSocket mengautentikasi koneksi menggunakan API Key dalam header permintaan HTTP. Lihat dokumentasi akses model yang dipilih untuk persyaratan khusus.

Sumber daya pengembangan

Tutorial WebRTC

Tutorial AOQ dan Demo

Gunakan Demo Android untuk mencoba akses AOQ. Pindai kode QR untuk mengunduh APK, lalu instal dan konfigurasikan API Key serta workspaceId. Setelah itu, coba model yang didukung Demo.
Kode QR unduhan APK Demo Android AOQ