Skip to main content

Akses WebRTC Qwen-LiveTranslate-Realtime

Akses WebRTC Qwen-LiveTranslate-Realtime

WebRTC menggunakan track media untuk mengirim audio dan DataChannel untuk mengirim peristiwa model serta teks. Klien web dapat menggunakan API bawaan browser, sedangkan klien lain dapat menggunakan pustaka yang mendukung WebRTC standar. Model Studio tidak menyediakan SDK WebRTC khusus. Dokumen ini menyediakan prosedur integrasi WebRTC untuk model ini beserta contoh lengkap di sisi browser.

Cakupan penggunaan

Dokumen ini ditujukan untuk Qwen-LiveTranslate-Realtime. Panduan yang ada mencantumkan qwen3.8-livetranslate-flash-realtime dan qwen3.5-livetranslate-flash-realtime dengan konfigurasi serta bidang peristiwa yang berbeda. Untuk detailnya, lihat Peristiwa klien. Contoh dalam dokumen ini menggunakan qwen3.8-livetranslate-flash-realtime.
  • Gunakan API Key dan ID ruang kerja yang sesuai dengan wilayah dan ruang kerja yang dipilih.
  • Domain Beijing: {WorkspaceId}.cn-beijing.maas.aliyuncs.com; domain Singapura: {WorkspaceId}.ap-southeast-1.maas.aliyuncs.com.
  • Simpan API Key jangka panjang di sisi server dan jangan menyertakannya dalam aplikasi browser atau seluler. Untuk cara membuat API Key sementara dan izinnya, lihat Membuat API Key sementara.
Saat menangkap audio di browser, gunakan konteks aman. Minta izin mikrofon saat menggunakan mikrofon. Saat menerima audio, tangani pembatasan pemutaran otomatis browser.

Autentikasi dan pertukaran SDP

Browser mengirim Offer SDP ke AppServer bisnis. AppServer meneruskan permintaan berikut menggunakan API Key dan mengembalikan Answer SDP tanpa perubahan ke browser. API Key jangka panjang tidak diteruskan ke frontend.
  • Metode: POST
POSThttps://WorkspaceId.cn-beijing.maas.aliyuncs.com/api/v1/webrtc/realtime?model=qwen3.8-livetranslate-flash-realtime
POSThttps://WorkspaceId.ap-southeast-1.maas.aliyuncs.com/api/v1/webrtc/realtime?model=qwen3.8-livetranslate-flash-realtime

  • Header permintaan: Authorization: Bearer <API_KEY>, Content-Type: application/sdp
  • Isi permintaan: string Offer SDP.
  • Respons berhasil: HTTP 200 dengan Answer SDP dalam isi respons. Kegagalan mengembalikan 4xx.
WebRTC melakukan autentikasi selama pertukaran SDP dan tidak memerlukan AOQ Token sebelumnya. Dalam contoh di bawah, /api/realtime/sdp adalah antarmuka khusus yang dibuat oleh AppServer bisnis. Antarmuka ini harus mengimplementasikan proses penerusan di atas dan bukan URL yang disediakan oleh Model Studio.

Alur kerja

WEBRTC Diagram urutan koneksi
  1. Siapkan API key dan parameter model tujuan di AppServer.
  2. Buat objek koneksi klien dan daftarkan callback.
  3. Atur arah media dan DataChannel tanpa memasang trek media upstream.
  4. Tukarkan SDP melalui AppServer dan tunggu koneksi serta kanal peristiwa siap.
  5. Konfigurasikan model sesuai protokolnya. Pasang trek media upstream yang diperlukan setelah konfirmasi.
  6. Hentikan pengambilan, tutup koneksi, dan lepas sumber daya setelah interaksi selesai.
  • Audio dikirim melalui track media WebRTC. Aplikasi bertanggung jawab memperoleh track audio lokal, mengikat pemutar jarak jauh, serta mengirim dan menerima pesan DataChannel sesuai definisi peristiwa model tujuan.
  • Autentikasi WebRTC berlangsung saat pertukaran SDP; token AOQ tidak diperlukan. Proksikan autentikasi dan SDP melalui AppServer agar API key jangka panjang tidak berada dalam kode frontend.
  • Keberhasilan koneksi menunjukkan bahwa saluran transport telah terbentuk, tetapi tidak berarti inisialisasi model selesai. Saat menggunakan qwen3.8-livetranslate-flash-realtime pada halaman ini, kirim session.update dan aktifkan aliran media uplink yang diperlukan setelah menerima session.updated.

Contoh lengkap

Berikut adalah contoh lengkap di sisi browser. Pertama, implementasikan API /api/realtime/sdp pada AppServer bisnis sesuai Autentikasi dan pertukaran SDP, lalu buka halaman HTML ini dari origin yang sama dengan AppServer bisnis. Protokol, host, dan port harus sama. Misalnya, halaman dan /api/realtime/sdp sama-sama dilayani oleh http://localhost:3000. Server menyimpan API Key dan meneruskan SDP. Jangan letakkan API Key jangka panjang di halaman. Klik “Finish input” untuk mengirim session.finish, tunggu session.finished, lalu setelah audio yang tersisa selesai diputar, klik “Disconnect after audio playback”. Selama penyiapan koneksi atau jika perlu keluar lebih awal, klik “Cancel and disconnect”. Operasi ini langsung menutup koneksi dan dapat menghilangkan terjemahan yang belum dikembalikan atau audio yang belum diputar. Contoh ini membuat satu koneksi pada satu waktu. Muat ulang halaman untuk menggunakannya lagi.
<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <title>WebRTC access example</title>
</head>
<body>
<button id="start-session" type="button">Start translation</button>
<button id="finish-input" type="button" disabled>Finish input</button>
<button id="end-session" type="button" disabled>Disconnect after audio playback</button>
<button id="cancel-session" type="button" disabled>Cancel and disconnect</button>
<p id="session-status" role="status" aria-live="polite">Click "Start translation" to connect.</p>
<script>
const startSessionButton = document.getElementById("start-session");
const finishInputButton = document.getElementById("finish-input");
const endSessionButton = document.getElementById("end-session");
const cancelSessionButton = document.getElementById("cancel-session");
const sessionStatus = document.getElementById("session-status");
let translationFinished = false;
const pc = new RTCPeerConnection({ iceServers: [ ] });

const channels = new Set();
const senders = new Map();
const remoteAudio = document.createElement("audio");
remoteAudio.controls = true; // Users can play audio manually if autoplay is blocked.
remoteAudio.autoplay = true;
document.body.appendChild(remoteAudio);

let localStream = null;
let eventChannel = null;
let stopped = false;
let started = false;
let sessionCreated = false;
let updateSent = false;
let modelReady = false;
let mediaStarted = false;
let finishRequested = false;
const requestController = new AbortController();
const media = {
  sendAudio: true,
  receiveAudio: true,
};

function mediaDirection(send, receive) {
  if (send && receive) return "sendrecv";
  if (send) return "sendonly";
  if (receive) return "recvonly";
  return "inactive";
}

async function configureMedia() {
  // Keep m=audio. The target service must support the selected directions.
  const transceiver = pc.addTransceiver("audio", {
    direction: mediaDirection(media.sendAudio, media.receiveAudio),
  });
  if (media.sendAudio) senders.set("audio", transceiver.sender);
  if (!media.sendAudio) return;
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: media.sendAudio,
    video: false,
  });
  // The user may end the call while the permission prompt is open.
  if (stopped) {
    stream.getTracks().forEach(track => track.stop());
    throw new Error("Session ended");
  }
  localStream = stream;
  // sender.track is still empty, so no captured data is sent to the model.
}
// See Send and receive events over DataChannels for bindDataChannel.
pc.ondatachannel = ({ channel }) => bindDataChannel(channel);
const clientChannel = pc.createDataChannel("oai-events");
bindDataChannel(clientChannel);
pc.onconnectionstatechange = () => {
  console.log("WebRTC state:", pc.connectionState);
  if (pc.connectionState === "connected") {
    tryInitializeModel();
  } else if (["failed", "disconnected", "closed"].includes(pc.connectionState)) {
    // This example ends the session; implement recovery as needed.
    endSession();
  }
};

function waitForIceComplete() {
  return new Promise((resolve, reject) => {
    const timer = setTimeout(() => finish(new Error("ICE gathering timed out")), 15000);
    function finish(error) {
      clearTimeout(timer);
      pc.removeEventListener("icegatheringstatechange", check);
      requestController.signal.removeEventListener("abort", cancel);
      error ? reject(error) : resolve();
    }
    function check() {
      if (pc.iceGatheringState === "complete") finish();
    }
    function cancel() { finish(new Error("Session ended")); }
    pc.addEventListener("icegatheringstatechange", check);
    requestController.signal.addEventListener("abort", cancel, { once: true });
    if (stopped) cancel();
    else check();
  });
}

function normalizeAnswerSdp(sdp) {
  return String(sdp).trim().replace(/\r?\n/g, "\r\n") + "\r\n";
}

async function startSession() {
  if (started || stopped) return;
  started = true;
  try {
    await configureMedia();
    if (stopped) return;
    const offer = await pc.createOffer();
    await pc.setLocalDescription(offer);
    await waitForIceComplete();

    // Implement this same-origin application endpoint; it is not a Model Studio API.
    // AppServer forwards SDP with the API key and returns the raw Answer SDP.
    const response = await fetch("/api/realtime/sdp", {
      method: "POST",
      headers: { "Content-Type": "application/sdp" },
      body: pc.localDescription.sdp,
      signal: requestController.signal,
    });
    if (!response.ok) {
      throw new Error(`SDP exchange failed:${response.status} ${await response.text()}`);
    }
    const answerSdp = normalizeAnswerSdp(await response.text());
    if (stopped) return;
    await pc.setRemoteDescription({ type: "answer", sdp: answerSdp });
    // Continue through connectionstatechange, DataChannel, and model events.
  } catch (error) {
    if (!stopped) console.error("Connection failed:", error);
    endSession();
  }
}
function tryInitializeModel() {
  if (stopped || updateSent || !sessionCreated ||
      pc.connectionState !== "connected" ||
      eventChannel?.readyState !== "open") return;
  sendModelEvent({
    event_id: `event_${crypto.randomUUID()}`,
    type: "session.update",
    session: {
      "output_modalities": media.receiveAudio ? ["text", "audio"] : ["text"],
      "audio": {
        "input": {
          "turn_detection": {
            "type": "speaker_detection",
            "threshold": 0.5,
          },
        },
      },
      ...(media.receiveAudio ? {
        "voice": "Tina",
      } : {}),
      "translation": {
        "language": "en",
      },
    },
  });
  updateSent = true;
}

async function handleModelEvent(event, channel) {
  if (stopped) return;
  if (event.type === "session.created") {
    sessionCreated = true;
    eventChannel = channel; // Send configuration through the channel that receives session events.
    tryInitializeModel();
  } else if (event.type === "session.updated" && updateSent) {
    modelReady = true;
    await startSendingMedia();
    if (!finishRequested && !stopped) {
      finishInputButton.disabled = false;
      sessionStatus.textContent = "The model is ready. You can start speaking.";
    }
  } else if (event.type === "session.finished") {
    translationFinished = true;
    finishInputButton.disabled = true;
    endSessionButton.disabled = false;
    sessionStatus.textContent = "Translation is complete. Wait for remaining audio to finish before disconnecting.";
    console.log("Translation processing has ended. Wait for remaining audio to finish before releasing resources.");
  } else if (event.type === "error") {
    console.error("Model error:", event.error);
    endSession();
  } else {
    // Display text, transcripts, or response status as defined by the selected model. Receive audio over media tracks.
    console.log("Model event:", event);
  }
}
async function startSendingMedia() {
  if (stopped || !modelReady || mediaStarted) return;
  mediaStarted = true;

  for (const track of localStream?.getTracks() ?? []) {

    if (stopped) return;
    const sender = senders.get(track.kind);
    if (sender) await sender.replaceTrack(track);
  }
}

// Register before startSession(). Tracks without streams are also received correctly.
const remoteAudioStream = new MediaStream();
pc.ontrack = ({ track }) => {
  if (stopped) return;
  if (track.kind === "audio" && media.receiveAudio) {
    remoteAudioStream.addTrack(track);
    remoteAudio.srcObject = remoteAudioStream;
    remoteAudio.play().catch(() => {
      console.info("Autoplay is blocked. Use the audio controls to play.");
    });
  }
};
async function finishTranslation() {
  if (stopped || !modelReady || finishRequested) return;
  finishRequested = true;
  try {
    localStream?.getAudioTracks().forEach(track => track.stop());
    const sender = senders.get("audio");
    if (sender) await sender.replaceTrack(null);
    sendModelEvent({ type: "session.finish" });
  } catch (error) {
    finishRequested = false;
    throw error;
  }
}
function endSession() {
  if (stopped) return;
  stopped = true;
  finishInputButton.disabled = true;
  endSessionButton.disabled = true;
  cancelSessionButton.disabled = true;
  sessionStatus.textContent = "The connection is closed. Reload the page to translate again.";
  modelReady = false;
  sessionCreated = false;
  updateSent = false;
  mediaStarted = false;
  requestController.abort(); // Cancel pending SDP requests and ICE gathering.
  localStream?.getTracks().forEach(track => track.stop());
  localStream = null;
  channels.forEach(channel => channel.close());
  channels.clear();
  eventChannel = null;
  pc.close();
  senders.clear();
  remoteAudioStream.getTracks().forEach(track => track.stop());
  remoteAudio.pause();
  remoteAudio.srcObject = null;
  remoteAudio.remove();
}
function sendModelEvent(event, channel = eventChannel) {
  if (stopped || pc.connectionState !== "connected" ||
      channel?.readyState !== "open") {
    throw new Error("Data channel is not ready");
  }
  channel.send(JSON.stringify(event));
}

function bindDataChannel(channel) {
  channels.add(channel);
  channel.onopen = () => {
    if (stopped) return;
    console.log("DataChannel opened:", channel.label);
    tryInitializeModel();
  };
  channel.onmessage = ({ data }) => {
    if (stopped) return;
    let event;
    try { event = JSON.parse(data); }
    catch (error) {
      console.warn("Cannot parse model event:", error);
      return;
    }
    if (!event || typeof event !== "object") return;
    handleModelEvent(event, channel).catch(error => {
      if (!stopped) console.error("Model event handling failed:", error);
      endSession();
    });
  };
  channel.onerror = error => console.error("DataChannel error:", error);
  channel.onclose = () => {
    channels.delete(channel);
    if (channel === eventChannel) endSession();
  };
  if (channel.readyState === "open") channel.onopen();
}

startSessionButton.addEventListener("click", () => {
  startSessionButton.disabled = true;
  cancelSessionButton.disabled = false;
  sessionStatus.textContent = "Connecting...";
  startSession();
});
finishInputButton.addEventListener("click", () => {
  finishInputButton.disabled = true;
  sessionStatus.textContent = "Finishing input...";
  finishTranslation().then(() => {
    if (!translationFinished && !stopped) {
      sessionStatus.textContent = "Input has ended. Waiting for translation to complete.";
    }
  }).catch(error => {
    if (!stopped) {
      finishInputButton.disabled = false;
      sessionStatus.textContent = "Unable to finish input. Try again.";
    }
    console.error("Failed to finish input:", error);
  });
});
endSessionButton.addEventListener("click", endSession);
cancelSessionButton.addEventListener("click", endSession);
</script>
</body>
</html>

1. Menyiapkan autentikasi dan parameter koneksi

AppServer mengatur pertukaran SDP untuk model tujuan, wilayah, dan ruang kerja. Parameter berikut berlaku untuk koneksi Realtime standar. Untuk parameter khusus aplikasi, ikuti praktik terbaik yang sesuai.
PengaturanNilai
MetodePOST
URLhttps://{endpoint}/api/v1/webrtc/realtime?model={model_name}
Content-Typeapplication/sdp
AuthorizationBearer <API_KEY>
Isi permintaanOffer SDP
Respons berhasilAnswer SDP
Detail lengkap region, alamat, dan autentikasi tersedia dalam Autentikasi dan pertukaran SDP. Antarmuka AppServer bisnis diimplementasikan oleh pihak bisnis dan bukan bagian dari API SDK Model Studio.

2. Menginisialisasi objek koneksi dan mendaftarkan callback

Di web, buat RTCPeerConnection. Di platform lain, lakukan inisialisasi pustaka yang sesuai. Sebelum membuat koneksi, daftarkan handler berikut:
  • Perubahan status koneksi: menentukan apakah koneksi berhasil, gagal, atau terputus.
  • Pembentukan, pembukaan, pesan, dan penutupan DataChannel: membawa peristiwa model.
  • Track media jarak jauh: menerima dan memutar audio, atau menangani media lain yang didukung aplikasi tujuan.
Contoh lengkap membuat objek koneksi, variabel status, dan callback dalam skrip yang sama. Setiap panggilan membuat satu koneksi. Setelah panggilan berakhir, inisialisasi ulang objek tersebut untuk melakukan panggilan lain. Detail objek koneksi dan variabel status tersedia dalam Contoh lengkap. Contoh lengkap menggunakan finishRequested untuk mencegah pengiriman peristiwa akhir berulang. Daftarkan listener pesan sebelum inisialisasi model agar peristiwa sesi yang dikirim secara proaktif oleh server tidak terlewat. Jangan hanya memantau saluran yang dibuat klien. Server mengirim peristiwa melalui saluran bernama txt, sehingga callback datachannel harus ditangani.

3. Mengatur arah media dan DataChannel

Memilih arah media

Arah dilihat dari sisi klien. Transceiver WebRTC menegosiasikan pengiriman dan penerimaan: sendrecv dua arah, sendonly hanya mengirim, dan recvonly hanya menerima. Kemampuan yang tersedia juga bergantung pada jawaban SDP server dan dukungan model.
ArahKonfigurasi
mengirim audioMenegosiasikan kemampuan pengiriman audio dan menyiapkan mikrofon atau track audio eksternal. Pasang track setelah model siap.
menerima audioMenegosiasikan kemampuan penerimaan audio dan mengikat pemutaran audio dalam callback track jarak jauh
mengirim videoMenegosiasikan kemampuan pengiriman video sesuai versi pilihan dan skenario yang didukung, serta menyiapkan kamera atau track video eksternal
Misalnya, konfigurasikan audio uplink saat memasukkan ucapan dan audio downlink saat terjemahan suara diperlukan. Offer SDP harus mencakup bagian media audio m=audio. Jangan menghapus bagian ini hanya karena aplikasi tidak perlu memutar audio.

Arah media untuk model ini

Model atau aplikasiMengirim audioMenerima audioMengirim videoMenerima video
Qwen-LiveTranslate-Realtime Aktifkan saat input suara digunakanAktifkan jika terjemahan suara diperlukanKonfigurasikan sesuai versi dan skenario pilihanTidak mendukung pengaktifan
Model ini menghasilkan teks atau audio, tetapi tidak menghasilkan video. Tabel ini menjelaskan arah media yang dibutuhkan aplikasi; tidak menjamin semua kombinasi dapat dinegosiasikan secara terpisah. Konfigurasi bergantung pada model tujuan dan kemampuan negosiasi server.

Menyiapkan media tanpa mengirimnya

Negosiasikan arah yang diperlukan sebelum membuat Offer. Untuk model yang memerlukan konfirmasi inisialisasi, siapkan kemampuan pengiriman tanpa memasang trek yang diambil. Setelah model siap, gunakan replaceTrack pada sender terkait untuk memulai transmisi. Daftarkan penangan penerimaan media terlebih dahulu. Konfigurasikan pengiriman dan penerimaan audio secara terpisah sesuai kebutuhan. Jangan menggabungkan pengaktifan mikrofon, pemutaran audio, dan inisialisasi model dalam satu operasi.

Contoh konfigurasi media

Berikut adalah contoh suara dua arah. Dua sakelar dalam media mengontrol pengiriman dan penerimaan audio secara terpisah. addTransceiver menegosiasikan arah terlebih dahulu. Track yang ditangkap disimpan secara lokal dan dipasang ke sender hanya setelah model siap. Lihat kodenya dalam Contoh lengkap.

Membuat kanal peristiwa

Buat DataChannel sebelum membuat Offer agar SDP menyertakan negosiasi saluran data. Untuk cara klien dan server menangani pembuatan saluran, lihat Mengirim dan menerima peristiwa melalui saluran data. DataChannel mengirim inisialisasi model, teks, dan peristiwa kontrol, serta menerima hasil, status, dan error model. Track media mengirim audio. Contoh lengkap membuat saluran peristiwa klien dan mendaftarkan callback saluran sisi server sebelum membuat Offer.

4. Membuat koneksi

Selesaikan koneksi dengan urutan berikut:
  1. Panggil createOffer dan setLocalDescription.
  2. Kumpulkan informasi kandidat sesuai metode ICE yang didukung server. Dalam contoh ini, SDP lokal dikirim setelah pengumpulan ICE selesai.
  3. Kirim SDP lokal ke AppServer bisnis. AppServer menggunakan API Key untuk meminta antarmuka pertukaran SDP Model Studio.
  4. Periksa status HTTP. Jika berhasil, panggil setRemoteDescription menggunakan Answer SDP yang dikembalikan.
  5. Tunggu hingga status koneksi menjadi berhasil dan pastikan DataChannel untuk mengirim peristiwa model telah terbuka.
Keberhasilan pertukaran SDP atau selesainya setRemoteDescription hanya menunjukkan bahwa langkah negosiasi terkait telah selesai, bukan bukti langsung keberhasilan koneksi media. Peristiwa model juga tidak dapat dikirim saat DataChannel belum berstatus open.

Kode koneksi dan callback status

Pantau connectionstatechange untuk menentukan status koneksi dan icegatheringstatechange untuk menunggu SDP lokal lengkap. Inisialisasi model juga memerlukan open DataChannel serta peristiwa kesiapan model. Jangan hanya mengandalkan selesainya pertukaran SDP. Contoh lengkap menyelesaikan pertukaran SDP melalui startSession() dan menangani hasil koneksi melalui callback status koneksi. AppServer bisnis harus meneruskan Offer sesuai alamat dan header permintaan pada Bagian 1. API contoh diharapkan mengembalikan teks SDP biasa. Jangan meneruskan konten yang berisi header respons HTTP, log, atau pembungkus JSON langsung ke setRemoteDescription.

5. Bertukar peristiwa model dan media

Menginisialisasi model

Saat koneksi dan kanal peristiwa tersedia, inisialisasi model tujuan sesuai protokolnya. Simpan peristiwa inisialisasi server dan gabungkan dengan status kanal untuk melanjutkan alur; jangan menganggap urutan kedatangan callback selalu tetap. Misalnya, saat mengonfigurasi model dengan session.update, susun peristiwa sesuai protokolnya dan tunggu konfirmasi konfigurasi sebelum mengirim input. Parameter seperti suara, modalitas output, VAD, dan laju sampling harus mengikuti dokumentasi model yang digunakan. session.created menunjukkan pembuatan sesi dan tidak selalu berarti konfigurasi telah berlaku. Untuk model yang memerlukan konfirmasi konfigurasi sesi, tunggu session.updated. Untuk definisi peristiwa model, lihat Peristiwa klien dan Peristiwa server. Tangani transmisi media dan mode yang tersedia sesuai penjelasan pada halaman ini.

Contoh peristiwa model

Audio dikirim melalui track media dan tidak menggunakan peristiwa pengiriman media WebSocket.
Contoh berikut menunjukkan alur session.created → session.update → session.updated untuk qwen3.8-livetranslate-flash-realtime. Konfigurasikan bidang sesuai referensi peristiwa model. Pasang track media uplink hanya setelah menerima session.updated yang mengonfirmasi bahwa konfigurasi selesai. Konfigurasi berikut menerjemahkan ucapan ke bahasa Inggris menggunakan profil suara Tina. Lihat kodenya dalam Contoh lengkap. Untuk model contoh qwen3.8-livetranslate-flash-realtime, saat output audio diaktifkan, gunakan response.audio.done untuk memeriksa status pembuatan audio model. Peristiwa ini tidak menunjukkan bahwa klien telah selesai memutar audio.

Memulai pengiriman dan penerimaan media

Setelah model siap, pasang track audio uplink yang diperlukan. Tangani output model melalui callback track jarak jauh dan terus parse peristiwa yang dikembalikan DataChannel.
  • Audio dikirim melalui trek media RTP; peristiwa input_audio_buffer.append tidak diperlukan.
  • DataChannel membawa teks serta peristiwa status, kontrol, dan kesalahan.
Dalam contoh lengkap, startSendingMedia() memasang track uplink dan ontrack menangani media yang diterima.

6. Mengakhiri interaksi dan melepas sumber daya

Untuk model contoh qwen3.8-livetranslate-flash-realtime, setelah input audio selesai, hentikan perekaman serta pengiriman audio dan kirim session.finish melalui DataChannel. Terus terima kalimat terakhir dalam bentuk asli, terjemahan, dan audio terjemahan, lalu tunggu session.finished. Peristiwa ini menunjukkan bahwa model telah selesai memproses terjemahan, tetapi tidak berarti klien telah selesai memutar audio terjemahan yang tersisa. Jika pemutaran lengkap diperlukan, panggil endSession() untuk melepas sumber daya setelah pemutaran selesai. Dalam contoh lengkap, finishTranslation() menggunakan track audio dan DataChannel yang telah dibuat. Jika input berasal dari file atau buffer bisnis, audio dalam buffer harus dikirim sebelum input diakhiri. Implementasi finishTranslation() tersedia dalam Contoh lengkap. endSession() hanya melepas koneksi dan sumber daya media, tanpa mengirim peristiwa akhir. Setelah interaksi model selesai, lapisan bisnis klien menghentikan track rekaman lokal yang dimiliki aplikasi, menutup DataChannel dan RTCPeerConnection, melepas sumber daya seperti pemutar, serta membersihkan status bisnis. Hapus status kesiapan model setelah kegagalan atau koneksi terputus secara tidak terduga. Inisialisasi kembali model pada koneksi baru, bukan memakai ulang status sesi koneksi sebelumnya. Dalam contoh lengkap, endSession() melepas koneksi dan sumber daya media. Panggil endSession() setelah interaksi model selesai dan audio terjemahan yang tersisa ditangani. Jika bisnis juga menggunakan perekaman tambahan, MediaRecorder harus dihentikan.

Mengirim dan menerima peristiwa melalui saluran data

Pastikan saluran berstatus open sebelum memanggil send dengan peristiwa yang diserialisasi. Parse pesan masuk dalam callback message, termasuk peristiwa pada saluran yang dibuat server. Nama, bidang, parameter, dan waktu pengiriman peristiwa mengikuti Definisi peristiwa klien model target. Penguraian, perubahan status, hasil, dan penanganan kesalahan setelah menerima pesan mengikuti Definisi peristiwa server model. Kirim peristiwa inisialisasi sesuai persyaratan model; kirim peristiwa teks dan kontrol berikutnya sesuai kebutuhan aplikasi.

Contoh DataChannel

Gunakan fungsi pengikatan yang sama untuk kanal buatan klien dan server. Fungsi ini menangani transport dan penguraian JSON; handleModelEvent pada bagian 5 menangani semantik model. Gunakan sendModelEvent untuk inisialisasi, teks, atau kontrol hanya jika diizinkan protokol model. Dalam contoh lengkap, sendModelEvent() dan bindDataChannel() mengirim dan menerima peristiwa. Dalam contoh lengkap, startSession() dipanggil pada awal penerjemahan, finishTranslation() pada akhir input, dan endSession() setelah penerjemahan serta pembersihan pemutaran selesai. Fungsi ini adalah contoh yang disediakan dokumen, bukan API bawaan WebRTC.

Definisi peristiwa Qwen-LiveTranslate-Realtime

Model atau aplikasiPeristiwa klien (kirim)Peristiwa server (terima)
Qwen-LiveTranslate-RealtimePeristiwa klienPeristiwa server
Ikuti juga aturan berikut:
  • Gunakan bidang type peristiwa untuk mengidentifikasi peristiwa model, dan tangani pengenal terkait sesuai referensi peristiwa model ini.
  • Operasi yang diperlukan model, seperti konfirmasi inisialisasi, pengiriman input, pembatalan respons, dan penyelesaian tugas, ditangani dalam saluran Data sesuai protokolnya. Operasi ini merupakan semantik interaksi model dan berbeda dari pemutusan koneksi transport.
  • Data audio dikirim melalui track media. Saat menggunakan referensi peristiwa model, ikuti halaman ini untuk enkapsulasi media dan mode interaksi yang tersedia. Jangan langsung menerapkan metode pengiriman media WebSocket.

Referensi event