Skip to main content

Terjemahan audio dan video real-time - Qwen

qwen3.5-livetranslate-flash-realtime adalah model terjemahan real-time yang ditingkatkan dengan visi dan mendukung 60 bahasa (29 dengan output audio dan teks, 31 hanya teks). Model ini memproses input audio dan gambar dari aliran video atau file lokal, memanfaatkan konteks visual untuk meningkatkan akurasi, serta menghasilkan teks dan audio terjemahan secara real-time.

Coba demo online dengan penerapan satu klik menggunakan Function Compute.

Fitur

  • Dukungan multi-bahasa: Menerjemahkan antara 60 bahasa — 29 dengan output audio dan teks, 31 dengan output hanya teks — termasuk Tiongkok, Inggris, Prancis, Jerman, Rusia, Jepang, Korea, Spanyol, Portugis, dan Arab.
  • Peningkatan visual: Menganalisis petunjuk visual, seperti gerakan bibir, isyarat tubuh, dan teks di layar, untuk meningkatkan akurasi terjemahan, terutama di lingkungan berisik atau untuk kata-kata ambigu.
  • Latensi 2,3 detik: Memberikan interpretasi simultan dengan latensi serendah 2,3 detik.
  • Pemisahan pembicara real-time: Membedakan pembicara dan isi ucapan saat beberapa orang berbicara bergantian, sehingga pendengar mengetahui siapa yang mengatakan apa.
  • Interpretasi simultan tanpa kehilangan kualitas: Memprediksi unit semantik untuk menyelesaikan perbedaan urutan kata lintas bahasa, mencapai kualitas yang sebanding dengan terjemahan offline.
  • Suara alami: Secara otomatis mencocokkan intonasi dan emosi dari audio sumber.
  • Konfigurasi hotword: Hotword yang dapat dikonfigurasi meningkatkan akurasi terjemahan untuk istilah tertentu.
  • Kloning suara: Mengkloning suara pembicara untuk output terjemahan. Mendukung kloning real-time dan profil suara yang telah dikloning sebelumnya.

Prosedur

1. Konfigurasikan koneksi

Saat terhubung melalui WebSocket, gunakan parameter berikut: Akses AOQ, WebRTC, dan WebSocket didukung. Untuk integrasi sisi klien yang memprioritaskan latensi stabil, interaksi pada kondisi jaringan buruk, serta peredaman derau dan pembatalan gema dalam komunikasi full-duplex realtime, pertimbangkan AOQ terlebih dahulu. Untuk perbandingan dan pemilihan protokol, lihat Referensi API.
ParameterDeskripsi
endpointWilayah Tiongkok (Beijing): wss://WorkspaceId.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime. Ganti WorkspaceId dengan ID ruang kerja Anda yang sebenarnya.Wilayah Singapura: wss://WorkspaceId.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime.Ganti WorkspaceId dengan ID ruang kerja Anda yang sebenarnya.
query parameterParameter kueri model harus diatur ke nama model. Contoh: ?model=qwen3.8-livetranslate-flash-realtime
message headerGunakan Bearer Token untuk otentikasi: Authorization: Bearer DASHSCOPE_API_KEY
DASHSCOPE_API_KEY adalah Kunci API Anda dari Model Studio.
Kode contoh koneksi (Python):
# pip install websocket-client
import json
import websocket
import os

API_KEY=os.getenv("DASHSCOPE_API_KEY")
API_URL = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime?model=qwen3.8-livetranslate-flash-realtime"

headers = [
    "Authorization: Bearer " + API_KEY
]

def on_open(ws):
    print(f"Connected to server: {API_URL}")
def on_message(ws, message):
    data = json.loads(message)
    print("Received event:", json.dumps(data, indent=2))
def on_error(ws, error):
    print("Error:", error)

ws = websocket.WebSocketApp(
    API_URL,
    header=headers,
    on_open=on_open,
    on_message=on_message,
    on_error=on_error
)

ws.run_forever()

2. Konfigurasikan bahasa, modalitas, dan suara

Kirim session.update, lalu tunggu session.updated sebelum mengirim audio.
  • Bahasa tujuan: Atur session.translation.language, dengan default en (Inggris). Lihat Daftar bahasa. Dengan qwen3.8-livetranslate-flash-realtime, bahasa sumber dideteksi otomatis.
    Dengan qwen3.5-livetranslate-flash-realtime, tentukan bahasa sumber melalui session.input_audio_transcription.language, atau hilangkan kolom tersebut untuk deteksi otomatis.
  • Keluaran: Dengan qwen3.8-livetranslate-flash-realtime, atur session.output_modalities ke ["text"] untuk teks saja atau ["text", "audio"] untuk teks dan suara (default). Bahasa tujuan yang hanya mendukung teks memerlukan ["text"].
    Dengan qwen3.5-livetranslate-flash-realtime, gunakan session.modalities. Nilai yang tersedia dan nilai default sama.
  • Transkripsi sumber: Dengan qwen3.8-livetranslate-flash-realtime, transkripsi selalu aktif dan tidak dapat dinonaktifkan. Transkrip bahasa sumber dihasilkan langsung oleh model LiveTranslate. Informasi yang relevan dalam gambar dapat membantu memperjelas bagian ujaran sumber yang ambigu. Terima bagian tambahan melalui conversation.item.input_audio_transcription.delta dan hasil lengkap melalui conversation.item.input_audio_transcription.completed.
    Dengan qwen3.5-livetranslate-flash-realtime, transkripsi aktif secara default. Model ASR terpisah mentranskripsikan audio input. Atur session.input_audio_transcription.model ke qwen3-asr-flash-realtime untuk mengaktifkannya atau null untuk menonaktifkannya. Bagian tambahan dikirim melalui conversation.item.input_audio_transcription.text, dan hasil lengkap melalui conversation.item.input_audio_transcription.completed.
  • Audio dan suara: Dengan qwen3.8-livetranslate-flash-realtime, default-nya adalah masukan PCM 16000 Hz, keluaran PCM 24000 Hz, dan suara Tina. Untuk memasukkan audio Opus, tetapkan session.audio.input.format.type ke opus. Periksa session.audio.output.voice dalam session.created untuk melihat suara yang digunakan. Untuk mempertahankan suara pembicara, lihat Kloning suara.
    Dengan qwen3.5-livetranslate-flash-realtime, atur audio melalui session.sample_rate, session.input_audio_format, dan session.output_audio_format, serta suara melalui session.voice. Suara default juga Tina.
  • Hotword: Atur session.translation.corpus.phrases untuk ejaan merek dan terjemahan tertentu. Lihat Konfigurasi hotword.
    Disarankan menggunakan paling banyak 1.000 hotword.
{"type": "session.update", "session": {"output_modalities": ["text", "audio"], "translation": {"language": "en"}}}

3. Input audio dan gambar

Kirim data audio dan gambar yang di-encode Base64 menggunakan event input_audio_buffer.append dan input_image_buffer.append. Input audio wajib; input gambar opsional.
Gambar dapat berasal dari file lokal atau diambil secara real-time dari aliran video.
Dengan qwen3.8-livetranslate-flash-realtime, nilai default adalah session.audio.input.turn_detection.type = speaker_detection. Kirim audio secara berkelanjutan; server mendeteksi batas ucapan dan menghasilkan terjemahan tanpa komit manual untuk setiap ucapan. Lihat Membedakan pembicara untuk konfigurasi dan ID pembicara.
Cara model menentukan bahwa sebuah tuturan telah selesai bergantung pada mode VAD atau mode Manual yang dikonfigurasi melalui parameter turn_detection:
  • Mode VAD (default): Klien terus-menerus mengirim event input_audio_buffer.append. Saat server mendeteksi awal/akhir ucapan, server mengembalikan event input_audio_buffer.speech_started dan input_audio_buffer.speech_stopped masing-masing, secara otomatis melakukan commit buffer audio, dan memicu terjemahan. Respons terjemahan dihasilkan secara sinkron dengan aliran audio dan biasanya dimulai selama input audio, tanpa menunggu ucapan berakhir.
  • Mode Manual: Atur session.turn_detection ke null. Setelah klien selesai mengirim tuturan lengkap, klien mengirim event input_audio_buffer.commit untuk melakukan commit buffer audio. Setelah server mengembalikan event input_audio_buffer.committed sebagai konfirmasi, server secara otomatis mulai menghasilkan respons terjemahan; klien tidak perlu mengirim event lain untuk memicu respons. Untuk menghapus audio yang belum di-commit sebelum melakukan commit, kirim event input_audio_buffer.clear.

4. Terima respons model

Dengan qwen3.8-livetranslate-flash-realtime, terima respons sesuai modalitas output:
  • Teks sumber: Gabungkan conversation.item.input_audio_transcription.delta; dapatkan teks lengkap melalui conversation.item.input_audio_transcription.completed.
  • Terjemahan: Gunakan response.text.delta untuk teks saja atau response.audio_transcript.delta untuk teks dan audio. Gabungkan nilai delta setiap item pesan sesuai urutan penerimaan, tanpa menimpa teks sebelumnya.
  • Suara: Decode Base64 pada kolom delta di response.audio.delta, lalu putar atau simpan potongan secara berurutan.
response.done mengakhiri satu respons terjemahan; periksa response.status untuk mengetahui keberhasilan proses. Sesi tetap terbuka untuk audio berikutnya.
  • Output hasil pengenalan bahasa sumber Atur session.input_audio_transcription.model ke qwen3-asr-flash-realtime. Server kemudian akan mengembalikan hasil terjemahan dan hasil pengenalan ucapan (teks asli) untuk audio input. Server mengembalikan event-event berikut:
    • conversation.item.input_audio_transcription.text: Mengalirkan hasil pengenalan.
    • conversation.item.input_audio_transcription.completed: Mengembalikan hasil akhir setelah pengenalan selesai.
    • conversation.item.input_audio_transcription.failed: Mengembalikan informasi error saat pengenalan gagal.
Respons terjemahan dihasilkan secara sinkron dengan aliran audio dan biasanya tidak perlu menunggu ucapan berakhir (lihat deskripsi mode VAD/Manual pada bagian sebelumnya). Format respons bergantung pada modalitas output.
  • Output hanya teks Server mengalirkan teks terjemahan inkremental (termasuk teks yang dikonfirmasi dan teks prediksi sementara) melalui event response.text.text; setelah selesai, teks terjemahan lengkap dikembalikan dalam event response.text.done. stash berisi terjemahan sementara. Subtitel dapat tampil lebih cepat, tetapi event berikutnya dapat mengubah teks ini. Sesuai kebutuhan aplikasi, tampilkan gabungan text dan stash di klien, atau hanya text yang sudah dikonfirmasi. Gunakan item_id untuk memperbarui subtitel yang sesuai, lalu tampilkan terjemahan lengkap saat response.text.done diterima.
  • Output teks dan audio
Model terjemahan real-time menggunakan event response.text.text untuk pengiriman teks inkremental, yang berbeda dari event response.text.delta yang digunakan oleh model Omni (percakapan suara full-duplex). Event-event ini memiliki struktur bidang dan semantik yang berbeda — jangan gunakan secara bergantian.
Pasangkan teks sumber dengan terjemahannya Untuk menampilkan subtitel sumber dan terjemahan bersama, pasangkan keduanya melalui event conversation.item.created untuk terjemahan. item.id adalah ID terjemahan, sedangkan previous_item_id di tingkat teratas event adalah ID teks sumber yang sesuai. Teks sumber atau terjemahan dapat tiba lebih dulu. Simpan hasilnya secara terpisah, pasangkan berdasarkan pemetaan ini, lalu perbarui setiap subtitel menggunakan item_id masing-masing. Lihat Hubungan teks sumber dan terjemahan untuk definisi kolom.

5. Akhiri sesi

Setelah mengirim semua audio, kirim event session.finish, lalu tunggu hingga server mengembalikan event session.finished sebelum menutup koneksi WebSocket. Jika Anda menutup WebSocket tanpa mengirim session.finish, VAD server tidak dapat mendeteksi akhir segmen ucapan terakhir. Hal ini menyebabkan hasil terjemahan untuk segmen tersebut hilang sepenuhnya, dan koneksi mungkin hang tanpa batas waktu. Selalu kirim event ini sebelum memutus koneksi.

Model yang didukung

Model yang direkomendasikan

ModelVersiContext windowMax inputMax output
(tokens)
qwen3.8-livetranslate-flash-realtimeStabil53,24849,1524,096
qwen3.5-livetranslate-flash-realtime
Alias untuk qwen3.5-livetranslate-flash-realtime-2026-05-19
Stable53.24849.1524.096
qwen3.5-livetranslate-flash-realtime-2026-05-19Snapshot

Mulai

Terjemahkan input mikrofon secara real time

  1. Gunakan Python 3.10 atau lebih baru dan pasang pyaudio:
    • macOS
    • Debian/Ubuntu
    • CentOS
    • Windows
    brew install portaudio && pip install pyaudio
    
    Pasang dependensi WebSocket: pip install websocket-client.
  2. Atur variabel lingkungan di bawah ini. Kunci API dan ruang kerja harus berada di wilayah pada URL koneksi: Isi WorkspaceId pada kode di bawah ini.
  3. Simpan kode berikut sebagai livetranslate_client.py, jalankan python livetranslate_client.py, lalu berbicaralah ke mikrofon.
Contoh menggunakan qwen3.8-livetranslate-flash-realtime untuk menerjemahkan input mikrofon ke bahasa Inggris, mencetak teks, dan memutar ucapan terjemahan secara real time. Input berupa PCM mono 16-bit 16000 Hz; pemutaran berupa PCM mono 16-bit 24000 Hz. Tekan Ctrl+C untuk berhenti merekam. Contoh mengirim session.finish, menerima dan memutar hasil tersisa, lalu menutup koneksi setelah session.finished. Gunakan headphone agar ucapan terjemahan tidak direkam kembali.
import base64
import json
import os
import signal
import threading
import time

import pyaudio
import websocket

model = "qwen3.8-livetranslate-flash-realtime"
api_key = os.environ["DASHSCOPE_API_KEY"]
url = (
    "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com"
    f"/api-ws/v1/realtime?model={model}"
)
stop_recording = False
send_errors = []
ws = None
audio = None
input_stream = None
output_stream = None
sender = None
previous_sigint_handler = None


def receive():
    event = json.loads(ws.recv())
    if event.get("type") == "error" or event.get("code"):
        raise RuntimeError(event)
    return event


def stop_input(signum, frame):
    global stop_recording
    stop_recording = True


def send_audio():
    try:
        while not stop_recording:
            chunk = input_stream.read(1600)
            ws.send(json.dumps({
                "type": "input_audio_buffer.append",
                "audio": base64.b64encode(chunk).decode("ascii"),
            }))
    except Exception as error:
        send_errors.append(error)
    finally:
        try:
            ws.send(json.dumps({"type": "session.finish"}))
        except Exception as error:
            send_errors.append(error)
            ws.close()


def receive_translation():
    while True:
        event = receive()
        event_type = event.get("type")
        if event_type in ("response.text.delta", "response.audio_transcript.delta"):
            print(event["delta"], end="", flush=True)
        elif event_type == "response.audio.delta":
            output_stream.write(base64.b64decode(event["delta"]))
        elif event_type == "response.done":
            if event["response"]["status"] != "completed":
                raise RuntimeError(event["response"])
            print()
        elif event_type == "session.finished":
            return


try:
    ws = websocket.create_connection(
        url, header={"Authorization": f"Bearer {api_key}"}, timeout=30
    )
    while receive().get("type") != "session.created":
        pass
    ws.send(json.dumps({
        "type": "session.update",
        "session": {
            "output_modalities": ["text", "audio"],
            "translation": {"language": "en"},
        },
    }))
    while receive().get("type") != "session.updated":
        pass
    audio = pyaudio.PyAudio()
    input_stream = audio.open(
        format=pyaudio.paInt16, channels=1, rate=16000,
        input=True, frames_per_buffer=1600,
    )
    output_stream = audio.open(
        format=pyaudio.paInt16, channels=1, rate=24000, output=True,
    )
    print("Mulai berbicara. Tekan Ctrl+C untuk berhenti merekam dan menunggu sisa terjemahan.")
    previous_sigint_handler = signal.signal(signal.SIGINT, stop_input)
    sender = threading.Thread(target=send_audio, daemon=True)
    sender.start()
    receive_translation()
    stop_recording = True
    sender.join()
    if send_errors:
        raise send_errors[0]
except Exception:
    if send_errors:
        raise send_errors[0]
    raise
finally:
    stop_recording = True
    if ws is not None:
        ws.close()
    if sender is not None:
        sender.join()
    for stream in (input_stream, output_stream):
        if stream is not None:
            stream.stop_stream()
            stream.close()
    if audio is not None:
        audio.terminate()
    if previous_sigint_handler is not None:
        signal.signal(signal.SIGINT, previous_sigint_handler)

Konfigurasi hotword

Menambahkan hotword dapat meningkatkan akurasi terjemahan ketika Anda memerlukan terjemahan tertentu atau perlu membedakan kata-kata yang terdengar sama. Contohnya:
  • Terjemahan baku: slogan Alibaba Cloud, “Komputasi untuk nilai yang tak terhitung.”, memiliki terjemahan bahasa Inggris yang disepakati, yaitu “Computing, for the value beyond computation.”. Pilihan kata dan urutannya perlu dipertahankan.
  • Nama merek yang terdengar sama: Qoder terdengar sama dengan kata umum dalam bahasa Inggris, coder. Jika pembicara merujuk pada produk Qoder, terjemahan perlu mempertahankan ejaan merek tersebut.
Tabel berikut membandingkan keluaran dari dua pengujian. Dalam setiap pasangan, audio yang digunakan sama dan hanya konfigurasi hotword yang berubah.
Isi audio masukanTanpa hotwordDengan hotword
Komputasi untuk nilai yang tak terhitung.Computation for incalculable values.Computing, for the value beyond computation.
Qoder adalah platform agentik untuk pekerjaan nyata.Coder is an agentic platform for workers. for real-world tasks.Qoder is a platform for agents. for real jobs.

Cara konfigurasi

Konfigurasikan hotword melalui session.translation.corpus.phrases menggunakan pasangan kunci-nilai untuk memetakan kata atau frasa bahasa sumber ke terjemahan yang diinginkan. Pada permintaan session.update pertama dalam Mulai, gabungkan objek translation berikut ke dalam objek session yang sudah ada. Pertahankan modalitas keluaran, suara, dan pengaturan lain untuk sesi tersebut.
{
  "event_id": "configure-hotwords",
  "type": "session.update",
  "session": {
    "translation": {
      "language": "en",
      "corpus": {
        "phrases": {
          "Komputasi untuk nilai yang tak terhitung.": "Computing, for the value beyond computation.",
          "Qoder": "Qoder"
        }
      }
    }
  }
}
Konfigurasikan sesi sebelum mengirim audio. Tunggu peristiwa session.updated dari server sebelum mulai mengirim peristiwa input_audio_buffer.append.

Identifikasi pembicara

qwen3.8-livetranslate-flash-realtime dapat mengidentifikasi pembicara yang berbeda dan menandainya dengan speaker_id. Kaitkan ID ini dengan teks sumber dan terjemahan untuk menampilkan subtitel per pembicara. Pertahankan default speaker_detection atau atur secara eksplisit pada session.update. threshold membedakan keheningan dari ucapan yang valid. Suara di bawah ambang ini disaring dan tidak dikirim ke model. Nilai ambang tetap 0.5.
{"type": "session.update", "session": {"audio": {"input": {"turn_detection": {"type": "speaker_detection", "threshold": 0.5}}}}}
  1. Catat speaker_id dan item_id sumber dari input_audio_buffer.speech_started.
  2. Baca sumber untuk item_id yang sama dari conversation.item.input_audio_transcription.delta.
  3. Pada conversation.item.created terjemahan, kaitkan item.id dengan previous_item_id di tingkat teratas peristiwa.
  4. Gunakan item_id setiap delta terjemahan untuk menemukan sumber dan pembicara, lalu perbarui subtitel.
Letakkan variabel dan fungsi berikut sebelum def receive_translation(): dalam contoh mikrofon di panduan memulai. Di dalam fungsi tersebut, panggil handle_speaker_event(event) tepat setelah event = receive(), lalu ganti print(event["delta"], end="", flush=True) yang lama dengan pass agar seluruh keluaran subtitel ditangani oleh cuplikan di bawah. Cuplikan mencetak ID, teks sumber, dan terjemahan saat berubah agar subtitel dapat ditampilkan per pembicara. Pertahankan penanganan audio dan akhir sesi.
speaker_by_source = {}
source_by_translation = {}
source_text = {}
translation_text = {}


def show_subtitle(translation_id):
    source_id = source_by_translation.get(translation_id)
    if source_id not in speaker_by_source or translation_id not in translation_text:
        return
    print({
        "speaker_id": speaker_by_source[source_id],
        "source": source_text.get(source_id, ""),
        "translation": translation_text[translation_id],
    })


def handle_speaker_event(event):
    event_type = event.get("type")
    if event_type in ("response.text.delta", "response.audio_transcript.delta"):
        item_id = event["item_id"]
        translation_text[item_id] = translation_text.get(item_id, "") + event["delta"]
        show_subtitle(item_id)
        return
    if event_type == "conversation.item.created":
        item = event["item"]
        if any(part.get("type") == "input_audio" for part in item.get("content", [])):
            return
        source_id = event.get("previous_item_id")
        if item.get("role") == "assistant" and source_id is not None:
            source_by_translation[item["id"]] = source_id
            show_subtitle(item["id"])
        return
    if event_type == "input_audio_buffer.speech_started" and "speaker_id" in event:
        source_id = event["item_id"]
        speaker_by_source[source_id] = event["speaker_id"]
    elif event_type == "conversation.item.input_audio_transcription.delta":
        source_id = event["item_id"]
        source_text[source_id] = source_text.get(source_id, "") + event["delta"]
    elif event_type == "conversation.item.input_audio_transcription.completed":
        source_id = event["item_id"]
        source_text[source_id] = event["transcript"]
    else:
        return
    for translation_id, mapped_source in source_by_translation.items():
        if mapped_source == source_id:
            show_subtitle(translation_id)
Lihat ID pembicara dan Pemetaan sumber/terjemahan.

Perbaiki terjemahan dengan gambar

Model terjemahan real-time Qwen mendukung input gambar untuk menghilangkan ambiguitas homonim dan mengenali nama diri yang tidak umum selama terjemahan. Kirim tidak lebih dari 2 gambar per detik. Unduh contoh gambar berikut: medical mask.png, masquerade mask.png Gunakan kembali masukan mikrofon dan koneksi dari panduan memulai:
  1. Pasang Pillow: pip install Pillow.
  2. Tetapkan translation.language ke id, lalu ucapkan “What is mask?” ke mikrofon saat menjalankan contoh.
  3. Letakkan kode pembacaan gambar berikut sebelum def send_audio(): pada contoh mikrofon, lalu ganti send_audio() dengan versi ini. Kode memakai input_stream, stop_recording, ws, send_errors, dan impor yang sudah ada.
import io
from PIL import Image

IMAGE_PATH = "medical-mask.png"
# IMAGE_PATH = "masquerade-mask.png"
with Image.open(IMAGE_PATH) as image:
    buffer = io.BytesIO()
    image.convert("RGB").save(buffer, format="JPEG")
image_bytes = buffer.getvalue()
if len(image_bytes) > 500_000:
    raise ValueError("JPEG > 500 KB")
image_b64 = base64.b64encode(image_bytes).decode("ascii")


def send_audio():
    try:
        last_image_time = None
        while not stop_recording:
            chunk = input_stream.read(1600)
            ws.send(json.dumps({
                "type": "input_audio_buffer.append",
                "audio": base64.b64encode(chunk).decode("ascii"),
            }))
            now = time.monotonic()
            if last_image_time is None or now - last_image_time >= 0.5:
                ws.send(json.dumps({
                    "type": "input_image_buffer.append",
                    "image": image_b64,
                }))
                last_image_time = now
    except Exception as error:
        send_errors.append(error)
    finally:
        try:
            ws.send(json.dumps({"type": "session.finish"}))
        except Exception as error:
            send_errors.append(error)
            ws.close()
Audio dan gambar dikirim bergantian, maksimal satu gambar setiap 0,5 detik. Coba masing-masing gambar dan periksa apakah “mask” diterjemahkan menjadi objek yang sesuai. Setelah Ctrl+C menghentikan rekaman, contoh meminta akhir sesi dan menerima hasil tersisa.

Kloning suara

Model mengkloning suara pembicara dari audio input dan menggunakannya untuk output terjemahan. Gunakan profil suara yang telah dikloning sebelumnya atau biarkan server melakukan kloning secara real-time. Berguna untuk interpretasi konferensi, siaran langsung, dan dubbing video. Kloning real time: Pada qwen3.8-livetranslate-flash-realtime maupun qwen3.5-livetranslate-flash-realtime, kloning suara dari audio masukan selama penerjemahan tidak dikenakan biaya kloning tambahan. Panggilan model tetap ditagih berdasarkan penggunaan token. Membuat suara sebelumnya: Gunakan API kloning suara untuk membuat suara terlebih dahulu. Biayanya $0.01 per suara. Permintaan pembuatan yang gagal tidak dikenai biaya. Untuk wilayah, jumlah penggunaan, dan masa berlaku kuota gratis, lihat Penagihan. Terjemahan menggunakan suara yang sudah dibuat tetap ditagih berdasarkan penggunaan Token model. Atur parameter berikut dalam session.update untuk mengaktifkan kloning suara:
  • session.enable_voice_clone: Atur ke true untuk mengaktifkan kloning suara.
  • session.voice_clone_options.frequency: Mengontrol kapan kloning suara terjadi. Nilai yang diterima:
    • never: Gunakan suara yang telah dibuat tanpa mengekstraksi ulang selama sesi ini. Isi session.voice dengan ID suara kloning milik Anda.
    • once: Ekstrak suara sekali pada awal sesi lalu gunakan kembali untuk terjemahan berikutnya dalam sesi yang sama. “Sekali” merujuk pada ekstraksi, bukan satu keluaran audio saja. Cocok untuk presentasi satu pembicara; tetapkan session.voice ke default.
    • always: Ekstrak suara sebelum setiap respons audio terjemahan agar mengikuti pergantian pembicara. Cocok untuk percakapan beberapa pembicara; tetapkan session.voice ke default.
  • session.voice: Menentukan suara output. Nilainya bergantung pada pengaturan frequency:
    • Atur ke default: Gunakan dengan frequency diatur ke once atau always. Mengkloning suara pembicara dari audio input. Suara default digunakan hingga proses kloning selesai.
    • Jika diatur ke ID suara kloning kustom (misalnya qwen-translate-vc-xxx-yyy-zzz), gunakan dengan frequency bernilai never. Siapkan suara terlebih dahulu melalui API kloning suara, dengan target_model diatur ke model terjemahan yang digunakan.
Saat frequency diatur ke once atau always, parameter voice harus diatur ke default. Nilai lain akan menyebabkan server mengembalikan error.

Contoh konfigurasi kloning suara

Dengan qwen3.8-livetranslate-flash-realtime, ganti konfigurasi session.update pada contoh model ini di Mulai cepat dengan konfigurasi yang sesuai.
Dengan qwen3.5-livetranslate-flash-realtime, ganti session.output_modalities menjadi session.modalities pada contoh. Parameter kloning lainnya sama. Tentukan model ini pada parameter koneksi model dan tangani peristiwa responsnya sesuai penjelasan Menerima respons model.
Profil suara yang telah dikloning sebelumnya (untuk skenario yang membutuhkan suara tetap):
{
    "type": "session.update",
    "session": {
        "output_modalities": ["text","audio"],
        "voice": "qwen-translate-vc-xxx-yyy-zzz",
        "translation": {
            "language": "en"
        },
        "enable_voice_clone": true,
        "voice_clone_options": {
            "frequency": "never"
        }
    }
}
Gunakan kembali satu suara dalam sesi ini (satu pembicara):
{
    "type": "session.update",
    "session": {
        "output_modalities": ["text","audio"],
        "voice": "default",
        "translation": {
            "language": "en"
        },
        "enable_voice_clone": true,
        "voice_clone_options": {
            "frequency": "once"
        }
    }
}
Ikuti suara pembicara saat ini (beberapa pembicara):
{
    "type": "session.update",
    "session": {
        "output_modalities": ["text","audio"],
        "voice": "default",
        "translation": {
            "language": "en"
        },
        "enable_voice_clone": true,
        "voice_clone_options": {
            "frequency": "always"
        }
    }
}

Penerapan satu klik Function Compute

Untuk menerapkan aplikasi:
  1. Buka Templat Function Compute, masukkan Kunci API Anda, lalu klik Create and Deploy Default Environment untuk menguji aplikasi.
  2. Tunggu sekitar satu menit. Di Environment Details > Environment Context, ambil endpoint, ubah protokol dari http ke https (misalnya, https://qwen-livetranslate-flash-realtime-intl.fcv3.xxx.ap-southeast-1.fc.devsapp.net/), lalu buka URL tersebut di browser untuk berinteraksi dengan model.
    Endpoint ini menggunakan sertifikat tanda tangan sendiri dan hanya untuk pengujian sementara. Browser Anda akan menampilkan peringatan keamanan saat kunjungan pertama. Ini adalah perilaku yang diharapkan. Jangan gunakan endpoint ini di lingkungan produksi. Untuk melanjutkan, ikuti instruksi di layar (misalnya, klik Advanced → Proceed to (unsafe)).
Jika Anda diminta mengonfigurasi izin Resource Access Management, ikuti instruksi di layar.
Untuk melihat kode sumber proyek, buka Resource Information > Function Resources.
Baik Function Compute maupun Model Studio menyediakan kuota gratis untuk pengguna baru, cukup untuk debugging dasar. Setelah kuota gratis habis, penagihan bayar sesuai penggunaan berlaku.

Alur interaksi

Tahap interaksi utama dengan qwen3.8-livetranslate-flash-realtime adalah sebagai berikut:
TahapKlienServer
KoneksiURL dan autentikasisession.created
Konfigurasisession.updatesession.updated atau error
Masukaninput_audio_buffer.append terus-menerus; gambar opsionalID pembicara dan transkripsi sumber
PenerimaanGabungkan teks, decode audioDelta; response.done mengakhiri satu respons
AkhirHentikan masukan, kirim session.finish, terus menerimasession.finished; tutup dan selesaikan pemutaran audio
Terjemahan menggunakan model WebSocket berbasis event. Cara menentukan batas ucapan bergantung pada mode VAD atau mode Manual (lihat 3. Input audio dan gambar). Tabel di bawah ini berdasarkan mode VAD (default) dan memberi anotasi event server yang berbeda dalam mode Manual.
Siklus hidupEvent klienServer event
Inisialisasi sesisession.update
Konfigurasi sesi
session.created
Sesi dibuat
session.updated
Konfigurasi sesi diperbarui
Input audio penggunainput_audio_buffer.append
Tambahkan audio ke buffer
input_image_buffer.append
Tambahkan gambar ke buffer
input_audio_buffer.commit
(Hanya mode Manual) Lakukan commit buffer audio
Mode VAD:input_audio_buffer.speech_started
Deteksi awal ucapan
input_audio_buffer.speech_stopped
Deteksi akhir ucapan; server secara otomatis melakukan commit buffer audio
Mode Manual:input_audio_buffer.committed
Dikembalikan setelah klien mengirim input_audio_buffer.commit, mengonfirmasi buffer audio telah di-commit
Output audio serverTidak adaresponse.created
Menandakan server mulai menghasilkan respons.
response.output_item.added
Menandakan item output baru tersedia.
conversation.item.created
Item pesan baru dibuat dalam percakapan.
response.content_part.added
Menandakan bagian konten baru telah ditambahkan ke pesan asisten.
response.text.text
Teks terjemahan inkremental dalam modalitas hanya teks
response.audio_transcript.text
Teks terjemahan inkremental dalam modalitas audio+teks
response.audio.delta
Berisi potongan inkremental audio sintesis.
response.text.done
Teks terjemahan selesai dalam modalitas hanya teks
response.audio_transcript.done
Teks terjemahan selesai dalam modalitas audio+teks
response.audio.done
Menandakan audio sintesis telah selesai.
response.content_part.done
Menandakan bagian konten teks atau audio untuk pesan asisten telah selesai.
response.output_item.done
Menandakan seluruh item output untuk pesan asisten telah selesai.
response.done
Menandakan seluruh respons telah selesai.
Terminasi sesisession.finish
Memberi tahu server bahwa input audio telah selesai
session.finished
Pemrosesan server selesai; sesi berakhir
Setelah mengirim semua audio, kirim event session.finish dan tunggu session.finished sebelum menutup WebSocket. Jika Anda menutup koneksi tanpa mengirim session.finish, server tidak dapat mengetahui bahwa input audio telah berakhir, dan hasil pengenalan serta terjemahan untuk segmen ucapan terakhir akan hilang.

API

Untuk alur akses AOQ dan contoh, lihat Akses AOQ. Untuk pemilihan protokol dan tautan referensi, lihat Referensi API.

Penagihan

Qwen3.8-LiveTranslate-Flash-Realtime / Qwen3.5-LiveTranslate-Flash-Realtime
  • Audio: 7 token per detik audio input; 12,5 token per detik audio output. Jika menggunakan deteksi ucapan di sisi server, durasi audio input dihitung dari audio yang dikirim ke model setelah penyaringan. Bagian hening yang disaring tidak dihitung. Lihat jumlah token audio input yang sebenarnya pada response.usage.input_tokens_details.audio_tokens dalam event response.done.
  • Gambar: Setiap 32×32 piksel mengonsumsi 0,5 token.
Harga: Daftar model. Kloning real time: Pada qwen3.8-livetranslate-flash-realtime maupun qwen3.5-livetranslate-flash-realtime, kloning suara dari audio masukan selama penerjemahan tidak dikenakan biaya kloning tambahan. Panggilan model tetap ditagih berdasarkan penggunaan token. Membuat suara sebelumnya: Gunakan API kloning suara untuk membuat suara terlebih dahulu. Biayanya $0.01 per suara. Permintaan pembuatan yang gagal tidak dikenai biaya. Untuk wilayah, jumlah penggunaan, dan masa berlaku kuota gratis, lihat Penagihan. Terjemahan menggunakan suara yang sudah dibuat tetap ditagih berdasarkan penggunaan Token model.

Batas laju

Untuk informasi tentang batas laju model, lihat Pembatasan laju.

Bahasa yang didukung

Gunakan kode bahasa berikut untuk menentukan bahasa sumber dan target.
Beberapa bahasa target hanya mendukung teks.

Kode bahasa

Bahasa

Output

zh

Tiongkok

Audio + teks

en

Inggris

Audio + teks

ar

Arab

Audio + teks

de

Jerman

Audio + teks

fr

Prancis

Audio + teks

es

Spanyol

Audio + teks

pt

Portugis

Audio + teks

id

Bahasa Indonesia

Audio + teks

it

Italia

Audio + teks

ko

Korea

Audio + teks

ru

Rusia

Audio + teks

th

Thai

Audio + teks

vi

Bahasa Vietnam

Audio + teks

ja

Jepang

Audio + teks

tr

Turki

Audio + teks

hi

Hindi

Audio + teks

ms

Melayu

Audio + teks

nl

Belanda

Audio + teks

ur

Urdu

Audio + teks

nb

Norwegia Bokmål

Audio + teks

sv

Swedia

Audio + teks

da

Denmark

Audio + teks

he

Ibrani

Audio + teks

fi

Finlandia

Audio + teks

pl

Polandia

Audio + teks

is

Islandia

Audio + teks

cs

Ceko

Audio + teks

fil

Filipino

Audio + teks

fa

Persia

Audio + teks

yue

Kanton

Teks

el

Yunani

Teks

af

Afrikaans

Teks

ast

Asturia

Teks

be

Belarusia

Teks

bg

Bahasa Bulgaria

Teks

bn

Bengali

Teks

bs

Bahasa Bosnia

Teks

ca

Katalan

Teks

ceb

Cebuano

Teks

et

Estonia

Teks

gl

Galisia

Teks

gu

Gujarati

Teks

hr

Kroasia

Teks

hu

Hongaria

Teks

jv

Jawa

Teks

kk

Kazakh

Teks

kn

Kannada

Teks

ky

Kirgiz

Teks

lv

Latvia

Teks

mk

Makedonia

Teks

ml

Malayalam

Teks

mr

Marathi

Teks

pa

Punjabi

Teks

ro

Rumania

Teks

sk

Slovak

Teks

sl

Slovenia

Teks

sw

Swahili

Teks

tg

Tajik

Teks

az

Azerbaijan

Teks

uk

Ukraina

Teks

Suara yang didukung

Untuk daftar suara yang didukung dan nilai parameter voice yang sesuai, lihat Daftar suara.

Pertanyaan umum

Apakah ada biaya jika koneksi tetap terbuka tetapi tidak ada yang berbicara?

Menjaga koneksi tetap terbuka tidak dikenai biaya. Jika Anda mengirim audio hening, perhitungannya sebagai input audio bergantung pada mode yang digunakan:
  • Deteksi ucapan di sisi server: Audio hening yang disaring tidak dihitung sebagai input audio.
  • Mode Manual: Audio hening yang Anda komit secara eksplisit dihitung sebagai input audio.
Jumlah token input audio tersedia dalam response.done, pada response → usage → input_tokens_details → audio_tokens. Model ditagih berdasarkan token input dan output. Lihat Penagihan untuk harga dan aturan perhitungannya.

Bagaimana cara bermigrasi dari Gummy ke LiveTranslate?

gummy-realtime-v1 dan qwen3.8-livetranslate-flash-realtime menggunakan protokol berbeda. Selain nama model, ubah kode untuk membuka koneksi, mengirim audio, menerima terjemahan, dan mengakhiri sesi. Contoh SDK Python ini menghasilkan subtitel bahasa Inggris. Gunakan kembali audio PCM mono 16-bit 16 kHz dan ubah empat pemanggilan berikut.

Langkah

Gummy

LiveTranslate

Koneksi dan konfigurasi

TranslationRecognizerRealtime(..., translation_target_languages=["en"])

start()

client.audio.realtime.connect(model="qwen3.8-livetranslate-flash-realtime")

session.update_session(output_modalities=["text"], translation_params={"language": "en"})

Konfigurasikan sesi setelah terhubung. Tunggu session.updated sebelum mengirim audio.

Kirim audio

send_audio_frame(data)

session.append_audio(data)

Tampilkan subtitel

on_event(..., translation_result, ...)

translation_result.get_translation("en").text

session.events()

response.text.delta

Tambahkan isi setiap kolom delta ke subtitel.

Akhiri sesi

stop()

session.end_session()

Terus terima subtitel dan tutup koneksi setelah menerima session.finished.

Instal DashScope 2.0.2. Atur DASHSCOPE_API_KEY ke kunci API Beijing dan DASHSCOPE_WORKSPACE ke ID ruang kerja di wilayah tersebut. Simpan kode sebagai subtitles.py dan jalankan python subtitles.py input.wav dengan berkas WAV PCM mono 16-bit 16 kHz.
import os
import sys
import time
import wave
from concurrent.futures import ThreadPoolExecutor

import dashscope


def send_audio(session, recording):
    while chunk := recording.readframes(1600):
        session.append_audio(chunk)
        time.sleep(len(chunk) / 32000)
    session.end_session()


def translate(path):
    client = dashscope.Client(api_key=os.environ["DASHSCOPE_API_KEY"],
                              workspace=os.environ["DASHSCOPE_WORKSPACE"],
                              region="cn-beijing")
    with wave.open(path, "rb") as recording:
        if (recording.getframerate(), recording.getnchannels(), recording.getsampwidth()) != (16000, 1, 2):
            raise ValueError("Expected a 16 kHz mono 16-bit PCM WAV file")
        with client.audio.realtime.connect(model="qwen3.8-livetranslate-flash-realtime", timeout=30) as session:
            events = session.events()
            for event in events:
                if event["type"] == "session.created":
                    session.update_session(output_modalities=["text"], translation_params={"language": "en"})
                elif event["type"] == "session.updated":
                    break
                elif event["type"] == "error":
                    raise RuntimeError(event["error"])
            else:
                raise RuntimeError("Session closed before configuration completed")

            with ThreadPoolExecutor(max_workers=1) as pool:
                sender = pool.submit(send_audio, session, recording)
                try:
                    for event in events:
                        kind = event["type"]
                        if kind == "response.text.delta":
                            print(event["delta"], end="", flush=True)
                        elif kind == "response.text.done":
                            print(flush=True)
                        elif kind == "response.done" and event["response"]["status"] != "completed":
                            raise RuntimeError(event["response"].get("status_details"))
                        elif kind == "error":
                            raise RuntimeError(event["error"])
                        elif kind == "session.finished":
                            break
                    else:
                        raise RuntimeError("Session closed before session.finished")
                except BaseException:
                    session.close()
                    raise
                sender.result()


if __name__ == "__main__":
    translate(sys.argv[1])
Untuk koneksi WebSocket langsung, lakukan tiga perubahan berikut. Lihat contoh lengkap di Mulai.
  • Alamat: ganti /api-ws/v1/inference dengan /api-ws/v1/realtime?model=qwen3.8-livetranslate-flash-realtime.
  • Audio: ganti frame audio biner dengan peristiwa JSON input_audio_buffer.append. Masukkan PCM yang dienkode dalam Base64 ke kolom audio.
  • Terjemahan: ganti result-generated dengan response.text.delta dan tambahkan setiap delta ke subtitel. Setelah audio terkirim, kirim session.finish dan tunggu session.finished sebelum menutup koneksi.

Bagaimana melanjutkan terjemahan setelah koneksi terputus?

Jika Anda menerima no semantic result after merged audio exceeded 60s dan koneksi WebSocket ditutup, buat sesi baru untuk melanjutkan terjemahan:
  1. Hentikan pengiriman audio ke koneksi lama.
  2. Hubungkan kembali dan kirim session.update untuk memulihkan bahasa target, modalitas output, dan pengaturan lainnya.
  3. Tunggu session.updated, lalu lanjutkan pengiriman audio.
Jika terjadi error parameter dan koneksi tetap terbuka, perbaiki permintaan lalu lanjutkan menggunakan koneksi tersebut. Jika menggunakan dashscope.Client(), lanjutkan juga penerimaan event.