Skip to main content

Qwen-LiveTranslate-Realtime Java SDK

Dokumen ini menjelaskan cara menggunakan SDK Java DashScope untuk memanggil model terjemahan audio dan video realtime (Qwen-LiveTranslate-Realtime).

Untuk koneksi dan autentikasi, lihat Akses WebSocket; untuk bidang peristiwa dan contoh JSON, lihat peristiwa klien dan peristiwa server.

Prasyarat

  1. Instal SDK, dan pastikan versi DashScope SDK adalah 2.22.5 atau lebih baru.
  2. Dapatkan dan konfigurasikan Kunci API.
  3. Pelajari tentang terjemahan ucapan/audio dan video realtime - Qwen.
Alibaba Cloud Model Studio telah meluncurkan domain khusus ruang kerja untuk wilayah China (Beijing) dan Singapura, yang memberikan performa unggul dan stabilitas lebih tinggi untuk permintaan inferensi. Kami merekomendasikan bermigrasi ke domain baru:
  • Wilayah China (Beijing): bermigrasi dari wss://dashscope.aliyuncs.com ke wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com
  • Wilayah Singapura: bermigrasi dari wss://dashscope-intl.aliyuncs.com ke wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com
Di antaranya, {WorkspaceId} adalah ID ruang kerja Anda, yang dapat dilihat di halaman Detail Ruang Kerja di konsol Alibaba Cloud Model Studio. Domain yang ada tetap tersedia.

Mulai Cepat

Contoh berikut menunjukkan cara merekam audio dari mikrofon secara real time dan melakukan terjemahan.
WebSocketwss://WorkspaceId.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime
WebSocketwss://WorkspaceId.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime

import com.alibaba.dashscope.audio.omni.*;
import com.alibaba.dashscope.exception.NoApiKeyException;
import com.google.gson.JsonObject;

import javax.sound.sampled.*;
import java.util.*;
import java.util.concurrent.atomic.AtomicBoolean;

/**
 * 实时音视频翻译模型麦克风示例
 */
public class Main {
    private static final int INPUT_CHUNK_SIZE = 3200;   // 100ms 的 16kHz 16bit 单声道音频
    private static final int OUTPUT_CHUNK_SIZE = 4800;  // 100ms 的 24kHz 16bit 单声道音频
    private static final AtomicBoolean running = new AtomicBoolean(true);
    private static SourceDataLine speaker;  // 扬声器

    public static void main(String[] args) throws InterruptedException {
        String apiKey = System.getenv("DASHSCOPE_API_KEY");
        if (apiKey == null || apiKey.isEmpty()) {
            System.err.println("请设置环境变量 DASHSCOPE_API_KEY");
            System.exit(1);
        }

        // 创建连接参数
        OmniRealtimeParam param = OmniRealtimeParam.builder()
                .model("qwen3.5-livetranslate-flash-realtime")
                .url("wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime")
                .apikey(apiKey)
                .build();

        // 创建回调处理
        OmniRealtimeCallback callback = new OmniRealtimeCallback() {
            @Override
            public void onOpen() {
                System.out.println("[连接已建立]");
            }

            @Override
            public void onEvent(JsonObject message) {
                String type = message.get("type").getAsString();
                switch (type) {
                    case "input_audio_buffer.speech_started":
                        System.out.println("====== 检测到语音输入 ======");
                        break;
                    case "input_audio_buffer.speech_stopped":
                        System.out.println("====== 语音输入结束 ======");
                        break;
                    case "conversation.item.input_audio_transcription.completed":
                        String originalText = message.get("transcript").getAsString();
                        System.out.println("[原文] " + originalText);
                        break;
                    case "response.audio_transcript.done":
                        String translatedText = message.get("transcript").getAsString();
                        System.out.println("[翻译结果] " + translatedText);
                        break;
                    case "response.audio.delta":
                        // 解码并播放翻译后的音频
                        String audioB64 = message.get("delta").getAsString();
                        byte[] audioBytes = Base64.getDecoder().decode(audioB64);
                        if (speaker != null) {
                            speaker.write(audioBytes, 0, audioBytes.length);
                        }
                        break;
                    case "error":
                        JsonObject error = message.get("error").getAsJsonObject();
                        System.err.println("[错误] " + error.get("message").getAsString());
                        break;
                }
            }

            @Override
            public void onClose(int code, String reason) {
                System.out.println("[连接已关闭] code: " + code + ", reason: " + reason);
            }
        };

        // 创建会话
        OmniRealtimeConversation conversation = new OmniRealtimeConversation(param, callback);

        try {
            // 初始化扬声器(用于播放翻译后的语音)
            AudioFormat speakerFormat = new AudioFormat(24000, 16, 1, true, false);
            DataLine.Info speakerInfo = new DataLine.Info(SourceDataLine.class, speakerFormat);
            speaker = (SourceDataLine) AudioSystem.getLine(speakerInfo);
            speaker.open(speakerFormat, OUTPUT_CHUNK_SIZE * 4);
            speaker.start();

            // 初始化麦克风(用于采集语音输入)
            AudioFormat micFormat = new AudioFormat(16000, 16, 1, true, false);
            DataLine.Info micInfo = new DataLine.Info(TargetDataLine.class, micFormat);
            if (!AudioSystem.isLineSupported(micInfo)) {
                System.err.println("麦克风不可用");
                System.exit(1);
            }
            TargetDataLine microphone = (TargetDataLine) AudioSystem.getLine(micInfo);
            microphone.open(micFormat);
            microphone.start();

            // 连接服务端
            conversation.connect();

            // 配置翻译参数
            Map<String, Object> phrases = new HashMap<>();
            phrases.put("人工智能", "Artificial Intelligence");
            phrases.put("机器学习", "Machine Learning");

            OmniRealtimeConfig config = OmniRealtimeConfig.builder()
                    .modalities(Arrays.asList(OmniRealtimeModality.AUDIO, OmniRealtimeModality.TEXT))
                    .voice("Tina")
                    .inputAudioFormat(OmniRealtimeAudioFormat.PCM_16000HZ_MONO_16BIT)
                    .outputAudioFormat(OmniRealtimeAudioFormat.PCM_24000HZ_MONO_16BIT)
                    .InputAudioTranscription("qwen3-asr-flash-realtime")
                    .translationConfig(OmniRealtimeTranslationParam.builder()
                            .language("en")
                            .corpus(OmniRealtimeTranslationParam.Corpus.builder()
                                    .phrases(phrases)
                                    .build())
                            .build())
                    .build();

            conversation.updateSession(config);

            // 注册退出信号处理
            Runtime.getRuntime().addShutdownHook(new Thread(() -> {
                System.out.println("\n[正在退出...]");
                running.set(false);
                microphone.stop();
                microphone.close();
                speaker.stop();
                speaker.close();
                try {
                    conversation.endSession();
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                }
                conversation.close(1000, "用户停止");
            }));

            System.out.println("[开始实时翻译] 请对着麦克风说话,按 Ctrl+C 退出");

            // 持续采集麦克风音频并发送
            byte[] buffer = new byte[INPUT_CHUNK_SIZE];
            while (running.get()) {
                int bytesRead = microphone.read(buffer, 0, buffer.length);
                if (bytesRead > 0) {
                    conversation.appendAudio(Base64.getEncoder().encodeToString(buffer));
                }
            }

        } catch (NoApiKeyException e) {
            System.err.println("API Key 错误: " + e.getMessage());
        } catch (Exception e) {
            System.err.println("发生异常: " + e.getMessage());
            e.printStackTrace();
        }
    }
}

Parameter permintaan

Referensi API

Kelas OmniRealtimeConversation

OmniRealtimeConversation diimpor melalui import com.alibaba.dashscope.audio.omni.OmniRealtimeConversation;.
Signature metodePeristiwa respons server (dikirim melalui callback)Deskripsi
public OmniRealtimeConversation(OmniRealtimeParam param, OmniRealtimeCallback callback)
Tidak adaKonstruktor.
public void connect() throws NoApiKeyException, InterruptedException
Peristiwa server
Sesi dibuat
Peristiwa server
Konfigurasi sesi diperbarui
Membangun koneksi dengan server.
public void updateSession(OmniRealtimeConfig config)
Peristiwa server
Konfigurasi sesi diperbarui
Digunakan untuk memperbarui konfigurasi sesi. Disarankan untuk memanggil metode ini terlebih dahulu untuk menerapkan pengaturan setelah koneksi dibangun. Jika metode ini tidak dipanggil, sistem akan menggunakan konfigurasi default. Hanya parameter yang terlibat dalam OmniRealtimeConfig yang perlu dipertimbangkan.
public void appendAudio(String audioBase64)
Tidak adaMenambahkan potongan data audio berenkode Base64 ke buffer audio input di cloud. Server secara otomatis mendeteksi awal dan akhir ucapan dan memicu terjemahan.
public void commit()
input_audio_buffer.committed
Buffer audio input dikomit
Dalam mode Manual, mengkomit audio yang sebelumnya ditambahkan ke buffer cloud melalui metode appendAudio; begitu server menerimanya, server secara otomatis mulai menghasilkan respons terjemahan. Dalam mode VAD, metode ini tidak perlu dipanggil, karena server melakukan komit secara otomatis.
public void clearAppendedAudio()
input_audio_buffer.cleared
Buffer audio input dihapus
Menghapus data audio dalam buffer cloud saat ini yang belum dikomit.
public void endSession() throws InterruptedException
session.finished
Server menyelesaikan terjemahan ucapan dan mengakhiri sesi
Memberi tahu server untuk mengakhiri sesi. Setelah menerima pemberitahuan akhir sesi, server akan menyelesaikan terjemahan ucapan terakhir.
public void close(int code, String reason)
Tidak adaMenghentikan tugas dan menutup koneksi.
public String getSessionId()
Tidak adaMendapatkan session_id dari tugas saat ini.
public String getResponseId()
Tidak adaMendapatkan response_id dari respons terbaru.
public long getFirstTextDelay()
Tidak adaMendapatkan latensi teks pertama dari respons terbaru (dalam milidetik).
public long getFirstAudioDelay()
Tidak adaMendapatkan latensi audio pertama dari respons terbaru (dalam milidetik).

Antarmuka callback (OmniRealtimeCallback)

Server mengembalikan peristiwa dan data respons server ke klien melalui callback. Perluas kelas ini dan implementasikan metode yang sesuai untuk menangani peristiwa server. Impor melalui import com.alibaba.dashscope.audio.omni.OmniRealtimeCallback;.
Signature metodeParameterDeskripsi
public void onOpen()
Tidak adaDipicu saat koneksi WebSocket berhasil dibangun.
public abstract void onEvent(JsonObject message)
message: Peristiwa serverDipicu saat peristiwa server diterima.
public abstract void onClose(int code, String reason)
code: Kode Statusreason: Informasi log yang dicatat saat koneksi WebSocket ditutupDipicu saat koneksi WebSocket ditutup.