Dokumen ini menjelaskan cara menggunakan SDK Java DashScope untuk memanggil model terjemahan audio dan video realtime (Qwen-LiveTranslate-Realtime).
Prasyarat
- Instal SDK, dan pastikan versi DashScope SDK adalah 2.22.5 atau lebih baru.
- Dapatkan dan konfigurasikan Kunci API.
- Pelajari tentang terjemahan ucapan/audio dan video realtime - Qwen.
Mulai Cepat
Contoh berikut menunjukkan cara merekam audio dari mikrofon secara real time dan melakukan terjemahan.
Contoh kode terjemahan mikrofon real time
Contoh kode terjemahan mikrofon real time
wss://WorkspaceId.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtimewss://WorkspaceId.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtimeParameter permintaan
-
Parameter berikut diatur melalui metode berantai dari
OmniRealtimeParam.Klik untuk melihat contoh kode
Parameter Tipe Wajib Deskripsi modelStringYa Nama model yang akan digunakan. Kami merekomendasikan qwen3.5-livetranslate-flash-realtime.urlStringYa URL layanan terjemahan realtime: - China (Beijing):
wss://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime - Singapura:
wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime
{WorkspaceId}dengan ID ruang kerja Anda yang sebenarnya.apikeyStringTidak Mengatur Kunci API. - China (Beijing):
-
Parameter berikut diatur melalui metode berantai dari
OmniRealtimeConfig.Klik untuk melihat contoh kode
Parameter sesi yang diperluas Beberapa parameter sesi tidak memiliki metode konfigurasi SDK yang sesuai. Anda dapat memasukkannya melaluiParameter
Tipe
Wajib
Deskripsi
modalitiesList<OmniRealtimeModality>Tidak
Modalitas output model.
Nilai default:
[OmniRealtimeModality.AUDIO, OmniRealtimeModality.TEXT].Rentang nilai:
[OmniRealtimeModality.TEXT]: Output hanya teks[OmniRealtimeModality.AUDIO, OmniRealtimeModality.TEXT]: Output teks dan audio
voiceStringYa
Suara dari audio yang dihasilkan.
Nilai default:
Suara default Qwen3.5-LiveTranslate-Flash-Realtime adalah:
Tina
Nilai opsional: Lihat Suara yang didukung.
inputAudioFormatOmniRealtimeAudioFormatTidak
Format audio input.
Nilai default:
OmniRealtimeAudioFormat.PCM_16000HZ_MONO_16BIT.outputAudioFormatOmniRealtimeAudioFormatTidak
Format audio output.
Nilai default:
OmniRealtimeAudioFormat.PCM_24000HZ_MONO_16BIT.InputAudioTranscriptionStringTidak
Model transkripsi audio input. Anda harus mengatur parameter ini jika Anda perlu mengoutput transkripsi ucapan sumber.
Nilai opsional:
qwen3-asr-flash-realtime.translationConfigOmniRealtimeTranslationParamTidak
Konfigurasi terkait terjemahan.
enableTurnDetectionbooleanTidak
Apakah mengaktifkan VAD (Voice Activity Detection).
Nilai default:
true, yaitu mode VAD diaktifkan. Server secara otomatis mendeteksi awal dan akhir ucapan dan secara otomatis memicu terjemahan.Atur ke
falseuntuk beralih ke mode Manual, di mana klien secara manual mengirimkan audio melalui metodecommit(). Untuk deskripsi parameter terperinci, lihat objek turn_detection (Opsional) Konfigurasi Voice Activity Detection (VAD), digunakan untuk mengontrol cara awal dan akhir ucapan dideteksi: Diatur ke objek konfigurasi (default): mode VAD diaktifkan. Server secara otomatis mendeteksi awal dan akhir ucapan, secara otomatis melakukan commit buffer audio, dan memicu respons terjemahan. Klien tidak perlu mengirim event input_audio_buffer.commit. Diatur ke null: mode Manual diaktifkan. Klien secara manual melakukan commit buffer audio melalui event input_audio_buffer.commit, dan server secara otomatis mulai menghasilkan respons terjemahan setelah menerimanya. Properti type string (Opsional) Tipe VAD, tetap sebagai server_vad. threshold float (Opsional) Sensitivitas deteksi VAD. Nilai lebih rendah membuat suara samar (termasuk kebisingan latar belakang) lebih mudah dikenali sebagai ucapan; nilai lebih tinggi memerlukan ucapan yang lebih jelas dan keras untuk memicu. Rentang nilai: [-1.0, 1.0], nilai default 0.2. silence_duration_ms integer (Opsional) Durasi minimum keheningan (dalam milidetik) yang harus dipertahankan setelah ucapan berakhir. Setelah durasi ini, ucapan dianggap telah berakhir, dan server secara otomatis melakukan commit buffer audio dan memicu respons terjemahan. Rentang nilai: [200, 6000], nilai default 1000..OmniRealtimeConfig.builder().parameters(Map). Kunci dalam Map ditulis langsung kesession. Misalnya, untuk mengaktifkan kloning suara real-time, pertama konstruksikan parameter berikut:Pada rantai builder konfigurasi yang ada, atur suara ke.voice("default")dan tambahkan.parameters(parameters). Pertahankan pengaturan bahasa dan audio asli, dan panggilconversation.updateSession(config)setelah membangun. Untuk pasangan frekuensi kloning dan suara, lihat Kloning Suara. -
Parameter berikut diatur melalui metode berantai dari OmniRealtimeTranslationParam.
Klik untuk melihat contoh kode
Parameter
Tipe
Wajib
Deskripsi
languageStringTidak
Kode bahasa target untuk terjemahan.
Nilai default:
en.Nilai opsional: Lihat Bahasa yang didukung.
corpusOmniRealtimeTranslationParam.CorpusTidak
Konfigurasi hotword, digunakan untuk meningkatkan akurasi terjemahan istilah tertentu.
corpus.phrasesMap<String, Object>Tidak
Tabel pemetaan hotword. Kunci adalah istilah dalam bahasa sumber, dan nilainya adalah terjemahan yang sesuai dalam bahasa target.
Contoh:
{"artificial intelligence": "Artificial Intelligence"}
Referensi API
Kelas OmniRealtimeConversation
OmniRealtimeConversation diimpor melalui import com.alibaba.dashscope.audio.omni.OmniRealtimeConversation;.
| Signature metode | Peristiwa respons server (dikirim melalui callback) | Deskripsi |
|---|---|---|
| Tidak ada | Konstruktor. | |
Peristiwa serverSesi dibuatPeristiwa server Konfigurasi sesi diperbarui | Membangun koneksi dengan server. | |
Peristiwa serverKonfigurasi sesi diperbarui | Digunakan untuk memperbarui konfigurasi sesi. Disarankan untuk memanggil metode ini terlebih dahulu untuk menerapkan pengaturan setelah koneksi dibangun. Jika metode ini tidak dipanggil, sistem akan menggunakan konfigurasi default. Hanya parameter yang terlibat dalam OmniRealtimeConfig yang perlu dipertimbangkan. | |
| Tidak ada | Menambahkan potongan data audio berenkode Base64 ke buffer audio input di cloud. Server secara otomatis mendeteksi awal dan akhir ucapan dan memicu terjemahan. | |
input_audio_buffer.committedBuffer audio input dikomit | Dalam mode Manual, mengkomit audio yang sebelumnya ditambahkan ke buffer cloud melalui metode appendAudio; begitu server menerimanya, server secara otomatis mulai menghasilkan respons terjemahan. Dalam mode VAD, metode ini tidak perlu dipanggil, karena server melakukan komit secara otomatis. | |
input_audio_buffer.clearedBuffer audio input dihapus | Menghapus data audio dalam buffer cloud saat ini yang belum dikomit. | |
session.finishedServer menyelesaikan terjemahan ucapan dan mengakhiri sesi | Memberi tahu server untuk mengakhiri sesi. Setelah menerima pemberitahuan akhir sesi, server akan menyelesaikan terjemahan ucapan terakhir. | |
| Tidak ada | Menghentikan tugas dan menutup koneksi. | |
| Tidak ada | Mendapatkan session_id dari tugas saat ini. | |
| Tidak ada | Mendapatkan response_id dari respons terbaru. | |
| Tidak ada | Mendapatkan latensi teks pertama dari respons terbaru (dalam milidetik). | |
| Tidak ada | Mendapatkan latensi audio pertama dari respons terbaru (dalam milidetik). |
Antarmuka callback (OmniRealtimeCallback)
Server mengembalikan peristiwa dan data respons server ke klien melalui callback.
Perluas kelas ini dan implementasikan metode yang sesuai untuk menangani peristiwa server.
Impor melalui import com.alibaba.dashscope.audio.omni.OmniRealtimeCallback;.
| Signature metode | Parameter | Deskripsi |
|---|---|---|
| Tidak ada | Dipicu saat koneksi WebSocket berhasil dibangun. | |
| message: Peristiwa server | Dipicu saat peristiwa server diterima. | |
| code: Kode Statusreason: Informasi log yang dicatat saat koneksi WebSocket ditutup | Dipicu saat koneksi WebSocket ditutup. |