Skip to main content

Terjemahan ucapan waktu nyata dengan qwen3.8-livetranslate-flash-realtime melalui AOQ

Tutorial ini menggunakan Android untuk menunjukkan cara mengintegrasikan SDK Klien AOQ dengan qwen3.8-livetranslate-flash-realtime guna terjemahan ucapan waktu nyata. Platform lain menggunakan alur integrasi dan penanganan kejadian model yang serupa dengan metode SDK masing-masing. Semua contoh sisi klien di bawah ini menggunakan Java.

Untuk kemampuan model, lihat Terjemahan ucapan serta audio/video realtime. Untuk peran media dan peristiwa model, lihat Akses AOQ.

Unduh SDK

Untuk SDK Klien AOQ dan plugin audio Opus, lihat Unduh SDK. Contoh transmisi audio dalam tutorial ini menggunakan Opus, sehingga Anda juga harus mengimpor plugin tersebut untuk platform Anda. Untuk wilayah yang didukung, bahasa, harga, dan batas laju, lihat Terjemahan ucapan serta audio/video waktu nyata.

Impor SDK

  • Android
  • iOS
  • HarmonyOS
Tempatkan AoqClientSdk-release.aar di app/libs/. Tempatkan libPluginOpus.so di app/libs/armeabi-v7a/ dan app/libs/arm64-v8a/, sesuai dengan ABI.Nyatakan dependensi dalam app/build.gradle:
android {
    defaultConfig {
        minSdk 21
        ndk { abiFilters 'armeabi-v7a', 'arm64-v8a' }
    }
    sourceSets { main { jniLibs.srcDirs = ['libs'] } }
}

dependencies {
    implementation fileTree(dir: 'libs', include: ['*.aar'])
}
Jika proyek induk sudah berisi pustaka native dengan nama yang sama, periksa versi dan dependensinya sebelum mengemasnya untuk menghindari penyertaan versi berbeda dari pustaka yang sama.Nyatakan izin dalam AndroidManifest.xml:
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
Minta izin RECORD_AUDIO secara runtime dan peroleh otorisasi pengguna. Terjemahan hanya berbasis ucapan tidak memerlukan izin kamera. Nyatakan dan minta izin CAMERA hanya ketika Anda mengaktifkan peningkatan visual.Contoh Java menggunakan impor berikut:
import com.alibaba.aoq.clientsdk.AoqClientEngine;
import com.alibaba.aoq.clientsdk.AoqClientEngine.*;
import com.alibaba.aoq.clientsdk.AoqClientListener;
import java.nio.charset.StandardCharsets;
import java.util.HashMap;
import java.util.Map;
import org.json.JSONException;
import org.json.JSONObject;

Peroleh token melalui AppServer Anda

Jangan menyimpan kunci API Model Studio di sisi klien. AppServer Anda menggunakan kunci API untuk wilayah dan ruang kerja yang sesuai guna meminta kredensial sementara untuk setiap koneksi terjemahan. AppServer kemudian mengembalikan kredensial tersebut melalui HTTPS ke klien yang telah melewati autentikasi aplikasi Anda. Siapkan AppServer dengan mengikuti langkah autentikasi AOQ untuk Qwen-LiveTranslate-Realtime. Terjemahan realtime menggunakan protokol Realtime. Tentukan yang berikut saat meminta kredensial:
model=qwen3.8-livetranslate-flash-realtime
Jalankan perintah berikut hanya di AppServer Anda. Atur BAILIAN_ENDPOINT ke titik akhir ruang kerja Anda: {WorkspaceId}.cn-beijing.maas.aliyuncs.com atau {WorkspaceId}.ap-southeast-1.maas.aliyuncs.com. Baca DASHSCOPE_API_KEY dari variabel lingkungan sisi server atau layanan manajemen rahasia.
curl --fail-with-body --request POST \
  "https://${BAILIAN_ENDPOINT}/api/v1/webrtc/realtime?model=qwen3.8-livetranslate-flash-realtime" \
  --header "Content-Type: application/json" \
  --header "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
  --header "x-dashscope-rtc-transport: moq" \
  --data '{}'
Jika AppServer Anda dapat memperoleh alamat IP publik aktual klien dari rantai proxy tepercaya, sertakan clientIp dalam badan permintaan untuk penjadwalan titik akses. Petakan bidang respons ke AoqConnectConfig di sisi klien:
Bidang respons gatewayBidang SDKDeskripsi
aoqTokenForClienttokenToken sementara untuk koneksi ini
sidsidPengidentifikasi sesi ini
clientRelayCertFingerprintcertFingerprintGunakan sidik jari sertifikat persis seperti yang dikembalikan
clientRelayEndpointsrelayEndpointsKonversikan daftar titik akses lengkap ke struktur SDK
extraInfo.workspaceIdHashworkspaceIdHashGunakan nilai yang dikembalikan. Jika tidak tersedia, ikuti persyaratan SDK

Implementasikan terjemahan ucapan waktu nyata

Alur interaksi

AOQ real-time speech translation sequence

Buat engine dan tetapkan callback

Panggil createEngine untuk membuat engine dan mendaftarkan callback untuk status koneksi, pesan Data, dan kesalahan. Aplikasi Anda harus mempertahankan objek engine dan listener sepanjang sesi.
// 配置引擎工作目录。
AoqCreateConfig createConfig = new AoqCreateConfig();
createConfig.workDir = appCtx.getFilesDir().getAbsolutePath();
// 创建引擎并注册事件监听对象。
engine = AoqClientEngine.createEngine(appCtx, createConfig, listener);
Implementasikan AoqClientListener untuk menerima kejadian koneksi, pesan model, dan perangkat media, lalu teruskan saat membuat engine.
AoqClientListener listener = new AoqClientListener() {
    // 接收音频采集与播放设备状态。
    @Override
    public void onAudioDeviceStateChanged(AoqAudioDeviceState state) {

    }

    // 接收耳机、蓝牙及扬声器等音频路由变化。
    @Override
    public void onAudioDeviceRouteChanged(int routeType) {
        android.util.Log.i("LiveTranslate", "音频路由: " + AoqAudioDeviceRouteType.fromValue(routeType));
    }

    // 接收音频设备中断及中断结束通知。
    @Override
    public void onAudioDeviceInterrupted(boolean interrupt) {
        android.util.Log.i("LiveTranslate", "音频设备中断: " + interrupt);
    }

    // 接收 Android 音频焦点变化。
    @Override
    public void onAudioDeviceFocusChanged(int audioFocus) {
        android.util.Log.i("LiveTranslate", "音频焦点: " + audioFocus);
    }

    // 接收 SDK 异步错误。
    @Override
    public void onError(int code, String message) {
        android.util.Log.e("LiveTranslate", "SDK 错误: " + code + ", " + message);
    }
};

Mulai penangkapan dan pemutaran audio

Setelah memperoleh izin mikrofon, siapkan penangkapan dan pemutaran audio. Nonaktifkan transmisi audio sebelum memulai penangkapan untuk mencegah engine mengirimkan media secara otomatis setelah terhubung. Memulai penangkapan tidak berarti model siap menerima audio. Minta pengguna berbicara hanya setelah menerima session.updated dan berhasil mengaktifkan transmisi. Tutorial ini tidak mengimplementasikan penyanggaan audio sebelum koneksi.
// 关闭音频上行,等待模型配置确认。
engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, false);

AoqAudioCaptureConfig audioCaptureConfig = new AoqAudioCaptureConfig();
audioCaptureConfig.channel = 1;
audioCaptureConfig.isExternal = false;
// 启动 SDK 内置麦克风采集。
engine.startAudioCapture(audioCaptureConfig);

AoqAudioPlaybackConfig audioPlaybackConfig = new AoqAudioPlaybackConfig();
audioPlaybackConfig.channel = 1;
audioPlaybackConfig.isExternal = false;
// 启动 SDK 内置播放器,播放下行译音。
engine.startAudioPlayer(audioPlaybackConfig);

Konfigurasikan codec dan bangun koneksi

Skenario utama memerlukan track berikut:
ArahTrackTujuan
PublikasiAudioKirim ucapan ke model
PublikasiDataKirim konfigurasi sesi dan kejadian penyelesaian
BerlanggananAudioTerima ucapan hasil terjemahan
BerlanggananDataTerima teks sumber, teks hasil terjemahan, dan kejadian status
Konfigurasikan audio upstream dan downstream secara terpisah. Contoh berikut menggunakan Opus, 16 kHz, dan audio mono untuk transmisi.
AoqAudioCodecConfig audioEncoderConfig = new AoqAudioCodecConfig();
audioEncoderConfig.codecType = AoqEncoderType.AoqEncoderTypeAudioOpus;
audioEncoderConfig.sampleRate = 16000;
audioEncoderConfig.channel = 1;
// 设置上行音频编码参数。
engine.setAudioEncoderConfig(audioEncoderConfig);

AoqAudioCodecConfig audioDecoderConfig = new AoqAudioCodecConfig();
audioDecoderConfig.codecType = AoqEncoderType.AoqEncoderTypeAudioOpus;
audioDecoderConfig.sampleRate = 16000;
audioDecoderConfig.channel = 1;
// 设置下行音频解码参数。
engine.setAudioDecoderConfig(audioDecoderConfig);

AoqTrackParam audioTrackParam = new AoqTrackParam();
audioTrackParam.trackType = AoqTrackType.AoqTrackTypeAudio;
AoqTrackParam dataTrackParam = new AoqTrackParam();
dataTrackParam.trackType = AoqTrackType.AoqTrackTypeData;
// 发布音频和 Data 轨,发送语音及模型事件。
connectConfig.publishTracks.add(audioTrackParam);
connectConfig.publishTracks.add(dataTrackParam);
// 订阅音频和 Data 轨,接收译音及字幕事件。
connectConfig.subscribeTracks.add(audioTrackParam);
connectConfig.subscribeTracks.add(dataTrackParam);

// 发起 AOQ 连接,连接结果通过 onConnectionStatusChange 返回。
engine.connect(connectConfig);
Nilai balik sukses dari connect berarti panggilan diterima. Tunggu onConnectionStatusChange melaporkan koneksi berhasil sebelum mengirim konfigurasi model.

Konfigurasikan sesi terjemahan

Setelah terhubung, kirim kejadian session.update berikut melalui track Data. Konfigurasi ini menggunakan suara bawaan dan tidak mengaktifkan kloning suara:
{
  "type": "session.update",
  "session": {
    "output_modalities": ["text", "audio"],
    "audio": {
      "input": {
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5
        }
      }
    },
    "translation": {
      "language": "en"
    }
  }
}
Untuk alur interaksi, lihat Terjemahan waktu nyata. Untuk semua parameter session.update, lihat Kejadian klien terjemahan waktu nyata. Encode JSON sebagai byte UTF-8 dan kirimkan bersama sendDataMsg.
private static final String SESSION_UPDATE_JSON =
        "{\"type\":\"session.update\",\"session\":{"
        + "\"output_modalities\":[\"text\",\"audio\"],"
        + "\"audio\":{\"input\":{\"turn_detection\":{"
        + "\"type\":\"speaker_detection\",\"threshold\":0.5}}},"
        + "\"translation\":{\"language\":\"en\"}}}";

// 接收 AOQ 连接状态变化。
@Override
public void onConnectionStatusChange(AoqConnectionStatus status) {
    if (status == AoqConnectionStatus.AoqConnectionStatusConnected) {
        AoqDataMsg message = new AoqDataMsg();
        message.data = SESSION_UPDATE_JSON.getBytes(StandardCharsets.UTF_8);
        // 通过 Data 轨发送翻译会话配置。
        engine.sendDataMsg(message);
    }
}

Aktifkan transmisi media setelah menerima session.updated

Uraikan jenis kejadian dalam onDataMsg. Cuplikan berikut mengarahkan kejadian kontrol. Untuk kejadian teks sumber dan teks hasil terjemahan, lihat Kejadian server. Setelah menerima session.finished, atur status penyelesaian aplikasi Anda dan gunakan metode pelepasan yang dijelaskan dalam bagian "Putuskan koneksi dan hancurkan engine" untuk menyelesaikan pembersihan.
// 接收 Data 轨中的模型事件。
@Override
public void onDataMsg(AoqDataMsg message) {
    if (message == null || message.data == null) { return; }
    try {
        JSONObject event = new JSONObject(new String(message.data, StandardCharsets.UTF_8));
        String type = event.optString("type");
        if ("session.updated".equals(type)) {
            // 模型配置生效后,开启音频上行。
            engine.enableSendMediaStream(AoqTrackType.AoqTrackTypeAudio, true);
        } else if ("session.finished".equals(type)) {
            android.util.Log.i("LiveTranslate", "服务端已完成本次翻译处理");
        } else if ("error".equals(type)) {
            android.util.Log.e("LiveTranslate", "翻译模型错误: " + event.optJSONObject("error"));
        }
    } catch (JSONException error) {
        android.util.Log.e("LiveTranslate", "无法解析模型事件", error);
    }
}
Perbedaan AOQ dan WebSocket: Contoh ini mengirim dan menerima audio langsung melalui track Audio. Jangan mengirim input_audio_buffer.append untuk mengunggah audio yang sama lagi, atau menyalin contoh WebSocket lalu memulai pemutar lain saat response.audio.delta diterima. Audio terjemahan ditangani oleh langganan audio SDK dan pemutar. Track Data membawa subtitel dan peristiwa model. Untuk penggunaan media dan track Data, lihat Akses AOQ.

Selesaikan input dan tunggu terjemahan akhir

Ketika pengguna menghentikan terjemahan, ikuti urutan berikut:
  1. Hentikan penangkapan agar tidak ada input baru yang dikirimkan.
  2. Setelah menyelesaikan input, nonaktifkan audio upstream dan kirim session.finish sekali saja. Pertahankan koneksi AOQ, langganan Data, dan pemutaran audio aktif.
  3. Lanjutkan menerima teks sumber akhir, teks hasil terjemahan, dan ucapan hasil terjemahan. Tunggu session.finished.
  4. Putuskan koneksi dan lepaskan sumber daya sesuai kebijakan penyelesaian pemutaran lokal Anda.
Untuk persyaratan pengiriman session.finish, lihat Kejadian klien terjemahan waktu nyata. Untuk bidang dan makna session.finished, lihat Kejadian server terjemahan waktu nyata.
AoqDataMsg message = new AoqDataMsg();
message.data = "{\"type\":\"session.finish\"}".getBytes(StandardCharsets.UTF_8);
// 通知模型输入结束,等待 session.finished。
engine.sendDataMsg(message);

Putuskan koneksi dan hancurkan engine

Setelah session.finished diterima, server telah menyelesaikan pemrosesan sesi ini. Hal ini tidak berarti pembicara lokal telah selesai memutar segmen audio terakhir. Jika aplikasi Anda harus memutar semua ucapan hasil terjemahan, selesaikan pemutaran lokal sebelum menjalankan metode berikut.
// 停止译音播放。
engine.stopAudioPlayer();
// 断开 AOQ 连接。
engine.disconnect();
// 销毁本会话独占的引擎。
AoqClientEngine.destroy();

Dokumentasi terkait