Skip to main content

Akses AOQ CosyVoice

Bagian ini menjelaskan autentikasi, konfigurasi media, pembuatan koneksi, dan penanganan peristiwa tugas untuk mengakses CosyVoice melalui AOQ.

Saat mengakses CosyVoice melalui AOQ, klien mengirim teks dan peristiwa tugas melalui track Data serta menerima ucapan yang disintesis melalui track Audio.

Prasyarat

  • Pilih model yang mendukung AOQ. Untuk detail dukungan, lihat Cakupan dukungan model dan protokol.
  • Konfigurasikan dan gunakan API Key di AppServer bisnis dengan region dan ruang kerja yang sesuai.
  • Impor AOQ SDK untuk platform Anda dari Unduhan SDK. Contoh berikut menggunakan Android Java dan transmisi Opus, jadi impor juga plugin Opus. Sintesis teks ke ucapan tidak memerlukan izin mikrofon atau kamera.

1. Memperoleh kredensial koneksi

Untuk mengambil token lebih awal atau memahami seluruh alur otentikasi, lihat detail otentikasi koneksi.
Atur variabel lingkungan DASHSCOPE_API_KEY pada AppServer dan ganti {endpoint} dengan domain akses region dan ruang kerja yang dipilih. CosyVoice menggunakan jalur koneksi Inference. Contoh berikut menggunakan cosyvoice-v3-plus.
curl -X POST \
  "https://{endpoint}/api/v1/webrtc/inference?model=cosyvoice-v3-plus" \
  -H "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
  -H "Content-Type: application/json" \
  -H "x-dashscope-rtc-transport: moq" \
  -d '{}'
Jika menggunakan Token Plan, WorkspaceId pada domain akses ditetapkan ke token-plan. clientIp dalam isi permintaan bersifat opsional. Isi dengan alamat IP publik klien yang sebenarnya agar gateway dapat memilih titik akses Relay. Jika kosong, gateway menggunakan IP sumber permintaan. API Key hanya disimpan di AppServer. AppServer mengembalikan parameter koneksi pada tabel berikut ke klien. sidExpiresInSecs dalam respons menunjukkan masa berlaku sesi dalam detik.
Bidang respons gatewayBidang AoqConnectConfig
aoqTokenForClienttoken
sidsid
clientRelayCertFingerprintcertFingerprint
clientRelayEndpointsrelayEndpoints, konversi endpoint, port, dan route_index per item
extraInfo.workspaceIdHashworkspaceIdHash

2. Menginisialisasi SDK dan membuat koneksi

Gunakan AoqCreateConfig untuk mengatur direktori kerja SDK, panggil AoqClientEngine.createEngine untuk membuat engine, lalu daftarkan callback. Tangani status koneksi dalam onConnectionStatusChange, parse peristiwa model dalam onDataMsg, dan tangani error SDK dalam onError. SDK Android menyediakan dokumentasi antarmuka lengkap untuk inisialisasi engine dan bidang koneksi. Setelah mengisi kredensial dari AppServer ke connectConfig, publikasikan track Data dan berlangganan track Audio serta Data. Contoh ini mengonfigurasi dekode Opus mono 24 kHz dan memulai pemutar. Format output model ditentukan oleh peristiwa tugas, sedangkan konfigurasi dekode SDK digunakan untuk transmisi track media.
AoqClientEngine.AoqAudioCodecConfig codec = new AoqClientEngine.AoqAudioCodecConfig();
codec.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
codec.codecType = AoqClientEngine.AoqEncoderType.AoqEncoderTypeAudioOpus;
codec.sampleRate = 24000;
codec.channel = 1;
engine.setAudioDecoderConfig(codec);

AoqClientEngine.AoqTrackParam audio = new AoqClientEngine.AoqTrackParam();
audio.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeAudio;
connectConfig.subscribeTracks.add(audio);
AoqClientEngine.AoqTrackParam publishData = new AoqClientEngine.AoqTrackParam();
publishData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.publishTracks.add(publishData);
AoqClientEngine.AoqTrackParam subscribeData = new AoqClientEngine.AoqTrackParam();
subscribeData.trackType = AoqClientEngine.AoqTrackType.AoqTrackTypeData;
connectConfig.subscribeTracks.add(subscribeData);

AoqClientEngine.AoqAudioPlaybackConfig playback = new AoqClientEngine.AoqAudioPlaybackConfig();
playback.channel = 1;
playback.isDefaultSpeaker = true;
engine.startAudioPlayer(playback);
engine.connect(connectConfig);
Tunggu onConnectionStatusChange mengembalikan AoqConnectionStatusConnected sebelum memulai tugas. Jika terjadi masalah koneksi, hapus status tugas lokal. Membuat ulang koneksi memerlukan kredensial koneksi baru.

3. Memulai tugas sintesis dan memproses peristiwa

Serialisasikan JSON berikut ke UTF-8, tulis ke AoqDataMsg.data, lalu kirim melalui track Data menggunakan sendDataMsg. Setiap tugas menghasilkan task_id baru dan semua peristiwa dalam putaran ini menggunakan nilai yang sama. Gunakan suara yang sesuai dengan model pilihan.
{
  "header": {
    "action": "run-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "task_group": "audio",
    "task": "tts",
    "function": "SpeechSynthesizer",
    "model": "cosyvoice-v3-plus",
    "parameters": {
      "text_type": "PlainText",
      "voice": "longanyang",
      "format": "pcm",
      "sample_rate": 24000
    },
    "input": {}
  }
}
Baca header.event dalam onDataMsg. Setelah menerima task-started, kirim satu atau beberapa continue-task untuk mengirim teks.
{
  "header": {
    "action": "continue-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "input": {
      "text": "欢迎使用阿里云百炼。"
    }
  }
}
SDK menerima dan memutar ucapan dari track Audio. result-generated adalah peristiwa tugas pada track Data, sedangkan audio dikirim melalui track Audio. Setelah menerima task-failed, baca header.error_code dan header.error_message, lalu akhiri tugas saat ini. Untuk detail parameter tugas dan bidang peristiwa, lihat Peristiwa klien dan Peristiwa server.

4. Mengakhiri tugas dan melepas sumber daya

Setelah semua teks dikirim, kirim finish-task. Pertahankan koneksi dan tunggu server menyintesis teks yang tersisa serta mengembalikan task-finished.
{
  "header": {
    "action": "finish-task",
    "task_id": "0706c14c-dc16-4e45-8cb6-9d00686e8e19",
    "streaming": "duplex"
  },
  "payload": {
    "input": {}
  }
}
Saat koneksi tidak lagi diperlukan, tunggu audio yang telah diterima selesai diputar, lalu panggil stopAudioPlayer, disconnect, dan AoqClientEngine.destroy secara berurutan untuk melepas sumber daya.

Dokumentasi terkait