Kloning suara

​

Ikhtisar

• Qwen-Audio-TTS / CosyVoice: Buat suara melalui SDK DashScope atau HTTP API. Mendukung sintesis suara . Tersedia di wilayah Beijing dan Singapura.
• Qwen-Audio-Realtime: Qwen-Audio-Realtime adalah model dialog suara real-time (bukan model sintesis suara). Kloning suara digunakan untuk menyesuaikan suara TTS pada respons model dialog. Buat suara melalui SDK DashScope atau HTTP API. Hanya tersedia di wilayah China (Beijing).
• Qwen-TTS: Buat suara melalui HTTP API. Mendukung sintesis suara real-time dan non-real-time. Tersedia di wilayah Beijing dan Singapura.

​

Prasyarat

1. Konfigurasikan Kunci API dan tetapkan sebagai variabel lingkungan.
2. Jika Anda memanggil API melalui SDK DashScope, instal SDK terbaru.
3. Siapkan file audio: Audio harus memenuhi Persyaratan audio.

​

Memulai dengan cepat

1. Siapkan audio: Siapkan file audio yang memenuhi Persyaratan audio.
2. Buat suara: Panggil API kloning suara untuk mengunggah audio dan membuat suara. Gunakan parameter target_model untuk menentukan model sintesis suara yang akan di-bind.
3. Sintesis suara dengan suara hasil kloning: Panggil API sintesis suara dengan ID suara yang dikembalikan pada langkah sebelumnya.

​

Kloning suara Qwen-Audio-TTS

curl -X POST 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/audio/tts/customization' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "voice-enrollment",
    "input": {
        "action": "create_voice",
        "target_model": "qwen-audio-3.0-tts-flash",
        "prefix": "myvoice",
        "url": "https://your-audio-url.wav"
    }
}'

# coding=utf-8

import dashscope
from dashscope.audio.tts_v2 import *
import os

# Kunci API untuk wilayah Singapura dan Beijing berbeda. Dapatkan Kunci API Anda: https://www.alibabacloud.com/help/zh/model-studio/get-api-key
# Jika variabel lingkungan belum dikonfigurasi, ganti baris berikut dengan Kunci API Studio Model Anda: dashscope.api_key = "sk-xxx"
dashscope.api_key = os.environ.get('DASHSCOPE_API_KEY')

# Berikut adalah konfigurasi untuk wilayah Singapura. Ganti "{WorkspaceId}" dengan ID ruang kerja Anda yang sebenarnya saat memanggil. Konfigurasi bervariasi berdasarkan wilayah.
dashscope.base_websocket_api_url='wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference'

# Kloning suara dan sintesis suara harus menggunakan model yang sama
model = "qwen-audio-3.0-tts-flash"
# Ganti parameter voice dengan suara kustom yang dihasilkan oleh kloning suara
voice = "voice_id"

# Instansiasi SpeechSynthesizer, meneruskan model, voice, dan parameter permintaan lainnya dalam konstruktor
synthesizer = SpeechSynthesizer(model=model, voice=voice)
# Kirim teks untuk sintesis dan dapatkan audio biner
audio = synthesizer.call("What's the weather like today?")
# Pengiriman teks pertama memerlukan pembentukan koneksi WebSocket, sehingga latensi paket pertama mencakup waktu penyiapan koneksi
print('[Metric] requestId: {}, first-packet latency: {} ms'.format(
    synthesizer.get_last_request_id(),
    synthesizer.get_first_package_delay()))

# Simpan audio ke file lokal
with open('output.mp3', 'wb') as f:
    f.write(audio)

​

Kloning suara Qwen-Audio-Realtime

import os
import requests

# Jika tidak ditetapkan sebagai variabel lingkungan, ganti dengan Kunci API Anda: api_key = "sk-xxx"
api_key = os.environ.get('DASHSCOPE_API_KEY')

# Qwen-Audio-Realtime hanya tersedia di wilayah Beijing.
# Ganti {WorkspaceId} dengan ID Ruang Kerja Anda yang sebenarnya (gunakan Kunci API wilayah Beijing).
url = 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/audio/tts/customization'

response = requests.post(
    url,
    headers={
        'Authorization': f'Bearer {api_key}',
        'Content-Type': 'application/json'
    },
    json={
        'model': 'voice-enrollment',
        'input': {
            'action': 'create_voice',
            'target_model': 'qwen-audio-3.0-realtime-plus',
            'prefix': 'myvoice',
            'url': 'https://your-audio-url.wav'
        }
    }
)
result = response.json()
print('voice_id:', result['output']['voice_id'])

curl -X POST 'https://{WorkspaceId}.cn-beijing.maas.aliyuncs.com/api/v1/services/audio/tts/customization' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "voice-enrollment",
    "input": {
        "action": "create_voice",
        "target_model": "qwen-audio-3.0-realtime-plus",
        "prefix": "myvoice",
        "url": "https://your-audio-url.wav"
    }
}'

{"type":"session.update","session":{"voice":"qwen-audio-3.0-realtime-plus-myvoice-xxxxxx"}}

​

Kloning suara CosyVoice

curl -X POST 'https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/audio/tts/customization' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
    "model": "voice-enrollment",
    "input": {
        "action": "create_voice",
        "target_model": "cosyvoice-v3.5-plus",
        "prefix": "myvoice",
        "url": "https://your-audio-url.wav"
    }
}'

# coding=utf-8

import dashscope
from dashscope.audio.tts_v2 import *
import os

# Kunci API untuk wilayah Singapura dan Beijing berbeda. Dapatkan Kunci API Anda: https://www.alibabacloud.com/help/zh/model-studio/get-api-key
# Jika variabel lingkungan belum dikonfigurasi, ganti baris berikut dengan Kunci API Studio Model Anda: dashscope.api_key = "sk-xxx"
dashscope.api_key = os.environ.get('DASHSCOPE_API_KEY')

# Berikut adalah konfigurasi untuk wilayah Singapura. Ganti "{WorkspaceId}" dengan ID ruang kerja Anda yang sebenarnya saat memanggil. Konfigurasi bervariasi berdasarkan wilayah.
dashscope.base_websocket_api_url='wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/inference'

# Kloning suara dan sintesis suara harus menggunakan model yang sama
model = "cosyvoice-v3.5-plus"
# Ganti parameter voice dengan suara kustom yang dihasilkan oleh kloning suara
voice = "voice_id"

# Instansiasi SpeechSynthesizer, meneruskan model, voice, dan parameter permintaan lainnya dalam konstruktor
synthesizer = SpeechSynthesizer(model=model, voice=voice)
# Kirim teks untuk sintesis dan dapatkan audio biner
audio = synthesizer.call("What's the weather like today?")
# Pengiriman teks pertama memerlukan pembentukan koneksi WebSocket, sehingga latensi paket pertama mencakup waktu penyiapan koneksi
print('[Metric] requestId: {}, first-packet latency: {} ms'.format(
    synthesizer.get_last_request_id(),
    synthesizer.get_first_package_delay()))

# Simpan audio ke file lokal
with open('output.mp3', 'wb') as f:
    f.write(audio)

​

Kloning suara Qwen-TTS

import os
import requests
import base64
import pathlib
import dashscope

# ======= Constants =======
DEFAULT_TARGET_MODEL = "qwen3-tts-vc-2026-01-22"  # Kloning suara dan sintesis suara harus menggunakan model yang sama
DEFAULT_PREFERRED_NAME = "guanyu"
DEFAULT_AUDIO_MIME_TYPE = "audio/mpeg"
VOICE_FILE_PATH = "voice.mp3"  # Path relatif ke file audio lokal yang digunakan untuk kloning suara

def create_voice(file_path: str,
                 target_model: str = DEFAULT_TARGET_MODEL,
                 preferred_name: str = DEFAULT_PREFERRED_NAME,
                 audio_mime_type: str = DEFAULT_AUDIO_MIME_TYPE) -> str:
    """
    Buat suara dan kembalikan parameter voice
    """
    # Kunci API untuk wilayah Singapura dan Beijing berbeda. Dapatkan Kunci API Anda: https://www.alibabacloud.com/help/zh/model-studio/get-api-key
    # Jika variabel lingkungan belum dikonfigurasi, ganti baris berikut dengan Kunci API Studio Model Anda: api_key = "sk-xxx"
    api_key = os.getenv("DASHSCOPE_API_KEY")

    file_path_obj = pathlib.Path(file_path)
    if not file_path_obj.exists():
        raise FileNotFoundError(f"File audio tidak ditemukan: {file_path}")

    base64_str = base64.b64encode(file_path_obj.read_bytes()).decode()
    data_uri = f"data:{audio_mime_type};base64,{base64_str}"

    # Berikut adalah konfigurasi untuk wilayah Singapura.
    url = "https://dashscope-intl.aliyuncs.com/api/v1/services/audio/tts/customization"
    payload = {
        "model": "qwen-voice-enrollment", # Jangan ubah nilai ini
        "input": {
            "action": "create",
            "target_model": target_model,
            "preferred_name": preferred_name,
            "audio": {"data": data_uri}
        }
    }
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    }

    resp = requests.post(url, json=payload, headers=headers)
    if resp.status_code != 200:
        raise RuntimeError(f"Gagal membuat suara: {resp.status_code}, {resp.text}")

    try:
        return resp.json()["output"]["voice"]
    except (KeyError, ValueError) as e:
        raise RuntimeError(f"Gagal mengurai respons suara: {e}")

if __name__ == '__main__':
    # Berikut adalah konfigurasi untuk wilayah Singapura.
    dashscope.base_http_api_url = 'https://dashscope-intl.aliyuncs.com/api/v1'

    text = "What's the weather like today?"
    response = dashscope.MultiModalConversation.call(
        model=DEFAULT_TARGET_MODEL,
        api_key=os.getenv("DASHSCOPE_API_KEY"),
        text=text,
        voice=create_voice(VOICE_FILE_PATH), # Ganti parameter voice dengan suara kustom yang dihasilkan oleh kloning suara
        stream=False
    )
    print(response)

curl -X POST 'https://dashscope-intl.aliyuncs.com/api/v1/services/audio/tts/customization' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
    "model": "qwen-voice-enrollment",
    "input": {
        "action": "create",
        "target_model": "qwen3-tts-vc-2026-01-22",
        "preferred_name": "guanyu",
        "audio": {
            "data": "https://xxx.wav"
        }
    }
}'

curl -X POST 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation' \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H 'Content-Type: application/json' \
-d '{
    "model": "qwen3-tts-vc-2026-01-22",
    "input": {
        "text": "What's the weather like today?",
        "voice": "YOUR_VOICE_ID"
    }
}'

​

Persyaratan audio

​

Tips perekaman

​

Perangkat perekaman

​

Lingkungan perekaman

• Rekam di ruang kecil tertutup seluas 10 meter persegi atau kurang.
• Utamakan ruangan dengan material penyerap suara seperti busa akustik, karpet, atau gorden.
• Hindari aula terbuka, ruang konferensi, ruang kelas, dan ruang lain dengan gema tinggi.

• Kebisingan eksternal: Tutup pintu dan jendela untuk menghindari gangguan lalu lintas, konstruksi, dan lainnya.
• Kebisingan internal: Matikan AC, kipas angin, ballast lampu neon, dan peralatan lainnya. Anda dapat merekam suara ambient dengan ponsel dan memutarnya dengan volume tinggi untuk mengidentifikasi sumber kebisingan potensial.

• Gema menyebabkan suara menjadi buram dan mengurangi kejelasan.
• Kurangi pantulan dari permukaan halus: tutup gorden, buka pintu lemari pakaian, dan letakkan pakaian atau selimut di atas meja dan lemari.
• Gunakan benda tidak beraturan (seperti rak buku dan furnitur berlapis kain) untuk menciptakan pantulan difus.

​

Naskah perekaman

• Tidak ada batasan konten khusus. Kami merekomendasikan agar konten disesuaikan dengan kasus penggunaan target Anda.
• Hindari frasa pendek (seperti "halo" atau "ya"). Gunakan kalimat lengkap.
• Pertahankan koherensi semantik dan hindari jeda berulang saat membaca (disarankan minimal 3 detik berkelanjutan tanpa gangguan).
• Pertahankan kecepatan berbicara yang konsisten sepanjang rekaman. Hindari berbicara terlalu cepat di awal atau akhir, yang dapat menyebabkan tersendat selama sintesis.
• Sertakan ekspresi emosional yang sesuai (seperti kehangatan, keramahan, atau keseriusan). Hindari membaca secara mekanis.
• Jangan sertakan konten sensitif (seperti materi politik, pornografi, atau kekerasan). Hal ini akan menyebabkan kloning gagal.

​

Praktik terbaik

1. Pahami naskah terlebih dahulu, tetapkan nada karakter, dan sampaikan secara alami.
2. Pertahankan jarak sekitar 10 cm dari perangkat perekaman untuk menghindari distorsi plosif atau sinyal lemah.

​

Manage custom voices

• Daftar suara: Ambil daftar semua suara kustom di bawah akun saat ini.
• Dapatkan detail suara (Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice saja): Lihat informasi detail tentang suara tertentu, seperti waktu pembuatan dan model sintesis suara yang di-bind.
• Hapus suara: Hapus suara kustom yang tidak lagi diperlukan untuk mengosongkan kuota.

​

Kuota dan penagihan

​

Kuota suara dan pembersihan otomatis

• Batas suara: Setiap akun Alibaba Cloud Model Studio dapat membuat hingga 1.000 suara kustom untuk Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice dan hingga 1.000 untuk Qwen-TTS (kedua kuota dihitung secara independen). Setelah mencapai batas, permintaan pembuatan baru akan gagal dan mengembalikan error. Sistem tidak secara otomatis menghapus suara yang dibuat paling awal. Untuk membuat suara baru, hapus suara yang tidak diperlukan untuk mengosongkan kuota, atau tunggu suara yang tidak digunakan secara otomatis dibersihkan (lihat aturan pembersihan otomatis di bawah).
• Perilaku setelah mencapai batas: Setelah mencapai batas 1.000 suara, panggilan berikutnya ke API pembuatan suara akan mengembalikan error kegagalan. Sistem tidak secara otomatis menghapus suara yang dibuat paling awal untuk memberi ruang. Anda harus secara manual menghapus suara yang tidak diperlukan untuk mengosongkan kuota sebelum dapat terus membuat suara.
• Aturan pembersihan otomatis: Jika suara tidak digunakan untuk permintaan sintesis suara apa pun dalam satu tahun terakhir, sistem akan secara otomatis menghapusnya.

​

Aturan penagihan

• Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice: Pembuatan suara gratis.
• Qwen-TTS: Ditagih sebesar $0,01/suara. Pembuatan yang gagal tidak ditagih. Kuota gratis (hanya tersedia di wilayah Singapura):
  • Dalam 90 hari setelah mengaktifkan Alibaba Cloud Model Studio, Anda dapat membuat hingga 1.000 suara secara gratis.
  • Pembuatan yang gagal tidak mengurangi kuota gratis.
  • Menghapus suara tidak mengembalikan kuota gratis.
  • Setelah kuota gratis habis atau periode 90 hari berakhir, pembuatan suara ditagih sebesar $0,01/suara.

​

Model dan wilayah yang didukung

​

Referensi API

​

FAQ

​

T: Dapatkah saya menggunakan suara yang telah dibuat dengan model sintesis suara yang berbeda?

​

T: Berapa lama masa berlaku suara hasil kloning?

​

T: Apakah kualitas audio yang buruk memengaruhi hasil kloning?