Skip to main content

Clonage de voix

Téléversez un enregistrement pour créer une voix, puis utilisez-la dans des conversations Qwen-Omni ou Qwen-Omni-Realtime. Ce guide présente les langues prises en charge, les exigences audio, les étapes de clonage, la facturation et la gestion des voix.

Pour les paramètres de requête, les réponses et les erreurs, consultez la Référence de l’API de clonage de voix.
Ce document présente les API de clonage de voix pour Qwen-Omni et Qwen-Omni-Realtime. Pour les modèles de synthèse vocale, consultez le Guide du clonage de voix.
Des domaines propres à chaque espace de travail sont disponibles dans la région Singapour. Ils améliorent les performances et la stabilité de l’inférence. Nous recommandons de migrer vers ces domaines :
  • Singapour : passez de https://dashscope-intl.aliyuncs.com à https://WorkspaceId.ap-southeast-1.maas.aliyuncs.com
Trouvez votre WorkspaceId sur la page Workspace Details de la console Alibaba Cloud Model Studio. L’ancien domaine fonctionne toujours.

Exigences audio

La qualité de l’enregistrement influence le résultat du clonage. Les voix système et le clonage de voix prennent en charge des dialectes différents. Le tableau ci-dessous présente les langues et dialectes pour le clonage de voix. Pour les voix système, consultez la liste des voix.

Élément

Exigence

Formats pris en charge

WAV (16-bit), MP3, M4A

Durée

Durée recommandée : 10 à 20 secondes. Maximum: 60 secondes.

Taille du fichier

< 10 MB

Fréquence d’échantillonnage

>= 24 kHz

Canaux

Mono

Contenu

L’audio doit contenir au moins 3 secondes de parole continue et claire, sans sons de fond. Le reste peut inclure de courtes pauses (<=2 secondes). Évitez la musique de fond, le bruit et les autres voix pendant tout l’audio. Utilisez une parole normale en entrée. Ne téléversez pas de chansons ou d’audio chanté.

Langues

chinois (zh), anglais (en), allemand (de), italien (it), portugais (pt), espagnol (es), japonais (ja), coréen (ko), français (fr), russe (ru), thaï (th), indonésien (id), arabe (ar), tchèque (cs), danois (da), néerlandais (nl), finnois (fi), hébreu (he), hindi (hi), islandais (is), malais (ms), norvégien (no), persan (fa), polonais (pl), suédois (sv), tagalog (tl), turc (tr), ourdou (ur), vietnamien (vi)

Dialectes chinois: Dongbei, Shannxi, Sichuan, Henan, Changsha, Tianjin, Hangzhou, Liaoning, Shenyang, Anshan

Démarrage rapide

image

1. Déroulement

Créez une voix, puis utilisez-la dans un appel au modèle :
  1. Créer une voix Appelez l’API Créer une voix et téléversez un extrait audio. Le système analyse l’audio et crée une voix clonée personnalisée. Vous devez définir target_model à cette étape pour indiquer le modèle omni qui utilisera la voix. Si vous avez déjà une voix, vous pouvez ignorer cette étape et passer à la suivante. Appelez l’API Lister les voix pour afficher les voix existantes.
  2. Utiliser la voix dans une conversation Appelez l’API Omni en temps réel ou hors temps réel avec la voix créée. Le modèle Omni doit correspondre à target_model.

2. Configuration des modèles et prérequis

Sélectionnez les modèles, puis remplissez les prérequis.

Configuration des modèles

Le clonage de voix nécessite deux modèles :
  • Modèle de clonage de voix : qwen-voice-enrollment
  • Modèle Omni qui utilise la voix :
    • qwen3.8-omni-flash-realtime
    • qwen3.5-omni-plus-realtime
    • qwen3.5-omni-flash-realtime
    • qwen3.5-omni-plus
    • qwen3.5-omni-flash

Prérequis

  1. Obtenir une API Key : Obtenir une API Key. Pour la sécurité, configurez l’API Key comme variable d’environnement.
  2. Installer le SDK : Installer le dernier SDK DashScope.
  3. Préparer l’audio pour le clonage : l’audio doit satisfaire les Exigences audio.

3. Exemple complet

Cet exemple clone une voix et l’utilise dans une conversation. Principe essentiel : le target_model défini pendant le clonage doit correspondre au modèle de l’appel suivant à l’API Omni. Sinon, la synthèse échoue. Remplacez le fichier d’exemple voice.mp3 par votre propre audio.
  • Temps réel
  • Non-realtime
S’applique aux modèles Qwen-Omni-Realtime. Consultez Qwen-Omni-Realtime.
Python
# Requirements: dashscope >= 1.26.5, pyaudio
import os
import requests
import base64
import pathlib
import time
import pyaudio
from dashscope.audio.qwen_omni import MultiModality, OmniRealtimeCallback, OmniRealtimeConversation
import dashscope
# Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
dashscope.base_http_api_url = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1"

# ======= Configuration =======
DEFAULT_TARGET_MODEL = "qwen3.8-omni-flash-realtime"  # Must be the same model for cloning and conversation
DEFAULT_PREFERRED_NAME = "guanyu"
DEFAULT_AUDIO_MIME_TYPE = "audio/mpeg"
VOICE_FILE_PATH = "voice.mp3"  # Path to the local audio file for voice cloning

def create_voice(file_path: str,
                 target_model: str = DEFAULT_TARGET_MODEL,
                 preferred_name: str = DEFAULT_PREFERRED_NAME,
                 audio_mime_type: str = DEFAULT_AUDIO_MIME_TYPE) -> str:
    """
    Create a custom voice and return the voice parameter.
    """
    # API keys differ between the Singapore and Beijing regions. Get an API key: https://www.alibabacloud.com/help/model-studio/get-api-key
    # If you haven't set an environment variable, replace the following line with: api_key = "sk-xxx"
    api_key = os.getenv("DASHSCOPE_API_KEY")

    file_path_obj = pathlib.Path(file_path)
    if not file_path_obj.exists():
        raise FileNotFoundError(f"Audio file not found: {file_path}")

    base64_str = base64.b64encode(file_path_obj.read_bytes()).decode()
    data_uri = f"data:{audio_mime_type};base64,{base64_str}"

    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    url = "https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api/v1/services/audio/tts/customization"
    payload = {
        "model": "qwen-voice-enrollment",
        "parameters": {"voice_clone_mode": "normal"},
        "input": {
            "action": "create",
            "target_model": target_model,
            "preferred_name": preferred_name,
            "audio": {"data": data_uri}
        }
    }
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    }

    resp = requests.post(url, json=payload, headers=headers)
    if resp.status_code != 200:
        raise RuntimeError(f"Failed to create voice: {resp.status_code}, {resp.text}")

    try:
        return resp.json()["output"]["voice"]
    except (KeyError, ValueError) as e:
        raise RuntimeError(f"Failed to parse voice response: {e}")

class SimpleCallback(OmniRealtimeCallback):
    def __init__(self, pya):
        self.pya = pya
        self.out = None
    def on_open(self):
        self.out = self.pya.open(
            format=pyaudio.paInt16,
            channels=1,
            rate=24000,
            output=True
        )
    def on_event(self, response):
        if response['type'] == 'response.audio.delta':
            self.out.write(base64.b64decode(response['delta']))
        elif response['type'] == 'conversation.item.input_audio_transcription.completed':
            print(f"[User] {response['transcript']}")
        elif response['type'] == 'response.audio_transcript.done':
            print(f"[LLM] {response['transcript']}")

if __name__ == '__main__':
    # If you haven't set an environment variable, replace the following line with: dashscope.api_key = "sk-xxx"
    dashscope.api_key = os.getenv("DASHSCOPE_API_KEY")
    # Région Singapour. Saisissez l’ID de votre espace de travail dans l’exemple. Les URL varient selon la région.
    url = "wss://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtime"

    # Step 1: Clone a voice
    voice = create_voice(VOICE_FILE_PATH)
    print(f"Voice cloning complete. Voice: {voice}")

    # Step 2: Start a real-time conversation with the cloned voice
    pya = pyaudio.PyAudio()
    callback = SimpleCallback(pya)
    conv = OmniRealtimeConversation(model=DEFAULT_TARGET_MODEL, callback=callback, url=url)
    conv.connect()
    conv.update_session(
        output_modalities=[MultiModality.AUDIO, MultiModality.TEXT],
        voice=voice  # Use the cloned voice
    )
    mic = pya.open(format=pyaudio.paInt16, channels=1, rate=16000, input=True)
    print("Conversation started. Speak into your microphone (Ctrl+C to exit)...")
    try:
        while True:
            audio_data = mic.read(3200, exception_on_overflow=False)
            conv.append_audio(base64.b64encode(audio_data).decode())
            time.sleep(0.01)
    except KeyboardInterrupt:
        conv.close()
        mic.close()
        callback.out.close()
        pya.terminate()
        print("\nConversation ended")

Quota de voix et nettoyage automatique

Limite totale : 1,000 voix par compte.
Cette API ne fournit pas de point de terminaison pour compter les voix. Appelez l’API Lister les voix pour compter vos voix.
Nettoyage automatique : les voix inutilisées pendant un an sont supprimées automatiquement.

Facturation

Le clonage de voix et les appels au modèle sont facturés séparément :
  • Clonage de voix : Créer une voix coûte $0.01 par voix. Les demandes de création échouées ne sont pas facturées.
    Quota gratuit, uniquement dans la région Pékin du site Chine et la région Singapour du site international :
    • 1,000 créations de voix gratuites dans les 90 jours suivant l’activation de Model Studio.
    • Les créations échouées ne consomment pas le quota gratuit.
    • La suppression d’une voix ne rétablit pas le quota gratuit.
    • Après épuisement du quota gratuit ou expiration de la période de 90 jours, la création de voix est facturée $0.01/voix.
  • Les conversations avec une voix clonée sont facturées selon la consommation de tokens du modèle. Consultez Tarification de l’inférence des modèles.

Droits d’auteur et conformité juridique

Vous êtes responsable de la propriété et de l’utilisation légale de la voix fournie. Lisez le Contrat de service.

Guide d’enregistrement

Matériel d’enregistrement

Utilisez un microphone avec réduction du bruit, ou enregistrez avec un téléphone à courte distance dans un environnement calme.

Environnement d’enregistrement

Lieu

  • Enregistrez dans un petit espace fermé de 10 mètres carrés ou moins.
  • Choisissez une pièce avec des matériaux absorbants, tels que mousse acoustique, tapis ou rideaux.
  • Évitez les grands halls ouverts, les salles de conférence et les salles de classe où la réverbération est élevée.

Réduction du bruit

  • Bruits extérieurs : fermez les portes et fenêtres pour bloquer la circulation, les travaux et les autres sons extérieurs.
  • Bruits intérieurs : éteignez les climatiseurs, les ventilateurs et les ballasts des lampes fluorescentes.
  • Enregistrez le son ambiant avec votre téléphone, puis écoutez-le à volume élevé pour identifier les sources de bruit cachées.

Réduction de la réverbération

  • La réverbération étouffe le son et réduit sa clarté.
  • Réduisez les réflexions sur les surfaces lisses : fermez les rideaux, ouvrez les portes des armoires et couvrez les bureaux et étagères avec des vêtements ou des couvertures.
  • Utilisez des objets irréguliers, comme des bibliothèques et des meubles rembourrés, pour diffuser les réflexions.

Préparation du texte

  • Adaptez le texte au cas d’utilisation cible. Par exemple, utilisez un dialogue de service client pour un scénario de service client.
  • Assurez-vous que le texte ne contient pas de contenu sensible ou illégal, tel que du contenu politique, pornographique ou violent, car cela entraîne l’échec du clonage.
  • Évitez les expressions courtes, telles que "hello" ou "yes". Utilisez des phrases complètes.
  • Conservez une cohérence sémantique et évitez les pauses fréquentes pendant la lecture. Il est recommandé de parler au moins 3 secondes consécutives sans interruption.
  • Vous pouvez adopter l’émotion cible, par exemple amicale ou sérieuse. Gardez un ton naturel et évitez une interprétation exagérée.

Étapes recommandées

Prenons une chambre à coucher classique comme exemple :
  1. Fermez les portes et fenêtres pour bloquer les bruits extérieurs.
  2. Éteignez les climatiseurs, ventilateurs et autres appareils.
  3. Fermez les rideaux pour réduire les réflexions sur les vitres.
  4. Couvrez le bureau avec des vêtements ou une couverture pour réduire les réflexions sur sa surface.
  5. Répétez le texte, choisissez le ton du personnage et parlez naturellement.
  6. Gardez environ 10 cm entre vous et l’appareil d’enregistrement pour éviter la distorsion des consonnes plosives ou un signal trop faible.