Ce document explique comment utiliser le SDK Java DashScope pour appeler le modèle de traduction audio et vidéo en temps réel Qwen-LiveTranslate-Realtime.
Prérequis
- Installez le SDK DashScope version 2.22.5 ou ultérieure.
- Obtenez une clé API.
-
Définissez la clé API comme variable d'environnement :
- Consultez la présentation du modèle Qwen-LiveTranslate pour connaître les langues et voix prises en charge.
Démarrage rapide
Établissez la connexion, envoyez l'audio et recevez le texte traduit :
wss://WorkspaceId.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtimewss://WorkspaceId.ap-southeast-1.maas.aliyuncs.com/api-ws/v1/realtimeParamètres de requête
OmniRealtimeParam
Construisez ces paramètres avec OmniRealtimeParam.builder() pour établir la connexion WebSocket.
Cliquez pour afficher l'exemple de code
Cliquez pour afficher l'exemple de code
Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
|
| Oui | Nom du modèle. Nous recommandons |
|
| Oui | Endpoint WebSocket. Utilisez Remplacez |
|
| Non | Clé API pour l'authentification. Si elle n'est pas définie, configurez-la via la variable d'environnement |
OmniRealtimeConfig
Construisez cette configuration avec OmniRealtimeConfig.builder(), puis appelez conversation.updateSession(config) après la connexion.
Cliquez pour afficher l'exemple de code
Cliquez pour afficher l'exemple de code
Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
|
| Non | Modalités de sortie. Valeur par défaut : |
|
| Non | Voix utilisée pour la synthèse vocale. La voix par défaut pour |
|
| Non | Format audio d'entrée. Valeur par défaut : |
|
| Non | Format audio de sortie. Valeur par défaut : |
|
| Non | Modèle ASR servant à transcrire la parole originale. Définissez-le sur |
|
| Non | Paramètres de traduction. Reportez-vous à la section OmniRealtimeTranslationParam ci-dessous. |
|
| Non | Active ou désactive la détection d'activité vocale (VAD). Valeur par défaut : Définissez ce paramètre sur |
OmniRealtimeConfig.builder().parameters(Map). Les entrées du Map sont écrites directement dans session. Par exemple, préparez ces paramètres pour activer le clonage vocal en temps réel :
.voice("default") et ajoutez .parameters(parameters). Conservez les réglages de langue et d'audio, puis appelez conversation.updateSession(config). Consultez Clonage vocal pour les combinaisons de fréquence et de voix.
OmniRealtimeTranslationParam
Définissez la langue cible et la terminologie personnalisée à l'aide de OmniRealtimeTranslationParam.builder().
Cliquez pour afficher l'exemple de code
Cliquez pour afficher l'exemple de code
Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
|
| Non | Code de la langue cible. Valeur par défaut : |
|
| Non | Terminologie personnalisée pour les termes spécifiques au domaine. |
|
| Non | Mappage des termes : les clés correspondent aux termes sources et les valeurs aux traductions cibles. Exemple : |
Référence de l’API
OmniRealtimeConversation
Gère la connexion WebSocket et le cycle de vie du streaming audio.
Importation : com.alibaba.dashscope.audio.omni.OmniRealtimeConversation
Méthode | Description |
|---|---|
| Crée une instance de conversation avec les paramètres de connexion et un callback d'événements. |
| Ouvre la connexion WebSocket. Déclenche les événements session.created et session.updated. Lève les exceptions |
| Met à jour la configuration de la session après la connexion. Déclenche l'événement session.updated. Ne définissez que les paramètres nécessaires ; les valeurs par défaut s'appliquent aux paramètres omis. |
| Envoie un segment audio encodé en Base64 au serveur. Celui-ci détecte automatiquement les limites de la parole et lance la traduction. |
| En mode manuel, valide l'audio précédemment ajouté au tampon du serveur via la méthode |
| Efface les données audio non validées du tampon serveur. Déclenche l'événement input_audio_buffer.cleared. |
| Termine la session correctement. Le serveur achève la traduction en cours avant d'envoyer l'événement session.finished. Lève l'exception |
| Arrête la tâche et ferme la connexion WebSocket. |
| Retourne l'ID de session. |
| Retourne l'ID de la réponse serveur la plus récente. |
| Retourne le délai d'obtention du premier texte pour la réponse la plus récente (en millisecondes). |
| Retourne le délai d'obtention du premier segment audio pour la réponse la plus récente (en millisecondes). |
OmniRealtimeCallback
Traite les événements serveur transmis via WebSocket. Étendez cette classe et implémentez chaque méthode pour gérer les événements.
Importation : com.alibaba.dashscope.audio.omni.OmniRealtimeCallback
Méthode | Paramètres | Description |
|---|---|---|
| Aucun | Appelée lors de l'établissement de la connexion WebSocket. |
|
| Appelée pour chaque événement serveur. Analysez le champ |
|
| Appelée lors de la fermeture de la connexion WebSocket. |
onEvent :
Type d'événement | Description |
|---|---|
| Le serveur a détecté de la parole dans le flux audio. |
| Le serveur a détecté la fin d'un segment de parole. |
| La transcription dans la langue source est prête. Lisez |
| Le texte traduit est prêt. Lisez |
| Un segment audio traduit est disponible. Lisez |
| Une erreur est survenue. Lisez |
Autres exemples
Cet exemple capture l'audio du microphone, le traduit en temps réel et diffuse la parole traduite via le haut-parleur du système.
Fonctionnement :
- Connexion à Qwen-LiveTranslate via WebSocket.
- Configuration de la traduction espagnol-anglais avec une terminologie personnalisée.
- Streaming de l'audio du microphone par segments de 100 ms.
- Affichage de la transcription originale et du texte traduit.
- Lecture de l'audio traduit sur le haut-parleur.
Exemple de code pour la traduction en temps réel depuis le microphone
Exemple de code pour la traduction en temps réel depuis le microphone
Espace réservé | Description | Exemple |
|---|---|---|
| Clé API Model Studio |
|
Rubriques connexes
- Présentation du modèle Qwen-LiveTranslate -- Langues, voix et capacités prises en charge
- Référence des événements côté serveur -- Types d'événements, schémas JSON et codes d'erreur
- Installer le SDK DashScope -- Installation et configuration des dépendances
- Obtenir une clé API -- Création et gestion