Skip to main content

Événements client Qwen-LiveTranslate-Realtime

Cette rubrique décrit les événements client de l'API de traduction audio et vidéo en temps réel Qwen.

Référence : Traduction audio et vidéo en temps réel - Qwen .
Cette page est la référence des événements de Qwen-LiveTranslate-Realtime. Les définitions d’événements reposent sur la connexion WebSocket. AOQ et WebRTC utilisent leurs canaux de données respectifs pour envoyer et recevoir les événements du modèle, et les pistes de médias pour transmettre les médias. Lisez d’abord Connexion WebSocket, Connexion WebRTC ou Connexion AOQ.
Pour utiliser le SDK WebSocket, consultez SDK Python et SDK Java. Pour sélectionner un modèle et un protocole, consultez Vue d’ensemble.

session.update

Envoyez cet événement après l'établissement d'une connexion WebSocket pour mettre à jour la configuration de session par défaut. Le serveur valide les paramètres et retourne soit une erreur (si invalide), soit la configuration mise à jour (si valide).
typestring(Required)Type d'événement. Définissez cette valeur sur session.update.
  • qwen3.8-livetranslate-flash-realtime
  • qwen3.5-livetranslate-flash-realtime
{
  "type": "session.update",
  "session": {
    "output_modalities": [
      "text",
      "audio"
    ],
    "audio": {
      "input": {
        "format": {
          "type": "pcm",
          "sample_rate": 16000
        },
        "turn_detection": {
          "type": "speaker_detection",
          "threshold": 0.5
        }
      }
    },
    "voice": "default",
    "enable_voice_clone": true,
    "voice_clone_options": {
      "frequency": "once"
    },
    "translation": {
      "language": "en",
      "corpus": {
        "phrases": {
          "intelligence artificielle": "Artificial Intelligence",
          "apprentissage automatique": "Machine Learning"
        }
      }
    }
  }
}
sessionobject(Optional)Configuration de la session.

Properties

output_modalitiesarray (Facultatif)S'applique à qwen3.8-livetranslate-flash-realtime. Modalités de sortie : ["text"] pour le texte seul ou ["text", "audio"] pour le texte et l'audio (par défaut).audioobject (Facultatif)S'applique à qwen3.8-livetranslate-flash-realtime. Configuration audio.
inputobjectConfiguration de l'audio d'entrée.
formatobject (Facultatif)Format de l'audio d'entrée.
typestring (Facultatif)Format audio. Valeurs possibles : pcm (par défaut) et opus.sample_rateinteger (Facultatif)Fréquence d'échantillonnage de l'audio d'entrée, en Hz. La valeur par défaut est 16000.
turn_detectionobject (Facultatif)Configuration de la détection vocale.
typestring (Facultatif)Valeurs possibles : speaker_detection (par défaut, active la séparation des locuteurs en temps réel) et server_vad (détection de l’activité vocale).thresholdnumber (Facultatif)En mode speaker_detection, ce seuil distingue le silence de la parole valide. Les sons inférieurs au seuil sont filtrés et ne sont pas transmis au modèle. La valeur est fixée à 0.5.
modalitiesarray(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Modalités de sortie. Valeurs valides :
  • ["text"] Sortie texte uniquement.
  • ["text","audio"] (Default) Sortie texte et audio.
voicestring(Optional)Voix pour l'audio généré. Lorsque le clonage vocal est désactivé, définissez cette valeur sur une voix prédéfinie du système. Valeurs valides : Voix prises en charge. Valeur par défaut : Tina pour Qwen3.5-LiveTranslate-Flash-Realtime ou Cherry pour Qwen3-LiveTranslate-Flash-Realtime.La voix par défaut de qwen3.8-livetranslate-flash-realtime est Tina.
Lorsque enable_voice_clone est true, la valeur de voice dépend du paramètre frequency. Si frequency est once ou always, définissez-la sur default. Si frequency est never, définissez-la sur l'ID de la voix précédemment clonée. L'utilisation d'une voix prédéfinie du système dans ce cas provoque une erreur serveur.
enable_voice_cloneboolean(Optional)Indique s’il faut activer le clonage de voix. La valeur par défaut est false. Lorsque le clonage est activé, vous pouvez cloner la voix d’entrée en temps réel pendant la traduction ou utiliser une voix clonée à l’avance. Dans ce cas, voice n’utilise plus une voix prédéfinie du système. Définissez-le sur default ou sur l’ID d’une voix clonée à l’avance avec l’API de clonage de voix.voice_clone_optionsobject(Optional)Options de contrôle du clonage vocal. Elles ne prennent effet que lorsque enable_voice_clone est true.

Properties

voice_clone_options.frequencystring(Optional)Fréquence de clonage vocal. Valeurs valides :
  • never Désactive le clonage vocal côté serveur et utilise une voix précédemment clonée. Définissez voice sur votre ID de voix clonée.
  • once Clone la voix une seule fois au début de la session et la réutilise pour toutes les sorties suivantes. Adapté aux scénarios à locuteur unique. Définissez voice sur default.
  • always Reclone la voix en temps réel avant chaque sortie, en s'adaptant dynamiquement à l'audio d'entrée. Adapté aux scénarios multi-locuteurs. Définissez voice sur default.
sample_rateinteger(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Taux d'échantillonnage de l'audio d'entrée, en Hz. Valeurs valides :
  • 8000
  • 16000 (Default)
input_audio_transcriptionobject(facultatif)S’applique à qwen3.5-livetranslate-flash-realtime.Pour qwen3.8-livetranslate-flash-realtime, la reconnaissance vocale (ASR) est toujours activée et ne peut pas être désactivée. Les transcriptions sont gratuites.Configuration de l’audio d’entrée.

Propriétés

modelstring|null(facultatif)Modèle de reconnaissance vocale. La valeur par défaut est qwen3-asr-flash-realtime ; l’ASR est activé par défaut. Le serveur renvoie le résultat de la reconnaissance de l’audio d’entrée, c’est-à-dire le texte original dans la langue source, via les événements conversation.item.input_audio_transcription.text et conversation.item.input_audio_transcription.completed. Pour désactiver l’ASR, définissez explicitement ce paramètre sur null.Valeurs valides : qwen3-asr-flash-realtime (valeur par défaut, active l’ASR) et null (désactive l’ASR).languagestring(facultatif)Langue source de la traduction. Valeurs valides : Langues prises en charge. Si ce paramètre n’est pas défini, le modèle détecte automatiquement la langue source.
input_audio_formatstring(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Format de l'audio d'entrée. Valeurs valides :
  • pcm (Default) Données audio brutes non compressées.
  • opus Codec audio avec perte prenant en charge une faible latence, adapté aux scénarios VoIP.
output_audio_formatstring(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Format de l'audio de sortie. Ce paramètre accepte uniquement la valeur pcm.turn_detectionobject(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Configuration de la détection d'activité vocale (VAD), utilisée pour contrôler la détection du début et de la fin de la parole :
  • Objet de configuration (par défaut) : Active le mode VAD. Le serveur détecte automatiquement le début et la fin de la parole, valide le tampon audio et déclenche les réponses de traduction. Le client n'a pas besoin d'envoyer d'événements input_audio_buffer.commit.
  • null : Active le mode manuel. Le client valide manuellement le tampon audio en envoyant des événements input_audio_buffer.commit. Le serveur commence automatiquement à générer des réponses de traduction dès réception de la validation.

Properties

typestring(Optional)Type de VAD. Définissez cette valeur sur server_vad.thresholdfloat(Optional)Sensibilité de détection VAD. Une valeur plus basse facilite la reconnaissance des sons faibles (y compris le bruit de fond) comme étant de la parole ; une valeur plus élevée nécessite une parole plus claire et plus forte pour déclencher la détection.Plage de valeurs : [-1.0, 1.0]. Valeur par défaut : 0.2.silence_duration_msinteger(Optional)Durée minimale de silence (en millisecondes) requise après la fin de la parole. Une fois cette durée dépassée, le serveur considère que la parole est terminée, valide automatiquement le tampon audio et déclenche une réponse de traduction.Plage de valeurs : [200, 6000]. Valeur par défaut : 1000.
translationobject(Optional)Configuration de la traduction.

Properties

languagestring(Optional)Langue cible pour la traduction. Valeurs valides : Langues prises en charge. Valeur par défaut : en.corpusobject(Optional)Configuration des mots-clés pour améliorer la précision de la traduction de termes spécifiques.

Properties

phrasesobject(Optional)Mappage des mots-clés. La clé correspond au terme dans la langue source et la valeur à sa traduction dans la langue cible.Exemple : {"AI": "Artificial Intelligence"}

input_audio_buffer.append

Pour une connexion WebSocket, ajoute des octets audio au tampon audio d’entrée. Le serveur utilise ce tampon pour détecter la parole et déterminer le moment de sa soumission.
typestring(Required)Type d'événement. Définissez cette valeur sur input_audio_buffer.append.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.append",
    "audio": "xxx"
}
audiostring(Required)Données audio encodées en Base64.

input_audio_buffer.commit

Valide le tampon audio d'entrée. Cet événement ne doit être envoyé qu'en mode manuel (turn_detection défini sur null). En mode VAD, le serveur effectue la validation automatiquement et le client n'a pas besoin d'envoyer cet événement. À la réception de cet événement, le serveur retourne un événement input_audio_buffer.committed comme confirmation et commence automatiquement à générer une réponse de traduction (aucun événement supplémentaire n'est nécessaire pour déclencher la réponse). Si le tampon audio est vide, le serveur retourne un événement d'erreur.
typestring(Required)Type d'événement. Définissez cette valeur sur input_audio_buffer.commit.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.commit"
}

input_audio_buffer.clear

Efface les données audio non validées du tampon audio d'entrée.
typestring(Required)Type d'événement. Définissez cette valeur sur input_audio_buffer.clear.
{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.clear"
}

input_image_buffer.append

Pour une connexion WebSocket, ajoute des données image au tampon d’images. Les images peuvent provenir d’un fichier local ou être capturées en temps réel depuis un flux vidéo. Limites d'entrée d'image :
  • Format d'image : JPG ou JPEG. Résolution recommandée pour des performances optimales : 480p ou 720p (maximum : 1080p).
  • Taille maximale de l'image : 500 Ko (avant encodage Base64).
  • Les données d'image doivent être encodées en Base64.
  • Fréquence maximale : 2 images par seconde.
  • Envoyez au moins un événement input_audio_buffer.append avant d'envoyer input_image_buffer.append.
typestring(Required)Type d'événement. Définissez cette valeur sur input_image_buffer.append.
{
    "event_id": "event_xxx",
    "type": "input_image_buffer.append",
    "image": "xxx"
}
imagestring(Required)Données d'image encodées en Base64.

session.finish

Envoyez cet événement pour terminer la session en cours. Réponses du serveur :
  • Si une parole est détectée : le serveur termine la traduction restante. Si la transcription de l’audio d’entrée est activée, il renvoie la transcription complète dans la langue source via conversation.item.input_audio_transcription.completed. Une fois toute la traduction audio terminée, il envoie session.finished pour indiquer la fin de la session.
  • Si aucune parole n’est détectée : le serveur envoie directement session.finished.
Après réception de session.finished, si une lecture est nécessaire, le client doit terminer la lecture locale de l’audio traduit restant avant de se déconnecter volontairement.
typestring(Required)Type d'événement. Définissez cette valeur sur session.finish.
{
    "event_id": "event_xxx",
    "type": "session.finish"
}