Cette rubrique décrit les événements client de l'API de traduction audio et vidéo en temps réel Qwen.
Référence : Traduction audio et vidéo en temps réel - Qwen .
Cette page est la référence des événements de Qwen-LiveTranslate-Realtime. Les définitions d’événements reposent sur la connexion WebSocket. AOQ et WebRTC utilisent leurs canaux de données respectifs pour envoyer et recevoir les événements du modèle, et les pistes de médias pour transmettre les médias. Lisez d’abord Connexion WebSocket, Connexion WebRTC ou Connexion AOQ.
session.update
Envoyez cet événement après l'établissement d'une connexion WebSocket pour mettre à jour la configuration de session par défaut. Le serveur valide les paramètres et retourne soit une erreur (si invalide), soit la configuration mise à jour (si valide).
typestring(Required)Type d'événement. Définissez cette valeur sur session.update. |
|
sessionobject(Optional)Configuration de la session.
Properties output_modalities array (Facultatif)S'applique à qwen3.8-livetranslate-flash-realtime. Modalités de sortie : ["text"] pour le texte seul ou ["text", "audio"] pour le texte et l'audio (par défaut).audioobject (Facultatif)S'applique à qwen3.8-livetranslate-flash-realtime. Configuration audio.
Propriétés input objectConfiguration de l'audio d'entrée.
Propriétés format object (Facultatif)Format de l'audio d'entrée.
Propriétés type string (Facultatif)Format audio. Valeurs possibles : pcm (par défaut) et opus.sample_rateinteger (Facultatif)Fréquence d'échantillonnage de l'audio d'entrée, en Hz. La valeur par défaut est 16000.object (Facultatif)Configuration de la détection vocale.
Propriétés type string (Facultatif)Valeurs possibles : speaker_detection (par défaut, active la séparation des locuteurs en temps réel) et server_vad (détection de l’activité vocale).thresholdnumber (Facultatif)En mode speaker_detection, ce seuil distingue le silence de la parole valide. Les sons inférieurs au seuil sont filtrés et ne sont pas transmis au modèle. La valeur est fixée à 0.5.array(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Modalités de sortie. Valeurs valides :
string(Optional)Voix pour l'audio généré. Lorsque le clonage vocal est désactivé, définissez cette valeur sur une voix prédéfinie du système. Valeurs valides : Voix prises en charge. Valeur par défaut : Tina pour Qwen3.5-LiveTranslate-Flash-Realtime ou Cherry pour Qwen3-LiveTranslate-Flash-Realtime.La voix par défaut de qwen3.8-livetranslate-flash-realtime est Tina.Lorsqueenable_voice_clone boolean(Optional)Indique s’il faut activer le clonage de voix. La valeur par défaut est false. Lorsque le clonage est activé, vous pouvez cloner la voix d’entrée en temps réel pendant la traduction ou utiliser une voix clonée à l’avance. Dans ce cas, voice n’utilise plus une voix prédéfinie du système. Définissez-le sur default ou sur l’ID d’une voix clonée à l’avance avec l’API de clonage de voix.voice_clone_optionsobject(Optional)Options de contrôle du clonage vocal. Elles ne prennent effet que lorsque enable_voice_clone est true.
Properties voice_clone_options.frequency string(Optional)Fréquence de clonage vocal. Valeurs valides :
integer(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Taux d'échantillonnage de l'audio d'entrée, en Hz. Valeurs valides :
object(facultatif)S’applique à qwen3.5-livetranslate-flash-realtime.Pour qwen3.8-livetranslate-flash-realtime, la reconnaissance vocale (ASR) est toujours activée et ne peut pas être désactivée. Les transcriptions sont gratuites.Configuration de l’audio d’entrée.
Propriétés model string|null(facultatif)Modèle de reconnaissance vocale. La valeur par défaut est qwen3-asr-flash-realtime ; l’ASR est activé par défaut. Le serveur renvoie le résultat de la reconnaissance de l’audio d’entrée, c’est-à-dire le texte original dans la langue source, via les événements conversation.item.input_audio_transcription.text et conversation.item.input_audio_transcription.completed. Pour désactiver l’ASR, définissez explicitement ce paramètre sur null.Valeurs valides : qwen3-asr-flash-realtime (valeur par défaut, active l’ASR) et null (désactive l’ASR).languagestring(facultatif)Langue source de la traduction. Valeurs valides : Langues prises en charge. Si ce paramètre n’est pas défini, le modèle détecte automatiquement la langue source.string(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Format de l'audio d'entrée. Valeurs valides :
string(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Format de l'audio de sortie. Ce paramètre accepte uniquement la valeur pcm.turn_detectionobject(Optional)S'applique à qwen3.5-livetranslate-flash-realtime.Configuration de la détection d'activité vocale (VAD), utilisée pour contrôler la détection du début et de la fin de la parole :
Properties type string(Optional)Type de VAD. Définissez cette valeur sur server_vad.thresholdfloat(Optional)Sensibilité de détection VAD. Une valeur plus basse facilite la reconnaissance des sons faibles (y compris le bruit de fond) comme étant de la parole ; une valeur plus élevée nécessite une parole plus claire et plus forte pour déclencher la détection.Plage de valeurs : [-1.0, 1.0]. Valeur par défaut : 0.2.silence_duration_msinteger(Optional)Durée minimale de silence (en millisecondes) requise après la fin de la parole. Une fois cette durée dépassée, le serveur considère que la parole est terminée, valide automatiquement le tampon audio et déclenche une réponse de traduction.Plage de valeurs : [200, 6000]. Valeur par défaut : 1000.object(Optional)Configuration de la traduction.
Properties language string(Optional)Langue cible pour la traduction. Valeurs valides : Langues prises en charge. Valeur par défaut : en.corpusobject(Optional)Configuration des mots-clés pour améliorer la précision de la traduction de termes spécifiques.
Properties phrases object(Optional)Mappage des mots-clés. La clé correspond au terme dans la langue source et la valeur à sa traduction dans la langue cible.Exemple : {"AI": "Artificial Intelligence"} |
input_audio_buffer.append
Pour une connexion WebSocket, ajoute des octets audio au tampon audio d’entrée. Le serveur utilise ce tampon pour détecter la parole et déterminer le moment de sa soumission.
typestring(Required)Type d'événement. Définissez cette valeur sur input_audio_buffer.append. | |
audiostring(Required)Données audio encodées en Base64. |
input_audio_buffer.commit
Valide le tampon audio d'entrée. Cet événement ne doit être envoyé qu'en mode manuel (turn_detection défini sur null). En mode VAD, le serveur effectue la validation automatiquement et le client n'a pas besoin d'envoyer cet événement.
À la réception de cet événement, le serveur retourne un événement input_audio_buffer.committed comme confirmation et commence automatiquement à générer une réponse de traduction (aucun événement supplémentaire n'est nécessaire pour déclencher la réponse). Si le tampon audio est vide, le serveur retourne un événement d'erreur.
typestring(Required)Type d'événement. Définissez cette valeur sur input_audio_buffer.commit. |
input_audio_buffer.clear
Efface les données audio non validées du tampon audio d'entrée.
typestring(Required)Type d'événement. Définissez cette valeur sur input_audio_buffer.clear. |
input_image_buffer.append
Pour une connexion WebSocket, ajoute des données image au tampon d’images. Les images peuvent provenir d’un fichier local ou être capturées en temps réel depuis un flux vidéo.
Limites d'entrée d'image :
- Format d'image : JPG ou JPEG. Résolution recommandée pour des performances optimales : 480p ou 720p (maximum : 1080p).
- Taille maximale de l'image : 500 Ko (avant encodage Base64).
- Les données d'image doivent être encodées en Base64.
- Fréquence maximale : 2 images par seconde.
- Envoyez au moins un événement input_audio_buffer.append avant d'envoyer input_image_buffer.append.
typestring(Required)Type d'événement. Définissez cette valeur sur input_image_buffer.append. | |
imagestring(Required)Données d'image encodées en Base64. |
session.finish
Envoyez cet événement pour terminer la session en cours. Réponses du serveur :
- Si une parole est détectée : le serveur termine la traduction restante. Si la transcription de l’audio d’entrée est activée, il renvoie la transcription complète dans la langue source via conversation.item.input_audio_transcription.completed. Une fois toute la traduction audio terminée, il envoie session.finished pour indiquer la fin de la session.
- Si aucune parole n’est détectée : le serveur envoie directement session.finished.
session.finished, si une lecture est nécessaire, le client doit terminer la lecture locale de l’audio traduit restant avant de se déconnecter volontairement.
typestring(Required)Type d'événement. Définissez cette valeur sur session.finish. |