Présentation des interfaces clés et des paramètres de requête pour le SDK Java DashScope dédié à Qwen-Omni real-time Qwen-Omni-Realtime .
Pour la connexion et l’authentification, consultez Connexion WebSocket. Pour les champs des événements et les exemples JSON, consultez Événements client et Événements serveur.
La version de votre SDK Java doit être v2.22.15 ou ultérieure. Avant de commencer, consultez le flux d'interaction multimodale en temps réelFlux d'interaction multimodale en temps réel.
Téléchargez l'exemple de code depuis GitHubhttps://github.com/aliyun/alibabacloud-bailian-speech-demo/tree/master/samples/conversation/omni. Trois méthodes d'appel sont disponibles :
Configurez les paramètres de requête suivants à l'aide des méthodes chaînées ou des setters de l'objet
Configurez les paramètres de requête suivants à l'aide des méthodes chaînées ou des setters de l'objet
Importez avec
Le serveur renvoie les événements et les données de réponse via des callbacks. Implémentez les méthodes de callback pour traiter les réponses du serveur.
Importez avec
Prérequis
La version de votre SDK Java doit être v2.22.15 ou ultérieure. Avant de commencer, consultez le flux d'interaction multimodale en temps réelFlux d'interaction multimodale en temps réel.
Démarrage rapide
Téléchargez l'exemple de code depuis GitHubhttps://github.com/aliyun/alibabacloud-bailian-speech-demo/tree/master/samples/conversation/omni. Trois méthodes d'appel sont disponibles :
-
Exemple de conversation audiohttps://github.com/aliyun/alibabacloud-bailian-speech-demo/tree/master/samples/conversation/omni/java : capture l'audio en temps réel depuis un microphone, active le mode Voice Activity Detection (VAD)Qwen-Omni-Realtime qui détecte automatiquement le début et la fin de la parole, et prend en charge l'interruption vocale.
Définissez le paramètre enableTurnDetection sur
true.Utilisez un casque pour la lecture audio afin d'éviter que les échos ne déclenchent une interruption vocale.
-
Exemple de conversation audio et vidéohttps://github.com/aliyun/alibabacloud-bailian-speech-demo/tree/master/samples/conversation/omni/java : capture l'audio et la vidéo en temps réel depuis un microphone et une caméra, active le mode VADQwen-Omni-Realtime et prend en charge l'interruption vocale.
Définissez le paramètre enableTurnDetection sur
true.Utilisez un casque pour la lecture audio afin d'éviter que les échos ne déclenchent une interruption vocale.
-
Appel localhttps://github.com/aliyun/alibabacloud-bailian-speech-demo/tree/master/samples/conversation/omni/java : utilise des fichiers audio et des images locaux comme entrée et active le mode manuelQwen-Omni-Realtime qui vous permet de contrôler manuellement le rythme d'envoi.
Définissez le paramètre enableTurnDetection sur
false.
Paramètres de requête
Configurez les paramètres de requête suivants à l'aide des méthodes chaînées ou des setters de l'objet OmniRealtimeParam, puis transmettez-le au constructeur OmniRealtimeConversation.
| Paramètre | Type | Description |
|---|---|---|
| model | String | Le modèle Qwen-Omni à utiliser. Consultez la liste des modèles. |
| url | String | L'URL de l'endpoint :
{WorkspaceId} par votre ID d'espace de travail réel. |
OmniRealtimeConfig, puis transmettez-le à la méthode updateSession.
| Paramètre | Type | Description |
|---|---|---|
| modalities | List<OmniRealtimeModality> | La modalité de sortie du modèle. Définissez sur [OmniRealtimeModality.TEXT] pour le texte uniquement, ou sur [OmniRealtimeModality.TEXT, OmniRealtimeModality.AUDIO] pour l'audio et le texte. |
| voice | String | La voix utilisée pour la sortie audio. Pour consulter les voix prises en charge, reportez-vous à la liste des voix.Voix par défaut :
|
| inputAudioFormat | OmniRealtimeAudioFormat | Le format de l'audio entrant de l'utilisateur. Actuellement, seul PCM_16000HZ_MONO_16BIT est pris en charge, ce qui représente un flux audio PCM avec un taux d'échantillonnage de 16 kHz. |
| outputAudioFormat | OmniRealtimeAudioFormat | Le format de l'audio sortant du modèle. Actuellement, seul PCM_24000HZ_MONO_16BIT est pris en charge, ce qui représente un flux audio PCM avec un taux d'échantillonnage de 24 kHz. |
| instructions | String | Un message système définissant l'objectif ou le rôle du modèle.Exemple : « Vous êtes un agent de service client IA pour un hôtel cinq étoiles. Répondez aux questions des clients concernant les types de chambres, les équipements, les tarifs et les politiques de réservation avec précision et convivialité. Restez toujours professionnel et utile. Ne fournissez pas d'informations non vérifiées ou hors du périmètre des services de l'hôtel. » Définissez instructions à l'aide de la méthode parameters de l'instance OmniRealtimeConfig : |
| smooth_output | Boolean | Ce paramètre est pris en charge uniquement par qwen3-omni-flash-realtime-2025-09-15.
Définissez |
| enableInputAudioTranscription | Boolean | Active la reconnaissance vocale pour l'audio entrant. |
| InputAudioTranscription | String | Modèle de reconnaissance vocale utilisé pour la transcription de l'audio entrant. La valeur est toujours qwen3-asr-flash-realtime. Ce paramètre n'est pas configurable. |
| enableTurnDetection | Boolean | Active la détection d'activité vocale (VAD). Si cette option est désactivée, vous devez soumettre manuellement l'audio pour générer une réponse. |
| turnDetectionType | String | Le type de VAD. Valeurs valides :
|
| turnDetectionThreshold | Float | Seuil de détection VAD. Augmentez cette valeur dans les environnements bruyants et diminuez-la dans les environnements calmes.
|
| turnDetectionSilenceDurationMs | Integer | Durée de silence indiquant la fin de la parole. Si cette durée est dépassée, le modèle déclenche une réponse. Par défaut : 800. Valeurs valides : [200, 6000]. |
| turnDetectionParam | Map | Paramètres de configuration supplémentaires pour turn_detection. Prend actuellement en charge idle_timeout_ms (Integer) : le délai d'inactivité en millisecondes. S'applique uniquement aux modèlesqwen3,5-omni-plus-realtimeetqwen3,5-omni-flash-realtimeen modeserver_vad. Une fois que le serveur a terminé la lecture audio et que l'utilisateur reste silencieux au-delà de cette durée (aucun événement speech.started déclenché), le modèle génère proactivement une réponse pour inviter l'utilisateur à poursuivre la conversation. Plage valide : [5000, 30000].Exemple : turnDetectionParam(Map.of("idle_timeout_ms", 5000)) |
| enable_search | Boolean | Ce paramètre prend effet uniquement lorsque vous utilisez le modèle de la série Qwen3,5-Omni-Realtime.Active la recherche web. Par défaut : false. Lorsqu'il est activé, le modèle peut effectuer des recherches sur le web pour répondre aux questions en temps réel.Les paramètres L'appel d'outils (tools) et la recherche web (enable_search) sont incompatibles et ne peuvent pas être activés simultanément. |
| search_options | Object | Paramètres des options de recherche web. Ce paramètre prend effet uniquement après l'activation d'enable_search. Vous pouvez définir enable_source (Boolean) sur true pour retourner une liste des sources des résultats de recherche.Définissez |
| tools | List<Map<String, Object>> | Ce paramètre prend effet uniquement lorsque vous utilisez le modèle de la série Qwen3,5-Omni-Realtime.Définitions des outils. Lorsqu'ils sont fournis, le modèle peut appeler des outils externes pour répondre aux questions des utilisateurs. Si un outil est appelé, le modèle ne génère pas d'audio et retourne uniquement les paramètres d'appel de l'outil.Chaque outil est une Map contenant les champs suivants :
Définissez |
| temperature | Float | Température d'échantillonnage contrôlant la diversité du contenu.Des valeurs plus élevées produisent un contenu plus diversifié ; des valeurs plus faibles produisent un contenu plus déterministe.Valeurs valides : [0, 2).Étant donné que temperature et top_p contrôlent tous deux la diversité du contenu, nous vous recommandons de n'en définir qu'un seul.Valeurs par défaut de temperature :
Définissez le paramètre |
| top_p | Float | Seuil de probabilité pour l'échantillonnage par noyau (nucleus sampling), contrôlant la diversité du contenu.Des valeurs plus élevées produisent un contenu plus diversifié ; des valeurs plus faibles produisent un contenu plus déterministe.Valeurs valides : (0, 1,0].Étant donné que temperature et top_p contrôlent tous deux la diversité du contenu, nous vous recommandons de n'en définir qu'un seul.Valeurs par défaut de top_p :
Définissez |
| top_k | Integer | Taille de l'ensemble de candidats pour l'échantillonnage. Par exemple, 50 signifie que seuls les 50 jetons ayant les scores les plus élevés forment l'ensemble de candidats. Des valeurs plus grandes augmentent l'aléatoire ; des valeurs plus petites augmentent le déterminisme. Définissez sur None ou sur une valeur supérieure à 100 pour désactiver top_k et utiliser uniquement top_p.La valeur doit être supérieure ou égale à 0.Valeurs par défaut de top_k :
Définissez |
| max_tokens | Integer | Nombre maximal de jetons à retourner.Le paramètreLes valeurs par défaut et maximales correspondent à la longueur de sortie maximale du modèle. Consultez la liste des modèles pour plus de détails.Utilisez max_tokens pour limiter la longueur de sortie lors de la génération de résumés, de mots-clés, pour contrôler les coûts ou réduire le temps de réponse. Définissez |
| repetition_penalty | Float | Contrôle la répétition dans les séquences générées. Des valeurs plus élevées réduisent la répétition. 1,0 signifie aucune pénalité. Doit être supérieur à 0.Valeurs par défaut de repetition_penalty :
Définissez |
| presence_penalty | Float | Contrôle la répétition du contenu dans la sortie du modèle.Valeurs valides : [-2,0, 2,0]. Les valeurs positives réduisent la répétition ; les valeurs négatives l'augmentent.Valeurs par défaut de presence_penalty :
Définissez |
| seed | Integer | Rend la génération plus déterministe, garantissant des résultats cohérents d'une exécution à l'autre.L'utilisation de la même seed avec des paramètres identiques produit, autant que possible, le même résultat.Valeurs valides : 0 à 231−1. Valeur par défaut : -1.Définissez |
Référence de l’API
Classe OmniRealtimeConversation
Importez avec import com.alibaba.dashscope.audio.omni.OmniRealtimeConversation;.
| Signature de la méthode | Événement de réponse du serveur (envoyé via callback) | Description |
|---|---|---|
Événements serveurSession crééesession.updated Configuration de la session mise à jour | Établit une connexion avec le serveur. | |
session.updatedConfiguration de la session mise à jour | Met à jour la configuration de la session. Pour plus de détails sur les paramètres, consultez la section Paramètres de requête.Après la connexion, le serveur renvoie les configurations de session par défaut. Appelez cette méthode immédiatement après la connexion pour mettre à jour les paramètres.Lorsque le serveur reçoit l'événement session.update, il valide les paramètres. Des paramètres invalides renvoient une erreur ; sinon, le serveur met à jour la configuration de la session. | |
| Aucun | Ajoute de l'audio encodé en Base64 au tampon d'entrée cloud. Le tampon est un stockage temporaire pouvant être écrit et validé ultérieurement.
| |
| Aucun | Ajoute des données d'image encodées en Base64 au tampon vidéo cloud. Accepte des images locales ou des captures de flux vidéo en temps réel.Limites d'entrée d'image :
| |
input_audio_buffer.clearedL'audio reçu par le serveur est effacé | Supprime l'audio présent dans le tampon cloud actuel. | |
input_audio_buffer.committedLe serveur a reçu l'audio validé | Valide l'audio et la vidéo du tampon cloud. Renvoie une erreur si le tampon est vide.
| |
Événements serveurLe serveur commence à générer une réponseresponse.output_item.added Nouveau contenu de sortie disponible dans la réponseÉvénements serveur Un élément de conversation est crééresponse.content_part.added Nouveau contenu de sortie ajouté à l'élément de message de l'assistantresponse.audio_transcript.delta Texte transcrit généré de manière incrémentielleresponse.audio.delta Audio généré de manière incrémentielle par le modèleresponse.audio_transcript.done Transcription du texte terminéeresponse.audio.done Génération audio terminéeresponse.content_part.done Streaming du contenu textuel ou audio pour le message de l'assistant terminéresponse.output_item.done Streaming de l'élément de sortie entier pour le message de l'assistant terminéresponse.done Réponse terminée | Instruit le serveur de créer une réponse du modèle.Lorsque la session est configurée en mode « turn_detection », le serveur crée automatiquement une réponse du modèle. | |
| Aucun | Annule la réponse en cours. Si aucune réponse n'est disponible pour annulation, le serveur renvoie une erreur. | |
| Aucun | Envoie l'événement conversation.item.create au serveur. Dans un scénario d'appel d'outil, cette méthode est utilisée pour renvoyer le résultat de l'exécution de l'outil au serveur.Le paramètre item est un JsonObject et doit contenir les champs suivants :
| |
| Aucun | Arrête la tâche et ferme la connexion. | |
| Aucun | Récupère l'ID de session de la tâche actuelle. | |
| Aucun | Récupère l'ID de réponse de la réponse la plus récente. |
Interface de callback (OmniRealtimeCallback)
Le serveur renvoie les événements et les données de réponse via des callbacks. Implémentez les méthodes de callback pour traiter les réponses du serveur.
Importez avec import com.alibaba.dashscope.audio.omni.OmniRealtimeCallback;.
| Méthode | Paramètre | Valeur de retour | Description |
|---|---|---|---|
| Aucun | Aucun | Appelé immédiatement après l'établissement d'une connexion avec le serveur. | |
| message : l'événement de réponse du serveur. | Aucun | Contient les réponses aux appels d'interface ainsi que le texte et l'audio générés par le modèle. Consultez les événements serveur. | |
| code : le code d'état de fermeture du WebSocket.reason : la raison de la fermeture du WebSocket. | Aucun | Appelé après la fermeture de la connexion avec le serveur. |