Skip to main content

リアルタイムマルチモーダル

Qwen-Omni-Realtime は、音声と映像を組み合わせたリアルタイム対話に対応します。テキスト、ストリーミング音声、視覚情報を入力でき、テキストと音声を返すことができます。 qwen3.8-omni-flash-realtime、qwen3.5-omni-plus-realtime、qwen3.5-omni-flash-realtime は WebSocket、WebRTC、AOQ をサポートします。旧モデル qwen3-omni-flash-realtime-2025-09-15 の WebSocket リファレンスについては、Python SDKとクライアントイベントを参照してください。

プロトコルの選択

一般的な選び方については、Realtime API の接続方式の選択を参照してください。モデルごとに利用できる入出力とイベントフィールドは、各接続方式とイベントのリファレンスで確認できます。
  • WebSocket で画像や動画から抽出したフレームを送信する場合は、画像イベントを送信する前に音声入力イベントを少なくとも 1 回送信してください。 ブラウザーは WebSocket をネイティブにサポートしています。モデルの認証要件に従い、長期使用の API キーはサーバー側で保管してください。
  • WebRTC では、音声の送受信に音声トラック、映像の送信に映像トラック、モデルイベントの送受信に DataChannel を使用します。発話ターンの区切りは音声区間検出（VAD）による自動検出のみサポートします。
  • AOQ（AI over QUIC） では、クライアント SDK で音声を送受信し、映像を送信します。モデルイベントは独立した Data トラックで送受信します。 クライアント SDK は Android、iOS、HarmonyOS、Windows、macOS、Electron、Linux に対応しています。各プラットフォームのダウンロード先と API リファレンスは、AOQ 接続ガイドを参照してください。
3 つのプロトコルはいずれも Token Plan で使用できます。利用可能なモデルとリージョンは、Token Plan 個人版とチーム版の仕様に従います。

イベントとその他のリファレンス

音声スタイル