Qwen-Omni モデルは、マルチモーダル入力を受け付け、テキストまたは音声で応答を生成します。人間のような音声を生成し、複数の言語や方言での音声出力をサポートします。ユースケースには、コンテンツモデレーション、テキスト作成、視覚認識、音声ビデオインタラクションなどがあります。
サポートリージョン:シンガポール、北京。ご利用のリージョンの API キー を使用してください。
前提条件
Qwen-Omni へのすべてのリクエストは
コスト、速度、品質のバランスをとるために、パラメーター、プロンプト、メディアの長さを構成します。
次の例は、マルチモーダル分析のために 1 つのリクエストで画像と音声を提供する方法を示しています。
各リクエストには、テキストと他の 1 つのモダリティ (動画、音声、または画像) が含まれます。すべての Qwen-Omni モデルがこれをサポートしています。
Qwen3.5-Omni シリーズは、Web 検索をサポートしてリアルタイム情報を取得し、推論を実行します。
Qwen-Omni シリーズでは、Qwen3-Omni-Flash モデルのみがハイブリッド思考モデルです。
Qwen-Omni モデルをマルチターン対話で使用する場合、次の点にご注意ください:
Qwen-Omni モデルは、音声をストリーミング Base64 エンコードデータとして出力します。生成中に、文字列変数を維持し、返された各チャンクからの Base64 エンコードデータを追加します。生成が完了したら、完全な文字列を Base64 デコードして音声ファイルを取得します。または、各チャンクをリアルタイムでデコードして再生することもできます。
入力および出力パラメーターについては、「OpenAI 互換チャット」をご参照ください。
課金ルール
Qwen-Omni は、モダリティ (音声、画像、動画) 全体で消費されたトークンに基づいて課金されます。課金の詳細はコンソールでご確認ください。
無料クォータ
無料クォータの申請、クエリ、または使用については、「新規ユーザー向けの無料クォータ」をご参照ください。
レート制限
レート制限ルールとよくある質問については、「レート制限」をご参照ください。
モデルの呼び出しが失敗し、エラーメッセージが返された場合は、「エラーコード」で解決策をご参照ください。
Qwen-Omni モデルの音声リストについては、「音声リスト」をご参照ください。
クイックスタート
前提条件
- API キーを取得し、API キーを環境変数として設定します。
- Qwen-Omni モデルは OpenAI 互換の呼び出しのみをサポートします。最新の SDK をインストールする必要があります。最小要件バージョンは、OpenAI Python SDK で 1.52.0、Node.js SDK で 4.68.0 です。
応答
応答
Python または Node.js のコードを実行すると、テキスト応答がコンソールに表示され、audio_assistant.wav という名前のオーディオファイルがコードファイルと同じディレクトリに保存されます。HTTP コードを実行すると、テキストと Base64 でエンコードされた音声データが、audio フィールドに直接返されます。モデルの選択
-
Qwen3.5-Omni シリーズ:長編動画分析、会議の要約、字幕生成、コンテンツモデレーション、音声ビデオインタラクションに最適です。
- 入力制限:最大 3 時間の音声または 1 時間の動画
- 音声コントロール:命令による音量、話速、感情の調整をサポート
- 視覚能力:Qwen3.5 のレベルに匹敵します。画像、音声、効果音、その他のマルチモーダル入力を理解します
- 複合マルチモーダル入力:1 つのリクエストで、テキストと画像、音声、動画の任意の組み合わせをサポートします
- 複合マルチモーダル入力は、Qwen3.5-Omni シリーズでのみサポートされています。 1 つのリクエストで、イメージ、オーディオ、テキスト、またはビデオ、イメージ、テキストなど、複数のモダリティを任意に組み合わせてデータを提供できます。
-
Qwen3-Omni-Flash シリーズ:短編動画分析やコストに敏感なシナリオに最適です。
- 入力制限:音声と動画の入力は最大 150 秒
- 思考モード:思考モードをサポートする唯一の Qwen-Omni シリーズモデル
- 入力モダリティ:テキストと他の単一モダリティ (画像、音声、または動画) の組み合わせのみをサポートします。
| シリーズ | 音声・動画の説明 | ディープシンキング | Web 検索 | 入力音声言語 | 出力音声言語 | サポートされている音声 |
| Qwen3.5-Omni最新世代のオムニモーダルモデル | 強力 | 非サポート | サポート | 113
74 の言語と 39 の方言 言語:中国語、英語、ドイツ語、フランス語、イタリア語、チェコ語、インドネシア語、タイ語、韓国語、ポーランド語、日本語、ベトナム語、フィンランド語、ポルトガル語、スペイン語、オランダ語、ロシア語、マレー語、カタルーニャ語、スウェーデン語、トルコ語、ウクライナ語、ルーマニア語、スロバキア語、デンマーク語、アイスランド語、ノルウェー語 (ブークモール)、マケドニア語、ギリシャ語、ハンガリー語、ガリシア語、フィリピン語、クロアチア語、ボスニア語、スロベニア語、ブルガリア語、カザフ語、ベラルーシ語、ラトビア語、エストニア語、アゼルバイジャン語、ウイグル語、スワヒリ語、ヒンディー語、エスペラント語、キルギス語、タジク語、セブアノ語、アフリカーンス語、アラビア語、リトアニア語、ジャワ語、ベンガル語、ペルシャ語、ヘブライ語、パンジャブ語、グジャラート語、モンゴル語、アストゥリアス語、カンナダ語、マラーティー語、インターリングア、マラヤーラム語、マルタ語、ノルウェー語ニーノシュク、テルグ語、ウルドゥー語、グルジア語、バスク語、タミル語、オリヤー語、セルビア語、マオリ語方言: 東北官話、貴州方言、広東語、河南方言、香港広東語、上海語、陝西省方言、天津方言、台湾閩南語、雲南省方言、安徽省方言、福建省方言、甘粛省方言、広東省方言、湖北省方言、湖南省方言、江西省方言、山東省方言、山西省方言、四川省方言、広西チワン族自治区方言、海南語、重慶方言、長沙方言、杭州方言、合肥方言、銀川方言、鄭州方言、瀋陽方言、温州語、武漢方言、昆明方言、太原方言、南昌方言、済南方言、蘭州方言、南京方言、客家語、閩南語 ... (many tags) ... | 36
29 の言語と 7 の方言 言語:中国語、英語、ドイツ語、イタリア語、ポルトガル語、スペイン語、日本語、韓国語、フランス語、ロシア語、タイ語、インドネシア語、アラビア語、ベトナム語、トルコ語、フィンランド語、ポーランド語、ヒンディー語、オランダ語、チェコ語、ウルドゥー語、タガログ語、スウェーデン語、デンマーク語、ヘブライ語、アイスランド語、マレー語、ノルウェー語、ペルシャ語 方言:四川方言、北京方言、天津方言、南京方言、陝西方言、広東語、閩南語 | 55 |
| Qwen3-Omni-Flashハイブリッド思考モデル | 比較的弱い | サポート | 非サポート | 19
11 の言語と 8 の方言 言語:中国語、英語、ドイツ語、フランス語、イタリア語、タイ語、韓国語、日本語、ロシア語、スペイン語、ポルトガル語方言:四川方言、上海語、広東語、閩南語、陝西方言、南京方言、天津方言、北京方言 | 19
11 の言語と 8 の方言 言語:中国語、英語、ドイツ語、フランス語、イタリア語、タイ語、韓国語、日本語、ロシア語、スペイン語、ポルトガル語方言:四川語、上海語、広東語、福建語、陝西方言、南京方言、天津方言、北京方言 | 17~49バージョンによって異なります |
モデル名、コンテキストウィンドウ、価格、スナップショットバージョンについては、Model Studio コンソールでご確認ください。レート制限については、「レート制限」をご参照ください。
モデルのパフォーマンス
音声・動画コンテンツ分析
この動画のタイムスタンプ付きの詳細な説明を生成してください。 | 00:00.000 – 00:02.500雨に濡れた街の通りがワイドスクリーンのフレームいっぱいに広がる。長時間露光撮影により、濡れた舗道に赤と青の車のライトが筋状に伸びている。暗い膝丈のトレンチコートと明るいシャツにネクタイを締めた一人の男が、右側の歩道をカメラに向かって歩いてくる。雨粒が彼の肩と髪に付着している。一歩ごとに、湿ったコンクリートの上でくぐもった音がする。低く不吉な電子音のハミングが環境音の下に響き、絶え間なく降る雨が周囲でパチパチと音を立てる。彼の横のレンガの壁はカラフルなグラフィティで覆われ、遠くにはネオンサインが光っている。1 つはオレンジがかった赤の筆記体で「Nice」とはっきりと表示され、もう 1 つの縦長のサインは下部に「AT」の文字が見える。......00:12.300 – 00:14.533カメラが下に傾く。懐中電灯の光の中で、黄ばんで古びた一枚の紙が浅い水たまりに横たわっており、その端は焦げ、角は丸まっている。インクで書かれた段落がその表面のほとんどを覆っているが、湿気と焦げ跡でテキストは判読不能である。男はひざまずき、手袋をはめた指をドキュメントに向かって伸ばす。彼の手が近づくにつれて、波紋が外側に広がる。サイレンの音がピークに達した後、わずかに遠ざかり始めるが、環境音のハミングは一定のままである。震える紙に触れる直前でシーンはフリーズし、クリップは終了する。一部のタイムスタンプのみ表示されています。 |
多方言理解
異なる中国語の方言を話す歌手の声の特徴、感情状態、および完全な歌詞を記述してください。 | この音声は、中国のさまざまな地域の歌手によるラップパフォーマンスを特集しており、豊かな方言の多様性を示しています。以下は、各歌手の声の特徴、感情状態、および対応する歌詞の詳細な説明です:杭州方言 (呉語)声の特徴:男性歌手の声は柔らかく穏やかで、呉語特有の滑らかさと温かみがあります。彼のイントネーションは穏やかに上下し、リズムは軽快で速く、リラックスした語り口の効果を生み出しています。感情状態:リラックスして快適で、日常生活に満ちています。彼は杭州のゆったりとしたライフスタイルと都市の変化を描写し、故郷への愛情と現代の発展についての考察を表現しています。全体的に、彼は居心地が良く、親しみやすいと感じています。歌詞:> 杭州方言、よく聞いて!私たちの文化には、地元の児化音の発音が含まれています。> 西湖のほとりに咲く花のように、文化調査は必要ありません。私たちが一番よく理解しています。> あなたたちは誰も理解していません。「三不打門」、「哥儿」、「老儿」、「份儿」、「丫儿」...部外者がこれらをどうやって見分けることができるでしょうか?> 行こう!交通は速い。どこにでも地下鉄がある。確認してみよう。> 東南アジアとタイを歓迎し、「十三太」のショーを見る。私たちの街を誇りに思い、性格は率直です。> あなたは「橋渡り」の経験のためだけに来て、味が違うから帰らないのですか?一部の結果のみ表示されています。 |
歌詞字幕生成
歌詞を書き起こし、各行にこのフォーマットでタイムスタンプを付けてください:[00:00:15,020 --> 00:00:28,085] : When you walk through a storm, hold your head up high.[00:00:28,085 --> 00:00:40,200] And don't be afraid of the dark. ...... | [00:00:12,680 --> 00:00:16,960] 猫の糸が木々の月明かりをかすめて揺れる。[00:00:18,400 --> 00:00:22,800] ラジエーターが 1998 年のチャートヒットをハミングする。[00:00:24.160 → 00:00:28.080] 時間が霧のような熱波を分ける。[00:00:28,920 --> 00:00:33,000] 画面からのネオンが私の鼻筋を照らす。......[00:03:16,720 --> 00:03:21,680] 私たちは木の幹の最も柔らかい輪の中に寄り添う。[00:03:22,400 --> 00:03:27,000] 呼吸が残りの暖かさを蜂蜜砂糖に変える。[00:03:28,160 --> 00:03:33,200] ソファが雲のようなふわふわの形に沈む。[00:03:34,000 --> 00:03:38,800] すべての毛穴が太陽の光を吸収する。[00:04:09,000 --> 00:04:10,020] (終了)一部の結果のみ表示されています。 |
音声・動画プログラミング
使用方法
ストリーミング出力
Qwen-Omni へのすべてのリクエストは stream=True をセットする必要があります。
モデル構成
コスト、速度、品質のバランスをとるために、パラメーター、プロンプト、メディアの長さを構成します。
- 音声・動画理解
- 音声理解
| ユースケース | 推奨動画長 | 推奨プロンプト | 推奨 max_pixels |
| 高速レビュー、低コスト | ≤60 分 | 50 ワード以内の簡単なプロンプト | 230,400 |
| コンテンツ抽出 (長編動画のセグメンテーション) | ≤60 分 | 921,600~2,073,600 | |
| 標準分析 (短編動画のタグ付け) | ≤4 分 | 以下の構造化プロンプトを使用してください
推奨プロンプト | 921,600~2,073,600 |
| 詳細な分析 (複数の話者/複雑なシーン) | ≤2 分 | 2,073,600 |
最初に長編動画をセグメント化して、詳細な説明を取得できます。
複合マルチモーダル入力
複合マルチモーダル入力は、Qwen3.5-Omni シリーズでのみサポートされています。画像、音声、テキストの任意の組み合わせ、または動画、画像、テキストなど、複数のモダリティのデータを同じリクエストで提供できます。
- OpenAI 互換
単一モダリティ入力
各リクエストには、テキストと他の 1 つのモダリティ (動画、音声、または画像) が含まれます。すべての Qwen-Omni モデルがこれをサポートしています。
- 動画とテキストの入力
- 音声とテキストの入力
- 画像とテキストの入力
動画を画像リストまたは動画ファイル (音声サポート付き) として提供します。
- 動画ファイル (動画内の音声をサポート)
- 画像リスト形式
-
ファイル数:
- Qwen3.5-Omni シリーズ:パブリック URL を使用して最大 512 ファイル、Base64 エンコーディングを使用して最大 250 ファイル。
- Qwen3-Omni-Flash シリーズ:1 ファイルのみ許可されます。
-
ファイルサイズ:
-
パブリック URL の使用:
- Qwen3.5-Omni シリーズ:最大 2 GB
- Qwen3-Omni-Flash:最大 256 MB
- Base64 エンコーディングの使用:エンコードされた Base64 文字列は 10 MB 未満である必要があります
-
パブリック URL の使用:
-
持続時間制限:
- Qwen3.5-Omni シリーズ:1 時間
- Qwen3-Omni-Flash:150 秒
- ファイル形式:MP4、AVI、MKV、MOV、FLV、WMV。
- 動画ファイル内の視覚情報と音声情報は別々に課金されます。
- OpenAI 互換
動画のデコードエラーへの対処
動画のデコードエラーへの対処
リクエストで
Invalid data found when processing input などの動画デコードエラーが発生した場合は、ローカルでファイルを確認してから再エンコードします。以下のコマンドには、libx264 エンコーダーを備えた FFmpeg が必要です。-
ファイル全体をデコードできるか確認します。
-xerrorはエラー発生時に処理を停止し、-f null -は出力ファイルを作成しません。エラーなく正常終了すれば、このデコードチェックは完了です。 -
映像を H.264、音声を AAC に再エンコードします。元のファイルを残すため、新しいファイルに保存します。
-
新しいファイルを再度チェックします。チェックに通り、長さ、映像、音声に問題がないことを確認したら、再アップロードしてモデルへのリクエストをやり直します。
Web 検索
Qwen3.5-Omni シリーズは、Web 検索をサポートしてリアルタイム情報を取得し、推論を実行します。
- ウェブ検索は Qwen3.5-Omni シリーズでのみサポートされています。
search_strategyパラメーターにはagentのみを指定できます。 - 課金については、課金の
agentポリシーをご参照ください。
enable_search と search_strategy を agent に設定します:
- OpenAI 互換
思考モードの有効化/無効化
Qwen-Omni シリーズでは、Qwen3-Omni-Flash モデルのみがハイブリッド思考モデルです。enable_thinking パラメーターを使用して、思考モードを有効化または無効化できます:
truefalse(デフォルト)
思考モードでは、音声出力はサポートされていません。
- OpenAI 互換
応答
応答
マルチターン対話
Qwen-Omni モデルをマルチターン対話で使用する場合、次の点にご注意ください:
- アシスタントメッセージ messages 配列のアシスタントメッセージには、テキストデータのみを含めることができます。
- ユーザーメッセージ ユーザーメッセージには、テキストと他の 1 つのモダリティを含めることができます。マルチターン対話では、異なるユーザーメッセージで異なるモダリティを入力できます。
- OpenAI 互換
Base64 エンコードされた出力音声データの解析
Qwen-Omni モデルは、音声をストリーミング Base64 エンコードデータとして出力します。生成中に、文字列変数を維持し、返された各チャンクからの Base64 エンコードデータを追加します。生成が完了したら、完全な文字列を Base64 デコードして音声ファイルを取得します。または、各チャンクをリアルタイムでデコードして再生することもできます。
Base64 エンコードされたローカルファイルの入力
Base64 エンコーディングを使用してファイルを送信する場合、エンコードされた Base64 文字列は 10 MB 未満である必要があります。
- 画像
- 音声
- 動画
この例では、ローカルに保存されたファイル eagle.png を使用します。
API リファレンス
入力および出力パラメーターについては、「OpenAI 互換チャット」をご参照ください。
課金とレート制限
課金ルール
Qwen-Omni は、モダリティ (音声、画像、動画) 全体で消費されたトークンに基づいて課金されます。課金の詳細はコンソールでご確認ください。
音声、画像、動画のトークン変換ルール
音声、画像、動画のトークン変換ルール
- 音声
- 画像
- 動画
-
Qwen3.5-Omni シリーズ:- 入力オーディオの数式:
Total tokens = Audio duration (秒) * 7 - 出力音声の数式:
合計トークン = 音声の持続時間 (秒) * 12.5
- 入力オーディオの数式:
-
Qwen3-Omni-Flashでは、入力と出力の両方のオーディオについて、合計トークン = オーディオの持続時間 (秒) * 12.5となります。