Flutter SDK を使用して Qwen-Audio-Realtime に接続するためのガイドです。Dart の呼び出し順序、リクエストパラメーター、イベントを説明します。
Qwen-Audio-Realtime はリアルタイム音声を受け取り、モデルの応答を返します。セッションの設定に応じて、応答のテキストや音声を受信できます。
モバイル音声 SDK の選択とダウンロードを開き、Flutter タブからパッケージをダウンロードして展開します。
展開した SDK ディレクトリを Flutter プロジェクトの
以下はパッケージに同梱するモデルのサンプルです。その他の設定については、パッケージ内の
次の JSON は、文字列として Dart メソッドに渡します。
次の JSON は、文字列として Dart メソッドに渡します。
URL のクエリパラメーター
戻り値が
前提条件
- 対象プラットフォームの Flutter 開発環境を用意します。サンプルアプリには Dart 3.4 以上、4.0 未満が必要です。
- API キーを取得します。API キーと同じリージョンのサービスエンドポイントを選択します。ワークスペース専用ドメインを使用する場合は、ワークスペース ID も取得します。
SDK のインストール
モバイル音声 SDK の選択とダウンロードを開き、Flutter タブからパッケージをダウンロードして展開します。
展開した SDK ディレクトリを Flutter プロジェクトの packages/aliyun_neonui にコピーし、pubspec.yaml にローカル依存関係を追加します。
flutter pub get を実行し、Dart ファイルで SDK をインポートします。
クイックスタート
サンプルアプリを実行する
-
対象のデバイスを接続し、展開した SDK ディレクトリで次のコマンドを実行します。
- サンプルアプリのホーム画面で 百炼(DashScope) を開き、サービスエンドポイントを選択して API Key を入力します。ワークスペース専用ドメインを使用する場合は、WorkspaceId も入力します。
- Qwen-Audio 实时语音对话 を開き、サンプルを実行します。 録音サンプルを実行するには、マイクへのアクセスを許可してください。
example/lib/pages/dashscope/dash_qwen_audio_chat_page.dart にあります。
同梱サンプルで選択できるモデル
qwen-audio-3.1-realtime-plusqwen-audio-3.0-realtime-plusqwen-audio-3.0-realtime-flash
呼び出し手順
NativeNui() で取得したインスタンスで、以下のメソッドを呼び出します。
リクエストパラメーターの接続用 JSON とタスク用 JSON を、それぞれ initJson と sessionJson に使用します。各呼び出しが成功してから次に進みます。
-
メソッドを呼び出す前に
eventStreamとttsAudioStreamを購読します。 -
接続パラメーターとタスクパラメーターを設定してから、セッションを開始します。
-
セッション開始後、音声を取得して
sendAudioで PCM データを継続的に送信します。同梱の録音サンプルでは、16 kHz、16 ビット、モノラルの PCM を取得します。 iOS では、マイクを起動してからプレーヤーを起動します。プレーヤーがすでに起動している場合は、マイクの起動後にプレーヤーを再起動し、応答音声が再生されるようにします。 -
音声の取得を停止して
dialogStopを呼び出します。最後のイベントを処理した後、nuiReleaseを呼び出し、購読を解除します。
リクエストパラメーター
以下はパッケージに同梱するモデルのサンプルです。その他の設定については、パッケージ内の example/lib/dashscope_params.dart を参照してください。その他のパラメーターについては、Android SDK、iOS SDK、HarmonyOS SDKをご参照ください。
YOUR_WS_HOST を対象リージョンの WebSocket ホスト名、YOUR_DEVICE_ID をデバイス識別子、YOUR_API_KEY をそのリージョンの API キーに置き換えます。
接続パラメーター
次の JSON は、文字列として Dart メソッドに渡します。
タスクパラメーター
次の JSON は、文字列として Dart メソッドに渡します。
model と nls_config.model に同じモデル ID を指定します。この Dart SDK では、modalities と turn_detection を JSON 文字列で設定します。
API リファレンス
メソッド
戻り値が Future<int> のメソッドでは、結果コード 0 が成功を表します。sendAudio の戻り値の型は Future<Object?> です。
| メソッドのシグネチャ | 用途 |
|---|---|
Future<int> nuiInitialize({required String params, int logLevel = 0, bool saveLog = false}) | 接続パラメーターを JSON 文字列で渡して SDK を初期化します。 |
Future<int> dialogSetParams(String params) | 現在のセッションに JSON パラメーターを設定します。 |
Future<int> dialogStart({required int vadMode, String dialogParams = "{}"}) | セッションを開始します。vadMode は発話の区切り方を選択し、dialogParams はセッション固有の JSON 文字列を受け取ります。 |
Future<Object?> sendAudio(Uint8List data) | PCM 音声のチャンクを送信します。 |
Future<int> dialogStop() | 現在の録音セッションを終了し、接続を維持します。 |
Future<int> dialogCancel() | 現在のセッションまたは合成タスクをキャンセルします。 |
Future<int> nuiRelease() | SDK リソースを解放します。 |
Future<int> dialogAction(String actionParams) | ツール呼び出しの結果をセッションに送信します。 |
イベントとオーディオストリーム
eventStream からイベントを受信します。イベントが Dart の Map の場合は、event でイベント名を確認し、resultCode でタスクのエラーを確認します。
ttsAudioStream から音声チャンクを受信し、アプリで再生します。
| イベント | 用途 |
|---|---|
EVENT_ASR_PARTIAL_RESULT | 認識の途中結果 |
EVENT_SENTENCE_END | 現在の文の最終認識結果 |
EVENT_AUDIO_TRANSCRIPTION_COMPLETED | 音声応答の文字起こしが完了 |
EVENT_ASR_TTS_START | 合成または応答の音声出力が開始 |
EVENT_ASR_TTS_COMPLETE | タスクまたは現在の音声出力が完了 |
EVENT_ASR_ERROR | タスクの失敗 |