音声サンプルからカスタム音色を作成し、音声合成やリアルタイム音声対話に使用します。
機能紹介
音声クローニングは、パーソナライズされた音声アシスタント、ブランド専用のアナウンス、カスタム音声コンテンツに適しており、モデルのトレーニングは不要です。
音声サンプルを使用せず、自然言語の説明から音色を作成するには、音色デザインをご参照ください。
事前準備
-
API キーを取得し、環境変数
DASHSCOPE_API_KEYに設定します。 -
ワークスペース ID を取得し、例の
YOUR_WORKSPACE_ID(SDK の例では{WorkspaceId})を実際の値に置き換えます。リージョンとエンドポイントをご参照ください。 -
HTTP の例を使用する場合は、Python の HTTP ライブラリ
requestsをインストールします。 -
Python SDK の例を使用する場合は、DashScope SDK(バージョン 2.0.1 以降)をインストールします。
- 音声の要件を満たす音声ファイルを用意します。Qwen-Audio-TTS、Qwen-Audio-Realtime、CosyVoice では公開 URL または Base64 Data URI を使用できます。MiniMax では引き続き公開 URL を使用します。以下の例ではサンプル音声の URL を使用します。ローカル音声のエンコードとパラメーターの指定方法については、HTTP API をご参照ください。
使用開始
Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice のクローン音色は作成時に
target_model にバインドされ、他のモデルでは使用できません。同じ参照音声を複数のモデルで使用する場合は、モデルごとに音色を作成します。 - Qwen-Audio-TTS / CosyVoice
- Qwen-Audio-Realtime
Qwen-Audio-TTS と CosyVoice は、音色の作成と基本的な音声合成に同じフローを使用します。以下は qwen-audio-3.1-tts-plus の例です。合成音声は
- 音色を作成:参照音声の URL を指定します(HTTP API は Base64 Data URI にも対応し、SDK の例では公開 URL を使用します)。
target_modelに対象モデル、prefixに音色名のプレフィックスを指定します。 - 音声を合成:返された音色 ID を
voiceに渡し、同じ対象モデルを使用して音声を合成し、保存します。
- Python SDK
- HTTP
output.wav に保存されます。表示された音色 ID を保存して、後で再利用できます。- Qwen-Audio-TTS:WebSocket アクセス、AOQ アクセス
- CosyVoice:WebSocket アクセス、AOQ アクセス
- Qwen-Audio-Realtime:WebSocket アクセス、WebRTC アクセス、AOQ アクセス
音声の要件
入力音声の品質は、音色の類似度と自然さに影響します。対象モデルの仕様を満たすサンプルを用意し、以下の録音のヒントを参考に、ノイズ、残響、他の話者の声を減らしてください。
| 項目 | 要件 |
|---|---|
| 形式 | WAV (16-bit)、MP3、M4A |
| 長さ | 10~20 秒を推奨。最大 60 秒。 |
| ファイルサイズ | ≤ 10 MB |
| サンプルレート | ≥ 16 kHz |
| チャンネル | モノラルまたはステレオ。ステレオ音声では最初のチャンネルのみが処理されるため、そのチャンネルに有効な音声を含める必要があります。 |
| 内容 | 少なくとも 5 秒間の連続した明瞭な読み上げを含め、それ以外の無音区間は 2 秒以下にします。BGM、環境ノイズ、他の話者の声を避けてください。通常の速度で話す音声を使用し、歌や歌唱の録音は使用しないでください。 |
| サポートされる言語 |
クリックして CosyVoice モデル別の対応言語を表示
|
クリックして録音と操作に関するヒントを表示
クリックして録音と操作に関するヒントを表示
録音機器 スマートフォン、デジタルボイスレコーダー、またはプロフェッショナル録音デバイスを使用できます。音声要件を満たすために、高いサンプルレート (24 kHz 以上) での録音をサポートするデバイスを推奨します。録音環境 場所
- 10 平方メートル以下の小さな密閉空間で録音してください。
- 吸音フォーム、カーペット、カーテンなどの吸音材がある部屋を優先してください。
- 開けたホール、会議室、教室など、残響の多い空間は避けてください。
- 外部ノイズ: ドアや窓を閉めて、交通、建設などの妨害を避けてください。
- 内部ノイズ: エアコン、ファン、蛍光灯の安定器などの機器をオフにしてください。スマートフォンの環境音を録音し、大音量で再生して潜在的なノイズ源を特定できます。
- 残響は音をぼやけさせ、明瞭度を低下させます。
- 滑らかな表面からの反射を減らす: カーテンを閉め、クローゼットのドアを開け、テーブルやキャビネットに衣類や毛布をかけます。
- 本棚や布張りの家具などの不規則なオブジェクトを使用して、拡散反射を作り出します。
- 特定のコンテンツ制限はありません。ターゲットのユースケースに合わせてコンテンツを一致させることを推奨します。
- 「こんにちは」や「はい」などの短いフレーズは避けてください。完全な文章を使用してください。
- 意味的な一貫性を保ち、読み上げ中の頻繁な休止を避けてください (中断なしで少なくとも 3 秒間連続することを推奨します)。
- 全体を通して一貫した話し速を維持してください。最初や最後で速く話しすぎると、合成時にコマ落ちの原因となることがあります。
- 暖かさ、親しみやすさ、真剣さなど、適切な感情表現を含めてください。機械的な読み上げは避けてください。
- 機密コンテンツ (政治的、ポルノ、暴力的など) は含めないでください。これにより、クローニングが失敗します。
- 事前にスクリプトに慣れ、キャラクターのトーンを設定し、自然に話します。
- 破裂音の歪みや弱い信号を避けるため、録音デバイスから約 10 cm の距離を保ちます。
音色の管理
Qwen-Audio-TTS、Qwen-Audio-Realtime、CosyVoice は、同じ音色照会・更新・削除 API を使用します。インターフェイスとパラメーターについては、音声クローニング HTTP API リファレンスをご参照ください。
- 音色一覧の照会:アカウント内の既存のカスタム音色を確認します。
- 音色詳細の照会:作成日時やバインドされたモデルなどを確認します。
- 音色の更新:参照音声を置き換え、既存の音色 ID を保持します。
- 音色の削除:不要な音色を削除し、クォータを解放します。
サポートされるモデル
- 中国 (北京)
- シンガポール
- Qwen-Audio-TTS:qwen-audio-3.1-tts-plus、qwen-audio-3.1-tts-flash、qwen-audio-3.0-tts-plus、qwen-audio-3.0-tts-flash
- Qwen-Audio-Realtime:qwen-audio-3.1-realtime-plus、qwen-audio-3.1-realtime-flash、qwen-audio-3.0-realtime-plus、qwen-audio-3.0-realtime-flash
- CosyVoice:cosyvoice-v3.5-plus、cosyvoice-v3.5-flash、cosyvoice-v3-plus、cosyvoice-v3-flash、cosyvoice-v2
クォータと制限
-
音色数:Alibaba Cloud Model Studio アカウントごとのカスタム音色の合計上限は 1,000 個です。音声クローニングと音色デザインは、モデルを問わずこのアカウントのクォータを共有します。
- 上限に達すると、新しい音声クローニングまたは音色デザインの作成リクエストは失敗します。不要な音色を削除してクォータを解放してから、新しい音色を作成してください。
課金
- Qwen-Audio-TTS / Qwen-Audio-Realtime / CosyVoice:音色の作成は無料です。クローン音色を使用する音声合成とリアルタイム音声対話は、対象モデルに応じて課金されます。モデルの料金をご参照ください。