ファインチューニングデータのアップロードルール

​

概要

​

トレーニング手法と要素のサポートマトリックス

• SFT、ローカルアップロード、ログリプレイ、API アップロード、およびマルチモーダルデータフォーマットは、すべてのリージョンでサポートされています。
• DPO、CPT、Object Storage Service (OSS) インポート、およびクラウドストレージマウントは、北京リージョンでのみサポートされています。

​

テキスト生成 - SFT フォーマット

• system、user、assistant の 3 つのロールをサポートします。content フィールドは文字列です (マルチモーダルシナリオの content 配列構造については、対応するマルチモーダルフォーマットの章をご参照ください)。
• 単一ファイルの最大サイズは 200 MB です。
• 1 つのデータセットには、異なるフォーマットの行を混在させることができます。各レコードは独立してフォーマットを選択でき、単一のフォーマットに統一する必要はありません。
• 利用可能なフォーマット：標準対話、ディープシンキング、関数呼び出し、および関数呼び出しと思考の組み合わせ (以下のサンプルタブをご参照ください)。

{
  "messages": [
    {"role": "system", "content": "系统输入1"},
    {"role": "user", "content": "用户输入1"},
    {"role": "assistant", "content": "期望的模型输出1"},
    {"role": "user", "content": "用户输入2"},
    {"role": "assistant", "content": "期望的模型输出2"}
  ]
}

{"role": "assistant", "content": "期望的模型输出", "loss_weight": "1.0"}

{
  "messages": [
    {"role": "system", "content": "系统输入1"},
    {"role": "user", "content": "用户输入1"},
    {"role": "assistant", "content": "模型输出1"},
    {"role": "user", "content": "用户输入2"},
    {"role": "assistant", "content": "<think>\n期望的思考内容2\n</think>\n\n期望的输出2"}
  ]
}

​

思考タグのルール

• 最後の assistant の出力にのみ配置できます。中間の assistant の出力に思考タグを含めてはいけません。
• 思考タグの前後の改行は維持する必要があります。
• トレーニングサンプルでモデルが思考タグを出力しないように設定した場合、トレーニング後にモデルを呼び出す際に思考モードを再度有効にすることは推奨されません。

​

評価セットのフォーマット

• テキスト生成 (prompt&completion)：シングルターンフォーマット。各サンプルは Prompt (ユーザーの質問) と Completion (参照回答) で構成されます。ローカルアップロードは xls、xlsx ファイルのみをサポートします (1 ファイルの最大サイズは 20 MB)。列構造はコンソール提供のデータテンプレートで確認できます。
• テキスト生成 (ChatML-messages)：マルチターン会話フォーマット。各サンプルは messages 配列で、system、user、assistant ロールのメッセージで構成され、参照回答は messages 内の最後の assistant メッセージです。ローカルアップロードは jsonl、xls、xlsx ファイルをサポートします (1 ファイルの最大サイズは 200 MB)。サンプルファイルはデータセット作成時にダウンロードできます。

{"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "谁在文艺复兴时期绘制人体?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动，在这个时期，许多艺术家都绘制了人体。"}]}
{"messages": [{"role": "system", "content": "You are a helpful assistant"}, {"role": "user", "content": "谁在文艺复兴时期绘制人体?"}, {"role": "assistant", "content": "文艺复兴时期是一个关于艺术、文化和学术的复兴运动，在这个时期，许多艺术家都绘制了人体。"},{"role": "user", "content": "那雕塑方面如何呢？"}, {"role": "assistant", "content": "文艺复兴时期的雕塑也非常有名，几位世界级的雕塑大师都出自于这个时期"}]}

• messages：メッセージ配列。system メッセージは任意で最前面に配置され、user と assistant のメッセージは交互に並びます。マルチターン会話では user/assistant のメッセージペアを追加していき、最後の assistant メッセージがそのサンプルの参照回答です。
• assistant メッセージの content にはモデルの思考コンテンツを含めることができます。思考テキストは回答の前に置かれ、</think> マーカーで区切られます (推論モデルを評価する場合に使用します)。
• extra：任意のカスタム拡張フィールド。オブジェクト、配列、数値などのタイプをサポートし、業務のニーズに応じてサンプルにカスタムデータを追加できます。

• 取り込み方法：ローカルアップロードとログリプレイ。Object Storage Service (OSS) インポートとクラウドストレージマウントはサポートされていません。
• 以前に作成されたドラフトバージョンのみがオンライン編集 (Prompt/Completion) をサポートします。公開されたバージョンは編集できません。
• ChatML フォーマットのデータセットでは、データセット詳細のファイルプレビューで jsonl 形式により 1 件ずつ完全な messages の内容が表示されます。

• サポートされるログの範囲は過去 30 日以内です。
• 1 回のインポートで最大 100,000 レコードです。
• サービスリンクロールを権限付与し、API キーとモデルのフィルター条件を指定する必要があります。
• トレーニングセットは SFT テキスト生成シナリオでのみ利用可能です (テキスト生成評価セットもサポートされています)。

​

テキスト生成 - DPO フォーマット

{
  "messages": [
    {"role": "system", "content": "系统输入"},
    {"role": "user", "content": "用户输入1"},
    {"role": "assistant", "content": "模型输出1"},
    {"role": "user", "content": "用户输入2"},
    {"role": "assistant", "content": "模型输出2"},
    {"role": "user", "content": "用户输入3"}
  ],
  "chosen": {"role": "assistant", "content": "赞同的模型期望输出3"},
  "rejected": {"role": "assistant", "content": "反对的模型期望输出3"}
}

{
  "messages": [
    {"role": "system", "content": "系统输入"},
    {"role": "user", "content": "用户输入1"},
    {"role": "assistant", "content": "模型输出1"},
    {"role": "user", "content": "用户输入2"}
  ],
  "chosen": {"role": "assistant", "content": "<think>\n期望的思考内容\n</think>\n\n期望的模型输出"},
  "rejected": {"role": "assistant", "content": "反对的模型期望输出2"}
}

​

テキスト生成 - CPT フォーマット

• 最低 5,000 万トークンが推奨され、単一ファイルのサイズ制限は 300 MB です。

{
  "text": "文本内容"
}

​

視覚理解 - SFT フォーマット

{
  "messages": [
    {"role": "system", "content": [{"text": "系统输入1"}]},
    {"role": "user", "content": [{"text": "用户输入1"}]},
    {"role": "assistant", "content": [{"text": "期望的模型输出1"}]},
    {"role": "user", "content": [{"text": "用户输入2"}]},
    {"role": "assistant", "content": [{"text": "期望的模型输出2"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "系统输入1"}]},
    {"role": "user", "content": [{"text": "用户输入1"}]},
    {"role": "assistant", "content": [{"text": "模型输出1"}]},
    {"role": "user", "content": [{"text": "用户输入2"}]},
    {"role": "assistant", "content": [{"text": "<think>\n期望的思考内容2\n</think>\n\n期望的输出2"}]}
  ]
}

{
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "查询指定城市的实时天气",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {"type": "string", "description": "城市名称，例如：北京"}
          },
          "required": ["city"]
        }
      }
    }
  ],
  "messages": [
    {"role": "user", "content": [{"text": "帮我查一下北京的天气"}]},
    {
      "role": "assistant",
      "content": [{"text": "好的，我来帮您查询北京的天气。"}],
      "tool_calls": [
        {
          "id": "call_3a11c1ba883b41b6a4e0cb",
          "type": "function",
          "function": {
            "name": "get_weather",
            "arguments": "{\"city\": \"北京\"}"
          }
        }
      ]
    },
    {"role": "tool", "tool_call_id": "call_3a11c1ba883b41b6a4e0cb", "content": [{"text": "{\"city\": \"北京\", \"weather\": \"晴\", \"temperature\": \"25℃\"}"}]},
    {"role": "assistant", "content": [{"text": "北京今天天气晴朗，气温 25℃，适合出行。"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "系统输入"}]},
    {
      "role": "user",
      "content": [
        {"text": "用户输入1"},
        {"image": "图像文件名1.jpg", "resized_width": 200, "resized_height": 200}
      ]
    },
    {"role": "assistant", "content": [{"text": "期望的模型输出1"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "系统输入"}]},
    {
      "role": "user",
      "content": [
        {"text": "用户输入1"},
        {"video": "视频文件名1.mp4", "fps": 3.0, "resized_width": 200, "resized_height": 200, "video_start": 0.0, "video_end": 3.0}
      ]
    },
    {"role": "assistant", "content": [{"text": "期望的模型输出1"}]}
  ]
}

{
  "messages": [
    {"role": "system", "content": [{"text": "系统输入"}]},
    {
      "role": "user",
      "content": [
        {"text": "用户输入2"},
        {"video": ["0.jpg", "1.jpg", "2.jpg", "3.jpg"], "sample_fps": 5.0, "resized_width": 200, "resized_height": 200}
      ]
    },
    {"role": "assistant", "content": [{"text": "期望的模型输出2"}]}
  ]
}

​

関数呼び出しフォーマットのルール

• tools：ツール定義の配列。各アイテムには type:"function" と function{name, description, parameters} が含まれます。parameters は JSON スキーマ (type/properties/required を含む) です。
• messages：マルチターン対話の配列。ロールには user、assistant、tool が含まれます。
• content：マルチモーダルコンテンツの配列。image、text、video などのアイテムを含むことができます (マルチモーダル理解フォーマットと一致)。
• assistant.tool_calls：モデルによって生成されたツール呼び出しの配列。id、type:"function"、function{name, arguments} を含みます。arguments は JSON 文字列です。
• role:"tool"：ツールの戻り値。tool_call_id は対応する tool_calls[].id と一対一で対応する必要があります。content にはツールの戻り結果が含まれます。

​

思考タグのルール

• 最後の assistant の出力にのみ配置する必要があります。中間の assistant の出力に思考タグを追加してはいけません。
• 思考タグの前後の改行は維持する必要があります。
• トレーニングサンプルでモデルが思考タグを出力しないように設定した場合、トレーニング完了後に呼び出しの際に思考モードを有効にすることは推奨されません。

​

マルチモーダル zip パッケージのパッケージングルール

• zip パッケージは最大 2 GB までサポートされます。
• パッケージ内のフォルダ名とファイル名に使用できる文字セットは、ASCII 文字 (a-z, A-Z)、数字 (0-9)、アンダースコア (_)、ハイフン (-) です。
• トレーニングテキストデータファイルは data.jsonl に固定され、zip パッケージのルートディレクトリに配置する必要があります。展開後、zip ファイルを直接開くと data.jsonl が表示されるようにし、余分な外側のフォルダでラップされていないことを確認してください。

# 单层目录（推荐）
Trainingdata_vl.zip
  |--- data.jsonl        # 必须在根目录，外层不再包裹文件夹
  |--- image1.png
  |--- video1.mp4

# data.jsonl 内声明文件名（非路径）
# 正确：image1.jpg
# 错误：jpg_folder/image1.jpg

​

ファイルサイズと数量の制限

​

API アップロードクォータ

• MountStorage の file_path を介して data.jsonl のルートディレクトリマニフェストパスを指定します。zip アーカイブはサポートされていません。
• マウントする前に、Bailian サービスに OSS データへのアクセスを権限付与する必要があります。

• 単一ファイルが 300 MB を超える場合：クラウドストレージマウントまたはマルチモーダル ZIP 2 GB チャンネルを介してアップロードします。
• 合計クォータを超えた場合：履歴ファイルを削除してスペースを解放します。
• インポートされたデータは、自動的に OSS サーバーサイド暗号化 (SSE-OSS, AES256) を有効にします。

​

アップロードの検証とよくあるエラー

• 公開と削除の操作はどちらも元に戻せません。公開されたバージョンは再編集できず、以前に作成されたドラフトバージョンのみが削除またはオンライン編集可能です。
• データセットのタイプ (トレーニングセット/評価セット) は作成後に変更または入れ替えできません。間違って選択した場合は、新しいデータセットを作成し、すべてのデータを再インポートする必要があります。
• データセットのタイプ、トレーニングシナリオ、またはトレーニング手法を切り替えると、アップロードされたファイルがクリアされ、ストレージ場所とインポート方法がリセットされます。