alfredplpl/simple-zundamon

シンプルずんだもんデータセット

はじめに

ずんだもんの設定が詰まったシンプルなデータセットです。 作者がインターネットで調べたり、運営の人からもらったデータから作成しました。 キャラクターLLMを作るための動作確認にお使いください。 ただし、可能な限り動作確認でもライセンスをよく読んでください。 他の用途はライセンスをよく読んでください。

各種フォーマット

• ChatGPT: zmn.jsonl

axolotlでの設定例

以下のようにデータセット周りを設定してください。

# データセットの設定
datasets:
  - path: alfredplpl/simple-zundamon      # 使用するデータセット（Hugging Face上のデータセット名）
    type: chat_template                   # 会話形式のデータセットを使用
    field_messages: messages              # 会話データが格納されたフィールド名
    message_property_mappings:            # メッセージ内のプロパティ名のマッピング
      role: role                          # 役割（ユーザー/システム/アシスタント）を示すフィールド
      content: content                    # メッセージ内容を示すフィールド
    roles_to_train: ["assistant"]         # 学習対象とする役割（アシスタントの発話のみ学習）
dataset_prepared_path: last_run_prepared  # 前処理済みデータの保存先（キャッシュ用）
val_set_size: 0.0                         # データのうち評価用に分割する割合

ライセンス

• （ず・ω・きょ）