数据集 / baicai003/Llama3-Chinese-dataset

baicai003/Llama3-Chinese-dataset 已完整同步

介绍

Github: https://github.com/CrazyBoyM/llama3-Chinese-chat 该数据集已统一处理为firefly格式，可以配合firefly工具直接训练llama3中文模型。 特别推荐：新增DPO偏好对齐中文强化学习数据：https://modelscope.cn/datasets/shareAI/shareAI-Llama3-DPO-zh-en-emoji/summary

使用方法

本数据集可以在firefly框架上直接加载使用训练

直接使用

sft_zh_with_all.jsonl文件是包含所有清洗处理后数据集的合并文件，可以直接使用FireFly训练你的中文模型。（过滤后问答数据量约169万条）

按需使用

下面演示如何合并以及处理数据，你可以按照自己的需求对单点数据进行加强扩充。 首先，将所有数据集合并为一个jsonl文件：

cat *.jsonl > merged.jsonl

然后，使用check_jsonl.py对数据集进行校验, 去除格式错误的个别样本：

python3 check_jsonl.py

最后，使用change_info.py修改模型的身份认知信息：

python3 change_info.py

小建议：

  • 如果觉得个别数据集质量不高，可以自行删除。
  • 如果觉得个别数据集样本不够，可以自行添加。
  • 如果觉得个别数据集样本太多，可以自行采样。 附如何随机采样一部分：
import json
import random

def sample_jsonl(input_file, output_file):
    # 读取输入文件
    with open(input_file, 'r', encoding='utf-8') as f:
        lines = f.readlines()

    # 随机采样1/100的数据
    sample_size = len(lines) // 100
    sampled_lines = random.sample(lines, sample_size)

    # 写入输出文件
    with open(output_file, 'w', encoding='utf-8') as f:
        for line in sampled_lines:
            f.write(line)

if __name__ == "__main__":
    input_file = "./1_0_firefly_chinese_common_task_1649k.jsonl"  # 输入文件路径
    output_file = "sampled_chinese_common_task_16k.jsonl"  # 输出文件路径
    sample_jsonl(input_file, output_file)

23 个文件

浏览文件

数据集版权信息

本数据集的许可证为 Apache License 2.0。如有违反相关条款，请联系 WEHUB，我们将及时处理。