数据集

1 个数据集
已选筛选: 自然语言处理 WEBP 数据集 清除所有筛选
这是一个高质量的中文预训练语料数据集,专门面向教育领域,包含约9000万条经过严格筛选的文本,总数据量约300GB。该数据集采用类似Fineweb-Edu的构建方法:先利用评分模型评估样本的教育价值,再训练BERT模型对原始数据进行打分,仅保留评分高于4的数据,最后通过MinHash算法进行去重,确保内容质量高、多样性强且无冗余。它适用于中文自然语言处理中的文本生成等任务,尤其适合教育场景下的模型训练和微调。
GITATTRIBUTESMDPARQUETPDFPNGWEBP Apache License 2.0 290 GiB 310 个文件 WeHub 同步于 2026-08-20 02:03:45 +00:00