数据集

2 个数据集
已选筛选: 自然语言处理 PDF 清除所有筛选
这是一个高质量的中文预训练语料数据集,专门面向教育领域,包含约9000万条经过严格筛选的文本,总数据量约300GB。该数据集采用类似Fineweb-Edu的构建方法:先利用评分模型评估样本的教育价值,再训练BERT模型对原始数据进行打分,仅保留评分高于4的数据,最后通过MinHash算法进行去重,确保内容质量高、多样性强且无冗余。它适用于中文自然语言处理中的文本生成等任务,尤其适合教育场景下的模型训练和微调。
GITATTRIBUTESMDPARQUETPDFPNGWEBP Apache License 2.0 290 GiB 310 个文件 WeHub 同步于 2026-08-20 02:03:45 +00:00
Fineweb-Edu-Chinese-V2.2 已完整同步
Chinese Fineweb-Edu 数据集 V2.2 是一个面向中文教育领域的高质量数据集,覆盖从预训练到监督微调(SFT)的完整流程。该版本基于 DeepSeek V3.2 模型,从顶尖质量语料中提取了 143 万条高质量问答对,专为后训练阶段设计。数据集包含 SFT 问答、SFT 上下文和预训练等多种配置,旨在解决中文开源社区中优质教育语料稀缺的问题,助力提升模型在教育场景下的表现。
GITATTRIBUTESMDPDF Apache License 2.0 207 KiB 3 个文件 WeHub 同步于 2026-08-12 04:26:38 +00:00