数据集
3 个数据集
热门分类：
这个数据集是经过去重处理的大规模文本语料库，涵盖多种内容类型，包括结构化文本、纯文本、列式数据及二进制文件。数据以 Parquet、JSON 和 Markdown 等格式提供，适用于训练语言模型等自然语言处理任务。该数据集采用 Apache 2.0 许可证。
这是一个高质量的中文预训练语料数据集，专门面向教育领域，包含约9000万条经过严格筛选的文本，总数据量约300GB。该数据集采用类似Fineweb-Edu的构建方法：先利用评分模型评估样本的教育价值，再训练BERT模型对原始数据进行打分，仅保留评分高于4的数据，最后通过MinHash算法进行去重，确保内容质量高、多样性强且无冗余。它适用于中文自然语言处理中的文本生成等任务，尤其适合教育场景下的模型训练和微调。
MNBVC 是一个大规模中文语料数据集，由社区持续整理和更新。它包含多个子集，覆盖学术论文、博客、书籍、企业年报、法律判决书、代码等多种文本类型，适用于文本生成、掩码语言建模等自然语言处理任务。数据集以高质量的中文互联网文本为主，旨在为研究和应用提供丰富的语料资源。