数据集

1 个数据集
已选筛选: md PARQUET 数据集 清除所有筛选
IndustryCorpus2 是一个覆盖 30 余个行业类别的高质量预训练数据集,包含中文约 1TB、英文约 2.2TB 的文本数据。数据经过规则与模型双重语义质量筛选,并根据质量评估分数划分为高、中、低三个层级,以适配不同场景的模型训练需求。行业分类结合了国民经济行业分类与世界知识体系,涵盖编程、生物医药、法律、金融、数学统计、交通运输、航空航天、制造业等主流领域,旨在为行业大模型提供专业、大规模且高质量的训练语料。
GITATTRIBUTESMDPARQUET Apache License 2.0 1.7 TiB 3206 个文件 WeHub 同步于 2026-08-20 02:03:45 +00:00