Chinese Fineweb Edu 高质量教育中文预训练语料数据集 已完整同步
文件
显示第 1–20 个，共 310 个文件
| 目录 | 文件名 | 格式 | 大小 |
|---|---|---|---|
| — |
.gitattributes
|
GITATTRIBUTES | 2.4 KiB |
| — |
Chinese Fineweb Edu Dataset logo.webp
|
WEBP | 258 KiB |
| — |
Data Sources.png
|
PNG | 349 KiB |
IndustryCorpus/ |
00000.parquet
预览
|
Parquet | 802 MiB |
IndustryCorpus/ |
00001.parquet
预览
|
Parquet | 810 MiB |
IndustryCorpus/ |
00002.parquet
预览
|
Parquet | 815 MiB |
IndustryCorpus/ |
00003.parquet
预览
|
Parquet | 907 MiB |
IndustryCorpus/ |
00004.parquet
预览
|
Parquet | 876 MiB |
IndustryCorpus/ |
00005.parquet
预览
|
Parquet | 973 MiB |
IndustryCorpus/ |
00006.parquet
预览
|
Parquet | 975 MiB |
IndustryCorpus/ |
00007.parquet
预览
|
Parquet | 856 MiB |
IndustryCorpus/ |
00008.parquet
预览
|
Parquet | 852 MiB |
IndustryCorpus/ |
00009.parquet
预览
|
Parquet | 853 MiB |
IndustryCorpus/ |
00010.parquet
预览
|
Parquet | 858 MiB |
IndustryCorpus/ |
00011.parquet
预览
|
Parquet | 853 MiB |
IndustryCorpus/ |
00012.parquet
预览
|
Parquet | 860 MiB |
IndustryCorpus/ |
00013.parquet
预览
|
Parquet | 860 MiB |
IndustryCorpus/ |
00014.parquet
预览
|
Parquet | 861 MiB |
IndustryCorpus/ |
00015.parquet
预览
|
Parquet | 860 MiB |
IndustryCorpus/ |
00016.parquet
预览
|
Parquet | 867 MiB |
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本（如果页面提供版本）。文件字节由本机直连存储下载，浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上，以及 npm（或 npx）。
1. 安装 CLI
npm install -g wehub-cli@latest2. 下载此数据集
wehub datasets download ds_opencsg_chinese_fineweb_edu_a178382405 --revision 760aea5cd527c8f82261ffc6656f239a6696aa9f --output ./ds_opencsg_chinese_fineweb_edu_a178382405若中断或部分失败，在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_opencsg_chinese_fineweb_edu_a178382405 --revision 760aea5cd527c8f82261ffc6656f239a6696aa9f --output ./ds_opencsg_chinese_fineweb_edu_a178382405高级选项
以下为 wehub datasets download 已支持的参数示例：
强制重新下载，不复用已校验的本地文件
wehub datasets download ds_opencsg_chinese_fineweb_edu_a178382405 --revision 760aea5cd527c8f82261ffc6656f239a6696aa9f --output ./ds_opencsg_chinese_fineweb_edu_a178382405 --overwrite仅包含匹配路径
wehub datasets download ds_opencsg_chinese_fineweb_edu_a178382405 --revision 760aea5cd527c8f82261ffc6656f239a6696aa9f --output ./ds_opencsg_chinese_fineweb_edu_a178382405 --include "*.jsonl"排除匹配路径
wehub datasets download ds_opencsg_chinese_fineweb_edu_a178382405 --revision 760aea5cd527c8f82261ffc6656f239a6696aa9f --output ./ds_opencsg_chinese_fineweb_edu_a178382405 --exclude "*.md"提高并发下载数
wehub datasets download ds_opencsg_chinese_fineweb_edu_a178382405 --revision 760aea5cd527c8f82261ffc6656f239a6696aa9f --output ./ds_opencsg_chinese_fineweb_edu_a178382405 --jobs 8完整帮助：wehub datasets download --help