IndustryCorpus2 30类行业分类的高质量预训练数据集 已完整同步
文件
显示第 1–20 个，共 3206 个文件
| 目录 | 文件名 | 格式 | 大小 |
|---|---|---|---|
| — |
.gitattributes
|
GITATTRIBUTES | 2.4 KiB |
| — |
README.md
|
MD | 21 KiB |
| — |
README_ZH.md
|
MD | 18 KiB |
accommodation_catering_hotel/chinese/high/ |
rank_00000.parquet
预览
|
Parquet | 371 MiB |
accommodation_catering_hotel/chinese/low/ |
rank_00135.parquet
预览
|
Parquet | 775 MiB |
accommodation_catering_hotel/chinese/low/ |
rank_00136.parquet
预览
|
Parquet | 694 MiB |
accommodation_catering_hotel/chinese/low/ |
rank_00138.parquet
预览
|
Parquet | 790 MiB |
accommodation_catering_hotel/chinese/low/ |
rank_00139.parquet
预览
|
Parquet | 42 MiB |
accommodation_catering_hotel/chinese/middle/ |
rank_00302.parquet
预览
|
Parquet | 872 MiB |
accommodation_catering_hotel/chinese/middle/ |
rank_00303.parquet
预览
|
Parquet | 883 MiB |
accommodation_catering_hotel/chinese/middle/ |
rank_00304.parquet
预览
|
Parquet | 870 MiB |
accommodation_catering_hotel/chinese/middle/ |
rank_00305.parquet
预览
|
Parquet | 880 MiB |
accommodation_catering_hotel/chinese/middle/ |
rank_00306.parquet
预览
|
Parquet | 872 MiB |
accommodation_catering_hotel/chinese/middle/ |
rank_00307.parquet
预览
|
Parquet | 862 MiB |
accommodation_catering_hotel/chinese/middle/ |
rank_00308.parquet
预览
|
Parquet | 98 MiB |
accommodation_catering_hotel/english/high/ |
rank_00726.parquet
预览
|
Parquet | 513 MiB |
accommodation_catering_hotel/english/high/ |
rank_00727.parquet
预览
|
Parquet | 204 MiB |
accommodation_catering_hotel/english/low/ |
rank_01551.parquet
预览
|
Parquet | 502 MiB |
accommodation_catering_hotel/english/low/ |
rank_01552.parquet
预览
|
Parquet | 495 MiB |
accommodation_catering_hotel/english/low/ |
rank_01553.parquet
预览
|
Parquet | 504 MiB |
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本（如果页面提供版本）。文件字节由本机直连存储下载，浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上，以及 npm（或 npx）。
1. 安装 CLI
npm install -g wehub-cli@latest2. 下载此数据集
wehub datasets download ds_baai_industrycorpus2_e204fbc72e --revision 145d2b2893443107d3a95a2a69449d470fdd90c7 --output ./ds_baai_industrycorpus2_e204fbc72e若中断或部分失败，在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_baai_industrycorpus2_e204fbc72e --revision 145d2b2893443107d3a95a2a69449d470fdd90c7 --output ./ds_baai_industrycorpus2_e204fbc72e高级选项
以下为 wehub datasets download 已支持的参数示例：
强制重新下载，不复用已校验的本地文件
wehub datasets download ds_baai_industrycorpus2_e204fbc72e --revision 145d2b2893443107d3a95a2a69449d470fdd90c7 --output ./ds_baai_industrycorpus2_e204fbc72e --overwrite仅包含匹配路径
wehub datasets download ds_baai_industrycorpus2_e204fbc72e --revision 145d2b2893443107d3a95a2a69449d470fdd90c7 --output ./ds_baai_industrycorpus2_e204fbc72e --include "*.jsonl"排除匹配路径
wehub datasets download ds_baai_industrycorpus2_e204fbc72e --revision 145d2b2893443107d3a95a2a69449d470fdd90c7 --output ./ds_baai_industrycorpus2_e204fbc72e --exclude "*.md"提高并发下载数
wehub datasets download ds_baai_industrycorpus2_e204fbc72e --revision 145d2b2893443107d3a95a2a69449d470fdd90c7 --output ./ds_baai_industrycorpus2_e204fbc72e --jobs 8完整帮助：wehub datasets download --help