EleutherAI/the_pile_deduplicated 已完整同步
文件
显示第 1–20 个，共 1653 个文件
| 目录 | 文件名 | 格式 | 大小 |
|---|---|---|---|
| — |
.gitattributes
|
GITATTRIBUTES | 3.7 KiB |
| — |
README.md
|
MD | 406 B |
data/ |
train-00000-of-01650-f70471ee3deb09c0.parquet
预览
|
Parquet | 241 MiB |
data/ |
train-00001-of-01650-172fc1a0c346b36e.parquet
预览
|
Parquet | 250 MiB |
data/ |
train-00002-of-01650-54ace3f77b399471.parquet
预览
|
Parquet | 249 MiB |
data/ |
train-00003-of-01650-8b668ee0e6c178f5.parquet
预览
|
Parquet | 253 MiB |
data/ |
train-00004-of-01650-fc5086352c963b1a.parquet
预览
|
Parquet | 246 MiB |
data/ |
train-00005-of-01650-c4cfa4a6dd83e624.parquet
预览
|
Parquet | 251 MiB |
data/ |
train-00006-of-01650-c0c63682a2c4f751.parquet
预览
|
Parquet | 261 MiB |
data/ |
train-00007-of-01650-bccb53b713a7cdbb.parquet
预览
|
Parquet | 244 MiB |
data/ |
train-00008-of-01650-08b7925673ba160c.parquet
预览
|
Parquet | 246 MiB |
data/ |
train-00009-of-01650-a797ec678835315a.parquet
预览
|
Parquet | 250 MiB |
data/ |
train-00010-of-01650-effa7e58451fe167.parquet
预览
|
Parquet | 247 MiB |
data/ |
train-00011-of-01650-6ce29ac1d5664cfc.parquet
预览
|
Parquet | 252 MiB |
data/ |
train-00012-of-01650-db21ce3a5553ebdc.parquet
预览
|
Parquet | 243 MiB |
data/ |
train-00013-of-01650-095758c3e78801b4.parquet
预览
|
Parquet | 256 MiB |
data/ |
train-00014-of-01650-425de91520eb8226.parquet
预览
|
Parquet | 254 MiB |
data/ |
train-00015-of-01650-228dfec4e8b1fcff.parquet
预览
|
Parquet | 257 MiB |
data/ |
train-00016-of-01650-776e6b9acc3d1111.parquet
预览
|
Parquet | 246 MiB |
data/ |
train-00017-of-01650-4ee31cf68834e77f.parquet
预览
|
Parquet | 244 MiB |
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本（如果页面提供版本）。文件字节由本机直连存储下载，浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上，以及 npm（或 npx）。
1. 安装 CLI
npm install -g wehub-cli@latest2. 下载此数据集
wehub datasets download ds_ext_28b9e1615b --revision 87381ecb6972750efe803c6023ba8347b3ce3d49 --output ./ds_ext_28b9e1615b若中断或部分失败，在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_ext_28b9e1615b --revision 87381ecb6972750efe803c6023ba8347b3ce3d49 --output ./ds_ext_28b9e1615b高级选项
以下为 wehub datasets download 已支持的参数示例：
强制重新下载，不复用已校验的本地文件
wehub datasets download ds_ext_28b9e1615b --revision 87381ecb6972750efe803c6023ba8347b3ce3d49 --output ./ds_ext_28b9e1615b --overwrite仅包含匹配路径
wehub datasets download ds_ext_28b9e1615b --revision 87381ecb6972750efe803c6023ba8347b3ce3d49 --output ./ds_ext_28b9e1615b --include "*.jsonl"排除匹配路径
wehub datasets download ds_ext_28b9e1615b --revision 87381ecb6972750efe803c6023ba8347b3ce3d49 --output ./ds_ext_28b9e1615b --exclude "*.md"提高并发下载数
wehub datasets download ds_ext_28b9e1615b --revision 87381ecb6972750efe803c6023ba8347b3ce3d49 --output ./ds_ext_28b9e1615b --jobs 8完整帮助：wehub datasets download --help