m-a-p/FineFineWeb 已完整同步
文件
显示第 1–20 个,共 66109 个文件
| 目录 | 文件名 | 格式 | 大小 |
|---|---|---|---|
| — |
.gitattributes
|
GITATTRIBUTES | 4.8 MiB |
| — |
README.md
|
MD | 14 KiB |
aerospace/ |
aerospace_000000.jsonl
预览
|
JSONL | 302 MiB |
aerospace/ |
aerospace_000001.jsonl
预览
|
JSONL | 302 MiB |
aerospace/ |
aerospace_000002.jsonl
预览
|
JSONL | 303 MiB |
aerospace/ |
aerospace_000003.jsonl
预览
|
JSONL | 303 MiB |
aerospace/ |
aerospace_000004.jsonl
预览
|
JSONL | 303 MiB |
aerospace/ |
aerospace_000005.jsonl
预览
|
JSONL | 305 MiB |
aerospace/ |
aerospace_000006.jsonl
预览
|
JSONL | 302 MiB |
aerospace/ |
aerospace_000007.jsonl
预览
|
JSONL | 303 MiB |
aerospace/ |
aerospace_000008.jsonl
预览
|
JSONL | 300 MiB |
aerospace/ |
aerospace_000009.jsonl
预览
|
JSONL | 304 MiB |
aerospace/ |
aerospace_000010.jsonl
预览
|
JSONL | 302 MiB |
aerospace/ |
aerospace_000011.jsonl
预览
|
JSONL | 302 MiB |
aerospace/ |
aerospace_000012.jsonl
预览
|
JSONL | 304 MiB |
aerospace/ |
aerospace_000013.jsonl
预览
|
JSONL | 302 MiB |
aerospace/ |
aerospace_000014.jsonl
预览
|
JSONL | 302 MiB |
aerospace/ |
aerospace_000015.jsonl
预览
|
JSONL | 303 MiB |
aerospace/ |
aerospace_000016.jsonl
预览
|
JSONL | 302 MiB |
aerospace/ |
aerospace_000017.jsonl
预览
|
JSONL | 305 MiB |
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本(如果页面提供版本)。文件字节由本机直连存储下载,浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上,以及 npm(或 npx)。
1. 安装 CLI
npm install -g wehub-cli@latest
2. 下载此数据集
wehub datasets download ds_m_a_p_finefineweb_550bee51a2 --revision 7fd92dc825a75cbff271a5a52eea0eda91a2c112 --output ./ds_m_a_p_finefineweb_550bee51a2
若中断或部分失败,在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_m_a_p_finefineweb_550bee51a2 --revision 7fd92dc825a75cbff271a5a52eea0eda91a2c112 --output ./ds_m_a_p_finefineweb_550bee51a2
高级选项
以下为 wehub datasets download 已支持的参数示例:
强制重新下载,不复用已校验的本地文件
wehub datasets download ds_m_a_p_finefineweb_550bee51a2 --revision 7fd92dc825a75cbff271a5a52eea0eda91a2c112 --output ./ds_m_a_p_finefineweb_550bee51a2 --overwrite
仅包含匹配路径
wehub datasets download ds_m_a_p_finefineweb_550bee51a2 --revision 7fd92dc825a75cbff271a5a52eea0eda91a2c112 --output ./ds_m_a_p_finefineweb_550bee51a2 --include "*.jsonl"
排除匹配路径
wehub datasets download ds_m_a_p_finefineweb_550bee51a2 --revision 7fd92dc825a75cbff271a5a52eea0eda91a2c112 --output ./ds_m_a_p_finefineweb_550bee51a2 --exclude "*.md"
提高并发下载数
wehub datasets download ds_m_a_p_finefineweb_550bee51a2 --revision 7fd92dc825a75cbff271a5a52eea0eda91a2c112 --output ./ds_m_a_p_finefineweb_550bee51a2 --jobs 8
完整帮助:wehub datasets download --help