kevin726/hy_mm_data_v0901 已完整同步
数据集文件元信息以及数据文件,请浏览“数据集文件”页面获取。
数据概览
hy_mm_data_v0901 是一个大规模多格式资源包,当前镜像包含约 1,631 个文件、约 1.22 TB 数据,主要以 ZIP 压缩包和说明/元数据文件提供。由于未从文件清单确认统一记录 schema,使用前应先按目录和压缩包解包检查内容。
1631 个文件
浏览文件数据集版权信息
本数据集的许可证为 Apache License 2.0。如有违反相关条款,请联系 WEHUB,我们将及时处理。
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本(如果页面提供版本)。文件字节由本机直连存储下载,浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上,以及 npm(或 npx)。
1. 安装 CLI
npm install -g wehub-cli@latest
2. 下载此数据集
wehub datasets download ds_ext_277960239d --revision 19e334624462781e540bce22ca05c2e7bffc14ce --output ./ds_ext_277960239d
若中断或部分失败,在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_ext_277960239d --revision 19e334624462781e540bce22ca05c2e7bffc14ce --output ./ds_ext_277960239d
高级选项
以下为 wehub datasets download 已支持的参数示例:
强制重新下载,不复用已校验的本地文件
wehub datasets download ds_ext_277960239d --revision 19e334624462781e540bce22ca05c2e7bffc14ce --output ./ds_ext_277960239d --overwrite
仅包含匹配路径
wehub datasets download ds_ext_277960239d --revision 19e334624462781e540bce22ca05c2e7bffc14ce --output ./ds_ext_277960239d --include "*.jsonl"
排除匹配路径
wehub datasets download ds_ext_277960239d --revision 19e334624462781e540bce22ca05c2e7bffc14ce --output ./ds_ext_277960239d --exclude "*.md"
提高并发下载数
wehub datasets download ds_ext_277960239d --revision 19e334624462781e540bce22ca05c2e7bffc14ce --output ./ds_ext_277960239d --jobs 8
完整帮助:wehub datasets download --help