baicai003/Llama3-Chinese-dataset 已完整同步
使用这个数据集
REST 可获取元数据、文件分页和有限记录样例。
查看元数据
curl -sS 'https://dataset.wehub.plus/v2/datasets/ds_ext_95e8c00d22'列出文件
curl -sS 'https://dataset.wehub.plus/v2/datasets/ds_ext_95e8c00d22/files?version=7133ad2d04f7d19d05d450b0c2d40e138c9b0d24&limit=20&offset=0'读取样例记录
curl -sS 'https://dataset.wehub.plus/v2/files/e9fc9359-9338-9fdc-546e-430447d03a16/records?format=ndjson&limit=20'用 CLI 下载
wehub datasets download ds_ext_95e8c00d22 --revision 7133ad2d04f7d19d05d450b0c2d40e138c9b0d24 --output ./ds_ext_95e8c00d22下载需要登录；CLI 复用 wehub auth login 的凭证，并为每个文件申请有时效的授权链接。
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本（如果页面提供版本）。文件字节由本机直连存储下载，浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上，以及 npm（或 npx）。
1. 安装 CLI
npm install -g wehub-cli@latest2. 下载此数据集
wehub datasets download ds_ext_95e8c00d22 --revision 7133ad2d04f7d19d05d450b0c2d40e138c9b0d24 --output ./ds_ext_95e8c00d22若中断或部分失败，在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_ext_95e8c00d22 --revision 7133ad2d04f7d19d05d450b0c2d40e138c9b0d24 --output ./ds_ext_95e8c00d22高级选项
以下为 wehub datasets download 已支持的参数示例：
强制重新下载，不复用已校验的本地文件
wehub datasets download ds_ext_95e8c00d22 --revision 7133ad2d04f7d19d05d450b0c2d40e138c9b0d24 --output ./ds_ext_95e8c00d22 --overwrite仅包含匹配路径
wehub datasets download ds_ext_95e8c00d22 --revision 7133ad2d04f7d19d05d450b0c2d40e138c9b0d24 --output ./ds_ext_95e8c00d22 --include "*.jsonl"排除匹配路径
wehub datasets download ds_ext_95e8c00d22 --revision 7133ad2d04f7d19d05d450b0c2d40e138c9b0d24 --output ./ds_ext_95e8c00d22 --exclude "*.md"提高并发下载数
wehub datasets download ds_ext_95e8c00d22 --revision 7133ad2d04f7d19d05d450b0c2d40e138c9b0d24 --output ./ds_ext_95e8c00d22 --jobs 8完整帮助：wehub datasets download --help