小红书创作者笔记 已完整同步
使用这个数据集
REST 可获取元数据和文件分页;当前数据集没有可在线读取的记录样例。
查看元数据
curl -sS 'https://dataset.wehub.plus/v2/datasets/ds_xhs_creator_notes'列出文件
curl -sS 'https://dataset.wehub.plus/v2/datasets/ds_xhs_creator_notes/files?version=501ad46560478d2b6f847dd5623437e964fbe1d64cff93d411f183e24418b99b&limit=20&offset=0'下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本(如果页面提供版本)。文件字节由本机直连存储下载,浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上,以及 npm(或 npx)。
1. 安装 CLI
npm install -g wehub-cli@latest
2. 下载此数据集
wehub datasets download ds_xhs_creator_notes --revision 501ad46560478d2b6f847dd5623437e964fbe1d64cff93d411f183e24418b99b --output ./ds_xhs_creator_notes
若中断或部分失败,在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_xhs_creator_notes --revision 501ad46560478d2b6f847dd5623437e964fbe1d64cff93d411f183e24418b99b --output ./ds_xhs_creator_notes
高级选项
以下为 wehub datasets download 已支持的参数示例:
强制重新下载,不复用已校验的本地文件
wehub datasets download ds_xhs_creator_notes --revision 501ad46560478d2b6f847dd5623437e964fbe1d64cff93d411f183e24418b99b --output ./ds_xhs_creator_notes --overwrite
仅包含匹配路径
wehub datasets download ds_xhs_creator_notes --revision 501ad46560478d2b6f847dd5623437e964fbe1d64cff93d411f183e24418b99b --output ./ds_xhs_creator_notes --include "*.jsonl"
排除匹配路径
wehub datasets download ds_xhs_creator_notes --revision 501ad46560478d2b6f847dd5623437e964fbe1d64cff93d411f183e24418b99b --output ./ds_xhs_creator_notes --exclude "*.md"
提高并发下载数
wehub datasets download ds_xhs_creator_notes --revision 501ad46560478d2b6f847dd5623437e964fbe1d64cff93d411f183e24418b99b --output ./ds_xhs_creator_notes --jobs 8
完整帮助:wehub datasets download --help