tomyzcf/qwen3-finetune-test 已完整同步
Qwen3 微调数据集
本仓库包含用于Qwen3模型微调的高质量数据集。这些数据集经过精心选择,适用于增强大语言模型在各种任务上的性能,特别是推理和知识密集型任务。
数据集列表
1. FineTome-100k
一个高质量的指令遵循数据集,专为大语言模型微调设计。
- 来源: mlabonne/FineTome-100k
- 样本数量: 100,000
- 格式: 包含对话格式的训练数据,每个样本包含对话内容、来源和质量分数
- 特点: 数据质量高,覆盖广泛的指令类型和领域
2. OpenMathReasoning-mini
专注于数学推理能力的微调数据集,包含各种数学问题及其详细解答过程。
- 来源: unsloth/OpenMathReasoning-mini
- 样本数量: 19,252
- 格式: 包含数学问题、期望答案、问题类型、解答过程等字段
- 特点: 增强模型的数学推理和思维链(Chain-of-Thought)能力
使用方法
这些数据集适用于Qwen3系列模型的监督微调(SFT),可以通过以下方式使用:
from datasets import load_from_disk
# 加载FineTome数据集
finetome_dataset = load_from_disk("FineTome")
# 加载OpenMathReasoning数据集
math_dataset = load_from_disk("OpenMathReasoning")
许可说明
请注意,使用这些数据集时需遵循原始数据集的许可条款。在商业应用前,请确认相应的使用权限。
9 个文件
浏览文件数据集版权信息
本数据集的许可证为 Apache License 2.0。如有违反相关条款,请联系 WEHUB,我们将及时处理。
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本(如果页面提供版本)。文件字节由本机直连存储下载,浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上,以及 npm(或 npx)。
1. 安装 CLI
npm install -g wehub-cli@latest
2. 下载此数据集
wehub datasets download ds_ext_e5418a43e6 --revision 963d9a8eb06f3c8fdace8d2d2de4f7ee156ea6e5 --output ./ds_ext_e5418a43e6
若中断或部分失败,在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_ext_e5418a43e6 --revision 963d9a8eb06f3c8fdace8d2d2de4f7ee156ea6e5 --output ./ds_ext_e5418a43e6
高级选项
以下为 wehub datasets download 已支持的参数示例:
强制重新下载,不复用已校验的本地文件
wehub datasets download ds_ext_e5418a43e6 --revision 963d9a8eb06f3c8fdace8d2d2de4f7ee156ea6e5 --output ./ds_ext_e5418a43e6 --overwrite
仅包含匹配路径
wehub datasets download ds_ext_e5418a43e6 --revision 963d9a8eb06f3c8fdace8d2d2de4f7ee156ea6e5 --output ./ds_ext_e5418a43e6 --include "*.jsonl"
排除匹配路径
wehub datasets download ds_ext_e5418a43e6 --revision 963d9a8eb06f3c8fdace8d2d2de4f7ee156ea6e5 --output ./ds_ext_e5418a43e6 --exclude "*.md"
提高并发下载数
wehub datasets download ds_ext_e5418a43e6 --revision 963d9a8eb06f3c8fdace8d2d2de4f7ee156ea6e5 --output ./ds_ext_e5418a43e6 --jobs 8
完整帮助:wehub datasets download --help