modelscope/coco_2014_caption 已完整同步
数据集描述
Image-caption task的数据集,包含train和valid
数据集简介
mscoco 2014的image caption数据集。
数据集支持的任务
支持image caption任务
数据集的格式和结构
数据格式
包含image_id, caption, image等信息。
数据集加载方式
from modelscope.msdatasets import MsDataset
ds = MsDataset.load("coco_2014_caption", namespace="modelscope", split="train")
print(ds[0])
数据分片
数据已经预设了train/validation分片,是抽样得到的。
数据集生成的相关信息
原始数据参见:http://cocodataset.org/#home
数据集版权信息
数据集已经开源,暂未找到版权信息,如有违反相关条款,随时联系modelscope删除。
引用方式
@article{DBLP:journals/corr/LinMBHPRDZ14,
author = {Tsung{-}Yi Lin and
Michael Maire and
Serge J. Belongie and
Lubomir D. Bourdev and
Ross B. Girshick and
James Hays and
Pietro Perona and
Deva Ramanan and
Piotr Doll{'{a} }r and
C. Lawrence Zitnick},
title = {Microsoft {COCO:} Common Objects in Context},
journal = {CoRR},
volume = {abs/1405.0312},
year = {2014},
url = {http://arxiv.org/abs/1405.0312},
archivePrefix = {arXiv},
eprint = {1405.0312},
timestamp = {Mon, 13 Aug 2018 16:48:13 +0200},
biburl = {https://dblp.org/rec/bib/journals/corr/LinMBHPRDZ14},
bibsource = {dblp computer science bibliography, https://dblp.org}
}
其他相关信息
数据源自ms coco 2014年的数据,可能存在bias,请合理使用。
Clone with HTTP
3 个文件
浏览文件数据集版权信息
本数据集的许可证为 Apache License 2.0。如有违反相关条款,请联系 WEHUB,我们将及时处理。
下载数据集
通过 WeHub CLI 下载当前数据集快照。下列命令会固定为当前页面展示的数据版本(如果页面提供版本)。文件字节由本机直连存储下载,浏览器不会签发或保存下载链接。
前置要求
需要 Node.js 18 及以上,以及 npm(或 npx)。
1. 安装 CLI
npm install -g wehub-cli@latest
2. 下载此数据集
wehub datasets download ds_ext_916c7495a8 --revision 9a9ef129f67bebe4dbbcebdda341225347c3b8e9 --output ./ds_ext_916c7495a8
若中断或部分失败,在同一目录重新执行同一命令即可续传。默认会校验 SHA-256。
免全局安装
npx --yes wehub-cli@latest datasets download ds_ext_916c7495a8 --revision 9a9ef129f67bebe4dbbcebdda341225347c3b8e9 --output ./ds_ext_916c7495a8
高级选项
以下为 wehub datasets download 已支持的参数示例:
强制重新下载,不复用已校验的本地文件
wehub datasets download ds_ext_916c7495a8 --revision 9a9ef129f67bebe4dbbcebdda341225347c3b8e9 --output ./ds_ext_916c7495a8 --overwrite
仅包含匹配路径
wehub datasets download ds_ext_916c7495a8 --revision 9a9ef129f67bebe4dbbcebdda341225347c3b8e9 --output ./ds_ext_916c7495a8 --include "*.jsonl"
排除匹配路径
wehub datasets download ds_ext_916c7495a8 --revision 9a9ef129f67bebe4dbbcebdda341225347c3b8e9 --output ./ds_ext_916c7495a8 --exclude "*.md"
提高并发下载数
wehub datasets download ds_ext_916c7495a8 --revision 9a9ef129f67bebe4dbbcebdda341225347c3b8e9 --output ./ds_ext_916c7495a8 --jobs 8
完整帮助:wehub datasets download --help