数据集
11 个数据集
热门分类：
UNO-Bench是一个统一的全模态模型基准测试，旨在评估单模态与全模态（视觉、音频、语言）的理解能力。它包含44种任务类型和5种模态组合，共1250个人工标注的全模态样本和2480个增强的单模态样本。该数据集特别适合中文真实场景，支持多选和创新的多步开放式问题，并借助通用评分模型实现高效自动评估。通过该基准，可以揭示全模态能力在弱模型上的瓶颈效应与强模型上的协同促进规律。
这是一个包含约9万张合成数字签名图片的数据集，涵盖了30种手写与签名风格的字体。每种字体提供3000张签名样本，图片格式统一为PNG。数据集可用于训练和评估数字签名检测、字体识别以及文档验证等计算机视觉任务，特别适用于识别那些通过键盘输入、模仿真实手写签名的“打字数字签名”。
deepseek-ai/Janus-Pro-7B
已完整同步
Janus-Pro 是一个统一的多模态理解与生成框架，通过解耦视觉编码路径，在保持单一统一 Transformer 架构的同时，缓解了视觉编码器在理解与生成任务中的冲突，提升了灵活性与性能。该模型基于 DeepSeek-LLM 构建，在理解任务中使用 SigLIP-L 视觉编码器（支持 384×384 图像输入），图像生成则采用下采样率为 16 的 tokenizer，在多项任务上达到或超越了专用模型的水平。
GSM8K-V 是一个纯视觉的多图像数学推理基准，旨在将传统文本数学应用题转化为视觉形式。它包含 1,319 个高质量的多场景问题（共 5,343 张图像），覆盖了从现实场景中提取的数学推理任务。该基准可用于评估视觉语言模型在理解图像、跨图像推理以及解决算术问题方面的能力。评测结果表明，即使是当前最强的模型，在视觉数学推理上也与文本任务存在显著差距，凸显了该领域仍有很大的提升空间。
EduBench是一个面向教育场景的综合性评估基准数据集，专门用于衡量大语言模型在多样化教学任务中的表现。它覆盖了学生和教师两大视角，共包含十个子任务，如问答、纠错、情感支持、自动出题、评分与教案生成等。数据以JSONL格式提供，每条记录包含任务元信息、输入提示词，以及多个主流大模型的预测结果，便于研究者进行对比分析。
LIFEBench是一个专门用于评估大语言模型遵循长度指令能力的综合基准数据集。它包含英文和中文两种语言，覆盖问答、摘要、文本生成等多种任务，长度约束范围从16个单词到8192个单词不等。数据集提供了多个子集（如主集、标签集、精简集和重构集），方便不同场景下的评估。通过分析多个主流模型，该数据集发现大多数模型在短长度指令上表现良好，但超过一定长度后性能急剧下降，揭示了当前大语言模型在长度遵循方面的根本性局限。
OmniConsistency 是一个大规模的多风格图像翻译数据集，包含了 22 种独特的艺术风格。每种风格都提供了对齐的图像对：原始图像（如照片或线稿）和对应的风格化图像，并附带描述该艺术风格的文本提示。该数据集适用于风格迁移、图像到图像生成、基于提示的条件生成以及一致性学习等任务。
AgentIF-OneDay 是一个专为评估通用 AI 代理在日常场景中指令跟随能力而设计的基准测试集。它包含 104 个真实感任务，覆盖工作、生活和学习三大领域，强调代理需要处理复杂附件、理解隐含指令并生成具体文件输出。任务类型包括开放工作流执行、潜在指令推断和迭代优化，每个任务均配有详细的评分标准与预期完成时间，适合用于全面衡量代理在多样化日常需求上的表现。
该数据集包含约50万条数据科学指令，用于训练能够自主完成数据科学任务的大语言模型。内容覆盖数据准备、分析、建模、可视化和报告生成等完整流程，支持对结构化、半结构化和非结构化数据的研究分析。
VitaBench是一个用于评估大语言模型代理能力的基准测试，基于真实生活服务场景构建，涵盖外卖、到店消费和在线旅游等领域。该基准集成了66种工具，包含100个跨场景任务和300个单场景任务，要求代理在多轮对话中理解模糊指令、追踪用户意图并灵活调用工具。评估显示，当前最先进的模型在跨场景任务上仅能达到32.5%的成功率，凸显了该基准在推动实用化AI代理发展方面的价值。
OpenOrca是一个大规模英语数据集，专注于自然语言处理中的指令跟随与对话任务。它包含约100万条由GPT-4生成的完成数据和约320万条由GPT-3.5生成的完成数据，总计约420万条样本。该数据集基于FLAN Collection进行增强，旨在与Orca论文中描述的分布对齐，可用于训练和评估高性能语言模型。其覆盖的任务类型广泛，包括对话、问答、文本分类、摘要、文本生成等。数据集采用MIT许可协议开放，是NLP研究和开发的重要资源。