数据集
10 个数据集
热门分类：
UNO-Bench是一个统一的全模态模型基准测试，旨在评估单模态与全模态（视觉、音频、语言）的理解能力。它包含44种任务类型和5种模态组合，共1250个人工标注的全模态样本和2480个增强的单模态样本。该数据集特别适合中文真实场景，支持多选和创新的多步开放式问题，并借助通用评分模型实现高效自动评估。通过该基准，可以揭示全模态能力在弱模型上的瓶颈效应与强模型上的协同促进规律。
MMLU 是英文多任务语言理解评测集，覆盖抽象代数、法律、医学、计算机科学等多个学科，以多项选择题评估模型的知识与推理能力。
ToxiMol 是一个专门用于分子毒性修复的基准数据集，包含 660 个具有代表性的有毒分子，覆盖多种毒性机制和不同粒度。它提供了 11 项主要的毒性修复任务，每个任务对应一个特定的毒性终点（如致突变性、致癌性、心脏毒性等）。数据集采用多模态输入，包括 SMILES 字符串和通过 RDKit 渲染的二维分子结构图像，旨在评估多模态大语言模型在结构层面进行分子去毒化时的能力。该基准适用于分类与回归任务，是药物发现和分子设计领域的重要资源。
VIBE（Visual & Interactive Benchmark for Execution）是一个专门用于评估大语言模型（LLM）在真实全栈软件开发中能力的基准数据集。它包含200个精心设计的任务，覆盖Web前端、科学模拟、原生Android、原生iOS和后端开发五个子集，每个任务都提供了自然语言需求描述。该数据集采用创新的“Agent-as-a-Verifier”（AaaV）评估范式，从执行能力、交互逻辑和视觉表现三个维度对生成的应用程序进行综合评分，旨在推动LLM从“0到1”构建可交付应用的能力。
LIFEBench是一个专门用于评估大语言模型遵循长度指令能力的综合基准数据集。它包含英文和中文两种语言，覆盖问答、摘要、文本生成等多种任务，长度约束范围从16个单词到8192个单词不等。数据集提供了多个子集（如主集、标签集、精简集和重构集），方便不同场景下的评估。通过分析多个主流模型，该数据集发现大多数模型在短长度指令上表现良好，但超过一定长度后性能急剧下降，揭示了当前大语言模型在长度遵循方面的根本性局限。
OmniConsistency 是一个大规模的多风格图像翻译数据集，包含了 22 种独特的艺术风格。每种风格都提供了对齐的图像对：原始图像（如照片或线稿）和对应的风格化图像，并附带描述该艺术风格的文本提示。该数据集适用于风格迁移、图像到图像生成、基于提示的条件生成以及一致性学习等任务。
该数据集包含约50万条数据科学指令，用于训练能够自主完成数据科学任务的大语言模型。内容覆盖数据准备、分析、建模、可视化和报告生成等完整流程，支持对结构化、半结构化和非结构化数据的研究分析。
OpenOrca是一个大规模英语数据集，专注于自然语言处理中的指令跟随与对话任务。它包含约100万条由GPT-4生成的完成数据和约320万条由GPT-3.5生成的完成数据，总计约420万条样本。该数据集基于FLAN Collection进行增强，旨在与Orca论文中描述的分布对齐，可用于训练和评估高性能语言模型。其覆盖的任务类型广泛，包括对话、问答、文本分类、摘要、文本生成等。数据集采用MIT许可协议开放，是NLP研究和开发的重要资源。
MNBVC 是一个大规模中文语料数据集，由社区持续整理和更新。它包含多个子集，覆盖学术论文、博客、书籍、企业年报、法律判决书、代码等多种文本类型，适用于文本生成、掩码语言建模等自然语言处理任务。数据集以高质量的中文互联网文本为主，旨在为研究和应用提供丰富的语料资源。
GSM8K（Grade School Math 8K）是一个包含约8500道小学数学应用题的数据集。每个问题都需要2到8步的多步推理，仅涉及基本算术运算（加减乘除），解答以自然语言形式呈现，而非纯数学表达式。该数据集旨在测试语言模型在基础数学推理方面的能力，适合用于文本生成任务。