数据集
4 个数据集
热门分类：
OctoCodingBench 是一个专注于评估编码代理指令遵循能力的基准数据集。它包含 72 个精心设计的实例，每个实例都伴有任务描述、系统提示和总计 2422 个可客观判定的检查项。与仅关注任务完成度的传统基准不同，该数据集特别强调代理在解决代码任务过程中是否严格遵守系统约束、项目规范、工具使用协议等多源指令。通过多维度、二值化的检查清单，它能够有效区分任务成功与规则遵循之间的差异，为代理的可靠性和可控性评估提供了更全面的视角。
InfoSeek 是一个面向深度研究（Deep Research）任务的合成数据集，旨在解决需要多步推理、层次化分解和证据综合的复杂问题。数据集包含多个子集：完整的检索树结构（52K 样本），记录了从根问题到子问题的逐步展开过程；基于这些树生成的问答对；一个难度更高的 18K 子集，适合用于端到端强化学习；以及 17K 的推理轨迹，可用于监督微调。此外，还提供了一个 300 条的高难度评估集，包含短而可验证的答案，专门用于评估模型在深层搜索问答上的表现。整个数据集遵循 Apache-2.0 许可，语言为英文。
该数据集是一个百万级的中英文混合语料，中文占比54%，英文占比46%，覆盖金融、社会、生物、商业、工业制造、化学、车辆、科学、疾病医疗、个人生活、安全和通用等12个领域，适用于数百个使用场景。数据主要支持三种信息抽取任务：命名实体识别（NER）涵盖中文28种实体类型和英文130种实体类型；关系抽取（RE）涵盖中文232种关系和英文236种关系；事件抽取（EE）涵盖中文84种事件类型和203种论元，以及英文45种事件类型和62种论元。
AgentWorldBench是一个评估语言世界模型能力的综合基准，它基于前沿模型在真实环境中执行任务时的轨迹数据构建而成。该基准覆盖了七个领域：API服务器响应、搜索引擎结果、命令行环境、代码编辑环境、Android UI、浏览器DOM以及桌面操作系统。每个评估样本包含多轮交互历史，要求模型根据之前的动作和观察，预测当前环境观察结果。评价维度包括格式、事实性、一致性、真实性和质量，旨在全面检验世界模型在推理、知识和长上下文理解方面的能力。