数据集 / AI-ModelScope/LaTeX_OCR

AI-ModelScope/LaTeX_OCR 已完整同步

LaTeX OCR 的数据仓库

本数据仓库是专为 LaTeX_OCR 及 LaTeX_OCR_PRO 制作的数据，来源于 https://zenodo.org/record/56198#.V2p0KTXT6eA 以及 https://www.isical.ac.in/~crohme/ 以及我们自己构建。

如果这个数据仓库有帮助到你的话，请点亮 ❤️like ++

后续追加新的数据也会放在这个仓库 ~~

原始数据仓库在github LinXueyuanStdio/Data-for-LaTeX_OCR.

数据集

本仓库有 5 个数据集

  1. small 是小数据集，样本数 110 条，用于测试
  2. full 是印刷体约 100k 的完整数据集。实际上样本数略小于 100k，因为用 LaTeX 的抽象语法树剔除了很多不能渲染的 LaTeX。
  3. synthetic_handwrite 是手写体 100k 的完整数据集，基于 full 的公式，使用手写字体合成而来，可以视为人类在纸上的手写体。样本数实际上略小于 100k，理由同上。
  4. human_handwrite 是手写体较小数据集，更符合人类在电子屏上的手写体。主要来源于 CROHME。我们用 LaTeX 的抽象语法树校验过了。
  5. human_handwrite_print 是来自 human_handwrite 的印刷体数据集，公式部分和 human_handwrite 相同，图片部分由公式用 LaTeX 渲染而来。

使用

加载训练集

  • name 可选 small, full, synthetic_handwrite, human_handwrite, human_handwrite_print
  • split 可选 train, validation, test
>>> from modelscope import MsDataset
>>> train_dataset = MsDataset.load("AI-ModelScope/LaTeX_OCR", subset_name="small", split="train")

>>> train_dataset[2]
{'image': <PIL.PngImagePlugin.PngImageFile image mode=RGB size=200x50 at 0x15A5D6CE210>,
 'text': '\\rho _ { L } ( q ) = \\sum _ { m = 1 } ^ { L } \\ P _ { L } ( m ) \\ { \\frac { 1 } { q ^ { m - 1 } } } .'}
>>> len(train_dataset)
50

# 备注： default subset为full，加载full时直接使用:
>>> ds = MsDataset.load("AI-ModelScope/LaTeX_OCR", split="train")

加载所有

>>> from modelscope import MsDataset
>>> dataset = MsDataset.load('AI-ModelScope/LaTeX_OCR', subset_name='small')
>>> dataset
DatasetDict({
    train: Dataset({
        features: ['image', 'text'],
        num_rows: 50
    })
    validation: Dataset({
        features: ['image', 'text'],
        num_rows: 30
    })
    test: Dataset({
        features: ['image', 'text'],
        num_rows: 30
    })
})

18 个文件

浏览文件

数据集版权信息

本数据集的许可证为 Apache License 2.0。如有违反相关条款，请联系 WEHUB，我们将及时处理。