MERIT数据集：对可解释转录本的建模与高效渲染

《Pattern Recognition》：The MERIT Dataset: Modelling and Efficiently Rendering Interpretable Transcripts

多模态文档理解合成数据集MERIT的构建与挑战分析，包含33k标注样本，融合文本、图像与布局特征，支持语言模型偏见评估和复杂OCR任务，对比现有数据集展现显著性能差距。

　　MERIT 数据集的提出，标志着在视觉丰富文档理解（Visually-rich Document Understanding, VrDU）领域的一个重要进展。该数据集是一个多模态、完全标注的数据集，涵盖了学校成绩报告。它包含了超过400个标签和33,000个样本，为训练模型提供了丰富的资源。MERIT 数据集通过将文本、视觉和布局领域的模式进行关联，展现了其在多模态特征上的独特优势。同时，该数据集还以受控的方式引入了偏差，使其成为评估语言模型（Large Language Models, LLMs）中偏差的一个重要工具。

在人工智能领域，数据的获取和合成数据生成（Synthetic Data Generation, SDG）是提升模型性能和可靠性的关键环节。合成数据的生成通常依赖于诸如生成对抗网络（Generative Adversarial Networks, GANs）等模型，但这种方法往往难以捕捉和链接多模态的模式与标签。因此，研究者们探索了另一种方法，即使用现成的软件构建定制化的生成流程，以便更直接地获取特定的特征。MERIT 数据集正是基于这一策略，通过这种方式实现了文本、布局和视觉模式的准确对齐。

当前的研究指出，现有文本识别数据集在提取文本方面存在诸多限制。例如，扫描文本与场景文本之间存在显著差异，包括透视畸变和噪声，这使得模型在处理更复杂的情境时面临挑战。此外，缺乏能够提供扫描样本与场景样本之间双重关系的数据库，无论是真实还是合成的，也限制了模型的泛化能力。同时，没有合成数据生成流程能够提供具有语义连贯性的详细文档样本，这也是一个亟待解决的问题。

在多模态训练数据集的构建过程中，尤其是文本、图像、音频或布局等复杂场景，往往被忽视。最近的研究强调，需要专门的数据集来提升模型对多样文档结构的处理能力。例如，SCUT-HCCDoc 数据集专注于手写中文文本，而 DSText V2 数据集则关注视频中的文本检测。这些专门的数据集表明，针对特定领域的需求，构建专门的资源至关重要。此外，比较 OCR 引擎的基准研究也揭示了在密集、小尺寸文本或退化图像处理中的挑战。

从整体角度来看，深度学习的发展路径是清晰的：大型机构通常从头开始开发模型，而终端用户则通过迁移学习或微调的方式使用预训练模型。这种方法在诸如 YOLO 和基于 Transformer 的架构（包括用于 VrDU 任务的 LayoutLM 家族）中已被证明是有效的。然而，终端用户需要高质量、具有代表性的数据集，以提取与其特定领域相关的内在模式。

合成数据生成在数据收集过程中减少了人类的参与，并增强了数据标注，特别是在数据保护法规限制高质量数据访问的情况下。它还允许在受控环境下引入偏差，从而帮助测试和缓解模型在应用中的偏差问题，例如在大型语言模型（LLMs）和语音识别中的偏差。

这些技术原因（数据稀缺、过时的数据、以及有限的灵活性）和模型创建者与使用者之间的分野，促使我们探索基于 Transformer 架构的合成数据集生成方法，特别是在文档抓取和 VrDU 任务中。尽管像 FUNSD、XFUND、CORD 和 SROIE 这样的现有数据集已帮助诸如 LayoutLMv3、DONUT 和 UDOP 等先进模型实现了优异的指标，但挑战依然存在。这些模型在处理包含更多类别或复杂布局的高难度情境时，表现出一定的泛化能力不足。

MERIT 数据集旨在通过提供复杂的文档布局和具有挑战性的文本表示，解决现有资源的局限性，使其适用于广泛的应用场景。该数据集能够建立查询与答案之间的多模态模式关系，这与像 Open Images V4 这样的视觉数据集在视觉领域提供的模式关系类似。通过提供这种复杂性，MERIT 数据集支持在 OCR 和 VrDU 任务中训练和评估多模态模型，这些任务需要理解文本与布局之间的关系。此外，借鉴文本操控检测和使用 BiLSTM 增强的 CycleGAN 进行文本去噪的研究成果，MERIT 数据集还包含了复杂的表格结构和文档层次结构的解析能力。

本文介绍了 MERIT 数据集及其生成流程，该数据集是一个多模态数据集，包含合成的数字文档和逼真的图像样本，这些样本是在学校报告的背景下生成的。数据集的生成流程包括多个步骤，首先创建原始样本，然后通过 Blender 模块进行修改，以生成最终的合成样本。整个流程确保了数据的多样性、复杂性和准确性，使其成为训练和评估模型的理想选择。

本文的主要贡献包括以下几个方面：首先，提出并介绍了 MERIT 数据集，这是一个用于 VrDU 任务的多模态（文本 + 图像 + 布局）完全标注数据集，包含 33,000 个样本，并已在 HuggingFace 上公开。其次，提供了一个详细且全面的生成流程，以复制、修改或扩展数据集，代码也在 GitHub 上公开。第三，建立了一个基准，以证明数据集在训练模型中的重要性。第四，引入了一个合成的受控偏差数据集，以应对数据隐私政策，评估 LLMs 中的偏差。

在本文的结构中，首先在第二部分回顾了相关工作，然后在第三部分描述了合成生成流程，包括样本生成过程和 Blender 模块的功能。第四部分详细分析了 MERIT 数据集的结构，包括其布局、文本、视觉和伦理特征。第五部分通过实验验证了数据集的相关性，展示了其在训练不同模型时的挑战性。最后，在第六部分讨论了本文的贡献，并概述了未来的研究方向。

通过 MERIT 数据集的构建和使用，研究者们希望为 VrDU 任务提供一个更全面、更具挑战性的数据集，以推动模型的发展。该数据集不仅能够提升模型在复杂文档结构中的理解能力，还能帮助研究者评估和缓解模型中的偏差问题。同时，它为多模态模型的训练和评估提供了丰富的资源，使模型能够在 OCR 和 VrDU 任务中更好地处理文本与布局之间的关系。

在实验部分，我们测试了 MERIT 数据集在两个任务中的表现：标记分类（Token Classification, TC）和关键信息提取（Key Information Extraction, KIE）。对于 TC 任务，我们使用了 LayoutLM 家族的模型，包括 LayoutLMv2、LayoutLMv3 和 LayoutXLM。其中，LayoutLMv2 和 v3 使用的是英文样本，而 LayoutXLM 使用的是西班牙文样本。对于 KIE 任务，我们使用了 DONUT 和 PaliGemma 等模型。这些实验不仅验证了数据集的多样性，也展示了其在训练不同模型时的挑战性。

在结论部分，我们关注的是数据集对先进模型的有效性评估，而不是仅仅展示模型的输出结果。我们的目标是证明数据集的可靠性，同时指出模型改进的方向。通过与 FUNSD/XFUND、RVL-CDIP 和 CordV2 等数据集的对比实验，我们展示了 MERIT 数据集在提升模型性能方面的潜力。这些实验结果表明，MERIT 数据集在挑战模型方面具有显著的优势，特别是在处理复杂布局和多样文本表示时。

此外，作者在撰写过程中使用了 Grammarly 和 ChatGPT 等工具，以提高文章的清晰度、语法和句子结构。随后，作者对内容进行了全面的审查和编辑，承担了发表内容的全部责任。作者声明，他们没有已知的与本文研究相关的财务利益或个人关系，这确保了研究的独立性和客观性。

最后，作者对本次研究提供了支持的机构表示感谢，包括为研究提供资源的“智能产业”主席。他们也感谢了 Mauro Liz Soto 作为研究学生的贡献。此外，作者对 Universidad Pontificia Comillas 的秘书处工作人员表示感谢，因为他们在签署保密协议的前提下提供了真实的成绩报告样本。

综上所述，MERIT 数据集的提出和构建为多模态模型的训练和评估提供了重要的资源。它不仅能够提升模型在处理复杂文档结构时的能力，还能帮助研究者评估和缓解模型中的偏差问题。通过其多样性和复杂性，MERIT 数据集在 VrDU 任务中展现了广泛的应用前景，为人工智能的发展做出了积极贡献。