数字人文学中微工作众包的公平性探索：教学训练与多模态指令对标注质量的影响

《Digital Scholarship in the Humanities》：Can digital humanities use microwork crowdsourcing in a fair manner? The effect of pedagogical training and multimodal instructions on annotation quality

本研究针对数字人文学领域如何公平运用微工作众包的问题，通过实验评估了多模态指令（结合文字与视觉内容）和教学训练对提升标注质量的作用。研究发现，多模态指令显著提高了工人任务完成质量，而教学训练未带来显著改善。结果强调了任务设计透明化与公平性在众包应用中的重要性，为数字人文学中数据标注任务的伦理实践提供了新思路。

　　

在数字人文学（Digital Humanities）研究中，众包（Crowdsourcing）已成为一种高效的数据处理方式，尤其在文化遗产数字化（如档案转录、图像标注）中广泛应用。然而，依赖志愿者（Volunteer-based Crowdsourcing）的模式存在明显局限：项目可能因缺乏吸引力而无法招募足够志愿者，或参与者因兴趣减退而中途退出。与此同时，付费微工作（Microwork Crowdsourcing）平台（如Amazon Mechanical Turk、Toloka）虽能提供稳定、高效的劳动力，却长期因“数字血汗工厂”的指责而备受争议——工人薪酬低廉、任务透明度低、语言障碍及隐性劳动（Invisible Labor）等问题突出。如何在不牺牲数据质量的前提下实现公平众包，成为数字人文学者亟待解决的难题。

为此，赫尔辛基大学多模态研究组的Rosa Suviranta与Tuomo Hiippala开展了一项创新研究，探讨通过多模态指令（Multimodal Instructions）和教学训练（Pedagogical Training）提升微工作众包的公平性与数据质量。研究以初级自然科学图表标注为任务场景，通过对比实验发现，多模态指令能显著改善工人对复杂任务的理解，而教学训练的效果则未达预期。这一成果发表于《Digital Scholarship in the Humanities》，为数字人文学领域负责任地使用众包提供了实证依据。

关键方法概述

研究基于Toloka平台招募工人，使用AI2D（Allen Institute for Artificial Intelligence Diagrams）数据集中的100张图表作为标注对象。通过设计多模态（图文结合）与纯文本指令的对比实验，以及三种训练模式（教学式、单次式、随机式），评估工人标注准确性。数据质量采用交并比（Intersection over Union, IoU）和F1分数（F1-score）量化，并通过McNemar检验进行统计显著性分析。所有任务支付公平时薪（约15美元/小时），并采用算法验证标注有效性。

研究结果

1. 多模态指令显著提升工人表现

对比多模态指令与纯文本指令组的标注结果，前者在任务准确率上达到47.2%，显著高于后者的40.6%。多模态指令通过图文结合的方式清晰展示了任务目标、操作工具及预期成果，减少了因语言能力差异或任务理解偏差导致的错误。例如，指令中明确标注“源”元素（Source Element）与“目标”元素（Target Element）的对应关系，并辅以图示说明如何绘制精确轮廓。

这一设计尤其有利于非英语母语工人和新手工人，降低了因指令模糊而产生的隐性劳动（如任务被拒付）。研究进一步指出，多模态指令还能增强任务透明度，明确标注薪酬与数据用途，符合交互公平性（Interactional Fairness）原则。

2. 教学训练未显著改善标注质量

尽管教学训练被假设能通过反复示例与反馈提升工人技能，但实验结果显示，教学训练组（准确率47.2%）、单次训练组（51.2%）与随机训练组（46.4%）之间无显著差异。甚至单次训练（One-shot Training）反而略优于教学训练。分析认为，微工人主要以经济报酬为动机，冗长的训练可能被视为无薪劳动，导致工人急于跳过训练环节以尽快接入付费任务。

此外，研究对“正确”标注的标准极为严格（要求F1=1.0），现实中可通过交叉验证（Cross-checking）机制进一步提升质量。这表明，训练设计需平衡学习效率与工人动机，避免过度延长训练周期。

结论与意义

本研究证实，多模态指令是提升微工作众包质量与公平性的有效手段，能缓解语言障碍、隐性劳动及任务理解偏差等问题。然而，教学训练的局限性提示，在付费众包中需优先优化指令清晰度而非依赖训练流程。

对于数字人文学而言，微工作众包为缺乏志愿者吸引力的项目（如专业性强或数据枯燥的任务）提供了替代方案，但公平实践要求研究者公开薪酬结构、任务设计及数据用途，并推动平台承担更多责任。未来研究需进一步探索训练时长、内容与工人动机的平衡点，以及平台结构对劳资权力的影响。

这一工作不仅为数字人文学的数据标注实践提供了方法论指导，更深化了对众包伦理中“公平性”多维度的理解——唯有在效率与公正间取得平衡，众包才能真正成为赋能研究者与工人的共赢工具。