面向公共卫生政策依从性评估的众包驱动AI模型设计框架CrowdDesign

《IEEE Transactions on Emerging Topics in Computing》：A Crowdsourcing-Driven AI Model Design Framework to Public Health Policy-Adherence Assessment

本刊推荐：针对突发公共卫生事件中政策依从性评估的AI模型设计优化难题，研究团队提出了一种基于主观逻辑的众包驱动框架CrowdDesign。该框架通过联合架构-超参数空间缩减(JASR)模块和概率推理最优模型设计(POMD)模块，有效融合AI与人类智能，在口罩佩戴(MWPA)和社交距离(SDPA)两项政策评估任务中，准确率分别提升至90.30%和78.54%，显著优于现有基线方法。这项研究为数据稀缺场景下的自适应AI模型优化提供了新范式，对智能医疗、交通管理等AI敏感型应用具有重要推广价值。

　　

在COVID-19等突发公共卫生事件中，政府机构亟需快速评估公众对防疫政策的遵守情况，而社交媒体平台恰好能提供海量的实时图像数据。然而，现有AI模型在分析这些图像时面临两大难题：一是模型性能高度依赖网络架构和超参数配置的组合选择，传统方法需要大量高质量标注数据才能实现有效优化；二是在紧急事件中，专业AI人才的参与成本高且响应速度慢。更棘手的是，网络架构搜索(NAS)与超参数优化(HPO)之间存在"鸡生蛋"式的相互依赖关系——单独优化其中任一要素都可能导致模型陷入局部最优。

如图1所示，三个AI模型设计实例对同一场景的口罩佩戴评估结果出现显著差异：人类能准确判断所有人均正确佩戴口罩，而某些AI设计却产生误判。这启示研究者：普通众包工作者的感知能力可能成为突破AI模型设计瓶颈的关键。但如何将需要专业知识的复杂AI设计问题转化为大众可参与的任务？又该如何平衡模型优化过程中的计算效率与搜索广度？这些挑战催生了本项研究。

针对上述问题，Yang Zhang等人在《IEEE Transactions on Emerging Topics in Computing》上提出了CrowdDesign框架。该框架的核心创新在于将主观逻辑(Subjective Logic)理论与众包机制相结合，通过两个关键模块实现AI模型设计的自动化优化：首先，联合架构-超参数空间缩减(JASR)模块采用预算约束非随机多臂赌博机(BNMB)模型，在有限计算资源下快速筛选出包含最优设计的高概率候选集；其次，概率推理最优模型设计(POMD)模块构建混合评估委员会(Hybrid Estimation Committee)，通过迭代计算各评估单元（AI模型实例与众包工作者）的置信度与不确定性，最终确定最优AI模型设计实例Φ^*。

主要技术方法包括：1）基于上置信界(UCB)算法的空间搜索策略，平衡模型设计的探索与利用；2）利用香农熵选取AI模型分歧样本进行众包标注；3）通过主观逻辑的三元组（置信度、不置信度、不确定性）融合多源评估意见；4）使用Demspter-Shafer理论合成群体决策。实验采用Twitter平台采集的2,165张口罩佩戴图像和1,027张社交距离图像，通过Amazon Mechanical Turk招募479名（MWPA）和232名（SDPA）众包工作者参与标注。

研究结果

分类性能验证

在口罩政策依从性评估(MWPA)任务中，CrowdDesign的准确率达到90.30%，较最优基线CrowdNAS提升3.93%；马修斯相关系数(MCC)达0.7324，优于所有对比方法（表II）。对于社交距离政策(SDPA)任务，其准确率（78.54%）和F1分数（0.7660）同样显著领先（表III）。这表明该框架能适应不同政策评估场景的视觉特征差异。

鲁棒性测试

如图4所示，当众包查询比例从5%增至25%、单任务标注人数从3人变为7人时，CrowdDesign在两项任务中的性能波动均小于ResNet、BOHB等基线方法。特别是在标注准确率仅80.9%的SDPA任务中仍保持稳定，证明其能有效抵御众包数据质量波动的影响。

收敛特性分析

主观逻辑的迭代学习过程在5轮内快速收敛（图5），且最终生成的群体决策意见中，不确定性指标降至0.29以下。例如对某AI模型的聚合评估结果为：置信度0.53、不置信度0.18、不确定性0.29，说明系统能明确识别需要进一步验证的设计方案。

优化策略对比

如图6所示，将众包数据用于模型优化而非直接重训练时，性能提升幅度高出12.7%-15.3%。这验证了"通过人类智能指导AI设计优化比单纯扩充训练集更有效"的核心假设。

讨论与展望

研究团队指出CrowdDesign的三重局限性：首先，众包数据质量依赖任务设计清晰度，需通过分层奖励机制和异常检测系统保障标注一致性；其次，当前仅支持卷积神经网络架构，未来可结合AutoFormer等工具扩展Transformer架构搜索；最后，社交媒体图像的样本代表性偏差需通过多平台（Twitter、Instagram等）数据融合缓解。

在应用前景方面，该框架已展示出向智能交通、推荐系统等领域的迁移潜力。例如在交通事故预测场景中，可融合传感器数据与驾驶员众包报告，动态调整AI模型架构以适应突发路况。值得注意的是，研究者特别强调了伦理约束——通过像素化、哈希处理等技术遵守GDPR等数据规范，仅使用用户公开授权图像。

本研究开创性地将主观逻辑与众包机制深度融合，解决了突发公共卫生事件中AI模型设计的自适应优化难题。通过理论推导与实证验证，不仅证实了人类智能在复杂AI系统优化中的不可替代性，更为数据稀缺场景下的智能决策系统提供了可扩展的工程范式。未来工作可探索联邦学习框架下的分布式众包优化，进一步降低对中心化数据集的依赖。