基于分布式强盗算法的合作进化机制在大规模多目标数据发布中的应用

《IEEE Transactions on Services Computing》：Distributed Bandit-Based Cooperative Coevolution for Large-Scale Multi-Objective Data Publishing

大数据发布中隐私保护与透明度平衡问题，本文提出分布式带隙协同进化算法（DBCC），通过聚类分组、带隙协同优化和动态进化模块实现多目标优化，实验表明在15个测试案例中准确率提升247.16%，并行效率达3.45。

　　

摘要：

在发布数据时，组织必须在透明度要求与数据隐私问题之间取得平衡。本文介绍了一种基于分布式强盗算法（Distributed Bandit）的合作进化（Cooperative Coevolution，简称DBCC）算法，该算法解决了大规模数据集中的可扩展性和适应性挑战。DBCC通过分而治之的方法优化了隐私保护和透明度，该方法包含三个连续模块：基于聚类的分组模块、基于强盗算法的合作进化模块（Bandit-based Cooperative Coevolution，简称CC）以及进化模块。在分组模块中，DBCC算法将相似的记录聚类到相同的子问题中。CC模块同时优化子群体中的子问题，并测量它们的当前和潜在贡献。它能够自适应地分配群体资源，以维持探索与利用之间的平衡。为了在离散域数据发布中实现差分进化（Differential Evolution，简称DE），该算法采用了基于集合的变异操作和基于透明度的交叉操作。最后，进化模块生成最终的完整解决方案。通过实验验证，我们发现所提出的DBCC在所有15个测试实例中的解决方案准确率显著高于现有的最先进算法，提高了247.16%。我们验证了DBCC各个组件的有效性，并研究了参数的影响。此外，我们的研究还表明，当并行粒度为10时，加速比可达到3.45倍。

引言

如今，数据透明度已成为许多数据密集型应用的关键要求[1]。数据透明度指的是能够访问用于影响个人的过程和决策中的数据[2]。它带来了多种好处，包括提高对数据收集和使用的了解、增强算法和系统的公平性以及提高研究的可重复性[3]。从物联网系统[4]到医疗诊断[5],[6]，现代应用越来越需要在保护隐私的同时实现透明的数据处理[5],[7]。涉及数据透明度的现有法规包括欧盟通用数据保护条例[8]和加州消费者隐私法[9]。在发布数据以满足透明度要求时，隐私和匿名性[10],[11]是必须考虑的关键因素[12]。因此，在大规模数据发布中平衡隐私和透明度是一个重大挑战[13],[14]。多目标优化（Multi-objective Optimization，简称MOO）的最新进展在多个应用领域取得了显著成果，包括图像处理[16]、社交网络检测[17],[18]和特征选择[19],[20]。本文旨在通过提高大规模多目标数据发布（Large-Scale Multi-Objective Data Publishing，简称LSMODP）问题的优化效率和效果来解决这一问题[21]。