关于多输入组合模式生成网络的神经进化：以娱乐计算、边缘设备和智慧城市为例

《ACM Transactions on Sensor Networks》：On Neuroevolution of Multi-Input Compositional Pattern Producing Networks: A Case of Entertainment Computing, Edge Devices, and Smart Cities

该研究首次提出利用异构激活神经网络（HA-NNs）进化强化学习模型解决阿塔里和索尼克等经典游戏AI问题，并创新性地将HA-NNs应用于边缘设备数据传输优化。实验表明HA-NNs在CartPole-v1、Lunar Lander Continuous和MountainCar-Continuous等基准测试中表现优异，得分分别达到500和98.2，同时有效降低边缘设备通信负载，为智能城市和娱乐系统提供新方案。

　　

摘要

本研究提出了一种新颖的方法，利用异构激活神经网络（HA-NNs）来优化人工神经网络（ANNs）的权重，以应用于Atari的Breakout和Sonic the Hedgehog等主机及街机游戏中的强化学习任务。这是首次探索HA-NNs在解决游戏相关强化学习问题方面潜力的研究。此外，该方案还优化了边缘设备之间的数据传输，标志着HA-NNs的一项新应用。研究取得了显著成果，在CartPole-v1、Lunar Lander Continuous和MountainCar-Continuous等基准测试环境中，使用NEAT（Neuroevolution of Augmenting Topologies）算法进化出的HA-NNs和ANNs的表现优于以往的研究成果。特别是在CartPole-v1中取得了500分的优异成绩，在Mountain Car Continuous中达到了98.2分的成绩，证明了HA-NNs在强化学习任务中的有效性。除了游戏领域，该研究还解决了边缘设备之间高效数据通信的问题，这有助于提升智能城市的性能，同时减轻边缘设备的负担，并实现几乎无延迟的娱乐体验。这项工作开创了HA-NNs在计算机游戏强化学习中的应用，并提出了一种优化边缘设备通信的新方法，为人工智能、神经网络和智能城市技术领域带来了重要进展。