《Journal of Industrial Information Integration》：Agent Based Web Service Composition Using Q-Learning Algorithm with Puffer Fish Optimization and Petri Net Model
编辑推荐：
云服务发现效率低、扩展性差的问题，提出基于Petri网与优化强化学习的PN-ODRL方法，通过Q-learning和Puffer Fish优化提升服务组合响应速度和可靠性，实验显示用户满意度达85%，响应时间9ms。
Pallavi Tiwari | S. Srinivasan
信息技术系，Dr. Akhilesh Das Gupta专业研究学院，新德里，印度
摘要
云计算和基于网络的服务的普及导致了在线网络服务数量和复杂性的显著增加。因此，发现满足用户需求的合适服务已成为一项具有挑战性的任务。传统的Web服务发现技术往往缺乏在动态环境中处理用户期望所需的效率和适应性。此外，在处理大量服务时，这些技术可能会遇到可扩展性受限的问题。这导致服务选择不佳、用户满意度降低以及延迟增加。为了解决这一挑战，提出了一种基于Petri网和优化强化学习（PN-ODRL）的用户需求导向的Web服务发现方法，旨在提高基于代理的服务组合的效率。首先，服务组合将多个与特定任务相关的原子服务结合起来以满足用户需求。然后，利用基于强化学习的Q-learning方法来选择用户所需的网络服务。接下来，使用Petri网模型通过创建新的有限动作组来定义RL动作。每个动作组内的一系列转换确定了最佳服务，这些服务随后被推荐给用户。接着，采用Puffer Fish优化（PFO）来调整Q-learning算法中的学习率和折扣参数，从而提高所提出方法的响应时间、成本和可靠性。实验结果显示，该方法的用户满意度为85%，服务发现效率为9ms，吞吐量为15.3Mbps，可用性为97%，计算时间为24.6s，响应时间为18.3s，处理时间为21.3s，平均驻留时间为12.4s，执行时间为68.8s，可靠性为93%。这种方法减少了响应时间和处理时间，使得服务执行更加迅速。此外，它还能提高用户对系统的满意度。
章节摘录
引言
Web服务是一种集成技术，它利用互联网协议框架来聚合基于Web的应用程序，并采用开放标准。Web服务被视为自包含、自描述的模块，可以快速且经济地组合成分布式应用程序[1]。面向服务的计算（SOC）推广了软件即服务（SaaS）的理念，为快速且低成本地创建分布式应用程序提供了可行的范式。
文献综述
有许多基于代理的Web服务组合方法。下面回顾了一些现有的Web服务组合方法。Shirvani [21] 在多云环境中开发了一个Web服务组合模型。该模型采用了一种考虑风险和成本的双目标进化优化技术来解决MCE中的Web服务组合问题。实施结果证明了所创建模型的可持续性。
提出的方法
软件开发的一个子领域——Web服务组合，允许用户组合多种服务以获得更丰富的功能。如果用户的请求无法通过任何现有服务得到满足，通常会采用组合方法来处理这种情况；或者，可以通过整合现有服务来创建一个复合服务。在某些限制条件下，可以设计一个系统来识别满足用户需求的网络服务集合。
结果与讨论
为基于代理的Web服务组合开发了优化的深度强化学习与Petri网模型。使用Python 3.8.8对创建的模型进行了模拟和评估，系统配置包括2.50GHz Intel(R) Core(TM) i5-10300H处理器、32.0 GB内存（其中31.8 GB可用），以及32 GB用于计算所有实验结果。Q-learning和Puffer Fish优化的模拟参数分别列在表1和表2中。
结论
提出了基于Petri网和优化深度强化学习算法的Web服务组合方法。对于面向服务的架构（SOA）系统而言，Web服务的选择至关重要。Web服务被视为模块化、自包含的程序，可以从互联网上的任何地方发布、查找和调用。通过基于QoS的服务选择，可以找到最符合用户标准的组件服务。面向服务架构中最显著的问题之一是动态性
资金
作者声明在准备本手稿期间未收到任何资金、资助或其他支持。
数据和材料的可用性
不适用
作者贡献
通讯作者负责论文的主要贡献，包括公式化、分析和编辑工作。合作者提供了分析结果验证和手稿编辑方面的指导。
遵守伦理标准
本文是作者的完全原创作品；在期刊编辑委员会决定不接受发表之前，它尚未在其他出版物上发表。
CRediT作者贡献声明
Pallavi Tiwari：资源管理、项目规划、方法论设计、资金获取、形式化分析、数据整理、概念化。S. Srinivasan：写作——审阅与编辑、初稿撰写、可视化、验证、监督、软件开发。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
