地理分布式异构云中流式应用的成本感知调度与负载均衡优化研究

本文针对地理分布式云环境下Storm流处理框架的高成本问题，创新性提出CRL-GeoStorm低成本调度算法和CLB-GeoStorm负载均衡算法。通过构建包含资源租赁成本、能耗成本（PUE）和请求延迟的性价比模型，实现任务优先调度至低开销节点；结合关联子拓扑划分和负载分区策略，显著降低跨节点通信（降幅≥6.71%）和负载偏差（降幅≥15.41%），为地理分布式云环境下的实时流处理提供兼具经济性与性能的解决方案。

　　

Highlight

本研究聚焦地理分布式异构云环境下的流式应用调度难题，提出双引擎优化方案：

关键创新点

(1) 构建融合执行成本与请求延迟的性价比模型，综合考量不同地理位置的电价差异、数据中心能效比(PUE^值)、异构节点租赁成本及跨区域调度延迟；

(2) 开发CRL-GeoStorm智能调度算法，通过实时监控模块动态生成节点优先级列表，将任务优先分配至"低成本-低延迟"节点，实验显示较传统算法降低执行成本≥6.06%；

(3) 提出CLB-GeoStorm负载均衡算法，采用关联子拓扑划分技术（将高通信频次任务聚合至同云节点）和动态负载分区策略，有效缓解"数据跨洋旅行"导致的通信瓶颈。

实验验证

基于Hibench的WordCount和Identity工作负载测试表明，在包含medium/large/xLarge三类VM的跨区域集群中，本方案如同给Storm装上了"成本雷达"和"负载平衡仪"，使任务像精准导航的物流系统，自动选择最优路径——既避开高收费"收费站"，又避免拥堵的"交通枢纽"。

Conclusion

当前大数据框架调度研究多局限于单一数据中心，而本文提出的CRL-GeoStorm和CLB-GeoStorm算法，如同为地理分布式云环境量身定制的"节能导航系统"，在保证实时处理性能的同时，显著降低运营成本并优化集群负载均衡，为跨境流数据处理提供新范式。