基于深度强化学习的可靠性感知的边缘计算服务放置和任务卸载
中文题目：基于深度强化学习的可靠性感知的边缘计算服务放置和任务卸载
论文题目：Deep Reinforcement Learning based Reliability-aware Service Placement and Task Offloading in Edge Computing
录用期刊/会议：IEEE 2024 International Conference on Web Services (ICWS) (CCF B)
录用时间：2024年5月14日
作者列表：
1）梁晶语 中国石油大学（北京）信息科学与工程学院 控制科学与工程专业 博20
2）冯子涵 中国石油大学（北京）信息科学与工程学院 计算机科学与技术专业 硕22
3）高 涵 中国石油大学（北京）信息科学与工程学院 计算机科学与技术专业 硕21
4）陈 莹 北京信息科技大学 计算机学院 教授
5）Linh Truong Aalto University Computer Science Professor
6）黄霁崴 中国石油大学（北京）信息科学与工程学院 教授
摘要:
随着5G技术的快速发展，各种应用场景中的服务需求不断增加。移动边缘计算（MEC）通过将服务资源和相应的计算资源放置到边缘服务器上，已经成为一种流行的计算范式然而，边缘服务器缺乏稳定的保护基础设施，以及有限的存储空间和计算能力。考虑到边缘系统的可靠性和稳定性，有效地将资源和将任务转移到边缘服务器已经成为一个紧迫的挑战。本文考虑了不同时间尺度下的资源放置变化和任务卸载策略，优化了动态边缘系统下的服务提供商的成本。通过建立马尔可夫模型，得到系统可靠性和延迟之间的定量关系，并计算出资源放置和任务卸载所需的时间。然后，本文提出了基于强化学习（RL）技术，在不同时间尺度下的资源放置和任务卸载（RPTO）算法，目的是在长期服务中最小化服务提供者的成本。实验结果表明，本文提出的方法有效地解决了在MEC中联合资源放置和任务卸载的问题挑战。
优化模型与优化方法:
图1 整个过程的框架图
针对边缘计算系统的资源分配和任务卸载问题，采用基于深度强化学习的方法对资源放置和任务卸载过程进行优化，目标是优化资源分配和任务卸载过程中服务提供商成本。图1是本文整个处理过程的框架流程图。本文考虑到，相比较资源分配的动态变化，任务卸载过程中实时变化更快，因此利用双时间尺度模型分别对资源分配和任务卸载过程进行分析。为了满足用户的可靠性需求，在资源放置部分采用冗余的服务资源放置策略，确保存在正常的服务器能够为用户提供服务，任务卸载部分考虑了服务器故障对于处理任务延迟的影响。为了进一步优化资源放置和任务卸载策略，建立了资源分配和任务卸载模型，资源放置部分主要包括离散动作的服务放置决策和连续动作的计算资源分配决策的混合动作空间，而任务卸载部分中的任务类型判断和任务卸载决策均为离散动作空间。因此，采用两种深度强化学习的方法分别对资源放置和任务卸载过程进行训练，优化服务提供商的成本。通过实验证明了所提出算法的有效性。
实验结果及分析:
图2 不同超参数设置对于算法收敛性的影响。
图3 不同参数设置对服务提供商成本的影响。
图4 不同可靠性属性对服务提供商成本的影响。
结论:
本文中，我们考虑了边缘计算系统中的动态的服务放置和任务卸载问题，这一问题具有挑战性。考虑到不同服务的异构性和边缘服务器有限的存储空间和计算资源，为了在长期内最小化服务成本，采取了不同的时间尺度来分别处理服务放置和任务卸载。我们提出了一种基于P-DQN和D3QN强化学习的RTPO算法，通过该算法可以动态地处理服务放置和任务卸载问题。此外，通过模型实验分析了影响算法收敛性的参数，并通过与基准算法的比较，验证了该方法的有效性。
通讯作者简介:
黄霁崴，教授，博士生导师，中国石油大学（北京）信息科学与工程学院/人工智能学院副院长，石油数据挖掘北京市重点实验室主任。入选北京市优秀人才、北京市科技新星、北京市国家治理青年人才、昌聚工程青年人才、中国石油大学（北京）优秀青年学者。本科和博士毕业于清华大学计算机科学与技术系，美国佐治亚理工学院联合培养博士生。研究方向包括：物联网、服务计算、边缘智能等。已主持国家自然科学基金、国家重点研发计划、北京市自然科学基金等科研项目18项；以第一/通讯作者在国内外著名期刊和会议发表学术论文60余篇，其中1篇获得中国科协优秀论文奖，2篇入选ESI热点论文，4篇入选ESI高被引论文；出版学术专著1部；获得国家发明专利6项、软件著作权4项；获得中国通信学会科学技术一等奖1项、中国产学研合作创新成果一等奖1项、广东省计算机学会科学技术二等奖1项。担任中国计算机学会(CCF)服务计算专委会委员，CCF和IEEE高级会员，电子学报、Chinese Journal of Electronics、Scientific Programming等期刊编委。
联系方式：huangjw@cup.edu.cn