点击数: 更新日期: 2023-12-27
中文题目：边缘物联网系统中基于深度强化学习的联合服务迁移和资源分配
论文题目：Joint Service Migration and Resource Allocation in Edge IoT System Based on Deep Reinforcement Learning
录用期刊/会议：IEEE Internet of Things Journal (JCR Q1，中科院大类一区，TOP)
原文DOI：10.1109/JIOT.2023.3332421
录用时间：2023年11月14日
作者列表：
1）刘芳正 中国石油大学（北京） 信息科学与工程学院/人工智能学院 控制科学与工程专业 博19
2）于 浩 University of Oulu (Finland) Center of Wireless Communications Postdoctoral Researcher
3）黄霁崴 中国石油大学（北京） 信息科学与工程学院/人工智能学院 计算机科学与技术系 教授
4）Tarik Taleb University of Oulu (Finland) Center of Wireless Communications Professor
摘要: 多接入边缘计算通过将云计算功能扩展到网络边缘，为资源敏感型和延迟敏感型物联网应用提供服务。然而，物联网设备（如车辆）的高流动性和边缘服务器的有限资源影响了服务的连续性和访问延迟。因此，需要进行服务迁移和合理的资源（重新）分配，以确保服务质量。服务迁移会导致额外的延迟。此外，不同的移动物联网用户有不同的资源需求，目标边缘服务器的不同资源分配策略也决定了是否有必要进行服务迁移。因此，如何联合优化服务迁移和资源分配策略是一个亟待解决的难题。为此，本文研究了移动边缘计算环境中服务迁移和资源分配的联合优化问题，以最小化物联网用户的访问延迟。之后，提出了一种基于深度强化学习的联合服务迁移和资源分配算法，该算法考虑了物联网用户的移动性，通过LSTM算法和PDQN算法决定是否迁移服务、迁移到哪里以及如何分配资源。最后，我们利用真实世界中的北京出租车轨迹数据集进行了评估，以验证我们提出的解决方案的有效性和优越性。
背景与动机:
图1 服务迁移场景
如图1 所示，边缘用户的高移动性可能会增加用户的访问延迟，服务迁移是保证服务连续性的有效机制，但还存在一些挑战。首先，执行服务迁移会导致额外的迁移延迟，因此，需要权衡迁移情况下和不迁移情况下的延迟，以决定是否执行服务迁移。此外，执行服务迁移将改变物联网用户与变换服务器之间的关联关系，不同的移动物联网用户有不同的资源需求，目标边缘服务器的不同资源分配策略也决定了服务迁移是否必要。如果目标边缘服务器相对于源边缘服务器具有更少的资源（如计算资源和通信资源），无法分配足够的资源给物联网用户，则不可避免地会增加服务迁移后任务的计算和通信时间，进而影响是否迁移的决策。因此，需要同时考虑服务迁移和资源分配问题，并且只执行可以降低访问延迟的服务迁移动作。
主要内容:
本文首先通过不迁移和迁移模型建立以最小化总的任务处理延迟为目标的优化问题，旨在根据目标边缘服务器的计算和通信资源分配策略计算不同情况下的任务处理延迟，以决定用户是继续访问源边缘服务器，还是选择执行服务迁移。之后，我们将延迟最小化问题表述为MDP，并定义了状态、行动和奖励函数。
状态：包括预测到的用户下一时刻的位置、距离预测到的用户位置最近的边缘服务器的位置、源边缘服务器分配给用户的资源以及目标边缘服务器的可用资源。
动作：在状态st下，系统控制器需要决定是否执行服务迁移，并确定目标边缘服务器分配给用户的计算和通信资源。
奖励：由于优化问题的优化目标是最小化任务处理延迟Iu(t)。因此，奖励可以定义为
之后，我们提出了一种基于DRL的动态服务迁移和资源分配算法，具体优化算法为：
实验结果:
最后，我们利用真实世界中的北京出租车轨迹数据集进行了评估，以验证我们提出的 SMRA 解决方案的有效性和优越性。
图2 不同的用户资源需求范围对迁移率的影响。(a) 边缘服务器分配给用户的带宽资源最大值。(b) 边缘服务器分配给用户的计算资源最大值。
图3 不同的用户资源需求范围对平均任务处理延迟的影响。(a) 边缘服务器分配给用户的带宽资源最大值。(b) 边缘服务器分配给用户的计算资源最大值。
图4 用户数量对平均任务处理延迟的影响。
图5 边缘服务器数量对平均任务处理延迟的影响。
通讯作者简介:
黄霁崴，教授，博士生导师，中国石油大学（北京）信息科学与工程学院/人工智能学院副院长，石油数据挖掘北京市重点实验室主任，中国石油大学（北京）研究生教育督导组专家。入选北京市优秀人才、北京市科技新星、北京市国家治理青年人才、中国石油大学（北京）优秀青年学者。本科和博士毕业于清华大学计算机科学与技术系，美国佐治亚理工学院联合培养博士生。研究方向包括：物联网、服务计算、边缘智能等。已主持国家自然科学基金、国家重点研发计划、北京市自然科学基金等科研项目18项；在国内外著名期刊和会议发表学术论文60余篇，其中1篇获得中国科协优秀论文奖，2篇入选ESI热点论文，4篇入选ESI高被引论文；出版学术专著1部；获得国家发明专利6项、软件著作权4项；获得中国通信学会科学技术一等奖1项、中国产学研合作创新成果一等奖1项。担任中国计算机学会(CCF)服务计算专委会委员、秘书，CCF和IEEE高级会员，电子学报、Chinese Journal of Electronics、Scientific Programming等期刊编委。
联系方式：huangjw@cup.edu.cn。