点击数: 更新日期: 2023-03-02
论文题目：AoI-Aware Energy Control and Computation Offloading for Industrial IoT
（中文：面向工业物联网的AOI感知的能耗控制和计算卸载方法）
录用时间：2022年9月5日
期刊名称：Future Generation Computer Systems (JCR Q1)
作者信息：
1）黄霁崴 中国石油大学（北京）信息科学与工程学院 教授
2）高涵 中国石油大学（北京）信息科学与工程学院 2021级硕士生
3）万少华 电子科技大学（深圳）高等研究院 教授
4）陈莹 北京信息科技大学 教授
论文详细介绍：
摘要
在工业物联网(IIoT)中，物联网设备定期收集大量的数据，并对重要的需求进行及时的路由和处理。信息时代(AoI)是评价数据处理中状态信息新鲜度的指标，并成为工业物联网最重要的目标之一。本文在考虑物联网设备上有限的通信、计算和能量资源的情况下，联合研究具有多个物联网设备和多个边缘服务器的动态物联网场景下的最优AoI感知能量控制和计算卸载问题。在广泛分析现实物联网数据集的基础上，构建了捕捉物联网设备和边缘服务器的动态马尔可夫排队模型，并给出了相应的分析。根据定量分析结果，在满足AoI约束的前提下，建立了实时数据处理的动态马尔可夫决策问题。为了解决这一问题，我们应用深度强化学习(DRL)技术适应大规模动态工业物联网环境，设计了智能能量控制和计算卸载(ECCO)算法。基于真实数据集进行了大量的仿真实验，对比结果表明ECCO算法优于现有的两种DRL算法和non-DRL算法。
系统模型
如图1所示，我们考虑一个IIoT场景，其中有多个IoT设备和边缘服务器。每个物联网设备通过无线网络连接到某个边缘服务器。我们假设基站之间没有重叠区域，因此可以并行处理网络管理和任务调度。每一组由N ={1,2,..., N}物联网设备和一个边缘服务器，其中有一组C ={1,2,..., c}部署用于数据处理的虚拟机。
图1 物联网系统基本场景
图2是我们论文的系统架构图
图2系统架构图
在本地物联网设备上处理的状态更新到达率：
物联网设备上本地处理请求的平均响应时间：
边缘服务器中任务的到达率：
处理请求的平均等待时间包含排队时间和服务时间：
其中
边缘服务器的平均服务时间：
物联网设备上行链路传输速率：
物联网设备的传输时间；
综上所述，物联网设备的平均AoI：
物联网设备本地计算所需能耗：
物联网设备传输所需的能耗：
物联网系统的平均能耗：
我们的目标是在保证信息新鲜度的同时，降低物联网系统的平均能耗：
由于P1是一个时变网络环境中的动态优化问题，我们将问题P1转换为马尔可夫决策过程，并利用深度强化学习技术求解。
状态空间：
动作空间：
奖励函数：
基于上述提出的能量控制和计算卸载算法（ECCO）
具体算法描述如下：
策略梯度函数：
学习率：
裁剪函数：
性能评估
（1）数据集处理
通过上海电信数据集，在其中提取用户请求的时间戳，绘制了如图3、图4所示的概率密度函数（PDF）和累积分布函数（CDF）。
图3 概率密度函数 PDF
图4 累计分布函数CDF
（2）不同DRL算法之间的对比
和展示了，在500轮迭代情况下，不同DRL算法奖励函数随训练程度的变化趋势，从实验结果中得到，我们提出的ECCO算法较其他算法比收敛较快且逐渐稳定。
图5训练过程中不同算法奖励函数对比
图6展示了不同算法在训练过程中能耗的对比，由图可得，我们的ECCO算法在收敛速度和能量消耗最小化方面都表现最好。
图6 不同算法的能耗
（3）不同传输功率算法之间能耗的对比
图7是当我们不同传输功率在不同算法之间产生能耗的对比，由图可得，我们的ECCO算法在能量最小化方面表现最好，且较为稳定。
图7不同传输功率下的平均能耗
图8显示了在不同AoI约束下的物联网设备的平均能耗。随着ε的增加，对AoI的增长所付出的惩罚将会减少，因此物联网设备可以选择这样做 处理较低的速度或传输数据以降低能量。实验结果也证明了我们的ECCO算法的有效性，其在能耗方面表现最好。
图8不同AoI约束下的物联网设备的平均能耗