无人机辅助移动边缘计算中的任务卸载算法

doi:10.11772/j.issn.1001-9081.2022040548

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (6): 1893-1899.DOI: 10.11772/j.issn.1001-9081.2022040548

无人机辅助移动边缘计算中的任务卸载算法

李校林¹^,², 江雨桑¹^,²()

^1.重庆邮电大学通信与信息工程学院，重庆 400065
^2.重庆邮电大学通信新技术应用研究中心，重庆 400065

收稿日期:2022-04-19 修回日期:2022-06-30 接受日期:2022-07-05 发布日期:2022-07-26 出版日期:2023-06-10
通讯作者: 江雨桑
作者简介:李校林（1968—），男，重庆人，正高级工程师，硕士，主要研究方向：云计算、大数据、物联网、5G
江雨桑（1998—），女，四川绵阳人，硕士研究生，主要研究方向：移动边缘计算Email：s200131280@stu.cqupt.edu.cn。

Task offloading algorithm for UAV-assisted mobile edge computing

Xiaolin LI¹^,², Yusang JIANG¹^,²()

^1.School of Communication and Information Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China
^2.Research Center of New Communication Technology Applications，Chongqing University of Posts and Telecommunications，Chongqing 400065，China

Received:2022-04-19 Revised:2022-06-30 Accepted:2022-07-05 Online:2022-07-26 Published:2023-06-10
Contact: Yusang JIANG
About author:LI Xiaolin， born in 1968， M. S.， senior engineer. His research interests include cloud computing， big data， internet of things， 5G.

摘要/Abstract

摘要：

无人机（UAV）灵活机动、易于部署，可以辅助移动边缘计算（MEC）帮助无线系统提高覆盖范围和通信质量，但UAV辅助MEC系统研究中存在计算延迟需求和资源管理等挑战。针对UAV为地面多个终端设备提供辅助计算服务的时延问题，提出一种基于双延迟深度确定性策略梯度（TD3）的时延最小化任务卸载算法（TD3-TOADM）。首先，将优化问题建模为在能量约束下的最小化最大计算时延的问题；其次，通过TD3-TOADM联合优化终端设备调度、UAV轨迹和任务卸载比来最小化最大计算时延。仿真实验分析结果表明，与分别基于演员-评论家（AC）、深度Q网络（DQN）以及深度确定性策略梯度（DDPG）的任务卸载算法相比，TD3-TOADM得到的计算时延减小了8.2%以上。可见TD3-TOADM能获得低时延的最优卸载策略，具有较好的收敛性和鲁棒性。

关键词: 移动边缘计算, 无人机, 任务卸载, 轨迹, 深度强化学习

Abstract:

Unmanned Aerial Vehicle （UAV） is flexible and easy to deploy， and can assist Mobile Edge Computing （MEC） to help wireless systems improve coverage and communication quality. However， there are challenges such as computational latency requirements and resource management in the research of UAV-assisted MEC systems. Aiming at the delay problem of UAV providing auxiliary calculation services to multiple ground terminals， a Twin Delayed Deep Deterministic policy gradient （TD3） based Task Offloading Algorithm for Delay Minimization （TD3-TOADM） was proposed. Firstly， the optimization problem was modeled as the problem of minimizing the maximum computational delay under energy constraints. Secondly， TD3-TOADM was used to jointly optimize terminal equipment scheduling， UAV trajectory and task offloading ratio to minimize the maximum computational delay. Simulation analysis results show that compared with the task offloading algorithms based on Actor-Critic （AC）， Deep Q-Network （DQN） and Deep Deterministic Policy Gradient （DDPG）， TD3-TOADM reduces the computational delay by more than 8.2%. It can be seen that TD3-TOADM algorithm has good convergence and robustness， and can obtain the optimal offloading strategy with low delay.

Key words: Mobile Edge Computing (MEC), Unmanned Aerial Vehicle (UAV), task offloading, trajectory, deep reinforcement learning

中图分类号:

TP393.02

李校林, 江雨桑. 无人机辅助移动边缘计算中的任务卸载算法[J]. 计算机应用, 2023, 43(6): 1893-1899.

Xiaolin LI, Yusang JIANG. Task offloading algorithm for UAV-assisted mobile edge computing[J]. Journal of Computer Applications, 2023, 43(6): 1893-1899.

图/表 8

图1 无人机辅助MEC系统的模型

Fig. 1 Model of UAV-assisted MEC system

图2 TD3-TOADM网络框架

Fig. 2 TD3-TOADM algorithm network framework

表1 主要参数设置

Tab. 1 Main parameter setting

参数名	符号	值
通信周期	$T$	320 s
时隙数	$N$	40
飞行区域	$X, Y, H$	100 m
飞机载荷	$G$	9.6 kg
信道增益	$β$	-50 dB
接收机噪声功率	$σ 2$	-100 dB
传输功率	$P$	0.1 W
传输损耗	$p N L O S$	20 dB
通信带宽	$B$	1 MHz
飞行时间	$t f l y$	1 s
最大飞行速度	$v m a x$	50 m/s
CPU周期数	$C$	1 000 cycle/bit
终端计算能力	$f m$	0.6 GHz
电池容量	E	500 kJ
UAV计算能力	$f U A V$	1.2 GHz
目标网络软更新速率	$τ$	0.01

表1 主要参数设置

Tab. 1 Main parameter setting

参数名	符号	值
通信周期	$T$	320 s
时隙数	$N$	40
飞行区域	$X, Y, H$	100 m
飞机载荷	$G$	9.6 kg
信道增益	$β$	-50 dB
接收机噪声功率	$σ 2$	-100 dB
传输功率	$P$	0.1 W
传输损耗	$p N L O S$	20 dB
通信带宽	$B$	1 MHz
飞行时间	$t f l y$	1 s
最大飞行速度	$v m a x$	50 m/s
CPU周期数	$C$	1 000 cycle/bit
终端计算能力	$f m$	0.6 GHz
电池容量	E	500 kJ
UAV计算能力	$f U A V$	1.2 GHz
目标网络软更新速率	$τ$	0.01

图3 不同折扣因子下的收敛性能

Fig. 3 Convergence performance with different discount factors

图4 任务大小不同时的UAV轨迹

Fig. 4 Trajectory of UAV with different task sizes

图5 不同算法的收敛性对比

Fig. 5 Comparison of convergence of different algorithms

图6 不同算法的时延对比

Fig. 6 Comparison of delay of different algorithms

图7 TD3-TOADM的终端计算能力对比

Fig. 7 Comparison of terminal computing power of TD3-TOADM

参考文献 20

1	张海君，张资政，隆克平. 基于移动边缘计算的NOMA异构网络资源分配［J］. 通信学报， 2020， 41（4）： 27-33. 10.11959/j.issn.1000-436x.2020069
	ZHANG H J， ZHANG Z Z， LONG K P. Resource allocation in NOMA heterogeneous network based on MEC［J］. Journal on Communications， 2020， 41（4）： 27-33. 10.11959/j.issn.1000-436x.2020069
2	ZHOU F H， WU Y P， HU R Q， et al. Computation rate maximization in UAV-enabled wireless-powered mobile-edge computing systems［J］. IEEE Journal on Selected Areas in Communications， 2018， 36（9）： 1927-1941. 10.1109/jsac.2018.2864426
3	ZHOU F H， HU R Q， LI Z， et al. Mobile edge computing in unmanned aerial vehicle networks［J］. IEEE Wireless Communications， 2020， 27（1）： 140-146. 10.1109/mwc.001.1800594
4	BI S Z， HUANG L， WANG H， et al. Stable online computation offloading via Lyapunov-guided deep reinforcement learning［C］// Proceedings of the 2021 IEEE International Conference on Communications. Piscataway： IEEE， 2021： 1-7. 10.1109/icc42927.2021.9500520
5	XU C， ZHENG G Y， ZHAO X W. Energy-minimization task offloading and resource allocation for mobile edge computing in NOMA heterogeneous networks［J］. IEEE Transactions on Vehicular Technology， 2020， 69（12）： 16001-16016. 10.1109/tvt.2020.3040645
6	LI M S， CHENG N， GAO J， et al. Energy-efficient UAV-assisted mobile edge computing： resource allocation and trajectory optimization［J］. IEEE Transactions on Vehicular Technology， 2020， 69（3）： 3424-3438. 10.1109/tvt.2020.2968343
7	LIAO H J， ZHOU Z Y， KONG W X， et al. Learning-based intent-aware task offloading for air-ground integrated vehicular edge computing［J］. IEEE Transactions on Intelligent Transportation Systems， 2021， 22（8）： 5127-5139. 10.1109/tits.2020.3027437
8	ZHOU Z Y， FENG J H， GU B， et al. When mobile crowd sensing meets UAV： energy-efficient task assignment and route planning［J］. IEEE Transactions on Communications， 2018， 66（11）： 5526-5538. 10.1109/tcomm.2018.2857461
9	XIONG J Y， GUO H Z， LIU J J. Task offloading in UAV-aided edge computing： bit allocation and trajectory optimization［J］. IEEE Communications Letters， 2019， 23（3）：538-541. 10.1109/lcomm.2019.2891662
10	WANG D， TIAN J， ZHANG H X， et al. Task offloading and trajectory scheduling for UAV-enabled MEC networks： an optimal transport theory perspective ［J］. IEEE Wireless Communications Letters， 2022， 11（1）： 150-154. 10.1109/lwc.2021.3122957
11	HU Q Y， CAI Y L， YU G D， et al. Joint offloading and trajectory design for UAV-enabled mobile edge computing systems ［J］. IEEE Internet of Things Journal， 2019， 6（2）： 1879-1892. 10.1109/jiot.2018.2878876
12	嵇介曲，朱琨，易畅言，等. 多无人机辅助移动边缘计算中的任务卸载和轨迹优化［J］. 物联网学报， 2021， 5（1）： 27-35. 10.11959/j.issn.2096-3750.2021.00190
	JI J Q， ZHU K， YI C Y， et al. Joint task offloading and trajectory optimization for multi-UAV assisted mobile edge computing ［J］. Chinese Journal on Internet of Things， 2021， 5（1）： 27-35. 10.11959/j.issn.2096-3750.2021.00190
13	ZHAN C， HU H， SUI X F， et al. Completion time and energy optimization in the UAV-enabled mobile-edge computing system［J］. IEEE Internet of Things Journal， 2020， 7（8）：7808-7822. 10.1109/jiot.2020.2993260
14	ZHANG J， ZHOU L， TANG Q， et al. Stochastic computation offloading and trajectory scheduling for UAV-assisted mobile edge computing ［J］. IEEE Internet of Things Journal， 2019， 6（2）：3688-3699. 10.1109/jiot.2018.2890133
15	CHEN X F， CHEN T， ZHAO Z F， et al. Resource awareness in unmanned aerial vehicle-assisted mobile-edge computing systems［C］// Proceedings of the IEEE 91st Vehicular Technology Conference. Piscataway： IEEE， 2020：1-6. 10.1109/vtc2020-spring48590.2020.9128981
16	KIM K， PARK Y M， HONG C S. Machine learning based edge-assisted UAV computation offloading for data analyzing［C］// Proceedings of the 2020 International Conference on Information Networking. Piscataway： IEEE， 2020： 117-120. 10.1109/icoin48656.2020.9016432
17	WANG Y， GAO Z. Three-dimensional trajectory design for multi-user MISO UAV communications： a deep reinforcement learning approach［C］// Proceedings of the 2021 IEEE/CIC International Conference on Communications in China. Piscataway： IEEE， 2021： 706-711. 10.1109/iccc52777.2021.9580401
18	卢为党，詹悦者，花俏枝，等. 基于无人机无线能量传输的边缘计算系统能耗优化方法研究［J］. 电子与信息报， 2022， 44（3）：899-905.
	LU W D， ZHAN Y Z， HUA Q Z， et al. Energy consumption optimization in UAV wireless power transfer based mobile edge computing system［J］. Journal of Electronics and Information Technology， 2022， 44（3）： 899-905.
19	COLDREY M， BERG J E， MANHOLM L， et al. Non-line-of-sight small cell backhauling using microwave technology［J］. IEEE Communications Magazine， 2013， 51（9）：78-84. 10.1109/mcom.2013.6588654
20	FUJIMOTO S， van HOOF H， MEGER D. Addressing function approximation error in actor-critic methods ［C］// Proceedings of the 35th International Conference on Machine Learning. New York： JMLR.org， 2018： 1587-1596.

[1]	祁超帅, 何文思, 焦毅, 马英红, 蔡伟, 任素萍. 无人机飞行数据异常检测算法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1833-1841.
[2]	方和平, 刘曙光, 冉泳屹, 钟坤华. 基于深度强化学习的多数据中心一体化调度优化[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1884-1892.
[3]	曹腾飞, 刘延亮, 王晓英. 基于改进深度强化学习的边缘计算服务卸载算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1543-1550.
[4]	丁正凯, 傅启明, 陈建平, 陆悠, 吴宏杰, 方能炜, 邢镔. 结合注意力机制与深度强化学习的超短期光伏功率预测[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1647-1654.
[5]	孙亚男, 吴杰宏, 石峻岭, 高利军. 改进自组织映射的多无人机协同任务分配方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1551-1556.
[6]	黄晓辉, 杨凯铭, 凌嘉壕. 基于共享注意力的多智能体强化学习订单派送[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1620-1624.
[7]	吴家皋, 章仕稳, 蒋宇栋, 刘林峰. 基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1565-1570.
[8]	王先兰, 周金坤, 穆楠, 王晨. 基于多任务联合学习的跨视角地理定位方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1625-1635.
[9]	彭涛, 康亚龙, 余锋, 张自力, 刘军平, 胡新荣, 何儒汉, 李丽. 基于多头软注意力图卷积网络的行人轨迹预测[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 736-743.
[10]	邓晖奕, 李勇振, 尹奇跃. 引入通信与探索的多智能体强化学习QMIX算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 202-208.
[11]	李敬虎, 邢前国, 郑向阳, 李琳, 王丽丽. 基于深度学习的无人机影像夜光藻赤潮提取方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2969-2974.
[12]	马峻, 姚震, 徐翠锋, 陈寿宏. 基于改进PP-YOLO和Deep-SORT的多无人机实时跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2885-2892.
[13]	王界钦, 林士飏, 彭世明, 贾硕, 杨苗会. 协同移动边缘计算分层资源配置机制[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2501-2510.
[14]	刘炎培, 陈宁宁, 朱运静, 王丽萍. 面向5G/Beyond 5G的移动边缘缓存优化技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2487-2500.
[15]	陈宝, 周祖鹏, 卫欢, 吕延钊, 睢志成. 基于专家PID的带臂四旋翼无人机控制方法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2637-2642.

无人机辅助移动边缘计算中的任务卸载算法

Task offloading algorithm for UAV-assisted mobile edge computing

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 20

相关文章 15

编辑推荐

Metrics