联合任务卸载和资源优化的车辆边缘计算方案

doi:10.11772/j.issn.1001-9081.2024060905

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (6): 1766-1775.DOI: 10.11772/j.issn.1001-9081.2024060905

• 第十二届CCF大数据学术会议 • 上一篇

联合任务卸载和资源优化的车辆边缘计算方案

薛天宇, 李爱萍(), 段利国

太原理工大学计算机科学与技术学院（大数据学院），太原 030600

收稿日期:2024-07-01 修回日期:2024-08-02 接受日期:2024-08-20 发布日期:2024-08-28 出版日期:2025-06-10
通讯作者: 李爱萍
作者简介:薛天宇（1999—），男，山西晋中人，硕士研究生，CCF会员，主要研究方向：边缘计算、强化学习
李爱萍（1974—），女，山西文水人，教授，博士，CCF高级会员，主要研究方向：物联网数据处理、无线传感网络 tyutli@163.com
段利国（1970—），男，山西繁峙人，教授，博士，CCF高级会员，主要研究方向：中文信息处理、知识图谱。
基金资助:
山西省自然科学基金面上项目(202303021211052)

Vehicular edge computing scheme with task offloading and resource optimization

Tianyu XUE, Aiping LI(), Liguo DUAN

College of Computer Science and Technology （College of Data Science），Taiyuan University of Technology，Taiyuan Shanxi 030600，China

Received:2024-07-01 Revised:2024-08-02 Accepted:2024-08-20 Online:2024-08-28 Published:2025-06-10
Contact: Aiping LI
About author:XUE Tianyu， born in 1999， M. S. candidate. His research interests include edge computing， reinforcement learning.
LI Aiping， born in 1974， Ph. D.， professor. Her research interests include internet of things data processing， wireless sensor network.
DUAN Liguo， born in 1970， Ph. D.， professor. His research interests include Chinese information processing， knowledge graph.
Supported by:
General Program of Shanxi Natural Science Foundation(202303021211052)

摘要/Abstract

摘要：

针对车辆边缘计算（VEC）中存在的用户体验质量需求不断增加、高度移动车辆引起的链路状态获取困难和异构边缘节点为车辆提供资源的时变性等问题，制定一种联合任务卸载和资源优化（JTO-RO）的VEC方案。首先，在不失一般性的前提下，综合考虑边缘内和边缘间干扰，提出一种车辆到基础设施（V2I）的传输模型，该模型通过引入非正交多址接入（NOMA）技术使边缘节点不仅无需依赖链路状态信息，还可以提升信道容量；其次，为了提高系统的性能和效率，设计一种多智能体双延迟深度确定性（MATD3）算法用于制定任务卸载策略，这些策略可通过与环境的交互学习进行动态调整；再次，联合考虑2种策略的协同作用，并制定将最大化任务服务比率作为目标的优化方案，从而满足不断提升的用户体验质量需求；最后，对真实车辆轨迹数据集进行仿真实验。结果表明，相较于当前具有代表性的3种方案（分别以随机卸载（RO）算法、D4PG （Distributed Distributional Deep Deterministic Policy Gradient）算法和MADDPG （Multi-Agent Deep Deterministic Policy Gradient）算法为任务卸载算法的方案）在3类场景下（普通场景、任务密集型场景和时延敏感型场景），所提方案的平均服务比率分别提高了20%、10%和29%以上，验证了该方案的优势和有效性。

关键词: 车辆边缘计算, 非正交多址接入, 深度强化学习, 任务卸载, 资源分配

Abstract:

In view of the increasing demand for user experience quality， the difficulty in obtaining link status caused by highly mobile vehicles， and the time-varying problem of heterogeneous edge nodes providing resources to vehicles in Vehicle Edge Computing （VEC）， a VEC scheme based on Joint Task Offloading and Resource Optimization （JTO-RO） was developed. Firstly， without loss of the generality， a Vehicle-to-Infrastructure （V2I） transmission model was proposed by considering the intra-edge and inter-edge interference comprehensively. In the model， by introducing Non-Orthogonal Multiple Access （NOMA） technology， edge nodes did not rely on link status information and improved the channel capacity at the same time. Secondly， in order to enhance performance and efficiency of the system， a Multi-Agent Twin Delayed Deep Deterministic policy gradient （MATD3） algorithm was designed to formulate task offloading strategies， which were able to be adjusted dynamically through interactive learning with the environment. Thirdly， the synergies of the two strategies were considered jointly， and an optimization scheme was formulated with the goal of maximizing the task service ratio to meet the increasing user experience quality requirements. Finally， simulation was carried out on a real vehicle trajectory dataset. The results show that compared with three current representative schemes （the schemes using Random Offloading （RO） algorithm， D4PG （Distributed Distributional Deep Deterministic Policy Gradient） algorithm， and MADDPG （Multi-Agent Deep Deterministic Policy Gradient） algorithm as task offloading algorithms as task offloading algorithm， respectively）， the proposed scheme has the average service ratio improved by more than 20%， 10%， and 29%， respectively， in three scenarios （normal scenario， task-intensive scenario and delay-sensitive scenario）， verifying the advantages and effectiveness of the scheme.

Key words: Vehicular Edge Computing (VEC), Non-Orthogonal Multiple Access (NOMA), Deep Reinforcement Learning (DRL), task offloading, resource allocation

中图分类号:

TP391.75

薛天宇, 李爱萍, 段利国. 联合任务卸载和资源优化的车辆边缘计算方案[J]. 计算机应用, 2025, 45(6): 1766-1775.

Tianyu XUE, Aiping LI, Liguo DUAN. Vehicular edge computing scheme with task offloading and resource optimization[J]. Journal of Computer Applications, 2025, 45(6): 1766-1775.

图/表 8

图1 VEC场景模型

Fig. 1 VEC scenario model

表1 主要参数总结

Tab. 1 Summary of main parameters

参数	含义	参数	含义
$T$	时隙集合	$L e i$	边缘节点 $e i$ 的位置
$V$	车辆集合	$V g a p v i, e i t$	时隙 $t$ 边缘节点 $e i$ 和车辆 $v i$ 之间的距离
$E$	边缘节点集合	$V g a p e i, e j$	边缘节点 $e i$ 和边缘节点 $e j$ 之间的距离
$K$	任务集合	$P e i$	边缘节点 $e i$ 的最大通信功率
$C$	计算资源集合	$C e i$	边缘节点 $e i$ 的全部计算资源
$B$	V2I通信带宽	$R e i$	边缘节点 $e i$ 的通信范围
$W e i, e j$	边缘节点 $e i$ 和 $e j$ 间的有线传输速率	$V u p t v i, e i t$	任务 $k v i t$ 上传到边缘节点 $e i$ 所需的时间
$K v i$	车辆 $v i$ 产生的所有任务的集合	$P v i, e i t$	边缘节点 $e i$ 在时隙 $t$ 分配给车辆 $v i$ 的通信功率
$k v i t$	车辆 $v i$ 在时隙 $t$ 上传的任务	$C v i, e i t$	边缘节点 $e i$ 在时隙 $t$ 分配给车辆 $v i$ 的计算资源
$D k v i t$	任务 $k v i t$ 的数据大小	$V b i n v i, e i t$	在时隙 $t$ 车辆 $v i$ 的任务 $k v i t$ 是否被边缘节点 $e i$ 所处理
$C k v i t$	处理任务 $k v i t$ 所需的计算资源	$V e i t$	时隙 $t$ 在边缘节点 $e i$ 通信范围内的车辆集合
$V d d l k v i t$	任务 $k v i t$ 的处理截止时间	$V v i, e i t$	时隙 $t$ 在边缘节点 $e i$ 通信范围内信道条件比车辆 $v i$ 差的车辆集合
$L v i t$	车辆 $v i$ 在时隙 $t$ 的位置	$K e i t$	时隙 $t$ 上传至边缘节点 $e i$ 的任务集合

表1 主要参数总结

Tab. 1 Summary of main parameters

参数	含义	参数	含义
$T$	时隙集合	$L e i$	边缘节点 $e i$ 的位置
$V$	车辆集合	$V g a p v i, e i t$	时隙 $t$ 边缘节点 $e i$ 和车辆 $v i$ 之间的距离
$E$	边缘节点集合	$V g a p e i, e j$	边缘节点 $e i$ 和边缘节点 $e j$ 之间的距离
$K$	任务集合	$P e i$	边缘节点 $e i$ 的最大通信功率
$C$	计算资源集合	$C e i$	边缘节点 $e i$ 的全部计算资源
$B$	V2I通信带宽	$R e i$	边缘节点 $e i$ 的通信范围
$W e i, e j$	边缘节点 $e i$ 和 $e j$ 间的有线传输速率	$V u p t v i, e i t$	任务 $k v i t$ 上传到边缘节点 $e i$ 所需的时间
$K v i$	车辆 $v i$ 产生的所有任务的集合	$P v i, e i t$	边缘节点 $e i$ 在时隙 $t$ 分配给车辆 $v i$ 的通信功率
$k v i t$	车辆 $v i$ 在时隙 $t$ 上传的任务	$C v i, e i t$	边缘节点 $e i$ 在时隙 $t$ 分配给车辆 $v i$ 的计算资源
$D k v i t$	任务 $k v i t$ 的数据大小	$V b i n v i, e i t$	在时隙 $t$ 车辆 $v i$ 的任务 $k v i t$ 是否被边缘节点 $e i$ 所处理
$C k v i t$	处理任务 $k v i t$ 所需的计算资源	$V e i t$	时隙 $t$ 在边缘节点 $e i$ 通信范围内的车辆集合
$V d d l k v i t$	任务 $k v i t$ 的处理截止时间	$V v i, e i t$	时隙 $t$ 在边缘节点 $e i$ 通信范围内信道条件比车辆 $v i$ 差的车辆集合
$L v i t$	车辆 $v i$ 在时隙 $t$ 的位置	$K e i t$	时隙 $t$ 上传至边缘节点 $e i$ 的任务集合

图2 JTO-RO问题的框图

Fig. 2 Block diagram of JTO-RO problem

图3 基于MATD3算法的任务卸载模型

Fig. 3 Task offloading model based on MATD3 algorithm

表2 MATD3算法的相关参数

Tab. 2 Related parameters of MATD3 algorithm

参数	值	参数	值
Critic学习率	$1 × 10 - 3$	最小重放缓冲区大小	$1 × 103$
Actor学习率	$1 × 10 - 3$	目标更新率	$5 × 10 - 3$
优化器	$A d a m$	批处理大小	$256$
激活函数	$R e L U$	折扣系数	$0.99$
最大重放缓冲区大小	$1 × 106$	探索策略	$N 0,0.1$

表2 MATD3算法的相关参数

Tab. 2 Related parameters of MATD3 algorithm

参数	值	参数	值
Critic学习率	$1 × 10 - 3$	最小重放缓冲区大小	$1 × 103$
Actor学习率	$1 × 10 - 3$	目标更新率	$5 × 10 - 3$
优化器	$A d a m$	批处理大小	$256$
激活函数	$R e L U$	折扣系数	$0.99$
最大重放缓冲区大小	$1 × 106$	探索策略	$N 0,0.1$

图4 不同算法在3种场景的累积回报比较

Fig. 4 Comparison of cumulative returns of different algorithms in three scenarios

图5 不同算法在3种场景的平均处理时间比较

Fig. 5 Comparison of average processing time of different algorithms in three scenarios

图6 不同算法在3种场景的平均服务比率比较

Fig. 6 Comparison of average service ratio of different algorithms in three scenarios

参考文献 28

1	孙彦景，余政达，陈瑞瑞，等. 车联网中基于深度强化学习的高可靠资源分配算法［J］. 重庆邮电大学学报（自然科学版）， 2023， 35（4）：706-714.
	SUN Y J， YU Z D， CHEN R R， et al. Deep reinforcement learning based high reliability resource allocation algorithm for internet of vehicles［J］. Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2023， 35（4）：706-714.
2	李智勇，王琦，陈一凡，等. 车辆边缘计算环境下任务卸载研究综述［J］. 计算机学报， 2021， 44（5）：963-982.
	LI Z Y， WANG Q， CHEN Y F， et al. A survey on task offloading research in vehicular edge computing［J］. Chinese Journal of Computers， 2019， 44（5）：963-982.
3	ISLAM S M R， AVAZOV N， DOBRE O A， et al. Power-domain Non-Orthogonal Multiple Access （NOMA） in 5G systems： potentials and challenges［J］. IEEE Communications Surveys and Tutorials， 2017， 19（2）： 721-742.
4	CHENG J， GUAN D. Research on task-offloading decision mechanism in mobile edge computing-based internet of vehicle［J］. EURASIP Journal on Wireless Communications and Networking， 2021， 2021： No.101.
5	HU X， GUO L， YAO Z， et al. Balance-oriented task unloading optimizing algorithm for parked vehicle edge computing［C］// Proceedings of the 2021 International Conference on Intelligent Transportation Engineering， LNEE 901. Singapore： Springer， 2022： 512-525.
6	WANG S， WANG W， JIA Z， et al. Flexible task scheduling based on edge computing and cloud collaboration［J］. Computer Systems Science and Engineering， 2022， 42（3）： 1241-1255.
7	CHEN C， ZHANG Y， WANG Z， et al. Distributed computation offloading method based on deep reinforcement learning in ICV［J］. Applied Soft Computing， 2021， 103： No.107108.
8	ZHANG K， CAO J， ZHANG Y. Adaptive digital twin and multiagent deep reinforcement learning for vehicular edge computing and networks［J］. IEEE Transactions on Industrial Informatics， 2022， 18（2）： 1405-1413.
9	HUANG X， HE L， CHEN X， et al. Revenue and energy efficiency-driven delay-constrained computing task offloading and resource allocation in a vehicular edge computing network： a deep reinforcement learning approach［J］. IEEE Internet of Things Journal， 2022， 9（11）： 8852-8868.
10	LIU K， FENG L， DAI P， et al. Coding-assisted broadcast scheduling via memetic computing in SDN-based vehicular networks［J］. IEEE Transactions on Intelligent Transportation Systems， 2018， 19（8）： 2420-2431.
11	LIU C， LIU K， GUO S， et al. Adaptive offloading for time-critical tasks in heterogeneous internet of vehicles［J］. IEEE Internet of Things Journal， 2020， 7（9）： 7999-8011.
12	DAI P， SONG F， LIU K， et al. Edge intelligence for adaptive multimedia streaming in heterogeneous internet of vehicles［J］. IEEE Transactions on Mobile Computing， 2023， 22（3）： 1464-1478.
13	LIU Y， ZHANG H， LONG K， et al. Energy efficient subchannel matching and power allocation in NOMA autonomous driving vehicular networks［J］. IEEE Wireless Communications， 2019， 26（4）： 88-93.
14	PATEL D K， SHAH H， DING Z， et al. Performance analysis of NOMA in vehicular communications over i.n.i.d Nakagami-m fading channels［J］. IEEE Transactions on Wireless Communications， 2021， 20（10）： 6254-6268.
15	ZHANG F， WANG M M， BAO X， et al. Centralized resource allocation and distributed power control for NOMA-integrated NR V2X［J］. IEEE Internet of Things Journal， 2021， 8（22）： 16522-16534.
16	LI C， ZHANG Y， GAO X， et al. Energy-latency tradeoffs for edge caching and dynamic service migration based on DQN in mobile edge computing［J］. Journal of Parallel and Distributed Computing， 2022， 166： 15-31.
17	FUJIMOTO S， VAN HOOF H， MEGER D. Addressing function approximation error in actor-critic methods［C］// Proceedings of the 35th International Conference on Machine Learning. New York： JMLR.org， 2018： 1587-1596.
18	ZHAO X， HUANG G， JIANG J， et al. Task offloading of cooperative intrusion detection system based on Deep Q Network in mobile edge computing［J］. Expert Systems with Applications， 2022， 206： No.117860.
19	CHEN Y， HAN W， ZHU Q， et al. Target-driven obstacle avoidance algorithm based on DDPG for connected autonomous vehicles［J］. EURASIP Journal on Advances in Signal Processing， 2022， 2022： No.61.
20	XU X， LIU K， DAI P， et al. Joint task offloading and resource optimization in NOMA-based vehicular edge computing： a game-theoretic DRL approach［J］. Journal of Systems Architecture， 2023， 134： No.102780.
21	PAPANDRIOPOULOS J， EVANS J S. Low-complexity distributed algorithms for spectrum balancing in multi-user DSL networks ［C］// Proceedings of the 2006 IEEE International Conference on Communications. Piscataway： IEEE， 2006： 3270-3275.
22	LIU C， LIU K， REN H， et al. RtDS： real-time distributed strategy for multi-period task offloading in vehicular edge computing environment ［J］. Neural Computing and Applications， 2023， 35（17）： 12373-12387.
23	ZHU H， WU Q， WU X J， et al. Decentralized power allocation for MIMO-NOMA vehicular edge computing based on deep reinforcement learning［J］. IEEE Internet of Things Journal， 2022， 9（14）： 12770-12782.
24	XU L， YANG Z， WU H， et al. Socially driven joint optimization of communication， caching， and computing resources in vehicular networks［J］. IEEE Transactions on Wireless Communications， 2022， 21（1）： 461-476.
25	HU X， HUANG Y. Deep reinforcement learning based offloading decision algorithm for vehicular edge computing［J］. PeerJ Computer Science， 2022， 8： No.e1126.
26	QIU X， ZHANG W， CHEN W， et al. Distributed and collective deep reinforcement learning for computation offloading： a practical perspective［J］. IEEE Transactions on Parallel and Distributed Systems， 2021， 32（5）： 1085-1101.
27	CHENG Z， MIN M， LIWANG M， et al. Multiagent DDPG-based joint task partitioning and power control in fog computing networks［J］. IEEE Internet of Things Journal， 2022， 9（1）： 104-116.
28	ZHAO L， ZHANG E， WAN S， et al. MESON： a mobility-aware dependent task offloading scheme for urban vehicular edge computing［J］. IEEE Transactions on Mobile Computing， 2024， 23（5）： 4259-4272.

[1]	范红卫, 徐涴砯. 智能反射面辅助无线供电通信网络中继的资源分配[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1619-1624.
[2]	许鹏程, 何磊, 李川, 钱炜祺, 赵暾. 基于Transformer的深度符号回归方法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1455-1463.
[3]	项钰斐, 倪郑威. 基于演化博弈的分层联邦学习边缘联合动态分析[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1077-1085.
[4]	王华华, 黄梁, 陈甲杰, 方杰宁. 基于深度强化学习的低轨卫星多波束子载波动态分配算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 571-577.
[5]	王靖, 方旭明. Wi-Fi7多链路通感一体化的功率和信道联合智能分配算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 563-570.
[6]	缪孜珺, 罗飞, 丁炜超, 董文波. 基于全局状态预测与公平经验重放的交通信号控制算法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 337-344.
[7]	周毅, 高华, 田永谌. 基于裁剪优化和策略指导的近端策略优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2334-2341.
[8]	马天, 席润韬, 吕佳豪, 曾奕杰, 杨嘉怡, 张杰慧. 基于深度强化学习的移动机器人三维路径规划方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2055-2064.
[9]	张俊娜, 王欣新, 李天泽, 赵晓焱, 袁培燕. 基于动态服务缓存辅助的任务卸载方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1493-1500.
[10]	赵晓焱, 韩威, 张俊娜, 袁培燕. 基于异步深度强化学习的车联网协作卸载策略[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1501-1510.
[11]	唐睿, 庞川林, 张睿智, 刘川, 岳士博. D2D通信增强的蜂窝网络中基于DDPG的资源分配[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1562-1569.
[12]	罗华亮, 李全忠, 张旗. 融合信息通信和空中计算的认知无线网络鲁棒资源分配优化[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1195-1202.
[13]	陈发堂, 黄淼, 金宇峰. 面向用户需求的低轨卫星资源分配算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1242-1247.
[14]	唐睿, 岳士博, 张睿智, 刘川, 庞川林. UAV协助下非正交多址接入使能的数据采集系统中能效优化机制[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1209-1218.
[15]	秦鑫彤, 宋政育, 侯天为, 王飞越, 孙昕, 黎伟. 基于自适应p持续的移动自组网信道接入和资源分配算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 863-868.

联合任务卸载和资源优化的车辆边缘计算方案

Vehicular edge computing scheme with task offloading and resource optimization

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 28

相关文章 15

编辑推荐

Metrics