优化编码树单元级比特分配算法

doi:10.11772/j.issn.1001-9081.2022091410

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (10): 3195-3201.DOI: 10.11772/j.issn.1001-9081.2022091410

• 网络与通信 • 上一篇

优化编码树单元级比特分配算法

杨栩¹^,²(), 郭红伟³^,⁴, 李婉雪¹

^1.成都师范学院物理与工程技术学院，成都 611130
^2.重庆邮电大学通信与信息工程学院，重庆 400065
^3.红河学院工学院，云南蒙自 661199
^4.电子科技大学信息与通信工程学院，成都 611731

收稿日期:2022-09-22 修回日期:2022-11-28 接受日期:2022-12-07 发布日期:2023-02-28 出版日期:2023-10-10
通讯作者: 杨栩
作者简介:郭红伟（1980—），男，云南金平人，教授，博士，CCF高级会员，主要研究方向：视频编码及通信、图像处理
李婉雪（1992—），女，四川成都人，讲师，博士，主要研究方向：图像处理、视频编码。
基金资助:
国家自然科学基金资助项目(62061015);成都师范学院专项科研项目(ZZBS2020?11)

Optimized bit allocation algorithm for coding tree unit level

Xu YANG¹^,²(), Hongwei GUO³^,⁴, Wanxue LI¹

^1.School of Physics and Engineering Technology，Chengdu Normal University，Chengdu Sichuan 611130，China
^2.School of Communication and Information Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China
^3.School of Engineering，Honghe University，Mengzi Yunnan 661199，China
^4.School of Information and Communication Engineering，University of Electronic Science and Technology of China，Chengdu Sichuan 611731，China

Received:2022-09-22 Revised:2022-11-28 Accepted:2022-12-07 Online:2023-02-28 Published:2023-10-10
Contact: Xu YANG
About author:GUO Hongwei， born in 1980， Ph. D.， professor. His research interests include video coding and communication， image processing.
LI Wanxue， born in 1992， Ph. D.， lecturer. Her research interests include image processing， video coding.
Supported by:
National Natural Science Foundation of China(62061015);Special Scientific Research Project of Chengdu Normal University(ZZBS2020-11)

摘要/Abstract

摘要：

新一代视频编码标准H.266/VVC（Versatile Video Coding）的码率控制算法采用编码参数相互独立的率失真优化技术。然而，同一帧内的编码树单元（CTU）间在空域上相互影响，且存在全局编码参数；同时，CTU级比特分配公式采用近似的编码参数分配比特，进而降低了码率控制精度和编码性能。针对上述问题，提出空域全局优化CTU级比特分配算法RTE_RC（Rate Control with Recursive Taylor Expansion），并通过递归算法逼近全局编码参数。首先，建立空域全局优化比特分配模型；其次，应用递归算法求解CTU级比特分配模型中的全局拉格朗日乘子；最后，优化编码单元的比特分配并对编码单位进行编码。实验结果表明，在低延时P（Prediction）帧（LDP）配置下，与码率控制算法VTM_RC相比，所提算法的码率控制误差由0.46%下降至0.02%，码率节省了2.48个百分点，编码时间下降了3.52%，显著提升了码率控制精度和率失真性能。

关键词: 比特分配, 全局拉格朗日乘子, 码率控制, 递归泰勒展开, VVC

Abstract:

It the rate control algorithms of the new generation video coding standard H.266/VVC （Versatile Video Coding）， the rate-distortion optimization technique with independent coding parameters is adopted. However， the Coding Tree Units （CTUs） within the same frame affect others in the spatial domain， and there are global coding parameters. At the same time， in the CTU-level bit allocation formulas， approximated coding parameters for bit allocation are used， resulting in the reduction of rate control accuracy and coding performance. To address these issues， a spatial-domain global optimization algorithm for CTU-level bit allocation called RTE_RC （Rate Control with Recursive Taylor Expansion） was proposed， and the global coding parameters were approximated by using a recursive algorithm. Firstly， a globally optimized bit allocation model in spatial-domain was established. Secondly， a recursive algorithm was used to calculate the global Lagrange multiplier in the CTU-level bit allocation formula. Finally， the bit allocation of coding units was optimized and the coding units were coded. Experimental results show that under the Low-Delay Prediction frame （LDP） configuration， compared with the rate control algorithm VTM_RC （Rate Control algorithm Versatile Test Model）， the proposed algorithm has the rate control error decreased from 0.46% to 0.02%， the bit-rate saved by 2.48 percentage points， and the coding time reduced by 3.52%. Therefore， the rate control accuracy and rate distortion performance are significantly improved by the proposed algorithm.

Key words: bit allocation, global Lagrange multiplier, rate control, Recursive Taylor Expansion (RTE), Versatile Video Coding (VVC)

中图分类号:

TN919.81

杨栩, 郭红伟, 李婉雪. 优化编码树单元级比特分配算法[J]. 计算机应用, 2023, 43(10): 3195-3201.

Xu YANG, Hongwei GUO, Wanxue LI. Optimized bit allocation algorithm for coding tree unit level[J]. Journal of Computer Applications, 2023, 43(10): 3195-3201.

图/表 4

表1 不同比特分配优化算法性能对比 (%)

Tab. 1 Performance comparison of different bit allocation optimization algorithms

类别	视频序列	VTM_RC		文献［22］算法		文献［23］算法		文献［16］算法		RTE_RC
类别	视频序列	BD-rate（Y）	$Δ R$	BD-rate（Y）	$Δ R$	BD-rate（Y）	$Δ R$	BD-rate（Y）	$Δ R$	BD-rate（Y）	$Δ R$
ClassB	Kimono	12.10	0.12	-10.50	1.90	-10.70	1.40	-5.93	0.07	11.20	0.02
	ParkScene	2.60	0.01	1.10	0.10	1.30	0.00	-1.44	0.06	2.60	0.01
	Cactus	-0.80	0.11	-0.10	0.10	1.00	0.10	-1.76	0.07	-3.80	0.02
	BasketballDrive	6.90	0.09	6.40	0.10	6.20	0.10	-1.42	0.06	6.90	0.04
	BQTerrace	2.40	0.18	3.20	0.10	5.90	0.10	-4.24	0.11	0.90	0.00
	平均值	4.64	0.10	0.02	0.46	0.74	0.34	-2.96	0.07	3.50	0.02
ClassC	BasketballDrill	-9.70	0.29	-2.90	0.20	-4.10	0.20	-0.33	0.21	-11.00	0.01
	BQMall	-1.30	0.31	0.80	0.40	-0.50	0.20	-0.53	0.23	-1.60	0.01
	PartyScene	0.60	0.17	0.00	0.10	-3.30	0.10	-1.50	0.13	1.00	0.03
	RaceHorses	0.50	0.14	0.40	0.30	1.30	0.10	-1.13	0.11	3.60	0.01
	平均值	-1.05	0.23	0.40	0.25	-1.65	0.15	-0.87	0.17	-2.00	0.01
ClassD	BasketballPass	-3.10	0.53	-2.20	0.40	-3.00	0.40	-1.01	0.45	-3.60	0.07
	BQSquare	10.00	0.93	3.90	0.80	1.30	0.30	1.95	0.79	5.70	0.02
	BlowingBubbles	3.50	0.62	0.10	0.90	-2.30	0.40	-0.51	0.52	2.50	0.12
	RaceHorses	1.90	0.47	2.50	0.40	2.20	0.50	0.48	0.36	4.40	0.01
	平均值	2.25	0.64	2.17	0.63	-1.33	0.40	0.23	0.53	2.30	0.05
ClassE	FourPeople	6.20	0.58	4.10	0.50	5.40	0.40	-2.81	0.48	-0.90	0.00
	Johnny	10.30	1.23	8.30	1.10	5.70	1.10	-2.67	1.09	-0.20	0.01
	KristenAndSara	4.20	0.76	6.30	1.30	3.90	0.70	-4.30	0.66	-3.60	0.01
	平均值	4.97	0.86	6.23	0.97	5.00	0.73	-3.26	0.74	-1.60	0.01
总体平均		3.03	0.46	2.21	0.58	0.69	0.41	-1.71	0.37	0.55	0.02

表1 不同比特分配优化算法性能对比 (%)

Tab. 1 Performance comparison of different bit allocation optimization algorithms

类别	视频序列	VTM_RC		文献［22］算法		文献［23］算法		文献［16］算法		RTE_RC
类别	视频序列	BD-rate（Y）	$Δ R$	BD-rate（Y）	$Δ R$	BD-rate（Y）	$Δ R$	BD-rate（Y）	$Δ R$	BD-rate（Y）	$Δ R$
ClassB	Kimono	12.10	0.12	-10.50	1.90	-10.70	1.40	-5.93	0.07	11.20	0.02
	ParkScene	2.60	0.01	1.10	0.10	1.30	0.00	-1.44	0.06	2.60	0.01
	Cactus	-0.80	0.11	-0.10	0.10	1.00	0.10	-1.76	0.07	-3.80	0.02
	BasketballDrive	6.90	0.09	6.40	0.10	6.20	0.10	-1.42	0.06	6.90	0.04
	BQTerrace	2.40	0.18	3.20	0.10	5.90	0.10	-4.24	0.11	0.90	0.00
	平均值	4.64	0.10	0.02	0.46	0.74	0.34	-2.96	0.07	3.50	0.02
ClassC	BasketballDrill	-9.70	0.29	-2.90	0.20	-4.10	0.20	-0.33	0.21	-11.00	0.01
	BQMall	-1.30	0.31	0.80	0.40	-0.50	0.20	-0.53	0.23	-1.60	0.01
	PartyScene	0.60	0.17	0.00	0.10	-3.30	0.10	-1.50	0.13	1.00	0.03
	RaceHorses	0.50	0.14	0.40	0.30	1.30	0.10	-1.13	0.11	3.60	0.01
	平均值	-1.05	0.23	0.40	0.25	-1.65	0.15	-0.87	0.17	-2.00	0.01
ClassD	BasketballPass	-3.10	0.53	-2.20	0.40	-3.00	0.40	-1.01	0.45	-3.60	0.07
	BQSquare	10.00	0.93	3.90	0.80	1.30	0.30	1.95	0.79	5.70	0.02
	BlowingBubbles	3.50	0.62	0.10	0.90	-2.30	0.40	-0.51	0.52	2.50	0.12
	RaceHorses	1.90	0.47	2.50	0.40	2.20	0.50	0.48	0.36	4.40	0.01
	平均值	2.25	0.64	2.17	0.63	-1.33	0.40	0.23	0.53	2.30	0.05
ClassE	FourPeople	6.20	0.58	4.10	0.50	5.40	0.40	-2.81	0.48	-0.90	0.00
	Johnny	10.30	1.23	8.30	1.10	5.70	1.10	-2.67	1.09	-0.20	0.01
	KristenAndSara	4.20	0.76	6.30	1.30	3.90	0.70	-4.30	0.66	-3.60	0.01
	平均值	4.97	0.86	6.23	0.97	5.00	0.73	-3.26	0.74	-1.60	0.01
总体平均		3.03	0.46	2.21	0.58	0.69	0.41	-1.71	0.37	0.55	0.02

图1 不同算法在不同测试序列中的率失真性能比较

Fig. 1 Comparison of R-D performance of different algorithms in different test sequences

表2 各分量在VTM_RC和RTE_RC下BD-rate对比 (%)

Tab. 2 Comparison of BD-rate for each component between VTM_RC and RTE_RC

类别	VTM_RC				RTE_RC
类别	Y	U	V	YUV	Y	U	V	YUV
平均值	3.03	3.40	3.63	3.19	0.55	-2.10	-1.98	-0.31
ClassB	4.60	1.50	0.90	3.47	3.50	0.58	-1.32	2.21
ClassC	-2.50	-6.20	-4.20	-3.40	-2.00	-8.28	-6.20	-3.75
ClassD	3.10	6.20	7.20	4.30	2.30	1.30	2.70	2.20
ClassE	6.90	12.10	10.60	8.38	-1.57	-1.27	-2.17	-1.62

表3 不同算法的编码时间对比 (时间：h)

Tab. 3 Comparison of coding time of different algorithms

算法	编码时间
FIXED_QP	830.31
VTM_RC	831.89
RTE_RC	802.59

参考文献 23

1	郭红伟，朱策，周益民. HEVC 码率控制技术的研究进展［J］. 重庆邮电大学学报（自然科学版）， 2018， 30（2）： 199-209.
	GUO H W， ZHU C， ZHOU Y M. Recent advances on rate control for HEVC［J］. Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2018， 30（2）：199-209.
2	LIU Y， LI Z G， SOH Y C. A novel rate control scheme for low delay video communication of H.264/AVC standard［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2007， 17（1）： 68-78. 10.1109/tcsvt.2006.887081
3	HE Z， KIM Y K， MITRA S K. Low-delay rate control for DCT video coding via /spl rho/-domain source modeling［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2001， 11（8）： 928-940. 10.1109/76.937431
4	LI L， LI B， LI H， et al. λ-domain optimal bit allocation algorithm for high efficiency video coding［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2018， 28（1）： 130-142. 10.1109/tcsvt.2016.2598672
5	LI B， LI H， LI L， et al. λ domain rate control algorithm for high efficiency video coding［J］. IEEE Transactions on Image Processing， 2014， 23（9）： 3841-3854. 10.1109/tip.2014.2336550
6	郭红伟，朱策，刘宇洋. 视频编码率失真优化技术研究综述［J］. 电子学报， 2020， 48（5）： 1018-1029. 10.3969/j.issn.0372-2112.2020.05.024
	GUO H W， ZHU C， LIU Y Y. Overview of rate-distortion optimization for video coding［J］. Acta Electronica Sinica， 2020， 48（5）：1018-1029. 10.3969/j.issn.0372-2112.2020.05.024
7	GAO Y， ZHU C， LI S， et al. Temporally dependent rate-distortion optimization for low-delay hierarchical video coding［J］. IEEE Transactions on Image Processing， 2017， 26（9）： 4457-4470. 10.1109/tip.2017.2713598
8	GAO Y， ZHU C， LI S， et al. Source distortion temporal propagation analysis for random-access hierarchical video coding optimization［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2019， 29（2）： 546-559. 10.1109/tcsvt.2017.2787190
9	YANG T， ZHU C， FAN X， et al. Source distortion temporal propagation model for motion compensated video coding optimization［C］// Proceedings of the 2012 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2012： 85-90. 10.1109/icme.2012.171
10	LI S， XU M， WANG Z， et al. Optimal bit allocation for CTU level rate control in HEVC［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2017， 27（11）： 2409-2424. 10.1109/tcsvt.2016.2589878
11	GUO H， ZHU C， XU M， et al. Inter-block dependency-based CTU level rate control for HEVC［J］. IEEE Transactions on Broadcasting， 2020， 66（1）： 113-126. 10.1109/tbc.2019.2917402
12	GUO H， ZHU C， GAO Y， et al. A frame-level rate control scheme for low delay video coding in HEVC［C］// Proceedings of the IEEE 19th International Workshop on Multimedia Signal Processing. Piscataway： IEEE， 2017： 1-6. 10.1109/mmsp.2017.8122246
13	LIU F， CHEN Z. Multi-objective optimization of quality in VVC rate control for low-delay video coding［J］. IEEE Transactions on Image Processing， 2021， 30： 4706-4718. 10.1109/tip.2021.3072225
14	MAO Y， WANG M， WANG S， et al. High efficiency rate control for versatile video coding based on composite Cauchy distribution［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（4）： 2371-2384. 10.1109/tcsvt.2021.3093315
15	LI Y， MOU X. Joint optimization for SSIM-based CTU-level bit allocation and rate distortion optimization［J］. IEEE Transactions on Broadcasting， 2021， 67（2）： 500-511. 10.1109/tbc.2021.3068871
16	LI Y， LIU Z， CHEN Z， et al. Rate control for versatile video coding［C］// Proceedings of the 2020 IEEE International Conference on Image Processing. Piscataway： IEEE， 2020： 1176-1180. 10.1109/icip40778.2020.9191125
17	北京航空航天大学. 一种基于最佳比特分配的HEVC CTU级码率控制方法：201510882801.X［P］. 2016-03-23.
	Beihang University. A HEVC CTU level bit rate control method based on optimal bit allocation： 201510882801.X［P］. 2016-03-23.
18	KAMACI N， ALTUNBASAK Y， MERSEREAU R M. Frame bit allocation for the H.264/AVC video coder via Cauchy-density-based rate and distortion models［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2005， 15（8）： 994-1006. 10.1109/tcsvt.2005.852400
19	LI B， XU J， ZHANG D， et al. QP refinement according to Lagrange multiplier for high efficiency video coding［C］// Proceedings of the 2013 IEEE International Symposium on Circuits and Systems. Piscataway： IEEE， 2013： 477-480. 10.1109/iscas.2013.6571884
20	LI B， XU J， LI H. Refining QP to improve coding efficiency in AVS［C］// Proceedings of the 2013 IEEE International Conference on Image Processing. Piscataway： IEEE， 2013： 1528-1531. 10.1109/icip.2013.6738314
21	BOSSEN F. Common test conditions and software reference configurations［EB/OL］. ［2022-04-11］..
22	WANG M， NGAN K N， LI H. Low-delay rate control for consistent quality using distortion-based Lagrange multiplier［J］. IEEE Transactions on Image Processing， 2016， 25（7）： 2943-2955. 10.1109/tip.2016.2552646
23	LI B， LI H， LI L. Adaptive bit allocation for R-lambda model rate control in HM［C］// Proceedings of the 13th Meeting of Joint Collaborative Team on Video Coding of ITU-T SG1 6WP3 and ISO/IEC JTC1/SC. ［S.l.］： JCTVC， 2013： 29.

[1]	廖俊东, 刘立程, 郝禄国, 刘辉. H.265/HEVC中基于R-λ模型码率控制的优化算法[J]. 计算机应用, 2016, 36(11): 2993-2997.
[2]	杨楷芳公衍超. 针对H.264码率控制的初始量化参数选择算法[J]. 计算机应用, 2013, 33(06): 1511-1514.
[3]	吴敏公衍超杨楷芳. 面向高效率视频编码标准的快速码率控制算法[J]. 计算机应用, 2013, 33(05): 1251-1254.
[4]	田一姝沈强刘延伟张宇赵志军. X264的平均比特率控制算法优化[J]. 计算机应用, 2013, 33(03): 680-683.
[5]	史春明黄东军. H.264基本单元层码率控制的改进算法[J]. 计算机应用, 2011, 31(11): 3001-3003.
[6]	杨金孙宇孙世新. H.264可伸缩视频编码层间码率控制算法[J]. 计算机应用, 2011, 31(09): 2457-2460.
[7]	王科技康志伟刘新焕陈步真. 基于Cauchy分布的H.264/AVC码率控制优化算法[J]. 计算机应用, 2010, 30(9): 2444-2448.
[8]	蔡铁龙志军伍星. 基于语音质量预测的Speex自适应码率控制算法[J]. 计算机应用, 2010, 30(3): 761-764.
[9]	缪广忠林其伟. 一种有效的初始量化参数选择算法[J]. 计算机应用, 2010, 30(2): 330-332.
[10]	段厚勇汪同庆. 一种H.264帧层码率控制的改进算法[J]. 计算机应用, 2009, 29(4): 1008-1010.
[11]	杨宇何小海吕瑞. 基于H.264标准的码率控制算法[J]. 计算机应用, 2009, 29(3): 675-677.
[12]	李慧然彭强陈睿. 基于运动检测的H.264码率控制的算法[J]. 计算机应用, 2008, 28(2): 385-388.
[13]	李玉军卢显良段翰聪唐晖周旭赵志军. 分布式协作系统的多方视频传输方法[J]. 计算机应用, 2007, 27(7): 1579-1581.
[14]	崔鹏刚郭宝龙. 一种面向H.264/AVC的帧层码率控制算法[J]. 计算机应用, 2007, 27(5): 1167-1170.
[15]	扈小丹王永初. 一种新的码率控制算法[J]. 计算机应用, 2007, 27(4): 805-807.

优化编码树单元级比特分配算法

Optimized bit allocation algorithm for coding tree unit level

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 23

相关文章 15

编辑推荐

Metrics