Software testing resource allocation algorithm for dynamic changes in architecture

doi:10.11772/j.issn.1001-9081.2022060824

Journal of Computer Applications ›› 2023, Vol. 43 ›› Issue (7): 2261-2270.DOI: 10.11772/j.issn.1001-9081.2022060824

• Computer software technology • Previous Articles Next Articles

Software testing resource allocation algorithm for dynamic changes in architecture

Lei LI¹, Guofu ZHANG¹^,²^,³^,⁴(), Zhaopin SU¹^,²^,³^,⁴, Feng YUE¹^,⁴

^1.School of Computer Science and Information Engineering，Hefei University of Technology，Hefei Anhui 230601，China
^2.Key Laboratory of Knowledge Engineering with Big Data，Ministry of Education （Hefei University of Technology），Hefei Anhui 230601，China
^3.Intelligent Interconnected Systems Laboratory of Anhui Province （Hefei University of Technology），Hefei Anhui 230009，China
^4.Anhui Province Key Laboratory of Industry Safety and Emergency Technology （Hefei University of Technology），Hefei Anhui 230601，China

Received:2022-06-08 Revised:2022-09-26 Accepted:2022-09-28 Online:2022-10-25 Published:2023-07-10
Contact: Guofu ZHANG
About author:LI Lei， born in 1998， M. S. candidate. His research interests include search based software engineering.
ZHANG Guofu， born in 1979， Ph. D.， professor. His research interests include evolutionary computation， software engineering.
SU Zhaopin， born in 1983， Ph. D.， associate professor. Her research interests include evolutionary computation， information security.
YUE Feng， born in 1981， Ph. D.， associate professor. His research interests include software reliability， intelligent optimization， speech security.
Supported by:
Key Research and Development Program of Anhui Province(202004d07020011);Open Project of Guangdong Provincial Key Laboratory of Brain-inspired Intelligent Computation(GBL202117);Fundamental Funds for the Central Universities(PA2021GDSK0073)

体系结构动态变化的软件测试资源分配算法

李磊¹, 张国富¹^,²^,³^,⁴(), 苏兆品¹^,²^,³^,⁴, 岳峰¹^,⁴

^1.合肥工业大学计算机与信息学院, 合肥 230601
^2.大数据知识工程教育部重点实验室(合肥工业大学), 合肥 230601
^3.智能互联系统安徽省实验室(合肥工业大学), 合肥 230009
^4.工业安全与应急技术安徽省重点实验室(合肥工业大学), 合肥 230601

通讯作者: 张国富
作者简介:李磊（1998—），男，安徽安庆人，硕士研究生，主要研究方向：基于搜索的软件工程；
张国富（1979—），男，安徽合肥人，教授，博士，CCF会员，主要研究方向：进化计算、软件工程；
苏兆品（1983—），女，山东菏泽人，副教授，博士，CCF会员，主要研究方向：进化计算、信息安全；
岳峰（1981—），男，安徽合肥人，副教授，博士，主要研究方向：软件可靠性、智能优化、语音安全。
基金资助:
安徽省重点研究与开发计划项目(202004d07020011);广东省类脑智能计算重点实验室开放课题(GBL202117);中央高校基本科研业务费专项资金资助项目(PA2021GDSK0073)

Abstract

Abstract:

Testing resource allocation is a core problem in software testing. Most of the existing related studies assume that the software architecture is static and rarely consider cost constraints. To address this problem， a software testing resource allocation algorithm for dynamic changes in architecture was proposed. Firstly， a multi-stage multi-objective multi-constraint testing resource allocation model with dynamically changing architecture was constructed. Then， based on parameter re-estimation and generalized differential evolution， the population re-initialization was added to the algorithm， which was able to reduce the algorithm search space and improve the algorithm performance. Finally， a new repair processing mechanism was added to the algorithm， which was able to eliminate the invalid solutions generated by the algorithm effectively. Compared with the solution sets obtained by the Multi-Objective Differential Evolution based on Weighted Normalized Sum （WNS-MODE） algorithm and Dynamic Testing Resource Allocation based on Generalized Differential Evolution 3 （DTRA-GDE3） algorithm， the solution set obtained by the proposed algorithm has the capacity value improved by about 11.81 times and 0.39 times respectively. In terms of coverage value metrics， the proposed algorithm completely covered the WNS-MODE algorithm and improved 81 percentage points with respect to the DTRA-GDE3 algorithm. In terms of the super volume value metrics， the proposed algorithm improved nearly 6 and 9 times， respectively. Experimental results show that the proposed algorithm can better adapt to the dynamic changes in software architecture， can provide more and better testing resource allocation schemes for dynamic testing of software products， and meets the dynamic changes in user requirements.

Key words: component-based software, testing resource allocation, dynamic testing, multi-stage, normalization

摘要：

测试资源分配是软件测试中的一个核心问题。已有相关研究大都假设软件的体系结构是静态不变的，且几乎没有考虑成本约束。针对该问题，提出一种体系结构动态变化的软件测试资源分配算法。首先构建了一种体系结构动态变化的多阶段多目标多约束测试资源分配模型；然后基于参数重估计、广义差分进化，在算法中加入了种群重新初始化，该方法能减小算法搜索空间并提升算法性能；最后在算法中加入了一种新的修复处理机制，该机制能有效剔除算法产生的无效解。与归一化加权求和多目标差分进化（WNS-MODE）算法和基于第三代广义差分进化的动态测试资源分配（DTRA-GDE3）算法相比，所提算法获得的解集的容量值分别提高了约11.81倍和0.39倍。在覆盖值指标方面，所提算法完全覆盖了WNS-MODE算法，并且相对于DTRA-GDE3算法提高了81个百分点。在超体积值指标方面，所提算法分别提高了近6倍和9倍。实验结果表明，所提算法能够更好地适应软件体系结构的动态变化，可为软件产品的动态测试提供更多和更优的测试资源分配方案，并满足用户需求的动态变化。

关键词: 构件软件, 测试资源分配, 动态测试, 多阶段, 归一化

CLC Number:

TP311

Lei LI, Guofu ZHANG, Zhaopin SU, Feng YUE. Software testing resource allocation algorithm for dynamic changes in architecture[J]. Journal of Computer Applications, 2023, 43(7): 2261-2270.

李磊, 张国富, 苏兆品, 岳峰. 体系结构动态变化的软件测试资源分配算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2261-2270.

Figures/Tables 12

Tab. 1 Related parameters of multi-objective optimization model

参数	含义
$a i k$	组件 $i$ 在第 $k$ 阶段初始故障的预期数量
$b i k$	组件 $i$ 在第 $k$ 阶段的错误检测率
$c 1 i$	在测试阶段从组件 $i$ 中移除一个故障的成本
$c 2 i$	在运行阶段从组件 $i$ 中移除一个故障的成本
$c 3 i$	组件 $i$ 在单位时间的人力资源成本
$u i k$	组件 $i$ 在第 $k$ 阶段的预期访问次数
$θ$	软件系统的预期寿命

Tab. 1 Related parameters of multi-objective optimization model

参数	含义
$a i k$	组件 $i$ 在第 $k$ 阶段初始故障的预期数量
$b i k$	组件 $i$ 在第 $k$ 阶段的错误检测率
$c 1 i$	在测试阶段从组件 $i$ 中移除一个故障的成本
$c 2 i$	在运行阶段从组件 $i$ 中移除一个故障的成本
$c 3 i$	组件 $i$ 在单位时间的人力资源成本
$u i k$	组件 $i$ 在第 $k$ 阶段的预期访问次数
$θ$	软件系统的预期寿命

Fig. 1 Flowchart of MD-GDE3 algorithm

Tab. 2 Parameters of system

系统规模	$τ$	$n$	$T k *$	$R k *$
简单系统	100	｛10，12，15｝	｛4E+3，1E+5，5E+5｝	｛0.8，0.9，0.95｝
复杂系统	150	｛20，24，30｝	｛8E+3，1.2E+5，1E+6｝	｛0.75，0.85，0.95｝
大型系统	200	｛50，60，75｝	｛2E+4，1.5E+5，1.2E+6｝	｛0.7，0.85，0.95｝

Tab. 2 Parameters of system

系统规模	$τ$	$n$	$T k *$	$R k *$
简单系统	100	｛10，12，15｝	｛4E+3，1E+5，5E+5｝	｛0.8，0.9，0.95｝
复杂系统	150	｛20，24，30｝	｛8E+3，1.2E+5，1E+6｝	｛0.75，0.85，0.95｝
大型系统	200	｛50，60，75｝	｛2E+4，1.5E+5，1.2E+6｝	｛0.7，0.85，0.95｝

Tab. 3 Parameter ranges of components

参数	取值	参数	取值
$a i$	［400，1 000］	$c 2 i$	［5.0，15.0］
$b i$	［0.01，0.1］	$c 3 i$	［0.25，0.75］
$c 1 i$	［1.0，3.0］	$θ$	［0，1.0］

Tab. 3 Parameter ranges of components

参数	取值	参数	取值
$a i$	［400，1 000］	$c 2 i$	［5.0，15.0］
$b i$	［0.01，0.1］	$c 3 i$	［0.25，0.75］
$c 1 i$	［1.0，3.0］	$θ$	［0，1.0］

Tab. 4 Capacity value results of three algorithms

系统规模	实例	第1阶段			第2阶段			第3阶段
系统规模	实例	\|A\|	\|B\|	\|C\|	\|A\|	\|B\|	\|C\|	\|A\|	\|B\|	\|C\|
复杂软件系统	1	7 499	7500	1 896	7500	3 749	459	7495	3 495	10
	2	7500	7500	685	7499	5 495	478	7495	3 497	46
	3	7 499	7500	1 728	7499	4 499	414	7471	1 497	1
	4	7500	7 499	1 400	7497	4 496	433	7494	2 496	39
	5	7 499	7500	1 029	7500	4 497	401	7496	3 495	55
	6	7 498	7499	1 412	7497	4 999	452	7497	3 747	67
	7	7500	7500	714	7497	5 747	463	7495	3 745	164
	8	7500	7500	1 524	7497	4 996	463	7492	3 246	214
	9	7499	7499	982	7498	6 247	447	7494	1 747	127
	10	7500	7500	869	7499	6 499	499	7497	2 498	65
	平均值	7500	7500	1 224	7488	5 112	451	7493	2 946	79
大型软件系统	1	7499	250	0	7500	0	0	7491	0	0
	2	7500	0	0	7500	0	0	7496	0	0
	3	7 499	0	0	7499	0	0	7496	0	0
	4	7500	250	0	7498	0	0	1996	0	0
	5	7499	250	0	7500	0	0	1000	0	0
	6	7498	500	0	7500	0	0	7497	0	0
	7	7500	0	0	7500	0	0	7495	0	0
	8	7500	0	0	7500	0	0	2000	0	0
	9	7499	250	0	7499	0	0	7490	0	0
	10	7 500	250	0	7499	0	0	7492	0	0
	平均值	7499	250	0	7500	0	0	7491	0	0

Tab. 5 Coverage value results of three algorithms

系统规模	实例	覆盖值/%
		第1阶段		第2阶段		第3阶段		第1阶段		第2阶段		第3阶段
		Cv（A，B）	Cv（B，A）	Cv（A，B）	Cv（B，A）	Cv（A，B）	Cv（B，A）	Cv（A，C）	Cv（C，A）	Cv（A，C）	Cv（C，A）	Cv（A，C）	Cv（C，A）
复杂软件系统	1	99.23	27.87	100.00	0.00	100.00	1.04	100.00	0.00	100.00	0.00	100.00	0.00
	2	99.11	21.15	100.00	3.99	100.00	7.61	100.00	0.00	100.00	0.00	100.00	0.00
	3	96.65	38.23	100.00	2.21	100.00	0.84	100.00	0.00	100.00	0.00	100.00	0.00
	4	97.81	33.21	100.00	0.99	100.00	3.56	100.00	0.00	100.00	0.00	100.00	0.00
	5	98.48	24.58	100.00	3.71	100.00	12.91	100.00	0.00	100.00	0.00	100.00	0.00
	6	96.43	43.81	99.92	35.51	100.00	33.92	100.00	0.00	100.00	0.13	100.00	0.00
	7	98.19	29.75	100.00	1.93	100.00	1.52	100.00	0.00	100.00	0.00	100.00	0.00
	8	99.09	17.61	100.00	30.83	100.00	28.91	100.00	0.00	100.00	0.00	100.00	1.19
	9	97.19	39.78	100.00	0.73	100.00	42.37	100.00	0.00	100.00	0.00	100.00	0.28
	10	98.08	26.12	99.60	35.71	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	平均值	98.03	30.21	99.95	11.45	100.00	12.27	100.00	0.00	100.00	0.01	100.00	0.15
大型软件系统	1	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	2	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	3	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	4	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	5	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	6	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	7	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	8	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	9	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	10	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
	平均值	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00

Tab. 6 Hypervolume （mean and standard deviation） results of three algorithms in complex systems

阶段	解集	指标	实例1	实例2	实例3	实例4	实例5	实例6	实例7	实例8	实例9	实例10	平均值
第 1 阶段	A	均值	1.33E+07	4.54E+06	1.13E+07	7.84E+06	7.60E+06	7.72E+06	6.71E+06	9.99E+06	5.04E+06	5.77E+06	7.98E+06
	A	标准差	6.11E+04	3.25E+04	3.60E+04	4.11E+04	5.08E+04	6.67E+04	3.35E+04	4.28E+04	4.12E+04	2.74E+04	4.33E+04
	B	均值	9.28E+06	3.55E+06	8.78E+06	5.74E+06	5.64E+06	5.79E+06	4.81E+06	7.26E+06	3.55E+06	4.63E+06	5.90E+06
	B	标准差	2.82E+06	7.32E+05	2.40E+06	2.10E+06	1.47E+06	2.05E+06	1.51E+06	2.13E+06	1.40E+06	9.03E+05	1.75E+06
	C	均值	1.14E+07	2.00E+06	9.60E+06	6.23E+06	4.48E+06	6.25E+06	2.80E+06	7.75E+06	3.22E+06	3.04E+06	5.68E+06
	C	标准差	2.46E+05	1.67E+06	3.57E+05	1.20E+06	2.76E+06	2.20E+05	2.67E+06	2.13E+06	1.32E+06	2.10E+06	1.47E+06
第 2 阶段	A	均值	2.74E+08	2.30E+08	2.00E+08	1.91E+08	1.96E+08	1.99E+08	2.36E+08	2.44E+08	2.25E+08	2.60E+08	2.26E+08
	A	标准差	1.16E+07	7.32E+06	7.81E+06	6.64E+06	8.89E+06	1.20E+07	9.34E+06	9.06E+06	1.14E+07	1.16E+07	9.57E+06
	B	均值	5.90E+07	4.94E+07	1.84E+07	3.13E+07	3.33E+07	3.15E+07	6.52E+07	4.73E+07	4.88E+07	7.36E+07	4.58E+07
	B	标准差	7.19E+07	6.62E+07	4.22E+07	4.29E+07	5.25E+07	5.02E+07	7.08E+07	6.76E+07	6.00E+07	7.47E+07	5.99E+07
	C	均值	1.43E+08	1.26E+08	8.91E+07	9.37E+07	9.18E+07	9.48E+07	1.20E+08	1.27E+08	1.18E+08	1.41E+08	1.14E+08
	C	标准差	2.13E+07	1.81E+07	1.71E+07	1.15E+07	1.47E+07	1.33E+07	1.51E+07	2.08E+07	1.89E+07	2.19E+07	1.73E+07
第 3 阶段	A	均值	8.93E+09	6.62E+09	1.04E+10	6.75E+09	6.81E+09	7.03E+09	5.84E+09	5.45E+09	5.17E+09	6.89E+09	6.99E+09
	A	标准差	6.17E+08	7.98E+08	6.15E+08	5.83E+08	7.30E+08	6.93E+08	1.17E+09	1.13E+09	1.06E+09	7.16E+08	8.11E+08
	B	均值	1.92E+09	1.09E+09	1.03E+09	7.44E+08	1.17E+09	1.48E+09	6.92E+08	7.04E+08	5.14E+08	7.62E+08	1.01E+09
	B	标准差	2.39E+09	1.50E+09	2.22E+09	1.36E+09	1.89E+09	2.17E+09	1.25E+09	1.37E+09	1.24E+09	1.30E+09	1.67E+09
	C	均值	4.21E+08	4.17E+08	9.05E+07	4.29E+08	4.87E+08	7.27E+08	9.91E+08	1.34E+09	7.08E+08	5.54E+08	6.16E+08
	C	标准差	7.44E+08	6.45E+08	4.96E+08	6.80E+08	5.30E+08	7.60E+08	7.80E+08	6.36+8	6.04E+08	6.71E+08	6.57E+08

Tab. 6 Hypervolume （mean and standard deviation） results of three algorithms in complex systems

阶段	解集	指标	实例1	实例2	实例3	实例4	实例5	实例6	实例7	实例8	实例9	实例10	平均值
第 1 阶段	A	均值	1.33E+07	4.54E+06	1.13E+07	7.84E+06	7.60E+06	7.72E+06	6.71E+06	9.99E+06	5.04E+06	5.77E+06	7.98E+06
	A	标准差	6.11E+04	3.25E+04	3.60E+04	4.11E+04	5.08E+04	6.67E+04	3.35E+04	4.28E+04	4.12E+04	2.74E+04	4.33E+04
	B	均值	9.28E+06	3.55E+06	8.78E+06	5.74E+06	5.64E+06	5.79E+06	4.81E+06	7.26E+06	3.55E+06	4.63E+06	5.90E+06
	B	标准差	2.82E+06	7.32E+05	2.40E+06	2.10E+06	1.47E+06	2.05E+06	1.51E+06	2.13E+06	1.40E+06	9.03E+05	1.75E+06
	C	均值	1.14E+07	2.00E+06	9.60E+06	6.23E+06	4.48E+06	6.25E+06	2.80E+06	7.75E+06	3.22E+06	3.04E+06	5.68E+06
	C	标准差	2.46E+05	1.67E+06	3.57E+05	1.20E+06	2.76E+06	2.20E+05	2.67E+06	2.13E+06	1.32E+06	2.10E+06	1.47E+06
第 2 阶段	A	均值	2.74E+08	2.30E+08	2.00E+08	1.91E+08	1.96E+08	1.99E+08	2.36E+08	2.44E+08	2.25E+08	2.60E+08	2.26E+08
	A	标准差	1.16E+07	7.32E+06	7.81E+06	6.64E+06	8.89E+06	1.20E+07	9.34E+06	9.06E+06	1.14E+07	1.16E+07	9.57E+06
	B	均值	5.90E+07	4.94E+07	1.84E+07	3.13E+07	3.33E+07	3.15E+07	6.52E+07	4.73E+07	4.88E+07	7.36E+07	4.58E+07
	B	标准差	7.19E+07	6.62E+07	4.22E+07	4.29E+07	5.25E+07	5.02E+07	7.08E+07	6.76E+07	6.00E+07	7.47E+07	5.99E+07
	C	均值	1.43E+08	1.26E+08	8.91E+07	9.37E+07	9.18E+07	9.48E+07	1.20E+08	1.27E+08	1.18E+08	1.41E+08	1.14E+08
	C	标准差	2.13E+07	1.81E+07	1.71E+07	1.15E+07	1.47E+07	1.33E+07	1.51E+07	2.08E+07	1.89E+07	2.19E+07	1.73E+07
第 3 阶段	A	均值	8.93E+09	6.62E+09	1.04E+10	6.75E+09	6.81E+09	7.03E+09	5.84E+09	5.45E+09	5.17E+09	6.89E+09	6.99E+09
	A	标准差	6.17E+08	7.98E+08	6.15E+08	5.83E+08	7.30E+08	6.93E+08	1.17E+09	1.13E+09	1.06E+09	7.16E+08	8.11E+08
	B	均值	1.92E+09	1.09E+09	1.03E+09	7.44E+08	1.17E+09	1.48E+09	6.92E+08	7.04E+08	5.14E+08	7.62E+08	1.01E+09
	B	标准差	2.39E+09	1.50E+09	2.22E+09	1.36E+09	1.89E+09	2.17E+09	1.25E+09	1.37E+09	1.24E+09	1.30E+09	1.67E+09
	C	均值	4.21E+08	4.17E+08	9.05E+07	4.29E+08	4.87E+08	7.27E+08	9.91E+08	1.34E+09	7.08E+08	5.54E+08	6.16E+08
	C	标准差	7.44E+08	6.45E+08	4.96E+08	6.80E+08	5.30E+08	7.60E+08	7.80E+08	6.36+8	6.04E+08	6.71E+08	6.57E+08

Tab. 7 Hypervolume （mean and standard deviation） results of three algorithms in large systems

阶段	解集	指标	实例1	实例2	实例3	实例4	实例5	实例6	实例7	实例8	实例9	实例10	平均值
第 1 阶段	A	均值	4.49E+07	2.97E+07	5.35E+07	5.66E+07	5.88E+07	7.85E+07	8.73E+07	8.37E+07	4.71E+07	6.67E+07	6.07E+07
	A	标准差	8.55E+06	9.93E+05	1.11E+06	2.01E+06	1.91E+06	1.25E+06	1.89E+06	1.95E+06	2.09E+06	1.69E+06	2.34E+06
	B	均值	9.54E+03	0	0	5.53E+02	3.36E+05	1.86E+05	0	0	6.74E+04	4.10E+05	9.15E+04
	B	标准差	5.23E+04	0	0	3.03E+03	1.84E+06	7.19E+05	0	0	3.69E+05	2.25E+06	5.23E+05
	C	均值	0	0	0	0	0	0	0	0	0	0	0
	C	标准差	0	0	0	0	0	0	0	0	0	0	0
第 2 阶段	A	均值	2.20E+08	1.51E+08	2.52E+08	1.88E+08	1.95E+08	2.51E+08	2.16E+08	3.06E+08	1.92E+08	2.12E+08	2.18E+08
	A	标准差	2.36E+06	1.72E+06	1.86E+06	2.57E+06	2.13E+06	3.31E+06	3.85E+06	1.74E+06	2.08E+06	1.56E+06	2.32E+06
	B	均值	0	0	0	0	0	0	0	0	0	0	0
	B	标准差	0	0	0	0	0	0	0	0	0	0	0
	C	均值	0	0	0	0	0	0	0	0	0	0	0
	C	标准差	0	0	0	0	0	0	0	0	0	0	0
第 3 阶段	A	均值	3.36E+09	2.73E+09	2.82E+09	6.01E+07	3.69E+07	3.60E+09	2.91E+09	2.69E+08	2.97E+08	3.90E+09	2.00E+09
	A	标准差	1.12E+08	1.47E+08	1.06E+08	1.42E+08	9.90E+07	1.62E+08	1.57E+08	6.14E+08	1.42E+08	1.52E+08	1.83E+08
	B	均值	0	0	0	0	0	0	0	0	0	0	0
	B	标准差	0	0	0	0	0	0	0	0	0	0	0
	C	均值	0	0	0	0	0	0	0	0	0	0	0
	C	标准差	0	0	0	0	0	0	0	0	0	0	0

Fig. 2 Non-dominated solutions obtained by three algorithms on complex system example 4

Tab. 8 Capacity value indicators in complex systems

实例	第1阶段			第2阶段			第3阶段			实例	第1阶段			第2阶段			第3阶段
实例	\|A\|	\|D\|	\|E\|	\|A\|	\|D\|	\|E\|	\|A\|	\|D\|	\|E\|	实例	\|A\|	\|D\|	\|E\|	\|A\|	\|D\|	\|E\|	\|A\|	\|D\|	\|E\|
1	7499	7 498	5 749	7500	7500	1 000	7495	7 492	0	7	7500	7 499	5 750	7 497	7498	2 499	7495	7 494	0
2	7500	7 499	5 497	7499	7 498	1 500	7495	7 488	0	8	7500	7 499	6 250	7 497	7498	1 500	7492	7 489	0
3	7 499	7500	6 750	7499	7499	1 248	7471	6 242	0	9	7 499	7500	4 997	7 498	7499	1 500	7 494	7496	0
4	7500	7 497	5 499	7 497	7499	2 494	7494	7 488	0	10	7500	7 499	5 997	7499	7 497	2 498	7497	7 491	0
5	7499	7 498	5 749	7500	7 497	1 498	7496	7 489	0	平均值	7500	7 498	5 824	7498	7498	1 798	7493	7 366	0
6	7 498	7500	6 000	7 497	7499	2 247	7497	7 491	0	平均值	7500	7 498	5 824	7498	7498	1 798	7493	7 366	0

Tab. 9 Coverage value indicators in complex systems

实例	覆盖值/%
	第1阶段		第2阶段		第3阶段		第1阶段		第2阶段		第3阶段
	Cv（A，D）	Cv（D，A）	Cv（A，D）	Cv（D，A）	Cv（A，D）	Cv（D，A）	Cv（D，E）	Cv（E，D）	Cv（D，E）	Cv（E，D）	Cv（D，E）	Cv（E，D）
平均值	100.00	0.15	99.45	0.13	99.95	0.72	99.86	4.20	100.00	0.00	100.00	0.00
1	100.00	1.47	99.27	0.00	100.00	0.00	99.81	5.19	100.00	0.00	100.00	0.00
2	100.00	0.00	99.61	0.00	100.00	0.01	100.00	0.00	100.00	0.00	100.00	0.00
3	100.00	0.05	99.59	0.00	100.00	0.00	99.66	14.93	100.00	0.00	100.00	0.00
4	100.00	0.00	99.32	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
5	100.00	0.00	99.32	0.00	100.00	0.00	100.00	0.00	100.00	0.00	100.00	0.00
6	100.00	0.00	99.49	0.67	100.00	0.00	99.33	17.25	100.00	0.00	100.00	0.00
7	100.00	0.00	99.52	0.17	99.96	1.44	100.00	0.03	100.00	0.00	100.00	0.00
8	100.00	0.00	99.36	0.00	99.91	4.55	99.81	4.11	100.00	0.00	100.00	0.00
9	100.00	0.00	99.40	0.41	99.64	1.20	100.00	0.00	100.00	0.00	100.00	0.00
10	100.00	0.00	99.61	0.00	100.00	0.00	99.97	0.48	100.00	0.00	100.00	0.00

Tab. 10 Hypervolume （mean and standard deviation） indicators in complex systems

阶段	解集	指标	实例1	实例2	实例3	实例4	实例5	实例6	实例7	实例8	实例9	实例10	平均值
第 1 阶段	A	均值	1.33E+07	4.54E+06	1.13E+07	7.84E+06	7.60E+06	7.72E+06	6.71E+06	9.99E+06	5.04E+06	5.77E+06	7.98E+06
	A	标准差	6.11E+04	3.25E+04	3.60E+04	4.11E+04	5.08E+04	6.67E+04	3.35E+04	4.28E+04	4.12E+04	2.74E+04	4.33E+04
	D	均值	1.27E+07	3.90E+06	1.08E+07	7.14E+06	6.93E+06	6.96E+06	6.08E+06	9.30E+06	4.39E+06	5.19E+06	7.34E+06
	D	标准差	4.08E+04	3.49E+04	8.24E+04	5.79E+04	2.22E+04	6.64E+04	3.81E+04	3.20E+04	4.26E+04	2.76E+04	4.45E+04
	E	均值	4.21E+06	1.07E+06	3.91E+06	1.94E+06	1.61E+06	2.07E+06	1.65E+06	2.62E+06	9.85E+06	1.55E+06	3.05E+06
	E	标准差	3.82E+06	1.15E+06	3.25E+06	1.89E+06	1.68E+06	2.10E+06	1.72E+06	3.02E+06	1.14E+06	1.42E+06	2.12E+06
第 2 阶段	A	均值	2.74E+08	2.30E+08	2.00E+08	1.91E+08	1.96E+08	1.99E+08	2.36E+08	2.44E+08	2.25E+08	2.60E+08	2.26E+08
	A	标准差	1.16E+07	7.32E+06	7.81E+06	6.64E+06	8.89E+06	1.20E+07	9.34E+06	9.06E+06	1.14E+07	1.16E+07	9.57E+06
	D	均值	1.74E+08	1.95E+08	1.48E+08	1.93E+08	1.73E+08	1.60E+08	1.93E+08	1.64E+08	1.24E+08	2.07E+08	1.73E+08
	D	标准差	1.14E+07	7.61E+06	8.69E+06	9.70E+06	7.34E+06	9.60E+06	1.14E+07	9.07E+06	9.86E+06	1.27E+07	9.74E+06
	E	均值	3.11E+06	2.12E+06	8.39E+06	1.46E+06	4.20E+06	7.53E+06	1.24E+06	2.24E+06	1.49E+06	8.92E+06	3.53E+06
	E	标准差	1.10E+07	7.70E+06	2.72E+07	4.36E+06	1.84E+07	2.39E+07	3.83E+07	1.03E+07	5.74E+06	3.55E+07	1.82E+07
第 3 阶段	A	均值	8.93E+09	6.62E+09	1.04E+10	6.75E+09	6.81E+09	7.03E+09	5.84E+09	5.45E+09	5.17E+09	6.89E+09	6.99E+09
	A	标准差	6.17E+08	7.98E+08	6.15E+08	5.83E+08	7.30E+08	6.93E+08	1.17E+09	1.13E+09	1.06E+09	7.16E+08	8.11E+08
	D	均值	4.25E+08	1.56E+09	1.27E+08	1.77E+09	1.50E+09	2.12E+09	2.41E+09	2.80E+09	2.61E+09	1.72E+09	1.70E+09
	D	标准差	1.99E+08	4.99E+08	9.65E+07	4.90E+08	5.43E+08	5.08E+08	6.31E+08	7.66E+08	6.01E+08	5.51E+08	4.88E+08
	E	均值	0	0	0	0	0	0	0	0	0	0	0
	E	标准差	0	0	0	0	0	0	0	0	0	0	0

References 25

1	PIETRANTUONO R. On the testing resource allocation problem： research trends and perspectives［J］. Journal of Systems and Software， 2020， 161： No.110462. 10.1016/j.jss.2019.110462
2	WANG Z， TANG K， YAO X. A multi-objective approach to testing resource allocation in modular software systems ［C］// Proceedings of the 2008 IEEE Congress on Evolutionary Computation （IEEE World Congress on Computational Intelligence）. Piscataway： IEEE， 2008： 1148-1153. 10.1109/cec.2008.4630941
3	WANG Z， TANG K， YAO X. Multi-objective approaches to optimal testing resource allocation in modular software systems［J］. IEEE Transactions on Reliability， 2010， 59（3）： 563-575. 10.1109/tr.2010.2057310
4	YANG B， HU Y M， HUANG C Y. An architecture-based multi-objective optimization approach to testing resource allocation［J］. IEEE Transactions on Reliability， 2015， 64（1）： 497-515. 10.1109/tr.2014.2372411
5	陆阳，岳峰，张国富，等.串并行软件系统测试资源动态分配建模及求解［J］.软件学报， 2016， 27（8）： 1964-1977.
	LU Y， YUE F， ZHANG G F， et al. Model and solution to testing resource dynamic allocation for series-parallel software systems［J］. Journal of Software， 2016， 27（8）： 1964-1977.
6	ZHANG G F， SU Z P， LI M Q， et al. Constraint handling in NSGA-Ⅱ for solving optimal testing resource allocation problems［J］. IEEE Transactions on Reliability， 2017， 66（4）： 1193-1212. 10.1109/tr.2017.2738660
7	PIETRANTUONO R， POTENA P， PECCHIA A， et al. Multiobjective testing resource allocation under uncertainty［J］. IEEE Transactions on Evolutionary Computation， 2018， 22（3）： 347-362. 10.1109/tevc.2017.2691060
8	牛福强，张国富，苏兆品，等.多阶段多目标动态测试资源分配算法［J］.计算机工程与设计， 2020， 41（3）： 656-663.
	NIU F Q， ZHANG G F， SU Z P， et al. Multi-stage and multi-objective dynamic testing resource allocation algorithm［J］. Computer Engineering and Design， 2020， 41（3）： 656-663.
9	占德志，张国富，苏兆品，等.动态可靠性约束的多阶段测试资源分配研究［J］.计算机工程， 2021， 47（2）： 246-253， 260.
	ZHAN D Z， ZHANG G F， SU Z P， et al. Research on multi-stage testing resource allocation with dynamic reliability constraints［J］. Computer Engineering， 2021， 47（2）： 246-253， 260.
10	KUKKONEN S， LAMPINEN J. GDE3： the third evolution step of generalized differential evolution ［C］// Proceedings of the 2005 IEEE Congress on Evolutionary Computation. Piscataway： IEEE， 2005： 443-450.
11	PIETRANTUONO R， RUSSO S， TRIVEDI K S. Software reliability and testing time allocation： an architecture-based approach［J］. IEEE Transactions on Software Engineering， 2010， 36（3）： 323-337. 10.1109/tse.2010.6
12	张策，崔刚，刘宏伟，等.构件软件可靠性过程技术［J］.计算机学报， 2014， 37（12）： 2586-2612.
	ZHANG C， CUI G， LIU H W， et al. Component-based software reliability process technologies［J］. Chinese Journal of Computers， 2014， 37（12）： 2586-2612.
13	FIONDELLA L， GOKHALE S S. Optimal allocation of testing effort considering software architecture［J］. IEEE Transactions on Reliability， 2012， 61（2）： 580-589. 10.1109/tr.2012.2192016
14	GOEL A L， OKUMOTO K. Time-dependent error-detection rate model for software reliability and other performance measures［J］. IEEE Transactions on Reliability， 1979， R-28（3）： 206-211. 10.1109/tr.1979.5220566
15	ZITZLER E， THIELE L. Multiobjective optimization using evolutionary algorithms — a comparative case study ［C］// Proceedings of the 1998 International Conference on Parallel Problem Solving from Nature， LNCS 1498. Berlin： Springer， 1998： 292-301.
16	ALMERING V， van GENUCHTEN M， CLOUDT G， et al. Using software reliability growth models in practice［J］. IEEE Software， 2007， 24（6）： 82-88. 10.1109/ms.2007.182
17	XIE M， YANG B. A study of the effect of imperfect debugging on software development cost［J］. IEEE Transactions on Software Engineering， 2003， 29（5）： 471-473. 10.1109/tse.2003.1199075
18	KIMURA M， TOYOTA T， YAMADA S. Economic analysis of software release problems with warranty cost and reliability requirement［J］. Reliability Engineering and System Safety， 1999， 66（1）： 49-55. 10.1016/s0951-8320(99)00020-4
19	ZEEPHONGSEKUL P， JAYASINGHE C L， FIONDELLA L， et al. Maximum-likelihood estimation of parameters of NHPP software reliability models using expectation conditional maximization algorithm［J］. IEEE Transactions on Reliability， 2016， 65（3）： 1571-1583. 10.1109/tr.2016.2570557
20	DEB K， PRATAP A， AGARWAL S， et al. A fast and elitist multiobjective genetic algorithm： NSGA-Ⅱ［J］. IEEE Transactions on Evolutionary Computation， 2002， 6（2）： 182-197. 10.1109/4235.996017
21	邵志胜，张国富，苏兆品，等.基于软件体系结构和广义差分进化的测试资源动态分配算法［J］.计算机应用， 2021， 41（12）： 3692-3701.
	SHAO Z S， ZHANG G F， SU Z P， et al. Dynamic testing resource allocation algorithm based on software architecture and generalized differential evolution［J］. Journal of Computer Applications， 2021， 41（12）： 3692-3701.
22	ZITZLER E， THIELE L. Multiobjective evolutionary algorithms： a comparative case study and the strength Pareto approach［J］. IEEE Transactions on Evolutionary Computation， 1999， 3（4）： 257-271. 10.1109/4235.797969
23	LI M Q， YAO X. Quality evaluation of solution sets in multiobjective optimisation： a survey［J］. ACM Computing Surveys， 2019， 52（2）： No.26. 10.1145/3300148
24	LI M Q， CHEN T， YAO X. How to evaluate solutions in Pareto-based search-based software engineering？ a critical review and methodological guidance［J］. IEEE Transactions on Software Engineering， 2022， 48（5）： 1771-1799. 10.1109/tse.2020.3036108
25	D A van VELDHUIZEN， LAMONT G B. On measuring multiobjective evolutionary algorithm performance ［C］// Proceedings of the 2000 IEEE Congress on Evolutionary Computation — Volume 1. Piscataway： IEEE， 2000： 204-211.

[1]	Xiao CHEN, Yan CHANG, Danchen WANG, Shibin ZHANG. Low-cost adversarial example defense algorithm based on example preprocessing [J]. Journal of Computer Applications, 2024, 44(9): 2756-2762.
[2]	Ye TIAN, Jinjin CHEN, Xingyi ZHANG. Hybrid optimizer combining evolutionary computation and gradient descent for constrained multi-objective optimization [J]. Journal of Computer Applications, 2024, 44(5): 1386-1392.
[3]	Weipeng JING, Qingxin XIAO, Hui LUO. Channel compensation algorithm for speaker recognition based on probabilistic spherical discriminant analysis [J]. Journal of Computer Applications, 2024, 44(2): 556-562.
[4]	Saijuan XU, Zhenyu PEI, Jiawei LIN, Genggeng LIU. Constrained multi-objective evolutionary algorithm based on multi-stage search [J]. Journal of Computer Applications, 2023, 43(8): 2345-2351.
[5]	Xiang GUO, Wengang JIANG, Yuhang WANG. Encrypted traffic classification method based on improved Inception-ResNet [J]. Journal of Computer Applications, 2023, 43(8): 2471-2476.
[6]	Yu WANG, Tianjun REN, Zilin FAN. Air combat maneuver decision-making of unmanned aerial vehicle based on guided Minimax-DDQN [J]. Journal of Computer Applications, 2023, 43(8): 2636-2643.
[7]	Zhiqiang CHEN, Meng HAN, Hongxin WU, Muhang LI, Xilong ZHANG. Multi-stage weighted concept drift detection method [J]. Journal of Computer Applications, 2023, 43(3): 776-784.
[8]	Guihui CHEN, Jinyu LIN, Yuehua LI, Zhongbing LI, Yuli WEI, Kai LU. Multi-stage low-illuminance image enhancement network based on attention mechanism [J]. Journal of Computer Applications, 2023, 43(2): 552-559.
[9]	LIU Yongmin, YANG Yujin, LUO Haoyi, HUANG Hao, XIE Tieqiang. Intrusion detection method for wireless sensor network based on bidirectional circulation generative adversarial network [J]. Journal of Computer Applications, 2023, 43(1): 160-168.
[10]	Wenting BI, Haitao LIN, Liqun ZHANG. Moving target defense decision-making algorithm based on multi-stage evolutionary signal game model [J]. Journal of Computer Applications, 2022, 42(9): 2780-2787.
[11]	Tingping ZHANG, Cong SHUAI, Jianxi YANG, Junzhi ZOU, Chaoshun YU, Lifang DU. Re-identification of vehicles based on joint stripe relations [J]. Journal of Computer Applications, 2022, 42(6): 1884-1891.
[12]	Fangxin NIE, Yujia WANG, Xin JIA. Teaching and learning information interactive particle swarm optimization algorithm [J]. Journal of Computer Applications, 2022, 42(3): 874-882.
[13]	Yaoming MA, Yu ZHANG. Insulator detection algorithm based on improved Faster-RCNN [J]. Journal of Computer Applications, 2022, 42(2): 631-637.
[14]	GAN Lan, SHEN Hongfei, WANG Yao, ZHANG Yuejin. Data augmentation method based on improved deep convolutional generative adversarial networks [J]. Journal of Computer Applications, 2021, 41(5): 1305-1313.
[15]	JIANG Kaolin, BAI Wei, ZHANG Lei, CHEN Jun, PAN Zhisong, GUO Shize. Malicious code detection based on multi-channel image deep learning [J]. Journal of Computer Applications, 2021, 41(4): 1142-1147.

Software testing resource allocation algorithm for dynamic changes in architecture

体系结构动态变化的软件测试资源分配算法

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 12

References 25

Related Articles 15

Recommended Articles

Metrics