中文文本纠错软件测试用例的选择生成方法

doi:10.11772/j.issn.1001-9081.2023010080

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (1): 101-112.DOI: 10.11772/j.issn.1001-9081.2023010080

• 人工智能 • 上一篇

中文文本纠错软件测试用例的选择生成方法

冯程皓¹, 谢振平¹^,²(), 丁博文¹

^1.江南大学人工智能与计算机学院, 江苏无锡 214000
^2.江苏省媒体设计与软件技术重点实验室(江南大学), 江苏无锡 214000

收稿日期:2023-02-06 修回日期:2023-03-28 接受日期:2023-03-29 发布日期:2023-06-06 出版日期:2024-01-10
通讯作者: 谢振平
作者简介:冯程皓（1997—），男，河南焦作人，硕士研究生，主要研究方向：智能系统软件；
丁博文（1996—），男，河南商丘人，硕士研究生，主要研究方向：进化算法。
第一联系人：谢振平（1979—），男，江苏常州人，教授，博士，CCF会员，主要研究方向：知识计算与认知学习；
基金资助:
国家自然科学基金资助项目(61872166);江苏省“六大人才高峰”项目(XYDXX-161)

Selective generation method of test cases for Chinese text error correction software

Chenghao FENG¹, Zhenping XIE¹^,²(), Bowen DING¹

^1.College of Artificial Intelligence and Computer Science，Jiangnan University，Wuxi Jiangsu 214000，China
^2.Jiangsu Key Laboratory of Media Design and Software Technology （Jiangnan University），Wuxi Jiangsu 214000，China

Received:2023-02-06 Revised:2023-03-28 Accepted:2023-03-29 Online:2023-06-06 Published:2024-01-10
Contact: Zhenping XIE
About author:FENG Chenghao， born in 1997， M. S. candidate. His research interests include intelligent system software.
DING Bowen， born in 1996， M. S. candidate. His research interests include evolutionary algorithms.
Supported by:
National Natural Science Foundation of China(61872166);Jiangsu Provincial “Six Talented Peaks” Project(XYDXX-161)

摘要/Abstract

摘要：

针对目前尚无有效的中文文本纠错软件测试用例生成方法的情况，为了服务于软件纠错性能的测量并为软件提供优化方向，设计了一种面向多用户的、工程化的中文文本纠错软件测试用例选择生成方法（SGMT-CCS）。定义了两种不同的可供用户选择的用例评判标准：错误数量密度和错误种类密度。设计了三个模块：测试用例自动化生成模块、测试用例选择模块以及测试用例优先级排序模块。在SGMT-CCS中，用户可以：1）在测试用例自动化生成的过程中自定义错误最小间隔和用例集大小；2）在测试用例选择的过程中自定义错误最小间隔和期望值；3）在测试用例选择和优先级排序的过程中选择不同的用例评判标准进行自定义操作，以适应不同数据集的要求。实验结果表明，SGMT-CCS能够在较短的时间内获得有效的测试用例，选择模块实验在模拟的需求情况下都能满足用户自定义目标，优先级排序模块实验验证了相较于排序前，在不同评判标准下的不同时间段内都能有效提高测试效率。

关键词: 测试用例生成, 中文文本纠错, 可选择生成, 回归测试, 自然语言处理

Abstract:

To address the lack of an effective method for generating test cases for Chinese text error correction software， and to measure and optimize the correction performance of software， a multi-user engineering-oriented method was designed， called Selective Generation Method of Test cases for Chinese text error Correction Software （SGMT-CCS）. Two different criteria were defined for evaluating test cases that users can choose from： error quantity density and error type density. SGMT-CCS consists of three modules： test case automatic generation module， test case selection module， and test case priority sorting module. Users can： 1） customize the minimum error interval and the size of the test case set during the automated generation of test cases； 2） customize the minimum error interval and expected value during the selection process； 3） select different criteria for evaluating and prioritizing test cases to meet the requirements of different datasets. Experimental results show that SGMT-CCS can generate effective test cases in a short period of time. The selection module satisfies the user’s customized goals under simulated requirements， and the priority sorting module effectively improves test efficiency in different time periods under different evaluation criteria than before sorting.

Key words: test case generation, Chinese text error correction, selective generation, regression test, Natural Language Processing (NLP)

中图分类号:

TP391

冯程皓, 谢振平, 丁博文. 中文文本纠错软件测试用例的选择生成方法[J]. 计算机应用, 2024, 44(1): 101-112.

Chenghao FENG, Zhenping XIE, Bowen DING. Selective generation method of test cases for Chinese text error correction software[J]. Journal of Computer Applications, 2024, 44(1): 101-112.

图/表 18

图1 中文文本生成方法比较

Fig. 1 Comparison of Chinese text generation methods

图2 SGMT-CCS框架

Fig. 2 SGMT-CCS framework

图3 AGM流程

Fig. 3 Flowchart of AGM

图4 文本生成的格式表达

Fig. 4 Format representation for text generation

图5 HS算法流程

Fig. 5 Flowchart of HS algorithm

表1 初始化函数信息

Tab. 1 Initialization function information

函数	参数	作用
Init	文本本身集合文本分词数集合错误个数集合错误种类频率集合	初始化
Generate	原文本测试集大小	初始化和声
Generate_alter	原文本测试集大小	迭代新和声
CalculateFitness_0	NULL	生成适应度
CalculateFitness_1	NULL	生成适应度

图6 图遍历示例

Fig. 6 Example of graph traversal

表2 AGM时间成本与稳定性的实验参数设置

Tab. 2 Experiment parameter settings for time cost and stability of AGM

实验组序号	用例集大小/10³	用例集数
1	10	10
2	100	10
3	1 000	10

图7 时间成本

Fig. 7 Time cost

表3 AGM生成用例有效性与通用性的实验参数设置

Tab. 3 Experiment parameter settings for effectiveness and versatility of cases generated by AGM

纠错软件	用例集大小/10³	用例集数
讯飞	10	10
讯飞	100	10
讯飞和百度	10	10

图8 AGM生成用例有效性与通用性实验结果

Fig. 8 Experiment results for effectiveness and versatility of cases generated by AGM

表4 SM实验参数

Tab. 4 SM experiment parameter

实验序号	错误数量密度		错误种类密度
实验序号	错误最小间隔	期望值	错误最小间隔	期望值
1	3	0.20	2	0.20
2	4	0.20	3	0.20
3	5	0.20	4	0.20
4	2	0.20	5	0.20
5	6	0.20	6	0.20
6	2	0.20	3	0.20
7	2	0.30	3	0.15
8	2	0.25	3	0.10
9	2	0.35	3	0.25
10	2	0.40	3	0.30

图9 选择模块错误数量密度实验结果

Fig. 9 Error quantity density experiment results of selection module

图10 选择模块错误种类密度实验结果

Fig. 10 Error type density experiment results of selection module

表5 优先级排序模块实验参数

Tab. 5 Experiment parameters of prioritization module

实验序号	评判标准	用例集大小/10³	用例集数
1	错误数量密度	100	10
2	错误种类密度	100	10

表6 中文文本生成方法应用属性对比

Tab. 6 Application attribute comparison of Chinese text generation methods

生成方法	用例集应用场景	是否考虑用例集优化	是否可以重用
SGMT-CCS	任意大小的用例集	是	是
手动生成	小型用例集	否	否
半自动生成	小型用例集（理论上可以生成较大型用例集）	否	否

表7 中文文本生成方法时间成本对比

Tab. 7 Time cost comparison of Chinese text generation methods

用例集大小/10³	中文文本生成方法	需求分析+生成字词表的时间/s	结合字词表生成用例时间/s
10¹	SGMT-CCS	0	≈15
	手动生成	≥600	≥10×10³
	半自动生成	≥600	≈15
10²	SGMT-CCS	0	≈100
	手动生成	≥600	≥100×10³
	半自动生成	≥600	≈100
10³	SGMT-CCS	0	≈1 000
	手动生成	≥600	≥1 000×10³
	半自动生成	≥600	≈1 000

表8 2017参赛各个队伍中文语法错误自动检测的纠错精度

Tab. 8 Error correction accuracies of teams participating in Chinese Grammatical Error Diagnosis-2017

队伍名称	IP	IF
YNU-HPCC	0.408 6	0.416 7
NTOUA	0.388 9	0.439 8
CVTE	0.606 0	0.297 8
BNU	0.552 7	0.211 8
AL_I_NLP	0.479 1	0.516 4

参考文献 34

1	陈德光，马金林，马自萍，等.自然语言处理预训练技术综述［J］.计算机科学与探索， 2021， 15（8）： 1359-1389.
	CHEN D G， MA J L， MA Z P， et al. Review of pre-training techniques for natural language processing ［J］. Journal of Frontiers of Computer Science and Technology， 2021， 15（8）： 1359-1389.
2	丁雅婷，伍麟.自然语言处理预测抑郁症的技术陷阱与道德风险［J］.心理科学， 2022， 45（5）： 1267-1272.
	DING Y T， WU L. Technology trap and moral hazard of natural language processing in predicting depression ［J］. Journal of Psychological Science， 2022， 45（5）： 1267-1272.
3	王颖洁，朱久祺，汪祖民，等.自然语言处理在文本情感分析领域应用综述［J］.计算机应用， 2022， 42（4）： 1011-1020.
	WANG Y J， ZHU J Q， WANG Z M， et al. Review of applications of natural language processing in text sentiment analysis ［J］. Journal of Computer Applications， 2022， 42（4）： 1011-1020.
4	周原.基于自然语言处理的纠错系统架构设计［J］.太原师范学院学报（自然科学版）， 2022， 21（3）： 37-41， 46.
	ZHOU Y. Architecture design of error correction system based on natural language processing ［J］. Journal of Taiyuan Normal University （Natural Science Edition）， 2022， 21（3）： 37-41， 46.
5	杨暑东.Emoji自然语言处理综述［J］.计算机应用与软件， 2022， 39（9）： 11-20， 44. 10.3969/j.issn.1000-386x.2022.09.002
	YANG S D. Survey on Emoji-embedded natural language processing ［J］. Computer Applications and Software， 2022， 39（9）： 11-20， 44. 10.3969/j.issn.1000-386x.2022.09.002
6	王晓琳，曾红卫，林玮玮.敏捷开发环境中的回归测试优化技术［J］.计算机学报， 2019， 42（10）： 2323-2338. 10.11897/SP.J.1016.2019.02323
	WANG X L， ZENG H W， LIN W W. Techniques for regression testing in agile development environment ［J］. Chinese Journal of Computers， 2019， 42（10）： 2323-2338. 10.11897/SP.J.1016.2019.02323
7	邓永康.基于神经机器翻译的中文文本纠错研究［D］.武汉：武汉大学， 2020： 32-40.
	DENG Y K. Research of Chinese text correction based on neural machine translation ［D］. Wuhan： Wuhan University， 2020： 32-40.
8	CHEN L， LI Q. Automated test case generation from use case： a model based approach ［C］// Proceedings of the 2010 3rd International Conference on Computer Science and Information Technology. Piscataway： IEEE， 2010： 372-377. 10.1109/iccsit.2010.5563772
9	SABER T， DELAVERNHE F， PAPADAKIS M， et al. A hybrid algorithm for multi-objective test case selection ［C］// Proceedings of the 2018 IEEE Congress on Evolutionary Computation. Piscataway： IEEE， 2018： 225-237. 10.1109/cec.2018.8477875
10	TYAGI M， MALHOTRA S. Test case prioritization using multi objective particle swarm optimizer ［C］// Proceedings of the 2014 International Conference on Signal Propagation and Computer Technology. Piscataway： IEEE， 2014： 390-395. 10.1109/icspct.2014.6884931
11	EPITROPAKIS M G， YOO S， HARMAN M， et al. Empirical evaluation of Pareto efficient multi-objective regression test case prioritisation ［C］// Proceedings of the 2015 International Symposium on Software Testing and Analysis. New York： ACM， 2015： 234-245. 10.1145/2771783.2771788
12	王廷永，黄松.测试用例自动生成技术综述［J］.电子技术与软件工程， 2021（18）： 51-53.
	WANG T Y， HUANG S. A survey of test case automatic generation technology ［J］. Electronic Technology & Software Engineering， 2021（18）： 51-53.
13	DURAN J W， NTAFOS S C. An evaluation of random testing ［J］. IEEE Transactions on Software Engineering， 1984， SE-10（4）： 438-444. 10.1109/tse.1984.5010257
14	CHEN T Y， F-C KUO， LIU H， et al. Code coverage of adaptive random testing ［J］. IEEE Transactions on Reliability， 2013， 62（1）： 226-237. 10.1109/tr.2013.2240898
15	GANESH V， KIEZUN A， ARTZI S， et al. HAMPI： A string solver for testing analysis and vulnerability detection ［C］// Proceedings of the 23rd International Conference on Computer Aided Verification. Berlin： Springer， 2011： 1-19. 10.1007/978-3-642-22110-1_1
16	HARMAN M， McMINN P. A theoretical and empirical study of search-based testing： local global and hybrid search ［J］. IEEE Transactions on Software Engineering， 2010， 36（2）： 226-247. 10.1109/tse.2009.71
17	HEMMATI H， ARCURI A， BRIAND L. Achieving scalable model-based testing through test case diversity ［J］. ACM Transactions on Software Engineering and Methodology， 2013， 22（1）： No.6. 10.1145/2430536.2430540
18	DAMIA A H， ESNAASHARI M M. Automated test data generation using a combination of firefly algorithm and asexual reproduction optimization algorithm ［J］. International Journal of Web Research， 2020， 3（1）： 19-28.
19	ROTHERMEL G， HARROLD M J. Analyzing regression test selection techniques ［J］. IEEE Transactions on Software Engineering， 1996， 22（8）： 529-551. 10.1109/32.536955
20	陈晓琪，谢振平，刘渊，等.基于动态赋权近邻传播的数据增量采样方法［J］.软件学报， 2021， 32（12）： 3884-3900.
	CHEN X Q， XIE Z P， LIU Y， et al. Incremental data sampling method using affinity propagation with dynamic weighting ［J］. Journal of Software， 2021， 32（12）： 3884-3900.
21	程雪梅，杨秋辉，翟宇鹏，等.基于半监督聚类方法的测试用例选择技术［J］.计算机科学， 2018， 45（1）： 249-254. 10.11896/j.issn.1002-137X.2018.01.044
	CHENG X M， YANG Q H， ZHAI Y P， et al. Test case selection technique based on semi-supervised clustering method ［J］. Computer Science， 2018， 45（1）： 249-254. 10.11896/j.issn.1002-137X.2018.01.044
22	GUPTA N， SHARMA A， PACHARIYA M K. An insight into test case optimization： ideas and trends with future perspectives ［J］. IEEE Access， 2019， 7： 22310-22327. 10.1109/access.2019.2899471
23	MAIA C L B， CARMO R A F D， FREITAS F G D， et al. A multi-objective approach for the regression test case selection problem ［C］// Proceedings of the XLI Simpsio Brasileiro de Pesquisa Operacional. Rio de Janeiro： SOBRAPO， 2009： 1824-1835.
24	SOUZA L， PRUDÊNCIO R， BARROS F. Multi-objective test case selection： a study of the influence of the catfish effect on PSO based strategies ［C］// Proceedings of the 2014 Anais do Workshop de Testes e Tolerância a Falhas. Porto Alegre： Sociedade Brasileira de Computação， 2014： 3-16. 10.5753/wtf.2014.22943
25	CHOUDHARY A， AGRAWAL A P， KAUR A. An effective approach for regression test case selection using Pareto based multi-objective harmony search ［C］// Proceedings of the 2018 IEEE/ACM 11th International Workshop on Search-Based Software Testing. New York： ACM， 2018： 13-20. 10.1145/3194718.3194722
26	屈波，聂长海，徐宝文.回归测试中测试用例优先级技术研究综述［J］.计算机科学与探索， 2009， 3（3）： 225-233. 10.3724/sp.j.1016.2008.00431
	QU B， NIE C H， XU B W. Survey of test case prioritization for regression testing ［J］. Journal of Frontiers of Computer Science and Technology， 2009， 3（3）： 225-233. 10.3724/sp.j.1016.2008.00431
27	陈翔，陈继红，鞠小林，等.回归测试中的测试用例优先排序技术述评［J］.软件学报， 2013， 24（8）： 1695-1712. 10.3724/sp.j.1001.2013.04420
	CHEN X， CHEN J H， JU X L， et al. Survey of test case prioritization techniques for regression testing ［J］. Journal of Software， 2013， 24（8）： 1695-1712. 10.3724/sp.j.1001.2013.04420
28	李兴佳，杨秋辉，洪玫，等.基于历史数据和多目标优化的测试用例排序方法［J］.计算机应用， 2023， 43（1）： 221-226.
	LI X J， YANG Q H， HONG M， et al. Test case prioritization approach based on historical data and multi-objective optimization ［J］. Journal of Computer Applications， 2023， 43（1）： 221-226.
29	AMMAR A， BAHAROM S， GHANI A A A， et al. The effectiveness of an enhanced weighted method with a unique priority value for test case prioritization in regression testing ［J］. International Journal of Engineering & Technology， 2018， 7（4.31）： 20-27.
30	MARCHETTO A， ISLAM M M， ASGHAR W， et al. A multi-objective technique to prioritize test cases ［J］. IEEE Transactions on Software Engineering， 2016， 42（10）： 918-940. 10.1109/tse.2015.2510633
31	Y-H TSENG， LEE L-H， CHANG L-P， et al. Introduction to SIGHAN 2015 bake-off for Chinese spelling check ［C］// Proceedings of the Eighth SIGHAN Workshop on Chinese Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 27-32. 10.18653/v1/w15-3106
32	GALEOTTI J P， FRASER G， ARCURI A. Extending a search-based test generator with adaptive dynamic symbolic execution ［C］// Proceedings of the 2014 International Symposium on Software Testing and Analysis. New York： ACM， 2014： 421-424. 10.1145/2610384.2628049
33	AZIZI M， DO H. Graphite： A greedy graph-based technique for regression test case prioritization ［C］// Proceedings of the 2018 IEEE International Symposium on Software Reliability Engineering Workshops. Piscataway： IEEE， 2018： 245-251. 10.1109/issrew.2018.00014
34	RAO G， ZHANG B， XUN E. IJCNLP-2017 task 1： Chinese grammatical error diagnosis ［C］// Proceedings of the IJCNLP 2017. Taipei： Asian Federation of Natural Language Processing， 2017： 1-8. 10.18653/v1/w18-3706

[1]	周晓敏, 滕飞, 张艺. 基于元网络的自动国际疾病分类编码模型[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2721-2726.
[2]	张心月, 刘蓉, 魏驰宇, 方可. 融合提示知识的方面级情感分析方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2753-2759.
[3]	陈克正, 郭晓然, 钟勇, 李振平. 基于负训练和迁移学习的关系抽取方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2426-2430.
[4]	金泽熙, 李磊, 刘继. 基于改进领域分离网络的迁移学习模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2382-2389.
[5]	刘耀, 童昕, 陈一风. 面向业务需求的算法路径自组配模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1768-1778.
[6]	徐铭, 李林昊, 齐巧玲, 王利琴. 基于注意力平衡列表的溯因推理模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 349-355.
[7]	廖兴滨, 秦小林, 张思齐, 钱杨舸. 交互式机器翻译综述[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 329-334.
[8]	曹建乐, 李娜娜. 基于多层次注意力的语义增强情感分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3703-3710.
[9]	夏飞, 陈帅琦, 华珉, 蒋碧鸿. 基于改进BERT的电力领域中文分词方法[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3711-3718.
[10]	吴明月, 周栋, 赵文玉, 屈薇. 基于流形学习的句向量优化[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3062-3069.
[11]	李兴佳, 杨秋辉, 洪玫, 潘春霞, 刘瑞航. 基于历史数据和多目标优化的测试用例排序方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 221-226.
[12]	刘美英, 杨秋辉, 王潇, 蔡创. 基于提交排序和预测模型的测试套件选择方法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2534-2539.
[13]	王元龙, 刘晓敏, 张虎. 基于事件表示的机器阅读理解模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 1979-1984.
[14]	王颖洁, 朱久祺, 汪祖民, 白凤波, 弓箭. 自然语言处理在文本情感分析领域应用综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1011-1020.
[15]	刘羽茜, 刘玉奇, 张宗霖, 卫志华, 苗冉. 注入注意力机制的深度特征融合新闻推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 426-432.

中文文本纠错软件测试用例的选择生成方法

Selective generation method of test cases for Chinese text error correction software

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 18

参考文献 34

相关文章 15

编辑推荐

Metrics