面向业务需求的算法路径自组配模型

doi:10.11772/j.issn.1001-9081.2022060944

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (6): 1768-1778.DOI: 10.11772/j.issn.1001-9081.2022060944

• CCF第37届中国计算机应用大会 (CCF NCCA 2022) • 上一篇下一篇

面向业务需求的算法路径自组配模型

刘耀¹(), 童昕², 陈一风²

^1.中国科学技术信息研究所信息技术支持中心，北京 100038
^2.北京大学软件与微电子学院，北京 102600

收稿日期:2022-06-29 修回日期:2022-08-27 接受日期:2022-08-31 发布日期:2022-09-22 出版日期:2023-06-10
通讯作者: 刘耀
作者简介:刘耀（1972—），男，山东菏泽人，研究员，博士，CCF杰出会员，主要研究方向：自然语言处理、知识工程Email：liuy@istic.ac.cn
童昕（1993—），女，湖北荆州人，硕士，主要研究方向：自然语言处理、知识工程
陈一风（1995—），女，山西吕梁人，硕士研究生，主要研究方向：自然语言处理、知识工程。
基金资助:
国家社会科学基金资助项目(21BTQ011)

Algorithm path self-assembling model for business requirements

Yao LIU¹(), Xin TONG², Yifeng CHEN²

^1.Information Technology Support Center，Institute of Scientific and Technical Information of China，Beijing 100038，China
^2.School of Software and Microelectronics，Peking University，Beijing 102600，China

Received:2022-06-29 Revised:2022-08-27 Accepted:2022-08-31 Online:2022-09-22 Published:2023-06-10
Contact: Yao LIU
About author:TONG Xin， born in 1993， M. S. Her research interests include natural language processing， knowledge engineering.
CHEN Yifeng， born in 1995， M. S. candidate. Her research interests include natural language processing， knowledge engineering.
Supported by:
National Social Science Foundation of China(21BTQ011)

摘要/Abstract

摘要：

算法平台作为自动机器学习的实现方式近年来受到广泛关注，然而这些平台的业务流程均需要人工搭建，且这些平台存在模型调用不灵活以及无法针对特定业务定制化的自动算法构建的问题。针对这些问题，提出了一种面向业务需求的算法路径自组配模型。首先，基于图卷积网络（GCN）与word2vec表示对代码的序列特征与结构特征同时建模；然后，进一步通过聚类模型发现算法集合中的功能，并基于得到的功能子集为子集间算法组件的路径发现作准备；最后，基于先验知识训练得到关系发现模型与排序模型，挖掘候选代码组件的自组织路径，从而实现算法代码自组配。使用所提评价指标进行对比分析，所提模型的最好结果为0.8，而Okapi BM25+word2vec基线模型的最好结果为0.21。所提模型在一定程度上解决了传统代码表示方法中代码结构与语义信息缺失的问题，并为精细化算法流程自组织和算法管道自动构建的研究奠定了基础。

关键词: 自然语言处理, 排序学习, 代码解析, 代码资源结构化, 代码表示

Abstract:

The algorithm platform， as the implementation way of automatic machine learning， has attracted the wide attention in recent years. However， the business processes of these platforms need to be built manually， and these platforms are faced with inflexible model calling and the incapability of customized automatic algorithm construction for specific business requirements. To address these problems， an algorithm path self-assembling model for business requirements was proposed. Firstly， the sequence features and structural features of code were modeled simultaneously based on Graph Convolutional Network （GCN） and word2vec representation. Secondly， functions in the algorithm set were further discovered through a clustering model， and the obtained function subsets were used for the preparation of the path discovery of algorithm components between subsets. Finally， based on the relationship discovery model and ranking model trained with prior knowledge， the self-assembled paths of candidate code components were mined， thus realizing the algorithm code self-assembling. Using the proposed evaluation indicators for comparison and analysis， the best result of the proposed algorithm path self-assembling model is 0.8， while that of the baseline model Okapi BM25+word2vec is 0.21. To a certain extent， the proposed model solves the problem of missing code structure and semantic information in traditional code representation methods and lays the foundation for the research of refinement of algorithm process self-assembling and automatic construction of algorithm pipelines.

Key words: Natural Language Processing (NLP), learning to rank, code parsing, code resource structuring, code representation

中图分类号:

TP181

刘耀, 童昕, 陈一风. 面向业务需求的算法路径自组配模型[J]. 计算机应用, 2023, 43(6): 1768-1778.

Yao LIU, Xin TONG, Yifeng CHEN. Algorithm path self-assembling model for business requirements[J]. Journal of Computer Applications, 2023, 43(6): 1768-1778.

图/表 16

参考文献 36

1	HAEFLIGER S， von KROGH G， SPAETH S. Code reuse in open source software ［J］. Management Science， 2008， 54（1）： 180-193. 10.1287/mnsc.1070.0748
2	LIN Y， XING Z C， XUE Y X， et al. Detecting differences across multiple instances of code clones［C］// Proceedings of the 36th International Conference on Software Engineering. New York： ACM， 2014： 164-174. 10.1145/2568225.2568298
3	LIN Y， MENG G Z， XUE Y X， et al. Mining implicit design templates for actionable code reuse［C］// Proceedings of the 32nd IEEE/ACM International Conference on Automated Software Engineering. Piscataway： IEEE， 2017： 394-404. 10.1109/ase.2017.8115652
4	彭鑫，陈驰，林云. 基于上下文的智能化代码复用推荐［J］. 大数据， 2021， 7（1）：37-47. 10.11959/j.issn.2096-0271.2021003
	PENG X， CHEN C， LIN Y. Context-based intelligent recommendation for code reuse［J］. Big Data Research， 2021， 7（1）： 37-47. 10.11959/j.issn.2096-0271.2021003
5	HINDLE A， BARR E T， GABEL M， et al. On the naturalness of software ［J］. Communications of the ACM， 2016， 59（5）： 122-131. 10.1145/2902362
6	ALLAMANIS M， SUTTON C. Mining source code repositories at massive scale using language modeling ［C］// Proceedings of the 10th Working Conference on Mining Software Repositories. Piscataway： IEEE， 2013： 207-216. 10.1109/msr.2013.6624029
7	NGUYEN A T， HILTON M， CODOBAN M， et al. API code recommendation using statistical learning from fine-grained changes［C］// Proceedings of the 24th ACM SIGSOFT International Symposium on Foundations of Software Engineering. New York： ACM， 2016： 511-522. 10.1145/2950290.2950333
8	TU Z P， SU Z D， DEVANBU P. On the localness of software ［C］// Proceedings of the 22nd ACM SIGSOFT International Symposium on Foundations of Software Engineering. New York： ACM， 2014： 269-280. 10.1145/2635868.2635875
9	NGUYEN T T， NGUYEN A T， NGUYEN H A， et al. A statistical semantic language model for source code［C］// Proceedings of the 9th Joint Meeting on Foundations of Software Engineering Conference and the ACM SIGSOFT Symposium on the Foundations of Software Engineering. New York： ACM， 2013： 532-542. 10.1145/2491411.2491458
10	RAYCHEV V， VECHEV M， YAHAV E. Code completion with statistical language models［C］// Proceedings of the 35th ACM SIGPLAN Conference on Programming Language Design and Implementation. New York： ACM， 2014： 419-428. 10.1145/2594291.2594321
11	DAM H K， TRAN T， PHAM T. A deep language model for software code［EB/OL］. （2016-08-09）［2022-01-02］..
12	WHITE M， VENDOME C， LINARES-VÁSQUEZ M， et al. Toward deep learning software repositories ［C］// Proceedings of the 12th Working Conference on Mining Software Repositories. Piscataway： IEEE， 2015： 334-345. 10.1109/msr.2015.38
13	NGUYEN A T， NGUYEN T D， PHAN H D， et al. A deep neural network language model with contexts for source code［C］// Proceedings of the IEEE 25th International Conference on Software Analysis， Evolution and Reengineering. Piscataway： IEEE， 2018： 323-334. 10.1109/saner.2018.8330220
14	CHEN C， PENG X， XING Z C， et al. Holistic combination of structural and textual code information for context based API recommendation ［J］. IEEE Transactions on Software Engineering， 2022， 48（8）： 2987-3009. 10.1109/tse.2021.3074309
15	BUNEL R， DESMAISON A， KUMAR M P， et al. Learning to superoptimize programs［EB/OL］. （2017-06-28）［2022-01-02］..
16	SCHKUFZA E， SHARMA R， AIKEN A. Stochastic superoptimization［J］. ACM SIGARCH Computer Architecture News， 2013， 48（4）： 305-316. 10.1145/2499368.2451150
17	ALLAMANIS M， BARR E T， DEVANBU P， et al. A survey of machine learning for big code and naturalness［J］. ACM Computing Surveys， 2018， 51（4）： No.81. 10.1145/3212695
18	ALLAMANIS M， BROCKSCHMIDT M. SmartPaste： learning to adapt source code ［EB/OL］. （2017-05-22）［2022-01-02］..
19	NOBRE R， MARTINS L G A， CARDOSO J M P. A graph-based iterative compiler pass selection and phase ordering approach ［J］. ACM SIGPLAN Notices， 2016， 51（5）： 21-30. 10.1145/2980930.2907959
20	PARK E， CAVAZOS J， ALVAREZ M A. Using graph-based program characterization for predictive modeling ［C］// Proceedings of the 10th International Symposium on Code Generation and Optimization. New York： ACM， 2012： 196-206. 10.1145/2259016.2259042
21	XU X J， LIU C， FENG Q， et al. Neural network-based graph embedding for cross-platform binary code similarity detection ［C］// Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2017： 363-376. 10.1145/3133956.3134018
22	BIELIK P， RAYCHEV V， VECHEV M. PHOG： probabilistic model for code［C］// Proceedings of the 33rd International Conference on Machine Learning. New York： JMLR.org， 2016： 2933-2942.
23	ALON U， ZILBERSTEIN M， LEVY O， et al. A general path-based representation for predicting program properties［J］. ACM SIGPLAN Notices， 2018， 53（4）： 404-419. 10.1145/3296979.3192412
24	BAXTER I D， YAHIN A， MOURA L， et al. Clone detection using abstract syntax trees［C］// Proceedings of the 1998 International Conference on Software Maintenance. Piscataway： IEEE， 1998： 368-377.
25	ZETTLEMOYER L， COLLINS M. Online learning of relaxed CCG grammars for parsing to logical form ［C］// Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Stroudsburg， PA： ACL， 2007： 678-687.
26	KAMIYA T， KUSUMOTO S， INOUE K. CCFinder： a multilinguistic token-based code clone detection system for large scale source code［J］. IEEE Transactions on Software Engineering， 2002， 28（7）： 654-670. 10.1109/tse.2002.1019480
27	SAJNANI H， SAINI V， SVAJLENKO J， et al. SourcererCC： scaling code clone detection to big-code ［C］// Proceedings of the IEEE/ACM 38th International Conference on Software Engineering. New York： ACM， 2016： 1157-1168. 10.1145/2884781.2884877
28	DEERWESTER S， DUMAIS S T， FURNAS G W， et al. Indexing by latent semantic analysis ［J］. Journal of the American Society for Information Science， 1990， 41（6）： 391-407. 10.1002/(sici)1097-4571(199009)41:6<391::aid-asi1>3.0.co;2-9
29	BLEI D M， NG A Y， JORDAN M I. Latent Dirichlet allocation［J］. Journal of Machine Learning Research， 2003， 3： 993-1022.
30	TAIRAS R， GRAY J. An information retrieval process to aid in the analysis of code clones［J］. Empirical Software Engineering， 2009， 14（1）： 33-56. 10.1007/s10664-008-9089-1
31	LIU Y X， POSHYVANYK D， FERENC R， et al. Modeling class cohesion as mixtures of latent topics ［C］// Proceedings of the 2009 IEEE International Conference on Software Maintenance. Piscataway： IEEE， 2009： 233-242. 10.1109/icsm.2009.5306318
32	PANE J F， RATANAMAHATANA C A， MYERS B A. Studying the language and structure in non-programmers’ solutions to programming problems［J］. International Journal of Human-Computer Studies， 2001， 54（2）： 237-264. 10.1006/ijhc.2000.0410
33	SALIS V， SOTIROPOULOS T， LOURIDAS P， et al. PyCG： practical call graph generation in Python ［C］// Proceedings of the IEEE/ACM 43rd International Conference on Software Engineering. Piscataway： IEEE， 2021： 1646-1657. 10.1109/icse43902.2021.00146
34	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.
35	DETTMERS T， MINERVINI P， STENETORP P， et al. Convolutional 2D knowledge graph embeddings ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 1811-1818. 10.1609/aaai.v32i1.11573
36	CAO Z， QIN T， LIU T Y， et al. Learning to rank： from pairwise approach to listwise approach［C］// Proceedings of the 24th International Conference on Machine Learning. New York： ACM， 2007： 129-136. 10.1145/1273496.1273513

算法组件结构	统计数据	算法组件结构	统计数据
图结构总数（算法组件数）	424	总边数	10 584
节点特征维度	300	最大节点数	204
类别数	13	最大边数	231
总节点数	10 042	节点平均度	1.05

算法组件结构	统计数据	算法组件结构	统计数据
图结构总数（算法组件数）	424	总边数	10 584
节点特征维度	300	最大节点数	204
类别数	13	最大边数	231
总节点数	10 042	节点平均度	1.05

源代码主题	组件数	组件主题
TF-IDF#1	3	计算TF值
		计算IDF值
		计算TF-IDF值
TF-IDF#2	5	添加文本
		计算TF值
		计算IDF值
		计算TF-IDF值
		词典排序
TF-IDF#3	6	添加文档
		构建字典
		计算TF值
		计算IDF值
		计算TF-IDF值
		词典排序
TF-IDF#4	6	预处理
		添加文本
		构建字典
		计算TF值
		计算IDF值
		计算TF-IDF值
TF-IDF#5	5	预处理
		构建词典
		计算TF值
		计算IDF值
		计算TF-IDF值

源代码主题	组件数	组件主题
TF-IDF#1	3	计算TF值
		计算IDF值
		计算TF-IDF值
TF-IDF#2	5	添加文本
		计算TF值
		计算IDF值
		计算TF-IDF值
		词典排序
TF-IDF#3	6	添加文档
		构建字典
		计算TF值
		计算IDF值
		计算TF-IDF值
		词典排序
TF-IDF#4	6	预处理
		添加文本
		构建字典
		计算TF值
		计算IDF值
		计算TF-IDF值
TF-IDF#5	5	预处理
		构建词典
		计算TF值
		计算IDF值
		计算TF-IDF值

类簇	算法组件	组件来源
0	计算TF值	#5
	计算TF值	#3
	计算TF值	#1
	计算TF值	#4
	计算TF值	#2
	构建词典	#5
	构建字典	#4
	计算IDF值	#3
	构建字典	#3
1	添加文本	#4
	添加文本	#2
	添加文档	#3
2	字典排序	#2
2	字典排序	#3
3	预处理	#4
3	预处理	#5
4	计算IDF值	#1
	计算IDF值	#4
	计算IDF值	#5
5	计算TF-IDF值	#2
	计算TF-IDF值	#3
	计算TF-IDF值	#4
	计算TF-IDF值	#1
	计算TF-IDF值	#5
	计算IDF值	#2

面向业务需求的算法路径自组配模型

Algorithm path self-assembling model for business requirements

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 36

相关文章 15

编辑推荐

Metrics

参数	取值	说明
filter1	128	第1层图卷积核
filter2	64	第2层图卷积核
filter3	64	第3层图卷积核
conv_emb	32	2D向量表示
conv_filter	3	2D卷积核
proj_emb	128	第1层全连接输出
lr	2E-5	初始学习率
dropout	0.2	随机dropout

算法组件名称	来源	路径概率
预处理	#4	N/A
计算TF值	#4	0.978
添加文本	#4	0.983
计算TF-IDF值	#4	0.984
计算IDF值	#4	0.954

组件1	组件2	得分
预处理	计算TF值	0.998
	添加文件	5.99E-03
	计算TF-IDF值	0.999
	计算IDF值	0.998
计算TF值	预处理	4.91E-6
	添加文件	3.50E-4
	计算TF-IDF值	0.989
	计算IDF值	0.998
添加文件	预处理	0.986
	计算TF值	0.997
	计算TF-IDF值	0.993
	计算IDF值	0.994
计算TF-IDF值	预处理	5.85E-5
	计算TF值	7.44E-3
	添加文件	3.38E-4
	计算IDF值	1.15E-5
计算IDF值	预处理	4.30E-4
	计算TF值	6.64E-5
	添加文件	7.44E-3
	计算TF-IDF值	0.970

源代码主题	组件数	组件主题
DecisionTree#1	7	读取txt
		计算信息熵
		划分数据
		计算信息增益
		ID3选择特征
		多数决定叶子节点分类
		生成树
DecisionTree#2	6	多数选择分类
		计算信息熵
		计算信息增益
		选择最优特征
		划分数据
		递归生成树
DecisionTree#3	6	定义树结构
		计算信息熵
		多数表决确定叶子节点分类
		计算信息增益
		划分数据
		递归计算树
DecisionTree#4	8	定义树结构
		定义节点结构
		计算信息熵
		计算信息增益
		选择最优特征
		多数决定分类
		划分数据
		递归计算树

方法	query1	query2	query3
BM25+word2vec	0.113	0.21	0.10
word2vec	0.500	0.56	0.41
本文方法	0.800	0.80	0.65

[1]	廖兴滨, 秦小林, 张思齐, 钱杨舸. 交互式机器翻译综述[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 329-334.
[2]	徐铭, 李林昊, 齐巧玲, 王利琴. 基于注意力平衡列表的溯因推理模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 349-355.
[3]	王元龙, 刘晓敏, 张虎. 基于事件表示的机器阅读理解模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 1979-1984.
[4]	王颖洁, 朱久祺, 汪祖民, 白凤波, 弓箭. 自然语言处理在文本情感分析领域应用综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1011-1020.
[5]	刘羽茜, 刘玉奇, 张宗霖, 卫志华, 苗冉. 注入注意力机制的深度特征融合新闻推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 426-432.
[6]	杨有, 陈立志, 方小龙, 潘龙越. 融合自适应常识门的图像描述生成模型[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3900-3905.
[7]	杜雨奇, 郑津, 王杨, 黄诚, 李平. 基于图卷积网络的文本分割模型[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3692-3699.
[8]	李晨光, 张波, 赵骞, 陈小平, 王行甫. 基于迁移学习的文本共情预测[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3603-3609.
[9]	龚龙超, 郭军军, 余正涛. 基于源语言句法增强解码的神经机器翻译方法[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3386-3394.
[10]	彭宇, 李晓瑜, 胡世杰, 刘晓磊, 钱伟中. 基于BERT的三阶段式问答模型[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 64-70.
[11]	刘雅璇, 钟勇. 基于头实体注意力的实体关系联合抽取方法[J]. 计算机应用, 2021, 41(9): 2517-2522.
[12]	谢德峰, 吉建民. 融入句法感知表示进行句法增强的语义解析[J]. 计算机应用, 2021, 41(9): 2489-2495.
[13]	周险兵, 樊小超, 任鸽, 杨勇. 基于多层次语义特征的英文作文自动评分方法[J]. 计算机应用, 2021, 41(8): 2205-2211.
[14]	刘睿珩, 叶霞, 岳增营. 面向自然语言处理任务的预训练模型综述[J]. 《计算机应用》唯一官方网站, 2021, 41(5): 1236-1246.
[15]	王朱君, 王石, 李雪晴, 朱俊武. 基于深度学习的事件因果关系抽取综述[J]. 《计算机应用》唯一官方网站, 2021, 41(5): 1247-1255.