基于源码分析的自动化外部函数接口生成方法

doi:10.11772/j.issn.1001-9081.2023070968

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (7): 2151-2159.DOI: 10.11772/j.issn.1001-9081.2023070968

基于源码分析的自动化外部函数接口生成方法

孙蒴¹, 张伟¹^,²^,³, 冯温迪¹(), 张俞炜⁴

^1.北京信息科技大学计算机学院, 北京 100101
^2.北京未来区块链与隐私计算高精尖中心(北京信息科技大学), 北京 100101
^3.国家经济安全预警工程北京实验室(北京信息科技大学), 北京 100101
^4.北京大学计算机学院, 北京 100871

收稿日期:2023-07-19 修回日期:2023-09-25 接受日期:2023-09-25 发布日期:2023-10-26 出版日期:2024-07-10
通讯作者: 冯温迪
作者简介:孙蒴（1999—），男，河北任丘人，硕士研究生，主要研究方向：操作系统内核、计算机网络；
张伟（1980—），男，山东临清人，教授，博士，主要研究方向：网络和数据安全、软硬件协同设计；
张俞炜（1994—），男，福建福州人，助理研究员，博士，CCF会员，主要研究方向：人工智能、智能软件测试。
第一联系人：冯温迪（1994—），男，山东菏泽人，副教授，博士，主要研究方向：移动边缘计算、软件定义网络、网络功能虚拟化；
基金资助:
国家重点研发计划项目(2022YFC3320900);北京市教育委员会科研计划项目(KM202311232005);“北京未来区块链与隐私计算高精尖中心”和“国家经济安全预警工程北京实验室”资助

Automatic foreign function interface generation method based on source code analysis

Shuo SUN¹, Wei ZHANG¹^,²^,³, Wendi FENG¹(), Yuwei ZHANG⁴

^1.Computer School，Beijing Information Science and Technology University，Beijing 100101，China
^2.Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing （Beijing Information Science and Technology University），Beijing 100101，China
^3.Beijing Laboratory of National Economic Security Early-warning Engineering （Beijing Information Science and Technology University），Beijing 100101，China
^4.School of Computer Science，Peking University，Beijing 100871，China

Received:2023-07-19 Revised:2023-09-25 Accepted:2023-09-25 Online:2023-10-26 Published:2024-07-10
Contact: Wendi FENG
About author:SUN Shuo， born in 1999， M. S. candidate. His research interests include operating system kernels， computer networks.
ZHANG Wei， born in 1980， Ph. D.， professor. His research interests include network and data security， hardware-software co-design.
ZHANG Yuwei， born in 1994， Ph. D.， assistant research fellow. His research interests include artificial intelligence， intelligent software testing.
First author contact:FENG Wendi， born in 1994， Ph. D.， associate professor. His research interests include mobile edge computing， software-defined networks， network function virtualization.
Supported by:
National Key R&D Program of China(2022YFC3320900);R&D Program of Beijing Municipal Education Commission(KM202311232005);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, and Beijing Laboratory of National Economic Security Early-warning Engineering

摘要/Abstract

摘要：

外部函数接口（FFI）是解决一种编程语言调用其他语言函数库的主要方法。针对使用FFI技术时需要大量人工编码的问题，提出自动化外部函数接口生成（AFIG）方法。该方法利用基于抽象语法树的源码逆向分析技术，从被封装的库文件中精准提取出用于描述函数接口信息的多语言融合的统一表示。基于此统一表示，不同平台的代码生成器可利用多语言转换规则矩阵，全自动化地生成不同平台的FFI相关代码。为解决FFI代码生成中的效率低下问题，设计了一种基于依赖分析的任务聚合策略，通过把存在依赖的任务聚合为新的任务，有效消除了FFI代码任务在并行下的阻塞与死锁，从而实现任务在多核系统下的可扩展与负载均衡。实验结果表明：与人工编码相比，AFIG方法减少了FFI开发中98.14%的开发编码量以及41.95%的测试编码量；与现有的SWIG （Simplified Wrapper and Interface Generator）方法相比，在同等任务下可减少61.27%的开发成本；且生成效率随着计算资源的增加呈线性增长。

关键词: 外部函数接口, 代码生成, 依赖消除, 并行处理, 静态分析

Abstract:

Foreign Function Interface （FFI） is a fundamental method to invoke interfaces provided in other programming languages. Focusing on huge amount of manual coding required when using FFI， an Automatic Foreign function Interface Generation （AFIG） method was proposed. The reverse source code analysis technique based on abstract syntax tree was employed by AFIG to accurately retrieve the multilingual intermediate representation from library binaries， in which function interface information was uniformly described. Based on the representation， the multilingual conversion rule matrix could be utilized by different platform code generators to automatically generate FFI codes for various platforms without handcrafting. To further reduce generation time usage， a dependency analysis-based task aggregation strategy was proposed， by which tasks with dependencies were consolidated as monolithic ones. Hence， blocking and deadlocks were efficiently eliminated， and load balancing and scalability on multi-core systems were achieved， accordingly. Experimental results indicate that AFIG achieves a reduction of 98.14% for FFI developing codes and 41.95% for testing codes compared to manual coding method； under the same task， AFIG further reduces development cost by 61.27% compared to SWIG （Simplified Wrapper and Interface Generator）. And the code generation efficiency of AFIG increases linearly with the increase of computing resources.

Key words: Foreign Function Interface (FFI), code generation, dependency elimination, parallel processing, static analysis

中图分类号:

TP311.56

孙蒴, 张伟, 冯温迪, 张俞炜. 基于源码分析的自动化外部函数接口生成方法[J]. 计算机应用, 2024, 44(7): 2151-2159.

Shuo SUN, Wei ZHANG, Wendi FENG, Yuwei ZHANG. Automatic foreign function interface generation method based on source code analysis[J]. Journal of Computer Applications, 2024, 44(7): 2151-2159.

图/表 18

图1 基于FFI实现不同编程语言间的调用

Fig. 1 Invocation across programming languages based on FFI

图2 外部接口适配至软件系统语言接口的开发流程

Fig. 2 Development process of adapting foreign interface to language interfaces of software system

表1 AFIG与现有方法的对比

Tab. 1 Comparison between AFIG and existing methods

方法	接口分析	分析对象	自动化完成
方法	接口分析	分析对象	编码	封装	测试
SWIG^［9-10］	×	单个	○	×	△
JACAW^［24］	△	单个	△	×	×
ctypesgen^［15］	△	单个	△	×	×
AFIG	○	多个	○	○	△

图3 FFI开发方式对比

Fig. 3 Comparison of FFI development methods

图4 AFIG原型系统架构

Fig. 4 System architecture of AFIG prototype

图5 源代码及标注结果

Fig. 5 Source codes and annotation results

图6 关系语法树结构

Fig. 6 Structure of relational syntax tree

图7 关系表格示意图

Fig. 7 Schematic diagram of relationship table

表2 FFI规则集中基本变量类型的映射关系

Tab. 2 Mapping relationships of basic variable types in FFI rule set

统一表示	JNA	Ctypes	cgo
int	int	c_int	C.int
char	byte	c_wchar	C.char
short	short	c_short	C.short
long	long	c_long	C.long
long long	long	c_longlong	C.longlong
unsigned char	char	c_ubyte	C.uchar
unsigned short	short	c_ushort	C.ushort
unsigned int	int	c_uint	C.uint
unsigned long	long	c_ulong	C.ulong
int*	Pointer	c_int_p	*C.int
char*	String/byte［］	c_char_p	*C.char
void*	Pointer	c_void_p	unsafe.Poniter

图8 代码生成器工作原理

Fig. 8 Working principle of AFIG code generator

图9 基于依赖关系分析的任务聚合加速方法

Fig. 9 Dependency analysis-based task aggregation acceleration method

表3 数据集信息统计

Tab. 3 Dataset information statistics

外部接口	结构体数	宏与用户定义类型行数	函数量
SDF	8	106	50
Tesseract	10	169	114

表4 不同开发方法的代码完成度比较 ( %)

Tab. 4 Code completion comparison among different development methods

外部接口	开发完成度近似值		测试完成度近似值
外部接口	SWIG	AFIG	人工	SWIG	AFIG
Tesseract	16.97	96.39	57.98	0	40.78
SDF	27.31	98.14	68.52	0	41.95

表5 测试覆盖率统计 ( %)

Tab. 5 Test coverage statistics

项目名称	覆盖率
项目名称	路径	语句	分支	函数
Tess4J（人工编写）	42.4	72.58	43.75	73.17
Tess4J（AFIG生成）	35.6	65.23	42.42	100.00

图10 AFIG的代码生成结果统计

Fig. 10 Statistics of AFIG code generation results

图11 同一任务下使用不同方法的开发工作量比较

Fig. 11 Development effort comparison among different methods under same task

图12 不同数据规模下原始策略和任务聚合与负载均衡策略的生成时间对比

Fig. 12 Generation time comparison of original strategy and task aggregation with load balancing strategy across various scales

图13 任务聚合与负载均衡策略在不同核心数与不同代码行数（LOC）下的生成时间对比

Fig. 13 Generation time comparison of task aggregation with load balancing strategy with different cores and Line of Code （LOC）

参考文献 32

1	WYNN D C， ECKERT C M. Perspectives on iteration in design and development ［J］. Research in Engineering Design， 2017， 28（2）： 153-184.
2	FOWLER M. Refactoring： Improving the Design of Existing Code ［M］. ［S.l.］： Addison-Wesley Professional， 2018： 328-332.
3	YALLOP J， SHEETS D， MADHAVAPEDDY A. A modular foreign function interface ［J］. Science of Computer Programming， 2018， 164： 82-97.
4	YAN Y， GROSSMAN M， SARKAR V. JCUDA： a programmer-friendly interface for accelerating Java programs with CUDA ［C］// Proceedings of the 15th International Euro-Par Conference on Parallel Processing. Berlin： Springer， 2009： 887-899.
5	AMATO G， SCOZZARI F. JGMP： Java bindings and wrappers for the GMP library ［J］. SoftwareX， 2023， 23： 101428.
6	PARK J， LEE S， HONG J， et al. Static analysis of JNI programs via binary decompilation ［J］. IEEE Transactions on Software Engineering， 2023， 49（5）： 3089-3105.
7	HWANG S， LEE S， KIM J， et al. JustGen： effective test generation for unspecified JNI behaviors on JVMs ［C］// Proceedings of the 2021 IEEE/ACM 43rd International Conference on Software Engineering. Piscataway： IEEE， 2021： 1708-1718.
8	HANSEN L T. FFIGEN Manifesto and overview ［EB/OL］. （1996-02-06）［2023-08-26］. .
9	BEAZLEY D M. Simplified wrapper and interface generator ［EB/OL］. （1996-02-26）［2023-08-26］. .
10	WILLIAM S F， BETTS O， NADLINGER D， et al. SWIG （Simplified Wrapper and Interface Generator）［CP/OL］. （2023-08-18）［2023-08-25］. .
11	ROBERTSON A. Python wrapper generator for ctypes ［CP/OL］. （2022-10-19）［2023-04-19］. .
12	聂鹏，耿技，秦志光.软件测试用例自动生成算法综述［J］.计算机应用研究， 2012， 29（2）： 401-405.
	NIE P， GENG J， QIN Z G. Survey on automatic test case generation algorithms for software testing ［J］. Application Research of Computers， 2012， 29（2）： 401-405.
13	顾荣，罗义力，仇伶玮，等.跨语言用户态文件系统框架读写性能优化［J］.电子学报， 2023， 51（6）： 1590-1606.
	GU R， LUO Y L， QIU L W， et al. Reading and writing performance optimization of cross-language FUSE framework ［J］. Acta Electronica Sinica， 2023， 51（6）： 1590-1606.
14	DOUBROVKINE D， WALL T， GREEN A， et al. Java native library： jna ［CP/OL］. （2023-03-02）［2023-04-19］. .
15	HELLER T. ctypeslib — useful additions to the ctypes FFI library ［CP/OL］. （2021-12-17）［2023-04-19］. .
16	LU H， JIN C J， HELU X H， et al. AutoD： intelligent blockchain application unpacking based on JNI layer deception call ［J］. IEEE Network， 2021， 35（2）： 215-221.
17	GRICHI M， ABIDI M， JAAFAR F， et al. On the impact of inter-language dependencies in multilanguage systems empirical case study on Java Native Interface applications （JNI）［J］. IEEE Transactions on Reliability， 2021， 70（1）： 428-440.
18	ABIDI M， RAHMAN M S， OPENJA M， et al. Are multi-language design smells fault-prone？ an empirical study ［J］. ACM Transactions on Software Engineering and Methodology， 2021， 30（3）： No. 29.
19	LEE S， LEE H， RYU S. Broadening horizons of multilingual static analysis： semantic summary extraction from C code for JNI program analysis ［C］// Proceedings of the 2020 35th IEEE/ACM International Conference on Automated Software Engineering. Piscataway： IEEE， 2020： 127-137.
20	LEE S. JNI program analysis with automatically extracted C semantic summary ［C］// Proceedings of the 28th ACM SIGSOFT International Symposium on Software Testing and Analysis. New York： ACM， 2019： 448-451.
21	KONDOH G， ONODERA T. Finding bugs in Java native interface programs ［C］// Proceedings of the 2008 International Symposium on Software Testing and Analysis. New York： ACM， 2008： 109-118.
22	LI S， TAN G. JET： exception checking in the Java native interface ［J］. ACM SIGPLAN Notices， 2011， 46（10）： 345-358.
23	BEAZLEY D M. Automated scientific software scripting with SWIG ［J］. Future Generation Computer Systems， 2003， 19（5）： 599-609.
24	HUANG Y， WALKER D W. JACAW： a Java-C automatic wrapper ［R］. Wales， UK： Cardiff University， Department of Computer Science， 2002： 1-9.
25	VAIRALE V S， HONWADKAR K N. Wrapper generator using Java Native interface ［J］. International Journal of Computer Science and Information Technology， 2010， 2（2）： 125-139.
26	单锦辉，姜瑛，孙萍.软件测试研究进展［J］.北京大学学报（自然科学版）， 2005， 41（1）： 134-145.
	SHAN J H， JIANG Y， SUN P. Research progress in software testing ［J］. Acta Scientiarum Naturalium Universitatis Pekinensis， 2005， 41（1）： 134-145.
27	张海藩，吕云翔.软件工程［M］.北京：人民邮电出版社， 2013： 149-175.
	ZHANG H F， LYU Y X. Software Engineering ［M］. Beijing： Posts & Telecom Press， 2013： 149-175.
28	LI J， ZHANG Z， YANG H. A grid oriented approach to reusing legacy code in ICENI framework ［C］// Proceedings of the 2005 IEEE International Conference on Information Reuse and Integration. Piscataway： IEEE， 2005： 464-469.
29	BUBAK M， KURZYNIEC D， LUSZCZEK P. Creating Java to native code interfaces with Janet ［J］. Scientific Programming， 2001， 9（1）： 39-50.
30	国家市场监督管理总局. ，信息安全技术密码设备应用接口规范［S］.北京：中国国家标准化管理委员会， 2018： 1-44.
	State Administration for Market Regulation. ， Information security technology： Cryptographic device application interface specifications ［S］. Beijing： Standardization Administration of the People's Republic of China， 2018： 1-44.
31	宣兆新，马旭.商用密码模块接口统一调用技术研究［J］.信息安全与通信保密， 2021（10）： 75-81.
	XUAN Z X， MA X. Study on interface unification of commercial cryptographic modules ［J］. Information Security and Communications Privacy， 2021（10）： 75-81.
32	HOFFMANN M R， JANICZAK B， MANDRIKOV E. JaCoCo Java code coverage library ［CP/OL］. （2023-04-18）［2023-04-19］. .

[1]	孙鉴, 马宝全, 吴隹伟, 杨晓焕, 武涛, 陈攀. 地震场景下无人机群路径规划与任务分配均衡联合优化[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3232-3239.
[2]	郎大鹏, 丁巍, 姜昊辰, 陈志远. 基于多特征融合的恶意代码分类算法[J]. 计算机应用, 2019, 39(8): 2333-2338.
[3]	卜同同, 曹天杰. 基于权限的Android应用风险评估方法[J]. 计算机应用, 2019, 39(1): 131-135.
[4]	周敏, 周安民, 刘亮, 贾鹏, 谭翠江. 组件拒绝服务漏洞自动挖掘技术[J]. 计算机应用, 2017, 37(11): 3288-3293.
[5]	蒋建春, 陈慧玲, 邓露, 赵建朋. 基于多核实时操作系统的配置工具设计[J]. 计算机应用, 2016, 36(3): 765-769.
[6]	汤杨, 曾凡平, 王健康, 黄心依. 基于静态分析的Android GUI遍历方法[J]. 计算机应用, 2016, 36(10): 2811-2815.
[7]	胡征宇, 沈备军. 一种移动平台儿童教育游戏的最终用户编程语言[J]. 计算机应用, 2015, 35(2): 540-544.
[8]	胡持, 杨庚, 杨倍思, 闵兆娥. 基于MapReduce的并行同态加密算法[J]. 计算机应用, 2015, 35(12): 3408-3412.
[9]	林碧英王艳萍. 基于Hadoop的电力地理信息系统数据管理[J]. 计算机应用, 2014, 34(10): 2806-2811.
[10]	杜双枝王勇陶晓玲. 基于多片FPGA的双优先级动态调度算法[J]. 计算机应用, 2013, 33(03): 862-865.
[11]	汪竹梅林李磊赵太银胡光岷. 适应大规模数据处理的动态服务私有云系统[J]. 计算机应用, 2012, 32(04): 1009-1012.
[12]	张学锋徐胜超. 因特网上基于节点角色的计算资源共享平台——RB-CRSP[J]. 计算机应用, 2011, 31(03): 834-838.
[13]	张正刘景泰王鸿鹏. 基于排队网络的网络服务器性能分析与优化[J]. 计算机应用, 2010, 30(12): 3148-3150.
[14]	吴莲贵李肯立易瑜. 基于CUDA的地震数据相干体并行算法[J]. 计算机应用, 2009, 29(3): 912-914.
[15]	黄友文. AVS解码器流水线控制机制的一种改进设计[J]. 计算机应用, 2009, 29(11): 3135-3138.

基于源码分析的自动化外部函数接口生成方法

Automatic foreign function interface generation method based on source code analysis

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 18

参考文献 32

相关文章 15

编辑推荐

Metrics