融合知识图谱与对比学习的企业风险小样本鲁棒识别方法

doi:10.11772/j.issn.1001-9081.2024071061

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 55-60.DOI: 10.11772/j.issn.1001-9081.2024071061

融合知识图谱与对比学习的企业风险小样本鲁棒识别方法

吕晓斌, 黄浩森, 周鑫, 王近来, 何亚()

中科院成都信息技术股份有限公司，成都 610213

收稿日期:2024-07-30 修回日期:2024-10-17 接受日期:2024-10-21 发布日期:2025-01-24 出版日期:2024-12-31
通讯作者: 何亚
作者简介:吕晓斌（1978—），男，四川泸州人，高级工程师，主要研究方向：机器学习、数据挖掘、智能Web、智慧城市
黄浩森（1993—），男，四川成都人，工程师，主要研究方向：机器学习、数据挖掘、智能Web、智慧城市
周鑫（1990—），男，四川资中人，工程师，主要研究方向：机器学习、大数据、数据挖掘、智能Web
王近来（1994—），男，河南周口人，工程师，主要研究方向：大数据、机器学习、数据挖掘、智能Web
何亚（1981—），男，四川成都人，高级工程师，硕士，主要研究方向：智慧城市、大数据、数据挖掘、机器学习。
基金资助:
西部之光青年学者

Robust few-shot enterprise risk identification method by integrating knowledge graph and contrastive learning

Xiaobin LYU, Haosen HUANG, Xin ZHOU, Jinlai WANG, Ya HE()

Chengdu Information Technology of Chinese Academy of Sciences Company Limited，Chengdu Sichuan 610213，China

Received:2024-07-30 Revised:2024-10-17 Accepted:2024-10-21 Online:2025-01-24 Published:2024-12-31
Contact: Ya HE

摘要/Abstract

摘要：

企业风险监测是维护区域经济稳定的重要保障。然而，经济数据结构复杂、逻辑关联多样，且涉及企业敏感信息，导致异构数据的获取与融合在风险分析中面临诸多挑战。此外，部分存在经营风险的企业可能谎报数据，这一行为严重削弱了风险识别的准确性和可靠性。为此，提出一种新的风险小样本学习方法——基于大语言模型的知识图谱对比学习（KGCLM）方法。首先，构建全面的企业风险知识图谱，涵盖风险事件、风险因子等多维语义信息，以全面刻画企业风险特征；其次，利用大语言模型（LLM）对风险知识进行词向量语义增强，从而一定程度上解决风险数据稀疏的问题，提升模型的语义理解能力；然后，设计异构图神经网络（GNN）模型对跨模态风险数据（包括企业注册、投资、司法、舆情等）进行统一建模和表征学习，实现多源异构数据的有效融合；最后，引入对比学习机制，通过构建正负样本对提升模型对相似样本的一致性表示能力和对不同样本的区分能力，显著增强模型在面对谎报数据时的鲁棒性。在中小企业风险数据集（SERD）和中国上市公司风险数据集（CERD）上的实验结果表明，KGCLM在准确率和各类F1分数均显著优于对比实验中的基线模型。在SERD上，KGCLM的准确率达到了90.37%；在CERD上，KGCLM的准确率为74.51%，验证了所提方法在处理数据稀缺和欺骗性数据干扰方面的优越性能。

关键词: 招商引资, 风险识别, 对比学习, 图神经网络, 多源异构数据

Abstract:

Enterprise risk monitoring serves as a critical safeguard for maintaining regional economic stability. However， the complex structures and diverse logical associations of economic data， as well as the involvement of sensitive enterprise information have posed multiple challenges in acquiring and integrating heterogeneous data in risk analysis. Moreover， some enterprises facing operational risks may falsify data， thereby undermining the accuracy and reliability of risk identification severely. Therefore， an innovative few-shot risk learning method， Knowledge Graph Contrastive Learning based on Large Language Model （KGCLM） was proposed. Firstly， a comprehensive enterprise risk knowledge graph was constructed， encompassing multi-dimensional semantic information such as risk events and risk factors， so as to characterize enterprise risk features comprehensively. Secondly， Large Language Model （LLM） was employed to enhance the semantics of risk knowledge through word vectors， thereby solving the problem of sparse risk data to some extent and improving the model’s semantic understanding capabilities. Thirdly， a heterogeneous Graph Neural Network （GNN） model was designed to model uniformly and perform representation learning to cross-modal risk data， including enterprise registration， investment， judicial issues， and public opinion， thereby achieving effective fusion of multi-source heterogeneous data. Finally， a contrastive learning mechanism was introduced， and by constructing positive and negative sample pairs， the model’s ability to maintain consistent representations for similar samples and distinguish between different samples were enhanced， thereby increasing the model’s robustness against falsified data significantly. Experimental results on Small Enterprise Risk Dataset （SERD） and China Enterprise Risk Dataset （CERD） demonstrate that KGCLM outperforms the baseline models significantly in terms of accuracy and various F1 scores. Specifically， KGCLM achieves an accuracy of 90.37% on SERD and 74.51% on CERD. The above validates the method’s superior performance in handling data scarcity and falsified data interference.

Key words: investment attraction, risk identification, contrastive learning, Graph Neural Network (GNN), multi-source heterogeneous data

中图分类号:

TP391.1

吕晓斌, 黄浩森, 周鑫, 王近来, 何亚. 融合知识图谱与对比学习的企业风险小样本鲁棒识别方法[J]. 计算机应用, 0, (): 55-60.

Xiaobin LYU, Haosen HUANG, Xin ZHOU, Jinlai WANG, Ya HE. Robust few-shot enterprise risk identification method by integrating knowledge graph and contrastive learning[J]. Journal of Computer Applications, 0, (): 55-60.

图/表 5

参考文献 20

1	HUANG J. Credit risk prediction model of digital rural finance based on PSO-SVM［C］// Proceedings of the 2022 International Conference on Applications and Techniques in Cyber Intelligence， LNDECT 170. Cham： Springer， 2023： 71-78.
2	LI M， FU Y. Prediction of supply chain financial credit risk based on PCA-GA-SVM model［J］. Sustainability， 2022， 14（24）： No.16376.
3	CRISTESCU M P， NERISANU R A， MARA D A， et al. Using market news sentiment analysis for stock market prediction［J］. Mathematics， 2022， 10（22）： No.4255.
4	LI P， ZHAO Q， LIU Y， et al. Survey and prospect for applying knowledge graph in enterprise risk management［J］. Computers， Materials and Continua， 2024， 78（3）： 3825-3865.
5	FILHO A A， MORETTI A C， PATO M V， et al. Correction to： an exact scalarization method with multiple reference points for bi-objective integer linear optimization problems［J］. Annals of Operations Research， 2024， 332（1/2/3）： 1255-1256.
6	ZHU Y， WANG X， CHEN J， et al. LLMs for knowledge graph construction and reasoning： recent capabilities and future opportunities［J］. World Wide Web， 2024， 27： No.58.
7	EBERTS M， ULGES A. Span-based joint entity and relation extraction with transformer pre-training［C］// Proceedings of the24th European Conference on Artificial Intelligence. Amsterdam： IOS Press， 2020： 2006-2013.
8	WAN Z， CHENG F， MAO Z， et al. GPT-RE： in-context learning for relation extraction using large language models［C］// Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2023： 3534-3547.
9	PAN S， LUO L， WANG Y， et al. Unifying large language models and knowledge graphs： a roadmap［J］. IEEE Transactions on Knowledge and Data Engineering， 2024， 36（7）： 3580-3599.
10	DZIERZANOWSKI R， WATSON T， STEVENSON C. An evaluation of the reasoning effectiveness of ChatGPT to scrutinize and quash untrue social media memes［EB/OL］. ［2024-07-30］..
11	LEE J W， LEE W K， SOHN S Y. Graph convolutional network-based credit default prediction utilizing three types of virtual distances among borrowers［J］. Expert Systems with Applications， 2021， 168： No.114411.
12	BIAN T， XIAO X， XU T， et al. Rumor detection on social media with bi-directional graph convolutional networks［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 549-556.
13	ZHENG Y， LEE V C S， WU Z， et al. Heterogeneous graph attention network for small and medium-sized enterprises bankruptcy prediction［C］// Proceedings of the 2021 Pacific-Asia Conference on Knowledge Discovery and Data Mining， LNCS 12712. Cham： Springer， 2021： 140-151.
14	FINN C， ABBEEL P， LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 1126-1135.
15	HUANG L K， WEI Y. Improving task-specific generalization in few-shot learning via adaptive vicinal risk minimization［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems New York： ACM， 2022： 3329-3342.
16	MA J， GAO W， WEI Z， et al. Detect rumors using time series of social context information on microblogging websites［C］// Proceedings of the 24th ACM International Conference on Information and Knowledge Management. New York： ACM， 2015： 1751-1754.
17	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
18	MA J， GAO W， WONG K F. Rumor detection on twitter with tree-structured recursive neural networks［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2018： 1980-1989.
19	LU Y J， LI C T. GCAN： graph-aware co-attention networks for explainable fake news detection on social media［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 505-514.
20	YAN Y， ZHENG P， WANG Y. Enhancing large language model capabilities for rumor detection with Knowledge-Powered Prompting［J］. Engineering Applications of Artificial Intelligence， 2024， 133（Pt C）： No.108259.

方法	准确率	F₁
方法	准确率	N	F	T	U
SVM-TS	58.50	59.30	59.40	49.32	51.81
RvNN	59.53	59.94	52.76	62.77	56.72
BERT	59.27	57.19	59.47	53.26	51.38
GCAN	74.48	60.29	60.29	60.29	60.29
BDGCN	88.30	60.48	63.57	64.51	65.89
PromptLM	89.29	77.19	73.61	75.21	69.84
KGCLM	90.37	81.70	80.19	77.98	91.81

方法	准确率	F₁
方法	准确率	N	F	T	U
SVM-TS	58.50	59.30	59.40	49.32	51.81
RvNN	59.53	59.94	52.76	62.77	56.72
BERT	59.27	57.19	59.47	53.26	51.38
GCAN	74.48	60.29	60.29	60.29	60.29
BDGCN	88.30	60.48	63.57	64.51	65.89
PromptLM	89.29	77.19	73.61	75.21	69.84
KGCLM	90.37	81.70	80.19	77.98	91.81

方法	准确率	F₁
方法	准确率	N	F	T	U
SVM-TS	48.10	53.35	48.21	48.61	50.55
RvNN	48.59	55.34	57.98	52.83	56.01
BERT	51.35	40.95	40.17	42.31	53.92
GCAN	62.31	56.44	59.89	58.31	57.89
BDGCN	63.54	59.44	59.19	57.15	61.14
PromptLM	67.29	54.03	57.61	56.34	53.31
KGCLM	74.51	61.56	58.37	70.68	57.34

方法	准确率	F₁
方法	准确率	N	F	T	U
SVM-TS	48.10	53.35	48.21	48.61	50.55
RvNN	48.59	55.34	57.98	52.83	56.01
BERT	51.35	40.95	40.17	42.31	53.92
GCAN	62.31	56.44	59.89	58.31	57.89
BDGCN	63.54	59.44	59.19	57.15	61.14
PromptLM	67.29	54.03	57.61	56.34	53.31
KGCLM	74.51	61.56	58.37	70.68	57.34

[1]	田仁杰, 景明利, 焦龙, 王飞. 基于混合负采样的图对比学习推荐算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1053-1060.
[2]	王聪, 史艳翠. 基于多视角学习的图神经网络群组推荐模型[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1205-1212.
[3]	游兰, 张雨昂, 刘源, 陈智军, 王伟, 曾星, 何张玮. 基于协作贡献网络的开源项目开发者推荐[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1213-1222.
[4]	党伟超, 温鑫瑜, 高改梅, 刘春霞. 基于多视图多尺度对比学习的图协同过滤[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1061-1068.
[5]	王元龙, 刘亭华, 张虎. 基于跨模态对比学习的常识问答模型[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 732-738.
[6]	陈维, 施昌勇, 马传香. 基于多模态数据融合的农作物病害识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 840-848.
[7]	杨晟, 李岩. 面向目标检测的对比知识蒸馏方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 354-361.
[8]	严雪文, 黄章进. 基于对比学习的小样本图像分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 383-391.
[9]	蔡启健, 谭伟. 语义图增强的多模态推荐算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 421-427.
[10]	马汉达, 吴亚东. 多域时空层次图神经网络的空气质量预测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 444-452.
[11]	赵文博, 马紫彤, 杨哲. 基于有向超图自适应卷积的链接预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 15-23.
[12]	余肖生, 王智鑫. 基于多层次图对比学习的序列推荐模型[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 106-114.
[13]	程子栋, 李鹏, 朱枫. 物联网威胁情报知识图谱中潜在关系的挖掘[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 24-31.
[14]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[15]	杜郁, 朱焱. 构建预训练动态图神经网络预测学术合作行为消失[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2726-2731.

融合知识图谱与对比学习的企业风险小样本鲁棒识别方法

Robust few-shot enterprise risk identification method by integrating knowledge graph and contrastive learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 20

相关文章 15

编辑推荐

Metrics

模型	准确率
模型	SERD	CRED
KGCLM-TEXT	61.57	54.59
KGCLM-NCLAFT	86.10	36.18
KGCLM	90.37	74.51