面向长文本的两阶段文本匹配模型TP-TM

doi:10.11772/j.issn.1001-9081.2022111740

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (S1): 33-38.DOI: 10.11772/j.issn.1001-9081.2022111740

面向长文本的两阶段文本匹配模型TP-TM

王佳睿¹^,², 彭程¹(), 范敏¹

^1.中国科学院成都计算机应用研究所，成都 610041
^2.中国科学院大学计算机科学与技术学院，北京 100049

收稿日期:2022-11-24 修回日期:2023-02-22 接受日期:2023-02-23 发布日期:2023-07-04 出版日期:2023-06-30
通讯作者: 彭程
作者简介:王佳睿（1998—），女，四川成都人，硕士研究生，主要研究方向：自然语言处理
彭程（1976—），男，四川成都人，高级工程师，主要研究方向：软件工程、智能识别.pengcheng@casit.com.cn
范敏（1984—），女，四川眉山人，工程师，硕士，主要研究方向：通信工程、软件测试。
基金资助:
四川省科技计划项目(2022ZHCG0007)

TP-TM： two-phase text matching model for long-form texts

Jiarui WANG¹^,², Cheng PENG¹(), Min FAN¹

^1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610041，China
^2.School of Computer Science and Technology，University of Chinese Academy of Sciences，Beijing 100049，China

Received:2022-11-24 Revised:2023-02-22 Accepted:2023-02-23 Online:2023-07-04 Published:2023-06-30
Contact: Cheng PENG

摘要/Abstract

摘要：

针对传统文本匹配方法无法学习文本间深度语义匹配特征，深度短文本匹配模型难以捕获长文本细粒度匹配信号等问题，提出一种面向长文本的两阶段文本匹配模型TP-TM（Two-Phase Text Matching）。首先使用句子级过滤器过滤噪声句并提取关键句，然后将所获关键句输入词语级过滤器，利用融入了改进版删减策略的BERT（Bidirectional Encoder Representations from Transformers）模型挖掘文本间深度交互特征，对关键句进行词语级噪声过滤和细粒度匹配操作，最终通过拼接BERT不同位置特征预测文本对关系。在中文长文本公开新闻数据集CNSE（Chinese News Same Event）和CNSS（Chinese News Same Story）上进行实验，结果显示，相较于基线模型，TP-TM模型在CNSE和CNSS数据集上的准确率分别提升了0.99和1.55个百分点，F1值分别提升了0.98和1.46个百分点，有效提升了长文本匹配任务的准确度。

关键词: 文本匹配, 长文本, BERT, 过滤器, 特征删减

Abstract:

Aiming at the problem that traditional text matching methods cannot learn the deep semantic matching features between texts， and the deep short text matching model is hard to capture the fine-grained matching signals of long texts， a two-phase text matching model for long-form texts named TP-TM （Two-Phase Text Matching） was proposed. Firstly， the sentences were fed into sentence-level filters to filter the noisy sentences and extract the key sentences； then the key sentences were fed into a word-level filter， which used the BERT （Bidirectional Encoder Representation from Transformers） model incorporating the improved pruning strategy to mine the deep interaction features between texts， and performed word-level noise filtering and fine-grained matching operations on the key sentences. Finally， the relationship between text pairs was predicted by splicing different position features of BERT. Experimental results show that the accuracy of the TP-TM model on CNSE （Chinese News Same Event） and CNSS （Chinese News Same Story） datasets increases by 0.99 and 1.55 percentage points， and the F1 value increases by 0.98 and 1.46 percentage points， respectively， proving that TP-TM model can effectively improve the accuracy of long-form text matching tasks.

Key words: text matching, long-form text, BERT （Bidirectional Encoder Representation from Transformers）, filter, feature deletion

中图分类号:

TP391.1

王佳睿, 彭程, 范敏. 面向长文本的两阶段文本匹配模型TP-TM[J]. 计算机应用, 2023, 43(S1): 33-38.

Jiarui WANG, Cheng PENG, Min FAN. TP-TM： two-phase text matching model for long-form texts[J]. Journal of Computer Applications, 2023, 43(S1): 33-38.

图/表 7

参考文献 28

1	曹帅. 基于深度学习的文本匹配研究综述［J］.现代计算机，2021（16）：74-78. 10.3969/j.issn.1007-1423.2021.16.016
2	WANG Z， HAMZA W， FLORIAN R. Bilateral multi-perspective matching for natural language sentences［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. Menlo Park： AAAI， 2017： 4144-4150. 10.24963/ijcai.2017/579
3	HUANG P S， HE X， GAO J， et al. Learning deep structured semantic models for web search using clickthrough data［C］//Proceedings of the 22nd ACM international conference on Information & Knowledge Management. New York： ACM， 2013： 2333-2338. 10.1145/2505515.2505665
4	LU Z， LI H. A deep architecture for matching short texts［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 1367-1375.
5	王绍卿，李鑫鑫，孙福振，等. 个性化新闻推荐技术研究综述［J］. 计算机科学与探索， 2020， 14（1）： 18-29.
6	ZHOU X， PAPPAS N， SMITH N A. Multilevel text alignment with cross-document attention［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2020： 5012-5025. 10.18653/v1/2020.emnlp-main.407
7	汤建明，寇小强. 海量网络文本去重系统的设计与实现［J］. 计算机应用与软件， 2018， 35（12）： 33-37. 10.3969/j.issn.1000-386x.2018.12.007
8	秦永彬，孙玉洁，魏笑. 基于文本聚类与兴趣衰减的微博用户兴趣挖掘方法［J］. 计算机应用研究， 2019， 36（5）： 1469-1473.
9	CHENG Y， CHEN R， YUAN X， et al. Overview of long-form document matching： survey of existing models and their challenges［J］. Journal of Physics： Conference Series， 2022， 2171（1）： 012059. 10.1088/1742-6596/2171/1/012059
10	PANG L， LAN Y， CHENG X. Match-Ignition： plugging pagerank into transformer for long-form text matching［C］// Proceedings of the 30th ACM International Conference on Information & Knowledge Management. New York： ACM， 2021： 1396-1405. 10.1145/3459637.3482450
11	MIHALCEA R， TARAU P. TextRank： bringing order into text［C］// Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2004： 404-411. 10.3115/1220355.1220517
12	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186. 10.18653/v1/n18-2
13	PAGE L， BRIN S， MOTWANI R， et al. The PageRank citation ranking： bringing order to the web［EB/OL］.［2022-06-18］. .
14	AIZAWA A. An information-theoretic perspective of tf-idf measures［J］. Information Processing and Management： an International Journal， 2003， 39（1）： 45-65. 10.1016/s0306-4573(02)00021-3
15	ROBERTSON S， ZARAGOZA H， TAYLOR M. Simple BM25 extension to multiple weighted fields［C］// Proceedings of the Thirteenth ACM International Conference on Information and Knowledge Management. New York： ACM， 2004： 42-49. 10.1145/1031171.1031181
16	DEERWESTER S， DUMAIS S T， FURNAS G W， et al. Indexing by latent semantic analysis［J］. Journal of the American Society for Information Science， 1990， 41（6）： 391-407. 10.1002/(sici)1097-4571(199009)41:6<391::aid-asi1>3.0.co;2-9
17	CHOPRA S， HADSELL R， LECUN Y. Learning a similarity metric discriminatively， with application to face verification［C］//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 539-546.
18	SHEN Y， HE X， GAO J， et al. A latent semantic model with convolutional-pooling structure for information retrieval［C］//Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management. New York： ACM， 2014： 101-110. 10.1145/2661829.2661935
19	HU B， LU Z， LI H， et al. Convolutional neural network architectures for matching natural language sentences［C］//Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014： 2042-2050.
20	PALANGI H， DENG L， SHEN Y， et al. Deep sentence embedding using long short-term memory networks： analysis and application to information retrieval［J］. IEEE/ACM Transactions on Audio， Speech and Language Processing， 2016， 24（4）： 694-707. 10.1109/taslp.2016.2520371
21	WAN S， LAN Y， GUO J， et al. A deep architecture for semantic matching with multiple positional sentence representations［C］//Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Menlo Park： AAAI， 2016： 2835-2841. 10.1609/aaai.v30i1.10342
22	PANG L， LAN Y， GUO J， et al. Text matching as image recognition［C］// Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Menlo Park： AAAI， 2016： 2793-2799. 10.1609/aaai.v30i1.10341
23	CHEN Q， ZHU X， LING Z H， et al. Enhanced LSTM for Natural Language Inference［C］// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2017： 1657-1668. 10.18653/v1/p17-1152
24	WAN S， LAN Y， XU J， et al. Match-SRNN： modeling the recursive matching structure with spatial RNN［C］// Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence. Menlo Park： AAAI， 2016： 2922-2928.
25	JIANG J Y， ZHANG M， LI C， et al. Semantic text matching for long-form documents［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 795-806. 10.1145/3308558.3313707
26	YANG L， ZHANG M， LI C， et al. Beyond 512 tokens： Siamese multi-depth transformer-based hierarchical encoder for long-form document matching［C］// Proceedings of the 29th ACM International Conference on Information & Knowledge Management. New York： ACM， 2020： 1725-1734. 10.1145/3340531.3411908
27	LIU B， NIU D， WEI H， et al. Matching article pairs with graphical decomposition and convolutions［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2019： 6284-6294. 10.18653/v1/p19-1632
28	BLEI D M， NG A Y， JORDAN M I. Latent Dirichlet allocation［J］. The Journal of Machine Learning Research， 2003，3： 993-1022.

数据集	样本数
数据集	总数	正样本	负样本	训练集	验证集	测试集
CNSE	29 063	12 865	16 198	17 438	5 813	5 812
CNSS	33 503	16 887	16 616	20 102	6 701	6 700

数据集	样本数
数据集	总数	正样本	负样本	训练集	验证集	测试集
CNSE	29 063	12 865	16 198	17 438	5 813	5 812
CNSS	33 503	16 887	16 616	20 102	6 701	6 700

数据集	CNSE		CNSS
数据集	Acc	F₁	Acc	F₁
BM25	69.63	66.60	67.77	70.40
LDA	63.81	62.44	67.77	70.40
SimNet	71.05	69.26	70.78	74.50
C-DSSM	60.17	48.57	52.96	56.75
MatchPyramid	66.36	54.01	54.01	62.52
BERT-Finetuning	81.30	79.20	86.64	87.08
CIG	84.64	82.75	89.77	90.07
Match-Ignition	86.32	84.55	91.28	91.39
TP-TM	87.31	85.53	92.83	92.85

数据集	CNSE		CNSS
数据集	Acc	F₁	Acc	F₁
BM25	69.63	66.60	67.77	70.40
LDA	63.81	62.44	67.77	70.40
SimNet	71.05	69.26	70.78	74.50
C-DSSM	60.17	48.57	52.96	56.75
MatchPyramid	66.36	54.01	54.01	62.52
BERT-Finetuning	81.30	79.20	86.64	87.08
CIG	84.64	82.75	89.77	90.07
Match-Ignition	86.32	84.55	91.28	91.39
TP-TM	87.31	85.53	92.83	92.85

数据集	CNSE		CNSS
数据集	Acc	F₁	Acc	F₁
Match-Ignition	86.32	84.55	91.28	91.39
A组实验	87.21	85.35	92.56	92.60
B组实验	86.84	84.96	91.87	91.98
TP-TM	87.31	85.53	92.83	92.85

面向长文本的两阶段文本匹配模型TP-TM

TP-TM： two-phase text matching model for long-form texts

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 28

相关文章 15

编辑推荐

Metrics

[1]	胡文浩, 罗景, 涂新辉. 面向稠密检索的伪相关反馈方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1036-1042.
[2]	林呈宇, 王雷, 薛聪. 标签语义增强的弱监督文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 335-342.
[3]	徐铭, 李林昊, 齐巧玲, 王利琴. 基于注意力平衡列表的溯因推理模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 349-355.
[4]	华文镝, 高原, 吕萌, 谢平. 布隆过滤器研究综述[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1729-1747.
[5]	张海丰, 曾诚, 潘列, 郝儒松, 温超东, 何鹏. 结合BERT和特征投影网络的新闻主题文本分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1116-1124.
[6]	焦守龙, 段友祥, 孙歧峰, 庄子浩, 孙琛皓. 融合实体描述信息和邻居节点特征的知识表示学习方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1050-1056.
[7]	唐望径, 许斌, 仝美涵, 韩美奂, 王黎明, 钟琦. 知识图谱增强的科普文本分类模型[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1072-1078.
[8]	张毅, 王爽胜, 何彬, 叶培明, 李克强. 基于BERT的初等数学文本命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 433-439.
[9]	肖锐, 刘明义, 涂志莹, 王忠杰. 基于社交媒体文本挖掘的个人事件检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3513-3519.
[10]	师夏阳, 张风远, 袁嘉琪, 黄敏. 基于多语BERT的无监督攻击性言论检测[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3379-3385.
[11]	曾兰兰, 王以松, 陈攀峰. 基于BERT和联合学习的裁判文书命名实体识别[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3011-3017.
[12]	阮启铭, 过弋, 郑楠, 王业相. 基于层级多任务BERT的海关报关商品分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 71-77.
[13]	吕学强, 彭郴, 张乐, 董志安, 游新冬. 融合BERT与标签语义注意力的文本多标签分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 57-63.
[14]	彭宇, 李晓瑜, 胡世杰, 刘晓磊, 钱伟中. 基于BERT的三阶段式问答模型[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 64-70.
[15]	温超东, 曾诚, 任俊伟, 张. 结合ALBERT和双向门控循环单元的专利文本分类[J]. 计算机应用, 2021, 41(2): 407-412.