基于语种相似性挖掘的神经机器翻译语料库扩充方法

doi:10.11772/j.issn.1001-9081.2020122039

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (11): 3145-3150.DOI: 10.11772/j.issn.1001-9081.2020122039

所属专题：人工智能

基于语种相似性挖掘的神经机器翻译语料库扩充方法

李灿¹^,²^,³, 杨雅婷¹^,²^,³, 马玉鹏¹^,²^,³(), 董瑞¹^,²^,³

^1.中国科学院新疆理化技术研究所，乌鲁木齐 830000
^2.中国科学院大学，北京 100049
^3.新疆民族语音语言信息处理实验室（中国科学院新疆理化技术研究所），乌鲁木齐 830000

收稿日期:2020-12-28 修回日期:2021-05-13 接受日期:2021-05-19 发布日期:2021-03-29 出版日期:2021-11-10
通讯作者: 马玉鹏
作者简介:李灿（1995—），男，湖北荆州人，硕士研究生，主要研究方向：自然语言处理、机器翻译
杨雅婷（1984—），女，新疆昌吉人，研究员，博士，CCF会员，主要研究方向：自然语言处理、机器翻译
马玉鹏（1979—），男，新疆阜康人，研究员，博士，主要研究方向：物联网、大数据分析
董瑞（1985—），男，山东威海人，副研究员，博士，CCF会员，主要研究方向：自然语言处理、机器翻译。
基金资助:
国家自然科学基金资助项目(U1703133);国家重点研发计划项目(2017YFC0822505-04);中国科学院“西部之光”人才培养计划A类项目(2017-XBQNXZ-A-005);中国科学院青年创新促进会项目(2017472号);新疆高层次引进人才项目(新人社函［2017］699号)

Neural machine translation corpus expansion method based on language similarity mining

Can LI¹^,²^,³, Yating YANG¹^,²^,³, Yupeng MA¹^,²^,³(), Rui DONG¹^,²^,³

^1.Xinjiang Technical Institute of Physics and Chemistry，Chinese Academy of Sciences，Urumqi Xinjiang 830000，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China
^3.Xinjiang Laboratory of Minority Speech and Language Information Processing （Xinjiang Technical Institute of Physics and Chemistry，Chinese Academy of Sciences），Urumqi Xinjiang 830000，China

Received:2020-12-28 Revised:2021-05-13 Accepted:2021-05-19 Online:2021-03-29 Published:2021-11-10
Contact: Yupeng MA
About author:LI Can，born in 1995，M. S. candidate. His research interests include natural language processing，machine translation
YANG Yating， born in 1984， Ph. D.， research fellow. Her research interests include natural language processing， machine translation
MA Yupeng，born in 1979，Ph. D.，research fellow. His research interests include internet of things，big data analysis
DONG Rui，born in 1985，Ph. D.，associate research fellow. His research interests
Supported by:
the National Natural Science Foundation of China(U1703133);the National Key Research and Development Program of China(2017YFC0822505-04);the A Type Project of the Chinese Academy of Sciences “Light of West China” Talent Training Plan(2017-XBQNXZ-A-005);the Chinese Academy of Sciences Youth Innovation Promotion Association Program(2017472);the Xinjiang High-level Talent Introduction Program(XinRenSheHan ［2017］699)

摘要/Abstract

摘要：

针对低资源语言机器翻译任务上一直存在的标注数据资源匮乏问题，提出了基于语种相似性挖掘的神经机器翻译语料库扩充方法。首先，将维吾尔语和哈萨克语作为相似语言对并将其语料进行混合；然后，对混合后的语料分别进行字节对编码（BPE）处理、音节切分处理以及基于音节切分的BPE处理，从而深度挖掘哈语和维语的相似性；最后，引入“开始-中部-结束（BME）”序列标注方法对语料中已切分完成的音节进行标注，以消除音节输入所带来的一些歧义。在CWMT2015维汉平行语料和哈汉平行语料上的实验结果表明，所提方法相较于不进行特殊语料处理以及BPE语料处理训练所得普通模型在维吾尔语-汉语翻译上的双语评估替补（BLEU）值分别提升了9.66、4.55，在哈萨克语-汉语翻译上的BLEU值分别提升了9.44、4.36。所提方案实现了维语和哈语到汉语的跨语言神经机器翻译，提升了维吾尔语-汉语和哈萨克语-汉语机器翻译的翻译质量，可应用于维语和哈语的语料处理。

关键词: 相似语种, 语料扩充, 机器翻译, 字节对编码, 音节切分, 基于音节切分的字节对编码, “开始-中部-结束”序列标注方法

Abstract:

Concerning the lack of tagged data resources in machine translation tasks of low-resource languages， a new neural machine translation corpus expansion method based on language similarity mining was proposed. Firstly， Uyghur and Kazakh were considered as similar language pairs and their corpora were mixed. Then， Byte Pair Encoding （BPE）， syllable segmentation and BPE based on syllable segmentation were carried out on the mixed corpus respectively to explore the similarity between Kazakh and Uyghur deeply. Finally， the “Begin-Middle-End （BME）” sequence tagging method was introduced to tag the segmented syllables in the corpus in order to eliminate some ambiguities caused by syllable input. Experimental results on CWMT2015 Uyghur-Chinese parallel corpus and Kazakh-Chinese parallel corpus show that， compared with the ordinary models without special corpus processing and trained by BPE corpus processing training， the proposed method increases the Bilingual Evaluation Understudy （BLEU） by 9.66， 4.55 respectively for the Uyghur-Chinese translation and by 9.44， 4.36 respectively for the Kazakh-Chinese translation. The proposed scheme achieves cross-language neural machine translation from Uyghur and Kazakh to Chinese， improves the translation quality of Uyghur-Chinese and Kazakh-Chinese machine translation， and can be applied to corpus processing of Uyghur and Kazakh.

中图分类号:

TP391.1

李灿, 杨雅婷, 马玉鹏, 董瑞. 基于语种相似性挖掘的神经机器翻译语料库扩充方法[J]. 计算机应用, 2021, 41(11): 3145-3150.

Can LI, Yating YANG, Yupeng MA, Rui DONG. Neural machine translation corpus expansion method based on language similarity mining[J]. Journal of Computer Applications, 2021, 41(11): 3145-3150.

图/表 14

参考文献 16

1	SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks ［C］// Proceedings of the 2014 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 3104-3112.
2	CHO K， MERRIËNBOER B VAN， GU̇LÇEHRE Ç， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation ［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2014： 1724-1734. 10.3115/v1/d14-1179
3	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. （2016-05-19）［2020-05-19］. . 10.3115/v1/w14-4009
4	MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention ［C］// Proceedings of the 2014 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2204-2212.
5	DANDEKAR N. How does an attention mechanism work in deep learning for natural language processing？［EB/OL］. ［2020-11-23］. .
6	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 2017 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017：6000-6010. 10.1016/s0262-4079(17)32358-8
7	BA J L， KIROS J R， HINTON G E. Layer normalization ［EB/OL］. （2016-07-21）［2020-11-22］..
8	ZOPH B， YURET D， MAY J， et al. Transfer learning for low-resource neural machine translation ［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2016： 1568-1575. 10.18653/v1/d16-1163
9	NGUYEN T Q， CHIANG D. Transfer Learning across low-resource， related languages for neural machine translation ［C］// Proceedings of the 2017 8th International Joint Conference on Natural Language Processing （Volume 2： Short Papers）.［S. l.］： Asian Federation of Natural Language Processing， 2017： 296-301.
10	GU J T， WANG Y， CHEN Y， et al. Meta-learning for low-resource neural machine translation ［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2018： 3622-3631. 10.18653/v1/d18-1398
11	DOMHAN T， HIEBER F. Using target-side monolingual data for neural machine translation through multi-task learning ［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2017： 1500-1505. 10.18653/v1/d17-1158
12	SENNRICH R， HADDOW B， BIRCH A. Neural machine translation of rare words with subword units ［C］// Proceedings of the 2016 54th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2016： 1715-1725. 10.18653/v1/p16-1162
13	阿不都许库尔·毛拉克.现代维语词的音节分写规则［J］.语言与翻译，1999（4）：25-26.
	ABUDUXUKUER M. Syllable segmentation writing rules of modern Uygur words ［J］. Language and Translation， 1999（4）： 25-26.
14	瓦依提·阿不力孜，加米拉·吾守尔，吐尔根·依布拉音，等.现代维吾尔文音节自动切分方法及其实现［J］.中国科技论文，2015，10（8）：957-961.
	WAYIT A， JAMILA W， TURGUN I， et al. Modern Uyghur automatic syllable segmentation method and its implementation ［J］. China Sciencepaper， 2015， 10（8）： 957-961.
15	努尔麦麦提·尤鲁瓦斯，吾守尔·斯拉木，热依曼·吐尔逊.基于音节的维吾尔语大词汇连续语音识别系统［J］.清华大学学报（自然科学版），2013，53（6）：741-744. 10.1007/978-3-540-87391-4_51
	NURMEMET Y， WUSHOUER S， REYIMAN T. Syllable based language model for large vocabulary continuous speech recognition of Uyghur ［J］. Journal of Tsinghua University （Science and Technology）， 2013， 53（6）： 741-744. 10.1007/978-3-540-87391-4_51
16	KOEHN P， HOANG H， BIRCH A， et al. Moses： open source toolkit for statistical machine translation ［C］// Proceedings of the 2007 45th Annual Meeting of the Association for Computational Linguistics， Interactive Poster and Demonstration Sessions. Stroudsburg： ACL， 2007： 177-180. 10.3115/1557769.1557821

序号	音节结构	序号	音节结构
1	v	7	ccv
2	vc	8	ccvc
3	cv	9	ccvcc
4	cvc	10	cvv
5	vcc	11	cvvc
6	cvcc	12	cccv

序号	音节结构	序号	音节结构
1	v	7	ccv
2	vc	8	ccvc
3	cv	9	ccvcc
4	cvc	10	cvv
5	vcc	11	cvvc
6	cvcc	12	cccv

双语语料	数据集划分	语料数量
维-汉	训练集	维汉双语平行语句对331 763对
	验证集	维汉双语平行语句对700对
	测试集	维汉双语平行语句对1 000对
哈-汉	训练集	哈汉双语平行语句对346 371对
	验证集	哈汉双语平行语句对700对
	测试集	哈汉双语平行语句对1 000对

双语语料	数据集划分	语料数量
维-汉	训练集	维汉双语平行语句对331 763对
	验证集	维汉双语平行语句对700对
	测试集	维汉双语平行语句对1 000对
哈-汉	训练集	哈汉双语平行语句对346 371对
	验证集	哈汉双语平行语句对700对
	测试集	哈汉双语平行语句对1 000对

参数	设置
编码端层数	6
解码端层数	6
激活函数	ReLU
dropout	0.1
学习率	0.000 2
前馈神经网络隐层维度	2 048
词向量维度	512
Attention Heads	8

基于语种相似性挖掘的神经机器翻译语料库扩充方法

Neural machine translation corpus expansion method based on language similarity mining

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 16

相关文章 12

编辑推荐

Metrics

语料处理方式	子词词表大小	训练轮数
词级别处理	\	35
BPE处理	10 000	113
音节切分处理	\	83
基于音节切分的BPE处理	10 000	106

机器翻译语言	语料处理方式	BLEU值
维-汉	词级别处理	46.13
	BPE处理	51.24
	音节切分处理	50.65
	基于音节切分的BPE处理	51.09
哈-汉	词级别处理	46.38
	BPE处理	51.46
	音节切分处理	50.91
	基于音节切分的BPE处理	51.26

机器翻译语言	语料处理方式	子词词表大小	训练轮数
维-汉	音节切分处理（BME）	\	129
维-汉	基于音节切分的BPE处理（BME）	10 000	135
哈-汉	音节切分处理（BME）	\	131
哈-汉	基于音节切分的BPE处理（BME）	10 000	139

机器翻译语言	语料处理方式	BLEU值
维-汉	音节切分处理（BME）	54.21
维-汉	基于音节切分的BPE处理（BME）	54.32
哈-汉	音节切分处理（BME）	54.42
哈-汉	基于音节切分的BPE处理（BME）	54.57

机器翻译语言	语料处理方式	BLEU值
维-汉	词级别处理	45.02
	BPE处理	52.31
	音节切分处理	52.45
	基于音节切分的BPE处理	53.18
	音节切分处理（BME）	55.47
	基于音节切分的BPE处理（BME）	55.79
哈-汉	词级别处理	45.07
	BPE处理	52.48
	音节切分处理	52.51
	基于音节切分的BPE处理	53.23
	音节切分处理（BME）	55.56
	基于音节切分的BPE处理（BME）	55.82

[1]	廖兴滨, 秦小林, 张思齐, 钱杨舸. 交互式机器翻译综述[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 329-334.
[2]	杜曾贞, 唐东昕, 解丹. 智能问诊中基于深度神经网络的反问生成方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 867-873.
[3]	李治瑾, 赖华, 文永华, 高盛祥. 融合双向依存自注意力机制的神经机器翻译[J]. 《计算机应用》唯一官方网站, 2022, 42(12): 3679-3685.
[4]	龚龙超, 郭军军, 余正涛. 基于源语言句法增强解码的神经机器翻译方法[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3386-3394.
[5]	贾承勋, 赖华, 余正涛, 文永华, 于志强. 融合单语语言模型的汉越伪平行语料生成[J]. 计算机应用, 2021, 41(6): 1652-1658.
[6]	朱相荣, 王磊, 杨雅婷, 董瑞, 张俊. 基于非自回归方法的维汉神经机器翻译[J]. 计算机应用, 2020, 40(7): 1891-1895.
[7]	潘一荣, 李晓, 杨雅婷, 米成刚, 董瑞. 面向汉维机器翻译的调序表重构模型[J]. 计算机应用, 2018, 38(5): 1283-1288.
[8]	张扬, 赵晓群, 王缔罡. 基于音节时间长度高斯拟合的汉语音节切分方法[J]. 计算机应用, 2016, 36(5): 1410-1414.
[9]	张扬, 赵晓群, 王缔罡. 基于时频二维能量特征的汉语音节切分方法[J]. 计算机应用, 2016, 36(11): 3222-3228.
[10]	季铎, 马斌, 叶娜. 交互式机器翻译中译文查询行为的预测技术[J]. 计算机应用, 2015, 35(4): 1009-1012.
[11]	陈娜. 基于高斯混合模型的自动图像标注方法[J]. 计算机应用, 2010, 30(11): 2986-2987.
[12]	罗毅李淼张建. 一种基于短语统计机器翻译的高效柱搜索解码器[J]. 计算机应用, 2007, 27(8): 1973-1975.