Neural machine translation corpus expansion method based on language similarity mining

doi:10.11772/j.issn.1001-9081.2020122039

Journal of Computer Applications ›› 2021, Vol. 41 ›› Issue (11): 3145-3150.DOI: 10.11772/j.issn.1001-9081.2020122039

Special Issue: 人工智能

• Artificial intelligence • Previous Articles Next Articles

Neural machine translation corpus expansion method based on language similarity mining

Can LI¹^,²^,³, Yating YANG¹^,²^,³, Yupeng MA¹^,²^,³(), Rui DONG¹^,²^,³

^1.Xinjiang Technical Institute of Physics and Chemistry，Chinese Academy of Sciences，Urumqi Xinjiang 830000，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China
^3.Xinjiang Laboratory of Minority Speech and Language Information Processing （Xinjiang Technical Institute of Physics and Chemistry，Chinese Academy of Sciences），Urumqi Xinjiang 830000，China

Received:2020-12-28 Revised:2021-05-13 Accepted:2021-05-19 Online:2021-03-29 Published:2021-11-10
Contact: Yupeng MA
About author:LI Can，born in 1995，M. S. candidate. His research interests include natural language processing，machine translation
YANG Yating， born in 1984， Ph. D.， research fellow. Her research interests include natural language processing， machine translation
MA Yupeng，born in 1979，Ph. D.，research fellow. His research interests include internet of things，big data analysis
DONG Rui，born in 1985，Ph. D.，associate research fellow. His research interests
Supported by:
the National Natural Science Foundation of China(U1703133);the National Key Research and Development Program of China(2017YFC0822505-04);the A Type Project of the Chinese Academy of Sciences “Light of West China” Talent Training Plan(2017-XBQNXZ-A-005);the Chinese Academy of Sciences Youth Innovation Promotion Association Program(2017472);the Xinjiang High-level Talent Introduction Program(XinRenSheHan ［2017］699)

基于语种相似性挖掘的神经机器翻译语料库扩充方法

李灿¹^,²^,³, 杨雅婷¹^,²^,³, 马玉鹏¹^,²^,³(), 董瑞¹^,²^,³

^1.中国科学院新疆理化技术研究所，乌鲁木齐 830000
^2.中国科学院大学，北京 100049
^3.新疆民族语音语言信息处理实验室（中国科学院新疆理化技术研究所），乌鲁木齐 830000

通讯作者: 马玉鹏
作者简介:李灿（1995—），男，湖北荆州人，硕士研究生，主要研究方向：自然语言处理、机器翻译
杨雅婷（1984—），女，新疆昌吉人，研究员，博士，CCF会员，主要研究方向：自然语言处理、机器翻译
马玉鹏（1979—），男，新疆阜康人，研究员，博士，主要研究方向：物联网、大数据分析
董瑞（1985—），男，山东威海人，副研究员，博士，CCF会员，主要研究方向：自然语言处理、机器翻译。
基金资助:
国家自然科学基金资助项目(U1703133);国家重点研发计划项目(2017YFC0822505-04);中国科学院“西部之光”人才培养计划A类项目(2017-XBQNXZ-A-005);中国科学院青年创新促进会项目(2017472号);新疆高层次引进人才项目(新人社函［2017］699号)

Abstract

Abstract:

Concerning the lack of tagged data resources in machine translation tasks of low-resource languages， a new neural machine translation corpus expansion method based on language similarity mining was proposed. Firstly， Uyghur and Kazakh were considered as similar language pairs and their corpora were mixed. Then， Byte Pair Encoding （BPE）， syllable segmentation and BPE based on syllable segmentation were carried out on the mixed corpus respectively to explore the similarity between Kazakh and Uyghur deeply. Finally， the “Begin-Middle-End （BME）” sequence tagging method was introduced to tag the segmented syllables in the corpus in order to eliminate some ambiguities caused by syllable input. Experimental results on CWMT2015 Uyghur-Chinese parallel corpus and Kazakh-Chinese parallel corpus show that， compared with the ordinary models without special corpus processing and trained by BPE corpus processing training， the proposed method increases the Bilingual Evaluation Understudy （BLEU） by 9.66， 4.55 respectively for the Uyghur-Chinese translation and by 9.44， 4.36 respectively for the Kazakh-Chinese translation. The proposed scheme achieves cross-language neural machine translation from Uyghur and Kazakh to Chinese， improves the translation quality of Uyghur-Chinese and Kazakh-Chinese machine translation， and can be applied to corpus processing of Uyghur and Kazakh.

摘要：

针对低资源语言机器翻译任务上一直存在的标注数据资源匮乏问题，提出了基于语种相似性挖掘的神经机器翻译语料库扩充方法。首先，将维吾尔语和哈萨克语作为相似语言对并将其语料进行混合；然后，对混合后的语料分别进行字节对编码（BPE）处理、音节切分处理以及基于音节切分的BPE处理，从而深度挖掘哈语和维语的相似性；最后，引入“开始-中部-结束（BME）”序列标注方法对语料中已切分完成的音节进行标注，以消除音节输入所带来的一些歧义。在CWMT2015维汉平行语料和哈汉平行语料上的实验结果表明，所提方法相较于不进行特殊语料处理以及BPE语料处理训练所得普通模型在维吾尔语-汉语翻译上的双语评估替补（BLEU）值分别提升了9.66、4.55，在哈萨克语-汉语翻译上的BLEU值分别提升了9.44、4.36。所提方案实现了维语和哈语到汉语的跨语言神经机器翻译，提升了维吾尔语-汉语和哈萨克语-汉语机器翻译的翻译质量，可应用于维语和哈语的语料处理。

关键词: 相似语种, 语料扩充, 机器翻译, 字节对编码, 音节切分, 基于音节切分的字节对编码, “开始-中部-结束”序列标注方法

CLC Number:

TP391.1

Can LI, Yating YANG, Yupeng MA, Rui DONG. Neural machine translation corpus expansion method based on language similarity mining[J]. Journal of Computer Applications, 2021, 41(11): 3145-3150.

李灿, 杨雅婷, 马玉鹏, 董瑞. 基于语种相似性挖掘的神经机器翻译语料库扩充方法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3145-3150.

Figures/Tables 14

References 16

1	SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks ［C］// Proceedings of the 2014 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 3104-3112.
2	CHO K， MERRIËNBOER B VAN， GU̇LÇEHRE Ç， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation ［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2014： 1724-1734. 10.3115/v1/d14-1179
3	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. （2016-05-19）［2020-05-19］. . 10.3115/v1/w14-4009
4	MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention ［C］// Proceedings of the 2014 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2204-2212.
5	DANDEKAR N. How does an attention mechanism work in deep learning for natural language processing？［EB/OL］. ［2020-11-23］. .
6	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 2017 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017：6000-6010. 10.1016/s0262-4079(17)32358-8
7	BA J L， KIROS J R， HINTON G E. Layer normalization ［EB/OL］. （2016-07-21）［2020-11-22］..
8	ZOPH B， YURET D， MAY J， et al. Transfer learning for low-resource neural machine translation ［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2016： 1568-1575. 10.18653/v1/d16-1163
9	NGUYEN T Q， CHIANG D. Transfer Learning across low-resource， related languages for neural machine translation ［C］// Proceedings of the 2017 8th International Joint Conference on Natural Language Processing （Volume 2： Short Papers）.［S. l.］： Asian Federation of Natural Language Processing， 2017： 296-301.
10	GU J T， WANG Y， CHEN Y， et al. Meta-learning for low-resource neural machine translation ［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2018： 3622-3631. 10.18653/v1/d18-1398
11	DOMHAN T， HIEBER F. Using target-side monolingual data for neural machine translation through multi-task learning ［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2017： 1500-1505. 10.18653/v1/d17-1158
12	SENNRICH R， HADDOW B， BIRCH A. Neural machine translation of rare words with subword units ［C］// Proceedings of the 2016 54th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2016： 1715-1725. 10.18653/v1/p16-1162
13	阿不都许库尔·毛拉克.现代维语词的音节分写规则［J］.语言与翻译，1999（4）：25-26.
	ABUDUXUKUER M. Syllable segmentation writing rules of modern Uygur words ［J］. Language and Translation， 1999（4）： 25-26.
14	瓦依提·阿不力孜，加米拉·吾守尔，吐尔根·依布拉音，等.现代维吾尔文音节自动切分方法及其实现［J］.中国科技论文，2015，10（8）：957-961.
	WAYIT A， JAMILA W， TURGUN I， et al. Modern Uyghur automatic syllable segmentation method and its implementation ［J］. China Sciencepaper， 2015， 10（8）： 957-961.
15	努尔麦麦提·尤鲁瓦斯，吾守尔·斯拉木，热依曼·吐尔逊.基于音节的维吾尔语大词汇连续语音识别系统［J］.清华大学学报（自然科学版），2013，53（6）：741-744. 10.1007/978-3-540-87391-4_51
	NURMEMET Y， WUSHOUER S， REYIMAN T. Syllable based language model for large vocabulary continuous speech recognition of Uyghur ［J］. Journal of Tsinghua University （Science and Technology）， 2013， 53（6）： 741-744. 10.1007/978-3-540-87391-4_51
16	KOEHN P， HOANG H， BIRCH A， et al. Moses： open source toolkit for statistical machine translation ［C］// Proceedings of the 2007 45th Annual Meeting of the Association for Computational Linguistics， Interactive Poster and Demonstration Sessions. Stroudsburg： ACL， 2007： 177-180. 10.3115/1557769.1557821

序号	音节结构	序号	音节结构
1	v	7	ccv
2	vc	8	ccvc
3	cv	9	ccvcc
4	cvc	10	cvv
5	vcc	11	cvvc
6	cvcc	12	cccv

序号	音节结构	序号	音节结构
1	v	7	ccv
2	vc	8	ccvc
3	cv	9	ccvcc
4	cvc	10	cvv
5	vcc	11	cvvc
6	cvcc	12	cccv

双语语料	数据集划分	语料数量
维-汉	训练集	维汉双语平行语句对331 763对
	验证集	维汉双语平行语句对700对
	测试集	维汉双语平行语句对1 000对
哈-汉	训练集	哈汉双语平行语句对346 371对
	验证集	哈汉双语平行语句对700对
	测试集	哈汉双语平行语句对1 000对

双语语料	数据集划分	语料数量
维-汉	训练集	维汉双语平行语句对331 763对
	验证集	维汉双语平行语句对700对
	测试集	维汉双语平行语句对1 000对
哈-汉	训练集	哈汉双语平行语句对346 371对
	验证集	哈汉双语平行语句对700对
	测试集	哈汉双语平行语句对1 000对

参数	设置
编码端层数	6
解码端层数	6
激活函数	ReLU
dropout	0.1
学习率	0.000 2
前馈神经网络隐层维度	2 048
词向量维度	512
Attention Heads	8

Neural machine translation corpus expansion method based on language similarity mining

基于语种相似性挖掘的神经机器翻译语料库扩充方法

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 14

References 16

Related Articles 10

Recommended Articles

Metrics

语料处理方式	子词词表大小	训练轮数
词级别处理	\	35
BPE处理	10 000	113
音节切分处理	\	83
基于音节切分的BPE处理	10 000	106

机器翻译语言	语料处理方式	BLEU值
维-汉	词级别处理	46.13
	BPE处理	51.24
	音节切分处理	50.65
	基于音节切分的BPE处理	51.09
哈-汉	词级别处理	46.38
	BPE处理	51.46
	音节切分处理	50.91
	基于音节切分的BPE处理	51.26

机器翻译语言	语料处理方式	子词词表大小	训练轮数
维-汉	音节切分处理（BME）	\	129
维-汉	基于音节切分的BPE处理（BME）	10 000	135
哈-汉	音节切分处理（BME）	\	131
哈-汉	基于音节切分的BPE处理（BME）	10 000	139

机器翻译语言	语料处理方式	BLEU值
维-汉	音节切分处理（BME）	54.21
维-汉	基于音节切分的BPE处理（BME）	54.32
哈-汉	音节切分处理（BME）	54.42
哈-汉	基于音节切分的BPE处理（BME）	54.57

机器翻译语言	语料处理方式	BLEU值
维-汉	词级别处理	45.02
	BPE处理	52.31
	音节切分处理	52.45
	基于音节切分的BPE处理	53.18
	音节切分处理（BME）	55.47
	基于音节切分的BPE处理（BME）	55.79
哈-汉	词级别处理	45.07
	BPE处理	52.48
	音节切分处理	52.51
	基于音节切分的BPE处理	53.23
	音节切分处理（BME）	55.56
	基于音节切分的BPE处理（BME）	55.82

[1]	Xingbin LIAO, Xiaolin QIN, Siqi ZHANG, Yangge QIAN. Review of interactive machine translation [J]. Journal of Computer Applications, 2023, 43(2): 329-334.
[2]	Zengzhen DU, Dongxin TANG, Dan XIE. Method of generating rhetorical questions based on deep neural network in intelligent consultation [J]. Journal of Computer Applications, 2022, 42(3): 867-873.
[3]	Zhijin LI, Hua LAI, Yonghua WEN, Shengxiang GAO. Neural machine translation integrating bidirectional-dependency self-attention mechanism [J]. Journal of Computer Applications, 2022, 42(12): 3679-3685.
[4]	Longchao GONG, Junjun GUO, Zhengtao YU. Neural machine translation method based on source language syntax enhanced decoding [J]. Journal of Computer Applications, 2022, 42(11): 3386-3394.
[5]	JIA Chengxun, LAI Hua, YU Zhengtao, WEN Yonghua, YU Zhiqiang. Chinese-Vietnamese pseudo-parallel corpus generation based on monolingual language model [J]. Journal of Computer Applications, 2021, 41(6): 1652-1658.
[6]	ZHU Xiangrong, WANG Lei, YANG Yating, DONG Rui, ZHANG Jun. Non-autoregressive method for Uyghur-Chinese neural machine translation [J]. Journal of Computer Applications, 2020, 40(7): 1891-1895.
[7]	PAN Yirong, LI Xiao, YANG Yating, MI Chenggang, DONG Rui. Reordering table reconstruction model for Chinese-Uyghur machine translation [J]. Journal of Computer Applications, 2018, 38(5): 1283-1288.
[8]	JI Duo, MA Bin, YE Na. Prediction technology of translation query behavior in interactive machine translation [J]. Journal of Computer Applications, 2015, 35(4): 1009-1012.
[9]	. Automatic image annotation method based on Gaussian mixture model [J]. Journal of Computer Applications, 2010, 30(11): 2986-2987.
[10]	Yi Luo Miao Li Jian Zhang. Efficient beam search decoder for phrase-based statistical machine translation [J]. Journal of Computer Applications, 2007, 27(8): 1973-1975.