基于预训练模型标记器重构的藏文分词系统

doi:10.11772/j.issn.1001-9081.2024040442

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (4): 1199-1204.DOI: 10.11772/j.issn.1001-9081.2024040442

基于预训练模型标记器重构的藏文分词系统

杨杰¹^,², 尼玛扎西¹^,²(), 仁青东主¹^,², 祁晋东¹, 才让东知¹^,²

^1.西藏大学信息科学技术学院，拉萨 850000
^2.藏文信息技术教育部工程研究中心（西藏大学），拉萨 850000

收稿日期:2024-04-12 修回日期:2024-06-28 接受日期:2024-06-28 发布日期:2025-04-08 出版日期:2025-04-10
通讯作者: 尼玛扎西
作者简介:杨杰（1997—），男，甘肃天水人，硕士研究生，主要研究方向：自然语言处理
仁青东主（1991—），男（藏族），甘肃卓尼人，讲师，博士，主要研究方向：藏语自然语言处理
祁晋东（1997—），男，山西运城人，硕士研究生，主要研究方向：信息处理、计算机视觉
才让东知（1992—），男（藏族），甘肃玛曲人，硕士研究生，主要研究方向：藏语自然语言处理。
基金资助:
新一代人工智能国家科技重大专项(2022ZD0116100);省部共建藏语智能信息处理及应用国家重点实验室开放课题项目(2023?Z?006)

Tibetan word segmentation system based on pre-trained model tokenization reconstruction

Jie YANG¹^,², Tashi NYIMA¹^,²(), Dongrub RINCHEN¹^,², Jindong QI¹, Dondrub TSHERING¹^,²

^1.School of Information Science and Technology，Tibet University，Lhasa Xizang 850000，China
^2.Engineering Research Center of the Ministry of Education for Tibetan Information Technology （Tibet University），Lhasa Xizang 850000，China

Received:2024-04-12 Revised:2024-06-28 Accepted:2024-06-28 Online:2025-04-08 Published:2025-04-10
Contact: Tashi NYIMA
About author:YANG Jie， born in 1997， M. S. candidate. His research interests include natural language processing.
RINCHEN Dongrub， born in 1991， Ph. D.， lecturer. His research interests include Tibetan natural language processing.
QI Jindong， born in 1997， M. S. candidate. His research interests include information processing， computer vision.
TSHERING Dondrub， born in 1992， M. S. candidate. His research interests include Tibetan natural language processing.
Supported by:
National Next-Generation Artificial Intelligence Science and Technology Major Project(2022ZD0116100);Open Topic Project of the State Key Laboratory of Tibetan Intelligent Information Processing and Application(2023-Z-006)

摘要/Abstract

摘要：

针对现有的预训练模型在藏文分词任务中表现不佳的问题，提出一种建立重构标记器规范约束文本，随后重构藏文预训练模型的标记器以进行藏文分词任务的方法。首先，对原始文本进行规范化操作，以解决因语言混用等导致的错误切分的问题；其次，对预训练模型进行音节粒度的标记器重构，使得切分单元与标注单元平行；最后，在利用改进的滑动窗口还原法完成黏着切分后，利用“词首、词中、词尾、孤立”（BMES）四元标注法建立Re-TiBERT-BiLSTM-CRF模型，从而得到藏文分词系统。实验结果表明，重构标记器后的预训练模型在分词任务中明显优于原始预训练模型，而得到的系统拥有较高的藏文分词精确率，F1值最高可达97.15%，能够较好地完成藏文分词任务。

关键词: 藏语信息处理, 藏文分词模型, 预训练模型, 自然语言处理, 标记器重构

Abstract:

To address poor performance of the existing pre-trained model in Tibetan segmentation tasks， a method was proposed to establish a tokenization reconstruction standard to regulate the constraint text， and subsequently reconstruct the tokenization of the Tibetan pre-trained model to perform Tibetan segmentation tasks. Firstly， the standardization operation was performed on the original text to solve the incorrect cuts due to language mixing and so on. Secondly， reconstruction of the tokenization at syllable granularity was performed on the pre-trained model to make the cut-off units parallel to the labeled units. Finally， after completing the sticky cuts using the improved sliding window restoration method， the Re-TiBERT-BiLSTM-CRF model was established by the use of the “Begin， Middle， End and Single” （BMES） four element annotation method， so as to obtain the Tibetan word segmentation system. Experimental results show that the pre-trained model after reconstructing the tokenization is significantly better than the original pre-trained model in the segmentation tasks. The obtained system has a high Tibetan word segmentation precision， and its F1 value can reach up to 97.15%， so it can complete Tibetan segmentation tasks well.

Key words: Tibetan language information processing, Tibetan word segmentation model, pre-trained model, natural language processing, tokenization reconstruction

中图分类号:

TP391.1

杨杰, 尼玛扎西, 仁青东主, 祁晋东, 才让东知. 基于预训练模型标记器重构的藏文分词系统[J]. 计算机应用, 2025, 45(4): 1199-1204.

Jie YANG, Tashi NYIMA, Dongrub RINCHEN, Jindong QI, Dondrub TSHERING. Tibetan word segmentation system based on pre-trained model tokenization reconstruction[J]. Journal of Computer Applications, 2025, 45(4): 1199-1204.

图/表 6

参考文献 20

1	陈玉忠，李保利，俞士汶，等. 基于格助词和接续特征的藏文自动分词方案［J］. 语言文字应用， 2003（1）：75-82.
	CHEN Y Z， LI B L， YU S W， et al. An automatic word separation scheme for Tibetan based on case-auxiliary words and continuous features［J］. Applied Linguistics， 2003（1）：75-82.
2	陈玉忠，李保利，俞士汶. 藏文自动分词系统的设计与实现［J］. 中文信息学报， 2003， 17（3）：15-20， 65.
	CHEN Y Z， LI B L， YU S W. The design and implementation of a Tibetan word segmentation system［J］. Journal of Chinese Information Processing， 2003， 17（3）：15-20， 65.
3	祁坤钰. 信息处理用藏文自动分词研究［J］. 西北民族大学学报（哲学社会科学版）， 2006（4）：92-97.
	QI K Y. On Tibetan automatic participate research with the aid of information treatment［J］. Journal of Northwest University for Nationalities （Philosophy and Social Science）， 2006（4）：92-97.
4	才智杰. 藏文自动分词系统中紧缩词的识别［J］. 中文信息学报， 2009， 23（1）：35-37， 43.
	CAI Z J. Identification of abbreviated word in Tibetan word segmentation［J］. Journal of Chinese Information Processing， 2009， 23（1）：35-37， 43.
5	才智杰. 班智达藏文自动分词系统的设计与实现［J］. 青海师范大学民族师范学院学报， 2010， 21（2）：75-77.
	CAI Z J. Design and realization of “Banzhida” Tibetan automatic word segmentation system［J］. Journal of Minorities Teachers College of Qinghai Teachers University， 2010， 21（2）：75-77.
6	才智杰，才让卓玛. 藏文自动分词系统的设计［J］.计算机工程与科学， 2011， 33（5）：151-154.
	CAI Z J， CAI R Z M. Design of a Tibetan word segmentation system［J］. Computer Engineering and Science， 2011， 33（5）：151-154.
7	刘汇丹，诺明花，赵维纳，等. SegT：一个实用的藏文分词系统［J］. 中文信息学报， 2012， 26（1）：97-103.
	LIU H D， NUO M H， ZHAO W N， et al. SegT： a practical Tibetan word segmentation system［J］. Journal of Chinese Information Processing， 2012， 26（1）：97-103.
8	史晓东，卢亚军. 央金藏文分词系统［J］. 中文信息学报， 2011， 25（4）：54-56.
	SHI X D， LU Y J. A Tibetan segmentation system — Yangjin［J］. Journal of Chinese Information Processing， 2011， 25（4）：54-56.
9	李亚超. 基于条件随机场的藏文分词与命名实体识别研究［D］. 兰州：西北民族大学， 2013.
	LI Y C. Study on the Tibetan word segmentation and named entity recognition with conditional random fields［D］. Lanzhou： Northwest Minzu University， 2013.
10	李亚超，江静，加羊吉，等. TIP-LAS：一个开源的藏文分词词性标注系统［J］. 中文信息学报， 2015， 29（6）：203-207.
	LI Y C， JIANG J， JIA Y J， et al. TIP-LAS： an open source toolkit for Tibetan word segmentation and POS tagging［J］. Journal of Chinese Information Processing， 2015， 29（6）：203-207.
11	李博涵，刘汇丹，龙从军，等. 基于深度学习的藏文分词方法［J］. 计算机工程与设计， 2018， 39（1）：194-198.
	LI B H， LIU H D， LONG C J， et al. Tibetan word segmentation based on deep learning［J］. Computer Engineering and Design， 2018， 39（1）：194-198.
12	桑杰端珠，才让加. 神经网络藏文分词方法研究［J］. 青海科技， 2018， 25（6）：15-21.
	SANGJIE D， CAI R. Research on neural network Tibetan word segmentation method［J］. Qinghai Science and Technology， 2018， 25（6）：15-21.
13	电子科技大学. 基于Transformer-CRF的藏文分词方法： 202111520289.6［P］. 2022-04-12.
	University of Electronic Science and Technology of China. Transformer-CRF based segmentation method for Tibetan language： 202111520289.6［P］. 2022-04-12.
14	色差甲，桑杰端珠，才让加，等. 一种基于预训练模型的藏文分词方法［J］. 中文信息学报， 2023， 37（12）：70-75.
	SE C， SANGJIE D， CAI R， et al. A Tibetan word segmentation method based on pre-training model［J］. Journal of Chinese Information Processing， 2023， 37（12）：70-75.
15	YANG J， TASHI N， DENG S， et al. Exploration on the effect of text preprocessing based on inflection morphology and attachment morphology restoration in Tibetan text classification［C］// Proceedings of the IEEE 4th International Conference on Pattern Recognition and Machine Learning. Piscataway： IEEE， 2023： 134-140.
16	LIU S， DENG J， SUN Y， et al. TiBERT： Tibetan pre-trained language model［C］// Proceedings of the 2022 IEEE International Conference on Systems， Man， and Cybernetics. Piscataway： IEEE， 2022： 2956-2961.
17	SIAMI-NAMINI S， TAVAKOLI N， NAMIN A S. The performance of LSTM and BiLSTM in forecasting time series［C］// Proceedings of the 2019 IEEE International Conference on Big Data. Piscataway： IEEE， 2019： 3285-3292.
18	LAFFERTY J D， McCALLUM A， PEREIRA F C N. Conditional random fields： probabilistic models for segmenting and labeling sequence data［C］// Proceedings of the 18th International Conference on Machine Learning. San Francisco： Morgan Kaufmann Publishers Inc.， 2001： 282-289.
19	BA J L， KIROS J R， HINTON G E. Layer normalization［EB/OL］. ［2024-03-10］..
20	高定国，杨晓龙，杨宇帆，等. MLWS2021藏文分词评测报告［J］. 高原科学研究， 2022， 6（1）：82-89.
	GAO D G， YANG X L， YANG Y F， et al. Study on the evaluation of Tibetan words segmentation of MLWS2021［J］. Plateau Science Research， 2022， 6（1）：82-89.

标注类别	标注说明	举例
B	标注词语的始音节	འགོ་པ་ཡང་ན་འགོ་བ
M	标注词语中部音节	འགོ་པ་ཡང་ན་འགོ་བ
E	标注词语尾部音节	འགོ་པ་ཡང་ན་འགོ་བ
S	标注孤立词、标点、数字等	༡༩༨༡、《、ས

标注类别	标注说明	举例
B	标注词语的始音节	འགོ་པ་ཡང་ན་འགོ་བ
M	标注词语中部音节	འགོ་པ་ཡང་ན་འགོ་བ
E	标注词语尾部音节	འགོ་པ་ཡང་ན་འགོ་བ
S	标注孤立词、标点、数字等	༡༩༨༡、《、ས

模型	F1
模型	语料集1	语料集2	语料集3
TiBERT+BiLSTM	84.27	78.01	76.83
TiBERT+LN+CRF	85.57	77.85	76.73
TiBERT+LSTM+LN+CRF	83.00	77.43	76.40
TiBERT+BiLSTM+LN+CRF	82.82	77.51	76.32
Re-TiBERT+BiLSTM	94.26	96.75	96.65
Re-TiBERT+LN+CRF	94.63	96.82	96.63
Re-TiBERT+LSTM+LN+CRF	94.52	97.03	96.82
Re-TiBERT+BiLSTM+LN+CRF （黏着未切分）	90.28	91.27	91.01
Re-TiBERT+BiLSTM+LN+CRF	94.73	97.15	96.88

模型	F1
模型	语料集1	语料集2	语料集3
TiBERT+BiLSTM	84.27	78.01	76.83
TiBERT+LN+CRF	85.57	77.85	76.73
TiBERT+LSTM+LN+CRF	83.00	77.43	76.40
TiBERT+BiLSTM+LN+CRF	82.82	77.51	76.32
Re-TiBERT+BiLSTM	94.26	96.75	96.65
Re-TiBERT+LN+CRF	94.63	96.82	96.63
Re-TiBERT+LSTM+LN+CRF	94.52	97.03	96.82
Re-TiBERT+BiLSTM+LN+CRF （黏着未切分）	90.28	91.27	91.01
Re-TiBERT+BiLSTM+LN+CRF	94.73	97.15	96.88

[1]	孙海涛, 林佳瑜, 梁祖红, 郭洁. 结合标签混淆的中文文本分类数据增强技术[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1113-1119.
[2]	李嘉欣, 莫思特. 基于MiniRBT-LSTM-GAT与标签平滑的台区电力工单分类[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1356-1362.
[3]	秦小林, 古徐, 李弟诚, 徐海文. 大语言模型综述与展望[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 685-696.
[4]	洪予晨, 李金龙. 基于预训练的符号化音乐生成[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 578-583.
[5]	王雅伦, 张仰森, 朱思文. 面向知识推理的位置编码标题生成模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 345-353.
[6]	吕学强, 王涛, 游新冬, 徐戈. 层次融合多元知识的命名实体识别框架——HTLR[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 40-47.
[7]	帅奇, 王海瑞, 朱贵富. 基于双向对比训练的中文故事结尾生成模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2683-2688.
[8]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[9]	李晨阳, 张龙, 郑秋生, 钱少华. 基于扩散序列的多元可控文本生成[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2414-2420.
[10]	张全梅, 黄润萍, 滕飞, 张海波, 周南. 融合异构信息的自动国际疾病分类编码方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2476-2482.
[11]	陆潜慧, 张羽, 王梦灵, 吴庭伟, 单玉忠. 基于改进循环池化网络的核电装备质量文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2034-2040.
[12]	刘耀, 李雨萌, 宋苗苗. 基于业务流程的认知图谱[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1699-1705.
[13]	赵征宇, 罗景, 涂新辉. 基于多粒度语义融合的信息检索方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1775-1780.
[14]	于右任, 张仰森, 蒋玉茹, 黄改娟. 融合多粒度语言知识与层级信息的中文命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1706-1712.
[15]	高龙涛, 李娜娜. 基于方面感知注意力增强的方面情感三元组抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1049-1057.

基于预训练模型标记器重构的藏文分词系统

Tibetan word segmentation system based on pre-trained model tokenization reconstruction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 20

相关文章 15

编辑推荐

Metrics