Web文本中维吾尔语领域术语的自动发现

doi:10.3724/SP.J.1087.2012.00407

计算机应用 ›› 2012, Vol. 32 ›› Issue (02): 407-410.DOI: 10.3724/SP.J.1087.2012.00407

Web文本中维吾尔语领域术语的自动发现

钟军¹,田生伟²,禹龙³

1. 新疆大学信息科学与工程学院，乌鲁木齐 830046
2. 新疆大学软件学院，乌鲁木齐 830046
3. 新疆大学网络中心，乌鲁木齐 830046

收稿日期:2011-07-22 修回日期:2011-09-22 发布日期:2012-02-23 出版日期:2012-02-01
通讯作者: 钟军
作者简介:钟军(1988-)，男，新疆乌鲁木齐人，硕士研究生，主要研究方向：人工智能；
田生伟(1973-)，男，新疆乌鲁木齐人，副教授，博士，主要研究方向：计算机智能、自然语言处理；
禹龙(1974-)，女，新疆乌鲁木齐人，副教授，硕士，主要研究方向：计算机智能、计算机网络。
基金资助:
国家自然科学基金资助项目(50774092);国家社科基金资助项目(10BTQ045，11XTQ007)

Automatic identification of Uyghur domain term in Web text

ZHONG Jun¹,TIAN Sheng-wei²,YU Long³

1. College of Information Science and Technology, Xinjiang University, Urumqi Xinjiang 830046,China
2. College of Software Design, Xinjiang University, Urumqi Xinjiang 830046, China
3. Network Center, Xinjiang University, Urumqi Xinjiang 830046, China

Received:2011-07-22 Revised:2011-09-22 Online:2012-02-23 Published:2012-02-01
Contact: ZHONG Jun

摘要/Abstract

摘要： 针对维吾尔语领域术语获取难度大,人工扩充领域术语工作量大、效率低等特点，利用词汇共现原理，以维吾尔语连接词和互信息(MI)为工具，快速扩充原始维吾尔语领域术语;建立了以维吾尔语领域术语为特征模板，利用条件随机场(CRF)模型实现Web文本中维吾尔语领域术语的自动发现方法，并在此基础上实现长维吾尔语领域术语的自动发现。实验表明，对短维吾尔语领域术语的自动发现准确率为 97.59%，召回率为 93.38%，对长维吾尔语领域术语的自动发现正确率达到55.72%。

关键词: 维吾尔语, 互信息, 条件随机场, TF/IDF

Abstract: Since the Uyghur domain term is difficult to achieve, the workload of artificial expansion of the domain term is tremendous, and the efficiency is low, this paper used the Conditional Random Field (CRF) to identify the Uyghur domain term from the Web texts, which expanded the domain term with the conjunction word and the Mutual Information (MI) between the words based on the co-occurrence of terms. The experiments on the collected Web texts show that, for the short Uyghur domain terms, the algorithm achieves the precision as high as 97.59% and the recall 93.38%, and for the long Uyghur domain terms achieves the precision 55.72%.

Key words: Uyghur, Mutual Information (MI), Conditional Random Field (CRF), Term Frequency/Inverse Document Frequency (TF/IDF)

中图分类号:

TP181

钟军田生伟禹龙. Web文本中维吾尔语领域术语的自动发现[J]. 计算机应用, 2012, 32(02): 407-410.

ZHONG Jun TIAN Sheng-wei YU Long. Automatic identification of Uyghur domain term in Web text[J]. Journal of Computer Applications, 2012, 32(02): 407-410.

参考文献

[1]SUI ZHIFANG, CHEN YIRONG. The research on the automatic term extraction in the domain of information science and technology [C]// Proceedings of the 5th East Asia Forum of the Terminology. Haikou: China National Institute of Standardization Press, 2007: 165-169. [2]BOURIGAULT D, JACUEMIN C, L'HOMMM-C. Recent advances in computational terminology [M]. Amsterdam: John Benjamins Publishing Company, 2001: 353-370． [3]FORTUNA B, LAVRA N, VELARDI P. Advancing topic ontology learning through term extraction [C]// PRICAI 2008: Proceedings of the 10th Pacific Rim International Conference on Artificial Intelligence, LNAI 5351. Berlin: Springer-Verlag, 2008: 626-635. [4]BUITELAAR P, OLEJNIK D, SINTEK M. A protégé plug-in for ontology extraction from text based on linguistic analysis [C]// The Semantic Web Research and Applications, LNCS 3053. Berlin: Springer-Verlag, 2004: 31-44． [5]PANTEL P, LIN D.A statistical corpus-based term extractor [C]// Proceedings of 14th Biennial Conference of the Canadian Society on Computational Studies of Intelligence: Advances in Artificial Intelligence. Ottawa: [s.n.], 2001:36-44． [6]周浪，史树敏，冯冲，等.基于多策略融合的中文术语抽取方法[J].情报学报，2010,29(3):460-467. [7]杜波，田怀凤，王立，等.基于多策略的专业术语抽取器的设计[J].计算机工程，2005，31(14):159-160. [8]温春，王晓斌，石昭祥.中文领域本体学习中术语的自动抽取取[J].计算机应用研究，2009,26(7):2652-2655. [9]KAGEURA K,UMINO B. Methods of automatic term recognition: A review [J]. Terminology, 1996, 3(2): 259-289. [10]QIN LONGZHANG,QIN LU,ZHI FANGSUI.Measuring termhood in automatic terminology extraction [C]// Natural Language Processing and Knowledge Engineering.Piscataway:IEEE,2007:328-335. [11]LAFFERTY J, MCCAIINM A, PEREIRA F. Conditional random fields: Probabilistic models for segmenting and labeling sequence data [C]// ICML: International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers, 2001: 961-965. [12]梁颖红，张文静，周德富.基于混合策略的高精度长术语自动抽取[J].中文信息学报，2009，23(6)：27-30. [13]乔亚男，齐勇，侯迪,等.一种高稳定性词汇共现模型[J].西安交通大学学报，2009, 43(6):24-27.

[1]	朱相荣, 王磊, 杨雅婷, 董瑞, 张俊. 基于非自回归方法的维汉神经机器翻译[J]. 计算机应用, 2020, 40(7): 1891-1895.
[2]	胡甜甜, 但雅波, 胡杰, 李想, 李少波. 基于注意力机制的Bi-LSTM结合CRF的新闻命名实体识别及其情感分类[J]. 计算机应用, 2020, 40(7): 1879-1883.
[3]	程玉胜, 宋帆, 王一宾, 钱坤. 基于专家特征的条件互信息多标记特征选择算法[J]. 计算机应用, 2020, 40(2): 503-509.
[4]	雍菊亚, 周忠眉. 基于互信息的多级特征选择算法[J]. 计算机应用, 2020, 40(12): 3478-3484.
[5]	王煜, 徐建民. 用于网络新闻热点识别的热点新词发现[J]. 计算机应用, 2020, 40(12): 3513-3519.
[6]	魏嘉旺, 王肖, 袁玉波. 人脸特征点定位的自适应窗回归方法[J]. 计算机应用, 2019, 39(5): 1459-1465.
[7]	毛莺池, 曹海, 平萍, 李晓芳. 基于最大联合条件互信息的特征选择[J]. 计算机应用, 2019, 39(3): 734-741.
[8]	胡健, 苏永东, 黄文载, 肖鹏, 刘玉婷, 杨本富. 基于互信息加权集成迁移学习的入侵检测方法[J]. 计算机应用, 2019, 39(11): 3310-3315.
[9]	许玥, 冯梦如, 皮家甜, 陈勇. 基于深度学习模型的遥感图像分割方法[J]. 计算机应用, 2019, 39(10): 2905-2914.
[10]	徐洪峰, 孙振强. 多标签学习中基于互信息的快速特征选择方法[J]. 计算机应用, 2019, 39(10): 2815-2821.
[11]	廖斌, 李浩文. 基于多孔卷积神经网络的图像深度估计模型[J]. 计算机应用, 2019, 39(1): 267-274.
[12]	张晨, 钱涛, 姬东鸿. 基于神经网络的微博情绪识别与诱因抽取联合模型[J]. 计算机应用, 2018, 38(9): 2464-2468.
[13]	梁志刚, 顾军华. 改进头脑风暴优化算法与Powell算法结合的医学图像配准[J]. 计算机应用, 2018, 38(9): 2683-2688.
[14]	唐小川, 邱曦伟, 罗亮. 基于交互作用的文本分类特征选择算法[J]. 计算机应用, 2018, 38(7): 1857-1861.
[15]	吴亮, 何毅, 梅雪, 刘欢. 基于时空兴趣点和概率潜动态条件随机场模型的在线行为识别方法[J]. 计算机应用, 2018, 38(6): 1760-1764.

Web文本中维吾尔语领域术语的自动发现

Automatic identification of Uyghur domain term in Web text

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics