面向GIS基于专有名词优先的中文分词方法

计算机应用 ›› 2010, Vol. 30 ›› Issue (07): 1941-1943.

面向GIS基于专有名词优先的中文分词方法

罗浩¹,魏祖宽²,金在弘³

1. 成都市电子科技大学
2. 成都电子科技大学
3. 韩国永同大学校

收稿日期:2010-01-20 修回日期:2010-03-02 发布日期:2010-07-01 出版日期:2010-07-01
通讯作者: 罗浩

Chinese word segmentation for GIS based on priority special name

Received:2010-01-20 Revised:2010-03-02 Online:2010-07-01 Published:2010-07-01

摘要/Abstract

摘要： 提出了一种面向地理信息系统领域的基于专有名词优先的中文分词方法：利用专业词典、通用词典和同义词词典相结合的词典机制，优先切分专有名词，对粗分结果利用Trigram模型进行消歧而获取最终结果。实验证明，该分词算法对专业文献的分词处理具有较好速度和准确性。

关键词: 中文分词, 专业词典, Trigram模型, 同义词词典

Abstract: A Chinese word segmentation algorithm for Geographic Information System (GIS) based on priority special name was designed: use dictionary mechanism which combines synonyms dictionary, general dictionary and special dictionary, cut the sentences by special name firstly, and get the segmentation result of disambiguating with Trigram mode lastly. The experimental results show that the segmentation algorithm has good speed and accuracy in segmentation processing of professional literature.

Key words: Chinese Word Segmentation, Special dictionary, Trigram Mode, Synonyms dictionary

罗浩魏祖宽金在弘. 面向GIS基于专有名词优先的中文分词方法[J]. 计算机应用, 2010, 30(07): 1941-1943.

[1]	李雅昆, 潘晴, Everett X. WANG. 基于改进的多层BLSTM的中文分词和标点预测[J]. 计算机应用, 2018, 38(5): 1278-1282.
[2]	刘春丽, 李晓戈, 刘睿, 范贤, 杜丽萍. 基于表示学习的中文分词[J]. 计算机应用, 2016, 36(10): 2794-2798.
[3]	张聪品赵理莉吴长茂. 基于字词分类的层次分词方法研究[J]. 计算机应用, 2010, 30(8): 2034-2037.
[4]	吴春颖王士同蔡崇超. 一种基于新词发现的Web文本表示方法[J]. 计算机应用, 2008, 28(3): 764-767.
[5]	于淼王日宏. 语句相似度计算在主观题评判中的应用[J]. 计算机应用, 2008, 28(12): 3254-3256.
[6]	强永妍杨庚. 中文垃圾邮件的索引分词法的研究与设计[J]. 计算机应用, 2007, 27(9): 2334-2336.
[7]	程锦张建. 网络化制造资源垂直搜索引擎的研究与应用[J]. 计算机应用, 2007, 27(5): 1116-1118.
[8]	曾华琳，李堂秋，史晓东. 一种基于提取上下文信息的分词算法[J]. 计算机应用, 2005, 25(09): 2025-2027.