词位标注汉语分词中上下文有效范围定量分析

计算机应用 ›› 2012, Vol. 32 ›› Issue (05): 1340-1342.

词位标注汉语分词中上下文有效范围定量分析

王希杰

安阳师范学院计算机与信息工程学院，河南安阳 455000

收稿日期:2011-10-09 修回日期:2011-12-16 发布日期:2012-05-01 出版日期:2012-05-01
通讯作者: 王希杰
作者简介:王希杰（1973-），男，河南卫辉人，讲师，硕士，CCF会员，主要研究方向：自然语言处理、信息抽取、文本数据挖掘。
基金资助:
国家自然科学基金资助项目(61040026);河南省教育厅高等学校青年骨干教师项目（2009GGJS-108）

Analysis on Effect Range of Context in Chinese Word Segmentation based Word -position Tagging

WANG Xi-jie

School of Computer and Information Engineering, Anyang Normal University, Anyang Henan 455000, China

Received:2011-10-09 Revised:2011-12-16 Online:2012-05-01 Published:2012-05-01
Contact: WANG Xi-jie

摘要/Abstract

摘要： 在利用条件随机场进行基于词位标注的汉语分词时，特征窗口的宽度是决定条件随机场学习效果的重要参数。针对特征窗口最佳宽度的选择问题，设计了一组特征模板，并选取Bakeoff2005中的测试语料，使用CRF++0.53工具包进行了对比实验，定量分析了影响分词效果的有效上下文范文。通过实验得出以下结论：下文对分词性能贡献要大于上文；影响分词性能的特征窗口的宽度不超过五，以四字或五字窗口为宜。

关键词: 汉语分词, 条件随机场, 上下文, 特征窗口, 特征模板

Abstract: In Chinese word segmentation with Conditional Random Field (CRF）, the size of feature window plays a crucial role in corpus training. To find the proper size of feature window, a group of feature templates were selected for the comparative tests performed on Bakeoff2005 with toolkit CRF++0.53 considering the effective range of context. The results are: (1) contribution of below-context is greater than above-context;(2) size of feature window influencing the segment performance is no larger than 5, the proper size is four or five.

Key words: Chinese word segmentation, Conditional Random Field (CRF), context, feature window, feature template

中图分类号:

TP391.1

王希杰. 词位标注汉语分词中上下文有效范围定量分析[J]. 计算机应用, 2012, 32(05): 1340-1342.

WANG Xi-jie. Analysis on Effect Range of Context in Chinese Word Segmentation based Word -position Tagging[J]. Journal of Computer Applications, 2012, 32(05): 1340-1342.

参考文献

［1］姜维，王晓龙，关毅，等. 基于多知识源的中文词法分析系统［J］. 计算机学报， 2007，30(1):137-145.

［2］刘群，张华平，俞鸿魁，等. 基于层叠隐马模型的汉语词法分析［J］. 计算机研究与发展, 2004, 41(8):1421-1429.

［3］罗彦彦，黄德根.基于CRFs边缘概率的中文分词［J］.中文信息学报，2009，23（5）:3-8.

［4］赵伟，侯红旭，从伟，等.基于条件随机场的蒙古词语切分研究［J］.中文信息学报，2010，24（5）：31-35.

［5］黄德根，焦世斗，周惠巍.基于子词的双层CRFs中文分词［J］.计算机研究与发展，2010,47（5）：962-968.

［6］于江德，睢丹，樊孝忠.基于字的词位标注汉语分词［J］.山东大学学报,2010,40(5):117-122.

［7］XUE NIANWEN. Chinese word segmentation as character tagging ［J］. Computational Linguistics and Chinese Language Processing, 2003, 8(1): 29-48.

［8］赵海，揭春雨. 基于有效子串标注的中文分词［J］.中文信息学报，2007,21(5):8-13.

［9］鲁松，白硕.自然语言处理中词语上下文有效范围的定量描述[J].计算机学报，2001，24（7）：742-747.

［10］LAFFERTY J, PEREIRA F, MCCALLUM A. Conditional random fields: probabilistic models for segmenting and labeling sequence data ［C］// In Proceedings of 18th International Conference on Machine Learning, Washington, DC: IEEE Computer Society, 2001:282-289.

［11］PEREIRA L J,NOCEDAL J,SCHNABEL R B. Representations of quasi-Newton matrices and their use in limited memory methods［J］. Mathematical Programming,1994,62(2):129-156.

［12］于江德，谷川，葛文英，等. 一种基于字和子串联合标注的汉语分词方法［J］. 山西大学学报，2011,34（3）：357-362.

［13］郑荣廷,吉久名,李楠.特征区间的有效划分对CRF识别效果的影响［J］. 图书情报工作，2011,55（4）：114-118.

［14］赵晓凡，胡顺义, 刘永革. CRF模型中参数f在字标注汉语分词中的适用性研究［J］. 郑州大学学报，2011,32（4）：103-106.

［15］黄昌宁，赵海. 中文分词十年回顾［J］. 中文信息学报，2007，21(3): 8-19.

[1]	徐江浪, 李林燕, 万新军, 胡伏原. 结合目标检测的室内场景识别方法[J]. 计算机应用, 2021, 41(9): 2720-2725.
[2]	袁景凌, 丁远远, 潘东行, 李琳. 基于时序和上下文特征的中文隐式情感分类模型[J]. 计算机应用, 2021, 41(10): 2820-2828.
[3]	韩建栋, 李晓宇. 基于多尺度特征融合的行人重识别方法[J]. 计算机应用, 2021, 41(10): 2991-2996.
[4]	胡甜甜, 但雅波, 胡杰, 李想, 李少波. 基于注意力机制的Bi-LSTM结合CRF的新闻命名实体识别及其情感分类[J]. 计算机应用, 2020, 40(7): 1879-1883.
[5]	费大胜, 宋慧慧, 张开华. 基于多层特征增强的实时视觉跟踪[J]. 计算机应用, 2020, 40(11): 3300-3305.
[6]	赵昕晨, 杨楠. 基于头部姿态分析的摄像头视线追踪系统优化[J]. 计算机应用, 2020, 40(11): 3295-3299.
[7]	赵宏, 王乐, 王伟杰. 基于BiLSTM-CNN串行混合模型的文本情感分析[J]. 计算机应用, 2020, 40(1): 16-22.
[8]	刘晶, 吴英飞, 袁贞明, 孙晓燕. 基于多因素线索长短期记忆模型的血压分析预测[J]. 计算机应用, 2019, 39(5): 1551-1556.
[9]	许玥, 冯梦如, 皮家甜, 陈勇. 基于深度学习模型的遥感图像分割方法[J]. 计算机应用, 2019, 39(10): 2905-2914.
[10]	支淑婷, 李晓戈, 王京博, 王鹏华. 基于多注意力长短时记忆的实体属性情感分析[J]. 计算机应用, 2019, 39(1): 160-167.
[11]	廖斌, 李浩文. 基于多孔卷积神经网络的图像深度估计模型[J]. 计算机应用, 2019, 39(1): 267-274.
[12]	张晨, 钱涛, 姬东鸿. 基于神经网络的微博情绪识别与诱因抽取联合模型[J]. 计算机应用, 2018, 38(9): 2464-2468.
[13]	乔永卫, 张宇翔, 肖春景. 基于会话时序相似性的矩阵分解数据填充[J]. 计算机应用, 2018, 38(8): 2236-2242.
[14]	李帅, 孙磊, 郭松辉. 减少上下文切换的虚拟密码设备中断路径优化方法[J]. 计算机应用, 2018, 38(7): 1946-1950.
[15]	吴亮, 何毅, 梅雪, 刘欢. 基于时空兴趣点和概率潜动态条件随机场模型的在线行为识别方法[J]. 计算机应用, 2018, 38(6): 1760-1764.