词位标注汉语分词中上下文有效范围定量分析

计算机应用 ›› 2012, Vol. 32 ›› Issue (05): 1340-1342.

词位标注汉语分词中上下文有效范围定量分析

王希杰

安阳师范学院计算机与信息工程学院，河南安阳 455000

收稿日期:2011-10-09 修回日期:2011-12-16 发布日期:2012-05-01 出版日期:2012-05-01
通讯作者: 王希杰
作者简介:王希杰（1973-），男，河南卫辉人，讲师，硕士，CCF会员，主要研究方向：自然语言处理、信息抽取、文本数据挖掘。
基金资助:
国家自然科学基金资助项目(61040026);河南省教育厅高等学校青年骨干教师项目（2009GGJS-108）

Analysis on Effect Range of Context in Chinese Word Segmentation based Word -position Tagging

WANG Xi-jie

School of Computer and Information Engineering, Anyang Normal University, Anyang Henan 455000, China

Received:2011-10-09 Revised:2011-12-16 Online:2012-05-01 Published:2012-05-01
Contact: WANG Xi-jie

摘要/Abstract

摘要： 在利用条件随机场进行基于词位标注的汉语分词时，特征窗口的宽度是决定条件随机场学习效果的重要参数。针对特征窗口最佳宽度的选择问题，设计了一组特征模板，并选取Bakeoff2005中的测试语料，使用CRF++0.53工具包进行了对比实验，定量分析了影响分词效果的有效上下文范文。通过实验得出以下结论：下文对分词性能贡献要大于上文；影响分词性能的特征窗口的宽度不超过五，以四字或五字窗口为宜。

关键词: 汉语分词, 条件随机场, 上下文, 特征窗口, 特征模板

Abstract: In Chinese word segmentation with Conditional Random Field (CRF）, the size of feature window plays a crucial role in corpus training. To find the proper size of feature window, a group of feature templates were selected for the comparative tests performed on Bakeoff2005 with toolkit CRF++0.53 considering the effective range of context. The results are: (1) contribution of below-context is greater than above-context;(2) size of feature window influencing the segment performance is no larger than 5, the proper size is four or five.

Key words: Chinese word segmentation, Conditional Random Field (CRF), context, feature window, feature template

中图分类号:

TP391.1

王希杰. 词位标注汉语分词中上下文有效范围定量分析[J]. 计算机应用, 2012, 32(05): 1340-1342.

WANG Xi-jie. Analysis on Effect Range of Context in Chinese Word Segmentation based Word -position Tagging[J]. Journal of Computer Applications, 2012, 32(05): 1340-1342.

参考文献

［1］姜维，王晓龙，关毅，等. 基于多知识源的中文词法分析系统［J］. 计算机学报， 2007，30(1):137-145.

［2］刘群，张华平，俞鸿魁，等. 基于层叠隐马模型的汉语词法分析［J］. 计算机研究与发展, 2004, 41(8):1421-1429.

［3］罗彦彦，黄德根.基于CRFs边缘概率的中文分词［J］.中文信息学报，2009，23（5）:3-8.

［4］赵伟，侯红旭，从伟，等.基于条件随机场的蒙古词语切分研究［J］.中文信息学报，2010，24（5）：31-35.

［5］黄德根，焦世斗，周惠巍.基于子词的双层CRFs中文分词［J］.计算机研究与发展，2010,47（5）：962-968.

［6］于江德，睢丹，樊孝忠.基于字的词位标注汉语分词［J］.山东大学学报,2010,40(5):117-122.

［7］XUE NIANWEN. Chinese word segmentation as character tagging ［J］. Computational Linguistics and Chinese Language Processing, 2003, 8(1): 29-48.

［8］赵海，揭春雨. 基于有效子串标注的中文分词［J］.中文信息学报，2007,21(5):8-13.

［9］鲁松，白硕.自然语言处理中词语上下文有效范围的定量描述[J].计算机学报，2001，24（7）：742-747.

［10］LAFFERTY J, PEREIRA F, MCCALLUM A. Conditional random fields: probabilistic models for segmenting and labeling sequence data ［C］// In Proceedings of 18th International Conference on Machine Learning, Washington, DC: IEEE Computer Society, 2001:282-289.

［11］PEREIRA L J,NOCEDAL J,SCHNABEL R B. Representations of quasi-Newton matrices and their use in limited memory methods［J］. Mathematical Programming,1994,62(2):129-156.

［12］于江德，谷川，葛文英，等. 一种基于字和子串联合标注的汉语分词方法［J］. 山西大学学报，2011,34（3）：357-362.

［13］郑荣廷,吉久名,李楠.特征区间的有效划分对CRF识别效果的影响［J］. 图书情报工作，2011,55（4）：114-118.

［14］赵晓凡，胡顺义, 刘永革. CRF模型中参数f在字标注汉语分词中的适用性研究［J］. 郑州大学学报，2011,32（4）：103-106.

［15］黄昌宁，赵海. 中文分词十年回顾［J］. 中文信息学报，2007，21(3): 8-19.

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[3]	晁浩, 封舒琪, 刘永利. 脑电情感识别中多上下文向量优化的卷积递归神经网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2041-2046.
[4]	董永峰, 白佳明, 王利琴, 王旭. 融合先验知识和字形特征的中文命名实体识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 702-708.
[5]	周迪, 张自力, 陈佳, 胡新荣, 何儒汉, 张俊. 基于EfficientNetV2和物体上下文表示的胃癌图像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2955-2962.
[6]	杨昊, 张轶. 基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[7]	刘清堂, 马鑫倩, 周洁, 吴林静, 周鹏霄. 融合常识库和语法特征的数学应用题题意理解[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 356-364.
[8]	虞资兴, 瞿绍军, 何鑫, 王卓. 高低维特征引导的实时语义分割网络[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3077-3085.
[9]	文凯, 唐伟伟, 熊俊臣. 基于注意力机制和有效分解卷积的实时分割算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2659-2666.
[10]	陈肖宇, 王伟. 领域相关的数学文本语义抽取[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2386-2393.
[11]	徐江浪, 李林燕, 万新军, 胡伏原. 结合目标检测的室内场景识别方法[J]. 计算机应用, 2021, 41(9): 2720-2725.
[12]	温静, 李强. 基于时空上下文信息增强的目标跟踪算法[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3565-3570.
[13]	袁景凌, 丁远远, 潘东行, 李琳. 基于时序和上下文特征的中文隐式情感分类模型[J]. 计算机应用, 2021, 41(10): 2820-2828.
[14]	韩建栋, 李晓宇. 基于多尺度特征融合的行人重识别方法[J]. 计算机应用, 2021, 41(10): 2991-2996.
[15]	胡甜甜, 但雅波, 胡杰, 李想, 李少波. 基于注意力机制的Bi-LSTM结合CRF的新闻命名实体识别及其情感分类[J]. 计算机应用, 2020, 40(7): 1879-1883.