• • 下一篇
余新言 1,曾诚 1,2,3*,王乾 1,何鹏 2,3,4,丁晓玉 1
YU Xinyan1, ZENG Cheng1,2,3*, WANG Qian1, HE Peng2,3,4, DING Xiaoyu1
摘要: 基于预训练微调的分类方法通常需要大量带标注的数据,导致无法在小样本分类任务上使用。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法(KPL)。首先,利用预训练模型在训练集上学习到最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识来扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在 THUCNews、SHNews 和 Toutiao 三个新闻数据集上进行随机采样,形成小样本训练集和验证集,进行实验。实验结果表明,所提方法在上述数据集上的 1-shot、5-shot、10- shot、20-shot 任务上整体表现有所提升,尤其在 1-shot 任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.95、2.11 和 3.1 百分点,验证了知识增强和提示学习在小样本新闻主题分类任务上的有效性。