在多标签分类任务中，现有模型对依赖关系的构建主要考虑标签在训练集中是否共现，而忽视了标签之间各种不同类型的关系以及在不同样本中的动态交互关系。因此，结合多标签关系图和局部动态重构图学习更完整的标签依赖关系。首先，根据标签的全局共现关系，采用数据驱动的方式构建多标签关系图，学习标签之间不同类型的依赖关系；其次，通过标签注意力机制探索文本信息和标签语义的关联性；最后，对标签图进行动态重构学习，以捕获标签之间的局部特定关系。在3个公开数据集BibTeX、Delicious和Reuters-21578上的实验结果表明，所提模型的宏平均F1（maF1）值相较于MrMP（Multi-relation Message Passing）分别提高了1.6、1.0和2.2个百分点，综合性能得到提升。

当前主流模型无法充分地表示问答对的语义，未充分考虑问答对主题信息间的联系并且激活函数存在软饱和的问题，而这些会影响模型的整体性能。针对这些问题，提出了一种基于池化和特征组合增强BERT的答案选择模型。首先，在预训练模型BERT的基础上增加对抗样本并引入池化操作来表示问答对的语义；其次，引入主题信息特征组合来加强问答对主题信息间的联系；最后，改进隐藏层的激活函数，并用拼接向量通过隐藏层和分类器完成答案选择任务。在SemEval-2016CQA和SemEval-2017CQA数据集上进行的验证结果表明，所提模型与tBERT模型相比，准确率分别提高了3.1个百分点和2.2个百分点；F1值分别提高了2.0个百分点和3.1个百分点。可见，所提模型在答案选择任务上的综合效果得到了有效提升，准确率和F1值均优于对比模型。

针对预训练模型BERT存在词汇信息缺乏的问题，在半监督实体增强最小均方差预训练模型的基础上提出了一种基于知识库实体增强BERT模型的中文命名实体识别模型OpenKG+Entity Enhanced BERT+CRF。首先，从中文通用百科知识库CN-DBPedia中下载文档并用Jieba中文分词抽取实体来扩充实体词典；然后，将词典中的实体嵌入到BERT中进行预训练，将训练得到的词向量输入到双向长短期记忆网络（BiLSTM）中提取特征；最后，经过条件随机场（CRF）修正后输出结果。在CLUENER 2020 和 MSRA数据集上进行模型验证，将所提模型分别与Entity Enhanced BERT Pre-training、BERT+BiLSTM、ERNIE和BiLSTM+CRF模型进行对比实验。实验结果表明，该模型的F1值在两个数据集上比四个对比模型分别提高了1.63个百分点和1.1个百分点、3.93个百分点和5.35个百分点、2.42个百分点和4.63个百分点以及6.79个百分点和7.55个百分点。可见，所提模型对命名实体识别的综合效果得到有效提升，F1值均优于对比模型。