在时序知识图谱问答（TKGQA）任务中，针对模型难以捕获并利用问句中隐含的时间信息增强模型的复杂问题推理能力的问题，提出一种融合图注意力的时序知识图谱推理问答（GACTR）模型。所提模型采用四元组形式的时序知识库（KB）进行预训练，同时引入图注意力网络（GAT）以有效捕获问句中隐式时间信息；通过与RoBERTa（Robustly optimized Bidirectional Encoder Representations from Transformers pretraining approach）模型训练的关系表示进行集成，进一步增强问句的时序关系表示；将该表示与预训练的时序知识图谱（TKG）嵌入相结合，以获得最高评分的实体或时间戳作为答案预测结果。在最大的基准数据集CRONQUESTIONS上的实验结果显示，GACTR模型在时序推理模式下能更好地捕获隐含时间信息，有效提升模型的复杂推理能力。与基线模型CRONKGQA（Knowledge Graph Question Answering on CRONQUESTIONS）相比，GACTR模型在处理复杂问题类型和时间答案类型上的Hits@1结果分别提升了34.6、13.2个百分点；与TempoQR（Temporal Question Reasoning）模型相比，分别提升了8.3、2.8个百分点。

目前情感分析任务经常只聚焦于评论文本本身，忽略了评论者与被评论者的个体偏差特征，会显著影响对文本的整体情感判断。针对上述问题，提出一种融合评论双边个体偏差信息的文本情感分析模型UP-ATL （User and Product-Attention TranLSTM）。该模型使用自注意力机制、交叉注意力机制对评论文本与个体偏差信息分别进行双向融合，在融合过程中采用定制化权重的计算方式，以缓解实际应用场景中冷启动带来的数据稀疏问题，最终得到特征充分融合的评论文本和评论双边的表示信息。选取餐饮领域、电影领域的三个真实公开数据集Yelp2013、Yelp2014、IMDB进行效果验证，与UPNN（User Product Neural Network）、NSC（Neural Sentiment Classification）、CMA（Cascading Multiway Attention）、HUAPA （Hierarchical User And Product multi-head Attention）等基准模型进行比较。实验结果表明，相较于比较模型中最好的HUAPA模型，UP-ATL的准确度在三个数据集上依次分别提高了6.9、5.9和1.6个百分点。

针对现有的许多研究忽略了说话人的情绪和情感的相关性的问题，提出一种情感增强的图网络对话文本情绪识别模型——SBGN。首先，将主题和对话意图融入文本，并微调预训练语言模型RoBERTa以提取重构的文本特征；其次，给出情绪分析的对称学习结构，将重构特征分别输入图神经网络（GNN）情绪分析模型和双向长短时记忆（Bi-LSTM）情感分类模型；最后，融合情绪分析和情感分类模型，将情感分类的损失函数作为惩罚以构建新的损失函数，并通过学习调节得到最优的惩罚因子。在公开数据集DailyDialog上的实验结果表明，相较于DialogueGCN模型与目前最先进的DAG-ERC模型，SBGN模型的微平均F1分别提高16.62与14.81个百分点。可见，SBGN模型能有效提高对话系统情绪分析的性能。

海关商品申报场景下，需采用分类模型将商品归类为统一的海关（HS）编码。然而现有海关商品分类模型忽略了待分类文本中词语的位置信息，同时HS编码数以万计，会导致类别向量稀疏、模型收敛速度慢等问题。针对上述问题，结合真实业务场景下人工逐层归类策略，充分利用HS编码的层次结构特点，提出了一种基于层级多任务BERT（HM-BERT）的分类模型。一方面通过BERT模型的动态词向量获取了报关商品文本中的位置信息，另一方面利用HS编码不同层级的类别信息对BERT模型进行多任务训练，以提高归类的准确性和收敛性。在国内某报关服务商2019年的报关数据集上进行的所提模型的有效性验证，相比BERT模型，HM-BERT模型的准确率提高了2个百分点，在模型训练速度上也有所提升；与同样分层级的H-fastText相比，准确率提高了7.1个百分点。实验结果表明，HM-BERT模型能有效改善海关报关商品的分类效果。