为了解决训练数据有限且类别多的问题,引入小样本学习方法。针对现有密集目标计数方法中存在的密集物体边界不清晰、空间不一致性和模型泛化能力弱等问题,提出一种小样本相似性匹配特征增强密集目标计数网络(SMFENet)。首先,通过特征提取模块提取图像特征,并使用ROI Align方法对齐样例特征;其次,设计相似性比较特征增强模块(SCFEM)计算样例特征和图像特征的相似度,得到相似度图,并将该图作为加权系数用样例特征自适应地增强图像特征,使最终得到的增强特征更关注与样例特征相似的区域;同时,采用内部特征增强、内部尺度增强以及信息合并等方法解决密集物体边界不清晰和空间不一致性问题;最后,利用密度预测模块生成密度图。此外,采用内容感知标注法生成高质量Ground-Truth密度图,以进一步提升模型的准确性。测试时,通过自适应损失调整网络使网络泛化到新类别上。在FSC-147数据集和CARPK数据集上的实验结果表明,与现有的小样本目标计数方法相比,所提模型的平均绝对误差(MAE)降低到13.82,均方根误差(RMSE)降低到45.91;与特定类别计数方法相比,所提模型的MAE降低到4.16,RMSE降低到5.91。以上充分证明SMFENet模型在提高计数的准确性和鲁棒性等方面能取得较好的效果,展示了该模型的实际应用价值。
为了提高伪标签的质量,解决半监督目标检测(SSOD)中的确认偏差问题,并针对现有算法中忽视无标注数据复杂性导致错误伪标签的难点,提出一种课程学习(CL)指导下的SSOD框架,该框架主要由ICSD(IoU-Confidence-Standard-Deviation)难度测量器和BP(Batch-Package)训练调度器这2个模块组成。其中,ICSD难度测量器综合考虑了伪边界框之间的交并比(IoU)、置信度、类别标签等信息,并引入C_IOU(Checkpoint_IOU)方法评估无标注数据的可靠性;BP训练调度器设计2种高效调度策略,分别从Batch和Package角度出发,优先选择可靠性指标高的无标记数据,实现以CL的方式充分利用整个无标记数据集。在Pascal VOC和MS-COCO数据集上的广泛对比实验结果表明,所提框架不仅适用于现有的SSOD算法,而且检测精度和稳定性都得到显著提升。
针对现有细粒度实体分类(FGET)任务的工作多着眼于如何更好地编码实体和上下文的语义信息,而忽略了标签层次结构中标签之间的依赖关系及其本身的语义信息的问题,提出了一种基于层次结构感知的细粒度实体分类(HAFGET)方法。首先,利用基于图卷积网络(GCN)的层次结构编码器对不同层级标签之间的依赖关系进行建模,提出了基于层次结构感知的细粒度实体分类多标签注意力(HAFGET-MLA)模型和基于层次结构感知的细粒度实体分类实体特征传播(HAFGET-MFP)模型;然后,利用HAFGET-MLA模型和HAFGET-MFP模型对实体上下文特征进行层次结构感知和分类,前者通过层次编码器学习层次结构感知标签嵌入,并与实体特征通过注意力融合后进行标签分类,后者则直接将实体特征输入到层次结构编码器更新特征表示后进行分类。在FIGER、OntoNotes和KNET三个公开数据集上的实验结果表明,与基线模型相比,HAFGET-MLA模型和HAFGET-MFP模型的准确率和宏平均F1值均提升了2%以上,验证了所提方法能够有效提升分类效果。