结合新类特征增强与度量机制的小样本目标检测算法

doi:10.11772/j.issn.1001-9081.2024081146

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (9): 2984-2992.DOI: 10.11772/j.issn.1001-9081.2024081146

• 多媒体计算与计算机仿真 • 上一篇

结合新类特征增强与度量机制的小样本目标检测算法

张嘉祥, 李晓明(), 张佳慧

太原科技大学计算机科学与技术学院，太原 030024

收稿日期:2024-08-14 修回日期:2024-09-28 接受日期:2024-10-09 发布日期:2024-11-07 出版日期:2025-09-10
通讯作者: 李晓明
作者简介:张嘉祥（1999—），男，山西文水人，硕士研究生，CCF会员，主要研究方向：计算机视觉、小样本目标检测、小样本学习
张佳慧（1999—），女，山西榆社人，硕士研究生，CCF会员，主要研究方向：计算机视觉、目标检测。
基金资助:
国家自然科学基金资助项目(62273248)

Few-shot object detection algorithm based on new category feature enhancement and metric mechanism

Jiaxiang ZHANG, Xiaoming LI(), Jiahui ZHANG

College of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China

Received:2024-08-14 Revised:2024-09-28 Accepted:2024-10-09 Online:2024-11-07 Published:2025-09-10
Contact: Xiaoming LI
About author:ZHANG Jiaxiang， born in 1999， M. S. candidate. His research interests include computer vision， few-shot object detection， few-shot learning.
ZHANG Jiahui， born in 1999， M. S. candidate. Her research interests include computer vision， object detection.
Supported by:
National Natural Science Foundation of China(62273248)

摘要/Abstract

摘要：

针对现有的小样本目标检测算法中模型对新类别的特征参数敏感度较低和难以准确区分类别相关和类别无关参数，导致特征边界模糊以及类别混淆的问题，提出一种结合新类特征增强与度量机制的小样本目标检测算法（FEMM-FSOD）。首先，提出跨域参数感知模块（CDPM）改进颈部网络，重构通道和空间的特征重加权操作，并结合空洞卷积采用跨阶段的信息传递与特征融合方式，以提供丰富的梯度信息导向并提升新类别参数的敏感性；同时，在感兴趣区域池化（RoI Pooling）前构造多元相关特征融合模块（ICMF），以建立特征之间的相关性并动态优化相关特征的融合方式，从而增强显著特征。CDPM与ICMF的引入有效了增强新类别的特征表示，从而减轻特征边界模糊的现象。此外，为进一步减轻类别混淆，在检测头部分提出基于度量机制的正交损失函数CohSep Loss（Coherence-Separation Loss），以通过度量特征向量相似度实现类内特征聚合和类间特征分离。实验结果表明，相较于基线算法TFA（Two-stage Fine-tuning Approach），在PASCAL VOC数据集上，所提算法在15种小样本实例个数的mAP50（阈值为0.50时新类别的平均精度均值（mAP））上提升了5.3个百分点；在COCO数据集上，所提算法在10shot和30shot对应的mAP（阈值为0.50~0.95时新类别的mAP）上分别提升了3.6和5.2个百分点，实现了更高精度的小样本目标检测。

关键词: 迁移学习, 小样本目标检测, 特征增强, 类别混淆, 正交损失

Abstract:

To address the issues of low sensitivity to the feature parameters of new categories and difficulty in distinguishing category related and category unrelated parameters accurately of the existing few-shot object detection models， leading to unclear feature boundaries and category confusion， a Few-Shot Object Detection algorithm based on new categories Feature Enhancement and Metric Mechanism （FEMM-FSOD） was proposed. Firstly， a Cross-Domain Parameter perception Module （CDPM） was introduced to improve the neck network， thereby reconstructing re-weighting operations of channel and spatial features， and dilated convolution was combined with cross-stage information transfer and feature fusion to provide rich gradient information guidance and enhance the sensitivity of new category parameters. Meanwhile， an Integrated Correlated Multi-Feature module （ICMF） was constructed before Region of Interest Pooling （RoI Pooling） to establish correlation between features and optimize the fusion method of relevant features dynamically， thereby enhancing salient features. The introduction of CDPM and ICMF enhanced the feature representation of new categories effectively， so as to alleviate feature boundary ambiguity. Additionally， to further reduce category confusion， an orthogonal loss function based on metric mechanism， Coherence-Separation Loss （CohSep Loss）， was proposed in the detection head to achieve intra-class feature aggregation and inter-class feature separation by measuring feature vector similarity. Experimental results show that compared to the baseline algorithm TFA （Two-stage Fine-tuning Approach）， on PASCAL VOC dataset， the proposed algorithm improves the mAP50 （mean Average Precision （mAP） of new categories with threshold of 0.50） of 15 types of few-shot instance numbers by 5.3 percentage points； on COCO dataset， the proposed algorithm improves the mAP （mAP of new categories with threshold from 0.50 to 0.95） for 10shot and 30shot settings by 3.6 and 5.2 percentage points， respectively， realizing higher accuracy in few-shot object detection.

Key words: transfer learning, few-shot object detection, feature enhancement, category confusion, orthogonal loss

中图分类号:

TP391.4

张嘉祥, 李晓明, 张佳慧. 结合新类特征增强与度量机制的小样本目标检测算法[J]. 计算机应用, 2025, 45(9): 2984-2992.

Jiaxiang ZHANG, Xiaoming LI, Jiahui ZHANG. Few-shot object detection algorithm based on new category feature enhancement and metric mechanism[J]. Journal of Computer Applications, 2025, 45(9): 2984-2992.

图/表 10

参考文献 31

[1]	刘春磊，陈天恩，王聪，等. 小样本目标检测研究综述［J］. 计算机科学与探索， 2023， 17（1）： 53-73.
	LIU C L， CHEN T E， WANG C， et al. Survey of few-shot object detection ［J］. Journal of Frontiers of Computer Science and Technology， 2023， 17（1）： 53-73.
[2]	SUN B， LI B， CAI S， et al. FSCE： few-shot object detection via contrastive proposal encoding ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 7348-7358.
[3]	LI B， YANG B， LIU C， et al. Beyond max-margin： class margin equilibrium for few-shot object detection ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 7359-7368.
[4]	WU A， HAN Y， ZHU L， et al. Universal-prototype enhancing for few-shot object detection ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9547-9556.
[5]	AGARWAL A， MAJEE A， SUBRAMANIAN A， et al. Attention guided cosine margin to overcome class-imbalance in few-shot road object detection ［C］// Proceedings of the 2022 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2022： 221-230.
[6]	HAN G， HUANG S， MA J， et al. Meta Faster R-CNN： towards accurate few-shot object detection with attentive feature alignment［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 780-789.
[7]	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
[8]	CHEN H， WANG Y， WANG G， et al. LSTD： a low-shot transfer detector for object detection ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 2836-2843.
[9]	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multiBox detector ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.
[10]	WANG X， HUANG T E， DARRELL T， et al. Frustratingly simple few-shot object detection ［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 9919-9928.
[11]	WU J， LIU S， HUANG D， et al. Multi-scale positive sample refinement for few-shot object detection ［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12361. Cham： Springer， 2020： 456-472.
[12]	YANG Z， WANG Y， CHEN X， et al. Context-Transformer： tackling object confusion for few-shot detection ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 12653-12660.
[13]	LI Y， ZHU H， CHENG Y， et al. Few-shot object detection via classification refinement and distractor retreatment ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 15390-15398.
[14]	CHEN X， JIANG M， ZHAO Q. Leveraging bottom-up and top-down attention for few-shot object detection ［EB/OL］. ［2024-07-07］. .
[15]	XU H， WANG X， SHAO F， et al. Few-shot object detection via sample processing ［J］. IEEE Access， 2021， 9： 29207-29221.
[16]	李鸿天，史鑫昊，潘卫国，等. 融合多尺度和注意力机制的小样本目标检测［J］. 计算机应用， 2024， 44（5）： 1437-1444.
	LI H T， SHI X H， PAN W G， et al. Few-shot object detection via fusing multi-scale and attention mechanism ［J］. Journal of Computer Applications， 2024， 44（5）： 1437-1444.
[17]	马梁，苟于涛，雷涛，等. 基于多尺度特征融合的遥感图像小目标检测［J］. 光电工程， 2022， 49（4）： No.210363.
	MA L， GOU Y T， LEI T， et al. Small object detection based on multi-scale feature fusion using remote sensing images ［J］. Opto-Electronic Engineering， 2022， 49（4）： No.210363.
[18]	CHEN X， WANG Y， LIU J， et al. DID： disentangling-imprinting-distilling for continuous low-shot detection ［J］. IEEE Transactions on Image Processing， 2020， 29： 7765-7778.
[19]	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
[20]	LIN T Y， DOLLÁR P， GIRSHICK R B， et al. Feature pyramid networks for object detection ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944.
[21]	YU F， KOLTUN V. Multi-scale context aggregation by dilated convolution［EB/OL］. ［2024-06-07］. .
[22]	WANG P， CHEN P， YUAN Y， et al. Understanding convolution for semantic segmentation ［C］// Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2018： 1451-1460.
[23]	KANG B， LIU Z， WANG X， et al. Few-shot object detection via feature reweighting ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 8419-8428.
[24]	LIU L， MA B， ZHANG Y， et al. AFD-Net： adaptive fully-dual network for few-shot object detection ［C］// Proceedings of the 29th ACM International Conference on Multimedia. New York： ACM， 2021： 2549-2557.
[25]	HU H， BAI S， LI A， et al. Dense relation distillation with context-aware aggregation for few-shot object detection ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 10180-10189.
[26]	QUAN J， GE B， CHEN L. Cross attention redistribution with contrastive learning for few shot object detection ［J］. Displays， 2022， 72： No.102162.
[27]	LEE H， LEE M， KWAK N. Few-shot object detection by attending to per-sample-prototype ［C］// Proceedings of the 2022 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2022： 1101-1110.
[28]	ZHU C， CHEN F， AHMED U， et al. Semantic relation reasoning for shot-stable few-shot object detection ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 8778-8787.
[29]	GUO X， YANG H， WEI M， et al. Few-shot object detection via class encoding and multi-target decoding ［J］. IET Cyber-Systems and Robotics， 2023， 5（2）： No.e12088.
[30]	LIU Y， SHAO Z， HOFFMANN N. Global attention mechanism： retain information to enhance channel-spatial interactions ［EB/OL］. ［2024-07-11］..
[31]	LAU K W， PO L M， REHMAN Y A UR. Large separable kernel attention： rethinking the large kernel attention design in CNN ［J］. Expert Systems with Applications， 2024， 236： No.121352.

算法	Split1					Split2					Split3					平均
算法	k=1	k=2	k=3	k=5	k=10	k=1	k=2	k=3	k=5	k=10	k=1	k=2	k=3	k=5	k=10	平均
TFA	39.8	36.1	44.7	55.7	56.0	23.5	26.9	34.1	35.1	39.1	30.8	34.8	42.8	49.5	49.8	39.9
MPSR	41.7	—	51.4	55.2	61.8	24.3	—	39.0	39.7	47.2	35.6	—	42.3	48.0	49.7	44.7
AttFDNet	29.6	34.9	35.1	—	—	16.0	20.7	22.1	—	—	22.6	29.1	32.0	—	—	26.9
FSCN	40.7	45.1	46.5	57.4	62.4	27.3	31.4	40.8	42.7	46.3	31.2	36.4	43.7	50.1	55.6	43.8
FSOD-UP	43.8	47.8	50.3	55.4	61.4	31.2	30.5	41.2	42.2	48.3	35.5	39.7	43.9	50.6	53.5	45.0
AGCM	28.3	—	—	49.0	54.8	17.2	—	—	38.5	47.0	22.9	—	—	46.5	51.5	39.5
Meta R-CNN	19.9	25.5	35.0	45.7	51.5	10.4	19.4	29.6	34.8	45.4	14.3	18.2	27.5	41.2	48.1	31.1
AFD-Net^［24］	31.7	41.4	49.5	54.6	60.3	23.2	31.3	38.4	41.9	46.9	27.4	35.3	41.7	46.7	53.5	41.6
DCNet^［25］	33.9	37.4	43.7	51.1	59.6	23.2	24.8	30.6	36.7	46.6	32.3	34.9	39.7	42.6	50.7	39.2
CARed^［26］	36.5	45.2	47.1	50.8	58.8	26.4	31.0	37.9	43.5	51.1	20.2	33.8	41.6	48.3	55.3	41.8
APSPNet^［27］	24.3	36.5	44.9	52.0	59.2	20.5	27.5	33.1	40.9	47.1	22.4	33.0	37.8	43.9	51.5	38.3
FEMM-FSOD	44.1	46.9	48.4	61.2	62.6	28.0	30.0	37.2	43.6	45.3	35.8	42.9	43.9	53.2	55.6	45.2

算法	Split1					Split2					Split3					平均
算法	k=1	k=2	k=3	k=5	k=10	k=1	k=2	k=3	k=5	k=10	k=1	k=2	k=3	k=5	k=10	平均
TFA	39.8	36.1	44.7	55.7	56.0	23.5	26.9	34.1	35.1	39.1	30.8	34.8	42.8	49.5	49.8	39.9
MPSR	41.7	—	51.4	55.2	61.8	24.3	—	39.0	39.7	47.2	35.6	—	42.3	48.0	49.7	44.7
AttFDNet	29.6	34.9	35.1	—	—	16.0	20.7	22.1	—	—	22.6	29.1	32.0	—	—	26.9
FSCN	40.7	45.1	46.5	57.4	62.4	27.3	31.4	40.8	42.7	46.3	31.2	36.4	43.7	50.1	55.6	43.8
FSOD-UP	43.8	47.8	50.3	55.4	61.4	31.2	30.5	41.2	42.2	48.3	35.5	39.7	43.9	50.6	53.5	45.0
AGCM	28.3	—	—	49.0	54.8	17.2	—	—	38.5	47.0	22.9	—	—	46.5	51.5	39.5
Meta R-CNN	19.9	25.5	35.0	45.7	51.5	10.4	19.4	29.6	34.8	45.4	14.3	18.2	27.5	41.2	48.1	31.1
AFD-Net^［24］	31.7	41.4	49.5	54.6	60.3	23.2	31.3	38.4	41.9	46.9	27.4	35.3	41.7	46.7	53.5	41.6
DCNet^［25］	33.9	37.4	43.7	51.1	59.6	23.2	24.8	30.6	36.7	46.6	32.3	34.9	39.7	42.6	50.7	39.2
CARed^［26］	36.5	45.2	47.1	50.8	58.8	26.4	31.0	37.9	43.5	51.1	20.2	33.8	41.6	48.3	55.3	41.8
APSPNet^［27］	24.3	36.5	44.9	52.0	59.2	20.5	27.5	33.1	40.9	47.1	22.4	33.0	37.8	43.9	51.5	38.3
FEMM-FSOD	44.1	46.9	48.4	61.2	62.6	28.0	30.0	37.2	43.6	45.3	35.8	42.9	43.9	53.2	55.6	45.2

算法	10shot			30shot
算法	mAP	mAP50	mAP75	mAP	mAP50	mAP75
TFA	10.0	—	9.3	13.7	—	13.4
MPSR	9.8	17.9	9.7	14.1	25.4	14.2
FSCN	11.3	20.3	—	15.1	29.4	—
FSCE	11.9	—	10.5	16.4	—	16.2
FSSP	9.9	20.4	9.6	14.2	25.0	13.9
FSOD-UP	11.0	—	10.7	15.6	—	15.7
SRR-FSOD^［28］	11.3	23.0	9.8	14.7	29.2	13.5
Meta R-CNN	8.7	19.1	6.6	12.4	25.3	10.8
DCNet	12.8	23.4	11.2	18.6	32.6	17.5
Meta Faster R-CNN	11.3	23.5	9.8	15.9	31.9	14.7
FSED^［29］	11.2	25.7	8.4	13.8	30.9	10.7
FEMM-FSOD	13.6	24.2	11.5	18.9	33.1	17.8

算法	10shot			30shot
算法	mAP	mAP50	mAP75	mAP	mAP50	mAP75
TFA	10.0	—	9.3	13.7	—	13.4
MPSR	9.8	17.9	9.7	14.1	25.4	14.2
FSCN	11.3	20.3	—	15.1	29.4	—
FSCE	11.9	—	10.5	16.4	—	16.2
FSSP	9.9	20.4	9.6	14.2	25.0	13.9
FSOD-UP	11.0	—	10.7	15.6	—	15.7
SRR-FSOD^［28］	11.3	23.0	9.8	14.7	29.2	13.5
Meta R-CNN	8.7	19.1	6.6	12.4	25.3	10.8
DCNet	12.8	23.4	11.2	18.6	32.6	17.5
Meta Faster R-CNN	11.3	23.5	9.8	15.9	31.9	14.7
FSED^［29］	11.2	25.7	8.4	13.8	30.9	10.7
FEMM-FSOD	13.6	24.2	11.5	18.9	33.1	17.8

Baseline	CDPM	ICMF	CohSep Loss	1shot	2shot	3shot	5shot	10shot
√				39.8	36.1	44.7	55.7	56.0
	√			42.6	43.8	47.9	58.2	59.5
		√		41.0	45.3	46.7	60.2	60.5
	√		√	43.5	45.2	48.1	59.0	61.0
		√	√	42.4	46.1	47.5	60.4	61.6
	√	√	√	44.1	46.9	48.4	61.2	62.6

结合新类特征增强与度量机制的小样本目标检测算法

Few-shot object detection algorithm based on new category feature enhancement and metric mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 31

相关文章 15

编辑推荐

Metrics

模块	1shot	2shot	3shot	5shot	10shot
GAM	39.1	34.2	39.1	52.3	54.4
LSKA-53	42.1	35.8	48.4	58.2	58.9
CDPM	42.6	43.8	47.9	58.2	59.5

r	1shot	2shot	3shot	5shot	10shot
1，2，5	40.2	39.2	47.9	59.6	58.5
1，3，8	43.9	46.5	50.1	60.4	60.5
1，5，14	40.3	34.1	45.6	54.4	59.8
1，3，5，8，14	44.1	46.9	48.4	61.2	62.6

[1]	王闯, 俞璐, 陈健威, 潘成, 杜文博. 开集域适应综述[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2727-2736.
[2]	张伟, 牛家祥, 马继超, 沈琼霞. 深层语义特征增强的ReLM中文拼写纠错模型[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2484-2490.
[3]	刘皓宇, 孔鹏伟, 王耀力, 常青. 基于多视角信息的行人检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2325-2332.
[4]	冯博, 于海征, 边红. 基于掩码增强自训练的域适应语义分割[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2132-2137.
[5]	孙雨阳, 张敏婕, 胡婕. 基于语义前缀微调的零样本对话状态跟踪领域迁移模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2221-2228.
[6]	丁美荣, 卓金鑫, 陆玉武, 刘庆龙, 郎济聪. 融合环境标签平滑与核范数差异的领域自适应[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1130-1138.
[7]	党伟超, 范英豪, 高改梅, 刘春霞. 融合时序与全局上下文特征增强的弱监督动作定位[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 963-971.
[8]	杨本臣, 李浩然, 金海波. 级联融合与增强重建的多聚焦图像融合网络[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 594-600.
[9]	谢斌红, 高婉银, 陆望东, 张英俊, 张睿. 小样本相似性匹配特征增强的密集目标计数网络[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 403-410.
[10]	刘春霞, 徐晗颖, 高改梅, 党伟超, 李子路. 基于回声状态网络的智能合约漏洞检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 153-161.
[11]	翟飞宇, 马汉达. 基于DenseNet的经典-量子混合分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1905-1910.
[12]	时旺军, 王晶, 宁晓军, 林友芳. 小样本场景下的元迁移学习睡眠分期模型[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1445-1451.
[13]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[14]	王杰, 孟华. 基于点云整体拓扑结构的图像分类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1107-1113.
[15]	王昊冉, 于丹, 杨玉丽, 马垚, 陈永乐. 面向工控系统未知攻击的域迁移入侵检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1158-1165.