基于协同查询优化的长尾目标检测框架

doi:10.11772/j.issn.1001-9081.2025081018

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (9): 2769-2775.DOI: 10.11772/j.issn.1001-9081.2025081018

• 人工智能 • 上一篇

基于协同查询优化的长尾目标检测框架

陈江彦, 王彦丹, 刘翼虎, 马应龙()

华北电力大学控制与计算机工程学院，北京 102206

收稿日期:2025-09-04 修回日期:2025-11-25 接受日期:2025-11-27 发布日期:2025-12-01 出版日期:2026-09-10
通讯作者: 马应龙
作者简介:陈江彦（2001—），男，湖北麻城人，硕士研究生，主要研究方向：深度学习、长尾目标检测
王彦丹（1998—），女，山东青岛人，博士研究生，主要研究方向：深度学习、类别不平衡学习
刘翼虎（1998—），男，山东潍坊人，博士研究生，主要研究方向：大数据
马应龙（1976—），男，陕西咸阳人，教授，博士，主要研究方向：深度学习、分布式计算。
基金资助:
国家自然科学基金面上项目(62072450)

Collaborative query optimization-based framework for long-tailed object detection

Jiangyan CHEN, Yandan WANG, Yihu LIU, Yinglong MA()

School of Control and Computer Engineering，North China Electric Power University，Beijing 102206，China

Received:2025-09-04 Revised:2025-11-25 Accepted:2025-11-27 Online:2025-12-01 Published:2026-09-10
Contact: Yinglong MA
About author:CHEN Jiangyan， born in 2001， M. S. candidate. His research interests include deep learning， long-tailed object detection.
WANG Yandan， born in 1998， Ph. D. candidate. Her research interests include deep learning， class imbalance learning.
LIU Yihu， born in 1998， Ph. D. candidate. His research interests include big data.
MA Yinglong， born in 1976， Ph. D.， professor. His research interests include deep learning， distributed computing.
Supported by:
National Natural Science Foundation of China(62072450)

摘要/Abstract

摘要：

针对基于Transformer的目标检测方法在面对长尾分布时通常会性能显著下降的问题，提出一种基于协同查询优化的单阶段端到端长尾目标检测框架CQ-DETR（Collaborative Query optimization-based DEtection TRansformer）。设计层自适应编码器融合（LAEF）模块动态整合多尺度编码器特征，兼顾高层语义与底层细节；设计特征感知查询生成（FQG）模块从图像特征中动态生成内容感知的查询，以增强初始内容查询对潜在目标的表征能力；提出类别-定位联合感知查询选择（CLJS）机制以协同优化类别覆盖范围与定位精度。实验结果表明，CQ-DETR在长尾目标检测基准数据集LVIS v1.0上优于RichSem（Rich Semantics）方法，平均精度（AP）和稀有类别的AP（AP_r）分别提升1.4和1.5个百分点，验证了所提框架在类别不平衡场景下的有效性；同时，在相对平衡的COCO 2017数据集上，与DINO（DETR with Improved deNoising anchOr box）相比，CQ-DETR的AP提升1.1个百分点，验证了该框架在通用目标检测场景下具有良好的泛化能力。

关键词: 目标检测, Transformer, 长尾分布, 多尺度特征融合, 查询选择机制

Abstract:

To address the problem that significant performance degradation of Transformer-based object detection methods when facing long-tailed distributions， a collaborative query optimization-based single-stage end-to-end long-tailed object detection framework， named CQ-DETR （Collaborative Query optimization-based DEtection TRansformer）， was proposed. In the framework， a Layer-Adaptive Encoder Fusion （LAEF） module was designed to integrate multi-scale encoder features dynamically， so as to consider both high-level semantics and low-level details； a Feature-aware Query Generation （FQG） module was designed to generate content-aware queries dynamically from image features， thereby enhancing the representation capability of initial content queries for potential objects； a Category-Localization Joint-aware query Selection （CLJS） mechanism was proposed to achieve collaborative optimization of category coverage and localization accuracy. Experimental results indicate that CQ-DETR is superior to RichSem （Rich Semantics） method on the long-tailed object detection benchmark dataset LVIS v1.0， with the Average Precision （AP） and the AP of rare categories （AP_r） improved by 1.4 and 1.5 percentage points， respectively， verifying the effectiveness of the proposed framework in category-imbalanced scenarios； meanwhile， on the relatively balanced COCO 2017 dataset， compared with DINO （DETR with Improved deNoising anchOr box）， CQ-DETR has the AP improved by 1.1 percentage points， verifying the good generalization ability of this framework in general object detection scenarios.

Key words: object detection, Transformer, long-tailed distribution, multi-scale feature fusion, query selection mechanism

中图分类号:

TP391.41

陈江彦, 王彦丹, 刘翼虎, 马应龙. 基于协同查询优化的长尾目标检测框架[J]. 计算机应用, 2026, 46(9): 2769-2775.

Jiangyan CHEN, Yandan WANG, Yihu LIU, Yinglong MA. Collaborative query optimization-based framework for long-tailed object detection[J]. Journal of Computer Applications, 2026, 46(9): 2769-2775.

图/表 8

参考文献 31

[1]	马佳良，陈斌，孙晓飞. 基于改进的Faster R-CNN的通用目标检测框架［J］. 计算机应用， 2021， 41（9）： 2712-2719.
	Ma Jialiang， Chen Bin， Sun Xiaofei. General object detection framework based on improved Faster R-CNN ［J］. Journal of Computer Applications， 2021， 41（9）： 2712-2719.
[2]	向南，潘传忠，虞高翔. 融合优化特征提取结构的目标检测算法［J］. 计算机应用， 2022， 42（11）： 3558-3563.
	Xiang Nan， Pan Chuanzhong， Yu Gaoxiang. Object detection algorithm combined with optimized feature extraction structure ［J］. Journal of Computer Applications， 2022， 42（11）： 3558-3563.
[3]	姬张建，张明，王子龙. 基于改进VarifocalNet的高精度目标检测算法［J］. 计算机应用， 2023， 43（7）： 2147-2154.
	Ji Zhangjian， Zhang Ming， Wang Zilong. High-precision object detection algorithm based on improved VarifocalNet ［J］. Journal of Computer Applications， 2023， 43（7）： 2147-2154.
[4]	Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］// NeurIPS 2017. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[5]	Carion N， Massa F， Synnaeve G， et al. End-to-end object detection with Transformers ［C］// ECCV 2020， LNCS 12346. Cham： Springer， 2020： 213-229.
[6]	Zhu X， Su W， Lu L， et al. Deformable DETR： deformable transformers for end-to-end object detection ［PP/OL］. V4. arXiv （2021-03-18）［2025-06-13］..
[7]	Liu S， Li F， Zhang H， et al. DAB-DETR： dynamic anchor boxes are better queries for DETR［PP/OL］. V4. arXiv （2022-03-30）［2025-06-22］..
[8]	Zhang H， Li F， Liu S， et al. DINO： DETR with improved denoising anchor boxes for end-to-end object detection［PP/OL］. V4. arXiv （2022-07-11）［2025-06-15］..
[9]	Jia D， Yuan Y， He H， et al. DETRs with hybrid matching ［C］// CVPR 2023. Piscataway： IEEE， 2023： 19702-19712.
[10]	Gupta A， Dollár P， Girshick R. LVIS： a dataset for large vocabulary instance segmentation ［C］// CVPR 2019. Piscataway： IEEE， 2019： 5356-5364.
[11]	Li B， Yao Y， Tan J， et al. Equalized focal loss for dense long-tailed object detection ［C］// CVPR 2022. Piscataway： IEEE， 2022： 6980-6989.
[12]	Zhao L， Teng Y， Wang L. Logit normalization for long-tail object detection ［J］. International Journal of Computer Vision， 2024， 132（6）： 2114-2134.
[13]	Qi T， Xie H， Li P， et al. Balanced classification： a unified framework for long-tailed object detection ［J］. IEEE Transactions on Multimedia， 2024， 26： 3088-3101.
[14]	Zhou X， Girdhar R， Joulin A， et al. Detecting twenty-thousand classes using image-level supervision ［C］// ECCV 2022， LNCS 13669. Cham： Springer， 2022： 350-368.
[15]	Meng L， Dai X， Yang J， et al. Learning from rich semantics and coarse locations for long-tailed object detection ［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 78082-78094.
[16]	Radford A， Kim J W， Hallacy C， et al. Learning transferable visual models from natural language supervision ［J］. Proceedings of Machine Learning Research， 2021， 139： 8748-8763.
[17]	Dong N， Zhang Y， Ding M， et al. Boosting long-tailed object detection via step-wise learning on smooth-tail data ［C］// ICCV 2023. Piscataway： IEEE， 2023： 6917-6926.
[18]	Ma Y， Dai W， Chen J. Pursuing better decision boundaries for long-tailed object detection via category information amount ［PP/OL］. arXiv （2025-02-06）［2025-06-20］..
[19]	Pieri S， Restom J R， Horvath S， et al. Handling data heterogeneity via architectural design for federated visual recognition ［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 4115-4136.
[20]	Lin T Y， Maire M， Belongie S， et al. Microsoft COCO： common objects in context ［C］// ECCV 2014， LNCS 8693. Cham： Springer， 2014： 740-755.
[21]	Zhao Y， Lv W， Xu S， et al. DETRS beat YOLOs on real-time object detection ［C］// CVPR 2024. Piscataway： IEEE， 2024： 16965-16974.
[22]	Zhou X， Koltun V， Krähenbühl P. Probabilistic two-stage detection［PP/OL］. arXiv （2021-03-12）［2025-06-15］..
[23]	Deng J， Dong W， Socher R， et al. ImageNet： a large-scale hierarchical image database ［C］// CVPR 2009. Piscataway： IEEE， 2009： 248-255.
[24]	He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［C］// CVPR 2016. Piscataway： IEEE， 2016： 770-778.
[25]	Wang J， Zhang W， Zang Y， et al. Seesaw Loss for long-tailed instance segmentation ［C］// CVPR 2021. Piscataway： IEEE， 2021： 9690-9699.
[26]	Wang T， Zhu Y， Chen Y， et al. C2AM Loss： chasing a better decision boundary for long-tail object detection ［C］// CVPR 2022. Piscataway： IEEE， 2022： 6970-6979.
[27]	Chen Q， Chen X， Wang J， et al. Group DETR： fast DETR training with group-wise one-to-many assignment ［C］// ICCV 2023. Piscataway： IEEE， 2023： 6610-6619.
[28]	Ye M， Ke L， Li S， et al. Cascade-DETR： delving into high-quality universal object detection ［C］// ICCV 2023. Piscataway： IEEE， 2023： 6681-6691.
[29]	Zong Z， Song G， Liu Y. DETRs with collaborative hybrid assignments training ［C］// ICCV 2023. Piscataway： IEEE， 2023： 6725-6735.
[30]	Hu Z， Sun Y， Wang J， et al. DAC-DETR： divide the attention layers and conquer ［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 75189-75200.
[31]	Hou X， Liu M， Zhang S， et al. Salience DETR： enhancing detection Transformer with hierarchical salience filtering refinement ［C］// CVPR 2024. Piscataway： IEEE， 2024： 17574-17583.

类型	方法	骨干网络	轮次	AP/%	AP_r/%	AP_c/%	AP_f/%	浮点运算量/GFLOPs	参数量/10⁶	帧率/ （frame·s^-1）
基于 CNN的方法	Seesaw Loss	R101-FPN	24	27.8	18.7	27.0	32.8	302	66	16.3
	EFL	R101-FPN	24	29.2	23.5	27.4	33.8	—	—	—
	C2AM	R101-FPN	24	26.5	18.1	25.5	31.2	302	66	16.3
	BACL	R101-FPN	24	27.8	18.1	27.3	32.6	302	66	5.4
	LogN	R101-FPN	24	29.8	22.9	28.8	31.8	—	—	—
	CQ-DETR	R101	24	37.4	28.7	35.7	43.3	389	70	5.1
基于 DETR的方法	文献［17］方法	R50	53	28.7	21.8	28.4	32.0	186	41	12.4
	Detic（Deformable DETR）	R50	48	31.7	21.4	30.7	37.5	186	41	12.4
	Detic（Deformable DETR）^*	R50	48	32.5	26.2	31.3	36.6	186	41	12.4
	Detic（H-Deformable-DETR）	R50	24	33.6	22.2	32.4	39.9	281	48	9.9
	RichSem	R50	24	34.9	26.4	32.5	41.3	292	48	8.7
	IGAM	R50-FPN	24	27.6	18.5	27.0	32.7	87	42	25.2
	CQ-DETR	R50	24	36.3	27.9	34.6	42.0	303	51	7.3

类型	方法	骨干网络	轮次	AP/%	AP_r/%	AP_c/%	AP_f/%	浮点运算量/GFLOPs	参数量/10⁶	帧率/ （frame·s^-1）
基于 CNN的方法	Seesaw Loss	R101-FPN	24	27.8	18.7	27.0	32.8	302	66	16.3
	EFL	R101-FPN	24	29.2	23.5	27.4	33.8	—	—	—
	C2AM	R101-FPN	24	26.5	18.1	25.5	31.2	302	66	16.3
	BACL	R101-FPN	24	27.8	18.1	27.3	32.6	302	66	5.4
	LogN	R101-FPN	24	29.8	22.9	28.8	31.8	—	—	—
	CQ-DETR	R101	24	37.4	28.7	35.7	43.3	389	70	5.1
基于 DETR的方法	文献［17］方法	R50	53	28.7	21.8	28.4	32.0	186	41	12.4
	Detic（Deformable DETR）	R50	48	31.7	21.4	30.7	37.5	186	41	12.4
	Detic（Deformable DETR）^*	R50	48	32.5	26.2	31.3	36.6	186	41	12.4
	Detic（H-Deformable-DETR）	R50	24	33.6	22.2	32.4	39.9	281	48	9.9
	RichSem	R50	24	34.9	26.4	32.5	41.3	292	48	8.7
	IGAM	R50-FPN	24	27.6	18.5	27.0	32.7	87	42	25.2
	CQ-DETR	R50	24	36.3	27.9	34.6	42.0	303	51	7.3

LAEF	FQG	CLJS	AP	AP_r	AP_c	AP_f
			34.4	22.5	33.4	40.8
􀳫			34.8	23.1	33.7	41.1
􀳫	􀳫		36.0	26.2	34.5	42.1
􀳫	􀳫	􀳫	36.3	27.9	34.6	42.0

LAEF	FQG	CLJS	AP	AP_r	AP_c	AP_f
			34.4	22.5	33.4	40.8
􀳫			34.8	23.1	33.7	41.1
􀳫	􀳫		36.0	26.2	34.5	42.1
􀳫	􀳫	􀳫	36.3	27.9	34.6	42.0

方法	AP	AP₅₀	AP₇₅	AP_S	AP_M	AP_L
Baseline（DINO）	49.0	66.6	53.5	32.0	52.3	63.0
Group-DETR	49.8	—	—	32.4	53.0	64.2
H-Def-DETR	48.7	66.4	52.9	31.2	51.5	63.5
Cascade-DETR	49.7	67.1	54.1	32.4	53.5	65.1
Co-Def-DETR	49.5	67.6	54.3	32.4	52.7	63.7
DAC-DETR	50.0	67.6	54.7	—	—	—
Salience-DETR	50.0	67.7	54.2	33.3	54.4	64.4
CQ-DETR	50.1	67.6	54.4	33.4	53.4	65.1

基于协同查询优化的长尾目标检测框架

Collaborative query optimization-based framework for long-tailed object detection

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 31

相关文章 15

编辑推荐

Metrics

[1]	黄麟, 李英顺, 佟维妍, 张树园, 王子涵. 基于改进实时检测Transformer的遥感图像目标检测算法[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2652-2659.
[2]	汤莉, 张健宇, 姚睿. 基于改进YOLOv11的雾天目标检测算法[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2630-2639.
[3]	丰文君, 宋欣蔚, 岳云涛. 基于广义相关熵损失函数Transformer模型的环境电场强度时序预测[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1872-1880.
[4]	何丽丽, 曹勐, 张磊, 潘洪军, 刘义, 孙成心. 基于Kolmogorov-Arnold网络与扩散Transformer的手语生成模型[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1801-1810.
[5]	吕超, 马歌谣. 基于冗余特征抑制的轻量级人体姿态估计网络[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1973-1980.
[6]	尹秋燕, 丁婧, 聂志刚. 无人机航拍视角下的人体姿态估计算法YOLO-AirPose[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1989-1997.
[7]	秦隽, 焦新涛, 曾碧卿. 融合BiLSTM-Transformer与Kolmogorov-Arnold网络的非侵入式负荷监测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 2026-2033.
[8]	杜艺, 续明进, 孔佳仪, 王力瑶, 赵晨. 基于YOLOv11的低秩自适应参数高效微调算法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1738-1745.
[9]	吴闵奇, 杨元华, 李航, 胡雅琴, 汤智豪, 梅腾. 基于图Transformer和RT-DETR的轻量化水下小目标检测[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1586-1595.
[10]	张红瑞, 冯威铭, 杨潞霞, 马永杰. 基于YOLO11改进的水下小目标检测算法CSAF-YOLO[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1578-1585.
[11]	严心怡, 朱灵龙, 张永宏. 面向复杂交通场景的多尺度实时人车检测方法CDC-DETR[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1283-1291.
[12]	何帅, 邓春华. 基于YOLO-World的少样本学习目标检测算法[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1275-1282.
[13]	许盛伟, 王健波, 韩季杰, 白怡婕. 基于三分支特征提取的人脸伪造检测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1292-1299.
[14]	张永兵, 闫丽蓉, 唐晓芬. 渐进式双阶段模态交互的单域泛化目标检测[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1264-1274.
[15]	白翔, 李巨川, 王慧民, 景超, 钮键, 张兴忠, 程永强. 基于改进Swin Transformer的电力图像检索方法[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1334-1343.