自步学习指导下的半监督目标检测框架

doi:10.11772/j.issn.1001-9081.2024081096

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (8): 2546-2554.DOI: 10.11772/j.issn.1001-9081.2024081096

• 人工智能 • 上一篇

自步学习指导下的半监督目标检测框架

谢斌红, 剌颖坤(), 张英俊, 张睿

太原科技大学计算机科学与技术学院，太原 030024

收稿日期:2024-08-06 修回日期:2024-10-21 接受日期:2024-10-28 发布日期:2024-11-19 出版日期:2025-08-10
通讯作者: 剌颖坤
作者简介:谢斌红（1971—），男，山西万荣人，教授，硕士，主要研究方向：智能化软件、机器学习
张英俊（1969—），男，山西河津人，教授级高级工程师，硕士，主要研究方向：智能化软件、软件体系结构
张睿（1987—），男，山西太原人，副教授，博士，主要研究方向：智能信息处理。
基金资助:
山西省基础研究计划项目（面上）(20210302123216);吕梁市引进高层次科技人才重点研发项目(2022RC08)

Semi-supervised object detection framework guided by self-paced learning

Binhong XIE, Yingkun LA(), Yingjun ZHANG, Rui ZHANG

College of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China

Received:2024-08-06 Revised:2024-10-21 Accepted:2024-10-28 Online:2024-11-19 Published:2025-08-10
Contact: Yingkun LA
About author:XIE Binhong， born in 1971， M. S.， professor. His research interests include intelligent software， machine learning.
ZHANG Yingjun， born in 1969， M. S.， professor-level senior engineer. His research interests include intelligent software， software architecture.
ZHANG Rui， born in 1987， Ph. D.， associate professor. His research interests include intelligent information processing.
Supported by:
Shanxi Provincial Basic Research Program （General Program）(20210302123216);Lvliang City Key Research and Development Project for Introduction of High-level Scientific and Technological Talents(2022RC08)

摘要/Abstract

摘要：

为了提高伪标签质量并解决半监督目标检测（SSOD）中的确认偏差问题，提出一种基于动态参数的自步学习（SPL）指导下的SSOD框架。在该框架中设计动态自步参数和连续权重变量，以优化SSOD的效果。具体地，动态自步参数根据模型在训练过程中的实时表现评估样本的难易程度，而连续权重变量则通过比较样本损失与动态自步参数的关系精确评估每个样本在训练中的重要性和可靠性，并对样本中的每个物体都进行精细化权重设计。此外，该框架采用单一模型迭代训练，并引入一致性正则化策略评估模型预测的一致性。这种设计不仅能为模型提供更有针对性的权重信息，还可使模型通过权重信息的动态调整自适应地优化训练过程。在PASCAL VOC和MS-COCO数据集上的广泛对比实验结果不仅显示所提框架显著提升了模型的检测精度，还验证了所提框架良好的通用性和高效的收敛性能。特别在PASCAL VOC数据集上，所提框架相较于LabelMatch、Unbiased Teacher V2和MixTeacher在检测精度上分别提升了0.65、4.84和0.28个百分点。

关键词: 半监督目标检测, 自步学习, 一致性正则化, 动态自步参数, 连续权重变量

Abstract:

In order to improve the quality of pseudo-labels and solve the problem of confirmation bias in Semi-Supervised Object Detection （SSOD）， an SSOD framework based on dynamic parameters under guidance of Self-Paced Learning （SPL） was proposed. In the framework， dynamic self-paced parameter and continuous weight variable were designed to optimize the effect of SSOD. In specific， the dynamic self-paced parameter was used to evaluate difficulty of the samples based on real-time performance of the model during training process， the continuous weight variable was used to evaluate importance and reliability of each sample in training accurately by comparing relationship between sample loss and dynamic self-paced parameters， and refine weight design of each object in the samples. In addition， a single model was used in the framework for iterative training， and a consistency regularization strategy was introduced to evaluate consistency of the model predictions. This design provided more targeted weight information for the model， and optimized the training process adaptively by the model through dynamic adjustment of the weight information. Extensive comparison experimental results on PASCAL VOC and MS-COCO datasets show that the proposed framework improves the detection accuracy of the model significantly， and verify good generality and efficient convergence performance of the framework. Especially on PASCAL VOC dataset， the proposed framework has the detection precision improved by 0.65， 4.84， and 0.28 percentage points， respectively， compared with LabelMatch， Unbiased Teacher V2， and MixTeacher.

Key words: semi-supervised object detection, Self-Paced Learning (SPL), consistency regularization, dynamic self-paced parameter, continuous weight variable

中图分类号:

TP391.41

谢斌红, 剌颖坤, 张英俊, 张睿. 自步学习指导下的半监督目标检测框架[J]. 计算机应用, 2025, 45(8): 2546-2554.

Binhong XIE, Yingkun LA, Yingjun ZHANG, Rui ZHANG. Semi-supervised object detection framework guided by self-paced learning[J]. Journal of Computer Applications, 2025, 45(8): 2546-2554.

图/表 9

图1 自步学习流程

Fig. 1 Flowchart of self-paced learning

图2 自步学习指导下的半监督目标检测框架

Fig. 2 Semi-supervised object detection framework guided by self-paced learning

表1 MS-COCO数据集上的消融实验结果（AP50：90） (%)

Tab. 1 Ablation experimental results on MS-COCO dataset （AP50：90）

自步参数	权重变量	COCO Partially Labeled				COCO Additional 100%
自步参数	权重变量	1%	2%	5%	10%	COCO Additional 100%
动态	连续	26.07±0.13	29.75±0.93	34.62±0.18	37.08±0.27	40.9 $→ + 5.0$ 45.9
动态	离散	24.54±0.15	26.81±0.43	31.34±0.73	34.08±0.61	40.9 $→ + 2.9$ 43.8
固定增量	连续	24.61±0.36	27.04±0.25	31.76±0.18	34.27±0.31	40.9 $→ + 3.2$ 44.1
固定增量	离散	23.29±0.37	25.96±0.15	30.14±0.03	33.40±0.36	40.9 $→ + 3.9$ 42.8

表1 MS-COCO数据集上的消融实验结果（AP50：90） (%)

Tab. 1 Ablation experimental results on MS-COCO dataset （AP50：90）

自步参数	权重变量	COCO Partially Labeled				COCO Additional 100%
自步参数	权重变量	1%	2%	5%	10%	COCO Additional 100%
动态	连续	26.07±0.13	29.75±0.93	34.62±0.18	37.08±0.27	40.9 $→ + 5.0$ 45.9
动态	离散	24.54±0.15	26.81±0.43	31.34±0.73	34.08±0.61	40.9 $→ + 2.9$ 43.8
固定增量	连续	24.61±0.36	27.04±0.25	31.76±0.18	34.27±0.31	40.9 $→ + 3.2$ 44.1
固定增量	离散	23.29±0.37	25.96±0.15	30.14±0.03	33.40±0.36	40.9 $→ + 3.9$ 42.8

表2 PASCAL VOC数据集上的消融实验结果

Tab. 2 Ablation experimental results on PASCAL VOC Dataset

自步参数	权重变量	标注数据集	未标注数据集	AP₅₀/%
动态	连续	VOC07	VOC12	86.13
动态	离散	VOC07	VOC12	83.02
固定增量	连续	VOC07	VOC12	83.97
固定增量	离散	VOC07	VOC12	81.79

表3 MS-COCO 数据集上的对比实验结果（AP50：90） (%)

Tab. 3 Comparison experimental results on MS-COCO dataset （AP50：90）

算法	COCO Partially Labeled				COCOAdditional 100%
算法	1%	2%	5%	10%	COCOAdditional 100%
Supervised Baseline	12.15±0.27	16.65±0.18	21.45±0.16	27.10±0.07	40.9
STAC^［8］	13.97±0.35	18.25±0.25	24.38±0.12	28.64±0.21	39.5 $→ - 0.3$ 39.2
Unbiased Teacher^［10］	20.75±0.12	24.30±0.07	28.27±0.11	31.50±0.10	40.2 $→ + 3.2$ 43.4
LabelMatch^［12］	25.81±0.28	—	32.70±0.18	35.49±0.17	40.9 $→ + 3.6$ 44.5
Unbiased Teacher V2^［13］	25.40±0.36	28.37±0.03	31.85±0.09	35.08±0.02	40.3 $→ + 5.0$ 45.3
MixTeacher^［14］	25.16±0.26	29.11±0.21	34.06±0.13	36.72±0.16	41.0 $→ + 5.1$ 46.1
ICSD^［15］	22.01±0.35	25.44±0.04	29.54±0.12	32.96±0.12	40.9 $→ + 3.2$ 44.1
DP-SPSL	26.07±0.13	29.75±0.93	34.62±0.18	37.08±0.27	40.9 $→ + 5.0$ 45.9

表3 MS-COCO 数据集上的对比实验结果（AP50：90） (%)

Tab. 3 Comparison experimental results on MS-COCO dataset （AP50：90）

算法	COCO Partially Labeled				COCOAdditional 100%
算法	1%	2%	5%	10%	COCOAdditional 100%
Supervised Baseline	12.15±0.27	16.65±0.18	21.45±0.16	27.10±0.07	40.9
STAC^［8］	13.97±0.35	18.25±0.25	24.38±0.12	28.64±0.21	39.5 $→ - 0.3$ 39.2
Unbiased Teacher^［10］	20.75±0.12	24.30±0.07	28.27±0.11	31.50±0.10	40.2 $→ + 3.2$ 43.4
LabelMatch^［12］	25.81±0.28	—	32.70±0.18	35.49±0.17	40.9 $→ + 3.6$ 44.5
Unbiased Teacher V2^［13］	25.40±0.36	28.37±0.03	31.85±0.09	35.08±0.02	40.3 $→ + 5.0$ 45.3
MixTeacher^［14］	25.16±0.26	29.11±0.21	34.06±0.13	36.72±0.16	41.0 $→ + 5.1$ 46.1
ICSD^［15］	22.01±0.35	25.44±0.04	29.54±0.12	32.96±0.12	40.9 $→ + 3.2$ 44.1
DP-SPSL	26.07±0.13	29.75±0.93	34.62±0.18	37.08±0.27	40.9 $→ + 5.0$ 45.9

表4 PASCAL VOC 数据集上的对比实验结果（AP50）

Tab. 4 Comparison experimental results on PASCAL VOC dataset （AP50）

算法	标注数据集	未标注数据集	AP₅₀/%
Supervised Baseline	VOC07	VOC12	76.70
STAC^［8］			77.45
Unbiased Teacher^［10］			80.50
LabelMatch^［12］			85.48
Unbiased Teacher V2^［13］			81.29
MixTeacher^［14］			85.85
ICSD^［15］			78.60
DP-SPSL			86.13

表5 MS-COCO 数据集上的自步学习通用性实验结果（AP50：95） (%)

Tab. 5 Generality experimental results of self-paced learning on MS-COCO dataset （AP50：95）

分组类别	算法	COCO-standard
分组类别	算法	1%	2%	5%	10%
对照组	STAC^［8］	13.97±0.35	18.25±0.25	24.38±0.12	28.64±0.21
	Unbiased Teacher^［10］	20.75±0.12	24.30±0.07	28.27±0.11	31.50±0.10
	LabelMatch^［12］	25.81±0.28	—	32.70±0.18	35.49±0.17
	Unbiased Teacher V2^［13］	25.40±0.36	28.37±0.03	31.85±0.09	35.08±0.02
	MixTeacher^［14］	25.16±0.26	29.11±0.21	34.06±0.13	36.72±0.16
实验组	STAC^［8］	17.14±0.18	21.82±0.08	27.19±0.31	30.91±0.13
	Unbiased Teacher^［10］	23.93±0.32	26.71±0.31	31.04±0.37	34.16±0.18
	LabelMatch^［12］	25.90±0.17	—	33.84±0.03	36.61±0.36
	Unbiased Teacher V2^［13］	25.86±0.29	29.05±0.14	32.40±0.39	36.13±0.38
	MixTeacher^［14］	25.91±0.17	29.54±0.18	34.47±0.52	36.93±0.23

表6 PASCAL VOC数据集上的自步学习的通用性实验结果

Tab. 6 Generality experimental results of self-paced learning on PASCAL VOC dataset

算法	标注数据集	未标注数据集	AP₅₀/%
算法	标注数据集	未标注数据集	原模型	自步学习
STAC^［8］	VOC07	VOC12	77.45	79.01
Unbiased Teacher^［10］			80.50	82.71
LabelMatch^［12］			85.48	85.81
Unbiased Teacher V2^［13］			81.29	83.96
MixTeacher^［14］			85.85	86.09

图3 自步学习的收敛效率

Fig. 3 Convergence efficiency of SPL

参考文献 26

[1]	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.
[2]	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788.
[3]	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.
[4]	EVERINGHAM M， VAN GOOL L， WILLIAMS C K I， et al. The PASCAL Visual Object Classes （VOC） challenge［J］. International Journal of Computer Vision， 2010， 88（2）： 303-338.
[5]	LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8693. Cham： Springer， 2014： 740-755.
[6]	ROSENBERG C， HEBERT M， SCHNEIDERMAN H. Semi-supervised self-training of object detection models［C］// Proceedings of the 7th IEEE Workshops on Applications of Computer Vision - Volume 1. Piscataway： IEEE， 2005： 29-36.
[7]	ARAZO E， ORTEGO D， ALBERT P， et al. Pseudo-labeling and confirmation bias in deep semi-supervised learning［C］// Proceedings of the 2020 International Joint Conference on Neural Networks. Piscataway： IEEE， 2020： 1-8.
[8]	SOHN K， ZHANG Z， LI C L， et al. A simple semi-supervised learning framework for object detection［EB/OL］. ［2024-06-11］..
[9]	ZHANG L， SUN Y， WEI W. Mind the gap： polishing pseudo labels for accurate semi-supervised object detection［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2023： 3463-3471.
[10]	LIU Y C， MA C M， HE Z， et al. Unbiased teacher for semi-supervised object detection［EB/OL］. ［2024-06-11］..
[11]	XU M， ZHANG Z， HU H， et al. End-to-end semi-supervised object detection with soft teacher［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 3040-3049.
[12]	CHEN B， CHEN W， YANG S， et al. Label matching semi-supervised object detection［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 14361-14370.
[13]	LIU Y C， MA C Y， KIRA Z. Unbiased Teacher v2： semi-supervised object detection for anchor-free and anchor-based detectors［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 9809-9818.
[14]	LIU L， ZHANG B， ZHANG J， et al. MixTeacher： mining promising labels with mixed scale teacher for semi-supervised object detection［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 7370-7379.
[15]	张英俊，李牛牛，谢斌红，等. 课程学习指导下的半监督目标检测框架［J］. 计算机应用， 2024， 44（8）： 2326-2333.
	ZHANG Y J， LI N N， XIE B H， et al. Semi-supervised object detection framework guided by curriculum learning［J］. Journal of Computer Applications， 2024， 44（8）： 2326-2333.
[16]	李牛牛. 基于课程学习的半监督目标检测算法研究［D］. 太原：太原科技大学， 2024.
	LI N N. Research on semi supervised object detection algorithm based on curriculum learning［D］. Taiyuan： Taiyuan University of Science and Technology， 2024.
[17]	BENGIO Y， LOURADOUR J， COLLOBERT R， et al. Curriculum learning［C］// Proceedings of the 26th International Conference on Machine Learning. New York： ACM， 2009： 41-48.
[18]	JIANG L， MENG D， ZHAO Q， et al. Self-paced curriculum learning［C］// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2015： 2694-2700.
[19]	JEONG J， LEE S， KIM J， et al. Consistency-based semi-supervised learning for object detection［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 10759-10768.
[20]	祝彪，李艳，王硕. 基于一致性正则化的深度偏标记半监督学习方法［J］. 西南大学学报（自然科学版）， 2024， 46（5）：27-39.
	ZHU B， LI Y， WANG S. Deep partial labeled semi-supervised learning method based on consistency regularization［J］. Journal of Southwest University （Natural Science Edition）， 2024， 46（5）：27-39.
[21]	CHEN D， SUN D， FU J， et al. Semi-supervised learning framework for aluminum alloy metallographic image segmentation［J］. IEEE Access， 2021， 9： 30858-30867.
[22]	WANG P， PENG J， PEDERSOLI M， et al. Self-paced and self-consistent co-training for semi-supervised image segmentation［J］. Medical Image Analysis， 2021， 73： No.102146.
[23]	李豪，赵悦，公茂果，等. 一种自适应混合权重的自步学习方法［J］. 软件学报， 2023， 34（5）：2337-2349.
	LI H， ZHAO Y， GONG M G， et al. Self-paced learning method with adaptive mixed weights［J］. Journal of Software， 2023， 34（5）：2337-2349.
[24]	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944.
[25]	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
[26]	DeVRIES T， TAYLOR G W. Improved regularization of convolutional neural networks with cutout［EB/OL］. ［2024-06-11］..

自步学习指导下的半监督目标检测框架

Semi-supervised object detection framework guided by self-paced learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 26

相关文章 3

编辑推荐

Metrics

[1]	张帅华, 张淑芬, 周明川, 徐超, 陈学斌. 基于半监督联邦学习的恶意流量检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3487-3494.
[2]	龚永红, 郑威, 吴林, 谭马龙, 余浩. 基于自步学习的无监督属性选择算法[J]. 计算机应用, 2018, 38(10): 2856-2861.
[3]	王学军, 王文剑, 曹飞龙. 基于自步学习的加权稀疏表示人脸识别方法[J]. 计算机应用, 2017, 37(11): 3145-3151.