• • 下一篇
谢斌红,屠炜明*,张睿
摘要: 针对现有跨域小样本目标检测方法(CD-FSOD)中,多模态原型融合未考虑域偏移下的模态可靠性差异,以及候选框(RoI)特征易产生特征偏移与背景混淆的问题,提出域调制混合原型与特征校准驱动的检测框架(DHC-ViTO)。首先,设计域调制混合原型生成模块(DM-HPG),该模块构建编码目标域信息的视觉原型,以及融入域相关线索的增强文本原型;其次,利用动态门控网络根据两种模态在当前目标域下的表征状态,自适应调节融合权重,最终生成兼具跨域鲁棒性与细粒度判别力的域调制混合原型;再次,设计基于语义锚点的特征校准模块(SAFC),针对发生偏移的RoI特征,以前述混合原型为语义锚点生成引导特征;随后,结合门控机制校准RoI特征,使它向对应类别的语义中心收敛;最后,引入正交噪声解耦(OND)策略抑制背景干扰,进一步提升RoI特征的判别性。实验结果表明,在6个跨域基准数据集上,DHC-ViTO在1-shot、5-shot和10-shot设置下的6个目标域数据集平均mAP分别达到14.6%、27.3%和30.8%;与现有先进方法CD-ViTO(Cross-Domain Vision Transformer Object detector)相比,分别提升0.7、1.2和1.2个百分点,验证了所提方法的有效性。
中图分类号: