多模态协同提示优化下的零样本人物交互检测方法

doi:10.11772/j.issn.1001-9081.2025060786

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (7): 2277-2287.DOI: 10.11772/j.issn.1001-9081.2025060786

• 多媒体计算与计算机仿真 • 上一篇下一篇

多模态协同提示优化下的零样本人物交互检测方法

马岳¹^,²^,³, 赖惠成¹^,²^,³(), 姜迪¹^,²^,³, 汪烈军¹^,²^,³

^1.新疆大学计算机科学与技术学院，乌鲁木齐 830046
^2.新疆信号检测与处理重点实验室（新疆大学），乌鲁木齐 830046
^3.丝路多语言认知计算国际合作联合实验室（新疆大学），乌鲁木齐 830046

收稿日期:2025-07-16 修回日期:2025-09-16 接受日期:2025-09-25 发布日期:2025-10-13 出版日期:2026-07-10
通讯作者: 赖惠成
作者简介:马岳（1998—），男，新疆乌鲁木齐人，硕士研究生，主要研究方向：计算机视觉、深度学习
姜迪（1997—），男，山东济宁人，博士研究生，主要研究方向：视频异常检测、深度学习、目标检测
汪烈军（1975—），男，四川眉山人，教授，博士，主要研究方向：视频通信处理、图像识别与处理。
基金资助:
新疆维吾尔自治区重点研发计划项目(2022B01008)

Zero-shot human-object interaction detection method via multimodal collaborative prompt optimization

Yue MA¹^,²^,³, Huicheng LAI¹^,²^,³(), Di JIANG¹^,²^,³, Liejun WANG¹^,²^,³

^1.School of Computer Science and Technology，Xinjiang University，Urumqi Xinjiang 830046，China
^2.Xinjiang Key Laboratory of Signal Detection and Processing （Xinjiang University），Urumqi Xinjiang 830046，China
^3.Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing （Xinjiang University），Urumqi Xinjiang 830046，China

Received:2025-07-16 Revised:2025-09-16 Accepted:2025-09-25 Online:2025-10-13 Published:2026-07-10
Contact: Huicheng LAI
About author:MA Yue， born in 1998， M. S. candidate. His research interests include computer vision， deep learning.
JIANG Di， born in 1997， Ph. D. candidate. His research interests include video anomaly detection， deep learning， object detection.
WANG Liejun， born in 1975， Ph. D.， professor. His research interests include video communication processing， image recognition and processing.
Supported by:
Key Research and Development Program of Xinjiang Uygur Autonomous Region(2022B01008)

摘要/Abstract

摘要：

针对零样本人物交互（HOI）检测任务中未见类别难以识别的问题，提出一种多模态协同提示优化下的零样本HOI检测方法MCPNet （Multimodal Cooperative Prompt Network），以提升模型在零样本条件下的泛化能力。该方法结合文本引导的提示学习与图像特征生成机制，从语义建模与视觉建模2个层面提升对未见交互类别的识别能力与整体泛化性能。首先，在语义建模方面，设计融合人工模板与可学习提示的文本引导模块，结合对比语言-图像预训练（CLIP）文本编码器生成细粒度的语义表征；其次，引入可学习提示为条件的生成模块，通过变分自编码器（VAE）建模潜在的语义空间，合成具有判别性的未见类别图像特征，从而缓解类别的长尾分布；最后，在视觉建模方面，提出局部与全局特征的协同机制，将局部交互区域特征与全局图像语义信息共同作为交互检测头的输入，提升复杂场景下的HOI检测效果。实验结果表明，在HICO-DET （Humans Interacting with Common Objects DETection）数据集上的零样本检测任务中，本文方法在多个评估设置下的未见类别的平均精度均值（mAP）均优于大多数现有的先进方法。具体而言，与CLIP4HOI（towards adapting CLIP for practical zero-shot HOI detection）方法相比，本文方法的mAP在未见组合（UC）设置下提升了8.59%，在稀有优先未见组（RF-UC）设置下提升了9.94%，在非稀有优先未见组合（NF-UC）设置下提升了8.24%，在未见物体（UO）设置下提升了9.37%，验证了该方法的有效性。

关键词: 人物交互检测, 零样本学习, 对比语言-图像预训练, 可学习提示, 特征生成

Abstract:

To address the challenge of identifying unseen categories in zero-shot Human-Object Interaction （HOI） detection， a zero-shot HOI detection method via multimodal collaborative prompt optimization， named MCPNet （Multimodal Cooperative Prompt Network）， was proposed to enhance the model's generalization ability under zero-shot conditions. The method leverages text-driven prompt learning and visual feature generation mechanisms to improve the recognition performance of unseen interaction categories and the overall generalization performance from both semantic and visual modeling perspectives. First， in terms of semantic modeling， a prompt-guided module was developed by integrating human-designed prompt templates with learnable prompts， which were encoded by the Contrastive Language-Image Pre-training（CLIP）text encoder to produce fine-grained semantic representations. Then， a generation module conditioned on learnable prompts was introduced， in which a Variational AutoEncoder （VAE） was employed to model the latent semantic space and to synthesize discriminative image features for unseen categories， thus alleviating the long-tailed distribution problem. Finally， for visual modeling， a collaborative mechanism between local and global features was proposed. Local interaction region features were integrated with global image semantics as inputs to the interaction detection head， enhancing the recognition performance of HOIs in complex scenes. Experimental results in zero-shot detection tasks on the HICO-DET （Humans Interacting with Common Objects DETection） dataset show that the proposed method achieves significant gains in mean Average Precision （mAP） of unseen categories， surpassing CLIP4HOI （towards adapting CLIP for practical zero-shot HOI detection） method by 8.59% under the Unseen Combination （UC） setting， by 9.94% under the Rare-First UC （RF-UC） setting， by 8.24% under the Non-rare-First UC （NF-UC） setting， and by 9.37% under the Unseen Object （UO） setting. The conclusion verifies the effectiveness of the proposed method.

Key words: Human-Object Interaction (HOI) detection, zero-shot learning, Contrastive Language-Image Pre-training (CLIP), learnable prompt, feature generation

中图分类号:

TP391.41

马岳, 赖惠成, 姜迪, 汪烈军. 多模态协同提示优化下的零样本人物交互检测方法[J]. 计算机应用, 2026, 46(7): 2277-2287.

Yue MA, Huicheng LAI, Di JIANG, Liejun WANG. Zero-shot human-object interaction detection method via multimodal collaborative prompt optimization[J]. Journal of Computer Applications, 2026, 46(7): 2277-2287.

图/表 12

图1 零样本人物交互检测示意图

Fig. 1 Schematic diagram of zero-shot human-object interaction detection

图2 MCPNet的总体架构

Fig. 2 Overall architecture of MCPNet

图3 语义驱动的特征生成模块

Fig. 3 Semantic-guided feature generation module

图4 可学习提示

Fig. 4 Learnable prompt

图5 未见HOI类别的特征分布对齐（t-SNE）

Fig. 5 Feature distribution alignment of unseen HOI categories （t-SNE）

表1 HICO-DET数据集上不同方法在多种零样本设置下的检测结果

Tab. 1 Detection results of different methods under various zero-shot settings on HICO-DET dataset

方法	零样本设置	TP/10⁶	AP/10⁶	不同类别的mAP/%
方法	零样本设置	TP/10⁶	AP/10⁶	Full	Seen	Unseen
ConsNet^［26］	UC	—	—	19.81	20.51	16.99
GEN-VLKT^［6］	UC	—	—	25.23	27.16	20.64
EoID^［7］	UC	—	—	28.91	30.39	23.01
HOICLIP^［8］	UC	—	—	29.93	31.65	23.15
Linear Probe CLIP^［5］	UC	—	—	23.36	23.12	24.28
CLIP4HOI^［9］	UC	71.2	262.4	32.11	33.25	27.71
CMMP^［33］	UC	2.3	193.4	31.84	32.39	29.60
本文方法	UC	2.1	168.1	32.40	32.98	30.09
GEN-VLKT^［6］	RF-UC	—	—	30.56	32.91	21.36
EoID^［7］	RF-UC	—	—	29.52	31.39	22.04
HOICLIP^［8］	RF-UC	—	—	32.99	34.85	25.53
LOGICHOI^［43］	RF-UC	—	—	33.17	34.93	25.97
ADA-CM^［22］	RF-UC	—	—	33.01	34.35	27.63
CLIP4HOI^［9］	RF-UC	71.2	262.4	34.08	35.48	28.47
UniHOI^［44］	RF-UC	—	—	32.27	33.16	28.68
Linear Probe CLIP^［5］	RF-UC	—	—	23.36	22.00	28.79
EZ-HOI^［36］	RF-UC	—	—	33.13	34.15	29.02
CMMP^［33］	RF-UC	2.3	193.4	32.18	32.87	29.45
本文方法	RF-UC	2.1	168.1	33.24	33.73	31.30
GEN-VLKT^［6］	NF-UC	—	—	23.71	23.38	25.05
HOICLIP^［8］	NF-UC	—	—	27.75	28.10	26.39
EoID^［7］	NF-UC	—	—	26.69	26.66	26.77
LOGICHOI^［43］	NF-UC	—	—	27.95	27.86	26.84
UniHOI^［44］	NF-UC	—	—	31.79	32.63	28.45
Linear Probe CLIP^［5］	NF-UC	—	—	23.36	22.06	28.52
CLIP4HOI^［9］	NF-UC	71.2	262.4	28.90	28.26	31.44
CMMP^［33］	NF-UC	2.3	193.4	30.18	29.71	32.09
ADA-CM^［22］	NF-UC	—	—	31.39	31.13	32.41
EZ-HOI^［36］	NF-UC	—	—	31.17	30.55	33.66
本文方法	NF-UC	2.2	168.1	31.95	31.44	34.03
GEN-VLKT^［6］	UO	42.1	—	25.63	28.92	10.51
LOGICHOI^［43］	UO	—	—	28.23	30.42	15.67
HOICLIP^［8］	UO	—	—	28.53	30.99	16.20
UniHOI^［44］	UO	—	—	31.56	34.76	19.72
Linear Probe CLIP^［5］	UO	—	—	23.36	22.29	28.66
EZ-HOI^［36］	UO	6.9	—	27.90	27.16	31.63
CLIP4HOI^［9］	UO	71.2	262.4	32.58	32.73	31.79
CMMP^［33］	UO	2.3	193.4	31.59	31.15	33.76
本文方法	UO	2.4	168.3	32.88	32.50	34.77
GEN-VLKT^［6］	UV	42.1	—	28.74	30.23	20.96
EoID^［7］	UV	41.5	—	29.61	30.73	22.71
本文方法	UV	1.9	167.8	31.79	33.46	21.56

表1 HICO-DET数据集上不同方法在多种零样本设置下的检测结果

Tab. 1 Detection results of different methods under various zero-shot settings on HICO-DET dataset

方法	零样本设置	TP/10⁶	AP/10⁶	不同类别的mAP/%
方法	零样本设置	TP/10⁶	AP/10⁶	Full	Seen	Unseen
ConsNet^［26］	UC	—	—	19.81	20.51	16.99
GEN-VLKT^［6］	UC	—	—	25.23	27.16	20.64
EoID^［7］	UC	—	—	28.91	30.39	23.01
HOICLIP^［8］	UC	—	—	29.93	31.65	23.15
Linear Probe CLIP^［5］	UC	—	—	23.36	23.12	24.28
CLIP4HOI^［9］	UC	71.2	262.4	32.11	33.25	27.71
CMMP^［33］	UC	2.3	193.4	31.84	32.39	29.60
本文方法	UC	2.1	168.1	32.40	32.98	30.09
GEN-VLKT^［6］	RF-UC	—	—	30.56	32.91	21.36
EoID^［7］	RF-UC	—	—	29.52	31.39	22.04
HOICLIP^［8］	RF-UC	—	—	32.99	34.85	25.53
LOGICHOI^［43］	RF-UC	—	—	33.17	34.93	25.97
ADA-CM^［22］	RF-UC	—	—	33.01	34.35	27.63
CLIP4HOI^［9］	RF-UC	71.2	262.4	34.08	35.48	28.47
UniHOI^［44］	RF-UC	—	—	32.27	33.16	28.68
Linear Probe CLIP^［5］	RF-UC	—	—	23.36	22.00	28.79
EZ-HOI^［36］	RF-UC	—	—	33.13	34.15	29.02
CMMP^［33］	RF-UC	2.3	193.4	32.18	32.87	29.45
本文方法	RF-UC	2.1	168.1	33.24	33.73	31.30
GEN-VLKT^［6］	NF-UC	—	—	23.71	23.38	25.05
HOICLIP^［8］	NF-UC	—	—	27.75	28.10	26.39
EoID^［7］	NF-UC	—	—	26.69	26.66	26.77
LOGICHOI^［43］	NF-UC	—	—	27.95	27.86	26.84
UniHOI^［44］	NF-UC	—	—	31.79	32.63	28.45
Linear Probe CLIP^［5］	NF-UC	—	—	23.36	22.06	28.52
CLIP4HOI^［9］	NF-UC	71.2	262.4	28.90	28.26	31.44
CMMP^［33］	NF-UC	2.3	193.4	30.18	29.71	32.09
ADA-CM^［22］	NF-UC	—	—	31.39	31.13	32.41
EZ-HOI^［36］	NF-UC	—	—	31.17	30.55	33.66
本文方法	NF-UC	2.2	168.1	31.95	31.44	34.03
GEN-VLKT^［6］	UO	42.1	—	25.63	28.92	10.51
LOGICHOI^［43］	UO	—	—	28.23	30.42	15.67
HOICLIP^［8］	UO	—	—	28.53	30.99	16.20
UniHOI^［44］	UO	—	—	31.56	34.76	19.72
Linear Probe CLIP^［5］	UO	—	—	23.36	22.29	28.66
EZ-HOI^［36］	UO	6.9	—	27.90	27.16	31.63
CLIP4HOI^［9］	UO	71.2	262.4	32.58	32.73	31.79
CMMP^［33］	UO	2.3	193.4	31.59	31.15	33.76
本文方法	UO	2.4	168.3	32.88	32.50	34.77
GEN-VLKT^［6］	UV	42.1	—	28.74	30.23	20.96
EoID^［7］	UV	41.5	—	29.61	30.73	22.71
本文方法	UV	1.9	167.8	31.79	33.46	21.56

表2 HICO-DET数据集上的全监督HOT检测结果

Tab. 2 Fully-supervised HOI detection results on HICO-DET dataset

方法	主干网络	不同类别的mAP/%
方法	主干网络	Full	Rare	Non-rare
IDN^［45］	ResNet-50	23.36	22.47	23.63
HOTR^［16］	ResNet-50	25.10	17.34	27.42
ATL^［24］	ResNet-50	28.53	21.64	30.59
AS-Net^［15］	ResNet-50	28.87	24.25	30.25
QPIC^［17］	ResNet-50	29.07	21.85	31.23
STIP^［46］	ResNet-50	30.56	28.15	31.28
SCG^［23］	ResNet-50	31.33	24.72	33.31
UPT^［21］	ResNet-50	31.66	25.94	33.36
CDN^［42］	ResNet-50	31.78	27.55	33.05
GEN-VLKT^［6］	ResNet-50	33.75	29.25	35.10
PViC^［47］	ResNet-50	34.69	32.14	35.45
HOICLIP^［8］	ResNet-50	34.69	31.12	35.74
CLIP4HOI^［9］	ResNet-50	35.33	33.95	35.74
本文方法	ResNet-50	34.50	34.12	34.61

表3 网络模块的消融分析

Tab. 3 Ablation analysis of network modules

Global	SFG	LPE	Loss	不同类别的mAP/%
Global	SFG	LPE	Loss	Full	Seen	Unseen
×	×	×	×	31.75	31.59	32.39
√	×	×	×	29.35	28.61	32.31
×	×	×	√	31.82	31.63	32.61
×	×	√	×	31.92	31.70	32.79
×	√	×	×	31.97	31.71	33.02
√	√	×	×	32.08	31.69	33.65
√	√	√	×	31.82	31.29	33.90
×	√	√	√	31.87	31.63	32.85
√	×	√	√	32.19	32.05	32.77
√	√	×	√	31.78	31.29	33.77
√	√	√	√	31.95	31.44	34.03

表4 损失函数权重的有效性

Tab. 4 Effectiveness of loss function weights

（ $λ r e g$ ， $β$ ）	不同类别的mAP/%
（ $λ r e g$ ， $β$ ）	Full	Seen	Unseen
（0.000 1， 1）	29.68	28.79	33.25
（0.000 1， 2）	31.91	31.45	33.78
（0.000 01， 2）	32.08	31.64	33.85
（0.000 01， 3）	31.51	31.12	33.03
（0.000 01， 5）	32.01	31.68	33.36
（0.000 01， 1）	31.95	31.44	34.03

表4 损失函数权重的有效性

Tab. 4 Effectiveness of loss function weights

（ $λ r e g$ ， $β$ ）	不同类别的mAP/%
（ $λ r e g$ ， $β$ ）	Full	Seen	Unseen
（0.000 1， 1）	29.68	28.79	33.25
（0.000 1， 2）	31.91	31.45	33.78
（0.000 01， 2）	32.08	31.64	33.85
（0.000 01， 3）	31.51	31.12	33.03
（0.000 01， 5）	32.01	31.68	33.36
（0.000 01， 1）	31.95	31.44	34.03

表5 K-shot 采样的有效性

Tab. 5 Effectiveness of K-shot sampling

K-shots	不同类别的mAP/%
K-shots	Full	Seen	Unseen
1	31.85	31.48	33.33
2	31.95	31.44	34.03
3	31.83	31.54	32.98
4	31.55	31.12	33.28

图6 零样本HOI检测结果的可视化

Fig. 6 Visualization of zero-shot HOI detection results

图7 检测失败案例

Fig. 7 Cases of failed detection

参考文献 47

[1]	Gupta S， Malik J. Visual semantic role labeling ［PP/OL］. arXiv （2024-10-23）［2025-03-20］. .
[2]	Feng J， Liu R. LRB-Net： improving VQA via division of labor strategy and multimodal classifiers ［J］. Displays， 2022， 75： No.102329.
[3]	Bai C， Zheng A， Huang Y， et al. Boosting convolutional image captioning with semantic content and visual relationship ［J］. Displays， 2021， 70： No.102069.
[4]	Chao Y W， Liu Y， Liu X， et al. Learning to detect human-object interactions ［C］// WACV 2018. Piscataway： IEEE， 2018： 381-389.
[5]	Radford A， Kim J W， Hallacy C， et al. Learning transferable visual models from natural language supervision ［C］// ICML 2021. New York： JMLR.org， 2021： 8748-8763.
[6]	Liao Y， Zhang A， Lu M， et al. GEN-VLKT： simplify association and enhance interaction understanding for hoi detection ［C］// CVPR 2022. Piscataway： IEEE， 2022： 20091-20100.
[7]	Wu M， Gu J， Shen Y， et al. End-to-end zero-shot HOI detection via vision and language knowledge distillation ［C］// AAAI 2023. Palo Alto： AAAI Press， 2023： 2839-2846.
[8]	Ning S， Qiu L， Liu Y， et al. HOICLIP： efficient knowledge transfer for hoi detection with vision-language models ［C］// CVPR 2023. Piscataway： IEEE， 2023： 23507-23517.
[9]	Mao Y， Deng J， Zhou W， et al. CLIP4HOI： towards adapting CLIP for practical zero-shot HOI detection ［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 45895-45906.
[10]	Zhou K， Yang J， Loy C C， et al. Conditional prompt learning for vision-language models ［C］// CVPR 2022. Piscataway： IEEE， 2022： 16795-16804.
[11]	Zhou K， Yang J， Loy C C， et al. Learning to prompt for vision-language models ［J］. International Journal of Computer Vision， 2022， 130（9）： 2337-2348.
[12]	Kingma D P， Welling M. Auto-encoding variational Bayes ［PP/OL］. V11. arXiv （2022-12-10）［2025-03-20］. .
[13]	阮晨钊，张祥森，刘科，等.深度学习的人-物体交互检测研究进展［J］.计算机科学与探索， 2022， 16（2）： 323-336.
	Ruan Chenzhao， Zhang Xiangsen， Liu Ke， et al. Progress on human-object interaction detection of deep learning ［J］. Journal of Frontiers of Computer Science and Technology， 2022， 16（2）： 323-336.
[14]	Carion N， Massa F， Synnaeve G， et al. End-to-end object detection with Transformers ［C］// ECCV 2020. Cham： Springer， 2020： 213-229.
[15]	Chen M， Liao Y， Liu S， et al. Reformulating HOI detection as adaptive set prediction ［C］// CVPR 2021. Piscataway： IEEE， 2021： 9000-9009.
[16]	Kim B， Lee J， Kang J， et al. HOTR： end-to-end human-object interaction detection with Transformers ［C］// CVPR 2021. Piscataway： IEEE， 2021： 74-83.
[17]	Tamura M， Ohashi H， Yoshinaga T. QPIC： query-based pairwise human-object interaction detection with image-wide contextual information ［C］// CVPR 2021. Piscataway： IEEE， 2021： 10405-10414.
[18]	Chen J， Yanai K. QAHOI： query-based anchors for human-object interaction detection ［C］// MVA 2023. Piscataway： IEEE， 2023： 1-5.
[19]	Li Y L， Zhou S， Huang X， et al. Transferable interactiveness knowledge for human-object interaction detection ［C］// CVPR 2019. Piscataway： IEEE， 2019： 3580-3589.
[20]	Gao C， Zou Y， Huang J B. iCAN： instance-centric attention network for human-object interaction detection ［C］// BMVC 2018. Durham： BMVA Press， 2018： No.17.
[21]	Zhang F Z， Campbell D， Gould S. Efficient two-stage detection of human-object interactions with a novel unary-pairwise transformer ［C］// CVPR 2022. Piscataway： IEEE， 2022： 20072-20080.
[22]	Lei T， Caba F， Chen Q， et al. Efficient adaptive human-object interaction detection with concept-guided memory ［C］// ICCV 2023. Piscataway： IEEE， 2023： 6457-6467.
[23]	Zhang F Z， Campbell D， Gould S. Spatially conditioned graphs for detecting human-object interactions ［C］// ICCV 2021. Piscataway： IEEE， 2021： 13299-13307.
[24]	Hou Z， Yu B， Qiao Y， et al. Affordance transfer learning for human-object interaction detection ［C］// CVPR 2021. Piscataway： IEEE， 2021： 495-504.
[25]	Hou Z， Yu B， Qiao Y， et al. Detecting human-object interaction via fabricated compositional learning ［C］// CVPR 2021. Piscataway： IEEE， 2021： 14641-14650.
[26]	Liu Y， Yuan J， Chen C W. ConsNet： learning consistency graph for zero-shot human-object interaction detection ［C］// ACM Multimedia 2020. New York： ACM， 2020： 4235-4243.
[27]	Liao Y， Liu S， Wang F， et al. PPDM： parallel point detection and matching for real-time human-object interaction detection ［C］// CVPR 2020. Piscataway： IEEE， 2020： 479-487.
[28]	Sanghi A， Chu H， Lambourne J G， et al. CLIP-Forge： towards zero-shot text-to-shape generation ［C］// CVPR 2022. Piscataway： IEEE， 2022： 18582-18592.
[29]	Wang Z， Liu W， He Q， et al. CLIP-GEN： language-free training of a text-to-image generator with CLIP ［PP/OL］. arXiv （2022-03-01）［2025-03-20］. .
[30]	Khattak M U， Rasheed H， Maaz M， et al. MaPLe： multi-modal prompt learning ［C］// CVPR 2023. Piscataway： IEEE， 2023： 19113-19122.
[31]	Gao P， Geng S， Zhang R， et al. CLIP-Adapter： better vision-language models with feature adapters ［J］. International Journal of Computer Vision， 2024， 132（2）： 581-595.
[32]	Zhang R， Zhang W， Fang R， et al. Tip-Adapter： training-free adaption of CLIP for few-shot classification ［C］// ECCV 2022. Cham： Springer， 2022： 493-510.
[33]	Lei T， Yin S， Peng Y， et al. Exploring conditional multi-modal prompts for zero-shot hoi detection ［C］// ECCV 2024. Cham： Springer， 2025： 1-19.
[34]	Bansal A， Rambhatla S S， Shrivastava A， et al. Detecting human-object interactions via functional generalization ［C］// AAAI 2020. Palo Alto： AAAI Press， 2020： 10460-10469.
[35]	Yuan H， Zhang S， Wang X， et al. RLIPv2： fast scaling of relational language-image pre-training ［C］// ICCV 2023. Piscataway： IEEE， 2023： 21592-21604.
[36]	Lei Q， Wang B， Tan R T. EZ-HOI： VLM adaptation via guided prompt learning for zero-shot hoi detection ［C］// NeurIPS 2024. Red Hook： Curran Associates Inc.， 2024： 55831-55857.
[37]	Goodfellow I J， Pouget-Abadie J， Mirza M， et al. Generative adversarial nets ［C］// NeurIPS 2014. Cambridge： MIT Press， 2014： 2672-2680.
[38]	van den OORD A， Vinyals O. Neural discrete representation learning ［C］// NeurIPS 2017. Red Hook： Curran Associates Inc.， 2017： 6309-6318.
[39]	Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need ［C］// NeurIPS 2017. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[40]	Dosovitskiy A， Beyer L， Kolesnikov A， et al. An image is worth 16x16 words： Transformers for image recognition at scale ［PP/OL］. V2. arXiv （2021-06-03）［2025-03-20］. .
[41]	Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection ［C］// ICCV 2017. Piscataway： IEEE， 2017： 2999-3007.
[42]	Zhang A， Liao Y， Liu S， et al. Mining the benefits of two-stage and one-stage hoi detection ［C］// NeurIPS 2021. Red Hook： Curran Associates Inc.， 2021： 17209-17220.
[43]	Li L， Wei J， Wang W， et al. Neural-logic human-object interaction detection ［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 21158-21171.
[44]	Cao Y， Tang Q， Su X， et al. Detecting any human-object interaction relationship： universal HOI detector with spatial prompt learning on foundation models ［C］// NeurIPS 2023. Red Hook： Curran Associates Inc.， 2023： 739-751.
[45]	Li Y L， Liu X， Wu X， et al. HOI Analysis： integrating and decomposing human-object interaction ［C］// NeurIPS 2020. Red Hook： Curran Associates Inc.， 2020： 5011-5022.
[46]	Zhang Y， Pan Y， Yao T， et al. Exploring structure-aware Transformer over interaction proposals for human-object interaction detection ［C］// CVPR 2022. Piscataway： IEEE， 2022： 19526-19535.
[47]	Zhang F Z， Yuan Y， Campbell D， et al. Exploring predicate visual context in detecting of human-object interactions ［C］// ICCV 2023. Piscataway： IEEE， 2023： 10377-10387.

多模态协同提示优化下的零样本人物交互检测方法

Zero-shot human-object interaction detection method via multimodal collaborative prompt optimization

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 47

相关文章 6

编辑推荐

Metrics

[1]	樊跃波, 陈明轩, 汤显, 高永彬, 李文超. 基于多维频域特征融合的人物交互检测[J]. 《计算机应用》唯一官方网站, 2026, 46(2): 580-586.
[2]	谢欣冉, 崔喆, 陈睿, 彭泰来, 林德坤. 基于层次过滤与标签语义扩展的大模型零样本重排序方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 60-68.
[3]	孙雨阳, 张敏婕, 胡婕. 基于语义前缀微调的零样本对话状态跟踪领域迁移模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2221-2228.
[4]	邱冰婕, 张超群, 汤卫东, 梁弼诚, 崔丹阳, 罗海升, 陈启明. 基于双重对比学习的零样本关系抽取模型[J]. 《计算机应用》唯一官方网站, 2025, 45(11): 3555-3563.
[5]	许亮, 张春, 张宁, 田雪涛. 融合多Prompt模板的零样本关系抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3668-3675.
[6]	徐戈, 肖永强, 汪涛, 陈开志, 廖祥文, 吴运兵. 基于视觉误差与语义属性的零样本图像分类[J]. 计算机应用, 2020, 40(4): 1016-1022.