基于分块注意力机制和交互位置关系的群组活动识别

doi:10.11772/j.issn.1001-9081.2021060904

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2052-2057.DOI: 10.11772/j.issn.1001-9081.2021060904

基于分块注意力机制和交互位置关系的群组活动识别

刘博, 卿粼波, 王正勇(), 刘美, 姜雪

四川大学电子信息学院，成都 610065

收稿日期:2021-06-03 修回日期:2021-09-11 接受日期:2021-09-24 发布日期:2021-10-18 出版日期:2022-07-10
通讯作者: 王正勇
作者简介:刘博（1997—），男，河南许昌人，硕士研究生，CCF会员，主要研究方向：计算机视觉
卿粼波（1982—），男，四川成都人，副教授，博士生导师，博士，主要研究方向：多媒体通信、信息系统、人工智能、计算机视觉
刘美（1996—），女，江西抚州人，硕士，主要研究方向：计算机视觉
姜雪（1998—），女，山东日照人，硕士研究生，主要研究方向：计算机视觉。
基金资助:
国家自然科学基金资助项目(61871278)

Group activity recognition based on partitioned attention mechanism and interactive position relationship

Bo LIU, Linbo QING, Zhengyong WANG(), Mei LIU, Xue JIANG

College of Electronic and Information Engineering，Sichuan University，Chengdu Sichuan 610065，China

Received:2021-06-03 Revised:2021-09-11 Accepted:2021-09-24 Online:2021-10-18 Published:2022-07-10
Contact: Zhengyong WANG
About author:LIU Bo， born in 1997， M. S. candidate. His research interests include computer vision.
QING Linbo， born in 1982， Ph. D.， associate professor. His research interests include multimedia communication， information system， artificial intelligence， computer vision.
LIU Mei， born in 1996， M. S. Her research interests include computer vision.
JIANG Xue， born in 1998， M. S. candidate. Her research interests include computer vision.
Supported by:
National Natural Science Foundation of China(61871278)

摘要/Abstract

摘要：

复杂场景下的群体活动识别是一项具有挑战性的任务，它涉及一组人在场景中的相互作用和相对空间位置关系。针对当前复杂场景下群组行为识别方法缺乏精细化设计以及没有充分利用个体间交互式特征的问题，提出了基于分块注意力机制和交互位置关系的网络框架，进一步考虑个体肢体语义特征，同时挖掘个体间交互特征相似性与行为一致性的关系。首先，采用原始视频序列和光流图像序列作为网络的输入，并引入一种分块注意力模块来细化个体的肢体运动特征；然后，将空间位置和交互式距离作为个体的交互特征；最后，将个体运动特征和空间位置关系特征融合为群体场景无向图的节点特征，并利用图卷积网络（GCN）进一步捕获全局场景下的活动交互，从而识别群体活动。实验结果表明，此框架在两个群组行为识别数据集（CAD和CAE）上分别取得了92.8%和97.7%的识别准确率，在CAD数据集上与成员关系图（ARG）和置信度能量循环网络（CERN）相比识别准确率分别提高了1.8个百分点和5.6个百分点，同时结合消融实验结果验证了所提算法有较高的识别精度。

关键词: 群组活动识别, 注意力机制, 交互关系, 视频理解, 图卷积网络

Abstract:

Group activity recognition is a challenging task in complex scenes， which involves the interaction and the relative spatial position relationship of a group of people in the scene. The current group activity recognition methods either lack the fine design or do not take full advantage of interactive features among individuals. Therefore， a network framework based on partitioned attention mechanism and interactive position relationship was proposed， which further considered individual limbs semantic features and explored the relationship between interaction feature similarity and behavior consistency among individuals. Firstly， the original video sequences and optical flow image sequences were used as the input of the network， and a partitioned attention feature module was introduced to refine the limb motion features of individuals. Secondly， the spatial position and interactive distance were taken as individual interaction features. Finally， the individual motion features and spatial position relation features were fused as the features of the group scene undirected graph nodes， and Graph Convolutional Network （GCN） was adopted to further capture the activity interaction in the global scene， thereby recognizing the group activity. Experimental results show that this framework achieves 92.8% and 97.7% recognition accuracy on two group activity recognition datasets （CAD （Collective Activity Dataset） and CAE （Collective Activity Extended Dataset））. Compared with Actor Relationship Graph （ARG） and Confidence Energy Recurrent Network （CERN） on CAD dataset， this framework has the recognition accuracy improved by 1.8 percentage points and 5.6 percentage points respectively. At the same time， the results of ablation experiment show that the proposed algorithm achieves better recognition performance.

Key words: group activity recognition, attention mechanism, interactive relationship, video understanding, Graph Convolutional Network (GCN)

中图分类号:

TP391.4

刘博, 卿粼波, 王正勇, 刘美, 姜雪. 基于分块注意力机制和交互位置关系的群组活动识别[J]. 计算机应用, 2022, 42(7): 2052-2057.

Bo LIU, Linbo QING, Zhengyong WANG, Mei LIU, Xue JIANG. Group activity recognition based on partitioned attention mechanism and interactive position relationship[J]. Journal of Computer Applications, 2022, 42(7): 2052-2057.

图/表 10

图1 群组行为识别的网络框架

Fig. 1 Network framework of group activity recognition

图2 分块注意力机制

Fig. 2 Partitioned attention mechanism

图3 空间交互关系特征模块

Fig. 3 Spatial interaction feature module

表1 不同方法在CAD数据集上的准确率 (%)

Tab. 1 Accuracies of different methods on CAD dataset

方法	骨干网络	准确率
HDTM^［3］	AlexNet	81.5
SBGAR^［16］	Inception-v3	86.1
CERN^［17］	VGG16	87.2
STAGNet^［14］	VGG16	89.1
ARG^［6］	Inception-v3	91.0
MMRR^［18］	Inception-v3	91.2
PRL^［19］	VGG16	91.4
本文方法	Inception-v3	92.8

表2 不同方法在CAE数据集上的准确率 (%)

Tab. 2 Accuracies of different methods on CAE dataset

方法	准确率
RSTV+MRF^［15］	82.0
Structure Inference Machines^［20］	90.2
Hypergraphs Model^［21］	95.1
本文方法	97.7

表3 本文方法与基线方法在CAD数据集上的准确率对比 (%)

Tab. 3 Accuracy comparison of the proposed method and baseline methods on CAD dataset

方法	类别准确率					MCA	MPCA
方法	Crossing	Waiting	Queuing	Walking	Talking	MCA	MPCA
Baseline1	66.76	88.85	100.00	87.36	100.00	88.29	88.594
Baseline2	61.97	88.55	98.90	91.82	100.00	88.50	88.248
Baseline3	74.65	89.31	100.00	90.45	98.90	90.46	90.662
Baseline4	85.92	83.97	100.00	87.73	100.00	91.11	91.524
本文方法	76.06	93.89	100.00	94.09	100.00	92.81	92.808

表4 本文方法与基线方法在CAE数据集上的准确率对比 (%)

Tab. 4 Accuracy comparison of the proposed method and baseline methods on CAE dataset

方法	准确率
Baseline1	90.5
Baseline2	93.6
Baseline3	95.7
Baseline4	96.3
本文方法	97.7

图4 不同方法在两个阶段的损失函数演化曲线

Fig. 4 Evolution curves of loss function for different methods in two stages

图5 CAD和CAE数据集的混淆矩阵

Fig. 5 Confusion matrices of CAD and CAE datasets

图6 本文方法的群组行为识别结果

Fig. 6 Group activity recognition results of the proposed method

参考文献 21

1	TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3D convolutional networks［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 4489-4497. 10.1109/iccv.2015.510
2	WANG L M， LI W， LI W， et al. Appearance-and-relation networks for video classification［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 1430-1439. 10.1109/cvpr.2018.00155
3	IBRAHIM M S， MURALIDHARAN S， DENG Z W， et al. A hierarchical deep temporal model for group activity recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1971-1980. 10.1109/cvpr.2016.217
4	CHOI W， SHAHID K， SAVARESE S. What are they doing？： collective activity classification using spatio-temporal relationship among people［C］// Proceedings of the IEEE 12th International Conference on Computer Vision Workshops. Piscataway： IEEE， 2009： 1282-1289. 10.1109/iccvw.2009.5457461
5	BAGAUTDINOV T， ALAHI A， FLEURET F， et al. Social scene understanding： end-to-end multi-person action localization and collective activity recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3425-3434. 10.1109/cvpr.2017.365
6	WU J C， WANG L M， WANG L， et al. Learning actor relation graphs for group activity recognition［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 9956-9966. 10.1109/cvpr.2019.01020
7	YAN R， TANG J H， SHU X B， et al. Participation-contributed temporal dynamic model for group activity recognition［C］// Proceedings of the 26th ACM International Conference on Multimedia. New York： ACM， 2018： 1292-1300. 10.1145/3240508.3240572
8	杨兴明，范楼苗. 基于区域特征融合网络的群组行为识别［J］. 模式识别与人工智能， 2019， 32（12）： 1116-1121.
	YANG X M， FAN L M. Group activity recognition based on regional feature fusion network［J］. Pattern Recognition and Artificial Intelligence， 2019， 32（12）： 1116-1121.
9	龚玉婷. 基于注意力机制与深度学习网络的群组行为识别方法研究［D］. 青岛：青岛科技大学， 2019：28-29.
	GONG Y T. Group activity recognition algorithm research based on attention mechanism and deep learning network［D］. Qingdao： Qingdao University of Science and Technology， 2019：28-29.
10	SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2818-2826. 10.1109/cvpr.2016.308
11	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2980-2988. 10.1109/iccv.2017.322
12	LU L H， DI H J， LU Y， et al. Spatio-temporal attention mechanisms based model for collective activity recognition［J］. Signal Processing： Image Communication， 2019， 74： 162-174. 10.1016/j.image.2019.02.012
13	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22）［2020-11-16］..
14	QI M S， QIN J， LI A N， et al. StagNet： an attentive semantic RNN for group activity recognition［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11214. Cham： Springer， 2018： 104-120.
15	CHOI W， SHAHID K， SAVARESE S. Learning context for collective activity recognition［C］// Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2011： 3273-3280. 10.1109/cvpr.2011.5995707
16	LI X， CHUAH M C. SBGAR： semantics based group activity recognition［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2895-2904. 10.1109/iccv.2017.313
17	SHU T M， TODOROVIC S， ZHU S C. CERN： confidence-energy recurrent network for group activity recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4255-4263. 10.1109/cvpr.2017.453
18	XU D Z， FU H， WU L F， et al. Group activity recognition by using effective multiple modality relation representation with temporal-spatial attention［J］. IEEE Access， 2020， 8： 65689-65698. 10.1109/access.2020.2979742
19	HU G Y， CUI B， HE Y， et al. Progressive relation learning for group activity recognition［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 977-986. 10.1109/cvpr42600.2020.00106
20	DENG Z W， VAHDAT A， HU H X， et al. Structure inference machines： recurrent neural networks for analyzing relations in group activity recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 4772-4781. 10.1109/cvpr.2016.516
21	LI W B， CHANG M C， LYU S W. Who did what at where and when： simultaneous multi-person tracking and activity recognition［EB/OL］. （2018-07-03）［2020-10-09］.. 10.1016/j.cviu.2021.103301

[1]	刘万军, 王佳铭, 曲海成, 董利兵, 曹欣宇. 基于频谱空间域特征注意的音乐流派分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2072-2077.
[2]	韩泽芳, 张雄, 上官宏, 韩兴隆, 韩静, 奉刚, 崔学英. 用于低剂量CT降噪的伪影感知生成对抗网络[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2301-2310.
[3]	左亚尧, 陈皓宇, 陈致然, 洪嘉伟, 陈坤. 融合多语义特征的命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2001-2008.
[4]	秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2184-2191.
[5]	黄诚, 赵倩锐. 基于语言模型词嵌入和注意力机制的敏感信息检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2009-2014.
[6]	李晓寒, 王俊, 贾华丁, 萧刘. 基于多重注意力机制的图神经网络股市波动预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2265-2273.
[7]	王海起, 王志海, 李留珂, 孔浩然, 王琼, 徐建波. 基于网格划分的城市短时交通流量时空预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2274-2280.
[8]	凡文俊, 赵曙光, 郭力争. 基于改进RetinaNet的船舶检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2248-2255.
[9]	张杨, 郝江波. 基于注意力机制和残差网络的恶意代码检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1708-1715.
[10]	苏珊, 张杨, 张冬雯. 基于深度学习的耦合度相关代码坏味检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1702-1707.
[11]	周嘉凡, 杜岳峰, 宋宝燕, 李晓光, 赵阿珠, 肖绪界. 基于元路径注意力机制的MOOC视频推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1808-1813.
[12]	文敏, 王荣存, 姜淑娟. 基于关系图卷积网络的源代码漏洞检测[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1814-1821.
[13]	陈代丽, 许国良. 基于注意力机制学习域内变化的跨域行人重识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1391-1397.
[14]	庄屹, 赵海涛. 面向三维点云单目标跟踪的提案聚合网络[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1407-1416.
[15]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.

基于分块注意力机制和交互位置关系的群组活动识别

Group activity recognition based on partitioned attention mechanism and interactive position relationship

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 21

相关文章 15

编辑推荐

Metrics