受腹侧通路启发的脂肪肝超声图像分类方法VPNet

doi:10.11772/j.issn.1001-9081.2024020185

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (2): 662-669.DOI: 10.11772/j.issn.1001-9081.2024020185

• 多媒体计算与计算机仿真 • 上一篇

受腹侧通路启发的脂肪肝超声图像分类方法VPNet

丁丹妮¹, 彭博², 吴锡¹()

^1.成都信息工程大学计算机学院，成都 610225
^2.西南交通大学计算机与人工智能学院，成都 611756

收稿日期:2024-02-27 修回日期:2024-05-17 接受日期:2024-05-27 发布日期:2024-07-19 出版日期:2025-02-10
通讯作者: 吴锡
作者简介:丁丹妮（1999—），女，湖北松滋人，硕士研究生，主要研究方向：图像处理、生物视觉
彭博（1980—），女，四川成都人，教授，博士，CCF会员，主要研究方向：计算机视觉、模式识别；
基金资助:
四川省科技创新苗子工程培育项目(MZGC20230077);四川省重点研发计划项目(2023YFG0125);四川省中央引导地方科技发展专项(2022ZYD0117)

VPNet： fatty liver ultrasound image classification method inspired by ventral pathway

Danni DING¹, Bo PENG², Xi WU¹()

^1.School of Computer Science，Chengdu University of Information Technology，Chengdu Sichuan 610225，China
^2.School of Computing and Artificial Intelligence，Southwest Jiaotong University，Chengdu Sichuan 611756，China

Received:2024-02-27 Revised:2024-05-17 Accepted:2024-05-27 Online:2024-07-19 Published:2025-02-10
Contact: Xi WU
About author:DING Danni， born in 1999， M. S. candidate. Her research interests include image processing， biological vision.
PENG Bo， born in 1980， Ph. D.， professor. Her research interests include computer vision， pattern recognition.
Supported by:
Cultivation Project of Sichuan Scientific and Technological Innovation Seedlings Project(MZGC20230077);Key Research and Development Program in Sichuan Province(2023YFG0125);Sichuan Provincial Central Guidance for Local Science and Technology Development Special Project(2022ZYD0117)

摘要/Abstract

摘要：

考虑腹侧通路在视觉信息处理中的核心作用，提出一种基于腹侧通路的脂肪肝分类方法。通过整合卷积神经网络（CNN）和生物视觉认知模型，模拟从初级视觉皮层（V1）到下颞叶皮层（IT Cortex）的层次化信息加工流程，从而构建全新的神经网络架构——VPNet （Ventral Pathway Network）。此外，受生物视觉机制中非经典感受野（nCRF）抑制机制在背景噪声抑制方面的启发，模拟该机制以应对超声图像中斑点噪声的挑战，进而增强模型的特征识别能力。在自制数据集上进行四类别的脂肪肝变异程度识别时，VPNet达到88.37%的准确率；在公开数据集上进行二类别的脂肪肝诊断时，VPNet的准确率、敏感性和特异性均达到100%的最佳性能。实验结果表明，与已知公开数据集研究中较优的ResNet101-SVM相比，VPNet的准确率分别在自制数据集和公开数据集上提升了11.63和0.7个百分点，证明了所提方法在脂肪肝疾病诊断中的有效性。

关键词: 超声图像分类, 脂肪肝变性, 生物视觉, 腹侧通路, 非经典感受野抑制, 深度学习

Abstract:

An innovative fatty liver classification method based on ventral pathway was developed due to the crucial role of ventral pathway in visual information processing. By integrating Convolutional Neural Network （CNN） and biological visual cognition model， hierarchical information processing process from primary visual cortex （V1） to Inferior Temporal Cortex （IT Cortex） was simulated， resulting in the creation of a new neural network architecture named VPNet （Ventral Pathway Network）. Besides， inspired by non-Classical Receptive Field （nCRF） inhibition mechanism in biological vision， which aids in background noise suppression， this mechanism was simulated to address the challenge of speckle noise in ultrasound images， thereby enhancing the feature recognition capability of the model. An accuracy of 88.37% was achieved by VPNet in identifying four categories of fatty liver variation degree on the self-made dataset， and best performance of 100% accuracy， sensitivity， and specificity was achieved by VPNet in diagnosing two categories of fatty liver on the public dataset. The experimental results show that， compared with the superior ResNet101-SVM in the existing public dataset research， the accuracy of VPNet increases by 11.63 and 0.7 percentage points on the self-made dataset and public dataset respectively， which proves the effectiveness of the proposed method in the diagnosis of fatty liver diseases.

Key words: ultrasound image classification, fatty liver degeneration, biological vision, ventral pathway, non-Classical Receptive Field (nCRF) inhibition, deep learning

中图分类号:

TP391.4

丁丹妮, 彭博, 吴锡. 受腹侧通路启发的脂肪肝超声图像分类方法VPNet[J]. 计算机应用, 2025, 45(2): 662-669.

Danni DING, Bo PENG, Xi WU. VPNet： fatty liver ultrasound image classification method inspired by ventral pathway[J]. Journal of Computer Applications, 2025, 45(2): 662-669.

图/表 8

参考文献 48

1	LEE D H. Imaging evaluation of non-alcoholic fatty liver disease： focused on quantification［J］. Clinical and Molecular Hepatology， 2017， 23（4）： 290-301.
2	YANG J， FAN J， AI D， et al. Local statistics and non-local mean filter for speckle noise reduction in medical ultrasound image［J］. Neurocomputing， 2016， 195： 88-95.
3	GUAN F， TON P， GE S， et al. Anisotropic diffusion filtering for ultrasound speckle reduction［J］. SCIENCE CHINA Technological Sciences， 2014， 57（3）： 607-614.
4	BALOCCO S， GATTA C， PUJOL O， et al. SRBF： speckle reducing bilateral filtering［J］. Ultrasound in Medicine and Biology， 2010， 36（8）： 1353-1363.
5	DAMODARAN N， RAMAMURTHY S， VELUSAMY S， et al. Speckle noise reduction in ultrasound biomedical B-scan images using discrete topological derivative［J］. Ultrasound in Medicine and Biology， 2012， 38（2）： 276-286.
6	GAI S， ZHANG B， YANG C， et al. Speckle noise reduction in medical ultrasound image using monogenic wavelet and Laplace mixture distribution［J］. Digital Signal Processing， 2018， 72： 192-207.
7	RHYOU S Y， YOO J C. Cascaded deep learning neural network for automated liver steatosis diagnosis using ultrasound images［J］. Sensors， 2021， 21（16）： No.5304.
8	ZHANG L， ZHU H， YANG T. Deep neural networks for fatty liver ultrasound images classification［C］// Proceedings of the 2019 Chinese Control and Decision Conference. Piscataway： IEEE， 2019： 4641-4646.
9	WU C H， HUNG C L， LEE T Y， et al. Fatty liver diagnosis using deep learning in ultrasound image［C］// Proceedings of the 2022 IEEE International Conference on Digital Health. Piscataway： IEEE， 2022： 185-192.
10	KARAGOZ M A， AKAY B， BASTURK A， et al. An unsupervised transfer learning model based on convolutional auto encoder for non-alcoholic steatohepatitis activity scoring and fibrosis staging of liver histopathological images［J］. Neural Computing and Applications， 2023， 35（14）： 10605-10619.
11	BANZATO T， BONSEMBIANTE F， ARESU L， et al. Use of transfer learning to detect diffuse degenerative hepatic diseases from ultrasound images in dogs： a methodological study［J］. The Veterinary Journal， 2018， 233： 35-40.
12	BYRA M， STYCZYNSKI G， SZMIGIELSKI C， et al. Transfer learning with deep convolutional neural network for liver steatosis assessment in ultrasound images［J］. International Journal of Computer Assisted Radiology and Surgery， 2018， 13（12）： 1895-1903.
13	SAHA S， SHEIKH N. Ultrasound image classification using ACGAN with small training dataset［C］// Proceedings of the 2020 International Symposium on Signal and Image Processing， AISC 1333. Singapore： Springer， 2021： 85-93.
14	张顺，龚怡宏，王进军. 深度卷积神经网络的发展及其在计算机视觉领域的应用［J］. 计算机学报， 2019， 42（3）：453-482.
	ZHANG S， GONG Y H， WANG J J. Development of deep convolutional neural network and tts applications in computer vision［J］. Chinese Journal of Computers， 2019， 42（3）： 453-482.
15	CHE H， BROWN L G， FORAN D J， et al. Liver disease classification from ultrasound using multi-scale CNN［J］. International Journal of Computer Assisted Radiology and Surgery， 2021， 16（9）： 1537-1548.
16	RIESENHUBER M， POGGIO T. Hierarchical models of object recognition in cortex［J］. Nature Neuroscience， 1999， 2（11）：1019-1025.
17	杨曦，闫杰，王文，等. 脑启发的视觉目标识别模型研究与展望［J］. 计算机工程与应用， 2022， 58（7）：1-20.
	YANG X， YAN J， WANG W， et al. Research and Prospect of brain-inspired models for visual object recognition［J］. Computer Engineering and Applications， 2022， 58（7）： 1-20.
18	ROLLS E T， MILWARD T. A model of invariant object recognition in the visual system： learning rules， activation functions， lateral inhibition， and information-based performance measures［J］. Neural Computation， 2000， 12（11）： 2547-2572.
19	姚行中，鲁统伟，胡汉平. 基于灵长类视觉皮层的目标识别模型综述［J］. 模式识别与人工智能， 2009， 22（4）：581-588.
	YAO X Z， LU T W， HU H P. Object recognition models based on primate visual cortex： a review［J］. Pattern Recognition and Artificial Intelligence， 2009， 22（4）： 581-588.
20	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.
21	LE Q V. Building high-level features using large scale unsupervised learning［C］// Proceedings of the 2013 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2013： 8595-8598.
22	ZWEIG S， WOLF L. InterpoNet， a brain inspired neural network for optical flow dense interpolation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6363-6372.
23	YU C P， LIU H， SAMARAS D， et al. Modelling attention control using a convolutional neural network designed after the ventral visual pathway［J］. Visual Cognition， 2019， 27（5/6/7/8）： 416-434.
24	KARIMI-ROUZBAHANI H， BAGHERI N， EBRAHIMPOUR R. Invariant object recognition is a personalized selection of invariant features in humans， not simply explained by hierarchical feed-forward vision models［J］. Scientific Reports， 2017， 7： No.14402.
25	田媚，罗四维，齐英剑，等. 基于视觉系统“What”和“Where”通路的图像显著区域检测［J］. 模式识别与人工智能， 2006， 19（2）：155-160.
	TIAN M， LUO S W， QI Y J， et al. Detecting salient regions based on “What” and “Where” pathways of visual systems［J］. Pattern Recognition and Artificial Intelligence， 2006， 19（2）： 155-160.
26	NOTHDURFT H C， GALLANT J L， VAN ESSEN D C. Response modulation by texture surround in primate area V1： correlates of “popout” under anesthesia［J］. Visual Neuroscience， 1999， 16（1）： 15-34.
27	DENG S， LIU N， HUO H， et al. Contour detection based on multi-scale spatial inhibition and contextual modulation［C］// Proceedings of the 7th International Conference on Advanced Computational Intelligence. Piscataway： IEEE， 2015： 372-377.
28	GOODALE M A， MILNER A D. Separate visual pathways for perception and action［J］. Trends in Neurosciences， 1992， 15（1）： 20-25.
29	KAR K， KUBILIUS J， SCHMIDT K， et al. Evidence that recurrent circuits are critical to the ventral stream’s execution of core object recognition behavior［J］. Nature Neuroscience， 2019， 22（6）： 974-983.
30	FIEHLER K， BURKE M， BIEN S， et al. The human dorsal action control system develops in the absence of vision［J］. Cerebral Cortex， 2009， 19（1）： 1-12.
31	孙莹，孙洵伟，王一帆，等. 跨通道迁移及其认知神经机制［J］. 生物化学与生物物理进展， 2024， 51（1）：94-110.
	SUN Y， SUN X W， WANG Y F， et al. Crossmodal transfer and its cognitive neural mechanisms［J］. Progress in Biochemistry and Biophysics， 2024， 51（1）： 94-110.
32	林点，潘理，易平. 面向图像识别的卷积神经网络鲁棒性研究进展［J］. 网络与信息安全学报， 2022， 8（3）：111-122.
	LIN D， PAN L， YI P. Research on the robustness of convolutional neural networks in image recognition［J］. Chinese Journal of Network and Information Security， 2022， 8（3）： 111-122.
33	李冰. 灵长类视觉目标识别的神经机制研究进展［J］. 中国药理学与毒理学杂志， 2017， 31（11）：1057-1062.
	LI B. Mechanisms underlying visual object recognition in primates： research progress［J］. Chinese Journal of Pharmacology and Toxicology， 2017， 31（11）： 1057-1062.
34	CADIEU C， KOUH M， PASUPATHY A， et al. A model of V4 shape selectivity and invariance［J］. Journal of Neurophysiology， 2007， 98（3）： 1733-1750.
35	王伟锋，金杰，陈景明. 基于感受野的快速小目标检测算法［J］. 激光与光电子学进展， 2020， 57（2）： No.021501.
	WANG W F， JIN J， CHEN J M. Rapid detection algorithm for small objects based on receptive field block［J］. Laser and Optoelectronics Progress， 2020， 57（2）： No.021501.
36	郑雅菁，余肇飞，黄铁军. 生物视觉系统的神经网络编码模型综述［J］. 中国图象图形学报， 2023， 28（2）：335-357.
	ZHENG Y J， YU Z F， HUANG T J. A literature review for neural networks-based encoding models of biological visual system［J］. Journal of Image and Graphics， 2023， 28（2）： 335-357.
37	HASANI H， BAGHSHAH M S， AGHAJAN H. Surround modulation： a bio-inspired connectivity structure for convolutional neural networks［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 15903-15914.
38	窦燕，康锦华，王丽盼. 结合人眼微动的新型非经典感受野模型［J］. 光学学报， 2019， 39（3）： No.0310002.
	DOU Y， KANG J H， WANG L P. Novel non-classical receptive field model combined with human eye fretting［J］. Acta Optica Sinica， 2019， 39（3）： No.0310002.
39	覃溪，李兴. 非经典感受野的轮廓检测模型研究［J］. 中阿科技论坛（中英文）， 2020（9）：120-123.
	QING X， LI X. Contour detection model based on non-classical receptive field［J］. China-Arab Science and Technology Forum， 2020（9）： 120-123.
40	LI C Y， LI W. Extensive integration field beyond the classical receptive field of cat’s striate cortical neurons — classification and tuning properties［J］. Vision Research， 1994， 34（18）： 2337-2355.
41	GRIGORESCU C， PETKOV N， WESTENBERG M A. Contour detection based on nonclassical receptive field inhibition［J］. IEEE Transactions on Image Processing， 2003， 12（7）： 729-739.
42	TANG Q， SANG N， LIU H. Contrast-dependent surround suppression models for contour detection［J］. Pattern Recognition， 2016， 60： 51-61.
43	TANG Q， SANG N， LIU H. Learning nonclassical receptive field modulation for contour detection［J］. IEEE Transactions on Image Processing， 2020， 29： 1192-1203.
44	TAN M， LE Q V. EfficientNet： rethinking model scaling for convolutional neural networks［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 6105-6114.
45	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［EB/OL］. ［2023-10-22］..
46	DING X， ZHANG X， MA N， et al. RepVGG： making VGG-style ConvNets great again［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13728-13737.
47	HO T K. Random decision forests［C］// Proceedings of the 3rd International Conference on Document Analysis and Recognition — Volume 1. Piscataway： IEEE， 1995： 278-282.
48	ZAMANIAN H， MOSTAAR A， AZADEH P， et al. Implementation of combinational deep learning algorithm for non-alcoholic fatty liver classification in ultrasound images［J］. Journal of Biomedical Physics and Engineering， 2021， 11（1）： 73-84.

层	分支结构		Parameter
Layer1	Conv（3×3）		（3，32，3×3，2）
	NcrfI Block	CRF Block	（32，64，3×3，2）
	NcrfI Block	nCRF Block	（64，64，5×5，1）-（64，64，3×3，1）
	MaxPool		（64，64，1×1，2）
Layer2	Conv（5×5）		（64，128，5×5，2）
	Conv（5×5）		（128，128，5×5，2）
	MaxPool		（128，128，1×1，2）
Layer3	Conv（7×7）		（128，256，7×7，2）
	Conv（7×7）		（256，256，7×7，2）
	MaxPool		（256，256，1×1，2）
Layer Cla	Linear		feature_in=2 304，feature_out=4

层	分支结构		Parameter
Layer1	Conv（3×3）		（3，32，3×3，2）
	NcrfI Block	CRF Block	（32，64，3×3，2）
	NcrfI Block	nCRF Block	（64，64，5×5，1）-（64，64，3×3，1）
	MaxPool		（64，64，1×1，2）
Layer2	Conv（5×5）		（64，128，5×5，2）
	Conv（5×5）		（128，128，5×5，2）
	MaxPool		（128，128，1×1，2）
Layer3	Conv（7×7）		（128，256，7×7，2）
	Conv（7×7）		（256，256，7×7，2）
	MaxPool		（256，256，1×1，2）
Layer Cla	Linear		feature_in=2 304，feature_out=4

方法	准确率/%	WP	WR	WF1
original	74.42	0.79	0.74	0.75
VPNet-VP	81.40	0.82	0.81	0.81
VPNet-NcrfI	81.40	0.85	0.81	0.81
VPNet	88.37	0.89	0.88	0.88

方法	准确率/%	WP	WR	WF1
original	74.42	0.79	0.74	0.75
VPNet-VP	81.40	0.82	0.81	0.81
VPNet-NcrfI	81.40	0.85	0.81	0.81
VPNet	88.37	0.89	0.88	0.88

方法	准确率/%	WP	WR	WF1
GLCM-SVM^［12］	60.47	0.62	0.60	0.60
InceptionResNetv2-SVM^［12］	72.09	0.79	0.72	0.73
ResNet101-SVM^［48］	76.74	0.79	0.77	0.77
随机森林算法^［47］	65.12	0.69	0.65	0.65
EffficientNet^［44］	76.74	0.79	0.77	0.77
ViT^［45］	69.77	0.72	0.67	0.65
RepVGG^［46］	79.07	0.80	0.79	0.79
VPNet	88.37	0.89	0.88	0.88

受腹侧通路启发的脂肪肝超声图像分类方法VPNet

VPNet： fatty liver ultrasound image classification method inspired by ventral pathway

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 48

相关文章 15

编辑推荐

Metrics

方法	Accuracy	Sensitivity	Specificity
GLCM-SVM^［12］ϕ	85.4	84.2	88.2
InceptionResNetv2-SVM^［12］ϕ	96.3	100.0	88.2
ResNet101-SVM^［48］ϕ	99.3	98.6	100.0
随机森林算法^［47］	100.0	100.0	100.0
EfficientNet^［44］	100.0	100.0	100.0
ViT^［45］	90.9	82.0	95.0
RepVGG^［46］	100.0	100.0	100.0
VPNet	100.0	100.0	100.0

[1]	邓淼磊, 阚雨培, 孙川川, 徐海航, 樊少珺, 周鑫. 基于深度学习的网络入侵检测系统综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 453-466.
[2]	余松森, 林智凡, 薛国鹏, 徐建宇. 基于改进YOLOv8的轻量级大幅面瓷砖缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 647-654.
[3]	张天骐, 谭霜, 沈夕文, 唐娟. 融合注意力机制和多尺度特征的图像水印方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 616-623.
[4]	洪梓榕, 包广清. 基于集成学习的雷达自动目标识别综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 371-382.
[5]	张众维, 王俊, 刘树东, 王志恒. 多尺度特征融合与加权框融合的遥感图像目标检测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 633-639.
[6]	张思齐, 张金俊, 王天一, 秦小林. 基于信号时态逻辑的深度时序事件检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 90-97.
[7]	郑宗生, 杜嘉, 成雨荷, 赵泽骋, 张月维, 王绪龙. 用于红外-可见光图像分类的跨模态双流交替交互网络[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 275-283.
[8]	徐欣然, 张绍兵, 成苗, 张洋, 曾尚. 基于多路层次化混合专家模型的轴承故障诊断方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 59-68.
[9]	梁杰涛, 罗兵, 付兰慧, 常青玲, 李楠楠, 易宁波, 冯其, 何鑫, 邓辅秦. 基于坐标几何采样的点云配准方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 214-222.
[10]	晏燕, 钱星颖, 闫鹏斌, 杨杰. 位置大数据的联邦学习统计预测与差分隐私保护方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 127-135.
[11]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[12]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[13]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[14]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[15]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.