基于特征融合和通道信息补偿的中草药细粒度图像分类

doi:10.11772/j.issn.1001-9081.2025050632

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (5): 1677-1683.DOI: 10.11772/j.issn.1001-9081.2025050632

• 前沿与综合应用 • 上一篇

基于特征融合和通道信息补偿的中草药细粒度图像分类

刘馨瑶¹, 梁军¹, 龙嘉濠¹, 颜仁梁²()

^1.华南师范大学人工智能学院，广东佛山 528225
^2.广东食品药品职业学院中药学院，广州 510520

收稿日期:2025-06-09 修回日期:2025-07-10 接受日期:2025-07-18 发布日期:2025-08-01 出版日期:2026-05-10
通讯作者: 颜仁梁
作者简介:刘馨瑶（1998—），女，山西大同人，硕士研究生，主要研究方向：图像分类、模式识别
梁军（1983—），男，江西高安人，讲师，博士，主要研究方向：图论、人工智能应用
龙嘉濠（2000—），男，广东广州人，硕士研究生，主要研究方向：深度学习、视频防抖
基金资助:
广东省基础与应用基础研究基金资助项目(2022A1515140110);佛山市高等教育高层次人才项目(303480);广东食品药品职业学院校级质量工程资助项目(2024JG10);广东食品药品职业学院校级自然科学项目(2023ZR03)

Fine-grained Chinese herbal medicine image classification based on feature fusion and channel information compensation

Xinyao LIU¹, Jun LIANG¹, Jiahao LONG¹, Renliang YAN²()

^1.School of Artificial Intelligence，South China Normal University，Foshan Guangdong 528225，China
^2.School of Traditional Chinese Medicine，Guangdong Food and Drug Vocational College，Guangzhou Guangdong 510520，China

Received:2025-06-09 Revised:2025-07-10 Accepted:2025-07-18 Online:2025-08-01 Published:2026-05-10
Contact: Renliang YAN
About author:LIU Xinyao， born in 1998， M. S. candidate. Her research interests include image classification， pattern recognition.
LIANG Jun， born in 1983， Ph. D.， lecturer. His research interests include graph theory， application of artificial intelligence.
LONG Jiahao， born in 2000， M. S. candidate. His research interests include deep learning， video stabilization.
Supported by:
Guangdong Basic and Applied Basic Research Foundation(2022A1515140110);Foshan Higher Education High-Level Talent Project(303480);Guangdong Food and Drug Vocational College College-level Quality Project(2024JG10);Guangdong Food and Drug Vocational College College-level Natural Science Project(2023ZR03)

摘要/Abstract

摘要：

在传统中草药细粒度图像分类领域，缺乏一个全面且平衡的数据集。为推进中草药细粒度图像识别研究，构建了Herb-150细粒度中草药数据集，该数据集样本分布均衡且每个类别包含数量相当的样本。针对中草药细粒度图像识别任务中深层神经网络易丢失判别性细节特征的问题，提出细粒度特征增强的CHMRN（Chinese Herbal Medicine Recognition Network），通过引入自顶向下的特征融合模块整合多尺度语义信息捕捉全面的上下文特征；同时，设计自底向上的通道特征信息补偿模块，以增强细粒度特征的表达能力，确保准确捕捉中药类别之间的细微差异。实验结果表明，CHMRN在Herb-150数据集上的准确率达到93.910%，优于对比的CMAL-Net（Cross-layer Mutual Attention Learning Network）等主流模型，验证了它在细粒度分类任务中的有效性。CHMRN不仅提高了传统中药识别的准确性，还能为类似的细粒度图像分类应用提供参考。

关键词: 深度学习, 细粒度图像分类, 中草药, 特征提取, 特征融合

Abstract:

In the field of fine-grained image classification of Chinese herbal medicine， the lack of a comprehensive and balanced dataset has been a major obstacle. To advance research on fine-grained image recognition of Chinese herbal medicine， a Herb-150 fine-grained Chinese herbal medicine dataset was constructed， with balanced sample distribution and comparable counts per category. To address the issue of deep neural networks easily losing discriminative， detailed features in this task， a fine-grained feature-enhanced CHMRN （Chinese Herbal Medicine Recognition Network） was proposed. By introducing a top-down feature fusion module， it integrated multi-scale semantic information to capture comprehensive contextual features. Additionally， a bottom-up channel feature information compensation module was designed to enhance the expressive power of fine-grained features， ensuring the accurate capture of subtle differences among traditional Chinese medicine categories. Experimental results showed that CHMRN achieved an accuracy of 93.910% on the Herb-150 dataset， outperforming mainstream models such as CMAL-Net （Cross-layer Mutual Attention Learning Network）， validating its effectiveness in fine-grained classification tasks. The CHMRN not only improves the accuracy of traditional Chinese medicine identification， but also provides valuable references for similar fine-grained image classification applications.

Key words: deep learning, fine-grained image classification, Chinese herbal medicine, feature extraction, feature fusion

中图分类号:

TP183

刘馨瑶, 梁军, 龙嘉濠, 颜仁梁. 基于特征融合和通道信息补偿的中草药细粒度图像分类[J]. 计算机应用, 2026, 46(5): 1677-1683.

Xinyao LIU, Jun LIANG, Jiahao LONG, Renliang YAN. Fine-grained Chinese herbal medicine image classification based on feature fusion and channel information compensation[J]. Journal of Computer Applications, 2026, 46(5): 1677-1683.

图/表 10

图1 ConvNeXt V2反瓶颈结构［2］

Fig. 1 Inverted bottleneck structure of ConvNeXt V2［2］

图2 FPN的结构［27］

Fig. 2 Structure of FPN［27］

图3 CHMRN的结构

Fig. 3 Structure of CHMRN

图4 通道特征信息补偿卷积块的结构

Fig. 4 Structure of channel feature information compensation convolution block

表1 软硬件环境

Tab. 1 Hardware and software environment

名称	配置环境
CPU	Intel Xeon Silver 4210R CPU @ 2.40 GHz
GPU	NVIDIA Quadro RTX A5000 * 2
操作系统	Ubuntu-22.04.1 （64位）
显存	24 GB
PyTorch版本	1.12.1
torchvision版本	0.13.1
CUDA版本	11.6

图5 Herb-150数据集中部分类别的示例图像

Fig. 5 Example images of some categories from Herb-150 dataset

图6 各类草药自身差距细节图

Fig. 6 Detail chart of differences among various herbs

表2 不同模型在Herb-150数据集上的性能对比

Tab. 2 Performance comparison of different models on Herb-150 dataset

模型	准确率/%	召回率/%	F1分数/%
CMAL-Net^［28］	90.041	78	75
ConvNeXt^［25］	88.814	82	79
PIM^［32］	93.498	86	84
IELT^［14］	92.922	93	89
SR-GNN^［34］	82.317	71	68
I2-HOFI^［30］	93.642	89	87
SIM-OFE^［31］	93.257	86	83
CHMRN	93.910	91	88

图7 各模型的参数量以及计算复杂度对比

Fig. 7 Comparison of number of parameters and computational complexity across models

表3 CHMRN的消融实验结果

Tab. 3 Ablation experimental results of CHMRN

自顶向下的特征

融合模块

自底向上的通道

特征信息补偿模块

93.91

参考文献 34

[1]	LI X， HAN M， SONG X， et al. Characteristics and comparative study of medicinal materials between China and India based on data mining from literatures［J］. Journal of Ethnopharmacology， 2024， 333： No.118409.
[2]	赵戈伟，许升全，谢娟英. DL-MAML：一种新的蝴蝶物种自动识别模型［J］. 计算机研究与发展， 2024， 61（3）： 674-684.
	ZHAO G W， XU S Q， XIE J Y. DL-MAML： an innovative model for automatically identifying butterfly species［J］. Journal of Computer Research and Development， 2024， 61（3）： 674-684.
[3]	余鹰，危伟，汤洪，等. 多层次知识自蒸馏联合多步骤训练的细粒度图像识别［J］. 计算机研究与发展， 2023， 60（8）： 1834-1845.
	YU Y， WEI W， YANG H， et al. Multi-stage training with multi-level knowledge self-distillation for fine-grained image recognition［J］. Journal of Computer Research and Development， 2023， 60（8）： 1834-1845.
[4]	WEI X S， SONG Y Z， AODHA O MAC， et al. Fine-grained image analysis with deep learning： a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（12）： 8927-8948.
[5]	VAN DER KLIS R， ALANIZ S， MANCINI M， et al. PDiscoNet： semantically consistent part discovery for fine-grained recognition［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023： 1866-1876.
[6]	WANG J， XU Q， JIANG B， et al. Multi-granularity part sampling attention for fine-grained visual classification［J］. IEEE Transactions on Image Processing， 2024， 33： 4529-4542.
[7]	YU X， ZHAO Y， GAO Y. SPARE： self-supervised part erasing for ultra-fine-grained visual categorization［J］. Pattern Recognition， 2022， 128： No.108691.
[8]	ZHU L， CHEN T， YIN J， et al. Learning Gabor texture features for fine-grained recognition［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023： 1621-1631.
[9]	MA Z， WU X， CHU A， et al. SwinFG： a fine-grained recognition scheme based on Swin Transformer［J］. Expert Systems with Applications， 2024， 244： No.123021.
[10]	张文丽，宋威. 基于特征融合与集成学习的细粒度图像分类［J］. 激光与光电子学进展， 2024， 61（22）： No.2237010.
	ZHANG W L， SONG W. Fine-grained image classification based on feature fusion and ensemble learning［J］. Laser and Optoelectronics Progress， 2024， 61（22）： No.2237010.
[11]	BAI Q， SUN Z， WANG K， et al. MPSA： multi-position supervised soft attention-based convolutional neural network for histopathological image classification［J］. Expert Systems with Applications， 2024， 253： No.124336.
[12]	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［EB/OL］. ［2023-11-26］. .
[13]	ZHANG Z C， CHEN Z D， WANG Y， et al. A Vision Transformer for fine-grained classification by reducing noise and enhancing discriminative information［J］. Pattern Recognition， 2024， 145： No.109979.
[14]	XU Q， WANG J， JIANG B， et al. Fine-grained visual classification via internal ensemble learning transformer［J］. IEEE Transactions on Multimedia， 2023， 25： 9015-9028.
[15]	HE J， CHEN J N， LIU S， et al. TransFG： a Transformer architecture for fine-grained recognition［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 852-860.
[16]	XIA Z， PAN X， SONG S， et al. Vision Transformer with deformable attention［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 4784-4793.
[17]	SHU Y， VAN DEN HENGEL A， LIU L. Learning common rationale to improve self-supervised representation for fine-grained visual recognition problems［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 11392-11401.
[18]	SASTRY S， KHANAL S， DHAKAL A， et al. BirdSAT： cross-view contrastive masked autoencoders for bird species classification and mapping［C］// Proceedings of the 2024 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2024： 7136-7145.
[19]	PAUL D， CHOWDHURY A， XIONG X， et al. A simple interpretable transformer for fine-grained image classification and analysis［EB/OL］. ［2024-11-22］. .
[20]	LIU D. Progressive multi-task anti-noise learning and distilling frameworks for fine-grained vehicle recognition［J］. IEEE Transactions on Intelligent Transportation Systems， 2024， 25（9）： 10667-10678 .
[21]	WANG S， WANG Z， LI H， et al. Accurate fine-grained object recognition with structure-driven relation graph networks［J］. International Journal of Computer Vision， 2024， 132（1）： 137-160.
[22]	CHEN H， ZHANG H， LIU C， et al. FET-FGVC： feature-enhanced transformer for fine-grained visual classification［J］. Pattern Recognition， 2024， 149： No.110265.
[23]	LI T， YANG J， LI C， et al. Deep recognition of Chinese herbal medicines based on a Caputo fractional order convolutional neural network［C］// Proceedings of the 2023 International Workshop on Internet of Things of Big Data for Healthcare， CCIS 2019. Cham： Springer， 2024： 41-51.
[24]	CHE K， LIANG Y， ZENG Y， et al. Revolutionizing traditional Chinese medicine image classification and recognition with an improved YOLOv5［C］// Proceedings of the 2nd International Conference on Health Big Data and Intelligent Healthcare. Piscataway： IEEE， 2023： 1-5.
[25]	LIU Z， MAO H， WU C Y， et al. A ConvNet for the 2020s［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 11966-11976.
[26]	WOO S， DEBNATH S， HU R， et al. ConvNeXt V2： co-designing and scaling ConvNets with masked autoencoders［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 16133-16142.
[27]	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944.
[28]	LIU D， ZHAO L， WANG Y， et al. Learn from each other to classify better： cross-layer mutual attention learning for fine-grained visual classification［J］. Pattern Recognition， 2023， 140： No.109550.
[29]	DEHGHAN A， MASOOD S Z， SHU G， et al. View independent vehicle make， model and color recognition using convolutional neural network［EB/OL］. ［2024-03-25］. .
[30]	SIKDAR A， LIU Y， KEDARISETTY S， et al. Interweaving insights： high-order feature interaction for fine-grained visual recognition［J］. International Journal of Computer Vision， 2025， 133（4）： 1755-1779.
[31]	SUN H， HE X， XU J， et al. SIM-OFE： structure information mining and object-aware feature enhancement for fine-grained visual categorization［J］. IEEE Transactions on Image Processing， 2024， 33： 5312-5326.
[32]	CHOU P Y， LIN C H， KAO W C. A novel plug-in module for fine-grained visual classification［EB/OL］. ［2024-09-14］. .
[33]	WAH C， BRANSON S， WELINDER P， et al. The Caltech-UCSD Birds-200-2011 dataset［EB/OL］. ［2024-09-14］. .
[34]	BERA A， WHARTON Z， LIU Y， et al. SR-GNN： spatial relation-aware graph neural network for fine-grained image categorization［J］. IEEE Transactions on Image Processing， 2022， 31： 6017-6031.

基于特征融合和通道信息补偿的中草药细粒度图像分类

Fine-grained Chinese herbal medicine image classification based on feature fusion and channel information compensation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 34

相关文章 15

编辑推荐

Metrics

[1]	黄雨倩, 黄辉, 秦永彬, 黄瑞章, 陈艳平, 周裕林, 孙倩. 融合全局和局部语义的司法要素抽取方法[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1460-1467.
[2]	郑嘉丽, 周刚, 陈静, 李顺航. 基于多特征自适应融合的智能生成文本检测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1433-1440.
[3]	明文超, 蔺素珍, 晋赞霞. 基于场景概念引导特征融合的多波段图像描述生成方法[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1560-1567.
[4]	张驰, 孟宪静, 窦长昊, 王倩, 耿蕾蕾, 袭肖明. MD-FVR：基于多域特征融合的级联手指静脉识别网络[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1658-1666.
[5]	郭慧洁, 窦天凤, 张振琳, 亓开元, 吴栋, 曲志坚, 李钊, 任崇广. 基于时间依赖建模的动态贝叶斯网络交通预测[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1507-1517.
[6]	廖雪超, 陈睿. 电动汽车锂离子电池预测-评估故障检测框架[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1614-1623.
[7]	盛兴, 翁孙贤, 陈扩松, 王忠平, 任芮锋, 刘勇. 基于深度学习的电网企业专利价值评估[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1468-1474.
[8]	吴闵奇, 杨元华, 李航, 胡雅琴, 汤智豪, 梅腾. 基于图Transformer和RT-DETR的轻量化水下小目标检测[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1586-1595.
[9]	张红瑞, 冯威铭, 杨潞霞, 马永杰. 基于YOLO11改进的水下小目标检测算法CSAF-YOLO[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1578-1585.
[10]	何帅, 邓春华. 基于YOLO-World的少样本学习目标检测算法[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1275-1282.
[11]	李文浩, 郭银章. 基于双层多尺度动态GCN模型的城市交通流量预测[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1323-1333.
[12]	刘欢娴, 王洪涛, 王宪奥, 王洪梅, 徐伟峰. 跨模态语义关联的多模态事实验证[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1069-1076.
[13]	陈浩轩, 叶培昌, 刘磊, 刘承明, 胡文华. 自动代码编辑推荐综述[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1227-1237.
[14]	严心怡, 朱灵龙, 张永宏. 面向复杂交通场景的多尺度实时人车检测方法CDC-DETR[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1283-1291.
[15]	张健, 于剑波, 汤健. 基于多层预处理的城市固废焚烧状态识别方法[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 940-949.