Technical review and case study on classification of Chinese herbal slices based on computer vision

doi:10.11772/j.issn.1001-9081.2021081498

Journal of Computer Applications ›› 2022, Vol. 42 ›› Issue (10): 3224-3234.DOI: 10.11772/j.issn.1001-9081.2021081498

• Multimedia computing and computer simulation • Previous Articles

Technical review and case study on classification of Chinese herbal slices based on computer vision

Yi ZHANG, Hua WAN, Shuqin TU

College of Mathematics and Informatics，South China Agricultural University，Guangzhou Guangdong 510642，China

Received:2021-08-23 Revised:2021-11-24 Accepted:2021-11-25 Online:2022-01-07 Published:2022-10-10
Contact: Hua WAN
About author:ZHANG Yi， born in 1997， M. S. candidate. Her research interests include computer vision.
WAN Hua， born in 1978， M. S. ， associate professor. Her research interests include computer vision， biological information.
TU Shuqin， born in 1978， Ph. D. ， lecturer. Her research interests include image processing， image detection.
Supported by:
National Natural Science Foundation of China(31600591);Science and Technology Program of Guangdong Province(2016A020210087)

基于计算机视觉的中药饮片分类技术综述与案例研究

张谊, 万华, 涂淑琴

华南农业大学数学与信息学院，广州 510642

通讯作者: 万华
作者简介:第一联系人：张谊（1997—），女，福建三明人，硕士研究生，CCF会员，主要研究方向：计算机视觉
万华（1978—），女，江西南昌人，副教授，硕士，主要研究方向：计算机视觉、生物信息
涂淑琴（1978—），女，江西南昌人，讲师，博士，主要研究方向：图像处理、图像检测。
基金资助:
国家自然科学基金资助项目(31600591);广东省科技计划项目(2016A020210087)

Abstract

Abstract:

Classifying similar， counterfeit and deteriorated slices in Chinese herbal slices plays a vital role in clinical application of Chinese medicine. Traditional manual identification methods are subjective and fallible. And the classification of traditional Chinese herbal slices based on computer vision is superior in speed and accuracy， which makes Chinese herbal slice screening intelligent. Firstly， general steps of Chinese medicine recognition algorithm based on computer vision were introduced， and technical development status of preprocessing， feature extraction and recognition model of Chinese medicine images were reviewed separately. Then， 12 classes of similar and easily confused Chinese herbal slices were selected as a case to study. By constructing a dataset with 9 156 pictures of Chinese herbal slices， the recognition performance differences of traditional recognition algorithms and various deep learning models were analyzed and compared. Finally， the difficulties and future development trends of computer vision in Chinese herbal slices were summarized and prospected.

Key words: Chinese herbal slices, computer vision, image preprocessing, feature extraction, image classification

摘要：

中药饮片相似品、真伪、变质等方面的分类对临床中药应用有着至关重要的影响。传统的人工鉴别方法主观性强、误判率高，而基于计算机视觉的中药饮片分类具有快速、准确等特点，使饮片筛选智能化。首先，介绍了基于计算机视觉的中药识别算法的一般步骤，并分类综述了对中药图像的预处理、特征提取和识别模型的技术发展现状；然后，选取12类相似易混中药饮片分类作为案例研究。通过构建包含9 156张图片的中药饮片数据集，分析对比了传统识别算法和多种深度学习模型的识别性能差异；最后，对计算机视觉在中药饮片应用研究中存在的难点和未来发展趋势进行了总结和展望。

关键词: 中药饮片, 计算机视觉, 图像预处理, 特征提取, 图像分类

CLC Number:

TP391.4

Yi ZHANG, Hua WAN, Shuqin TU. Technical review and case study on classification of Chinese herbal slices based on computer vision[J]. Journal of Computer Applications, 2022, 42(10): 3224-3234.

张谊, 万华, 涂淑琴. 基于计算机视觉的中药饮片分类技术综述与案例研究[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3224-3234.

Figures/Tables 17

References 81

1	王传娟. 常见中药饮片伪品和易混淆品的鉴别［J］. 心理月刊， 2019， 14（8）：182.
	WANG C J. Identification of counterfeit and confusing products in common Chinese herbal slices［J］. Psychologies Magazine， 2019， 14（8）： 182.
2	谢宗万. 中药品种传统经验鉴别"辨状论质"论［J］. 时珍国医国药， 1994， 5（3）：19-21.
	XIE Z W. “Differentiation of symptoms and discussion of quality” in traditional experience identification of traditional Chinese medicine varieties［J］. Lishizhen Medicine and Materia Medica Research， 1994， 5（3）： 19-21.
3	师飘，郑祥明. 计算机视觉在中药饮片领域中的应用与展望［J］. 德州学院学报， 2020， 36（6）：34-38， 50. 10.3969/j.issn.1004-9444.2020.06.009
	SHI P， ZHENG X M. Application and prospect of computer vision in Chinese herbal pieces［J］. Journal of Dezhou University， 2020， 36（6）： 34-38， 50. 10.3969/j.issn.1004-9444.2020.06.009
4	CUI J S， LI Y H， HUO J， et al. A measurement method of motion parameters in aircraft ground tests using computer vision［J］. Measurement， 2021， 174： No.108985. 10.1016/j.measurement.2021.108985
5	LI T， ZHU C， XIANG G Q， et al. LLCNN： a convolutional neural network for low-light image enhancement［C］// Proceedings of the 2017 IEEE Visual Communications and Image Processing. Piscataway： IEEE， 2017： 1-4. 10.1109/vcip.2017.8305143
6	DELP E， MITCHELL O. Image compression using block truncation coding［J］. IEEE Transactions on Communications， 1979， 27（9）： 1335-1342. 10.1109/tcom.1979.1094560
7	LEU J G. Edge sharpening through ramp width reduction［J］. Image and Vision Computing， 2000， 18（6/7）： 501-514. 10.1016/s0262-8856(99)00041-4
8	FANG C W， LIAO Z C， YU Y Z. Piecewise flat embedding for image segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 41（6）： 1470-1485. 10.1109/tpami.2018.2839733
9	张宁，刘文萍. 基于克隆选择算法和K近邻的植物叶片识别方法［J］. 计算机应用， 2013， 33（7）：2009-2013. 10.3724/sp.j.1087.2013.02009
	ZHANG N， LIU W P. Plant leaf recognition method based on clonal selection algorithm and K nearest neighbor［J］. Journal of Computer Applications， 2013， 33（7）： 2009-2013. 10.3724/sp.j.1087.2013.02009
10	翟传敏，汪青萍，杜吉祥. 基于叶缘与叶脉分数维特征的植物叶识别方法研究［J］. 计算机科学， 2014， 41（2）：170-173. 10.3969/j.issn.1002-137X.2014.02.038
	ZHAI C M， WANG Q P， DU J X. Plant leaf recognition method based on fractal dimension feature of outline and venation［J］. Computer Science， 2014， 41（2）： 170-173. 10.3969/j.issn.1002-137X.2014.02.038
11	王丽君，淮永建，彭月橙. 基于叶片图像多特征融合的观叶植物种类识别［J］. 北京林业大学学报， 2015， 37（1）：55-61. 10.13332/j.cnki.jbfu.2015.01.006
	WANG L J， HUAI Y J， PENG Y C. Method of identification of foliage from plants based on extraction of multiple features of leaf images［J］. Journal of Beijing Forestry University， 2015， 37（1）： 55-61. 10.13332/j.cnki.jbfu.2015.01.006
12	王晓峰，黄德双，杜吉祥，等. 叶片图像特征提取与识别技术的研究［J］. 计算机工程与应用， 2006， 42（3）：190-193. 10.3321/j.issn:1002-8331.2006.03.056
	WANG X F， HUANG D S， DU J X， et al. Feature extraction and recognition for leaf images［J］. Computer Engineering and Applications， 2006， 42（3）： 190-193. 10.3321/j.issn:1002-8331.2006.03.056
13	张万义，张千，潘继波，等. 基于深度学习的中草药分类识别［J］. 智慧健康， 2020， 6（35）：1-4， 13. 10.19335/j.cnki.2096-1219.2020.35.001
	ZHANG W Y， ZHANG Q， PAN J B， et al. Chinese herbal medicine classification and recognition based on deep learning［J］. Smart Healthcare， 2020， 6（35）： 1-4， 13. 10.19335/j.cnki.2096-1219.2020.35.001
14	恩德，忽胜强. 基于集成神经网络的植物叶片识别方法［J］. 浙江农业学报， 2015， 27（12）：2225-2233. 10.3969/j.issn.1004-1524.2015.12.28
	EN D， HU S Q. Plant leaf recognition based on artificial neural network ensemble［J］. Acta Agriculturae Zhejiangensis， 2015， 27（12）： 2225-2233. 10.3969/j.issn.1004-1524.2015.12.28
15	周法律，张璐瑶，汤岚凤，等. 中草药原植物叶片图像在线识别系统设计与实现［J］. 电脑知识与技术， 2014， 10（13）：3114-3116.
	ZHOU F L， ZHANG L Y， TANG L F， et al. Design and implementation of online image recognition system of Chinese herbal medicine leaf［J］. Computer Knowledge and Technology， 2014， 10（13）： 3114-3116.
16	谢树莹，周明，周金海. 基于OpenCV的中药饮片"辨色"识别研究［J］. 时珍国医国药， 2018， 29（2）：510-512. 10.3969/j.issn.1008-0805.2018.02.092
	XIE S Y， ZHOU M， ZHOU J H. Research of OpenCV-based recognition system of herbal decoction pieces［J］. Lishizhen Medicine and Materia Medica Research， 2018， 29（2）： 510-512. 10.3969/j.issn.1008-0805.2018.02.092
17	张宁，王志明，郑健. 基于标记分水岭的植物重叠叶片改进分割算法［J］. 计算机与现代化， 2019（1）：21-26. 10.3969/j.issn.1006-2475.2019.01.005
	ZHANG N， WANG Z M， ZHENG J. An improved segmentation algorithm for overlapping leaves of plants based on marked watershed［J］. Computer and Modernization， 2019（1）： 21-26. 10.3969/j.issn.1006-2475.2019.01.005
18	张宝文，陶佳，李亮. 中草药石楠叶片图像识别的研究［J］. 河北农业科学， 2018， 22（1）：106-108. 10.16318/j.cnki.hbnykx.2018.01.028
	ZHANG B W， TAO J， LI L. Study on image recognition of Chinese photinia leaves［J］. Journal of Hebei Agricultural Sciences， 2018， 22（1）： 106-108. 10.16318/j.cnki.hbnykx.2018.01.028
19	孙俊，谭文军，毛罕平，等. 基于改进卷积神经网络的多种植物叶片病害识别［J］. 农业工程学报， 2017， 33（19）：209-215. 10.11975/j.issn.1002-6819.2017.19.027
	SUN J， TAN W J， MAO H P， et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network［J］. Transactions of the Chinese Society of Agricultural Engineering， 2017， 33（19）： 209-215. 10.11975/j.issn.1002-6819.2017.19.027
20	梁丽金，卢文彪，王凤梅. 基于边缘检测的防风显微图像的分割与表征［J］. 中国实验方剂学杂志， 2018， 24（6）：37-41. 10.13422/j.cnki.syfjx.20180608
	LIANG L J， LU W B， WANG F M. Segmentation and characterization of Saposhnikoviae Radix micrograph based on edge detection［J］. Chinese Journal of Experimental Traditional Medical Formulae， 2018， 24（6）： 37-41. 10.13422/j.cnki.syfjx.20180608
21	黄方亮，俞磊，沈同平，等. 基于AlexNet深度学习模型的中草药植物图像分类研究与实现［J］. 齐鲁工业大学学报， 2020， 34（2）： 44-49.
	HUANG F L， YU L， SHEN T P， et al. Research and implementation of Chinese herbal medicine plant image classification based on AlexNet deep learning model［J］. Journal of Qilu University of Technology， 2020， 34（2）： 44-49.
22	王一丁，郝晨宇，李耀利，等. 基于深度学习的小样本中药材粉末显微图像识别［J］. 计算机应用， 2020， 40（5）：1301-1308. 10.11772/j.issn.1001-9081.2019091646
	WANG Y D， HAO C Y， LI Y L， et al. Microscopic image identification for small-sample Chinese medicinal materials powder based on deep learning［J］. Journal of Computer Applications， 2020， 40（5）： 1301-1308. 10.11772/j.issn.1001-9081.2019091646
23	刘晶晶，侯凌燕，杨大利. 牡丹花特征提取及识别技术研究［J］. 北京信息科技大学学报（自然科学版）， 2017， 32（1）：65-71.
	LIU J J， HOU L Y， YANG D L. Research on Peony feature extraction and identification technology［J］. Journal of Beijing Information Science & Technology University， 2017， 32（1）： 65-71.
24	YANG Z Q， DONG J W， KOU W L， et al. Mapping Panax Notoginseng plantations by using an Integrated Pixel- and Object-Based （IPOB） approach and ZY-3 imagery［J］. Remote Sensing， 2021， 13（11）： No.2148. 10.3390/rs13112184
25	杨涛，雷进，朱皓睿，等. 基于图像特征融合的麦冬叶部病害识别［J］. 湖北农业科学， 2021， 60（7）：135-138， 144. 10.14088/j.cnki.issn0439-8114.2021.07.027
	YANG T， LEI J， ZHU H R， et al. Recognition of ophiopogon japonicus disease based on image feature fusion［J］. Hubei Agricultural Sciences， 2021， 60（7）： 135-138， 144. 10.14088/j.cnki.issn0439-8114.2021.07.027
26	程铭恩，詹志来，张卫，等. 经典名方中黄柏的本草考证［J］. 中国中药杂志， 2019， 44（21）：4768-4771.
	CHENG M E， ZHAN Z L， ZHANG W， et al. Textual research of “Huangbo” in classical prescriptions［J］. China Journal of Chinese Materia Medica， 2019， 44（21）： 4768-4771.
27	姚丽佳，梁渝陵. 知母与混用品知母的鉴别［J］. 中国药业， 2000， 9（4）： 37. 10.3969/j.issn.1006-4931.2000.04.039
	YAO L J， LIANG Y L. Identification of Anemarrhena asphodeloides and mixed Anemarrhena asphodeloides［J］. China Pharmaceuticals， 2000， 9（4）： 37. 10.3969/j.issn.1006-4931.2000.04.039
28	贾伟，闫颖盈，温川飙，等. 中药饮片切面纹理特征提取研究［J］. 成都中医药大学学报， 2017， 40（4）：1-6.
	JIA W， YAN Y Y， WEN C B， et al. Texture feature extraction research of sections of traditional Chinese medicine［J］. Journal of Chengdu University of Traditional Chinese Medicine， 2017， 40（4）： 1-6.
29	TAMURA H， MORI S， YAMAWAKI T. Textural features corresponding to visual perception［J］. IEEE Transactions on Systems， Man， and Cybernetics， 1978， 8（6）： 460-473. 10.1109/tsmc.1978.4309999
30	陶欧，张燕玲，陈茜，等. 基于灰度共生矩阵的中药饮片横切面图像纹理特征参数的提取［J］. 世界科学技术—中医药现代化， 2014， 16（12）：2531-2537.
	TAO O， ZHANG Y L， CHEN Q， et al. Extraction of texture feature parameter of transverse section in Chinese herbal medicine by gray-level co-occurrence matrix［J］. Modernization of Traditional Chinese Medicine and Materia Medica—World Science and Technology， 2014， 16（12）： 2531-2537.
31	陶欧，林兆洲，张宪宝，等. 基于饮片切面图像纹理特征参数的中药辨识模型研究［J］. 世界科学技术—中医药现代化， 2014， 16（12）：2558-2562.
	TAO O， LIN Z Z， ZHAG X B， et al. Research on identification model of Chinese herbal medicine by texture feature parameter of transverse section image［J］. Modernization of Traditional Chinese Medicine and Materia Medica—World Science and Technology， 2014， 16（12）： 2558-2562.
32	王雪琰，张冲，张立. 卷积神经网络下的相似月季识别［J］. 安徽农业大学学报， 2021， 48（3）：504-510.
	WANG X Y， ZHANG C， ZHANG L. Recognition of similar rose based on convolution neural network［J］. Journal of Anhui Agricultural University， 2021， 48（3）： 504-510.
33	KAN H X， JIN L， ZHOU F L. Classification of medicinal plant leaf image based on multi-feature extraction［J］. Pattern Recognition and Image Analysis， 2017， 27（3）： 581-587. 10.1134/s105466181703018x
34	夏永泉，李耀斌，曾莎. 基于HSI颜色空间的植物叶片病斑提取方法［J］. 江苏农业科学， 2015， 43（8）：406-408.
	XIA Y Q， LI Y B， ZENG S. Method for extracting disease spots from plant leaves based on HSI color space［J］. Jiangsu Agricultural Sciences， 2015， 43（8）： 406-408.
35	金梦然，袁航，黄大庄. 基于叶形和叶脉特征的植物数字化分类研究［J］. 林业与生态科学， 2020， 35（1）：112-118.
	JIN M R， YUAN H， HUANG D Z. Study on digital classification of plants based on characteristics of leaf shape and leaf vein［J］. Forestry and Ecological Sciences， 2020， 35（1）： 112-118.
36	KOLIVAND H， FERN B M， SABA T， et al. A new leaf venation detection technique for plant species classification［J］. Arabian Journal for Science and Engineering， 2019， 44（4）： 3315-3327. 10.1007/s13369-018-3504-8
37	金力，阚红星，许钒，等. 一种新的药用植物叶片自动分类方法的构建［J］. 通化师范学院学报， 2017， 38（4）：42-45， 49.
	JIN L， KAN H X， XU F， et al. Construction of a new automatic classification method for medicinal plant leaves［J］. Journal of Tonghua Normal University， 2017， 38（4）： 42-45， 49.
38	ANAMI B S， NANDYAL S S， GOVARDHAN A. A combined color， texture and edge features based approach for identification and classification of Indian medicinal plants［J］. International Journal of Computer Applications， 2010， 6（12）： 45-51. 10.5120/1122-1471
39	BAO T Q， KIET N T T， DINH T Q， et al. Plant species identification from leaf patterns using histogram of oriented gradients feature space and convolution neural networks［J］. Journal of Information and Telecommunication， 2020， 4（2）： 140-150. 10.1080/24751839.2019.1666625
40	ZHAO J L， FANG Y， CHU G M， et al. Identification of leaf-scale wheat powdery mildew （Blumeria graminis f. sp. Tritici） combining hyperspectral imaging and an SVM classifier［J］. Plants， 2020， 9（8）： No.936. 10.3390/plants9080936
41	陆楷煜，夏春蕾，戴曙光，等. 特征融合在植物叶片识别中的应用研究［J］. 软件导刊， 2020， 19（10）：71-75.
	LU K Y， XIA C L， DAI S G， et al. Application research on multi-feature fusion in plant leaf recognition［J］. Software Guide， 2020， 19（10）： 71-75.
42	MAHAJAN S， RAINA A， GAO X Z， et al. Plant recognition using morphological feature extraction and transfer learning over SVM and AdaBoost［J］. Symmetry， 2021， 13（2）： No.356. 10.3390/sym13020356
43	HU K， HU P， CAO D， et al. A method for authenticity identification of Fritillaria Cirrhosa D. Don based on deep learning［C］// Proceedings of the IEEE 4th International Conference on Image， Vision and Computing. Piscataway： IEEE， 2019： 494-498. 10.1109/icivc47709.2019.8981401
44	吕宇琛，王健庆. 基于HOG-LBP特征的中药饮片图像识别［J］. 中国中医药信息杂志， 2019， 26（4）：106-110. 10.3969/j.issn.1005-5304.2019.04.022
	LYU Y C， WANG J Q. Image recognition of TCM decoction pieces based on HOG-LBP［J］. Chinese Journal of Information on TCM， 2019， 26（4）： 106-110. 10.3969/j.issn.1005-5304.2019.04.022
45	陶梦琳，顾文涛，汪子青，等. 基于支持向量机的黄连饮片产地识别研究［J］. 中草药， 2015， 46（21）：3173-3178. 10.7501/j.issn.0253-2670.2015.21.008
	TAO M L， GU W T， WANG Z Q， et al. Discrimination of Cotidis Rhizoma from different habitats by support vector machine［J］. Chinese Traditional and Herbal Drugs， 2015， 46（21）： 3173-3178. 10.7501/j.issn.0253-2670.2015.21.008
46	王礼，洪祖兵，方陆明，等. 基于iOS系统的观赏植物识别［J］. 浙江农林大学学报， 2018， 35（5）：900-907. 10.11833/j.issn.2095-0756.2018.05.015
	WANG L， HONG Z B， FANG L M， et al. iOS-based recognition of ornamental plants［J］. Journal of Zhejiang A&F University， 2018， 35（5）： 900-907. 10.11833/j.issn.2095-0756.2018.05.015
47	王雷宏，陈永生，郑玉红. 基于叶片数字纹理特征自动识别胡颓子属植物［J］. 中国农学通报， 2020， 36（11）：20-25.
	WANG L H， CHEN Y S， ZHENG Y H. Automatic identification of Elaeagnus L. based on leaf digital texture feature［J］. Chinese Agricultural Science Bulletin， 2020， 36（11）： 20-25.
48	谢文涌，柴琴琴，甘勇辉，等. 基于多特征提取和Stacking集成学习的金线莲品系分类［J］. 农业工程学报， 2020， 36（14）：203-210. 10.11975/j.issn.1002-6819.2020.14.025
	XIE W C， CHAI Q Q， GAN Y H， et al. Strains classification of Anoectochilus roxburghii strains based on multi-feature extraction and Stacking ensemble learning［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（14）： 203-210. 10.11975/j.issn.1002-6819.2020.14.025
49	王艳，孙薇，周小平. 基于深度学习的中草药植物图像识别方法研究［J］. 中医药信息， 2020， 37（6）：21-25.
	WANG Y， SUN W， ZHOU X P. Research on image recognition of Chinese herbal medicine plants based on deep learning［J］. Information on Traditional Chinese Medicine， 2020， 37（6）： 21-25.
50	聂聪颖，唐晶磊. 基于显著特征和全局特征融合的植物识别方法［J］. 计算机工程与设计， 2021， 42（4）：976-984. 10.16208/j.issn1000-7024.2021.04.012
	NIE C Y， TANG J L. Plant recognition method based on fusion of salient feature and global feature［J］. Computer Engineering and Design， 2021， 42（4）： 976-984. 10.16208/j.issn1000-7024.2021.04.012
51	LI K Z， LIN J H， LIU J R， et al. Using deep learning for image-based different degrees of Ginkgo leaf disease classification［J］. Information， 2020， 11（2）： No.95. 10.3390/info11020095
52	王耐，卢文彪，凌秀华，等. 牛膝和川牛膝药材的特征提取与图像识别［J］. 中国药房， 2017， 28（12）：1670-1673. 10.6039/j.issn.1001-0408.2017.12.24
	WANG N， LU W B， LING X H， et al. Feature extraction and image recognition of Achyranthes bidentata and Cyathula officinalis［J］. China Pharmacy， 2017， 28（12）： 1670-1673. 10.6039/j.issn.1001-0408.2017.12.24
53	余本国. BP神经网络局限性及其改进的研究［J］. 山西农业大学学报（自然科学版）， 2009， 29（1）：89-93.
	YU B G. Discussion on the limitation and improvement of BP neural network［J］. Journal of Shanxi Agricultural University （Natural Science Edition）， 2009， 29（1）： 89-93.
54	左羽，陶倩，吴恋，等. 基于卷积神经网络的植物图像分类方法研究［J］. 物联网技术， 2020， 10（3）：72-75.
	ZUO Y， TAO Q， WU L， et al. Research on classification method of plant images based on convolutional neural network［J］. Internet of Things Technologies， 2020， 10（3）： 72-75.
55	樊湘鹏，许燕，周建平，等. 基于迁移学习和改进CNN的葡萄叶部病害检测系统［J］. 农业工程学报， 2021， 37（6）：151-159. 10.11975/j.issn.1002-6819.2021.06.019
	FAN X P， XU Y， ZHOU J P， et al. Detection system for grape leaf diseases based on transfer learning and updated CNN［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（6）： 151-159. 10.11975/j.issn.1002-6819.2021.06.019
56	陈雁，邹立思. 基于BMFnet-WGAN的中药饮片智能甄别［J］. 中国实验方剂学杂志， 2021， 27（15）：107-114.
	CHEN Y， ZOU L S. Intelligent screening of pieces of Chinese medicine based on BMFnet-WGAN［J］. Chinese Journal of Experimental Traditional Medical Formulae， 2021， 27（15）： 107-114.
57	孙鑫，钱会南. 基于深度卷积网络的中药饮片图像识别［J］. 世界科学技术—中医药现代化， 2017， 19（2）：218-222.
	SUN X， QIAN H N. Identification of the images of Chinese herb slices with deep convolutional network［J］. Modernization of Traditional Chinese Medicine and Materia Medica—World Science and Technology， 2017， 19（2）： 218-222.
58	徐飞，孟沙，吴启南，等. 基于卷积神经网络的人参与西洋参饮片鉴别方法研究［J］. 南京中医药大学学报， 2018， 34（6）：621-624. 10.14148/j.issn.1672-0482.2018.0621
	XU F， MENG S， WU Q N， et al. Research on the differentiation of Ginseng radix and Panacis quinquefolii slices based on convolutional neural network［J］. Journal of Nanjing University of Traditional Chinese Medicine， 2018， 34（6）： 621-624. 10.14148/j.issn.1672-0482.2018.0621
59	王健庆，戴恺，李子柔. 基于深度学习的中药饮片图像识别研究［J］. 时珍国医国药， 2020， 31（12）：2930-2933. 10.3969/j.issn.1008-0805.2020.12.030
	WANG J Q， DAI K， LI Z R. Research on image recognition of Chinese herbal pieces based on deep learning［J］. Lishizhen Medicine and Materia Medica Research， 2020， 31（12）： 2930-2933. 10.3969/j.issn.1008-0805.2020.12.030
60	庄奕珊. 基于深度神经网络的中药材识别［D］. 广州：华南理工大学， 2018： 49-58.
	ZHUANG Y S. Identification of Chinese medicines based on deep neural network［D］. Guangzhou： South China University of Technology， 2018： 49-58.
61	刘捷. 基于图像分析的植物叶片识别研究［D］. 南京：南京信息工程大学， 2020： 48-52.
	LIU J. Research on plant leaf recognition based on image analysis［D］. Nanjing： Nanjing University of Information Science and Technology， 2020： 48-52.
62	吴云志，刘翱宇，朱小宁，等. 一种植物病害图像识别卷积网络架构［J］. 安徽农业大学学报， 2021， 48（1）：150-156.
	WU Y Z， LIU A Y， ZHU X N， et al. A convolutional network for plant disease image recognition （FI-DenseNet）［J］. Journal of Anhui Agricultural University， 2021， 48（1）： 150-156.
63	ATILA Ü， UÇAR M， AKYOL K， et al. Plant leaf disease classification using EfficientNet deep learning model［J］. Ecological Informatics， 2021， 61： No.101182. 10.1016/j.ecoinf.2020.101182
64	RAI P， LONDHE N D， RAJ R. Fault classification in power system distribution network integrated with distributed generators using CNN［J］. Electric Power Systems Research， 2020， 192： No.106914. 10.1016/j.epsr.2020.106914
65	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
66	ANGELINE R， VANI R. ResNet： a convolutional neural network for detecting and diagnosing of coronavirus pneumonia［J］. IOP Conference Series： Materials Science and Engineering， 2021， 1084： No.012011. 10.1088/1757-899x/1084/1/012011
67	HUANG G， LIU Z， van der MAATEN L， et al. Densely connected convolutional networks［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243
68	IANDOLA F N， HAN S， MOSKEWICZ M W， et al. SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and < 0.5 MB model size［EB/OL］. （2016-11-04）［2021-05-20］..
69	ZHANG Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6848-6856. 10.1109/cvpr.2018.00716
70	MA N N， ZHANG X Y， ZHENG H T， et al. ShuffleNet V2： practical guidelines for efficient CNN architecture design［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11218. Cham： Springer， 2018：122-138.
71	HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2021-05-20］.. 10.48550/arXiv.1704.04861
72	SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4510-4520. 10.1109/cvpr.2018.00474
73	HOWARD A， SANDLER M， CHEN B， et al. Searching for MobileNetV3［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019：1314-1324. 10.1109/iccv.2019.00140
74	MEHTA S， RASTEGARI M， CASPI A， et al. ESPNet： efficient spatial pyramid of dilated convolutions for semantic segmentation［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11214. Cham： Springer， 2018： 561-580.
75	MEHTA S， RASTEGARI M， SHAPIRO L， et al. ESPNetv2： a light-weight， power efficient， and general purpose convolutional neural network［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 9182-9192. 10.1109/cvpr.2019.00941
76	WU B C， DAI X L， ZHANG P Z， et al. FBNet： Hardware-aware efficient ConvNet design via differentiable neural architecture search［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 10726-10734. 10.1109/cvpr.2019.01099
77	WAN A， DAI X L， ZHANG P Z， et al. FBNetV2： differentiable neural architecture search for spatial and channel dimensions［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 12962-12971. 10.1109/cvpr42600.2020.01298
78	DAI X L， WAN A， ZHANG P Z， et al. FBNetV3： joint architecture-recipe search using predictor pretraining［EB/OL］. （2021-03-30）［2021-05-20］.. 10.1109/cvpr46437.2021.01601
79	TAN M X， LE Q V. EfficientNet： rethinking model scaling for convolutional neural networks［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019：6105-6114.
80	TAN M X， LE Q V. EfficientNetV2： smaller models and faster training［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 10096-10106.
81	ABRAHAMYAN L， ZIATCHIN V， CHEN Y M， et al. Bias loss for mobile neural networks［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 6536-6546. 10.1109/iccv48922.2021.00649

预处理方法	作用	应用场景
图像归一化^［14］	统一饮片主体位置和朝向	统一叶类植物角度
图像增强^［15］	平滑、锐化	去除饮片图像噪声
图像增广^［21-22］	旋转、平移、裁剪、镜像等几何变换	对数据集数量进行扩增
图像灰度化^{［14-15，23］}	避免条带失真，减少计算量	将彩色图像转化为黑白图像
图像分割^{［17-18，24］}	分离，去除背景	分割算法与手工分割相结合。去除背景，保留中草药图像主体
形态学图像处理^{［14-15，25］}	提取边缘	对叶片轮廓进行边界提取

预处理方法	作用	应用场景
图像归一化^［14］	统一饮片主体位置和朝向	统一叶类植物角度
图像增强^［15］	平滑、锐化	去除饮片图像噪声
图像增广^［21-22］	旋转、平移、裁剪、镜像等几何变换	对数据集数量进行扩增
图像灰度化^{［14-15，23］}	避免条带失真，减少计算量	将彩色图像转化为黑白图像
图像分割^{［17-18，24］}	分离，去除背景	分割算法与手工分割相结合。去除背景，保留中草药图像主体
形态学图像处理^{［14-15，25］}	提取边缘	对叶片轮廓进行边界提取

类别	算法	年份	特点
传统算法	SVM^{［33，37，39-46］}	1964	SVM的决策边界是对学习样本求解的最大边距超平面，可以解决小样本、非线性、高维的回归等问题
	KNN^［47-48］	1968	核心思想是在训练样本中找到与某一个测试样本最近的K个实例
	BP^{［21，49-53］}	1974	误差反向传播（error Back Propagation， BP）算法为一种局部搜索的优化方法，其学习过程由信号的正向传播与误差的反向传播两个过程组成
深度学习	AlexNet^{［21，49，54-57］}	2012	8层网络，使用ReLU替换Sigmoid的作为激活函数，使用dropout抑制过拟合
	VGGNet^{［55-56，58-60］}	2014	使用简单的3×3卷积核，但将深度提升到16~19层
	GoogleNet^［58-61］	2014	使用Inception Module，提高参数的利用率；使用1×1的卷积核进行降维以及映射处理
	ResNet^{［22，41，55］}	2015	利用一种称为快捷连接的结构来跳过网络的某些层
	DenseNet^［62］	2017	通过特征的重复使用和旁路设置（Bypass）设置，该网络大幅减少了网络的参数量
	EfficientNet^［63］	2019	多维度混合的模型放缩方法，同时增加网络的width、深度以及输入网络的分辨率来提升网络的性能

类别	算法	年份	特点
传统算法	SVM^{［33，37，39-46］}	1964	SVM的决策边界是对学习样本求解的最大边距超平面，可以解决小样本、非线性、高维的回归等问题
	KNN^［47-48］	1968	核心思想是在训练样本中找到与某一个测试样本最近的K个实例
	BP^{［21，49-53］}	1974	误差反向传播（error Back Propagation， BP）算法为一种局部搜索的优化方法，其学习过程由信号的正向传播与误差的反向传播两个过程组成
深度学习	AlexNet^{［21，49，54-57］}	2012	8层网络，使用ReLU替换Sigmoid的作为激活函数，使用dropout抑制过拟合
	VGGNet^{［55-56，58-60］}	2014	使用简单的3×3卷积核，但将深度提升到16~19层
	GoogleNet^［58-61］	2014	使用Inception Module，提高参数的利用率；使用1×1的卷积核进行降维以及映射处理
	ResNet^{［22，41，55］}	2015	利用一种称为快捷连接的结构来跳过网络的某些层
	DenseNet^［62］	2017	通过特征的重复使用和旁路设置（Bypass）设置，该网络大幅减少了网络的参数量
	EfficientNet^［63］	2019	多维度混合的模型放缩方法，同时增加网络的width、深度以及输入网络的分辨率来提升网络的性能

网络	年份	亮点
SqueezeNet^［68］	2017	提出了新的网络架构Fire Module，通过减少参数来进行模型压缩
ShuffleNet系列^［69-70］	2017	v1：提出了channel shuffle操作，使得网络可以尽情地使用分组卷积来加速
ShuffleNet系列^［69-70］	2018	v2：引入了channel split操作
MobileNet系列^［71-73］	2017	v1：使用深度可分离卷积构建轻量级网络
	2018	v2：提出创新的inverted residual with linear bottleneck单元
	2019	v3：结合AutoML技术与人工微调进行更轻量级的网络构建
ESPNet系列^［74-75］	2018	v1：逐点卷积、空间金字塔型膨胀卷积
ESPNet系列^［74-75］	2019	v2：逐点群卷积和深度空洞可分离卷积
FBNet系列^［76-78］	2019	v1：结合了DNAS（Differentiable Neural Architecture Search）和资源约束
	2020	v2：加入了channel和输入分辨率的搜索
	2021	v3：使用准确率预测来进行快速的网络结构搜索
EfficientNet系列^［79-80］	2019	v1：同时增加网络的宽度、深度以及输入网络的分辨率来提升网络的性能
EfficientNet系列^［79-80］	2021	v2：通过神经架构搜索（Neural Architecture Search， NAS），配合混合缩放方法
SkipNet^［81］	2021	通过一种动态跳过冗余卷积层的方法来提高推断速度而且不损失准确度

Technical review and case study on classification of Chinese herbal slices based on computer vision

基于计算机视觉的中药饮片分类技术综述与案例研究

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 17

References 81

Related Articles 15

Recommended Articles

Metrics

算法	精确度/%	召回率/%	特异性/%	准确率/%	单张图片测试平均耗时/ms	模型大小/MB
HOG+SVM	23.1	21.3	92.9	87.2	79.385	10.99
VGGNet-16	83.4	80.1	98.6	97.5	14.028	512.36
ResNet-34	88.5	86.2	98.9	98.1	7.497	81.32
ResNet-50	85.9	83.8	98.7	97.6	10.920	90.03
ResNet-101	87.4	85.0	98.8	97.8	17.133	162.73
ResNeXt-50	88.5	87.3	99.0	98.2	16.006	88.07
ResNeXt-101	88.7	85.8	98.9	98.0	33.816	331.87
MobileNet v2	79.2	74.2	98.0	96.4	6.779	8.73
ShuffleNet v2 1x	91.4	90.0	99.2	98.6	5.966	4.95

[1]	Jiaxuan WEI, Shikang DU, Zhixuan YU, Ruisheng ZHANG. Review of white-box adversarial attack technologies in image classification [J]. Journal of Computer Applications, 2022, 42(9): 2732-2741.
[2]	Xinyu ZHANG, Sheng DING, Zhipei YANG. Traffic sign detection algorithm based on improved attention mechanism [J]. Journal of Computer Applications, 2022, 42(8): 2378-2385.
[3]	Tingwei QIN, Pengcheng ZHAO, Pinle QIN, Jianchao ZENG, Rui CHAI, Yongqi HUANG. Point cloud registration algorithm based on residual attention mechanism [J]. Journal of Computer Applications, 2022, 42(7): 2184-2191.
[4]	Tianhao QIU, Shurong CHEN. EfficientNet based dual-branch multi-scale integrated learning for pedestrian re-identification [J]. Journal of Computer Applications, 2022, 42(7): 2065-2071.
[5]	Wei REN, Hexiang BAI. Multi-label image classification method based on global and local label relationship [J]. Journal of Computer Applications, 2022, 42(5): 1383-1390.
[6]	Xingshuo DING, Xiang LI, Qian XIE. Enterprise portrait construction method based on label layering and deepening modeling [J]. Journal of Computer Applications, 2022, 42(4): 1170-1177.
[7]	Changqing JI, Zhiyong GAO, Jing QIN, Zumin WANG. Review of image classification algorithms based on convolutional neural network [J]. Journal of Computer Applications, 2022, 42(4): 1044-1049.
[8]	Ne LI, Guangzhu XU, Bangjun LEI, Guoliang MA, Yongtao SHI. Logo recognition algorithm for vehicles on traffic road [J]. Journal of Computer Applications, 2022, 42(3): 810-817.
[9]	MA Jialiang, CHEN Bin, SUN Xiaofei. General object detection framework based on improved Faster R-CNN [J]. Journal of Computer Applications, 2021, 41(9): 2712-2719.
[10]	ZHENG Zhiqiang, HU Xin, WENG Zhi, WANG Yuhe, CHENG Xi. Cattle eye image feature extraction method based on improved DenseNet [J]. Journal of Computer Applications, 2021, 41(9): 2780-2784.
[11]	JIA Heming, LANG Chunbo, JIANG Zichao. Plant leaf disease recognition method based on lightweight convolutional neural network [J]. Journal of Computer Applications, 2021, 41(6): 1812-1819.
[12]	GUO Tianxiao, HU Qingrui, LI Jianwei, SHEN Yanfei. Fitness action recognition method based on human skeleton feature encoding [J]. Journal of Computer Applications, 2021, 41(5): 1458-1464.
[13]	SHE Yulong, ZHANG Xiaolong, CHENG Ruoqin, DENG Chunhua. Semantic segmentation method based on edge attention model [J]. Journal of Computer Applications, 2021, 41(2): 343-349.
[14]	Yunpeng GONG, Zhiyong ZENG, Feng YE. Person re-identification method based on grayscale feature enhancement [J]. Journal of Computer Applications, 2021, 41(12): 3590-3595.
[15]	Jin ZHAO, Wen’ai SONG, Jun TAI, Jijiang YANG, Qing WANG, Xiaodan LI, Yi LEI, Yue QIU. Review of computer-aided face diagnosis for obstructive sleep apnea in children [J]. Journal of Computer Applications, 2021, 41(11): 3394-3401.