基于Kinect v4的牛体尺测量方法

doi:10.11772/j.issn.1001-9081.2021030532

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1598-1606.DOI: 10.11772/j.issn.1001-9081.2021030532

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于Kinect v4的牛体尺测量方法

赵建敏(), 赵成, 夏海光

内蒙古科技大学信息工程学院，内蒙古包头 014010

收稿日期:2021-04-08 修回日期:2021-06-30 接受日期:2021-06-30 发布日期:2022-06-11 出版日期:2022-05-10
通讯作者: 赵建敏
作者简介:赵建敏（1982—），男，内蒙古包头人，副教授，硕士，主要研究方向：图像处理、机器学习 zhao_jm@imust.edu.cn
赵成（1997—），男，天津人，硕士研究生，主要研究方向：计算机视觉、图像处理
夏海光（1981—），男，内蒙古赤峰人，助理研究员，硕士，主要研究方向：图像处理。
基金资助:
内蒙古自治区科技重大专项(2019ZD025);内蒙古自治区自然科学基金资助项目(2019LH06006);包头市昆区科学技术发展项目(YF2020014)

Cattle body size measurement method based on Kinect v4

Jianmin ZHAO(), Cheng ZHAO, Haiguang XIA

School of Information Engineering，Inner Mongolia University of Science and Technology，Baotou Inner Mongolia 014010，China

Received:2021-04-08 Revised:2021-06-30 Accepted:2021-06-30 Online:2022-06-11 Published:2022-05-10
Contact: Jianmin ZHAO
About author:ZHAO Jianmin， born in 1982，M. S.，associate professor. Hisresearch interests include image processing，machine learning.
ZHAO Cheng， born in 1997， M. S. candidate. His researchinterests include computer vision，image processing.
XIA Haiguang， born in 1981，M. S.，assistant research fellow. Hisresearch interests include image processing.
Supported by:
Major Science and Technology Special Project of Inner Mongolia Autonomous Region(2019ZD025);Natural Science Foundation of Inner Mongolia Autonomous Region(2019LH06006);Science and Technology Development Project of Kunqu District, Baotou City(YF2020014)

摘要/Abstract

摘要：

针对基于机器视觉的牛体尺测量方法中图像背景复杂、特征点提取难度大的问题，提出了一种基于Kinect v4传感器的牛体尺测量方法来采集彩色和深度图像，并结合目标检测、Canny边缘检测、三点圆弧曲率等算法提取体征特征点进而计算体尺数据。首先，制作了牛体尺特征部位图像数据集，并利用深度学习YOLOv5目标检测算法检测牛体尺特征部位信息，以减少牛体其他部位和背景对体尺测点提取的干扰；其次，借助OpenCV图像处理库中的Canny边缘检测、轮廓提取等图像处理算法获取牛体尺测点所在的关键轮廓；然后，对关键轮廓采用多项式拟合和三点圆弧曲率等算法从而在二维图像中提取牛体尺测点；最后，利用深度信息将二维图像中的测点信息转换到三维坐标系下，并结合随机抽样一致（RANSAC）算法在三维坐标系下设计牛体尺测量方法。经过在复杂环境下传感器和牛体侧面成不同偏角时的实验测量结果和人工测量结果的比较得出，牛体尺数据中鬐甲高的平均相对误差为0.76%，体斜长的平均相对误差为1.68%，体直长的平均相对误差为2.14%，臀端高的平均相对误差为0.76%。实验结果表明，所提方法在复杂环境下具有较高的测量精度。

关键词: 牛, 体尺测量, 目标检测, 图像处理, Kinect传感器, 深度信息

Abstract:

Aiming at the complexity of image background and difficulty of feature point extraction in cattle body size measurement based on machine vision， a new cattle body size measurement method based on Kinect v4 sensor was proposed. In this method， the color and depth images were collected， and the body size data were calculated by the body feature points extracted by the combination of algorithms such as object detection， Canny edge detection， and three-point arc curvature. Firstly， an image dataset of feature parts of cattle body size was created， and the deep learning You Only Look Once v5 （YOLOv5） target detection algorithm was used to detect feature part information of cattle body size in order to reduce the interference of other parts of cattle body and background on the extraction of body size measuring points. Secondly， with the help of Canny edge detection， contour extraction and other image processing algorithms in Open source Computer Vision （OpenCV） image processing library， the key contours with measuring points of cattle body size were obtained. Then， the algorithms such as polynomial fitting and three-point arc curvature were performed on the key contours to extract the measuring points of cattle body size in two-dimensional image. Finally， the depth information was used to convert the measuring point information in two-dimensional image to three-dimensional coordinate system， and the cattle body size measurement method was designed in three-dimensional coordinate system with the RANdom SAmple Consensus （RANSAC） algorithm. Through the comparison between the experimental measurement results with the sensor and the side of cattle body at different angles and manual measurement results in a complex environment， it can be seen that the average relative error of withers height is 0.76%， the average relative error of body oblique length is 1.68%， the average relative error of body straight length is 2.14 %， and the average relative error of hip height is 0.76% in cattle body measurement data. Experimental results show that the proposed method has high measurement accuracy in complex environment.

Key words: cattle, body size measurement, target detection, image processing, Kinect sensor, depth information

中图分类号:

TP391

赵建敏, 赵成, 夏海光. 基于Kinect v4的牛体尺测量方法[J]. 计算机应用, 2022, 42(5): 1598-1606.

Jianmin ZHAO, Cheng ZHAO, Haiguang XIA. Cattle body size measurement method based on Kinect v4[J]. Journal of Computer Applications, 2022, 42(5): 1598-1606.

图/表 13

表1 牛体尺测量规定

Tab. 1 Cattle body size measurement regulations

体尺项目	测量规定
鬐甲高	由鬐甲最高点至地面的垂直距离
体斜长	肩胛前端至坐骨结节后端的直线距离
体直长	肩胛前端至坐骨结节后端的垂直线水平距离
臀端高	自坐骨结节后端至地面的距离

图1 本文方法的流程

Fig. 1 Flow chart of proposed method

图2 YOLOv5模型结构

Fig. 2 Structure of YOLOv5 model

图3 YOLOv5训练过程中的loss曲线和mAP曲线（mAP@0.5）

Fig. 3 Loss curve and mAP curve （mAP@0.5） in YOLOv5 training process

表2 训练集和测试集上各类别的平均准确度

Tab. 2 Average accuracy of each category on training set and test set

类别	训练集	测试集
牛（cattle）	0.961	0.965
牛头（head）	0.981	0.985
躯干（body）	0.969	0.972
牛尻（tail）	0.899	0.915
关节（joint）	0.920	0.942
牛足（hoof）	0.948	0.949

图4 YOLOv5模型对牛体尺特征部位的检测效果

Fig. 4 Detection effect of YOLOv5 model on feature parts ofcattle body size

图5 处理后的关键部位

Fig. 5 Key parts after processing

图6 彩色图像和深度图像的边缘检测对比

Fig. 6 Edge detection comparison between color image and depth image

图7 关键轮廓点集的拟合曲线和测点

Fig. 7 Fitting curves and measuring points inkey contour point set

表3 关键轮廓点集中的部分点集

Tab. 3 Some point set of key contour point set

部位	x	y	与 $p r$ 的二维欧氏距离
坐骨端	12	4	8.263
	16	6	4.001
	21	6	1.002
	23	7	3.141
	27	12	9.175
鬐甲端	30	19	5.248
	32	18	3.058
	35	17	0.404
	37	16	2.445
	41	15	6.464
肩胛端	9	32	0.856
	10	33	1.010
	13	38	6.516
	14	40	8.720
	16	43	12.325

表3 关键轮廓点集中的部分点集

Tab. 3 Some point set of key contour point set

部位	x	y	与 $p r$ 的二维欧氏距离
坐骨端	12	4	8.263
	16	6	4.001
	21	6	1.002
	23	7	3.141
	27	12	9.175
鬐甲端	30	19	5.248
	32	18	3.058
	35	17	0.404
	37	16	2.445
	41	15	6.464
肩胛端	9	32	0.856
	10	33	1.010
	13	38	6.516
	14	40	8.720
	16	43	12.325

表4 测点及其周围点的深度值

Tab. 4 Depth value of measuring points and points around them

类别		深度值/mm
类别		$j - 2$	$j - 1$	$j$	$j + 1$	$j + 2$
坐骨端	$i - 2$	4 492	4 494	4 492	4 495	4 486
	$i - 1$	0	0	0	0	0
	$i$	0	2 306	0	0	0
	$i + 1$	2 320	2 320	2 318	2 308	0
	$i + 2$	2 323	2 325	2 327	2 321	2 317
鬐甲端	$i - 2$	0	0	0	0	0
	$i - 1$	0	0	0	0	0
	$i$	0	0	0	0	0
	$i + 1$	0	2 252	2 248	2 250	2 249
	$i + 2$	2 242	2 247	2 243	2 247	2 243
肩胛端	$i - 2$	2 290	2 288	2 286	2 282	2 279
	$i - 1$	2 292	2 290	2 288	2 285	2 282
	$i$	2 293	2 292	2 290	2 286	2 283
	$i + 1$	2 294	2 293	2 292	2 288	2 285
	$i + 2$	2 296	2 295	2 293	2 290	2 288

表4 测点及其周围点的深度值

Tab. 4 Depth value of measuring points and points around them

类别		深度值/mm
类别		$j - 2$	$j - 1$	$j$	$j + 1$	$j + 2$
坐骨端	$i - 2$	4 492	4 494	4 492	4 495	4 486
	$i - 1$	0	0	0	0	0
	$i$	0	2 306	0	0	0
	$i + 1$	2 320	2 320	2 318	2 308	0
	$i + 2$	2 323	2 325	2 327	2 321	2 317
鬐甲端	$i - 2$	0	0	0	0	0
	$i - 1$	0	0	0	0	0
	$i$	0	0	0	0	0
	$i + 1$	0	2 252	2 248	2 250	2 249
	$i + 2$	2 242	2 247	2 243	2 247	2 243
肩胛端	$i - 2$	2 290	2 288	2 286	2 282	2 279
	$i - 1$	2 292	2 290	2 288	2 285	2 282
	$i$	2 293	2 292	2 290	2 286	2 283
	$i + 1$	2 294	2 293	2 292	2 288	2 285
	$i + 2$	2 296	2 295	2 293	2 290	2 288

图8 二维和三维坐标系下的牛体

Fig. 8 Cattle bodies in two-dimensional and three-dimensional coordinate systems

表5 人工和本文方法测量体尺的结果对比

Tab. 5 Result comparison of measuring body size by manual and proposed methods

实验序号	偏角/（°）	实测值/mm				检测值/mm				相对误差/%
实验序号	偏角/（°）	BH	BS	BO	HH	BH	BS	BO	HH	BH	BS	BO	HH
平均值	—	1 054	1 193	1 125	982	1 046.21	1 202.45	1 121.79	987.15	0.76	1.68	2.14	0.76
1	15	1 054	1 193	1 125	982	1 040.93	1 168.74	1 089.64	990.53	1.24	2.03	3.14	0.87
2	12	1 054	1 193	1 125	982	1 041.79	1 178.50	1 107.28	986.17	1.16	1.22	1.57	0.42
3	9	1 054	1 193	1 125	982	1 054.97	1 195.28	1 131.19	977.02	0.09	0.19	0.55	0.51
4	6	1 054	1 193	1 125	982	1 051.77	1 190.19	1 104.51	987.78	0.21	0.24	1.82	0.59
5	3	1 054	1 193	1 125	982	1 043.44	1 181.22	1 122.38	994.54	1.00	0.99	0.23	1.28
6	0	1 054	1 193	1 125	982	1 046.72	1 216.81	1 123.19	977.67	0.69	2.00	0.16	0.44
7	$- 3$	1 054	1 193	1 125	982	1 046.99	1 226.33	1 159.70	978.86	0.67	2.79	3.08	0.32
8	$- 6$	1 054	1 193	1 125	982	1 048.26	1 197.63	1 093.63	986.73	0.54	0.39	2.79	0.48
9	$- 9$	1 054	1 193	1 125	982	1 047.41	1 187.94	1 084.48	993.44	0.63	0.42	3.60	1.17
10	$- 12$	1 054	1 193	1 125	982	1 043.58	1 235.07	1 133.53	1 002.55	0.99	3.53	0.76	2.09
11	$- 15$	1 054	1 193	1 125	982	1 042.45	1 249.29	1 190.17	983.40	1.10	4.72	5.79	0.14

表5 人工和本文方法测量体尺的结果对比

Tab. 5 Result comparison of measuring body size by manual and proposed methods

实验序号	偏角/（°）	实测值/mm				检测值/mm				相对误差/%
实验序号	偏角/（°）	BH	BS	BO	HH	BH	BS	BO	HH	BH	BS	BO	HH
平均值	—	1 054	1 193	1 125	982	1 046.21	1 202.45	1 121.79	987.15	0.76	1.68	2.14	0.76
1	15	1 054	1 193	1 125	982	1 040.93	1 168.74	1 089.64	990.53	1.24	2.03	3.14	0.87
2	12	1 054	1 193	1 125	982	1 041.79	1 178.50	1 107.28	986.17	1.16	1.22	1.57	0.42
3	9	1 054	1 193	1 125	982	1 054.97	1 195.28	1 131.19	977.02	0.09	0.19	0.55	0.51
4	6	1 054	1 193	1 125	982	1 051.77	1 190.19	1 104.51	987.78	0.21	0.24	1.82	0.59
5	3	1 054	1 193	1 125	982	1 043.44	1 181.22	1 122.38	994.54	1.00	0.99	0.23	1.28
6	0	1 054	1 193	1 125	982	1 046.72	1 216.81	1 123.19	977.67	0.69	2.00	0.16	0.44
7	$- 3$	1 054	1 193	1 125	982	1 046.99	1 226.33	1 159.70	978.86	0.67	2.79	3.08	0.32
8	$- 6$	1 054	1 193	1 125	982	1 048.26	1 197.63	1 093.63	986.73	0.54	0.39	2.79	0.48
9	$- 9$	1 054	1 193	1 125	982	1 047.41	1 187.94	1 084.48	993.44	0.63	0.42	3.60	1.17
10	$- 12$	1 054	1 193	1 125	982	1 043.58	1 235.07	1 133.53	1 002.55	0.99	3.53	0.76	2.09
11	$- 15$	1 054	1 193	1 125	982	1 042.45	1 249.29	1 190.17	983.40	1.10	4.72	5.79	0.14

参考文献 18

1	张智慧，李伟，韩永胜.牛体尺影响因素及其应用［J］.中国畜牧杂志，2018，54（1）：9-13. 10.19556/j.0258-7033.2018-01-009
	ZHANG Z H， LI W， HAN Y S. Influence factors and applications for body size of cattle ［J］. Chinese Journal of Animal Science， 2018， 54（1）： 9-13. 10.19556/j.0258-7033.2018-01-009
2	王永智.牛的外貌鉴定、体尺测量及体重估测［J］.养殖技术顾问，2013（12）：20.
	WANG Y Z. Appearance identification， body size measurement and weight estimation of cattle ［J］. Technical Advisor for Animal Husbandry， 2013（12）： 20.
3	陆蓉，胡肄农，黄小国，等.智能化畜禽养殖场人工智能技术的应用与展望［J］.天津农业科学，2018，24（7）：34-40. 10.3969/j.issn.1006-6500.2018.07.008
	LU R， HU Y N， HUANG X G， et al. Application and prospect of artificial intelligence technology in intelligent livestock and poultry farms ［J］. Tianjin Agricultural Sciences， 2018， 24（7）： 34-40. 10.3969/j.issn.1006-6500.2018.07.008
4	江杰，周丽娜，李刚.基于机器视觉的羊体体尺测量［J］.计算机应用，2014，34（3）：846-850，887. 10.11772/j.issn.1001-9081.2014.03.0846
	JIANG J， ZHOU L N， LI G. Sheep body size measurement based on computer vision ［J］. Journal of Computer Applications， 2014， 34（3）： 846-850， 887. 10.11772/j.issn.1001-9081.2014.03.0846
5	刘同海，滕光辉，付为森，等.基于机器视觉的猪体体尺测点提取算法与应用［J］.农业工程学报，2013，29（2）：161-168. 10.3969/j.issn.1002-6819.2013.02.023
	LIU T H， TENG G H， FU W S， et al. Extraction algorithms and applications of pig body size measurement points based on computer vision ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（2）： 161-168. 10.3969/j.issn.1002-6819.2013.02.023
6	常海天.种牛体尺非接触测量系统研究［D］.长春：长春工业大学，2018：22-54. 10.7546/ijba.2018.22.4.349-362
	CHANG H T. The study on the non-contact measurement system of cattle body ［D］. Changchun： Changchun University of Technology， 2018： 22-54. 10.7546/ijba.2018.22.4.349-362
7	赵建敏，赵忠鑫，李琦.基于Kinect传感器的羊体体尺测量方法［J］.江苏农业科学，2015，43（11）：495-499. 10.3390/coatings11111310
	ZHAO J M， ZHAO Z X， LI Q. Sheep body size measurement method based on Kinect sensor ［J］. Jiangsu Agricultural Sciences， 2015， 43（11）： 495-499. 10.3390/coatings11111310
8	冯恬.非接触牛体测量系统构建与实现［D］.杨凌：西北农林科技大学，2014：22-39.
	FENG T. Constructing and implementing for non-touch measurement system of cattle body ［D］. Yangling： Northwest A&F University， 2014： 22-39.
9	李琦，刘伟，赵建敏.基于双目视觉及Mask RCNN的牛体尺无接触测量［J］.黑龙江畜牧兽医，2020（12）：46-50，159-160.
	LI Q， LIU W， ZHAO J M. Non-contact measurement of bovine body size based on binocular vision and Mask RCNN ［J］. Heilongjiang Animal Science and Veterinary Medicine， 2020（12）： 46-50， 159-160.
10	LI L. Time-of-flight camera — an introduction ［R］. Dallas， Texas： Texas Instruments， 2014.
11	JOCHER G， STOKEN A， BOROVEC J， et al. Ultralytics/yolov5： v4.0-nn.SiLU（） activations， Weights & Biases logging， PyTorch Hub integration ［EB/OL］. ［2021-01-15］. .
12	FISCHLER M A， BOLLES R C. Random sample consensus： a paradigm for model fitting with applications to image analysis and automated cartography ［J］. Communications of the ACM， 1981， 24（6）： 381-395. 10.1145/358669.358692
13	YU J H， JIANG Y N， WANG Z Y， et al. UnitBox： an advanced object detection network ［C］// Proceedings of the 2016 24th ACM International Conference on Multimedia. New York： ACM， 2016： 516-520. 10.1145/2964284.2967274
14	HARRIS C R， MILLMAN K J， WALT S J VAN DER， et al. Array programming with NumPy ［J］. Nature， 2020， 585（7825）： 357-362. 10.1038/s41586-020-2649-2
15	BRADSKI G. The openCV library ［J］. Dr. Dobb’s Journal： Software Tools for the Professional Programmer， 2000， 25（11）：120-123.
16	CANNY J. A computational approach to edge detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1986， 8（6）： 679-698. 10.1109/tpami.1986.4767851
17	SUZUKI S， ABE K. Topological structural analysis of digitized binary images by border following ［J］. Computer Vision， Graphics， and Image Processing， 1985， 30（1）： 32-46. 10.1016/0734-189x(85)90016-7
18	燕霞.海倫-秦九韶公式［J］.数学通报，1955（3）：4.
	YAN X. Heron-Qin Jiushao formula ［J］. Journal of Mathematics （China）， 1955（3）： 4.

[1]	力尚龙, 刘建华, 贾鹤鸣. 融合多狩猎协调策略的爬行动物搜索算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2818-2828.
[2]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[3]	张英俊, 李牛牛, 谢斌红, 张睿, 陆望东. 课程学习指导下的半监督目标检测框架[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2326-2333.
[4]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[5]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[6]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[7]	姬张建, 杜娜. 基于改进VariFocalNet的微小目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2200-2207.
[8]	刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1972-1977.
[9]	刘源泂, 何茂征, 黄益斌, 钱程. 基于ResNet50和改进注意力机制的船舶识别模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1935-1941.
[10]	邓亚平, 李迎江. YOLO算法及其在自动驾驶场景中目标检测综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1949-1958.
[11]	耿焕同, 刘振宇, 蒋骏, 范子辰, 李嘉兴. 基于改进YOLOv8的嵌入式道路裂缝检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1613-1618.
[12]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[13]	宋霄罡, 张冬冬, 张鹏飞, 梁莉, 黑新宏. 面向复杂施工环境的实时目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1605-1612.
[14]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[15]	李雨秋, 侯利萍, 薛健, 吕科, 王泳. 基于内容解译的遥感图像推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 722-731.

基于Kinect v4的牛体尺测量方法

Cattle body size measurement method based on Kinect v4

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 18

相关文章 15

编辑推荐

Metrics