CN117522950B - 一种基于机器视觉的植物茎杆生长的几何参数测量方法 - Google Patents
一种基于机器视觉的植物茎杆生长的几何参数测量方法 Download PDFInfo
- Publication number
- CN117522950B CN117522950B CN202311835468.8A CN202311835468A CN117522950B CN 117522950 B CN117522950 B CN 117522950B CN 202311835468 A CN202311835468 A CN 202311835468A CN 117522950 B CN117522950 B CN 117522950B
- Authority
- CN
- China
- Prior art keywords
- convolution module
- plant
- rectangular frame
- network
- branch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000196324 Embryophyta Species 0.000 title claims abstract description 98
- 230000005082 stem growth Effects 0.000 title claims abstract description 11
- 238000000691 measurement method Methods 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000009826 distribution Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 29
- 230000007246 mechanism Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000012010 growth Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000037039 plant physiology Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的植物茎杆生长的几何参数测量方法，使用改进的YOLOv8obb网络对植物茎杆图像进行处理，对植物茎杆进行旋转矩形框标注处理，以生长的分支点为界限标注出各自的旋转矩形框，旋转矩形框长边与垂直地面向上的方向的夹角即为植物茎杆分支角度，旋转矩形框长边为植物茎杆分支长度，旋转矩形框短边为植物茎杆分支直径；通过测量像素尺寸并与已知的比例关系进行转换，得到植物茎杆分支长度和直径。本发明在植物茎杆数据集中有更准确的目标检测能力，能够更准确地定位和识别植物茎杆目标，实现了基于机器视觉的植物茎杆几何参数检测。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于机器视觉的植物茎杆生长的几何参数测量方法。
背景技术
植株主要由根、茎、叶等植物器官所组成，植物茎杆生长的几何参数测量是植物形态学与生长发育研究的重要内容之一。通过准确测量植物茎杆分支的长度、直径、角度等几何参数，可以揭示植物生长的规律和特征，对农业生产、植物生理学研究、植物遗传改良等领域具有重要意义。
传统的植物茎杆几何参数测量方法主要依赖于人工测量，存在测量不准确、效率低下、主观性强等问题。为了克服这些问题，基于机器视觉技术的自动化测量方法逐渐受到关注。
基于机器视觉的植物茎杆生长几何参数测量方法通过使用图像采集设备（如相机）获取植物茎杆的图像，并利用图像处理和分析算法进行自动化测量。该方法可以实现高精度、高效率的植物茎杆几何参数测量，减少了人工操作的主观性和误差。这种方法的核心技术是目标检测和图像处理算法。目标检测算法可以识别和定位植物茎杆的位置，通过标注和框选的方式提取茎杆的几何特征。再根据图像处理算法，进一步提取和计算茎杆的长度、直径、分支角度等几何参数。
利用图像采集设备和图像处理算法实现自动化测量，具有高精度、高效率和低成本的优势，对于植物生长规律的研究和农业生产具有重要意义。在植物生长测量技术快速发展的背景下，机器视觉在其中脱颖而出，使用机器视觉测量植物生长既准确又方便。
YOLOv8是一种基于深度学习的目标检测算法，主要用于在图像中实时地检测和识别物体。通过将目标检测任务转化为回归问题，实现了高效的目标检测和定位。YOLOv8网络能够从输入图像中提取出丰富的特征表示，这些特征表示包含了图像中不同位置的物体信息。YOLOv8通过卷积操作来预测图像中存在的目标物体的旋转矩形框，以及每个旋转矩形框对应的物体类别和置信度得分。YOLOv8通过采用多尺度预测的方式来提高检测的准确性和鲁棒性，同时能够有效地处理不同尺寸和比例的目标物体。为了去除重叠的旋转矩形框，YOLOv8还使用了NMS算法，保留置信度最高的旋转矩形框，并消除重叠旋转矩形框中得分较低的部分。YOLOv8能够在图像中快速而准确地检测和识别出不同类别的物体，其高效的网络结构和多尺度的特点使其在实时目标检测应用中具有优势。与传统的目标检测方法相比，YOLOv8可以提供更准确的检测结果，而不会拖慢处理速度。
发明内容
基于此，本发明创造的目的是为了提供一种基于机器视觉的植物茎杆生长的几何参数测量方法，以解决上述技术背景中的传统的植物茎杆几何参数测量方法主要依赖于人工测量，存在测量不准确、效率低下、主观性强等问题。
本发明是这样实现的，一种基于机器视觉的植物茎杆生长的几何参数测量方法，包括以下步骤：
步骤一：通过拍摄装置采集植物茎杆图像；
步骤二：使用改进的YOLOv8obb网络对植物茎杆图像进行处理，对植物茎杆进行旋转矩形框标注处理，以生长的分支点为界限标注出各自的旋转矩形框，每个旋转矩形框包含植物茎杆分支，且植物茎杆分支与旋转矩形框平行；所述改进的YOLOv8obb网络是在YOLOv8网络中的主干网络的第二卷积模块后加入了空间和通道重建卷积模块（ScConv），将主干网络的4层C2f模块替换为分布移位卷积模块（DSConv），然后在4层分布移位卷积模块（DSConv）后各加入一层SE注意力机制；
步骤三：根据植物在有光照条件下向上生长的特性，旋转矩形框长边与垂直地面向上的方向（即坐标系X轴的正半轴）的夹角即为植物茎杆分支角度，旋转矩形框长边为植物茎杆分支长度，旋转矩形框短边为植物茎杆分支直径；通过测量像素尺寸并与已知的比例关系进行转换，得到植物茎杆分支长度和直径。
进一步优选，所述改进的YOLOv8obb网络的主干网络依次由第一卷积模块、第二卷积模块、空间和通道重建卷积模块、第一分布移位卷积模块、第一SE注意力机制、第三卷积模块、第二分布移位卷积模块、第二SE注意力机制、第四卷积模块、第三分布移位卷积模块、第三SE注意力机制、第五卷积模块、第四分布移位卷积模块、第四SE注意力机制构成，选择第二分布移位卷积模块的输出特征、第三分布移位卷积模块的输出特征和第四分布移位卷积模块经第四SE注意力机制处理的输出特征进入颈网络进行多尺度融合。
进一步优选，在进行旋转处理时，对每一个旋转矩形框进行旋转角度的调整；选择旋转矩形框的中心点作为旋转中心，根据旋转角度，对旋转矩形框进行旋转变换；将变换后的旋转矩形框输入改进的YOLOv8obb网络中进行目标检测。
进一步优选，旋转变换过程为：旋转矩形框的坐标为(x,y,w,h,θ)，其中，(x,y)是中心点坐标, x表示中心点横坐标，y表示中心点纵坐标，w和h分别是旋转矩形框的宽和高，θ是旋转矩形框的旋转角度；对于变换后的旋转矩形框，根据以下公式进行计算：
新的中心点坐标：；
新的宽：；
新的高： ；
新的旋转角度：。
进一步优选，使用CIoU损失函数对所使用的旋转矩形框进行回归处理。
本发明使用改进的YOLOv8obb网络对植物茎杆图像进行处理，对植物茎杆进行旋转矩形框标注处理，以生长的分支点为界限标注出各自的旋转矩形框，根据旋转矩形框识别得到植物茎杆分支长度和直径。在YOLOv8网络中的主干网络加入了空间和通道重建卷积模块（ScConv），将主干网络的4层C2f模块替换为分布移位卷积模块（DSConv），并加入一层SE注意力机制，所得改进的YOLOv8obb网络在植物茎杆数据集中有更准确的目标检测能力，能够更准确地定位和识别植物茎杆目标，相较于其他网络，有更好的性能。本发明实现了基于机器视觉的植物茎杆几何参数检测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明的方法流程图。
图2是本发明中改良YOLOv8网络的主干网络示意图。
图3是基于第二长边定义的判断旋转矩形框水平尺寸和垂直尺寸的方法图。
图4是不同网络验证损失曲线图。
图5是不同网络验证集平均精确度(mAP)变化曲线图。
图6是角度预测值与真实值的拟合数据图。
图7是长度预测值与真实值的拟合数据图。
图8是植物茎杆分支参数检测速度记录曲线图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供的一种基于机器视觉的植物茎杆生长的几何参数测量方法，包括以下步骤：
步骤一：通过拍摄装置采集植物茎杆图像。数据的采集分为两个部分，一是实验室标本采集，采集的植株被放置在试验环境中，环境干扰基本可排除；二是野外标本采集，野外的植株在拍摄中，由于旁边会有其他环境因素，所以要对植物茎杆图像进行进一步处理，以去除植物茎杆图像的复杂背景；
步骤二：使用改进的YOLOv8obb网络对植物茎杆图像进行处理，对植物茎杆进行旋转矩形框标注处理，以生长的分支点为界限标注出各自的旋转矩形框，每个旋转矩形框包含植物茎杆分支，且植物茎杆分支与旋转矩形框平行；
步骤三：根据植物在有光照条件下向上生长的特性，旋转矩形框长边与垂直地面向上的方向（即坐标系X轴的正半轴）的夹角即为植物茎杆分支角度，旋转矩形框长边为植物茎杆分支长度，旋转矩形框短边为植物茎杆分支直径；通过测量像素尺寸并与已知的比例关系进行转换，得到植物茎杆分支长度和直径。
YOLOv8obb指的是使用旋转矩形框（obb）的标注方式，对所拍摄的植物茎杆图像先进行标注，标注出任意四边形框线顶点并按照顺时针顺序排列，以此作为数据集使用YOLOv8网络进行训练,随后就可以对拍摄的植物茎杆图像进行处理分析。YOLOv8obb适用于目标存在旋转的场景，比如车辆行驶的方向可能不仅仅是水平方向。植物茎杆分支的生长方向也都是角度多且不固定；在YOLOv8obb进行旋转处理时，需要对每一个旋转矩形框进行旋转角度的调整。首先，需要确定旋转中心，一般可以选择旋转矩形框的中心点作为旋转中心。然后，根据旋转角度，对旋转矩形框进行旋转变换。旋转变换涉及到旋转矩形框中的坐标变换。假设旋转矩形框的坐标为(x,y,w,h,θ)，其中，(x,y)是中心点坐标, x表示中心点横坐标，y表示中心点纵坐标，w和h分别是旋转矩形框的宽和高，θ是旋转矩形框的旋转角度。对于旋转后的旋转矩形框，根据以下公式进行计算：
新的中心点坐标：；
新的宽：；
新的高： ；
新的旋转角度：（说明旋转后的目标框与X轴平行）；
将旋转后的旋转矩形框输入改进的YOLOv8obb网络中进行目标检测。
损失函数的选择关系到网络模型训练的稳定性以及收敛速度，本实施例使用CIoU损失函数对所使用的旋转矩形框进行回归处理。CIoU损失函数用于判断旋转矩形框回归的好坏程度，该损失函数值越小，预测旋转矩形框就越接近真实边界框。在判断时通常需要考虑3个重要的因素，包括旋转矩形框重合的面积、旋转矩形框长宽的比例以及中心点的距离。CIoU损失函数的定义如下面的公式所述：
；
；
；
；
式中，表示CIoU损失，表示真实边界框和预测边界框的IoU（交并比）
值；为真实边界框的中心点坐标；为预测边界框的中心点坐标；为真实边界框的
中心点到预测边界框的中心点的欧氏距离；为边界框的最小对角线的距离；是权重系
数；为用于衡量边界框的宽和高相对比例的一致性参数。和分别代表真实旋转矩形
框的宽和高；和则分别代表预测旋转矩形框的宽和高。
原始的YOLOv8obb网络的旋转矩形框只能包含类别和置信度的信息，不能输出旋转矩形框的大小和角度，传统的水平框计算大小是根据从模型输出的边界框坐标信息中提取出左上角和右下角的坐标。再使用左上角和右下角的坐标计算出边界框的宽度和高度。根据宽度和高度，可以计算出边界框的长边和短边。但由于旋转矩形框的四个点的坐标不一定在水平或垂直方向上，所以不能直接用传统的方法计算大小和位置。
如图3所示，本发明方法在YOLOv8obb网络的旋转矩形框中，基于第二长边判断旋转矩形框水平尺寸和垂直尺寸，根据第二长边判断旋转矩形框关于X轴正半轴的角度输出；因为植物茎杆的向上生长的特性，更符合对植物茎杆分支角度的表述，所以使用关于X轴正半轴的角度作为植物茎杆分支角度。在旋转矩形框中，从旋转矩形框的这四个点中找到水平最低的点，再由此点分别连接旋转矩形框另外三个点，构成三条边，其中第一长边为旋转矩形框的对角线，第二长边为旋转矩形框的长轴方向的距离，即长边，第三长边为旋转矩形框的短轴方向的距离，即短边，因此可以用第二长边来获取旋转矩形框的大小和角度参数。
本发明在测试各种改良网络所用到的数据集图片包含训练集2440张、测试集305张、验证集305张，各种改良网络统一运行了500轮网络收敛后得到评价指标数据。
目前，根据模型的宽度和深度来区分。YOLOv8有五个版本。为了找到最适合本申请的模型，在数据集上进行了不同宽度和深度的网络结构实验。具有不同深度和宽度的Yolov8的训练结果如表1所示。
表1.模型选择实验
通过本次实验得出，虽然复杂的网络模型对植物茎杆分支样本的检测性能有小幅提升，但模型的权重和体积都比较大，在训练过程中也占用了较多的GPU。宽度和深度最大的YOLOv8l对植物骨架样本的检测平均精确度最高，平均精确度(mAP)为95.6%，但其模型也更复杂，模型体积为82582635。YOLOv8n这是最简单的网络，平均精确度(mAP)为92.3%。YOLOv8s网络的平均精确度(mAP)为94.6%，模型体积为12604395，比YOLOv8l减少了约85%。因此，总结来看，需考虑实际应用环境以及模型在数据集上的表现，从精准度、处理速度以及模型的复杂性等各个角度进行权衡。决定选择表现相对均衡的YOLOv8s作为本发明的基础模型，后续的实验均将以YOLOv8s为基础。在只需增加少量参数和计算量的情况下，对模型进行优化，以提高模型的综合检测效果。
在综合使用数据集运行不同注意力机制的评价指标对比数据如表2所示。
表2.注意力选择实验
加入SE注意力机制，CBAM注意力机制，Coor注意力机制后，平均精确度都提高了0.2%，但加入SE注意力机制后的精确率为96.3%，提高了0.6%，提升的值最为明显，证明SE注意力机制对植物分支的特征提取有一定的作用。
使用数据集运行后各种改良网络的四种评价指标对比数据如表3所示。
表3.消融实验
为了验证本发明对YOLOv8s改进的有效性，做了不同改进方法的对比实验。加入SE注意力机制后，平均精确度（mAP）提高了0.2%，证明SE注意力机制对植物骨架样本的特征提取有一定的作用。再加入空间和通道重建卷积模块（ScConv）后，平均精确度达到95.3%，平均精确度提高了0.5%，提高了检测植物分支样本的能力。加入分布移位卷积模块（DSConv）后，平均精确度达到95.8%，平均精确度又提高了0.5%。总的来说，本发明的方法将原始YOLOv8s的平均精确度提高了约1.3%。提高了模型的识别能力。而且比平均精确度最大的YOLOv8l高出0.2%，模型体积仅为YOLOv8l的42%，兼顾了准确度和性能；
为了评估改进的YOLOv8obb网络的性能，将其与以下典型的目标检测神经网络Rotated Faster RCNN obb、Gliding Vertex、R3Det、Oriented RCNN、S2A-Net、YOLOv5sobb、YOLOv8sobb七种模型用于对比实验，使用数据集运行不同网络模型的性能评价指标对比数据如表4所示。如图2所示，本发明在原有的YOLOv8网络中的主干网络的第二卷积模块后加入了空间和通道重建卷积模块（ScConv），将主干网络的4层C2f模块替换为分布移位卷积模块（DSConv），然后在4层分布移位卷积模块（DSConv）后各加入一层SE注意力机制，在进行的多种实验中SE注意力机制加空间和通道重建卷积模块（ScConv）和分布移位卷积模块（DSConv）的组合效果最佳，因此本实施例选取了SE注意力机制、空间和通道重建卷积模块和分布移位卷积模块的组合相结合的网络。
表4.对比实验
如图2所示，本实施例所述改进的YOLOv8obb网络的主干网络依次由第一卷积模块、第二卷积模块、空间和通道重建卷积模块、第一分布移位卷积模块、第一SE注意力机制、第三卷积模块、第二分布移位卷积模块、第二SE注意力机制、第四卷积模块、第三分布移位卷积模块、第三SE注意力机制、第五卷积模块、第四分布移位卷积模块、第四SE注意力机制构成，选择第二分布移位卷积模块的输出特征、第三分布移位卷积模块的输出特征和第四分布移位卷积模块经第四SE注意力机制处理的输出特征进入颈网络进行多尺度融合。
本实施例在YOLOv8网络的基础上引入分布移位卷积模块（DSConv），为网络模型带来了显著的优势，增强了YOLOv8网络在计算机视觉任务中的性能。分布移位卷积模块通过优化卷积层的计算负载，显著提升了计算效率。其内存使用仅为标准卷积的1/10，速度高达标准卷积的10倍。在YOLOv8网络的实时目标检测场景中，提升计算效率对于快速而准确的目标定位十分重要。分布移位卷积模块的引入有助于保持高精度的同时加速整体推理速度，为实时应用提供更好的性能。分布移位卷积模块通过巧妙地将卷积核分解为两个组成部分，其中一个部分是不可训练的整数值，有效地提高了内存使用效率。
本实施例在YOLOv8网络的基础上引入空间和通道重建卷积模块（SCConv）。由于YOLOv8网络在实时目标检测等任务中需要高效的计算，而空间和通道重建卷积模块通过减少模型参数和计算成本，使得YOLOv8网络更加轻量化。空间和通道重建卷积模块的设计旨在不仅减少冗余特征，还提高特征表示的能力。因此，引入空间和通道重建卷积模块后，YOLOv8网络在降低计算成本的同时，能够保持高水平的目标检测准确性。这对于实时场景下的精确目标定位至关重要。空间和通道重建卷积模块还被设计成一种即插即用的架构单元，可以直接替换YOLOv8网络中的标准卷积，可以根据具体任务和场景轻松地优化网络结构，而无需大规模修改。其次，空间和通道重建卷积模块通过巧妙的空间重建单元（SRU）和通道重建单元（CRU）的设计，有效地限制特征冗余，增强了网络的效率；这使得YOLOv8网络在处理大规模图像数据时更加高效。空间和通道重建卷积模块的引入为YOLOv8网络注入了轻量级和高效性的特性，更适用于实时目标检测应用，同时保持了良好的准确性。这为在资源有限的环境中运行的应用提供了更好的性能和效率。
如图4所示，改进的YOLOv8obb网络与已经提出的效果较好的网络(RotatedFaster RCNN obb、Gliding vertex、YOLOv5sobb、R3Det、Oriented RCNN、S2A_Net)进行实验结果比较，比较的评价指标是验证集所得到的损失率，随着训练轮数的增加，各个网络的损失率都趋于收敛，本发明使用的改进的YOLOv8obb网络损失率都要低于其他网络，这说明了改进的YOLOv8obb网络在植物茎杆数据集中的性能更好，低损失率意味着模型在训练过程中能够更准确地拟合训练数据。表明该网络具有更强的表征能力和学习能力，能够更好地捕捉植物茎杆中的模式和特征。
如图5所示，改进的YOLOv8obb网络与已经提出的效果较好的网络(RotatedFaster RCNN obb、Gliding vertex、YOLOv5sobb、R3Det、Oriented RCNN、S2A_Net)进行实验结果比较，比较的评价指标是验证集所得到的平均精确度(mAP)，随着训练轮数的增加，各个网络的平均精确度(mAP)都趋于收敛，本发明使用的改进的YOLOv8obb网络的平均精确度(mAP)都要高于其他网络，这说明了改进的YOLOv8obb网络在植物茎杆数据集中有更准确的目标检测能力，能够更准确地定位和识别植物茎杆目标，相对于其他网络有着更好的性能。
如图6所示，本发明方法在120张真实植物茎杆图像上测量分支的角度参数，预测
值与人工测量值的对照情况，得到的一元线性回归模型的表达式为, 拟合决定系数不小于0.99, 均方根误差(RMSE)为1.0472,平
均相对误差(MRAE)为0.0883，各个参数的检测准确性相对较高。
如图7所示，本发明方法在120张真实植物茎杆图像上测量分支的长度参数，预测
值与人工测量值的对照情况，得到的一元线性回归模型的表达式为, 拟合决定系数不小于0.99, 均方根误差(RMSE)为1.0503,平
均相对误差(MRAE)为0.0251，各参数检测精度较高。
如图8所示，本发明方法在120张真实植物茎杆图像上测量分支参数检测速度记录曲线，植物茎杆图像中分支的角度和长度参数都是同时检测输出的，本发明方法在120张植物茎杆图像中，单张的最慢检测速度是0.028s（秒），单张最快检测速度0.009s（秒）, 120张植物茎杆图像平均检测速度是0.013s（秒），速度较快，效率较高。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种基于机器视觉的植物茎杆生长的几何参数测量方法，其特征在于，包括以下步骤：
步骤一：通过拍摄装置采集植物茎杆图像；
步骤二：使用改进的YOLOv8obb网络对植物茎杆图像进行处理，对植物茎杆进行旋转矩形框标注处理，以生长的分支点为界限标注出各自的旋转矩形框，每个旋转矩形框包含植物茎杆分支，且植物茎杆分支与旋转矩形框平行；所述改进的YOLOv8obb网络是在YOLOv8网络中的主干网络的第二卷积模块后加入了空间和通道重建卷积模块，将主干网络的4层C2f模块替换为分布移位卷积模块，然后在4层分布移位卷积模块后各加入一层SE注意力机制；所述改进的YOLOv8obb网络的主干网络依次由第一卷积模块、第二卷积模块、空间和通道重建卷积模块、第一分布移位卷积模块、第一SE注意力机制、第三卷积模块、第二分布移位卷积模块、第二SE注意力机制、第四卷积模块、第三分布移位卷积模块、第三SE注意力机制、第五卷积模块、第四分布移位卷积模块、第四SE注意力机制构成，选择第二分布移位卷积模块的输出特征、第三分布移位卷积模块的输出特征和第四分布移位卷积模块经第四SE注意力机制处理的输出特征进入颈网络进行多尺度融合；
步骤三：根据植物在有光照条件下向上生长的特性，旋转矩形框长边与垂直地面向上的方向的夹角即为植物茎杆分支角度，旋转矩形框长边为植物茎杆分支长度，旋转矩形框短边为植物茎杆分支直径；通过测量像素尺寸并与已知的比例关系进行转换，得到植物茎杆分支长度和直径。
2.根据权利要求1所述的基于机器视觉的植物茎杆生长的几何参数测量方法，其特征在于，在进行旋转处理时，对每一个旋转矩形框进行旋转角度的调整；选择旋转矩形框的中心点作为旋转中心，根据旋转角度，对旋转矩形框进行旋转变换；将变换后的旋转矩形框输入改进的YOLOv8obb网络中进行目标检测。
3.根据权利要求2所述的基于机器视觉的植物茎杆生长的几何参数测量方法，其特征在于，旋转变换过程为：旋转矩形框的坐标为(x,y,w,h,θ)，其中，(x,y)是中心点坐标, x表示中心点横坐标，y表示中心点纵坐标，w和h分别是旋转矩形框的宽和高，θ是旋转矩形框的旋转角度；对于旋转后的旋转矩形框，根据以下公式进行计算：
新的中心点坐标：；
新的宽：；
新的高： ；
新的旋转角度：。
4.根据权利要求3所述的基于机器视觉的植物茎杆生长的几何参数测量方法，其特征在于，使用CIoU损失函数对所使用的旋转矩形框进行回归处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311835468.8A CN117522950B (zh) | 2023-12-28 | 2023-12-28 | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311835468.8A CN117522950B (zh) | 2023-12-28 | 2023-12-28 | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117522950A CN117522950A (zh) | 2024-02-06 |
| CN117522950B true CN117522950B (zh) | 2024-03-12 |
Family
ID=89762936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311835468.8A Active CN117522950B (zh) | 2023-12-28 | 2023-12-28 | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117522950B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844632A (zh) * | 2016-03-21 | 2016-08-10 | 华南农业大学 | 基于机器视觉的稻株识别与定位方法 |
| CN114120093A (zh) * | 2021-12-01 | 2022-03-01 | 安徽理工大学 | 一种基于改进YOLOv5算法的煤矸目标检测方法 |
| CN114419011A (zh) * | 2022-01-24 | 2022-04-29 | 郑州轻工业大学 | 一种棉花异性纤维在线检测方法及系统 |
| CN114548208A (zh) * | 2021-12-22 | 2022-05-27 | 上海辰山植物园 | 一种基于YOLOv5改进的植物种子实时分类检测方法 |
| CN114677325A (zh) * | 2022-01-25 | 2022-06-28 | 安徽农业大学 | 水稻茎秆截面分割模型的构建方法及基于该模型的检测方法 |
| CN115424257A (zh) * | 2022-08-15 | 2022-12-02 | 大理大学 | 基于改进多列卷积神经网络的作物苗期植株计数方法 |
| CN115497076A (zh) * | 2022-10-09 | 2022-12-20 | 江苏智能无人装备产业创新中心有限公司 | 一种高精准度和高效率的信号标识检测方法、装置及介质 |
| CN115700805A (zh) * | 2021-07-30 | 2023-02-07 | 特变电工股份有限公司 | 植物高度检测方法、装置、设备及存储介质 |
| CN115953402A (zh) * | 2023-03-13 | 2023-04-11 | 江西农业大学 | 一种基于机器视觉的植株应力应变测量方法及装置 |
| CN115984704A (zh) * | 2023-02-10 | 2023-04-18 | 浙江理工大学 | 一种番茄采摘机器人的植株与果实检测算法 |
| CN116758363A (zh) * | 2022-03-03 | 2023-09-15 | 四川大学 | 一种权重自适应与任务解耦的旋转目标检测器 |
| CN117218633A (zh) * | 2023-07-31 | 2023-12-12 | 海信集团控股股份有限公司 | 一种物品检测方法、装置、设备及存储介质 |
-
2023
- 2023-12-28 CN CN202311835468.8A patent/CN117522950B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844632A (zh) * | 2016-03-21 | 2016-08-10 | 华南农业大学 | 基于机器视觉的稻株识别与定位方法 |
| CN115700805A (zh) * | 2021-07-30 | 2023-02-07 | 特变电工股份有限公司 | 植物高度检测方法、装置、设备及存储介质 |
| CN114120093A (zh) * | 2021-12-01 | 2022-03-01 | 安徽理工大学 | 一种基于改进YOLOv5算法的煤矸目标检测方法 |
| CN114548208A (zh) * | 2021-12-22 | 2022-05-27 | 上海辰山植物园 | 一种基于YOLOv5改进的植物种子实时分类检测方法 |
| CN114419011A (zh) * | 2022-01-24 | 2022-04-29 | 郑州轻工业大学 | 一种棉花异性纤维在线检测方法及系统 |
| CN114677325A (zh) * | 2022-01-25 | 2022-06-28 | 安徽农业大学 | 水稻茎秆截面分割模型的构建方法及基于该模型的检测方法 |
| CN116758363A (zh) * | 2022-03-03 | 2023-09-15 | 四川大学 | 一种权重自适应与任务解耦的旋转目标检测器 |
| CN115424257A (zh) * | 2022-08-15 | 2022-12-02 | 大理大学 | 基于改进多列卷积神经网络的作物苗期植株计数方法 |
| CN115497076A (zh) * | 2022-10-09 | 2022-12-20 | 江苏智能无人装备产业创新中心有限公司 | 一种高精准度和高效率的信号标识检测方法、装置及介质 |
| CN115984704A (zh) * | 2023-02-10 | 2023-04-18 | 浙江理工大学 | 一种番茄采摘机器人的植株与果实检测算法 |
| CN115953402A (zh) * | 2023-03-13 | 2023-04-11 | 江西农业大学 | 一种基于机器视觉的植株应力应变测量方法及装置 |
| CN117218633A (zh) * | 2023-07-31 | 2023-12-12 | 海信集团控股股份有限公司 | 一种物品检测方法、装置、设备及存储介质 |
Non-Patent Citations (8)
| Title |
|---|
| Fangtao Ren 等.Identification of Plant Stomata Based on YOLO v5 Deep Learning Model.《CSAI 2021》.2021,78-83. * |
| Guoliang Yang 等.A Lightweight YOLOv8 Tomato Detection Algorithm Combining Feature Enhancement and Attention.《Agronomy 2023》.2023,第13卷(第1824期),1-14. * |
| 崔强 等.一种基于树莓派部署的改进 YOLOv5 植物生长状态检测算法.《电子技术与软件工程》.2023,171-177. * |
| 左昊轩 等.基于双目视觉和改进YOLOv8的玉米茎秆宽度原位识别方法.《智慧农业》.2023,第5卷(第3期),86-95. * |
| 李文婧 等.基于改进YOLOv4的植物叶茎交点目标检测研究.《计算机工程与应用》.2022,第58卷(第4期),221-228. * |
| 杨红云 等.水稻叶片几何参数无损测量方法研究.《江西农业大学学报》.2020,(第02期),275-279. * |
| 蒋毅 等.深度迁移学习在紫茎泽兰检测中的应用.《计算机系统应用》.2020,(第06期),201-212. * |
| 陈慧颖 等.基于YOLOv5 m 和 CBAM-CPN 的单分蘖水稻植株表型参数提取.《农业工程学报》.2023,1-8. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117522950A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409365A (zh) | 一种基于深度目标检测的待采摘水果识别和定位方法 | |
| CN113012150A (zh) | 一种特征融合的高密度稻田无人机图像稻穗计数方法 | |
| CN110472575A (zh) | 一种基于深度学习和计算机视觉的串番茄成熟度检测方法 | |
| CN113191334B (zh) | 一种基于改进CenterNet的植物冠层密集叶片计数方法 | |
| CN112766155A (zh) | 一种基于深度学习的海水养殖区提取方法 | |
| CN112200163B (zh) | 水下底栖生物检测方法及系统 | |
| CN113744226A (zh) | 一种农业害虫智能识别与定位方法及系统 | |
| CN115953402A (zh) | 一种基于机器视觉的植株应力应变测量方法及装置 | |
| He et al. | Visual recognition and location algorithm based on optimized YOLOv3 detector and RGB depth camera | |
| CN116310338A (zh) | 一种基于实例和语义分割的单株荔枝红叶梢分割方法 | |
| Zhao et al. | Transient multi-indicator detection for seedling sorting in high-speed transplanting based on a lightweight model | |
| CN115249329A (zh) | 一种基于深度学习的苹果叶片病害检测方法 | |
| CN117522950B (zh) | 一种基于机器视觉的植物茎杆生长的几何参数测量方法 | |
| CN116704497B (zh) | 一种基于三维点云的油菜表型参数提取方法及系统 | |
| Zhou et al. | Hyperspectral imaging technology for detection of moisture content of tomato leaves | |
| CN117541887A (zh) | 水分亏缺检测模型训练及水分亏缺检测方法、装置、设备 | |
| CN116052141A (zh) | 作物生育期的识别方法、装置、设备及介质 | |
| Li et al. | Object detection and spatial positioning of kiwifruits in a wide-field complex environment | |
| CN111768101A (zh) | 一种顾及物候特征的遥感耕地变化检测方法及系统 | |
| Deng et al. | Automatic Identification of Sea Rice Grains in Complex Field Environment Based on Deep Learning | |
| Hu et al. | Machine Vision-Based Recognition for fruit cracking in cherry | |
| CN117173122B (zh) | 一种基于轻量级ViT的图像叶密度测定方法及装置 | |
| Fan et al. | Segmentation and Extraction of Maize Phytomers Using 3D Data Acquired by RGB-D Cameras | |
| CN115690619A (zh) | 一种物体检测中定位和分类任务的解耦方法及存储介质 | |
| Yang et al. | Rapid Detection and Count-ing of Wheat Ears in the Field Using YOLOv4 with Attention Module. Agronomy 2021, 11, 1202 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |