CN117788475B - 一种基于单目深度估计的铁路危树检测方法、系统及设备 - Google Patents

Abstract

本发明属于图像检测领域，具体涉及了一种基于单目深度估计的铁路危树检测方法、系统及设备，旨在解决现有技术的危树检测中，检测速度慢，误差大的问题。本发明包括：获取视频流，得到待检测图像；获取绿植区域图像；预构建深度获取模型并训练，结合待检测图像得到待检测图像的深度图，并获取深度坐标；获取待检测图像中的柱体区域的坐标；结合深度坐标和柱体区域的坐标，得到柱体的平均深度，并计算预设距离；对绿植区域图像进行网格划分，结合深度坐标得到网格划分后的每个网格对应的绿植区域的深度，并计算判断距离；结合判断距离和预设距离得到危树区域。本发明提升了计算速度并降低功耗，提升了检测的精度，能够适应更多的场景。

Description

一种基于单目深度估计的铁路危树检测方法、系统及设备

技术领域

本发明属于图像检测领域，具体涉及了一种基于单目深度估计的铁路危树检测方法、系统及设备。

背景技术

铁路供电危树是指位于铁路线路沿线，并且对铁路供电系统构成潜在危险的树木。铁路供电系统通常由电气化铁路使用，其中电线或电缆悬挂在支柱或桁架上，向列车提供电力。危险树木可能会在不当的位置生长或倾斜，导致其与供电系统的电线或电缆相碰或接触，可能引发电弧、短路、火灾等安全问题，严重情况下可能导致列车出轨或电力系统故障。

铁路供电危树的定义通常还包括以下要素：

位置：危险树木位于铁路线路的附近区域，可能是在铁路两侧的地面上、沿着铁路边坡、在供电系统支柱周围或横跨铁路线的树木等。

大小和形态：危险树木的大小和形态可能各不相同，可以是成年树木、丛生的灌木、枯死树木等。它们可能具有分支、枝叶、树干或树冠等结构，可能会与供电系统的设备或导线发生接触。

倾斜度：危险树木的倾斜度可能是一个重要的判断因素。如果树木倾斜过大，可能增加其与供电系统接触的风险。

距离和接触风险：危险树木的距离与供电系统的距离以及树木与供电系统之间的接触风险密切相关。如果树木过于靠近供电系统，可能存在接触或碰撞的风险。

现有技术在计算距离时，采用了纵向视差的方法，该方法在计算支柱到相机的距离是比较准确的，通过纵向距离计算横向的危树距离时，由于车载相机捕获的连续图像帧中，不同距离物体的像素点加速度通常是不一样的。靠近相机的物体在图像中的像素点位置会发生变化更快，即加速度更大。而远离相机的物体则会相对较慢地移动，其像素点的加速度较小。相反，当车辆减速或停止时，靠近相机的物体相对较慢地移动，而远离相机的物体则更快地静止。因此，使用等长的距离在计算纵向的距离，是会产生很大误差的，特别是对于远处的物体。

现有技术的方法在测距时，需要获取测距目标前后几帧的图像信息，程序计算每帧图像所需要的时间平均在 330 ms 左右，那么在完整的计算整个检测目标时间将超过1000ms，对于1s内40多帧以上的帧数要求是无法满足的。

基于此，本发明提出了一种基于单目深度估计的铁路危树检测方法、系统及设备。

发明内容

为了解决现有技术中的上述问题，即现有技术的危树检测中，检测速度慢，误差大的问题，本发明提供了一种基于单目深度估计的铁路危树检测方法、系统及设备。

本发明的一方面提出了一种基于单目深度估计的铁路危树检测方法，该方法包括：

获取铁路列车运行时的视频流，并进行预处理，得到待检测图像；

在所述待检测图像中基于设定要素和预设的判定条件获取绿植区域图像；所述设定要素包括色调、饱和度和亮度；

预构建深度获取模型，利用多个数据集对预构建的深度获取模型进行混合训练，得到训练后的深度获取模型，将所述待检测图像输入至训练后的深度获取模型，得到待检测图像的深度图，并获取深度坐标；

基于柱体检测算法获取所述待检测图像中的柱体区域的坐标；所述柱体检测算法包括单阶段目标检测算法；

获取所述柱体区域的坐标在对应的所述深度坐标上的深度值，得到柱体的平均深度，基于所述平均深度计算得到预设距离；

对所述绿植区域图像进行网格划分，结合深度坐标得到网格划分后的每个网格对应的绿植区域的深度，基于所述柱体的平均深度与每个网格对应的绿植区域深度的差值计算得到判断距离；

将所述判断距离小于所述预设距离的网格对应的绿植区域合并，作为危树区域。

在一些优选的实施方式中，所述预处理包括GPU抽帧处理。

在一些优选的实施方式中，所述预设的判定条件为：

其中，H为色调；S为饱和度；V为亮度。

在一些优选的实施方式中，所述深度获取模型，其基于编码器构建，所述编码器包括ResNet-101或ResNeXt-101或DenseNet-161。

在一些优选的实施方式中，所述数据集包括Pareto数据集。

在一些优选的实施方式中，绿植区域的深度，其获取方法为：

获取绿植区域图像的轮廓，在所述轮廓内进行网格划分，得到多个绿植块，将所述绿植块投影至所述深度图中，获取每个绿植块的深度坐标，进而得到每个网格对应的绿植区域的深度。

在一些优选的实施方式中，所述危树区域，其获取方法为：

将每个网格对应的绿植区域的深度中，超过预设阈值的网格对应的绿植区域框选，得到多个框选区域，将多个框选区域合并，得到危树区域。

本发明的另一方面，提出了一种基于单目深度估计的铁路危树检测系统，基于一种基于单目深度估计的铁路危树检测方法，该系统包括：

图像获取模块，其配置为获取铁路列车运行时的视频流，并进行预处理，得到待检测图像；

绿植获取模块，其配置为在所述待检测图像中基于设定要素和预设的判定条件获取绿植区域图像；所述设定要素包括色调、饱和度和亮度；

深度获取模块，其配置为预构建深度获取模型，利用多个数据集对预构建的深度获取模型进行混合训练，得到训练后的深度获取模型，将所述待检测图像输入至训练后的深度获取模型，得到待检测图像的深度图，并获取深度坐标；

柱体获取模块，其配置为基于柱体检测算法获取所述待检测图像中的柱体区域的坐标；所述柱体检测算法包括单阶段目标检测算法；

柱体深度获取模块，其配置为获取所述柱体区域的坐标在对应的所述深度坐标上的深度值，得到柱体的平均深度，基于所述平均深度计算得到预设距离；

绿植深度获取模块，其配置为对所述绿植区域图像进行网格划分，结合深度坐标得到网格划分后的每个网格对应的绿植区域的深度，基于所述柱体的平均深度与每个网格对应的绿植区域深度的差值计算得到判断距离；

危树区域获取模块，其配置为将所述判断距离小于所述预设距离的网格对应的绿植区域合并，作为危树区域。

本发明的第三方面，提出了一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的一种基于单目深度估计的铁路危树检测方法。

本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的一种基于单目深度估计的铁路危树检测方法。

本发明的有益效果：

（1）准确性：本发明能够实现对单个图像中每个像素点深度的准确计算，而无需依赖于前后几帧图像或比例尺的计算，能够直接从单个图像中推断出物体的深度信息，提高深度计算的准确性。

（2）效率：本发明通过优化算法或模型，提高计算速度，使得深度计算能够在较短的时间内完成，满足实时性能需求，实现高速的深度计算，以满足每秒处理40帧以上的要求；

（3）精确的深度估计：本发明在2C场景中能够实现高度准确的深度估计。通过分析单个图像，它能够推断出物体的距离和深度信息，从而提供准确的场景感知和距离测量。这对于2C场景中的应用非常关键，例如安全监控、环境感知等。

（4）实时性能：本发明具备实时性能，能够在2C场景中快速而高效地进行深度估计。它能够在实时应用中实时地处理图像，并在短时间内生成深度估计结果。这种实时性能对于需要即时反馈和实时决策的2C场景非常重要，如智能驾驶、实时安全监控等。

（5）鲁棒性和适应性：本发明在2C场景中表现出鲁棒性和适应性。它能够适应各种复杂场景和光照条件，并有效地应对2C场景中的挑战，如遮挡、纹理变化和光照变化等。这使得它能够在不同的2C环境中保持稳定的深度估计结果，提供可靠的场景感知。

（6）高效的计算：本发明具备高效的计算能力，在计算资源有限的设备上进行深度估计。它可能采用经过优化的算法或模型，以提高计算速度并降低功耗。这使得它能够在2C场景中高效地进行深度估计，适应计算资源受限的情况。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明的一种基于单目深度估计的铁路危树检测方法的流程示意图；

图2是本发明的一种基于单目深度估计的铁路危树检测方法中的待检测图像；

图3是本发明的一种基于单目深度估计的铁路危树检测方法中的深度图；

图4是本发明的一种基于单目深度估计的铁路危树检测方法的绿植区域获取过程示意图；

图5是本发明的一种基于单目深度估计的铁路危树检测方法的绿植区域示意图；

图6是本发明的一种基于单目深度估计的铁路危树检测方法的柱子区域获取示意图；

图7是本发明的一种基于单目深度估计的铁路危树检测方法的网格划分示意图；

图8用于实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明第一实施例提供了一种基于单目深度估计的铁路危树检测方法，本方法包括：

获取铁路列车运行时的视频流，并进行预处理，得到待检测图像；

在所述待检测图像中基于设定要素和预设的判定条件获取绿植区域图像；所述设定要素包括色调、饱和度和亮度；

预构建深度获取模型，利用多个数据集对预构建的深度获取模型进行混合训练，得到训练后的深度获取模型，将所述待检测图像输入至训练后的深度获取模型，得到待检测图像的深度图，并获取深度坐标；

基于柱体检测算法获取所述待检测图像中的柱体区域的坐标；所述柱体检测算法包括单阶段目标检测算法；

获取所述柱体区域的坐标在对应的所述深度坐标上的深度值，得到柱体的平均深度，基于所述平均深度计算得到预设距离；

对所述绿植区域图像进行网格划分，结合深度坐标得到网格划分后的每个网格对应的绿植区域的深度，基于所述柱体的平均深度与每个网格对应的绿植区域深度的差值计算得到判断距离；

将所述判断距离小于所述预设距离的网格对应的绿植区域合并，作为危树区域。

本发明为解决动态视差和计算超时等问题，提出一个计算深度的深度学习方法，我们使用单目深度估计技术来计算整个成像图到相机的距离。通过分析图像中的视觉特征、纹理和几何信息，我们可以推断出物体的深度信息。这种方法不再依赖于纵向视差，而是通过学习和推断来估计物体的真实距离。单目深度估计技术可以使用深度学习模型，如卷积神经网络或自编码器，来进行训练和推断。这种方法可以更准确地计算横向的物体距离，尤其适用于远处的物体。

为解决计算超时的问题，为了满足实时性要求，我们对单目深度估计技术进行了实时性优化。我们使用高性能的硬件设备，如图形处理单元（GPU）或专用的深度学习加速器，来加速深度估计算法的推断过程。此外，我们对深度学习模型进行了优化和轻量化，以减少计算量和推断时间。通过这些优化措施，我们可以在较短的时间内完成整个深度估计过程，满足实时性要求。

为了更清晰地对本发明的一种基于单目深度估计的铁路危树检测方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。

本发明第一实施例的一种基于单目深度估计的铁路危树检测方法，各步骤详细描述如下：

参见图2、图4、图5，获取铁路列车运行时的视频流，并进行预处理，得到待检测图像；

本发明中，所述预处理包括GPU抽帧处理。

在所述待检测图像中基于设定要素和预设的判定条件获取绿植区域图像；所述设定要素包括色调、饱和度和亮度；

本发明中，所述预设的判定条件为：

其中，H为色调；S为饱和度；V为亮度。

其中，铁路两侧一般种植四季常青的树木，在冬天树木凋零基本停止生长，不会产生新的危树区域，因此只需要对绿色树木进行识别，颜色成为识别树木区域的明显特征。传统的RGB颜色模型中的颜色会受光照影响而改变，不便于进一步的树木区域分割，而HSV颜色空间由色调、饱和度和亮度三个要素组成，可以比较直观地反映事物的颜色，且应用广泛，利用HSV颜色空间对区域进行分割和识别成为一种常见的方法，广危树检测过程中的树木区域色调相近，因此可也采用HSV颜色空间对区域进行判定。应用拍摄样本和网络收集的树木图片分割和标注，在保证不产生漏检的情况下选取最小的颜色区间。

参见图3，预构建深度获取模型，利用多个数据集对预构建的深度获取模型进行混合训练，得到训练后的深度获取模型，将所述待检测图像输入至训练后的深度获取模型，得到待检测图像的深度图，并获取深度坐标；

本发明中所述深度获取模型，其基于编码器构建，所述编码器包括ResNet-101或ResNeXt-101或DenseNet-161；所述数据集包括Pareto数据集。

本发明使用多个训练数据集进行混合训练可以改善模型性能，相比于单独使用数据集，混合训练的模型表现更好。使用 Pareto 最优的数据集混合策略可以进一步提高模型性能，并且更能充分利用额外的数据集。与其他最先进的方法相比，该模型在零样本性能方面表现出较大的优势。通过使用更好的编码器（如ResNet-101、ResNeXt-101 和DenseNet-161）可以显著提高模型性能。在训练集中使用不同的数据集可以提高模型的泛化能力。该模型在DIW测试集上展示了良好的性能，并且在 DA VIS 视频数据集上也取得了不错的结果。

参见图6，基于柱体检测算法获取所述待检测图像中的柱体区域的坐标；所述柱体检测算法包括单阶段目标检测算法；

获取所述柱体区域的坐标在对应的所述深度坐标上的深度值，得到柱体的平均深度，基于所述平均深度计算得到预设距离；

参见图7，对所述绿植区域图像进行网格划分，结合深度坐标得到网格划分后的每个网格对应的绿植区域的深度，基于所述柱体的平均深度与每个网格对应的绿植区域深度的差值计算得到判断距离；

其中，对于绿植区域图像进行划分，主要是为了提高精度。原因是在计算某个区域深度时，由于用了平均值，会造成有些像素的真实值被平均了。在真实场景中相邻像素间的深度变化梯度小，把区域划分开，那么划分的越小，那么被平均的真实像素差值就越小，精度就越高。

本发明在具体使用时，先对所述绿植区域图像进行粗网格划分，将粗网格划分后的每一个网格的深度值是否在预设的危险范围内，若是，将该网格进行精度更高的划分，使得划分后的区域更小，来提高精度；如图7所示，划分后的网格间距不同也就是来针对不同的均值进行调制，使得更关注于危险危树的候选。

本发明中，所述绿植区域的深度，其获取方法为：

获取绿植区域图像的轮廓，在所述轮廓内进行网格划分，得到多个绿植块，将所述绿植块投影至所述深度图中，获取每个绿植块的深度坐标，进而得到每个网格对应的绿植区域的深度。

本发明中，由于绿植在图像中呈现出深浅不一的特点。每一株绿植具有自身独特的深度，这种深度差异对于深度的计算具有重要意义。为了更全面地理解绿植的深度分布情况，本发明采用了一种分块的策略。通过将绿植图像划分为多个块，我们能够逐个计算每个块的深度。这样的分块处理方法能够提供精细的深度信息，为后续的分析和研究提供有力支持，进一步揭示绿植生态系统的内在特性和动态变化规律。

将所述判断距离小于所述预设距离的网格对应的绿植区域合并，作为危树区域。

本发明中，将所述判断距离小于所述预设距离的网格对应的绿植区域框选，得到多个框选区域，将多个框选区域合并，得到危树区域。

本发明中，在每个绿植块中，我们引入了一个阈值来评估绿植深度与柱体深度之间的关系。当绿植的深度与柱体的平均深度的差值超过预设的阈值时，我们将保留该区域，并对其进行框选操作，以便进一步分析和处理。相反，如果差值未达到阈值要求，该区域将被排除在危险区域的最终结果之外。通过合并所有保留下来的框选区域，我们最终得到了准确的危险区域边界。这种优化方法不仅能够精确确定危险区域的范围，而且对于相关专利技术和领域的研究具有重要意义，为其提供了可靠的支持和创新解决方案。通过这种创新方法，我们为绿植深度分析和危险区域识别提供了一种高度可靠且高效的解决方案，为相关行业的进一步发展和应用提供了有力保障。

其中，在本发明中，由于“越远越小”的透视原理，不同深度，水平方向上（图像上的左右）的距离也是不一样的，比如，测得坐标为100的深度为60，坐标为110的深度也是60，深度相同。由于深度的起始值是以相机镜头为0的，深度区域是扇形的，所以坐标100与坐标110的真实横向距离是可以进行精确测定的。经过大量数据的统计，我们可以得出深度x-距离y的公式，基于深度x-距离y公式计算得到预设距离和判断距离，所述深度x-距离y公式为：

；

其中，x为深度值，y为距离。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本发明第二实施例提供了一种基于单目深度估计的铁路危树检测系统，基于一种基于单目深度估计的铁路危树检测方法，该系统包括：

图像获取模块，其配置为获取铁路列车运行时的视频流，并进行预处理，得到待检测图像；

绿植获取模块，其配置为在所述待检测图像中基于设定要素和预设的判定条件获取绿植区域图像；所述设定要素包括色调、饱和度和亮度；

深度获取模块，其配置为预构建深度获取模型，利用多个数据集对预构建的深度获取模型进行混合训练，得到训练后的深度获取模型，将所述待检测图像输入至训练后的深度获取模型，得到待检测图像的深度图，并获取深度坐标；

柱体获取模块，其配置为基于柱体检测算法获取所述待检测图像中的柱体区域的坐标；所述柱体检测算法包括单阶段目标检测算法；

柱体深度获取模块，其配置为获取所述柱体区域的坐标在对应的所述深度坐标上的深度值，得到柱体的平均深度，基于所述平均深度计算得到预设距离；

绿植深度获取模块，其配置为对所述绿植区域图像进行网格划分，结合深度坐标得到网格划分后的每个网格对应的绿植区域的深度，基于所述柱体的平均深度与每个网格对应的绿植区域深度的差值计算得到判断距离；

危树区域获取模块，其配置为将所述判断距离小于所述预设距离的网格对应的绿植区域合并，作为危树区域。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的一种基于单目深度估计的铁路危树检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种电子设备，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的一种基于单目深度估计的铁路危树检测方法。

本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的一种基于单目深度估计的铁路危树检测方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

下面参考图8，其示出了用于实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。图8示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)801，其可以根据存储在只读存储器(ROM，Read Only Memory)802中的程序或者从存储部分808加载到随机访问存储器(RAM，Random Access Memory)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统操作所需的各种程序和数据。CPU 801、ROM 802以及RAM803通过总线804彼此相连。输入/输出(I/O，Input/Output)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分807；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于单目深度估计的铁路危树检测方法，其特征在于，该方法包括：

获取铁路列车运行时的视频流，并进行预处理，得到待检测图像；

在所述待检测图像中基于设定要素和预设的判定条件获取绿植区域图像；所述设定要素包括色调、饱和度和亮度；

预构建深度获取模型，利用多个数据集对预构建的深度获取模型进行混合训练，得到训练后的深度获取模型，将所述待检测图像输入至训练后的深度获取模型，得到待检测图像的深度图，并获取深度坐标；

基于柱体检测算法获取所述待检测图像中的柱体区域的坐标；所述柱体检测算法包括单阶段目标检测算法；

获取所述柱体区域的坐标在对应的所述深度坐标上的深度值，得到柱体的平均深度，基于所述平均深度计算得到预设距离；

对所述绿植区域图像进行网格划分，结合深度坐标得到网格划分后的每个网格对应的绿植区域的深度，基于所述柱体的平均深度与每个网格对应的绿植区域深度的差值计算得到判断距离；

所述绿植区域的深度，其获取方法为：

获取绿植区域图像的轮廓，在所述轮廓内进行网格划分，得到多个绿植块，将所述绿植块投影至所述深度图中，获取每个绿植块的深度坐标，进而得到每个网格对应的绿植区域的深度；

将所述判断距离小于所述预设距离的网格对应的绿植区域合并，作为危树区域。

2.根据权利要求1所述的一种基于单目深度估计的铁路危树检测方法，其特征在于，所述预处理包括GPU抽帧处理。

3.根据权利要求1所述的一种基于单目深度估计的铁路危树检测方法，其特征在于，所述预设的判定条件为：

其中，H为色调；S为饱和度；V为亮度。

4.根据权利要求1所述的一种基于单目深度估计的铁路危树检测方法，其特征在于，所述深度获取模型，其基于编码器构建，所述编码器包括ResNet-101或ResNeXt-101或DenseNet-161。

5.根据权利要求1所述的一种基于单目深度估计的铁路危树检测方法，其特征在于，所述数据集包括Pareto数据集。

6.根据权利要求1所述的一种基于单目深度估计的铁路危树检测方法，其特征在于，所述危树区域，其获取方法为：

将每个网格对应的绿植区域的深度中，超过预设阈值的网格对应的绿植区域框选，得到多个框选区域，将多个框选区域合并，得到危树区域。

7.一种基于单目深度估计的铁路危树检测系统，基于权利要求1-6任一项所述的一种基于单目深度估计的铁路危树检测方法，其特征在于，该系统包括：

图像获取模块，其配置为获取铁路列车运行时的视频流，并进行预处理，得到待检测图像；

绿植获取模块，其配置为在所述待检测图像中基于设定要素和预设的判定条件获取绿植区域图像；所述设定要素包括色调、饱和度和亮度；

深度获取模块，其配置为预构建深度获取模型，利用多个数据集对预构建的深度获取模型进行混合训练，得到训练后的深度获取模型，将所述待检测图像输入至训练后的深度获取模型，得到待检测图像的深度图，并获取深度坐标；

柱体获取模块，其配置为基于柱体检测算法获取所述待检测图像中的柱体区域的坐标；所述柱体检测算法包括单阶段目标检测算法；

柱体深度获取模块，其配置为获取所述柱体区域的坐标在对应的所述深度坐标上的深度值，得到柱体的平均深度，基于所述平均深度计算得到预设距离；

绿植深度获取模块，其配置为对所述绿植区域图像进行网格划分，结合深度坐标得到网格划分后的每个网格对应的绿植区域的深度，基于所述柱体的平均深度与每个网格对应的绿植区域深度的差值计算得到判断距离；

所述绿植区域的深度，其获取方法为：

获取绿植区域图像的轮廓，在所述轮廓内进行网格划分，得到多个绿植块，将所述绿植块投影至所述深度图中，获取每个绿植块的深度坐标，进而得到每个网格对应的绿植区域的深度；

危树区域获取模块，其配置为将所述判断距离小于所述预设距离的网格对应的绿植区域合并，作为危树区域。

8.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与至少一个所述处理器通信连接的存储器；其中，

所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-6任一项所述的一种基于单目深度估计的铁路危树检测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-6任一项所述的一种基于单目深度估计的铁路危树检测方法。