CN113011252B - 轨道异物侵限检测系统及方法 - Google Patents

Abstract

本发明提出了一种轨道异物侵限检测系统及方法。该系统包括设置于轨道沿线单侧或双侧的多个图像采集单元、多个图像处理单元以及管理平台单元；每个所述图像处理单元至少与两个所述图像采集单元通信连接，所述图像处理单元对所述图像采集单元所采集的图像信息进行处理，判断是否存在侵限；所述管理平台单元与图像采集单元的控制端通信连接，所述图像处理单元输出端与管理平台单元信息输入端通信连接。该系统中一个图像处理单元对多个图像采集单元的图像进行处理，降低了系统的建设成本，性价比高。

Description

轨道异物侵限检测系统及方法

技术领域

本发明涉及轨道交通安全领域，具体涉及一种基于视觉人工智能的轨道异物侵限检测系统及方法。

背景技术

目前，随着轨道交通在中国的高速发展，轨道交通也日益成为人们出行的首选方式。由于运营里程长，货运及客运量大，铁路基础设施安全维护面临的压力也越来大。同时，轨道交通的无人驾驶也正在走向成熟，得到越来越多的广泛应用。所以，保证轨行区的行车安全，有效且及时发现轨行区的异常情况(侵限及异物等)，现场施工人员的轨迹跟踪及位置，外部人员的异常侵入，以及实时监测部分基础设施的运行状态等等情况，是当前轨道交通行业迫切需要解决的一个难题。

异物侵入列车行车限界(简为“侵限”)事件，会对运营安全造成极大的影响。对地面轨道而言，封闭措施总是存在这样那样的漏洞，高空抛物、山体缓坡等情况都会造成行车安全事故；而在隧道内，因铁路运行时间长，维护不到位或人员工作疏忽等，也会导致隧道内设备位置变化导致设备侵入行车限界，导致列车事故发生；尤其是在调度系统故障情况下，由于列车位置不能及时反馈，导致列车相撞的重大事故常有发生。

侵限的异物可分为以下几类：1)线路上的气球、雨伞、接触网或钢轨附近的胶带等异物，也可能对列车运营造成间接的影响。2)线路旁侵限的设备、外界进入的大型物体等异物，将对列车运行造成直接的威胁。3)接触网或钢轨附近的异物：受电弓与接触网要求高精度匹配，弓网间的任何异物都有可能导致接触网跳闸等大型供电故障。4)落石，抛物，或者维修人员遗留的物品，以及发生脱落及位移设备设施。

目前对于铁路、地铁等列车侵限物的发现与处理，主要靠人工巡视，需要大量人员参与，巡检周期长，巡检时间一般在晚上的车辆运行窗口期，难以在第一时间发现问题。其次，是通过轧道车来巡检轨行区的异常，也只能解决部分问题，对异物侵限无法实时监测。

中国专利CN201010141132给出了一种基于视频的异物监测系统，能在轨道旁部署图像采集设备，监测固定区域的异物侵限情况。但该监测方法有如下缺点：1.监测区域需要在部署时人工设定，系统无法自动设定。在实际使用或实施过程中，相机或因震动等因素产生视场位移，使得事先人工设定的监测区域和实际需要监测的区域发生错位，这样就会造成系统大量误判。2.该方法需要采用无线通信系统将报警信息传递给司机，由于无线通信并不能保证百分百的可靠性，当出现通信故障的时候，就会带来巨大的安全隐患。3.该方法每一个相机都需要配置一个前端视频处理设备，系统的实施成本高昂。4.该系统没有定位功能，无法准确定位异常或告警出现的位置。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种轨道异物侵限检测系统及方法。

为了实现本发明的上述目的，本发明提供了一种轨道异物侵限检测系统,包括设置于轨道沿线单侧或双侧的多个图像采集单元、多个图像处理单元以及管理平台单元；

每个所述图像处理单元至少与两个所述图像采集单元通信连接，所述图像处理单元对所述图像采集单元所采集的图像信息进行处理，判断是否存在侵限；所述管理平台单元与图像采集单元的控制端通信连接，所述图像处理单元输出端与管理平台单元信息输入端通信连接。

该轨道异物侵限检测系统中一个图像处理单元能处理多个图像采集单元的图像数据，大大降低系统建设，经济效益显著。

该轨道异物侵限检测系统的优选方案：所述图像采集单元按设定距离间隔设置，且每个所述图像采集单元一一对应一个编号，形成一个关于图像采集单元的位置坐标系。这便于对图像采集单元定位，进一步对异物进行定位。

该轨道异物侵限检测系统的优选方案：所述图像采集单元、图像处理单元与所述管理平台单元之间为有线通信连接。这提高了信号传输的稳定性，同时也不会对现有的列车信号及通信系统产生干扰。

本申请还提出了一种轨道异物侵限检测方法，包括以下步骤：

S1，设置于轨道沿线的图像采集单元实时采集其监控区域的图像信息，并发送至图像处理单元；

S2，图像处理单元根据图像信息生成列车行车安全限界，并判断列车行车限界是否存在异物侵限；当存在异物侵限时，将侵限信息发送至管理平台单元，所述侵限信息包括：侵限图像信息、侵限类型、图像采集单元的定位信息、异物定位信息；

S3，所述管理平台单元接收所述侵限信息，并展示于显示大屏上和/或发送至用户终端。

该轨道异物侵限检测方法的优选方案，列车行车限界生成步骤为：

A、对所采集的图像进行边缘检测：先对图像进行高斯滤波；再对高斯滤波后的图像采用一阶偏导的有限差分计算灰度值梯度的幅值和方向；然后对灰度值梯度幅值进行非极大值抑制；并采用双阈值算法对非极大值抑制后的图像进行灰度值检测，然后连接边缘；

B、对边缘检测后的图像进行直线判断：先对边缘检测后的图像进行霍夫空间变换；再对霍夫空间中相交于一点的线的数量进行判断，如果线的数量超过设置的相交线数量阈值，则判断该交点在二维空间中为直线，标记出该交点；然后再霍夫空间反变换，返回二维空间，完成图像中的直线判断；

C、水平方向相邻直线距离判断：在步骤B中得到的直线中，在同一水平线中查找直线的坐标点，并记录这些坐标点的x坐标，然后两两计算两条直线上坐标点的x坐标间距；

D、轨道标记：如果存在有两条直线上有3对或3对以上坐标点的x坐标间距小于间距阈值，将这些坐标点的中心点作为候选点；

找到候选点中最左侧与最右侧的候选点，标记为轨道侯选点；

F、虚拟限界绘制：

连接各个水平线的轨道候选点，获得轨行区左右轨道直线；将左、右轨道直线反向平移k个像素绘制虚拟限界，得到列车行车限界。

该方法基于图像特征处理，利用图像相邻直线一致性，消除了因震动带来的偏差，具有数据量小，计算要求低，典型流处理的特点，可实现任何时刻虚拟限界更新。

该轨道异物侵限检测方法的优选方案，异物检测方法：

步骤1、对输入的图像信息进行Vibe前视图数据更新，并将输入的图像存入两帧差分队列；

步骤2、对Vibe输出的前视图进行图像预处理，并进行轮廓查找，找到前视图中像素点块中像素点数超过设定像素点数阈值的部分，用目标矩形框标记；

步骤3、将目标矩形框像素坐标回溯至两帧差分队列；

步骤4、若矩形框不在列车行车限界内，认为列车行车限界内无异物；

若在列车行车限界内，则计算两帧差分队列图像中矩形框位置的像素均值与方差，以及对应的差值；若均值差值小于均值差设定值，方差差值小于方差设定值，且矩形框面积小于第一面积设定值，认为列车行车限界内无异物；否则，认为列车行车限界内有异物；

若矩形框面积大于第二面积设定值，第一面积设定值小于第二面积设定值，则认为列车行车限界可能内存在异物，将该图像信息上传至管理平台单元进行人工复核；

步骤5，利用机器学习对异物类型进行检测，得到侵限类型。

该步骤利用环境时间上的瞬时性特点与异物侵限空间上的不定性的特点，背景检测采用二次比对的方式进行异物判断，第一次通过抽帧的方式消除瞬态变化，提升图像鲁棒性。若比对中发现差异超过阈值，则进行二次比对判断，观察异物是否消除，若异物仍然在限界区，则上报侵限报警。

该方法基于图像比对的背景检测混合机器学习的方式，消除了飞虫、强光、雨滴等恶劣环境的误报，提升了检测准确率，同时还可排除强光、眩光等光线变化对图像采集设备带来的干扰。

该轨道异物侵限检测方法的优选方案，异物定位方法为：

识别出异物以后，在图像中找到异物所处的轨道截面，再通过测距算法定位出异物的相对位置，该相对位置包括异物相对于图像采集单元的距离以及相对于站台的距离；

其中，异物相对于图像采集单元距离其中，C为光速，t为相机快门与光源延时；

根据图像采集单元编号得到图像采集单元的位置，则异物相对于站台的距离：S＝S'+Distance，其中S'为图像采集单元与站台之间的距离。该方法能快速对异物进行定位。

本发明的有益效果是：本发明既能对轨道全线实现智能监控，也不会对现有的列车信号及通信系统产生干扰；既能对侵限异物进行识别定位，又能全天候全场景的全面覆盖；一个图像处理单元能处理多达几十路的图像采集单元的图像信息，大大降低系统建设，经济效益显著。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是轨道异物侵限检测系统的原理图；

图2是轨道异物侵限检测系统的结构示意图；

图3是轨道异物侵限检测方法的流程图；

图4是异物检测的流程图；

图5是异物检测的原理图；

图6是异物相对于图像采集单元的距离的计算原理图；

图7是异物相对于站台的距离的计算原理图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明提供了一种轨道异物侵限检测系统,包括设置于轨道沿线单侧或双侧的多个图像采集单元、多个图像处理单元以及管理平台单元。每个所述图像处理单元至少与两个所述图像采集单元通信连接，所述图像处理单元对所述图像采集单元所采集的图像信息进行处理，判断是否存在侵限；所述管理平台单元与图像采集单元的控制端通信连接，所述图像处理单元输出端与管理平台单元信息输入端通信连接。

管理平台单元包括管理平台服务器，还包括显示大屏和/或用户终端，所述管理平台服务器与图像处理单元通信连接，所述显示大屏、用户终端与管理平台服务器通信连接。

为便于确定图像采集单元的位置，进而对异物进行定位，图像采集单元按设定距离间隔设置，且每个所述图像采集单元一一对应一个编号，形成一个关于图像采集单元的位置坐标系。这里图像采集单元之间的距离可以相同，也可以不相同，比如在弯道的地方可以设置密一点，直线的地方就设置稀疏些，每个图像采集单元都对应各自己的位置坐标。

为防止信息丢失或信号不好造成信息传输延迟等，图像采集单元、图像处理单元与管理平台单元之间采用有线通信连接。

本实施例中，图像采集单元根据现场分辨率与识别物体大小的要求，可按设定的距离，如50-100米，为间距在单侧或双侧布设。考虑到轨道现场存在不同的场景，如隧道、地面、桥梁或高架，设备宜安装在便于取电易于维护的位置，以紧固件固定在距轨面的一设定高度位置，如高3米左右，监控区域全覆盖无死角。图像采集单元包含高清相机、多光谱补光光源以及光学组件。采用多光谱且不可见补光光源，该光源不会对正常行驶的列车产生干扰，而且便于在各种环境光线，如无光，微光，雨雾天情况下，都能有清晰成像，保证全天候成像的效果。同时配合光学组件，对环境光线产生的干扰，如强光，眩光等干扰进行滤除，保证成像质量的稳定。

图像处理单元包括有高性能计算机服务器，同样部署在轨道沿线的车站或其它环境良好的地方，每个服务器可以根据实际需要，可以处理多个图像采集单元的图像信息，如10-50个图像采集单元配置一个图像处理单元。图像处理单元采用视觉人工智能的方法对图像中是否存在异物进行识别。

该实施例中，该检测系统包括有线通信单元，如图2所示，该有线通信单元包括接入交换机和汇聚交换机，多个图像采集单元输出端连接至一个接入交换机输入端，接入交换机输出端通过有线光纤网络将图像/视频数据上传到图像处理单元，多个接入交换机输出端还连接至汇聚交换机输入端，汇聚交换机输出端连接至管理平台单元，图像处理单元处理后的轨道侵限情况上传到管理平台单元。

管理平台单元的管理平台服务器包括应用服务器和存储服备器。应用服务器用于部署管理平台系统软件，实现对整个系统的设备、用户、告警统计及展示管理。存储服务器用于对系统的告警信息，现场图片和短视频信息进行存储，便于事后追溯。显示大屏、用户终端用于用户的现场展示、交互。如工作人员可通过用户终端了解轨道异物侵限的情况。

一个图像采集单元也可与至少两个图像处理单元连接，管理平台单元控制一个图像采集单元的图像信息仅由一个图像处理单元处理，如某一图像采集单元对应的当前图像处理单元出现故障，向管理平台单元发送故障信息后，管理平台单元控制另一与该图像采集单元连接的图像处理单元处理该图像采集单元的图像信息。

本发明还提出了一种轨道异物侵限检测方法的实施例，如图3所示，包括以下步骤：

S1，设置于轨道沿线的图像采集单元实时采集其监控区域的图像信息，并发送至图像处理单元；

S2，图像处理单元根据图像信息生成列车行车安全限界，并判断列车行车限界是否存在异物侵限；当存在异物侵限时，将侵限信息发送至管理平台单元，所述侵限信息包括：侵限图像信息、侵限类型、图像采集单元的定位信息、异物定位信息；

S3，所述管理平台单元接收所述侵限信息，并展示于显示大屏上和/或发送至用户终端。显示大屏、用户终端向用户展示轨道侵限情况，并可与管理平台单元进行交互。如工作人员可通过用户终端了解轨道异物侵限的情况，并向管理平台单元发送处理建议，按排人员对侵限情况进行处理。用户也可以通过用户终端了解侵限情况，以作出应措施，如改道行驶，或减速行驶等。

本实施例中，列车行车限界生成步骤为：

A、对所采集的图像进行边缘检测。

具体为：

先对图像进行高斯滤波；再对高斯滤波后的图像采用一阶偏导的有限差分计算灰度值梯度的幅值和方向。

本实施例中，计算灰度值梯度幅值与方向的具体方法为：

采用sobel算子计算dx与dy，dx与dy计算公式如下所示：

梯度幅值/>方向角度(x,y)为像素点的坐标。这里计算灰度值梯度的幅值和方向也可以采用其它现有方法进行计算。

然后对灰度值梯度幅值进行非极大值抑制，本实施例中非极大值抑制步骤为：

对任意位置ω×ω矩阵中比较同一角度下得相邻像素值(角度包含0°、45°、90°、135°)，ω优选但不限于为非1的单数，如3、5、7等，若中心像素为最大值，则保留，否则中心置0。

采用双阈值算法对非极大值抑制后的图像进行检测，并连接边缘。双阈值算法步骤：

设置阈值上限TH与阈值下限TL，按照下式进行标记Pix是指灰度值或像素值。

B、对边缘检测后的图像进行直线判断。

具体为：

先对边缘检测后的图像进行霍夫空间变换。

本实施例中，将图像从笛卡尔坐标系转换到霍夫坐标系中，在笛卡尔坐标系中，任意两个点可以确定一条直线，笛卡尔坐标系中的直线对应霍夫空间是一个点。

再对霍夫空间中相交于一点的线的数量进行判断，如果线的数量超过设置的相交线数量阈值，则判断该交点在二维空间中为直线，标记出该交点；然后再霍夫空间反变换，返回二维空间，完成图像中的直线判断。

C、水平方向相邻直线距离判断。

具体为：在步骤B中得到的直线中，在同一水平线(即y相等)中查找直线的坐标点，并记录这些坐标点的x坐标，然后两两计算两条直线上坐标点的x坐标间距。

D、轨道标记：如果存在有两条直线上有3对或3对以上坐标点的x间距小于间距阈值，将这些坐标点的中心点为候选点；找到候选点中最左侧与最右侧的候选点，标记为轨道侯选点。

F、虚拟限界绘制：

连接各个水平线的轨道候选点，获得轨行区左右轨道直线；将左、右轨道直线反向平移k个像素绘制虚拟限界，得到列车行车限界。

异物检测方法如图4和图5所示，包括以下步骤：

步骤1、对输入的图像信息进行Vibe前视图数据更新，并将输入的图像存入两帧差分队列，并预处理。这里对输入的图像信息进行Vibe前视图数据更新采用现有的方法即可。

步骤2、对Vibe输出的前视图进行图像预处理，并进行轮廓查找，找到前视图中像素点块中像素点数超过设定像素点数阈值的部分，用目标矩形框标记。

步骤3、将目标矩形框像素坐标回溯至两帧差分队列。

步骤4、若矩形框不在列车行车限界内，认为列车行车限界内无异物；

若在列车行车限界内，则计算两帧差分队列图像中矩形框位置的像素均值与方差，以及对应的差值；若均值差值小于均值差设定值，方差差值小于方差设定值，且矩形框面积小于第一面积设定值，认为列车行车限界内无异物；否则，认为列车行车限界内有异物。

步骤5，利用机器学习对异物类型进行检测，得到侵限类型。

如果存在矩形框面积大于第二面积设定值的情况，这里的第二面积设定值大于第一面积设定值，则认为列车行车限界可能内存在异物，将该图像信息上传至管理平台单元进行人工复核，确定是否存在异物侵限，以及异物类型等。

异物定位方法为：

识别出异物以后，在图像中找到异物所处的轨道截面，再通过测距算法定位出异物的相对位置，该相对位置包括异物相对于图像采集单元的距离以及相对于站台的距离；

其中，异物相对于图像采集单元距离获得方法如下：

图像采集单元使用“TOF”(“Timing Of Flight”)方式实时采集具有深度信息的图像，图像采集单元通过控制相机快门与光源的精确延时(ns级或ps级)使图像距离分段，在特定延时下可以看到目标处于拥有最高的图像亮度，如图6所示，因此异物相对于图像采集单元距离其中，C为光速，t为相机快门与光源延时。这说明本方法可通过调节相机快门与源延时来实现对异物相对于图像采集单元的距离的测量。

如图7所示，根据图像采集单元编号得到图像采集单元的位置，则异物相对于站台的距离：S＝S'+Distance，其中S'为图像采集单元与站台之间的距离。

管理平台单元接受到告警信息后可以通过人工对告警信息进行二次复核，如果确认是真实告警，则立刻安排后续维护事宜。管理平台单元对原始告警信息(包括现场的图像数据)进行存储，以备事后的查验及追溯。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种轨道异物侵限检测方法，其特征在于，包括以下步骤：

S1，设置于轨道沿线的图像采集单元实时采集其监控区域的图像信息，并发送至图像处理单元；

S2，图像处理单元根据图像信息生成列车行车安全限界；

列车行车安全限界生成步骤为：

A、对所采集的图像进行边缘检测：先对图像进行高斯滤波；再对高斯滤波后的图像采用一阶偏导的有限差分计算灰度值梯度的幅值和方向；然后对灰度值梯度幅值进行非极大值抑制；并采用双阈值算法对非极大值抑制后的图像进行灰度值检测，然后连接边缘；

B、对边缘检测后的图像进行直线判断：先对边缘检测后的图像进行霍夫空间变换；再对霍夫空间中相交于一点的线的数量进行判断，如果线的数量超过设置的相交线数量阈值，则判断该交点在二维空间中为直线，标记出该交点；然后再霍夫空间反变换，返回二维空间，完成图像中的直线判断；

C、水平方向相邻直线距离判断：在步骤B中得到的直线中，在同一水平线中查找直线的坐标点，并记录这些坐标点的x坐标，然后两两计算两条直线上坐标点的x坐标间距；

D、轨道标记：如果存在有两条直线上有3对或3对以上坐标点的x坐标间距小于间距阈值，将这些坐标点的中心点作为候选点；

找到候选点中最左侧与最右侧的候选点，标记为轨道侯选点；

F、虚拟限界绘制：

连接各个水平线的轨道候选点，获得轨行区左右轨道直线；将左、右轨道直线反向平移k个像素绘制虚拟限界，得到列车行车限界；

判断列车行车限界是否存在异物侵限；当存在异物侵限时，将侵限信息发送至管理平台单元，所述侵限信息包括：侵限图像信息、侵限类型、图像采集单元的定位信息、异物定位信息；

S3，所述管理平台单元接收所述侵限信息，并展示于显示大屏上和/或发送至用户终端。

2.根据权利要求1所述的轨道异物侵限检测方法，其特征在于，异物检测方法：

步骤1、对输入的图像信息进行Vibe前视图数据更新，并将输入的图像存入两帧差分队列；

步骤2、对Vibe输出的前视图进行图像预处理，并进行轮廓查找，找到前视图中像素点块中像素点数超过设定像素点数阈值的部分，用目标矩形框标记；

步骤3、将目标矩形框像素坐标回溯至两帧差分队列；

步骤4、若矩形框不在列车行车限界内，认为列车行车限界内无异物；

若在列车行车限界内，则计算两帧差分队列图像中矩形框位置的像素均值与方差，以及对应的差值；若均值差值小于均值差设定值，方差差值小于方差设定值，且矩形框面积小于第一面积设定值，认为列车行车限界内无异物；否则，认为列车行车限界内有异物；

若矩形框面积大于第二面积设定值，第一面积设定值小于第二面积设定值，则认为列车行车限界可能内存在异物，将该图像信息上传至管理平台单元进行人工复核；

步骤5，利用机器学习对异物类型进行检测，得到侵限类型。

3.根据权利要求1所述的轨道异物侵限检测方法，其特征在于，异物定位方法为：

识别出异物以后，在图像中找到异物所处的轨道截面，再通过测距算法定位出异物的相对位置，该相对位置包括异物相对于图像采集单元的距离以及相对于站台的距离；

其中，异物相对于图像采集单元距离其中，C为光速，t为相机快门与光源延时；

根据图像采集单元编号得到图像采集单元的位置，则异物相对于站台的距离：S＝S'+Distance，其中S'为图像采集单元与站台之间的距离。

4.一种轨道异物侵限检测系统,其特征在于，包括设置于轨道沿线单侧或双侧的多个图像采集单元、多个图像处理单元以及管理平台单元；

每个所述图像处理单元至少与两个所述图像采集单元通信连接，所述图像处理单元根据权利要求1-3任一项所述的轨道异物侵限检测方法对所述图像采集单元所采集的图像信息进行处理，判断是否存在侵限；所述管理平台单元与图像采集单元的控制端通信连接，所述图像处理单元输出端与管理平台单元信息输入端通信连接。

5.根据权利要求4所述的轨道异物侵限检测系统,其特征在于，所述图像采集单元按设定距离间隔设置，且每个所述图像采集单元一一对应一个编号，形成一个关于图像采集单元的位置坐标系。

6.根据权利要求4所述的轨道异物侵限检测系统,其特征在于，所述图像采集单元、图像处理单元与所述管理平台单元之间为有线通信连接。

7.根据权利要求4所述的轨道异物侵限检测系统,所述管理平台单元包括管理平台服务器，还包括显示大屏和/或用户终端，所述管理平台服务器与图像处理单元通信连接，所述显示大屏、用户终端与管理平台服务器通信连接。