CN117622262A - 列车自主感知定位方法及系统 - Google Patents
列车自主感知定位方法及系统 Download PDFInfo
- Publication number
- CN117622262A CN117622262A CN202311541463.4A CN202311541463A CN117622262A CN 117622262 A CN117622262 A CN 117622262A CN 202311541463 A CN202311541463 A CN 202311541463A CN 117622262 A CN117622262 A CN 117622262A
- Authority
- CN
- China
- Prior art keywords
- train
- frame
- parallax
- track
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000006073 displacement reaction Methods 0.000 claims abstract description 40
- 238000012216 screening Methods 0.000 claims abstract description 24
- 230000010354 integration Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 81
- 238000001514 detection method Methods 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 230000002776 aggregation Effects 0.000 claims description 15
- 238000004220 aggregation Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 206010028896 Needle track marks Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/021—Measuring and recording of train speed
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种列车自主感知定位方法及系统，属于列车自主感知定位技术领域，提取立体图像对中目标的位置边界框；关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，估计深度值；利用滑动窗口筛选待匹配的轨迹，对包含相同目标的轨迹对分配相同的ID；关联地标的深度信息和ID，估计传感器在两帧时间内的运动，估计列车的瞬时速度，并通过时间积分计算得到列车的位移值，匹配数字轨道拓扑地图推算列车在全线的位置，结合列车瞬时速度判断线路关键位置，并对列车的推算位置进行校正。本发明减少了对地面设备的依赖，提高灵活性和可靠性，可以应对地面设备故障或覆盖不足的情况，并为列车的自主运行和导航提供了技术支持。
Description
技术领域
本发明涉及列车自主感知定位技术领域，具体涉及一种列车自主感知定位方法及系统。
背景技术
列车自主感知定位是指列车通过搭载车载传感器和相应算法，在无需依赖基础设施的情况下，实现对其位置的自主感知和定位。传统的列车定位方法通常依赖于基础设施，例如全球卫星导航系统(GNSS)和地面信标，然而，这些方法在某些情况下存在准确性和可靠性方面的限制，例如在隧道等无GPS信号的环境中。因此，开发能够在各种复杂环境下实现精准定位的列车自主感知定位技术具有重要意义。
随着机器视觉、深度学习和传感器技术的快速发展，列车自主感知定位的研究取得了显著进展。视觉传感器因其高精度、低成本以及丰富的数据信息而成为列车自主感知定位的有力选择。通过利用视觉传感器，列车可以通过图像处理和计算机视觉技术对周围环境进行感知，从而实时获取环境信息和位置信息。
在列车自主感知定位的研究中，关键挑战之一是如何准确地提取和匹配环境中的特征。这包括通过图像处理技术提取轨道标志、隧道入口等环境特征，并通过特征匹配算法进行定位。同时，由于列车运行环境的复杂性，例如光照变化、天气变化和障碍物等，导致图像质量下降，进而影响定位的准确性，如何稳健地处理这些干扰因素也是一个重要的研究方向。其次，图像处理和计算机视觉算法的复杂性要求高计算能力，因此需要在列车上配备高性能的计算设备，增加了系统的成本和复杂度。此外，由于列车运行速度较快，对实时性要求较高，视觉定位系统需要实时快速地处理图像信息，确保定位的及时性和稳定性。
现有传统的列车定位方法通常依赖于基础设施，这些方法的定位覆盖范围有限，无法适用于复杂的铁路场景，还可能无法提供足够的实时性。现有列车视觉里程计中图像特征匹配方法的不足：列车运行环境的复杂性，例如光照变化、天气变化和障碍物等，导致图像质量下降，难以提取关键特征；图像特征匹配方法需要大量的计算资源，这可能在嵌入式系统或实时应用中限制其使用。
发明内容
本发明的目的在于提供一种列车自主感知定位方法及系统，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种列车自主感知定位方法，包括：
采用目标检测算法识别轨道场景中的地标或标志物，提取立体图像对中目标的位置边界框；
关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，根据立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差计算深度值；
基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，根据跟踪算法对包含相同目标的轨迹分配相同的独一标识码；
关联深度值和独一标识码，计算地标深度差，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值；
对列车的位移值匹配数字轨道拓扑地图，获得列车在全线的位置，结合列车瞬时速度判断线路关键位置，对列车的位置进行校正。
进一步的，关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差进一步估计深度值，包括以下步骤：
步骤S21：自适应锚框提取：为了限制立体匹配的搜索空间，关联立体图像对中同一目标的边界框生成最小包围的自适应锚框；通过水平极线约束，在右侧图像中搜索与左侧图像中的边界框对齐同一水平线的边界框，计算同一图像坐标下左右边界框的最小包围框作为锚框；
步骤S22：计算视差：采用半全局立体匹配算法计算锚框中映射点的像素偏移量获得视差；首先利用Census变换计算匹配成本，采用8路径半全局匹配方法进行代价聚合，沿特定方向的进行代价计算，然后通过″赢者通吃″方法确定匹配误差最小的视差值，最后通过视差优化得到最终的视差图，采用锚框内的百分位视差进行空洞插值
步骤S23：深度估计：基于三角测量原理，由视差图进一步得到目标的深度值。
进一步的，所述的基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，跟踪算法对包含相同目标的轨迹分配相同的独一标识码，包括以下步骤：
步骤S31：通过滑动窗口筛选待匹配轨迹：滑动窗口是由当前帧中所有目标边界框的位置信息构建的包围域，用于限制跟踪算法的搜索空间，任何不在搜索空间中的历史轨迹都不再符合与当前检测关联的条件，通过滑动窗口法对所有历史轨迹进行初步筛选；
步骤S32：相似度计算：利用动量方向一致性和距离交叉联合计算检测与轨迹之间的相似度矩阵，表明它们之间的关联程度；
步骤S33：轨迹关联：匈牙利匹配算法利用步骤S32中的相似度矩阵生成匹配策略，并利用目标在三维空间中的位置拓扑先验来修正匈牙利匹配结果。
进一步的，关联深度值和独一标识码，计算地标的深度差，由此估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值，包括以下步骤：
步骤S41：传感器运动估计：运动信息表示为：M1，M2，..，Mn，其中n是滑窗范围内检测目标的数量，f为视频当前帧序，Bbox为边界框信息，Z为深度信息，具体表示如下式：
步骤S42：列车瞬时速度估计：由步骤S41中的ID信息关联目标的运动信息，得到同一目标在视频序列中深度变化，并根据相机的采集帧率估计列车的瞬时速度，计算如下式：
式中，指同ID的轨迹在Δf内的深度变化值，除以Δf得到当前f帧定位标尺i单位深度变化量/>median[.]取中位数，Vf第f帧的列车瞬时速度。
步骤S43：列车位移估计：基于列车的瞬时速度对时间求积分得到列车的位移：
其中，pf是当前帧的位置，pf-1是前一帧的列车位置。
第二方面，本发明提供一种列车自主感知定位系统，包括：
提取模块，用于采用目标检测算法识别轨道场景中的地标或标志物，提取立体图像对中目标的位置边界框；
第一计算模块，用于关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，根据立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差计算深度值；
分配模块，用于基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，根据跟踪算法对包含相同目标的轨迹分配相同的独一标识码；
第二计算模块，用于关联深度值和独一标识码，计算地标深度差，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值；
校正模块，用于对列车的位移值匹配数字轨道拓扑地图，获得列车在全线的位置，结合列车瞬时速度判断线路关键位置，对列车的位置进行校正。
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的列车自主感知定位方法。
第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如上所述的列车自主感知定位方法。
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的列车自主感知定位方法的指令。
本发明有益效果：轨道列车自主定位减少对地面设备的依赖，提高了系统的灵活性和可靠性，可以应对地面设备故障或覆盖不足的情况，并为列车的自主运行和导航提供了技术支持。
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的地标示例图。
图2为本发明实施例所述的基于锚框的立体匹配算法流程图。
图3为本发明实施例所述的三角测距原理图。
图4为本发明实施例所述的基于滑动窗口的多目标跟踪算法示例图。
图5为本发明实施例所述的滤波算法原理图。
图6为本发明实施例所述的列车自主感知定位方法流程图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
本实施例1中，首先提供了一种列车自主感知定位系统，包括：提取模块，用于采用目标检测算法识别轨道场景中的地标或标志物，提取立体图像对中目标的位置边界框；第一计算模块，用于关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，根据立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差计算深度值；分配模块，用于基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，根据跟踪算法对包含相同目标的轨迹分配相同的独一标识码；第二计算模块，用于关联深度值和独一标识码，计算地标深度差，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值；校正模块，用于对列车的位移值匹配数字轨道拓扑地图，获得列车在全线的位置，结合列车瞬时速度判断线路关键位置，对列车的位置进行校正。
本实施例1中，利用上述的系统，实现了列车自主感知定位，包括：利用提取模块采用目标检测算法识别轨道场景中的地标或标志物，提取立体图像对中目标的位置边界框；利用第一计算模块关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，根据立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差计算深度值；利用分配模块基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，根据跟踪算法对包含相同目标的轨迹分配相同的独一标识码；利用第二计算模块关联深度值和独一标识码，计算地标深度差，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值；利用校正模块，对列车的位移值匹配数字轨道拓扑地图，获得列车在全线的位置，结合列车瞬时速度判断线路关键位置，对列车的位置进行校正。
其中，关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差进一步估计深度值，包括以下步骤：
步骤S21：自适应锚框提取：为了限制立体匹配的搜索空间，关联立体图像对中同一目标的边界框生成最小包围的自适应锚框；通过水平极线约束，在右侧图像中搜索与左侧图像中的边界框对齐同一水平线的边界框，计算同一图像坐标下左右边界框的最小包围框作为锚框；
步骤S22：计算视差：采用半全局立体匹配算法计算锚框中映射点的像素偏移量获得视差；首先利用Census变换计算匹配成本，采用8路径半全局匹配方法进行代价聚合，沿特定方向的进行代价计算，然后通过″赢者通吃″方法确定匹配误差最小的视差值，最后通过视差优化得到最终的视差图，采用锚框内的百分位视差进行空洞插值
步骤S23：深度估计：基于三角测量原理，由视差图进一步得到目标的深度值。
通过水平极线约束，在右侧图像中搜索与左侧图像中的边界框对齐同一水平线的边界框，计算同一图像坐标下左右边界框的最小包围框作为锚框，公式如下：
式中，为anchor的坐标；bboxleft为左视图目标的边界框，包括左上角和右下角的坐标信息；bboxright对应同一目标的右视图边界框，numDisparities为视差搜索范围长度，用于弥补在立体匹配时被丢弃的左侧像素。
利用Census变换计算匹配成本为：
Cs(u，v，d)＝Ham min g(Csl(u，v)，Csr(u-d，v))
采用8路径半全局匹配方法进行代价聚合，沿特定方向的代价计算为：
采用锚框内的百分位视差进行空洞插值为：
式中：m，n分别为不大于矩形领域框大小的一半的最大整数，为比特位的逐位链接运算，(u，v)为中心像素点，C(p，d)为当前像素p视差为d的代价值，Lr(p-r，)为沿着某条路径r在不同视差下的聚合代价，根据视差的差异进行不同的惩罚，P1为视差差异为1个像素的惩罚系数，P2为视差差异大于1的惩罚系数差异为1个像素的进行；/>保证新的路径代价值不超过一定的上限值，像素全部路径的聚合代价计算为/>N为检测框内的视差总数，Γ[]若条件满足则返回1否则返回0，di为原始视差，d85为anchor内的85％位视差，dz是最终得到的优化视差。
深度值计算为：
其中，Z为目标深度值，fx为相机的焦距，b为立体相机的物理基距。
所述的基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，跟踪算法对包含相同目标的轨迹分配相同的独一标识码，包括以下步骤：
步骤S31：通过滑动窗口筛选待匹配轨迹：滑动窗口是由当前帧中所有目标边界框的位置信息构建的包围域，用于限制跟踪算法的搜索空间，任何不在搜索空间中的历史轨迹都不再符合与当前检测关联的条件，通过滑动窗口法对所有历史轨迹进行初步筛选；
步骤S32：相似度计算：利用动量方向一致性和距离交叉联合计算检测与轨迹之间的相似度矩阵，表明它们之间的关联程度；
步骤S33：轨迹关联：匈牙利匹配算法利用步骤S32中的相似度矩阵生成匹配策略，并利用目标在三维空间中的位置拓扑先验来修正匈牙利匹配结果。
通过滑动窗口筛选待匹配轨迹公式为：
式中，ΓProposal为提议轨迹；Window{.}为感受野滑窗滤波算法，σ1、σ2是由所有目标边界框得到的y轴包围域，yΓ是轨迹的y坐标值，是趋近于边界的两个候补轨迹；
动量方向一致性代价计算为：
Cv＝π-1(2-1π-|Δθ|)
距离交叉联合计算公式为：
式中，cosΔθ是方向偏差角的余弦值，是时间间隔为Δt轨迹自身在y、x方向位置差，同理/>是待关联轨迹与检测结果之间的在y、x方向位置差，ρ是中心坐标之间的欧式矩阵值，Cv是动量方向一致性代价值，并将其值映射到[0，1]区间，IoU为边界框的交并比；ρ2(bD，bΓ)表示轨迹中心与检测中心的欧式距离；c为轨迹预测框与检测框最小包围框的对角线长度；
位置拓扑先验矩阵公式为：
对距离交叉联合计算加入权重因子λ，λ＜1，关联代价CAssociation计算公式：
式中，位置拓扑先验矩阵K的维度由给定的N个候选轨迹和当前M个检测结果决定；当CDIoU+Cv＜＝0时，表明轨迹与检测结果为非方位关系，赋值0，否则赋值1。
关联深度值和独一标识码，计算地标的深度差，由此估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值，包括以下步骤：
步骤S41：传感器运动估计：运动信息表示为：M1，M2，..，Mn，其中n是滑窗范围内检测目标的数量，f为视频当前帧序，Bbox为边界框信息，Z为深度信息，具体表示如下式：
步骤S42：列车瞬时速度估计：由步骤S41中的ID信息关联目标的运动信息，得到同一目标在视频序列中深度变化，并根据相机的采集帧率估计列车的瞬时速度，计算如下式：
式中，指同ID的轨迹在Δf内的深度变化值，除以Δf得到当前f帧定位标尺i单位深度变化量/>median[.]取中位数，Vf第f帧的列车瞬时速度。
步骤S43：列车位移估计：基于列车的瞬时速度对时间求积分得到列车的位移：
其中，pf是当前帧的位置，pf-1是前一帧的列车位置。
实施例2
本实施例2中，提出一种融合立体视觉与目标跟踪的列车自主感知定位方法。该方法利用轨道场景中的地标或标志物作为独特的位置信号，并通过先进的目标检测器从立体图像对中提取目标的位置边界框。接着，通过关联立体图像对中同一目标的边界框，生成最小包围的自适应锚框，并使用立体匹配算法计算锚框内的像素偏移视差，从而进一步估计目标的深度值。此方法还基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，跟踪算法对包含相同目标的轨迹对分配相同的独一标识码(ID)。随后，将地标的深度信息与ID进行关联，计算地标的深度差值，进而估计传感器在两帧时间内的运动，通过相机的采集帧率计算列车的瞬时速度，并通过时间积分得到列车的位移值。通过列车位移匹配数字轨道拓扑地图，推算列车在全线的位置，并结合列车瞬时速度判断线路关键位置(区间/站点)，对列车的位置进行校正。本发明提出的列车自主感知定位方法减少了对地面设备的依赖，提高了系统的灵活性和可靠性，能够应对地面设备故障或覆盖不足的情况。基于深度学习的视觉里程计有利于提取鲁棒的特征，以更准确地实现特征匹配。轻量化深度学习模型可以满足边缘计算设备实时处理并获得定位信息的需求。同时，本发明为列车的自主运行和导航提供了技术支持，为实现列车自主感知定位和导航提供了一种有效的解决方案。
具体的，本实施例2所述的列车自主感知定位方法，包括以下步骤：
步骤S1：采用先进的目标检测算法识别轨道场景中的地标或标志物，提取立体图像对中目标的位置边界框；
步骤S2：关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差进一步估计深度值；
步骤S3：基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，跟踪算法对包含相同目标的轨迹分配相同的独一标识码(ID)；
步骤S4：关联S2中的深度值和S3中的独一标识码(ID)，计算地标深度差，估计估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值；
步骤S5：对步骤S4中得到的列车位移匹配数字轨道拓扑地图获得列车在全线的位置，结合列车瞬时速度判断线路关键位置(区间/站点)，对列车的位置进行校正。
进一步地，步骤S2具体包括以下步骤：
步骤S21：自适应锚框提取：为了限制立体匹配的搜索空间，关联立体图像对中同一目标的边界框生成最小包围的自适应锚框。通过水平极线约束(如外极线约束)，在右侧图像中搜索与左侧图像中的边界框对齐同一水平线的边界框，计算同一图像坐标下左右边界框的最小包围框作为锚框，公式如下：
式中，为anchor的坐标；bboxleft为左视图目标的边界框，包括左上角和右下角的坐标信息；bboxright对应同一目标的右视图边界框，numDisparities为视差搜索范围长度，用于弥补在立体匹配时被丢弃的左侧像素。
步骤S22：计算视差：采用半全局立体匹配算法计算锚框中映射点的像素偏移量获得视差。
首先利用Census变换(CT)计算匹配成本，CT代价计算如下所示：
Cs(u，v，d)＝Ham min g(Csl(u，v)，Csr(u-d，v))
接着采用8路径半全局匹配方法进行代价聚合，沿特定方向的代价计算如下公式：
然后通过″赢者通吃″(WTA)方法确定匹配误差最小的视差值，最后通过视差优化得到最终的视差图，采用锚框内的百分位视差进行空洞插值，如下公式：
式中：m，n分别为不大于矩形领域框大小的一半的最大整数，为比特位的逐位链接运算，(u，v)为中心像素点，C(p，d)为当前像素p视差为d的代价值，Lr(p-r，)为沿着某条路径r在不同视差下的聚合代价，根据视差的差异进行不同的惩罚，P1为视差差异为1个像素的惩罚系数，P2为视差差异大于1的惩罚系数差异为1个像素的进行；/>保证新的路径代价值不超过一定的上限值，像素全部路径的聚合代价计算为/>N为检测框内的视差总数，Γ[]若条件满足则返回1否则返回0，di为原始视差，d85为anchor内的85％位视差，dz是最终得到的优化视差。
步骤S23：深度估计：基于三角测量原理，由视差图进一步得到目标的深度值，计算如公式(6)，其中，Z为目标深度值，fx为相机的焦距，b为立体相机的物理基距。
进一步地，步骤S3具体包括以下步骤：
步骤S31：通过滑动窗口筛选待匹配轨迹：滑动窗口是由当前帧中所有目标边界框的位置信息构建的包围域，如公式(7)，用于限制跟踪算法的搜索空间，任何不在搜索空间中的历史轨迹都不再符合与当前检测关联的条件，通过滑动窗口法对所有历史轨迹进行初步筛选。
式中，ΓProposal为提议轨迹；Window{.}为感受野滑窗滤波算法，σ1、σ2是由所有目标边界框得到的y轴包围域，yΓ是轨迹的y坐标值，是趋近于边界的两个候补轨迹。
步骤S32：相似度计算：利用动量方向一致性和距离交叉联合(DIoU)计算检测与轨迹之间的相似度矩阵，表明它们之间的关联程度，动量方向一致性代价计算如公式(8)-(9)，DIoU代价计算如公式(10)。
Cv＝π-1(2-1π-|Δθ|) (9)
式中，cosΔθ是方向偏差角的余弦值，是时间间隔为Δt轨迹自身在y、x方向位置差，同理/>是待关联轨迹与检测结果之间的在y、x方向位置差，ρ是中心坐标之间的欧式矩阵值，Cv是动量方向一致性代价值，并将其值映射到[0，1]区间，IoU为边界框的交并比；ρ2(bD，bΓ)表示轨迹中心与检测中心的欧式距离；c为轨迹预测框与检测框最小包围框的对角线长度。
步骤S33：轨迹关联：匈牙利匹配算法利用步骤S32中的相似度矩阵生成匹配策略，并利用目标在三维空间中的位置拓扑先验来修正匈牙利匹配结果，位置拓扑先验矩阵如公式(11)，我们对DIoU加入权重因子λ(λ＜1)，关联代价CAssociation计算如公式(12)：
式中，位置拓扑先验矩阵K的维度由给定的N个候选轨迹和当前M个检测结果决定。当CDIoU+Cv＜＝0时，表明轨迹与检测结果为非方位关系，赋值0，否则赋值1。
进一步地，步骤S4具体包括以下步骤：
步骤S41：传感器运动估计：运动信息表示为：M1，M2，..，Mn，其中n是滑窗范围内检测目标的数量，f为视频当前帧序，Bbox为边界框信息，Z为深度信息，具体表示如下式：
步骤S42：列车瞬时速度估计：由步骤S41中的ID信息关联目标的运动信息，得到同一目标在视频序列中深度变化，并根据相机的采集帧率估计列车的瞬时速度，计算如下式：
式中，指同ID的轨迹在Δf内的深度变化值，除以Δf得到当前f帧定位标尺i单位深度变化量/>median[.]取中位数，Vf第f帧的列车瞬时速度。
步骤S43：列车位移估计：基于列车的瞬时速度对时间求积分得到列车的位移，如公式(16)，其中，pf是当前帧的位置，pf-1是前一帧的列车位置。
进一步地，步骤S5中所述的对步骤S4中得到的列车位移匹配数字轨道拓扑地图获得列车在全线的位置，结合列车瞬时速度判断线路关键位置(区间/站点)，对列车的推算位置进行校正。
实施例3
(1)基于自适应锚框的立体匹配算法
在轨道场景中，利用地标或标志物作为与位置相关的独特信号，通过先进的目标检测器提取立体图像对中目标的边界框，从而实现对立体图像中地标位置的定位。关联立体图像对中同一目标的边界框，并生成最小包围的自适应锚框。这些锚框被用来限制立体匹配算法的搜索空间，从而在匹配过程中提高计算效率。同时，由于每个目标在立体图像对中的位置和形状可能会有所不同，采用自适应锚框可以更好地适应地标由于不同视角和尺度产生的变化。立体匹配算法计算自适应锚框内的像素偏移视差，根据三角测量原理进一步估计深度值，获得地标在轨道场景中目标的深度估计。
(2)基于滑动窗口的多目标跟踪算法
基于当前的检测结果构建所有目标的包围域，作为感受野窗口筛选出待匹配的轨迹。跟踪算法通过在滑动窗口内进行轨迹与检测结果的匹配，对包含相同目标的轨迹对赋予相同的独一标识码(ID)。这种方式能够在复杂的场景中有效识别和持续跟踪多个相似的目标，并将它们准确地关联起来，以提高跟踪算法的稳定性和准确性，使得多目标跟踪在实际应用中更加可靠和实用。
(3)融合立体视觉与目标跟踪实现列车自主感知定位
将地标的深度信息和ID进行关联，融合这些信息估计传感器在两帧时间内的运动。利用相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值。进一步，将列车的位移与数字轨道拓扑地图进行匹配，从而推算列车在全线的位置。结合列车的瞬时速度，判断线路的关键位置，如区间和站点，从而对列车的推算位置进行校正，最终能够实现对列车在整条轨道线路上的准确定位和导航。
如图6所示，具体的，本实例提供了一种列车自主感知定位方法，包括以下步骤：
步骤S1：采用先进的目标检测算法识别轨道场景中的地标或标志物，提取立体图像对中目标的位置边界框。其目的是在复杂的场景下提取更加鲁棒的特征，提高整体算法的稳定性。
步骤S2：关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差进一步估计深度值。其目的是利用自适应锚框提高立体匹配算法准确性，同时减少不必要的大量背景匹配计算，以获得更加精准的位置信号的深度信息，提高算法的实时性。
步骤S3：基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，跟踪算法对包含相同目标的轨迹分配相同的独一标识码(ID)。其目的是利用滑动窗口过滤无关的历史轨迹，由此提高轨迹跟踪的准确性。
步骤S4：关联S2中的深度值和S3中的独一标识码(ID)，计算地标深度差，由此估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值。其目的是实现列车自主位移计算。
步骤S5：对步骤S4中得到的列车位移匹配数字轨道拓扑地图获得列车在全线的位置，结合列车瞬时速度判断线路关键位置(区间/站点)，对列车的推算位置进行校正。其目的是实现基于视觉里程计的列车自主定位。
在本实例中，具体实施方式如下：
(1)识别轨道场景中的地标或标志物
采用双目立体视觉传感器采集地铁列车前视立体图像，构建轨道交通地铁场景数据库。选取沿线的第三轨绝缘支座作为定位地标，如图1所示。先进的目标检测算法(如YOLOv8)识别轨道场景中的地标或标志物，并提取立体图像对中目标的位置边界框。
(2)基于自适应锚框的立体匹配算法
本实例利用轨道场景中的地标或标志物，作为一种与位置相关的独特信号，通过先进的目标检测器提取立体图像对中目标的位置边界框；关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差进一步估计深度值，算法流程如图2所示。图2中，由左至右依次为目标检测图、锚框提取图、立体匹配图和视差图。
A)自适应锚框提取
为了限制立体匹配的搜索空间，关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，算法如图2中锚框提取图所示。通过水平极线约束(如外极线约束)，在右侧图像中搜索与左侧图像中的边界框对齐同一水平线的边界框，计算同一图像坐标下左右边界框的最小包围框作为锚框，公式如下：
式中，为anchor的坐标；bboxleft为左视图目标的边界框，包括左上角和右下角的坐标信息；bboxright对应同一目标的右视图边界框，numDisparities为视差搜索范围长度，用于弥补在立体匹配时被丢弃的左侧像素。
B)计算视差
采用半全局立体匹配算法计算锚框中映射点的像素偏移量获得视差，如图2中的立体匹配图。首先利用Census变换(CT)计算匹配成本，CT代价计算如下公式所示：
Cs(u，v，d)＝Ham min g(Csl(u，v)，Csr(u-d，v))
接着采用8路径半全局匹配方法进行代价聚合，沿特定方向的代价计算如公式(4)，然后通过″赢者通吃″(WTA)方法确定匹配误差最小的视差值，最后通过视差优化得到最终的视差图，采用锚框内的百分位视差进行空洞插值，如公式(5)。
式中：m，n分别为不大于矩形领域框大小的一半的最大整数，为比特位的逐位链接运算，(u，v)为中心像素点，C(p，d)为当前像素p视差为d的代价值，Lr(p-r，)为沿着某条路径r在不同视差下的聚合代价，根据视差的差异进行不同的惩罚，P1为视差差异为1个像素的惩罚系数，P2为视差差异大于1的惩罚系数差异为1个像素的进行；/>保证新的路径代价值不超过一定的上限值，像素全部路径的聚合代价计算为/>N为检测框内的视差总数，Γ[]若条件满足则返回1否则返回0，di为原始视差，d85为anchor内的85％位视差，dz是最终得到的优化视差。
C)深度估计
基于三角测量原理，如图3所示，由视差图进一步得到目标的深度值，计算如公式(6)，其中，Z为目标深度值，fx为相机的焦距，b为立体相机的物理基距。
(3)基于滑动窗口的多目标跟踪算法
本实例基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，跟踪算法对包含相同目标的轨迹对分配相同的独一标识码(ID)，算法流程如图4所示。该步骤中滑动窗口的运行
A)通过滑动窗口筛选待匹配轨迹
通过滑动窗口筛选待匹配轨迹：滑动窗口是由当前帧中所有目标边界框的位置信息构建的包围域，如公式(7)，用于限制跟踪算法的搜索空间，滑窗滤波算法如图5所示，任何不在搜索空间中的历史轨迹都不再符合与当前检测关联的条件，通过滑动窗口法对所有历史轨迹进行初步筛选。
式中，ΓProposal为提议轨迹；Window{.}为感受野滑窗滤波算法，σ1、σ2是由所有目标边界框得到的y轴包围域，yΓ是轨迹的y坐标值，是趋近于边界的两个候补轨迹。
B)相似度计算
利用动量方向一致性和距离交叉联合(DIoU)计算检测与轨迹之间的相似度矩阵，表明它们之间的关联程度，动量方向一致性代价计算如公式(8)-(9)，DIoU代价计算如公式(10)。
Cv＝π-1(2-1π-|Δθ|) (9)
式中，cosΔθ是方向偏差角的余弦值，是时间间隔为Δt轨迹自身在y、x方向位置差，同理/>是待关联轨迹与检测结果之间的在y、x方向位置差，ρ是中心坐标之间的欧式矩阵值，Cv是动量方向一致性代价值，并将其值映射到[0，1]区间，IoU为边界框的交并比；ρ2(bD，bΓ)表示轨迹中心与检测中心的欧式距离；c为轨迹预测框与检测框最小包围框的对角线长度。
C)轨迹关联
匈牙利匹配算法利用步骤S32中的相似度矩阵生成匹配策略，并利用目标在三维空间中的位置拓扑先验来修正匈牙利匹配结果，位置拓扑先验矩阵如公式(11)，我们对DIoU加入权重因子λ(λ＜1)，关联代价CAssociation计算如公式(12)：
式中，位置拓扑先验矩阵K的维度由给定的N个候选轨迹和当前M个检测结果决定。当CDIoU+Cv＜＝0时，表明轨迹与检测结果为非方位关系，赋值0，否则赋值1。
(1)融合立体视觉与目标跟踪实现列车自主感知定位
本实例关联地标的深度信息和ID，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值。
a.列车运动估计
步骤1：传感器运动估计：运动信息表示为：M1，M2，..，Mn，其中n是滑窗范围内检测目标的数量，f为视频当前帧序，Bbox为边界框信息，Z为深度信息，具体表示如下式：
步骤2：列车瞬时速度估计：由步骤1中的ID信息关联目标的运动信息，得到同一目标在视频序列中深度变化，并根据相机的采集帧率估计列车的瞬时速度，计算如下式：
式中，指同ID的轨迹在Δf内的深度变化值，除以Δf得到当前f帧定位标尺i单位深度变化量/>median[.]取中位数，Vf第f帧的列车瞬时速度。
b.列车定位与校正
进一步，将列车的位移与数字轨道拓扑地图进行匹配，从而推算列车在全线的位置。结合列车的瞬时速度，判断线路的关键位置，如区间和站点，从而对列车的推算位置进行校正，最终能够实现对列车在整条轨道线路上的准确定位和导航。
较佳的，传统的列车定位方法通常依赖于基础设施，如全球卫星导航系统(GNSS)和地面信标。本实例利用轨道场景中的地标或标志物作为独特信号，将其作为与位置相关的独特信号，从而实现列车位置的自主感知定位。这种基于视觉的方法减少了对地面设备的依赖，提高了系统的灵活性和可靠性。
同时，本实例利用先进的目标检测器提取立体图像对中目标的位置边界框，然后通过立体匹配算法计算锚框内的像素偏移视差，并进一步估计深度值。接着，采用基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，并对包含相同目标的轨迹对分配相同的独一标识码(ID)。
特别的，本实例通过关联地标的深度信息和ID，计算地标的深度变化量，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值。然后，通过列车位移匹配数字轨道拓扑地图推算列车在全线的位置，并结合列车的瞬时速度判断线路的关键位置(区间/站点)，对列车的推算位置进行校正。这种实时运动估计和位置校正的方法，保证了列车定位的准确性和稳定性，为列车的自主运行和导航提供了有效的技术支持。
本实例融合立体视觉与目标跟踪的列车自主感知定位方法，通过利用轨道场景中的地标或标志物作为独特的位置信号，结合先进的目标检测器、立体匹配算法和多目标跟踪算法，实现对列车位置的自主感知与定位，从而提高系统的灵活性和可靠性，为列车的自主运行和导航提供了重要技术支持。
实施例4
本实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的列车自主感知定位方法。
实施例5
本实施例5提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行列车自主感知定位方法。
实施例6
本实施例6提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的列车自主感知定位方法的指令。
综上所述，本发明实施例所述的列车自主感知定位方法。利用轨道场景中的地标或标志物，作为一种与位置相关的独特信号，通过先进的目标检测器提取立体图像对中目标的位置边界框；关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差进一步估计深度值；基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，跟踪算法对包含相同目标的轨迹对分配相同的独一标识码(ID)；关联地标的深度信息和ID，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值；列车位移匹配数字轨道拓扑地图推算列车在全线的位置，结合列车瞬时速度判断线路关键位置(区间/站点)，并对列车的推算位置进行校正。轨道列车自主定位减少对地面设备的依赖，提高了系统的灵活性和可靠性，可以应对地面设备故障或覆盖不足的情况，并为列车的自主运行和导航提供了技术支持。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种列车自主感知定位方法，其特征在于，包括：
采用目标检测算法识别轨道场景中的地标或标志物，提取立体图像对中目标的位置边界框；
关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，根据立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差计算深度值；
基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，根据跟踪算法对包含相同目标的轨迹分配相同的独一标识码；
关联深度值和独一标识码，计算地标深度差，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值；
对列车的位移值匹配数字轨道拓扑地图，获得列车在全线的位置，结合列车瞬时速度判断线路关键位置，对列车的位置进行校正。
2.根据权利要求1所述的列车自主感知定位方法，其特征在于，关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差进一步估计深度值，包括以下步骤：
步骤S21：自适应锚框提取：为了限制立体匹配的搜索空间，关联立体图像对中同一目标的边界框生成最小包围的自适应锚框；通过水平极线约束，在右侧图像中搜索与左侧图像中的边界框对齐同一水平线的边界框，计算同一图像坐标下左右边界框的最小包围框作为锚框；
步骤S22：计算视差：采用半全局立体匹配算法计算锚框中映射点的像素偏移量获得视差；首先利用Census变换计算匹配成本，采用8路径半全局匹配方法进行代价聚合，沿特定方向的进行代价计算，然后通过″赢者通吃″方法确定匹配误差最小的视差值，最后通过视差优化得到最终的视差图，采用锚框内的百分位视差进行空洞插值
步骤S23：深度估计：基于三角测量原理，由视差图进一步得到目标的深度值。
3.根据权利要求2所述的列车自主感知定位方法，其特征在于，通过水平极线约束，在右侧图像中搜索与左侧图像中的边界框对齐同一水平线的边界框，计算同一图像坐标下左右边界框的最小包围框作为锚框，公式如下：
式中，为anchor的坐标；bboxleft为左视图目标的边界框，包括左上角和右下角的坐标信息；bboxright对应同一目标的右视图边界框，numDisparities为视差搜索范围长度，用于弥补在立体匹配时被丢弃的左侧像素。
4.根据权利要求2所述的列车自主感知定位方法，其特征在于，利用Census变换计算匹配成本为：
Cs(u，v，d)＝Ham min g(Csl(u，v)，Csr(u-d，v))
采用8路径半全局匹配方法进行代价聚合，沿特定方向的代价计算为：
采用锚框内的百分位视差进行空洞插值为：
式中：m，n分别为不大于矩形领域框大小的一半的最大整数，为比特位的逐位链接运算，(u，v)为中心像素点，C(p，d)为当前像素p视差为d的代价值，Lr(p-r，)为沿着某条路径r在不同视差下的聚合代价，根据视差的差异进行不同的惩罚，P1为视差差异为1个像素的惩罚系数，P2为视差差异大于1的惩罚系数差异为1个像素的进行；/>保证新的路径代价值不超过一定的上限值，像素全部路径的聚合代价计算为/>N为检测框内的视差总数，Γ[]若条件满足则返回1否则返回0，di为原始视差，d85为anchor内的85％位视差，dz是最终得到的优化视差。
深度值计算为：
其中，Z为目标深度值，fx为相机的焦距，b为立体相机的物理基距。
5.根据权利要求4所述的列车自主感知定位方法，其特征在于，所述的基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，跟踪算法对包含相同目标的轨迹分配相同的独一标识码，包括以下步骤：
步骤S31：通过滑动窗口筛选待匹配轨迹：滑动窗口是由当前帧中所有目标边界框的位置信息构建的包围域，用于限制跟踪算法的搜索空间，任何不在搜索空间中的历史轨迹都不再符合与当前检测关联的条件，通过滑动窗口法对所有历史轨迹进行初步筛选；
步骤S32：相似度计算：利用动量方向一致性和距离交叉联合计算检测与轨迹之间的相似度矩阵，表明它们之间的关联程度；
步骤S33：轨迹关联：匈牙利匹配算法利用步骤S32中的相似度矩阵生成匹配策略，并利用目标在三维空间中的位置拓扑先验来修正匈牙利匹配结果。
6.根据权利要求5所述的列车自主感知定位方法，其特征在于，通过滑动窗口筛选待匹配轨迹公式为：
式中，ΓProposal为提议轨迹；Window{.}为感受野滑窗滤波算法，σ1、σ2是由所有目标边界框得到的y轴包围域，yΓ是轨迹的y坐标值，是趋近于边界的两个候补轨迹；
动量方向一致性代价计算为：
Cv＝π-1(2-1π-|Δθ|)
距离交叉联合计算公式为：
式中，cosΔθ是方向偏差角的余弦值，是时间间隔为Δt轨迹自身在y、x方向位置差，同理/>是待关联轨迹与检测结果之间的在y、x方向位置差，ρ是中心坐标之间的欧式矩阵值，Cv是动量方向一致性代价值，并将其值映射到[0，1]区间，IoU为边界框的交并比；ρ2(bD，bΓ)表示轨迹中心与检测中心的欧式距离；c为轨迹预测框与检测框最小包围框的对角线长度；
位置拓扑先验矩阵公式为：
对距离交叉联合计算加入权重因子λ，λ＜1，关联代价CAssoctation计算公式：
式中，位置拓扑先验矩阵K的维度由给定的N个候选轨迹和当前M个检测结果决定；当CDIoU+Cv＜＝0时，表明轨迹与检测结果为非方位关系，赋值0，否则赋值1。
7.根据权利要求6所述的列车自主感知定位方法，其特征在于，关联深度值和独一标识码，计算地标的深度差，由此估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值，包括以下步骤：
步骤S41：传感器运动估计：运动信息表示为：M1，M2，..，Mn，其中n是滑窗范围内检测目标的数量，f为视频当前帧序，Bbox为边界框信息，Z为深度信息，具体表示如下式：
步骤S42：列车瞬时速度估计：由步骤S41中的ID信息关联目标的运动信息，得到同一目标在视频序列中深度变化，并根据相机的采集帧率估计列车的瞬时速度，计算如下式：
式中，指同ID的轨迹在Δf内的深度变化值，除以Δf得到当前f帧定位标尺i单位深度变化量/>median[.]取中位数，Vf第f帧的列车瞬时速度。
步骤S43：列车位移估计：基于列车的瞬时速度对时间求积分得到列车的位移：
其中，pf是当前帧的位置，pf-1是前一帧的列车位置。
8.一种列车自主感知定位系统，其特征在于，包括：
提取模块，用于采用目标检测算法识别轨道场景中的地标或标志物，提取立体图像对中目标的位置边界框；
第一计算模块，用于关联立体图像对中同一目标的边界框生成最小包围的自适应锚框，根据立体匹配算法计算锚框内的像素偏移视差，根据三角测量原理由视差计算深度值；
分配模块，用于基于检测的跟踪范式，利用滑动窗口筛选待匹配的轨迹，根据跟踪算法对包含相同目标的轨迹分配相同的独一标识码；
第二计算模块，用于关联深度值和独一标识码，计算地标深度差，估计传感器在两帧时间内的运动，根据相机的采集帧率估计列车的瞬时速度，并通过时间积分计算得到列车的位移值；
校正模块，用于对列车的位移值匹配数字轨道拓扑地图，获得列车在全线的位置，结合列车瞬时速度判断线路关键位置，对列车的位置进行校正。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求1-7任一项所述的列车自主感知定位方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-7任一项所述的列车自主感知定位方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311541463.4A CN117622262B (zh) | 2023-11-15 | 2023-11-15 | 列车自主感知定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311541463.4A CN117622262B (zh) | 2023-11-15 | 2023-11-15 | 列车自主感知定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117622262A true CN117622262A (zh) | 2024-03-01 |
| CN117622262B CN117622262B (zh) | 2024-07-09 |
Family
ID=90026205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311541463.4A Active CN117622262B (zh) | 2023-11-15 | 2023-11-15 | 列车自主感知定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117622262B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007028325A1 (de) * | 2007-06-15 | 2008-12-18 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Ortungsvorrichtung zur Ermittlung der Position von fahrweggebundenen Fahrzeugen |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| US20220089205A1 (en) * | 2019-03-04 | 2022-03-24 | Hitachi Kokusai Electric Inc. | Train monitoring system |
| CN114494462A (zh) * | 2022-02-10 | 2022-05-13 | 西安电子科技大学芜湖研究院 | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 |
| CN116206096A (zh) * | 2022-12-08 | 2023-06-02 | 国能铁路装备有限责任公司 | 一种铁路货车图像关键故障识别方法、装置、设备及介质 |
-
2023
- 2023-11-15 CN CN202311541463.4A patent/CN117622262B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102007028325A1 (de) * | 2007-06-15 | 2008-12-18 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Ortungsvorrichtung zur Ermittlung der Position von fahrweggebundenen Fahrzeugen |
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| US20220089205A1 (en) * | 2019-03-04 | 2022-03-24 | Hitachi Kokusai Electric Inc. | Train monitoring system |
| CN114494462A (zh) * | 2022-02-10 | 2022-05-13 | 西安电子科技大学芜湖研究院 | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 |
| CN116206096A (zh) * | 2022-12-08 | 2023-06-02 | 国能铁路装备有限责任公司 | 一种铁路货车图像关键故障识别方法、装置、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| TONG, L ET AL.: ""Anchor-adaptive railway track detection from unmanned aerial vehicle images"", 《COMPUTER-AIDED CIVIL AND INFRASTRUCTURE ENGINEERING》, vol. 38, no. 18, 22 April 2023 (2023-04-22) * |
| 刘慧;刘加林;沈跃;朱嘉慧;李尚龙;: "基于融合深度信息的自动喷雾车全局非线性轨迹优化方法", 农业机械学报, no. 05, 31 March 2019 (2019-03-31) * |
| 连丽容等: "双目机器视觉及RetinaNet 模型的路侧行人感知定位", 《中国图象图形学报》, vol. 26, no. 12, 31 December 2021 (2021-12-31) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117622262B (zh) | 2024-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alonso et al. | Accurate global localization using visual odometry and digital maps on urban environments | |
| Broggi et al. | The single frame stereo vision system for reliable obstacle detection used during the 2005 DARPA grand challenge on TerraMax | |
| Tardif et al. | Monocular visual odometry in urban environments using an omnidirectional camera | |
| CN106407315B (zh) | 一种基于街景图像数据库的车辆自主定位方法 | |
| CN113362247B (zh) | 一种激光融合多目相机的语义实景三维重建方法及系统 | |
| CN111652179A (zh) | 基于点线特征融合激光的语义高精地图构建与定位方法 | |
| Gräter et al. | Robust scale estimation for monocular visual odometry using structure from motion and vanishing points | |
| Krombach et al. | Feature-based visual odometry prior for real-time semi-dense stereo SLAM | |
| CN115388902B (zh) | 室内定位方法和系统、ar室内定位导航方法和系统 | |
| CN103814306A (zh) | 深度测量质量增强 | |
| JP2016057750A (ja) | 自車走行レーン推定装置及びプログラム | |
| Bak et al. | Dynamic objects detection through visual odometry and stereo-vision: a study of inaccuracy and improvement sources | |
| Wei et al. | GPS and Stereovision‐Based Visual Odometry: Application to Urban Scene Mapping and Intelligent Vehicle Localization | |
| Tao et al. | Automated processing of mobile mapping image sequences | |
| CN112446915A (zh) | 一种基于图像组的建图方法及装置 | |
| CN117622262B (zh) | 列车自主感知定位方法及系统 | |
| Roh et al. | Aerial image based heading correction for large scale SLAM in an urban canyon | |
| CN115638788B (zh) | 语义矢量地图的构建方法、计算机设备及存储介质 | |
| WO2020118623A1 (en) | Method and system for generating an environment model for positioning | |
| Neri et al. | High accuracy high integrity train positioning based on GNSS and image processing integration | |
| Baldoni et al. | On the Design of High Accuracy Rail Digital Maps based on Sensor Fusion | |
| CN116151320A (zh) | 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置 | |
| Franke et al. | Towards optimal stereo analysis of image sequences | |
| CN113874681B (zh) | 点云地图质量的评估方法和系统 | |
| Huang et al. | Binocular image sequence analysis: Integration of stereo disparity and optic flow for improved obstacle detection and tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |