[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111295321A - 障碍物检测装置 - Google Patents

障碍物检测装置 Download PDF

Info

Publication number
CN111295321A
CN111295321A CN201880071288.8A CN201880071288A CN111295321A CN 111295321 A CN111295321 A CN 111295321A CN 201880071288 A CN201880071288 A CN 201880071288A CN 111295321 A CN111295321 A CN 111295321A
Authority
CN
China
Prior art keywords
obstacle
unit
railway vehicle
monitoring area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880071288.8A
Other languages
English (en)
Inventor
高桥雄介
小林广幸
二神拓也
鸭雄史
高桥功
服部阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Publication of CN111295321A publication Critical patent/CN111295321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02Indicating or recording positions or identities of vehicles or trains
    • B61L25/025Absolute localisation, e.g. providing geodetic coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

实施方式的障碍物检测装置具备取得部、轨道检测部、监测区域设定部、障碍物检测部以及输出部。取得部取得可见光图像及距离图像,该可见光图像是由铁道车辆所具有的拍摄部对铁道车辆的行进方向进行拍摄而得到的,该距离图像能够确定到在拍摄部的拍摄范围存在的物体为止的距离。轨道检测部从可见光图像中检测铁道车辆行驶的轨道。监测区域设定部以轨道为基准,对可见光图像设定由铁道车辆的车辆界限或建筑界限规定的立体的监测区域。障碍物检测部根据基于可见光图像的能够确定到监测区域为止的距离的值域的值域信息和距离图像,检测存在于监测区域内且成为铁路车辆的行驶的障碍的障碍物。输出部输出障碍物的检测结果。

Description

障碍物检测装置
技术领域
本发明的实施方式涉及障碍物检测装置。
背景技术
在列车、电车等铁道车辆的运行时,为了确保铁道车辆的安全,需要确认前进道路上有无障碍物。在由于旅客或行李从车站的站台跌落、道口处的汽车、自行车的进退不得等而在铁道车辆的前进道路上容易产生障碍物的区间,有时设置有防止障碍物进入的站台护栏、道口隔断器、对障碍物的存在进行检测的感压式垫、对障碍物的图像进行识别的图像识别装置等车站站台跌落检测装置、对道口内的障碍物的存在进行检测的光学式或环形线圈式等的道口障碍物检测装置等。另外,在铁道车辆的前进道路上容易产生障碍物的区间,有时设定有用于通知列车、车站等的紧急事态的发生的紧急停止警报按钮。
但是,这些设备仅限于在铁道车辆的前进道路中容易产生障碍物的部位的设置,难以网罗铁道车辆的整个前进道路。另外,这些设备需要地面设备与车载设备协作地检测障碍物,因此担心会导致系统的复杂化以及庞大化。因此,开发出了使用对行驶中的铁道车辆的前方通过搭载于该铁道车辆的拍摄部始终进行拍摄而得到的图像来检测障碍物的有无的结构。
现有技术文献
专利文献
专利文献1:日本专利第5161673号公报
专利文献2:日本特开2016-52849号公报
专利文献3:日本专利第3888055号公报
专利文献4:日本特开2016-598号公报
发明内容
发明解决的课题
但是,铁道车辆若在将驾驶员或上述设备检测到障碍物而转移至使铁道车辆减速的行动之前进行的空转距离与从铁道车辆开始减速到停止为止的制动距离相加的停止距离之前没有检测到障碍物,则无法避免对障碍物的碰撞的可能性较高。另外,与汽车的碰撞避免系统相比,铁道车辆存在制动距离长、由于在轨道上行驶这样的制约而无法通过转向来避免障碍物这样的差异。因此,在铁道车辆中,要求从远方高精度地检测存在于前进道路上的障碍物。
用于解决课题的手段
实施方式的障碍物检测装置具备取得部、轨道检测部、监测区域设定部、障碍物检测部以及输出部。取得部取得可见光图像及距离图像,该可见光图像由铁道车辆所具有的拍摄部对铁道车辆的行进方向进行拍摄而得到,该距离图像能够确定到在拍摄部的拍摄范围存在的物体为止的距离。轨道检测部从可见光图像中检测铁道车辆行驶的轨道。监测区域设定部以轨道为基准,对可见光图像设定由铁道车辆的车辆界限或建筑界限规定的立体的监测区域。障碍物检测部根据基于可见光图像的能够确定到监测区域为止的距离的值域的值域信息和距离图像,检测存在于监测区域内且成为铁路车辆的行驶的障碍的障碍物。输出部输出障碍物的检测结果。
附图说明
图1是表示第1实施方式的铁道车辆的概略构成的一例的图。
图2是表示第1实施方式的铁道车辆所具有的行驶障碍物检测装置的功能构成的一例的框图。
图3是表示第1实施方式的铁道车辆中的监测区域的设定例的图。
图4是表示第1实施方式的铁道车辆中的监测区域的设定例的图。
图5是表示第1实施方式的铁道车辆中的障碍物的检测处理的流程的一例的图。
图6是用于说明第1实施方式的铁道车辆中的监测区域的设定方法的一例的示意图。
图7是用于说明第1实施方式的铁道车辆中的基准面的设定处理的一例的图。
图8是用于说明变形例的铁道车辆中的监测区域的设定处理的一例的图。
图9是表示第2实施方式的铁道车辆所具有的行驶障碍物检测装置的功能构成的一例的图。
图10是表示第2实施方式的铁道车辆中的监测区域的扩大例的图。
具体实施方式
以下,使用附图对具备本实施方式的障碍物检测装置的铁道车辆进行说明。
(第1实施方式)
图1是表示第1实施方式的铁道车辆的概略构成的一例的图。如图1所示,本实施方式的铁道车辆RV包括传感器10、行驶障碍物检测装置20、记录装置30及显示装置40。传感器10是以能够拍摄铁路车辆RV的行进方向的方式设置的拍摄部的一例。在本实施方式中,传感器10设置为能够拍摄将在铁道车辆RV的行进方向存在的轨道R包括在内的拍摄范围。行驶障碍物检测装置20是对成为铁路车辆RV行驶的障碍的障碍物进行检测的障碍物检测装置的一例。记录装置30存储由行驶障碍物检测装置20检测到的障碍物的检测结果。显示装置40显示通过传感器10拍摄铁路车辆RV的行进方向而得到的图像、由行驶障碍物检测装置20检测到障碍物的检测结果等各种信息。
图2是表示第1实施方式的铁道车辆所具有的行驶障碍物检测装置的功能构成的一例的框图。如图2所示,行驶障碍物检测装置20具有图像取得部201、轨道识别部202、监测区域识别部203、障碍物候选识别部204、障碍物判定部205、结果输出部206以及存储部207。在本实施方式中,图像取得部201、轨道识别部202、监测区域识别部203、障碍物候选识别部204、障碍物判定部205以及结果输出部206中的一部分或者全部,通过由铁道车辆RV所具有的CPU(Central Processing Unit:中央处理单元)等处理器执行存储于存储部207的软件来实现。
另外,图像取得部201、轨道识别部202、监测区域识别部203、障碍物候选识别部204、障碍物判定部205以及结果输出部206中的一部分或者全部,也可以通过LSI(LargeScale Integration:大规模集成电路)、ASIC(Application Specific IntegratedCircuit:专用集成电路)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等电路基板即硬件来实现。或者,图像取得部201、轨道识别部202、监测区域识别部203、障碍物候选识别部204、障碍物判定部205以及结果输出部206也可以通过由处理器执行的软件以及硬件的协作来实现。
存储部207包括ROM(Read Only Memory)、闪存、HDD(Hard Disk Drive)、SD卡等非易失性的存储介质、以及RAM(Random Access Memory)、寄存器等易失性的存储介质。并且,存储部207存储铁道车辆RV所具有的处理器所执行的程序等各种信息。
图像取得部201是取得通过传感器10拍摄铁路车辆RV的行进方向而得到的可见光的图像(以下,称为彩色图像)、以及能够确定到在传感器10的拍摄范围中存在的物体为止的距离的距离图像的取得部的一例。在本实施方式中,图像取得部201取得通过传感器10所具有的多个拍摄部从不同的视点拍摄铁路车辆RV的行进方向而得到的多个图像中的任一个作为彩色图像。
另外,图像取得部201取得该多个图像作为距离图像。在本实施方式中,图像取得部201将通过传感器10所包含的多个摄像部的摄像而得到的多个图像分别变换为灰度标度的图像(以下,称为灰度图像)。接着,图像取得部201将各灰度图像几何变换为在使多个摄像部的光轴虚拟平行的情况下得到的图像(以下,称为平行等位图像)。接着,图像取得部201按照平行立体视觉的原理,使用一方的平行等位图像和另一方的平行等位图像,取得能够确定到传感器10所包含的拍摄部的拍摄范围内的物体为止的距离的距离图像。
轨道识别部202作为检测彩色图像内的铁道车辆RV行驶的轨道R的轨道检测部的一例发挥功能。在本实施方式中,轨道识别部202将从通过传感器10的拍摄而得到的彩色图像变换后的灰度图像变换为增强了边缘的图像(以下,称为边缘增强图像)。接着,轨道识别部202生成将边缘增强图像中的边缘强度大于预先设定的边缘强度的像素和其周边的像素中具有同样的边缘强度的像素进行分组而得到的像素群。接着,轨道识别部202提取所生成的像素群中朝向铁路车辆RV的行进方向相连而形成线段的像素群。而且,轨道识别部202将提取出的像素群中满足预先设定的评价条件的像素群检测为铁道车辆RV行驶的轨道R。在此,评价条件是判断为轨道R的像素群,例如,具有判断为轨道R的边缘强度。
监测区域识别部203作为以由轨道识别部202检测出的轨道R为基准、对彩色图像设定立体的监测区域的监测区域设定部的一例发挥功能。在此,监测区域是在彩色图像内由铁道车辆RV的车辆界限或建筑界限规定的立体的区域。另外,监测区域识别部203基于彩色图像,求出能够确定从传感器10到监测区域的距离的范围即值域的值域信息。
图3和图4是表示第1实施方式的铁道车辆中的监测区域的设定例的图。如图3所示,监测区域识别部203基于传感器10的设置条件、由轨道识别部202检测出的轨道R的宽度恒定等的约束条件,求出在该检测出的轨道R的任意的设定位置P处的车辆界限截面X以及到该车辆界限截面X为止的距离。在此,车辆界限截面X是与铁道车辆RV的行进方向正交的方向上的车辆界限的截面。监测区域识别部203将以在铁道车辆RV的行进方向上针对轨道R的不同的设定位置P求出的车辆界限截面X为截面的隧道形状的区域设定为监测区域。另外,监测区域识别部203将针对每个设定位置P求出的到车辆界限截面X为止的距离的范围(集合)的值域作为值域信息而求出。
或者,如图4所示,监测区域识别部203基于传感器10的设置条件、由轨道识别部202检测出的轨道R的宽度恒定等的约束条件,求出在该检测出的轨道R的任意的设定位置P处的建筑界限截面Y以及到该建筑界限截面Y为止的距离。在此,建筑界限截面Y是与铁路车辆RV的行进方向正交的方向的建筑界限的截面。监测区域识别部203将以在铁道车辆RV的行进方向上针对轨道R的不同的设定位置P求出的以建筑界限截面Y为截面的隧道形状的区域设定为监测区域。另外,监测区域识别部203将针对每个设定位置P求出的到建筑界限截面Y为止的距离的范围(集合)的值域作为值域信息而求出。
返回图2,障碍物候选识别部204基于距离图像和值域信息,将监测区域内所包含的物体提取为障碍物的候选(以下,称为障碍物候选)。在本实施方式中,障碍物候选识别部204提取将距离图像内的各像素中的、表示与由值域信息确定的距离一致的距离的像素分组后的相似区域,作为存在于监测区域内的立体物、即障碍物候选。
障碍物判定部205基于由障碍物候选识别部204提取的障碍物候选的大小以及该障碍物候选的移动向量中的至少一个,从障碍物候选中检测障碍物。由此,能够将存在于监测区域的物体中可能成为障碍物的可能性高的物体检测为障碍物,因此能够提高障碍物的检测精度。在本实施方式中,障碍物判定部205将障碍物候选中的、预先设定的大小以上的障碍物候选检测为障碍物。另外,障碍物判定部205将障碍物候选中的、移动向量朝向轨道R的方向的障碍物候选检测为障碍物。另外,障碍物判定部205也可以将障碍物候选中的预先设定的大小以上且移动向量朝向轨道R的方向的障碍物候选检测为障碍物。
因此,在本实施方式中,障碍物候选识别部204及障碍物判定部205协同动作,作为基于距离图像和值域信息来对存在于监测区域内且成为铁道车辆RV行驶的障碍的障碍物进行检测的障碍物检测部的一例发挥功能。由此,在使用拍摄铁路车辆RV的行进方向而得到的彩色图像来检测成为铁路车辆RV行驶的障碍的障碍物的情况下,能够在彩色图像中动态且适当地设定检测障碍物的监测区域,而能够高精度地检测成为铁路车辆RV行驶的障碍的障碍物。
结果输出部206作为将障碍物候选识别部204以及障碍物判定部205的障碍物的检测结果输出的输出部的一例发挥功能。在本实施方式中,结果输出部206在由障碍物判定部205检测到障碍物的情况下,将表示检测到障碍物的信息与彩色图像一起显示于显示装置40。另外,结果输出部206将障碍物的检测结果保存在记录装置30中。
接着,使用图5,对本实施方式的铁道车辆中的障碍物的检测处理的流程的一例进行说明。图5是表示第1实施方式的铁道车辆中的障碍物的检测处理的流程的一例的图。
图像取得单元201从传感器10取得彩色图像及距离图像(步骤S501)。传感器10是能够同时输出彩色图像及距离图像的光学式传感器,是图案投光方式、摄影测量(photogrammetry)方式、飞行时间(Time Of Flight)方式的光学式传感器。另外,在传感器10包括在铁路车辆RV的车宽方向上分开设置的2个摄像部(左右的2个摄像部)的情况下,图像取得部201也可以取得通过2个摄像部的摄像而得到的2个彩色图像作为距离图像。
在取得了2个彩色图像作为距离图像的情况下,图像取得部201将2个彩色图像分别变换为灰度图像(步骤S502)。在本实施方式中,对图像取得部201为了削减障碍物的检测所需的运算量而将2个彩色图像分别变换为灰度图像后,使用该灰度图像来检测障碍物的例子进行说明,但也能够原封不动使用彩色图像来检测障碍物。
接着,图像取得部201将2个灰度图像分别几何变换为平行等位图像(步骤S503)。另外,一般的相机的透镜具有半径方向的畸变以及圆周方向的畸变。因此,图像取得单元201事先将通过传感器10的拍摄所获得的图像的畸变的校正所需的系数、表作为图像变换信息存储在存储单元207中。并且,图像取得部201也可以使用存储在存储部207中的图像变换信息,对由透镜的像差等引起的灰度图像的畸变进行修正。另外,也可以通过校准事先求出传感器10的内部参数、基于相对的位置关系的外部参数,并将该外部参数作为图像变换信息保存在存储部207中。
接着,图像取得部201将一方的平行等位图像作为基准图像且将另一方的平行等位图像作为参照图像,求出基准图像和参照图像的视差作为距离图像(步骤S504)。根据对极几何(epipolar geometry)等几何学的约束条件,作为与基准图像的关注像素对应的参照图像内的像素的对应像素,通过仅检索与基准图像中的关注像素的高度相同的高度的极线上而求得。由此,能够以较少的运算量且高精度地实现对应像素的搜索。对应像素的搜索通过对参照图像内的一部分区域即每个小区域搜索对应像素的模板匹配、从参照图像整体搜索最优的对应像素(解)的全局匹配、在参照图像中从关注像素周边的像素搜索最优的对应像素的半全局匹配等来进行。但是,在对应像素的搜索要求实时性的情况下,大多通过模板匹配来搜索对应像素。
在求出了对应像素之后,图像取得部201求出基准图像的关注像素与参照图像的对应像素的视差。在本实施方式中,图像取得部201一边使基准图像的关注像素各错开1个像素,一边求出参照图像的对应像素。因此,在参照图像是数字图像的情况下,对应像素的坐标由整数表示。因此,在以小数点以下的精度估计对应像素的坐标的情况下,使用亚像素估计方法。在亚像素估计方法中,在对应像素的探索中使用的评价函数是SAD(Sum ofAbsolute Difference)那样的一次函数的情况下,使用等角度直线拟合。另一方面,在亚像素估计方法中,在对应像素的探索中使用的评价函数是SSD(Sum of Squared Difference)那样的2次函数的情况下,使用参数拟合。
另外,在不需要以小数点以下的精度求出视差的情况下、想要缩短视差的取得所需的处理时间的情况下,也可以不使用亚像素估计方法而求出视差。另外,在基于在亚像素估计方法中使用的评价函数的对应像素的坐标的评价值大于预先设定的阈值的情况下、关注像素与对应像素的特征量(例如,灰度的变化)的差异较小的情况下,也可以将所求出的视差设为无效。
通过以上的处理,图像取得部201针对基准图像的全部的像素或基准图像的一部分的有效区域内的像素,求出与参照图像的像素之间的视差。然后,图像取得部201使用以下的式(1),求出到基准图像的像素所表示的物体为止的距离Z作为距离图像。在以下的式(1)中,f表示传感器10所包含的两个摄像部的焦距,B表示传感器10所包含的两个摄像部之间的距离,D表示基准图像的像素与参照图像的像素的视差D。
Z=f×B/D……(1)
接下来,轨道识别部202从基准图像中检测铁道车辆RV行驶的轨道R的候选即轨道候选(步骤S505)。在本实施方式中,轨道识别部202将基准图像变换为边缘增强图像。接着,轨道识别部202在边缘增强图像中检测将边缘强度大于预先设定的边缘强度的像素与其周边的像素中具有同样的边缘强度的像素分组后的像素群中、朝向铁路车辆RV的行进方向相连而形成线段的像素群,作为轨道候选。然后,轨道识别部202将检测出的轨道候选中满足预先设定的评价条件的轨道候选检测为轨道R(步骤S506)。
监测区域识别部203以由轨道识别部202检测出的轨道R为基准,对基准图像设定立体的监测区域(步骤S507)。
图6是用于说明第1实施方式的铁道车辆中的监测区域的设定方法的一例的示意图。如图6所示,监测区域识别部203对由轨道识别部202检测出的轨道R上的任意的设定位置P,设定将该设定位置P处的左右的轨道R相连且水平的线段。在此,线段在基准图像中具有L像素的长度。而且,在传感器10所具有的摄像部的俯仰角、偏航角以及侧倾角均为0°、且铁路车辆RV行驶的轨道R为窄轨的情况下,水平方向的每1像素的分辨率为(1067/L)毫米。
或者,监测区域识别部203使用距离图像,取得设定位置P的关注像素与对应像素的视差或到设定位置P的距离。接着,监测区域识别部203预先求出与视差或距离对应的每1像素的分辨率,确定与所取得的视差或距离对应的每1像素的分辨率。并且,监测区域识别部203也可以将所确定的每1像素的分辨率设为设定位置P处的、水平方向的每1像素的分辨率。此外,在传感器10的摄像元件的纵横比为1/1的情况下,与线段正交的方向(即,上下方向)的每1像素的分辨率与水平方向的每1像素的分辨率相同。
接着,如图6所示,监测区域识别部203根据实际空间中的车辆界限的尺寸(例如,宽度:3800mm、高度:4300mm)、以及基准图像的每1像素的分辨率,对基准图像内的设定位置P设定车辆界限截面X。在本实施方式中,监测区域识别部203将模仿车辆界限的截面的区域设定为车辆界限截面X,但只要将能够确定车辆界限的区域设定为车辆界限截面X,则并不限定于此。例如,监测区域识别部203也可以将与车辆界限的截面近似的矩形等预先设定的形状的区域设定为车辆界限截面X。另外,在此,对相对于基准图像设定车辆界限截面X的例子进行说明,但对于基准图像设定建筑界限截面Y的情况也相同。之后,监测区域识别部203一边使基准图像内的设定位置P沿着铁路车辆RV的行进方向移动,一边反复进行针对设定位置P的车辆界限截面X的设定,由此对基准图像设定隧道形状的监测区域。
进而,监测区域识别部203基于基准图像的每1像素的分辨率、以及从基准图像的下端(即,在传感器10的摄像范围中近前侧的端)到设定位置P的像素数等,针对每个设定位置P求出到设定位置P的距离或设定位置P处的关注像素和对应像素的视差。然后,监测区域识别部203将针对每个设定位置P求出的距离或视差的值域作为值域信息。另外,监测区域识别部203将值域信息作为监测区域信息保存在存储部207中。
返回图5,障碍物候选识别部204对基准图像设定与由轨道识别部202检测出的轨道R的上表面接触的基准面(步骤S508)。由此,存在于比轨道R靠下方的位置,成为障碍物的可能性低的物体不会被检测为障碍物候选,因此能够减轻障碍物的检测处理的处理负荷。
图7是用于说明第1实施方式的铁道车辆中的基准面的设定处理的一例的图。如图7所示,障碍物候选识别部204将由轨道识别部202识别出的轨道R的上表面中的、如下平面或曲面作为基准面P1、P2,该平面或曲面近似于与相对于传感器10而言距离或视差接近的区域接触的面。
返回到图5,接着,障碍物候选识别部204基于表示基准图像与参照图像的视差(或距离)的距离图像和值域信息,提取基准图像的监测区域内所包含的物体作为障碍物候选(步骤S509)。具体而言,障碍物候选识别部204提取基准图像内的物体中的、基准图像与参照图像的视差(或距离)包含在值域信息所示的值域内的物体作为障碍物候选。
但是,在监测区域内包含的物体中,仅其一部分进入监测区域的物体由于物体的尺寸不足预先设定的尺寸等理由而不被检测为障碍物的可能性高。因此,在本实施方式中,障碍物候选识别部204提取存在于基准面上方的物体作为障碍物候选。具体而言,障碍物候选识别部204将基准图像的监测区域内所包含的物体中的、位于基准面的近前的物体、换言之与传感器10的距离比到基准面为止的距离短的物体(或者,具有比基准面的视差大的视差的物体)提取为障碍物候选。
障碍物判定部205基于障碍物候选的大小以及障碍物候选的移动向量中的至少任一方,从障碍物候选中检测障碍物(步骤S510)。在本实施方式中,障碍物判定部205将障碍物候选中的、基准图像内的外接矩形的纵横比极端失衡的障碍物候选作为噪声或干扰而舍弃。另外,障碍物判定部205求出障碍物候选中的2帧以上的基准图像间的障碍物候选的移动向量,在移动向量从下向上的情况下,作为鸟或烟等的干扰而舍弃。然后,障碍物判定部205针对障碍物候选中的未被舍弃而残留的障碍物候选,将其重心位置进入监测区域内的障碍物候选检测为障碍物。
接着,结果输出部206将障碍物判定部205的障碍物的检测结果输出到显示装置40,使显示装置40显示障碍物的检测结果(步骤S511)。在本实施方式中,结果输出部206使显示装置40显示由障碍物判定部205检测到障碍物或到检测到的障碍物的距离等作为障碍物的检测结果。另外,结果输出部206输出通知障碍物的检测结果的声音、或对控制铁道车辆RV的行驶的车辆控制装置输出障碍物的检测结果。进而,结果输出部206将表示障碍物的检测结果的检测结果信息保存在存储部207中。另外,结果输出部206还能够将检测结果信息保存在外部的存储部中。由此,外部装置在无法与铁道车辆RV的行驶障碍物检测装置20通信的离线的状态下,也能够使用外部的存储部所存储的检测结果信息来解析障碍物的检测结果。
然后,图像取得部201判断是否指示了障碍物的检测处理的结束(步骤S512)。在指示了障碍物的检测处理的结束的情况下(步骤S512:是),图像取得部201不进行新的彩色图像及距离图像的取得,结束障碍物的检测处理。另一方面,在没有指示障碍物的检测处理的结束的情况下(步骤S512:否),图像取得部201返回步骤S501,进行新的彩色图像及距离图像的取得。
这样,根据第1实施方式所涉及的铁道车辆RV,使用对铁道车辆RV的行进方向进行拍摄而得到的彩色图像,检测成为铁路车辆RV行驶的障碍的障碍物的情况下,能够在彩色图像中动态且适当地设定检测障碍物的监测区域,并检测障碍物,因此能够高精度地检测成为铁路车辆RV行驶的障碍的障碍物。
(变形例)
本变形例是在从彩色图像检测出多个轨道的情况下,针对每个轨道,以该轨道为基准来设定监测区域的例子。在以下的说明中,对与第1实施方式不同之处进行说明。
图8是用于说明本变形例的铁道车辆中的监测区域的设定处理的一例的图。如图8所示,监测区域识别部203在通过轨道识别部202检测出多个轨道R1、R2的情况下,针对多个轨道R1、R2分别设定监测区域A1、A2。
但是,监测区域识别部203在能够通过轨道识别部202确定多个轨道R1、R2中的铁道车辆RV行驶的轨道R1的情况下,也可以仅对轨道R1设定监测区域(例如监测区域A1)。由此,在通过轨道识别部202检测出多个轨道R的情况下,只要针对多个轨道R中的任一个设定监测区域即可,因此能够减轻监测区域的设定处理的处理负荷。例如,监测区域识别部203从图像中识别铁道车辆RV行驶的轨道R的点部分的轨道R的朝向、信号机的显示,基于该识别结果,确定铁道车辆RV行驶的轨道R。或者,监测区域识别部203也可以基于铁道车辆RV的时刻表来确定铁道车辆RV行驶的轨道R。
(第2实施方式)
本实施方式是在铁道车辆行驶的行驶区间中的规定区间扩大监测区域的例子。在以下的说明中,省略对与第1实施方式相同的构成的说明。
图9是表示第2实施方式的铁道车辆所具有的行驶障碍物检测装置的功能构成的一例的图。如图9所示,在本实施方式中,铁路车辆RV除了具有传感器10、行驶障碍物检测装置90、显示装置40以及记录装置30以外,还具有位置计测装置60。位置计测装置60是计测铁路车辆RV的行驶位置的位置计测部。在此,位置计测装置60使用速度发电机(TG)、卫星测位系统(GNSS)。行驶障碍物检测装置90具有图像取得部201、轨道识别部202、监测区域识别部901、障碍物候选识别部204、障碍物判定部205、结果输出部206以及存储部903。
例如,在行人、二轮车、汽车等在线路上往来而可能对铁道车辆RV的行驶产生障碍的道口、乘客或货物等跌落而在轨道R上可能成为铁路车辆RV行驶的障碍的车站站台等,不仅在车辆界限或建筑界限,在其周边的区域存在的物体也可能成为障碍物。
因此,监测区域识别部901在铁道车辆RV的行驶区间中的规定区间,扩大基准图像内的监测区域,使得车辆界限或建筑界限的周围的区域包含于监测区域。在此,规定区间是预先设定的区间,是在车辆界限或建筑界限的周围可能成为障碍物的物体容易存在的区域。由此,在车辆界限或建筑界限的周围可能成为障碍物的物体也能够作为障碍物而检测,铁道车辆RV的周边的状况也能够掌握,因此能够降低铁道车辆RV接近道口、车站站台等之后物体进入车辆界限或建筑界限而导致与铁道车辆RV的接触的风险。
因此,在本实施方式中,监测区域识别部901需要判别基准图像内的监测区域是否在规定区间内。例如,监测区域识别部901基于彩色图像,判断设定监测区域的区域是否是规定区间。具体而言,监测区域识别部901在车站的站台、道口、标识、信号等符号存在于规定区间的情况下,通过模式识别技术等从彩色图像检测符号,由此确定规定区间的起点和终点。然后,监测区域识别部901在确定出的起点与终点之间扩大监测区域。
或者,监测区域识别部901也可以根据彩色图像,将规定区间的周围的构造物(例如,站台的端部、道口特有的构造物)检测为记号,确定规定区间的起点以及终点。或者,也可以在地面侧即能够由传感器10拍摄的位置,设置能够确定规定区间的起点和终点的专用标识。并且,监测区域识别部901也可以在通过模式识别技术从彩色图像识别出专用标识的情况下,判断为设定监测区域的区域是规定区间,并扩大监测区域。
另外,也可以在地面侧配置能够通过无线通信对于在规定区间的附近行驶的铁道车辆RV发送表示规定区间的位置(例如,规定区间的起点和终点)的位置信息的通信设备(外部装置的一例)。在该情况下,监测区域识别部901从通信设备接收位置信息。然后,监测区域识别部901在接收到的位置信息所表示的位置处,扩大监测区域。在此,作为通信设备,有应答器地上信标、RFID(Radio Frequency Identifier:射频识别)标签等。但是,障碍物需要在200~300m近前检测,因此通信设备需要设置在规定区间的数百m近前,从此处对数百m目的地的铁道车辆RV发送位置信息。
另外,铁路车辆RV具有位置计测装置60,并且存储部903存储规定区间的位置信息(例如,表示规定区间的起点和终点的扩展监测区域信息)的情况下,监测区域识别部901也可以在由位置计测装置60计测的行驶位置是存储于存储部903的扩展监测区域信息所表示的起点与终点之间的情况下,扩大监测区域。在此,扩展监测区域信息是通过单位系统(例如,时间、经度和纬度)等表示规定区间的起点和终点的信息。
图10是表示第2实施方式的铁道车辆中的监测区域的扩大例的图。如图10所示,监测区域识别部901在判断为设定监测区域的区域是规定区间的情况下,在设定位置P设定建筑界限截面Y以及该建筑界限截面Y的周围的周围区域Y′。然后,监测区域识别部901将以针对不同的设定位置P求出的建筑界限截面Y以及周围区域Y′为截面的隧道形状的区域设定为监测区域。在此,对针对彩色图像设定建筑界限截面Y和周围区域Y′的例子进行了说明,但在对彩色图像设定车辆界限截面X和周围区域的情况下,也同样地设定监测区域。
这样,根据第2实施方式所涉及的铁道车辆RV,在车辆界限或建筑界限的周围可能成为障碍物的物体也能够作为障碍物而检测,铁道车辆RV的周边的状况也能够把握,所以能够降低铁道车辆RV接近道口、车站站台等之后物体进入车辆界限或建筑界限而导致与铁道车辆RV的接触的风险。
如以上说明的那样,根据第1至第2实施方式,能够高精度地检测成为铁路车辆RV行驶的障碍的障碍物。
此外,在本实施方式的行驶障碍物检测装置20、90中执行的程序预先组装于ROM等而提供,但也可以构成为,以可安装的格式或可执行的格式的文件记录在CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk)等计算机可读取的记录介质中来提供。
进而,也可以构成为将在本实施方式的行驶障碍物检测装置20、90中执行的程序存储在与因特网等网络连接的计算机上,并经由网络下载而提供。另外,也可以构成为经由因特网等网络提供或发布在本实施方式的行驶障碍物检测装置20、90中执行的程序。
在本实施方式的行驶障碍物检测装置20、90中执行的程序是包括上述各部(图像取得部201、轨道识别部202、监测区域识别部203、901、障碍物候选识别部204、障碍物判定部205、结果输出部206)的模块构成,作为实际的硬件,CPU从上述ROM读出程序并执行,由此将上述各部加载到主存储装置上,在主存储装置上生成图像取得部201、轨道识别部202、监测区域识别部203、901、障碍物候选识别部204、障碍物判定部205及结果输出部206。
对本发明的几个实施方式进行了说明,但这些实施方式是作为例子而提示的,无意限定发明的范围。这些新的实施方式能够以其他各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、主旨中,并且包含在权利要求书所记载的发明及其等同的范围内。

Claims (11)

1.一种障碍物检测装置,具备:
取得部,取得可见光图像以及距离图像,该可见光图像是由铁道车辆所具有的拍摄部对所述铁道车辆的行进方向进行拍摄而得到的,该距离图像能够确定到所述拍摄部的拍摄范围中所存在的物体为止的距离;
轨道检测部,从所述可见光图像,检测所述铁路车辆行驶的轨道;
监测区域设定部,以所述轨道为基准,对所述可见光图像设定由所述铁路车辆的车辆界限或建筑界限规定的立体的监测区域;
障碍物检测部,基于值域信息和所述距离图像,检测存在于所述监测区域内且成为所述铁路车辆的行驶的障碍的障碍物,该值域信息是基于所述可见光图像的能够确定到所述监测区域为止的距离的值域的信息;以及
输出部,输出所述障碍物的检测结果。
2.根据权利要求1所述的障碍物检测装置,其中,还具备:
候选检测部,基于所述距离图像和所述值域信息,检测存在于所述监测区域内的物体,作为所述障碍物的候选,
所述障碍物检测部,基于所述障碍物的候选的大小以及所述障碍物的候选的移动矢量中的至少一个,从所述障碍物的候选中检测所述障碍物。
3.根据权利要求1或2所述的障碍物检测装置,其中,
所述取得部,取得由多个所述拍摄部从不同的视点拍摄所述铁路车辆的行进方向而得到的多个图像中的任意一个图像作为所述可见光图像,并且取得所述多个图像作为所述距离图像。
4.根据权利要求3所述的障碍物检测装置,其中,
所述距离图像表示所述多个图像的视差,
所述值域信息表示所述监测区域的视差的范围。
5.根据权利要求1至4中任一项所述的障碍物检测装置,其中,
所述监测区域设定部,在通过所述轨道检测部从所述可见光图像检测出多个所述轨道的情况下,针对每个所述轨道设定所述监测区域。
6.根据权利要求1至4中任一项所述的障碍物检测装置,其中,
所述监测区域设定部,在通过所述轨道检测部从所述可见光图像检测出多个所述轨道的情况下,仅针对所述多个轨道中的所述铁路车辆行驶的所述轨道设定所述监测区域。
7.根据权利要求2所述的障碍物检测装置,其中,
所述候选检测部,针对所述可见光图像设定与所述轨道的上表面接触的基准面,并检测存在于所述基准面上方的物体作为所述障碍物的候选。
8.根据权利要求1至7中任一项所述的障碍物检测装置,其中,
所述监测区域设定部,在所述铁路车辆行驶的行驶区间中的规定区间,扩大所述监测区域,以使所述铁路车辆的车辆界限或建筑界限的周围的区域包含在所述监测区域中。
9.根据权利要求8所述的障碍物检测装置,其中,
所述监测区域设定部,从所述可见光图像检测所述规定区间,并在所述规定区间扩大所述监测区域。
10.根据权利要求8所述的障碍物检测装置,其中,
所述监测区域设定部,从外部装置接收表示所述规定区间的位置的位置信息,并在所述位置信息所示的位置扩大所述监测区域。
11.根据权利要求8所述的障碍物检测装置,其中,还具备:
位置计测部,计测所述铁道车辆的行驶位置;以及
存储部,存储表示所述规定区间的位置信息,
所述监测区域设定部,基于由所述位置计测部计测的所述行驶位置和存储于所述存储部的所述位置信息,在所述规定区间扩大所述监测区域。
CN201880071288.8A 2017-11-02 2018-11-02 障碍物检测装置 Pending CN111295321A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017212847A JP7062407B2 (ja) 2017-11-02 2017-11-02 支障物検知装置
JP2017-212847 2017-11-02
PCT/JP2018/040899 WO2019088267A1 (ja) 2017-11-02 2018-11-02 支障物検知装置

Publications (1)

Publication Number Publication Date
CN111295321A true CN111295321A (zh) 2020-06-16

Family

ID=66332551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071288.8A Pending CN111295321A (zh) 2017-11-02 2018-11-02 障碍物检测装置

Country Status (4)

Country Link
EP (1) EP3705371A4 (zh)
JP (1) JP7062407B2 (zh)
CN (1) CN111295321A (zh)
WO (1) WO2019088267A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7068068B2 (ja) * 2018-06-26 2022-05-16 株式会社東芝 検知領域データベース作成装置
JP7502025B2 (ja) 2019-12-23 2024-06-18 株式会社東芝 カメラ自動検査システム
WO2021149211A1 (ja) * 2020-01-23 2021-07-29 三菱電機株式会社 前方監視装置、列車制御システム、及び、前方監視方法
DE102020210821A1 (de) * 2020-08-27 2022-03-03 Siemens Mobility GmbH Verfahren zur Überprüfung eines Lichtraums für ein Schienenfahrzeug
JP7406477B2 (ja) * 2020-10-13 2023-12-27 株式会社日立製作所 障害物検知システム及び障害物検知方法
CN112660171B (zh) * 2020-12-30 2024-02-20 北京市地铁运营有限公司地铁运营技术研发中心 安全防护系统及方法
DE102021200408A1 (de) * 2021-01-18 2022-07-21 Siemens Mobility GmbH Sicherheitskritische bordseitige Überwachung der Umgebung eines Schienenfahrzeugs
CN112857329B (zh) * 2021-02-02 2022-08-30 中国铁路设计集团有限公司 铁路既有线岔心测量方法、系统、存储介质及电子设备
JP7458344B2 (ja) 2021-04-15 2024-03-29 株式会社東芝 鉄道車両運転制御装置
DE102021206475A1 (de) * 2021-06-23 2022-12-29 Siemens Mobility GmbH Hindernisdetektion im Gleisbereich auf Basis von Tiefendaten
JP2023072554A (ja) * 2021-11-12 2023-05-24 株式会社東芝 情報処理装置及びプログラム
DE102023203319A1 (de) * 2023-04-12 2024-10-17 Siemens Mobility GmbH Spurgebundene Hinderniserkennung
CN117495847B (zh) * 2023-12-27 2024-03-19 安徽蔚来智驾科技有限公司 路口检测方法、可读存储介质及智能设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003019233A1 (de) * 2001-08-20 2003-03-06 Siemens Aktiengesellschaft Vorrichtung zur erkennung eines hindernisses
US20050152580A1 (en) * 2003-12-16 2005-07-14 Kabushiki Kaisha Toshiba Obstacle detecting apparatus and method
CN1720162A (zh) * 2002-12-21 2006-01-11 无线电广播通信系统有限及两合公司 用于轨道导引的车辆的障碍物报警系统
JP2008257378A (ja) * 2007-04-03 2008-10-23 Honda Motor Co Ltd 物体検出装置
CN102750515A (zh) * 2011-04-19 2012-10-24 国际商业机器公司 用于提高检测铁轨横穿事件的可靠性的方法和系统
CN104011780A (zh) * 2011-12-28 2014-08-27 丰田自动车株式会社 障碍物判定装置
WO2015150340A1 (de) * 2014-04-03 2015-10-08 Bombardier Transportation Gmbh Automatische assistenz eines fahrers eines fahrspurgebundenen fahrzeugs, insbesondere eines schienenfahrzeugs
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
CN105346565A (zh) * 2015-09-29 2016-02-24 北京京天威科技发展有限公司 侵限智能监测系统及监控中心数据库
CN105636853A (zh) * 2013-07-31 2016-06-01 埃伦·约瑟夫·卡特兹 用于障碍物识别和避开的系统和方法
JP2016164735A (ja) * 2015-03-06 2016-09-08 ヤマハ発動機株式会社 障害物検出装置およびそれを備えた移動体
JP2016192105A (ja) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 ステレオ画像処理方法およびその装置
JP2017083245A (ja) * 2015-10-27 2017-05-18 株式会社明電舎 建築限界判定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3888055B2 (ja) 2000-12-26 2007-02-28 財団法人鉄道総合技術研究所 オプティカルフローを利用した列車前方異常検出装置
JP5161673B2 (ja) 2008-06-30 2013-03-13 株式会社神戸製鋼所 落下物検知装置および落下物検知方法
JP6381981B2 (ja) 2014-06-12 2018-08-29 西日本旅客鉄道株式会社 線路空間支障物検知システム
JP6209141B2 (ja) 2014-09-04 2017-10-04 公益財団法人鉄道総合技術研究所 障害物検出装置及び方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003019233A1 (de) * 2001-08-20 2003-03-06 Siemens Aktiengesellschaft Vorrichtung zur erkennung eines hindernisses
CN1720162A (zh) * 2002-12-21 2006-01-11 无线电广播通信系统有限及两合公司 用于轨道导引的车辆的障碍物报警系统
US20050152580A1 (en) * 2003-12-16 2005-07-14 Kabushiki Kaisha Toshiba Obstacle detecting apparatus and method
JP2008257378A (ja) * 2007-04-03 2008-10-23 Honda Motor Co Ltd 物体検出装置
CN102750515A (zh) * 2011-04-19 2012-10-24 国际商业机器公司 用于提高检测铁轨横穿事件的可靠性的方法和系统
CN104011780A (zh) * 2011-12-28 2014-08-27 丰田自动车株式会社 障碍物判定装置
CN105636853A (zh) * 2013-07-31 2016-06-01 埃伦·约瑟夫·卡特兹 用于障碍物识别和避开的系统和方法
WO2015150340A1 (de) * 2014-04-03 2015-10-08 Bombardier Transportation Gmbh Automatische assistenz eines fahrers eines fahrspurgebundenen fahrzeugs, insbesondere eines schienenfahrzeugs
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP2016164735A (ja) * 2015-03-06 2016-09-08 ヤマハ発動機株式会社 障害物検出装置およびそれを備えた移動体
JP2016192105A (ja) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 ステレオ画像処理方法およびその装置
CN105346565A (zh) * 2015-09-29 2016-02-24 北京京天威科技发展有限公司 侵限智能监测系统及监控中心数据库
JP2017083245A (ja) * 2015-10-27 2017-05-18 株式会社明電舎 建築限界判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏先辉: "城市轨道交通视频障碍物探测系统简析", 《现代城市轨道交通》 *

Also Published As

Publication number Publication date
JP2019084881A (ja) 2019-06-06
EP3705371A1 (en) 2020-09-09
JP7062407B2 (ja) 2022-05-06
EP3705371A4 (en) 2021-08-11
WO2019088267A1 (ja) 2019-05-09

Similar Documents

Publication Publication Date Title
CN111295321A (zh) 障碍物检测装置
US12125231B2 (en) Using mapped lane width to determine navigational parameters
US12030502B2 (en) Road vector fields
US20230005374A1 (en) Systems and methods for predicting blind spot incursions
JP5429380B2 (ja) 運転支援装置
CN112132896B (zh) 一种轨旁设备状态检测方法及系统
EP4042109A1 (en) Systems and methods for vehicle navigation
EP3619643A1 (en) Detection and classification systems and methods for autonomous vehicle navigation
US20240199006A1 (en) Systems and Methods for Selectively Decelerating a Vehicle
EP3415400A1 (en) System and method for determining the position of a guided vehicle
US10846546B2 (en) Traffic signal recognition device
KR102279754B1 (ko) 충돌 사고 방지 방법, 장치, 서버, 및 컴퓨터 프로그램
WO2021075210A1 (ja) センサ性能評価システム及び方法、並びに、自動運転システム
JP3666332B2 (ja) 歩行者検知装置
EP4082867A1 (en) Automatic camera inspection system
US10713503B2 (en) Visual object detection system
WO2023286303A1 (ja) 車両制御装置
KR102178585B1 (ko) 주변 차량 자세 추정 시스템
JP2022145230A (ja) 障害物検知支援システム
JP2020108979A (ja) 監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616

RJ01 Rejection of invention patent application after publication