[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104751116A - 箭头信号识别装置 - Google Patents

箭头信号识别装置 Download PDF

Info

Publication number
CN104751116A
CN104751116A CN201410820502.9A CN201410820502A CN104751116A CN 104751116 A CN104751116 A CN 104751116A CN 201410820502 A CN201410820502 A CN 201410820502A CN 104751116 A CN104751116 A CN 104751116A
Authority
CN
China
Prior art keywords
arrow
color
pixel
signal lamp
valid pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410820502.9A
Other languages
English (en)
Other versions
CN104751116B (zh
Inventor
中川亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Publication of CN104751116A publication Critical patent/CN104751116A/zh
Application granted granted Critical
Publication of CN104751116B publication Critical patent/CN104751116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明的箭头信号识别装置基于通过车载相机拍摄的图像,即使从较远的位置也可高精度地检测箭头信号灯。其中,箭头信号识别部(14)基于通过车载相机(2)拍摄的图像,基于信号灯(21)的亮灯的红色信号灯(21r)与本车(1)之间的信号灯间距离Ls,设定箭头信号区域N1~N6,对各区域N1~N6内的被看作亮灯的色彩有效像素数IOK进行计数,并基于各色彩有效像素周边的像素信息从色彩有效像素中搜索色彩无效像素并对其进行计数,从色彩有效像素数IOK与色彩无效像素数ING的差计算出箭头有效像素数YOK。

Description

箭头信号识别装置
技术领域
本发明涉及基于车载相机拍摄的图像识别附设在信号灯处的箭头信号灯的箭头信号识别装置。
背景技术
以往,已知有如下技术:基于通过搭载在车辆上的相机(以下称为“车载相机”)拍摄的本车前方的行驶环境,来识别信号灯以及附设在信号灯处的箭头信号灯。
例如,在专利文献1(特开2012-168592号公报)中公开了如下技术:基于车载相机拍摄的图像检测信号灯的红灯信号,同时基于该红灯信号在图像中的位置设定箭头信号灯的搜索区域,通过在所设定的搜索区域内检测具有由RGB的预定比例构成的颜色特征量的像素来提取箭头信号灯。
现有技术文献
专利文献
专利文献1:日本特开2012-168592号公报
发明内容
技术问题
然而,信号灯包括灯泡型信号灯和LED型信号灯,当然,箭头信号灯也包括灯泡型和LED型。在LED型箭头信号灯中,由于通过以预定间隔布置LED来形成箭头,因此亮度在整体上基本固定。然而,由于灯泡型信号灯具有被盖板玻璃(cover lens)滤除了绿色等的灯光颜色,因此随着远离灯泡,亮度也逐渐降低。另外,灯泡本身的亮度也不固定。
结果,如在上述文献中所公开的,在将由RGB的预定比例构成的颜色特征量作为阈值提取箭头信号灯的情况下,例如,会存在本车自身难以从与信号灯相距较远的位置识别箭头信号灯的情况。为了解决该问题,虽然考虑到将颜色特征量设定为较低,但是存在箭头信号灯的识别精度下降的问题。
鉴于以上情况,本发明的目的在于提供一种即使在较远的位置也可高精度地检测箭头信号灯的箭头信号识别装置。
技术方案
本发明涉及一种箭头信号识别装置,包括:车载相机,拍摄本车前方的行驶环境;图像识别处理单元,基于通过所述车载相机拍摄的一帧图像识别设置在信号灯处的亮灯信号灯,并计算该亮灯信号灯与所述本车之间的信号灯间距离;箭头信号检测单元,检测附设在所述信号灯处的箭头信号灯,其中,所述箭头信号检测单元包括:箭头信号区域设定单元,基于所述信号灯间距离以所述亮灯信号灯为基准设定箭头信号区域;色彩有效像素搜索单元,从通过所述箭头信号区域设定单元设定了的箭头信号区域内的颜色搜索被看作亮灯的色彩有效像素,并对该色彩有效像素的像素数进行计数;色彩无效像素搜索单元,通过将由所述色彩有效像素搜索单元搜索到的所述各色彩有效像素与该各色彩有效像素的周边像素进行比较,来从该色彩有效像素中搜索色彩无效像素,并对该色彩无效像素的像素数进行计数;箭头有效像素数计算单元,从通过所述色彩有效像素搜索单元搜索到的所述色彩有效像素的像素数减去通过所述色彩无效像素搜索单元搜索到的所述色彩无效像素的像素数,来计算箭头有效像素数;箭头像素确定单元,在通过所述箭头有效像素数计算单元计算出的所述箭头有效像素数超过基于所述信号灯间距离而设定的箭头有效像素阈值的情况下,确定存在箭头像素。
技术效果
根据本发明,基于信号灯间距离,以亮灯信号灯为基准来设定箭头信号区域,从该箭头信号区域内的色彩中搜索被看作亮灯的色彩有效像素,并同时对色彩有效像素的像素数进行计数,此外,将各色彩有效像素与各色彩有效像素的周边像素进行比较以从色彩有效像素中搜索色彩无效像素,并且对色彩无效像素的像素数进行计算,之后,在通过从色彩有效像素的像素数减去色彩无效像素的像素数而计算出的箭头有效像素数超过基于信号灯间距离而设定的箭头有效像素阈值的情况下,确定存在箭头像素,从而即使从较远的位置也可高精度地检测箭头信号灯。
附图说明
图1是箭头信号识别装置的示意构成图。
图2是示出箭头信号识别处理流程的流程图(之一)。
图3是示出箭头信号识别处理流程的流程图(之二)。
图4是示出通过车载相机拍摄的本车前方的图像的说明图。
图5是示出信号灯与本车的位置关系的说明图。
图6是示出以红色信号灯为基准设定箭头信号灯的搜索区域的说明图。
图7(a)是在横型信号灯处附设箭头信号灯的状态的说明图,图7(b)是在竖型信号灯处附设箭头信号灯的状态的说明图。
图8(a)是从箭头信号搜索区域提取色彩有效像素的说明图,图8(b)是从色彩有效像素提取箭头有效像素的说明图。
图9(a)是从提取出的箭头有效像素中基于与其周边的像素的G边缘差提取无效像素的说明图,图9(b)是从提取出的箭头有效像素中基于其周边的像素提取无效像素的说明图。
符号说明
1  本车
2  车载相机
11 图像识别模块
12 图像识别处理部
13 相机控制部
14 箭头信号识别部
15 存储部
21 信号灯(横型信号灯、竖型信号灯)
21r 红色信号灯
21y 黄色信号灯
22r、22f、22l 箭头信号灯
FY 箭头识别标志
ING 色彩无效像素数
IOK 色彩有效像素数
Ls 信号灯间距离
N1~N6、Ni 箭头信号区域
PNiNG 箭头无效点数
PNiOK 箭头有效点数
SLNG 箭头无效阈值
SLOK 箭头有效阈值
SLY 箭头信号检测阈值
YOK 箭头有效像素数
具体实施方式
以下,基于附图说明本发明的一个实施例。图1的符号1是汽车等的车辆(本车),在该车辆的车厢内的前部,车载相机2被设置为面朝前挡风玻璃的上部。该车载相机2是由主相机2a和副相机2b构成的立体相机。该各相机2a、2b中内置有CCD、CMOS等的摄像元件(图像传感器),例如,夹着在车宽方向中央布置的后视镜被布置在左右对称的位置。需要说明的是,在下文中,在没有特别限定的情况下,为了方便,当描述车载相机2时表示主相机2a和副相机2b两者。
此外,该车载相机2是将本车行进道路的行驶环境拍摄为彩色图像的彩色相机,各个摄像元件的像素数据被设定为R、G、B各为8比特(0~255灰度级)的亮度值(像素值)。需要说明的是,亮度值并不限定为8比特。
主相机2a在进行立体处理时拍摄所需要的基准图像(右图像),副相机2b拍摄该处理中的比较图像(左图像)。在相互同步的状态下,从两个相机2a和2b输出的R、G、B的各个模拟图像通过A/D转换器3被转换为预定灰度的数字图像。进行了数字转换后的图像被输出到图像识别模块11。
图像识别模块11主要由微计算机构成,具备公知的CPU、ROM、RAM等,作为通过CPU进行处理的箭头信号识别功能,图像识别模块11具备作为图像识别处理单元的图像识别处理部12、相机控制部13、作为箭头信号识别装置的箭头信号识别部14,此外,该图像识别模块11还具备作为存储装置的存储部15。该存储部15存储在下文描述的各个数据:按每个箭头信号区域而检测的箭头有效像素数YOK、按每帧而进行某些更新的箭头有效点数PNiOK和箭头无效点数PNiNG、以及针对每个箭头信号区域设定的箭头信号灯类别确定标志FNi的值等。
图像识别处理部12基于通过车载相机2拍摄的图像数据,来识别本车前方的立体物并计算出平均亮度值。即,例如,如图4中所示,在通过车载相机2拍摄的图像数据中,作为立体物,除了信号灯21以外还有前行车辆22、道路标识23、白线24、路沿石25以及图中未示出的对向车、行人等,在识别这些各个立体物的同时,从主相机2a和副相机2b的视差求出这些立体物与本车1的距离。需要说明的是,通过使用公知的图形匹配方法等来进行各个立体物的识别。此外,由于求出立体物与本车1的距离的方法是公知的,因此省略其说明。
此外,在图4中示出的图像中,信号灯21具有红色信号灯21r、黄色信号灯21y和绿色信号灯21b,此外,在各信号灯的下方附设有右转、直行、左转的各箭头信号灯22r、22f、22l。需要说明的是,由于该各箭头信号灯22r、22f、22l根据道路情况而被设置,因此也存在仅附设其中的一个或两个箭头信号灯的情况。
相机控制部13读取通过图像识别处理部12处理的图像数据的平均亮度值,设定在下一帧的拍摄中达到最合适的亮度的曝光时间(快门速度),基于该曝光时间进行各相机2a、2b的曝光控制。在此,该曝光时间也通过箭头信号识别部14读取。
箭头信号识别部14基于通过图像识别处理部12处理的图像数据检查是否检测到信号灯21的红色信号灯21r的亮灯,在检测到亮灯的情况下,检查该信号灯是否附设有箭头信号灯。
具体地说,通过箭头信号识别部14执行的箭头信号识别处理根据图2至图3所示的箭头信号识别处理流程进行处理。
该流程与从图像识别处理部12发送每一帧图像信息同步而开始,首先,在步骤S1,检查是否检测到信号灯21的红色信号灯21r的亮灯。在检测到亮灯的情况下进行到步骤S2,在没有检测到亮灯的情况下,直接跳出该流程,并准备在下一帧中检测红色信号灯21r的亮灯。
各信号灯21r、21y、21b的大小(直径)被预先确定,因此,如图5中所示,如果知道从本车1到红色信号灯21r的距离(信号灯间距离)Ls和红色信号灯21r的实际直径,则可通过将由主相机2a成像的图像与预先设定的信号灯的模板进行图案匹配来识别信号灯,此外,可基于红色信号灯21r的颜色特征量(RGB的预定比例)或亮度,识别作为亮灯的信号灯(即,亮灯信号灯)的红色信号灯21r。
当确定检测到亮灯的红色信号灯21r而进行到步骤S2时,基于信号灯间距离Ls设定箭头信号区域N1~N6,并进行到步骤S3。需要说明的是,在该步骤S2的处理对应于本发明的箭头信号区域设定单元。
信号灯21除了具有如图7的(a)所示的横型之外,还具有如图7的(b)所示的竖型。对于横型信号灯21,箭头信号灯22r、22f、22l附设在红色信号灯21r的下方,此外,对于竖型信号灯21,当面向该信号灯时,箭头信号灯22r、22f、22l附设在红色信号灯21r的右侧。因此,应该对应于这些箭头信号灯22r、22f、22l的排列,在红色信号灯21r的下方以及面向该信号灯时的右侧设定箭头信号区域N1~N6。在此情况下,箭头信号灯的大小(直径)与红色信号灯21r基本相同,此外,各箭头信号灯22r、22f、22l的间隔也基本被确定,此外,各箭头信号灯22r、22f、22l附设在与对应的信号灯21r、21y、21b相距预定距离的位置。
因此,基于从本车1到红色信号灯21r的距离、该红色信号灯21r的实际直径、各箭头信号灯22r、22f、22l的间隔以及以各信号灯21r、21y、21b为基准的箭头信号灯22r、22f、22l的附设位置,换算出主相机2a的摄像面的平均每像素间的实际距离,以红色信号灯21r为基准设定各箭头信号区域N1~N6(参照图6)。
之后,当进行到步骤S3时,通过重复该步骤S3~步骤S17,检查各箭头信号区域N1~N6中的任何一个区域是否存在箭头信号灯。首先,在步骤S3设定箭头信号区域Ni。该箭头信号区域Ni的初始值是0,每次重复该流程时就使其增加(Ni←N(i+1),i=1~6)。因此,根据本实施例,如图6所示,最初从左侧端的箭头信号区域N1开始搜索,之后顺序搜索相邻的箭头信号区域N2、箭头信号区域N3。需要说明的是,该箭头信号区域N1~N3对应于图7(a)所示的在横型信号灯21处布置的各箭头信号灯22l、22f、22r。
接着,搜索与检测到的红色信号灯21r面向该信号灯时相邻右侧的箭头信号区域N4,之后顺序搜索箭头信号区域N4下方的箭头信号区域N5、箭头信号区域N6。需要说明的是,该箭头信号区域N4~N6对应于图7(b)所示的在竖型信号灯21处布置的各箭头信号灯22r、22f、22l。
之后,当进行到步骤S4时,搜索所设定的箭头信号区域Ni(例如区域N1)的像素并提取色彩有效像素。即,在箭头信号灯是LED的情况下,由于在亮灯的状态下亮度基本固定,并且可以明确地检测出边缘,因此箭头信号的颜色特征量大,从而可以直接将几乎全部的色彩有效像素设定为箭头有效像素。这里,颜色特征量是关于颜色信息的图像特征量,通过作为对象的像素的R、G、B的各分量的像素值表示。
根据本实施例,确定颜色特征量的大小的基准如下设定:
G>150
B>0.6G
R<0.5G
将超过该像素值的像素确定为颜色特征量大。
此外,对于色彩有效像素而言,虽然其与上述颜色特征量相比像素值小,但是仍然从色彩(配色和/或深浅)上被看作亮灯状态的像素,在本实施例中,将满足以下两个条件的像素作为色彩有效像素而提取。需要说明的是,在下文描述的箭头有效像素数是这样的像素数:从色彩有效像素数中,减去虽然暂时被看做色彩有效像素但基于与周围的亮度信息等的关系而被判断为无效的像素(色彩无效像素)数之后剩余的像素数。因此,在LED型箭头信号灯的情况下,由于几乎不存在色彩无效像素,因此色彩有效像素数≒箭头有效像素数。
被看作色彩有效像素的确定条件是:
(1)从本车1到箭头信号灯的距离与信号灯间距离Ls相同;
(2)RGB的比例以周边信号灯的亮度信息为基准满足预定条件。
条件(1)是用于确定箭头信号灯是否附设在同一信号灯21处的条件。此外,条件(2)是用于确定是否有例如灯泡型箭头信号灯这样的亮度暗并且轮廓模糊的箭头信号灯的条件。具体地说,在红色信号灯21r亮灯时,将同一信号灯21处的灭灯的信号灯(例如黄色信号灯21y)的亮度信息(RGB比例)作为比较基准来搜索各箭头信号区域Ni内的每个像素。即,考虑到由于亮灯的箭头信号灯至少比灭灯的信号灯(例如黄色信号灯21y)亮,因此将检测到的亮度比灭灯的信号灯的亮度亮的像素作为色彩有效像素而提取。
之后,将满足上述条件(1)、(2)的像素作为色彩有效像素而提取。例如,如图8(a)所示,将在摄像面所设定的箭头信号区域Ni各像素的亮度信息(RGB比例)与预先设定的阈值进行比较,二值化处理为色彩有效像素(OK)和无效像素(NG),提取出如图8(b)所示的色彩有效像素。
之后,进行到步骤S5,对在箭头信号区域Ni内提取的色彩有效像素的数量(色彩有效像素数)IOK进行计数,并进行到步骤S6。需要说明的是,在该步骤S4、S5的处理对应于色彩有效像素搜索单元。
当进行到步骤S6时,从在箭头信号区域Ni中针对每像素提取的色彩有效像素中,基于色彩有效像素周边的像素信息搜索色彩无效像素。即,如上所述,由于被看作色彩有效像素的像素亮度暗或轮廓模糊,因此认为也存在尽管实际上为灭灯但被错误地提取的像素。
在色彩有效像素满足以下所示的条件(1)、(2)中的任何一个条件或者两个条件都满足的情况下,被设定为色彩无效像素。
(1)在作为色彩有效像素被提取的像素与作为周边的色彩有效像素被提取的像素的G值的差ΔG在预先设定的范围内,即,G值没有大的差异的情况下,将周边的像素设定为色彩无效像素;
(2)在作为色彩有效像素被提取的像素的周边是无效像素(NG)的情况下,将该色彩有效像素设定为色彩无效像素。
具体地说,在(1)所示的条件中,由于箭头信号灯的灯色是绿色,G值具有最大特征量,因此在将色彩有效像素的G值与周边的色彩有效像素的G值进行比较而G值没有大的差异的情况下,整体具有均匀的亮度,因此存在错误地确定箭头信号的可能性。因此,如上将周边的像素设定为色彩无效像素。例如,如图9(a)所示,在关注中央的像素的情况下,该像素的G值与相邻右侧以及下方的像素的G值几乎没有差(边缘差),由于考虑到可能只是受中央的色彩有效像素的亮度影响而被晕染,因此将该相邻右侧以及下方的像素设定为色彩无效像素。另一方面,相邻左侧和上方的像素的G值相对于中央的像素的G值存在差异,考虑到由于它们没有受到晕染的影响,因此仍将它们作为色彩有效像素。因此,在图9(a)中,将相邻右侧和下方的像素作为色彩无效像素,而仍将相邻左侧和上方的像素作为色彩有效像素。
此外,在条件(2)中,色彩有效像素被一定程度地连续检测到,在色彩有效像素的周围被无效像素(NG)包围的情况下,由于没有连续性,其被误提取为色彩有效像素的可能性高,因此将这样的像素设定为色彩无效像素。
之后,当进行到步骤S7时,对在上述步骤S6所设定的色彩无效像素的数量(色彩无效像素数)ING进行计数,并进行到步骤S8。需要说明的是,在该步骤S7的处理对应于本发明的色彩无效像素搜索单元。
当进行到步骤S8时,从色彩有效像素数IOK与色彩无效像素数ING的差计算出箭头有效像素数YOK(YOK←IOK-ING),并进行到步骤S9。需要说明的是,该步骤S8的处理对应于本发明的箭头有效像素计算单元。
在步骤S9,基于信号灯间距离Ls,求出箭头有效像素阈值SLY。即,在信号灯间距离Ls大的情况下,在摄像面成像的箭头信号灯的像素数少,当本车1接近红色信号灯21r信号灯间距离Ls缩短,由于与之相应地设定箭头信号区域Ni(i=1~6),因此随着信号灯间距离Ls缩短而将确定箭头信号是否亮灯的箭头有效像素阈值SLY设定为大的值。
在步骤S10,将箭头有效像素数YOK与箭头有效像素阈值SLY进行比较,在确定YOK>SLY的情况下,确定该箭头信号区域Ni中存在箭头信号,并进行到步骤S11。此外,在YOK≦SLY的情况下,确定不存在箭头像素,并分支进行到步骤S12。在此,该步骤S10的处理对应于本发明的箭头像素确定单元。
当进行到步骤S11时,通过使当前存储的箭头有效点数PNiOK(n-1)增加来更新关于该箭头信号区域Ni的箭头有效点数PNiOK(PNiOK←PNiOK(n-1)+1),并进行到步骤S13。此外,当从步骤S10进行到步骤S12时,通过将当前存储的箭头无效点数PNiNG(n-1)增加1来更新关于该箭头信号区域Ni的箭头无效点数PNiNG(PNiNG←PNiNG(n-1)+1),并进行到步骤S15。因此,在每次执行该流程时(即,针对每帧)都对上述各点数PNiOK、PNiNG中的某一个进行加法运算。需要说明的是,(n-1)是表示更新前的值的符号。此外,在该步骤S11以及下文描述的步骤S12的处理对应于本发明的箭头点数加法单元。
当从步骤S11进行到步骤S13时,将箭头有效点数PNiOK与预先设定的箭头有效阈值SLOK进行比较。另一方面,当从步骤S12进行到步骤S15时,将箭头无效点数PNiOK与预先设定的箭头无效阈值SLNG进行比较。如上所述,从本车1搭载的车载相机2识别前方的信号灯21而开始箭头信号处理流程开始,各点数PNiOK、PNiNG是按每帧对其中之一进行加法运算的值。
因此,由于随着本车1接近信号灯21,识别箭头信号灯的亮灯的精度提高,因此如果较大地设定该各阈值SLOK、SLNG的值,则虽然可提高精度,但是检测所需的时间也会增加。另一方面,如果较小地设定该各阈值SLOK、SLNG的值,则虽然可缩短检测所需要的时间,但是检测精度降低。因此,在本实施例中,通过预先进行实验求出既能获得一定程度的检测精度又能使检测所需时间不被增长的值来设定阈值SLOK、SLNG。此外,在本实施例中,在帧率为30[fps]的情况下,将SLOK、SLNG设定为15~20左右。
在步骤S13,在PNiOK>SLOK,即,确定在该箭头信号区域Ni中存在亮灯的箭头信号灯的情况下,进行到步骤S14,将箭头信号灯类别确定标志FNi(i=1~6)置为1,进行到步骤S17。此外,在PNiOK≤SLOK的情况下,由于PNiOK没有达到阈值SLOK,因此跳到步骤S17。
另一方面,在步骤S15,在PNiNG>SLNG,即,确定在该箭头信号区域Ni中不存在亮灯的箭头信号灯,或者本身就不存在箭头信号灯的情况下,进行到步骤S16,将两个点数PNiOK、PNiNG均清零(PNiOK←0,PNiNG←0),进行到步骤S17。因此,当执行下一次的流程时,在识别到同一信号灯21的情况下,针对该信号灯21重新进行箭头信号灯的检测。需要说明的是,该步骤S13、S14、S15、S16的处理对应于本发明的箭头信号确定单元。
当从步骤S13至步骤S16中的任何一个步骤进行到步骤S17时,检查箭头信号区域Ni的值是否满足Ni=N6,即,是否完成了对全部的箭头信号区域N1~N6(参见图6)的搜索,此外,在没有完成(Ni≠N6)的情况下,返回步骤S3,进行下一次的箭头信号区域N(i+1)的搜索。此外,在对全部的箭头信号区域Ni的搜索完成了(Ni=N6)的情况下,在步骤S18将箭头信号区域Ni的值清零(Ni←N0),进行到步骤S19。
当进行到步骤S19时,检查全部的箭头信号区域Ni(i=1~6)的箭头信号灯类别确定标志FNi的值,在至少一个箭头信号灯类别确定标志FNi被置为1的情况下,进行到步骤S20,将箭头识别标志FY置为1(FY←1),完成流程。此外,在任何箭头信号灯类别确定标志FNi都没有被置为1的情况下,分支进行到步骤S21,将箭头识别标志FY清零(FY←0),完成流程。
该箭头识别标志FY的值被例如识别信号灯的亮灯颜色(红色、黄色、绿色)的信号灯识别装置读取,从而可获得在所识别的信号灯处是否附设有箭头信号灯的信息。
这样,根据本实施例,以在车载相机2的摄像元件提供的摄像面成像的信号灯21的红色信号灯21r为基准,在其周围设定箭头信号区域N1~N6,在提取该各箭头信号区域N1~N6的色彩有效像素后,从所提取的色彩有效像素中基于色彩有效像素周边的像素信息提取色彩无效像素,从所提取的色彩有效像素数IOK与色彩无效像素数ING的差值检测箭头有效像素数YOK,从而可以高精度地检测在各箭头信号区域Ni是否存在箭头信号。
此外,在针对每个箭头信号区域Ni提取出的箭头有效像素数YOK超过基于信号灯间距离Ls针对每帧设定的箭头有效像素阈值SLY的情况下,通过使箭头有效点数PNiOK(n-1)增加来进行更新,在进行了更新的箭头有效点数PNiOK超过箭头有效阈值SLOK的情况下,确定存在箭头信号灯,从而可以正确地识别箭头信号灯。
此外,在箭头有效像素数YOK在箭头有效像素阈值SLY以下的情况下,通过使箭头无效点数PNiNG(n-1)增加来进行更新,在进行了更新的箭头无效点数PNiNG超过箭头无效阈值SLNG的情况下,将两个点数PNiOK、PNiNG清零,重新进行箭头信号灯的检测,从而在减少检测错误的频度的同时,通过重新检测来获得箭头信号灯的更高的检测精度。
需要说明的是,本发明不限于上述实施方式,例如,由于在步骤S14被置为1的箭头信号灯类别确定标志FNi针对各箭头信号区域Ni(i=1~6)而进行,因此可以基于该箭头信号灯类别确定标志FNi的值,确定箭头信号灯被附设为与哪个信号灯相邻。

Claims (5)

1.一种箭头信号识别装置,其特征在于,包括:
车载相机,拍摄本车前方的行驶环境;
图像识别处理单元,基于通过所述车载相机拍摄的一帧图像来识别设置在信号灯处的亮灯信号灯,并计算该亮灯信号灯与所述本车之间的信号灯间距离;
箭头信号检测单元,检测附设在所述信号灯处的箭头信号灯,
其中,所述箭头信号检测单元包括:
箭头信号区域设定单元,基于所述信号灯间距离以所述亮灯信号灯为基准设定箭头信号区域;
色彩有效像素搜索单元,从通过所述箭头信号区域设定单元设定了的箭头信号区域内的色彩搜索被看作亮灯的色彩有效像素,并对该色彩有效像素的像素数进行计数;
色彩无效像素搜索单元,通过将由所述色彩有效像素搜索单元搜索到的所述各色彩有效像素与该各色彩有效像素的周边像素进行比较,来从该色彩有效像素中搜索色彩无效像素,并对该色彩无效像素的像素数进行计数;
箭头有效像素数计算单元,从通过所述色彩有效像素搜索单元搜索到的所述色彩有效像素的像素数减去通过所述色彩无效像素搜索单元搜索到的所述色彩无效像素的像素数,来计算箭头有效像素数;
箭头像素确定单元,在通过所述箭头有效像素数计算单元计算出的所述箭头有效像素数超过基于所述信号灯间距离而设定的箭头有效像素阈值的情况下,确定存在箭头像素。
2.如权利要求1所述的箭头信号识别装置,其特征在于:
在从所述本车到所述箭头信号灯的距离与所述信号灯间距离相同,且在以设置在同一信号灯处的灭灯的信号灯的亮度信息为基准RGB的比例满足预定条件的情况下,所述色彩有效像素搜索单元将搜索到的像素看作色彩有效像素。
3.如权利要求1或2所述的箭头信号识别装置,其特征在于:
在所述色彩有效像素与该色彩有效像素周边的色彩有效像素的G值的差在预先设定的微小范围内的情况下,所述色彩无效像素搜索单元将该周边的色彩有效像素设定为色彩无效像素。
4.如权利要求1或2所述的箭头信号识别装置,其特征在于:
在所述色彩有效像素的周边是色彩无效像素的情况下,所述色彩无效像素搜索单元将该色彩有效像素设定为色彩无效像素。
5.如权利要求1或2所述的箭头信号识别装置,其特征在于:
所述箭头信号检测单元还包括:
箭头点数加法单元,在所述箭头像素确定单元确定存在箭头像素的情况下,在按照每帧进行运算时使更新的箭头有效点数增加;
箭头信号确定单元,在通过所述箭头点数加法单元设定的所述箭头有效点数超过预先设定的箭头有效阈值的情况下,确定存在亮灯的箭头信号灯。
CN201410820502.9A 2013-12-27 2014-12-25 箭头信号识别装置 Active CN104751116B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013271587A JP5852637B2 (ja) 2013-12-27 2013-12-27 矢印信号認識装置
JP2013-271587 2013-12-27

Publications (2)

Publication Number Publication Date
CN104751116A true CN104751116A (zh) 2015-07-01
CN104751116B CN104751116B (zh) 2017-04-26

Family

ID=53372185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410820502.9A Active CN104751116B (zh) 2013-12-27 2014-12-25 箭头信号识别装置

Country Status (4)

Country Link
US (1) US9405980B2 (zh)
JP (1) JP5852637B2 (zh)
CN (1) CN104751116B (zh)
DE (1) DE102014118779B4 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107554422A (zh) * 2016-07-01 2018-01-09 华为终端(东莞)有限公司 汽车安全警示装置和汽车安全警示的方法
CN111639656A (zh) * 2020-05-28 2020-09-08 东软睿驰汽车技术(沈阳)有限公司 交通信号灯识别方法及装置
CN112298196A (zh) * 2019-07-26 2021-02-02 丰田自动车株式会社 信号器信息管理系统
CN112965472A (zh) * 2019-11-27 2021-06-15 深圳市大富科技股份有限公司 一种无人车及其行进辅助方法、装置、系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012221159A1 (de) * 2012-11-20 2014-05-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen
EP3118831B1 (en) * 2014-03-10 2019-05-22 Nissan Motor Co., Ltd Traffic light detection device and traffic light detection method
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
US10068377B2 (en) 2016-03-24 2018-09-04 Toyota Jidosha Kabushiki Kaisha Three dimensional graphical overlays for a three dimensional heads-up display unit of a vehicle
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
JP2016219024A (ja) * 2016-07-06 2016-12-22 パイオニア株式会社 信号機認識装置、制御方法、プログラム及び記憶媒体
JP7172441B2 (ja) * 2018-10-25 2022-11-16 トヨタ自動車株式会社 進行可能方向検出装置及び進行可能方向検出方法
KR20200069542A (ko) * 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
CN109784317B (zh) * 2019-02-28 2021-02-23 东软睿驰汽车技术(沈阳)有限公司 一种交通信号灯的识别方法及装置
JP7156252B2 (ja) * 2019-11-13 2022-10-19 トヨタ自動車株式会社 運転支援装置
TWI743637B (zh) * 2019-12-27 2021-10-21 財團法人工業技術研究院 號誌辨識系統及其方法
JP7558069B2 (ja) 2021-01-13 2024-09-30 日産自動車株式会社 信号機認識方法及び信号機認識装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009043068A (ja) * 2007-08-09 2009-02-26 Honda Motor Co Ltd 信号機認識装置
JP2012168592A (ja) * 2011-02-10 2012-09-06 Fuji Heavy Ind Ltd 環境認識装置
CN102842029A (zh) * 2011-05-12 2012-12-26 富士重工业株式会社 环境识别装置及环境识别方法
JP2013171489A (ja) * 2012-02-22 2013-09-02 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
CN103345766A (zh) * 2013-06-21 2013-10-09 东软集团股份有限公司 一种信号灯识别方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2528526B2 (ja) * 1989-12-11 1996-08-28 サカタインクス株式会社 Rgb画像からymc画像への色変換方法及び装置
JPH074210U (ja) 1993-06-11 1995-01-20 日立電線株式会社 追突防止装置
JP2699808B2 (ja) * 1993-06-21 1998-01-19 株式会社日立製作所 蒸気冷却ガスタービンコンバインドプラント
US9233688B2 (en) * 2014-01-30 2016-01-12 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009043068A (ja) * 2007-08-09 2009-02-26 Honda Motor Co Ltd 信号機認識装置
JP2012168592A (ja) * 2011-02-10 2012-09-06 Fuji Heavy Ind Ltd 環境認識装置
CN102842029A (zh) * 2011-05-12 2012-12-26 富士重工业株式会社 环境识别装置及环境识别方法
JP2013171489A (ja) * 2012-02-22 2013-09-02 Fuji Heavy Ind Ltd 車外環境認識装置および車外環境認識方法
CN103345766A (zh) * 2013-06-21 2013-10-09 东软集团股份有限公司 一种信号灯识别方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107554422A (zh) * 2016-07-01 2018-01-09 华为终端(东莞)有限公司 汽车安全警示装置和汽车安全警示的方法
CN112298196A (zh) * 2019-07-26 2021-02-02 丰田自动车株式会社 信号器信息管理系统
CN112298196B (zh) * 2019-07-26 2024-05-28 丰田自动车株式会社 信号器信息管理系统
CN112965472A (zh) * 2019-11-27 2021-06-15 深圳市大富科技股份有限公司 一种无人车及其行进辅助方法、装置、系统
CN111639656A (zh) * 2020-05-28 2020-09-08 东软睿驰汽车技术(沈阳)有限公司 交通信号灯识别方法及装置

Also Published As

Publication number Publication date
DE102014118779A1 (de) 2015-07-02
JP2015125709A (ja) 2015-07-06
DE102014118779B4 (de) 2017-08-24
JP5852637B2 (ja) 2016-02-03
CN104751116B (zh) 2017-04-26
US20150186734A1 (en) 2015-07-02
US9405980B2 (en) 2016-08-02

Similar Documents

Publication Publication Date Title
CN104751116A (zh) 箭头信号识别装置
EP3588939B1 (en) Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter
JP6197291B2 (ja) 複眼カメラ装置、及びそれを備えた車両
EP3118831B1 (en) Traffic light detection device and traffic light detection method
EP3118833B1 (en) Traffic light detection device and traffic light detection method
JP6236039B2 (ja) 車外環境認識装置
CN104769652A (zh) 用于检测交通灯的方法和系统
JP6420650B2 (ja) 車外環境認識装置
WO2013191078A1 (ja) 車両周辺対象物検出装置
JP2017007624A (ja) 車外環境認識装置
JP6267493B2 (ja) 矢印信号灯検出装置
KR101651061B1 (ko) 차선인식 방법 및 장치
JP5898535B2 (ja) 撮像ユニットの露光制御装置
KR101402089B1 (ko) 장애물 검출 장치 및 방법
JP4813304B2 (ja) 車両周辺監視装置
JP6375911B2 (ja) カーブミラー検出装置
US11749002B2 (en) Lane line recognition apparatus
CN107992789B (zh) 识别交通灯的方法、装置及车辆
CN116129381A (zh) 道路标识的识别方法、装置、车辆及存储介质
WO2014050285A1 (ja) ステレオカメラ装置
JP4611919B2 (ja) 歩行者認識装置
CN102906801A (zh) 车辆周围监测装置
CN113780037A (zh) 指示灯识别方法和装置、电子设备、计算机可读存储介质
JP2008028958A (ja) 調整画像作成装置
US20230230344A1 (en) Signal color determination device and signal color determination method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Subaru Co.

Address before: Tokyo, Japan

Patentee before: Fuji Heavy Industries, Ltd.

CP01 Change in the name or title of a patent holder