CN115049740A - 标靶图像检测方法、装置、设备、车辆以及存储介质 - Google Patents
标靶图像检测方法、装置、设备、车辆以及存储介质 Download PDFInfo
- Publication number
- CN115049740A CN115049740A CN202210699176.5A CN202210699176A CN115049740A CN 115049740 A CN115049740 A CN 115049740A CN 202210699176 A CN202210699176 A CN 202210699176A CN 115049740 A CN115049740 A CN 115049740A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- target image
- binarization
- binarized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000003044 adaptive effect Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000007667 floating Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003491 array Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 5
- 230000008685 targeting Effects 0.000 claims 1
- 230000035945 sensitivity Effects 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 14
- 238000009826 distribution Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011109 contamination Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241001292396 Cirrhitidae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种标靶图像检测方法、装置、设备、车辆以及存储介质,涉及数据处理技术领域。所述方法包括:获取标靶图像;基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值;基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像;对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果;将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。能够在一定程度上提高从标靶图像中检测出标靶的灵敏度,从而提高标定成功率和精确度。
Description
技术领域
本申请涉及数据处理技术领域,更具体地,涉及一种标靶图像检测方法、装置、设备、车辆以及存储介质。
背景技术
自动驾驶车辆在整车出厂前或者维修时,需要对环视摄像头的参数进行标定,而标定的精确度会直接影响摄像头的性能。在标定时,会将车辆置于专用标定工位上,利用车辆上的环视摄像头拍摄预先在专用标定工位周围布设的标靶,从而采集到标靶图像,并对采集到的标靶图像中的标靶进行定位识别。但是,在售后维修时,常常出现标定的精确度较低的技术问题。
发明内容
本申请提出了一种标靶图像检测方法、装置、设备、车辆以及存储介质,用于在一定程度上提高环视摄像头的标定精确度。
本申请实施例第一方面提供了一种标靶图像检测方法,所述方法包括:获取标靶图像;基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值;基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像;对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果;将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。
本申请实施例第二方面提供了一种标靶图像检测装置,所述装置包括:第一获取模块,用于获取标靶图像;第二获取模块,用于基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值;第一处理模块,用于基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像;第一检测模块,用于对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果;第一融合模块,用于将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。
本申请实施例第三方面提供了一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面所述的标靶图像检测方法的步骤。
本申请实施例第四方面提供了一种车辆,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面所述的标靶图像检测方法的步骤。
本申请实施例第五方面提供了一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的标靶图像检测方法的步骤。
在本申请实施例中,针对获取到的标靶图像,获取与标靶图像相适应的多个二值化阈值,基于所述多个二值化阈值对标靶图像进行二值化处理,得到多幅二值化标靶图像,检测每幅二值化标靶图像中的标靶,得到每幅二值化标靶图像的检测结果,将多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。能够在一定程度上提高从标靶图像中检测出标靶的灵敏度,从而提高标定成功率和精确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出了根据本申请实施例提供的环视摄像头的标定场景的俯视图。
图2示出了根据本申请实施例提供的一种自动驾驶控制系统。
图3示出了根据本申请实施例提供的一种标靶图像检测方法的流程图。
图4示出了根据本申请实施例提供的一幅标靶图像。
图5示出了对图4所示的标靶图像勾勒了感兴趣区域后的图像。
图6示出了根据本申请实施例提供的标靶图像检测方法中步骤S302的具体流程图。
图7示出了对图5所示的图像进行二值化处理后的二值化标靶图像。
图8示出了根据本申请实施例提供的标靶图像检测方法中步骤S305的具体流程图。
图9示出了根据本申请实施例提供的标靶图像检测方法中步骤S702的具体流程图。
图10示出了根据本申请实施例提供的标靶图像检测装置的结构示意图。
图11示出了根据本申请实施例提供的电子设备的结构示意图。
图12示出了根据本申请实施例提供的车辆的结构示意图。
图13示出了用于保存或者携带实现根据本申请实施例的标靶图像检测方法的程序代码的存储介质。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
具备自动驾驶功能的车辆通常都配备有全景式影像监控系统(俗称环视摄像头和环视监控系统),在车身的车头、车尾以及两侧布置环视摄像头,以在车辆行驶途中全时段对车辆周边的所有视场范围进行图像采集,基于采集到的图像进行行车规划和/或驾驶辅助等。
车辆在整车出厂前或者维修时,可能需要对环视摄像头的参数进行标定,所述参数包括内部参数和外部参数,所述内部参数指的是焦距、光心以及镜头畸变等设备参数,外部参数指的是像素坐标系与世界坐标系之间的变换关系,其中对外部参数的标定是技术重点。而标定的精确度会直接影响摄像头的性能。
如图1所示,示出了本申请实施例提供的环视摄像头的标定场景的俯视图。如图1所示,搭建标定场景时,预先在专用标定工位111周围的地面上划定多个标靶区域(如图1所示的标靶区域101-标靶区域110),并在每个标靶区域内布置至少一个预定图案的标靶。例如,在标靶区域101中布置有圆形标靶113和方形标靶114(也称棋盘格标靶)。在标定时,会将被标定车辆置于专用标定工位111上,并将被标定车辆的左前轮置于位置112处,利用车辆上的环视摄像头拍摄周围预先布设的标靶图像,并对拍摄到的标靶图像中的标靶进行定位识别。
其中,每个标靶与工位111上被标定车辆的相对位置关系是已知的(记作先验位置关系)。例如以工位111上被标定车辆为参考系建立的车体坐标系(或记为世界坐标),那么已知每个标靶在该车体坐标系中的第一世界坐标。其中,车体坐标系用于描述车辆周围的物体与车辆本体之间的相对位置关系的坐标系。
在标定时,基于从标靶图像中定位识别到的标靶,计算识别到的标靶与工位111上被标定车辆的相对位置关系(记作后验位置关系)。例如,定位出从标靶图像中识别到的标靶在该标靶图像的像素坐标系中的像素坐标,基于像素坐标和世界坐标之间的预设变换关系,计算检测到的标靶在世界坐标系的第二世界坐标。其中,像素坐标系是用于描述图像中的像素点在图像中的绝对位置的坐标系。
针对同一标靶,将计算得出的后验相对位置关系与先验相对位置关系进行比对,例如将第一世界坐标与第二世界坐标进行比对,若两者之间偏离度大于允许最大偏离度,则确认环视摄像头的参数发生了偏离,对环视摄像头的参数进行更新,例如对所述预设变换关系进行修正,以使第一世界坐标和第二世界坐标之间的偏离度尽可能地减小,以使环视摄像头输出的标靶相对于车体的位置关系更加精确。
但是,本申请的发明人发现在售后维修进行标定时,常常出现标定的精确度较低的技术问题。
该技术问题一直困扰着广大的售后维修人员,售后维修人员按照预定的标定操作流程对返修车辆进行标定,却经常出现标定完的车辆不能正确识别车身周围的物体的现象,即标定的精确度不达标。本申请的发明人对此现象进行研究,发现在车辆出厂时基本不存在标定的精确度不达标的现象,这种现象主要集中在各个售后中心标定后的返修车辆上。
本申请的发明人对售后中心的标定流程进行进一步研究后,终于发现导致在售后中心标定时标定精确度不达标的直接原因是在对标靶图像中的标靶进行识别检测时,偶尔会出现标靶检测失灵的情况,即,在某些时候,不能识别出标靶图像中的标靶,或在标靶图像中不存在标靶的区域内识别到标靶等。基于前述可知,从标靶图像中准确识别出标靶,才能准确地对环视摄像头的参数进行更新,当标靶检测失灵时,直接导致标定的精确度降低。
本申请的发明人再次到各个售后中心进行实地走访调查,发现造成在各个售后中心标定时拍摄的标靶图像质量较低的原因主要由以下几点造成的:在售后中心的标定场景中的标定区域内存在脏污,导致拍摄标靶图像时将标定区域内的脏污和标靶也被同步采集到,最终导致在进行标靶检测时,将类似于标靶的脏污也误识别为标靶;各个售后中心的标定场景的光照条件不达标,主要光照不均匀、光照强度不合适,导致标定时拍摄的标靶图像质量不达标。
本申请发明人进一步发现,究其本质原因,是因为车辆出厂前是在生产车间进行标定的,生产车间的标定场景由专业性较强的工程师搭建,生产车间中的标定场景中标靶区域较为干净(只有预设的标靶图案),光照条件的也更加符合标定标准。但是,由于生产车间的专业的工程师不能常驻在各个售后中心进行专业指导,各个售后中心在后期自行布置标定场景和维护标定场景时,可能标定场景的光照条件、地面纹理、标靶区域洁净度等不能满足标定标准,导致在各个售后中心标定时拍摄的标靶图像的质量较低,导致标靶检测可能失灵,进而导致在各个售后中心进行标定时,标定精确度较低。
有鉴于此,期望能够提供一种标靶图像检测方法,就即使在售后中心的标定场景不达标,导致拍摄的标靶图像质量不达标的情况下,仍然能够在一定程度上顺利实现从标靶图像中检测出标靶。
基于此,本申请的发明人提出了本申请具体实施方式中的一种标靶图像检测方法,包括:通过获取标靶图像;基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值;基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像;对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果;将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。针对获取到的标靶图像,获取与标靶图像的像素分布和/像素特征相适应的自适应阈值——多个二值化阈值,基于所述多个二值化阈值对标靶图像进行二值化处理,得到多幅二值化标靶图像,检测每幅二值化标靶图像中的标靶,得到每幅二值化标靶图像的检测结果,将多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。从而消除基于单个二值化阈值对标靶图像进行二值化处理后,得到单幅二值化图像,从单幅二值化图像中检测标靶存在检测灵敏度较低的技术问题,能够在一定程度上提高从标靶图像中检测出标靶的灵敏度,从而提高标定成功率和精确度。
如图2所示,本申请实施例提供的标靶图像检测方法可以应用于自动驾驶控制系统200,该自动驾驶控制系统200可以包括车辆201、服务器202和电子设备203,其中,车辆201可以通过通信网络与服务器202进行通信连接,车辆201可以与电子设备203通过有线或者无线方式进行通信连接,即车辆201可以通过有线或者无线网络发送数据至电子设备203,也可以接收电子设备203通过有线或者无线网络发送的数据。
在一些可选的实施方式中,电子设备203可以是车载电脑、智能手机、平板电脑、可穿戴智能设备等设备。在一些可选的实施方式中,服务器202可以为分布式系统的服务器,服务器202也可以是云服务器,服务器202还可以是带人工智能技术的智能云计算服务器或智能云主机。
在图2所示的应用场景中,本申请实施例的标靶图像检测方法可以是应用于标定车辆201的环视摄像头的参数。
在一些可选的实施方式中,本申请实施例提供的标靶图像检测方法由车辆201、电子设备203或服务器202独立执行。
在一些可选的实施方式中,本申请实施例提供的标靶图像检测方法由车辆201和服务器202协同执行或由车辆201和电子设备203协同执行或由车辆201、电子设备203和服务器202协同执行。在协同执行时,部分步骤由车辆201执行,部分步骤由服务器202和/或电子设备203执行。
示例性地,车辆201获取标靶图像,并将获取到的标靶图像发送给服务器202或电子设备203。服务器202或电子设备203在接收到所述标靶图像后,基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值;基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像;对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果;将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。
需要说明的是,在由车辆201和服务器202协同执行或由车辆201和电子设备203协同执行或由车辆201、电子设备203和服务器202协同执行的方式中,车辆201、服务器202和/或电子设备203分别执行的步骤不限于上述示例中所介绍的方式,在实际应用中,可以根据实际情况动态的调整车辆201、服务器202和/或电子设备203分别执行的步骤。
如图3所示,图3示出了本申请实施例提供的一种标靶图像检测方法的流程图。所述标靶图像检测方法应用于车辆、电子设备和/或服务器,以用于从标靶图像中检测出标靶,并基于检测结果标定车辆的环视摄像头的参数,所述标靶图像检测方法包括以下步骤S301至步骤S305,详细说明如下:
S301,获取标靶图像。
标靶图像,是指在对车辆进行标定时该被标定车辆上的环视摄像头采集的标靶图像。
如前文所述,在对车辆上的环视摄像头进行标定时,会将车辆置于车间内的专用标定工位上,车辆上的环视摄像头对在专用标定工位周围布设的标靶进行拍摄,从而采集到标靶图像。
示例性地,可以将图2所示的车辆201置于图1所示的标定场景中的标定工位111上,且使车辆201的左前轮置于位置112处,车辆201上的环视摄像头对标靶区域101至标靶区域110进行拍摄,从而采集到标靶图像。
在一些可选的实施方式中,获取的标靶图像可以是被标定车辆上的环视摄像头实时采集的标靶图像。在一些可选的实施方式中,获取的标靶图像可以是被标定车辆上的环视摄像头预先采集的标靶图像。
如图4所示,示出了本申请实施例提供的标靶图像。示例性地,车辆201上位于车头前方的环视摄像头对图1中所示的标靶区域101至标靶区域103进行拍摄后采集得到如图4所示的标靶图像。环视摄像头多采用鱼眼摄像头,拍摄的图像存在畸变,在图4所示的标靶图像中,图像区域401对应于图1中的标靶区域101,图像区域402对应于图1中的标靶区域102,图像区域403对应于图1中的标靶区域103。在对图4中的标靶图像进行标靶检测时,其目的就是要从图像区域401至图像区域403中识别出所有的标靶。在本申请后续的实施例中,将主要以从图像区域402中识别出标靶404和标靶405进行说明。
应当说明的是,在对车辆上的环视摄像头进行标定时,需要对位于车头、车尾和车身两侧的环视摄像头均进行标定,即车身上的所有环视摄像头都会采集标靶图像,并基于采集到的标靶图像进行标定。图4仅仅是示例了位于车头的环视摄像头采集的标靶图像,并基于该标靶图像说明本申请实施例提供的标靶图像检测方法,但这不是限制本申请实施例提供的标靶检测方法仅适用于车头的环视摄像头拍摄的标靶图像,同样也能适用于车身上其他位置(如位于车尾或车身两侧)的环视摄像头拍摄的标靶图像。
在一些可选的实施方式中,在获取到标靶图像后,对标靶图像进行预处理。示例性地,当获取到的标靶图像是彩色图像时,例如是RGB三通道的彩色图像,将彩色的标靶图像处理成灰度图像。当然,也可以是对标靶图像进行其他的预处理,例如是对标靶图像进行增强操作等,在本申请中不做具体限制。
S302,基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值。
图像二值化处理,是指将原图像中大于设定阈值的像素点的像素值设置为255、小于或等于设定阈值的像素点的像素值设置为0,将原图像变换成“黑白分明”的图像,以使二值化处理得到的图像中的前景像素和背景像素形成明显区别。该设定阈值就是对图像进行二值化处理时的二值化阈值。
在部分标定操作中,设定阈值是固定值。即针对不论在何光照条件下采集的标靶图像,均采用固定的设定阈值进行二值化处理。但是如前文所述,不同售后中心的光照条件不同,尤其是不同售后中心的标定场景的光照强度基本很难做到完全统一。但是,在不同光照强度下采集的标靶图像的整体灰度是不一样的,如果采用固定的设定阈值对标靶图像进行二值化处理,不会考虑标靶图像中像素分布情况和像素值特征,得到的二值化处理后的图像并不能使前景像素或背景像素形成明显区别。
在部分标定操作中,设定阈值是基于整张标靶图像的像素平均值确定。即在获取了标靶图像后,基于标靶图像中的所有像素点的像素值确定所有像素点的像素平均值,然后将该像素平均值作为对该标靶图像进行二值化处理的阈值。但是,请结合图1所示的标定的场景和图4所示的标靶图像,显然,在标靶图像中,前景像素点(即标靶)明显少于背景像素点。而且,应当注意的是,在实际拍摄的标靶图像中,背景像素点不可能如图4中所示的标靶图像中呈现纯白色,而是具有一定的灰度,且每个背景像素点的像素值也各不相同。因此,基于标靶图像中所有像素点的像素值确定的像素平均值会趋近于基于标靶图像中的所有背景像素点的像素值确定的像素平均值,那么在基于整张标靶图像的像素平均值对标靶图像进行二值化处理时,可能将部分背景像素点中的像素值小于整张标靶图像的像素平均值的背景像素点处理成与前景像素点相同的颜色,从而导致得到的二值化处理后的图像并不能使前景像素或背景像素形成明显区别。
在部分标定操作中,设定阈值是基于滑动窗口的自适应阈值。即,以设定的窗口在标靶图像上以设定步长滑动,当该窗口滑动至设定一位置时,以该窗口内的所有像素点的像素平均值作为该窗口内的所有像素点的二值化阈值,并以该二值化阈值对该窗口内的所有像素点进行二值化处理。但是,位于窗口边界上的像素点未纳入滑动窗口内,导致得到的二值化图像中位于窗口边界上的像素点的连通性不佳,位于窗口边界上的像素点出现孤立的黑点或白点等,这些孤立的黑点和白点会对标靶的识别造成一定的干扰。
有鉴于此,在本申请实施例中,标靶图像对应的自适应阈值是与标靶图像的感兴趣区域相适应的二值化阈值。
在进行图像处理时,以方框、圆、椭圆、不规则多边形等各种边框在被处理图像中勾勒出需要处理的区域,即感兴趣区域(Region of Interest,ROI)。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子(Operator)和函数来求得感兴趣区域,并进行图像的下一步处理。
在本申请实施例中,标靶图像的感兴趣区域是从标靶图像中勾勒出的可能存在标靶的区域,以便后续从这些感兴趣区域中检测标靶,并基于勾勒出的感兴趣区域确定自适应阈值以及从勾勒出的感兴趣区域中检测标靶。
示例性地,如图5所示,示出了对图4所示的标靶图像勾勒了感兴趣区域后的图像。示例性地,图5中所有虚线框内的区域即感兴趣区域,即勾勒出的感兴趣区域包括感兴趣区域406至感兴趣区域410。
基于感兴趣区域确定自适应阈值,不仅可以排除标靶图像中非感兴趣区域内可能存在的脏污的干扰,还可以考虑到感兴趣区域内的像素分布和像素特征确定自适应阈值,从而使得基于自适应阈值进行二值化处理后的二值化图像能够使得感兴趣区域内的前景像素和背景像素形成明显的“黑白分明”的效果,以有利于从二值化图像中检测出标靶,从而提高标靶检测灵敏度,以在一定程度上提高标定成功率和精确度。从另一个角度上讲,对整张标靶图像而言,其像素分布和像素特征表明标靶集中感兴趣区域内,基于感兴趣区域内的像素点确定自适应阈值,也是考虑了整张标靶图像的像素分布和像素特征,将非感兴趣区域排除在外,以排除非感兴趣区域对感兴趣区域内的标靶进行检测时的干扰,从而提高标靶检测灵敏度,以在一定程度上提高标定成功率和精确度。
在一些实施例中,标靶图像对应的自适应阈值包括多个与标靶图像的感兴趣区域相适应的二值化阈值。示例性地,先基于标靶图像的感兴趣区域确定一个基础二值化阈值,再确定该基础二值化阈值的邻域,然后在该邻域内取多个值,形成二值化阈值组。基于二值化阈值组对标靶图像进行多次二值化处理,并将从多幅二值化图像中识别出的标靶进行融合,从而消除基于单个二值化阈值对标靶图像进行二值化处理后,得到单幅二值化图像,从单幅二值化图像中检测标靶存在检测灵敏度较低的技术问题,能够在一定程度上提高从标靶图像中检测出标靶的灵敏度,从而提高标定成功率和精确度。具体的,如图6所示,示出了本申请实施例提供的标靶检测方法中步骤S302的具体流程图。如图6所示,步骤S302还包括以下步骤S601至步骤S603,如下:
S601,确定所述标靶图像的基础二值化阈值。
在本申请实施例中,标靶图像的基础二值化阈值是基于标靶图像的目标感兴趣区域确定的。当标靶图像中有且仅有一个感兴趣区域时,该感兴趣区域即目标感兴趣区域,当标靶图像中有多个感兴趣区域时,目标感兴趣区域多个感兴趣区域中任一个准备从该区域内检测标靶的感兴趣区域。示例性地,准备从图5所示的标靶图像中的感兴趣区域408内检测标靶,则感兴趣区域408是目标感兴趣区域,基于感兴趣区域408内的像素点确定基础二值化阈值。具体的,步骤S601包括以下步骤a至步骤b:
步骤a,从所述标靶图像中确定出感兴趣区域。
基于前述,标定场景中的标靶是较为规则的圆形标靶和方形标靶,就即使是环视摄像头采集的标靶图像中的标靶存在一定的畸变,但是标靶图像中的方形标靶和圆形标靶仍然类似于方形标靶和圆形标靶;并且,标靶图像中的标靶的色彩和纹理相对于背景而言,也是比较分明和清晰的;即,标靶图像中像素的形状特征、色彩特征和纹理特征都比较突出。因此,在一些可选的实施方式中,在获取了标靶图像后,基于标靶图像中像素的形状特征、色彩特征和/或纹理特征,识别标靶图像中可能存在标靶的区域,并以预设形状的边框在标靶图像中勾勒出可能存在标靶的区域,即得到感兴趣区域。
在一些可选的实施方式中,在获取了标靶图像后,对标靶图像中的像素分布情况进行分析,基于像素分布情况,确定标靶图像中可能存在标靶的区域,并以预设形状的边框在标靶图像中勾勒出可能存在标靶的区域,即得到感兴趣区域。
示例性地,图5中所有虚线框内的区域即感兴趣区域,即勾勒出的感兴趣区域包括感兴趣区域406至感兴趣区域410。
当然,在其他一些可选的实施方式中,还可以通过其他方式确定标靶图像的感兴趣区域,在本申请中不做具体限制。示例性地,例如将图1中的标靶区域101和图4中的图像区域401进行比对可以发现,图1中标靶114在图4所示的标靶图像中为标靶411,标靶411相对于标靶114虽然发生了畸变,但是标靶114相对于标靶411而言,该标靶中两个方形标靶的相交顶点畸变度很微小,因此可以以标靶114中两个方形标靶的相交顶点作为特征点,从图4中的标靶图像中先识别出标靶114对应的该特征点,即标靶411中两个方形标靶的相交顶点,从而得到标靶411在图4所示的标靶图像中像素坐标,也即得到标靶411在图4所示的标靶图像中的第一感兴趣区域406,而标靶114的世界坐标是已知的,基于标靶114的世界坐标和标靶411的像素坐标,得到世界坐标和像素坐标之间的变换关系,基于该变换关系和标靶115和标靶116的世界坐标,可以推测得到在图4所示的标靶图像中标靶405和标靶404的像素坐标,推测得到标靶405和标靶404的该像素坐标并不准确,但可以大概率准确预测标靶405和标靶404在图4所示的标靶图像中的区域,即第二感兴趣区域408。基于相同的方式,还可以推测得到感兴趣区域407、感兴趣区域409和感兴趣区域410。
步骤b,基于所述感兴趣区域内的像素点,确定所述标靶图像的基础二值化阈值。
在本申请实施例中,基于感兴趣区域内的像素点,采用最大类间方差法确定标靶图像的基础二值化阈值。具体的,步骤a包括以下步骤a-1和步骤a-2:
步骤a-1,在所述感兴趣区域内,计算不同灰度值对应的类间方差。
在一些可选的实施方式中,遍历灰度值0至255作为二值化阈值对感兴趣区域内的图像进行二值化处理,得到266幅感兴趣区域对应的二值化图像,并通过以下公式①计算这266幅感兴趣区域对应的二值化图像中每幅二值化图像的类间方差:
g=w0w1(u0-u1)2 ①
其中,w0是感兴趣区域对应的二值化图像中前景像素的占比,w1是感兴趣区域对应的二值化图像中背景像素的占比,u0是感兴趣区域对应的二值化图像中前景像素的平均灰度,u1是感兴趣区域对应的二值化图像中背景像素的平均灰度。当然,在计算266幅感兴趣区域对应的二值化图像中任一幅二值化图像的类间方差时,公式①中的参数w0、w1、u0和u1是针对同一幅二值化图像中像素确定的。
示例性地,通过以上方式,针对图5所示的标靶图像中的感兴趣区域408,得到266幅感兴趣区域对应的二值化图像依次对应的类间方差g1、g2、g3、…gk…、g266。其中,gk对应于灰度值为k-1作为二值化阈值时对感兴趣区域内的图像进行二值化处理后得到的二值化图像对应的类间方差,1≤k≤266,且k为整数。
步骤a-2,获取类间方差最大的值对应的灰度值,将所获取的灰度值作为所述基础二值化阈值。
示例性地,假设gk是g1、g2、g3、…gk…、g266中的最大值,则将灰度值k-1作为基础二值化阈值。
S602,确定所述基础二值化阈值的浮动取值范围。
在一些可选的实施方式中,浮动取值范围为在基础二值化阈值的基础上上下浮动10个灰度值。在一些可选的实施方式中,浮动取值范围为在基础二值化阈值的基础上向上浮动10个灰度值,向下浮动5个灰度值。浮动取值范围可以依据实际需要灵活确定,在本申请中不做具体限制。但应当说明的是,通常浮动取值范围的上限和下限均是10个灰度值,以保证后续基于浮动取值范围内获取的二值化阈值对目标感兴趣区域内的图像进行二值化处理后,目标感兴趣区域的二值化图像能够将前景像素和背景像素明确区分。如果浮动取值范围过宽,可能会导致后续从浮动取值范围内取得的二值化阈值与目标感兴趣区域的像素分布和/或像素特征不相适应。
示例性地,基础二值化阈值k-1的浮动取值范围为区间[k-11,k+9],该区间即基础二值化阈值k-1的邻域。
S603,于所述基础二值化阈值的浮动取值范围内取多个值,得到多个二值化阈值,作为所述自适应阈值。
在得到基础二值化阈值的浮动取值范围后,可以在基础二值化阈值的浮动取值范围内任意取多个值,即从基础二值化阈值的浮动取值范围内获取到多个二值化阈值,形成阈值组,阈值组内的阈值作为自适应阈值。
示例性地,基础二值化阈值k-1的邻域取多个值,得到阈值组{k-8、k-6、k-3、k-1、k+4、k+7},将该阈值组{k-8、k-6、k-3、k-1、k+4、k+7}作为图5所示的标靶图像中感兴趣区域408的自适应阈值。
在步骤S302执行完成后,得到多个与获取到的标靶图像的感兴趣区域相适应的二值化阈值后,继续执行步骤S303。
S303,基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像。
在获取到多个与标靶图像的目标感兴趣区域相适应的多个二值化阈值(即阈值组中的多个二值化阈值)后,基于多个二值化阈值对标靶图像中目标感兴趣区域进行二值化处理,同时还可以将图像中除目标感兴趣区域之外的其他区域的像素点像素值设置为0。即在获取到标靶图像和阈值组后,遍历阈值组中的所有二值化阈值对标靶图像的目标感兴趣区域进行二值化处理,得到多幅二值化标靶图像。
示例性地,针对图5所示的标靶图像,以阈值组{k-8、k-6、k-3、k-1、k+4、k+7}中的二值化阈值k-1对标靶图像中的目标感兴趣区域408进行二值化处理,即将感兴趣区域408内所有像素点的像素值与k-1进行比较,将像素值大于k-1的像素点的像素值设置为255、将像素值小于或等于k-1的像素点的像素值设置为0,得到一幅基于二值化阈值k-1进行二值化处理后的标靶图像。以阈值组{k-8、k-6、k-3、k-1、k+4、k+7}中的其他二值化阈值对标靶图像中的目标感兴趣区域408进行二值化处理的方式与以二值化阈值k-1对标靶图像中的目标感兴趣区域408进行二值化处理的方式相同,在此不再赘述。直至基于阈值组{k-8、k-6、k-3、k-1、k+4、k+7}中的每个二值化阈值对图5所示的标靶图像中的目标感兴趣区域408均进行了二值化处理,得到如图7所示的6幅二值化标靶图像。
S304,对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果。
在一些可选的实施方式中,对每幅二值化图像进行连通域检测,以从二值化标靶图像中检测出可能存在的标靶。连通域是指图像中具有相同像素值且位置相邻的像素点组成的图像区域。在本申请实施例中,二值化标靶图像中连通域是像素值为255或0且位置相邻的像素点组成的图像区域。
示例性地,如图7中的第(a)张二值化标靶图像所示,图示标号701和702所标记的图像区域就是两个像素值为0的像素点组成的连通域,这两个连通域就是两个标靶,在图中呈黑色,标靶701对应于图5中的标靶405,标靶702对应于图5中的标靶406;而图7中的第(a)张二值化标靶图像中像素点为255的像素点组成的连通域是图5中的感兴趣区域408中的非标靶区域的像素,在图中呈白色。
类似的,在图7中的第(b)张二值化标靶图像中,检测出了标靶703和标靶704。在图7中的第(c)张二值化标靶图像中,检测出了标靶705,而标号706所示的区域与其他像素值为0的像素点连通,未能构成单独的连通域,即基于连通域的检测未能在图7中的第(c)张二值化标靶图像中检测出图5中的标靶406对应的标靶。在图7中的第(d)张二值化标靶图像中,检测出了标靶707,未能检测出图5中的标靶406对应的标靶。在图7中的第(e)张二值化标靶图像中,检测出了标靶709,未能检测出图5中的标靶406对应的标靶。在图7中的第(f)张二值化标靶图像中,检测出了标靶709,未能检测出图5中的标靶406对应的标靶。
S305,将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。
在一些可选的实施方式中,在对针对同一标靶图像的多幅二值化图像均进行连通域检测后,对从每幅二值化图像中检测出的标靶进行聚类分析,将针对同一标靶图像的多幅二值化图像中可能是同一个标靶的标靶检测结果进行融合,从而得到标靶检测结果。
在一些可选的实施方式中,如图7所示,示出了本申请实施例提供的标靶检测方法中步骤S305的具体流程图。如图7所示,步骤S305包括以下步骤S701至步骤S703,具体如下:
S701,基于每幅二值化标靶图像的检测结果,获取每幅二值化标靶图像对应的标靶点的位置坐标。
二值化标靶图像对应的标靶点即基于连通域检测时从该二值化标靶图像中检测出的标靶。
在一些可选的实施方式中,在基于连通域检测出标靶后,提取检测出的标靶的特征点,以标靶的特征点的像素坐标(像素坐标是用于描述图像中的像素点在图像中的位置的坐标,在本申请后文中所述的“位置坐标”均是像素坐标)作为标靶的检测结果。示例性地,对于图1中所示的类似于标靶115的圆形标靶,可以以标靶的圆心作为标靶的特征点,在与之对应的图7所示的二值化标靶图像中,可以将标靶701、标靶703、标靶705、标靶707、标靶709或标靶711中接近于圆心的像素点的位置坐标作为每个标靶(对应于图1中的标靶115和图4或图5中的标靶405)的检测结果。在其他实施例中,对于图1中所示的类似于标靶114的方形标靶,可以以两个方形标靶的相交顶点作为标靶的特征点,可以在与之对应的二值化标靶图像中,将对应的两个方形标靶的相交顶点对应的像素点的位置坐标作为检测结果。
示例性地,图7中标靶701的位置坐标为(x1,y1),标靶702的位置坐标为(x2,y2),标靶703的位置坐标为(x3,y3),标靶704的位置坐标为(x4,y4),标靶705的位置坐标为(x5,y5),标靶707的位置坐标为(x7,y7),标靶709的位置坐标为(x9,y9),标靶711的位置坐标为(x11,y11)。
应当说明的是,在本申请实施例中,检测标靶图像中的像素点的位置坐标时,应当基于统一的像素坐标系进行,即不论前文还是后文中所述的像素坐标或位置坐标均是位于同一像素坐标系中的坐标。
S702,基于所述每幅二值化标靶图像对应的标靶点的位置坐标,建立标靶点数组。
在一些可选的实施方式中,在对针对同一标靶图像的多幅二值化图像均进行连通域检测后,对从每幅二值化图像中检测出的标靶的位置坐标进行聚类分析,将针对同一标靶图像的多幅二值化图像中可能是同一个标靶的位置坐标加入同一标靶点数组,从而得到多个标靶点数组。
示例性的,图7中标靶701、标靶703、标靶705、标靶707、标靶709和标靶711都对应于图4或图5中的标靶405(图1中的标靶115);标靶702和标靶704都对应于图4或图5中的标靶404(图1中的标靶116)。基于标靶701、标靶703、标靶705、标靶707、标靶709和标靶711的位置坐标建立第一标靶数组X={(x1,y1)、(x3,y3)、(x5,y5)、(x7,y7)、(x9,y9)、(x11,y11)},基于标靶702和标靶704、建立第二标靶数组Y={(x2,y2)、(x4,y4)}。
在一些可选的实施方式中,如图8所示,示出了本申请实施例提供的标靶检测方法中步骤S702的具体流程图。如图8所示,步骤S702包括以下步骤S801至步骤S804,具体如下:
S801,基于第一位置坐标,建立第一标靶点数组,所述第一位置坐标是第一二值化图像对应的标靶点的位置坐标,所述第一二值化图像是所述多幅二值化标靶图像中的任一幅二值化图像。
在一些可选的实施方式中,在对针对同一标靶图像的多幅二值化图像均进行连通域检测后,从所述多幅二值化图像中任选一幅二值化图像作为第一二值化图像,然后以从该第一二值化图像中连通域检测出的每个标靶点的位置坐标建立一个第一标靶数组。
示例性地,以图7中第(a)张二值化标靶图像作为第一二值化图像,针对标靶701建立第一标靶数组A1={(x1,y1)},针对标靶702建立第一标靶数组A2={(x2,y2)}。以图7中第(c)张二值化标靶图像作为第一二值化图像,针对标靶705建立第一标靶数组A1={(x5,y5)}。
为了更加方便说明本申请实施例提供的技术方案,以便于本领域技术人员理解,下面将以图7中第(c)张二值化标靶图像作为第一二值化图像为例进行说明,但这不是对本申请的限制,如步骤S801所示,可以是图7中所述的6张二值化图像中的任一幅二值化图像作为第一二值化图像。
S802,确定第二位置坐标与第一位置坐标的位置关系,所述第二位置坐标是第二二值化图像对应的标靶点的位置坐标,所述第二二值化图像是所述多幅二值化标靶图像中除所述第一二值化图像之外的任一幅二值化图像。
S803,当所述位置关系为所述第二位置坐标落在所述第一位置坐标的预设范围内时,将所述第二位置坐标加入所述第一标靶点数组。
S804,当所述位置关系为所述第二位置坐标未落在所述第一位置坐标的预设范围内时,基于所述第二位置坐标,建立第二标靶点数组。
从所述多幅二值化图像中除第一二值化图像之外的二值化图像中任选一幅二值化图像作为第一张第二二值化图像,然后确定从第一二值化图像中连通域检测出的每个标靶点的位置坐标与从第一张第二二值化图像中连通域检测出的每个标靶点的位置坐标之间的位置关系,即确定从第一二值化图像中连通域检测出的每个标靶点的位置与从第一张第二二值化图像中连通域检测出的每个标靶点的位置是否临近,也即确定从第一张第二二值化图像中连通域检测出的每个标靶点的位置(即第二位置坐标)是否落在从第一二值化图像中连通域检测出的每个标靶点的位置(即第一标靶点数组中的第一位置坐标)的预设范围内。
若从第一张第二二值化图像中连通域检测出的某个标靶点的位置与从第一二值化图像中连通域检测出的某个标靶点的位置临近(即在预设范围内),则将第一张第二二值化图像中与第一二值化图像中相互临近的标靶点的位置坐标放入第一二值化图像中该临近的标靶点对应的第一标靶点数组中。
若从第一张第二二值化图像中连通域检测出的某个标靶点的位置与从第一二值化图像中连通域检测出的所有标靶点的位置均不临近(即不在预设范围内),则以第一张第二二值化图像中该不临近的标靶点的位置坐标建立一个第二标靶点数组。
若从第一张第二二值化图像中连通域检测出的多个标靶点的位置与从第一二值化图像中连通域检测出的所有标靶点的位置均不临近(即不在预设范围内),则以第一张第二二值化图像中该不临近的多个标靶点的位置坐标建立多个第二标靶点数组。
然后从所述多幅二值化图像中除第一二值化图像和第一张第二二值化图像之外的二值化图像中再选择一幅二值化图像作为第二张第二二值化图像。然后确定第一标靶点数组或前述的第二标靶点数组中的位置坐标的均值与从第二张第二二值化图像中连通域检测出的每个标靶点的位置坐标之间的位置关系,即确定与从第二张第二二值化图像中连通域检测出的每个标靶点与第一标靶点数组或前述的第二标靶点数组中的位置坐标的均值表示的位置是否临近,也即确定从第二张第二二值化图像中连通域检测出的每个标靶点的位置(即第二位置坐标)是否落在第一标靶点数组或前述的第二标靶数组中的位置坐标的均值的预设范围内。
若从第二张第二二值化图像中连通域检测出的某个标靶点的位置与第一标靶点数组或前述的第二标靶数组中的位置坐标的均值表示的位置临近(即在预设范围内),则将第二张第二二值化图像中与第一标靶点数组中的位置坐标的均值表示的位置相互临近的标靶点的位置坐标放入第一标靶点数组中,将第二张第二二值化图像中与前述的任一第二标靶点数组中的位置坐标的均值表示的位置相互临近的标靶点的位置坐标放入对应的第二标靶点数组中。
若从第二张第二二值化图像中连通域检测出的某个标靶点的位置与第一标靶点数组或前述的任一第二标靶数组中的位置坐标的均值表示的位置均不临近(即不在预设范围内),则以第二张第二二值化图像中该不临近的标靶点的位置坐标建立又一个第二标靶点数组。
若从第二张第二二值化图像中连通域检测出的多个标靶点的位置与第一标靶点数组或前述的任一第二标靶数组中的位置坐标的均值表示的位置均不临近(即不在预设范围内),则以第二张第二二值化图像中该不临近的多个标靶点的位置坐标又建立多个第二标靶点数组。
然后从所述多幅二值化图像中除第一二值化图像和前述的第一张第二二值化图像和第二张第二二值化图像之外的二值化图像中再选择一幅二值化图像作为第三张第二二值化图像。并与前述步骤类似,确定该第三张第二二值化图像中的每个标靶点的位置与前述的第一标靶数组的所有位置坐标的均值和前述的任一第二标靶数组中所有位置坐标的均值之间位置关系,并基于位置关系,确定是否将前述的第二二值化图像中的每个标靶点的位置坐标加入前述的第一标靶数组或前述的任一第二标靶数组,或以第三张第二二值化图像中标靶点的位置坐标新建新的第二标靶数组。
重复以上步骤,直至遍历所述多幅二值化图像中除第一二值化图像之外的所有二值化图像。
在一些可选的实施方式中,预设范围为5个基本像素以内。示例性的,第一位置坐标的像素作为为(m,n),则以(m,n)为圆心、半径为5个基本像素的圆形范围内构成第一位置坐标的预设范围。
示例性地,在以图7中第(c)张二值化标靶图像作为第一二值化图像,针对标靶705建立第一标靶数组A={(x5,y5)}后,则需要以图7中除第(c)张二值化标靶图像之外的其他5幅二值化图像中任意选择一幅二值化图像作为第二二值化图像。例如,选取了图7中除第(a)张二值化标靶图像作为第一张第二二值化图像,然后需要确定标靶701和标靶702是否落在第一标靶数组A={(x5,y5)}中的位置坐标的均值表示的位置的预设范围内。因为,标靶701、标靶703、标靶705、标靶707、标靶709和标靶711都对应于图4或图5中的标靶405(图1中的标靶115),故标靶701落入第一标靶数组A={(x5,y5)}中的位置坐标的均值表示的位置的预设范围内,将标靶701的位置坐标加入第一标靶数组A,得到A={(x1,y1),(x5,y5)};而标靶标靶702未落入第一标靶数组A={(x5,y5)}中的位置坐标的均值表示的位置的预设范围内,故以标靶702的位置坐标(x2,y2)建立第二标靶数组B={(x2,y2)}。
接着,选取了图7中除第(e)张二值化标靶图像作为第二张第二二值化图像,需要确定标靶709是否落入第一标靶数组A={(x1,y1),(x5,y5)}中位置坐标的均值表示的位置的预设范围内或第二标靶数组B={(x2,y2)}中位置坐标的均值表示的位置的预设范围内。其中,第一标靶数组A={(x1,y1),(x5,y5)}中位置坐标的均值表示的位置即坐标表示的位置。最终确定标靶709落入第一标靶数组A={(x1,y1),(x5,y5)}中位置坐标的均值表示的位置的预设范围内,将标靶701的位置坐标(x9,y9)加入第一标靶数组A,得到A={(x1,y1),(x5,y5),(x9,y9)}。
接着,选取了图7中除第(b)张二值化标靶图像作为第三张第二二值化图像,需要确定标靶703和704是否落入第一标靶数组A={(x1,y1),(x5,y5),(x9,y9)}中位置坐标的均值表示的位置的预设范围内或第二标靶数组B={(x2,y2)}中位置坐标的均值表示的位置的预设范围内。其中,第一标靶数组A={(x1,y1),(x5,y5)}中位置坐标的均值表示的位置即坐标表示的位置。最终确定标靶703落入第一标靶数组A={(x1,y1),(x5,y5),(x9,y9)}中位置坐标的均值表示的位置的预设范围内,将标靶703的位置坐标(x3,y3)加入第一标靶数组A,得到A={(x1,y1),(x3,y3),(x5,y5),(x9,y9)}。标靶702和标靶704都对应于图4或图5中的标靶404(图1中的标靶116),因此,确定标靶704落入第二标靶数组B={(x2,y2)}中位置坐标的均值表示的位置的预设范围内,将标靶704的位置坐标(x4,y4)加入第二标靶数组B,得到B={(x2,y2),(x4,y4)}。
同上,接着选取图7中除第(b)张二值化标靶图像作为第四张第二二值化图像,确定其中的标靶707落入第一标靶数组A={(x1,y1),(x3,y3),(x5,y5),(x9,y9)}中位置坐标的均值表示的位置的预设范围内,将标靶707的位置坐标为(x7,y7)加入第一标靶数组A得到A={(x1,y1),(x3,y3),(x5,y5),(x7,y7),(x9,y9)}。
同上,接着选取图7中除第(f)张二值化标靶图像作为第五张第二二值化图像,确定其中的标靶711落入第一标靶数组A={(x1,y1),(x3,y3),(x5,y5),(x9,y9)},(x9,y9)}中位置坐标的均值表示的位置的预设范围内,将标靶711的位置坐标为(x11,y11)加入第一标靶数组A得到A={(x1,y1),(x3,y3),(x5,y5),(x7,y7),(x9,y9),(x11,y11)}。
S703,计算每个标靶点数组中每个位置坐标的置信度,基于所述每个标靶点数组中每个位置坐标的置信度和所述每个标靶点数组中的位置坐标,获得所述每个标靶点数组对应的标靶点的位置坐标,将所有标靶点数组对应的标靶点的位置坐标作为所述标靶检测结果。
置信度P用于描述被以连通域检测方法检测到的标靶是标靶的可能性。在一些可选的实施方式中,当被检测的标靶是圆形标靶时,可以计算被检测到的标靶的连通性、圆度、凹凸度等,基于连通性、圆度和/或凹凸度确定被检测到的标靶的置信度。连通性表示检测到的标靶中的像素点连通程度,用检测到的标靶区域内的连通像素占所有像素的占比表示。圆度表示检测到的标靶接近理论圆的程度,用标靶的最大半径与最小半径之差表示。凹凸度表示检测到的标靶的外周的凹凸程度,用检测到的标靶的最大内接凸多边形的面积与最小外接凸多边形的面积的比值表示。
位置坐标描述的是检测出的标靶在检测出该标靶的标靶图像中的位置,位置坐标的置信度即该位置坐标所描述的标靶的置信度。
示例性地,计算得到第一标靶数组A={(x1,y1),(x3,y3),(x5,y5),(x7,y7),(x9,y9),(x11,y11)}中每个位置坐标的置信度依次为P1、P3、P5、P7、P9、P11。第二标靶数组B={(x2,y2),(x4,y4)}中每个位置坐标的置信度依次为P2、P4。
基于前述,每个标靶点数组实质上对应于一个标靶点,在一些实施方式中,针对一个标靶点数组,基于该标靶点数组中每个位置坐标的置信度和该标靶点数组中的所有位置坐标,获得该标靶点数组对应的标靶点的位置坐标。
示例性地,基于第一标靶数组A中的所有位置坐标{(x1,y1),(x3,y3),(x5,y5),(x7,y7),(x9,y9),(x11,y11)}和每个位置坐标依次对应的置信度P1、P3、P5、P7、P9、P11,确定第一标靶数组A对应于图4或图5中的标靶405的位置坐标;基于第二标靶数组B中的所有位置坐标{(x2,y2),(x4,y4)}和每个位置坐标依次对应的置信度P2、P4,确定第二标靶数组B对应于图4或图5中的标靶404的位置坐标。
在一些可选的实施方式中,本申请实施例提供的标靶检测方法中步骤“基于所述每个标靶点数组中每个位置坐标的置信度和所述每个标靶点数组中的位置坐标,获得所述每个标靶点数组对应的标靶点的位置坐标”包括以下步骤c至步骤d,具体如下:
步骤c:根据标靶点数组中所有位置坐标的置信度和标靶点数组中每个位置坐标的置信度,确定标靶点数组中每个位置坐标的权值;
在一些可选的实施方式中,针对一个标靶点数组,用该标靶点数组中一个位置坐标的置信度除以该标靶点数组中所有位置坐标的置信度之和,得到该位置坐标的权值。
示例性地,基于第一标靶数组A中的所有位置坐标{(x1,y1),(x3,y3),(x5,y5),(x7,y7),(x9,y9),(x11,y11)}和每个位置坐标依次对应的置信度P1、P3、P5、P7、P9、P11,确定坐标(x1,y1)的权值为坐标(x3,y3)的权值为坐标(x5,y5)的权值为坐标(x7,y7)的权值为坐标(x9,y9)的权值为坐标(x11,y11)的权值为基于第二标靶数组B中的所有位置坐标{(x2,y2),(x4,y4)}和每个位置坐标依次对应的置信度P2、P4,确定坐标(x2,y2)的权值为坐标(x4,y4)的权值为
步骤d:根据标靶点数组中每个位置坐标的权值,对标靶点数组中的位置坐标进行加权平均,得到标靶点数组对应的标靶点的位置坐标。
示例性地,对于第一标靶数组A对应的标靶405的位置坐标为(s1x1+s3x3+s5x5+s7x7+s9x9+s11x11,s1y1+s3y3+s5y5+s7y7+s9y9+s11y11)。对于第一标靶数组B对应的标靶404的位置坐标为(s2x2+s4x4,s2y2+s4y4)
在本申请实施例中,针对获取到的标靶图像,获取与标靶图像相适应的多个二值化阈值,基于所述多个二值化阈值对标靶图像进行二值化处理,得到多幅二值化标靶图像,检测每幅二值化标靶图像中的标靶,得到每幅二值化标靶图像的检测结果,将多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。基于感兴趣区域确定与感兴趣区域内的像素分布和像素特征相适应的自适应二值化阈值,能够在一定程度上排除标靶图像中的其他脏污区域的干扰,以及能够与标靶图像感兴趣区域内的图像对应的光照情况相适应。同时在自适应二值化阈值的领域内取多个二值化阈值组成阈值组,并基于阈值组内的多个二值化阈值对标靶图像进行多次二值化阈值,得到多幅二值化图像,并将多幅二值化图像的标靶检测结果融合,从而克服基于一个单一的二值化阈值进行二值化处理得到的图像不能准确反映前景像素和背景像素的区别,从而导致的不能准确从图像中识别出标靶的技术问题。能够在一定程度上提高从标靶图像中检测出标靶的灵敏度,从而提高标定成功率和精确度。
如图10所示,图10示出了本申请实施例提供的一种标靶图像检测装置,所述标靶图像检测装置100可以包括:第一获取模块101、第二获取模块102、第一处理模块103、第一检测模块104和第一融合模块105。具体地:
第一获取模块101,用于获取标靶图像;
第二获取模块102,用于基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值;
第一处理模块103,用于基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像;
第一检测模块104,用于对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果;
第一融合模块105,用于将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。
在一些可选的实施方式中,所述第二获取模块102,包括:
第一确定子模块,用于确定所述标靶图像的基础二值化阈值;
第二确定子模块,用于确定所述基础二值化阈值的浮动取值范围;
第一取值子模块,用于于所述基础二值化阈值的浮动取值范围内取多个值,得到多个二值化阈值,作为所述自适应阈值。
在一些可选的实施方式中,所述第一确定子模块,包括:
第一确定单元,用于从所述标靶图像中确定出感兴趣区域;
第二确定单元,用于基于所述感兴趣区域内的像素点,确定所述标靶图像的基础二值化阈值。
在一些可选的实施方式中,所述第二确定单元,包括:
第一计算子单元,用于在所述感兴趣区域内,计算不同灰度值对应的类间方差;
第一获取子单元,用于获取类间方差最大的值对应的灰度值,将所获取的灰度值作为所述基础二值化阈值。
在一些可选的实施方式中,所述第一融合模块105,包括:
第一获取单元,用于基于每幅二值化标靶图像的检测结果,获取每幅二值化标靶图像对应的标靶点的位置坐标;
第一建立单元,用于基于所述每幅二值化标靶图像对应的标靶点的位置坐标,建立标靶点数组;
第二计算单元,用于计算每个标靶点数组中每个位置坐标的置信度,基于所述每个标靶点数组中每个位置坐标的置信度和所述每个标靶点数组中的位置坐标,获得所述每个标靶点数组对应的标靶点的位置坐标,将所有标靶点数组对应的标靶点的位置坐标作为所述标靶检测结果。
在一些可选的实施方式中,所述第一建立单元,包括:
第一建立子单元,用于基于第一位置坐标,建立第一标靶点数组,所述第一位置坐标是第一二值化图像对应的标靶点的位置坐标,所述第一二值化图像是所述多幅二值化标靶图像中的任一幅二值化图像;
第一确定子单元,用于确定第二位置坐标与第一位置坐标的位置关系,所述第二位置坐标是第二二值化图像对应的标靶点的位置坐标,所述第二二值化图像是所述多幅二值化标靶图像中除所述第一二值化图像之外的任一幅二值化图像;
第一加入子单元,用于当所述位置关系为所述第二位置坐标落在所述第一位置坐标的预设范围内时,将所述第二位置坐标加入所述第一标靶点数组;
第二建立子单元,用于当所述位置关系为所述第二位置坐标未落在所述第一位置坐标的预设范围内时,基于所述第二位置坐标,建立第二标靶点数组。
在一些可选的实施方式中,所述第二计算单元,包括:
第二确定子单元,用于根据标靶点数组中所有位置坐标的置信度和标靶点数组中每个位置坐标的置信度,确定标靶点数组中每个位置坐标的权值;
第二计算子单元,用于根据标靶点数组中每个位置坐标的权值,对标靶点数组中的位置坐标进行加权平均,得到标靶点数组对应的标靶点的位置坐标。
如图11所示,图11示出了本申请实施例提供的一种电子设备的结构框图。该车辆110可以是前述实施例中能够运行程序的车辆110。本申请中的车辆110可以包括一个或多个如下部件:存储器112,用于存储一个或多个计算机程序;一个或多个处理器111,用于从所述存储器112中调用并运行所述一个或多个计算机程序,使得所述电子设备110执行前述实施例所描述的车辆控制方法。
处理器111可以包括一个或者多个处理核。处理器111利用各种接口和线路连接整个车辆110内的各个部分,通过运行或执行存储在存储器112内的指令、程序、代码集或指令集,以及调用存储在存储器112内的数据,执行车辆110的各种功能和处理数据。可选的,处理器111可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器111可集成中央处理器(CentralProcessing Unit,CPU)、标靶图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器111中,单独通过一块通信芯片进行实现。
存储器112可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器112可用于存储指令、程序、代码、代码集或指令集。存储器112可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、标靶图像播放功能等、拍摄功能)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端在使用中所创建的数据(比如电话本、音视频数据、地图数据、行驶记录数据)等。
如图12所示,图12示出了本申请实施例提供的一种车辆的结构框图。该车辆120可以是前述实施例中能够运行程序的车辆120。本申请中的车辆120可以包括一个或多个如下部件:存储器122,用于存储一个或多个计算机程序;一个或多个处理器121,用于从所述存储器122中调用并运行所述一个或多个计算机程序,使得所述车辆120执行前述实施例所描述的车辆控制方法。
处理器121可以包括一个或者多个处理核。处理器121利用各种接口和线路连接整个车辆120内的各个部分,通过运行或执行存储在存储器122内的指令、程序、代码集或指令集,以及调用存储在存储器122内的数据,执行车辆120的各种功能和处理数据。可选的,处理器121可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器121可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器121中,单独通过一块通信芯片进行实现。
存储器122可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器122可用于存储指令、程序、代码、代码集或指令集。存储器122可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等、拍摄功能)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端在使用中所创建的数据(比如电话本、音视频数据、地图数据、行驶记录数据)等。
如图13所示,图13示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质130中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质130可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选的,计算机可读存储介质包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种标靶图像检测方法,其特征在于,所述方法包括:
获取标靶图像;
基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值;
基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像;
对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果;
将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述标靶图像,获取所述标靶图像对应的自适应阈值,包括:
确定所述标靶图像的基础二值化阈值;
确定所述基础二值化阈值的浮动取值范围;
于所述基础二值化阈值的浮动取值范围内取多个值,得到多个二值化阈值,作为所述自适应阈值。
3.根据权利要求2所述的方法,其特征在于,所述确定所述标靶图像的基础二值化阈值,包括:
从所述标靶图像中确定出感兴趣区域;
基于所述感兴趣区域内的像素点,确定所述标靶图像的基础二值化阈值。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果,包括:
基于每幅二值化标靶图像的检测结果,获取每幅二值化标靶图像对应的标靶点的位置坐标;
基于所述每幅二值化标靶图像对应的标靶点的位置坐标,建立标靶点数组;
计算每个标靶点数组中每个位置坐标的置信度,基于所述每个标靶点数组中每个位置坐标的置信度和所述每个标靶点数组中的位置坐标,获得所述每个标靶点数组对应的标靶点的位置坐标,将所有标靶点数组对应的标靶点的位置坐标作为所述标靶检测结果。
5.根据权利要求4所述的方法,其特征在于,所述基于所述每幅二值化标靶图像对应的标靶点的位置坐标,建立标靶点数组,包括:
基于第一位置坐标,建立第一标靶点数组,所述第一位置坐标是第一二值化图像对应的标靶点的位置坐标,所述第一二值化图像是所述多幅二值化标靶图像中的任一幅二值化图像;
确定第二位置坐标与第一位置坐标的位置关系,所述第二位置坐标是第二二值化图像对应的标靶点的位置坐标,所述第二二值化图像是所述多幅二值化标靶图像中除所述第一二值化图像之外的任一幅二值化图像;
当所述位置关系为所述第二位置坐标落在所述第一位置坐标的预设范围内时,将所述第二位置坐标加入所述第一标靶点数组;
当所述位置关系为所述第二位置坐标未落在所述第一位置坐标的预设范围内时,基于所述第二位置坐标,建立第二标靶点数组。
6.根据权利要求4所述的方法,其特征在于,所述基于所述每个标靶点数组中每个位置坐标的置信度和所述每个标靶点数组中的位置坐标,获得所述每个标靶点数组对应的标靶点的位置坐标,包括:
根据标靶点数组中所有位置坐标的置信度和标靶点数组中每个位置坐标的置信度,确定标靶点数组中每个位置坐标的权值;
根据标靶点数组中每个位置坐标的权值,对标靶点数组中的位置坐标进行加权平均,得到标靶点数组对应的标靶点的位置坐标。
7.一种标靶图像检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取标靶图像;
第二获取模块,用于基于所述标靶图像,获取所述标靶图像对应的自适应阈值,所述自适应阈值包括多个二值化阈值;
第一处理模块,用于基于所述多个二值化阈值,对所述标靶图像进行二值化处理,得到多幅二值化标靶图像;
第一检测模块,用于对得到的每幅二值化标靶图像进行标靶检测,得到每幅二值化标靶图像的检测结果;
第一融合模块,用于将所述多幅二值化标靶图像的检测结果进行融合,得到标靶检测结果。
8.一种电子设备,其特征在于,包括:
存储器,用于存储一个或多个计算机程序;
一个或多个处理器,用于从所述存储器中调用并运行所述一个或多个计算机程序,以执行权利要求1至6任一所述的方法。
9.一种车辆,其特征在于,包括:
存储器,用于存储一个或多个计算机程序;
一个或多个处理器,用于从所述存储器中调用并运行所述一个或多个计算机程序,以执行权利要求1至6任一所述的方法。
10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210699176.5A CN115049740A (zh) | 2022-06-20 | 2022-06-20 | 标靶图像检测方法、装置、设备、车辆以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210699176.5A CN115049740A (zh) | 2022-06-20 | 2022-06-20 | 标靶图像检测方法、装置、设备、车辆以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115049740A true CN115049740A (zh) | 2022-09-13 |
Family
ID=83163627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210699176.5A Pending CN115049740A (zh) | 2022-06-20 | 2022-06-20 | 标靶图像检测方法、装置、设备、车辆以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115049740A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765495A (zh) * | 2018-05-22 | 2018-11-06 | 山东大学 | 一种基于双目视觉检测技术的快速标定方法及系统 |
CN110222612A (zh) * | 2019-05-27 | 2019-09-10 | 北京交通大学 | 用于无人机自主降落的动态标靶识别与跟踪方法 |
WO2019174276A1 (zh) * | 2018-03-14 | 2019-09-19 | 京东方科技集团股份有限公司 | 用于定位目标物体区域中心的图像处理方法、装置、设备和介质 |
CN112184723A (zh) * | 2020-09-16 | 2021-01-05 | 杭州三坛医疗科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
-
2022
- 2022-06-20 CN CN202210699176.5A patent/CN115049740A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019174276A1 (zh) * | 2018-03-14 | 2019-09-19 | 京东方科技集团股份有限公司 | 用于定位目标物体区域中心的图像处理方法、装置、设备和介质 |
CN108765495A (zh) * | 2018-05-22 | 2018-11-06 | 山东大学 | 一种基于双目视觉检测技术的快速标定方法及系统 |
CN110222612A (zh) * | 2019-05-27 | 2019-09-10 | 北京交通大学 | 用于无人机自主降落的动态标靶识别与跟踪方法 |
CN112184723A (zh) * | 2020-09-16 | 2021-01-05 | 杭州三坛医疗科技有限公司 | 图像处理方法及装置、电子设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111435438B (zh) | 适于增强现实、虚拟现实和机器人的图形基准标记识别 | |
JP6710426B2 (ja) | 障害物検出方法及び装置 | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
CN110866871A (zh) | 文本图像矫正方法、装置、计算机设备及存储介质 | |
CN108280450A (zh) | 一种基于车道线的高速公路路面检测方法 | |
CN107527368B (zh) | 基于二维码的三维空间姿态定位方法与装置 | |
CN111681285B (zh) | 一种标定方法、装置、电子设备及存储介质 | |
CN110458858A (zh) | 一种十字靶标的检测方法、系统及存储介质 | |
WO2021056501A1 (zh) | 提取特征点的方法、可移动平台及存储介质 | |
CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
Yenıaydin et al. | Sensor fusion of a camera and 2d lidar for lane detection | |
WO2019001698A1 (en) | ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD | |
CN110673607B (zh) | 动态场景下的特征点提取方法、装置、及终端设备 | |
CN114898321B (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 | |
CN111950428A (zh) | 目标障碍物识别方法、装置及运载工具 | |
KR101333459B1 (ko) | 차선 인식 방법 및 장치 | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
CN112052859B (zh) | 一种自由场景下的车牌精准定位方法及装置 | |
CN111695374B (zh) | 监控视角中斑马线区域的分割方法、系统、介质及设备 | |
CN112580516A (zh) | 一种道路场景识别方法、装置、设备及存储介质 | |
CN115049740A (zh) | 标靶图像检测方法、装置、设备、车辆以及存储介质 | |
CN114581890B (zh) | 确定车道线的方法、装置、电子设备和存储介质 | |
CN117226289A (zh) | 一种基于图像识别余料检测的激光切割系统 | |
WO2022205841A1 (zh) | 机器人导航方法、装置、终端设备及计算机可读存储介质 | |
US11205064B1 (en) | Measuring quality of depth images in real time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |