CN112419423B - 一种标定方法、装置、电子设备及存储介质 - Google Patents
一种标定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112419423B CN112419423B CN202011189288.3A CN202011189288A CN112419423B CN 112419423 B CN112419423 B CN 112419423B CN 202011189288 A CN202011189288 A CN 202011189288A CN 112419423 B CN112419423 B CN 112419423B
- Authority
- CN
- China
- Prior art keywords
- lane line
- initial
- image
- coordinate system
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims abstract description 164
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开提供了一种标定方法、装置、电子设备及存储介质,其中,该标定方法包括:获取图像采集设备采集的包括多条车道线的路面图像,以及在世界坐标系下每条车道线上的多个位置点的世界坐标;基于每条车道线在所述路面图像中的位置信息、所述多个位置点的世界坐标和所述图像采集设备的初始单应性矩阵,确定所述图像采集设备的当前单应性矩阵。
Description
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种标定方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的迅速发展,传统工业与信息技术结合,为人们的生活带来便利,比如将汽车行业与信息技术结合,可以产生能够自动驾驶的智能汽车,智能汽车在自动驾驶过程中,测距是非常重要的环节。在智能汽车辅助驾驶所采用的测距传感器中,视觉传感器能够获得较丰富的道路结构环境信息,价格也较为低廉。
在视觉测距中,单目视觉测距技术相对于多目视觉测距技术具有成本低廉、系统安装简单、稳定性好等特点,因而被广泛采用。在单目视觉测距中,需要用到单应性矩阵(homography matrix),基于拍摄的目标物在图像坐标系中的像素坐标,以及该单应性矩阵,可以得到目标物在世界坐标系中的世界坐标,基于该世界坐标即可得到该目标物与预设位置点之间的距离信息。因此,单应性矩阵的准确性直接影响测距结果的精确性。
单应性矩阵是通过预先进行标定得到的,在标定时,通过人工放置参照物,再根据车载相机获取参照物图片,通过参照物图片中参照物对应的像素以及参照物在世界坐标系中的坐标,确定车载相机的单应性矩阵,该方式标定效率较低,且由于车辆在行驶过程中会带来机械振动,导致车载相机的位置发生改变,之前对车载相机标定得到的单应性矩阵在确定目标物的距离时将不再准确。
发明内容
本公开实施例至少提供一种标定方案。
第一方面,本公开实施例提供了一种标定方法,包括:
获取图像采集设备采集的包括多条车道线的路面图像,以及在世界坐标系下每条车道线上的多个位置点的世界坐标;
基于每条车道线在所述路面图像中的位置信息、所述多个位置点的世界坐标和所述图像采集设备的初始单应性矩阵,确定所述图像采集设备的当前单应性矩阵。
在获取到图像采集设备采集的包含多条车道线路面图像、以及在世界坐标系下每条车道线上的多个位置点的世界坐标后,可以通过每条车道线在路面图像中的位置信息和多个位置点的世界坐标完成对初始单应性矩阵的调整,确定图像采集设备的当前单应性矩阵;示例性地,可以将图像采集设备设置在行驶的车辆上,这样随着车辆的行驶,路面图像始终是图像采集设备在与车辆保持当前相对位置关系下获取到的路面图像,这样在路面图像中包含多条车道线时,即可以对图像采集设备的初始单应性矩阵进行不断修正,进而缓解车辆行驶过程中因机械振动或者因车辆行驶的路面不平造成的单应性矩阵不再准确的问题。
在一种可能的实施方式中,按照以下方式获取每条车道线上的多个位置点的世界坐标:
确定所述路面图像中的目标线段与每条车道线的交点在所述世界坐标系下的世界坐标;
基于每个交点的世界坐标,获取世界坐标系下每条车道线上的多个位置点的世界坐标。
在一种可能的实施方式中,所述确定所述路面图像中的目标线段与每条车道线的交点在所述世界坐标系下的世界坐标,包括:
在所述世界坐标系下选取多个初始位置点,每个所述初始位置点与所述世界坐标系的原点之间的距离小于预设距离阈值;
基于所述初始单应性矩阵,确定所述多个初始位置点对应的初始像素坐标在所述路面图像中连接形成的所述目标线段,以及所述目标线段与每条车道线的交点在所述世界坐标系下的世界坐标。
本公开实施例通过选择与世界坐标系中的原点距离较小的初始位置点,从而基于初始单应性矩阵得到的初始位置点在图像坐标系下的初始像素坐标对应的物理距离的误差较小,进而根据该初始像素坐标得到的交点在世界坐标系下对应的世界坐标的误差也就较小。
在一种可能的实施方式中,所述基于所述初始单应性矩阵,确定所述多个初始位置点对应的初始像素坐标在所述路面图像中连接形成的所述目标线段,以及所述目标线段与每条车道线的交点在所述世界坐标系下的世界坐标,包括:
基于所述初始单应性矩阵和每个所述初始位置点在所述世界坐标系下的初始位置坐标,确定每个所述初始位置点在所述路面图像中对应的初始像素坐标;
对所述多个初始位置点对应的初始像素坐标进行直线拟合得到所述目标线段;
获取所述目标线段与每条车道线的交点在所述路面图像中的交点像素坐标;
基于所述交点的交点像素坐标和所述初始单应性矩阵,确定所述交点在所述世界坐标系下的世界坐标。
在一种可能的实施方式中,所述基于每个所述交点的世界坐标,获取世界坐标系下每条车道线上的多个位置点的世界坐标,包括:
基于每个所述交点的世界坐标和预先设定的位置间隔,获取世界坐标系下与每个所述交点位于同一条车道线上的多个位置点的世界坐标。
在一种可能的实施方式中,所述基于每条车道线在所述路面图像中的位置信息、所述多个位置点的世界坐标和所述图像采集设备的初始单应性矩阵,确定所述图像采集设备的当前单应性矩阵,包括:
基于所述多个位置点的世界坐标和所述初始单应性矩阵,确定所述多个位置点在所述路面图像中的初始像素坐标;
基于每条车道线在所述路面图像中的位置信息,对该条车道线上的多个位置点对应的所述初始像素坐标进行修正,得到该条车道线上的多个位置点在所述路面图像中的修正像素坐标;
基于每条车道线上的多个位置点的所述修正像素坐标和所述世界坐标,得到所述图像采集设备的当前单应性矩阵。
本公开实施例中,提出可以基于多个位置点的世界坐标和初始单应性矩阵,确定多个位置点在路面图像中的初始像素坐标,在初始单应性矩阵不再准确时,可以基于多个位置点的初始像素坐标与路面图像中的车道线的位置信息对初始像素坐标进行快速修正,从而快速基于修正像素坐标确定图像采集设备的当前单应性矩阵。
在一种可能的实施方式中,所述基于每条车道线在所述路面图像中的位置信息,对该条车道线上的多个位置点对应的初始像素坐标进行修正,得到该条车道线上的多个位置点在所述路面图像中的修正像素坐标,包括:
基于每条车道线在所述路面图像中的位置信息,以及确定的该条车道线上的多个位置点对应的所述初始像素坐标,确定多个所述初始像素坐标的拟合直线,与该车道线在所述路面图像中对应的拟合直线之间的偏离角度;
基于确定的所述偏离角度,对该条车道线上的多个位置点对应的所述初始像素坐标进行修正,得到该条车道线上的多个位置点在所述路面图像中的修正像素坐标。
本公开实施例中,当初始单应性矩阵不再准确时,基于该初始单应性矩阵确定的多个位置点在图像坐标系中的初始像素坐标会偏离对应的车道线,通过确定出每条车道线上的多个位置点在图像坐标系中的初始像素坐标与该条车道线的偏离角度,可以基于该偏离角度对该条车道线上的多个位置点的初始像素坐标进行修正,这样,即可以较为准确地确定出该条车道线上的多个位置点在图像坐标系中修正像素坐标。
在一种可能的实施方式中,所述基于每条车道线在所述路面图像中的位置信息,以及确定的该条车道线上的多个位置点对应的所述初始像素坐标,确定多个所述初始像素坐标的拟合直线,与该车道线在所述路面图像中对应的拟合直线之间的偏离角度,包括:
基于每条车道线在所述路面图像中的位置信息,生成在所述路面图像中的每条车道线对应的图像坐标系下的第一车道线方程;
对每条车道线上的多个位置点对应的所述初始像素坐标进行直线拟合,生成每条车道线对应的第二车道线方程;
基于每条车道线对应的所述第一车道线方程和所述第二车道线方程,确定所述第二车道线方程所表征的直线相对于所述第一车道线方程所表征的直线的偏离角度。
在一种可能的实施方式中,确定所述图像采集设备的当前单应性矩阵之后,还包括:
获取所述图像采集部件拍摄目标物后得到的目标图像;
基于所述目标图像,确定所述目标物在所述目标图像中的像素坐标;
基于所述像素坐标和所述当前单应性矩阵,确定所述目标物在所述世界坐标系下的世界坐标。
在一种可能的实施方式中,在确定所述目标物在所述世界坐标系下的世界坐标之后,还包括:
基于所述目标物在所述世界坐标系下的世界坐标以及所述世界坐标系下的预设位置点的坐标,确定所述目标物与所述预设位置点之间的距离。
本公开实施例得到图像采集设备的当前单应性矩阵后,能够利用该当前单应性矩阵准确地确定目标物在世界坐标系中的世界坐标,进而确定与目标物之间的距离。
第二方面,本公开实施例提供了一种标定装置,包括:
获取模块,用于获取图像采集设备采集的包括多条车道线的路面图像,以及在世界坐标系下每条车道线上的多个位置点的世界坐标;
确定模块,用于基于每条车道线在所述路面图像中的位置信息、所述多个位置点的世界坐标和所述图像采集设备的初始单应性矩阵,确定所述图像采集设备的当前单应性矩阵。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的标定方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的标定方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种标定方法的流程图;
图2示出了本公开实施例所提供的一种获取每条车道线上的多个位置点的世界坐标的方法流程图;
图3示出了本公开实施例所提供的一种确定图像采集设备的当前单应性矩阵的方法流程图;
图4a示出了本公开实施例所提供的一种确定图像采集设备的当前单应性矩阵的流程图之一;
图4b示出了本公开实施例所提供的一种确定图像采集设备的当前单应性矩阵的流程图之二;
图4c示出了本公开实施例所提供的一种确定图像采集设备的当前单应性矩阵的流程图之三;
图5示出了本公开实施例所提供的一种基于图像采集设备的当前单应性矩阵进行测距的方法流程图;
图6示出了本公开实施例所提供的一种标定装置的结构示意图;
图7示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
在自动驾驶领域、机器人领域,常常需要依靠图像采集设备进行视觉测距,依靠图像采集设备进行视觉测距的原理是确定图像采集设备拍摄的目标物在图像坐标系中的像素坐标,然后基于图像采集设备的单应性矩阵,确定目标物在世界坐标系下的世界坐标,进而根据预设位置点的世界坐标以及目标物的世界坐标,确定出预设位置点与目标物之间的距离,这里的预设位置点可以为设置的世界坐标系原点,因此,单应性矩阵的准确性直接影响测距结果的精确性。车辆上的图像采集设备的单应性矩阵可以通过图像采集设备与车辆的位置关系进行预先标定得到,在对车辆上的图像采集设备进行标定后,即可以按照该单应性矩阵来确定目标物的距离,但是在车辆行驶过程中,由于长期行驶带来的机械振动或者车辆行驶在不平整的里面上时,可能会造成图像采集设备与车辆的相对位置发生改变,则初始的单应性矩阵可能不再准确。
基于上述研究,本公开提供了一种标定方法,在获取到图像采集设备采集的包含多条车道线路面图像、以及在世界坐标系下每条车道线上的多个位置点的世界坐标后,可以通过每条车道线在路面图像中的位置信息和多个位置点的世界坐标完成对初始单应性矩阵的调整,确定图像采集设备的当前单应性矩阵;示例性地,可以将图像采集设备设置在行驶的车辆上,这样随着车辆的行驶,路面图像始终是图像采集设备在与车辆保持当前相对位置关系下获取到的路面图像,这样在路面图像中包含多条车道线时,即可以对图像采集设备的初始单应性矩阵进行不断修正,进而缓解车辆行驶过程中因机械振动或者因车辆行驶的路面不平造成的单应性矩阵不再准确的问题。
下面将结合本公开中附图,对本公开中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种标定方法进行详细介绍,本公开实施例所提供的标定方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、个人数字处理(Personal DigitalAssistant,PDA)、手持设备、计算设备、车载设备等。在一些可能的实现方式中,该标定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为终端设备为例对本公开实施例提供的标定方法加以说明。
参见图1所示,为本公开实施例提供的标定方法的流程图,该标定方法可以应用于车载设备中的处理器,该标定方法包括步骤S101~S102,其中:
S101,获取图像采集设备采集的包括多条车道线的路面图像,以及在世界坐标系下每条车道线上的多个位置点的世界坐标。
示例性地,图像采集设备可以包括单目摄像机,或者单目照相机,可以包含用于采集RGB图像、灰度图像或者深度图像摄像头,该图像采集设备可以设置在车辆上,当车辆在路面中行驶时,图像采集设备可以拍摄当前路面的路面图像,然后将该路面图像发送至车载设备中的处理器,处理器对该路面图像中的车道线进行检测,若路面图像中包含多条车道线,至少包含两条不重合的车道线时,则可以根据该路面图像中每条车道线上的多个位置点确定图像采集设备的当前单应性矩阵。
这里每条车道线上的多个位置点为当前路面上的车道线的包含位置点,这些位置点可以为路面车道线上存在的位置点,即地理环境中真实存在的位置点。
示例性地,世界坐标系可以按照以下方式预先建立:
以车辆的前轴中心点或者车体中心在地面的映射点为原点,以车辆的前进方向为X轴,以垂直于车辆前进方向的方向为Y轴,以指向天空的方向为Z轴建立世界坐标系,在得到世界坐标系后,具体如何获取在世界坐标系下每条车道线上的多个位置点的世界坐标,将在后文进行详细介绍。
S102,基于每条车道线在路面图像中的位置信息、多个位置点的世界坐标和图像采集设备的初始单应性矩阵,确定图像采集设备的当前单应性矩阵。
示例性地,每条车道线在路面图像中的位置信息可以通过路面图像中构成的车道线的像素点在路面图像中的位置来表示,比如可以通过图像识别技术路面图像中筛选出构成车道线的像素点,进一步得到这些像素点在路面图像中像素坐标,然后可以通过这些像素点对应的像素坐标确定出车道线在路面图像中的直线方程,可以通过该直线方程表示车道线在路面图像中的位置信息。
示例性地,初始单应性矩阵可以是在车辆行驶之前进行标定的单应性矩阵,这里车辆行驶之前进行标定的单应性矩阵可以通过目前已知的标定方式进行标定,比如在静止的路面上摆放参照物,通过参照物在世界坐标系中的地理位置,以及参照物在图像采集设备获取的图像中的像素坐标,确定该图像采集设备在静止的车辆上的单应性矩阵。
随着车辆的行驶,图像采集设备与车辆之间的相关位置关系可能会发生变化,对应地,车辆行驶之前对图像采集设备进行标定得到的单应性矩阵也就不再准确,本公开实施例可以随着车辆的行驶,通过不断获取包含多条车道线的路面图像,来对车辆上的图像采集设备进行标定,每一次对图像采集设备进行标定的过程可以称为对图像采集设备上一次标定得到的单应性矩阵的修正过程,因此这里的初始单应性矩阵还可以是上一次修正后的单应性矩阵。
示例性地,基于图像采集设备的初始单应性矩阵,可以对多个位置点的世界坐标进行转换,得到多个位置点在路面图像中对应的位置,如果初始单应性矩阵是准确的,得到的多个位置点在路面图像中对应的位置对应的直线应该和车道线在路面图像中的位置信息重合,否则初始单应性矩阵不再准确,此时可以基于多个位置点在路面图像中对应的位置和车道线在路面图像中的位置信息,对初始单应性矩阵进行调整,得到图像采集设备的当前单应性矩阵。
以上S101~S102提出的标定方法,在获取到图像采集设备采集的包含多条车道线路面图像、以及在世界坐标系下每条车道线上的多个位置点的世界坐标后,可以通过每条车道线在路面图像中的位置信息和多个位置点的世界坐标完成对初始单应性矩阵的调整,确定图像采集设备的当前单应性矩阵;示例性地,可以将图像采集设备设置在行驶的车辆上,这样随着车辆的行驶,路面图像始终是图像采集设备在与车辆保持当前相对位置关系下获取到的路面图像,这样在路面图像中包含多条车道线时,即可以对图像采集设备的初始单应性矩阵进行不断修正,进而缓解车辆行驶过程中因机械振动或者因车辆行驶的路面不平造成的单应性矩阵不再准确的问题。
下面将结合具体的实施例来对上述S101~S102的过程进行分析。
针对上述S101,如图2所示,可以按照以下方式获取每条车道线上的多个位置点的世界坐标,具体包括S201~S202:
S201,确定路面图像中的目标线段与每条车道线的交点在世界坐标系下的世界坐标;
S202,基于每个交点的世界坐标,获取世界坐标系下每条车道线上的多个位置点的世界坐标。
经过大量测试结果显示,在世界坐标系下与原点越近的位置点按照单应性矩阵投影至路面图像后得到的像素坐标,随着单应性矩阵的变化,按照变化后的单应性矩阵投影回世界坐标系下时,在世界坐标坐标下的偏差越小,因此可以基于此来生成目标线段,使得目标线段的端点在世界坐标系下与原点之间的距离小于预设距离阈值,这样基于路面图像中的目标线段与每条车道线确定的交点在世界坐标系下与原点之间的距离也小于预设距离阈值,因此基于初始单应性矩阵将路面图像中的交点转换至世界坐标系下时,得到的交点在世界坐标系下的偏差也会很小,可以认为交点在世界坐标系下位于车道线上,基于此,可以基于每个交点的世界坐标,来获取世界坐标系下每条车道线上的多个位置点的世界坐标。
具体地,针对上述S201,在确定路面图像中的目标线段与每条车道线的交点在世界坐标系下的世界坐标时,包括以下S2011~S2012:
S2011,在世界坐标系下选取多个初始位置点,每个初始位置点与世界坐标系的原点之间的距离小于预设距离阈值。
如上文所述,在世界坐标系下与坐标系原点距离较近的位置点按照单应性矩阵投影至路面图像后得到的像素坐标,随着单应性矩阵的变化,按照变化后的单应性矩阵投影回世界坐标系下时,在世界坐标坐标下的偏差越小,因此这里选择与世界坐标系中的原点之间的距离小于预设距离阈值的位置点作为初始位置点,具体地,可以在世界坐标系建立完成后,按照该世界坐标系的原点以及预设距离阈值选择多个初始位置点。
示例性地,这里可以对初始位置点在路面图像中对应的初始像素坐标,随着图像采集设备位姿的变化,投影至世界坐标系下时对应的物理距离的偏差较小进行解释:
在路面图像中,随着图像采集设备位姿的变化,近处位置点(世界坐标系下与原点距离小于预设距离阈值的位置点)在路面图像中对应的像素点在世界坐标系下所对应的物理距离的偏移,小于远处位置点(世界坐标系下与原点距离大于或等于预设距离阈值的位置点)在路面图像中对应的像素点在世界坐标系下所对应的物理距离的偏移,其中,物理距离具体可以包括与世界坐标系下的横坐标轴之间的距离以及与世界坐标系下的纵坐标轴之间的距离,例如近处位置点对应的像素点在世界坐标系下与纵坐标轴之间物理距离为5m,甚至更小,远处位置点对应的像素点在世界坐标系下与纵坐标轴之间物理距离为20米,甚至更大,则在单应性矩阵发生变化后,根据多次试验证明,近处位置点对应的像素点在世界坐标系下的物理距离的偏移量要小于远处位置点对应的像素点在世界坐标系下的物理偏移量。
以一具体试验结果为例,在距离世界坐标系中的纵坐标轴5m远的某个位置点M在路面图像中所对应的像素坐标为(400,500),当图像采集设备的位姿发生变化时,世界坐标系下的该位置点M在路面图像中所对应的像素坐标可能变为(400,510),此时若仍将基于位姿发生变化之前的图像采集设备确定的像素坐标(400,500)作为位置点M的像素坐标,尽管单应性矩阵发生变化后位置点M的像素坐标(400,510)与单应性矩阵发生变化前的位置点M的像素坐标(400,500)在纵坐标方向上相差了10个像素,但是对应的物理距离只有50cm的偏差,因此在世界坐标系下与原点距离较近的位置点在路面图像中的像素坐标,随着图像采集设备的位姿变化,在世界坐标系中对应的物理距离的偏差较小。
S2012,基于初始单应性矩阵,确定多个初始位置点对应的初始像素坐标在路面图像中连接形成的目标线段,以及目标线段与每条车道线的交点在世界坐标系下的世界坐标。
示例性地,基于初始单应性矩阵可以确定多个初始位置点在路面图像中对应的初始像素坐标,进一步可以基于多个初始像素坐标进行直线拟合得到该目标线段,路面图像中目标线段与每条车道线的交点可以通过图像识别技术检测得到,也可以通过目标线段与车道线分别对应的直线方程来确定。
示例性地,在得到多个初始位置点后,可以根据初始单应性矩阵,得到多个初始位置点在路面图像中对应的初始像素坐标。
然后基于该初始像素坐标连接得到目标线段,在得到目标线段后,可以进一步确定目标线段与每条车道线的交点在路面图像对应的图像坐标系下的交点像素坐标,该交点像素坐标可以用于表征路面图像中的交点的位置信息,因选取的初始位置点在世界坐标系下是与世界坐标系的原点距离较近的位置点,因此通过初始单应性矩阵,得到的交点在世界坐标系中的世界坐标也近似可以用于表征路面上初始位置点构成的线段与车道线的交点,即目标线段与每条车道线在路面图像中的交点在世界坐标系下的世界坐标可以近似认为位于世界坐标系下的车道线上。
本公开实施例通过选择与世界坐标系中的原点距离较小的初始位置点,从而基于初始单应性矩阵得到的初始位置点在图像坐标系下的初始像素坐标对应的物理距离的误差较小,进而根据该初始像素坐标得到的交点在世界坐标系下对应的世界坐标的误差也就较小。
具体地,针对上述S2012,在基于初始单应性矩阵,确定多个初始位置点对应的初始像素坐标在路面图像中连接形成的目标线段,以及目标线段与每条车道线的交点在世界坐标系下的世界坐标时,包括以下S20121~S20124
S20121,基于初始单应性矩阵和每个初始位置点在世界坐标系下的初始位置坐标,确定每个初始位置点在路面图像中对应的初始像素坐标。
具体地,这里可以根据多个初始位置点在世界坐标系下的世界坐标构成的世界坐标矩阵为已知量,以图像采集设备的初始单应性矩阵作为已知量,然后代入像素坐标和世界坐标的转换方程中,得到多个初始位置点对应的初始像素坐标。
S20122,对多个初始位置点对应的初始像素坐标进行直线拟合得到目标线段。
示例性地,多个初始位置点包括两个初始位置点,目标线段即为两个初始位置点对应的初始像素坐标连接构成的线段。
S20123,获取目标线段与每条车道线的交点在路面图像中的交点像素坐标。
示例性地,在确定该交点像素坐标时,可以基于目标线段在路面图像中对应的直线方程与每条车道线在路面图像中的对应的直线方程,得到交点在路面图像对应的图像坐标系下的交点像素坐标,或者,也可以将该路面图像直接输入预先建立的像素坐标识别模型,确定每个交点对应的交点像素坐标。
这里,像素坐标确定模型可以先基于路面图像进行图像识别,确定出该交点在路面图像中的位置,然后基于确定的每个交点在路面图像中的位置确定这些交点在图像坐标系中的交点像素坐标。
S20124,基于交点的交点像素坐标和初始单应性矩阵,确定交点在世界坐标系下的世界坐标。
具体地,这里可以根据多个交点在图像坐标系中的交点像素坐标构成像素坐标矩阵为已知量,以图像采集设备的初始单应性矩阵作为已知量,然后代入像素坐标和世界坐标的转换方程中,得到多个交点在世界坐标系下的世界坐标。
进一步地,针对上述S202,在基于每个交点的世界坐标,获取世界坐标系下每条车道线上的多个位置点的世界坐标时,可以包括:
基于每个交点的世界坐标和预先设定的位置间隔,确定世界坐标系下与每个交点位于同一条车道线上的多个位置点的世界坐标。
根据上文提到的交点的世界坐标位于车道线在世界坐标系下对应的直线方程上,且车道线在世界坐标系下对应的直线方程可以确定,比如多条车道线为平行车道线,车辆在平行车道线之间行驶时,车道线在世界坐标系下对应的直线方程可以为平行于车辆行驶方向上的直线,若以车辆行驶方向为世界坐标系的X轴方向,则车道线在世界坐标系下的直线方程可以根据交点在世界坐标系下的世界坐标确定,比如某条车道线L对应的交点的世界坐标系为(a,b),则该车道线L在世界坐标系中对应的直线方程可以记为y=b,进一步,可以根据预先设定的位置间隔,比如间隔为5米,即可以基于与交点在同一车道线上,且与交点的世界坐标距离5米、10米、20米以及25米等位置点的世界坐标,按照相同的方式,即得到与每个交点位于同一条车道线上的多个位置点的世界坐标。
在得到每条车道线上的多个位置点的世界坐标系后,可以进一步确定图像采集设备的当前单应性矩阵,具体地,针对上述S102,在基于每条车道线在路面图像中的位置信息、多个位置点的世界坐标和图像采集设备的初始单应性矩阵,确定图像采集设备的当前单应性矩阵时,如图3所示,可以包括以下S301~S303:
S301,基于多个位置点的世界坐标和初始单应性矩阵,确定多个位置点在路面图像中的初始像素坐标。
示例性地,可以根据多个位置点的世界坐标和初始单应性矩阵,确定每条车道线上的多个位置点在路面图像所在的图像坐标系中的初始像素坐标,具体可以将多个位置点在世界坐标系中的世界坐标构成的世界坐标矩阵作为已知量,将图像采集设备的初始单应性矩阵作为已知量,然后代入像素坐标和世界坐标的转换方程中,得到多个位置点在路面图像所在的图像坐标系中的初始像素坐标。
S302,基于每条车道线在路面图像中的位置信息,对该条车道线上的多个位置点对应的初始像素坐标进行修正,得到该条车道线上的多个位置点在路面图像中的修正像素坐标。
示例性地,若初始单应性矩阵不再准确,确定的多个位置点的初始像素坐标与路面图像中的车道线的位置信息会存在偏差,基于该思想,本公开实施例提出的标定方法则可以该偏差对初始单应性矩阵进行修正。
示例性地,每条车道线在路面图像中的位置信息可以通过该车道线在路面图像对应的图像坐标系中的直线方程来表示。
示例性地,在确定每条车道线上的多个位置点的初始像素坐标偏离该车道线后,可以对该条车道线上的多个位置点的初始像素坐标进行修正,得到该条车道线上的多个位置点在路面图像中的修正像素坐标。
通过对初始像素坐标进行修正,可以使得这里得到的每条车道线上的多个位置点对应的修正像素坐标与该条车道线在路面图像中的位置关系,与该条车道线上的多个位置点的世界坐标与该条车道线在世界坐标系中的位置关系一致,从而进一步可以根据该条车道线上的多个位置点的修正像素坐标以及多个位置点的世界坐标,来确定图像采集设备的当前单应性矩阵。
S303,基于每条车道线上的多个位置点的修正像素坐标和世界坐标,得到图像采集设备的当前单应性矩阵。
具体地,可以基于每条车道线上的多个位置点的修正像素坐标构成像素坐标矩阵,基于每条车道线上的多个位置点在世界坐标系中的世界坐标构成世界坐标矩阵,然后以像素坐标矩阵和世界坐标矩阵作为已知量,以图像采集设备的当前单应性矩阵作为未知量,代入像素坐标和世界坐标的转换方程中,确定图像采集设备的当前单应性矩阵,将在后文进行详细介绍。
本公开实施例中,提出可以基于多个位置点的世界坐标和初始单应性矩阵,确定多个位置点在路面图像中的初始像素坐标,在初始单应性矩阵不再准确时,可以基于多个位置点的初始像素坐标与路面图像中的车道线的位置信息对初始像素坐标进行快速修正,从而快速基于修正像素坐标确定图像采集设备的当前单应性矩阵。
具体地,针对上述S302,在基于每条车道线在路面图像中的位置信息,对该条车道线上的多个位置点对应的初始像素坐标进行修正,得到该条车道线上的多个位置点在路面图像中的修正像素坐标时,可以包括以下步骤S3021~S3022:
S3021,基于每条车道线在路面图像中的位置信息,以及确定的该条车道线上的多个位置点对应的初始像素坐标,确定多个初始像素坐标的拟合直线,与该车道线在路面图像中对应的拟合直线之间的偏离角度。
这里由于随着车辆的行驶,当图像采集设备与车辆的相对位置发生变化后,图像采集设备的初始单应性矩阵可能不再准确,则基于该初始单应性矩阵确定的该条车道线上的多个位置点的初始像素坐标也不再准确,导致这些初始像素坐标的拟合直线与车道线在路面图像中对应的拟合直线可能并不重合,这样多个初始像素坐标对应的拟合直线,与该车道线在路面图像中对应的拟合直线之间就存在偏离角度。
具体地,车道线在路面图像中对应的拟合直线为路面图像中的感知车道线,即对路面图像进行车道线检测,得到构成车道线的多个像素点,然后基于多个像素点对应的像素坐标进行直线拟合,得到车道线在路面图像中对应的拟合直线。
具体地,在基于每条车道线在路面图像中的位置信息,以及确定的该条车道线上的多个位置点对应的初始像素坐标,确定多个初始像素坐标的拟合直线,与该车道线在路面图像中对应的拟合直线之间的偏离角度时,可以包括以下S30211~S30213:
S30211,基于每条车道线在路面图像中的位置信息,生成在路面图像中的每条车道线对应的图像坐标系下的第一车道线方程;
S30212,对每条车道线上的多个位置点对应的初始像素坐标进行直线拟合,生成每条车道线对应的第二车道线方程;
S30213,基于每条车道线对应的第一车道线方程和第二车道线方程,确定第二车道线方程所表征的直线相对于第一车道线方程所表征的直线的偏离角度。
在确定每条车道线对应的图像坐标系下的第一车道线方程时,可以先识别该条车道线在图像坐标系中的多个像素点,然后再基于这多个像素点,通过最小二乘法确定该条车道线对应的图像坐标系下的第一车道线方程。
同样,这里在对每条车道线上的多个位置点在图像坐标系下的初始像素坐标进行直线拟合时,也可以按照最小二乘法进行直线拟合,具体可以按照以下公式(1)、公式(2)和公式(3),得到该条车道线对应的第二车道线方程:
其中,(xi,yi)表示属于同一条车道线中第i个位置点的初始像素坐标;n表示属于同一条车道线上的多个位置点的个数;表示该条车道线上的多个位置点的初始像素坐标中横坐标值的平均值;表示该条车道线上的多个位置点的初始像素坐标中纵坐标值的平均值;b、b0和b1表示第二直线方程中的未知参数。
在将该条车道线上的多个位置点的初始像素坐标代入以上公式(1)~(3)中,得到该条车道线对应的第二直线方程中的未知参数b0和b1后,即可以得到该条车道线对应的第二直线方程:y=b1x-b0。
同样地,按照相同的方式,可以得到每条车道线对应的第二直线方程。
进一步地,在得到每条车道线对应的第一直线方程和第二直线方程后,即可以基于直线方程的斜率,确定第二车道线方程所表征的直线相对于第一车道线方程所表征的直线的偏离角度。
S3022,基于确定的偏离角度,对该条车道线上的多个位置点对应的初始像素坐标进行修正,得到该条车道线上的多个位置点在路面图像中的修正像素坐标。
在得到每条车道线上的多个位置点的初始像素坐标所在的直线相对于该条车道线所在的直线之间的偏离角度后,可以进一步根据该偏离角度对多个位置点的初始像素坐标进行修正,具体地可以通过以下公式(4)和公式(5)对多个位置点的初始像素坐标进行修正:
其中,(xi,yi)表示任一条车道线上的多个位置点中第i个位置点的初始像素坐标,(xi',yi')表示第i个位置点的修正像素坐标;n表示该条车道线上的多个位置点的个数;θ表示该任一条车道线对应的第二车道线方程所表征的直线相对于第一车道线方程所表征的直线的偏离角度;M(θ)表示该任一条车道线对应的第一车道线方程所表征的直线旋转至第二车道线方程所表征的直线时,对应的旋转矩阵。
按照相同的方式,即可以得到每条车道线上的多个位置点在路面图像中的修正像素坐标。
本公开实施例中每条车道线上的多个位置点在图像坐标系中的初始像素坐标是根据初始单应性矩阵确定的,当初始单应性矩阵不再准确时,基于该初始单应性矩阵确定的多个位置点在图像坐标系中的初始像素坐标会偏离对应的车道线,通过确定出每条车道线上的多个位置点在图像坐标系中的初始像素坐标与该条车道线的偏离角度,可以基于该偏离角度对该条车道线上的多个位置点的初始像素坐标进行修正,这样,即可以较为准确地确定出该条车道线上的多个位置点在图像坐标系中修正像素坐标。
针对上述S303,在得到每条车道线上的多个位置点在路面图像中的修正像素坐标后,即可以基于每条车道线上的多个位置点的修正像素坐标以及世界坐标,确定图像采集设备的当前单应性矩阵,具体地,可以按照以下过程确定图像采集设备的当前单应性矩阵:
记录每条车道线上的多个位置点在世界坐标系中的世界坐标为:(X1,Y1)~(XN,YN),这里的N表示路面图像中车道线上的多个位置点总和个数,记录世界坐标矩阵为A,修正像素坐标矩阵为C,图像采集设备的当前单应性矩阵为B,具体表示如下:
然后将世界坐标矩阵为A,修正像素坐标矩阵为C和当前单应性矩阵为B代入像素坐标和世界坐标的转换方程,转换方程用以下公式(6)表示:
A=B×C (6);
对该转换方程求解,得到图像采集设备的当前单应性矩阵B=(AAT)*(CAT)-1。
下面以路面图像中的包含两条车道线为例,结合图4a至图4c给出一种确定图像采集设备的当前单应性矩阵的具体实施方式:
如图4a所示,为设置于行驶的车辆上的图像采集设备获取到的路面图像,对该路面图像中的车道线进行识别,得到两条车道线,分别为车道线L1和车道线L2,然后选取距离世界坐标系原点较近的两个位置点,根据初始单应性矩阵得到这两个位置点在路面图像所在的图像坐标系中的初始像素坐标,即得到如图4a中A1和A2在图像坐标系中的初始像素坐标;然后确定A1和A2构成的目标线段分别与车道线L1的交点B1,以及与车道线L2的交点C1。
根据初始单应性矩阵对交点B1和C1的初始像素坐标进行转换,得到交点B1和交点C1在世界坐标系中对应的世界坐标,考虑到A1和A2是通过选取与世界坐标系原点较近的位置点以及初始单应性矩阵得到的,因此这里的交点B1和C1在世界坐标系中对应的世界坐标仍可以认为位于路面的车道线L1和L2所对应的直线方程上,然后根据车道线L1和车道线L2在世界坐标系中的直线方程,交点B1和C1在世界坐标系中的世界坐标,即可以继续得到在路面上位于车道线L1上的其它多个位置点,以及在路面上位于车道线L2上的其它多个位置点。
然后进一步基于初始单应性矩阵,即可以得到车道线L1上的多个位置点在路面图像所在的图像坐标系下对应的初始像素坐标,即得到图4b中B2、B3、B4和B5在图像坐标系下的初始像素坐标,对应地,得到车道线L2上的多个位置点在路面图像所在的图像坐标系下对应的初始像素坐标,即得到图4b中C2、C3、C4和C5在图像坐标系中的初始像素坐标。
然后再基于B1、B2、B3、B4和B5进行直线拟合,得到直线L1’,以及基于C1、C2、C3、C4和C5进行直线拟合,得到直线L2’,然后进一步确定出在图像坐标系中,直线L1’相对于直线L1的偏离角度θ1,以及直线L2’相对于直线L2的偏离角度θ2,然后再根据上述提到的公式(4)和公式(5)对B1、B2、B3、B4和B5的初始像素坐标进行修正,得到如图4c所示的B1’、B2’、B3’、B4’和B5’的修正像素坐标,以及对C1、C2、C3、C4和C5的初始像素坐标进行修正,得到如图4c所示的C1’、C2’、C3’、C4’和C5’的修正像素坐标。
然后将车道线L1和车道线L2上的多个位置点在世界坐标系中的世界坐标以及在图像坐标系中的修正像素坐标,代入像素坐标和世界坐标的转换方程,即可以得到图像采集设备的当前单应性矩阵。
进一步地,在得到图像采集设备的当前单应性矩阵后,可以基于该当前单应性矩阵对目标物进行测距,如图5所示,为本公开实施例提供的测距方法流程图,具体包括以下步骤S501~S504:
S501,获取图像采集设备拍摄目标物后得到的目标图像;
S502,基于目标图像,确定目标物在目标图像中的像素坐标;
S503,基于像素坐标和当前单应性矩阵,确定目标物在世界坐标系下的世界坐标;
S504,基于目标物在世界坐标系下的世界坐标以及世界坐标系下的预设位置点的坐标,确定目标物与预设位置点之间的距离。
以车辆为例,这里的预设位置点可以是车前轴中心点在地面的投影,也可以是车体中心在地面的投影,其作为世界坐标系的原点时,该原点的在世界坐标系中的坐标为已知的,可以将该预设位置点作为在测量目标物与车辆的距离时对应的车辆测距点。
S501~S504整个过程是指在得到图像采集设备的当前单应性矩阵后,通过该当前单应性矩阵进行测距的过程,因为目标物图像中的目标物是有面积大小的,在得到该目标物图像后,要根据该目标物图像确定目标物的测距点,再基于该测距点和预设位置点在世界坐标系中的世界坐标确定目标物与车辆的距离。
具体地,得到目标物所在的目标图像后,基于图像识别技术,得到目标物所在的标注框,比如可以将标注框与地面的切线的中心位置点作为测距点,然后将该测距点的像素坐标作为目标物在图像坐标系下的像素坐标。
在得到目标物在图像坐标系下的像素坐标后,将该目标物在图像坐标系下的像素坐标和当前单应性矩阵输入像素坐标和世界坐标的转换方程中,即可以得到目标物在世界坐标系下的世界坐标,进而根据目标物在世界坐标系下的世界坐标以及预设位置点的世界坐标,计算两者的欧式距离,即可以确定目标物与车辆之间的距离。
本公开实施例得到图像采集设备的当前单应性矩阵后,能够利用该当前单应性矩阵准确地确定目标物在世界坐标系中的世界坐标,进而确定与目标物之间的距离。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与标定方法对应的标定装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述标定方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图6所示,为本公开实施例提供的一种标定装置600的示意图,该标定装置600包括:
获取模块601,用于获取图像采集设备采集的包括多条车道线的路面图像,以及在世界坐标系下每条车道线上的多个位置点的世界坐标;
确定模块602,用于基于每条车道线在路面图像中的位置信息、多个位置点的世界坐标和图像采集设备的初始单应性矩阵,确定图像采集设备的当前单应性矩阵。
在一种可能的实施方式中,获取模块601用于按照以下方式获取每条车道线上的多个位置点的世界坐标:
确定路面图像中的目标线段与每条车道线的交点在世界坐标系下的世界坐标;
基于每个交点的世界坐标,获取世界坐标系下每条车道线上的多个位置点的世界坐标。
在一种可能的实施方式中,获取模块601在用于确定路面图像中的目标线段与每条车道线的交点在世界坐标系下的世界坐标时,包括:
在世界坐标系下选取多个初始位置点,每个初始位置点与世界坐标系的原点之间的距离小于预设距离阈值;
基于初始单应性矩阵,确定多个初始位置点对应的初始像素坐标在路面图像中连接形成的目标线段,以及目标线段与每条车道线的交点在世界坐标系下的世界坐标。
在一种可能的实施方式中,获取模块601在用于基于每个交点的世界坐标,获取世界坐标系下每条车道线上的多个位置点的世界坐标时,包括:
基于每个交点的世界坐标和预先设定的位置间隔,获取世界坐标系下与每个交点位于同一条车道线上的多个位置点的世界坐标。
在一种可能的实施方式中,获取模块601在用于基于初始单应性矩阵,确定多个初始位置点对应的初始像素坐标在路面图像中连接形成的目标线段,以及目标线段与每条车道线的交点在世界坐标系下的世界坐标时,包括:
基于初始单应性矩阵和每个初始位置点在世界坐标系下的初始位置坐标,确定每个初始位置点在路面图像中对应的初始像素坐标;
对多个初始位置点对应的初始像素坐标进行直线拟合得到目标线段;
获取目标线段与每条车道线的交点在路面图像中的交点像素坐标;
基于交点的交点像素坐标和初始单应性矩阵,确定交点在世界坐标系下的世界坐标。
在一种可能的实施方式中,确定模块602在用于基于每条车道线在路面图像中的位置信息、多个位置点的世界坐标和图像采集设备的初始单应性矩阵,确定图像采集设备的当前单应性矩阵时,包括:
基于多个位置点的世界坐标和初始单应性矩阵,确定多个位置点在路面图像中的初始像素坐标;
基于每条车道线在路面图像中的位置信息,对该条车道线上的多个位置点对应的初始像素坐标进行修正,得到该条车道线上的多个位置点在路面图像中的修正像素坐标;
基于每条车道线上的多个位置点的修正像素坐标以及世界坐标,得到图像采集设备的当前单应性矩阵。
在一种可能的实施方式中,确定模块602在用于基于每条车道线在路面图像中的位置信息,对该条车道线上的多个位置点对应的初始像素坐标进行修正,得到该条车道线上的多个位置点在路面图像中的修正像素坐标时,包括:
基于每条车道线在路面图像中的位置信息,以及确定的该条车道线上的多个位置点对应的初始像素坐标,确定多个初始像素坐标的拟合直线,与该车道线在路面图像中对应的拟合直线之间的偏离角度;
基于确定的偏离角度,对该条车道线上的多个位置点对应的初始像素坐标进行修正,得到该条车道线上的多个位置点在路面图像中的修正像素坐标。
在一种可能的实施方式中,确定模块602在用于基于每条车道线在路面图像中的位置信息,以及确定的该条车道线上的多个位置点对应的初始像素坐标,确定多个初始像素坐标的拟合直线,与该车道线在路面图像中对应的拟合直线之间的偏离角度时,包括:
基于每条车道线在路面图像中的位置信息,生成在路面图像中的每条车道线对应的图像坐标系下的第一车道线方程;
对每条车道线上的多个位置点对应的初始像素坐标进行直线拟合,生成每条车道线对应的第二车道线方程;
基于每条车道线对应的第一车道线方程和第二车道线方程,确定第二车道线方程所表征的直线相对于第一车道线方程所表征的直线的偏离角度。
在一种可能的实施方式中,确定模块602在确定图像采集设备的当前单应性矩阵之后,还用于:
获取图像采集部件拍摄目标物后得到的目标图像;
基于目标图像,确定目标物在目标图像中的像素坐标;
基于像素坐标和当前单应性矩阵,确定目标物在世界坐标系下的世界坐标。
在一种可能的实施方式中,确定模块602在确定目标物在世界坐标系下的世界坐标之后,还用于:
基于目标物在世界坐标系下的世界坐标以及世界坐标系下的预设位置点的坐标,确定目标物与预设位置点之间的距离。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的标定方法,本公开实施例还提供了一种电子设备700,如图7所示,为本公开实施例提供的电子设备700结构示意图,包括:
处理器701、存储器702、和总线703;存储器702用于存储执行指令,包括内存7021和外部存储器7022;这里的内存7021也称内存储器,用于暂时存放处理器701中的运算数据,以及与硬盘等外部存储器7022交换的数据,处理器701通过内存7021与外部存储器7022进行数据交换,当电子设备700运行时,处理器701与存储器702之间通过总线703通信,使得处理器701在执行以下指令:获取图像采集设备采集的包括多条车道线的路面图像,以及在世界坐标系下每条车道线上的多个位置点的世界坐标;基于每条车道线在路面图像中的位置信息、多个位置点的世界坐标和图像采集设备的初始单应性矩阵,确定图像采集设备的当前单应性矩阵。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中的标定方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的标定方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种标定方法,其特征在于,包括:
获取图像采集设备采集的包括多条车道线的路面图像,以及在世界坐标系下每条车道线上的多个位置点的世界坐标;
基于每条车道线在所述路面图像中的位置信息、所述多个位置点的世界坐标和所述图像采集设备的初始单应性矩阵,确定所述图像采集设备的当前单应性矩阵;
按照以下方式获取每条车道线上的多个位置点的世界坐标:
在所述世界坐标系下选取多个初始位置点,每个所述初始位置点与所述世界坐标系的原点之间的距离小于预设距离阈值;
基于所述初始单应性矩阵和每个所述初始位置点在所述世界坐标系下的初始位置坐标,确定每个所述初始位置点在所述路面图像中对应的初始像素坐标;
对所述多个初始位置点对应的初始像素坐标进行直线拟合得到目标线段;
获取所述目标线段与每条车道线的交点在所述路面图像中的交点像素坐标;
基于所述交点的交点像素坐标和所述初始单应性矩阵,确定所述交点在所述世界坐标系下的世界坐标;
基于每个所述交点的世界坐标和预先设定的位置间隔,获取世界坐标系下与每个所述交点位于同一条车道线上的多个位置点的世界坐标。
2.根据权利要求1所述的标定方法,其特征在于,所述基于每条车道线在所述路面图像中的位置信息、所述多个位置点的世界坐标和所述图像采集设备的初始单应性矩阵,确定所述图像采集设备的当前单应性矩阵,包括:
基于所述多个位置点的世界坐标和所述初始单应性矩阵,确定所述多个位置点在所述路面图像中的初始像素坐标;
基于每条车道线在所述路面图像中的位置信息,对该条车道线上的多个位置点对应的所述初始像素坐标进行修正,得到该条车道线上的多个位置点在所述路面图像中的修正像素坐标;
基于每条车道线上的多个位置点的所述修正像素坐标和所述世界坐标,得到所述图像采集设备的当前单应性矩阵。
3.根据权利要求2所述的标定方法,其特征在于,所述基于每条车道线在所述路面图像中的位置信息,对该条车道线上的多个位置点对应的初始像素坐标进行修正,得到该条车道线上的多个位置点在所述路面图像中的修正像素坐标,包括:
基于每条车道线在所述路面图像中的位置信息,以及确定的该条车道线上的多个位置点对应的所述初始像素坐标,确定多个所述初始像素坐标的拟合直线,与该车道线在所述路面图像中对应的拟合直线之间的偏离角度;
基于确定的所述偏离角度,对该条车道线上的多个位置点对应的所述初始像素坐标进行修正,得到该条车道线上的多个位置点在所述路面图像中的修正像素坐标。
4.根据权利要求3所述的标定方法,其特征在于,所述基于每条车道线在所述路面图像中的位置信息,以及确定的该条车道线上的多个位置点对应的所述初始像素坐标,确定多个所述初始像素坐标的拟合直线,与该车道线在所述路面图像中对应的拟合直线之间的偏离角度,包括:
基于每条车道线在所述路面图像中的位置信息,生成在所述路面图像中的每条车道线对应的图像坐标系下的第一车道线方程;
对每条车道线上的多个位置点对应的所述初始像素坐标进行直线拟合,生成每条车道线对应的第二车道线方程;
基于每条车道线对应的所述第一车道线方程和所述第二车道线方程,确定所述第二车道线方程所表征的直线相对于所述第一车道线方程所表征的直线的偏离角度。
5.根据权利要求1至4任一所述的标定方法,其特征在于,确定所述图像采集设备的当前单应性矩阵之后,还包括:
获取所述图像采集部件拍摄目标物后得到的目标图像;
基于所述目标图像,确定所述目标物在所述目标图像中的像素坐标;
基于所述像素坐标和所述当前单应性矩阵,确定所述目标物在所述世界坐标系下的世界坐标。
6.根据权利要求5所述的标定方法,其特征在于,在确定所述目标物在所述世界坐标系下的世界坐标之后,还包括:
基于所述目标物在所述世界坐标系下的世界坐标以及所述世界坐标系下的预设位置点的坐标,确定所述目标物与所述预设位置点之间的距离。
7.一种标定装置,其特征在于,包括:
获取模块,用于获取图像采集设备采集的包括多条车道线的路面图像,以及在世界坐标系下每条车道线上的多个位置点的世界坐标;
确定模块,用于基于每条车道线在所述路面图像中的位置信息、所述多个位置点的世界坐标和所述图像采集设备的初始单应性矩阵,确定所述图像采集设备的当前单应性矩阵;
所述获取模块具体用于:
在所述世界坐标系下选取多个初始位置点,每个所述初始位置点与所述世界坐标系的原点之间的距离小于预设距离阈值;
基于所述初始单应性矩阵和每个所述初始位置点在所述世界坐标系下的初始位置坐标,确定每个所述初始位置点在所述路面图像中对应的初始像素坐标;
对所述多个初始位置点对应的初始像素坐标进行直线拟合得到目标线段;
获取所述目标线段与每条车道线的交点在所述路面图像中的交点像素坐标;
基于所述交点的交点像素坐标和所述初始单应性矩阵,确定所述交点在所述世界坐标系下的世界坐标;
基于每个所述交点的世界坐标和预先设定的位置间隔,获取世界坐标系下与每个所述交点位于同一条车道线上的多个位置点的世界坐标。
8.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的标定方法的步骤。
9.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至6任一所述的标定方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011189288.3A CN112419423B (zh) | 2020-10-30 | 2020-10-30 | 一种标定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011189288.3A CN112419423B (zh) | 2020-10-30 | 2020-10-30 | 一种标定方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112419423A CN112419423A (zh) | 2021-02-26 |
CN112419423B true CN112419423B (zh) | 2024-11-05 |
Family
ID=74827832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011189288.3A Active CN112419423B (zh) | 2020-10-30 | 2020-10-30 | 一种标定方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112419423B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052904B (zh) * | 2021-03-19 | 2022-12-13 | 上海商汤临港智能科技有限公司 | 一种定位方法、装置、电子设备及存储介质 |
CN114199124B (zh) * | 2021-11-09 | 2023-07-25 | 汕头大学 | 基于线性拟合的坐标标定方法、装置、系统及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805934A (zh) * | 2017-04-28 | 2018-11-13 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
CN109300159A (zh) * | 2018-09-07 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 位置检测方法、装置、设备、存储介质及车辆 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109961482A (zh) * | 2017-12-22 | 2019-07-02 | 比亚迪股份有限公司 | 摄像头标定方法、装置和车辆 |
CN110570475A (zh) * | 2018-06-05 | 2019-12-13 | 上海商汤智能科技有限公司 | 车载摄像头自标定方法及装置和车辆驾驶方法及装置 |
CN111380502B (zh) * | 2020-03-13 | 2022-05-24 | 商汤集团有限公司 | 标定方法、位置确定方法、装置、电子设备及存储介质 |
CN111681286B (zh) * | 2020-06-09 | 2023-11-28 | 商汤集团有限公司 | 一种标定方法、装置、系统、电子设备及存储介质 |
-
2020
- 2020-10-30 CN CN202011189288.3A patent/CN112419423B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805934A (zh) * | 2017-04-28 | 2018-11-13 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
CN109300159A (zh) * | 2018-09-07 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 位置检测方法、装置、设备、存储介质及车辆 |
Also Published As
Publication number | Publication date |
---|---|
CN112419423A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859278B (zh) | 车载相机系统相机外参的标定方法及标定系统 | |
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
CN112489136B (zh) | 标定方法、位置确定方法、装置、电子设备及存储介质 | |
LU502288B1 (en) | Method and system for detecting position relation between vehicle and lane line, and storage medium | |
EP3676796A1 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
CN112946591B (zh) | 外参标定方法、装置、电子设备及存储介质 | |
CN105335955A (zh) | 对象检测方法和对象检测装置 | |
CN112967344B (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
CN111540004A (zh) | 单相机极线校正方法及装置 | |
CN112907746B (zh) | 电子地图的生成方法、装置、电子设备及存储介质 | |
CN112419423B (zh) | 一种标定方法、装置、电子设备及存储介质 | |
CN105551020A (zh) | 一种检测目标物尺寸的方法及装置 | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
CN112348752B (zh) | 一种基于平行约束的车道线消失点补偿方法及装置 | |
CN112016568B (zh) | 一种目标对象的图像特征点的跟踪方法及装置 | |
CN112733773B (zh) | 一种对象检测方法、装置、计算机设备和存储介质 | |
US11477371B2 (en) | Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method | |
CN110796604A (zh) | 一种图像校正方法及装置 | |
CN112598736A (zh) | 一种基于地图构建的视觉定位方法及装置 | |
CN111738035A (zh) | 车辆偏航角的计算方法、装置和设备 | |
CN107844749B (zh) | 路面检测方法及装置、电子设备、存储介质 | |
CN113932793B (zh) | 三维坐标定位方法、装置、电子设备和存储介质 | |
CN116030139A (zh) | 摄像头检测方法、装置、电子设备及车辆 | |
CN113554711B (zh) | 相机在线标定方法、装置、计算机设备和存储介质 | |
CN113723432A (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |