具体实施方式
为了使得本公开的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。基于本公开中描述的实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
首先,参照图3来描述根据本公开实施例的用于三维重建的图像的获取方法。该方法中需要至少两个光源和至少三个摄像头。
如图3所示,在步骤S310,控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化。
在该步骤中对光源的亮度进行控制。具体的,控制光源的亮度使得所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同。
例如,假设所述光源为m个(m≥2),则控制该m个光源的亮度均周期性的变化。该m个光源各自的亮度变化的周期可以根据具体情况来任意设定,只要保证m个光源的亮度变化的周期不全都相同(即至少要有一个光源的亮度变化的周期不同于其他光源)、或者m个光源的亮度变化的周期全都相同但相位不全都相同(即至少要有一个光源的亮度变化的相位不同于其他光源)即可。
可选的,可以控制所述m个光源的亮度变化的周期与进行图像采集的至少三个摄像头的曝光时间相当。例如,可以控制m个光源的亮度变化的周期与各摄像头的曝光时间为同一数量级;再比如,可以控制光源的亮度变化的周期和摄像头的曝光时间使得所述至少三个摄像头的曝光时间均大于m个光源的亮度变化的周期中的最大周期的一半,并且均小于m个光源的亮度变化的周期中的最小周期的两倍。
另外,本实施例中对于所述m个光源的物理位置没有特殊的要求,只要它们是空间上分离的即可。
在步骤S320中,采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像。
与常见的多目相机图像采集方式不同,在该步骤中,所述至少三个摄像头中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同。例如,假设所述摄像头为n个(n≥3),则该n个摄像头并非全都在同一时刻进行拍摄,而是至少要有一个摄像头的开始曝光时间不同于其他摄像头。
可选的,具有与其他摄像头不同的开始曝光时间的摄像头比其他摄像头延迟预定的时间开始曝光。例如,假设摄像头i的开始曝光时间不同于其他摄像头,并且其他n-1个摄像头均在t0时刻开始曝光,则摄像头i在t1=t0+△t时刻开始曝光,其中△t为预定的延迟时间。可选的,该预定的延迟时间小于所述m个光源的亮度变化的周期中的最大周期。
以上,已经对根据本公开实施例的用于三维重建的图像的获取方法进行了描述。按照该方法,通过控制光源亮度变化和摄像头的开始曝光时间,使得各摄像头在拍摄时,对其产生主要影响的光源可能不相同,从而从各摄像头看到的高光区域的位置倾向于并不都是由相同的光源造成的;因此即使由于受高光的影响,在进行像素匹配时针对各摄像头找到的匹配像素的位置与实际正确的位置有偏差,也不太可能由于偏差程度恰好合适而导致在三角测距时误以为找到了一个重建三维点,从而有效地减少了三维重建错误。另外,能够理解,在上述方法中,在一次采集中,每个摄像头均只需拍摄一幅图像,因此采集所需要的时间较短。
为了使得本领域技术人员能够更好地理解上述根据本实施例的用于三维重建的图像的获取方法,以下结合图4利用一个具体而非限制性的示例对该方法进行描述。
图4示出了根据本公开实施例的用于三维重建的图像的获取方法的一个具体示例。如图4所示,在该具体示例中采用两个光源和三个摄像头,并且光源和摄像头一字排布。当然,光源和摄像头的这一排布方式仅仅是一种示例,本领域技术人员可以根据具体情况采用其他排布方式,只要两个光源是空间上分离的即可。
在该示例中,光源1和光源2的亮度按照例如三角波做周期变化,并且光源1和光源2的亮度变化的周期相同、相位相差半个周期。能够理解,光源1和光源2的亮度变化的相位相差半个周期仅仅是一个示例,两者的相位也可以相差其他角度。另外,尽管图4中显示出光源1和2的亮度变化的最大值是相同的,但这并不是必须的,本公开中对此并无限制。
另一方面,如图4所示,在该示例中,假设摄像头1和3在同一时刻开始进行拍摄,而摄像头2比摄像头1和3延迟一段时间后曝光。另外,作为示例,图4中示出摄像头1-3的曝光时间相同,但这并不是必须的,本公开中对此并无限制。
对于如图4所示的示例,由于在摄像头1和3的曝光过程中,光源1的亮度较高,而光源2的亮度较低,因此摄像头1和3受光源1的影响较多,从而从摄像头1和3看到的高光区域的位置更倾向于是由于光源1而造成的;与此相反,在摄像头2的曝光过程中,光源2的亮度较高,而光源1的亮度较低,因此摄像头2受光源2的影响较多,从而从摄像头2看到的高光区域的位置更倾向于是由于光源2而造成的。在这样的情况下,对于例如图2所示的物体形状,从摄像头2看到的高光区域的位置会比实际位置偏左,而从摄像头3看到的高光区域的位置会比实际位置偏右,因此在三角测距时与各摄像头对应的三维射线不可能刚好交于同一点,从而避免了错误地找到一个重建三维点的情形。
以上已经对根据本公开实施例的用于三维重建的图像的获取方法进行了描述。下面将对应用该方法的三维重建进行描述。图5例示了根据本公开实施例的三维重建方法的流程图。
如图5所示,在步骤S510,控制在空间上分离设置的至少两个光源中的每个光源的亮度周期性地变化,其中所述至少两个光源中至少有一个光源的亮度变化的周期与其他光源不同,或者所述至少两个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同;在步骤S520,采用在空间上位置不同的至少三个摄像头分别采集用于三维重建的图像,其中至少有一个摄像头进行采集的开始曝光时间与其他摄像头不同。步骤S510和步骤S520的具体处理分别与上文中描述的图3中的步骤S310和步骤S320的具体处理相同,此处不再赘述。
在步骤S530,以任一摄像头采集到的图像为基准图像,对于该基准图像中的任一像素,利用该任一像素与每一个其他摄像头采集到的图像中与该像素匹配的像素分别确定一个候选的重建点。
假设摄像头共有n个(n≥3),并以该n个摄像头中的摄像头j采集到的图像作为基准图像,则对于该基准图像中的任一像素都按照该步骤的处理来选择候选的重建点。具体的,针对基准图像中的任一像素P,对于其他n-1个摄像头中的每个摄像头采集到的图像,均通过诸如特征匹配等方式在其中寻找一个匹配像素,并通过三角测距利用该匹配像素与所述像素P确定一个候选的重建点,由此对于n个摄像头可以得到n-1个候选的重建点。上述匹配像素的寻找、利用三角测距确定候选重建点等均是本领域中的常见处理,此处不再对其细节进行详细描述。
在步骤S540,如果各个候选的重建点在预定范围内,则基于各个候选的重建点构建三维重建点,否则不构建所述三维重建点。
如前所述,对于n个摄像头,通过步骤S530将确定出n-1个候选的重建点。如果该n-1个候选的重建点之间的距离比较近,例如在一个预定范围内,则认为所确定的该n-1个候选的重建点是正确的,均指向空间中的同一个三维重建点。此时可以利用最小二乘法等本领域中各种常用处理方式基于该n-1个候选的重建点来构建对应于像素P的三维重建点。所述预定范围的大小代表对于匹配误差的容忍程度,其可以根具体需要来设定。
相反,如果该n-1个候选的重建点之间出现了冲突,即该n-1个候选的重建点之间的距离过远,例如超出了预定范围,则认为所确定的该n-1个候选的重建点受到了高光的干扰,是不正确的,因而无法构建正确的三维重建点。此时不基于所述n-1个候选的重建点来构建对应于像素P的三维重建点,而是丢弃它们。
以上,已经对根据本公开实施例的三维重建方法进行了描述。在该方法中,通过控制光源亮度变化和摄像头的开始曝光时间,可以有效识别出图像中受高光影响的区域,从而能够排除高光干扰所致的像素匹配偏差导致的错误三维点,有效减少三维重建错误。
下面,参考图6来描述根据本公开实施例的用于三维重建的图像的获取系统。
如图6所示,该获取系统600包括在空间上分离设置的m(m≥2)个光源、以及在空间上位置不同的n(n≥3)个摄像头。
m个光源中的每个光源的亮度均周期性地变化,并且其中至少有一个光源的亮度变化的周期与其他光源不同,或者所述m个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同。
该m个光源各自的亮度变化的周期可以根据具体情况来任意设定,只要保证m个光源的亮度变化的周期不全都相同(即至少要有一个光源的亮度变化的周期不同于其他光源)、或者m个光源的亮度变化的周期全都相同但相位不全都相同(即至少要有一个光源的亮度变化的相位不同于其他光源)即可。
可选的,m个光源的亮度变化的周期与n个摄像头的曝光时间相当。例如,m个光源的亮度变化的周期与各摄像头的曝光时间为同一数量级;再比如,光源的亮度变化的周期和摄像头的曝光时间可以设定为:n个摄像头的曝光时间均大于m个光源的亮度变化的周期中的最大周期的一半,并且均小于m个光源的亮度变化的周期中的最小周期的两倍。
另外,本实施例中对于m个光源的物理位置没有特殊的要求,只要它们是空间上分离的即可。
空间上位置不同的n个摄像头分别采集用于三维重建的图像。与常见的多目相机图像采集方式不同,n个摄像头并非全都在同一时刻进行拍摄,而是至少要有一个摄像头的开始曝光时间不同于其他摄像头。
可选的,具有与其他摄像头不同的开始曝光时间的摄像头比其他摄像头延迟预定的时间开始曝光。例如,假设摄像头i的开始曝光时间不同于其他摄像头,并且其他n-1个摄像头均在t0时刻开始曝光,则摄像头i在t1=t0+△t时刻开始曝光,其中△t为预定的延迟时间。可选的,该预定的延迟时间小于所述m个光源的亮度变化的周期中的最大周期。
在如上所述的系统中,通过控制光源亮度变化和摄像头的开始曝光时间,使得各摄像头在拍摄时,对其产生主要影响的光源可能并不相同,从而从各摄像头看到的高光区域的位置倾向于并不都是由相同的光源造成的;因此即使由于受高光的影响,在进行像素匹配时针对各摄像头找到的匹配像素的位置与实际正确的位置有偏差,也不太可能由于偏差程度恰好合适而导致在三角测距时误以为找到了一个重建三维点,从而有效地减少了三维重建错误。另外,能够理解,在该系统中,在一次采集中,每个摄像头均只需拍摄一幅图像,因此采集所需要的时间较短。
以上已经对根据本公开实施例的用于三维重建的图像的获取系统进行了描述。下面将结合图7对应用该系统的三维重建系统进行描述。图7示出了根据本公开实施例的三维重建系统的示意性结构框图。
如图7所示,该三维重建系统700包括在空间上分离设置的m(m≥2)个光源、在空间上位置不同的n(n≥3)个摄像头、以及图像处理设备710。
m个光源中的每个光源的亮度均周期性地变化,并且其中至少有一个光源的亮度变化的周期与其他光源不同,或者m个光源的亮度变化的周期相同、且其中至少有一个光源的亮度变化的相位与其他光源不同。
空间上位置不同的n个摄像头分别采集用于三维重建的图像。与常见的多目相机图像采集方式不同,所述n个摄像头并非全都在同一时刻进行拍摄,而是至少要有一个摄像头的开始曝光时间不同于其他摄像头。
上述空间上分离设置的m个光源、空间上位置不同的n个摄像头的具体结构和功能分别与上文中描述的图6中的m个光源和n个摄像头的具体结构和功能处理相同,此处不再赘述。
图像处理设备710以任一摄像头采集到的图像为基准图像,对于该基准图像中的任一像素,利用该任一像素与每一个其他摄像头采集到的图像中与该像素匹配的像素分别确定一个候选的重建点;如果各个候选的重建点在预定范围内,则图像处理设备710基于各个候选的重建点构建三维重建点,否则不构建所述三维重建点。
假设以n个摄像头中的摄像头j采集到的图像作为基准图像,则图像处理设备710对于该基准图像中的任一像素都按照上述方式来选择候选的重建点。具体的,针对基准图像中的任一像素P,对于其他n-1个摄像头中的每个摄像头采集到的图像,图像处理设备710均通过诸如特征匹配等方式在其中寻找一个匹配像素,并通过三角测距利用该匹配像素与所述像素P确定一个候选的重建点,由此对于n个摄像头可以得到n-1个候选的重建点。匹配像素的寻找、利用三角测距确定候选重建点等均是本领域中的常见处理,此处不再对其细节进行详细描述。
如果该n-1个候选的重建点之间的距离比较近,例如在一个预定范围内,则认为所确定的该n-1个候选的重建点是正确的,均指向空间中的同一个三维重建点。此时图像处理设备710可以利用最小二乘法等本领域中各种常用处理方式基于该n-1个候选的重建点来构建对应于像素P的三维重建点。所述预定范围的大小代表对于匹配误差的容忍程度,其可以根具体需要来设定。
相反,如果该n-1个候选的重建点之间出现了冲突,即该n-1个候选的重建点之间的距离过远,例如超出了预定范围,则认为所确定的该n-1个候选的重建点受到了高光的干扰,是不正确的,因而无法构建正确的三维重建点。此时图像处理设备710不基于所述n-1个候选的重建点来构建对应于像素P的三维重建点,而是丢弃它们。
以上,已经对根据本公开实施例的三维重建系统进行了描述。在该系统中,通过控制光源亮度变化和摄像头的开始曝光时间,可以有效识别出图像中受高光影响的区域,从而能够排除高光干扰所致的像素匹配偏差导致的错误三维点,有效减少三维重建错误。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,以便例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是,在本公开的系统和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外,本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而,所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。