CN105791662A - 电子设备和控制方法 - Google Patents
电子设备和控制方法 Download PDFInfo
- Publication number
- CN105791662A CN105791662A CN201410806362.XA CN201410806362A CN105791662A CN 105791662 A CN105791662 A CN 105791662A CN 201410806362 A CN201410806362 A CN 201410806362A CN 105791662 A CN105791662 A CN 105791662A
- Authority
- CN
- China
- Prior art keywords
- image capture
- capture module
- image
- parallax range
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
提供了一种包括图像采集单元的电子设备和用于该电子设备的控制方法。该电子设备可包括:输入单元,用于从外部接收景深指令信息,该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息;图像采集单元,包括N个图像采集模块,该N个图像采集模块能够形成多个不同的基线距离;处理单元,用于基于所述景深指令信息选择基线距离,基于所选择的基线距离从N图像采集单元中选择图像采集模块,控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像,利用所采集的同一目标物体的图像来计算所述目标物体的深度信息。利用根据本申请实施例的技术方案,能够灵活地获取不同距离范围的景象的深度信息。
Description
技术领域
本发明涉及电子技术领域,更具体地,涉及一种包括图像采集单元的电子设备和用于该电子设备的控制方法。
背景技术
获取场景中各点相对于图像采集设备的距离是成像系统的重要任务之一。场景中每点相对于图像采集设备的距离可以用深度信息来表示,各点的深度信息可以形成深度图,从而利用深度图中的每一个像素值表示场景中某一点与图像采集之间的距离。利用所述深度图,可以进行手势识别、三维建模、图片的背景置换、物体测量等。
可以采用各种方式来获取所述深度图中的深度信息。典型的方式是使用两个相隔一定距离的图像采集器件同时获取场景图像以计算深度信息。当两个图像采集器件之间的距离等参数固定时,所计算的深度信息的范围也固定。利用这种方式,只能获取远距离的景象的深度信息,或者只能获取近距离的景象的深度信息,即所获得的深度信息的范围是相对固定的。相对固定的深度范围极大地约束了电子设备的应用。
因此,期望提供一种图像采集技术来灵活地获取不同距离范围的景象的深度信息。
发明内容
本申请实施例提供了一种包括图像采集单元的电子设备和用于该电子设备的控制方法,其能够灵活地获取不同距离范围的景象的深度信息。
第一方面,提供了一种电子设备。该电子设备可包括:输入单元,用于从外部接收景深指令信息,该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息;图像采集单元,包括N个图像采集模块,每个图像采集模块能够采集图像,该N个图像采集模块能够形成多个不同的基线距离,所述基线距离是所述N个图像采集模块中的两个图像采集模块的光心之间的距离,所述N为大于等于2的整数;处理单元,用于基于所述景深指令信息从所述多个不同的基线距离中选择基线距离,从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块,控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像,利用所采集的同一目标物体的图像来计算所述目标物体的深度信息。
结合第一方面,在第一方面的一种实现方式中,所述N个图像采集模块可包括位置固定的第一图像采集模块和位置可调的第二图像采集模块,该第二图像采集模块可改变位置以调整其与第一图像采集模块之间的基线距离。
结合第一方面及其上述实现方式,在第一方面的另一实现方式中,所述处理单元可以从所述N图像采集单元中选择所述第一图像采集模块和所述第二图像采集模块,并指令所述第二图像采集模块改变位置以与所述第一图像采集模块之间形成所选择的基线距离。
结合第一方面及其上述实现方式,在第一方面的另一实现方式中,所述N可以为大于等于3的整数,所述N个图像采集模块中的至少三个图像采集模块可被固定地设置在同一直线上。
结合第一方面及其上述实现方式,在第一方面的另一实现方式中,所述至少三个图像采集模块中的任意两个相邻图像采集模块之间的基线距离可以彼此不同。
结合第一方面及其上述实现方式,在第一方面的另一实现方式中,所述至少三个图像采集模块中的任意两个图像采集模块之间的基线距离可彼此不同。
结合第一方面及其上述实现方式,在第一方面的另一实现方式中,所述N个图像采集模块中的两个可以具有不同的物理参数。
第二方面,提供了一种控制方法,应用于一电子设备。该电子设备包括图像采集单元和输入单元。所述图像采集单元包括N个图像采集模块。每个图像采集模块能够采集图像,该N个图像采集模块能够形成多个不同的基线距离。所述基线距离是所述N个图像采集模块中的两个图像采集模块的光心之间的距离。所述N为大于等于2的整数。所述控制方法可包括:通过所述输入单元从外部接收景深指令信息,该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息;基于所述景深指令信息从所述多个不同的基线距离中选择基线距离;从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块;控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像;和利用所采集的同一目标物体的图像来计算所述目标物体的深度信息。
结合第二方面,在第二方面的一种实现方式中,所述N个图像采集模块可包括位置固定的第一图像采集模块和位置可调的第二图像采集模块,该第二图像采集模块可以改变位置以调整其与第一图像采集模块之间的基线距离。
结合第二方面及其上述实现方式,在第二方面的另一实现方式中,所述从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块可包括:从所述N图像采集单元中选择所述第一图像采集模块和第二图像采集模块;调整所述第二图像采集模块的位置,以使得第二图像采集模块的光心与第一图像采集模块的光心之间的距离为所选择的基线距离。
结合第二方面及其上述实现方式,在第二方面的另一实现方式中,所述N可以为大于等于3的整数,所述N个图像采集模块中的至少三个图像采集模块可以被固定地设置在同一直线上。
结合第二方面及其上述实现方式,在第二方面的另一实现方式中,所述至少三个图像采集模块中的任意两个相邻图像采集模块之间的基线距离可以彼此不同,所述从N图像采集单元中选择形成所选择的基线距离的图像采集模块可包括从所述至少三个图像采集模块中选择具有所选择的基线距离的相邻的两个图像采集模块。
结合第二方面及其上述实现方式,在第二方面的另一实现方式中,所述至少三个图像采集模块中的任意两个图像采集模块之间的基线距离可以彼此不同,所述从N图像采集单元中选择形成所选择的基线距离的图像采集模块可包括:从所述至少三个图像采集模块中选择具有所选择的基线距离的两个图像采集模块。
结合第二方面及其上述实现方式,在第二方面的另一实现方式中,所述N个图像采集模块中的两个可以具有不同的物理参数。
在根据本申请实施例的包括图像采集单元的电子设备和用于该电子设备的控制方法的技术方案中,通过设置能够形成多个不同的基线距离的图像采集模块,基于所述景深指令信息选择所需基线距离的图像采集模块进行图像采集,从而能够灵活地获取不同距离范围的景象的深度信息。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是示意性图示了本申请的实施例的应用场景的示意图;
图2是示意性图示了根据本申请实施例的电子设备的框图;
图3图示了图2的电子设备中的图像采集单元的第一示例;
图4图示了图2的电子设备中的图像采集单元的第二示例;
图5是示意性图示了根据本申请实施例的控制方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。
图1是示意性图示了本申请的实施例的应用场景的示意图。如图1所示,电子设备包括两个图像采集模块,即图像采集模块1和图像采集模块2。每个图像采集器件能够进行图像采集。这里,例如对包括大树的景象进行图像采集。该图像采集模块1和图像采集模块2的位置不同,所以他们是以不同的视点观察要采集的所述景象。因此,利用图像采集模块1和图像采集模块2能够获得不同视角下的感知图像。利用三角测量原理计算所采集的不同视角下的感知图像中的像素之间的位置偏差,从而获取所述景象的深度信息。
图像采集模块1对所述景象进行图像采集而获得第一图像,图像采集模块2对所述景象进行图像采集而获得第二图像。要采集的景象中的某个物点在第一图像和第二图像中分别具有第一投影点和第二投影点。当第一图像和第二图像重叠时,所述第一投影点和第二投影点之间的距离即是视差Dis。景象中的所述物点的深度信息Z可通过如下的公开(1)来计算:
其中,所述B是图像采集模块1和图像采集模块2之间的基线距离,即是图像采集模块1的光心与图像采集模块2的光心之间的距离,所述F是图像采集模块1和图像采集模块2在进行图像采集时的焦距,Dis是物点的视差,即其第一投影点和第二投影点之间的距离。
通常所述基线距离B是固定的。在图像采集模块1和图像采集模块2的焦距的调整范围也是相对固定的。相应地,利用所述图像采集模块1和图像采集模块2所测量的深度信息的范围也是有限的。例如,所述电子设备可能只能获得1至3米的近景范围内的深度信息,或者所述电子设备可能只能获得5至8米的远景范围内的深度信息。这里,所述近景范围或远景范围仅仅是示例,根据所述图像采集模块1和图像采集模块2的物理参数的不同,其还可以是其它的范围。
在本申请的实施例中,通过在电子设备中合理地设置其中的图像采集模块,使得可能形成不同的基线距离,从而能够灵活地获取不同距离范围的景象的深度信息。
图2是示意性图示了根据本申请实施例的电子设备200的框图。该电子设备200例如可以是相机、计算机、移动电话机、个人数字助理等。电子设备的类型不构成对本申请实施例的限制。
如图2所示,该电子设备200包括:输入单元210,用于从外部接收景深指令信息,该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息;图像采集单元220,包括N个图像采集模块,每个图像采集模块能够采集图像,该N个图像采集模块能够形成多个不同的基线距离,所述基线距离是所述N个图像采集模块中的两个图像采集模块的光心之间的距离,所述N为大于等于2的整数;处理单元230,用于基于所述景深指令信息从所述多个不同的基线距离中选择基线距离,从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块,控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像,利用所采集的同一目标物体的图像来计算所述目标物体的深度信息。
所述输入单元210接收外部的景深指令信息。该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息。该景深指令信息可以是用户根据目测结果做出的判断。
当需要获取目标物体的深度信息时,电子设备的用户可以首先粗略判断所述该电子设备与该目标物体之间的距离,以确定是该目标物理出于近景范围还是远景范围。例如,当所述电子设备用于会议室中的手势识别时,可以将0-2米设置为近距范围,将2-5米设置为中距范围,将5-8米设置为远距范围。然而,当所述电子设备用于画面中的背景置换时,画面中的背景可能是附近的建筑、植物等,也可能是远处的高山、蓝天等,则每个距离范围内的跨度相应较大,例如可以将0-5米设置为近距范围,将5-10米设置为中距范围,将10米以上设置为远距范围。这里,以近距范围、中距范围、远距范围这三个范围为例进行描述,在实践中还可以采用其它的划分方式,例如可以仅仅设置近距范围、和远距范围这两个范围,或者可以在所述三个范围的基础上增加其它的距离范围。
所述景深指令信息例如可以是上面所述的近距范围、中距范围、和远距范围之一。可以预先设置各个范围与具体的距离区间的对应关系,从而用户避免数字输入,并且对于用户而言更直观。所述输入单元210可以是设置在电子设备中的参数按钮。例如,当用户按下该参数按钮时,向用户显示所述近距范围、中距范围、和远距范围,然后当用户选择所述中距范围时,将该中距范围作为所述景深指令信息。
替换地,所述输入单元210还可以是物理的虚拟的键盘输入,还可以是语音输入等。该输入单元210的具体实现不构成对本申请实施例的限制。
所述图像采集单元220包括N个图像采集模块,如图2所示的第一图像采集模块221、第二图像采集模块222、......、第N图像采集模块22N。由于计算深度信息需要两个图像采集模块,所以N的最小取值是2,其还可以是3、4、5等。每个图像采集模块能够独立地采集图像。在本申请实施例中,要利用该N个图像采集模块形成不同的基线距离,从而利用不同的基线距离来测量不同范围的深度信息,以提高所测量的深度信息的准确度。
各个图像采集模块可以具有相同的物理参数,例如,被选择进行图像采集的两个图像采集模块可具有相同的焦距。被选择进行图像采集的两个图像采集模块也可以具有不同的物理参数,例如具有不同的分辨率。当被选择进行图像采集的两个图像采集模块具有相同的物理参数时,在对所采集的图像进行处理以获得深度信息的过程中,可以降低该处理过程的复杂度。当被选择进行图像采集的两个图像采集模块具有不同的物理参数时,在对所采集的图像进行处理以获得深度信息的过程中,可以增加该处理结果的准确度或范围,但是其处理复杂度可能增加。
图3图示了图2的电子设备中的图像采集单元220的第一示例。如图3所示,所述图像采集单元220可包括第一图像采集模块221和第二图像采集模块222。第一图像采集模块221的位置固定,其例如位置图3中的位置P1处。第二图像采集模块222的位置可调,其例如位于图3中的位置P2或P3处,还可以是其它的位置。在图3中,第二图像采集模块222在与第一图像采集模块221所形成的直线上变化,这仅仅是示例。通常,第二图像采集模块222可以位于与深度方向垂直的同一平面内的任何其它位置。作为示例,可以在第二图像采集模块222中设置致动器,以调整其位置。
当第二图像采集模块222的位置改变时,第二图像采集模块222的光心与第一图像采集模块221的光心之间的距离也变化,即二者之间的基线距离变化。根据上面的公式(1)可知,当基线距离大时,可以测量远距离的目标物体的深度信息;当基线距离小时,可以测量近距离的目标物体的深度信息。该第二图像采集模块222的位置可以连续可调,也可以是离散可调,即第二图像采集模块222的位置是几个可选的点上。因此,在图3所示的图像采集单元220中,可通过改变第二图像采集模块的位置来调整其与第一图像采集模块之间的基线距离。
替换地,所述图像采集单元220除了包括所述第一图像采集模块221和第二图像采集模块222之外,还可以包括其它的图像采集模块。或者,该第一图像采集模块221的位置也可以是可调的,从而增加基线距离的调整范围。
除了调整特定图像采集模块的位置以改变两个图像采集模块之间的基线距离之外,还可以采取其它的方式来获得不同的基线距离。例如,可以在图像采集单元220中的不同位置上固定地设置N个图像采集模块,并利用不同的两个图像采集模块来形成不同的基线距离。例如,图像采集单元可以包括3个、4个、或5个图像采集模块,即所述N为大于等于3的整数,并且将各个图像采集模块固定地设置在同一直线上。
图4是图示了图2的电子设备中的图像采集单元的第二示例。在图4中,图像采集单元220包括位置固定的四个图像采集模块,即第一图像采集模块221、第二图像采集模块222、第三图像采集模块223、和第四图像采集模块224。在图4中,任意两个图像采集模块之间的基线距离彼此不同。第一图像采集模块221和第二图像采集模块222之间的基线距离为B1;第二图像采集模块222和第三图像采集模块223之间的基线距离为B2;第三图像采集模块223和第四图像采集模块224之间的基线距离为B3;第一图像采集模块221和第三图像采集模块223之间的基线距离为B4;第二图像采集模块222和第四图像采集模块224之间的基线距离为B5;第一图像采集模块221和第四图像采集模块224之间的基线距离为B6。各个基线距离B1-B6彼此不同。
在图像采集单元220包括位置固定的三个图像采集模块时,例如包括第一图像采集模块221、第二图像采集模块222、第三图像采集模块223,则可以形成B1、B2、B4这三个基线距离。类似地,在在图像采集单元220包括位置固定的五个图像采集模块时,可以形成10个基线距离。
当基线距离改变而要重新选择两个图像采集模块进行图像时,可能需要对新选择的两个图像采集模块进行校准。通常,两个相邻的图像采集模块之间的校准过程相对简单。因此,在固定地设置图像采集单元220中的图像采集模块时,可以使任意两个相邻图像采集模块的基线距离彼此不同,而不考虑不相邻的图像采集模块之间的基线距离。
在通过输入单元210获取了景深指令信息之后,所述电子设备200中的处理单元230基于所述景深指令信息从所述多个不同的基线距离中选择基线距离。可以在电子设备200中预先存储各个景深指令信息与基线距离之间的对应关系,从而能够根据景深指令信息迅速地确定测量深度信息所需的基线距离。在图4所示的图像采集单元220的第二示例的情况中,当景深指令信息指令是近距范围时,可以从基线距离B1-B6中选择基线距离为B1;当景深指令信息指令是远距范围时,可以从基线距离B1-B6中选择基线距离为B6等。在图3所示的图像采集单元220的第一示例的情况中,第二图像采集模块220的位置可调而提供更多的备选的基线距离,可以根据预先存储各个景深指令信息与基线距离之间的对应关系方便地确定所需要的基线距离。
在确定了测量深度信息所需的基线距离之后,处理单元230从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块。在图3所示的情况中,所述处理单元230可以从所述N图像采集单元中选择所述第一图像采集模块和所述第二图像采集模块,并指令所述第二图像采集模块改变位置以与所述第一图像采集模块之间形成所选择的基线距离。在图4所示的情况中,如果选择了基线距离B1,则处理单元230选择第一图像采集模块和所述第二图像采集模块;如果选择了基线距离B3,则处理单元230选择第三图像采集模块和所述第四图像采集模块;如果选择了基线距离B6,则处理单元230选择第一图像采集模块和所述第四图像采集模块。
要注意,该处理单元230可能选择了多于两个图像采集模块。例如,假设用户希望同时获得近距范围和远距范围的深度信息,从而形成完整的深度信息。在图4所示的情况中,处理单元230可以选择第一图像采集模块、第二图像采集模块、和第四图像采集模块。
此外,处理单元230控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像。所采集的目标物体可能处于动态中,例如树可能由于风力影响、或者光照影响而在不同的时间具有不同的状态。在计算深度信息时需要对两个图像采集模块所采集的图像进行匹配以确定视差,这需要所选择的图像采集模块同时地采集所述目标物体的图像。例如,在图4所示的情况中,第一图像采集模块和第二图像采集模块同时对目标物体进行图像采集,获得第一图像和第二图像,以计算与基线距离B1对应的近距范围的深度信息;第一图像采集模块和第四图像采集模块同时对目标物体进行图像采集,获得第三图像和第四图像,以计算与基线距离B6对应的远距范围的深度信息。此外,还可以使第一图像采集模块、第二图像采集模块和第四图像采集模块同时对目标物体进行图像采集,分别获得第一图像、第二图像和第四图像,然后利用第一图像和第二图像计算近距范围的深度信息,利用第一图像和第四图像计算远距范围的深度信息。
此后,该处理单元230利用所采集的同一目标物体的图像来计算所述目标物体的深度信息。可以利用现有的或将来出现的各种技术来计算所述深度信息。作为示例,可以对所采集的两个图像进行预处理和相机标定,并对预处理后的图像进行图像匹配或相差,然后进行后处理以获得深度信息。所述与处理例如是对两个图像进行滤波、坏点去除、内插、白平衡中的一项或多项处理。所述后处理例如是基于上面的公式(1)进行的计算处理。该处理单元230可以采用通用的处理器来计算所述深度信息,也可以采用专用处理器件来计算所述深度信息。所述专用处理器件例如为图像处理器(ISP,ImageSignalProcessor)。
在根据本申请实施例的包括图像采集单元的电子设备的技术方案中,通过设置能够形成多个不同的基线距离的图像采集模块,基于所述景深指令信息选择所需基线距离的图像采集模块进行图像采集,从而能够灵活地获取不同距离范围的景象的深度信息。
图5是示意性图示了根据本申请实施例的控制方法500的流程图。控制方法500应用于一电子设备。该电子设备例如可以是相机、计算机、移动电话机、个人数字助理等。电子设备的类型不构成对本申请实施例的限制。所述电子设备包括图像采集单元和输入单元。
所述输入单元可以是设置在电子设备中的参数按钮,还可以是物理的虚拟的键盘输入装置、语音输入装置等。该输入单元的具体实现不构成对本申请实施例的限制。
所述图像采集单元包括N个图像采集模块。由于计算深度信息需要两个图像采集模块,所以N的最小取值是2,其还可以是3、4、5等。每个图像采集模块能够独立地采集图像。该N个图像采集模块能够形成多个不同的基线距离,所述基线距离是所述N个图像采集模块中的两个图像采集模块的光心之间的距离,所述N为大于等于2的整数。
各个图像采集模块可以具有相同的物理参数,例如,被选择进行图像采集的两个图像采集模块可具有相同的焦距。被选择进行图像采集的两个图像采集模块也可以具有不同的物理参数,例如具有不同的分辨率。
所述图像采集单元可以包括位置固定的第一图像采集模块和位置可调的第二图像采集模块,该第二图像采集模块改变位置以调整其与第一图像采集模块之间的基线距离。第二图像采集模块可以在与第一图像采集模块所形成的直线上改变位置,还可以位于与深度方向垂直的同一平面内的任何其它位置。可以在第二图像采集模块中设置致动器,以调整其位置。当第二图像采集模块的位置改变时,第二图像采集模块的光心与第一图像采集模块的光心之间的距离也变化,即二者之间的基线距离变化。根据上面的公式(1)可知,当基线距离大时,可以测量远距离的目标物体的深度信息;当基线距离小时,可以测量近距离的目标物体的深度信息。该第二图像采集模块的位置可以连续可调,也可以是离散可调,即第二图像采集模块的位置是几个可选的点上。因此,可通过改变第二图像采集模块的位置来调整其与第一图像采集模块之间的基线距离。关于位置固定的第一图像采集模块和位置可调的第二图像采集模块的具体描述,可以参见图3的图示和相关的描述。
替换地,所述图像采集单元除了包括所述第一图像采集模块和第二图像采集模块之外,还可以包括其它的图像采集模块。或者,该第一图像采集模块的位置也可以是可调的,从而增加基线距离的调整范围。
除了调整特定图像采集模块的位置以改变两个图像采集模块之间的基线距离之外,还可以采取其它的方式设置图像采集模块来获得不同的基线距离。例如,可以在图像采集单元中在不同的位置上固定地设置N个图像采集模块,并利用不同的两个图像采集模块来形成不同的基线距离。例如,图像采集单元可以包括3个、4个、或5个图像采集模块,即所述N为大于等于3的整数,并且将各个图像采集模块固定地设置在同一直线上。在图像采集单元中的不同位置上固定地设置N个图像采集模块的示例可以参见图4的图示和相关的描述。简言之,利用四个图像采集模块形成了六个不同的基线距离B1-B6。此外,利用三个图像采集模块可以形成了三个不同的基线距离;利用五个图像采集模块可以形成了十个不同的基线距离。
此外,当基线距离改变而要重新选择两个图像采集模块进行图像时,可能需要对新选择的两个图像采集模块进行校准。通常,两个相邻的图像采集模块之间的校准过程相对简单。因此,在图像采集单元中固定地设置图像采集模块时,可以使任意两个相邻图像采集模块的基线距离彼此不同,并在此后使用相邻的两个图像采集模块进行图像采集,而不考虑不相邻的图像采集模块之间的基线距离。
如图5所示,该控制方法500包括:通过所述输入单元从外部接收景深指令信息,该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息(S510);基于所述景深指令信息从所述多个不同的基线距离中选择基线距离(S520);从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块(S530);控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像(S540);和利用所采集的同一目标物体的图像来计算所述目标物体的深度信息(S550)。
在S510中,利用电子设备中的输入单元接收外部的景深指令信息。该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息。该景深指令信息可以是用户根据目测结果做出的判断。
当需要获取目标物体的深度信息时,电子设备的用户可以首先粗略判断所述该电子设备与该目标物体之间的距离,以确定是该目标物理出于近景范围还是远景范围。例如,当所述电子设备用于会议室中的手势识别时,可以将0-2米设置为近距范围,将2-5米设置为中距范围,将5-8米设置为远距范围。然而,当所述电子设备用于画面中的背景置换时,每个距离范围内的跨度相应较大,例如可以将0-5米设置为近距范围,将5-10米设置为中距范围,将10米以上设置为远距范围。这里,以近距范围、中距范围、远距范围这三个范围为例进行描述,在实践中还可以采用其它的划分方式,例如可以仅仅设置近距范围、和远距范围这两个范围,或者可以在所述三个范围的基础上增加其它的距离范围。
所述景深指令信息例如可以是上面所述的近距范围、中距范围、和远距范围之一。可以预先设置各个范围与具体的距离区间的对应关系,从而用户避免数字输入,并且对于用户而言更直观。此外,当所述输入单元可以进行语音识别时,用户还可以直接给出景深指令信息。
在S510中获取了景深指令信息之后,在S520中基于所述景深指令信息从所述多个不同的基线距离中选择基线距离。可以在电子设备中预先存储各个景深指令信息与基线距离之间的对应关系,从而能够根据景深指令信息迅速地确定测量深度信息所需的基线距离。例如,当景深指令信息指令是近距范围时,可以从多个基线距离中选择长度短的基线距离;当景深指令信息指令是远距范围时,可以从多个基线距离中选择长度长的基线距离。在图像采集单元中包括位置可调的图像采集模块的情况中,可以根据预先存储各个景深指令信息与基线距离之间的对应关系更灵活地确定所需要的基线距离。
在S520中确定了测量深度信息所需的基线距离之后,在S530中从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块。
在N个图像采集模块包括位置固定的第一图像采集模块和位置可调的第二图像采集模块的情况中,该S530可包括:从所述N图像采集单元中选择所述第一图像采集模块和第二图像采集模块;调整所述第二图像采集模块的位置,以使得第二图像采集模块的光心与第一图像采集模块的光心之间的距离为所选择的基线距离。
在N个图像采集模块包括位置固定的至少三个图像采集模块和的情况中,如果该至少三个图像采集模块中的任意两个图像采集模块之间的基线距离彼此不同,则在所述S530中可以从所述至少三个图像采集模块中选择具有所选择的基线距离的两个图像采集模块;如果该至少三个图像采集模块中的任意两个相邻图像采集模块之间的基线距离彼此不同,则在所述S530中可以从所述至少三个图像采集模块中选择具有所选择的基线距离的相邻的两个图像采集模块。
要注意,在S530中可能选择了多于两个图像采集模块。例如,假设用户希望同时获得近距范围和远距范围的深度信息,从而形成完整的深度信息。则在S530中可以选择位置固定的三个图像采集模块,例如第一图像采集模块、第二图像采集模块、和第四图像采集模块。
在S540中,控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像。所采集的目标物体可能处于动态中,例如树可能由于风力影响、或者光照影响而在不同的时间具有不同的状态。在计算深度信息时需要对两个图像采集模块所采集的图像进行匹配以确定视差,这需要所选择的图像采集模块同时地采集所述目标物体的图像。
在S550中,利用所采集的同一目标物体的图像来计算所述目标物体的深度信息。可以利用现有的或将来出现的各种技术来计算所述深度信息。作为示例,可以对所采集的两个图像进行预处理和相机标定,并对预处理后的图像进行图像匹配或相差,然后进行后处理以获得深度信息。所述与处理例如是对两个图像进行滤波、坏点去除、内插、白平衡中的一项或多项处理。所述后处理例如是基于上面的公式(1)进行的计算处理。该步骤S550的处理可以采用通用的处理器来计算所述深度信息,也可以采用专用处理器件来计算所述深度信息。所述专用处理器件例如为图像处理器ISP。
当被选择进行图像采集的两个图像采集模块具有相同的物理参数时,在S550中对所采集的图像进行处理以获得深度信息的过程中,可以降低该处理过程的复杂度。当被选择进行图像采集的两个图像采集模块具有不同的物理参数时,在S550中对所采集的图像进行处理以获得深度信息的过程中,可以增加该处理结果的准确度或范围,但是其处理复杂度可能增加。
在根据本申请实施例的控制方法的技术方案中,通过设置能够形成多个不同的基线距离的图像采集模块,基于所述景深指令信息选择所需基线距离的图像采集模块进行图像采集,从而能够灵活地获取不同距离范围的景象的深度信息。通过利用该N个图像采集模块形成不同的基线距离,从而利用不同的基线距离来测量不同范围的深度信息,以提高所测量的深度信息的准确度。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备、单元和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (14)
1.一种电子设备,包括:
输入单元,用于从外部接收景深指令信息,该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息;
图像采集单元,包括N个图像采集模块,每个图像采集模块能够采集图像,该N个图像采集模块能够形成多个不同的基线距离,所述基线距离是所述N个图像采集模块中的两个图像采集模块的光心之间的距离,所述N为大于等于2的整数;
处理单元,用于基于所述景深指令信息从所述多个不同的基线距离中选择基线距离,从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块,控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像,利用所采集的同一目标物体的图像来计算所述目标物体的深度信息。
2.根据权利要求1的电子设备,其中,所述N个图像采集模块包括位置固定的第一图像采集模块和位置可调的第二图像采集模块,该第二图像采集模块改变位置以调整其与第一图像采集模块之间的基线距离。
3.根据权利要求2的电子设备,其中,
所述处理单元从所述N图像采集单元中选择所述第一图像采集模块和所述第二图像采集模块,并指令所述第二图像采集模块改变位置以与所述第一图像采集模块之间形成所选择的基线距离。
4.根据权利要求1的电子设备,其中,所述N为大于等于3的整数,所述N个图像采集模块中的至少三个图像采集模块被固定地设置在同一直线上。
5.根据权利要求1的电子设备,其中,所述至少三个图像采集模块中的任意两个相邻图像采集模块之间的基线距离彼此不同。
6.根据权利要求1的电子设备,其中,所述至少三个图像采集模块中的任意两个图像采集模块之间的基线距离彼此不同。
7.根据权利要求1的电子设备,其中,所述N个图像采集模块中的两个具有不同的物理参数。
8.一种控制方法,应用于一电子设备,该电子设备包括图像采集单元和输入单元,所述图像采集单元包括N个图像采集模块,每个图像采集模块能够采集图像,该N个图像采集模块能够形成多个不同的基线距离,所述基线距离是所述N个图像采集模块中的两个图像采集模块的光心之间的距离,所述N为大于等于2的整数,所述控制方法包括:
通过所述输入单元从外部接收景深指令信息,该景深指令信息是与所述电子设备和待采集的目标物体之间的距离相关的信息;
基于所述景深指令信息从所述多个不同的基线距离中选择基线距离;
从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块;
控制所选择的图像采集模块在所选择的基线距离下分别同时采集所述目标物体的图像;和
利用所采集的同一目标物体的图像来计算所述目标物体的深度信息。
9.根据权利要求8的控制方法,其中,所述N个图像采集模块包括位置固定的第一图像采集模块和位置可调的第二图像采集模块,该第二图像采集模块改变位置以调整其与第一图像采集模块之间的基线距离。
10.根据权利要求9的控制方法,其中,所述从所述N图像采集单元中选择形成所选择的基线距离的图像采集模块包括:
从所述N图像采集单元中选择所述第一图像采集模块和第二图像采集模块;
调整所述第二图像采集模块的位置,以使得第二图像采集模块的光心与第一图像采集模块的光心之间的距离为所选择的基线距离。
11.根据权利要求8的控制方法,其中,所述N为大于等于3的整数,所述N个图像采集模块中的至少三个图像采集模块被固定地设置在同一直线上。
12.根据权利要求8的控制方法,其中,所述至少三个图像采集模块中的任意两个相邻图像采集模块之间的基线距离彼此不同,所述从N图像采集单元中选择形成所选择的基线距离的图像采集模块包括:
从所述至少三个图像采集模块中选择具有所选择的基线距离的相邻的两个图像采集模块。
13.根据权利要求8的控制方法,其中,所述至少三个图像采集模块中的任意两个图像采集模块之间的基线距离彼此不同,所述从N图像采集单元中选择形成所选择的基线距离的图像采集模块包括:
从所述至少三个图像采集模块中选择具有所选择的基线距离的两个图像采集模块。
14.根据权利要求8的控制方法,其中,所述N个图像采集模块中的两个具有不同的物理参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410806362.XA CN105791662A (zh) | 2014-12-22 | 2014-12-22 | 电子设备和控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410806362.XA CN105791662A (zh) | 2014-12-22 | 2014-12-22 | 电子设备和控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105791662A true CN105791662A (zh) | 2016-07-20 |
Family
ID=56386377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410806362.XA Pending CN105791662A (zh) | 2014-12-22 | 2014-12-22 | 电子设备和控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105791662A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106170086A (zh) * | 2016-08-19 | 2016-11-30 | 深圳奥比中光科技有限公司 | 绘制三维图像的方法及其装置、系统 |
CN106791763A (zh) * | 2016-11-24 | 2017-05-31 | 深圳奥比中光科技有限公司 | 一种用于3d显示和3d交互的专用处理器 |
CN106840021A (zh) * | 2017-03-30 | 2017-06-13 | 联想(北京)有限公司 | 控制方法及电子设备 |
CN107801017A (zh) * | 2017-10-30 | 2018-03-13 | 北京都是科技有限公司 | 一种多目3d摄像机及其3d图像建模方法 |
CN108323238A (zh) * | 2018-01-23 | 2018-07-24 | 深圳前海达闼云端智能科技有限公司 | 多目摄像系统、终端设备及机器人 |
CN108616740A (zh) * | 2017-01-16 | 2018-10-02 | 深圳市易快来科技股份有限公司 | 一种多镜头3d拍摄的方法、装置及系统 |
WO2019104670A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 深度值确定方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1194384A (zh) * | 1997-03-24 | 1998-09-30 | 株式会社五光国际 | 宽范围聚焦照相机 |
CN1655013A (zh) * | 2005-02-28 | 2005-08-17 | 北京理工大学 | 复眼立体视觉装置 |
CN101276138A (zh) * | 2008-04-30 | 2008-10-01 | 北京工业大学 | 一种基线长度自动调节的双目立体摄像机 |
US8139109B2 (en) * | 2006-06-19 | 2012-03-20 | Oshkosh Corporation | Vision system for an autonomous vehicle |
CN102771128A (zh) * | 2009-12-04 | 2012-11-07 | 阿尔卡特朗讯公司 | 一种用于获得目标的改善的立体图像的方法和系统 |
-
2014
- 2014-12-22 CN CN201410806362.XA patent/CN105791662A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1194384A (zh) * | 1997-03-24 | 1998-09-30 | 株式会社五光国际 | 宽范围聚焦照相机 |
CN1655013A (zh) * | 2005-02-28 | 2005-08-17 | 北京理工大学 | 复眼立体视觉装置 |
US8139109B2 (en) * | 2006-06-19 | 2012-03-20 | Oshkosh Corporation | Vision system for an autonomous vehicle |
CN101276138A (zh) * | 2008-04-30 | 2008-10-01 | 北京工业大学 | 一种基线长度自动调节的双目立体摄像机 |
CN102771128A (zh) * | 2009-12-04 | 2012-11-07 | 阿尔卡特朗讯公司 | 一种用于获得目标的改善的立体图像的方法和系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106170086A (zh) * | 2016-08-19 | 2016-11-30 | 深圳奥比中光科技有限公司 | 绘制三维图像的方法及其装置、系统 |
CN106791763A (zh) * | 2016-11-24 | 2017-05-31 | 深圳奥比中光科技有限公司 | 一种用于3d显示和3d交互的专用处理器 |
CN108616740A (zh) * | 2017-01-16 | 2018-10-02 | 深圳市易快来科技股份有限公司 | 一种多镜头3d拍摄的方法、装置及系统 |
CN106840021A (zh) * | 2017-03-30 | 2017-06-13 | 联想(北京)有限公司 | 控制方法及电子设备 |
CN107801017A (zh) * | 2017-10-30 | 2018-03-13 | 北京都是科技有限公司 | 一种多目3d摄像机及其3d图像建模方法 |
WO2019104670A1 (zh) * | 2017-11-30 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 深度值确定方法和装置 |
CN108323238A (zh) * | 2018-01-23 | 2018-07-24 | 深圳前海达闼云端智能科技有限公司 | 多目摄像系统、终端设备及机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105791662A (zh) | 电子设备和控制方法 | |
US9386297B2 (en) | Image generating apparatus generating reconstructed image, method, and computer-readable recording medium | |
CN106803271B (zh) | 一种视觉导航无人机的摄像机标定方法及装置 | |
CN103631698B (zh) | 一种用于目标跟踪的摄像机ptz控制方法和装置 | |
CN102300043B (zh) | 调整远程呈现会议系统的会场摄像头的方法及会议终端 | |
CN108765480B (zh) | 深度处理设备 | |
CN103533313B (zh) | 基于地理位置的电子地图全景视频合成显示方法和系统 | |
CN106910229A (zh) | 图像处理设备和方法 | |
CN103278139A (zh) | 一种可变焦单双目视觉传感装置 | |
CN104299215A (zh) | 一种特征点标定和匹配的图像拼接方法 | |
TR201811449T4 (tr) | Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem. | |
CN107101623A (zh) | 基于坐标变换的测量方法、系统及装置 | |
KR20180018736A (ko) | 촬영 디바이스 및 깊이 정보를 취득하는 방법 | |
CN112424837B (zh) | 模型修正方法、装置、设备 | |
CN103253193B (zh) | 基于触摸屏操作的全景泊车标定方法及系统 | |
KR101473956B1 (ko) | 2d 평면도를 기초로 한 3d 공간정보 모델링 방법 및 해당 3d 공간 모델을 이용한 영상 관제 시스템 | |
JP2011081272A (ja) | 画像表示装置および画像表示方法 | |
CN108881736A (zh) | 一种光圈校正方法及装置 | |
CN109753930B (zh) | 人脸检测方法及人脸检测系统 | |
CN104299231A (zh) | 多传感器实时图像配准方法和系统 | |
CN107026979A (zh) | 双摄像头拍照方法及装置 | |
CN103634527A (zh) | 抗相机扰动的多相机实时景象拼接系统 | |
KR20160059243A (ko) | 3차원 모델링을 통한 통합관제 시뮬레이션 시스템 | |
US20140168381A1 (en) | Stereoscopic image signal processing device and stereoscopic image capture device | |
KR102059114B1 (ko) | 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160720 |
|
RJ01 | Rejection of invention patent application after publication |