CN117015975A - 控制方法、拍摄装置和拍摄系统 - Google Patents
控制方法、拍摄装置和拍摄系统 Download PDFInfo
- Publication number
- CN117015975A CN117015975A CN202180095735.5A CN202180095735A CN117015975A CN 117015975 A CN117015975 A CN 117015975A CN 202180095735 A CN202180095735 A CN 202180095735A CN 117015975 A CN117015975 A CN 117015975A
- Authority
- CN
- China
- Prior art keywords
- focus
- focusing
- information
- focal length
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 137
- 230000004044 response Effects 0.000 claims abstract description 47
- 230000008859 change Effects 0.000 claims description 97
- 230000008569 process Effects 0.000 claims description 45
- 238000006073 displacement reaction Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 31
- 238000003384 imaging method Methods 0.000 claims description 30
- 238000005259 measurement Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 17
- 230000003993 interaction Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 81
- 238000010586 diagram Methods 0.000 description 38
- 238000004891 communication Methods 0.000 description 27
- 230000001133 acceleration Effects 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 20
- 239000000203 mixture Substances 0.000 description 16
- 230000001960 triggered effect Effects 0.000 description 13
- 230000004438 eyesight Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- BIXGISJFDUHZEB-UHFFFAOYSA-N 2-[9,9-bis(4-methylphenyl)fluoren-2-yl]-9,9-bis(4-methylphenyl)fluorene Chemical compound C1=CC(C)=CC=C1C1(C=2C=CC(C)=CC=2)C2=CC(C=3C=C4C(C5=CC=CC=C5C4=CC=3)(C=3C=CC(C)=CC=3)C=3C=CC(C)=CC=3)=CC=C2C2=CC=CC=C21 BIXGISJFDUHZEB-UHFFFAOYSA-N 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
一种控制方法、拍摄装置和拍摄系统。该控制方法包括:获取当前图像的对焦框中针对至少一个对象的合焦信息集合;获得第一操作,其中,所述第一操作包括变焦操作或者所述第一操作是针对所述合焦信息集合中的合焦信息;以及响应于所述第一操作,控制所述拍摄装置的镜头基于所述合焦信息集合自动对焦。
Description
本申请涉及控制技术领域,尤其涉及一种控制方法、拍摄装置和拍摄系统。
手动对焦是通过转动镜头的变焦环或者按压机身上的方向键等,以步进的形式进行对焦,以便得到针对目标对象的清晰图像。在数码相机时代,手动对焦可以是自动对焦的有力补充。然而,手动对焦的操作便捷度较低,并且,对焦准确度对用户的对焦操作水平和视力水平等依赖度较高。
发明内容
有鉴于此,本申请实施例提供一种控制方法、拍摄装置和拍摄系统,以提升手动对焦的便捷度,并且降低对焦准确度对用户的对焦操作水平和视力水平的依赖度。
第一方面,本申请实施例提供了一种应用于拍摄装置的控制方法,该方法包括:获取当前图像的对焦框中针对至少一个对象的合焦信息集合;获得第一操作,其中,第一操作包括变焦操作或者第一操作是针对合焦信息集合中的合焦信息;以及响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦。
第二方面,本申请实施例提供了一种拍摄控制装置,该装置包括:镜头,用于采集图像;一个或多个处理器;存储装置,用于存储一个或多个计算机程序,计算机程序在被处理器执行时,实现如上的方法。
第三方面,本申请实施例提供了一种拍摄系统,包括:如上的拍摄装置;以及支承机构,其支承拍摄装置。
第四方面,本申请实施例提供了一种可读存储介质,可读存储介质上存储有计算机程序;计算机程序在被执行时,实现如第一方面本申请实施例的控制方法。
第五方面,本申请实施例提供了一种计算机程序,包括可执行指令,该可执行指令在被执行时,实现如上的方法。
在本申请实施例中,在确定了针对当前图像的对焦框之后,获取对焦框中包括的一个或多个对象的合焦信息。这样使得拍摄装置可以根据该合焦信息和变焦触发操作自动变焦至与某个合焦信息对应的焦距。与相关技术中的手动变焦需要手动从当前焦距调整至目标焦距不同的是,本申请实施例中自动确定对焦框中包括的对象的合焦信息,这样使得只需 要得到变焦触发操作或针对某个合焦信息的变焦触发操作,即可实现基于合焦信息的自动对焦。用户在手动辅助对焦过程中,对人为判断是否已变焦至与某个对象对应的合焦焦距的依赖性较低。本申请实施例在满足用户的手动对焦需求的前提下,利用自动变焦技术给手动变焦操作提供辅助,提升了手动对焦的便捷度,并且降低了对焦准确度对用户的对焦操作水平和视力水平的依赖度,有效提升用户手动变焦体验。
本申请的附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
通过参照附图的以下详细描述,本申请实施例的上述和其他目的、特征和优点将变得更容易理解。在附图中,将以示例以及非限制性的方式对本申请的多个实施例进行说明,其中:
图1为本申请实施例提供的控制方法、拍摄装置和拍摄系统的应用场景;
图2为本申请实施例提供的拍摄装置的方框图;
图3为本申请实施例提供的改变镜片间距离来调整焦距的示意图;
图4为本申请实施例提供的镜头的示意图;
图5为本申请实施例提供的控制方法的流程示意图;
图6为本申请实施例提供的镜头的焦距和对焦距离的示意图;
图7为本申请实施例提供的对焦框、对象和合焦信息的示意图;
图8为本申请实施例提供的基于变焦环进行手动辅助对焦的过程示意图;
图9为本申请另一实施例提供的基于变焦环进行手动辅助对焦的过程示意图;
图10为本申请实施例提供的基于合焦信息进行手动辅助对焦的过程示意图;
图11为本申请实施例提供的合焦强度曲线的示意图;
图12为本申请实施例提供的处理后的合焦强度曲线的示意图;
图13为本申请另一实施例提供的基于合焦信息进行手动辅助对焦的过程示意图;
图14为本申请实施例提供的预设按键状态与显示屏上对应显示图像的示意图;
图15为本申请另一实施例提供的控制方法的流程示意图;
图16为本申请实施例提供的退出手动辅助对焦时显示图像的示意图;
图17为本申请另一实施例提供的控制方法的流程示意图;
图18为本申请实施例提供的对合焦信息进行补偿的示意图;
图19为本申请另一实施例提供的对合焦信息进行补偿的示意图;
图20为本申请实施例提供的拍摄装置的结构示意图;
图21为本申请另一实施例提供的拍摄装置的结构示意图;
图22为本申请实施例提供的拍摄系统的结构示意图。
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“承载有”另一个组件,该另一个组件可以是承载在该组件的表面上,或者设置在该组件的内部,或者设置在该组件承载的其它组件的内部或表面。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。
随着相机技术的不断发展产生了多种相机种类。例如,单反、微单相机等,可以配置有变焦镜头或定焦镜头。变焦镜头可以有跟焦、变焦、光圈等参数。在数码相机时代,手动对焦(MF)是自动对焦(AF)的有力补充,在数码时代,在一些应用场景中,MF仍然是不可或缺的功能。
用户进行手动对焦时,可以手动转动变焦环等来调节相机镜头的焦距,从而得到针对目标对象的清晰图像。手动对焦方式很大程度上依赖于人眼对显示屏上的影像或对取景框中对象的清晰度的判别,此外拍摄效果还与拍摄者的熟练程度、甚至拍摄者的视力等相关。传统的单镜反光相机与旁轴相机大多使用手动对焦来完成变焦操作。多种准专业及专业数码相机,还有单反数码相机都设有手动对焦的功能,以配合不同的拍摄需要。
手动对焦可分两种:电子式手动对焦和全时机械式手动对焦。其中,电子式手动对焦 可以搭配在大口径长焦镜头上。例如,电子式手动对焦的电子回路检测变焦环的转动量,再基于该转动量控制马达驱动镜头的镜片组变焦至与该转动量对应的焦距。全时机械式手动对焦,不需消耗电力,是通过不同于AF时的滚轴、转环来带动镜片组移动。
在进行手动对焦时,合焦条件下拍摄的目标对象可以清晰地呈现在显示屏上,清晰度可以由用户进行判断。在某些实施例中,在使用手动对焦镜头时,相机机身可以在满足合焦条件时给用户一个参考合焦指示。对焦屏会提供辅助对焦的手段如菲涅尔镜、裂像,也可以外接取景放大目镜、取景放大镜等以提高手动对焦精度。有些自动镜头的手动对焦功能不是通过纯机械转动传导力实现的,而是有一个步进电机对镜头进行驱动。当用户转动变焦环,镜头内的电机会与用户转动做几乎同步的转动以驱动镜片对焦。这种方式的优点是结构简单且镜筒内部密封较好,但是会存在一定的延迟。这种技术可以在大口径长焦镜头或其它具有变焦环的镜头中使用,变焦环只是起到一个传感器的作用,并未与对焦镜组有机械连接,结构简化可以令镜头体积更小。本申请实施例中所采用的镜头中可以包括上述步进电机,以实现手动辅助对焦。当然,也可以通过外置电机的方式实现手动辅助对焦。
此外,以数码相机为例,手动对焦还可以在自动对焦失误时使用。具体表现在景物反差小、主体背景反差过大、环境亮度低、环境亮度过高、有高亮度光源干扰、需要透过透明屏障如玻璃拍摄、主体在对焦区域外等情况,都需要使用手动对焦。具有实时取景的相机可以通过放大图像以轻松使用手动对焦,并达到合焦准确。
然而,手动对焦技术也存在多种问题,如用户需要精确地转动变焦环以使得图像中针对目标对象的图像变清晰。然而,用户不易确定在当前焦距下目标对象是否已处于合焦状态,需要用户反复来回转动变焦环以确定针对目标对象的合焦焦距,这不仅仅依赖于用户的操作经验,同时还依赖于用户的视力水平以确定清晰度的变化趋势等。
本申请实施例提供的控制方法、拍摄装置和拍摄系统,可以有效提升用户在进行手动对焦操作时的便捷度,并且降低手动对焦对用户的对焦经验和视力水平等的依赖,提升用户体验。
此外,本申请实施例提供的控制方法、拍摄装置和拍摄系统为了满足用户对多场景下的手动对焦需求,可以在镜头和目标对象之间的位置关系发生改变时,自动对对焦框中对象的合焦信息进行补偿以提升合焦信息的准确度。例如,对于搭载手动变焦镜头的拍摄装置,可以通过惯性测量单元(Inertial Measurement Unit,简称IMU)(如相机或云台上原有的IMU或外挂的IMU)、测距仪等输出的测量信息估算镜头相对于目标对象之间的距离改变量,根据距离改变量对合焦信息进行补偿。让新手用户也能在复杂场景(如用户移动 和/或目标对象移动的场景)中也能拍摄出针对目标对象的清晰图像。
需要说明的是,以上拍摄场景可以是针对人物拍摄、动物拍摄、静景拍摄、动景拍摄、视频拍摄、电影拍摄、电视剧拍摄等的拍摄场景。以上场景仅为示例性说明,不能理解为对本申请的限制。例如,可以适用于需要进行手动变焦操作的多种场景中。
为了便于理解本申请的技术方案,以下结合图1~图22进行详细说明。
图1为本申请实施例提供的控制方法、拍摄装置和拍摄系统的应用场景。
如图1所示,用户在使用拍摄装置进行拍摄时,首先需要进行取景,在确定所需拍摄的景象后,需要通过变焦操作调整目标对象的图像清晰度,以得到用户满意的拍摄图像。用户可以通过手动对焦的方式来调整目标对象的图像清晰度,但是该过程对用户的手动对焦操作的熟练度、用户的视力水平等依赖度较高。
此外,用户也可以通过自动对焦的方式来获取针对目标对象的清晰图像。但是,自动对焦方式中目标对象是由拍摄装置通过算法来自动确定的,可能存在对焦框中目标对象的图像没有对焦框中非目标对象的图像清晰的情形发生,并且不容易进行调整。
图1中拍摄设备可以是相机、摄像机或其他具有拍摄功能的设备例如智能终端等。拍摄功能是指具有拍摄静态图像和/或动态图像的功能。具体地,拍摄设备可以是手动控制的拍摄设备,也可以是自动拍摄设备,自动拍摄设备可具有手动对焦模式和自动对焦模式。在自动对焦模式下,拍摄设备可以自动调节其光学组件例如镜头,例如,自动对焦马达可控制镜头转动,以调节镜头的焦距。手动对焦模式是自动对焦模式的重要补充,例如,当环境照明太暗时,自动对焦马达无法精确的控制镜头转动,此时需要进行手动对焦。当用户对相机进行手动对焦时,用户需要慢慢的转动相机的变焦环,并在转动变焦环的过程中,通过人眼观测屏幕上的对象是否清晰,当用户观测到屏幕上的对象的图像足够清晰时停止转动变焦环。在手动对焦的过程中,用户需要不断的转动变焦环,才能找到较佳的对焦位置,无法快速准确地找到对象合焦时的对焦位置。
拍摄设备可以是手持的拍摄设备,也可以是搭载在可移动平台例如无人机上的拍摄设备。
以用户手持相机对目标人物进行拍摄为例,用户可以采用手动辅助对焦的方式进行对焦。例如,用户控制相机进入手动模式后,可以通过半按快门按键的方式在相机的显示屏上显示对焦框,并获取对焦框中一个或多个对象的合焦信息,然后响应于用户转动变焦环或点击变焦按钮等方式触发自动变焦,使得相机的镜头变焦至与目标对象对应的合焦信息的合焦焦距。以用户手持云台为例,云台上可以承载有相机,云台上设置有机械按键等对 相机进行操作。如云台上可以设置有相机对焦模式选择按钮、焦距调整按钮等。
参考图1所示,相机的显示界面中可以显示有取景的图像和对焦框。对焦框中可以包括一个或多个对象,相机自动确定与该一个或多个对象对应的合焦信息。这些合焦信息可以展示在显示界面上。如图1的显示界面中显示有与合焦信息对应的焦距条,该焦距条上具有一个或多个合焦焦距。此外,图1的显示界面中还可以存在当前焦距标志(参考图1中无填充三角形)、合焦指示标志(参考图1中有填充三角形)等。
此外,本申请实施例中还可以对因拍摄对象与拍摄装置之间的距离发生改变导致的合焦信息不准确进行补偿。如拍摄对象和/或拍摄装置可能发生移动行为,这会导致拍摄对象与拍摄装置之间的距离发生改变,造成已有的对焦框中针对拍摄对象的合焦信息不准确。本申请实施例可以基于拍摄对象和/或拍摄装置发生的位移对与拍摄对象对应的合焦信息进行补偿,以提升对焦准确度和对焦操作便捷度。
以搭载在移动平台(如无人机或陆地机器人)上的拍摄装置为例,用户可以在移动平台或与移动平台通讯连接的遥控器上控制拍摄装置进行对焦操作。例如,遥控器的显示界面上可以设置有用于控制相机的多个虚拟按键,用户可以通过操作虚拟按键实现取景、激活对焦框、触发基于合焦信息的自动对焦或者拍摄图像等中至少一种功能。
例如,图1中云台可以是手持云台或移动平台搭载的云台,云台上承载有拍摄装置,该拍摄装置可以具有焦距调节部件。
例如,手持云台可以包括支架和手柄等。其中,支架可以包括配套的电机和轴臂,电机用于驱动轴臂旋转,以驱动拍摄装置的运动。
云台可以包括但不限于针对单轴或多轴的姿态可调结构,用于将拍摄装置固定在手持部上。例如,该云台允许拍摄装置相对于手持部发生位移,或者,沿着一个或多个轴转动。其中云台和手持部之间可以具有联动换算关系,如手持部发生的第一运动(如移动或转动)可以换算成云台发生的第二运动。反之亦然。
此外,云台上还可以包括传感系统。传感系统可以包括一个或者多个传感器,以感测空间方位、速度和/或加速度(如相对于多达三个自由度的旋转及平移)。一个或者多个传感器包括但不限于测距仪、GPS传感器、运动传感器、惯性测量单元或者影像传感器。传感系统提供的感测数据可以用于控制拍摄装置的位姿、速度和/或加速度等。
云台上还可以包括通讯系统。通讯系统能够实现云台与具有通讯系统的控制终端通过有线或无线收发的信号进行通讯。通讯系统可以包括任何数量的用于无线通讯的发送器、接收器、和/或收发器。通讯可以是单向通讯或者双向通讯。以双向通讯为例,数据可以 在云台与拍摄装置之间在两个方向传输。例如,来自云台的控制数据可以控制其承载的拍摄装置或者其它影像捕获设备的操作(捕获静止或者运动的影像、变焦、开启或关闭、切换对焦模式、切换成像模式、改变影像分辨率、改变景深、改变曝光时间、改变可视角度或者视场)。
例如,拍摄装置可拆卸地承载在云台的承载座上,云台与拍摄装置通信连接,云台的手持部上设置显示屏,显示屏能够显示拍摄装置的拍摄画面。云台上可以设置有显示屏、拨杆、拨轮等部件以便于实现用户和云台之间的人机交互。其中,显示屏上可以显示人机交互界面。拨轮包括但不限于跟焦轮和/或变焦轮。
移动平台搭载拍摄装置的场景中,可移动平移还可以与控制终端相连,在某些实施例中,控制终端可以与云台或拍摄装置相连,控制终端可以向云台及拍摄装置中的一个或者多个提供控制指令,并且从云台及拍摄装置中的一个或者多个中接收信息(如承载体或者拍摄装置的位置和/或运动信息,拍摄装置感测的数据,如的影像数据)。在某些实施例中,控制终端的控制数据可以包括关于位置、运动、制动的指令,或者对云台和/或拍摄装置的控制。例如,控制数据可以导致云台位置和/或方向的改变。控制终端的控制数据可以控制拍摄装置或者其它影像捕获设备的操作(捕获静止或者运动的影像、变焦、开启或关闭、切换对焦模式、切换成像模式、改变影像分辨率、改变焦距、改变景深、改变曝光时间、改变可视角度或者视场)。在某些实施例中,对云台和/或拍摄装置的通讯可以包括一个或者多个传感器发出的信息。通讯信息可以包括从一个或者多个不同类型的传感器(如GPS传感器、运动传感器、惯性传感器、近程传感器或者影像传感器)传送的感应信息。例如,控制终端可以为移动平台的遥控器,也可以为诸如手机、iPad、可穿戴电子设备等能够用于控制云台的智能电子设备。控制终端可以远离云台,以实现对云台的远程控制,可以固定或可拆卸地设于云台上,具体可以根据需要进行设置。
在某些实施例中,移动平台可以与除了控制终端之外的其它远程设备,或者非控制终端的远程设备通讯。控制终端也可以与另外一个远程设备及云台进行通讯。例如,云台和/或控制终端可以与另一个移动平台或者另一个移动平台的承载体或拍摄装置通讯。当有需要的时候,另外的远程设备可以是第二终端或者其它计算设备(如计算机、桌上型电脑、平板电脑、智能手机、或者其它移动设备)。该远程设备可以向云台传送数据,从云台接收数据,传送数据给控制终端,和/或从控制终端接收数据。可选地,该远程设备可以连接到因特网或者其它电信网络,以使从云台和/或控制终端接收的数据上传到网站或者服务器上。
图2为本申请实施例提供的拍摄装置的方框图。
如图2所示,拍摄装置100具有摄像部102以及镜头部200。例如,摄像部102包括图像传感器120、摄像控制部110以及存储器130。图像传感器120可以包括CCD或CMOS中至少一种。图像传感器120将经由多个透镜210成像的光学像的图像数据输出到摄像控制部110。摄像控制部110可以由CPU或MPU等微处理器、MCU等微控制器等构成。摄像控制部110可以根据来自用户的用户操作对拍摄装置100进行控制,该用户操作可以是针对镜头部200、摄像部102的显示屏或遥控器的操作。存储器130可以是计算机可读取的记录介质,可以包含SRAM、DRAM、EPROM、EEPROM以及USB存储器等的闪存中的至少一者。存储器130保存摄像控制部110对图像传感器120等进行控制所需的程序等。存储器130可以设置在拍摄装置100的壳体的内部。存储器130可以设置为能够从拍摄装置100的壳体拆下。
镜头部200可以包括多个透镜210、透镜移动机构212、以及镜头控制部220。多个透镜210可以包括变焦透镜、可变焦距透镜或跟焦透镜中至少一种。多个透镜210的至少部分被配置为能够沿着光轴移动。镜头部200可以是能够相对于摄像部102进行拆装的可更换镜头。透镜移动机构212使多个透镜210的至少部分沿着光轴移动。镜头控制部220按照来自摄像部102的镜头控制命令,驱动透镜移动机构212,使一个或多个透镜210沿着光轴方向移动。镜头控制命令包括但不限于:变焦控制命令或者跟焦控制命令中至少一种。
图3为本申请实施例提供的改变镜片间距离来调整焦距的示意图。
如图3所示,变焦镜头可以由多组透镜群(如L1、L2和L3)组成,本申请实施例可以通过电机输出力矩,转动变焦环或跟焦环,驱动透镜群运动,透镜群相对位置的改变将改变镜头整体的等效焦距。根据不同的镜头光学设计,移动的透镜群可能不同,透镜群移动的距离与焦距变化的关系可能不同,这时只需改变这个映射关系,本实施例同样适用。如图4中,通过移动中间的凹透镜L2来改变焦距f,焦距f和透镜L2的位置x可认为是线性关系,如式(1)所示。
x=k1*f+b1 式(1)
其中,k1、b1是与机械结构、透镜群参数相关的待定常数。在通过外挂电机驱动变焦环或者跟焦环转动的场景中,电机通过齿轮啮合驱动变焦环转动或者驱动跟焦环转动。上述待定常数可以是通过标定和/或计算得到的。
图4为本申请实施例提供的镜头的示意图。
如图4所示,镜头内部有螺纹,并且设置有变焦环、跟焦环,以调节镜头的透镜组的前后距离。镜头的对焦或跟焦可以是保持拍摄对象的位置和拍摄装置的相机本体的焦平面位置均不变。在跟焦的过程中,镜头内壁的螺纹将转动的旋转角度转换成镜头的透镜组的前后平移距离,相当于在拍摄装置与拍摄对象之间的实时距离保持不变的情况下,调整物距d和像距f(参考图6所示)使拍摄画面合焦。此外,镜头还可以包括用于调整光圈的光圈环。
上述拍摄装置100可以根据用户选取的模式执行:自动对焦、手动对焦或者手动辅助对焦等中至少一种,并且获得针对目标对象的清晰图像。
关于手动对焦,可以包括如下所示的2种辅助方案。例如,通过相机内部的摄像控制部对采集的图像信息进行计算,将相邻像素反差比较大的点通过特殊颜色显示在取景器中,以提示用户当前的对焦范围,这种方式可以称为峰值对焦。例如,用户转动变焦环的时候取景器画面放大到显示屏与画面像素为指定比例(如1:1)放大模式,以便用户观察对焦是否清晰。
以上两种方式都是为了帮助用户判断是否完成合焦的方法。但是两种方法在使用的效率和方便程度上都不足,还是全手动的对焦方式。如何提升手动对焦的速度和准确度,是亟待解决的问题。
图5为本申请实施例提供的控制方法的流程示意图。
如图5所示,该控制方法可以包括操作S502~操作S506。
在操作S502,获取当前图像的对焦框(ROI)中针对至少一个对象的合焦信息集合。
在本实施例中,当前图像可以是用户在使用拍摄装置进行取景时,在相机的显示屏上显示的图像。当相机处于手动辅助对焦模式时,相机的显示屏中显示对焦框(或者当用户半按快门键时在显示屏中显示对焦框),并且可以自动获取对焦框中包括的一个或多个对象的合焦信息。与对焦框对应的视场范围较小,囊括的对象数量有限,不会导致存在过多的合焦信息,进而降低用户难以从过多的合焦信息中确定与目标对象对应的合焦信息。对焦框在显示屏上的显示位置和大小可以由用户进行指定,或者由对焦框在显示屏上的显示位置和大小可以是预先设定的,如位于显示屏的中间位置。对焦框在显示屏上的位置可以随着拍摄对象的运动而改变。
合焦信息可以包括传感器采集的相机与对焦框中对象之间的距离信息,或者基于在不同焦距下采集的相邻图像像素之间反差强度来确定与该相邻像素对应的对象之间的距离信息。其中,该距离信息可以是物距,对于每个镜头,该物距存在对应的焦距。
在某些实施例中,合焦信息集合包括与镜头相关联的参数和合焦强度。
其中,合焦强度可以通过合焦强度曲线等方式进行存储或显示。
在某些实施例中,与镜头相关联的参数包括镜头的焦距和对焦距离,其中对焦距离为拍摄对象与镜头之间的距离。
图6为本申请实施例提供的镜头的焦距和对焦距离的示意图。
如图6所示,照射到拍摄主体的光线被反射至镜头后,该光线经过折射等到达相机的传感器。其中,具有特定尺寸(如具有特定长度和宽度)的传感器和镜头,在某个特定的焦距f下具有对应的拍摄范围。其中,对焦距离也可以称为物距d,物距d是拍摄对象与镜头之间的距离。
在某些实施例中,至少可以通过反差模式或者相位模式这两种方式获得合焦强度曲线,该合焦强度曲线是对焦框(ROI)内所有可合焦的物焦距离。
其中,关于反差模式,在手动辅助对焦模式下,计算当前焦距情况下对焦框内对象图像的反差强度,随着变焦环的旋转得到所经过焦距对应的反差强度值,得到反差强度曲线,作为合焦强度曲线。
关于相位模式,在辅助对焦模式下,通过相机传感器(sensor)如距离传感器,集成的相位对焦信息,预先获得ROI内所有可合焦焦距,得到合焦强度曲线。
图7为本申请实施例提供的对焦框、对象和合焦信息的示意图。
如图7所示,在显示器所显示的显示图像的中央位置,显示有对焦框。对焦框中显示有4个对象的图像,位于4个对象的中间位置的对象是目标对象。每个对象与相机之间的距离可以相同或不同。当每个对象与相机之间的距离不同时,则每个对象各自具有对应的不同合焦焦距:合焦焦距1~合焦焦距4。
相关技术中,在进行自动对焦时,用户不便于准确地将镜头的焦距调整至合焦焦距3以得到针对目标对象的清晰图像:用户不便于介入目标焦距的选取,自动对焦完成后,如目标对象的图像不清晰,则重复执行自动对焦直至目标对象的图像清晰。如果尝试失败,则用户可能放弃拍摄或者使用手动对焦来将镜头的焦距调整至目标焦距。在进行手动对焦的过程中需要依赖于用户的对焦操作经验和视力水平等。
本申请实施例中,可以由相机自动确定对焦框中每个对象各自的合焦信息,如合焦焦距1~合焦焦距4。这些合焦焦距信息可以显示在显示屏上。此外,为了便于用户得知镜头的当前焦距,还可以在显示屏上显示当前焦距标志。用户可以便捷地通过选取合焦焦距的操作,将镜头的焦距自动变焦至合焦焦距3。
参考图7所示,当前图像的对焦框中可以包括多个对象,例如,目标对象只是该多个对象中的一个,摄像控制部可计算该多个对象中每个对象在合焦时的对焦焦距。其中,每个对象在合焦时的合焦焦距可以不同,也可以部分相同,也就是说,每个对象可以对应一个不同的合焦焦距,或者,该多个对象中的部分对象对应同一个合焦焦距。
在某些实施例中,拍摄装置包括显示屏,显示屏用于显示合焦信息集合中至少一个合焦信息,合焦信息包括合焦强度峰值。
当摄像控制部计算出对象在合焦时的合焦焦距后,显示组件可以显示合焦焦距指示标志,合焦焦距指示标志用于指示合焦焦距,此处只是示意性说明,并不限定合焦焦距指示标志的具体形状。需要说明的是,该合焦焦距也可以不用在显示屏上进行显示。
显示组件可以显示多个合焦焦距指示标志,多个合焦焦距指示标志用于指示多个对象分别对应的合焦焦距。显示组件还可以显示当前焦距标志,当前焦距标志用于指示当前焦距。需要说明的是,该当前焦距也可以不用在显示屏上进行显示。
如图7所示,当摄像控制部计算出多个对象中每个对象在合焦时的对焦焦距后,控制显示屏显示多个合焦焦距指示标志,该多个合焦焦距指示标志具体可以是如图7所示的合焦焦距指示标志71、合焦焦距指示标志72、合焦焦距指示标志73、合焦焦距指示标志74;合焦焦距指示标志71、合焦焦距指示标志72、合焦焦距指示标志73或合焦焦距指示标志74用于指示该多个对象中至少一个对象在合焦时的对焦焦距。另外,该摄像控制部还可以控制显示屏显示当前焦距标志70,当前焦距标志70用于指示对焦调节组件21当前的调整位置对应的当前对焦值。当前焦距标志70和某一个合焦焦距指示标志例如合焦焦距指示标志71之间的指示焦距差,与当前对焦值和合焦焦距指示标志71指示的对焦焦距之间的差值相关。
图7中,在当前时刻,变焦环的调整位置在位置A,当前焦距小于与目标对象对应的焦距(合焦焦距3),当前焦距标志70位于合焦焦距指示标志73的左侧,并且当前焦距标志70和合焦焦距指示标志73之间的指示焦距差越大,当前对焦值和合焦焦距指示标志73指示的对焦焦距之间的差值越大。
在一些实施例中,上述方法在获取当前图像的对焦框中针对至少一个对象的合焦信息集合之后,还可以包括如下操作:通过传感器更新对焦框的合焦信息。对于基于传感器获取的对象和拍摄装置之间距离的场景中,传感器可以实时地更新两者之间的距离,进而更新合焦信息集合。这样有助于改善因对象和拍摄装置之间位置关系改变导致的合焦信息不准确的问题。
在操作S504,获得第一操作,其中,第一操作包括变焦操作或者第一操作是针对合焦信息集合中的合焦信息。
在本实施例中,可以通过第一操作触发变焦过程。
以相机为例,相机的镜头具有变焦环,在用户转动变焦环的时候,即可触发变焦过程。例如,相机上具有用于变焦的按键,如增大焦距的按键和减小焦距的按键,在用户按压其中某个按键的时候,即可触发变焦过程。例如,相机的显示屏上显示有变焦组件,在用户操作该调焦组件的时候,即可触发变焦过程。例如,相机的显示屏上显示有合焦强度曲线,在用户从合焦强度曲线中选取某个合焦焦距时,则可触发变焦过程。
以相机云台为例,例如,承载相机的云台上具有用于变焦的按键,如增大焦距的按键和减小焦距的按键,在用户按压其中某个按键的时候,即可触发变焦过程。例如,云台的显示屏上显示有调焦组件,在用户操作该调焦组件的时候,即可触发变焦过程。例如,云台的显示屏上显示有合焦强度曲线,在用户从合焦强度曲线中选取某个合焦焦距时,则可触发变焦过程。
以具有遥控器的移动平台为例,例如,遥控器上具有用于变焦的按键,如增大焦距的按键和减小焦距的按键,在用户按压其中某个按键的时候,即可触发搭载在移动平台上的相机的变焦过程。例如,遥控器的显示屏上显示有调焦组件,在用户操作该调焦组件的时候,即可触发变焦过程。例如,遥控器的显示屏上显示有合焦强度曲线,在用户从合焦强度曲线中选取某个合焦焦距时,则可触发变焦过程。例如,用户可以通过拨杆或拨轮等输入第一用户操作。
在某些实施例中,获得第一操作是用户转动了变焦环或者点击了用户进行变焦的按键等。例如,如果合焦信息集合中包括至少一个合焦信息,响应于变焦环发生转动,获得自动变焦操作。具体地,获得第一操作包括以下至少一种。例如,如果合焦信息集合中包括至少一个合焦信息,响应于变焦环的转动速度大于或等于预设转动速度阈值,获得自动变焦操作。例如,如果合焦信息集合中包括至少一个合焦信息,响应于变焦环的转动持续时长大于或等于预设时长阈值,获得自动变焦操作。例如,如果合焦信息集合中包括至少一个合焦信息,响应于变焦环的转动速度大于或等于预设转动速度阈值,并且变焦环的转动持续时长大于或等于预设时长阈值,获得自动变焦操作。其中,预设转动速度阈值、预设时长阈值可以根据经验或通过实验进行标定。
在操作S506,响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦。
在本实施例中,可以基于已确定的合焦信息进行自动对焦,无需用户再手动通过调节 变焦环等方式进行手动变焦,不但有助于提升变焦速度,还有助于提升变焦准确度,降低了手动变焦对用户操作经验和视力水平的依赖。
例如,在基于合焦信息进行自动变焦的过程中,由于对焦框中可能存在多个对象,各对象对应的合焦焦距可能不同,用户可以通过逐步变焦的方式将相机的焦距调整至目标焦距。例如,基于合焦信息集合中各合焦信息依次逼近目标焦距。例如,基于合焦信息集合中各合焦信息和用户输入的焦距改变量来分段逼近目标焦距。
例如,在基于合焦信息进行自动变焦的过程中,当对焦框中存在多个合焦信息时,用户可以直接从中选取合焦信息的方式提升变焦速度。如用户可以通过直接选取合焦焦距的方式实现一步变焦。
在某些实施例中,镜头可以包括变焦环。相应地,第一操作包括按照特定方向转动变焦环。
上述响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦可以包括如下操作:重复以下操作直至将镜头的焦距改变为与目标对象对应的合焦焦距:响应于第一操作,控制镜头的焦距改变为合焦信息集合中目标焦距,目标焦距是以镜头的当前焦距为起始焦距,基于变焦环的转动方向信息在合焦信息集合中进行匹配确定的焦距。
其中,目标焦距可以包括以下任意一种:合焦信息集合中与镜头的当前焦距的差值最小的焦距、合焦信息集合中与镜头的当前焦距的差值最大的焦距。本实施例中,焦距先调整至最近或最远合焦焦距,再重复执行变焦过程,以一步步实现到目标合焦点。
在某些实施例中,对焦框内锁定的对象可能存在多个峰值情况(前后景),用户可以通过手动辅助对焦方式在不同峰值间进行快速选择对焦。手动辅助对焦的效果类似于粘滞效果:如当移动一个对象至另一个对象的过程中,在满足一定条件下,另一个对象会自动将该一个对象吸引过去,而无需用户一直将该一个对象移动至该另一个对象,提升操作便捷度。
图8为本申请实施例提供的基于变焦环进行手动辅助对焦的过程示意图。
如图8所示,对焦框中对象存在4个合焦焦距:合焦焦距1~合焦焦距4。当前焦距位于合焦焦距1和合焦焦距2之间,即相机在当前焦距下没有处于合焦状态。用户通过转动变焦环以增大相机的焦距,则相机可以以当前焦距为起点,以合焦焦距2为目标焦距进行自动变焦。期间,用户无需通过精准的变焦操作将相机的焦距调整至合焦焦距2,变焦过程是自动执行的,其速度快于手动变焦至合焦焦距2的速度。在变焦至合焦焦距2之后,相机中止变焦,并在显示屏显示在合焦焦距2下拍摄的图像。以上完成一次第一操作触发 的自动变焦过程。
用户在显示屏上查看图像后,如果目标对象的图像还不够清晰,则表明合焦焦距2不是与目标对象对应的合焦焦距。用户可以通过转动变焦环以增大相机的焦距,则相机可以以合焦焦距2为起点,以合焦焦距3为目标焦距进行自动变焦。期间,用户无需通过精准的变焦操作将相机的焦距调整至合焦焦距3,变焦过程是自动执行的,其速度快于手动变焦至合焦焦距3的速度。在变焦至合焦焦距3之后,相机中止变焦,并在显示屏显示在合焦焦距3下拍摄的图像。以上完成两次第一操作触发的自动变焦过程。用户在显示屏上查看在合焦焦距3下拍摄的图像后,如果目标对象的图像已清晰,则用户可以进行拍摄操作。
需要说明的是,为了便于用户得知当前焦距以及当前是否处于合焦状态,可以对用户进行对焦提示。在本实施例中,对焦提示的方式有多种,例如以视觉形式、听觉形式、机械形式等进行对焦提示。
以视觉形式的对焦提示为例,对焦提示可直观地显示在显示组件上。例如,提示信息可以显示在拍摄设备的取景器或屏幕、或者远程控制器的屏幕上。当对焦提示显示在屏幕上时,拍摄设备拍摄的图像可以和对焦提示同时显示在屏幕上,对焦提示可以覆盖或叠加在屏幕显示的图像上。当用户操作变焦环以改变拍摄设备的焦距时,用户可以同时看到图像和对焦提示以确定图像是否合焦。
参考图8所示,显示组件显示包括合焦焦距标志、当前焦距标志、当前焦距标志(合焦)等。此外,显示组件显示还可以包括目标焦距标志等。当前焦距标志、当前焦距标志(合焦)可以以不同的形状进行表示,例如,当前焦距标志以三角形进行表示,当前焦距标志(合焦)以五角星、圆形、圆点等不同于当前焦距标志的标志进行表示。
当前焦距标志、当前焦距标志(合焦)也可以以相同的形状和不同的状态(如填充状态、颜色、大小等)进行表示。例如,当前焦距标志(合焦)的尺寸大于当前焦距标志,当前焦距标志(合焦)具有填充,当前焦距标志是黄色而当前焦距标志(合焦)是绿色等。
在某些实施例中,上述方法在获得第一操作的过程中或者之后,获得变焦环的转动量还可以包括如下操作。首先,基于镜头的当前焦距和变焦环的转动量确定辅助焦距。然后,基于辅助焦距从合焦信息集合中确定目标焦距,其中,目标焦距是以辅助焦距为起始焦距,按照变焦环的转动方向信息在合焦信息集合中进行匹配,确定的与起始焦距最接近的焦距。
图9为本申请另一实施例提供的基于变焦环进行手动辅助对焦的过程示意图。
如图9所示,对焦框中对象存在4个合焦焦距:合焦焦距1~合焦焦距4。当前焦距位 于合焦焦距1和合焦焦距2之间,即相机在当前焦距下没有处于合焦状态。用户通过转动变焦环以增大相机的焦距。与图8中实施例所不同的是,本实施例中还获取了用户转动变焦环产生的转动量。用户在预览图形中可以看到目标对象的图像的模糊程度,如果模糊程度越高。为了使得目标对象的图像清晰,则需要调整的焦距越大。这样使得用户可以根据目标对象的图像模糊程度确定一个大致的变焦范围,如从当前焦距调整至目标对象的图像清晰,则至少需要转动变焦环1/4圈或3/1圈或更多。为了避免当前焦距和目标焦距之间存在过多合焦焦距(如合焦焦距2),导致当采用图8所示的变焦过程需要用户多次进行第一操作,则相机可以以当前焦距为起点,基于变焦环的转动量确定一个辅助焦距(参考图9的中间状态的虚线三角标志所示),然后,再根据变焦环的转动方向来确定本次自动变焦的目标焦距(如合焦焦距3),并进行自动变焦。期间,用户无需通过精准的变焦操作将相机的焦距调整至合焦焦距2和合焦焦距3,变焦过程是自动执行的,其速度快于手动变焦至合焦焦距2和合焦焦距3的速度。此外,参考图9所示,因无需自动变焦至合焦焦距2,减少了一次自动对焦步骤,进一步提升了变焦速度。
图9所示的实施例中同样可以具有对焦提示信息,可以参考如上所示的对焦提示信息相关部分内容。
此外,合焦焦距指示标志和当前焦距标志之间的指示焦距差随着变焦环的调整位置的变化而均匀变化。变焦环的转动角度也可称为变焦环的调整量,合焦焦距指示标志和当前焦距标志之间的指示焦距差随着变焦环的调整量而均匀变化。例如,变焦环环绕光学组件,变焦环的调整量具体可以是该变焦环的转动角度,该变焦环的转动角度是指该变焦环在转动时其角度的变化量。该变焦环在转动时,合焦焦距指示标志和当前焦距标志之间的指示焦距差随着变化。该指示焦距差的变化量与该变焦环的转动角度成正比,即合焦焦距指示标志和当前焦距标志之间的指示焦距差随着变焦环的转动角度均匀变化。
在某些实施例中,合焦强度峰值可以以数值、曲线图或者线段等方式进行显示。
在某些实施例中,显示屏还用于显示与合焦信息集合对应的输入组件。该输入组件可以响应于用户操作进行信息输入,如通过输入组件输入用户选择的合焦信息等。
例如,响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦可以包括:响应于针对输入组件的用户操作,从合焦信息集合中确定与目标对象对应的目标对象焦距。
在某些实施例中,上述方法还可以包括如下至少一种操作。例如,显示当前焦距标志,当前焦距标志对应于合焦强度曲线中一个点。例如,显示合焦提示信息,合焦提示信息包括当前焦距标志的显示状态改变信息。
图10为本申请实施例提供的基于合焦信息进行手动辅助对焦的过程示意图。
如图10所示,是相机的显示屏显示的取景图像,用户在进行手动辅助对焦进行对焦时,显示屏还显示出对焦框(虚线所示的方框)。对焦框内的图像中包括头部图像(目标对象)和树叶图像(非目标对象)。由于对焦框中各对象与拍摄装置之间的距离不同,各对象的合焦焦距也不同。为了便于用于快速地选取与目标对象对应的合焦焦距,显示屏中还可以显示有合焦信息和对焦提示信息等。
参考图10所示,对焦框的左侧还显示了条状的合焦焦距,其中,条状中每个刻度可以表示一个合焦焦距。此外,为了便于用户得知当前焦距,还可以在对应于条状的合焦焦距的位置处显示焦距标志,如图10中无填充的三角形所示。用户需要选取合焦信息时,则可以点击条状的合焦焦距中某个刻度即可。如果在该刻度对应的焦距下采集的目标对象的图像不够清晰,则用户可以通过点击另一个刻度进行变焦,以获取变焦后的目标对象的图像,重复上述操作直至目标对象的图像清晰。需要说明的是,图10中所示的条状的合焦焦距仅为示例性示出,还可以以有刻度的箭头线条、有刻度的线段、有刻度的圆形等进行显示。
图10中还示出了合焦提示信息,如图10中有填充的三角形,这样有助于提升用户当前已处于合焦状态。例如,在当前焦距等于合焦信息中合焦焦距时,显示合焦提示信息。合焦提示信息可以是通过当前焦距标识的状态改变来进行提示,如对当前焦距标识进行填充、改变颜色或改变大小等。
参考图10所示,还可以获取用户对多个合焦焦距指示标志中任一个合焦焦距指示标志的选择操作。例如,获取用户对多个合焦焦距指示标志中任一个合焦焦距指示标志的点击操作。参考图10所示,用户在显示屏上对合焦焦距指示标志进行点击,该显示屏可以是触摸屏,该触摸屏可感测到用户对合焦焦距指示标志的点击操作,并将该点击操作发送给摄像控制部。
本实施例通过显示用于指示合焦焦距的合焦焦距标志,以及显示用于指示当前焦距的当前焦距标志,当合焦焦距标志和当前焦距标志不重合或者当前焦距标志不是合焦状态时,提示用户调整拍摄装置的焦距以实现合焦,使得用户在手动对焦时,快速准确地找到对象合焦时的焦距。
在某些实施例中,显示屏还用于显示与合焦信息集合对应的合焦强度曲线。合焦强度可以表征对焦框中对象的图像像素反差值,反差值越大,则表征合焦强度越高。此外,合焦强度也可以表征在某个焦距下存在对象的概率。
例如,合焦强度曲线可以通过如下方式生成。首先,确定待显示合焦信息,待显示合焦信息是合焦信息集合中满足显示条件的焦距信息,显示条件包括与待显示合焦信息对应的合焦强度大于或等于预设强度阈值。然后,基于待显示合焦信息生成合焦强度曲线。
在某些实施例中,合焦信息以合焦强度曲线的形式进行显示,合焦强度曲线所在的二维坐标系包括表征焦距的第一坐标轴和表征合焦强度的第二坐标轴。第一坐标轴和第二坐标轴之间可以相互垂直。例如,第一坐标轴可以是以显示屏的长边为基准的X轴,第二坐标轴可以是以显示屏的宽边为基准的Y轴。
图11为本申请实施例提供的合焦强度曲线的示意图。
如图11所示,显示了二维坐标系,其中,横轴表示焦距,纵轴表示合焦强度。
具体地,绘制一个二维On-Screen display(屏幕菜单式调节方式,简称OSD),横坐标为对焦距离(此距离通过焦距转换得到),纵坐标为合焦强度;另有一个当前焦距指示物指示当前所处的对焦距离(有简易刻度作为提示)。
在反差模式下,当移动对焦环过程中没有得到一个反差曲线峰值情况下,仅仅绘制所获得的反差强度曲线;视图横坐标自适应的缩放到仅仅显示已获得反差强度范围,以突出反差强度内容。一旦移动对焦环过程中得到至少一个峰值(两侧反差强度低于中间反差强度),需要标注此峰值(指示物)。
在相位模式下,直接将对焦框内的强度曲线绘制到OSD上,并将所有可合焦点作为峰值标注。
在某系实施例中,受限于显示屏的显示面积较小,为了更好地显示合焦强度曲线,可以对合焦强度曲线进行诸如:缩放、伸缩、裁剪、形变等处理。
图12为本申请实施例提供的处理后的合焦强度曲线的示意图。
例如,当对焦框中存在多个对象,且距离相机较远时,则其合焦强度会相对于近景中对象的合焦强度低一些,这些对象是目标对象的概率也较低。为了减少合焦焦距的数量,可以对这些对象的合焦信息进行过滤。参考图11和图12所示,图11中右侧的第一峰值和第三峰值因合焦强度较低(如低于图11中虚线横线),在图12的上图中已被过滤掉。
例如,当某些焦距或某一段焦距不存在合焦信息时,为了避免合焦强度曲线占用过长的空间,可以对合焦强度曲线进行裁剪。参考图11和图12所示,图11中左侧的两个峰值之间不存在合焦强度,在图12的上图中已被过滤掉。
例如,为了提升合焦强度曲线的美观度,可以将合焦强度曲线抽象成刻度标尺。参考图12的上图所示,存在三个合焦强度较高的峰值,则可以将这三个峰值投影到刻度标尺 上,如图12的下图所示。通过如上操作可以实现在显示屏上示出较规则的合焦强度曲线,减少合焦强度曲线占用的显示空间,提升显示图像的整洁度。
在某些实施例中,合焦信息集合中至少一个合焦信息各自与对焦框中的子区域之间存在第一对应关系。第一操作包括子区域选取操作。
相应地,响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦可以包括如下操作。首先,基于第一对应关系从合焦信息集合中确定与被选取的子区域对应的目标焦距。然后,响应于目标焦距,控制拍摄装置的镜头基于目标焦距自动对焦。
其中,第一对应关系可以是固定的。此外,第一对应关系可以是可变的。
图13为本申请另一实施例提供的基于合焦信息进行手动辅助对焦的过程示意图。
如图13所示,显示屏上显示有采集的图像和对焦框。在之前的实施例中,相机仅获取了对焦框中包括的合焦信息,但是,用户并不能直观地确定各合焦信息与各对象之间的对应关系。例如,对焦框中存在对象A和对象B,通过像素反差确定存在合焦信息A和合焦信息B,显示屏中可以显示合焦信息A和合焦信息B以便用户进行选取。但是,用户需要基于经验或逻辑推理等方式确定对象A和对象B与合焦信息A和合焦信息B之间的对应关系。或者,用户可以依次选取合焦信息A和合焦信息B来确定与目标对象对应的合焦信息。手动对焦的效率有待进一步提升。
为了便于用户快速、准确地选取与目标对象对应的合焦信息,本实施例的摄像装置还进一步提供了第一对应关系,以便选取与目标对象对应的合焦信息。
在某些实施例中,上述方法在获得第一操作之前,还可以包括如下操作:显示与对焦框中至少部分子区域对应的合焦强度。
在某些实施例中,获得第一操作可以包括如下操作。首先,响应于针对对焦框中子区域的选取操作,确定被选取子区域。然后,基于第一对应关系从合焦信息集合中确定与被选取子区域对应的目标焦距。
以第一对应关系是可变的为例进行说明。参考图13的左图所示,相机可以通过图像处理的方式从对焦框中划分出与各对象对应的显示区域,并且确定与各显示区域对应的合焦信息。这样就可以建立各显示区域与合焦信息之间的对应关系。当用户希望对焦框中头部的图像清晰时,则可通过点击头部的图像来实现合焦信息的选取。例如,首先进行图像处理确定对焦框中存在两个对象的对象图像,然后通过反差模式来确定与各对象图像对应的合焦信息,将确定的合焦信息和对应的对象图像进行绑定。当用户点击头部图像时,则相机可以基于头部图像确定对应的合焦信息,然后基于该合焦信息进行自动对焦。
以第一对应关系是固定的为例进行说明。参考图13的右图所示,可以预先将对焦框划分为多个子区域,各子区域相对于对焦框的位置是固定的,在获取到针对各子区域的合焦信息时,就可以建立各子区域与合焦信息之间的对应关系。由于将对焦框划分成了多个子区域,一个子区域中包括多个对象的概率大大降低,有效减少了与一个子区域对应的合焦信息的数量,以便于用户通过点击某个子区域即可快速确定与目标对象对应的合焦信息。如目标对象的图像显示在某个子区域中,则可以点击该子区域来选取与目标对象对应的合焦信息。例如,当用户点击头部图像所在的子区域时,则相机可以基于头部图像确定对应的合焦信息,然后基于该合焦信息进行自动对焦。
需要说明的是,对焦框的面积可能较小,为了便于用户能够从对焦框中准确地选取子区域,可以在显示界面上提供一块区域用于放大显示对焦框中图像,这样有助于提升用户选取子区域的便捷度和准确度。
在某些实施例中,当已经存在至少一个合焦强度峰值情况下,可随时进入粘滞对焦模式。如一旦对焦框朝向有峰值的方向旋转到一定幅度(或者速度),则自动快速对焦到此方向最近的一个合焦强度峰值处,此时当前焦距指示物变化颜色(比如从红色变为绿色)以体现合焦。
为了降低拍摄装置为了频繁的获取合焦信息集合,导致的能耗过大、磨损老化等,可以仅在满足条件时执行获取当前图像的对焦框中针对至少一个对象的合焦信息集合的操作。
在某些实施例中,获取当前图像的对焦框中针对至少一个对象的合焦信息集合可以包括如下操作。
例如,响应于指示进入手动辅助对焦模式的第二操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合。其中,第二操作的形式可以同第一操作,如按压与进入手动辅助对焦模式功能对应的按键、在显示界面上点击与进入手动辅助对焦模式功能对应的虚拟按键等。需要说明的是,一个按键可以用于实现一个或多个功能,如快门按键在不同状态下可以激活不同的功能,在半按状态下对应切换至手动辅助对焦功能和激活对焦框的功能,在全按下装下对应拍摄功能。
例如,响应于表征变焦趋势的第三操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合。在本实施例中,可以在用户执行变焦操作时,执行获取当前图像的对焦框中针对至少一个对象的合焦信息集合的操作。在进行手动对焦操作之前较长的时间获取的合焦信息,可能由于用户在进行操作的过程中可能存在晃动、移动等情形发生,目标对 象也可能存在晃动、移动等情形发生,导致合焦信息发生改变。为了改善上述情况,在用户开始执行变焦操作之后再获取合焦信息,有效减少了执行变焦操作和获取合焦信息两个操作之间的时间间隔,有助于提升得到的合焦信息的准确度。
在某些实施例中,响应于指示进入手动辅助对焦模式的第二操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合可以包括如下所示的操作。例如,响应于第二操作,基于传感器获取当前图像的对焦框中针对至少一个对象的合焦信息集合。
其中,传感器可以用于测量对象与拍摄装置(或镜片组)之间的距离。传感器可以设置在拍摄装置上,如相机自带的传感器或外挂的传感器。传感器可以设置在承载拍摄装置的支架上,如设置在安装拍摄装置的安装板上、设置在云台的支架上或设置在云台的把持组件上等。传感器可以设置搭载拍摄装置的移动平台上,如设置在无人机或陆地机器人上等。传感器的具体设置位置不做限定。
传感器包括但不限于以下至少一种:激光测距仪、红外测距仪等直接测量类型的传感器,以及惯性测量单元(IMU)、速度计、加速度传感器等累加测量类型的传感器。其中,传感器可以设置在拍摄装置、搭载拍摄装置的云台或搭载拍摄装置的移动平台上,以用于确定设置惯性测量单元主体的姿态信息。例如,对于云台而言,为了便于确定拍摄装置的姿态信息,该惯性测量单元可以设置在拍摄装置固定机构上,用于测量固定机构的姿态信息。惯性测量单元可以是加速度计或陀螺仪中的至少一种,可以用于测量拍摄装置的姿态和加速度等。
以用户手持的拍摄装置为例进行示例性说明。单目(单个镜头)的拍摄装置中设置有结构光、景深检测(也称为时差法,Time of flight,简称TOF)等可以实现测距的传感器。双目的拍摄装置或者多目的拍摄装置可以基于双目各自视角下针对同一对象拍摄的图像,来计算距离。
IMU等传感器可以用来辅助确定距离,如在已知目标对象和拍摄装置之间的距离的场景中,可以基于IMU检测拍摄装置自身发生的位移和方向,这样可以基于该距离和位移更新目标对象和拍摄装置之间的距离。IMU是测量物体三轴姿态角(或角速率)以及加速度的装置。IMU内可以设置有三轴陀螺仪和三轴加速度计,通过测量物体在三维空间的角速度和加速度解算出物体的位姿。
例如,惯性测量单元可以包括陀螺仪和/或加速度计,陀螺仪可以用于确定云台的角加速度信息,加速度计可以用于确定云台的加速度信息。由于拍摄装置和云台之间可以是相互固定的,可以用云台的角加速度信息和加速度信息来表征拍摄装置的姿态信息和加速 度信息。
例如,在相位模式下,通过相机传感器集成的相位对焦信息,预先获得ROI内所有可合焦焦距,得到合焦强度曲线。
需要说明的是,为了保证合焦信息的准确度:在满足重新计算条件时,输出重新测距提示信息或者强制终止使用IMU输出的信息来确定对象和拍摄装置之间的距离。由于IMU检测精度有限,或者受到IMU自身特性(如针对大加速度场景下检测精度低于针对小加速度场景下检测精度)的影响,基于一次初始化后的IMU来确定拍摄装置的移动距离的适用场景有限。因此,可以及时提示用户重新初始化对象与拍摄装置之间的距离,以提升得到的合焦信息准确度。
例如,重新初始化距离条件包括以下至少一种:惯性测量单元经历过下电操作、相机或云台经历过下电操作、相机或云台在下电状态下发生的位移超过重新标定位移阈值或者惯性测量单元的加速度大于设定加速度阈值。
在某些实施例中,响应于指示进入手动辅助对焦模式的第二操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合可以包括如下所示的操作。例如,响应于第二操作,通过调整镜头的焦距,基于当前图像的对焦框中针对至少一个对象的像素反差,获取当前图像的对焦框中针对至少一个对象的合焦信息集合。
例如,可以通过如下方式确定目标对象与相机之间的距离以及对应的合焦焦距:基于在镜头与摄像面的位置关系不同的状态下摄像到的多个图像的模糊量来确定距离。在此,将该方式称为模糊检测自动聚焦(Bokeh Detection Auto Foucus,简称BDAF)方式。
例如,图像的模糊量(Cost)能够使用高斯函数由下式(2)表示。在式(2)中,x表示水平方向上的像素位置。σ表示标准偏差值。
通过使聚焦透镜对准到与图像的模糊量曲线的极小点对应的透镜位置,从而能够使焦点对准图像中包含的目标对象。
在某些实施例中,基于传感器获取当前图像的对焦框中针对至少一个对象的合焦信息集合可以包括如下操作。
首先,通过传感器按照预设采样周期获取与当前图像的对焦框中针对至少一个对象各自的合焦焦距,其中,基于合焦焦距进行拍摄的图像满足预设成像条件。
然后,将至少部分合焦焦距和与至少部分合焦焦距各自对应的合焦强度信息作为合焦 信息。
在某些实施例中,通过调整镜头的焦距,基于当前图像的对焦框中针对至少一个对象的像素反差,获取当前图像的对焦框中针对至少一个对象的合焦信息集合可以包括如下操作。
首先,在将镜头的焦距从第一预设焦距调整至第二预设焦距的过程中,获得多个拍摄面的图像信息。其中,第一预设焦距可以是当前焦距、镜头的最小焦距或者镜头的最大焦距中任意一种。第二预设焦距可以是相对于当前焦距之后具有指定焦距差的焦距、镜头的最大焦距或者镜头的最小焦距中任意一种。
然后,从多个拍摄面中确定合焦拍摄面,合焦拍摄面的图像信息中存在相邻像素反差超过预设反差阈值的像素。
接着,将至少部分与合焦拍摄面对应的合焦焦距和相应的合焦强度作为合焦信息。
通过以上方式即可实现:计算当前焦距下对焦框内图像的反差强度,随着变焦环的旋转,得到所经过焦距对应的反差强度值,进而得到反差强度曲线,作为合焦强度曲线。
具体地,首先,在镜头和摄像面处于第一位置关系的状态(如第一焦距)下,拍摄第一张图像,并保存在存储器中。接着,通过使聚焦透镜或图像传感器在镜片组的光轴方向上移动,从而使得镜头与摄像面处于第二位置关系的状态(如第二焦距)下。在该第二焦距下拍摄第二张图像,并保存在存储器中。这样可以确定第一张图像和第二张图像中针对同一对象的图像模糊量。重复多次上述过程即可得到:在不同焦距下针对同一对象的多个图像模糊量,该多个图像模糊量可以形成图像模糊量曲线。将图像模糊量曲线的极小点对应的焦距作为目标焦距。此外,还可以基于该目标焦距得到目标对象和镜头之间的物距。
例如,可以采用爬山AF那样,使聚焦透镜或图像传感器在光轴方向上移动,并且不会超过对焦点。聚焦透镜或图像传感器的移动量,例如可以是5μm、10μm、15μm等。
在一个具体实施例中,将镜头的焦距从第一预设焦距调整至第二预设焦距包括:将镜头的焦距从镜头的最小焦距调整至镜头的最大焦距。
例如,在激活对焦框之后,将镜头的焦距从镜头的最小焦距调整至镜头的最大焦距,这样就可以基于在各焦距下采集图像的反差值,来确定合焦平面以及与合焦平面对应的合焦焦距。一个合焦平面可以对应一个或多个对象的清晰图像。
在某些实施例中,可以在检测到变焦操作之后,再获取对焦框中包括的对象的合焦信息。具体地,镜头包括变焦环。
相应地,响应于表征变焦趋势的第三操作,获取当前图像的对焦框中针对至少一个对 象的合焦信息集合可以包括如下操作。
首先,获取第三操作,第三操作使得变焦环转动。其中,第三操作的操作方式可以同第一操作,在此不做限定。
然后,响应于第三操作,将镜头的焦距从当前焦距调整至最大焦距或者最小焦距的过程中,获得多个拍摄面的图像信息。
接着,从多个拍摄面中确定合焦拍摄面,合焦拍摄面的图像信息中存在相邻像素反差超过预设反差阈值的像素。
然后,将至少部分合焦焦距和相应的合焦强度作为合焦信息。
在某些实施例中,获得第二操作可以包括以下至少一种:接收针对预设按键的操作、接收针对预设交互组件的操作或者接收预设操作手势。
其中,预设按键可以设置在:拍摄装置、承载拍摄装置的云台(如云台的把持组件)、承载拍摄装置的移动平台的控制终端(如遥控器等)之上。
预设交互组件可以显示在拍摄装置的显示屏、承载拍摄装置的云台的显示屏或者承载拍摄装置的移动平台的控制终端的显示屏之上。
操作手势可以通过图像处理器或遥控器等进行采集。
在某些实施例中,获得第二操作包括:预设按键被按下第一指定位移时生成第二操作,其中,预设按键具有至少两个指定位移,第一指定位移是至少两个指定位移中的一个。其中,预设按键可以是快门按键等。
在某些实施例中,在预设按键被按下第一指定位移之后,上述方法还可以包括如下操作。
首先,获得第四操作,第四操作是预设按键被按下第二指定位移,其中,第一指定位移和第二指定位移分别是至少两个指定位移中的一个。然后,响应于第四操作,采集图像信息。
在一些实施例中,在手动对焦模式下,用户一旦半按快门按键,则进入手动辅助对焦模式。在此模式下通过IMU和视觉方式锁定对焦框内的对焦对象,即便镜头和/或机身发生晃动,或者,镜头和/或机身发生移动,对焦框仍然锁定到对焦对象上,这样可以支持先对焦后构图拍摄方式。
以下以通过相机的快门按键获得第二操作和第四操作为例进行示例性说明。
图14为本申请实施例提供的预设按键状态与显示屏上对应显示图像的示意图。
如图14所示,左侧示出的是快门按钮的状态,右侧是显示屏中示出的与快门按钮的 状态对应的显示图像。图14的上图中,示出了取景图像,当按钮处于半按状态下时,获得了第二操作,在取景图像中显示了对焦框。图14的下图中,当用户完全按下快门按键之后,进行图像采集和保存,并可以在显示屏上显示出拍摄的图像。在户完全按下快门按键并松开快门按键之后,可以在显示屏上示出选项:保存和删除按钮,以供用户选取。
通过将进入手动辅助对焦功能的按键和拍摄功能的按键集成设置在同一个按键处,无需新增按键,提升空间利用率。
在某些实施例中,为了提升合焦信息的准确度以保证拍摄图像中目标对象的清晰度,可以在满足退出手动辅助对焦模式条件后,退出手动辅助对焦模式。其中,在满足手动辅助对焦模式条件时,已有的合焦信息可能导致采集的目标对象的图像清晰度较低。
图15为本申请另一实施例提供的控制方法的流程示意图。
如图15所示,上述方法在执行操作S306获得第二操作之后,还可以包括操作S1508。
在操作S1508,如果确定满足退出手动辅助对焦模式的条件,则退出手动辅助对焦模式。
在某些实施例中,退出手动辅助对焦模式的条件包括以下至少一种。
例如,预设按键处于与退出手动辅助对焦模式对应的状态。当用户希望退出手动辅助对焦模式时,则可以退出该模式。例如,用户松开快门按键、用户选择了自动对焦模式、用户关机等。
例如,目标对象移动至对焦框之外,其中,对焦框中具有多个对象,每个对象与合焦信息集合中合焦信息之间存在第二对应关系。目标对象可以是与用户确定的合焦信息对应的对象。参考图8所示,如用户将镜头焦距变焦至合焦焦距3,没有松开快门按键,并且也没有再转动变焦环,但是,与合焦焦距3对应的对象的图像已位于对焦框之外,则可以确定当前已满足退出手动辅助对焦模式的条件。
例如,拍摄装置仅能通过调整镜头确定对焦框的合焦信息,并且目标对象相对于镜头发生相向方向位移或者相背方向位移,其中,对焦框包括多个对象,每个对象与合焦信息集合中合焦信息之间存在第二对应关系。在合焦信息已经确定的前提下,如果目标对象相对于镜头发生相向方向位移或者相背方向位移,则不便于通过反差模式对合焦信息进行更新或补偿。为了保证合焦信息的准确度,可以确定当前已满足退出手动辅助对焦模式的条件。
此外,对于至少基于IMU输出的信息来确定对象和拍摄装置之间的距离的方案,退出手动辅助对焦模式的条件还可以包括以下至少一种:惯性测量单元经历过下电操作、 相机或云台经历过下电操作、相机或云台在下电状态下发生的位移超过重新标定位移阈值或者惯性测量单元的加速度大于设定加速度阈值。当这些条件中至少一种被满足时,则无法保证合焦信息的准确度,可以退出手动辅助对焦模式。
图16为本申请实施例提供的退出手动辅助对焦时显示图像的示意图。
如图16所示,左上图中是用户进行变焦操作之后,对焦框中显示的图像。图像中用户头像与树叶之间具有第一距离。在完成手动辅助对焦之后,用户可以进行图像采集操作。
图16的右上图中是用户进行变焦操作之后,在进行拍摄之前,拍摄对象发生了移动,导致图像中用户头像与树叶之间具有第二距离,但是,此时图像中用户头像和树叶还都位于对焦框,可以认为拍摄对象与拍摄装置之间的距离没有发生明显改变,基于合焦信息进行自动对焦可以得到拍摄对象的清晰图像。此时,无需退出手动辅助对焦模式,仍然可以进行拍摄。
图16的下图中是用户进行变焦操作之后,在进行拍摄之前,拍摄对象发生了移动,导致图像中用户头像位于对焦框之外,可以认为拍摄对象与拍摄装置之间的距离发生了改变,基于已有的合焦信息进行自动对焦,存在较大的概率无法得到拍摄对象的清晰图像。此时,可以退出手动辅助对焦模式,如对焦框不再显示。当然,用户可以重新进入手动辅助对焦模式以进行对焦和拍摄。
例如,发生以下至少一种情形:对焦对象移出屏幕、用户松开快门按键、对焦对象纵向移动(反差模式下),则可以退出手动辅助对焦模式。
需要说明的是,如果对焦框因追踪拍摄对象而移动了位置,则当退出手动辅助对焦模式之后,对焦框可以恢复到普通预览模式下的用户指定位置,如恢复到显示屏的中心位置。
在某些实施例中,为了提升合焦信息集合中合焦信息的准确度,还可以对已有的合焦信息进行更新。
图17为本申请另一实施例提供的控制方法的流程示意图。
如图17所示,上述方法在获取当前图像的对焦框中针对至少一个对象的合焦信息集合之后,还可以包括操作S1710。
在操作S1710,基于合焦信息集合中合焦信息的改变量对合焦信息集合进行补偿。
在某些实施例中,基于合焦信息集合中合焦信息的改变量对合焦信息集合进行补偿可以包括如下操作,首先,确定镜头的位姿变化信息。然后,基于镜头的位姿变化信息对合焦信息集合进行补偿。
例如,可以根据位置改变量对合焦信息进行补偿。例如,根据拍摄装置的位置改变量 对对焦框中对象的合焦焦距进行补偿。
在本实施例中,位置改变量可以作为拍摄对象相对于某个镜头的物距改变量,基于该物距改变量可以确定针对该某个镜头的像距改变量,进而基于该相距改变量来对合焦信息集合进行补偿,以保证合焦信息的准确度,提升基于合焦信息进行自动变焦操作的对焦准确度。
拍摄对象可以是静止的,如当拍摄对象是静止的时候,可以仅依靠IMU来解算拍摄装置的位置改变量来确定拍摄对象相对于拍摄装置之间距离的改变量。此外,拍摄对象也可以是移动的,此时,可以基于IMU解算的拍摄装置的位置改变量,来优化其它方式确定的拍摄对象相对于拍摄装置之间距离的改变量。
例如,相关技术中还可以通过如下方式确定拍摄对象相对于拍摄装置之间距离的改变量。以对焦场景为例,可以通过飞行时间法(Time of flight,简称TOF)进行目标测距、通过画面对比度进行对焦位置搜索(简称CDAF)、或者通过PDAF像素点对对角位置进行测量和预估,实现对焦控制。
以拍摄对象是移动的场景为例进行示例性说明。
在某些实施例中,确定镜头的位姿变化信息可以包括如下操作:基于惯性测量单元确定镜头的位姿变化信息,位姿变化信息包括位移信息和角度变化信息中至少一种。
TOF、CDAF和PDAF可以在进入手动辅助对焦模式时,获取对焦框中包括的对象的合焦信息,然后通过IMU解算的拍摄装置的位置改变量,来优化诸如TOF、CDAF或PDAF等在一些场景下的测距效果。
例如,TOF需要配备专用的距离检测装置,成本较高;部分云台上没有设置该装置,需要新增相应的距离检测装置;TOF的帧率较低,如可以是10fps,可能导致一些关键帧缺失相机到目标间的相对距离变化量,无法满足跟焦或变焦场景下的需求。
例如,CDAF法与画面刷新频率相同,但需要消耗较多的计算资源;需要多帧收敛;并且有明显的呼吸效应,无法很好地满足一些场景下对跟焦或变焦的操作要求。
例如,PDAF法与画面刷新频率相同,但对于光照强度有一定要求,无法满足光照不佳时跟焦或变焦场景下的需求。
在基于IMU解算的拍摄装置的位置改变量优化诸如TOF、CDAF或PDAF等在一些场景下的测距效果,可以包括如下所示的操作。
首先,对焦系统通过TOF、CDAF或PDAF等取得对焦框中各对象的合焦信息。假设目标不运动,或者拍摄者的运动占主要运动因素,此时,使用IMU或IMU和视觉惯性里 程计(Visual Inertial Odometry,简称VIO)获得高帧率的相机位置变化量。
将计算得出的相机位置变化量,用于估算相机到目标间的相对距离变化量,用于对对焦系统的结果进行微调(如对缺失相机到目标间的相对距离变化量的关键帧的上一帧或之前最新的相对距离变化量进行微调,以预测与该关键帧对应的相机到目标间的相对距离变化量。
下面给出距离计算原理。通过矢量旋转,将传感器坐标系下测量到的加速度值旋转到地理坐标系,如式(3)所示。
其中,
是传感器系到地理系的旋转矩阵。
是传感器系下的传感器测量向量。
是地理系下的传感器测量向量,当运动只包含平移时,减去重力加速度g,即得到平移的加速度。
当加速度计从静止开始积分时,初始速度vel(0)=0,移动速度如式(4)所示。
其中acc为平移的加速度,vel为相机移动速度,相机到拍摄对象的距离可表示为如式(5)所示。
d=Δd+d
0 式(5)
其中,Δd为位置变化量,
d
0为开始积分时相机到拍摄对象的距离,d为相机到拍摄对象的距离。通过加速度数据可以实时计算Δd,但初始距离和拍摄场景有关,可以通过如上所举的方法(TOF等)来确定。
在物距d变化连续变化过程中,根据物距d进行合焦信息补偿,使得拍摄对象的图像清晰。
物距d可由IMU获得的加速度积分两次得到。
例如,根据相似三角形可得像距f的表达式可以如式(6)所示。
其中,frame_width是拍摄主体像宽,view_width是拍摄主体宽度,参考图6所示。
图18为本申请实施例提供的对合焦信息进行补偿的示意图。
如图18所示,用户手持相机或承载有相机的云台对目标对象进行拍摄。在进入手动辅助对焦模式之后,可以在确定了目标对象的合焦焦距之后,再根据用户意愿对构图进行调整。如图18中,用户可以手持云台相对于拍摄对象进行横向和/或纵向移动,以优化构 图。但是,在用户相对于拍摄对象发生移动之后,会改变相机与拍摄对象之间的距离。如果仍然采用已有的合焦焦距进行拍摄,则可能导致拍摄的图像中针对拍摄对象的图像不清晰。因此,可以基于如上所示的方法,在用户相对于拍摄对象发生移动的过程中,对合焦信息进行补偿。例如,用户相对于拍摄对象远离了0.5米,则IMU会将检测到的0.5米发送给摄像控制部,由摄像控制部利用该0.5米对已有的用户与拍摄对象之间的距离进行补偿,然后基于补偿后的距离确定补偿后的合焦焦距,以实现对拍摄对象的合焦焦距的更新。需要说明的是,以上0.5米仅为便于理解本申请的方案,实际上IMU会按照预设周期输出相机的位移信息。
通过如上方式即可及时地更新合集焦距等合焦信息。例如,当镜头机身发生水平移动情况,此时峰值基于IMU计算移动距离来追踪对焦目标,并补偿合焦强度曲线。例如,镜头机身发生相对于拍摄对象的移动时,此时可以基于IMU计算移动距离来补偿合焦强度曲线。
在某些实施例中,当前图像的对焦框中具有多个对象,每个对象与合焦信息集合中合焦信息之间存在第二对应关系。
相应地,基于合焦信息集合中合焦信息的改变量对合焦信息集合进行补偿可以包括如下操作。首先,确定至少一个对象的位姿变化信息。然后,基于至少一个对象的位姿变化信息和第二对应关系,对合焦信息集合中与至少一个对象各自对应的合焦信息进行补偿。其中,位姿变化信息可以包括:位置变化信息和/或姿态变化信息。
在某些实施例中,确定至少一个对象的位姿变化信息可以包括如下操作:首先,通过图像识别确定对焦框包括的至少一个对象,然后,通过图像处理确定对焦框包括的至少一个对象的位姿变化信息。通过图像识别得到对焦框中对象的图像,这样便于实现对象图像和合焦信息之间的绑定,以便对与对象图像对应的合焦信息进行更新。
在某些实施例中,通过图像处理确定对焦框包括的至少一个对象的位姿变化信息可以包括如下操作,首先,计算至少一个对象的子图像在当前图像中的位移信息。然后,基于至少一个对象各自的合焦信息和至少一个对象在当前图像中的位移信息分别计算当前图像的对焦框中针对至少一个对象的位姿变化信息。其中,合焦信息可以包括合焦焦距等。例如,拍摄对象发生水平移动情况,此时可以基于视觉方式追踪拍摄对象,并结合镜头参数来计算移动距离,以补偿合焦强度曲线。
例如,拍摄对象发生纵向移动时,相位模式下则可实时计算更新OSD和合焦强度曲线。反差模式下则无法精确补偿合焦强度曲线距离,可以提示用户切换至相位模式下进行 补偿,或者退出手动辅助对焦模式。
图19为本申请另一实施例提供的对合焦信息进行补偿的示意图。
如图19所示,相机在确定了与目标对象对应的合焦信息之后,相机没有发生移动,目标对象发生了相对于目标对象和相机连线方向的垂直方向的移动。在目标对象没有移动出对焦框的前提下,可以对目标对象的合焦信息进行补偿。例如,已知目标对象的合焦焦距,则可以基于合焦焦距确定物距d,然后,基于目标对象的图像在对焦框中的移动距离计算出目标对象的真实移动距离,这样就可以计算出移动后的目标对象与相机之间的距离d’。
本领域技术人员应当能明白的是,虽然以上实施例中给出了相机发生移动并且拍摄对象不移动时的合焦信息补偿方法,以及拍摄对象发生移动并且相机不移动时的合焦信息补偿方法。但是,同样可以适用于相机和拍摄对象都发生移动时的合焦信息补偿方法。例如,将以上两种方式的处理结果进行融合,即可适用于相机和拍摄对象都发生移动的场景。
在某些实施例中,对焦框包括多个对象,每个对象与合焦信息集合中合焦信息之间存在第二对应关系。
相应地,基于合焦信息集合中合焦信息的改变量对合焦信息集合进行补偿可以包括如下操作。
首先,确定镜头的位姿变化信息和对焦框包括的多个对象的位姿变化信息。
然后,基于镜头的位姿变化信息和对焦框包括的多个对象的位姿变化信息对合焦信息集合进行补偿。
本申请的实施例,用户在手动辅助对焦模式下既可以保留用户快速选择拍摄对象的灵活度,又可以实现快速高效的自动化对焦,而且可以在相机和被摄物体发生移动中仍然可以快速进行对焦,有效提升用户体验。
本申请的实施例,用户通过旋转镜头的对焦环或者其他选择按钮等方式,可以快速自动地根据已有合焦强度信息寻找最近对应合焦焦距进行变焦操作,有效提升了手动变焦的操作便捷度。
本申请的实施例,提供了二维OSD的合焦峰值指示机制,便于用户直观地确定当前焦距和对焦框中对象的合焦焦距之间的关系,便于用户选取所需的合焦焦距。
本申请的实施例,拍摄装置和/或拍摄对象发生运动的情况下,可以对对焦框中对象的合焦强度信息进行补偿,使得用户可以实现先对焦再构图的拍摄方式,并且无需在改变构图后再次进行对焦的操作,满足用户的多样化拍摄手法需求,并且提升对焦操作的便捷 度。
本申请的另一方面还提供了一种拍摄控制装置。
图20为本申请实施例提供的拍摄装置的结构示意图。
拍摄装置2000承载有拍摄装置和惯性测量单元,惯性测量单元用于测量拍摄装置的姿态信息,如图20所示,拍摄装置2000包括:至少一个处理器2010和存储器2020。存储器2020存储计算机执行指令。
至少一个处理器2010执行存储器2020存储的计算机执行指令,使得执行计算机执行指令时实现如下步骤:
首先,获取当前图像的对焦框中针对至少一个对象的合焦信息集合。
然后,获得第一操作,其中,第一操作包括变焦操作或者第一操作是针对合焦信息集合中的合焦信息。
接着,响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦。
为了便于用户与云台之间进行交互,该拍摄装置上可以设置有输入部和/或输出部。
例如,输入部可以用于输入用户对拍摄装置的操作指令,该输入部可以包括用于实现人机交互的转轮、按键和触控屏等。
具体地,该用于实现人机交互的部件可以包括显示屏,用于显示交互界面,用户可以在交互界面中输入控制指令。
例如,拍摄装置上还可以包括显示屏,用于显示用户交互界面。
此外,该拍摄装置还可以进一步包括状态(模式)提示部件。例如,该拍摄装置可以包括指示灯。
应理解,输入部除了可以包括用于实现人机交互的转轮以及按键之外,还可以具有其他部件或者部分,例如,可以具有拍摄装置的开关等。
输入部中可以设置处理器,用于对输入的控制指令进行处理,或者收发信号等。当然,处理器也可以设置于镜头中。
可选地,该处理器可以是中央处理单元(Central Processing Unit,简称CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(application specific integrated circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
处理单元可以与非易失性计算机可读存储介质2020连接。与非易失性计算机可读存储介质2020可以存储由处理单元所执行的逻辑、代码和/或者计算机指令2021,用于执行一个或者多个步骤。非易失性计算机可读存储介质2020可以包括一个或者多个存储单元(可去除的介质或者外部存储器,如SD卡或者RAM)。在某些实施例中,IMU的测量信息可以直接传送并存储到非易失性计算机可读存储介质2020的存储单元中。非易失性计算机可读存储介质2020的存储单元可以存储由处理单元所执行的逻辑、代码和/或者计算机指令2021,以执行本案描述的各种方法的各个实施例。例如,处理单元可以用于执行指令,以导致处理单元的一个或者多个处理器执行上述描述的变焦和/或跟焦功能。在某些实施例中,非易失性计算机可读存储介质2020的存储单元可以存储处理单元产生的处理结果。
在某些实施例中,处理单元可以与控制模块连接,用以控制电机的状态。
处理单元还可以与通讯模块连接,用以与一个或者多个外围设备(如终端、显示设备、或者其它远程控制设备)传送和/或者接收数据。这里可以利用任何合适的通讯方法,如有线通讯或者无线通讯。例如,通讯模块可以利用到一个或者多个局域网、广域网、红外线、无线电、Wi-Fi、点对点(P2P)网络、电信网络、云网络等。可选地,可以用到中继站,如信号塔、卫星、或者移动基站等。
拍摄装置上的输入模块可以包括一个或者多个输入机制,以获取用户通过操作该输入模块产生的输入。输入机制包括一个或者多个操纵杆、开关、旋钮、滑动开关、按钮、拨号盘、触摸屏、小键盘、键盘、声音控制、手势控制、惯性模块等。输入模块可以用于获取用户的输入,该输入用于控制诸如相机、镜头或者其中部件的任何方面。
处理单元可以与存储器连接。存储器包括易失性或者非易失性存储介质,用于存储数据,和/或处理单元可执行的逻辑、代码、和/或程序指令,用于执行一个或者多个规则或者功能。存储器可以包括一个或者多个存储单元(可去除的介质或者外部存储器,如SD卡或者RAM)。在某些实施例中,输入模块的数据可以直接传送并存储在存储器的存储单元中。存储器的存储单元可以存储由处理单元所执行的逻辑、代码和/或者计算机指令,以执行本案描述的各种方法的各个实施例。例如,处理单元可以用于执行指令,以导致处理单元的一个或者多个处理器处理及显示从拍摄装置或电机等获取的感应数据(如影像),基于用户输入产生的控制指令,包括运动指令及目标对象信息,并导致通讯模块传送和/或者接收数据等。存储单元可以存储感测数据或者从外部设备(如移动平台)接收的其它数据。在某些实施例中,存储器的存储单元可以存储处理单元生成的处理结果。
在某些实施例中,合焦信息集合包括与镜头相关联的参数和合焦强度。
在某些实施例中,与镜头相关联的参数包括镜头的焦距和对焦距离,其中对焦距离为拍摄对象与镜头之间的距离。
具体内容参考前面的实施例的相同部分,此处不再做赘述。
在某些实施例中,镜头包括变焦环。第一操作包括按照特定方向转动变焦环。
相应地,响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦包括:重复以下操作直至将镜头的焦距改变为与目标对象对应的合焦焦距:响应于第一操作,控制镜头的焦距改变为合焦信息集合中目标焦距,目标焦距是以镜头的当前焦距为起始焦距,基于变焦环的转动方向信息在合焦信息集合中进行匹配确定的焦距。
在某些实施例中,目标焦距包括以下任意一种:合焦信息集合中与镜头的当前焦距的差值最小的焦距、合焦信息集合中与镜头的当前焦距的差值最大的焦距。
在某些实施例中,计算机程序被处理时还用于:在获得第一操作的过程中或者之后,获得变焦环的转动量;基于镜头的当前焦距和变焦环的转动量确定辅助焦距;基于辅助焦距从合焦信息集合中确定目标焦距,其中,目标焦距是以辅助焦距为起始焦距,按照变焦环的转动方向信息在合焦信息集合中进行匹配,确定的与起始焦距最接近的焦距。
具体内容参考前面的实施例的相同部分,此处不再做赘述。
在某些实施例中,拍摄装置包括显示屏,显示屏用于显示合焦信息集合中至少一个合焦信息,合焦信息包括合焦强度峰值。
在某些实施例中,显示屏还用于显示与合焦信息集合对应的输入组件;响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦包括:响应于针对输入组件的用户操作,从合焦信息集合中确定与目标对象对应的目标对象焦距。
在某些实施例中,显示屏还用于显示与合焦信息集合对应的合焦强度曲线。
具体内容参考前面的实施例的相同部分,此处不再做赘述。
在某些实施例中,合焦强度曲线通过如下方式生成:确定待显示合焦信息,待显示合焦信息是合焦信息集合中满足显示条件的焦距信息,显示条件包括与待显示合焦信息对应的合焦强度大于或等于预设强度阈值;基于待显示合焦信息生成合焦强度曲线。
在某些实施例中,获得第一操作包括以下至少一种:如果合焦信息集合中包括至少一个合焦信息,响应于变焦环的转动速度大于或等于预设转动速度阈值,获得自动变焦操作;或者如果合焦信息集合中包括至少一个合焦信息,响应于变焦环的转动持续时长大于或等于预设时长阈值,获得自动变焦操作;或者如果合焦信息集合中包括至少一个合焦信息, 响应于变焦环的转动速度大于或等于预设转动速度阈值,并且变焦环的转动持续时长大于或等于预设时长阈值,获得自动变焦操作。
在某些实施例中,合焦信息集合中至少一个合焦信息各自与对焦框中的子区域之间存在第一对应关系;第一操作包括子区域选取操作;响应于第一操作,控制拍摄装置的镜头基于合焦信息集合自动对焦包括:基于第一对应关系从合焦信息集合中确定与被选取的子区域对应的目标焦距;以及响应于目标焦距,控制拍摄装置的镜头基于目标焦距自动对焦。
具体内容参考前面的实施例的相同部分,此处不再做赘述。
在某些实施例中,获得第一操作包括:响应于针对对焦框中子区域的选取操作,确定被选取子区域;以及基于第一对应关系从合焦信息集合中确定与被选取子区域对应的目标焦距。
在某些实施例中,获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:响应于指示进入手动辅助对焦模式的第二操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合;或者响应于表征变焦趋势的第三操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合。
在某些实施例中,响应于指示进入手动辅助对焦模式的第二操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:响应于第二操作,基于传感器获取当前图像的对焦框中针对至少一个对象的合焦信息集合;和/或响应于第二操作,通过调整镜头的焦距,基于当前图像的对焦框中针对至少一个对象的像素反差,获取当前图像的对焦框中针对至少一个对象的合焦信息集合。
具体内容参考前面的实施例的相同部分,此处不再做赘述。
在某些实施例中,通过调整镜头的焦距,基于当前图像的对焦框中针对至少一个对象的像素反差,获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:在将镜头的焦距从第一预设焦距调整至第二预设焦距的过程中,获得多个拍摄面的图像信息;从多个拍摄面中确定合焦拍摄面,合焦拍摄面的图像信息中存在相邻像素反差超过预设反差阈值的像素;以及将至少部分与合焦拍摄面对应的合焦焦距和相应的合焦强度作为合焦信息。
在某些实施例中,将镜头的焦距从第一预设焦距调整至第二预设焦距包括:将镜头的焦距从镜头的最小焦距调整至镜头的最大焦距。
在某些实施例中,镜头包括变焦环;响应于表征变焦趋势的第三操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:获取第三操作,第三操作使 得变焦环转动;响应于第三操作,将镜头的焦距从当前焦距调整至最大焦距或者最小焦距的过程中,获得多个拍摄面的图像信息;从多个拍摄面中确定合焦拍摄面,合焦拍摄面的图像信息中存在相邻像素反差超过预设反差阈值的像素;以及将至少部分合焦焦距和相应的合焦强度作为合焦信息。
具体内容参考前面的实施例的相同部分,此处不再做赘述。
在某些实施例中,获得第二操作包括以下至少一种:接收针对预设按键的操作、接收针对预设交互组件的操作或者接收预设操作手势。
在某些实施例中,获得第二操作包括:预设按键被按下第一指定位移时生成第二操作,其中,预设按键具有至少两个指定位移,第一指定位移是至少两个指定位移中的一个。
在某些实施例中,退出手动辅助对焦模式的条件包括以下至少一种:预设按键处于与退出手动辅助对焦模式对应的状态;目标对象移动至对焦框之外,其中,对焦框中具有多个对象,每个对象与合焦信息集合中合焦信息之间存在第二对应关系;拍摄装置仅能通过调整镜头确定对焦框的合焦信息,并且目标对象相对于镜头发生相向方向位移或者相背方向位移,其中,对焦框包括多个对象,每个对象与合焦信息集合中合焦信息之间存在第二对应关系。
具体内容参考前面的实施例的相同部分,此处不再做赘述。
在某些实施例中,基于合焦信息集合中合焦信息的改变量对合焦信息集合进行补偿包括:确定镜头的位姿变化信息;以及基于镜头的位姿变化信息对合焦信息集合进行补偿。
在某些实施例中,当前图像的对焦框中具有多个对象,每个对象与合焦信息集合中合焦信息之间存在第二对应关系;基于合焦信息集合中合焦信息的改变量对合焦信息集合进行补偿包括:确定至少一个对象的位姿变化信息;以及基于至少一个对象的位姿变化信息和第二对应关系,对合焦信息集合中与至少一个对象各自对应的合焦信息进行补偿。
在某些实施例中,确定至少一个对象的位姿变化信息包括:通过图像识别确定对焦框包括的至少一个对象;以及通过图像处理确定对焦框包括的至少一个对象的位姿变化信息。
具体内容参考前面的实施例的相同部分,此处不再做赘述。
在某些实施例中,对焦框包括多个对象,每个对象与合焦信息集合中合焦信息之间存在第二对应关系。相应地,基于合焦信息集合中合焦信息的改变量对合焦信息集合进行补偿包括:确定镜头的位姿变化信息和对焦框包括的多个对象的位姿变化信息; 以及基于镜头的位姿变化信息和对焦框包括的多个对象的位姿变化信息对合焦信息集合进行补偿。
图21为本申请另一实施例提供的拍摄装置的结构示意图。
如图21所示,拍摄装置,包括镜头和相机本体,用于在电机驱动镜头变焦或跟焦后,对拍摄对象进行拍摄获得图像。相机本体可以为手持单反或微单相机的相机本体。镜头是包括变焦环和跟焦环的镜头,如手动镜头。本实施例中的镜头也可以支持手动对焦、跟焦。
拍摄装置可以包括变焦环,变焦环与光学组件耦合,光学组件可以包括多个透镜,变焦环可用于调节光学组件的焦点。在一些实施例中,变焦环可以包括机械调节装置。当用户转动变焦环时,光学组件的焦点将随着变焦环的转动而改变。在另外一些实施例中,变焦环还可以包括一个或多个调节按钮或调整轮,调节按钮或调整轮可设置在光学组件或机身上,当用于按压调节按钮或转动调整轮时,拍摄装置将产生电信号,该电信号用于指示如何调整光学组件的焦点,例如如何调整光学组件中的一个或多个光学元件的转动方向和/或转动距离。该电信号可以指示安装在光学组件或机身上的电机转动以驱动光学组件聚焦。调节按钮或调整轮可以是机械的调节按钮或调整轮,也可以是显示屏上显示的虚拟的调节按钮或调整轮。
在一些实施例中,拍摄装置还可以包括控制装置,控制装置可以设置在机身上,或者控制装置可以是机身的一部分。在一些实施例中,控制装置可以独立于机身,也可以和机身耦合。控制装置可以执行后续实施例的控制方法。控制装置包括存储器和处理器,存储器用于存储程序代码,处理器可以调用程序代码,当程序代码被执行时,处理器用于执行后续实施例的控制方法。
存储器包括非随机的计算机可读存储介质,例如随机存取存储器(RAM)、只读存储器、闪速存储器、硬盘存储器或光介质等。处理器1084和/或处理器1164包括任何合适的硬件处理器,如微处理器、微控制器、一个中央处理单元(CPU),图形处理单元(GPU),网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA),或其它可编程逻辑器件,分立门或晶体管逻辑器件,分立的硬件组件等。
拍摄装置还可以包括陀螺仪等传感器,用于确定相机与拍摄对象之间的距离。例如相机中设置有惯性测量单元IMU,IMU中包括加速度计,这样就可以根据加速度计输出的加速度计算相机发生的位移。
本申请的另一方面还提供了一种拍摄系统。
图22为本申请实施例提供的拍摄系统的结构示意图。
如图22所示,该拍摄系统可以包括拍摄装置以及支撑结构,支撑结构用于承载拍摄装置。该云台上可以用于承载拍摄装置。如拍摄装置可以通过结构固定(如通过拍摄装置固定机构进行固定)以可拆卸地方式设置在云台上。
云台上可以设置有IMU。例如,IMU包括加速度计,从而对基于加速度计采集的加速度信息进行积分,得到速度信息,以及对速度信息进行积分,得到位移信息。IMU采集的测量信息可以包括不同采样时刻对应的拍摄装置发生的位置改变量。IMU与拍摄装置之间的距离差为一固定值,则可以将IMU与拍摄装置之间的距离改变量作为拍摄对象与拍摄装置之间的距离改变量。例如,IMU的基准面位于拍摄装置的下方。该位置改变量的计算处理可以通过IMU内的控制器或者通过电机内的控制器进行处理,本实施例对此不做限定。
可选地,该云台的拍摄装置固定机构可将电机和相机本体底部固定连接,镜头通过卡口安装到相机本体上。
该云台上可以设置跟焦轮和/或变焦轮,跟焦轮和/或变焦轮可以推送跟焦轮或变焦轮当前的转动位置和转动速度数据给拍摄装置,从而实现变焦或跟焦。此外,云台上可以设置有用于确定变焦环或跟焦环的电机,跟焦轮和/或变焦轮可以推送跟焦轮或变焦轮的当前的转动位置和转动速度等数据给电机,从而使电机转动到与跟焦轮或变焦轮相对应的指定位置。
该云台上可以设置显示屏,在使用本申请实施例提供的控制方法中的跟焦或变焦过程中,用户还可以通过在显示屏输入控制指令进行模式选择,将自动模式切换到手动模式,或者从手动模式切换到手动辅助对焦模式,通过使用跟焦轮或变焦轮来控制电机的位置来实现跟焦或变焦。
本领域技术人员应理解,上述对于拍摄系统各组成部分的命名仅是出于标志的目的,并不应理解为对本申请的实施例的限制。
其中,拍摄控制装置包括:至少一个处理器和存储器。
存储器存储计算机执行指令。
至少一个处理器执行存储器存储的计算机执行指令,使得执行计算机执行指令时实现如上所示的至少部分步骤。
可以理解,在某些实施例中,上述步骤也可以是分别由云台、拍摄装置配合完成,例如:
在一个实施例中,云台通过惯性测量单元中加速度计的测量信息,确定云台承载的拍 摄装置在特定方向上的位置改变量;云台将位置改变量传输给相机,相机根据位置改变量更新与目标对象对应的合焦信息,镜头根据合焦焦距执行自动对焦。
云台的通讯模块可以用于从一个或者多个远程设备(如移动平台、基站等)传送和/或者接收数据。例如,通讯模块可以传送控制信号(如运动信号、目标对象信息、追踪控制指令)给外围系统或者设备,如上述中对云台和/或负载。通讯模块可以包括传送器及接收器,分别用于从远程设备接收数据以及传送数据给远程设备。在某些实施例中,通讯模块可以包括收发器,其结合了传送器与接收器的功能。在某些实施例中,传送器与接收器之间以及与处理单元之间可以彼此通讯。通讯可以利用任何合适的通讯手段,如有线通讯或者无线通讯。
图22中所示的云台是手持式云台。此外,云台可以设置在移动平台上。
移动平台在运动过程中捕获的影像可以从移动平台或者影像设备传回给控制终端或者其它适合的设备,以显示、播放、存储、编辑或者其它目的。这样的传送可以是当影像设备捕获影像时,实时的或者将近实时的发生。可选地,影像的捕获及传送之间可以有延迟。在某些实施例中,影像可以存储在移动平台的存储器中,而不用传送到任何其它地方。用户可以实时看到这些影像,如果需要,调整目标对象信息或者调整移动平台或者其部件的其它方面。调整的目标对象信息可以提供给移动平台,重复的过程可能继续直到获得可想要的影像。在某些实施例中,影像可以从拍摄装置和/或控制终端传送给远程服务器。例如,影像可以在一些社交网络平台,如微信朋友圈或者微博上以进行分享。
以下以手持相机为例,对上述各操作的执行主体进行示例性说明。例如,上述各操作的执行主体都可以是手持相机来实现,具体可以由相机的输入部、设置在相机中的处理器设置在镜头中的驱动器等实现对应的功能。
以下以手持云台为例,对上述各操作的执行主体进行示例性说明。例如,关于驱动镜片移动相关的操作可以由相机的镜头来执行。其余操作的执行主体都可以是相机或手持云台来实现,具体可以由手持云台的输入部、相机的处理器等实现对应的功能。
例如,获取当前图像的对焦框中针对至少一个对象的合焦信息集合的操作可以由相机来执行。获得第一操作可以由相机或云台来执行。控制拍摄装置的镜头基于合焦信息集合自动对焦可以由相机来执行。
以下以移动平台机载的拍摄装置为例,对上述各操作的执行主体进行示例性说明。
例如,获取当前图像的对焦框中针对至少一个对象的合焦信息集合的操作可以由相机来执行。获得第一操作可以由相机或移动平台的遥控器来执行。控制拍摄装置的镜头基于 合焦信息集合自动对焦可以由相机来执行。
需要说明的是,上述各操作的执行主体仅为示例性说明,不能理解为对本申请的限定,可以由移动平台、控制终端、拍摄装置其中的一个独立完成,或其中的几个配合完成。例如,对于移动平台是陆地机器人的情形下,可以在陆地机器人上设置人机交互模块(如包括用于显示人机交互界面的显示器等),用户可以直接在移动平台展示的交互界面上获取用户操作,以生成用户指令,确定目标对象的图像等。其中,独立完成包括主动或被动地、直接或间接地从其它设备获取相应数据以执行相应操作。
本申请的实施例还提供了一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行本申请实施例所提供的方法的程序代码,当计算机程序产品在电子设备上运行时,该程序代码用于使电子设备实现本申请实施例所提供的控制方法。
在该计算机程序被处理器执行时,执行本申请实施例的系统/装置中限定的上述功能。根据本申请的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分被下载和安装,和/或从可拆卸介质被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
根据本申请的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
以上为本申请的最优实施例,需要说明的,该最优的实施例仅用于理解本申请,并不用于限制本申请的保护范围。并且,最优实施例中的特征,在无特别注明的情况下,均同时适用于方法实施例和装置实施例,在相同或不同实施例中出现的技术特征在不相互冲突的情况下可以组合使用。
最后应说明的是:以上实施方式仅用以说明本申请的技术方案,而非对其进行限制;尽管参照前述实施方式对本申请已经进行了详细的说明,但本领域的普通技术人员应当理解:其依然可以对前述实施方式所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请实施方式技术方案的范围。
Claims (38)
- 一种应用于拍摄装置的控制方法,包括:获取当前图像的对焦框中针对至少一个对象的合焦信息集合;获得第一操作,其中,所述第一操作包括变焦操作或者所述第一操作是针对所述合焦信息集合中的合焦信息;以及响应于所述第一操作,控制所述拍摄装置的镜头基于所述合焦信息集合自动对焦。
- 根据权利要求1所述的方法,其中,所述合焦信息集合包括与所述镜头相关联的参数和合焦强度。
- 根据权利要求2所述的方法,其中,所述与所述镜头相关联的参数包括所述镜头的焦距和对焦距离,其中所述对焦距离为拍摄对象与所述镜头之间的距离。
- 根据权利要求1所述的方法,其中,所述镜头包括变焦环;第一操作包括按照特定方向转动所述变焦环;所述响应于所述第一操作,控制所述拍摄装置的镜头基于所述合焦信息集合自动对焦包括:重复以下操作直至将所述镜头的焦距改变为与目标对象对应的合焦焦距:响应于所述第一操作,控制所述镜头的焦距改变为所述合焦信息集合中目标焦距,所述目标焦距是以所述镜头的当前焦距为起始焦距,基于所述变焦环的转动方向信息在所述合焦信息集合中进行匹配确定的焦距。
- 根据权利要求4所述的方法,其中,所述目标焦距包括以下任意一种:所述合焦信息集合中与所述镜头的当前焦距的差值最小的焦距、所述合焦信息集合中与所述镜头的当前焦距的差值最大的焦距。
- 根据权利要求4所述的方法,其中,所述方法还包括:在所述获得第一操作的过程中或者之后,获得所述变焦环的转动量;基于所述镜头的当前焦距和所述变焦环的转动量确定辅助焦距;基于所述辅助焦距从所述合焦信息集合中确定目标焦距,其中,所述目标焦距是以所述辅助焦距为起始焦距,按照所述变焦环的转动方向信息在所述合焦信息集合中进行匹配,确定的与所述起始焦距最接近的焦距。
- 根据权利要求1所述的方法,其中,所述拍摄装置包括显示屏,所述显示屏用于显示所述合焦信息集合中至少一个合焦信息,所述合焦信息包括合焦强度峰值。
- 根据权利要求7所述的方法,其中,所述显示屏还用于显示与所述合焦信息集合对应的输入组件;所述响应于所述第一操作,控制所述拍摄装置的镜头基于所述合焦信息集合自动对焦包括:响应于针对所述输入组件的用户操作,从所述合焦信息集合中确定与目标对象对应的目标对象焦距。
- 根据权利要求7所述的方法,其中,所述显示屏还用于显示与所述合焦信息集合对应的合焦强度曲线。
- 根据权利要求9所述的方法,其中,所述合焦强度曲线通过如下方式生成:确定待显示合焦信息,所述待显示合焦信息是所述合焦信息集合中满足显示条件的焦距信息,所述显示条件包括与所述待显示合焦信息对应的合焦强度大于或等于预设强度阈值;基于所述待显示合焦信息生成所述合焦强度曲线。
- 根据权利要求9所述的方法,还包括:显示当前焦距标志,所述当前焦距标志对应于所述合焦强度曲线中一个点;以及显示合焦提示信息,所述合焦提示信息包括所述当前焦距标志的显示状态改变信息。
- 根据权利要求4所述的方法,其中,所述获得第一操作包括以下至少一种:如果所述合焦信息集合中包括至少一个合焦信息,响应于所述变焦环的转动速度大于或等于预设转动速度阈值,获得自动变焦操作;或者如果所述合焦信息集合中包括至少一个合焦信息,响应于所述变焦环的转动持续时长大于或等于预设时长阈值,获得自动变焦操作;或者如果所述合焦信息集合中包括至少一个合焦信息,响应于所述变焦环的转动速度大于或等于预设转动速度阈值,并且所述变焦环的转动持续时长大于或等于预设时长阈值,获得自动变焦操作。
- 根据权利要求1所述的方法,其中,所述合焦信息集合中至少一个合焦信息各自与所述对焦框中的子区域之间存在第一对应关系;所述第一操作包括子区域选取操作;所述响应于所述第一操作,控制所述拍摄装置的镜头基于所述合焦信息集合自动对焦包括:基于所述第一对应关系从所述合焦信息集合中确定与被选取的子区域对应的目标焦距;以及响应于所述目标焦距,控制所述拍摄装置的镜头基于所述目标焦距自动对焦。
- 根据权利要求13所述的方法,还包括:在所述获得第一操作之前,显示与所述对焦框中至少部分子区域对应的合焦强度。
- 根据权利要求13所述的方法,其中,所述获得第一操作包括:响应于针对所述对焦框中子区域的选取操作,确定被选取子区域;以及基于所述第一对应关系从所述合焦信息集合中确定与所述被选取子区域对应的目标焦距。
- 根据权利要求1所述的方法,其中,所述获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:响应于指示进入手动辅助对焦模式的第二操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合;或者响应于表征变焦趋势的第三操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合。
- 根据权利要求16所述的方法,其中,所述响应于指示进入手动辅助对焦模式的第二操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:响应于所述第二操作,基于传感器获取当前图像的对焦框中针对至少一个对象的合焦信息集合;和/或响应于所述第二操作,通过调整镜头的焦距,基于所述当前图像的对焦框中针对至少一个对象的像素反差,获取当前图像的对焦框中针对至少一个对象的合焦信息集合。
- 根据权利要求17所述的方法,其中,所述基于传感器获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:通过传感器按照预设采样周期获取与所述当前图像的对焦框中针对至少一个对象各自的合焦焦距,其中,基于所述合焦焦距进行拍摄的图像满足预设成像条件;以及将至少部分合焦焦距和与所述至少部分合焦焦距各自对应的合焦强度信息作为所述合焦信息。
- 根据权利要求17所述的方法,其中,所述通过调整镜头的焦距,基于所述当前图像的对焦框中针对至少一个对象的像素反差,获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:在将镜头的焦距从第一预设焦距调整至第二预设焦距的过程中,获得多个拍摄面的图像信息;从所述多个拍摄面中确定合焦拍摄面,所述合焦拍摄面的图像信息中存在相邻像素反差超过预设反差阈值的像素;以及将至少部分与所述合焦拍摄面对应的合焦焦距和相应的合焦强度作为所述合焦信息。
- 根据权利要求19所述的方法,其中,所述将镜头的焦距从第一预设焦距调整至第二预设焦距包括:将所述镜头的焦距从所述镜头的最小焦距调整至所述镜头的最大焦距。
- 根据权利要求16所述的方法,其中,所述镜头包括变焦环;所述响应于表征变焦趋势的第三操作,获取当前图像的对焦框中针对至少一个对象的合焦信息集合包括:获取第三操作,所述第三操作使得所述变焦环转动;响应于所述第三操作,将所述镜头的焦距从当前焦距调整至最大焦距或者最小焦距的过程中,获得多个拍摄面的图像信息;从所述多个拍摄面中确定合焦拍摄面,所述合焦拍摄面的图像信息中存在相邻像素反差超过预设反差阈值的像素;以及将至少部分合焦焦距和相应的合焦强度作为所述合焦信息。
- 根据权利要求16所述的方法,其中,获得所述第二操作包括以下至少一种:接收针对预设按键的操作、接收针对预设交互组件的操作或者接收预设操作手势。
- 根据权利要求16所述的方法,其中,获得所述第二操作包括:预设按键被按下第一指定位移时生成所述第二操作,其中,所述预设按键具有至少两个指定位移,所述第一指定位移是所述至少两个指定位移中的一个。
- 根据权利要求23所述的方法,还包括:在所述预设按键被按下第一指定位移之后,获得第四操作,所述第四操作是所述预设按键被按下第二指定位移,其中,所述第一指定位移和所述第二指定位移分别是所述至少两个指定位移中的一个;以及响应于所述第四操作,采集图像信息。
- 根据权利要求23所述的方法,还包括:在获得所述第二操作之后,如果确定满足退出手动辅助对焦模式的条件,则退出所述手动辅助对焦模式。
- 根据权利要求25所述的方法,其中,退出所述手动辅助对焦模式的条件包括以下至少一种:所述预设按键处于与退出手动辅助对焦模式对应的状态;目标对象移动至所述对焦框之外,其中,所述对焦框中具有多个对象,每个对象与所述合焦信息集合中合焦信息之间存在第二对应关系;所述拍摄装置仅能通过调整镜头确定对焦框的合焦信息,并且目标对象相对于所述镜头发生相向方向位移或者相背方向位移,其中,所述对焦框包括多个对象,每个对象与所述合焦信息集合中合焦信息之间存在第二对应关系。
- 根据权利要求1所述的方法,还包括:在所述获取当前图像的对焦框中针对至少一个对象的合焦信息集合之后,基于所述合焦信息集合中合焦信息的改变量对所述合焦信息集合进行补偿。
- 根据权利要求27所述的方法,其中,所述基于所述合焦信息集合中合焦信息的改变量对所述合焦信息集合进行补偿包括:确定所述镜头的位姿变化信息;以及基于所述镜头的位姿变化信息对所述合焦信息集合进行补偿。
- 根据权利要求28所述的方法,其中,所述确定所述镜头的位姿变化信息包括:基于惯性测量单元确定所述镜头的位姿变化信息,所述位姿变化信息包括位移信息和角度变化信息中至少一种。
- 根据权利要求27所述的方法,其中,所述当前图像的对焦框中具有多个对象,每个对象与所述合焦信息集合中合焦信息之间存在第二对应关系;所述基于所述合焦信息集合中合焦信息的改变量对所述合焦信息集合进行补偿包括:确定至少一个所述对象的位姿变化信息;以及基于至少一个所述对象的位姿变化信息和所述第二对应关系,对所述合焦信息集合中与至少一个所述对象各自对应的合焦信息进行补偿。
- 根据权利要求30所述的方法,其中,所述确定至少一个所述对象的位姿变化信息包括:通过图像识别确定所述对焦框包括的至少一个对象;以及通过图像处理确定所述对焦框包括的至少一个对象的位姿变化信息。
- 根据权利要求31所述的方法,其中,所述通过图像处理确定所述对焦框包括的至少一个对象的位姿变化信息包括:计算至少一个所述对象的子图像在所述当前图像中的位移信息;以及基于至少一个所述对象各自的合焦信息和至少一个所述对象在所述当前图像中的位移信息分别计算所述当前图像的对焦框中针对至少一个对象的位姿变化信息。
- 根据权利要求27所述的方法,其中,所述对焦框包括多个对象,每个对象与所述合焦信息集合中合焦信息之间存在第二对应关系;所述基于所述合焦信息集合中合焦信息的改变量对所述合焦信息集合进行补偿包括:确定所述镜头的位姿变化信息和所述对焦框包括的多个对象的位姿变化信息;以及基于所述镜头的位姿变化信息和所述对焦框包括的多个对象的位姿变化信息对所述合焦信息集合进行补偿。
- 根据权利要求1至33任一项所述的方法,在所述获取当前图像的对焦框中针对至少一个对象的合焦信息集合之后,还包括:通过传感器更新所述对焦框的合焦信息。
- 根据权利要求1至33任一项所述的方法,其中,所述合焦信息以合焦强度曲线的形式进行显示,所述合焦强度曲线所在的二维坐标系包括表征焦距的第一坐标轴和表征合焦强度的第二坐标轴。
- 一种拍摄装置,包括:镜头,用于采集图像;一个或多个处理器;存储装置,用于存储一个或多个计算机程序,所述计算机程序在被所述处理器执行时,实现根据权利要求1~35中任一项所述的方法。
- 一种拍摄系统,包括:如权利要求36所述的拍摄装置;以及支承机构,其支承所述拍摄装置。
- 一种计算机可读存储介质,用于存储一个或多个计算机程序,所述计算机程序在被所述处理器执行时,实现根据权利要求1~35中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/103091 WO2023272485A1 (zh) | 2021-06-29 | 2021-06-29 | 控制方法、拍摄装置和拍摄系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117015975A true CN117015975A (zh) | 2023-11-07 |
Family
ID=84690182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180095735.5A Pending CN117015975A (zh) | 2021-06-29 | 2021-06-29 | 控制方法、拍摄装置和拍摄系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117015975A (zh) |
WO (1) | WO2023272485A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117915200A (zh) * | 2024-03-19 | 2024-04-19 | 成都唐米科技有限公司 | 基于双目摄像头的快速跟焦拍摄方法、装置及双目设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116095481A (zh) * | 2023-01-13 | 2023-05-09 | 杭州微影软件有限公司 | 一种辅助聚焦方法、装置、电子设备及存储介质 |
CN117528246B (zh) * | 2024-01-04 | 2024-04-16 | 杭州星犀科技有限公司 | 自动对焦触发方法、系统、终端及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3970046B2 (ja) * | 2002-02-19 | 2007-09-05 | オリンパス株式会社 | カメラ |
JP4013877B2 (ja) * | 2003-10-06 | 2007-11-28 | 松下電器産業株式会社 | 投射型映像表示装置 |
JP2006133566A (ja) * | 2004-11-08 | 2006-05-25 | Matsushita Electric Ind Co Ltd | カメラ装置、カメラ装置の制御方法、遠隔装置、およびカメラシステム |
JP4819550B2 (ja) * | 2006-03-31 | 2011-11-24 | Necカシオモバイルコミュニケーションズ株式会社 | 撮像装置、及び、プログラム |
EP3069505B1 (en) * | 2013-11-15 | 2018-08-01 | Free Focus Systems LLC | Location-tag camera focusing systems |
SE541141C2 (en) * | 2016-04-18 | 2019-04-16 | Moonlightning Ind Ab | Focus pulling with a stereo vision camera system |
CN107370936B (zh) * | 2016-05-12 | 2020-09-25 | 青岛海信宽带多媒体技术有限公司 | 变焦方法及变焦装置 |
CN111277758B (zh) * | 2020-02-25 | 2022-04-15 | 深圳传音控股股份有限公司 | 拍摄方法、终端及计算机可读存储介质 |
-
2021
- 2021-06-29 CN CN202180095735.5A patent/CN117015975A/zh active Pending
- 2021-06-29 WO PCT/CN2021/103091 patent/WO2023272485A1/zh active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117915200A (zh) * | 2024-03-19 | 2024-04-19 | 成都唐米科技有限公司 | 基于双目摄像头的快速跟焦拍摄方法、装置及双目设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023272485A1 (zh) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9001255B2 (en) | Imaging apparatus, imaging method, and computer-readable storage medium for trimming and enlarging a portion of a subject image based on touch panel inputs | |
US10116922B2 (en) | Method and system for automatic 3-D image creation | |
WO2023272485A1 (zh) | 控制方法、拍摄装置和拍摄系统 | |
US10419658B1 (en) | Camera optimizing for several directions of interest | |
CN114449173B (zh) | 光学防抖控制方法、装置、存储介质与电子设备 | |
JP2003344891A (ja) | 撮影モード自動設定カメラ | |
CN108603997B (zh) | 控制装置、控制方法和控制程序 | |
JP5216137B2 (ja) | カメラおよびカメラの制御方法 | |
JP2012222603A (ja) | 撮像装置 | |
JP2017215525A (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
WO2022151473A1 (zh) | 拍摄控制方法、拍摄控制装置及云台组件 | |
CN112040126A (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN106170061B (zh) | 摇摄指标显示设备和处理方法 | |
JPH089219A (ja) | カメラ | |
CN112673621A (zh) | 自动对焦方法、装置、云台、设备和存储介质 | |
CN113302908B (zh) | 控制方法、手持云台、系统及计算机可读存储介质 | |
US10248859B2 (en) | View finder apparatus and method of operating the same | |
US20130293682A1 (en) | Image capture device, image capture method, and program | |
US10554879B2 (en) | Imaging device, imaging device control method, and interchangeable lens | |
CN113841376B (zh) | 拍摄控制方法和装置 | |
JPWO2018168228A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2018197825A (ja) | 制御装置及び方法、及び撮像装置 | |
JP2018017748A (ja) | 制御装置、撮像装置、レンズ装置、撮像システム、制御方法、プログラム、および、記憶媒体 | |
CN113287297A (zh) | 控制方法、手持云台、系统及计算机可读存储介质 | |
JP5281904B2 (ja) | ビューファインダーシステム及びそれを備えた撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |