[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104798364B - Mems快速对焦照相机模块 - Google Patents

Mems快速对焦照相机模块 Download PDF

Info

Publication number
CN104798364B
CN104798364B CN201380041229.3A CN201380041229A CN104798364B CN 104798364 B CN104798364 B CN 104798364B CN 201380041229 A CN201380041229 A CN 201380041229A CN 104798364 B CN104798364 B CN 104798364B
Authority
CN
China
Prior art keywords
lens
camera module
interested region
face
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380041229.3A
Other languages
English (en)
Other versions
CN104798364A (zh
Inventor
P·比焦伊
P·科克伦
T·米基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Numerical Digit Optics Europe Ltd
Original Assignee
Numerical Digit Optics Europe Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Numerical Digit Optics Europe Ltd filed Critical Numerical Digit Optics Europe Ltd
Publication of CN104798364A publication Critical patent/CN104798364A/zh
Application granted granted Critical
Publication of CN104798364B publication Critical patent/CN104798364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

一种自动对焦照相机模块包括限定了孔口和容纳照相机模块部件的内部空腔的照相机模块壳体,耦接到壳体或壳体内的图像传感器,包含光具组的在壳体内的透镜镜筒,光具组包括至少一个可移动透镜,可移动透镜相对于孔口和图像传感器布置成沿着光路将场景的图像对焦在图像传感器上,和快速对焦MEMS致动器,其耦接到包括至少一个可移动透镜的光具组的一个或多个透镜,并配置成使所述至少一个可移动透镜相对于图像传感器快速移动,以在预览或视频序列或两者的每一帧中提供照相机模块的自动对焦。

Description

MEMS快速对焦照相机模块
优先权
本申请要求在35USC§119的规定下于2012年6月7日提交的美国临时专利申请No.61/657,012的优先权,其通过援引并入。
技术领域
本发明涉及自动对焦照相机模块,具体地,其利用MEMS致动器移动光具组的一个或多个可移动透镜以快速改变照相机焦距。
附图说明
图1示意性地表示根据某些实施方式的自动对焦照相机模块的实例的横截面图,其包括可移动透镜的子集和MEMS致动器。
图2示意性地表示根据某些实施方式的自动对焦照相机模块的另一个实例,其包括一个或多个可移动透镜的不同子集和MEMS致动器。
图3A示意性地表示根据某些实施方式的自动对焦照相机模块的实例的横截面图,其包括引线接合图像传感器配置。
图3B示意性地表示根据某些实施方式的自动对焦照相机模块的实例的横截面图,其包括倒装芯片图像传感器配置。
图4A-4B示意性地表示根据某些实施方式的图像传感器的横截面图和顶视图,图像传感器布置在基板内的凹部中。
图5表示根据某些实施方式的自动对焦系统结构的实例。
图6表示根据某些实施方式的自动对焦照相机模块的实例的时序图,其被编程为基于应用到场景中央区域的聚焦区域来使可移动透镜的子集每帧预览图像流移动一次。
图7表示根据某些实施方式的成像硬件结构的某些部件。
图8是根据某些实施方式的照相机模块的完全遍历式自动对焦机构的对比度值-焦点位置的图。
图9是根据某些实施方式的照相机模块的爬山式自动对焦机构的对比度值-焦点位置的图。
图10是表示根据某些实施方式的照相机模块的爬山式自动对焦技术的某些操作的流程图。
图11-12表示根据某些实施方式的自动对焦照相机模块中的滞后对透镜移动的影响。
图13表示根据某些实施方式的在多个预览或视频帧上在场景内和/或在图像传感器或显示器上的一组检测的或候选的脸部位置。
图14表示根据某些实施方式的一组确认的或候选的脸部区域,其表示在基于追踪历史的确定位置处的微笑的脸。
图15表示来自图14的追踪区域与图13示出的检测的脸部位置的重叠。
图16表示根据某些实施方式的自动对焦照相机模块的脸部追踪技术。
具体实施方式
根据本申请中所描述的实施方式的照相机包括图像传感器和光具组,图像传感器将光域中的图像转变成电子格式,光具组将感兴趣的场景聚焦在图像传感器上。
实施方式包括照相机,其配置为具有增强的精确捕捉场景中的细节的能力。可以根据所需的精确捕捉这种细节的能力来选择光具组的质量和/或图像传感器的分辨率。图像传感器可以包含几百万个像素(像元),光具组可以包括两个、三个、四个、五个或更多透镜。
光具组的至少一个可移动透镜的位置相对于图像传感器的位置不是固定的,因而,根据本申请中所描述的实施方式的照相机可以改变将使物体聚焦在图像传感器上的距电子照相机的距离。根据实施方式可以利用系统来确定场景中的一个或多个主要物体距照相机的一个或多个距离。所述至少一个可移动透镜可以根据确定的距离移动和/或可以移动直到一个或多个主要物体聚焦在图像传感器上为止。这些物体的范围可以从距照相机非常近(10cm或更近)到距照相机非常远(无限远)。
本申请中提供了照相机的实施方式,其提供的图像质量比传统的自动对焦的和固定焦距的照相机更好。根据某些实施方式的照相机还展示出微小的尺寸以及有利的功率效率。
根据某些实施方式的电子照相机展示出显著改变视场的有利能力。例如,当使用传统的照相机时,在房子前面拍摄的家庭成员照片可能无意中包括景象边缘处的无价值的包含物。根据某些实施方式的照相机可以被调节成限制照相机的视场以从捕捉的图像中消除该赝象。相反,通过调节成捕捉更大全景的较宽视场,可以利用根据某些实施方式的照相机增强在山顶上拍摄的家庭成员照片。
通过合并动态视场特征和自动对焦机构,根据某些实施方式的照相机展现出全部性能上的清楚的改进。在某些实施方式中,照相机的光具组的设计包括固定的部分和可通过致动器沿着照相机的光轴移动的部分。在某些实施方式中,通过嵌入在照相机上的固定式或可拆卸式存储设备中的代码和/或利用远程处理机提供一些图像处理,例如,图像失真的去除。
根据某些实施方式提供了有利的照相机,其将上述三个方面全部结合在紧凑的照相机模块中。这种照相机模块可以是独立的照相机产品,或可以包含在固定式或便携式电子产品中,和/或各种其他环境如汽车中。
现在将参考附图描述几个实施方式。本申请中提供了电子照相机,其有利地包括完整的自动对焦功能和可选地变焦功能。在某些实施方式中,自动对焦和变焦功能采用了有利的光具组和基于处理器的图像处理的组合,并且在某些实施方式中在两种情况下均包括相同或相似的部件。
增加自动对焦的另一可选方法可以涉及将光具组中的一个或多个其他透镜作为一个组进行移动。在序列号为61/609,293的美国专利申请中描述了基于该操作原理的自动对焦变焦照相机,其通过援引并入。该可移动透镜组可以包含超过一个可移动透镜,并且可以包含四个透镜(如‘293申请中所述)以及各种光圈和快门数,其取决于形成可移动透镜组的一个或多个透镜的特定数量和几何结构。
根据某些实施方式的包括自动对焦且可选地还包括变焦的光具组包括两个通用部件。图1示出了自动对焦变焦照相机模块,其包括图1的实例中的第一可移动组L1-L4和图1的实例中的固定透镜组L5,第一可移动组L1-L4包括可以沿着照相机的光轴移动的一个或多个透镜,固定透镜组L5包括至少一个固定在合适位置中的透镜。在图1的实例中,移动透镜是最接近场景的透镜,固定透镜最接近图像传感器。
在一般术语中,移动透镜组执行改变照相机焦距的功能,并且在还包括变焦的照相机模块的实施方式中,至少一个固定透镜配置成执行使镜片的PSF功能与成像器相匹配并补偿由移动透镜组引起的场曲的可选的电子变焦功能。在‘293申请中描述的具体实施方式中可以执行该功能的固定透镜是最接近图像传感器的透镜。至少一个移动透镜沿着光轴位于合适的距离以获得所需的焦距,而至少一个固定透镜定位成使得其后焦距与透镜和成像器之间的距离相匹配。
通过嵌入编码编程的处理器收集来自图像传感器中的像素的信息并对相关联的电子文件做出修改,这在某些情况下是自动进行的,在其他情况下是基于用户输入进行的。例如,变焦的程度是可调节的。处理器努力修正失真和光具组以可预测的方式产生的其他赝象。图像处理特征可以在硬件或软件中实现。在某些实施方式中,这些特征早期被置于图像处理流程中,如嵌入图像传感器中的RTL(电阻晶体管逻辑)代码,而在其他实施方式中,它们被置于外部DSP(数字信号处理器)上或完全被置于处理器内的软件中,例如手机中的基带芯片。
根据图1中所示实例的自动对焦变焦照相机的实例具有可在10cm至9m,典型地15cm至5m,优选地20cm至3m(不包括超焦距),的范围内的焦距,而变焦功能可以在x0.5-x5,典型地x1-x4,优选地x1-x3,的范围内。由根据某些实施方式的有利照相机所产生的最终电子文件的显著特性是,在某些实施方式中,包含在其内的图像的文件大小和有效分辨率可以在很大程度上是恒定的,而与焦距和变焦设置无关。
在另一个实施方式中,自动对焦照相机的整个光具组都可以在自动对焦过程中移动。另外,根据本申请中描述的实施方式的包括具有可移动部件和固定部件的光具组的有利照相机可以根据许多其他实例而非在图1和图2中所示的两个实例来配置。这些有利的自动对焦变焦照相机具有一个或多个固定的光具组部件和一个或多个移动的部件。在某些实施方式中,照相机展示出了与传统定焦照相机或自动对焦照相机不同的移动透镜相对于固定透镜的定心和倾斜对准的精确性。
图2表示自动对焦照相机模块的另一个实例,其中中间透镜L3可在两对固定透镜L1-L2和L4-L5之间移动。该实施方式描述于序列号为61/643,331的美国专利申请中,其通过援引并入。在实施方式中,在可移动透镜组中仅包括单个透镜,例如可相对于位于中间透镜L3两侧的两对固定透镜L1-L2和L4-L5移动的中间透镜L3,所述实施方式具有质量小的优点,因而移动它只需要相对小的力,其甚至具有令人惊讶的进一步的优点:可以使用小位移范围的致动器。在某些实施方式中,通过移动光具组中的中间透镜,例如包括五个透镜的光具组中的L3或者七个透镜的光具组中的L4或者三个透镜的光具组中的L2。在其他实施方式中,可移动透镜从中间偏移到至少一个固定透镜和光具组的其余透镜之间的某处,例如五个透镜的实施方式中的L2或L4,或七个透镜的实施方式中的L2、L3、L5或L6。还有其他的实施方式涉及的可移动透镜位于光具组的一端或两端。
与意识到的预期相反,发生了下列情况:为了获得与传统的自动对焦照相机类似的对焦范围,图2的实例中的中间透镜移动相对短的距离,典型地大约100μm。这使得能用新形式的致动器,例如MEMS,来移动透镜,并且由这种装置的固有特性而产生许多相应而生的好处。得以提供该设计的许多好处,尺寸小、功率消耗低、噪音低、速度快和移动精度高以及其他改进。
MEMS致动器
MEMS致动器耦接到图2的实例中的L3(和图1的实例中的可移动透镜组L1-L4)以在某些实施方式中提供自动对焦能力。在其他实施方式中,可以用音圈马达(VCM)或压电致动器提供移动能力。
合适的MEMS致动器描述于几个美国专利和美国专利申请中,其在下面通过援引并入本申请中,例如,参见序列号为61/622,480的美国专利申请。具有些不同设计的另一种MEMS致动器描述于美国PCT申请No.PCT/US12/24018中。这两篇美国专利申请都通过援引并入,MEMS致动器及其部件的其他实例也在下面被引用和通过援引并入,以提供了备选实施方式。这种致动器可以用硅或大量的聚合材料制造并且具有大约100μm的冲程。它们还展现出许多其他有益特性,这些有益特性被赋予所述类型的自动对焦变焦照相机模块。这些有益特性包括非常低的功率消耗、快速且准确的致动、低噪声、可以忽略的微粒污染和低成本。
根据某些实施方式的MEMS致动器可以被认为大体上单向的装置,其为任何定心或倾斜对准移动留出力矩,所述定心或倾斜对准移动可以归因于致动器部件。即,根据某些实施方式的MEMS致动器具有静止位置并且致动器可以被从该静止位置沿仅仅一个维度驱动。这对于自动对焦照相机模块的组装是有好处的,因为它容许整个透镜列或其相当大的部分被组装为预先对准的单元部件。对于随后的组装和校准步骤,它可以被类似于定焦照相机的透镜列的方式或以与定焦照相机的透镜列完全相同的方式进行处理,即可以通过将包含透镜列的支持器插入到固定在图像传感器上的套管中而设定焦距。在某些实施方式中,支持器和套管通过螺纹耦接。
图2也示意性地示出了穿过根据某些实施方式的自动对焦变焦照相机的横截面,其采用了具有透镜列的组件,该组件被制造为预先对准的单元部件。图像传感器201位于基板202上,套管203附接到基板202。在图2所示的实例中,套管具有螺纹204。包含透镜列206的支持器205具有匹配的螺纹207。在该示例性实施方式中,相对于套管旋转支持器会使整个透镜列沿着照相机的光轴208移动,容许设定焦点。匹配的螺纹204和207的替代方案包括呈各种图案的匹配的凹槽和槽脊,其容许连续地或不连续地设定焦点,例如通过一连串凹口、加载弹簧的销或杆或弹性材料或其他技术来将透镜列支持器205与套管204以下列方式耦接:容许图像传感器201和透镜列206的一个或多个固定透镜之间的距离被设定。
根据某些实施方式,光具组的精确对准容许以高保真度传输图像。某些实施方式涉及在一定精确程度上将光具组的各种元件(主要是透镜)针对相对于彼此的倾斜、定心和旋转进行对准。尽管在某些实施方式中能利用主动对准技术实现一个透镜相对于另一个的非常精确的对准,但在某些实施方式中采用了被动的方法,并且由于该方法的高组装速度和低成本,典型地在任何可能的情况下都使用被动的方法。在某些实施方式的自动对焦变焦模块中,除了透镜列的一个接头之外,被动对准公差提供在透镜列的所有接头处。
具有防护罩的照相机模块
在某些实施方式中,可以将光学表面作为切割分离的部件添加到图像传感器。该光学表面可以充当由透明玻璃或聚合物构成的罩子,以防止灰尘或其他污染物到达传感器的有效表面,同时容许可见光通过到达传感器。光学表面也可以充当红外(IR)滤光器,特别是用于硅传感器的红外滤光器。IR吸收材料可以用于罩子或可以将IR涂层应用于玻璃或聚合物或其他光学上透明的防护罩。也可以形成光学表面以提供光功率,如呈重复透镜的形状。在下文中提供了用于在切块之前在晶圆载物台形成切割分离的部件的过程。
该部件包括主动式图像传感器,其被用晶圆级的混合光学器件保护免受污染。该方法具有的另一个以下的优点:通过将这种混合光学器件与照相机模块部件结合,照相机模块的整个物理Z高度可以减小。
根据某些实施方式,在将图像传感器晶圆切块或切割分离成离散的小片之前,图像传感器上的主动图像区域在晶圆载物台上得到保护。在某些实施方式中,通过附接玻璃晶圆,如蓝色玻璃或有IR涂层的玻璃,或其他材料如聚合物或对于可见光透明且吸收或阻止IR光的其他材料,主动图像区域的这个保护得以实现。通过添加晶圆级的光学元件,该玻璃保护的进一步改进的功能性得以实现。
图3A示意性地示出了示例性的照相机模块,其包括耦接到照相机模块部件的引线接合件。图3B示意性地示出了包括倒装芯片的示例性照相机模块。在图3B示意性地示出的示例性照相机模块可以使用热压缩或热超声工艺。在序列号为13/445,857的美国专利申请中对其进行了更详细的描述,该专利申请通过援引并入。
在根据不同实施方式的自动对焦和可选的变焦的照相机模块中,基于处理器的部件如失真修正部件、色像差修正部件、亮度、色度、和/或亮度或色度对比增强部件、模糊修正部件、和/或扩展景深(EDOF)和/或扩展动态范围或高动态范围(EDR或HDR)部件。
在图4A和图4B示意性地示出了另一个实例,并且其也被详细描述于在上面通过援引并入的美国申请13/445,857中。图4A-4B分别包括结构部件的横截面图和平面图。扁平的基板形成图4A-4B的照相机模块的基部,该基板的目的是提供结构支撑,因此合适的材料包括金属(例如钛)、陶瓷(例如氧化铝)和硬聚合物如酚醛塑料。基板材料可以进行模制或可以用一种或多种其他方法制造其中的通孔阵列。在某些实施方式中,这些通孔将最终完全或部分地填充导电材料作为基板的一部分,其为照相机模块提供电接口。因为基板会增加照相机模块的总高度,所以它非常薄但足够刚硬。在某些实施方式中仔细地选择基板的材料的机械性质,包括其模量和断裂韧度。基板可以是大约200微米厚,并且其厚度可以在大约50微米和400微米之间的范围内。
在图4A-4B所示的示例性实施方式中,图像传感器和防护玻璃罩耦接在基板的大致中心部分上。图像传感器可以利用粘接法或磁性地、或利用一个或多个夹具或互补的滑动件或缠绕紧固部件、或利用采用静态粘附力或热配合或压缩收缩或膨胀配合的装配结合、或别的方式附接到基板。在该实例中,在基板其余部分的相当大的部分上面附接着柔性电路。附接的方法可以是粘接法或刚才提及的方法之一或别的方式。在某些实施方式中,柔性电路可以包括在软聚合材料(如聚酰亚胺)的表面上的或被嵌入该软聚合材料内的由铜或其他金属或导电聚合物制成的薄导电轨。孔口或其他特征可以用来提供通向铜轨的通路以进行电连接。
如图4A-4B的实例中所示,柔性电路具有孔口,其平面面积小于图像传感器。这容许柔性电路被置于图像传感器上面,以使得图像传感器上的粘合垫被柔性电路覆盖。以这种方式,可以在图像传感器上的粘合垫和柔性电路上的合适槽脊之间形成电连接。根据几个实施方式,所使用的实现该连接的方法和材料的选择很宽,例如包括导电粘合剂、热压缩粘合、钎焊连接和超声焊。
图像传感器电连接到或可电连接到柔性电路,使得根据某些实施方式的在柔性电路上的轨能用来将电连接传送到其他位置,其可以包括主动和/或被动部件。在不同实施方式中,主动和/或被动部件可以利用既定方法和技术附接到柔性电路且与柔性电路互相连接。在图4A-4B中,在照相机模块中包括三(3)个被动部件,连同十(10)个粘合垫和八(8)个通孔焊接互连件,但这些数量和位置和形状和尺寸是作为说明而提供的,许多改变是可能的。
在某些实施方式中,与照相机模块的外部电连接涉及与柔性电路上的合适槽脊的电连接。通过设计,这些槽脊有利地位于基板中的通孔上面。虽然图4A-4B示出了铜柱用于这些电互连件,但电互连件也可以由各种材料和结构构成,包括焊接柱、堆叠的柱形凸起、导电粘合剂和/或深通路引线接合件。其他实施方式包括如同弹性元件和伸缩探针的机械结构。在使用焊接柱的场合,在焊料回流时,周界将改变形状成半球形从而使照相机模块的外部接口类似半导体封装的互连件,类似于球栅阵列。图4A-4B中所示的示例性结构包括具有轻微弯曲的柔性电路,而在其他实施方式中,柔性电路没有弯曲。
图4A-4B示意性地示出了图像传感器,其布置在基板中的凹部内,以使得图像传感器粘合垫处于与柔性电路的下侧相同的高度上,虽然在其他实施方式中,可以有偏移。对该排列的细节进行一些调节可以考虑用来将柔性电路附接和连接到粘合垫的连接介质的厚度。
MEMS快速对焦
自动对焦(AF)可以细分成至少两种类型:一种是主动AF,其典型地涉及另外的部件,正如IR LED和传感器,另一种是被动AF或TTL AF(通过透镜自动对焦),其利用通过传感器获得的实际图像来检测目标距离。根据某些实施方式的自动对焦照相机模块包括使用“对比测量方法”的紧凑型数码相机和手机摄像头,其是“被动AF”的子类型,而在其他实施方式中使用其他方法。图5示意性地示出了在自动对焦机构的系统结构中的结合的硬件或H/W(低)和软件或S/W(高)。软件典型地在ISP中实现。
手机照相机可以用CMOS传感器作为图像传感器。CMOS传感器可以在预览期间使用滚动快门。在完成帧数据传输和帧的AF的计算统计之后,系统可以将数据提供给AF部件或算法或应用,其包括回调特征。在回调接口中,AF部件估计图像对比度,决定下一个焦点位置(视频)或最终焦点位置(静态图像捕捉),并通过透镜驱动器软件任务(其给透镜驱动器IC编程)控制致动器。
根据某些实施方式的具有MEMS驱动的有利的自动对焦照相机模块快得足以在单帧采集周期内移动透镜而不会干扰曝光和来自传感器的数据传输。在DH数据率,需要80%的图像帧周期(33ms)来将数据从传感器移动到ISP和主系统存储器上。
在US61/622,480和PCT/US12/24018描述了可以用在不同实施方式中的MEMS致动器,其通过援引并入,在参考文献中描述了MEMS致动器和包括MEMS致动器的照相机模块的其他实施方式,所述参考文献被引用并且通过援引并入下文中。
MEMS的优点是其快速,如图6的时序图中所示。图6示出了根据某些实施方式的自动对焦照相机模块的实例的时序图,其被编程以基于被应用于场景中心区域的焦点区域,在预览图像流的每帧将一个或多个可移动透镜的子集移动一次。
与在AF期间缩短的曝光时间以及也很快的数据传输帧率相结合,MEMS致动器足够快,使得在根据某些实施方式的自动对焦照相机模块中在单帧周期(对于30fps,<33ms)内,AF获得了良好的速度和精度。
“焦点区域”在图6中被表示为应用于图像的中心区域(橙色/褐色区域)。因而在该实例中,透镜仍然可以在下一个图像帧的第一个20%的采集周期期间移动(顶部黄色区域)。透镜也可以在最后20%的采集周期期间开始移动(底部黄色区域),因为在某些实施方式中,图像数据的这些最初的和最后的线并非用来确定焦点。
图像最初可能由于镜头移动而局部模糊或失真,然而,根据某些实施方式的照相机模块的AF部件有利地在少量图像帧内确定其“最有效点”并且之后是稳定的。
MEMS是如此的快,以致于在某些实施方式中在某些条件下,AF照相机模块没有对每个图像帧重新对焦。在透镜在每个图像帧都移动的其他实施方式中,包括一些额外的巧妙处理,其避免了任何令人不快的“焦点搜索”,其中由于过度灵敏,焦点可能经常以别的方式振荡。
传感器+AF、ISP、系统存储器和CPU/GPU之间的关系
图7示出了根据某些实施方式的成像硬件结构的某些部件。AF统计和算法部件可以典型地在ISP中实现,并且在那些实施方式中,ISP提供指令给AF硬件以将透镜驱动到其最新的位置。ISP设计成在传感器数据通过主系统存储器时处理传感器数据。在某些实施方式中,替代地,数据也可以例如经由MIPI I/F传到主机存储器,或ISP可以将主机作为例如传感器并行接口的传感器来加以关注。
在某些实施方式中,ISP通过专用高速总线和多线缓存中的ISP缓存传感器数据连接到图像传感器。当图像数据通过该缓存结构时,图像数据可以被ISP处理,并且将统计数据被累积和/或保留在用于当前图像帧的ISP内。ISP可以具有一些关于过去的图像帧的保留数据,但其通常是高水平统计数据或根据其确定的图像特性。
ISP还将原始图像数据修改成例如de-Bayer或R-G-G-B传感器数据,转换成RGB或YCC格式。ISP还可以调节图像清晰度、白平衡、色彩平衡并进行一些有限的滤波,如噪声抑制、增益调节和自适应滤波。ISP还可以实现其他高水平图像处理和分析功能,如脸部检测和追踪以及微笑和眨眼检测和/或在下面通过援引并入的专利和专利申请中描述的其他技术。
AF算法层
根据某些实施方式的照相机模块使用“单次AF”或“连续AF”。单次AF技术涉及用于静止采集的利用某个触发器(例如快门)的一个AF操作。连续AF技术涉及在预览或视频捕捉期间连续地执行AF。
完全遍历式和爬山式AF
完全遍历式AF技术扫描整个对焦范围(例如,利用照相机模块的可移动透镜或透镜镜筒的完全遍历)。在图8提供了完全遍历式AF技术的时序图的实例。确定从无限远到微距的感兴趣区域或ROI窗口的对比度值。在该实施方式中,下面的、较长的具有指向右方的箭头的黑线代表自动对焦照相机模块的一个或多个聚焦透镜或透镜镜筒的行程的完全对焦范围。找到峰值对焦评价函数值。将一个或多个透镜或透镜镜筒移回到具有最佳对焦评价函数值(典型地,峰值对比度值)的焦点位置。从微距回到最佳焦点或峰值对比度的位置的这个移动由图8中的上面的、较短的具有指向左方的箭头的黑线示出。透镜在完全遍历式AF处理期间移动的总距离可以被估计为两个黑线乘平均速度所代表的距离之和。与使用小于整个对焦范围的技术相比,完全遍历式AF技术可能花费更多的时间来移动一个或多个透镜或透镜镜筒,尽管找到峰值通常比其他方法更简单。因为存在下列风险,即场景中的物或人可能在对焦周期过程中改变,所以在某些实施方式中希望减少对焦时间。
在某些实施方式中可以采用爬山式AF技术来相比于完全遍历式技术减少对焦时间。在图9提供了时序图的实例以阐明爬山式AF技术。在爬山式AF技术中,从无限远开始,朝着微距位置移回,检查感兴趣的窗部区域的图像对比度。一旦算法检测到对比度减小,这应该恰好在一个或多个透镜或透镜镜筒越过产生峰值对比度的位置之后和在一个或多个透镜或透镜镜筒仅仅横越整个对焦范围的一小部分之后发生,如图9中下面的具有指向右方的箭头的黑线所示,然后它就朝着峰值后退,如图9中上面的、指向左方的短箭头所示。在某些实施方式中,通过对焦范围的最初的步幅是比较大的。在检测到对比度减小之后,使用较小的步长。甚至在具有有点多的复杂的操作集的情况下,当与完全遍历式AF相比时,对焦时间也通常会减小,因为与完全遍历式AF技术相比,在爬山式AF技术的过程中,透镜移动的距离较短,这例如由图9中两个黑线的总和远小于图8中两个黑线的总和而得到证明。只要时间不会由于减慢峰值对比度位置周围的移动或由于将太多的时间增加到反向滞后而太显著地增加(如下所述),就可以有利地与基于MEMS的自动对焦照相机模块结合使用爬山式AF技术,该自动对焦照相机模块可选地也具有变焦。当希望非常快的自动对焦时,可以选择图2所示的实施方式,因为该实施方式中的单个可移动透镜L3仅仅具有比较短的横向移动距离,如上所述。关于爬山式AF技术的许多变化可以用在具有改进的对焦评价函数值的不同实施方式中,或者利用巧妙的插值技术(如双三次插值或样条内插)用来自少量最初AF步骤的数据找到峰值。
图10包括可以用在某些实施方式中的爬山式AF技术的实例的流程图结构。一个或多个聚焦透镜移动到照相机的对焦范围的末端,从图像信号处理器或ISP获得对比度数据并将其保存到阵列中。对于这个实例,假定感兴趣的区域或ROI(AF窗口)是固定的。将最新的帧数据与之前的数据进行比较。确定是否已经越过峰值。对比度数据具有噪声,因此它可能不会显示峰值,即最新的对比度数据正好小于之前的对比度数据。因此,检测峰值可能涉及使用阈值或检查对比度数据的历史记录。如果确定已经越过峰值,则使对焦光学器件移动到峰值位置并且AF结束。如果确定没有越过峰值,则确定当前位置是否为微距。换句话说,由AF算法编程的处理器不能找到峰值。可以将焦距移动到下一个位置,或者如果在整个对焦范围内都没有找到峰值,则系统可以从开始重新尝试AF技术,或者可以将对焦光学器件移动到默认位置,例如超焦距长度。
滞后
滞后在图11中示出,并且被定义为当相同的电压施加在致动器上时、当将一个或多个可移动透镜或透镜镜筒从微距移动向无限远位置且然后沿相反方向从无限远移动到微距位置时的透镜位置的差别。值得注意地,包括在根据某些实施方式的自动对焦照相机模块中的MEMS致动器包括三微米或更小的滞后。相比之下,VCM致动器通常具有二十微米或更大的滞后,其是如此大的滞后以致于AF技术可能增加在找到峰值之后返回越过峰值并且再次移动到峰值的步骤,如图12的示意性实例中那样。通过参考图9的示例性时序图,将向后朝着微距的第三次移动(如图12中的三个黑色箭头中的上面的最短箭头所示)增加到仅由其他两个箭头确定的总和,这将少量距离增加到总和,但与VCM自动对焦相比增大了差别,因为在该高得多的滞后环境中以足够的准确度找到对比度峰值具有更大的困难。
连续AF的基本概念与单次AF近似相同。然而,应该避免作为问题的不必要的频繁重新对焦,特别是对于视频采集。可以预先确定阈值,其中在场景或焦点窗口中的足够小的变化将不会触发重新对焦,而如果算法敏感,则它可能在每个图像帧都被改变。因而,在连续AF技术的某些实施方式中提供了一些算法调整以获得某些所需结果。
场景改变检测
在某些实施方式中可以在连续AF技术中使用场景改变检测部件,其可以用来避免频繁的焦点移动。这可以在要求新的焦点移动之前为场景的改变设定阈值。
预测性脸部AF
在某些实施方式中,利用从场景中检测到的脸部图像得到的信息来帮助提供图像帧中的脸部距离和脸部位置的估计。将基于脸部的技术与MEMS AF技术结合,特别是在自动对焦照相机模块包括MEMS致动器的情况下当滞后相对低且可重复性高时。如果实施与脸部追踪的结合,则更巧妙的算法是可能的。
在某些实施方式中,当可得到追踪的脸部区域时,图像帧内的预测脸部区域的额外信息与统计的脸部追踪数据相关联并且可以用来通知AF算法。这也实现了精确的场景改变检测,特别是当人和/或脸常常是场景改变的主要来源时。作为例子,可以从帧-到-帧确定眼-到-眼的距离改变,这为追踪的脸部区域提供了距离和速度度量。该信息帮助避免错误方向上的焦点搜索。在追踪多个脸部区域的场合,有各种选择,例如,焦点可以是基于最近的脸的、最中间的脸的、最长的被追踪的脸的、横跨多个脸的平均或其他预先设定的标准。在某些实施方式中,在触摸屏界面的情况下,用户可以选择优先考虑的脸部区域。
ISP内的硬件脸部追踪
可以实施ISP的硬件附件,其可以提取本地图像图元并在图像数据通过ISP时将多个平行对象分类器模板应用于缓存的图像数据(例如,参见公开的美国专利申请号20120120304、20120106790和20120075504,其通过援引并入)。
在一个实施方式中,确定可能的(矩形)脸部区域。该数据随着原始图像帧被写到系统存储器以便主系统CPU或GPU进行随后的处理。在某些实施方式中,该数据被保留并在多个图像帧上以ISP水平进行统计学上的处理,或在ISP的硬件“附件”内进行统计学上的处理。在某些实施方式中,这被用来提供硬件脸部追踪机构,其可以确定较近图像帧中的脸部的预测位置。由于在某些实施方式中,主CPU典型地有时成形本地硬件模块,以例如通过加载不同的分类器模板来帮助高水平的脸部分析功能,所以能从在主CPU/GPU上运行的其他算法获得不定期的确认。分类器模板不限于脸部。利用用于眼部区域、手、面部表情(微笑、眨眼)和用于非人对象(包括车辆、动物、建筑物和树木)的相同结构,分类器模板被成功地实施。
用于某些应用的一个特别相关的分类器是“眼睛对”模板,其确认脸部区域并另外提供脸部区域尺寸的更精确的表示。
现在参考图13,一组检测到的脸部位置被表示为大矩形窗口内的内藏矩形,该大矩形窗口可以代表图像边界。这些内藏矩形是将多个短分类器链并行匹配到图像帧的窗口的结果。矩形区域显示了当每个所示矩形窗口将并行应用的多个短分类器链之一成功地匹配到图像帧的那个窗口时,检测到可能的脸部区域的地方。与具有仅仅一个窗口或具有较少窗口的区域相比,具有多个重叠窗口的区域具有更高的包含脸部的概率。在图13的实例中,注意到相当大量的单个检测,尽管如果在该位置没有其他匹配被确定的情况下这不可能表明真实的脸部区域,因为在该示例性实施方式中将单独的分类器链设计成高度包含一组特定的脸部特征,例如姿态、平面内旋转和/或照明度。
可以在多个图像帧上对于一组候选的脸部区域获得确认并可以建立历史记录。历史记录可以包括记录的方向和确认区域的移动程度。因而,在图像采集开始时,可以通知ISP在之前的一个或多个图像帧中脸部区域在哪里。其可以刚刚被分析并且类似于图13的输出可以用于最后的帧。在某些实施方式中,ISP也可以保存被追踪的脸部或其他对象区域的统计历史记录,如图14的实例中所示。
图14表示确认的脸部区域,其显示于“微笑符”出现在大矩形窗口内的位置处,在某些实施方式中,大矩形窗口基于追踪的历史记录和/或追踪的历史记录与一个或多个额外标准的组合。这种额外标准可以包括来自于在主CPU上运行的较复杂且可能较慢的算法的非实时确认。这些脸部或感兴趣的其他对象或区域(ROI)中的每一个的焦距或焦点值也可以被确定和记录为例如图14中的f1、f2、f3和f4。图14中的虚线表示预测的脸部区域或预期脸部处于目前正在采集的图像帧内的位置。该信息可以部分地基于历史追踪数据,部分地基于确定的当前方向和/或移动速度,和/或部分地基于被追踪的脸部的尺寸(与照相机的接近度)。例如注意到f4正在以合理速度在水平方向上移动,而f3正在以较慢速度在相反但仍为水平的方向上移动,因此预测的脸部区域在f3的移动方向上比在f4的移动方向上伸出得少。图14还表明f1正在沿垂直方向缓慢移动,没有检测到f2的移动或者检测到的f2的任何移动都低于阈值最小值。
基于脸部的检测的一个方面是根据某些实施方式的基于MEMS的自动对焦照相机模块可以有利地用一个或多个预测的脸部区域作为AF算法的ROI。在图14中所示的实例中,有四(4)个区域,每个都潜在地具有至少轻微不同的焦点设置,即f1、f2、f3和f4。可以应用一系列不同的方法。在一个实施方式中,焦点位置是基于根据所有检测到的脸部或者检测到的或候选的脸部区域的子集而确定的单个值。在另一个实施方式中,基于最近(最大)的脸部上的,或最远(最小)距离的脸部上的,或位于对应于最近和最远距离之间的中间设定值的焦点位置处的脸部上的,焦点来确定焦点;或者将焦点设定到上述焦点。在另一个实施方式中,焦点可以是基于时间的,例如,焦点可以被设定到最近检测到的脸部;或最久的检测到的脸部上,或在追踪了阈值时间的过程中也具有足够稳定性或其他参数、标准或组合的已经维持脸部锁定的脸部上。
图15示出了来自图14的被追踪的矩形区域与图13的多个、在很可能的情况下重叠的、单帧的检测相重叠,所述被追踪的矩形区域在相应脸部的移动方向上的尺寸与脸部在场景内移动的速度成比例。在该实例中有趣的是,有可能的新的脸部区域似乎已经从右侧进入图像范围,其具有与相配的四个不同的短分类器链对应的四个单帧检测,即使脸部追踪锁定没有例如通过提供与移动方向和速度成比例的虚线矩形而被表示为已经被建立,从而使得可能没有统计数据,也没有相关联的对应于该位置的预测区域。
在某些实施方式中提供了专门的硬件以对对象(如脸)进行滤波,和/或其可以被训练以检测任何各种各样的对象和对象类型。模板将许多仅可以不精确地描述对象的对象特征进行编码,以例如平衡要求以不会错过候选对象并使处理快速运行。可以在任何候选区域上利用高质量模板通过SW执行第二处理步骤。例如,可以用一般最感兴趣的对象(例如,建筑物、小汽车、人、宠物、喜爱的运动队等等)对硬件模板进行训练,并且来自对象匹配HW块的输出可以用作AF算法的输入(作为ROI)。实际上在某些实施方式中,因为也非常适合于计算某些色彩测量,所以使用这些ROI,其中所述色彩测量可以帮助计算与每个那些单独ROI的近似距离,因而帮助透镜的快速定位。
ISP实施的脸部对焦技术
在某些实施方式中,图像信号处理器或ISP有利地被编程以控制AF算法,以使得第一预测脸部区域的第一像素的曝光周期不会由于透镜移动而模糊或失真,或至少任何这种模糊或失真被减到最小或保持很小。图像传感器的曝光周期的ISP控制可以涉及在开始下一个数据传输周期之前将传感器滚动快门重置在正确时间的响应度。当实施基于脸部的AF时,根据该实施方式的ISP还可以具有当前图像帧的预测脸部区域的知识并且还可以通过AF算法控制透镜移动。
在某些实施方式中,ISP确定第一脸部区域的第一像素什么时候将被重置并确保在其曝光周期中不会发生透镜移动。如果确定的透镜移动在该时间帧内不能完成,则向AF算法或任务触发异常以使得它意识到最佳透镜位置没有被达到。在一个实施方式中,ISP提供同步机构,其如此实施以使得当ROI曝光开始时和当它完成时,ISP中的传感器I/F发送信号给ISP的其余部分(HW块或机载CPU)。ISP应该注意不容许在AF ROI的曝光过程中的透镜移动。在某些实施方式中提供新的MEMS最佳ISP,其实现该信号机构。
在图像采集的获得预测AF ROI的那个部分期间,透镜移动停止。在某些实施方式中,一旦获得最新的预测ROI的最新像素,ISP就可以重新开始透镜移动。然而,典型地,AF算法或任务给ISP编程序以首先完成对每个检测到的脸部区域上的焦点度量的计算并确定总焦点度量。基于该新的焦点度量,ISP决定透镜位置是否不是最佳的和是否应该进一步调整。
在某些实施方式中,取决于曝光周期和模板匹配周期的一个或多个时限,AF算法可以给ISP编程以在决定是否开始焦点调节之前,等待额外的确认,即在当前的周期期间,预测的脸部区域实际上包含脸部。在一些实施方式中,当等待新近检测到的脸部区域被更复杂的CPU/GPU算法确认时,或当ISP用一个或多个额外的图像帧来使得能够在新区域上建立统计数据时,可以执行进一步的延迟。
在图16中提供了根据某些实施方式的基于脸部的自动对焦算法的流程图的实例。
该算法基于脸部追踪算法的软件实施方式,但能看出其可以怎样被硬件模板匹配模块和加速脸部信息的ISP水平的固件和眼睛距离部件容易地替换。
在单个图像帧内重新对焦
在某些实施方式中,MEMS的速度不仅使得能从帧到帧地重新对焦,而且容许在单个帧内的重新对焦。由于聚焦透镜相对小的移动导致的像素的模糊或失真在数字图像内是可管理的。在某些实施方式中,对AF的微小调节包括在相同的图像帧服务内,以例如使感兴趣的多个区域上的局部对焦最佳化。在该实施方式中,像素可以被从传感器一行一行地计时,并且传感器像素可以与图像帧像素1对1地对应。在某些实施方式中应用转换和去马赛克(de-Bayer)操作。
返回参考图14,代表像素线的四个水平线被示出,其均以箭头结束,箭头表示在这些像素被从传感器顺序计时之后正在发往ISP。在某些实施方式中,像素被从上至下和从左至右越过每行地一行一行地计时输出。看顶行,在第一预测脸部区域(f1)左边的像素是“清晰的”,而该ROI的第一像素右边的像素是模糊/暗的。透镜移动在这些“暗”像素的曝光间隔期间停止以避免透镜移动的模糊/失真。当该实例中直到第二脸部区域(f2)的最后像素为止的所有中间行的传感器曝光时,透镜保持静止。然而,一旦f2的最后数据像素被计时给ISP,透镜就可以再次开始移动,虽然透镜移动将再次停止以容许第三脸部区域(f3)时间的第一像素完全曝光。因而,如果两次曝光间隔的时间比从f2至f3的卸载数据的时间间隙长,则将没有足够的时间用于f2和f3之间的透镜移动。在图14的实例中,f1和f2的以及f3和f4的行的物理重叠不容许这些ROI之间的任何透镜移动。在某些实施方式中,当单独像素的曝光时间与完全图像采集周期(例如,33ms)相比相当短时,可以提供帧内的重新对焦。
交替对焦技术
在另一个有利的实施方式中,为了交替的图像采集,焦点在脸部区域之间切换。在该实施方式的实例中,透镜可以移动到中间位置,该中间位置近似位于图14中的四个焦点设置f1、f2、f3和f4的中间。然后,在每个连续的图像帧上,将焦点移动到每个脸部区域的最佳焦点。在随后的图像采集时,该循环继续。
最后得到的图像流在连续的图像帧中在四个脸部区域之一上具有清晰的焦点,而图像的其他区域被较不清晰地聚焦。
公开的美国专利申请US20110205381、US20080219581、US20090167893和US20090303343描述了将一个或多个清晰的、曝光不足的图像与一个或多个模糊的但正常曝光的图像相结合以产生改进的合成图像的技术。在这种情况下,每个面或其他ROI有一个清晰对焦的图像,该面或其他ROI有三个或多或少轻微散焦的图像。在某些实施方式中,根据每个脸部或其他ROI的透视图产生改进的视频,即,在整个视频中每个脸部图像都最佳对焦。其他人之一可以改变配置以创建备选视频,其中焦点改为位于他们身上。
在另一个实施方式中,通过使用两个照相机获得类似的效果,该两个照相机包括对焦在主题上的照相机和对焦在背景上的照相机。实际上,在根据该实施方式具有双照相机的情况下,为了从普通的或甚至便宜的3D摄像系统(例如,在传统手机上的)获得专业深度的2D视频连续镜头,不同的对焦点是非常令人感兴趣的工具。备选地,通过在主题和背景之间或者在处于不同焦距的任何两个或更多主题之间快速切换焦点,具有足够快的对焦的单个照相机可以用来获得同样的图像,这再次取决于照相机的自动对焦部件的速度。在上面描述的涉及具有四个脸部的场景的实施方式中,AF算法可以被横越这四个不同的脸部区域分离。根据某些实施方式的包括MEMS致动器的自动对焦照相机模块的快速对焦速度将在四个脸部区域之间分配,以便将每个脸部区域的自动对焦减慢四倍。然而,如果减少四倍仍然容许自动对焦足够快地进行,则获得了很大的优点,其中对于场景中多个主题中的每一个,视频都被最佳化。
在视频的实施方式中,照相机配置成在一系列原始视频帧上使焦点在两个或多个主题之间交替对焦。在压缩之前,用户可以被要求(或可以在开始记录之前对于脸部有预先确定的默认设定)选择优先考虑的脸部,或可以基于预先确定的标准(尺寸、追踪锁定的时间,基于存储图像的数据库的识别和/或在其他可能的可以编程或自动化的参数中包括某些特征的存储图像的数量)自动选择脸部。当压缩视频序列时,压缩算法可以将具有对焦优先的帧用在选定的脸部上作为主帧或作为GOP中的关键帧。因而,在选定的“优先”脸部上,压缩的视频将丢失较少的细节。
在另一个实施方式中,利用将清晰的、曝光不足的视频帧与曝光过度的视频帧结合的技术来拍摄低亮度视频。在某些实施方式中使用这些技术以适合于脸部对焦。在这种实施方式中,视频序列中的第一帧是焦点对于主题之一最佳化的帧。通过将该帧与第二、第三和第四视频帧(即,在具有四个脸部区域的场景的实例中)结合产生新的第二、第三、第四视频帧来产生随后的帧,所述新的第二、第三、第四视频帧被第一视频帧“增强”以显示具有改善焦点的优选脸部。当场景中包括大群人时,该技术是特别有利的。
在不同的环境中,例如在主题乐园或联谊会或棒球或足球比赛,或在假期期间,或在办公室的团队建设活动中,或在稍微大群的人可能拥挤在视频序列中的其他场合,从安放处拍摄视频序列。可以存储原始视频序列直到来访者离开公园、或去公用电话亭、或进入网站并使用电子支付或电子账户的形式为止,于是用户可能产生对于(来访者选择的)特定主题最佳化的压缩视频。这使质量得到有利改善,其容许场景中的多个人中的任一个是明星,并且对于拍摄孩子可以有惊人的价值。父母可能愿意为一个或多个或甚至几个“最佳化”的(即,相同的原始视频序列的)视频付钱,如果在每个序列的质量上至少关于每个序列中的一个不同脸部有明显改善的话。
利用眼睛或其他面部子区域信息的技术
眼睛区域可以用于精确脸部对焦,但由于眼睛是连续改变的状态,所以它不总是处于用作焦点区域的最佳(睁开)状态中。在一个实施方式中,硬件模板匹配确定眼睛区域是否是睁开的并用其作为焦点区域,并且ISP应用对于眼睛区域最佳化的对焦评价函数,并且如果眼睛没有充分睁开,则它默认对焦到较大的区域如嘴巴或半边脸或整个脸并且使用相应的对焦评价函数。
在人像模式的实施方式中,照相机模块可以将多个焦点区域用在特定脸部区域上,例如两个或更多的单个眼睛、眼睛区域、眼鼻区域、嘴巴、发际线、下巴和脖子、和耳朵。在一个实施方式中,确定单个焦点度量,其对于两个或多个特定面部子区域中的每一个都结合对焦评价函数。可以基于该单个焦点度量获取最终的人像图像。
在备选实施方式中,获取多个图像,每个都对于脸部的子区域(或两个或更多区域的组合)被最佳化成单个焦点度量。
然后校验每个获取的帧的质量,通常是通过与利用标准脸部焦点度量获取的基准图像相比较。相比该基准超过阈值差异的图像帧被放弃,或被重新获取。
在放弃或重新获取一些图像帧之后,一组不同地对焦的图像留下并且利用空间权重图对准和结合面部区域。该图例如确保用来创建眼睛区域的图像帧在眼睛附近被更多地加权,但在鼻子和嘴巴的区域中下降。脸部的中间区域将从趋向于提供平滑效果的多个图像帧相等地形成,所述平滑效果可以类似于在公开的美国专利申请US20100026833中描述的一个或多个美化算法,该申请被并入作为参考。
用来产生HDR图像和消除该图像中的重影的技术,例如被并入作为参考的PCT/IB2012/000381,有利地与本申请中描述的一个或多个基于快速自动对焦MEMS的照相机模块特征相结合。使用的图像将包括具有相似曝光度的图像,特别是在人像模式中,而一些曝光度调节步骤将在人像模式环境中被消除。
尽管已经描述和阐明了本发明的示例性的图和具体实施方式,但应该懂得,本发明的范围不局限于所讨论的特定实施方式。因而,应该将实施方式看作说明性的而非限制性的,并且应该懂得,本领域技术人员可以在那些实施方式中作出变化而不背离本发明的范围。
另外,在可以根据本申请优选实施方式执行的且可以在上面描述的方法中,以选定的排字顺序描述了操作。然而,顺序已经被选择并且因此被安排以便排字上的方便,其并非用来暗示执行操作的任何特定顺序,除了可以特意阐明特定顺序的场合或本领域普通技术人员可以相信特定顺序是必需的场合之外。
根据某些实施方式的照相机模块包括物理的、电子的和光学的结构。其他照相机模块的实施方式和可以包括备选实施方式的照相机模块的特征和部件的实施方式描述于美国专利7,224,056、7,683,468、7,936,062、7,935,568、7,927,070、7,858,445、7,807,508、7,569,424、7,449,779、7,443,597、7,768,574、7,593,636、7,566,853、8,005,268、8,014,662、8,090,252、8,004,780、8,119,516、7,920,163、7,747,155、7,368,695、7,095,054、6,888,168、6,583,444和5,882,221以及公开的美国专利申请2012/0063761、2011/0317013、2011/0255182、2011/0274423、2010/0053407、2009/0212381、2009/0023249、2008/0296,717、2008/0099907、2008/0099900、2008/0029879、2007/0190747、2007/0190691、2007/0145564、2007/0138644、2007/0096312、2007/0096311、2007/0096295、2005/0095835、2005/0087861、2005/0075016、2005/0082654、2005/0082653、2005/0067688以及美国专利申请61/609,293和PCT申请PCT/US2012/024018和PCT/IB2012/000381中,其在此通过援引全部并入。
根据备选实施方式的MEMS致动器的部件描述于美国专利7,972,070、8,014,662、8,090,252、8,004,780、7,747,155、7,990,628、7,660,056、7,869,701、7,844,172、7,832,948、7,729,601、7,787,198、7,515,362、7,697,831、7,663,817、7,769,282、7,545,591、7,792,421、7,693,408、7,697,834、7,359,131、7,7850,23、7,702,226、7,769,281、7,697,829、7,560,679、7,565,070、7,570,882、7,838,322、7,359,130、7,345,827、7,813,634、7,555,210、7,646,969、7,403,344、7,495,852、7,739,603、7,477,400、7,583,006、7,477,842、7,663,289、7,266,272、7,113,688、7,640,903、6,934,087、6,850,675、6,661,962、6,738,177和6,516,109;和描述于
公开的美国专利申请US2010-030843A1、US2007-0052132A1、US2011-0317013A1、US2011-0255182A1、US2011-0274423A1,和描述于
美国专利申请13/442,721、13/302,310、13/247,938、13/247,925、13/247,919、13/247,906、13/247,902、13/247,898、13/247,895、13/247,888、13/247,869、13/247,847、13/079,681、13/008,254、12/946,680、12/946,670、12/946,657、12/946,646、12/946,624、12/946,614、12/946,557、12/946,543、12/946,526、12/946,515、12/946,495、12/946,466、12/946,430、12/946,396、12/873,962、12/848,804、12/646,722、12/273,851、12/273,785、11/735,803、11/734,700、11/848,996、11/491,742,和描述于
美国专利商标局专利合作条约申请(PCTS)PCT/US 12/24018、PCT/US 11/59446、PCT/US 11/59437、PCT/US 11/59435、PCT/US 11/59427、PCT/US 11/59420、PCT/US 11/59415、PCT/US11/59414、PCT/US 11/59403、PCT/US 11/59387、PCT/US 11/59385、PCT/US10/36749、PCT/US07/84343以及PCT/US07/84301。
本申请中在上面和下面引用的所有参考文献以及背景技术、摘要和附图的简要说明都被并入作为参考,并且美国申请12/213,472、12/225,591、12/289,339、12/774,486、13/026,936、13/026,937、13/036,938、13/027,175、13/027,203、13/027,219、13/051,233、13/163,648、13/264,251和PCT申请WO/2007/110097和美国专利6873358和RE42898都作为参考并入到实施方式的详细说明中作为披露的备选实施方式。
下面的文献也被并入作为参考作为披露的备选实施方式:
美国专利申请8,055,029、7,855,737、7,995,804、7,970,182、7,916,897、8,081,254、7,620,218、7,995,855、7,551,800、7,515,740、7,460,695、7,965,875、7,403,643、7,916,971、7,773,118、8,055,067、7,844,076、7,315,631、7,792,335、7,680,342、7,692,696、7,599,577、7,606,417、7,747,596、7,506,057、7,685,341、7,694,048、7,715,597、7,565,030、7,636,486、7,639,888、7,536,036、7,738,015、7,590,305、7,352,394、7,564,994、7,315,658、7,630,006、7,440,593以及7,317,815和
美国专利申请序列号13/306,568、13/282,458、13/234,149、13/234,146、13/234,139、13/220,612、13/084,340、13/078,971、13/077,936、13/077,891、13/035,907、13/028,203、13/020,805、12/959,320、12/944,701以及12/944,662,和
公开的美国专利申请序列号US20120019614、US20120019613、US20120008002、US20110216156、US20110205381、US20120007942、US20110141227、US20110002506、US20110102553、US20100329582、US20110007174、US20100321537、US20110141226、US20100141787、US20110081052、US20100066822、US20100026831、US20090303343、US20090238419、US20100272363、US20090189998、US20090189997、US20090190803、US20090179999、US20090167893、US20090179998、US20080309769、US20080266419、US20080220750、US20080219517、US20090196466、US20090123063、US20080112599、US20090080713、US20090080797、US20090080796、US20080219581、US20090115915、US20080309770、US20070296833以及US20070269108。

Claims (20)

1.一种自动对焦照相机模块,包括:
照相机模块壳体,其限定了孔口和容纳照相机模块部件的内部空腔;
耦接到所述照相机模块壳体或所述照相机模块壳体内的图像传感器;
包含光具组的在所述照相机模块壳体内的透镜镜筒,所述光具组包括至少一个可移动透镜,所述可移动透镜相对于所述孔口和所述图像传感器布置成沿着光路将场景的图像对焦在所述图像传感器上;和
快速对焦MEMS致动器,其耦接到包括所述至少一个可移动透镜的所述光具组的一个或多个透镜,并配置成使所述至少一个可移动透镜移动到第一位置以对焦在第一感兴趣的区域上,以及使所述至少一个可移动透镜移动到第二位置以对焦在预览或视频序列或者两者的同一帧中的第二感兴趣的区域上,其中第一感兴趣的区域和第二感兴趣的区域的两次曝光间隔的时间短于或者等于从第一感兴趣的区域到第二感兴趣的区域卸载数据的时间间隙,并且其中所述第一感兴趣的区域和所述第二感兴趣的区域位于不同的行。
2.如权利要求1所述的照相机模块,其中所述快速对焦MEMS致动器配置成将所述至少一个可移动透镜在大约33ms内从所述第一位置移动到所述第二位置。
3.如权利要求1所述的照相机模块,包括脸部追踪模块,其配置成预测感兴趣的脸部区域在将来的帧中的位置,容许所述自动对焦照相机模块快速对焦在感兴趣的区域上。
4.如权利要求1所述的照相机模块,包括脸部检测模块,其配置成将多个短分类器链并行应用于图像帧的一个或多个窗口。
5.如权利要求1所述的照相机模块,其中所述快速对焦MEMS致动器配置成交替地自动对焦在两个或更多感兴趣的区域上,以使得在所述预览或视频序列或两者的每两个或更多帧,重新对焦每个感兴趣的区域。
6.如权利要求5所述的照相机模块,其中两个或更多感兴趣的区域包括脸部的两个或更多子区域。
7.如权利要求1所述的照相机模块,包括脸部识别模块,其配置成识别对应于一个或多个特定人的一个或多个脸部并将所述脸部区分优先次序。
8.如权利要求1所述的照相机模块,其中所述快速对焦MEMS致动器配置成在单个帧中的第一组像素曝光期间在所述第一位置停止透镜移动,在单个帧中的第一组像素曝光和第二组像素曝光之间移动至少一个可移动透镜,以及在第二组像素曝光期间在所述第二位置停止透镜移动。
9.如权利要求1所述的照相机模块,其中所述光具组还包括:
设置在所述至少一个可移动透镜的第一侧上的第一固定透镜和第二固定透镜;
设置在所述至少一个可移动透镜的相对的第二侧上的第三固定透镜和第四固定透镜;并且
其中所述快速对焦MEMS致动器由硅或者大体上由聚合材料制成并且具有大约100微米的冲程。
10.如权利要求1所述的照相机模块,其中所述第一感兴趣的区域与第一曝光间隔相关联,并且第二感兴趣的区域与第二曝光间隔相关联,并且第一曝光间隔与第二曝光间隔的和短于或者等于从第一感兴趣的区域到第二感兴趣的区域卸载数据的时间间隙。
11.一种自动对焦方法,包括:
提供照相机模块壳体,其限定了孔口和容纳照相机模块部件的内部空腔;
提供耦接到所述照相机模块壳体或所述照相机模块壳体内的图像传感器;
在所述照相机模块壳体内提供透镜镜筒,该透镜镜筒包含光具组,所述光具组包括至少一个可移动透镜,所述可移动透镜相对于所述孔口和所述图像传感器布置成沿着光路将场景的图像对焦在所述图像传感器上;
提供快速对焦MEMS致动器,其耦接到包括所述至少一个可移动透镜的所述光具组的一个或多个透镜;以及
通过所述快速对焦MEMS致动器,使所述至少一个可移动透镜移动到第一位置以对焦在第一感兴趣的区域上,以及使所述至少一个可移动透镜移动到第二位置以对焦在预览或视频序列或者两者的同一帧中的第二感兴趣的区域上,其中第一感兴趣的区域和第二感兴趣的区域的两次曝光间隔的时间短于或者等于从第一感兴趣的区域到第二感兴趣的区域卸载数据的时间间隙,并且其中所述第一感兴趣的区域和所述第二感兴趣的区域位于不同的行。
12.如权利要求11所述的自动对焦方法,还包括利用所述快速对焦MEMS致动器在大约33ms内将所述至少一个可移动透镜从所述第一位置移动到所述第二位置。
13.如权利要求11所述的自动对焦方法,还包括提供脸部追踪模块,其配置成预测感兴趣的脸部区域在将来的帧中的位置,容许自动对焦照相机模块快速对焦在感兴趣的区域上。
14.如权利要求11所述的自动对焦方法,还包括提供脸部检测模块,其配置成将多个短分类器链并行应用于图像帧的一个或多个窗口。
15.如权利要求11所述的自动对焦方法,还包括操作所述快速对焦MEMS致动器来交替地自动对焦在两个或更多感兴趣的区域上,以使得在所述预览或视频序列或两者的每两个或更多帧,重新对焦每个感兴趣的区域。
16.如权利要求15所述的自动对焦方法,其中两个或更多感兴趣的区域包括脸部的两个或更多子区域。
17.如权利要求11所述的自动对焦方法,包括提供脸部识别模块,其配置成识别对应于一个或多个特定人的一个或多个脸部并将所述脸部区分优先次序。
18.如权利要求11所述的自动对焦方法,还包括:
在单个帧中的第一组像素曝光期间在所述第一位置停止透镜移动;
在单个帧中的第一组像素曝光和第二组像素曝光之间移动至少一个可移动透镜;以及
在第二组像素曝光期间在所述第二位置停止透镜移动。
19.如权利要求11所述的自动对焦方法,其中所述光具组还包括:
设置在所述至少一个可移动透镜的第一侧上的第一和第二固定透镜;
设置在所述至少一个可移动透镜的相对的第二侧上的第三和第四固定透镜;
其中所述快速对焦MEMS致动器由硅或者大体上由聚合材料制成并且具有大约100微米的冲程。
20.如权利要求11所述的自动对焦方法,其中所述第一感兴趣的区域与第一曝光间隔相关联,并且第二感兴趣的区域与第二曝光间隔相关联,并且第一曝光间隔与第二曝光间隔的和短于或者等于从第一感兴趣的区域到第二感兴趣的区域卸载数据的时间间隙。
CN201380041229.3A 2012-06-07 2013-06-07 Mems快速对焦照相机模块 Active CN104798364B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261657012P 2012-06-07 2012-06-07
US61/657,012 2012-06-07
PCT/IB2013/003112 WO2014072837A2 (en) 2012-06-07 2013-06-07 Mems fast focus camera module

Publications (2)

Publication Number Publication Date
CN104798364A CN104798364A (zh) 2015-07-22
CN104798364B true CN104798364B (zh) 2018-08-17

Family

ID=50391214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380041229.3A Active CN104798364B (zh) 2012-06-07 2013-06-07 Mems快速对焦照相机模块

Country Status (3)

Country Link
US (2) US9354486B2 (zh)
CN (1) CN104798364B (zh)
WO (1) WO2014072837A2 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140019535A (ko) * 2012-08-06 2014-02-17 엘지이노텍 주식회사 카메라 모듈 및 그를 구비한 전자장치
JP6040655B2 (ja) * 2012-09-13 2016-12-07 オムロン株式会社 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
JP5746794B2 (ja) * 2012-09-27 2015-07-08 富士フイルム株式会社 撮像装置及び画像処理方法
KR102101864B1 (ko) * 2014-01-29 2020-04-20 엘지이노텍 주식회사 깊이 정보 추출 장치
US9729776B2 (en) * 2014-08-27 2017-08-08 Mediatek Inc. Camera auto-focus apparatus for performing lens position compensation to determine focused lens position and related camera auto-focus method
JP2016081249A (ja) * 2014-10-15 2016-05-16 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9648236B2 (en) * 2015-02-19 2017-05-09 Blackberry Limited Device with a front facing camera having discrete focus positions
JP6503907B2 (ja) * 2015-06-12 2019-04-24 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
US9961246B2 (en) 2015-06-18 2018-05-01 Google Llc Non-canting VCM-actuated autofocus
US9703175B2 (en) 2015-07-02 2017-07-11 Qualcomm Incorporated Systems and methods for autofocus trigger
US10070028B2 (en) 2016-02-10 2018-09-04 Microsoft Technology Licensing, Llc Optical systems and methods of use
US10488186B2 (en) 2016-06-29 2019-11-26 Microsoft Technology Licensing, Llc Alignment detection for split camera
US10542201B2 (en) 2016-06-29 2020-01-21 Microsoft Technology Licensing, Llc Split-camera autoalignment
EP3270582A1 (en) * 2016-07-11 2018-01-17 Samsung Electronics Co., Ltd Object or area based focus control in video
CN106101555B (zh) * 2016-07-29 2018-05-29 广东欧珀移动通信有限公司 移动终端的对焦处理方法、装置及移动终端
US10334152B2 (en) * 2016-08-08 2019-06-25 Fotonation Limited Image acquisition device and method for determining a focus position based on sharpness
US11261081B2 (en) 2016-09-12 2022-03-01 MEMS Drive (Nanjing) Co., Ltd. MEMS actuation systems and methods
CN110267908B (zh) 2016-09-12 2023-08-22 麦斯卓微电子(南京)有限公司 Mems致动系统和方法
US11407634B2 (en) 2016-09-12 2022-08-09 MEMS Drive (Nanjing) Co., Ltd. MEMS actuation systems and methods
CN108121693B (zh) * 2016-11-29 2021-09-24 珠海金山办公软件有限公司 一种幻灯片美化方法及装置
CN110169048B (zh) * 2017-01-09 2022-07-19 Lg伊诺特有限公司 双透镜驱动装置、双相机模块和光学装置
US10122924B2 (en) * 2017-01-23 2018-11-06 Faez Ba-Tis Camera modules using MEMS micro electrostatic pistontube actuators for autofocus (AF) and optical image stabilization (OIS)
KR101786553B1 (ko) * 2017-03-02 2017-10-17 주식회사 에스카 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템
US10311308B2 (en) 2017-03-31 2019-06-04 International Business Machines Corporation Image processing to identify selected individuals in a field of view
FR3067130B1 (fr) * 2017-06-01 2019-06-28 Aptiv Technologies Limited Dispositif optique pour vehicule
CN107590463A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN107483798B (zh) * 2017-09-26 2020-07-31 Oppo广东移动通信有限公司 用于终端设备的摄像头镜片组件以及终端
JP6551491B2 (ja) 2017-11-06 2019-07-31 京セラドキュメントソリューションズ株式会社 監視システム
CN114609746A (zh) * 2018-02-05 2022-06-10 核心光电有限公司 折叠摄像装置
KR102492626B1 (ko) 2018-03-20 2023-01-27 엘지이노텍 주식회사 카메라 모듈 및 이를 포함하는 광학 기기
US11006038B2 (en) * 2018-05-02 2021-05-11 Qualcomm Incorporated Subject priority based image capture
CN111405145B (zh) * 2019-01-02 2021-12-07 三赢科技(深圳)有限公司 相机模组以及具有该相机模组的电子装置
US11156456B2 (en) * 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device
CN110441827A (zh) * 2019-08-13 2019-11-12 叶占川 一种检查站智慧无感安检装置及安检方法
US11627244B1 (en) * 2019-09-09 2023-04-11 Apple Inc. Synchronization of camera focus movement control with frame capture
CN114788261A (zh) * 2019-11-25 2022-07-22 富士胶片株式会社 影像制作方法
CN115236826B (zh) * 2019-12-31 2023-10-20 Oppo广东移动通信有限公司 变焦镜头、相机模组和电子装置
US11553136B2 (en) * 2020-02-19 2023-01-10 Canon Kabushiki Kaisha Subject tracking device, subject tracking method, and storage medium
CN114167571B (zh) * 2021-12-03 2023-04-28 福建师范大学 快速聚焦中继镜头及快速聚焦装置

Family Cites Families (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5882221A (en) 1996-03-21 1999-03-16 Tessera, Inc. Socket for semiconductor devices
JP4643773B2 (ja) 1996-12-17 2011-03-02 テセラ・テクノロジーズ・ハンガリー・ケイエフティー 電子ズーム画像入力方式
US6583444B2 (en) 1997-02-18 2003-06-24 Tessera, Inc. Semiconductor packages having light-sensitive chips
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7920163B1 (en) 1999-06-15 2011-04-05 Tessera International, Inc. Sealed, waterproof digital electronic camera system and method of fabricating same
US6516109B2 (en) 2000-05-30 2003-02-04 Siwave, Inc. Low insertion loss non-blocking optical switch
US6738177B1 (en) 2000-09-05 2004-05-18 Siwave, Inc. Soft snap-down optical element using kinematic supports
US6661962B1 (en) 2001-11-15 2003-12-09 Siwave, Inc. Optical element support structure and methods of using and making the same
US6850675B1 (en) 2002-02-04 2005-02-01 Siwave, Inc. Base, payload and connecting structure and methods of making the same
US7813634B2 (en) 2005-02-28 2010-10-12 Tessera MEMS Technologies, Inc. Autofocus camera
US7359130B1 (en) 2002-02-04 2008-04-15 Siimpel Corporation Lens mount and alignment method
US6934087B1 (en) 2002-09-25 2005-08-23 Siimpel Corporation Fiber optic collimator and collimator array
US7577636B2 (en) 2003-05-28 2009-08-18 Fernandez Dennis S Network-extensible reconfigurable media appliance
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8204330B2 (en) 2009-06-29 2012-06-19 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8339462B2 (en) 2008-01-28 2012-12-25 DigitalOptics Corporation Europe Limited Methods and apparatuses for addressing chromatic abberations and purple fringing
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US8180173B2 (en) 2007-09-21 2012-05-15 DigitalOptics Corporation Europe Limited Flash artifact eye defect correction in blurred images using anisotropic blurring
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7747596B2 (en) 2005-06-17 2010-06-29 Fotonation Vision Ltd. Server device, user interface appliance, and media processing network
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8073286B2 (en) 2006-08-09 2011-12-06 DigitalOptics Corporation Europe Limited Detection and correction of flash artifacts from airborne particulates
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8698924B2 (en) 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8189927B2 (en) 2007-03-05 2012-05-29 DigitalOptics Corporation Europe Limited Face categorization and annotation of a mobile phone contact list
US7317815B2 (en) 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7685341B2 (en) 2005-05-06 2010-03-23 Fotonation Vision Limited Remote control apparatus for consumer electronic appliances
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7536036B2 (en) 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7636486B2 (en) 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US7506057B2 (en) 2005-06-17 2009-03-17 Fotonation Vision Limited Method for establishing a paired connection between media devices
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
JP2007516602A (ja) 2003-09-26 2007-06-21 テッセラ,インコーポレイテッド 流動可能な伝導媒体を含むキャップ付きチップの製造構造および方法
US8369650B2 (en) 2003-09-30 2013-02-05 DigitalOptics Corporation Europe Limited Image defect map creation using batches of digital images
US7315658B2 (en) 2003-09-30 2008-01-01 Fotonation Vision Limited Digital camera
US7590305B2 (en) 2003-09-30 2009-09-15 Fotonation Vision Limited Digital camera with built-in lens calibration table
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7663289B1 (en) 2004-02-18 2010-02-16 Siimpel Corporation Centipede actuator motion stage
US7477842B2 (en) 2004-03-12 2009-01-13 Siimpel, Inc. Miniature camera
US7368695B2 (en) 2004-05-03 2008-05-06 Tessera, Inc. Image sensor package and fabrication method
WO2005109861A1 (en) 2004-05-04 2005-11-17 Tessera, Inc. Compact lens turret assembly
US7640803B1 (en) 2004-05-26 2010-01-05 Siimpel Corporation Micro-electromechanical system inertial sensor
US8194173B2 (en) * 2004-07-16 2012-06-05 Nikon Corporation Auto-focusing electronic camera that focuses on a characterized portion of an object
JP4868202B2 (ja) * 2004-10-15 2012-02-01 コニカミノルタオプト株式会社 ズームレンズ及び撮像装置
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8995715B2 (en) 2010-10-26 2015-03-31 Fotonation Limited Face or other object detection including template matching
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8488023B2 (en) 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US20110102553A1 (en) 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
US7838322B1 (en) 2005-02-28 2010-11-23 Tessera MEMS Technologies, Inc. Method of enhancing an etch system
US7565070B1 (en) 2005-02-28 2009-07-21 Siimpel Corporation Telephone vibrator
US7646969B2 (en) 2005-02-28 2010-01-12 Siimpel Corporation Camera snubber assembly
US7729603B2 (en) 2005-02-28 2010-06-01 Siimpel Corporation Resolution adjustment for miniature camera
US7570882B2 (en) 2005-02-28 2009-08-04 Samsung Electronics Co., Ltd. Shutter for miniature camera
US7359131B1 (en) 2005-02-28 2008-04-15 Siimpel Corporation Lens positioning systems and methods
US7792421B1 (en) 2005-02-28 2010-09-07 Tessera MEMS Technologies, Inc. Triaxial snubber assembly
US7403344B2 (en) 2005-02-28 2008-07-22 Siimpel Corporation Lens Assembly
US7495852B2 (en) 2005-02-28 2009-02-24 Siimpel Corporation Zoom lens assembly
US7769284B2 (en) * 2005-02-28 2010-08-03 Silmpel Corporation Lens barrel assembly for a camera
US7345827B1 (en) 2005-02-28 2008-03-18 Siimpel Corporation Lens barrel
US7555210B2 (en) 2005-02-28 2009-06-30 Siimpel, Inc. Axial snubbers for camera
US7449779B2 (en) 2005-03-22 2008-11-11 Tessera, Inc. Wire bonded wafer level cavity package
US8143095B2 (en) 2005-03-22 2012-03-27 Tessera, Inc. Sequential fabrication of vertical conductive interconnects in capped chips
US7694048B2 (en) 2005-05-06 2010-04-06 Fotonation Vision Limited Remote control apparatus for printer appliances
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
WO2006122547A1 (en) 2005-05-17 2006-11-23 Vestas Wind Systems A/S A pitch controlled wind turbine blade, a wind turbine and use hereof
US7583006B2 (en) 2005-07-26 2009-09-01 Siimpel Corporation MEMS digital linear actuator
US7566853B2 (en) 2005-08-12 2009-07-28 Tessera, Inc. Image sensor employing a plurality of photodetector arrays and/or rear-illuminated architecture
US7477400B2 (en) 2005-09-02 2009-01-13 Siimpel Corporation Range and speed finder
US7697829B1 (en) 2005-09-02 2010-04-13 Siimpel Corporation Electronic damping for stage positioning
US20070052132A1 (en) 2005-09-02 2007-03-08 Gutierrez Roman C Method and system for cleaning molded items
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
US20070138644A1 (en) 2005-12-15 2007-06-21 Tessera, Inc. Structure and method of making capped chip having discrete article assembled into vertical interconnect
US7692696B2 (en) 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
US7443597B2 (en) 2005-12-27 2008-10-28 Tessera, Inc. Liquid lens with piezoelectric voltage converter
US20070190747A1 (en) 2006-01-23 2007-08-16 Tessera Technologies Hungary Kft. Wafer level packaging to lidded chips
US7936062B2 (en) 2006-01-23 2011-05-03 Tessera Technologies Ireland Limited Wafer level chip packaging
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
US20080002460A1 (en) 2006-03-01 2008-01-03 Tessera, Inc. Structure and method of making lidded chips
KR101388564B1 (ko) 2006-03-29 2014-04-23 디지털옵틱스 코포레이션 유럽 리미티드 향상된 화질을 갖는 이미지 캡쳐 장치
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US7769281B1 (en) 2006-07-18 2010-08-03 Siimpel Corporation Stage with built-in damping
US7702226B1 (en) 2006-07-20 2010-04-20 Siimpel Corporation Board mounted hermetically sealed optical device enclosure and manufacturing methods therefor
EP2050043A2 (en) 2006-08-02 2009-04-22 Fotonation Vision Limited Face recognition with combined pca-based datasets
US20090115915A1 (en) 2006-08-09 2009-05-07 Fotonation Vision Limited Camera Based Feedback Loop Calibration of a Projection Device
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7785023B1 (en) 2006-08-16 2010-08-31 Tessera MEMS Technologies, Inc. Miniature camera lens system
US7835637B2 (en) * 2006-09-20 2010-11-16 Qualcomm Incorporated Predictive focus value calculation for image capture devices
US7697834B1 (en) 2006-10-13 2010-04-13 Siimpel Corporation Hidden autofocus
US7693408B1 (en) 2006-10-13 2010-04-06 Siimpel Corporation Camera with multiple focus captures
US7545591B1 (en) 2006-10-17 2009-06-09 Siimpel Corporation Uniform wall thickness lens barrel
US7935568B2 (en) 2006-10-31 2011-05-03 Tessera Technologies Ireland Limited Wafer-level fabrication of lidded chips with electrodeposited dielectric coating
US7807508B2 (en) 2006-10-31 2010-10-05 Tessera Technologies Hungary Kft. Wafer-level fabrication of lidded chips with electrodeposited dielectric coating
US8004780B2 (en) 2009-05-08 2011-08-23 Tessera MEMS Technologies, Inc. Integrated lens barrel
US7569424B2 (en) 2006-11-15 2009-08-04 Tessera, Inc. Method of forming a wall structure in a microelectronic assembly
US7683468B2 (en) 2006-12-21 2010-03-23 Tessera, Inc. Enabling uniformity of stacking process through bumpers
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US7663817B1 (en) 2007-01-19 2010-02-16 Siimpel Corporation Optical system with plano convex lens
US7593636B2 (en) 2007-02-01 2009-09-22 Tessera, Inc. Pin referenced image sensor to reduce tilt in a camera module
US7697831B1 (en) 2007-02-20 2010-04-13 Siimpel Corporation Auto-focus with lens vibration
US8649604B2 (en) 2007-03-05 2014-02-11 DigitalOptics Corporation Europe Limited Face searching and detection in a digital image acquisition device
EP2145288A4 (en) 2007-03-05 2013-09-04 Digitaloptics Corp Europe Ltd FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
WO2008131823A1 (en) 2007-04-30 2008-11-06 Fotonation Vision Limited Method and apparatus for automatically controlling the decisive moment for an image acquisition device
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US20080296717A1 (en) 2007-06-01 2008-12-04 Tessera, Inc. Packages and assemblies including lidded chips
US20080309770A1 (en) 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
US7990628B1 (en) 2007-08-29 2011-08-02 Tessera MEMS Technologies, Inc. Planar flexure system with high pitch stiffness
KR101431535B1 (ko) * 2007-08-30 2014-08-19 삼성전자주식회사 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
US7787198B1 (en) 2007-08-31 2010-08-31 Tessera MEMS Technologies, Inc. Lens barrel assembly
US7729601B1 (en) 2007-08-31 2010-06-01 Siimpel Corporation Shutter for autofocus
US7832948B1 (en) 2007-09-13 2010-11-16 Tessera MEMS Technologies, Inc. Impulse actuated MEMS devices
US7869701B1 (en) 2007-09-21 2011-01-11 Tessera MEMS Technologies, Inc. Adaptive autofocus lens positioning
US7844172B1 (en) 2007-09-21 2010-11-30 Tessera MEMS Technologies, Inc. Adaptive autofocus lens positioning
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
JP2009123863A (ja) 2007-11-14 2009-06-04 Tessera Interconnect Materials Inc バンプ構造形成方法及びバンプ構造
US20090185067A1 (en) * 2007-12-21 2009-07-23 Stereo Display, Inc. Compact automatic focusing camera
KR101454609B1 (ko) 2008-01-18 2014-10-27 디지털옵틱스 코포레이션 유럽 리미티드 이미지 프로세싱 방법 및 장치
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US20100053407A1 (en) 2008-02-26 2010-03-04 Tessera, Inc. Wafer level compliant packages for rear-face illuminated solid state image sensors
US20090212381A1 (en) 2008-02-26 2009-08-27 Tessera, Inc. Wafer level packages for rear-face illuminated solid state image sensors
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
JP5163257B2 (ja) * 2008-04-23 2013-03-13 ソニー株式会社 撮像装置
KR101446975B1 (ko) 2008-07-30 2014-10-06 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화
US8520089B2 (en) 2008-07-30 2013-08-27 DigitalOptics Corporation Europe Limited Eye beautification
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8717486B2 (en) * 2008-10-01 2014-05-06 Konica Minolta Holdings, Inc. Imaging unit and imaging device
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8798388B2 (en) * 2009-12-03 2014-08-05 Qualcomm Incorporated Digital image combining to produce optical effects
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20120019614A1 (en) 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US20110141226A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20120019613A1 (en) 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US8872887B2 (en) 2010-03-05 2014-10-28 Fotonation Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
US8355039B2 (en) 2010-07-06 2013-01-15 DigitalOptics Corporation Europe Limited Scene background blurring including range measurement
US9053681B2 (en) 2010-07-07 2015-06-09 Fotonation Limited Real-time video frame pre-processing hardware
US8970770B2 (en) * 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
KR101126295B1 (ko) * 2010-10-26 2012-03-20 엘지이노텍 주식회사 카메라 모듈 및 그의 오토 포커싱 탐색 범위 설정 방법
US8659697B2 (en) * 2010-11-11 2014-02-25 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
US9217841B2 (en) * 2011-01-25 2015-12-22 Hong Kong Applied Science & Technology Research Institute Company, Limited Compact camera module with zoom and auto-focus actuators sharing the same rotating annular magnet with alternating thick and thin poles
JP2012173531A (ja) * 2011-02-22 2012-09-10 Sony Corp 撮像装置、およびフォーカス制御方法、並びにプログラム

Also Published As

Publication number Publication date
CN104798364A (zh) 2015-07-22
US20130329106A1 (en) 2013-12-12
WO2014072837A3 (en) 2014-07-24
US20160277670A1 (en) 2016-09-22
WO2014072837A2 (en) 2014-05-15
US9769375B2 (en) 2017-09-19
US9354486B2 (en) 2016-05-31

Similar Documents

Publication Publication Date Title
CN104798364B (zh) Mems快速对焦照相机模块
US9300858B2 (en) Control device and storage medium for controlling capture of images
US9277112B2 (en) Auto focusing apparatus and auto focusing method, and image sensing apparatus
US8594390B2 (en) Composition determination device, composition determination method, and program
US7965334B2 (en) Auto-focus camera with adjustable lens movement pitch
US9386213B2 (en) Image capture apparatus that can determine appropriate focus position, image capture method, and storage medium
KR101756839B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
US20080181460A1 (en) Imaging apparatus and imaging method
US10904425B2 (en) Image processing apparatus, control method therefor, and storage medium for evaluating a focusing state of image data
US9277111B2 (en) Image capture apparatus and control method therefor
JP2006201282A (ja) デジタルカメラ
US8648960B2 (en) Digital photographing apparatus and control method thereof
US20180027172A1 (en) Focus adjusting apparatus, focus adjusting method, image capturing apparatus, and storage medium
US20100315528A1 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium having recorded thereon program for executing the method
US20190327408A1 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2014238554A (ja) 撮像装置及び撮像方法
JP4894162B2 (ja) カメラ
JP2014233011A (ja) 撮影装置
JP2007133301A (ja) オートフォーカスカメラ
JP6071173B2 (ja) 撮像装置、その制御方法及びプログラム
TWI488496B (zh) Face capture method for image capture device
JP2015040922A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US11062477B2 (en) Image processing apparatus and its control method, imaging apparatus, image processing method, and storage medium
JP4823964B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant