CN117769841A - 拍摄装置以及控制方法 - Google Patents

Abstract

拍摄装置(100)具备：多个微透镜(7)；拍摄元件，其具备多个像素，该多个像素配置在多个微透镜(7)中的每一个上，并接受来自多个微透镜(7)的光；以及图像生成部(36)，其基于在多个像素(2)接受的光来生成图像，多个像素(2)分别具有包含中央部分的第一部分、以及包围中央部分的第二部分，图像生成部(36)基于规定的条件，判断是否将基于在第一部分接受的光的第一图像与基于在第二部分接受的光的第二图像合成。由此，可以判断在一次摄影中是否将基于像素的不同部分接受的光的多个图像合成。

Description

拍摄装置以及控制方法 技术领域

本公开涉及拍摄装置、以及控制方法。

背景技术

以往，在内置了固体拍摄元件的摄像机、数码摄像头等中，为了调节在固体拍摄元件或胶片成像的被摄体的光量，设置了控制开口直径的机械光圈机构。

例如，在专利文献1中公开了一种光圈机构，其中通过步进电机旋转的驱动环通过使多个叶片向相同的方向旋转来控制光圈直径。

现有技术文献

专利文献

专利文献1：专利第4618860号

发明内容

发明要解决的问题

然而，在具备专利文献1中记载的机械光圈机构的拍摄装置中，原本就无法在一次摄影中生成不同光圈的多个图像。因此，不会设想判断在一次摄影中是否将不同光圈的图像合成。

因此，本公开的目的在于，提供一种拍摄技术，其可以判断在一次摄影中是否将基于在像素的不同的部分接受的光的多个图像合成。

用于解决问题的方案

本公开的一方面的拍摄装置具备：多个微透镜；拍摄元件，其具备多个像素，该多个像素配置在多个微透镜中的每一个上，并接受来自多个微透镜的光；以及图像生成部，其基于在多个像素接受的光来生成图像，多个像素分别具有包含中央部分的第一部分、以及包围中央部分的第二部分，图像生成部基于规定的条件，判断是否将基于在第一部分接受的光的第一图像与基于在第二部分接受的光的第二图像合成。

本公开的一方面的控制方法，是拍摄装置中包含的处理器所执行的控制方法，其包含：基于在拍摄装置所具备的多个微透镜中的每一个上配置的多个像素接受的、来自多个微透镜的光来生成图像的步骤，多个像素分别具有包含中央部分的第一部分、以及包围中央部分的第二部分，生成步骤基于规定的条件，判断是否将基于在第一部分接受的光的第一图像与基于在第二部分接受的光的第二图像合成。

发明效果

根据本公开，可以判断在一次摄影中是否将基于像素的不同部分接受的光的多个图像合成。

附图说明

图1是示出本公开的实施方式的拍摄装置的构成的一个例子的图。

图2是说明本公开的实施方式的、从图1的II方向观看的主透镜中的受光情况的图。

图3是说明本公开的实施方式的、从图1的III方向观看的像素中的受光情况的图。

图4是示出本公开的实施方式的图像传感器的构成的一个例子的图。

图5是示出本公开的实施方式的控制部的功能构成的一个例子的图。

图6是示出本公开的实施方式的图像生成处理的一个例子的流程图。

图7是说明本公开的实施方式的、电子调整背景散焦的处理的一个例子的图。

图8是示出本公开的实施方式的、光的波动性引起的光的行进情况的一个例子的图。

图9是示出本公开的实施方式的、从微透镜的光的出射面到像素的第一部分的光的入射面的光路长度与从出射面到像素的第二部分的光的入射面的光路长度不同的情况下的一个例子的图。

图10是示出本公开的实施方式的、从微透镜的光的出射面到像素的第一部分的光的入射面的光路长度与从出射面到像素的第二部分的光的入射面的光路长度不同的情况下的另一例子的图。

图11(A)是示出本公开的实施方式的子像素的构成的一个例子的图。

图11(B)是示出本公开的实施方式的子像素的构成的另一例子的图。

具体实施方式

以下，将参照附图具体描述本公开的优选实施方式。此外，以下说明的各实施方式始终是举出用于实施本公开的具体的一例的实施方式，并不限定性地解释本公开。另外，为了便于理解说明，有时在各附图中对相同的构成要素尽可能标注相同的符号，省略重复的说明。

图1是示出本公开的实施方式的拍摄装置的构成的一个例子的图。例如，拍摄装置100具备图像传感器10(拍摄元件)、光学系统20、以及控制部30。

图像传感器10是接受从被摄体S发出的光，并将光的明暗等转换为电信息的装置。例如，图像传感器10至少具备由多个像素2构成的像素组以及控制电路1，控制电路1控制驱动像素组，读出基于像素组中积累的光信号的数据，并将该数据输出到图像传感器10的外部。

像素组中的多个像素2配置在后述的多个微透镜7中的每一个上，并接受来自多个微透镜7的光。参照图4来说明图像传感器10的具体的构成。此外，如上所述，图像传感器10可以具备像素组，光学系统20也可以具备像素组。

控制部30通过基于从图像传感器10输出的数据来解析数据等从而生成图像。参照图5来说明控制部30的具体构成。

光学系统20具备对从被摄体S发出的光进行聚光等的一个或多个装置。光学系统20例如具备主透镜6、微透镜7、以及彩色滤光片8。

主透镜6例如具有作为摄影透镜的功能。主透镜6具有中央区域LIA和周边区域LOA。主透镜6中的中央区域LIA和周边区域LOA的设定方法是任意的，可以基于拍摄装置100的各构成的性质以及配置等来适当设定。

微透镜7例如是聚光透镜。一个或多个微透镜7配置在像素组2的上部或前级，像素组2所包含的多个像素分别具有会聚所希望的光的功能。各微透镜7对应于后述的彩色滤光片8的像素(例如，像素组2中包含的多个像素中的每一个像素)。

彩色滤光片8例如对应于作为原色的红色、绿色、以及蓝色中的任意一个颜色。彩色滤光片8可以是互补色(例如黄色，浅蓝色及品红色)的滤色器，可以根据用途适当适应。彩色滤光片8例如是片上型，但不限于此，也可以是粘贴型等其形式。另外，彩色滤光片8可以与微透镜7不同的构成，也可以是微透镜7的一部分的构成。

图2是说明本公开的实施方式的、从图1的II方向观看的主透镜6中的受光的情况的图。如图1以及图2所示，在拍摄装置100中，从被摄体S发出的光例如分别穿过主透镜6的中央区域LIA以及周边区域LOA，并入射到微透镜7。

图3是说明本公开的实施方式的、从图1的III方向观看的像素中的受光的情况的图。如图1以及图3所示，例如，多个像素2中的每一个具有：包含中央部分的中央子像素2a(第一部分)；以及包围中央部分的周边子像素2b(第二部分)。中央子像素2a接收穿过主透镜6的中央区域LIA的光的光信号(主信号PS)。周边子像素2b接收穿过主透镜6的周边区域LOA的光的光信号(副信号SS)。

图4是示出本公开的实施方式的图像传感器的构成的一个例子的图。图像传感器10例如是CMOS图像传感器等。图像传感器10例如具备图1所示的控制电路1、二维排列的多个像素2的像素组、信号线3、读出电路4、以及数字信号处理部(DSP)5。

多个像素2的构成是任意的。例如，多个像素2可以通过收集多个单个像素进行分组，从而形成一个像素组(单位像素组)。另外，如图4所示，多个像素2例如可以将4(2×2)像素分组，从而形成一个像素组。而且，多个像素2例如可以将3(3×1)像素、8(4×2)像素、9(3×3)像素、以及16(4×4)像素等作为单位像素组。

多个像素2二维排列，基于来自控制电路1的控制信号以及该多个像素2本身生成的控制信号，积累被带到图像传感器10的光信号，并作为基于该光信号的数据(电信号)读出。

从多个像素2读出的电信号通过信号线3(典型来说，与列方向平行的列信号线)传输到读出电路4，且该电信号被模拟数字转换。

数字信号处理部(DSP)5处理被读出电路4模拟数字转换后的数字信号。并且，被处理后的数字信号通过数据总线传输到拍摄装置所具有的处理器、存储器等。

此外，DSP5不限于这种配置构成，例如，也可以是图像传感器10不包含DSP5，而后级的处理器(例如控制部30)具有DSP的构成。另外，还可以是如下构成：分别在图像传感器10的DSP5以及后级的处理器等中包含的DSP处理图像处理中的数字信号处理的一部分。换言之，本公开中的DSP的位置不限于指定的位置。

图5是示出本公开的实施方式的控制部的功能构成的一个例子的图。如图5所示，控制部30(例如处理器)在功能上，具备解析部32、滤波处理部34、以及图像生成部36。此外，控制部30的上述各部例如能够通过使用拍摄装置100所具备的存储器、硬盘等的存储区域，或处理器执行存储区域中储存的程序来实现。

解析部32基于从图像传感器10输出的数据来解析数据。例如，解析部32解析主信号PS或第一图像(例如，基于主信号PS生成的主图像)，获取关于景深以及针对光的灵敏度的信息等。解析部32 解析副信号SS或第二图像(例如，基于副信号SS生成的副图像)，获取副信号SS是否包含光斑(Flare)成分，以及是否丢失清晰度(Sharpness)等的信息。

例如，在生成一个或多个图像的情况下，解析部32也可以获取并解析各图像的位置信息以及与各图像对应的像素的位置信息等。解析部32也可以计算多个图像的相互关系，并指定相关性大的部分(例如合焦的部分)或小的部分(例如失焦的部分)。

滤波处理部34基于解析部32的解析结果，对生成的图像执行滤波处理。例如，滤波处理部34也可以针对基于解析部32获取到的图像的位置信息等生成的第二图像，执行规定的空间滤波处理。

滤波处理部34还可以基于解析部32解析出的多个图像的相互关系，对相关性小的部分执行规定的低通滤波处理。

图像生成部36可以基于在多个像素2接受的光生成一个或多个图像。例如，图像生成部36基于规定的条件，判断是否将基于在图1以及图3所示的中央子像素2a接受的光(主信号PS)的主图像(第一图像)与基于在周边子像素2b接受的光(副信号SS)的副图像(第二图像)合成。此外，如上所述，“第二图像”包含仅基于副信号SS生成的副图像，但不限于此，也可以包含基于主信号PS和副信号SS生成的副图像。

在此，“规定的条件”包含与主图像(第一图像)有关的条件，但不限于此。例如，在判断多个图像的合成时，作为“规定的条件”，可以将与副图像(第二图像)有关的条件代替主图像有关的条件或再附加参照。而且，作为“规定的条件”，也可以预先设定拍摄装置100是否将主图像(第一图像)与副图像(第二图像)合成或不合成。此外，“规定的条件”可以是固定的，也可以基于用户的使用情况等适当变更。

在此，将本实施方式中的、主信号PS(主图像)、副信号SS(副图像)、以及主信号PS及副信号SS的使用方式分类如下(1)至(3)。

＜(1)不需要副信号SS(副图像)的情况＞

关于该使用方式(1)，图像生成部36仅基于主信号PS生成主图像，将生成的主图像作为最终图像。假设如下场景：通过解析部32，对主信号PS解析景深和针对光的灵敏度中的至少一个，例如设想检出规定的阈值以上的深度和规定的阈值以下的灵敏度中的至少一个。与景深有关的规定的阈值、以及与灵敏度有关的规定的阈值是任意的值，可以是固定的值，也可以是根据拍摄装置100的设计等可以适当变更的值。

在此，与主图像(第一图像)有关的规定的条件例如包含主信号PS(主图像)的景深是否在规定的阈值以上、以及针对主信号PS(主图像)的光的灵敏度是否在规定的阈值以下中的至少一个。例如，当某主信号PS(主图像)的景深在规定的阈值以上时，由于满足该条件，因此，不使用基于副信号SS的副图像，仅使用基于主信号PS的主图像(参照后述的图6中的步骤S3以及S4)。

在该使用方式(1)中，拍摄装置100可以仅使用主信号PS(主图像)来执行景深高、针对光的灵敏度低的摄影。另外，拍摄装置100可以进行所谓的电子光圈处理，不需要传统那样的机械光圈机构。

＜(2)使用副信号SS并且副信号SS包含例如光学上不优选的劣化等的情况＞

在上述使用方式(1)的情况下，当景深增加时，最终图像所使用的光信号会减少，因此，要权衡信噪比(SNR)(Signal to Noise Ratio)恶化。特别是被摄体的亮度低的情况下，其权衡的不良影响变得显著，因此，期望如后所述通过使用副信号SS消除/降低权衡的不良影响,同时改善最终图像的画质等。此外，画质等的改善例如包含改善景深、SNR、MTF、以及颜色再现性中的至少一个。

例如，使用方式(2)还可以包含以下的小分类(i)、(ii)以及(iii)。在使用方式(2)中，图像生成部34基于与副图像有关的信息(例如，副信号SS的光斑成分或与主透镜6等的非理想的光学特性有关的成分)合成主图像和副图像。

＜＜(i)副信号SS含有光斑成分的情况＞＞

当副信号SS包含由于摄像头光学系统内部的不希望的反射等导致的光斑成分时，解析部32检出该光斑成分。图像生成部34基于光斑成分的解析结果重建副图像。图像生成部34通过将重建的副图像添加到主图像来生成最终图像，从而可以改善最终图像的画质等。

＜＜(ii)副信号SS产生清晰度损失的情况＞＞

当副信号SS包含与图1所示的主透镜6等的非理想的光学特性(例如，制造上的限制以及制造上的偏差)有关的成分(例如发生清晰度的损失)时，解析部32检出该成分。图像生成部34基于与非理想的光学特性有关的成分的解析结果重建副图像。图像生成部34通过将重建的副图像添加到主图像来生成最终图像，从而可以改善最终图像的画质等。

＜＜(iii)通过减少SNR下降的权衡来增加景深＞＞

在担心主信号PS的SNR下降的摄影条件下，通过在对副信号SS进行清晰度处理后将其加入到主 信号PS，可以实现SNR的恢复。此外，例如，清晰度处理可以包含非锐化掩模、反卷积处理、将主信号PS、失焦量作为参考信息的优化处理、以及通过神经网络的处理等。

图像的重建的方法是任意的。例如，图像的重建方法包含如下方法：对光学特性进行建模，使用解析的反函数或使用作为查表准备的反函数。图像的重建方法也可以包含如下方法：对光学特性进行建模，单独计算点扩散函数(PSF)(Point Spread Function)，并进行反卷积处理。图像的重建方法还可以包含如下方法：在一定程度上简化物理光学特性后对其进行建模，以执行正则化、归一化或优化，或者使用AI技术(例如，Deep Learning；深度学习)生成最终图像。

＜(3)将主信号PS以及副信号SS中的至少一个用作附加信息来改变主信号PS以及副信号SS的情况＞

例如，使用方式(3)包含参照图7来说明的控制图像的背景散焦(Bokeh)的方法等。

根据本实施方式，拍摄装置100具备：多个微透镜7；拍摄元件，其具备多个像素2，多个像素2配置在多个微透镜7中的每一个上，并接受来自多个微透镜7的光；以及图像生成部36，其基于在多个像素2接受的光来生成图像。在拍摄装置100中，多个像素2分别具有包含中央部分的中央子像素2a、以及包围中央部分的周边子像素2b。在拍摄装置100中，图像生成部36基于与基于在中央子像素2a接受的光的主图像有关的规定的条件，判断是否将主图像与基于在周边子像素2b接受的光的副图像合成。

因此，在一次摄影中可以判断是否将基于在像素的不同部分接受的光的多个图像合成。另外，拍摄装置100与现有的拍摄装置不同，不需要机械透镜的光圈功能，例如，在一次摄影中，在同一时刻，通过电子处理可以获得多个不同光圈数值的图像。而且，拍摄装置100例如在摄影后可以使用获取到的多个不同光圈数值的图像进行图像处理，还可以分别以电子方式进行景深的变更(例如，改变深或浅)以及入射光量的变更中的至少一个。

图6是示出本公开的实施方式的图像生成处理的一个例子的流程图。如图6所示，拍摄装置100在图1以及图3所示的中央子像素2a接收主信号PS，在周边子像素2b接收副信号SS(步骤S1)。拍摄装置100基于主信号PS生成主图像(第一图像)(步骤S2)。拍摄装置100判断主图像是否满足规定的条件(步骤S3)。在满足与主图像有关的规定的条件的情况下(No的情况下)进入步骤S4。拍摄装置100将生成的主图像作为最终图像(步骤S4)。

另一方面，在主图像不满足规定的条件的情况下(步骤S3中Yes的情况下)进入步骤S5。拍摄装置100基于副信号SS生成副图像(第二图像)(步骤S5)。拍摄装置100基于生成的主图像和副图像生成最终图像(第三图像)(步骤S6)。

此外，实施方式的图像生成处理的各步骤的顺序不受上述限制，可以适当地进行变更。例如，基于副信号SS的副图像的生成(步骤S5)可以与在步骤S2中基于主信号PS的主图像的生成一起执行。在这种情况下，在步骤S3中“Yes”的情况下，省略步骤S5，执行步骤S6。另一方面，在步骤S3中“No”的情况下，不使用基于已生成的副信号SS的副图像，仅使用主图像作为最终图像。

图7是说明本公开的实施方式的、电子调整背景散焦的处理的一个例子的图。图5所示的解析部32例如解析基于主信号PS的主图像(Primary image)、以及基于主信号PS和副信号SS的副图像(基于Primary image和Secondary image的副图像)。解析部32对主图像以及副图像执行空间频率分析。例如，解析部32计算主图像和副图像的相互关系，指定相关性大的部分(例如合焦的部分)或小的部分(例如失焦的部分)。

解析部32基于解析部32对主图像以及副图像的解析结果，生成失焦图。并且，滤波处理部34基于通过解析部32生成的失焦图，例如对副图像中相关性小的部分执行低通滤波处理。这样，拍摄装置100可以通过主图像以及副图像的合成生成景深浅的最终图像。

图8是示出本公开的实施方式的、光的波动性引起的光的行进情况的一个例子的图。例如，在中央子像素2a以及周边子像素2b的尺寸小的情况下，由于光的波动性，在中央子像素2a和周边子像素2b处的光的分离能力可能会下降，子像素中的聚光效率可能会下降。

具体地说，如图8所示，例如，入射到中央子像素2a与周边子像素2b之间的边界B的所有的光通常不会汇聚到中央子像素2a或周边子像素2b中的一个上。实际上，由光的波动性划分，其汇聚至中央子像素2a和周边子像素2b这两者。

因此，在本实施方式中，如图9以及图10所示，拍摄装置100构成为与从多个微透镜7的光的出射面S1到中央子像素2a的光的光电转换面S3(第一入射面)的光线LR有关的有效光路长度(第一光路长度)和与从出射面S1到周边子像素2b的光的光电转换面S5(第二入射面)的光线LR有关的有效光路长度(第二光路长度)不同。根据该构成，能够提高在中央子像素2a与周边子像素2b之间的边界部的光线分离能力。因此，能够提高子像素中的聚光的效率。

如图9所示，在拍摄装置100中，在出射面S1与中央子像素2a的光的光电转换面S3以及周边子像素2b的光的光电转换面S5之间(例如彩色滤光片8的像素2侧的面)配置有凸透镜9。根据凸透镜9的性质(例如，形状以及折射率)，可以调整凸透镜9中的光的行进情况(例如行进方向)。因而，通过使用该凸透镜9，可以使从出射面S1到光电转换面S3的有效光路长度与从出射面S1到光电转换面S5的有效光路长度不同。只要可以将光的行进情况调整到能够提高中央子像素2a与周边子像素2b之间的边界部的光线分离能力的程度，凸透镜9的性质是任意的。

此外，凸透镜9的配置位置是任意的，只要在出射面S1与中央子像素2a的光的光电转换面S3以及周边子像素2b的光的光电转换面S5之间。凸透镜9的配置位置可以配置在微透镜7中的出射面S1上，也可以配置在彩色滤光片8与像素2之间。

如图10所示，在拍摄装置100中，以使得从出射面S1到光电转换面S3的第一距离与从出射面S1到光电转换面S5、S7的第二距离不同的方式，配置像素2(中央子像素2a以及周边子像素2b)。例如，在拍摄装置100中，以使光电转换面S3与光电转换面S5、S7为不同的高度的方式，配置像素2(中央子像素2a以及周边子像素2b)。

更具体地说，以使光电转换面S3相比光电转换面S5、S7更靠近微透镜7的出射面S1的方式配置像素2。此外，光电转换面S5和光电转换面S7可以是相同的高度，也可以是不同的高度。

图11是示出本公开的实施方式的子像素的构成的一个例子的图。例如，本实施方式中的单位像素UP中的多个像素2分别由于各个颜色(例如红色、蓝色以及绿色)对应的子像素构成。子像素的构成是任意的，但例如，如图11的(A)所示，多个像素2分别具备中央子像素2a和周边子像素2b。

如图11的(B)所示，多个像素2也可以分别具备中央子像素2a、周边子像素2b、以及周边子像素2c。根据该构成，可以在中央子像素2a会聚穿过图1所示的主透镜6的中央区域LIA的光，同时在左侧的周边子像素2b和右侧的周边子像素2c探测失焦信息。

此外，在多个像素2中的每一个中，周边子像素可以具备三个以上的周边子像素。另外，在多个像素2中的每一个中，除了一个或多个周边子像素外，还可以具备多个中央子像素。

另外，上述实施方式用于使本发明的理解变得容易，并不限定本发明进行解释。本发明可以在不脱离其主旨的情况下进行变更/改良，并且本发明还包括其等价物。另外，本发明可以通过上述实施方式中公开的多个构成要素的适当组合来形成各种公开。例如，也可以从实施方式所示的全部构成要素中删除几个构成要素。进而，也可以在不同的实施方式中适当组合构成要素。

本公开的拍摄装置100可适用于数码摄像头、以及具有摄像头功能的智能手机、平板终端、以及膝上型个人计算机等终端装置。

附图标记说明：

1…控制电路，2…像素，3…信号线，4…读出电路，5…数字信号处理部(DSP)，6…主透镜，7…微透镜，8…彩色滤光片，10…图像传感器，20…光学系统，30…控制部，32…解析部，34…滤波处理部，36…图像生成部，100…拍摄装置，S…被摄体

Claims (8)

1. 一种拍摄装置，其特征在于，具备：

   多个微透镜；

   拍摄元件，其具备多个像素，该多个像素配置在所述多个微透镜中的每一个上，并接受来自所述多个微透镜的光；以及

   图像生成部，其基于在所述多个像素接受的光来生成图像，

   所述多个像素分别具有包含中央部分的第一部分、以及包围所述中央部分的第二部分，

   所述图像生成部基于规定的条件，判断是否将基于在所述第一部分接受的光的第一图像与基于在所述第二部分接受的光的第二图像合成。
2. 根据权利要求1所述的拍摄装置，其中，

   所述图像生成部基于所述规定的条件，使用与所述第二图像相关的信息将所述第一图像与所述第二图像合成。
3. 根据权利要求1所述的拍摄装置，其中，

   所述规定的条件包含关于与所述第一图像相关的景深和针对光的灵敏度中的至少一个的条件。
4. 根据权利要求1所述的拍摄装置，其中，

   从所述多个微透镜的光的出射面到所述第一部分的光的第一入射面的第一光路长度与从所述出射面到所述第二部分的光的第二入射面的第二光路长度是不同的。
5. 根据权利要求4所述的拍摄装置，其中，

   在所述出射面与所述第一入射面以及所述第二入射面之间配置有凸透镜。
6. 根据权利要求4所述的拍摄装置，其中，

   从所述出射面到所述第一入射面的第一距离与从所述出射面到所述第二入射面的第二距离是不同的。
7. 一种控制方法，其特征在于，是拍摄装置中包含的处理器所执行的控制方法，其包含：

   生成步骤，其基于在所述拍摄装置所具备的多个微透镜中的每一个上配置的多个像素接受的、来自所述多个微透镜的光来生成图像，

   所述多个像素分别具有包含中央部分的第一部分、以及包围所述中央部分的第二部分，

   所述生成步骤是基于规定的条件，判断是否将基于在所述第一部分接受的光的第一图像与基于在所述第二部分接受的光的第二图像合成。
8. 一种终端，其特征在于，

   具备权利要求1～6中任意一项所述的拍摄装置。