[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111788824B - 图像处理设备、成像设备以及图像处理方法 - Google Patents

图像处理设备、成像设备以及图像处理方法 Download PDF

Info

Publication number
CN111788824B
CN111788824B CN201880090500.5A CN201880090500A CN111788824B CN 111788824 B CN111788824 B CN 111788824B CN 201880090500 A CN201880090500 A CN 201880090500A CN 111788824 B CN111788824 B CN 111788824B
Authority
CN
China
Prior art keywords
image
restored
region
roi
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090500.5A
Other languages
English (en)
Other versions
CN111788824A (zh
Inventor
小柳津秀纪
伊利亚·列舍图斯基
伊藤厚史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111788824A publication Critical patent/CN111788824A/zh
Application granted granted Critical
Publication of CN111788824B publication Critical patent/CN111788824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/129—Coded aperture imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明的目的是实现一种配置，通过该配置可以控制由无透镜摄像装置拍摄的图像的视场角并且根据拍摄区域的一部分生成重建图像。图像处理装置具有信号处理单元，该信号处理单元用于接收观察图像信号的输入即来自无透镜摄像装置的图像传感器的输出并且生成包括无透镜摄像装置的拍摄图像区域的一部分的重建图像区域的重建图像。信号处理单元具有：重建图像区域对应掩模矩阵计算部，用于计算与要被应用在重建图像的生成中的重建图像区域对应的掩模矩阵；以及图像估计部，用于通过从观察图像信号减去未包括在重建图像区域中的额外的重建区域观察图像信号来计算内重建区域观察图像信号，并且借助于使用内重建区域观察图像信号和与重建图像区域对应的掩模矩阵的伪逆矩阵或逆矩阵的运算处理来生成重建图像。

Description

图像处理设备、成像设备以及图像处理方法
技术领域
本公开内容涉及图像处理设备、成像设备以及图像处理方法。特别地，本公开内容涉及可以控制无透镜摄像装置(无透镜成像设备)的捕获图像的视场以及生成包括成像区域的一部分的恢复图像的图像处理设备、成像设备和图像处理方法。
背景技术
近年来，可以在不使用透镜的情况下捕获图像的无透镜摄像装置的开发已经取得了进展。常规的普通摄像装置将透射穿过透镜的光输入到作为成像设备的图像传感器中以捕获图像。代替透镜，无透镜摄像装置使用掩模并且将透射穿过该掩模的光输入至图像传感器中，在该掩模中，设置有光的透射区域和非透射区域作为二维图案。图像传感器捕获穿过掩模的图像。预定的图像处理可以应用于捕获穿过掩模的数据，以与普通摄像装置类似地生成与捕获场景对应的二维图像。无透镜摄像装置不需要透镜并且实现了成像设备的小型化和轻量化。
如上所述，无透镜摄像装置将透射穿过掩模的光输入至图像传感器中。指示来自场景(捕获场景)的发射光如何透射穿过掩模并且投影到传感器的信息被预先限定为矩阵，并且使用该矩阵和投影到传感器的图像(观察图像)来生成在其中再现实际场景的图像(恢复图像)。
注意，例如在以下文献中描述了无透镜摄像装置。
PTL 1(PCT专利公开第WO2012/040192号)。
以下执行的处理是用于根据投影到无透镜摄像装置的图像传感器的图像(观察图像)生成在其中再现实际场景的图像(恢复图像)的捕获图像的重建处理的示例。捕获场景的发射光被表示为多个三维采样点的亮度值，并且以模拟等方式预先获得穿过掩模投影到图像传感器的多个传感器观察值集合。
此外，根据所述集合计算出表示掩模的掩模矩阵。获得掩模矩阵的逆矩阵，并且将该逆矩阵应用于观察值，即，无透镜摄像装置的图像传感器的像素值，从而恢复包括在捕获场景中的采样点的亮度值。采样点的亮度值是指示捕获场景的图像的亮度值。
当从P个三维采样点发射的光被写为长度为P的场景发射光矢量x，并且与接收光的像素的数目N对应的二维传感器的观察值被表示为长度为N的场景观察值矢量y时，关系可以表示如下。
y＝Mx
此处，M是表示掩模的透射函数的矩阵，即，掩模矩阵。
为了再现场景的发射光，可以根据无透镜摄像装置的传感器观察值y获得满足表达式的关系的x。通过增加包括在场景中的三维采样点的数目P，可以提高再现场景的分辨率。然而，这增加了估计场景发射光矢量x所花费的时间，并且图像的重建需要较长时间。
在表达式中，y＝Mx指示进入无透镜摄像装置的传感器的所有光都叠加在该传感器上，并且恢复图像的视场(FOV)非常宽。
引用列表
专利文献
[PTL 1]PCT专利公开第WO2012/040192号
发明内容
技术问题
无透镜摄像装置的视场(FOV)宽，并且表示整个场景的采样点的数目P大。然而，在无透镜摄像装置用作摄像装置的情况下，常常期望使FOV在一定程度上变窄以限制成像范围。尽管可以仅切出捕获图像的一部分，但是在这种情况下存在分辨率降低的问题。
另外，尽管如上所述存在通过增加可以被再现为捕获图像的三维采样点的数目P来增加分辨率的方法，但是存在该方法增加了图像的重建时间的问题并且该方法是不实际的。
本公开内容鉴于例如上述问题做出，并且本公开内容的目的是提供能够在不降低分辨率或增加计算量的情况下改变由无透镜摄像装置捕获的捕获图像的视场(FOV)的图像处理设备、成像设备和图像处理方法。
问题的解决方案
本公开内容的第一方面提供了一种图像处理设备，其包括信号处理单元，该信号处理单元接收作为无透镜摄像装置的图像传感器的输出的观察图像信号，以生成恢复图像区域的恢复图像，恢复图像区域包括该无透镜摄像装置的捕获图像区域的一部分，其中，信号处理单元通过执行恢复区域中的观察图像信号和被应用以生成恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成恢复图像，该恢复区域中的观察图像信号通过从观察图像信号减去未包括在恢复图像区域中的观察图像信号来生成。
此外，本公开内容的第二方面提供了一种成像设备，包括：掩模，在该掩模中设置有光的透射区域和非透射区域作为二维图案；成像单元，其包括图像传感器，该图像传感器接收穿过掩模的光；以及信号处理单元，其接收作为图像传感器的输出的观察图像信号，以生成恢复图像区域的恢复图像，恢复图像区域包括成像单元的捕获图像区域的一部分，其中，信号处理单元通过执行恢复区域中的观察图像信号和被应用以生成恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成恢复图像，该恢复区域中的观察图像信号通过从观察图像信号减去未包括在恢复图像区域中的观察图像信号来生成。
此外，本公开内容的第三方面提供了一种由图像处理设备执行的图像处理方法，其中，该图像处理设备包括信号处理单元，该信号处理单元接收作为无透镜摄像装置的图像传感器的输出的观察图像信号，以生成恢复图像区域的恢复图像，恢复图像区域包括无透镜摄像装置的捕获图像区域的一部分，并且信号处理单元通过执行恢复区域中的观察图像信号和被应用以生成恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成恢复图像，该恢复区域中的观察图像信号通过从观察图像信号中减去未包括在恢复图像区域中的观察图像信号来生成。
注意，根据基于稍后描述的本公开内容的实施方式和附图的更详细的描述，本公开内容的其他目的、特征和优点将变得明显。注意，在本说明书中，系统表示多个设备的逻辑集合配置，并且所述配置的设备可以不在同一壳体中。
本发明的有益效果
根据本公开内容的实施方式的配置，可以控制无透镜摄像装置的捕获图像的视场，并且实现生成包括成像区域的一部分的恢复图像的配置。注意，本说明书中描述的有益效果仅是说明性的，并且有益效果不受限制。还可以有其他有益效果。
附图说明
[图1]图1是描述无透镜摄像装置的成像原理的图。
[图2]图2是描述无透镜摄像装置的成像原理的图。
[图3]图3是描述无透镜摄像装置的掩模的示例的图。
[图4]图4是描述无透镜摄像装置的成像处理的示例的图。
[图5]图5是描述设置无透镜摄像装置的视场的示例的图。
[图6]图6是描述设置无透镜摄像装置的视场的示例的图。
[图7]图7是描述将信号处理应用于无透镜摄像装置的捕获图像的图像处理设备的配置和处理的图。
[图8]图8是描述应用于无透镜摄像装置的捕获图像的信号处理的示例的图。
[图9]图9是示出描述由信号处理单元的掩模矩阵计算单元执行的处理序列的流程图的图。
[图10]图10是示出描述由信号处理单元的图像估计单元执行的处理序列的流程图的图。
[图11]图11是描述由图像估计单元执行的处理的示例的图。
[图12]图12是描述由图像估计单元执行的处理的示例的图。
[图13]图13是描述由图像估计单元执行的处理的示例的图。
[图14]图14是描述由图像估计单元执行的处理的示例的图。
[图15]图15是描述采样点和捕获图像的设置的图。
[图16]图16是描述采样点和捕获图像的设置的图。
[图17]图17是描述采样点和捕获图像的设置的图。
[图18]图18是描述用于获取具有局部改变的分辨率的图像和捕获图像的采样点的设置的图。
[图19]图19是描述用于获取具有局部改变的分辨率的图像和捕获图像的采样点的设置的图。
[图20]图20是描述用于获取每个波长单位的图像的处理示例的图。
[图21]图21是描述图像处理设备的硬件配置的示例的图。
具体实施方式
在下文中，将参照附图描述本公开内容的图像处理设备、成像设备和图像处理方法的细节。注意，将根据以下项描述细节。
1.无透镜摄像装置的概述和原理。
2.无透镜摄像装置中的视场的设置。
3.本公开内容的图像处理设备的配置和处理。
4.掩模矩阵计算单元中的掩模矩阵计算处理的详细顺序。
5.图像估计单元中的图像估计处理的详细顺序。
6.设置采样点的示例和生成图像的示例。
7.具有部分提高的分辨率的图像的生成处理的示例。
8.沿波长方向分散来自采样点的发射光的处理示例。
9.本公开内容的图像处理的有益效果。
10.图像处理设备的硬件配置的示例。
11.本公开内容的配置的结论。
[1.无透镜摄像装置的概述和原理]
首先，将描述无透镜摄像装置的概述和原理。
将参照图1和图2通过将无透镜摄像装置与普通摄像装置(成像设备)的配置进行比较来描述无透镜摄像装置(无透镜成像设备)的概述。
图1示出了以下三种类型的摄像装置的成像原理。
(a)无透镜摄像装置
(b)具有透镜的摄像装置
(c)针孔摄像装置
(c)针孔摄像装置包括：针孔21，其设置为遮光膜12上的孔；以及图像传感器(固态成像装置)11。在成像设备包括针孔的情况下，从对象表面上的不同光源发射的光束L1至L3透射穿过针孔21，并且在图像传感器(固态成像装置)上的像素I1至I3处形成图像，如图1的右下方的(c)针孔摄像装置的图所示出的。
在包括针孔摄像装置的成像设备的情况下，仅基于从光源发射的光束L1至L3中的一个像素的光束在图像传感器(固态成像装置)11中形成图像，并且该图像进入图像传感器(固态成像装置)11上的每个像素。因此，捕获了暗图像。
在图1的右上方的(b)具有透镜的摄像装置在遮光膜31的中心处设置有成像透镜32，并且该成像透镜32对光束L1至L3进行会聚，如由光束I11至光束I13所指示的。在图像传感器(固态成像装置)11上形成图像，并且该图像传感器(固态成像装置)11捕获图像。
对于在图1的右上方的(b)具有透镜的摄像装置的情况下的图像传感器(固态成像装置)11，由光强度等于光束L1至L3中的所有光束的总的光强度的光形成图像，并且该图像进入图像传感器(固态成像装置)11。因此，在图像传感器(固态成像装置)11的每个像素中捕获具有足够量的光的图像。
如图1的右上方的(b)具有透镜的摄像装置的图所示出的，使用了成像透镜32，并且点光源的集合形成了主体。因此，在对对象的成像中，从对象表面上的多个点光源发射的光束被会聚以形成图像，并且该对象被成像。
如参照图1的右上方的(b)具有透镜的摄像装置所描述的，成像透镜32的作用是将从点光源中的每个点光源发射的每个光束即漫射光引导至图像传感器(固态成像装置)11。因此，在图像传感器(固态成像装置)11上形成与最终图像等效的图像，并且基于在图像传感器(固态成像装置)11上的像素处检测到的检测信号的图像成为通过形成图像而获得的观察图像。
然而，成像设备(成像装置)的尺寸由成像透镜和该成像透镜的焦距来确定并且对于尺寸减小有限制。
另一方面，图1的左侧示出的(a)无透镜摄像装置未设置成像透镜或针孔，而是使用图像传感器(固态成像装置)11和掩模51来对对象表面上的对象进行成像。
图1的左侧示出的(a)无透镜摄像装置在图像传感器11的前期设置有掩模51，掩模51包括具有多种尺寸的开口51a，并且来自光源的光束L1至L3被调制并且进入图像传感器11的成像表面。图像传感器(固态成像装置)11上的像素接收光束L1至L3。
此处，掩模51是包括掩模图案的掩模，在该掩模中，开口51a的尺寸和遮光部51b的尺寸沿水平方向和竖直方向以单位尺寸Δ为单位随机设置，如在图1的(a)无透镜摄像装置的下部所示出的。单位尺寸Δ是至少大于像素尺寸的尺寸。另外，在图像传感器11与掩模51之间设置有具有微小距离d的间隙。在图中所示的示例中，图像传感器11上的像素之间的间距为w。
根据配置，光束L1至L3基于单位尺寸Δ和距离d的大小被调制并进入图像传感器11。
更具体地，假设在图1的(a)无透镜摄像装置的上图中的光束L1至L3的光源是点光源PA、PB和PC，如例如图2的左上方所示出的，并且具有光强度a、b和c的光束透射穿过掩模51并且分别在位置Pa、Pb和Pc处进入图像传感器11。
在无透镜摄像装置的情况下，入射光由随机设置在掩模51上的开口51a进行调制，并且每个像素的检测灵敏度具有根据如图2的左上方所示的入射角的方向性。此处，给每个像素的检测灵敏度设置根据入射角的方向性表示与入射光的入射角对应的光灵敏度特性根据图像传感器11上的区域而变化。
也就是说，假设包括在对象表面71中的光源是点光源，则由相同点光源发射的相同光强度的光束进入图像传感器11。然而，光束由掩模51调制，并且入射角根据图像传感器11的成像表面上的区域而变化。此外，由于掩模51引起的入射光的入射角根据图像传感器11上的区域的变化提供了光灵敏度特性，即，根据入射角的方向性。因此，由于图像传感器11的成像表面的前期设置的掩模51，相同光强度的光束以根据图像传感器11上的区域的不同灵敏度被检测，并且以根据区域而变化的检测信号水平对检测信号进行检测。
更具体地，如图2的右上方所示出的，在图像传感器11上的位置Pa、Pb和Pc处的像素的检测信号水平DA、DB和DC分别由以下表达式(1)至(3)表示。
DA＝α1×a+β1×b+γ1×c…(1)
DB＝α2×a+β2×b+γ2×c…(2)
DC＝α3×a+β3×b+γ3×c…(3)
此处，α1是针对检测信号水平a的系数，其根据来自要被恢复的对象表面71上的点光源PA的光束在图像传感器11上的位置Pa处的入射角来设置。另外，β1是检测信号水平b的系数，其根据来自要被恢复的对象表面71上的点光源PB的光束的在图像传感器11上的位置Pa处的入射角来设置。此外，γ1是针对检测信号水平c的系数，其根据来自要被恢复的对象表面71上的点光源PC的光束在图像传感器11上的位置Pa处的入射角来设置。
因此，检测信号水平DA的(α1×a)是指示在位置Pa处基于来自点光源PA的光束的检测信号水平的值。另外，检测信号水平DA的(β1×b)是指示在位置Pa处基于来自点光源PB的光束的检测信号水平的值。此外，检测信号水平DA的(γ1×c)是指示在位置Pa处基于来自点光源PC的光束的检测信号水平的值。
因此，检测信号水平DA被表示为通过将点光源PA、PB和PC在位置Pa处的分量分别乘以系数α1、β1和γ1而获得的值的组合值。在下文中，系数α1、β1和γ1将被统称为系数组。
类似地，关于点光源PB中的检测信号水平DB的系数组α2、β2和γ2分别对应于关于点光源PA中的检测信号水平DA的系数组α1、β1和γ1。另外，关于点光源PC中的检测信号水平DC的系数组α3、β3和γ3分别对应于关于点光源PA中的检测信号水平DA的系数组α1、β1和γ1。
然而，在位置Pa、Pb和Pc处的像素的检测信号水平是分别由点光源PA、PB和PC发射的光束的光强度a、b和c和系数的乘积的总和表示的值。因此，分别从点光源PA、PB和PC发射的光束的光强度a、b和c在检测信号水平中混合，并且这与通过形成对象的图像获得的图像不同。
也就是说，使用系数组α1、β1和γ1、系数组α2、β2和γ2、系数组α3、β3和γ3以及检测信号水平DA、DB和DC来形成联立方程，并且求解光强度a、b和c以获得在位置Pa、Pb和Pc处的像素值，如图2的右下方所示出的。因此，作为像素值的集合的恢复图像(最终图像)被重建并被恢复。
另外，在图2的左上方示出的图像传感器11与对象表面71之间的距离改变的情况下，系数组α1、β1和γ1、系数组α2、β2和γ2以及系数组α3、β3和γ3改变。改变系数组可以重建在各种距离处的对象表面的恢复图像(最终图像)。
因此，可以改变系数组以对应于在一次成像中的各种距离，并且这可以重建在距成像位置各种距离处的对象表面的图像。
因此，在使用无透镜摄像装置的成像中，不需要注意在使用透镜的成像设备的成像中的在偏离焦点的同时捕获图像的诸如所谓的失焦的现象。只要成像被捕获时要被成像的对象包括在视场中，就可以根据距离改变系数组以在成像之后重建在各种距离处的对象表面的图像。
注意，图2右上方示出的检测信号水平不是与通过形成对象的图像而获得的图像对应的检测信号水平，并且图2右上方示出的检测信号水平不是像素值。另外，图2右下方示出的检测信号水平是与通过形成对象的图像而获得的图像对应的像素的信号值，即，恢复图像(最终图像)的像素的值，并且图2右下方示出的检测信号水平是像素值。
该配置可以实现不需要成像透镜或针孔的所谓的无透镜摄像装置。因此，成像透镜、针孔等不是必需的部件，并且可以减小成像设备的高度，即，用于实现成像功能的配置中沿光入射方向的厚度。另外，可以以各种方式改变系数组，并且可以重建并恢复在各种距离处的对象表面上的恢复图像(最终图像)。
注意，在下文中，由图像传感器捕获的重建之前的图像将被简称为观察图像，并且通过对观察图像应用信号处理而重建和恢复的图像将被称为恢复图像(最终图像)。因此，对于一个观察图像，可以以各种方式改变上面描述的系数组以重建在各种距离处的对象表面71的图像作为最终图像。
图3是示出无透镜摄像装置中的成像装置的配置示例的图。上部是掩模51的顶视图，而下部是从侧上方观看时掩模51和图像传感器(固态成像装置)11的透视图。
在普通的无透镜摄像装置的成像装置中，掩模51中的开口51a的单位尺寸在整个区域上均匀地设置，如例如图3所示出的，并且图像传感器11使用透射穿过掩模51的光来整体捕获一个图像。
[2.无透镜摄像装置的视场设置]
接下来，将描述无透镜摄像装置的视场设置。图4是示出无透镜摄像装置80的示意性配置的图。如图4所示，无透镜摄像装置80包括布置在图像传感器81前面的掩模82。掩模82是如下掩模，在该掩模中设置有光的透射区域和非透射区域作为二维图案。透射穿过掩模82的光被输入至图像传感器。
图4示出了其中对象85被成像并且输出包括恢复对象图像的恢复图像(最终图像)87的配置示例。注意，由图像传感器(固态成像装置)81捕获的重建之前的图像是观察图像86，并且通过由信号处理单元83执行的对观察图像86的信号处理而重建和恢复的图像是恢复图像(最终图像)87。如在设置有透镜的常规摄像装置中，恢复图像(最终图像)87是包括捕获场景的对象的图像。
图像传感器81捕获穿过掩模82的图像(观察图像)86。透射穿过掩模82的捕获数据即图像传感器81上的观察图像86被输入至信号处理单元83。信号处理单元83对图像传感器81上的观察图像86应用预定的信号处理以生成恢复图像(最终图像)87作为如普通摄像装置中的与捕获场景对应的二维图像。
从要被成像的区域的P个三维采样点发射的光可以被写为长度为P的场景发射光矢量x，并且与接收光的像素的数目N对应的图像传感器81的观察值可以被表示为长度为N的场景观察值矢量y。可以通过使用以下关系表达式来表示这种关系。
y＝Mx
此处，M是表示掩模82的透射函数的矩阵。
为了再现对象的捕获图像(＝场景的发射光)，可以根据传感器观察值y获得满足表达式的关系的x。信号处理单元83执行如下处理：将从图像传感器81输入的传感器观察值y乘以包括表示掩模82的透射函数的矩阵的逆矩阵的矩阵，以计算场景发射光矢量x，计算包括对象85的恢复图像(最终图像)87的像素值。
注意，以模拟等方式预先获得穿过掩模82投影到图像传感器81的多个传感器观察值的集合，并且根据所述集合预先计算出表示掩模82的特性(透射函数)的掩模矩阵。信号处理单元83应用该矩阵的逆矩阵并且基于从图像传感器81输入的传感器观察值y来恢复要被成像的区域的每个采样点的亮度值，以生成恢复图像(最终图像)87。
为了再现场景的发射光，满足表达式即关系y＝Mx的x可以根据传感器观察值y来获得。矢量x包括每个采样点的发射光矢量。也就是说，矢量x指示基于包括在捕获场景中的点的发射光，并且通过将每个采样点的发射光矢量在二维平面上展开而获得的值对应于恢复图像(最终图像)87的配置像素值。
通过增加包括在场景中的三维采样点的数目P，可以提高再现为恢复图像(最终图像)87的场景的分辨率。然而，采样点的数目P的增加使用于估计场景发射光矢量x的时间增加，并且图像的重建即恢复图像(最终图像)87的生成处理会花费较长时间。
表达式y＝Mx指示进入传感器的光中的所有光叠加在传感器上，并且要被恢复的图像的视场(FOV)非常宽。
无透镜摄像装置的视场(FOV)宽，并且用于表示整个场景的采样点的数目大。然而，在将无透镜摄像装置用作摄像装置的情况下，常常期望使FOV在一定程度上变窄以限制成像范围。
将参照图5描述具体示例。图5示出了无透镜摄像装置(无透镜成像设备)80的两个图像捕获示例。
(a)在宽视场的情况下的捕获图像的示例。
(b)在窄视场的情况下的捕获图像的示例。
用户(摄影师)可能希望通过将成像范围限制为仅特定对象例如人的区域来捕获图像，如图5的(b)所示。如此，用户可能希望调节无透镜摄像装置80的视场(FOV)以捕获各个区域的图像。
对于执行该调节的处理，可以仅切出捕获图像的一部分。然而，在这种情况下存在分辨率降低的问题。
此外，如上所述，还存在通过增加可以在捕获图像中再现的三维采样点的数目P来使分辨率增加的方法。然而，存在图像的重建时间增加的问题并且这是不实际的。
用于视场(FOV)的方法的另一示例包括改变图像传感器81与掩模82之间的距离以在硬件方面限制进入图像传感器81的光的方法，如图6所示。
图6的(a)是减小图像传感器81与掩模82之间的距离(L1)以设置大的视场的示例。另一方面，图6的(b)是增加图像传感器81与掩模82之间的距离(L2)以设置小的视场的示例。
与减小图像传感器81与掩模82之间的距离(L1)的图6的(a)的设置相比，在增加图像传感器81与掩模82之间的距离(L2)的图6的(b)的设置中，进入图像传感器81的光的角度更窄并且捕获图像的视场更小。也就是说，可以捕获窄的区域的图像。图6所示出的控制产生与变焦摄像装置相同的效果。
在图6所示的示例中，可以在硬件方面限定和限制采样点的位置以在维持分辨率的同时缩小视场(FOV)。然而，尽管在该方法中可以设置预定的视场，但是用于移动掩模的硬件对于实现变焦透镜是必需的。因此，存在如下问题：摄像装置模块的高度增加与掩模的位置等效的量。
注意，可以在传感器的前面布置多个LCD以控制来自任意方向的光的透射/非透射。控制多个LCD的层还允许执行云台操作或者仅在屏幕上投影多个ROI。PTL1示出了将MEMS阵列过滤器布置在传感器的前面并且切换光的透射/非透射从而改变FOV的方法。然而，这些方法中的所有方法都需要附加的硬件并且尺寸和成本的增加是不可避免的。另外，尽管将滤光器用作掩模，但是除了透射波长区域之外不采取措施。例如，没有提及对应于远红外区域的适当的过滤器。
[3.本公开内容的图像处理设备的配置和处理]
接下来，将参照图7和后续附图描述本公开内容的图像处理设备的配置和处理。
图7是示出根据本公开内容的图像处理设备100的配置示例的图。图像处理设备100包括信号处理单元101，信号处理单元101接收无透镜摄像装置(无透镜成像设备)102的捕获图像以生成和输出针对预定视场(FOV)设置的恢复图像。
例如，信号处理单元101接收作为无透镜摄像装置102的图像传感器的输出的观察图像信号，并且生成包括无透镜摄像装置101的捕获图像区域的一部分的恢复图像区域的恢复图像。
无透镜摄像装置102是包括参照图4和图6描述的图像传感器81和掩模82的摄像装置。注意，代替如参照图6描述的允许控制图像传感器81与掩模82之间的距离的配置，图像传感器81与掩模82之间的距离是固定的。
信号处理单元101接收作为无透镜摄像装置102的输出的捕获图像(观察值yall)。捕获图像(观察值yall)包括根据穿过无透镜摄像装置102的掩模接收的光的量的在图像传感器上的像素值。
信号处理单元101对输入图像(捕获图像(观察值yall))应用信号处理并且输出针对预定视场(FOV)设置的恢复图像(x^roi)。注意，(x^)表示在x上方设置有(^)的字符。这同样适用于以下描述。这对于其他字符是一样，并且例如(y^)表示在y上方设置有(^)的字符。
用户可以自由设置视场(FOV)。作为无透镜摄像装置102的输出的捕获图像(观察值yall)是具有与由用户设置的视场无关的一个固定视场的捕获图像。
信号处理单元101接收信息，该信息包括：
(输入1)作为无透镜摄像装置102的输出的捕获图像(观察值yall)110；以及
(输入2)与要被输出的恢复图像(x^roi)的视场设置信息等效的“对应恢复图像区域的ROI(感兴趣区域)信息”Rroi，
并且生成并输出信息，该信息包括：
(输出1)针对预定视场(FOV)设置的恢复图像(x^roi)。
在作为输出数据的恢复图像(x^roi)中，(x^roi)与包括在预定视场中的捕获场景(ROI)中的每个采样点x的发射光等效。也就是说，恢复图像(x^roi)是通过再现捕获场景的对象图像而获得的图像，并且该恢复图像(x^roi)是与由具有透镜的常规摄像装置捕获的图像类似的图像。
信号处理单元101将对应捕获图像区域的ROI信息(Rall)104、掩模信息(IM)105和摄像装置配置信息(IC)106保存在存储单元中。注意，尽管存储信息的存储单元被示出为在图7中的信号处理单元101的内部，但是该存储单元可以设置在信号处理单元101的外部。
信号处理单元101还包括数据处理单元，该数据处理单元包括：对应捕获图像区域掩模矩阵(Mall)计算单元107；对应恢复图像区域掩模矩阵(Mroi)计算单元108和图像估计单元109。
对应捕获图像区域掩模矩阵(Mall)计算单元107计算与由透镜摄像装置102的图像传感器捕获的整个捕获图像(全部ROI)对应的掩模矩阵(Mall)。掩模矩阵(Mall)是表示上面描述的掩模的透射函数的矩阵。
也就是说，矩阵表示满足关系表达式y＝Mx的掩模的透射函数，其中，从要被成像的区域的P个三维采样点发射的光被写为长度为P的场景发射光矢量x，并且图像传感器的与接收光的像素的数目N对应的观察值被表示为长度为N的场景观察值矢量y。
另一方面，恢复图像区域对应掩模矩阵(Mroi)计算单元108计算恢复图像(x^roi)对应的掩模矩阵(Mroi)作为输出数据，而不是计算由透镜摄像装置102的图像传感器捕获的整个捕获图像(全部ROI)。也就是说，恢复图像区域对应掩模矩阵(Mroi)计算单元108计算恢复图像区域对应的掩模矩阵，该恢复图像区域对应的掩模矩阵被应用以生成作为无透镜摄像装置102的捕获图像区域的一部分的恢复图像区域的恢复图像。
例如，如图8所示，无透镜摄像装置102以固定的视场来捕获捕获图像区域(全部ROI)121的图像。此处，由信号处理单元101输出的图像是由恢复图像区域(恢复ROI)122指示的受限区域的图像。注意，图8所示出的每个区域都是三维区域。
三维区域等效于测量关系表达式y＝Mx的场景发射光矢量x的采样点的设置区域。
例如，在假设采样点被布置在图8所示的捕获图像区域(全部ROI)121中的情况下，捕对应获图像区域掩模矩阵(Mall)计算单元107计算掩模矩阵(Mall)，掩模矩阵(Mall)表示可以应用于关系表达式y＝Mx的掩模的透射函数。如此，对应捕获图像区域掩模矩阵(Mall)计算单元107计算与捕获图像区域(全部ROI)121对应的掩模矩阵(Mall)。
另一方面，对应恢复图像区域掩模矩阵(Mroi)计算单元108计算与恢复图像区域(恢复ROI)122对应的掩模矩阵(Mroi)。也就是说，例如，在假设采样点被布置图8所示的恢复图像区域(恢复ROI)122上的情况下，对应恢复图像区域掩模矩阵(Mroi)计算单元108计算掩模矩阵(Mroi)，掩模矩阵(Mroi)表示可以应用于关系表达式y＝Mx的掩模的透射函数。也就是说，恢复图像区域对应掩模矩阵(Mroi)计算单元108计算恢复图像区域对应掩模矩阵，该恢复图像区域对应掩模矩阵被应用以生成包括无透镜摄像装置102的捕获图像区域的一部分的恢复图像区域的恢复图像。
捕获图像区域对应掩模矩阵(Mall)计算单元107接收包括对应捕获图像区域的ROI信息(Rall)104、掩模信息(IM)105和摄像装置配置信息(IC)106的信息，并且计算与捕获图像区域(全部ROI)121对应的掩模矩阵(Mall)。
对应捕获图像区域的ROI信息(Rall)104是例如图8所示的捕获图像区域(全部ROI)121的设置范围信息。此外，还记录了在设置范围中的采样点的数目(P)和采样点设置位置(x)信息。掩模信息(IM)105是例如包括掩模中的光的透射区域和非透射区域的二维图案信息。
摄像装置配置信息(IC)106是关于掩模和图像传感器的信息，并且包括例如掩模尺寸、图像传感器尺寸、图像传感器像素的数目(N)以及掩模与传感器之间的距离的信息。此外，还记录了设置在捕获图像区域中的采样点的数目(P)和采样点设置位置(x)信息。
捕获图像区域对应掩模矩阵(Mall)计算单元107接收信息并且计算与捕获图像区域(全部ROI)121对应的掩模矩阵(Mall)。
另一方面，恢复图像区域对应掩模矩阵(Mroi)计算单元108计算与恢复图像区域(恢复ROI)122对应的掩模矩阵(Mroi)。恢复图像区域对应掩模矩阵(Mroi)计算单元108接收包括对应恢复图像区域ROI信息(Rroi)103、掩模信息(IM)105和摄像装置配置信息(IC)106的信息，并且对应恢复图像区域掩模矩阵(Mroi)计算单元108计算与恢复图像区域(恢复ROI)122对应的掩模矩阵(Mroi)。
恢复图像区域对应的ROI信息(Rroi)103是例如图8中所示的恢复图像区域(恢复ROI)122的设置范围信息。此外，还记录了在设置范围中的采样点的数目(P)和采样点设置位置(x)信息。恢复图像区域对应的ROI信息(Rroi)103是可以由用户自由设置的关于恢复图像区域的信息，并且用户可以通过未示出的输入单元写入或者更新恢复图像区域对应的ROI信息(Rroi)103。
掩模信息(IM)105是例如包括掩模中的光的透射区域和非透射区域的二维图案信息。摄像装置配置信息(IC)106包括掩模与图像传感器之间的距离、图像传感器的像素的数目(N)信息等。恢复图像区域对应的掩模矩阵(Mroi)计算单元108接收信息并且计算与恢复图像区域(恢复ROI)122对应的掩模矩阵(Mall)。
注意，由包括捕获图像区域对应掩模矩阵(Mall)计算单元107和恢复图像区域对应掩模矩阵(Mroi)计算单元108的掩模矩阵计算单元执行的掩模矩阵计算处理的详细顺序将参照图9所示的流程图在稍后的阶段中进行详细描述。
图像估计单元109接收以下信息，所述信息包括：(a)作为无透镜摄像装置102的输出的捕获图像(观察值yall)；
(b)掩模信息(IM)105；
(c)摄像装置配置信息(IC)106；
(d)捕获图像区域对应的ROI信息(Rall)104；
(e)恢复图像区域对应的ROI信息(Rroi)103；
(f)由捕获图像区域对应掩模矩阵(Mall)计算单元107计算的捕获图像区域对应的掩模矩阵(Mall)；以及
(g)由恢复图像区域对应掩模矩阵(Mroi)计算单元108计算的恢复图像区域对应的掩模矩阵(Mroi)。
图像估计单元109接收信息并且输出针对预定视场(FOV)设置的恢复图像(x^roi)。在作为输出数据的恢复图像(x^roi)中，(x^roi)表示包括在预定视场中的捕获场景(ROI)例如图8所示的恢复图像区域(恢复ROI)122中的每个采样点x的发射光。
图像估计单元109例如从作为无透镜摄像装置102的图像传感器的输出的观察图像信号中减去未包括在恢复图像区域中的在恢复图像区域外部的观察图像信号，以计算恢复区域内部的观察图像信号，并且执行恢复区域内部的观察图像信号和对应恢复图像区域掩模矩阵的伪逆矩阵或逆矩阵的运算处理，以生成包括无透镜摄像装置的捕获图像区域的一部分的恢复图像区域的恢复图像。由图像估计单元109执行的恢复图像生成处理的详细顺序将参照图10所示的流程图在稍后的阶段中进行详细描述。
[4.掩模矩阵计算单元中的掩模矩阵计算处理的详细顺序]
接下来，将参照图9所示的流程图描述由包括捕获图像区域对应掩模矩阵(Mall)计算单元107和恢复图像区域对应掩模矩阵(Mroi)计算单元108的掩模矩阵计算单元执行的掩模矩阵计算处理的详细顺序。
注意，如上所述，捕获图像区域对应掩模矩阵(Mall)计算单元107计算与例如图8所示的捕获图像区域(全部ROI)121对应的掩模矩阵(Mall)。恢复图像区域对应掩模矩阵(Mroi)计算单元108计算与例如图8所示的恢复图像区域(恢复ROI)122对应的掩模矩阵(Mall)。仅是对应的区域不同，而基本处理顺序是相同的。在图9所示的步骤S103中的ROI信息的获取处理中，仅是要获取的信息不同。详细信息将在下面描述的步骤中的每个步骤中进行描述。在下文中，将顺序描述图9所示的流程图中的步骤的处理。
(步骤S101)
信号处理单元101的捕获图像区域对应掩模矩阵(Mall)计算单元107和恢复图像区域对应掩模矩阵(Mroi)计算单元108首先在步骤S101中获取掩模信息IM。注意，包括捕获图像区域对应掩模矩阵(Mall)计算单元107和恢复图像区域对应掩模矩阵(Mroi)计算单元108的两个掩模矩阵计算单元将在描述中被简称为掩模矩阵计算单元。
在步骤S101中获取的掩模信息IM是例如如上所述包括掩模中的光的透射区域和非透射区域的二维图案信息。
(步骤S102)
接下来，在步骤S102中，掩模矩阵计算单元获取摄像装置配置信息IC。摄像装置配置信息IC是关于掩模和图像传感器的信息，并且包括例如掩模尺寸、图像传感器尺寸、图像传感器像素的数目(N)、掩模与传感器之间的距离的信息等。
(步骤S103)
接下来，在步骤S103中，掩模矩阵计算单元获取ROI信息。在步骤S103的处理中，在包括捕获图像区域对应掩模矩阵(Mall)计算单元107和恢复图像区域对应掩模矩阵(Mroi)计算单元108的两个掩模矩阵计算单元中执行不同的处理。
捕获图像区域对应掩模矩阵(Mall)计算单元107获取图7所示的捕获图像区域对应的ROI信息(Rall)104。图像区域对应的ROI信息(Rall)104包括例如图8所示的捕获图像区域(全部ROI)121的设置范围信息、采样点的数目(P)、设置位置(x)信息等。也就是说，捕获图像区域对应掩模矩阵(Mall)计算单元107获取捕获图像区域对应的ROI信息(Rall)104，该捕获图像区域对应的ROI信息(Rall)104是假设无透镜摄像装置102的图像传感器已经对捕获图像区域(全部ROI)121中的采样点的发射光进行成像的情况下的ROI信息。
另一方面，恢复图像区域对应掩模矩阵(Mroi)计算单元108获取图7所示的恢复图像区域对应的ROI信息(Rroi)103。恢复图像区域对应的ROI信息(Rroi)103包括例如图8所示的恢复图像区域(恢复ROI)122的设置范围信息、采样点的数目(P)、设置位置(x)信息等。也就是说，恢复图像区域对应掩模矩阵(Mroi)计算单元108获取恢复图像区域对应的ROI信息(Rroi)103，该恢复图像区域对应的ROI信息(Rroi)103是假设无透镜摄像装置102的图像传感器已经对图8所示的恢复图像区域(恢复ROI)122中的采样点的发射光进行成像的情况下的ROI信息。
注意，采样点的数目(P)和设置位置(x)信息也可以根据摄像装置配置信息IC 106来获取。
(步骤S104)
接下来，在步骤S104中，掩模矩阵计算单元使用传感器像素的数目N、采样点的位置x以及采样点的数目P来准备和初始化P×N矩阵M。也就是说，掩模矩阵计算单元生成包括由传感器像素的数目(N)和采样点的数目(P)限定的P×N个元素(矩阵元素)的矩阵。注意，每个元素的初始值为例如0
注意，此处，由捕获图像区域对应掩模矩阵(Mall)计算单元107生成的矩阵和由恢复图像区域对应掩模矩阵(Mroi)计算单元108生成的矩阵是不同的矩阵。
捕获图像区域对应掩模矩阵(Mall)计算单元107假设在图8所示的捕获图像区域(全部ROI)121中设置了采样点，以计算与例如图8所示的捕获图像区域(全部ROI)121对应的掩模矩阵(Mall)，并且捕获图像区域对应掩模矩阵(Mall)计算单元107生成包括P×N个元素(矩阵元素)的矩阵，其中P是采样点的数目，而N是传感器像素的数目。
另一方面，恢复图像区域对应掩模矩阵(Mroi)计算单元108假设在图8所示的恢复图像区域(恢复ROI)122中设置了采样点，以计算与例如图8所示的恢复图像区域(恢复ROI)122对应的掩模矩阵(Mroi)，并且恢复图像区域对应掩模矩阵(Mroi)计算单元108生成包括P×N个元素(矩阵元素)的矩阵，其中P是采样点的数目，而N是传感器像素的数目。
注意，在由捕获图像区域对应掩模矩阵(Mall)计算单元107生成的包括P×N个元素的矩阵中和由恢复图像区域对应掩模矩阵(Mroi)计算单元108生成的包括P×N个元素的矩阵中，传感器像素的数目N是无透镜摄像装置102的图像传感器的像素的数(N)，并且传感器像素的数目N与无透镜摄像装置102的图像传感器的像素的数(N)相同。
另一方面，采样点的数目P可以自由设置。例如，由捕获图像区域对应掩模矩阵(Mall)计算单元107生成的包括P×N个元素的矩阵的采样点的数目P和由恢复图像区域对应掩模矩阵(Mroi)计算单元108生成的包括P×N个元素的矩阵的采样点的数目P可以与例如图8所示的捕获图像区域(全部ROI)121的大小和恢复图像区域(恢复ROI)122的大小成比例地设置，或者采样点的数目P可以是相同的。
与采样点的数目P与区域的大小成比例地设置的情况相比，在设置了相同数目P的采样点的情况下，恢复图像区域(恢复ROI)122的恢复图像可以是具有较高分辨率的图像。如上所述，可以通过增加采样点的数目P来提高恢复图像的分辨率。也就是说，可以在图8所示的恢复图像区域(恢复ROI)122中设置大量的密集采样点以提高恢复图像的分辨率。
(步骤S105和步骤S106)
从步骤S105开始的处理是在步骤S104中生成的矩阵的每个元素的值的设置处理。
首先，在步骤S105和步骤S106中选择矩阵的元素(矩阵元素)作为设置值的目标。首先，在步骤S105和步骤S106中，选择P×N矩阵的左上角的元素(p＝0、n＝0)。注意，p和n是P×N矩阵的元素识别索引。
(步骤S107)
接下来，在步骤S107中，在第p个采样点的光x(p)穿过掩模投影到传感器时，掩模矩阵计算单元获得第n个像素的传感器像素值(y)。像素值计算处理可以在模拟处理或实际测量处理中执行。
(步骤S108)
接下来，在步骤S108中，掩模矩阵计算单元应用在步骤S107的处理中计算出的传感器像素值(y)，即，在第p个采样点x(p)的光穿过掩模投影到传感器时第n个像素的传感器像素值(y)的值，以设置y/x(p)作为P×N掩模矩阵的所选择元素(p＝0、n＝0)的值。
该设置值是根据上面描述的其中从要被成像的区域的P个三维采样点发射的光被写为长度为P的场景发射光矢量x并且与接收所述光的像素的数目N对应的图像传感器的观察值被设置为长度为N的场景观察值矢量y的情况下的关系表达式即关系表达式y＝Mx的设置值。
(步骤S109至步骤S112)
步骤S109至步骤S112是以设置值为目标的矩阵的元素(矩阵元素)的更新处理和处理结束确定处理。在步骤S109中，矩阵元素索引n递增1。在步骤S110中，确定是否n＜N，并且如果n＜N，则步骤S107和步骤S108的处理被应用于新的矩阵元素(p、n)以确定新的矩阵元素(p、n)的值。
此外，在步骤S111中，矩阵元素索引p递增1。在步骤S112中，确定是否p＜P，并且如果p＜P，则步骤S107和步骤S108的处理被应用于新的矩阵元素(p、n)以确定新的矩阵元素(p、n)的值。
最后，在步骤S112中，如果确定不满足表达式p＜P，则确定P×N矩阵的元素中的所有元素的值，并且矩阵完成。
在流程中生成的掩模矩阵是根据上面描述的从要被成像的区域的P个三维采样点发射的光被写为长度为P的场景发射光矢量x并且图像传感器的与接收所述光的像素的数目N对应的观察值被设置为长度为N的场景观察值矢量y的情况下的关系表达式即关系表达式y＝Mx的掩模矩阵。
注意，由捕获图像区域对应掩模矩阵(Mall)计算单元107根据流程生成的掩模矩阵是捕获图像区域对应的掩模矩阵(Mall)，并且是满足关系表达式y＝Mx的捕获图像区域对应掩模矩阵(Mall)，该关系表达式关于在假设无透镜摄像装置102的图像传感器已经接收到设置在例如图8所示的捕获图像区域(全部ROI)121中的P个采样点的发射光的情况下的传感器像素值(y)。
另一方面，由恢复图像区域对应掩模矩阵(Mroi)计算单元108根据流程生成的掩模矩阵是恢复图像区域对应的掩模矩阵(Mroi)，并且是满足关系表达式y＝Mx的恢复图像区域对应掩模矩阵(Mroi)，该关系表达式关于在假设无透镜摄像装置102的图像传感器已经接收到设置在例如图8所示的恢复图像区域(恢复ROI)122中的P个采样点的发射光的情况下的传感器像素值(y)。
[5.图像估计单元中的图像估计处理的详细顺序]
接下来，将参照图10所示的流程图描述图像估计单元109中的图像估计处理的详细顺序。
如上面参照图7所描述的，图像估计单元109接收信息，该信息包括：
(a)作为无透镜摄像装置102的输出的捕获图像(观察值yall)；
(b)掩模信息(IM)105；
(c)摄像装置配置信息(IC)106；
(d)捕获图像区域对应ROI信息(Rall)104；
(e)恢复图像区域对应ROI信息(Rroi)103；
(f)由捕获图像区域对应掩模矩阵(Mall)计算单元107计算的捕获图像区域对应掩模矩阵(Mall)；以及
(g)由恢复图像区域对应掩模矩阵(Mroi)计算单元108计算的恢复图像区域对应掩模矩阵(Mroi)，
并且输出针对预定视场(FOV)设置的恢复图像(x^roi)。在作为输出数据的恢复图像(x^roi)中，(x^roi)表示包括在预定视场中的捕获场景(ROI)例如图8所示的恢复图像区域(恢复ROI)122中的每个采样点x的发射光。
如上所述，图像估计单元109例如执行恢复区域内部的观察图像信号和恢复图像区域对应掩模矩阵的伪逆矩阵或逆矩阵的运算处理，以生成包括无透镜摄像装置的捕获图像区域的一部分的恢复图像区域的恢复图像。
在下文中，将顺序描述图10所示的流程图中的步骤的处理。
(步骤S201)
在步骤S201中，信号处理单元101的图像估计单元109首先获取掩模信息IM。在步骤S201中获取的掩模信息IM是例如如上所述包括掩模中的光的透射区域和非透射区域的二维图案信息。
(步骤S202)
接下来，在步骤S202中，图像估计单元109获取摄像装置配置信息IC。摄像装置配置信息IC是关于掩模和图像传感器的信息，并且包括例如掩模尺寸、图像传感器尺寸、图像传感器像素的数目(N)、掩模与传感器之间的距离的信息等。
(步骤S203)
接下来，在步骤S203中，图像估计单元109获取ROI信息。在步骤S203中，图像估计单元109获取图7所示的捕获图像区域对应ROI信息(Rall)104和恢复图像区域对应ROI信息(Rroi)103。图像区域对应ROI信息(Rall)104是例如图8所示的捕获图像区域(全部ROI)121中的采样点的设置位置(x)信息。也就是说，图像区域对应ROI信息(Rall)104是假设无透镜摄像装置102的图像传感器已经对图8所示的捕获图像区域(全部ROI)121中的采样点的发射光进行成像的情况下的ROI信息。ROI信息是指示在要被再现的三维区域中的要再现的区域的范围的信息。
另一方面，恢复图像区域对应的ROI信息(Rroi)103是例如图8所示的恢复图像区域(恢复ROI)122中的采样点的设置位置(x)信息。也就是说，恢复图像区域对应的ROI信息(Rroi)103是假设无透镜摄像装置102的图像传感器已经对图8所示的恢复图像区域(恢复ROI)122中的采样点的发射光进行成像的情况下的ROI信息。
如此，在步骤S203中，图像估计单元109获取图7所示的捕获图像区域对应ROI信息(Rall)104和恢复图像区域对应ROI信息(Rroi)103。
(步骤S204)
接下来，在步骤S204中，图像估计单元109获取传感器像素的数目N。即，图像估计单元109获取无透镜摄像装置102的图像传感器的传感器像素的数目(N)。该信息是根据例如图7所示的摄像装置配置信息IC 106来获取的。
(步骤S205)
接下来，在步骤S205中，图像估计单元109获取采样点的位置x和点的数目P。也就是说，获取采样点的数目(P)和每个采样点的位置(x)。
注意，该信息是根据例如摄像装置配置信息(IC)106、捕获图像区域对应的ROI信息(Rall)104和恢复图像区域对应的ROI信息(Rroi)103之一来获取的。
根据捕获图像区域对应的ROI信息(Rall)104来获取捕获图像区域中的采样点的数目(P)和每个采样点的位置(x)。具体地，例如，获取设置在图8所示的捕获图像区域(全部ROI)121中的采样点的数目(P)和位置(x)。另外，根据恢复图像区域对应ROI信息(Rroi)103来获取恢复图像区域中的采样点的数目(P)和每个采样点的位置(x)。具体地，例如，获取设置在图8所示的恢复图像区域(恢复ROI)122中的采样点的数目(P)和位置(x)。
(步骤S206和步骤S207)
接下来，在步骤S206中，图像估计单元109计算由捕获图像区域对应掩模矩阵(Mall)计算单元107计算出的捕获图像区域对应掩模矩阵(Mall)的伪逆矩阵(M+ all)。此外，在步骤S207中，图像估计单元109使用在步骤S206中获得的伪逆矩阵(M+ all)来计算采样点的发射光估计值(x^all)。采样点的发射光估计值(x^all)表示包括在捕获场景例如图8所示的捕获图像区域(全部ROI)121中的每个采样点x的发射光。
将参照图11描述采样点的发射光估计值(x^all)的计算处理的具体示例。
图11示出：
(a)被表示为二维平面数据的捕获图像区域ROI(Rall)201；
(b)设置在该捕获图像区域ROI(Rall)201中的采样点的发射光(x^all)204；
(c)包括捕获图像区域对应掩模矩阵(Mall)202的掩模；以及
(d)在图像传感器已经接收到设置在捕获图像区域ROI(Rall)201中的采样点的发射光(x^all)204的情况下的传感器观察值(像素值)(yall)203。
也就是说，示出了图像传感器接收到穿过包括捕获图像区域对应的掩模矩阵(Mall)202的掩模的设置在被表示为二维平面数据的捕获图像区域ROI(Rall)201中的采样点的发射光(x^all)204的情况下的传感器观察值(像素值)(yall)203。注意，如参照图8所描述的，尽管捕获图像区域ROI(Rall)基本上被设置为三维区域，但是三维区域中的光穿过平行于图像传感器的二维平面并且进入图像传感器。因此，设置为三维区域的捕获图像区域ROI(Rall)可以被转换为捕获图像区域ROI(Rall)201并且表示为二维平面数据，如图11所示。输出发射光的采样点也可以在表示为二维平面数据的捕获图像区域ROI(Rall)201中表示和设置。
图11所示的传感器观察值(像素值)(Yall)203是在光穿过掩模之后通过映射来自采样点的每个位置(xall)的光即采样点的发射光(x^all)204而获得的值，所述采样点设置在表示为二维平面数据的捕获图像区域ROI(Rall)201中。因此，如果存在捕获图像区域对应的掩模矩阵(Mall)202的值和传感器观察值(像素值)(yall)203的值，则采样点的发射光(x^all)204的估计值可以通过下面示出的计算处理(处理a和处理b)来获得。
(处理a)
根据以下(表达式1)来计算由捕获图像区域对应掩模矩阵(Mall)计算单元107计算的捕获图像区域对应的掩模矩阵(Mall)的伪逆矩阵(M+ all)。
[公式.1]
Figure GDA0003263545310000241
注意，M+ all表示捕获图像区域对应的掩模矩阵(Mall)的伪逆矩阵，并且MT all表示捕获图像区域对应的掩模矩阵(Mall)的转置矩阵。另外，(MT allMall)-1表示(MT allMall)的逆矩阵。
(处理b)
使用捕获图像区域对应的掩模矩阵(Mall)的伪逆矩阵(M+ all)和传感器观察值(像素值)(yall)203并且使用以下表达式(表达式2)以计算采样点的发射光(x^all)204的估计值。
[公式.2]
Figure GDA0003263545310000242
(表达式2)等效于通过使用矩阵M的伪逆矩阵(M+)以表示上面描述的关系表达式即在从要被成像的区域的P个三维采样点发射的光被写为长度为P的场景发射光矢量x并且与图像传感器的接收所述光的像素的数目N对应的观察值被设置为长度为N的场景观察值矢量y的情况下的关系表达式y＝Mx而获得的表达式。
(步骤S208和步骤S209)
接下来，在步骤S208中，图像估计单元109在采样点的发射光(x^all)204中提取未包括在恢复图像区域ROI(Rroi)中的光，并且将所述光设置为在恢复图像区域ROI(Rroi)外部的采样点发射光估计值(x^out)。此外，在步骤S209中，图像估计单元109获得与在恢复图像区域ROI(Rroi)外部的采样点发射光估计值(x^out)对应的观察值(y^out)。
图12示出了恢复图像区域ROI(Rroi)211的设置示例。恢复图像区域ROI(Rroi)211可以在捕获图像区域ROI(Rall)中自由设置。注意，在图12中，与捕获图像区域ROI(Rall)类似，恢复图像区域ROI(Rroi)211也被示出为二维数据。
将描述步骤S208和步骤S209的处理的细节。在步骤S208中，从根据上面描述的(表达式2)即采样点发射光估计值(x^all)的计算式计算出的采样点发射光估计值(x^all)中提取未包括在图12所示的恢复图像区域ROI(Rroi)211中的采样点，并且将采样点设置为在恢复图像区域ROI(Rroi)外部的采样点发射光估计值(x^out)。
接下来，在步骤S209中，通过使用以下(表达式3)来计算与在恢复图像区域ROI(Rroi)外部的采样点发射光估计值(x^out)对应的观察值(y^out)。
[公式.3]
Figure GDA0003263545310000251
…(表达式3)
该表达式是与上面描述的关系表达式对应的表达式，即对应于在从要被成像的区域的P个三维采样点发射的光被写为长度为P的场景发射光矢量x并且与图像传感器的接收所述光的像素的数目N对应的观察值被设置为长度为N的场景观察值矢量y的情况下的关系表达式y＝Mx。
图13是示出与在步骤S209中计算的在恢复图像区域ROI(Rroi)外部的采样点发射光估计值(x^out)对应的观察值(y^out)的图。
图13示出了捕获图像区域ROI(Rall)201中的排除恢复图像区域ROI(Rroi)211的在恢复图像区域ROI(Rroi)外部的采样点发射光(x^out)212。与在恢复图像区域ROI(Rroi)外部的采样点发射光(x^out)212对应的观察值(y^out)是图13所示的在恢复图像区域ROI(Rroi)外部的估计传感器观察值(y^out)213。
(步骤S210)
接下来，在步骤S210中，图像估计单元109获得恢复图像区域ROI(Rroi)中的采样点的发射光(x^roi)估计值。
首先，从(a)参照图11描述的传感器观察值即图像传感器已经接收到设置在捕获图像区域ROI(Rall)201中的采样点的发射光(x^all)204的情况下的传感器观察值(像素值)(yall)203中减去(b)与在步骤S209中计算出的在恢复图像区域ROI(Rroi)外部的采样点发射光估计值(x^out)对应的观察值(y^out)。即，使用减法处理(yall)-(y^out)来获得来自恢复图像区域ROI(Rroi)中的采样点的光被观察到的情况下的观察值(yroi)。
接下来，根据以下(表达式4)计算恢复图像区域ROI(Rroi)中的采样点的发射光(x^roi)估计值。
[公式.4]
Figure GDA0003263545310000261
其中，
Figure GDA0003263545310000262
图14是描述计算恢复图像区域ROI(Rroi)中的采样点的发射光(x^roi)估计值的处理的图。图14示出了设置在捕获图像区域ROI(Rall)201中的恢复图像区域ROI(Rroi)211中的采样点的发射光，即，恢复图像区域ROI(Rroi)内部的采样点发射光(x^roi)221，并且示出了接收穿过由恢复图像区域对应的掩模矩阵(Mroi)222限定的掩模的发射光的图像传感器的观察值，即，恢复图像区域ROI(Rroi)估计传感器观察值(y^roi＝yall－y^out)223。
如此，图像估计单元109根据(表达式4)获得恢复图像区域ROI(Rroi)中的采样点的发射光(x^roi)估计值。估计值具体地等于示出恢复图像区域ROI(Rroi)的对象的图像(恢复图像)的像素值。
如上所述，图像估计单元109在以下处理中生成包括无透镜摄像装置102的捕获图像区域的一部分的恢复图像区域的恢复图像。
(S206)图像估计单元109计算捕获图像区域对应的掩模矩阵的伪逆矩阵，该伪逆矩阵被应用以生成无透镜摄像装置102的整个成像范围的恢复图像。
(S207)图像估计单元109使用捕获图像区域对应的掩模矩阵的伪逆矩阵和观察图像信号以计算捕获图像区域中的采样点的发射光估计值。
(S208至S210)图像估计单元109从作为无透镜摄像装置102的图像传感器的输出的观察图像信号中减去未包括在恢复图像区域中的在恢复图像区域外部的观察图像信号，以计算恢复区域内部的观察图像信号，并且执行恢复区域内部的观察图像信号和恢复图像区域对应的掩模矩阵的伪逆矩阵的运算处理，以生成包括无透镜摄像装置102的捕获图像区域的一部分的恢复图像区域的恢复图像。
注意，在处理中使用的伪逆矩阵可以是逆矩阵。
[6.设置采样点的示例和生成图像的示例]
在上面描述的图11至图14中，捕获图像区域ROI(Rall)和恢复图像区域ROI(Rroi)被示出为二维平面数据以有助于对描述的理解。如上所述，所述区域可以被表示为实际的三维空间。通常，采样点可以布置在任意三维位置处。图15是示出了根据三维采样点的亮度值来重建二维图像的方法的示例的图。
准备了虚拟针孔透镜301和虚拟传感器表面302。光束，即，来自采样点306、307和308的x^all(p1)、x^all(p2)和x^all(p3)穿过虚拟针孔透镜301并且与虚拟传感器表面302相交。
可以分别在虚拟传感器表面302上的虚拟传感器像素303、304和305处获得根据入射光的观察值(像素值)，即，包括虚拟传感器像素y(p1)303、虚拟传感器像素y(p2)304和虚拟传感器像素y(p3)305的观察值(像素值)。在这种情况下，无论距采样点的距离如何，采样点都在再现图像中的焦点上。
另外，图16示出了沿深度方向利用透镜焦外成像来重建图像的方法的示例。图16示出了虚拟透镜311、虚拟传感器表面313和虚拟平面312，利用该虚拟平面312将图像聚焦在虚拟传感器表面313处。在该配置中，光束，即，来自采样点316和317的x^all(p1)和x^all(p2)穿过虚拟透镜311，并且所述光束被映射在虚拟传感器表面313上。虚拟传感器313上的像素值，即，包括虚拟传感器像素y(p1)314和虚拟传感器像素y(p2)315的值在虚拟传感器表面313上被组合以沿深度方向利用透镜焦外成像来再现图像。
图17示出了三维设置ROI区域的图。可以将ROI区域设置在任意三维位置处，并且可以部分地再现采样点。例如，包括捕获图像区域ROI(Rall)321、恢复图像区域ROI(Rroi)322和恢复图像区域外部的ROI(Rout)323的区域可以设置在如图17所示的三维空间中，并且可以在每个区域中自由设置采样点。
来自每个采样点的发射光穿过具有根据例如图17所示的捕获图像区域对应掩模矩阵(Mall)331的转换特性(透射函数)的掩模进入图像传感器，并且可以观察到传感器观察值(yall)332。
例如，如图17所示，可以将恢复图像区域ROI(Rroi)322设置为具有人的区域，并且可以生成仅包括人并且不包括背景区域的背景去除图像作为恢复图像。
[7.具有部分提高的分辨率的图像的生成处理的示例]
可以执行本公开内容的处理以生成具有部分提高的分辨率的图像。将参照图18描述具有部分提高的分辨率的图像的生成处理。
在通常的摄像装置捕获的图像中，屏幕上的像素间距是恒定的，并且一个图像上的分辨率在图像的任意区域中是恒定的。在本公开内容的处理中，代替使用均匀的采样点，例如，可以在每个区域中改变采样点的密度。如此，可以逐个区域改变分辨率。
例如，如在图18的(a)所示的恢复图像401中，可以执行将图像的一部分设置为高分辨率区域402的处理。为了生成这样的图像，将与高分辨率区域402对应的采样点的密度设置为比其他区域高就足够了。
图18的(b)示出了其中改变采样点的密度的示例。密集ROI 411中的采样点412的密度比其他区域高。采样点对应于恢复图像中的像素值计算位置，并且增加采样点的密度使像素值的密度增加。因此，可以生成高分辨率图像。
图19示出了具有局部改变的分辨率的图像的示例。图19中示出的示例是生成其中仅在具有人的区域中增加分辨率的图像的处理示例。首先，估计整个场景的采样点发射光(x^all)即捕获图像区域采样点发射光(x^all)421，以生成整个捕获图像区域的图像。此外，从图像中检测到具有人的区域，并且将检测到的区域设置为高分辨率区域(Rroi)422。
接下来，执行模拟以计算在其中仅高分辨率区域(Rroi)422的采样点的密度比其他区域高的状态下的掩模矩阵(Mroi)。计算使用具有掩模矩阵(Mroi)的特性(透射函数)的掩模的情况下的采样点发射光。作为该处理的结果，生成了部分区域高分辨率图像431，其中仅具有人的区域的分辨率增加。
如此，信号处理单元109可以通过将恢复图像区域中的采样点的密度设置成比由无透镜摄像装置102捕获的图像中的其他区域的采样点的密度高来执行该处理。信号处理单元109可以生成其中仅恢复图像区域的分辨率增加的部分区域高分辨率图像。
[8.沿波长方向分散来自采样点的发射光的处理示例]
接下来，将描述沿波长方向分散来自采样点的发射光的处理示例。具体地，该处理是例如通过将发射光分离为与RGB的颜色对应的波长光束来观察每个采样点的发射光的处理。可以执行该过程以生成彩色图像。
图20示出了扩展来自采样点的发射光的示意图。在将来自P个采样点471的发射光分离为L个波长时，从第p个采样点发射的第l个波长的发射光可以表示如下。
xcol(pL+l)… (表达式a)
注意，例如，当来自采样点的发射光被分离为三个波长(R、G、B)时，L等于3，并且l等于0至2。
在发射光穿过掩模472进入图像传感器473的N个构成像素中的第n个像素之后观察到的观察值可以表示如下。
ycol(nL+l)… (表达式b)
(表达式a)与(表达式b)之间的关系可以表示如下。
ycol＝Mcol×xcol… (表达式c)
在(表达式c)中，Mcol是NL×PL矩阵(掩模472的掩模矩阵)，其中，
(N)表示图像传感器473的像素的数目，
(L)表示来自采样点的发射光的分离波长光束的数目，并且
(P)表示采样点的数目。
该矩阵可以通过模拟来自一个采样点在不同波长下的发射光的观察值来获得。
因此，可以根据图像传感器473上的观察值ycol来再现被分离为采样点471的每个发射光(xcol)波长的亮度。例如，可以获取RGB的颜色的输出值以再现彩色图像。注意，与在波长的情况下一样，也可以针对偏振执行类似的扩展。
如此，信号处理单元109可以通过以多个不同的波长光单位分割恢复图像区域中的采样点的发射光的波长来执行该处理，从而生成恢复图像。信号处理单元109还可以通过以多个不同的偏振分量单位分割恢复图像区域中的采样点的发射光的偏振分量来执行该处理，从而生成恢复图像。
[9.本公开内容的图像处理的有益效果]
由本公开内容的图像处理设备执行的处理可以获得以下有益效果。可以在无需向无透镜摄像装置添加硬件的情况下，以高分辨率和低计算量实现例如非机械变焦、非机械摇动和背景去除的功能。此外，可以在不改变重要区域的分辨率的情况下减小不重要区域的分辨率，以减少计算量，或者相反，可以在维持计算量的同时提高重要区域的分辨率。本公开内容的处理对于使用除可见光之外的波长的例如远红外图像的图像也是有效的。
[10.图像处理设备的硬件配置的示例]
接下来，将参照图21描述图像处理设备的硬件配置的示例。参照图21描述的硬件是执行上面参照图7描述的信号处理单元101的处理的图像处理设备的硬件配置的示例。
CPU(中央处理单元)501用作根据存储在ROM(只读存储器)502或存储单元508中的程序执行各种处理的控制单元或数据处理单元。例如，CPU 501根据实施方式中描述的顺序执行处理。由CPU 501执行的程序、数据等被存储在RAM(随机存取存储器)503中。CPU 501、ROM 502和RAM 503通过总线504彼此连接。
CPU 501通过总线504连接至输入输出接口505，并且包括各种开关、键盘、鼠标、麦克风、传感器等的输入单元506以及包括显示器、扬声器等的输出单元507连接至输入输出接口505。CPU 501根据从输入单元506输入的指令执行各种处理，并且将处理结果输出至例如输出单元507。
连接至输入输出接口505的存储单元508包括例如硬盘等并且存储各种数据和由CPU 501执行的程序。通信单元509用作Wi-Fi通信、蓝牙(注册商标)(BT)通信以及通过网络例如因特网和局域网的其他数据通信的发送和接收单元，并且通信单元509与外部设备通信。
连接至输入输出接口505的驱动器510驱动可移动介质511，例如磁盘、光盘、磁光盘和如存储卡的半导体存储器，以记录数据或读取数据。
[11.本公开内容的配置的结论]
已经参照具体实施方式详细描述了本公开内容的实施方式。然而，明显的是，本领域技术人员可以在不脱离本公开内容的范围的情况下修改或替换实施方式。也就是说，已经示例性地公开了本发明，并且不应当限制性地解释本发明。为了确定本公开内容的范围，应当考虑权利要求书的部分。
注意，本说明书中公开的技术可以配置如下。
(1)一种图像处理设备，包括：
信号处理单元，信号处理单元接收作为无透镜摄像装置的图像传感器的输出的观察图像信号以生成恢复图像区域的恢复图像，恢复图像区域包括所述无透镜摄像装置的捕获图像区域的一部分，其中，
所述信号处理单元通过执行恢复区域中的观察图像信号和被应用以生成恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成所述恢复图像，所述恢复区域中的观察图像信号通过从所述观察图像信号减去未包括在所述恢复图像区域中的观察图像信号来生成。
(2)根据(1)所述的图像处理设备，其中，
所述信号处理单元包括恢复图像区域对应矩阵计算单元，所述恢复图像区域对应矩阵计算单元基于来自所述恢复图像区域中的采样点的发射光和所述图像传感器的观察值的对应关系信息来生成被应用以生成所述恢复图像的矩阵。
(3)根据(1)或(2)所述的图像处理设备，其中，
所述信号处理单元包括恢复图像区域对应矩阵计算单元，所述恢复图像区域对应矩阵计算单元生成由所述恢复图像区域中的采样点的数目(P)和所述无透镜摄像装置的像素的数目(N)限定的P×N的矩阵，所述矩阵被应用以生成所述恢复图像。
(4)根据(1)至(3)中任一项所述的图像处理设备，其中，
所述信号处理单元包括图像估计单元，所述图像估计单元通过执行所述恢复区域中的观察图像信号和被应用以生成所述无透镜摄像装置的整个成像范围的恢复图像的所述矩阵的逆矩阵的运算处理来生成所述恢复图像，所述恢复区域中的观察图像信号通过从所述捕获图像区域中的采样点的发射光估计值减去未包括在所述恢复图像区域中的所述观察图像信号来计算，所述捕获图像区域中的采样点的发射光估计值基于被应用以生成所述无透镜摄像装置的整个成像范围的所述恢复图像的矩阵的逆矩阵并且基于所述观察图像信号来计算。
(5)根据(1)至(4)中任一项所述的图像处理设备，其中，
所述信号处理单元还包括捕获图像区域对应掩模矩阵计算单元，所述捕获图像区域对应掩模矩阵计算单元基于来自所述捕获图像区域中的采样点的发射光与所述图像传感器的观察值的对应关系信息来生成被应用于所述捕获图像区域的矩阵。
(6)根据(1)至(5)中任一项所述的图像处理设备，其中，
所述信号处理单元将所述恢复图像区域中的采样点的密度设置为比捕获图像的其他区域的采样点的密度高的密度，以生成高分辨率的恢复图像。
(7)根据(1)至(6)中任一项所述的图像处理设备，其中，
所述信号处理单元以多个不同的波长光单位分割所述恢复图像区域中的采样点的发射光的波长来生成恢复图像。
(8)根据(1)至(7)中任一项所述的图像处理设备，其中，
所述信号处理单元以多个不同的偏振分量单位分割所述恢复图像区域中的采样点的发射光的偏振分量来生成恢复图像。
(9)一种成像设备，包括：
掩模，在该掩模中设置有光的透射区域和非透射区域作为二维图案；
包括图像传感器的成像单元，所述图像传感器接收穿过所述掩模的光；以及
信号处理单元，所述信号处理单元接收作为所述图像传感器的输出的观察图像信号以生成恢复图像区域的恢复图像，所述恢复图像区域包括所述成像单元的捕获图像区域的一部分，其中，
所述信号处理单元通过执行恢复区域中的观察图像信号和被应用成生成恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成所述恢复图像，所述恢复区域中的观察图像信号通过从所述观察图像信号减去未包括在所述恢复图像区域中的观察图像信号来生成。
(10)一种由图像处理设备执行的图像处理方法，其中，
所述图像处理设备包括信号处理单元，所述信号处理单元接收作为无透镜摄像装置的图像传感器的输出的观察图像信号以生成恢复图像区域的恢复图像，所述恢复图像区域包括所述无透镜摄像装置的捕获图像区域的一部分，并且
所述信号处理单元通过执行恢复区域中的观察图像信号和被应用以生成恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成所述恢复图像，所述恢复区域中的观察图像信号通过从所述观察图像信号中减去未包括在所述恢复图像区域中的观察图像信号来生成。
另外，说明书中描述的一系列处理可以由硬件、软件或者硬件和软件的复合部件来执行。在处理是由软件执行的情况下，可以通过将程序安装在并入专用硬件中的计算机的存储器中来执行记录处理顺序的程序，或者可以通过将程序安装在可以执行各种处理的通用计算机中来执行该程序。例如，可以将程序预先记录在记录介质中。除了通过记录介质将程序安装在计算机中之外，还可以通过网络例如LAN(局域网)和因特网来接收程序，并且可以将程序安装在记录介质例如内置硬盘中。
注意，说明书中描述的各种处理可以不按照上面描述的时间顺序来执行，并且可以根据执行所述处理的设备的能力或根据需要并行地或单独地执行所述处理。另外，本说明书中的系统表示多个设备的逻辑集合配置，并且这些配置的设备可以不在同一壳体中。
工业适用性
如上所述，根据本公开内容的实施方式的配置，可以控制无透镜摄像装置的捕获图像的视场，并且实现用于生成包括成像区域的一部分的恢复图像的配置。
附图标记列表
80 无透镜摄像装置
81 图像传感器
82 掩模
83 信号处理单元
100 图像处理设备
101 信号处理单元
102 无透镜摄像装置
103 恢复图像区域对应的ROI信息
104 捕获图像区域对应的ROI信息
105 掩模信息
106 摄像装置配置信息
107 捕获图像区域对应掩模矩阵计算单元
108 恢复图像区域对应掩模矩阵计算单元
109 图像估计单元
501 CPU
502 ROM
503 RAM
504 总线
505 输入输出接口
506 输入单元
507 输出单元
508 存储单元
509 通信单元
510 驱动器
511 可移动介质

Claims (10)

1.一种图像处理设备，包括：
信号处理单元，所述信号处理单元接收作为无透镜摄像装置的图像传感器的输出的观察图像信号以生成恢复图像区域的恢复图像，所述恢复图像区域包括所述无透镜摄像装置的捕获图像区域的一部分，其中，
所述信号处理单元通过执行恢复区域中的观察图像信号和被应用以生成所述恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成所述恢复图像，所述恢复区域中的观察图像信号通过从所述观察图像信号减去未包括在所述恢复图像区域中的观察图像信号来生成。
2.根据权利要求1所述的图像处理设备，其中，
所述信号处理单元包括恢复图像区域对应矩阵计算单元，所述恢复图像区域对应矩阵计算单元基于来自所述恢复图像区域中的采样点的发射光和所述图像传感器的观察值的对应关系信息来生成被应用以生成所述恢复图像的矩阵。
3.根据权利要求1所述的图像处理设备，其中，
所述信号处理单元包括恢复图像区域对应矩阵计算单元，所述恢复图像区域对应矩阵计算单元生成矩阵，该矩阵被应用来生成由所述恢复图像区域中的采样点数目P和所述无透镜摄像装置的像素数目N限定的P×N的所述恢复图像。
4.根据权利要求1所述的图像处理设备，其中，
所述信号处理单元包括图像估计单元，所述图像估计单元通过执行所述恢复区域中的观察图像信号和被应用以生成所述无透镜摄像装置的整个成像范围的恢复图像的矩阵的逆矩阵的运算处理来生成所述恢复图像，所述恢复区域中的观察图像信号通过从所述捕获图像区域中的采样点的发射光估计值减去未包括在所述恢复图像区域中的观察图像信号来计算，所述捕获图像区域中的采样点的发射光估计值基于被应用以生成所述无透镜摄像装置的所述整个成像范围的恢复图像的矩阵的逆矩阵和所述观察图像信号来计算。
5.根据权利要求1所述的图像处理设备，其中，
所述信号处理单元还包括捕获图像区域对应掩模矩阵计算单元，所述捕获图像区域对应掩模矩阵计算单元基于来自所述捕获图像区域中的采样点的发射光与所述图像传感器的观察值的对应关系信息来生成被应用于捕获图像区域的矩阵。
6.根据权利要求1所述的图像处理设备，其中，
所述信号处理单元将所述恢复图像区域中的采样点的密度设置为比所述捕获图像的其他区域的采样点的密度高的密度，以生成高分辨率的所述恢复图像。
7.根据权利要求1所述的图像处理设备，其中，
所述信号处理单元划分所述恢复图像区域中的采样点的发射光的波长以生成多个不同波长光单位的恢复图像。
8.根据权利要求1所述的图像处理设备，其中，
所述信号处理单元划分所述恢复图像区域中的采样点的发射光的偏振分量以生成多个不同偏振分量单位的恢复图像。
9.一种成像设备，包括：
掩模，在该掩模中设置有光的透射区域和非透射区域作为二维图案；
包括图像传感器的成像单元，所述图像传感器接收穿过所述掩模的光；以及
信号处理单元，所述信号处理单元接收作为所述图像传感器的输出的观察图像信号以生成恢复图像区域的恢复图像，所述恢复图像区域包括所述成像单元的捕获图像区域的一部分，其中，
所述信号处理单元通过执行恢复区域中的观察图像信号和被应用以生成所述恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成所述恢复图像，所述恢复区域中的观察图像信号通过从所述观察图像信号减去未包括在所述恢复图像区域中的观察图像信号来生成。
10.一种在图像处理设备中执行的图像处理方法，包括：
由所述图像处理设备所包括的信号处理单元接收作为无透镜摄像装置的图像传感器的输出的观察图像信号以生成恢复图像区域的恢复图像，所述恢复图像区域包括所述无透镜摄像装置的捕获图像区域的一部分，并且
由所述信号处理单元通过执行恢复区域中的观察图像信号和被应用以生成所述恢复图像的矩阵的逆矩阵或伪逆矩阵的运算处理来生成所述恢复图像，所述恢复区域中的观察图像信号通过从所述观察图像信号减去未包括在所述恢复图像区域中的观察图像信号来生成。
CN201880090500.5A 2018-03-06 2018-12-06 图像处理设备、成像设备以及图像处理方法 Active CN111788824B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-039315 2018-03-06
JP2018039315 2018-03-06
PCT/JP2018/045005 WO2019171691A1 (ja) 2018-03-06 2018-12-06 画像処理装置、および撮像装置、並びに画像処理方法

Publications (2)

Publication Number Publication Date
CN111788824A CN111788824A (zh) 2020-10-16
CN111788824B true CN111788824B (zh) 2022-07-08

Family

ID=67847073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090500.5A Active CN111788824B (zh) 2018-03-06 2018-12-06 图像处理设备、成像设备以及图像处理方法

Country Status (4)

Country Link
US (1) US11663708B2 (zh)
JP (1) JP7363765B2 (zh)
CN (1) CN111788824B (zh)
WO (1) WO2019171691A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230070798A1 (en) * 2020-03-31 2023-03-09 Sony Group Corporation Image processing apparatus and method, program, and image processing system
US20230367053A1 (en) * 2020-10-16 2023-11-16 Sony Group Corporation Polarization imaging device, binary mask, image processing system, and image processing method
WO2024219330A1 (ja) * 2023-04-21 2024-10-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228460A (zh) * 2005-05-23 2008-07-23 秦内蒂克有限公司 编码孔径成像系统
JP2009171191A (ja) * 2008-01-16 2009-07-30 Sanyo Electric Co Ltd 撮像装置及び撮像方法
CN102740127A (zh) * 2011-03-29 2012-10-17 索尼公司 方法、装置和系统
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
JP2014134792A (ja) * 2012-12-14 2014-07-24 Furyu Kk 画像処理装置および方法、並びにプログラム
JP2016134732A (ja) * 2015-01-19 2016-07-25 株式会社リコー 撮像装置及び撮像方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4835437B2 (ja) * 2004-07-20 2011-12-14 旭硝子株式会社 液晶レンズ素子および光ヘッド装置
US7767949B2 (en) * 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
US8558182B2 (en) * 2009-10-09 2013-10-15 University Of Rochester Optical element, device, method, and applications
US20120069209A1 (en) 2010-09-22 2012-03-22 Qualcomm Mems Technologies, Inc. Lensless camera controlled via mems array
JP5709040B2 (ja) * 2010-10-27 2015-04-30 株式会社リコー 分光画像撮像装置
JP2012124832A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
KR20120080845A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
JP2013090059A (ja) * 2011-10-14 2013-05-13 Sony Corp 撮像装置、画像生成システム、サーバおよび電子機器
JP6138222B2 (ja) * 2012-02-20 2017-05-31 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
JP6230239B2 (ja) 2013-02-14 2017-11-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US9359170B2 (en) * 2013-10-14 2016-06-07 Cedes Ag Coding device and position-determining device and position-determining method
CN107005662B (zh) * 2014-07-12 2020-04-28 雷神公司 具有集成压缩采样的读出集成电路和焦平面阵列成像系统
JP6385241B2 (ja) * 2014-10-27 2018-09-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6598473B2 (ja) * 2015-02-27 2019-10-30 キヤノン株式会社 撮像装置および画像処理装置
US20170118489A1 (en) * 2015-10-23 2017-04-27 Broadcom Corporation High Dynamic Range Non-Constant Luminance Video Encoding and Decoding Method and Apparatus
US10274652B2 (en) * 2016-02-05 2019-04-30 Rambus Inc. Systems and methods for improving resolution in lensless imaging
JP6820908B2 (ja) * 2016-02-26 2021-01-27 株式会社日立製作所 撮像装置
JP6672070B2 (ja) * 2016-05-17 2020-03-25 キヤノン株式会社 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP6688716B2 (ja) * 2016-10-04 2020-04-28 株式会社日立製作所 撮像装置および撮像方法
WO2018123318A1 (ja) * 2016-12-27 2018-07-05 富士フイルム株式会社 撮像装置及び撮像モジュール
JP6773903B2 (ja) * 2017-06-01 2020-10-21 富士フイルム株式会社 画像処理装置、撮像システム、画像処理方法、及び記録媒体
WO2018221025A1 (ja) * 2017-06-01 2018-12-06 富士フイルム株式会社 撮像装置、画像処理装置、撮像システム、画像処理方法、及び記録媒体
CN107290846B (zh) * 2017-08-04 2019-06-21 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
JP6934072B2 (ja) * 2017-12-26 2021-09-08 富士フイルム株式会社 撮像装置
WO2019176349A1 (ja) * 2018-03-14 2019-09-19 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228460A (zh) * 2005-05-23 2008-07-23 秦内蒂克有限公司 编码孔径成像系统
JP2009171191A (ja) * 2008-01-16 2009-07-30 Sanyo Electric Co Ltd 撮像装置及び撮像方法
CN102740127A (zh) * 2011-03-29 2012-10-17 索尼公司 方法、装置和系统
WO2014010726A1 (ja) * 2012-07-12 2014-01-16 株式会社ニコン 画像処理装置及び画像処理プログラム
JP2014134792A (ja) * 2012-12-14 2014-07-24 Furyu Kk 画像処理装置および方法、並びにプログラム
JP2016134732A (ja) * 2015-01-19 2016-07-25 株式会社リコー 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US11663708B2 (en) 2023-05-30
WO2019171691A1 (ja) 2019-09-12
JP7363765B2 (ja) 2023-10-18
US20200410654A1 (en) 2020-12-31
CN111788824A (zh) 2020-10-16
JPWO2019171691A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
Wei et al. A physics-based noise formation model for extreme low-light raw denoising
Young et al. Fundamentals of image processing
JP4593449B2 (ja) 検知装置及びエネルギー場の検知方法
US11169367B2 (en) Three-dimensional microscopic imaging method and system
JP6214562B2 (ja) 適応型多次元データ分解
Raskar et al. Glare aware photography: 4D ray sampling for reducing glare effects of camera lenses
Kronander et al. A unified framework for multi-sensor HDR video reconstruction
JP2022509034A (ja) ニューラルネットワークを使用した輝点除去
CN111788824B (zh) 图像处理设备、成像设备以及图像处理方法
Hajisharif et al. Adaptive dualISO HDR reconstruction
JP6672070B2 (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2020501262A (ja) 光学系収差のデジタル補正
Lin et al. High dynamic range imaging for stereoscopic scene representation
CN111201783B (zh) 成像装置和方法以及图像处理装置和方法
JP7253634B2 (ja) 結合前ノイズ除去による高ダイナミックレンジ画像生成
JP2013242658A (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
CN111080774B (zh) 一种应用深度采样进行光场重构的方法及系统
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Nguyen et al. Multi-mask camera model for compressed acquisition of light fields
JP2013128212A (ja) 画像処理装置および撮像装置並びにその方法
Bisagno et al. Virtual camera modeling for multi-view simulation of surveillance scenes
Schöberl et al. Building a high dynamic range video sensor with spatially nonregular optical filtering
JP2020031327A (ja) レンズレス撮像装置
WO2019057807A1 (en) HARMONIZING IMAGE NOISE IN A CAMERA DEVICE OF A MOTOR VEHICLE
Alam et al. Reduction of glare in images with saturated pixels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant