[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107896292A - 摄像装置和摄像方法 - Google Patents

摄像装置和摄像方法 Download PDF

Info

Publication number
CN107896292A
CN107896292A CN201710828127.6A CN201710828127A CN107896292A CN 107896292 A CN107896292 A CN 107896292A CN 201710828127 A CN201710828127 A CN 201710828127A CN 107896292 A CN107896292 A CN 107896292A
Authority
CN
China
Prior art keywords
pattern
camera device
modulator
data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710828127.6A
Other languages
English (en)
Other versions
CN107896292B (zh
Inventor
中村悠介
岛野健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN107896292A publication Critical patent/CN107896292A/zh
Application granted granted Critical
Publication of CN107896292B publication Critical patent/CN107896292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1842—Gratings for image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0087—Phased arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1866—Transmission gratings characterised by their structure, e.g. step profile, contours of substrate or grooves, pitch variations, materials
    • G02B5/1871—Transmissive phase gratings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/955—Computational photography systems, e.g. light-field imaging systems for lensless imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种摄像装置和摄像方法，其降低显像处理的运算量。摄像装置包括：具有第一图样、对光的强度进行调制的调制器，将从调制器透射的光变换为图像数据输出的图像传感器，和基于图像数据与表示第二图样的图样数据之间的互相关运算使像复原的图像处理部。

Description

摄像装置和摄像方法
技术领域
本发明涉及摄像装置和摄像方法。
背景技术
智能手机等中安装的数字照相机需要实现薄型化。作为这种数字照相机的薄型化技术，例如有不使用镜头来获得物体的像的技术(例如参考专利文献1)。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2014/0253781号说明书
发明内容
发明要解决的技术问题
专利文献1中，在贴合在图像传感器上的基板的上表面形成有光栅图样。该光栅图样是螺旋状等特殊的图样。并且，专利文献1中为了使像复原(显像)，需要根据图像传感器接收到的投影图样求解逆问题。因此存在求解该逆问题时的运算量较大的问题。
于是，本发明目的在于提供一种减少显像处理的运算量的技术。
解决问题的技术手段
本申请包括多种解决上述问题之至少一部分的技术手段，举其一例如下。为了解决上述问题，本发明一个方式的摄像装置的特征在于，包括：调制器，其具有第一图样，用于对光的强度进行调制；图像传感器，其将从所述调制器透射的光转换为图像数据而输出；和图像处理部，其基于所述图像数据与表示第二图样的图样数据之间的互相关运算来使像复原。
发明效果
根据本发明，能够减少显像处理的运算量。上述以外的技术问题、技术特征和技术效果将通过以下实施方式的说明来明确。
附图说明
图1是表示应用了第一实施方式的摄像装置的便携终端之示例的图。
图2是表示便携终端具备的摄像装置的结构例的图。
图3是表示调制器和图像传感器的图。
图4是表示调制器和图像传感器之另一例的图。
图5是表示Gabor波带片之示例的图。
图6是表示Fresnel波带片之示例的图。
图7是说明从调制器透射的光在图像传感器上的投影像的图。
图8是表示投影在图像传感器上的投影像之示例的图。
图9表示存储在存储装置中的显像用图样数据的图样例。
图10是表示互相关运算得到的显像图像之示例的图。
图11是说明摄像装置的视野角的图。
图12是说明来自物体各点的光相对于图像传感器所成的角的图。
图13是表示摄像装置的动作例的流程图。
图14是表示图像处理部的功能模块结构例的图。
图15是表示三值化的图样之示例的图。
图16是表示改变了透射率高的部分与透射率低的部分的占空比的图样之示例的图。
图17是表示第二实施方式的摄像装置的动作例的流程图。
图18是表示图像处理部的功能模块结构例的图。
图19是表示第三实施方式的摄像装置的结构例的图。
图20是说明物体位于无穷远的情况下在图像传感器上的投影的图。
图21是说明物体位于有限距离的情况下在图像传感器上的投影的图。
图22是表示摄像装置的动作例的流程图。
图23是说明噪声的图。
图24是表示条纹扫描中的初始相位的组合例的图之一。
图25是表示条纹扫描中的初始相位的组合例的图之二。
图26是表示条纹扫描中的初始相位的组合例的图之三。
图27表示消除噪声后的图像数据的示例。
图28是表示第四实施方式的摄像装置的结构例的图。
图29是表示调制器显示的多种初始相位之示例的图。
图30是表示摄像装置的动作例的流程图。
图31是表示第五实施方式的摄像装置的结构例的图。
图32表示在调制器上形成的图样例。
图33是表示Fresnel波带片之示例的图。
图34是表示图33的Fresnel波带片的自相关函数的图。
图35是表示第六实施方式的随机图样之示例的图。
图36是表示图35的随机图样的自相关函数的图。
图37是说明相关函数的扩展的图。
图38是表示第七实施方式的摄像装置的动作例的流程图。
图39是表示第八实施方式的RLL图样的一部分的图。
图40是表示图39的RLL图样的自相关函数的图。
图41是表示第九实施方式的图样例的图。
图42是表示使用了图41的图样的摄像装置之示例的图之一。
图43是表示使用了图41的图样的摄像装置之示例的图之二。
图44是表示使用了图41的图样的摄像装置之示例的图之三。
具体实施方式
在以下实施方式中，为了方便起见而在需要时划分为多个章节或实施方式进行说明，但除特别声明的情况外，他们并不是相互无关的，而是存在一方为另一方的一部分或全部的变形例、详细说明、补充说明等的关系。
另外，以下实施方式中，在提及要素的数量等(包括个数、数值、量、范围等)的情况下，除特别声明的情况和原理上明显限定为特定数量等情况外，都不限定于该特定的数量，可以是特定数量以上或以下。
进而，以下实施方式中，其构成要素(也包括要素步骤等)，除特别声明的情况和原理上认为明显必要等情况外，都不是必须的。
同样地，以下实施方式中，在提及构成要素等的形状、位置关系等时，除特别声明的情况和原理上认为明显不可能等情况外，也包括实质上与其形状等近似或类似等情况。这一点对于上述数值和范围也是同样的。
另外，在用于说明实施方式的全部图中，对于相同的部件原则上标注相同的标记，省略其重复的说明。以下参考附图说明本发明的实施方式。
[第一实施方式]
图1是表示应用了第一实施方式的摄像装置的便携终端之示例的图。图1所示的便携终端1例如是智能手机。图1中除了便携终端1之外还示出了被摄体2。
便携终端1具有摄像装置(未图示)。便携终端1包括显示器，将摄像装置拍摄的被摄体显示在显示器上。
便携终端1所包括的摄像装置是无镜头照相机。即，便携终端1所包括的摄像装置获取外界的被摄体2的图像而无需使用成像的镜头。由此，便携终端1能够实现小型化、薄型化和轻量化。
图2是表示便携终端1所包括的摄像装置的结构例的图。如图2所示，摄像装置10包括调制器11、图像传感器12和图像处理部13。
在调制器11上例如形成有同心圆状的图样。从调制器11透射的光被形成在调制器11上的同心圆状的图样实施强度调制，由图像传感器12接收。调制器11被密合地固定在图像传感器12的受光面上。
图像传感器12将从调制器11透射的光转换为图像数据，对图像处理部13输出。
图像处理部13基于从图像传感器12输出的图像数据与表示规定图样的图样数据之间的互相关运算，复原被摄体2的像。
用于根据图像传感器12的图像数据使被摄体2的像复原(显像)的图样数据被预先存储在存储装置(未图示)中。图样数据例如是具有与调制器11所具有的图样同样的图样(图2所示的同心圆状的图样)的图像数据。以下也将图样数据称为显像用图样数据。
图像处理部13所复原的像的图像例如显示在便携终端1所包括的显示器(未图示)上。
图3是表示调制器11和图像传感器12的图。图3中，对于与图2相同的部分标注相同的标记。如图3所示，调制器11具有图样11a和基板11b。
图样11a具有同心圆状的形状。图样11a从中心越去往外侧间隔(间距)越变窄。具体而言，图样11a中，间隔按照与自中心起的半径成反比的方式变窄。
图样11a是例如通过半导体工艺中使用的溅射法等将铝、铬等金属蒸镀在基板11b上而形成的。图样11a由蒸镀了铝等的图样和未蒸镀铝等的图样之间的深浅所形成。
另外，图样11a不限定于此，例如也可以通过喷墨打印机等进行印刷等方法而形成深浅。即，只要能够实现透射率调制，图样11a就可以任意地形成。
在摄像装置10用于可见光摄影的情况下，基板11b例如由玻璃或塑料等对可见光透明的材料形成。另一方面，在摄像装置10用于远红外线摄影的情况下，基板11b例如由锗、硅、硫族化物等对远红外线透明的材料形成。即，基板11b使用对作为拍摄对象的波长透明的材料即可。另外，图样11a使用将作为拍摄对象的波长屏蔽的材料即可。
图像传感器12例如是CCD(Charge Coupled Device)图像传感器或CMOS(Complementary Metal Oxide Semiconductor)图像传感器。在图像传感器12的表面，作为受光元件的像素12a以格子状规则地配置。图像传感器12将像素12a接收到的光图像转换为电信号即图像信号(图像数据)。
对调制器11和图像传感器12的另一例进行说明。
图4是表示调制器11和图像传感器12之另一例的图。图4中，对于与图3相同的部分标注相同的标记。
图4的例子中，图样11a形成在薄膜上。形成有图样11a的薄膜被4个支承部件11c设置成与图像传感器12相对。调制器11和图像传感器12也可以如图4所示地形成。另外，在下文中，只要没有特别提示，调制器11和图像传感器12的结构采用图3所示的结构。
对摄像装置10的摄影原理进行说明。间距按照与自中心起的半径成反比的方式变小的同心圆状的图样定义如下。
首先，假定在激光干涉仪等中使接近于平面波的球面波与用作参考光的平面波干涉的情况。令自同心圆的中心也就是基准坐标起的半径为“r”，该处的球面波的相位为“Φ(r)”，则相位“Φ(r)”使用系数β由下式(1)给出，其中系数β决定波前的弯曲程度的大小。
[式1]
φ(r)＝βr2…(1)
虽然是球面波，但之所以由半径“r”的平方表示，是因为这是接近平面波的球面波，所以仅用展开项的最低次就能够近似。使具有该相位分布的光与平面波干涉，得到下式(2)给出的干涉条纹的强度分布。
[式2]
这是在满足下式(3)的半径处具有亮线的同心圆的条纹。
[式3]
φ(r)＝βr2＝2nπ(n＝0，1，2，…)…(3)
令条纹的间距为“p”，可得到下式(4)。
[式4]
根据式(4)可知，间距随半径“r”成反比地变窄。对于具有这样的条纹的片材(图样)，将深浅以正弦波状连续变化的片称作Gabor波带片，将深浅以2个色阶变化的片称作Fresnel波带片。
图5是表示Gabor波带片之示例的图。Gabor波带片的条纹的深浅以正弦波状连续变化。
图6是表示Fresnel波带片之示例的图。Fresnel波带片的条纹的深浅以2个色阶变化。下文在不区分Gabor波带片和Fresnel波带片的情况下，有时也仅称为“波带片”。
此后，为了便于说明，仅对x轴方向使用公式进行说明，但通过对y轴方向也同样地考虑，能够展开至二维。
图7是说明从调制器11透射的光在图像传感器12上的投影像的图。图7示出了调制器11的图样11a和基板11b。
如图7所示，令平行光以角度“θ0”入射到形成有图样11a的厚度“d”的基板11b上。令基板11b中的折射角为“θ”，在几何光学上，乘以了表面的图样11a的透射率的光发生“k＝d·tanθ”的偏移，入射到图像传感器12上。此时，在图像传感器12中，检测出具有下式(5)所示的强度分布的投影像。其中，式(5)的“ΦF”表示式(2)的干涉条纹强度分布的初始相位。
[式5]
IF(x)＝1+cos[β(x+k)2+ΦF]…(5)
图像处理部13利用式(5)所示的投影像(从图像传感器12输出的图像数据)与预先存储在存储装置中的显像用图样数据之间的互相关运算，得到显像图像。显像用图样数据的图样具有与形成在调制器11上的波带片同样的图样，若令初始相位为“ΦB”则由下式(6)给出。
[式6]
IB(x)＝cos(βx2+ΦB)…(6)
显像用图样数据是信号处理中使用的数据。因此，显像用图样数据的图样不需要如式(5)那样具有偏置“1”，可以具有负值。
图8是表示投影在图像传感器12上投影的投影像之示例的图。入射到调制器11上的光如式(5)所示地偏移k而投影到图像传感器12上。
图9表示存储在存储装置中的显像用图样数据的图样例。图像处理部13例如在存储装置中存储具有图9所示的图样的显像用图样数据。
图10是表示经互相关运算得到的显像图像之示例的图。图像处理部13如上所述进行从图像传感器12输出的图像数据与预先存储在存储装置中的显像用图样数据之间的互相关运算。例如，图像处理部13进行图8所示的投影像的图像数据与图9所示的预先存储在存储装置中的显像用图样数据之间的互相关运算，得到如图10所示的显像图像(亮点)。即，图像处理部13通过式(5)所示的图像传感器12上的投影像(从图像传感器12输出的图像数据)与存储在存储装置中的式(6)所示的显像用图样数据之间的互相关运算，得到偏移量“k”的亮点。
作为互相关运算有卷积运算。例如，图像处理部13利用从图像传感器12输出的图像数据与预先存储在存储装置中的显像用图样数据之间的二维卷积运算，得到二维的显像图像。
对摄像装置10的视野角进行说明。
图11是说明摄像装置10的视野角的图。图11中示出了调制器11的图样11a和基板11b。
令摄像装置10能够检测的平行光的入射角的最大角度为“θmax”。最大角度“θmax”如图11所示，是连接图样11a的中心与基板11b的下表面的端部(图像传感器12的端部)的光线的角度，由下式(7)给出。
[式7]
其中，最大角度“θmax”也是图像传感器12上的投影像与显像用图样数据的互相关函数的峰值在图像传感器12的端部出现时的角度。
基于使用通常的镜头成像的情况进行类推，考虑使视野角“θmax”的平行光聚焦在图像传感器12的端部接收的情况，不使用镜头的摄像装置10的有效焦距由下式(8)给出。
[式8]
此处，根据式(7)可知，视野角能够通过调制器11的厚度“d”来变更。从而，在摄像装置10中，若调制器11例如具有图4所示的结构，并且具有能够变更支承部件11c的长度的功能，就能够在摄影时变更视野角进行拍摄。
对以上说明的平行光与来自实际物体的光的对应关系进行说明。
图12是说明来自物体各点的光相对于图像传感器12所成的角的图。图12中示出了被摄体2、调制器11和图像传感器12。图12中，将调制器11与图像传感器12称为图像传感器一体基板A1。
来自被摄体2各点的光，严格说来是作为来自点光源的球面波入射到图像传感器一体基板A1上的。在图像传感器一体基板A1相对于被摄体2充分小的情况、或者充分远的情况下，从各点照射到图像传感器一体基板A1上的光的入射角能够视为相同。从而，摄像装置10在如上所述的条件下能够认为是在拍摄无穷远的物体。
对图像处理部13的动作进行说明。
图13是表示摄像装置10的动作例的流程图。摄像装置10例如在用户按下便携终端1的快门按钮时，开始图13所示的流程图的处理。
首先，图像处理部13取得图像传感器12拍摄的图像数据(步骤S1)。
接着，图像处理部13取得存储在存储装置中的显像用图样数据(步骤S2)。
然后，图像处理部13进行步骤S1取得的图像传感器12的图像数据与步骤S2取得的存储在存储装置中的显像用图样数据之间的互相关运算(步骤S3)。例如，图像处理部13进行二维卷积运算作为互相关运算。
接着，图像处理部13对步骤S3计算出的图像数据(显像图像的图像数据)进行去噪(步骤S4)。
然后，图像处理部13对经步骤S4去噪后的图像数据实施对比度增强(步骤S5)。
接着，图像处理部13对经步骤S5实施了对比度增强处理的图像数据进行色彩平衡调整(步骤S6)。
然后，图像处理部13将经步骤S6进行了色彩平衡调整的图像数据输出到便携终端1的显示器(步骤S7)。
通过以上处理，便携终端1拍摄的被摄体2被显示在便携终端1的显示器上。
图14是表示图像处理部13的功能模块结构例的图。如图14所示，图像处理部13包括图像输入部13a、存储装置13b、互相关运算部13c、去噪部13d、对比度增强部13e、色彩平衡调整部13f和输出部13g。图14所示的各功能可以通过CPU(Central Processing Unit)执行程序而实现，也可以由逻辑电路等硬件实现。
图像输入部13a用于输入从图像传感器12输出的图像数据。
存储装置13b中预先存储有显像用图样数据，该显像用图样数据具有与形成在调制器11上的图样11a同样的图样。
互相关运算部13c进行图像输入部13a所输入的图像数据与存储在存储装置13b中的显像用图样数据之间的互相关运算。例如，互相关运算部13c进行图像输入部13a所输入的图像数据与存储在存储装置13b中的显像用图样数据之间的二维卷积运算。
去噪部13d对由互相关运算部13c运算得到的图像数据进行去噪。
对比度增强部13e进行由去噪部13d去噪后的图像数据的对比度增强。
色彩平衡调整部13f进行由对比度增强部13e增强对比度后的图像数据的色彩平衡调整。
输出部13g将由色彩平衡调整部13f实施了色彩平衡调整的图像数据输出到显示器上。
如以上说明，摄像装置10的调制器11具有图样11a来对光的强度进行调制。图像传感器12将从调制器11透射的光转换为图像数据进行输出。然后，图像处理部13基于从图像传感器12输出的图像数据与表示规定图样的显像用图样数据之间的互相关运算来使像复原。例如，图像处理部13基于从图像传感器12输出的图像数据与显像用图样数据之间的卷积运算来使像复原。
由此，摄像装置10能够减小显像处理的运算量。例如，与根据从光栅基板透射的光在图像传感器上生成的投影图样，基于逆问题来计算入射光的入射角的摄像装置相比，摄像装置10能够减小运算量。
另外，摄像装置10因为减小了运算量，所以能够缩短在显示器上显示图像所需要的时间。
另外，摄像装置10因为减小了运算量，所以例如不需要使用高性能的CPU，能够实现低成本和功耗的降低。
另外，以上说明了将摄像装置10应用于便携终端1的例子，但也能够应用于数字照相机等其他电子设备。
另外，以上说明中，入射到摄像装置10中的光线同时仅有1个入射角度。但是，摄像装置10要想实际起到照相机的作用，必须设想多个入射角度的光同时入射到摄像装置10上的情况。这样的多个入射角的光在入射到图像传感器12上时，多个图样11a的像将会重合。不过，在通常的光源的照明下，入射光是非相干的，相互不造成影响，所以能够独立地考虑。
另外，显像用图样数据预先存储在存储装置13b中，但不限于此。图像处理部13也可以在拍摄被摄体2时基于式(6)生成显像用图样数据。
另外，式(2)所示的透射率分布基本上设想具有正弦波的特性，但只要包括这样的成分作为图样11a的基频成分即可。
图15是表示三值化的图样11a之示例的图。如图15所示，图样11a的透射率也可以进行三值化。由此，图样11a能够按3种透射率制造，所以能够降低制造难度。
图16是表示改变了透射率高的部分与透射率低的部分的占空比的图样11a之示例的图。如图16所示，图样11a中可以使透射率高的部分比透射率低的部分更宽。由此，摄像装置10能够得到抑制从图样11a发生衍射等效果，减少摄影像的劣化。
[第二实施方式]
第二实施方式中使用傅立叶变换作为互相关运算。由此，与卷积运算相比减小了运算量。第二实施方式的摄像装置具有与图2所示的摄像装置10同样的结构，但图像处理部13的功能有部分不同。以下对于与第一实施方式不同的部分进行说明。
第二实施方式中，图像处理部13对从图像传感器12输出的图像数据进行傅立叶变换。即，图像处理部13对上述式(5)进行傅立叶变换。对式(5)进行傅立叶变换的结果如下式(9)所示。
[式9]
在图像处理部13具有的存储装置中，预先存储了经傅立叶变换的显像用图样数据。即，在存储装置中，存储有对上述式(6)进行了傅立叶变化而得到的数据。对式(6)进行傅立叶变换的结果如下式(10)所示。
[式10]
式(9)和式(10)所示的“F”表示傅立叶变换的运算，“u”表示x轴方向的频率坐标。式(9)的“δ”是δ函数。
式(9)和式(10)中重要的一点在于，傅立叶变换后的公式也是波带片。即，图像处理部13能够对经傅立叶变换的图像数据应用经傅立叶变换的显像用图样数据来获得显像图像。使式(9)与式(10)相乘，结果如式(11)所示。
[式11]
式(11)的指数函数所示的项“exp(-iku)”是信号成分，对该项进行逆傅立叶变换，结果如式(12)所示。
[式12]
根据式(12)，在原本的x轴上，能够在“k”的位置得到亮点(参考图10)。该亮点表示无穷远的光束，只能是从图像处理部13得到的摄影像。
这样，图像处理部13对从图像传感器12输出的图像数据进行傅立叶变换，并将经傅立叶变换的图像数据与预先存储在存储装置中的经傅立叶变换的显像用图样数据相乘，由此能够得到显像图像。另外，因为利用了傅立叶变换，用于获得显像图像的运算是乘法运算，所以图像处理部13能够减小运算量。
另外，式(11)的右侧第二项的“sin”运算式中，当ΦF＝ΦB＝π/4时，“sin”的初始相位为“0”。并且式(11)的右侧第一项为0，所以能够减少显像不需要的项。如果在该条件下进行显像处理，则图像处理部13能够得到噪声较少的显像图像。
图17是表示第二实施方式的摄像装置10的动作例的流程图。摄像装置10例如在用户按下便携终端1的快门按钮时，开始图17所示的流程图的处理。
首先，图像处理部13取得图像传感器12拍摄的图像数据(步骤S11)。
接着，图像处理部13对步骤S11取得的图像数据进行傅立叶变换(步骤S12)。
然后，图像处理部13取得存储在存储装置中的经傅立叶变换的显像用图样数据(步骤S13)。
接着，图像处理部13将经步骤S12进行了傅立叶变换的图像数据与步骤S13取得的经傅立叶变换的显像用图样数据相乘(步骤S14)。
接着，图像处理部13对步骤S14中相乘得到的数据进行逆傅立叶变换(步骤S15)。
步骤S16～步骤S19的处理与图13中说明的步骤S4～步骤S7相同，省略其说明。
通过以上处理，便携终端1拍摄的被摄体2被显示在便携终端1的显示器上。
图18是表示图像处理部13的功能模块结构例的图。如图18所示，图像处理部13包括图像输入部21a、傅立叶变换部21b、存储装置21c、乘法部21d、逆傅立叶变换部21e、去噪部21f、对比度增强部21g、色彩平衡调整部21h和输出部21i。图18所示的各功能可以通过CPU执行程序而实现，也可以由逻辑电路等硬件实现。
图像输入部21a用于输入从图像传感器12输出的图像数据。
傅立叶变换部21b对通过图像输入部21a输入的图像数据进行傅立叶变换。傅立叶变换部21b例如利用FFT(Fast Fourier Transform)对通过图像输入部21a输入的图像数据进行傅立叶变换。
在存储装置21c中预先存储有经傅立叶变换的显像用图样数据。
乘法部21d将经傅立叶变换部21b进行了傅立叶变换的图像数据与存储在存储装置21c中的经傅立叶变换的显像用图样数据相乘。
逆傅立叶变换部21e对从乘法部21d得到的相乘结果进行逆傅立叶变换。逆傅立叶变换部21e例如利用IFFT(Inverse Fast Fourier Transform)对从乘法部21d得到的相乘结果进行逆傅立叶变换。
去噪部21f、对比度增强部21g、色彩平衡调整部21h和输出部21i与图14所示的去噪部13d、对比度增强部13e、色彩平衡调整部13f和输出部13g相同，省略其说明。
如以上说明，摄像装置10的图像处理部13基于图像数据的傅立叶变换与显像用图样数据的傅立叶变换的乘法运算，来获得显像图像。由此，摄像装置10能够实现进一步的运算量减小。
另外，作为用傅立叶变换实施互相关运算的方法以FFT为例进行了说明，但不限定于此。例如，摄像装置10也可以使用离散余弦变换(DCT：Discrete Cosine Transform)等，能够进一步减运算量。
[第三实施方式]
上述第一实施方式和第二实施方式中，说明了无穷远处的物体的摄影。第三实施方式说明有限距离处的物体的摄影。
图19是表示第三实施方式的摄像装置30的结构例的图。图19中，对于与图2相同的部分标注相同的标记。以下对与图2不同的部分进行说明。
如图19所示，摄像装置30包括图像存储装置31、图像处理部32和聚焦设定部33。
图像存储装置31存储从图像传感器12输出的图像数据。
图像处理部32具有与图2所示的图像处理部13同样的功能，但在生成显像用图样数据这一点上不同。即，图像处理部32不在存储装置中预先存储显像用图样数据。
聚焦设定部33为了使图像存储装置31中存储的图像数据合焦，生成放大或缩小的显像用图样数据。
图20是说明物体位于无穷远的情况下在图像传感器12上的投影的图。图20中示出了调制器11的图样11a和基板11b。另外，在基板11b的下表面密合地设置了图像传感器12，但省略其图示。
来自无穷远的物体上的点A11的球面波传播了充分长的距离的过程中成为平面波。平面波的光照射在图样11a上，对图像传感器12投影。
在物体位于无穷远的情况下，图像传感器12上投影的投影像A12成为与图样11a大致相同的形状。因此，通过进行投影像A12与显像用图样数据之间的互相关运算，能够得到单一的亮点。
图21是说明物体位于有限距离的情况下在图像传感器12上的投影的图。来自物体上的点A21的球面波的光照射在图样11a上，对图像传感器12投影。在所拍摄的物体位于有限距离的情况下，来自点A21的球面波的光的投影像A22被大致均匀地放大。
使用图样11a到点A21的距离“f”，将投影像A22的放大率“α”表示为下式(13)。
[式13]
投影像A22的放大率“α”随距离“f”而变化。因此，若直接使用针对平行光设计的显像用图样数据的透射率分布进行互相关运算，不能得到单一的亮点。为此，如果与均匀放大的投影像(从图像传感器12输出的图像数据)相应地使显像用图样数据放大，对于放大的投影像A22就能够得到单一的亮点。
例如，图像处理部13通过对存储在图像存储装置31中的图像数据与经聚焦设定部33放大或缩小的显像用图样数据进行互相关运算，能够输出单一亮点的显像图像。
另外，为了得到单一的亮点，将式(6)所示的显像用图样数据的系数“β”替换为“β/α2”即可。即，聚焦设定部33将式(6)的系数“β”替换为“β/α2”，基于放大率“α”，生成放大或缩小的显像用图样数据。
聚焦设定部33可以根据用户的操作相应地变更放大率“α”。例如，用户一边观看便携终端1的显示器一边操作GUI(Graphical User Interface)而使图像合焦，则聚焦设定部33响应该操作变更放大率“α”。另外，聚焦设定部33也可以自动地变更放大率“α”以使图像合焦。
对摄像装置30的动作例进行说明。以下对于使用傅立叶变换作为互相关运算的情况下的动作例进行说明。
图22是表示摄像装置30的动作例的流程图。摄像装置30例如在用户按下便携终端1的快门按钮时，开始图22所示的流程图的处理。
首先，图像存储装置31存储图像传感器12拍摄的图像数据(步骤S21)。
接着，图像处理部32对步骤S21存储的图像数据进行傅立叶变换(步骤S22)。
然后，聚焦设定部33决定放大率(步骤S23)。例如，聚焦设定部33响应用户的操作或自动地决定放大率。
接着，图像处理部32生成与步骤S23决定的放大率相应的显像用图样数据(步骤S24)。
然后，图像处理部32对步骤S24生成的显像用图样数据进行傅立叶变换(步骤S25)。
接着，图像处理部32将经步骤S22进行了傅立叶变换的图像数据与经步骤S25进行了傅立叶变换的显像用图样数据相乘(步骤S26)。
步骤S27～步骤S31的处理与图17中说明的步骤S15～步骤S19相同，省略其说明。
如以上说明，聚焦设定部33使与图像数据进行互相关运算的显像用图样数据放大和缩小。由此，摄像装置30能够使图像合焦。
另外，摄像装置30将从图像传感器12输出的图像数据存储在图像存储装置31中。由此，摄像装置30能够在摄影后再进行合焦。
而在现有的照相机中，为了变更焦点需要重新摄影，但摄像装置30能够在摄影后(对图像存储装置31中存储的图像数据)进行合焦，所以不需要重新摄影。
[第四实施方式]
上述第二实施方式中，着眼于式(11)中包括的信号成分进行了描述，但实际上除了信号项“exp(-iku)”还包括这之外的噪声项，妨碍清晰的显像。第四实施方式对去噪进行说明。
图23是说明噪声的图。图23的(a)表示拍摄对象。图23的(b)表示由第二实施方式的摄像装置10拍摄图23的(a)的拍摄对象时的图像。
如上所述，式(11)中包括信号项“exp(-iku)”以外的项。因此，第二实施方式的摄像装置10拍摄图23的(a)的拍摄对象时，如图23的(b)所示，图像数据中包含噪声。
于是，第四实施方式基于条纹扫描进行噪声消除。以下说明基于条纹扫描的噪声消除。
如下式(14)所示，利用三角函数的正交性，对光栅间的相乘结果关于“ΦF”和“ΦB”求积分，则噪声项被消除，留下的是信号项的常数倍。
[式14]
对式(14)进行逆傅立叶变换，变换为如下式(15)所示，在原本的x轴上能够在“k”位置得到没有噪声的亮点。
[式15]
此处，式(14)用积分形式表示，但实际上通过计算“ΦF”与“ΦB”的组合的和也可以得到同样的效果。
图24是表示条纹扫描中的初始相位的组合例的图之一。图24的“ΦF”表示形成在调制器上的图样的初始相位，“ΦB”表示显像用图样数据的初始相位。
如图24所示，“ΦF”和“ΦB”设定为将“0～2π”之间的角度进行等分。只要计算图24所示的“ΦF”与“ΦB”的组合下的和，就可以得到与式(14)同样的效果。
另外，像图24所示的组合那样，“ΦF”和“ΦB”设定为将“0～2π”之间的角度等分即可，也可以像“0，π/3，2π/3”那样进行三等分。
式(14)能够进一步简化。例如，图24中以能够独立地改变“ΦF”和“ΦB”的方式进行了计算，但对调制器所具有的图样的初始相位和显像用图样数据的初始相位应用相同的相位，即“ΦF＝ΦB”也能够消除噪声项。例如，如果在式(14)中令“ΦF＝ΦB＝Φ”，则得到下式(16)。
[式16]
如式(16)所示，在“ΦF＝ΦB＝Φ”的情况下，噪声项也被消除，留下的是信号光的常数倍。
对式(16)进行逆傅立叶变换，变换为如下式(17)所示，在原本的x轴上能够在“k”位置得到没有噪声的亮点。
[式17]
图25是表示条纹扫描中的初始相位的组合例的图之二。只要计算图25所示的“ΦF”与“ΦB”的组合(ΦF＝ΦB＝Φ)下的和，就可以得到与式(16)同样的效果。
另外，像图25所示的组合那样，“ΦF”和“ΦB”设定为将“0～2π”之间的角度等分即可，也可以像“0，π/3，2π/3”那样进行三等分。
另外，若将“ΦF”与“ΦB”的组合设为“0，π/2”，则式(14)能够进一步简化。该情况下，式(16)成为如下式(18)所示。
[式18]
如式(18)所示，在“ΦF”与“ΦB”的组合是“0，π/2”的情况下，噪声项也被消除，留下的是信号光的常数倍。
对式(18)进行逆傅立叶变换，变换为如下式(19)所示，在原本的x轴上能够在“k”位置得到没有噪声的亮点。
[式19]
图26是表示条纹扫描中的初始相位的组合例的图之三。只要计算图26所示的“ΦF”与“ΦB”的组合(ΦF＝ΦB＝Φ＝0，π/2)下的和，就可以得到与式(18)同样的效果。
其中，2个相位“Φ”需要以彼此正交(相位差＝π/2+nπ：n是整数)的方式选择。
式(14)中需要乘以“cos(ΦB-ΦF)”，式(16)和式(18)需要使2个光栅图样的相位对齐。即，以上说明的计算方法中，需要识别出形成在调制器上的图样和显像用图样数据的初始相位。为了不识别该初始相位就能够运算，可以如下式(20)所示地对光栅间的相乘结果的平方进行积分。
[式20]
式(20)中不包括“ΦF”和“ΦB”。即，通过用式(20)计算，即使在初始相位不明的情况下，也能够消除噪声。
对式(20)进行逆傅立叶变换，变换为如下式(21)所示，在原本的x轴上能够在“k”位置得到没有噪声的亮点。
[式21]
式(21)所示的“π/2β”表示亮度相对于亮点有“π/2β”的偏置，本质上不是噪声。
图27表示消除噪声后的图像数据的例子。通过使用式(14)～式(21)进行显像处理，图23(b)所示的图像数据如图27所示，噪声被消除。即，通过式(14)～式(21)中说明的条纹扫描，能够如图27所示地使拍摄对象恰当地显像。
对用于进行上述噪声消除的摄像装置的结构进行说明。在条纹扫描中，调制器需要具有初始相位不同的多个图样。为了实现初始相位不同的多个图样，以时分的方式切换调制器的图样。
图28是表示第四实施方式的摄像装置的结构例的图。图28中，对与图2相同的部分标注相同的标记。如图28所示，摄像装置40包括调制器41、调制控制部42和图像处理部43。
调制器41切换显示初始相位不同的多个图样。例如调制器41包括液晶显示元件，以电气的方式切换显示初始相位不同的多个图样。
图29是表示供调制器41显示的多个初始相位之示例的图。图29的(a)示出了供调制器41显示的初始相位“ΦF”或“Φ”为“0”时的图样例。图29的(b)示出了供调制器41显示的初始相位“ΦF”或“Φ”为“π/2”时的图样例。图29的(c)示出了供调制器41显示的初始相位“ΦF”或“Φ”为“π”时的图样例。图29的(d)示出了供调制器41显示的初始相位“ΦF”或“Φ”为“3π/2”时的图样例。
回到图28的说明。调制控制部42同步地控制调制器41的图样的切换时刻和图像传感器12的快门时刻。例如，调制控制部42使调制器41的图样按图29所示的4种图样依次切换，同时控制图像传感器12使对被摄体进行摄影。即，为了得到1帧图像，图像传感器12对被摄体进行4次摄影(图26的情况下进行2次摄影)。
调制控制部42在切换调制器41的图样时，对图像处理部43发送切换到的图样的初始相位的信息。例如，调制控制部42在将调制器41的图样从图29的(a)所示的图样切换至图29的(b)所示的图样的情况下，对图像处理部43发送初始相位“π/2”的信息。
图像处理部43基于从调制控制部42发送来的初始相位，变更显像用图样数据的初始相位。然后，图像处理部43计算“ΦF”与“ΦB”的组合下的和(图25、图26的例子的情况下，计算“ΦF＝ΦB＝Φ”的组合下的和)。
例如，以图24的例子进行说明，图像处理部43在从调制控制部42发送来初始相位“ΦF＝0”的情况下，使显像用图样数据的初始相位“ΦB”按“0，π/2，π，3π/2”依次切换。另外，图像处理部43在从调制控制部42发送来初始相位“ΦF＝π/2”的情况下，使显像用图样数据的初始相位“ΦB”按“0，π/2，π，3π/2”依次切换。以下同样地，图像处理部43切换显像用图样数据的初始相位，对图24所示的全部组合下的相乘结果求和。
对摄像装置40的动作例进行说明。以下对于使用傅立叶变换作为互相关运算的情况下的动作例进行说明。
图30是表示摄像装置40的动作例的流程图。摄像装置40例如在用户按下便携终端1的快门按钮时，开始图30所示的流程图的处理。
首先，图像处理部43将变量“相加结果”清零(步骤S31)。
接着，调制控制部42控制调制器41的图样的初始相位(步骤S32)。例如，调制控制部42在处理每次从步骤S37跳转至该步骤S32时，依次切换图29所示的调制器41的图样。另外，调制控制部42将调制器41的图样的信息发送给图像处理部43。
然后，图像处理部43对从图像传感器12输出的图像数据进行傅立叶变换(步骤S33)。
接着，图像处理部43生成初始相位不同的显像用图样数据(步骤S34)。例如，在图24的例子的情况下，调制控制部42对于初始相位“ΦF＝0”，生成初始相位“0，π/2，π，3π/2”这4个显像用图样数据。
另外，初始相位“ΦF”例如从“ΦF＝0”起，在每次执行步骤S37的循环时，按“π/2，π，3π/2”切换。图像处理部43对于各初始相位“ΦF＝π/2，π，3π/2”，生成初始相位“0，π/2，π，3π/2”这4个显像用图样数据。
接着，图像处理部43将经步骤S33进行了傅立叶变换的图像数据与步骤S34生成的显像用图样数据相乘(步骤S35)。其中，因为存在4个显像用图样数据，所以得到4个相乘结果。
然后，图像处理部43将步骤S35计算出的相乘结果相加，进一步与变量“相加结果”中保存的相加结果相加(步骤S36)。
接着，调制控制部42判定初始相位的切换(初始相位偏移)是否全部结束(步骤S37)。例如，调制控制部42判定是否已切换了图29所示的调制器41的全部图样。
调制控制部42在步骤S37中判定为初始相位的切换尚未全部结束的情况下(S37的“否”)，使处理转移至步骤S32。另一方面，调制控制部42在步骤S37中判定为初始相位的切换已全部结束的情况下(S37的“是”)，使处理转移至步骤S38。
图像处理部43对步骤S36得到的相乘结果(变量“相加结果”中保存的相乘结果)进行逆傅立叶变换(步骤S38)。
步骤S39～步骤S42的处理与图17中说明的步骤S16～步骤S19相同，省略其说明。
如以上说明，调制控制部42以时分的方式切换调制器41的初始相位不同的多个图样。并且，图像处理部43与调制器41的初始相位的切换相应地变更显像用图样数据的初始相位。由此，摄像装置40能够通过简单的运算消除从图像传感器12得到的图像的噪声。
[第五实施方式]
上述第四实施方式中，以时分的方式切换调制器41的初始相位不同的图样。第五实施方式中，对调制器的初始相位不同的图样进行空间分割。
图31是表示第五实施方式的摄像装置的结构例的图。图31中，对与图2相同的部分标注相同的标记。如图31所示，摄像装置50包括调制器51、图像分割部52和图像处理部53。
调制器51具有多个图样。
图32表示形成在调制器51上的图样例。在调制器51上，例如如图32所示地二维地形成有多个图样。图32的例子中，多个图样各自的初始相位“ΦF”或“Φ”为“0，π/2，π，3π/2”。
另外，图32的例子中，多个图样按2×2的形式形成在调制器51上。因为基于式(18)的条纹扫描能够利用2个相位实现(参考图26)，所以该情况下多个图样按1×2的形式形成在调制器51上。
回到图31的说明。图像分割部52将从图像传感器12输出的图像数据按照与调制器51的图样配置相应的区域进行分割，依次输出到图像处理部53。在调制器51的图样配置为图32的例子的情况下，图像分割部52将图像数据分割为2×2，依次输出到图像处理部53。
图像处理部53将与调制器51的多个图样对应的初始相位的显像用图样数据例如预先存储在存储装置中。例如，在图32的例子的情况下，图像处理部53具有4个显像用图样数据。图像处理部53对于从图像分割部52输出的图像数据，使用对应的显像用图样数据，来获得显像图像。例如，图像处理部53利用从图像分割部52输出的分割后的图像数据与对应于该分割后的图像数据的显像用图样数据之间的互相关运算，来获得显像图像。
如以上说明，调制器51具有初始相位不同的多个图样。并且，图像处理部53具有与多个图样对应的不同初始相位的显像用图样数据。由此，摄像装置50能够通过简单的运算消除从图像传感器12得到的图像的噪声。
另外，调制器51以空分的方式具有多个图样，所以不需要电气地切换图样，能够低成本地制造。但是，因为摄像装置50将图像数据分割，所以分辨率实质上发生了降低。从而，在需要提高分辨率的情况下，第四实施方式中说明的时分方式更为适合。
另外，以上说明中，图像处理部53将显像用图样数据存储在存储装置中，但也可以生成显像用图样数据。
[第六实施方式]
在第六实施方式中，使用不限定于Fresnel波带片和Gabor波带片的图样。第六实施方式的摄像装置具有与图2所示的摄像装置10同样的结构，但调制器11和图像处理部13的功能有部分不同。以下对于与第一实施方式不同的部分进行说明。
首先，进行公式的泛化。式(5)是表示Gabor波带片的投影像的公式。将式(5)泛化，能够由下式(22)表示。
[式22]
IF(x)＝1+f(x+k，ΦF)…(22)
“f”优选为平均值为0、振幅为-1～+1的函数。同样地，将显像用图样数据(式(6))泛化，能够由下式(23)表示。
[式23]
IB(x)＝f(x，ΦB)…(23)
式(22)和式(23)的傅立叶变换分别如式(24)和式(25)所示。
[式24]
[式25]
此处，F[]是傅立叶变换的运算，F()是函数f的傅立叶变换，u是x方向的频率坐标，δ是δ函数。
接着，上述说明的第二实施方式中，傅立叶变换后的公式也是Gabor波带片，是实数，所以可以如式(11)那样相乘，但在泛化的情况下会成为复共轭的乘法。因此，式(24)与式(25)的乘法如式(26)所示。
[式26]
此处，“*”表示复共轭。式(26)的指数函数表示的项“exp(-iku)”为信号成分。
与第四实施方式中说明的条纹扫描同样地令“ΦF＝ΦB＝Φ”，得到下式(27)。
[式27]
式(27)中包括δ函数，但只要进行逆傅立叶变换就会成为常数，所以不是本质上的噪声。因此，如果对除此之外的项进行逆傅立叶变换，就得到下式(28)。
[式28]
此处，“*”表示卷积运算。因此，为了使式(28)成为单一的亮点(δ函数)，优选使用功率谱“|F(u,Φ)|2”在频率“u”整个范围内接近常数的函数f作为图样。
作为功率谱为常数的函数f，例如有随机数。通过使用随机的图样作为调制器11的图样和图像处理部13的显像用图样数据，能够实现抑制了噪声项的影响的摄影。另外，根据式(28)可知，显像图像的分辨率由函数f的功率谱的傅立叶变换的响应所决定。功率谱的傅立叶变换是自相关函数，总而言之，图样的自相关函数是显像图像的PSF(Point SpreadFunction，点扩散函数)，其决定分辨率。
图33是表示Fresnel波带片之示例的图。图33中示出了Fresnel波带片的一部分(例如图6所示的Fresnel波带片的左上部分)。
图33中，作为表示图样的精细度的指标，如下式(29)所示地定义按传感器尺寸将“β”标准化而得到的“Z4”。
[式29]
图33的(a)示出了“Z4＝512”、图33的(b)示出了“Z4＝256”、图33的(c)示出了“Z4＝128”、图33的(d)示出了“Z4＝64”的Fresnel波带片的例子。另外，图样的1个像素的尺寸为图像传感器的像素的尺寸。
图34是表示图33的Fresnel波带片的自相关函数的图。图34的横轴表示Lag(偏移)，纵轴表示ACF(Autocorrelation function，自相关函数)。
图34所示的“Z4＝512”的曲线图表示图33的(a)的图样的自相关函数。图34所示的“Z4＝256”的曲线图表示图33的(b)的图样的自相关函数。图34所示的“Z4＝128”的曲线图表示图33的(c)的图样的自相关函数。图34所示的“Z4＝64”的曲线图表示图33的(d)的图样的自相关函数。
如图34所示可知，图样的间距越细(Z4的值越大)，ACF主瓣的半高宽越小，分辨率越高。
图35是表示第六实施方式的随机图样之示例的图。图35示出了随机图样的一部分。图35的(a)示出了最小图样宽度为“1像素”、图35的(b)示出了最小图样宽度为“2像素”、图35的(c)示出了最小图样宽度为“4像素”、图35的(d)示出了最小图样宽度为“8像素”的随机图样的例子。
图36是表示图35的随机图样的自相关函数的图。图36的横轴表示Lag，纵轴表示ACF。
图36所示的“Min＝1”的曲线图表示图35的(a)的随机图样的自相关函数。图36所示的“Min＝2”的曲线图表示图35的(b)的图样的自相关函数。图36所示的“Min＝4”的曲线图表示图35的(c)的图样的自相关函数。图36所示的“Min＝8”的曲线图表示图35的(d)的图样的自相关函数。
如图36所示可知，与Fresnel波带片相比，随机图样更加抑制了周边的噪声。
如以上说明，作为形成在调制器11上的图样和图像处理部13的显像用图样数据的图样，应用随机图样。由此，也能够抑制显像图像的噪声。
另外，如果随机图样的自相关函数具有单一的峰值，则更加能够抑制显像图像的噪声。
另外，由于摄像装置10使用Fresnel波带片以外的任意的图样，因此能够提高设计自由度。
另外，除随机图样之外也能够使用任意的图样。例如，只要是如图34或图36所示这样——图样的自相关函数具有单一的主瓣，并且存在于主瓣周边的副瓣至少不超过主瓣——的函数，则除随机图样以外能够使用任意的图样。另外，优选是如图34、图36所示，副瓣的峰值随着远离主瓣而单调减小的函数。例如，也能够使用在散射体上照射相干光时产生的散斑图样等作为图样。
另外，以上说明了选择式(27)的功率谱“|F(u,Φ)|2”在频率“u”整个范围内接近常数的函数f，但能够知道，只要将式(27)的结果除以功率谱“|F(u,Φ)|2”，噪声成分就能够被消除。不过，在功率谱中包括“0”的情况下，会发生除以“0”的情况，所以该情况下，需要选择功率谱中不具有“0”的图样。
另外，在式(22)～式(28)的展开中，不设置函数f为实数这一限制，即使是复函数也能够成立。即，采用不是进行透射率调制，而是还附加相位调制的图样也能够实现。
另外，如果不公开形成在调制器上的图样而是将其保密，则图像传感器输出将被光学加密。在其显像处理中需要知晓摄影时的图样，能够提高安全性。为了进一步强化基于该加密效果实现的保密性，如果能够电气地切换显示摄影用图样，并在拍摄者、显像者之间共享图样，则不用担心图样被分析出来，保密性进一步得到提高。
[第七实施方式]
在第七实施方式中，减小从调制器的透射的光的因衍射造成的影响。第七实施方式的摄像装置具有与图2所示的摄像装置10同样的结构，但图像处理部13的功能有部分不同。以下对于与第一实施方式不同的部分进行说明。
在Fresnel波带片中，越接近端部，图样的间距“p(r)”越窄，衍射的影响越大。在该影响下，从调制器11透射的投影像将模糊地投影到图像传感器上。在对该模糊的图像数据，例如用第一实施方式中说明的方法显像的情况下，相关函数发生扩展，分辨率降低。
图37是说明相关函数的扩展的图。图37的横轴表示Lag，纵轴表示ACF。图37的虚线所示的曲线图表示图33的(d)的“Z4＝64”的情况下的相关函数的结果。
此处，因该衍射而扩大的间距由下式(30)表示。
[式30]
“d”例如表示图3所示的基板11b的厚度，“n”表示基板11b的折射率，“λ”表示入射光波长。这样，衍射的量能够基于“d，n，λ”这些参数预先推算。从而，图像处理部13只要生成考虑了该衍射的显像用图样数据，就能够补偿衍射造成的影响。例如，图像处理部13基于调制器11的厚度、调制器11的折射率和拍摄对象的波长，推算调制器11所具有的图样投影到图像传感器12上时的衍射像，根据推算的衍射像生成显像用图样数据。
图37的点划线表示考虑了衍射的显像用图样数据的相关函数。如图37的点划线所示，可知分辨率得到了提高。
对摄像装置10的动作例进行说明。以下对于使用傅立叶变换作为互相关运算的情况下的动作例进行说明。
图38是表示第七实施方式的摄像装置10的动作例的流程图。摄像装置10例如在用户按下便携终端1的快门按钮时，开始图38所示的流程图。
首先，图像处理部13取得图像传感器12拍摄的图像数据(步骤S41)。
接着，图像处理部13对步骤S41取得的图像数据进行傅立叶变换(步骤S42)。
然后，图像处理部13推算投影到图像传感器12上的投影像的衍射量(步骤S43)。例如，图像处理部13基于调制器11的厚度、调制器11的折射率和拍摄对象的波长来推算衍射量。
接着，图像处理部13基于步骤S43推算出的衍射量，生成显像用图样数据(步骤S44)。即，图像处理部43生成用于补偿投影到图像传感器12上的投影像的衍射的显像用图样数据。
接着，图像处理部13对步骤S44生成的显像用图样数据进行傅立叶变换(步骤S45)。
步骤S46～步骤S51的处理与图17中说明的步骤S14～步骤S19相同，省略其说明。
以上说明中，图像处理部43要生成显像用图样数据，但也可以预先生成显像用图样数据，并将该显像用图样数据经傅立叶变换后的数据存储在存储装置中。该情况下，不需要图38的步骤S43～S45的处理。然后，图像处理部43读取存储在存储装置中的经傅立叶变换后的显像用图样数据即可。
如以上说明，显像用图样数据是这样生成的，即，基于调制器11的厚度、调制器11的折射率和拍摄对象的波长推算调制器11所具有的图样11a投影到图像传感器12上时的衍射像，并根据推算出的衍射像而生成显像用图样数据。由此，摄像装置10能够抑制因衍射导致的画质降低。
另外，以上为了计算衍射的图样以式(30)为例进行了说明，但为了更严格地进行计算，能够使用基于Fresnel衍射公式的衍射像计算、基于平面波展开法的波前推算、基于FDTD(Finite-difference Time-Domain，时域有限差分)法的电磁波分析等。另外，这些运算一般较为耗时，所以通过例如事先计算好，并将计算得到的结果进行傅立叶变换后保存在存储装置中适当读取，由此能够实现高速化、电路规模减小。
另外，由式(30)可知，衍射量依赖于其波长。由此，在图像传感器12为彩色传感器的情况下，可以按RGB分别处理，对各色的波长计算衍射的图样，生成RGB各自的显像用图样数据。由此，能够得到没有色差的显像图像。
另外，以上说明以Fresnel波带片和Gabor波带片为例进行了说明，但对于随机图样等也能够同样地应用。
[第八实施方式]
上述第七实施方式中，利用显像用图样数据的图样减小从调制器透射的光的衍射的影响。第八实施方式中，利用形成在调制器上的图样和显像用图样数据的图样来减小光的衍射的影响。第八实施方式的摄像装置具有与图2所示的摄像装置10同样的结构，但调制器11和图像处理部13的功能有部分不同。以下对于与第一实施方式不同的部分进行说明。
在图35所示的随机图样中，与图35的(a)相比，图35的(d)的间距更大，不容易受到衍射的影响。但是，如图36所示，间距大的图样的相关函数扩展得较大，显像图像的分辨率降低。于是，为了兼顾两者，作为调制器11的图样11a和显像用图样数据使用应用了二维RLL(Run-Length Limited，游程长度受限)调制的图样，下面对该方法进行描述。
二维RLL调制是这样一种调制方式，其施加限制使得1个方向上的透射/非透射像素的最小连续数量为K(K≥2，K：自然数)，并使与其正交的方向上的透射/非透射像素的最小连续数量为L(L≥2，L：自然数)。
图39是表示第八实施方式的RLL图样的一部分的图。图39的(a)表示最小连续数量为1像素、图39的(b)表示最小连续数量为2像素、图39的(c)表示最小连续数量为4像素、图39的(d)表示最小连续数量为8像素的RLL图样。与图35所示的随机图样的不同在于，例如图35的(b)的随机图样仅存在“2，4，6，8，……”这样的偶数图样，而图39的(b)的RLL图样可以存在“2，3，4，5，6，7，8，……”这样的除了1以外的图样。从而，相关函数表现出不同。
图40是表示图39的RLL图样的自相关函数的图。图36的横轴表示Lag，纵轴表示ACF。
图40所示的实线的曲线图表示图35的(d)所示的随机图样的AFC。图40所示的虚线的曲线图表示图39的(d)所示的RLL图样的AFC。如图40所示，能够确认二维RLL图样的ACF主瓣的半高宽略微减小，能够减小衍射的影响。
如以上说明，对于调制器11所具有的图样11a和显像用图样数据的图样，应用二维RLL调制。由此，摄像装置10能够抑制因衍射导致的画质降低。
[第九实施方式]
第九实施方式中，对于不是二维方向的摄像、而是限定于一维方向的摄像进行说明。
图41是表示第九实施方式的图样例的图。形成在调制器上的图样和显像用图样数据的图样如图41所示为一维方向的图样。这样，通过使用在垂直方向上连续形成为同一图样的图样，摄像装置仅进行水平方向的图像复原。
图42是表示使用了图41的图样的摄像装置之示例的图之一。如图42所示，摄像装置60包括调制器61和线传感器62。
在调制器61的表面形成有图41中说明的一维方向的图样61a。光被调制器61调制。
线传感器62将拍摄的图像数据输出到图像处理部(未图示)。图像处理部例如具有与第一实施方式中的图像处理部13同样的功能，但不同点在于在一维上显像。
通过使用一维的线传感器62能够抑制传感器成本，进而通过仅实施一维的傅立叶变换能够实现高速化、减小电路规模。
图43是表示使用了图41的图样的摄像装置之示例的图之二。如图43所示，摄像装置70包括调制器71、柱透镜72和线传感器73。
在调制器71的表面形成有图41中说明的一维方向的图样71a。光被调制器71调制。
柱透镜72以其焦点位置位于线传感器73上的方式配置。
线传感器73与图42的线传感器62同样，省略其说明。
根据图43的结构，能够检测比图42更多的光，所以能够提高显像图像的SNR。
图44是表示使用了图41的图样的摄像装置之示例的图之三。如图44所示，摄像装置80包括调制器81、图像传感器82和垂直方向相加部83。
在调制器81的表面形成有图41中说明的一维方向的图样81a。光被调制器81调制。
垂直方向相加部83将从二维的图像传感器82输出的图像数据的垂直方向的亮度相加。亮度相加后的图像数据被输出到图像处理部(未图示)。
根据图44的结构，即使不像图43所示地使用柱透镜72，也能够检测较多的光，所以能够提高显像图像的SNR。
如以上说明，对于调制器所具有的图样和显像用图样数据的图样，可以应用在1个方向上连续为同一透射率的图样。由此，摄像装置能够进行一维的摄像。
另外，摄像装置通过限定于一维的摄像，能够实现处理的高速化和电路规模的减小。
另外，以上说明了针对水平方向的结构，但通过使用水平方向上连续形成为同一图样的光栅图样，能够进行仅垂直方向的检测，并且也能够进行任意的角度方向的检测。
另外，例如通过使图样的角度随时间变化——例如将图42的结构旋转等，也能够用一维传感器获得二维的像。
另外，图41示出了Fresnel波带片的例子，但也能够应用随机图样和RLL图样等图样。
以上说明的本发明不限定于上述实施方式，包括各种变形例。例如，上述实施方式是为了易于理解地说明本发明而进行的详细说明，不限定于必须具备所说明的全部结构。
另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构。另外，也能够在某个实施方式的结构上添加其他实施方式的结构。
另外，对于各实施方式的结构的一部分，能够追加、删除、置换其他结构。
另外，对于上述各结构、功能、处理部、处理单元等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，上述各结构、功能等，也可以通过处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息，能够保存在存储器、硬盘、SSD(Solid State Drive)等记录装置或者IC卡、SD卡、DVD等记录介质中。
另外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
附图标记说明
1……便携终端，2……被摄体，10……摄像装置，11……调制器，12……图像传感器，13……图像处理部，11a……图样，11b……基板，12a……像素，30……摄像装置，31……图像存储装置，32……图像处理部，33……聚焦设定部，40……摄像装置，41……调制器，42……调制控制部，43……图像处理部，50……摄像装置，51……调制器，52……图像分割部，53……图像处理部，60、70、80……摄像装置。

Claims (16)

1.一种摄像装置，其特征在于，包括：
调制器，其具有第一图样，用于对光的强度进行调制；
图像传感器，其将从所述调制器透射的光转换为图像数据而输出；和
图像处理部，其基于所述图像数据与表示第二图样的图样数据之间的互相关运算来使像复原。
2.如权利要求1所述的摄像装置，其特征在于：
所述第二图样具有与所述第一图样同样的图样。
3.如权利要求1所述的摄像装置，其特征在于：
所述互相关运算基于所述图像数据与所述图样数据之间的卷积运算。
4.如权利要求1所述的摄像装置，其特征在于：
所述互相关运算基于所述图像数据的傅立叶变换与所述图样数据的傅立叶变换之间的乘法运算。
5.如权利要求1所述的摄像装置，其特征在于：
还包括使所述图样数据放大和缩小的聚焦设定部。
6.如权利要求1所述的摄像装置，其特征在于：
还包括调制控制部，其以时分的方式切换所述调制器的初始相位不同的多个图样，
所述图像处理部响应所述调制控制部的初始相位的切换而变更所述图样数据的初始相位。
7.如权利要求1所述的摄像装置，其特征在于：
所述调制器具有初始相位不同的多个图样，
所述图像处理部具有与所述多个图样对应的不同初始相位的所述图样数据。
8.如权利要求1所述的摄像装置，其特征在于：
所述第一图样和所述第二图样是随机图样。
9.如权利要求1所述的摄像装置，其特征在于：
所述第一图样和所述第二图样的自相关函数具有单个的峰。
10.如权利要求1所述的摄像装置，其特征在于：
所述第一图样和所述第二图样是基于散斑的图样。
11.如权利要求1所述的摄像装置，其特征在于：
所述图样数据是按照以下方式生成的，
基于所述调制器的厚度、所述调制器的折射率和拍摄对象的波长，推算所述调制器所具有的图样投影到所述图像传感器上时的衍射像，并根据推算出的衍射像生成所述图样数据。
12.如权利要求1所述的摄像装置，其特征在于：
所述第一图样和所述第二图样是应用了二维RLL调制的图样。
13.如权利要求1所述的摄像装置，其特征在于：
所述第一图样和所述第二图样是相同透射率的区域在1个方向上连续存在的图样。
14.如权利要求1所述的摄像装置，其特征在于：
所述第一图样和所述第二图样是同心圆状的图样。
15.如权利要求14所述的摄像装置，其特征在于：
所述同心圆状的图样中，同心圆的间隔随着远离中心而变窄。
16.一种摄像方法，其特征在于，包括：
将从调制器透射的光转换为图像数据而输出的步骤，其中所述调制器具有第一图样，用于对光的强度进行调制；和
基于所述图像数据与表示第二图样的图样数据之间的互相关运算来使像复原的步骤。
CN201710828127.6A 2016-10-04 2017-09-14 摄像装置和摄像方法 Active CN107896292B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016196270A JP6688716B2 (ja) 2016-10-04 2016-10-04 撮像装置および撮像方法
JP2016-196270 2016-10-04

Publications (2)

Publication Number Publication Date
CN107896292A true CN107896292A (zh) 2018-04-10
CN107896292B CN107896292B (zh) 2020-07-10

Family

ID=60119809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710828127.6A Active CN107896292B (zh) 2016-10-04 2017-09-14 摄像装置和摄像方法

Country Status (4)

Country Link
US (1) US10551532B2 (zh)
EP (1) EP3306911B1 (zh)
JP (1) JP6688716B2 (zh)
CN (1) CN107896292B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6820908B2 (ja) * 2016-02-26 2021-01-27 株式会社日立製作所 撮像装置
WO2019171691A1 (ja) * 2018-03-06 2019-09-12 ソニー株式会社 画像処理装置、および撮像装置、並びに画像処理方法
CN113660400A (zh) * 2018-08-08 2021-11-16 麦克赛尔株式会社 记录装置、再现装置、记录再现装置和摄像装置
JP7097787B2 (ja) * 2018-09-18 2022-07-08 株式会社日立製作所 撮像装置および撮像方法
WO2020059029A1 (ja) * 2018-09-18 2020-03-26 マクセル株式会社 距離計測装置、撮像装置、距離計測システム、距離計測方法、及び撮像方法
JP2020067625A (ja) * 2018-10-26 2020-04-30 国立大学法人九州工業大学 光学装置
JP7065761B2 (ja) * 2018-12-26 2022-05-12 株式会社日立製作所 距離計測装置および距離計測方法
WO2020178905A1 (ja) * 2019-03-01 2020-09-10 株式会社日立製作所 撮像装置及び撮像方法
JP7159118B2 (ja) * 2019-06-25 2022-10-24 株式会社日立製作所 撮像装置
WO2021075527A1 (ja) * 2019-10-18 2021-04-22 国立大学法人大阪大学 カメラ及びイメージングシステム
US20230010599A1 (en) * 2019-12-16 2023-01-12 Sony Group Corporation Imaging device, optical element, image processing system, and image processing method
CN112198578A (zh) * 2020-10-30 2021-01-08 郑州大学 一种单级聚焦螺旋波带片

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228460A (zh) * 2005-05-23 2008-07-23 秦内蒂克有限公司 编码孔径成像系统
CN101534391A (zh) * 2008-02-05 2009-09-16 富士胶片株式会社 摄像装置、摄像方法、图像处理装置、图像处理方法以及存储程序的介质
US20090250594A1 (en) * 2008-04-04 2009-10-08 Panasonic Corporation Solid-state image sensor and manufacturing method thereof
US20090303559A1 (en) * 2006-07-18 2009-12-10 Celloptic Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US20110085051A1 (en) * 2009-10-09 2011-04-14 University Of Rochester Optical element, device, method, and applications
CN102930507A (zh) * 2011-08-08 2013-02-13 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置
CN103067664A (zh) * 2012-12-29 2013-04-24 中南大学 一种基于光学原理的图像压缩及解压缩方法
US20140168458A1 (en) * 2012-12-13 2014-06-19 Raytheon Company Pixel multiplication using code spread functions
CN103916574A (zh) * 2012-12-28 2014-07-09 株式会社日立制作所 摄像装置
US20140253781A1 (en) * 2013-03-05 2014-09-11 Rambus Inc. Phase Gratings with Odd Symmetry for High-Resolution Lensed and Lensless Optical Sensing
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0061547B1 (en) * 1981-03-30 1985-03-13 International Business Machines Corporation Method and apparatus for tomographical imaging
WO2002056055A2 (en) * 2000-09-29 2002-07-18 Massachusetts Inst Technology Systems and methods for coded aperture imaging of radiation- emitting sources
JP3860979B2 (ja) * 2001-02-28 2006-12-20 安西メディカル株式会社 ガンマカメラ装置
GB0814562D0 (en) * 2008-08-08 2008-09-17 Qinetiq Ltd Processing for coded aperture imaging
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
JP6820908B2 (ja) * 2016-02-26 2021-01-27 株式会社日立製作所 撮像装置
US10670829B2 (en) * 2016-03-02 2020-06-02 Hitachi, Ltd. Imaging device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228460A (zh) * 2005-05-23 2008-07-23 秦内蒂克有限公司 编码孔径成像系统
US20090303559A1 (en) * 2006-07-18 2009-12-10 Celloptic Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
CN101534391A (zh) * 2008-02-05 2009-09-16 富士胶片株式会社 摄像装置、摄像方法、图像处理装置、图像处理方法以及存储程序的介质
US20090250594A1 (en) * 2008-04-04 2009-10-08 Panasonic Corporation Solid-state image sensor and manufacturing method thereof
US20110085051A1 (en) * 2009-10-09 2011-04-14 University Of Rochester Optical element, device, method, and applications
CN102930507A (zh) * 2011-08-08 2013-02-13 佳能株式会社 图像处理方法、图像处理装置和图像拾取装置
US20140168458A1 (en) * 2012-12-13 2014-06-19 Raytheon Company Pixel multiplication using code spread functions
CN103916574A (zh) * 2012-12-28 2014-07-09 株式会社日立制作所 摄像装置
CN103067664A (zh) * 2012-12-29 2013-04-24 中南大学 一种基于光学原理的图像压缩及解压缩方法
US20140253781A1 (en) * 2013-03-05 2014-09-11 Rambus Inc. Phase Gratings with Odd Symmetry for High-Resolution Lensed and Lensless Optical Sensing
JP2015115527A (ja) * 2013-12-13 2015-06-22 株式会社東芝 固体撮像装置及びカメラシステム

Also Published As

Publication number Publication date
EP3306911A1 (en) 2018-04-11
JP2018061109A (ja) 2018-04-12
US20180095200A1 (en) 2018-04-05
EP3306911B1 (en) 2022-09-14
JP6688716B2 (ja) 2020-04-28
CN107896292B (zh) 2020-07-10
US10551532B2 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
CN107896292A (zh) 摄像装置和摄像方法
Zomet et al. Lensless imaging with a controllable aperture
JP6571266B2 (ja) 撮像装置
CN108702440B (zh) 摄像装置
Liang et al. A light transport framework for lenslet light field cameras
US10461108B2 (en) Imaging device
US10911668B2 (en) Imaging apparatus, image processing apparatus, imaging system, image processing method, and recording medium employing first and second Fresnel Zone plates with corresponding image sensors
US20180027201A1 (en) Lensless imaging system using an image sensor with one or more attenuating layers
JPWO2018055831A1 (ja) 撮像装置
Pistellato et al. Deep demosaicing for polarimetric filter array cameras
CN111279677A (zh) 图像显示装置和图像显示方法
Kim et al. Aperture-encoded snapshot hyperspectral imaging with a lensless camera
US10012953B2 (en) Method of reconstructing a holographic image and apparatus therefor
US10887504B2 (en) Distance measurement device and distance measurement method
JP7389195B2 (ja) 画像生成方法
Tajima et al. Optimization design for improving resolution of lensless imaging with Fresnel zone aperture
JP2019029681A (ja) 撮像装置及び撮像方法
JP7159118B2 (ja) 撮像装置
CN110278350B (zh) 摄像装置
JP7146698B2 (ja) 撮像装置、撮像方法、撮像システムの送信装置、及び撮像システムの受信装置
JP7278454B2 (ja) 画像表示装置
WO2020178905A1 (ja) 撮像装置及び撮像方法
US11740468B2 (en) Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method
JP3581889B2 (ja) 立体認識方法およびその装置
Konnik et al. The use of a consumer grade photo camera in optical–digital correlator for pattern recognition and input scene restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant