[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6033673B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP6033673B2
JP6033673B2 JP2012286632A JP2012286632A JP6033673B2 JP 6033673 B2 JP6033673 B2 JP 6033673B2 JP 2012286632 A JP2012286632 A JP 2012286632A JP 2012286632 A JP2012286632 A JP 2012286632A JP 6033673 B2 JP6033673 B2 JP 6033673B2
Authority
JP
Japan
Prior art keywords
optical
image
filter
horizontal
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012286632A
Other languages
English (en)
Other versions
JP2014131099A (ja
Inventor
崎田 康一
康一 崎田
島野 健
健 島野
太田 光彦
光彦 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2012286632A priority Critical patent/JP6033673B2/ja
Priority to CN201310697530.1A priority patent/CN103916574B/zh
Priority to US14/142,032 priority patent/US9247111B2/en
Publication of JP2014131099A publication Critical patent/JP2014131099A/ja
Application granted granted Critical
Publication of JP6033673B2 publication Critical patent/JP6033673B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0068Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration having means for controlling the degree of correction, e.g. using phase modulators, movable elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Description

本発明は、光学位相フィルタにより光学像の光学伝達関数に変調させて焦点深度を増大させ、画像処理によって上記変調分を取り除いて鮮鋭な画像を得るように構成された撮像装置に関する。
本技術分野の背景技術として、例えば米国特許第5,748,371号(特許文献1)に記載のものが知られている。特許文献1には、光の位相を変調する光学マスクを光学系の中に配置して光学伝達関数(OTF:Optical Transfer Function)を合焦点位置からある距離の範囲内で本質的に一定にさせ、被写界深度を増大させること、そして、光学マスクで変調したOTFに起因する変調中間画像を信号処理し、光学マスクによる変調分を取り除くことにより、被写界深度を拡大する技術が開示されている(要約参照)。
米国特許第5,748,371号公報
上記従来技術において、光学マスク等の光学位相フィルタによる光学的な変調分を取り除く、すなわち光学位相フィルタによりぼやけた状態にされた画像を復元して鮮鋭な画像にするための画像処理(以下、これを「復元画像処理」と呼ぶ場合もある)として、例えば二次元空間フィルタ処理が用いられる。かかる二次元空間フィルタ処理は、例えば、フィルタ処理の対象となる画素を含む所定の水平範囲及び垂直範囲内にある画素それぞれに、画素位置に応じて個別に設定された係数を乗算して互いに加算する、いわゆる畳み込み演算処理を含んでいる。このような二次元空間フィルタ処理は、例えば次のようにして行われる。まず、光学位相フィルタを通して変調されて撮像素子により撮像された画像データは、シフトレジスタに格納される。該シフトレジスタには、水平方向の画像データのうち上記所定の水平範囲内の画素が順次格納される。この画素に該所定の水平範囲における各水平位置に対応した係数をそれぞれ乗算して互いに加算する。これにより水平フィルタ処理が行なわれる。水平フィルタ処理された画像データは、垂直方向の空間フィルタサイズ(すなわち所定の垂直範囲)と同数のラインメモリにそれぞれ格納される。すべてのラインメモリにデータが格納され、有効になった時点で、ラインメモリからの出力に対して、所定の垂直範囲における各垂直位置に対応する係数を乗算して加算する。これにより垂直フィルタ処理が行われる。
このように、二次元空間フィルタ処理を行うためには、一つのラインメモリには1ライン分の画像データまたはそれに相当する記憶容量を必要とし、ラインメモリは垂直方向の空間フィルタサイズと同じ数が必要になる。このため、回路規模の観点からは、水平方向よりも垂直方向のフィルタサイズを低減し、ラインメモリ数を減らすことが好ましい。
一方、前記特許文献1では、三次関数特性を持った光学マスクが用いられ、合焦点位置から光軸上のある距離の範囲内において光学伝達関数を不感にできるが、得られる中間画像は画像の広い画素範囲に亘ってぼけた画像になる。そのため復元画像処理に用いる空間フィルタのサイズは非常に大きくなる。このとき、光学マスクによる光学的な変調特性が水平・垂直方向ともに同じとなるように設計されると、垂直フィルタ処理のためのラインメモリの数が多く必要となる。このように、従来技術では、二次元空間フィルタ処理などの復元画像処理を行うための画像処理回路の回路規模が大きくなり、コストが増大する。
また、二次元空間フィルタ処理は、対象画素を基準にして水平及び垂直方向ともに例えば±20〜50の範囲内の画素を畳み込み演算して行われる。ここで、畳み込み演算の範囲の画素は、水平と垂直方向で同じである。よって、ある1画素について二次元空間フィルタ処理を行う場合、その画素の周囲にある数百〜数千画素の畳み込み演算を行うことになるため、膨大な処理時間が必要となる。このため、従来の技術は静止画に適用することしかできず、動画の撮像に適用することは困難であった。
本発明は、上記従来技術の課題に鑑みて為されたものであって、光学像を変調して焦点深度を増大させ、該変調を復元画像処理によって取り除くように構成された撮像装置において、当該復元画像処理に係る回路規模を低減し、また動画の撮像にも適用可能にするための技術を提供するものである。
上記課題を解決するために、本発明は、特許請求の範囲に記載の構成を採用する。その構成の一例は、例えば、撮像面を有する撮像素子と、物体の光学像の光学伝達関数を変調する光学位相フィルタを含み、該光学位相フィルタを通して変調された光学像を前記撮像素子の撮像面上に結像させるための光学系と、前記撮像素子の撮像面上の結像画像に対して二次元空間フィルタ処理を施して前記光学位相フィルタによる変調を取り除くための復元画像処理を行う信号処理部とを備えた撮像装置において、前記光学位相フィルタによって前記光学像に付与される変調特性が、光軸と垂直な撮像面平面上の互いに直行する水平及び垂直の二方向において、互いに異なることを特徴とする。
上記光学位相フィルタは、水平方向の波面収差と垂直方向の波面収差が異なる位相板で構成されてもよく、水平方向の波面収差と垂直方向の波面収差がほぼ等しい位相板と、水平方向の開口寸法が垂直方向の開口寸法よりも大きい絞りとで構成されてもよい。
本発明によれば、撮像した光学像について水平及び垂直方向に異なる光学伝達特性を与え、二次元空間フィルタ処理等の復元画像処理の性能劣化を低減しながらも、復元画像処理に用いる空間フィルタの水平、垂直サイズを変更することができる。これによって、例えば空間フィルタ処理を担う回路内のラインメモリの数を削減し、画像処理回路規模を低減できる。よって、本発明によれば、コストを低減した撮像装置を提供できる。また本発明によれば、光学像を変調して焦点深度を増大させ、該変調を復元画像処理によって取り除くように構成された撮像装置を動画の撮影に使用することができる。
上記した以外の課題、構成および効果は以下の実施形態の説明により明らかにされる。
本発明の第1実施例に係る撮像装置の一構成例を示す図。 本発明の第1実施例に適用される位相板21の一例を示す図。 第1実施例に位相板21の断面形状を示す図。 実施例1に掛かる撮像システムの空間フィルタ処理部6の一構成例を示すブロック図。 実施例1による焦点深度拡大効果のシミュレーション結果を示す図。 本発明の第2実施例を示す図。 絞り22の開口形状が矩形および円形について対角方向のOTFの計算結果を示す図。 絞り22の開口形状が矩形および円形の場合の、それぞれの絞り形状におけるPSFの測定結果を示す図。
以下、本発明の実施形態について、図面を参照しながら説明する。尚、同様な機能又は構成を有する要素には同一の符号を付し、重複した説明は省略するものとする。
まず図1を用いて本発明の第1実施例に係る撮像装置の一構成例を説明する。本実施例に係る撮像装置は、例えばAVカメラ、携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等に適用することができる。
物体1の光学像は光学系2により取り込まれて撮像素子3によって撮像される。ここで、光学系2は、物体1の光学像を取り込むための要素であって、物体1側に位置する複数のレンズ素子を備えた前玉レンズ群23、撮像素子3側に位置する複数のレンズ素子を備えた後玉レンズ群24、前玉レンズ群23と後玉レンズ群24との間に配置された光学系2に応じた矩形(正方形)開口または円形開口を有する絞り22、及び絞り22近傍で前玉レンズ群23側に配置された、物体1の光学像を空間的に変調して所定の光学伝達関数を付与するための光学位相フィルタとしての位相板21を有している。この位相板21は、例えばアクリルやポリカーボネイト等の透明樹脂で構成された光学部品である。その光学的特性の詳細については後述する。
上記位相板21を含む光学系2を通して得られた物体1の光学像は、撮像素子3の撮像面31上に結像されて取り込まれる。ここで、撮像素子3は、例えばCCDやCMOSセンサなどで構成され、例えば1/60秒周期または1/30秒周期で画像を取り込む。すなわち、本実施例に掛かる撮像装置は、動画の撮影にも適用できる。
この撮像素子3の撮像面31上に結像されて取り込まれた光学像は、撮像素子3によりアナログ信号に変換され、更にA/Dコンバータ4によりデジタル信号に変換されて光学像に対応した画像データが生成される。
A/Dコンバータ4からの画像データは、中間画像としてRAWバッファメモリ5に格納される。RAWバッファメモリ5に格納された画像データは、二次元空間フィルタ処理を行うための信号処理部である空間フィルタ処理部6により読み出される。
空間フィルタ処理部6では、上記光学系2に含まれている位相板21の光学的な変調特性により定まる光学伝達関数に応じて、復元画像処理としての二次元空間フィルタ処理を実施する。すなわち、空間フィルタ処理部6では、位相板21により光学像に付与された光学伝達関数を補正するように復元画像処理を行うものである。例えば位相板21が、光軸L(例えば図1の点線L)上の所定距離範囲の各位置において物体1の光学像をほぼ一定にぼけさせるような光学伝達関数を光学像に付与するものである場合、空間フィルタ処理部6は、このような光学伝達関数を持つ光学像の特定の周波成分を強調或いは増加・減少することで、上記のぼけを取り除き、鮮鋭な画像に復元する処理を行う。
このような二次元空間フィルタ処理を行うために、空間フィルタ処理部6は、予め設定された空間フィルタ係数などのフィルタ情報を格納する記憶部としてのROM(図示せず)を有している。そして空間フィルタ処理部6は、このROMに格納されているフィルタ情報を読み出して、画像データに対して復元画像処理としての二次元空間フィルタ処理を施す。
空間フィルタ処理部6から出力された画像データは、図示しない別の画像処理部によって、必要に応じて、例えばコントラスト調整、明るさ調整、色調整、更には拡大縮小等のスケーリング処理、また必要に応じてフレームレート変換処理等が施される。このような処理が施された画像データは、記録媒体71に記録され、及び/又は表示部72に表示される。
本実施例は、上記のような構成の撮像装置或いは撮像システムにおいて、光学系2に含まれる位相板21として、水平方向と垂直方向とで異なる光学伝達関数を与え、更にこの光学伝達関数に対応させて空間フィルタ処理部6を構成したことを特徴とするものである。以下、この詳細について説明する。
まず図2(a)〜(c)を参照して本実施例の撮像装置に用いられる位相板21について説明する。図2(a)は、本実施例の光学としての位相フィルタ位相板21によって与えられる波面収差の等高線図である。図2(a)の正面が物体側、背面が撮像面31側とする。図2(b)は図2(a)に示される位相板21のy方向と平行でx方向と直交する断面を示し、図2(c)は図2(a)に示される位相板21のx方向と平行なy方向と直交する断面を示している。ここで、図中のxは、光学系2の光軸Lと垂直な撮像面31上での水平方向を示しており、yはこの水平方向xと直交する垂直方向を示している。図2に示されるように、本実施例に係る位相板21は、垂直方向yの波面収差は水平方向xの波面収差よりも小さくされている。すなわち、本実施例に係る位相板21は、水平方向の位相変化に対し、垂直方向の位相変化が小さい。
ここで、位相板21の透明樹脂材料の屈折率をnとすると、位相板21の表面形状は、波面収差に1/(n−1)を乗じた形で表されるため、図2(a)の等高線図のプロファイルがそのまま位相板21の表面形状を表わしている。従って、図2(b)及び(c)は、それぞれ位相板21のy方向の断面形状とx方向の断面形状を表すことになる。そして本実施例に係る位相板21は、図2(b)及び(c)に示されるように、y方向の断面形状とx方向の断面形状が互いに異なっている。例えば、位相板21のy方向中心(0)を通るx方向の右側端部は物体側に大きく突出しており、左側端部は撮像素子3の撮像面側に大きく後退或いは落ち込むような形状となっている。一方、位相板21のx方向中心(0)を通るy方向の上側端部は物体側に大きく突出しており、下側端部は撮像面側に大きく後退或いは落ち込むような形状となっているが、物体側への突出量及び撮像面側への落ち込み量は、それぞれ、x方向の右側端部の突出量及び左側端部の落ち込み量よりも小さくなっている。
これにより、位相板21のx方向線を通る光束が光軸と交わる位置よりも、y方向線を通る光束が光軸と交わる位置の方が遠く(物体側)となる。この結果、本実施例に係る位相板21は、x方向の焦点深度とy方向の焦点深度が互いに異なるようになり、物体の光学像に対し、x方向については光軸上の所定の距離範囲においてほぼ一定の「ぼけ」が生じるような光学伝達関数(光学的な変調)を与えるが、y方向については、そのような光学伝達関数は与えないか、或いはx方向に比べて光学的な変調の度合いを小さくする。
本実施例に係る位相板21の全体的な断面形状を図3に示している。図3はy方向の断面図のみを示している。図示されるように、光軸方向に所定の厚みを持ち、物体側の面が図2に示されるような表面形状を持ち、結像側の面がフラットとなっている。位相板21の形状はあくまでも一例であり、これに限定されるものではない。
位相板21の表面形状(断面)は例えば三次関数で表される。この三次関数の係数をα1、α2とし、かつα1>α2としたとき、本実施例に係る位相板21は、下記数1に従い設計される。
(数1)f(x,y)=α1・x^3+α2・y^3
これにより、水平方向の位相変化に対し、図2に示されるように、垂直方向の位相変化が小さくなるように設計することができる。
ここで、位相板21の光軸方向をz方向(図2では紙面と垂直な方向)とし、z軸と垂直な平面上にある撮像面において、第一の方向を撮像素子の水平方向としてx方向に対応させ、第一の方向と直交する撮像面上の第二の方向を撮像素子の垂直方向としてy方向に対応させた。また絞り22の瞳形状を正方形とし、この正方形の瞳の一辺の長さで規格化した座標を(x,y)とした。
上記三次関数の係数α1,α2の値は、それぞれ必要とされる被写界深度と回路規模とに合わせて最適化されるものであるが、ここでは、後に示す結像光学系及び空間フィルタ処理部の実例に合わせてα1=120λ,α2=30λとした(λは結像させる光の中心波長)。
また位相板21の表面形状(断面)を以下の数2に基づき形成してもよい。尚、数2においてβ1、β2はそれぞれ係数であり、β1>β2の関係を有している。
(数2)f(x,y)=α1・x^3+α2・y^3+β1・x+β2・y
尚、本実施例では、絞り22として正方形の開口を持ち正方形の瞳形状を有する絞りを採用したが、円形の開口を持ち、円形の瞳形状を有するものを採用しても構わない。しかしながら、絞り22としては、円形開口を持つものよりも矩形の開口をもつものの方が好ましい。これを図7及び図8を用いて以下に説明する。
上記のように三次関数型位相を用いる場合において、一般的な円形絞りを使用すると、対角方向のOTFにゼロ点が発生しアーチファクトが出現した。この現象について図7を参照して説明する。図7は、絞り22の開口形状が矩形および円形について対角方向のOTFの計算結果を示している。図示されるように、矩形の開口の場合はゼロ点を取らないのに対し、円形の開口ではバウンシングし、ゼロクロスする。図8は、それぞれの絞り形状におけるPSFの測定結果である。矩形絞りのPSFは図8(a)に示されるように矩形に拡がるのに対し、円形絞りのPSFは図8(b)に示されるように略三角形になり、対角方向への拡がりが制限される。この対角方向の拡がり制限のため、円形絞りのOTFがゼロ点を取るようになる。従って、本実施例のように3次関数型の位相板21を用いたWavefront Codingでは矩形絞りを用いる方が有利である。
上述のように、図2や図3に示された形状の位相板21によって、物体の光学像に対して、x方向については光軸上の所定の距離範囲においてほぼ一定の「ぼけ」が生じるような光学伝達関数を与えるが、y方向については、そのような光学伝達関数を与えないか、或いはx方向に比べて光学的な変調の度合いを小さくしている。換言すれば、物体の光学像について、x方向については光軸上の所定の距離範囲においてほぼ一定のPSF(点広がり関数:Point Spread Function)の広がりを与えるが、y方向においてはx方向よりも小さいPSFとなっている。
そして本実施例では、このような位相板21で取り込んだ光学像について復元画像処理を行う場合に、垂直(y)方向のフィルタ処理の範囲と垂直(x)方向のフィルタ処理の範囲とを異ならせている。従来では、y方向とx方向でほぼ同じ広がりのPSFを与えていたため垂直方向のフィルタ処理の範囲及び水平方向のフィルタ処理の範囲ともに同じとする必要があり、復元画像処理における演算回数、処理時間及びフィルタ処理のためのメモリが多大となっていた。これに対し本実施例では、物体の光学像のy方向についてはx方向よりも小さいPSFを与えているため、垂直方向のフィルタ処理の範囲を狭くすることができ、復元画像処理における演算回数、処理時間及びフィルタ処理のためのメモリを低減することができる。以下、本実施例に係る空間フィルタ処理部6の一例について図4を参照しながら説明する。
図4は、本実施例による撮像システムの空間フィルタ処理部6の一構成例を示すブロック図である。この例では、垂直方向のフィルタサイズ分のラインメモリ用いた空間フィルタ処理部6の構成が示されている。そして、本実施例に係る空間フィルタ処理部6は、垂直方向の空間フィルタ処理を担うラインメモリの数が水平方向の空間フィルタ処理を担うシフトレジスタのタップ数よりも少ないことを特徴としている。本実施例では、瞳径1.8mm、λ=590nm、α=120、焦点距離f=50mm、物点距離720mm、像点距離54mm、撮像素子3の画素ピッチ6.5umとした撮像光学系を有するもとし、このときの空間フィルタサイズを20×5と見積った。これに対応して、本例の空間フィルタ処理部6は、水平方向に20個、垂直方向に5個の画素を用いた20×5の空間フィルタ処理を行うものとした。すなわち、本例の空間フィルタ処理部6は、水平フィルタ処理の範囲を20画素分、垂直フィルタ処理の範囲を5画素分としている。
RAWバッファメモリ5(図4では図示せず)に格納された画像データは、まず水平スキャン順序で空間フィルタ処理部6(或いは図示しないCPU等の制御回路)により読み出され、空間フィルタ処理部6内のシフトレジスタ7に格納される。シフトレジスタ7は、20個のタップを有しており、各タップに水平1ラインのうち所定個数(ここでは20個)の画素のデータが順次格納される。各タップに格納された画素のデータは、水平フィルタ処理部8に出力される。水平フィルタ処理部8には、フィルタ係数格納メモリ(ROM)11に記憶された、シフトレジスタの各タップに対応して予め設定された水平フィルタ係数も供給される。水平フィルタ処理部8は、20個の各タップから出力された画素データとフィルタ係数格納メモリ11からの水平フィルタ係数をそれぞれ乗算して互いに加算する、いわゆる畳み込み演算を行う。
ここで、各タップの画素データを例えばV、V…V20、各タップに対応する水平フィルタ係数を例えばkh1,kh2…kh20とすると、畳み込み演算は、例えば下記数2で表される。
(数2)kh1・V+kh2・V…+kh20・V20
これにより、水平フィルタ処理部8において画像データに対する水平フィルタ処理が施される。
水平フィルタ処理部8は、1フレームの各ラインについて、上記ようにして水平フィルタ処理を行う。水平フィルタ処理された画像データは、ラインメモリ90〜94に格納される。この例では、5ライン分の水平フィルタ処理された画像データを格納するために5つのラインメモリ90〜94を私用している。各ラインメモリはFIFO(First In-First Out)で動作し、ラインメモリのすべての出力データが有効になった時点で、垂直フィルタ処理部10により垂直フィルタ処理が施される。ここで、ラインメモリ90〜94からは、水平方向位置が同一の各ラインの画素データが順次垂直フィルタ処理部10に出力される。また垂直フィルタ処理部10には、フィルタ係数格納メモリ11に記憶された、各ラインメモリに対応して予め設定された垂直フィルタ係数も供給される。垂直フィルタ処理部6は、5個のラインメモリ90〜94から各々出力された同一水平位置の画素データとフィルタ係数格納メモリ11からの垂直フィルタ係数をそれぞれ乗算して互いに加算する、いわゆる畳み込み演算を行う。畳み込み演算の一例は水平フィルタ処理と同様なためここでは省略する。これにより、垂直フィルタ処理部10において画像データに対する垂直フィルタ処理が施される。
このようにして、撮像素子3により取り込まれた画像データについて、空間フィルタ処理部6により水平方向及び垂直方向の両方向のフィルタ処理が施される。これにより、位相板21により所定の「ぼけ」が与えられた光学像の「ぼけ」を除去する復元画像処理が行われ、デフォーカスに依存せず、至る所でフォーカスがきちんと合わさったような画像を得ることができる。このとき、光学像には垂直方向には小さいPSFの広がりが与えられているため、空間フィルタ処理部6における垂直方向のフィルタ処理の範囲を狭めることができ、ラインメモリの数を少なくすることができる。
図4は、図2の位相板21を用いた場合の焦点深度拡大効果のシミュレーション結果を示している。この図では、あるモデルを入力画像とし、撮像面31上の焦点ずれ(デフォーカス)に対する入力画像と復元画像とのPSNR(Peak Signal-to-Noise Ratio)をプロットしてある。
図中曲線(a)は、所望の焦点深度を得るために必要な水平及び垂直方向の三次関数係数がそれぞれα1=α2=60の場合のデフォーカス−PSNR特性を示している。この場合、垂直フィルタの範囲が大きくなり、ラインメモリ数も増加する。ハードウェアの規模やコスト等の制約上、この三次関数係数に対応した空間フィルタ処理部6を構成することは難しい。
水平及び垂直方向の三次関数係数α1及びα2が互いに同じであるが、いずれも(a)よりも小さくした(α1=α2=30)場合のデフォーカス−PSNR特性を曲線(b)に示す。この場合、(a)の場合に比べ回路規模は小さくできるが、図示されるようにPSNRが(a)の場合に比べて大きく低下する。
一方、本実施例のように、垂直方向の三次関数係数α2を水平方向の三次関数係数α1よりも小さくし、かつα2を(a)の場合に比べ小さくした(α1=120,α2=30)場合のデフォーカス−PSNR特性を曲線(c)に示す。この例によれば、ラインメモリの数を少なくしつつも、図示されるように(a)と同様なPSNRを得ることができる。参考のため、図4では無収差光学系の結果を曲線(d)として示してある。
ここで、(a)〜(c)の各構成がPSNR=40dB以上を確保できる範囲について説明する。尚、無収差光学系である(d)の場合、デフォーカスが0.03のときにPSNRが40dBとなる。水平及び垂直方向の三次関数係数がともに同じで小さい(b)の場合、はPSNRを40dB以上確保しようとすると、デフォーカスが0.15までの拡大しか得られない。一方、(a)及び(c)ではデフォーカスが0.21までの焦点深度の拡大が得られる。そして、垂直方向の三次関数係数α2を水平方向の三次関数係数α1よりも小さくした(c)の場合は、水平及び垂直方向の三次関数係数がともに同じで大きい(a)の場合と同レベルまでPSNRが回復している。
このように、本実施例では、撮像した光学像について水平及び垂直方向に異なる光学伝達特性が与えられ、二次元空間フィルタ処理等の復元画像処理の性能劣化を低減しながらも、復元画像処理に用いる空間フィルタの水平、垂直サイズを変更することができる。これによって、例えば空間フィルタ処理を担う回路内のラインメモリの数を削減し、画像処理回路規模を低減できる。よって、本実施例によれば、コストを低減した撮像装置を提供できる。また本実施例によれば、空間フィルタ処理の演算量や演算時間を低減することができ、光学像を変調して焦点深度を増大させ、該変調を復元画像処理によって取り除くように構成された撮像装置を動画の撮影に使用することができる。
本実施例では、垂直フィルタ処理の範囲を水平フィルタ処理の範囲よりも狭めるように構成したが、水平フィルタ処理の範囲を垂直フィルタ処理の範囲よりも狭めるように構成してもよい。但し、この場合は容量が大きいラインメモリの数の削減には寄与しないので、垂直フィルタ処理の範囲を狭めることが好ましい。
実施例1では、光学位相フィルタとしての位相板21により、撮像した光学像について水平及び垂直方向に異なる光学伝達特性を与えた。しかしながら、絞り27の形状によっても同様の効果が得られることができる。すなわち、本実施例は、絞りも光学位相フィルタとして利用することを特徴としている。これを実施例2として以下に明する。尚、光学位相フィルタの構成以外は、図4に示した空間フィルタ処理6の内部構成も含めて実施例1と同じであり、その詳細な説明はここでは省略する。
図6は、本発明の実施例2を説明するための図であり、図6(a)は、実施例2に用いられる水平及び垂直の波面収差が同じ位相板26の一例を示し、図6(b)は、縦横比3:4の長方形の開口を持つ絞り27を通して見た位相板26を示している。位相板26は従来のものと同じである。また絞り27の開口は、垂直方向の開口寸法が水平方向の開口寸法よりも小さくされている。
本実施例では、位相板26が水向及び垂直方向の両方とも同一の波面収差を持ち、水平及び垂直方向にほぼ同じ光学的な変調を与える場合でも、図6(b)に示されるように、絞り27形状を通して見られる位相板26の波面収差(位相板26によって与えられる位相板26の波面収差)の等高線を、水平方向の位相変化に対し、垂直方向の位相変化が小さくすることができる。これは、図2に示される実施例1に係る位相板21と同じである。すなわち、実施例1では光学位相フィルタを位相板21で構成したが、実施例2では、光学位相フィルタを水平及び垂直方向にほぼ同じ光学的な変調を与える位相板26と水平方向を長手方向とした長方形の開口を有する絞り27で構成したものである。本実施例において、数1に示した三次関数におけるx,y座標は、絞り27の長方形の開口瞳の長手方向の長さで規格化すればよい。
本実施例では絞り27の開口形状を上述した長方形で固定としたが、この長方形の縦横比を可変としてもよい。また、可変された開口形状に応じて、復元信号処理を行う空間フィルタ処理部6の水平方向及び/または垂直方向のフィルタサイズを可変にしてもよい。このとき、可変比率を横1に対して、縦1から0.5としてもよい。
このように、本実施例によれば、位相板を加工しなくとも、すなわち従来の位相板を用いても絞りの開口形状を変更することで容易に実施例1と同じ効果を得ることができる。本実施例では絞り形状を長方形としたが、絞り形状を楕円形状にしても構わない。
また、実施例1では位相板の形状を変更することで水平と垂直方向で異なる光学伝達関数を与える例を説明し、実施例2では絞りの開口形状を変更することで水平と垂直方向で異なる光学伝達関数を与える例を説明した。しかしながら、位相板および絞りの開口形状を同時に変えても構わない。
上述した本発明の各実施例によれば、復元画像処理のための回路規模や演算量、演算時間を大幅に縮小或いは低減することができる。このため、特許文献1等に記載の従来技術では静止画の撮影のみに利用できるが、本発明では静止画のみならず動画の撮影にも利用することができる。このため、本発明は、様々な用途の撮像装置、例えば、AVカメラ、監視用カメラ、携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置に適用することができる。
1…物体
2…光学系
21,26…位相板(光学位相フィルタ)
22,27…絞り
23…前玉レンズ群23
24…後玉レンズ群23
3…撮像素子
4…ADコンバータ
5…RAWバッファメモリ
6…空間フィルタ処理部
7…シフトレジスタ
8…水平フィルタ処理部
90〜94…ラインメモリ
10…垂直フィルタ処理部
11…フィルタ係数格納メモリ

Claims (9)

  1. 撮像面を有する撮像素子と、物体の光学像の光学伝達関数を変調する光学位相フィルタを含み、該光学位相フィルタを通して変調された光学像を前記撮像素子の撮像面上に結像させるための光学系と、
    前記撮像素子の撮像面上の結像画像に対して二次元空間フィルタ処理を施して前記光学位相フィルタによる変調を取り除くための復元画像処理を行う信号処理部とを備えた撮像装置において、
    前記光学位相フィルタによって前記光学像に付与される変調特性が、光軸と垂直な撮像面平面上の互いに直交する水平及び垂直の二方向において、互いに異なることを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、前記光学位相フィルタは、水平方向の波面収差と垂直方向の波面収差が異なる位相板で構成されることを特徴とする撮像装置。
  3. 請求項2に記載の撮像装置において、前記位相板は、垂直方向の波面収差が垂直方向の波面収差よりも小さいことを特徴とする撮像装置。
  4. 請求項3に記載の撮像装置において、前記位相板の波面収差が、
    f(x,y)=α1・x^3+α2・y^3
    (ただし、α1及びα2は係数を示し、α1>α2であり、x,yは光軸に直交する前記位相板面内の規格化座標を示す)
    で表されることを特徴とする撮像装置。
  5. 請求項3に記載の撮像装置において、前記信号処理部は、
    水平フィルタ処理を行うために用いられ、前記位相板で光学的に変調された1ライン中の所定個数の画素のデータをそれぞれ格納する複数のタップを含むシフトレジスタと、
    垂直フィルタ処理を行うために用いられ、水平フィルタ処理された画像データにおける複数のラインの画像データを格納するラインメモリと、
    前記水平フィルタ処理及び垂直フィルタ処理を行うための、前記シフトレジスタ及び前記ラインメモリに格納された各画素のデータに乗算される係数を記憶するフィルタ係数格納メモリと、を備え、
    前記シフトレジスタのタップの数よりも、前記ラインメモリの数の方が小さいことを特徴とする撮像装置。
  6. 請求項1に記載の撮像装置において、前記光学位相フィルタは、水平方向の波面収差と垂直方向の波面収差がほぼ等しい位相板と、垂直方向の開口寸法が水平方向の開口寸法よりも小さくされた絞りと有することを特徴とする撮像装置。
  7. 請求項6に記載の撮像装置において、前記信号処理部は、
    水平フィルタ処理を行うために用いられ、前記位相板及び前記絞りにより光学的に変調された1ライン中の所定個数の画素のデータをそれぞれ格納する複数のタップを含むシフトレジスタと、
    垂直フィルタ処理を行うために用いられ、水平フィルタ処理された画像データにおける複数のラインの画像データを格納するラインメモリと、
    前記水平フィルタ処理及び垂直フィルタ処理を行うための、前記シフトレジスタ及び前記ラインメモリに格納された各画素のデータに乗算される係数を記憶するフィルタ係数格納メモリと、を備え、
    前記シフトレジスタのタップの数よりも、前記ラインメモリの数の方が小さいことを特徴とする撮像装置。
  8. 請求項6に記載の撮像装置において、前記絞りの開口形状を可変にしたことを特徴とする撮像装置。
  9. 撮像装置において、
    撮像面を有する撮像素子と、物体の光学像の光学伝達関数を変調する光学位相フィルタを含み、該光学位相フィルタを通して変調された光学像を前記撮像素子の撮像面上に結像させるための光学系と、
    前記光学位相フィルタによる変調を復元するために、前記撮像素子の撮像面上の結像画像に対して、所定範囲の画素を用いた水平フィルタ処理及び垂直フィルタ処理を行う空間フィルタ処理部と、を備え、
    前記光学位相フィルタによって前記光学像に付与される変調特性が、光軸と垂直な撮像面平面上の互いに直行する水平及び垂直の二方向において互いに異なっており、
    前記垂直フィルタ処理の範囲が前記水平方向のフィルタ処理の範囲よりも小さいことを特徴とする撮像装置。
JP2012286632A 2012-12-28 2012-12-28 撮像装置 Expired - Fee Related JP6033673B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012286632A JP6033673B2 (ja) 2012-12-28 2012-12-28 撮像装置
CN201310697530.1A CN103916574B (zh) 2012-12-28 2013-12-18 摄像装置
US14/142,032 US9247111B2 (en) 2012-12-28 2013-12-27 Imaging device using an optical phase filter that moduates a optical transfer function of an optical image of an object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012286632A JP6033673B2 (ja) 2012-12-28 2012-12-28 撮像装置

Publications (2)

Publication Number Publication Date
JP2014131099A JP2014131099A (ja) 2014-07-10
JP6033673B2 true JP6033673B2 (ja) 2016-11-30

Family

ID=51016796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012286632A Expired - Fee Related JP6033673B2 (ja) 2012-12-28 2012-12-28 撮像装置

Country Status (3)

Country Link
US (1) US9247111B2 (ja)
JP (1) JP6033673B2 (ja)
CN (1) CN103916574B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222066A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 位相フィルタおよびそれを用いた撮像カメラシステム
JP5656926B2 (ja) * 2012-06-22 2015-01-21 キヤノン株式会社 画像処理方法、画像処理装置および撮像装置
US9912884B2 (en) * 2014-03-03 2018-03-06 Photoneo, s.r.o. Methods and apparatus for superpixel modulation
FR3038193B1 (fr) * 2015-06-26 2018-07-13 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de conception d'un systeme d'imagerie, filtre spatial et systeme d'imagerie comportant un tel filtre spatial
WO2017195487A1 (ja) * 2016-05-13 2017-11-16 三菱電機株式会社 画像読取装置
JP6688716B2 (ja) * 2016-10-04 2020-04-28 株式会社日立製作所 撮像装置および撮像方法
CN110864817B (zh) * 2019-11-22 2021-02-12 山东大学 基于单像素探测器的非干涉定量相位成像方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996024085A1 (en) 1995-02-03 1996-08-08 The Regents Of The University Of Colorado Extended depth of field optical systems
US5834761A (en) * 1996-03-22 1998-11-10 Sharp Kabushiki Kaisah Image input apparatus having a spatial filter controller
JP2003116048A (ja) * 2001-10-05 2003-04-18 Hitachi Kokusai Electric Inc シェーディング補正方法
US7180673B2 (en) * 2003-03-28 2007-02-20 Cdm Optics, Inc. Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems
JP2008268869A (ja) * 2007-03-26 2008-11-06 Fujifilm Corp 撮像装置、撮像方法、及びプログラム
WO2009119838A1 (ja) * 2008-03-27 2009-10-01 京セラ株式会社 光学系、撮像装置および情報コード読取装置
JP4743553B2 (ja) * 2008-09-29 2011-08-10 京セラ株式会社 レンズユニット、撮像装置、および電子機器
JP2010087857A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 撮像装置、撮像方法、およびプログラム
EP2228677A1 (en) * 2009-03-09 2010-09-15 Global Bionic Optics Pty Ltd. Extended depth-of-field surveillance imaging system
US8432468B2 (en) * 2009-05-28 2013-04-30 Panasonic Corporation Composite low frequency cutoff filter and imaging apparatus using the same
WO2011027536A1 (ja) * 2009-09-01 2011-03-10 オリンパス株式会社 光学装置、およびそれを用いた撮像装置、撮像システム
WO2011132280A1 (ja) * 2010-04-21 2011-10-27 富士通株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US20140184859A1 (en) 2014-07-03
JP2014131099A (ja) 2014-07-10
US9247111B2 (en) 2016-01-26
CN103916574B (zh) 2017-07-07
CN103916574A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
JP6033673B2 (ja) 撮像装置
US8350948B2 (en) Image device which bypasses blurring restoration during a through image
JP5237978B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP5468404B2 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP4916862B2 (ja) 撮像装置およびその方法
JP2007181170A (ja) 撮像装置
JP2008245157A (ja) 撮像装置およびその方法
JP2008211679A (ja) 撮像装置およびその方法
JP2000244799A (ja) 撮像装置
JP2007300208A (ja) 撮像装置
JP2011215707A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2007046205A1 (ja) 撮像装置および画像処理方法
JP5712031B2 (ja) 撮像装置、撮影レンズユニット、および撮像ユニット
JP2012146281A (ja) 画像処理装置、画像処理方法、およびプログラム、および画像処理システム
JP2009086017A (ja) 撮像装置および撮像方法
JP2012156716A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP4818956B2 (ja) 撮像装置およびその方法
JP2009033607A (ja) 撮像装置および画像処理方法
JP2008245265A (ja) 撮像装置、並びにその製造装置および製造方法
JP6333076B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2010087857A (ja) 撮像装置、撮像方法、およびプログラム
JP2007181193A (ja) 撮像装置およびその方法
JP2008167040A (ja) 撮像装置、その製造装置および製造方法、並びに情報コード読取装置
JP2007156749A (ja) 画像入力装置
JP2016010080A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161026

R151 Written notification of patent or utility model registration

Ref document number: 6033673

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees