JP5500879B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像認識において抽出した画像特徴の被写体から撮影装置までの距離計測に関するものである。

従来、被写体から撮像装置までの距離を計測する方法について、多くの方法が提案されてきている。以下、従来の計測方法例について説明する。まず、オートフォーカスカメラ等に用いられる方法として、光学系に二つ目レンズなどを用いて距離計測用素子等に結像させ、距離計測を行うものがある。また、レンズ焦点法(Depth from focus)では、フォーカスを随時移動し、観測画面が画面上で最も映像が鮮鋭になったときの距離を推定距離として求める。一方、ボケ解析法(Depth from defocus)では、画像中のボケ具合を解析し、ボケ量と距離の関係から推定距離を求める。

非特許文献１で示される、マイクロレンズアレイなどを用いた光線追跡手法は、撮影される光線の角度情報を観測画像から解析することによって、推定距離を求める。

特に画像認識の分野では、３次元奥行き情報を取得する方法には、上記の距離測定手法の中でもマルチカメラを用いた手法が多く採用されてきた。この方法では角点やエッジなどの輝度勾配特徴をHarris-Affineや、SIFTなどAffine-invariantな画像特徴量を用いて取得する。そして取得した角点やエッジなどの輝度勾配特徴を視点位置に依存しない情報にすることにより、複数のカメラでの画像特徴量の対応を取り、三角測量の原理によって撮像装置と撮影対象との距離を求める。

特許第２９６３９９０号

Light Field Photography with a Hand-held Plenoptic Camera/Ren Ng, Marc Levoy, Mathieu, Bredif Gene, Duval Mark Horowitz, Pat Hanrahan/Stanford University Duval Design/SIGGRAPH 2005.

しかしながら、これらの手法には以下に説明するような、いくつかの問題があった。

まずマルチカメラによる測距には、撮像装置台数の増加に伴うコスト増という問題がある。監視カメラやハンディカムのように販売台数の多い製品において、複数台のカメラを設置することを要求することは、その販売において非常に大きなデメリットとなる。

また専用ハードウェアを用いることにより規模が大型になる。マルチカメラの場合、その基線長が計測精度と直結するので、ある程度の基線長は必要となる。機器の大型化はそれだけで大きなデメリットとなる。

そして、大型化に伴う重量増という問題もある。この手法を実践するためには最低２台のカメラが必要となる。そのため監視・見守りなど１台あたりのコストを抑えたい場合や、ロボットアームの先端やハンディカム、デジカメなど軽量化が課題となる設置場所には、複数台による重量増が大きな問題となる。

そこで単眼視による小型・軽量・安価な三次元奥行き計測手法が従来から検討されている。しかしながら、従来の単眼視による手法にも次に説明するような問題点がある。

まず、オートフォーカスカメラ等で用いられる位相差方式は、撮影用ＣＭＯＳ以外に、距離計測用素子や距離計測用光学系等が必要となる。また、観測画像上の数点ないし数十点の距離しか距離計測を行うことが出来ないため、距離画像を得るのが難しい。

レンズ焦点法は、フォーカスの移動を必要とし、フォーカスレンズの機械的駆動を伴うため、距離画像の取得に時間がかかる。また、ボケ解析法は、テレセントリック光学系によって発生するボケと結像の関係を用いている。そのため、レンズ設計の自由度は低い。マイクロレンズアレイなどによる光線追跡手法は、撮影される光の角度情報を取得する分、合焦画像の空間解像度の低下が発生する。特許文献１に記載された、パターン化された絞りなどを用いる手法では、距離画像と合焦画像が得られるが、テレセントリック光学系を用いており、更にピンホール開口を用いた絞りによって実施されているため、光量の低下という問題がある。

本発明は、以上の課題に鑑み、従来の画像処理装置の構成を大きく変えることなく、軽量でしかも小型な構成で被写体の距離情報を取得することを目的とする。

本発明の画像処理装置は、
回折格子と撮像光学系を介して得られる対象物体の像を撮像部を用いて撮像することにより得られた回折画像を取得する取得手段と、
前記回折格子と前記撮像光学系との間に配置されたＲＧＢフィルタと、
前記回折画像の輝度勾配から実像を検出する実像検出手段と、
前記回折画像において、少なくとも１つの虚像の位置を検出する虚像検出手段と、
前記回折画像における虚像の位置と、前記ＲＧＢフィルタの特性とに基づいて、前記回折画像において、前記検出された実像と、この実像に対応する虚像との距離を算出する第１算出手段と、
前記第１算出手段で算出された距離を用いて、前記対象物体と前記回折格子との奥行き距離を算出する第２算出手段とを備える。

本発明の画像処理装置では、従来の画像処理装置の構成を大きく変えることなく、軽量、小型な構成で被写体の距離情報を取得できる。

実施形態１〜４におけるシステム構成を示す図。 実施形態１〜４の撮像系により取得した画像を模式的に示す図。 実施形態１〜４の構成による、回折格子と対象物体との間の距離を算出するための模式図。 ウィンドウの移動により実像と虚像との間の距離を算出する方法の模式図。 実施形態１における実像と虚像との間の距離の算出フロー図。 典型的な原色フィルタの感度特性を示す図。 実像と虚像の間の輝度の相関を示す図。 実施形態４における撮影した画像の例を示す図。

＜実施形態１＞
回折格子を用いた画像特徴の奥行きの計測について述べていく。図１に代表的な画像処理装置の構成を示す。

本実施形態では、デジタルカメラ、デジタルビデオ、もしくは監視用webカメラなどを想定し、通常使用されるカメラユニットに回折格子フィルタを追加している。対象物体の実像と格子定数ｄが既知の回折格子による回折像（虚像）との光学的関係からＲＯＩ（Region of Interest）の奥行き距離を算出し、その情報を画像認識に応用するケースについて説明する。

画像取得部１００は、回折格子１０１がなければ、光学レンズ１０２と撮像部１０３を備える通常のビデオカメラユニットとなる。本実施形態では、光学レンズ１０２の前面に回折格子１０１を配置するので通常の撮像系ではなく、回折画像を含んだ画像を取得できる構成となっている。撮像部１０３で撮像された実像および虚像を含む画像は、輝度勾配特徴抽出部１１０へ送られ、実像検出部１１１により、画像の中から実像を検出する。検出された実像の輝度勾配の特徴は、奥行き計算部１２０に送られ、虚像検出部１２１は、後述するウィンドウ処理などを用いて、検出した実像との相関の高い像を検出し、それを虚像として検出する。虚像検出部１２１は、第１算出手段を含み、検出した実像と虚像との距離を求める。また、奥行き算出部１２２は、第２算出手段を含み、その距離を用いて、被写体と撮像装置（画像取得部）との距離を算出する。そして、画像認識処理部１３０は、実像の輝度勾配の特徴と、実像と虚像との画素間距離を用いて、取得した画像の認識に応用する。

図２に、本実施形態における画像取得部１００の内部構成と、距離の算出の概念について示す。図２では説明および計算式を簡単にするために、光学レンズ１０２を省略し、その光学系を考慮した回折格子と撮像素子との間の距離をＤとして描いている。実際、光学レンズを考慮した場合、対象物体の像が撮像素子上に撮像されるまでの過程は複雑になるが、基本的な概念を理解するには、これから説明する光学レンズを省略した場合で十分である。また、通常のビデオカメラでは原色または補色のＲＧＢフィルタ１０４が撮像素子前面に配置され、ＲＧＢが分離されるが、説明の簡略化のために緑（Ｇ）の場合を扱う。赤（Ｒ）と青（Ｂ）も同様の処理となるため、ここでは説明を省略する。

撮像部１０３は、この例ではＣＭＯＳセンサを使用する。この撮像素子はＣＭＯＳに限定するものではなく、ＣＣＤ、銀塩など光学情報を記録できる素子であればよいことは言うまでもない。いま、白い対象物体２０１を実施形態１における装置で撮像する場合を考える。画像取得部１００に入射した白い対象物体２０１に由来する光学情報は、回折格子１０１によって分光・回折され、回折格子の背後に配置された撮像光学系、光学レンズ１０２、ＲＧＢフィルタ１０４を通ってＣＭＯＳの撮像部１０３へ投射される。符号２１１で示す像は光軸の軸上で撮像部１０３に結像された対象物体２０１の実像である。符号２１２−１および２１２−２で示す像は、回折格子１０１による対象物体２０１と回折格子１０１間の距離を反映した虚像となる。虚像２１２−１と２１２−２は、実像２１１に対して対称な位置に出現する。

図３を用いて、実像２１１と虚像２１２との撮像部１０３上における距離ｘから回折格子１０１と対象物体２０１との距離Ｌを算出する方法について説明する。説明を簡単にするため、虚像２１２−１について説明する。虚像２１２−２も同様に算出できるので、虚像２１２−２に対する説明を省略する。

照明光（白色光）が対象物体２０１に照射されると、照明光は対象物体２０１の物体表面で発散し、光軸方向へ進む光束３００が回折格子１０１の点Ｏへ入射する。また光束３００に対して角度θの方向へ発散する発散光束３０１が回折格子１０１の点P1へ入射する。回折格子１０１を通過した光束３００は、回折作用によって０次回折光３１０と、１次回折光３１１となる。このとき０次回折光３１０と１次回折光３１１のなす角θは、回折格子１０１の格子定数をｄとすると次式のように表される。

ここで、λについてはＲＧＢフィルタ１０４の感度曲線のピーク値を用いてθを求める。ピーク値はビデオカメラによって異なるため、あらかじめ計測しておく。本実施形態では、緑領域の感度の例としてλ＝550nmと仮定する。

続いて、発散光束３０１が回折格子１０１の点Ｐ１へ入射し、回折作用によって、０次回折光３２０と角θで１次回折光３２１−１、３２１−２となってＲＧＢフィルタ１０４によって緑成分のみ抽出される。そして撮像部１０３へ投射される。この回折作用により、光軸に沿った光束３００の１次回折光３１１と発散光束３０１の１次回折光３２１−２とが、互いに強めあうことで、実像２１１から距離ｘだけ離れた位置に虚像２１２−１が現れる。

上記の関係から、回折格子１０１上の光束３００と発散光束３０１の入射位置差ＯＰ１＝ｘとなるため、光学的関係から回折格子１０１による実像虚像の距離ｘを用いると、回折格子１０１と対象物体２０１との距離Ｌは次式で求められる。ここで、sinθは式（１）で表わされる。

もしくは、格子定数ｄ、波長λを用いると

これら式により、実像２１１と虚像２１２−１の距離ｘから対象物体２０１までの距離Ｌを算出することが可能となる。

ここでは、距離算出方法として回折格子の原理を用いて距離Ｌを算出した。しかし、実際には格子定数や光学レンズ１０２による光学系の距離Ｄ、そしてＲＧＢフィルタ１０４による感度曲線のピーク値の正確な値などが不明なため、正確なλを算出することができない場合が多い。そこで実際にはＬが既知の位置（以下「ｌ」とする）に対象物体２０１を設置し、そのときの虚像２１２−１の出現位置Ｘを求めることでキャリブレーションを行い、以下の式（４）を用いて対象物体２０１までの距離Ｌを算出してもよい。

本実施形態では、説明の簡略化のためＲＧＢフィルタ１０４を原色フィルタの緑フィルタとして説明を行ったが、これに限定するものではない。原色フィルタの赤および青、さらに補色フィルタのマゼンタ、シアン、また赤外線領域など他の周波数特性のＲＧＢフィルタにおいても同様の方法で距離Ｌを算出することが可能であることはいうまでもない。

図３に、実像と虚像との間の距離ｘ１を算出するための概念図を示す。実像２１１の中心を原点とし、虚像２１２−１に向かう方向、すなわち回折格子に直行する方向をｘ軸正方向とし、実像２１１の上方向をy軸正方向とする。この画像処理装置の虚像検出部１２１は、抽出された実像の中心を中心とする第１ウィンドウ４０１を設定し、その大きさをＢＢｘ、ＢＢｙとし、第１ウィンドウ４０１を走査距離Δｘだけｘ軸方向に移動させたウィンドウを第２ウィンドウ４０２とする。ＢＢｘおよびＢＢｙの大きさは処理系の計算性能と、対象物体の大きさに依存する。ＢＢｘおよびＢＢｙの大きさについては、本発明の目的と直接関係ないので説明は割愛する。

またこの画像処理部の虚像検出部１２１は、実像に対する第１ウィンドウ４０１内の輝度分布と第２ウィンドウ４０２内の輝度分布との相関を計算する。期待値をＥとし、抽出したウィンドウ内のある位置のピクセルの輝度値を第１輝度値Ｘ_０とし、第１ウィンドウ４０１内にあるピクセルの輝度平均を第１輝度平均値Ｘ_０ａｖｅとする。更に、第１ウィンドウ４０１内の第１輝度値に対応する、第２ウィンドウ４０２内のピクセル輝度値を第２輝度値Ｘ_ΔＸとし、第２ウィンドウ４０２内のピクセルの輝度平均を第２輝度平均値Ｘ_{ΔＸａｖｅ}とし、この輝度の分布に関する分散をσ^２とする。この変数を用いると、第１ウィンドウ４０１と第２ウィンドウ４０２における自己相関関数は次式（５）で表される。

ウィンドウ４０２が、虚像２１２−１の位置ｘ１まで移動したときその自己相関値が最大となるため、虚像位置ｘ１を算出することが可能となる。

なお、この手法では自己相関関数を用いて実像と虚像との間の距離を算出したが、それに限定するものではなく、相互相関関数を用いた他の手法でも同様に算出できることは言うまでもない。本手法では、回折格子１０１のスリットと直行する方向に走査するだけでよいので、計算時間の短縮が期待できる。

図５のフロー図を用いて、以上述べた動作を説明する。

Ｓ３０１からＳ３０３のステップは、画像取得部１００の中の動作を示すものである。また、Ｓ３０４からＳ３１２までのステップは、図１の輝度勾配特徴抽出部１１０、奥行き計算部１２０などで行われる画像処理を行うもので、例えばパーソナルコンピュータを用いて行っても良い。

Ｓ３０１で、回折格子１０１が対象物体の像を回折する。Ｓ３０２において、光学レンズ１０２が回折された像を集光する。Ｓ３０３において、ＲＧＢフィルタ１０４により、Ｒ、Ｇ、Ｂの波長に対応して、像が分離される。この例では、緑のＧに対応した回折像が図２と図３に示されている。

Ｓ３０４において、画像取得部１００の撮像部１０３により、回折格子１０１により回折し、ＲＧＢフィルタによりＲ、Ｇ、Ｂ（この例ではＧのみ）に分離された虚像と実像を含む対象物体の画像が取得される。Ｓ３０５において、輝度勾配特徴抽出部１１０の実像検出部１１１は、例えば、取得された画像の中で輝度勾配の一番大きい画像を実像として抽出する。この実像の抽出方法は、実施形態３、４の中で説明する。

Ｓ３０６において、虚像検出部１２１は、抽出した実像２１１の中心（または輝度の重心でもよい）を中心とする第１ウィンドウ４０１を設定する。Ｓ３０７において、虚像検出部１２１は、第１ウィンドウを、回折格子のスリットと垂直な方向へΔｘ移動した第２ウィンドウ４０２を設定する。

Ｓ３０８において、虚像検出部１２１は、第１ウィンドウ内の輝度分布と第２ウィンドウ内の輝度分布との相関を計算する。Ｓ３０９において、虚像検出部１２１は、Δｘの増加させ、計算した相関値をｘに関してプロットし、相関値がピークを示すか否かをチェックする。もし、ピーク値でなかったら、Ｓ３０７に戻り、Δｘだけ第２ウィンドウを移動する。もしピーク値であれば、Ｓ３１０へ移る。これ以外のピーク検出法として、最初にピークが現れる距離の範囲以上に第２ウィンドウを移動することにより、その範囲での相関値を全体として評価し、ピーク値を決定しても良い。

Ｓ３１０において、虚像検出部１２１は、このときの第２ウィンドウの中心の位置を虚像の位置とする。Ｓ３１１において、虚像検出部１２１は、第１ウィンドウの中心位置と第２ウィンドウの中心位置との間の距離を算出する。Ｓ３１２において、奥行き算出部１２２は、算出した距離と式（２）〜（３）を用いて、奥行き距離を算出する。

以上のように、実施形態１では、対象物体の回折画像を取得し、その回折画像から実像と虚像を検出し、その間の距離を求めることで、対象物体と回折格子間の距離を算出できる。

＜実施形態２＞
２つの虚像の対称性を利用した虚像を特定する方法について述べる。実施形態１と同様に図１〜４を用いて説明をしていく。

実施形態１では、撮像部１０３上に投射された実像２１１と虚像２１２−１の距離を求めた。ここでは、ノイズの多い背景や実像２１１のコントラストが低い場合など相関関数が大きな値をとらない場合にどのような対応をするかについて述べる。

図２に示すように、回折格子の特性により実像２１１の虚像は、回折格子のスリットと垂直方向に線対称に、虚像２１２−１および虚像２１２−２として出現する。その実像と虚像との間の距離はｘに等しい。そこでその対象性を利用して実施形態１にて算出した実像と虚像との間の距離ｘ１（図４参照）とｘ軸負方向に存在する虚像２１２−２との距離ｘ２（不図示）が等しいことを利用し、ｘ１＝ｘ２となる相関係数のピーク位置を虚像の位置として定義する。そして、この２つのピーク位置が実像２１１に対して対称に検出される場合に、その虚像を用いて実像と虚像との間の距離を算出する。また、もしこの２つのピーク位置が対象でない場合、この虚像を用いて距離の算出は行わない。これにより、誤りなく虚像位置を見つけて虚像位置を算出することができる。またノイズなどによる相関係数の低下によって誤った虚像位置を算出することを防ぐ。

本実施形態ではウィンドウとして画像領域を設定したが、これに限定するものではなく、ウィンドウ４０１はｘ軸方向もしくはｙ軸方向への１次元情報でも同様の効果を示すことはいうまでもない。

また、一般に回折格子を用いると、複数の虚像が得られる。本実施形態では1次のスリットを使用するため、虚像は２つ出現するが、直交スリットを用いることによって撮像画素上の上下左右に４つの虚像を投射することが可能となり、より精細な虚像同定が可能となる。

＜実施形態３＞
ＲＧＢの波長差によって異なる虚像間距離を利用した虚像を特定する方法について述べる。実施形態１と同様に図１〜４を用いて説明を行う。

撮像装置は撮像素子上に現れた虚像について、その確からしさをチェックし、適切な虚像であるか否かを決定する虚像検出部を有する。本実施形態では、撮像部１０３上に投影された実像と虚像との間の距離がＲＧＢフィルタ１０４によって波長λが異なることを利用して、虚像を求める。

本実施形態では、ビデオカメラやデジタルカメラなどカラー画像を取得する撮像装置にＲＧＢの原色フィルタを採用している場合に対応する。通常撮像部１０３の前面に配置された原色フィルタによって色周波数領域を限定し、感光素子に入力する色情報を限定している。

図６にその典型的な原色フィルタの感度特性および、ＲＧＢのそれぞれで相関係数を算出した結果を示す。図に示すように原色フィルタが波長ごとに選択的に抽出されているため、ＲＧＢのそれぞれで求められる虚像２１２−１の位置ｘ１ｒ、ｘ１ｇ、ｘ１ｂおよび虚像２１２−２の位置ｘ２ｒ、ｘ２ｇ、ｘ２ｂは異なる位置に算出される。この特性を利用し、Ｒ、Ｇ、Ｂ間の比率を算出する。

図６に典型的な原色のＲＧＢフィルタ１０４の光学感度特性の例が示されている。５０１は青領域の原色フィルタの感度曲線を示し、その波長λｂ＝470nmにピークを持つ。同様に緑領域における原色フィルタの感度曲線５０２のピーク波長λｇ＝550nm、赤領域における原色フィルタの感度曲線５０３のピーク波長λｒ＝630nmと仮定する。

このとき、１ｍ先に存在する対象物体２０１の虚像の位置は、Ｒ、Ｇ、Ｂのそれぞれのλに応じて撮像素子上に現れ、各々の虚像位置が異なる。その距離の比は虚像２１２−１のＲＧＢ成分と虚像２１２−２のＲＧＢ成分とで等しくなり、Ｒ、Ｇ、Ｂの各波長に応じ虚像位置に関して所定の変化が現れることを利用する。即ち、ノイズと真の虚像とを判別するため、これらの虚像が、実像２１１から等距離で、かつＲ、Ｇ、Ｂに対応する距離比となっているかについて判定する。この判定の結果がＯＫであれば、これらの虚像を利用して実像と各虚像との距離を算出する。もし判定の結果、ＮＧであればこの虚像は利用しない。

またこの撮像装置は、実像検出部１１１を備え、輝度値の相関を利用して実像を抽出する。図７に実像２１１と虚像２１２−１、２１２−２の輝度値の相関を示す。ピーク６００は実像２１１にある画素の相関値で、自身の相関のためその値は1.0となる。虚像２１２の相関値は1.0より小さいのは、輝度情報がＲＧＢに分割されるからであり、また輝度値がカラーフィルタの範囲に分布するためその強度が下がる。ピーク６０１および６１１がＲＧＢの青（Ｂ）のみの画像による虚像の位置を示し、６０１と６１１との距離は等しい。同様に緑（Ｇ）のみの画像によるピーク値を６０２、６１２とし、赤（Ｒ）のみの画像によるピーク値を６０３、６１３とする。

このような輝度の分布において、ピーク６２０をノイズによるピークがある場合でも、ピーク６２０に対応する分布が対となって存在しておらず、なおかつＲＧＢの分布も一定でないことから、ピーク６２０は虚像によるピークではないことがわかる。従って、この場合、このノイズによるピーク６２０は、虚像として利用されない。

本実施形態では、カラーフィルタが配置されていることが前提となっているが、それに限らず感光素子そのものが周波数選択性を持っている場合でも適用可能であることは言うまでもない。

＜実施形態４＞
本実施形態では、撮像装置に回折格子を組み合わせた場合の特性を利用して実像のみを抽出する手法について説明する。

画像認識処理においてSIFT特徴や、Harris特徴に代表されるような輝度勾配特徴の検出を行う際にその奥行き情報は重要な手がかりとなる。特に近辺の特徴が同一対象の一部を示していると判断するセグメンテーションの処理などで、奥行き距離情報は重要な手がかりとなる。

そこで実施形態４における画像特徴量の奥行き距離を取得するための手法について説明する。輝度勾配特徴の性質としてコントラストの大きな変化が挙げられる。このとき実像２１１のコントラストは、図７の６００のピークのグラフように表され、輝度勾配特徴を算出すると特徴量として抽出される。しかし、虚像の輝度勾配特徴は、６０１〜６１３のグラフように滑らかになるため、輝度勾配特徴抽出処理で抽出されないよう制御することが可能である。

図８に実施形態４の例を示す。図中の符号７０１は実像２１１を表わし、その周辺に虚像７１１が存在する。ここでは回折格子に直交スリットを使用しているため、上下左右に虚像が出現している。実像７０１中の矩形はHarris特徴によるコーナー点の特徴を表わしている。実像７０１からは輝度勾配特徴が検出されているが、虚像７１１では、コーナーとして検出されていないことがわかる。

この特性を利用して、実像７０１の画像特徴のみを画像中から抽出し、その特徴量の位置から前記実施例の手法を用いて虚像７１１の位置を算出することで７０１上に存在する輝度勾配特徴量の奥行き距離が算出できることがわかる。

＜実施形態５＞
実施形態５では、虚像２１２のコントラストが低い問題に対処する。このために、回折による虚像が対象性を持つことを利用し、Ｓ／Ｎ比を向上させる。

図６に示すように、実施形態３の手法を用いて算出した輝度値の相関係数に対して、実像２１１の位置（原点）を中心にして線対称に、対の虚像間の輝度値の相関係数を折り返し、加算平均処理を行うと、Ｓ／Ｎ比を向上することが可能となる。信号の平均値Ｒ_ａｖｅとすると、

となり、信号強度を変えずにノイズ信号のみを１／２にすることで、Ｓ／Ｎを２倍にすることが可能になる。ここで説明のため、１次のスリットを使用したが、直交スリットを使用することでＳ／Ｎ比を最大４倍にすることも可能である。

本実施形態では、相関値によるヒストグラムに対して加算平均処理を行った。しかしこれに限定するものではなく、原画像に対して、線対称に加算平均処理を施すことで原画像の虚像の信号強度を相対的に上げてから実施例の処理を施すことも可能なことは言うまでもない。

以上のように、実像２１１の位置を中心にして線対称に対の虚像間の輝度や相関値を折り返し、加算平均処理を行うと、Ｓ／Ｎ比を向上する効果を奏する。

Claims (8)

1. 回折格子と撮像光学系を介して得られる対象物体の像を撮像部を用いて撮像することにより得られた回折画像を取得する取得手段と、
   前記回折格子と前記撮像光学系との間に配置されたＲＧＢフィルタと、
   前記回折画像の輝度勾配から実像を検出する実像検出手段と、
   前記回折画像において、少なくとも１つの虚像の位置を検出する虚像検出手段と、
   前記回折画像における虚像の位置と、前記ＲＧＢフィルタの特性とに基づいて、前記回折画像において、前記検出された実像と、この実像に対応する虚像との距離を算出する第１算出手段と、
   前記第１算出手段で算出された距離を用いて、前記対象物体と前記回折格子との奥行き距離を算出する第２算出手段とを備えることを特徴とする画像処理装置。
2. 前記第１算出手段は、前記検出される回折画像における虚像の位置と、前記ＲＧＢフィルタの波長特性とに基づいて、前記検出される実像と、該実像に対応する虚像との距離を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記虚像検出手段は、複数の虚像を検出し、
   前記第１算出手段は、前記検出される複数の虚像それぞれとの位置と、前記ＲＧＢフィルタの波長特性とに基づいて、前記検出される複数の虚像のうちから、少なくとも１つの虚像を選択し、該選択される虚像と前記実像との距離を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記虚像検出手段は、前記実像の中心を中心とする第１ウィンドウと該第１ウィンドウを前記回折格子のスリットと垂直な方向へ移動させた第２ウィンドウとを設定し、
   前記第１ウィンドウにおける輝度分布と前記第２ウィンドウにおける輝度分布との相関に基づき前記虚像の位置を検出することを特徴とする請求項１に記載の画像処理装置。
5. 回折格子と撮像光学系を介して得られる対象物体の像を撮像部を用いて撮像することにより得られた回折画像を取得する取得手段と、
   前記回折画像の輝度勾配から実像を検出する実像検出手段と、
   前記回折画像において、前記検出された実像と、この実像に対応する虚像との距離を算出する第１算出手段と、
   前記第１算出手段で算出された距離を用いて、前記対象物体と前記回折格子との奥行き距離を算出する第２算出手段と、
   前記回折格子と前記撮像光学系との間に配置されたＲＧＢフィルタとを備え、
   前記第１算出手段は、前記回折画像において複数の虚像が、Ｒ、Ｇ、Ｂの各波長に対応する位置に出現し、前記実像と該複数の虚像の各々との距離の比が、該Ｒ、Ｇ、Ｂの各波長の比と等しくなるとき、前記実像と前記虚像との距離を算出することを特徴とする画像処理装置。
6. 前記回折画像において対称に出現した虚像の対について、前記実像の中心位置を中心に折り返して該虚像の対の間の輝度値を加算し、前記加算された値の平均をとる加算平均手段を更に備えることを特徴とする請求項５に記載の画像処理装置。
7. 回折格子、撮像光学系、および前記回折格子と前記撮像光学系との間に配置されたＲＧＢフィルタを介して得られる対象物体の像を撮像部を用いて撮像することにより得られた回折画像を処理する画像処理方法であって、
   実像検出手段が、前記回折画像の輝度勾配から実像を検出する実像検出工程と、
   虚像検出手段が、前記回折画像において、少なくとも１つの虚像の位置を検出する虚像検出工程と、
   第１算出手段が、前記回折画像における虚像の位置と、前記ＲＧＢフィルタの特性とに基づいて、前記回折画像において、前記検出された実像と、この実像に対応する虚像との距離を算出する第１算出工程と、
   第２算出手段が、前記算出された距離を用いて、前記対象物体と前記回折格子との奥行き距離を算出する第２算出工程とを備えることを特徴とする画像処理方法。
8. 回折格子、撮像光学系、および前記回折格子と前記撮像光学系との間に配置されたＲＧＢフィルタを介して得られる対象物体の像を撮像部を用いて撮像することにより得られた回折画像を処理する画像処理方法であって、
   実像検出手段が、前記回折画像の輝度勾配から実像を検出する実像検出工程と、
   第１算出手段が、前記回折画像において、前記検出された実像と、この実像に対応する虚像との距離を算出する第１算出工程と、
   第２算出手段が、前記第１算出工程で算出された距離を用いて、前記対象物体と前記回折格子との奥行き距離を算出する第２算出工程と、を有し、
   前記第１算出工程では、前記回折画像において複数の虚像が、Ｒ、Ｇ、Ｂの各波長に対応する位置に出現し、前記実像と該複数の虚像の各々との距離の比が、該Ｒ、Ｇ、Ｂの各波長の比と等しくなるとき、前記実像と前記虚像との距離を算出することを特徴とする画像処理方法。

Images