JP2005258622A - 三次元情報取得システムおよび三次元情報取得方法 - Google Patents

Abstract

【課題】一つのセンサで被測定物の同一位置の画像情報（三次元情報）と色情報を取得可能とした三次元情報取得技術を提供すること。
【解決手段】３チャンネル以上の分光感度を有する撮像素子と、前記３チャンネル以上の分光感度のうちの１つのチャンネルの分光感度内で発光する第１の光源と、前記３チャンネル以上の分光感度の残りの２つ以上のチャンネルの分光感度内で発光する第２の光源とを有し、前記第１の光源および第２の光源により被測定物を照明した状態で、前記撮像素子上で、前記３チャンネル以上の分光感度のうちの１つのチャンネルを用いて空間コード化パターン投影法による三次元情報取得（パターン光計測）を行うと同時に、前記３チャンネル以上の分光感度の残りの２つ以上のチャンネルを用いて色情報（カラー画像）を取得することを特徴とするもの。
【選択図】図１

Description

本発明は、パターン投影法を用いて被測定物の三次元情報を取得する三次元情報取得システムおよび三次元情報取得方法に関し、より詳細には、被測定物の三次元情報の取得と同時に、被測定物がカラー被写体（色つきの物体）である場合にはその色および階調情報を、また、被測定物がモノクロ被写体（色のない、白黒モノトーンの物体）である場合にはその階調情報（以下、これらをまとめて色情報という）を取得可能とした三次元情報取得システムおよび三次元情報取得方法に関する。

従来から、撮影装置に対する相対的な位置と方向が既知である光源からの光を、例えばスリット等のパターンとして被測定物に投影し、その画像を撮影装置により撮影してパターンの変形具合から立体形状を推定することにより、被測定物の三次元情報を取得する空間コード化パターン光投影法（以下、単に、パターン投影法という）が知られている。

例えば、特許文献１には、上述のパターン投影法を用いて被測定物のテクスチャ情報をも含めた三次元画像を取得する場合、パターンが投影されたパターン画像と、パターンが投影されていない通常のカラー静止画像（テクスチャ画像）とが時系列的に別々に撮像されることによる欠点を解消するための技術が提案されている。

この技術では、簡単・迅速にパターン投影法による撮像が行える三次元画像検出装置として、照明光である赤外光，可視光の被測定物からの反射光をミラーにより二つに分け、この二つの光を一つのＣＣＤの左・右半面に導き、例えば赤外光による像をＣＣＤの右半分の領域に、可視光によるカラー像をＣＣＤの左半分の領域に結像・露光させるように構成されている。

しかしながら、上述の特許文献１に開示された装置では、被測定物の同一部分（位置）からの反射光をＣＣＤの左・右半面に分けて導いているため、実際には、これらの同一部分（位置）からの反射光を位置合わせするために、光学系を極めて高精度に調整する必要があり、装置の維持，取り扱いが難しいという問題がある。

また、特許文献２には、共焦点顕微鏡を改良して、距離情報だけでなく、色情報をも取得できるようにした装置が提案されている。この装置はスポット走査型の装置で、１点ずつ情報を取得するものであるが、照明光であるレーザ光，可視光の被測定物からの反射光をビームスプリッタを用いて二分し、高さ情報（距離情報）と色情報を得て、これらを合成することで着色された三次元情報を生成するものである。

特開２００３−１２１１２６号公報 特開２００４−２９５３７号公報

上記特許文献２に開示された装置では、前述の特許文献１に開示された装置が有していた、距離情報（画像情報あるいは三次元情報）と色情報との位置対応をとるための諸問題は解消されているが、画像情報を取得するためのセンサと、色情報を取得するためのセンサとを別々に持たなければならないという別の問題がある。これは、装置を小型・コンパクト化する際には支障となる点である。

本発明は上記事情に鑑みてなされたもので、その目的とするところは、上述の従来技術における問題点を解消して、一つのセンサで被測定物の同一位置の画像情報（三次元情報）と色情報を取得可能とした三次元情報取得システムおよび三次元情報取得方法を提供することにある。

上記目的を達成するために、本発明に係る三次元情報取得システムは、色情報をも取得可能な三次元情報取得システムであって、３チャンネル以上の分光感度を有する撮像素子と、前記３チャンネル以上の分光感度のうちの１つのチャンネルの分光感度内で発光する第１の光源と、前記３チャンネル以上の分光感度の残りの２つ以上のチャンネルの分光感度内で発光する第２の光源とを有し、前記第１の光源および第２の光源により被測定物を照明した状態で、前記撮像素子上で、前記３チャンネル以上の分光感度のうちの１つのチャンネルを用いて空間コード化パターン投影法による三次元情報取得（パターン光計測）を行うと同時に、前記３チャンネル以上の分光感度の残りの２つ以上のチャンネルを用いて色情報（カラー画像）を取得することを特徴とする。

ここで、前記撮像素子としては、前記パターン光計測のための可視域外の感度とカラー画像取得のためのＲＧＢ感度との計４チャンネルを有する素子を、前記第１の光源としてパターン照射のための可視域外の光を発生する光源を、また、前記第２の光源としてカラー画像取得のための可視光を発生する光源を用いることが好ましい。
また、前記可視域外の光は、紫外線もしくは赤外線であることが好ましい。

また、前記撮像素子として、第４の感色層として紫外線もしくは赤外線感度を有し、紫外もしくは赤外発色層を有するカラーフィルムが好適に用い得る。またさらに、前記撮像素子としては、第４の分光感度として紫外線もしくは赤外線感度を有する電子撮像素子を好適に用いることができる。

一方、本発明に係る三次元情報取得方法は、色情報をも取得可能な三次元情報取得方法であって、３チャンネル以上の分光感度を有する撮像素子を用い、前記３チャンネル以上の分光感度のうちの１つのチャンネルの分光感度内で発光する光源を用いて、空間コード化パターン投影法による三次元情報取得（パターン光計測）を行うと同時に、前記３チャンネル以上の分光感度の残りの２つ以上のチャンネルを用いて色情報（カラー画像）を取得することを特徴とする。

ここで、前記撮像素子としては、前記パターン光計測のための可視域外の光に対する感度とカラー画像取得のためのＲＧＢ光に対する感度との計４チャンネルを有する素子を用いることが好ましい。
また、前記可視域外の光は、紫外線もしくは赤外線であることが好ましい。

また、前記撮像素子としては、第４の感色層として紫外線もしくは赤外線感度を有し、紫外もしくは赤外発色層を有するカラーフィルムが好適に用い得る。またさらに、前記撮像素子としては、第４の分光感度として紫外線もしくは赤外線感度を有する電子撮像素子を好適に用いることができる。

本発明によれば、一つのセンサで被測定物の同一位置の画像情報（三次元情報）と色情報を取得可能とした三次元情報取得システムおよび三次元情報取得方法を実現できるという顕著な効果を奏する。

より具体的には、本発明によれば、一つの撮像系（被測定物−結像光学系−撮像素子）で被測定物の画像情報（三次元情報）と色情報とを取得するようにしたので、自動的に被測定物の同一位置の画像情報（三次元情報）と色情報とが得られる。従って、情報取得後に、それらの間の位置合わせなどの処理が不要となり、処理が簡略化できるとともに、情報の精度が向上する。

以下、図面に示す好適実施形態に基づいて、本発明を詳細に説明する。

図１は、本発明の一実施形態に係るフルカラー三次元情報取得システム１０の概略構成を示す図である。
本実施形態に係るフルカラー三次元情報取得システム（以下、単に、三次元情報取得システムという）１０は、被測定物である色つきの物体２２にスリット状のパターンを投影してそのパターン情報（画像情報，三次元情報）を得るとともに、白色光源による照明により物体２２の色情報を取得するものである。

本実施形態に係る三次元情報取得システム１０は、後述するような特殊フィルターを備えたＣＣＤ１４を用いるＣＣＤカメラ１２と、上述のパターン情報を発生するための赤外光源１６およびスリットパターン（以下、単にパターンという）１８と、上述の色情報を得るために物体２２を照明する白色光源２０から主として構成されている。

本実施形態に係る三次元情報取得システム１０の特徴は、上にも述べたように、パターン情報を取得する際に、色情報取得の妨げとならないように赤外光、すなわち可視域外の光を用いる点にある。なお、ここでは赤外光を用いるようにしているが、これは一例であり、例えば紫外光など、他の光源を用いることも可能である。

また、ここでは、情報取得センサとして特殊なフィルターを備えたＣＣＤを用いているが、これも一例であり、上記センサとしては、例えば、前述のような、第４の感色層として紫外線もしくは赤外線感度を有し、紫外もしくは赤外発色層を有するカラーフィルムが好適に用い得る。

前述のように、ＣＣＤカメラ１２には、結像レンズと絞り（アイリス絞り等）を有する撮影光学系と、特殊フィルター１４ａを有するＣＣＤ１４ｂ（これらを一体として見た場合、ＣＣＤ１４と呼ぶ）が備えられている。
図２に、上述の特殊フィルター１４ａの構成を示す。

通常、カラー撮像用ＣＣＤの１画素は実際には４画素を用いて構成されており、この４画素のうちの対角の２画素がＧ（緑）フィルターで、残りの２画素がＢ（青）フィルターとＲ（赤）フィルターで構成されるが、本実施形態に係る三次元情報取得システム１０のＣＣＤカメラ１２では、上述の２画素のＧフィルターのうちの一方をＩＲ（赤外）フィルターとした点が特徴である。

いうまでもなく、赤外光の代わりに、紫外光を用いる場合には、図２に示す特殊フィルター１４ａにおける、Ｇ（緑）フィルターを置き換えたＩＲ（赤外）フィルターをさらにＵＶ（紫外）フィルターに置き換えるとともに、赤外光源１６を紫外光源に置き換えればよい。

パターン１８は、ここでは、赤外線を透過する支持体上に、赤外線を吸収する材料により構成される５本の柱状パターンを微小間隔で配置したものを用いている。ここで用いる赤外線透過材料，赤外線吸収材料には特別な制約はなく、通常用いられる材料を適宜用いることができる。

なお、赤外光源１６および白色光源２０は、いずれも、主方向に沿って拡散光を照射する光源であり、例えば、赤外光源１６はパターン１８の投影パターンを被測定物２２の表面の赤外光源１６に面する表面に所定の大きさ（面積）で照射し、白色光源２０は白色光を被測定物２２の白色光源２０に面する表面全体に照射する。

本実施形態に係る三次元情報取得システム１０は、基本的に上述のような構成を有するものである。
以下、本実施形態に係る三次元情報取得システム１０を用いて、フルカラーの三次元情報を取得する場合の動作を説明する。なお、ここでは、三次元情報の取得には、赤外光を用いるが、本発明はこれに限定されるものではないことは、前述の通りである。

すなわち、本実施形態に係る三次元情報取得システム１０を用いて、被測定物２２に空間コード化パターンを照射する際には、例えば、赤外光源１６（もしくは赤外透過フィルターを備えた白色光源）を用いて赤外光パターンを照射する。そして、この赤外光パターンの反射像が、前述のＣＣＤカメラ１２の撮影光学系を介して、特殊フィルター１４ａを有するＣＣＤ１４のＩＲと示される部分に記録される。

一方、被測定物２２には、上述の赤外光源１６とは離れた位置に配置されている白色光源２０から白色光が照射される。そして、この白色光の被測定物２２からの反射光によるカラー像が、前述の赤外パターンの反射像と同一の光路を通って、特殊フィルター１４ａを有するＣＣＤ１４のＲ，Ｇ，Ｂと示される部分（すなわち、カラー像受像部分）に記録される。

図示されていない処理手段は、あらかじめ登録されている上記二つの光源１６，２０の位置、ＣＣＤカメラ１２の位置（実際には、その中のＣＣＤ１４上の各画素それぞれの位置）を基に、ＣＣＤ１４上の画素一つ一つ（実際には、図２に示すように４画素から構成される画素）に記録された赤外光パターンの反射像から、被測定物２２の表面の各点に対応する空間内の位置の情報（すなわち、三次元情報）を算出する。

図３に、被測定物２２の三次元情報取得のためのパターン形状を模式的に示す。ここでは、判りやすくするために、均一な色の球体にマルチスリットパターンを照射した状態を示しているが、これは一例であり、本発明を限定するものではない。
上記処理手段は、三角測量の原理に基づいて、複数のスリットの位置情報から、上述の球体の表面の空間的位置を算出する。

同様に、上記処理手段は、ＣＣＤ１４上の各画素に記録されたカラー情報を読み取り、前ステップで算出した被測定物２２の表面の各点に対応する三次元情報と組み合わせることにより、全体として、被測定物２２の表面上の各点の三次元情報（位置）およびカラー情報を得る。

図４に、上記実施形態に係る三次元情報取得システム１０における動作を示す。
ここでは、赤外光による被測定物２２へのパターン照射と、白色光による被測定物２２の照明とを平行して行い（ステップ４１，４２）、ＣＣＤカメラ１２上に、それぞれの反射光、すなわち、パターン形状情報と色情報とを受光する（ステップ４３，４４）。
次いで、各点のパターン形状情報からその空間的位置を算出し（ステップ４５）、対応する点の色情報と組み合わせる（ステップ４６）。

このような手順により、本実施形態に係る三次元情報取得システム１０においては、簡単な操作で、一つのセンサで被測定物の同一位置の画像情報（三次元情報）と色情報を取得可能とすることができる。

なお、上記実施形態は、本発明の一例を示したものであり、本発明は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変更や改良を行ってもよいことはいうまでもない。

例えば、上述の一つのセンサとしては、実施形態に示した紫外線もしくは赤外線検出用の特殊フィルターを備えたＣＣＤ素子に代えて、第４の感色層として紫外線もしくは赤外線感度を有し、紫外もしくは赤外発色層を有するカラーフィルムを好適に用いることができることは前述の通りである。

また、三次元情報を取得するために用いるパターンも、実施形態に示したマルチスリットパターンに限定されるものではなく、各種の規則的パターンを用いることが可能であることもいうまでもない。

本発明に係る三次元情報取得システムは、光学系および画像処理系（色情報と距離情報の画素の対応を取る）を簡略化できることから、例えば、一つのＣＣＤでＲ、Ｇ、Ｂの色情報（可視情報）と赤外等の非可視情報とを取得するカメラの光学系や、顕微鏡の光学系などの撮像素子として、大きな変更を行わずに従来のものと置き換える形で利用することができるものである。

本発明の一実施形態に係るフルカラー三次元情報取得システムの概略構成を示す図である。 一実施形態に係るフルカラー三次元情報取得システムにおいて用いる特殊フィルターの構成を示す図である。 一実施形態に係るフルカラー三次元情報取得システムにおける被測定物の三次元情報取得のためのパターン形状を模式的に示す図である。 一実施形態に係るフルカラー三次元情報取得システムにおける動作を説明するフローチャートである。

符号の説明

１０ 三次元情報取得システム
１２ ＣＣＤカメラ
１４ ＣＣＤ
１４ａ 特殊フィルター
１４ｂ ＣＣＤ素子
１６ 赤外光源
１８ パターン（スリットパターン）
２０ 白色光源
２２ 被測定物
４１〜４６ 処理ステップ

Claims (10)

1. 色情報をも取得可能な三次元情報取得システムであって、
   ３チャンネル以上の分光感度を有する撮像素子と、
   前記３チャンネル以上の分光感度のうちの１つのチャンネルの分光感度内で発光する第１の光源と、
   前記３チャンネル以上の分光感度の残りの２つ以上のチャンネルの分光感度内で発光する第２の光源と
   を有し、前記第１の光源および第２の光源により被測定物を照明した状態で、前記撮像素子上で、
   前記３チャンネル以上の分光感度のうちの１つのチャンネルを用いて空間コード化パターン投影法による三次元情報取得（パターン光計測）を行うと同時に、
   前記３チャンネル以上の分光感度の残りの２つ以上のチャンネルを用いて色情報（カラー画像）を取得する
   ことを特徴とする三次元情報取得システム。
2. 前記撮像素子として、前記パターン光計測のための可視域外の感度とカラー画像取得のためのＲＧＢ感度との計４チャンネルを有する素子を、
   前記第１の光源としてパターン照射のための可視域外の光を発生する光源を、
   前記第２の光源としてカラー画像取得のための可視光を発生する光源を
   用いることを特徴とする請求項１に記載の三次元情報取得システム。
3. 前記可視域外の光は、紫外線もしくは赤外線であることを特徴とする請求項２に記載の三次元情報取得システム。
4. 前記撮像素子として、第４の感色層として紫外線もしくは赤外線感度を有し、紫外もしくは赤外発色層を有するカラーフィルムを用いることを特徴とする請求項３に記載の三次元情報取得システム。
5. 前記撮像素子として、第４の分光感度として紫外線もしくは赤外線感度を有する電子撮像素子を用いることを特徴とする請求項３に記載の三次元情報取得システム。
6. 色情報をも取得可能な三次元情報取得方法であって、
   ３チャンネル以上の分光感度を有する撮像素子を用い、
   前記３チャンネル以上の分光感度のうちの１つのチャンネルの分光感度内で発光する光源を用いて、空間コード化パターン投影法による三次元情報取得（パターン光計測）を行うと同時に、
   前記３チャンネル以上の分光感度の残りの２つ以上のチャンネルを用いて色情報（カラー画像）を取得する
   ことを特徴とする三次元情報取得方法。
7. 前記撮像素子として、前記パターン光計測のための可視域外の光に対する感度とカラー画像取得のためのＲＧＢ光に対する感度との計４チャンネルを有する素子を用いることを特徴とする請求項６に記載の三次元情報取得方法。
8. 前記可視域外の光は、紫外線もしくは赤外線であることを特徴とする請求項７に記載の三次元情報取得方法。
9. 前記撮像素子として、第４の感色層として紫外線もしくは赤外線感度を有し、紫外もしくは赤外発色層を有するカラーフィルムを用いることを特徴とする請求項８に記載の三次元情報取得方法。
10. 前記撮像素子として、第４の分光感度として紫外線もしくは赤外線感度を有する電子撮像素子を用いることを特徴とする請求項８に記載の三次元情報取得方法。

Images