JP4413343B2 - ３次元画像検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
従来、被写体までの距離を画素毎に検出する３次元画像検出装置としては、「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載されたものや、国際公開97/01111号公報に開示されたものなどが知られている。これらの３次元画像検出装置では、パルス変調されたレーザ光が被写体に照射され、その反射光が２次元ＣＣＤセンサによって受光され、電気信号に変換される。このとき２次元ＣＣＤと組み合わされたメカニカルまたは液晶素子等からなる電気工学的シャッタの１回のシャッタ動作により、被写体までの距離に相関する電気信号をＣＣＤの各画素毎に検出することができる。この電気信号からＣＣＤの各画素毎に対応する被写体までの距離が、画像情報として検出される。
【０００３】
【発明が解決しようとする課題】
しかし、検出された被写体までの距離情報に対応する画像情報には、目的とする被写体以外の物体の画像情報も含まれる。したがって、目的とする被写体に関する画像情報のみを得るには、検出された画像情報の中から目的とする被写体に対応する画像情報のみを抽出する必要がある。
【０００４】
本発明は、画素毎に検出され、被写体までの距離情報に対応する画像情報の中から目的とする被写体に関する画像情報のみを抽出可能な３次元画像検出装置を得ることを目的としている。
【０００５】
【課題を解決するための手段】
本発明の３次元画像検出装置は、各画素値が被写体までの距離情報に対応した３次元画像を検出する３次元画像検出手段と、３次元画像の一部の領域を選択するために、距離情報に基づいて３次元画像を複数の領域に分割する画像領域分割手段と画像領域分割手段により３次元画像を複数の領域に分割し、分割された各領域の平均距離に対応する各領域の画素値の平均値に基づいて、分割された領域の中から１つまたは複数の領域を選択する領域選択手段とを備えることを特徴としている。
【０００６】
領域選択手段は好ましくは、領域のうち平均距離が最も遠距離にある領域から所定の距離内にその平均距離がある領域以外の領域を選択する。
【０００７】
例えば３次元画像検出装置は、画像領域分割手段により分割された各領域を表示するための画像表示手段と、画像表示手段により表示された各領域の中から１つまたは複数の領域を選択するための入力手段とを備える。
【０００８】
好ましくは、画像領域分割手段における３次元画像の領域分割は、３次元画像を強調処理することにより得られる画像データに基いて行われる。強調処理は、例えば、３次元画像に微分マスクを施して行なわれる。このとき微分マスクは、例えば２次微分マスクである。
【０００９】
３次元画像の領域の分割は好ましくは、強調処理により得られた画像の強調された画素の連結により形成される連結成分に基づいて行われる。このときより好ましくは、３次元画像の領域の分割は、前記連結成分にラベリングすることにより行われる。
【００１０】
３次元画像検出装置は好ましくは、距離情報等を記録媒体に記録するためのデータ記録手段を備え、領域選択手段により選択された領域の距離情報を記録媒体に記録可能である。また３次元画像検出装置は、より好ましくは、被写体の視覚情報である２次元画像を検出するための２次元画像検出手段を備え、領域選択手段により選択された領域に対応する２次元画像に関する画像情報を記録媒体に記録可能である。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態であるカメラ型の画像検出装置の斜視図である。
【００１２】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５、液晶表示パネル１６が設けられ、右側にはモード切替ダイヤル１７が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、また、ビデオ出力端子２０、インターフェースコネクタ２１が設けられている。
【００１３】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１４】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８の撮像面には、撮影レンズ１１によって被写体像が形成され、これによりＣＣＤ２８において被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１５】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１６】
カメラをカメラ本体１０の外部に設けられたモニターＴＶ３９とケーブルで接続すれば、画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８、ビデオ出力端子２０を介してモニターＴＶ３９に伝送可能である。またシステムコントロール回路３５はインターフェース回路４０に接続されており、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがってカメラをカメラ本体１０の外部に設けられたコンピュータ４１とインターフェースケーブルを介して接続すれば、画像メモリ３４から読み出された画像信号をコンピュータに伝送可能である。また、システムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１７】
発光装置１４は発光素子１４ａと照明レンズ１４ｂにより構成され、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａはレーザダイオード（ＬＤ）であり、照射されるレーザ光は被写体の距離を検出するための測距光として用いられる。このレーザ光は照明レンズ１４ｂを介して被写体の全体に照射される。被写体で反射したレーザ光が撮影レンズ１１に入射し、ＣＣＤ２８で検出されることにより被写体までの距離情報が検出される。
【００１８】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００１９】
次に図３および図４を参照して、本実施形態における距離測定の原理について説明する。なお図４において横軸は時間ｔである。
【００２０】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２ ・・・（１）
により得られる。ただしＣは光速である。
【００２１】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２２】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被写体Ｓの表面の各点までの距離をそれぞれ検出し、被写体Ｓの表面形状に関する距離情報を３次元画像データとして一括して入力している。
【００２３】
図５は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２４】
フォトダイオード５１と垂直転送部５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図５において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００２５】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【００２６】
図７は３次元画像検出動作におけるタイミングチャートであり、図１、図２、図５〜図７を参照して本実施形態における３次元画像検出動作について説明する。なお本実施形態の３次元画像検出動作では、図４を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【００２７】
垂直同期信号（図示せず）の出力に同期して電荷掃出し信号（パルス信号）Ｓ１が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出され、フォトダイオード５１における蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し信号Ｓ１の出力の開始の後、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力される期間（パルス幅）は調整可能であり、図示例では、電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフするように調整されている。
【００２８】
測距光Ｓ３は被写体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被写体からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１が出力されている間は、フォトダイオード５１において電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１の出力が停止されると、フォトダイオード５１では、反射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ４と外光とに起因する信号電荷Ｓ５が発生する。反射光Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１では、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。
【００２９】
その後、電荷転送信号Ｓ９が出力されると、フォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。この電荷転送は、電荷転送信号の出力の終了（符号Ｓ１０）によって完了する。すなわち、外光が存在するためにフォトダイオード５１では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード５１に蓄積されていた信号電荷Ｓ１１が垂直転送部５２へ転送される。電荷転送信号の出力終了後に蓄積している電荷Ｓ１４は、そのままフォトダイオード５１に残留する。
【００３０】
このように電荷掃出し信号Ｓ１の出力の終了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ_U1の間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光Ｓ４の受光終了（符号Ｓ６）までフォトダイオード５１に蓄積している電荷が、被写体の距離情報と対応した信号電荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、その他の信号電荷Ｓ１３は外光のみに起因するものである。
【００３１】
電荷転送信号Ｓ９の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３２】
このような信号電荷Ｓ１１の垂直転送部５２への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ１１が積分され、１フィールドの期間（２つの垂直同期信号によって挟まれる期間）に積分された信号電荷Ｓ１１は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。なお信号電荷Ｓ１３は信号電荷Ｓ１２に比べ微小であるため信号電荷Ｓ１１は信号電荷Ｓ１２と等しいと見なすことができる。
【００３３】
以上説明した信号電荷Ｓ１１の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間における検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によって３次元画像データとしてＣＣＤ２８から出力される。
【００３４】
次に図１、図２、図７及び３次元画像検出動作のフローチャートである図８を参照して本実施形態における３次元画像検出動作について説明する。なお３次元画像検出動作は、後に説明するデータ抽出処理の中でサブルーチンとして実行される。
【００３５】
ステップ１０１では、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ１０２が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図７を参照して説明した３次元画像検出動作が開始され、電荷掃出信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離情報の信号電荷Ｓ１１が垂直転送部５２において積分される。
【００３６】
ステップ１０３では、３次元画像検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０４へ進み、垂直転送部５２において積分された距離情報の信号電荷がＣＣＤ２８から出力される。この信号電荷はステップ１０５において画像メモリ３４に一時的に記憶される。
【００３７】
ステップ１０６では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。ステップ１０７では、距離データの演算処理が行なわれ、ステップ１０８において、演算された距離データが３次元画像データとして画像メモリ３４に一時的に記憶される。これにより３次元画像検出動作のサブルーチンは終了する。
【００３８】
次に３次元画像検出動作のステップ１０７において実行される演算処理の内容を図７を参照して説明する。
【００３９】
反射率Ｒの被写体が照明され、この被写体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオードに発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００４０】
図７に示されるように電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S 、距離情報の信号電荷Ｓ１２のパルス幅をＴ_D とし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力ＳＭ₁₀は、

となる。なお、パルス幅Ｔ_D は

と表せる。このとき被写体までの距離ｒは
ｒ＝Ｃ・ＳＭ₁₀／（２・ｋ・Ｎ・Ｒ・Ｉ） ・・・（５）
で表せる。したがって比例定数ｋ、反射率Ｒ、輝度Ｉを予め求めておけば距離ｒが求められる。
【００４１】
次に図９〜図１３を参照して本実施形態におけるデータ抽出処理について説明する。図９は、本実施形態において実行されるデータ抽出処理プログラム全体の流れを表したフローチャートであり、上述の３次元画像検出動作により検出され、画像メモリ３４に記憶された３次元画像データの中から、目的とする物体（被写体）のデータのみを抽出し、これらのデータに基いて目的物体の３次元的な表面形状を多数のポリゴンで近似的に表したポリゴンデータを生成する。
【００４２】
データ抽出処理のプログラムは、レリーズスイッチ１５が全押しされることにより始動される。まず、ステップ２０１では、２次元画像の検出が行われる。すなわちＣＣＤ２８において通常のビデオ制御が行われ、被写体の視覚情報に対応した画像データが検出され、２次元画像データとして画像メモリ３４に一時的に記憶される。次に、ステップ２０２において上述の３次元画像検出動作が行われ、被写体の距離情報に対応したデータが３次元画像情報として画像メモリ３４に一時的に記憶される。
【００４３】
図１０は、ステップ２０２において検出される３次元画像の１例を示したものであり、背景となる平面に並行に矢印型の平板を配置し、この矢印型の平板を正面から撮影したときに検出される３次元画像を２次元的に表したものである。この３次元画像において、遠方の被写体に対応する画素ほどその画素値は大きく、明るい画像（領域Ｗａ）となり、近い被写体に対応する画素ほど画素値が小さく暗い画素（領域Ｂａ）として示されている。すなわち、矢印型の平板に対応する部分の画素値は小さくその部分の画像は暗くなり、背景の平面に対応する部分の画素値は大きくその部分の画像は明るくなる。これは、３次元画像検出動作では、被写体までの距離が増大するに従ってフォトダイオード５１に蓄積される電荷量が増大することに対応している。
【００４４】
ステップ２０３では、画像メモリ３４に記憶された３次元画像データ（画素値）が画像メモリ３４上に複製された後、複製された３次元画像データに対して強調処理、すなわち空間微分が施される。通常背景となる被写体（物体）と目的となる被写体（物体）との間では、カメラからの距離が大きく異なるため、３次元画像データは目的とする被写体の輪郭線付近において大きく変化する。したがって、３次元画像検出動作により検出された３次元画像データに空間微分を施すことにより、撮影されたそれぞれの被写体（物体）の輪郭部が強調された微分画像が得られる。なおこのとき３次元画像データには２値化処理が同時に施されており、微分画像は２値化画像である。
【００４５】
図１１は、図１０に示される３次元画像の内容を立体的なイメージで表現したものであり、矢印型の平板の輪郭線部分で、３次元画像データが大きく変化している様子が表されている。この３次元画像データに空間微分を施すと、図１２のように被写体（矢印型の平板）のエッジが強調され抽出される。強調されたエッジは撮影された物体の輪郭線に対応し１つの連結成分Ｃ１を形成する。連結成分Ｃ１の内側と外側の領域もそれぞれ連結成分Ｃ２、Ｃ３をを形成する。なお図１２では、輪郭線であるエッジ部分は便宜上黒線で描かれ、その他の部分は白く描かれているが、画素値はエッジ部分で大きく、その他の部分で小さい。また、ステップ２０３において３次元画像データに施される空間微分は例えば図１３に示される従来公知の２次微分マスクによって行われる。
【００４６】
ステップ２０４では、ステップ２０３において得られた連結成分にラベリング操作を行ない、各領域をそれぞれ異なる領域として認識する。ラベリングは例えば、微分画像に逐次走査と並列型伝播を組み合せて適用することにより行なうことができる。すなわち、画像上をラスタ走査で順に走査し、ラベルが割り当てられていない画素を見つけ、新しいラベルを割り当てる。次にこの画素の８方向に隣接する画素のうち、同じ値の画素値を保持する画素に同じラベルをつけ、更にそれらの画素の８方向に隣接する同じ値の画素値を保持する画素に対して同じラベルをつける。この処理を繰り返し実行し、同じラベルを付けられる画素がなくなったときに、１つの連結成分全体に同じラベルが割り当てられたこととなる。その後、再びラスタ走査を続け、またラベルの割り当てられていない画素を見つけると上述の処理と同様の処理を繰り返し実行する。画像全体に対するラスタ走査が終了すると全ての連結成分に対するラベリングが終了する。これにより、各連結成分はそれぞれ異なる領域として抽出され、３次元画像データは検出された３次元画像中の各々の物体に対応してそれぞれの領域に分割される。このとき分割された各領域には、ラベルとして領域番号が付される。
【００４７】
分割された領域がＮ個であるとき、ステップ２０５では各領域ごとに距離情報に対応する画素値（３次元画像データ）から各領域の平均距離が求められ変数Ａ（ｉ）に代入される。ここでｉは、各領域に付された領域番号であり、ｉ＝１、２、・・・、Ｎである。次にステップ２０６において、求められた各領域の平均距離Ａ（ｉ）を比較することにより、最も遠距離にある領域が求められる。すなわち平均距離Ａ（ｉ）が最大となる領域番号ｉ_m が求められる。
【００４８】
ステップ２０７〜ステップ２１２では、背景とみなす領域と目的物体（被写体）とみなす領域との分離が、各領域ｉの平均距離Ａ（ｉ）と領域ｉ_m の平均距離Ａ（ｉ_m ）と差に基づいて行われる。すなわちステップ２０７において、ｉが１に初期設定され、その後ステップ２０８でｉ＝ｉ_m であるか否かが判定される。ステップ２０８においてｉ≠ｉ_m と判定されると、ステップ２０９において領域ｉ_m の平均距離Ａ（ｉ_m ）と領域ｉの平均距離Ａ（ｉ）との差Ａ（ｉ_m ）−Ａ（ｉ）が、所定値Ｌ_max よりも小さいか否かが判定される。Ａ（ｉ_m ）−Ａ（ｉ）＜Ｌ_max と判定されると、ステップ２１０において、領域ｉを領域ｉ_m と同一とみなすフラッグが立てられる。一方、ステップ２０８においてｉ＝ｉ_m であると判定されるか、ステップ２０９においてＡ（ｉ_m ）−Ａ（ｉ）＜Ｌ_max でないと判定されると、処理はステップ２１１に直接移行する。ステップ２１１では、ｉ＝Ｎであるか否かが判定され、ｉ≠Ｎと判定されるとステップ２１２においてｉに１が加算され、ステップ２０８に処理が戻る。ステップ２０８〜ステップ２１２の処理はステップ２１１においてｉ＝Ｎと判定されるまで繰り返し実行される。
【００４９】
ステップ２１３では、領域ｉ_m と同一とみなすフラッグが立てられた領域、すなわち背景とみなされた領域以外の領域の３次元画像データに対して演算処理が施され、距離に対応したデータから座標データへ変換される。またこのとき、フラッグが立てられ背景とみなされた領域に対応する２次元画像データの画素値が例えば０（画面上では黒色に対応）に設定され、画像メモリ３４に一時的に記憶される。すなわち、ステップ２１３において画像メモリ３４に記憶される２次元画像データからは、背景に対応する画像情報が削除されている。
【００５０】
ステップ２１４では、ステップ２１３において算出された座標データに基づいて、目的とする被写体（物体）のポリゴンデータが生成される。このポリゴンデータは、例えば座標データに変換される画素のうち近接する３つの画素に対応する座標データを用いて１つのポリゴン（三角形）を構成し、これを座標データに変換される全ての画素に対して各ポリゴンが重ならないように行なうことにより生成できる。
【００５１】
ステップ２１５では、ステップ２１４で生成されたポリゴンデータと、ステップ２１４において画像メモリ３４に一時的に記憶された２次元画像データ（背景に関する画像情報が削除された２次元画像データ）が記録媒体Ｍに保存されて、このデータ抽出処理のルーチンは終了する。
【００５２】
次にステップ２１３において実行される座標データの演算処理について図１４〜図１７を参照して説明する。
【００５３】
図１４は、カメラの撮影光学系における焦点Ｐ_f を座標原点に取ったカメラ座標系ｘｙｚとＣＣＤ２８上の任意の点Ｐ（画素）と、それに対応する被写体表面上の点Ｑとの関係を模式的に表している。ｙ軸は光軸Ｌｐに一致しており、ｚ軸はＣＣＤ２８の垂直軸に並行に取られ、その向きは上向きである。またｘ軸はＣＣＤ２８の水平軸に並行にとられている。点Ｐ_c はＣＣＤ２８の受光面と光軸Ｌｐの交点であり、受光面の中心に一致する。点ＱはＣＣＤ２８上の点Ｐの画素に対応する被写体上の点であり、その座標は（ｘ_Q ，ｙ_Q ，ｚ_Q ）である。平面Πは点Ｑを含むＣＣＤ２８に平行な平面である。点Ｑ_C は光軸Ｌｐ（ｙ軸）と平面Πの交点であり、その座標は（０，ｙ_Q ，０）である。
【００５４】
図１５は、ＣＣＤ２８の受光面を正面から見た図である。ＣＣＤ２８の水平、垂直方向の長さはそれぞれ２×Ｈ₀ 、２×Ｖ₀ である。点ＰはＣＣＤ２８の中心Ｐ_C から左へＨ_P 、上へＶ_P の距離にある。点Ｐ_H は、点ＰからＣＣＤ２８の水平軸Ｌ_H へ下ろした垂線の足である。また点Ｐ_V は、点ＰからＣＣＤ２８の垂直軸Ｌ_V へ下ろした垂線の足である。
【００５５】
図１６は、焦点Ｐ_f とＣＣＤ２８との関係を焦点Ｐ_f とＣＣＤ２８の水平軸Ｌ_H を含む平面上で表したものであり、角Θ₀ は水平画角、ｆは焦点距離である。線分Ｐ_f Ｐ_H が光軸Ｌｐとなす角をΘ_P とすると、角Θ_P は、
Θ_P ＝ｔａｎ^-1（Ｈ_p ／ｆ） ・・・（６）
によって求められる。
【００５６】
図１７は、焦点Ｐ_f とＣＣＤ２８との関係を焦点Ｐ_f とＣＣＤ２８の垂直軸Ｌ_V を含む平面上で表したものであり、角θ₀ は垂直画角である。線分Ｐ_f Ｐ_V が光軸Ｌｐとなす角をθ_P とすると、角θ_P は、
θ_P ＝ｔａｎ^-1（Ｖ_p ／ｆ） ・・・（７）
によって求められる。
【００５７】
焦点Ｐ_f と点Ｐを結ぶ線分Ｐ_f Ｐの長さは、線分Ｐ_f Ｐ_H と線分Ｐ_C Ｐ_V の長さから、
Ｐ_f Ｐ＝（Ｐ_f Ｐ_H ² ＋Ｐ_C Ｐ_V ² ）^1/2 ・・・（８）
によって求められる。ここで、（８）式のＰ_f Ｐ_H 、Ｐ_C Ｐ_V は、
Ｐ_C Ｐ_V ＝Ｖ_P 、
Ｐ_f Ｐ_H ＝ｆ／ｃｏｓΘ_P
なので、
Ｐ_f Ｐ＝（（ｆ／ｃｏｓΘ_P ）² ＋Ｖ_P ² ）^1/2 ・・・（９）
と表すことができる。
【００５８】
線分Ｐ_f Ｑの長と、線分Ｐ_f Ｐの長さの比Ｐ_f Ｐ／Ｐ_f Ｑをμとすると、点Ｑの座標成分ｘ_Q 、ｙ_Q 、ｚ_Q は、
ｘ_Q ＝Ｈ_P ／μ ・・・（１０）
ｙ_Q ＝Ｖ_P ／μ ・・・（１１）
ｚ_Q ＝ｆ／μ ・・・（１２）
で算出される。焦点距離ｆおよびＣＣＤ２８の任意の画素に対応する点Ｐまでの距離Ｈ_P 、Ｖ_P は既知である。また、線分Ｐ_f Ｑの長さは、焦点Ｐ_f から点Ｐに対応する被写体の点Ｑまでの距離であり、焦点距離ｆは既知なので、ステップ１０７の演算処理の結果である距離情報に基づいて算出可能である。点Ｐは、ＣＣＤ２８の１つの画素を代表したものであり、上述の計算はＣＣＤ２８の全ての画素に対して可能である。したがって、任意の画素（点Ｐ）に対応する被写体（点Ｑ）のカメラを基準とした座標（ｘ_Q ，ｙ_Q ，ｚ_Q ）が算出可能である。
【００５９】
以上のように本実施形態によれば、検出された３次元画像を個別の物体（被写体）に対応する領域に分割することができ、分割された領域の平均距離を比較することにより検出された３次元画像の中から目的とする被写体に関する３次元画像データのみを抽出することができる。２次元画像データでは、被写体の色合等により、画像データを背景に対応する領域と目的とする被写体に対応する領域とに分割することは困難な場合も多いが、本実施形態のように距離情報に対応する３次元画像データを用いると、背景に対応する領域と目的とする被写体に対応する領域では、その距離が大きく異なるため目的とする被写体の輪郭部においてそのデータが大きく変化し領域の検出が容易かつより確実に行なえる。
【００６０】
なお、本実施形態では、被写体の輪郭線に対応するエッジの抽出に、図１３で示された微分フィルタを用いたが、他の微分フィルタであってもよい。また、微分フィルタ以外に、フーリエ変換等を用いて３次元画像データの空間周波数を解析し、低周波成分に対応する３次元画像データをカットすることにより、エッジの抽出を行なってもよい。あるいは、隣接する画素間の画素値を比較し、その差が所定の値以上の画素を検出することによりエッジの抽出を行なってもよい。
【００６１】
本実施形態では、領域の抽出に各領域の平均距離を用いたが、各領域の画素値の平均は各領域の平均距離に対応しているので、これを用いて領域の抽出を行なってもよい。また、本実施形態では、領域の平均距離を用いて領域の抽出を自動的に行なったが、オペレータがタッチパネル等の入力装置を用いて、手動で抽出する領域あるいは捨てる領域を選択してもよい。
【００６２】
【発明の効果】
以上のように本発明によれば、画素毎に検出され、被写体までの距離情報に対応する画像情報の中から目的とする被写体に関する画像情報のみを抽出可能な３次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態であるカメラ型の測距装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】測距光による距離測定の原理を説明するための図である。
【図４】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図５】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図６】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図７】被写体までの距離に関するデータを検出する３次元画像検出動作のタイミングチャートである。
【図８】３次元画像検出動作のフローチャートである。
【図９】データ抽出処理のフローチャートである。
【図１０】矢印型の平板を撮影したときに検出される３次元画像を例示したものである。
【図１１】図１０の３次元画像を立体的なイメージで表したものである。
【図１２】図１０の３次元画像に微分フィルタが施され、矢印型の平板の輪郭線が抽出された図である。
【図１３】微分フィルタの１例を示した図である。
【図１４】座標系ｘｙｚ、ＣＣＤ２８、ＣＣＤ２８の画素とそれに対応する被写体上の点との関係を模式的に表した図である。
【図１５】ＣＣＤ２８の正面図である。
【図１６】カメラの撮影光学系における焦点とＣＣＤ２８との関係を示す水平断面図である。
【図１７】カメラの撮影光学系における焦点とＣＣＤ２８との関係を示す垂直断面図である。
【符号の説明】
１０ カメラ本体
１４ 発光装置
２８ ＣＣＤ
５１ フォトダイオード

Claims (9)

1. 各画素値が被写体までの距離情報に対応した３次元画像を検出する３次元画像検出手段と、
   前記３次元画像の一部の領域を選択するために、前記距離情報に基づいて前記３次元画像を複数の領域に分割する画像領域分割手段と、
   前記画像領域分割手段により前記３次元画像を複数の領域に分割し、分割された前記各領域の平均距離に対応する前記各領域の画素値の平均値に基づいて、分割された前記領域の中から１つまたは複数の領域を選択する領域選択手段とを備え、
   前記領域選択手段が、前記領域のうち平均距離が最も遠距離にある領域から所定の距離内にその平均距離がある領域以外の領域を選択する
   ことを特徴とする３次元画像検出装置。
2. 前記画像領域分割手段により分割された前記各領域を表示するための画像表示手段と、
   前記画像表示手段により表示された前記各領域の中から１つまたは複数の領域を選択するための入力手段と
   を備えたことを特徴とする請求項１に記載の３次元画像検出装置。
3. 前記画像領域分割手段における前記３次元画像の領域分割が、前記３次元画像を強調処理することにより得られる画像データに基いて行われることを特徴とする請求項１に記載の３次元画像検出装置。
4. 前記強調処理が、前記３次元画像に微分マスクを施して行なわれることを特徴とする請求項３に記載の３次元画像検出装置。
5. 前記微分マスクが２次微分マスクであることを特徴とする請求項４に記載の３次元画像検出装置。
6. 前記３次元画像の領域の分割が、前記強調処理により得られた画像の強調された画素の連結により形成される連結成分に基づいて行われることを特徴とする請求項３に記載の３次元画像検出装置。
7. 前記３次元画像の領域の分割が、前記連結成分にラベリングすることにより行われることを特徴とする請求項６に記載の３次元画像検出装置。
8. 前記距離情報等を記録媒体に記録するためのデータ記録手段を備え、前記領域選択手段により選択された領域の距離情報を前記記録媒体に記録可能であることを特徴とする請求項１に記載の３次元画像検出装置。
9. 前記被写体の視覚情報である２次元画像を検出するための２次元画像検出手段を備え、前記領域選択手段により選択された領域に対応する前記２次元画像に関する画像情報を前記記録媒体に記録可能であることを特徴とする請求項８に記載の３次元画像検出装置。

Images