JP2014211306A - 物体検出装置および情報取得装置 - Google Patents

Abstract

【課題】イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供する。【解決手段】情報取得装置１は、投射光学系１００と、受光光学系２００と、基準画像と、実測画像とを保持するメモリ２６と、基準画像にセグメント領域を設定し、実測画像とセグメント領域内のドットとを照合することにより、距離を取得する距離取得部２１ｂと、を備える。距離取得部２１ｂは、基準画像と実測画像のいずれか一方または両方のドットが投射光学系１００と受光光学系２００の並び方向に垂直な方向の一方または両方に引き延ばされたドットパターンを用いて、距離の取得を行う。これにより、垂直な方向にドットの受光位置がずれた場合にも、適正に距離情報を取得できる。【選択図】図１０

Description

本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置および当該物体検出装置に用いて好適な情報取得装置に関する。

従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、２次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やＬＥＤ（Light Emitting Diode）から、予め決められた波長帯域の光が目標領域に投射され、その反射光がＣＭＯＳイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。

所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、ドットパターンを持つレーザ光の目標領域からの反射光が受光素子によって受光される。そして、ドットの受光素子上の受光位置に基づいて、三角測量法を用いて、検出対象物体の各部（検出対象物体上の各ドットの照射位置）までの距離が検出される（たとえば、非特許文献１）。

第１９回日本ロボット学会学術講演会（２００１年９月１８−２０日）予稿集、Ｐ１２７９−１２８０

上記物体検出装置では、投射光学系と受光光学系が横に並ぶように配置される。この場合、通常、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向にのみ変位する。上記物体検出装置では、投射光学系と受光光学系の並び方向のドットの移動量をもとに、距離が検出される。

しかし、イメージセンサの経時変化による取り付け位置のずれ、および光学素子の光学的な収差等の影響によって、イメージセンサ上のドットの受光位置は、投射光学系と受光光学系の並び方向に対して垂直な方向にずれが発生し得る。

この場合、投射光学系と受光光学系の並び方向にのみドットの移動を探索すると、ドットの移動量の検出が適正に行えず、検出対象物体の各部までの距離の検出精度が劣化するとの問題が生じる。

本発明は、この点に鑑みてなされたものであり、イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供することを目的とする。

本発明の第１の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。本態様に係る情報取得装置は、目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、前記投射光学系に対して所定の距離だけ横方向に離れて並ぶように配置され
、前記目標領域をイメージセンサにより撮像する受光光学系と、基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、距離測定時に目標領域を撮像して取得された実測ドットパターンとを保持する記憶部と、前記基準ドットパターンにセグメント領域を設定し、前記実測ドットパターンと前記セグメント領域内のドットとを照合することにより、前記セグメント領域に対応する前記目標領域内の位置について距離を取得する距離取得部と、を備える。前記距離取得部は、前記基準ドットパターンと前記実測ドットパターンのいずれか一方または両方の前記ドットが前記投射光学系と前記受光光学系の並び方向に垂直な方向の一方または両方に引き延ばされたドットパターンを用いて、前記距離の取得を行う。

本発明の第２の態様は、物体検出装置に関する。本態様に係る物体検出装置は、上記第１の態様に係る情報取得装置を有する。

本発明によれば、イメージセンサ上において、投射光学系と受光光学系の並び方向に対して垂直な方向にドットの受光位置がずれた場合にも、適正に距離情報を取得可能な情報取得装置および物体検出装置を提供することができる。

本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。

実施の形態に係る物体検出装置の構成を示す図である。 実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。 実施の形態に係る投射光学系と受光光学系の外観を示す斜視図である。 実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。 実施の形態に係る参照パターンの生成方法を説明する図である。 実施の形態に係る距離検出手法を説明する図である。 実施の形態に係るイメージセンサの取り付け位置がずれた場合の状況を示す図である。 比較例に係るＹ軸方向にドットパターンがずれた場合のマッチング状況を示す図である。 実施の形態に係る距離検出処理の流れを示す図である。 実施の形態に係るドットパターンのＹ軸方向の引き延ばし処理の流れを示す図である。 実施の形態に係るＹ軸方向にドットパターンがずれた場合のマッチング状況を示す図である。 実施の形態および比較例に係るＹ方向にドットパターンがずれた場合とずれない場合のマッチング結果を示すグラフである。 変更例１に係るＹ軸方向にドットパターンがずれた場合のマッチングの状況を示す図である。 変更例２に係るＹ軸方向にドットパターンがずれた場合のマッチングの状況を示す図である。 実施の形態および変更例に係るドットパターンの引き延ばしの影響を示す図である。 変更例３に係るＹ軸方向にドットパターンがずれた場合のマッチングの状況を示す図である。 変更例４および変更例５に係るドットパターンのＹ軸方向の引き延ばし処理の流れを示す図である。

以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。

まず、図１に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置１と、情報処理装置２とを備えている。テレビ３は、情報処理装置２からの信号によって制御される。

情報取得装置１は、目標領域全体に赤外光を投射し、その反射光をＣＭＯＳイメージセンサにて受光することにより、目標領域にある物体各部の距離（以下、「３次元距離情報」という）を取得する。取得された３次元距離情報は、ケーブル４を介して情報処理装置２に送られる。

情報処理装置２は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコンピュータ等である。情報処理装置２は、情報取得装置１から受信した３次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ３を制御する。

たとえば、情報処理装置２は、受信した３次元距離情報に基づき人を検出するとともに、３次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置２がテレビ制御用のコントローラである場合、情報処理装置２には、受信した３次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ３に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ３を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのＵｐ／Ｄｏｗｎ等、所定の機能をテレビ３に実行させることができる。

また、たとえば、情報処理装置２がゲーム機である場合、情報処理装置２には、受信した３次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ３を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。

図２は、情報取得装置１と情報処理装置２の構成を示す図である。

情報取得装置１は、光学部の構成として、投射光学系１００と受光光学系２００とを備えている。投射光学系１００と受光光学系２００は、Ｘ軸方向に並ぶように、情報取得装置１に配置される。

投射光学系１００は、レーザ光源１１０と、コリメータレンズ１２０と、リーケージミラー１３０と、回折光学素子（ＤＯＥ：Diffractive Optical Element）１４０と、ＦＭＤ（FrontMonitor Diode）１５０とを備えている。また、受光光学系２００は、アパーチャ２１０と、撮像レンズ２２０と、フィルタ２３０と、ＣＭＯＳイメージセンサ２４０とを備えている。この他、情報取得装置１は、回路部の構成として、ＣＰＵ（Central Processing Unit）２１と、レーザ駆動回路２２と、ＰＤ信号処理回路２３と、撮像信号処理回路２４と、入出力回路２５と、メモリ２６を備えている。

レーザ光源１１０は、受光光学系２００から離れる方向（Ｘ軸負方向）に波長８３０ｎ
ｍ程度の狭波長帯域のレーザ光を出力する。コリメータレンズ１２０は、レーザ光源１１０から出射されたレーザ光を平行光から僅かに広がった光（以下、単に「平行光」という）に変換する。

リーケージミラー１３０は、誘電体薄膜の多層膜からなり、反射率が１００％よりも若干低く、透過率が反射率よりも数段小さくなるように膜の層数や膜厚が設計されている。リーケージミラー１３０は、コリメータレンズ１２０側から入射されたレーザ光の大部分をＤＯＥ１４０に向かう方向（Ｚ軸方向）に反射し、残りの一部分をＦＭＤ１５０に向かう方向（Ｘ軸負方向）に透過する。

ＤＯＥ１４０は、入射面に回折パターンを有する。この回折パターンによる回折作用により、ＤＯＥ１４０に入射したレーザ光は、略３万個のドットパターンのレーザ光に変換されて、目標領域に照射される。回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ１２０により平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。

ＤＯＥ１４０は、リーケージミラー１３０から入射されたレーザ光を、放射状に広がるドットパターンのレーザ光として、目標領域に照射する。ドットパターンの各ドットの大きさは、ＤＯＥ１４０に入射する際のレーザ光のビームサイズに応じたものとなる。

ＦＭＤ１５０は、リーケージミラー１３０を透過したレーザ光を受光し、受光量に応じた電気信号を出力する。

目標領域から反射されたレーザ光は、アパーチャ２１０を介して撮像レンズ２２０に入射する。

アパーチャ２１０は、撮像レンズ２２０のＦナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ２２０は、アパーチャ２１０を介して入射された光をＣＭＯＳイメージセンサ２４０上に集光する。フィルタ２３０は、レーザ光源１１０の出射波長（８３０ｎｍ程度）を含む赤外の波長帯域の光を透過し、可視光の波長帯域をカットするＩＲフィルタ（Infrared Filter）である。

ＣＭＯＳイメージセンサ２４０は、撮像レンズ２２０にて集光された光を受光して、画素毎に、受光量に応じた信号（電荷）を撮像信号処理回路２４に出力する。ここで、ＣＭＯＳイメージセンサ２４０は、各画素における受光から高レスポンスでその画素の信号（電荷）を撮像信号処理回路２４に出力できるよう、信号の出力速度が高速化されている。

ＣＰＵ２１は、メモリ２６に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、ＣＰＵ２１には、レーザ光源１１０を制御するためのレーザ制御部２１ａと、３次元距離情報を生成するための距離取得部２１ｂの機能が付与される。

レーザ駆動回路２２は、ＣＰＵ２１からの制御信号に応じてレーザ光源１１０を駆動する。ＰＤ信号処理回路２３は、ＦＭＤ１５０から出力された受光量に応じた電圧信号を増幅およびデジタル化してＣＰＵ２１に出力する。ＣＰＵ２１は、ＰＤ信号処理回路２３から供給される信号をもとに、レーザ制御部２１ａによる処理によって、レーザ光源１１０の光量を増幅もしくは減少させる判断を行う。レーザ光源１１０の光量を変化させる必要があると判断された場合、レーザ制御部２１ａは、レーザ光源１１０の発光量を変化させる制御信号をレーザ駆動回路２２に送信する。これにより、レーザ光源１１０から出射さ
れるレーザ光のパワーが略一定に制御される。

撮像信号処理回路２４は、ＣＭＯＳイメージセンサ２４０を制御して、ＣＭＯＳイメージセンサ２４０で生成された各画素の信号（電荷）をライン毎に順次取り込む。そして、取り込んだ信号を順次ＣＰＵ２１に出力する。ＣＰＵ２１は、撮像信号処理回路２４から供給される信号（撮像信号）をもとに、情報取得装置１から検出対象物の各部までの距離を、距離取得部２１ｂによる処理によって算出する。入出力回路２５は、情報処理装置２とのデータ通信を制御する。

情報処理装置２は、ＣＰＵ３１と、入出力回路３２と、メモリ３３を備えている。なお、情報処理装置２には、同図に示す構成の他、テレビ３との通信を行うための構成や、ＣＤ−ＲＯＭ等の外部メモリに格納された情報を読み取ってメモリ３３にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。

ＣＰＵ３１は、メモリ３３に格納された制御プログラム（アプリケーションプログラム）に従って各部を制御する。かかる制御プログラムによって、ＣＰＵ３１には、画像中の物体を検出するための物体検出部３１ａの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってＣＤ−ＲＯＭから読み取られ、メモリ３３にインストールされる。

たとえば、制御プログラムがゲームプログラムである場合、物体検出部３１ａは、情報取得装置１から供給される３次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。

また、制御プログラムがテレビ３の機能を制御するためのプログラムである場合、物体検出部３１ａは、情報取得装置１から供給される３次元距離情報から画像中の人およびその動き（ジェスチャ）を検出する。そして、検出された動き（ジェスチャ）に応じて、テレビ３の機能（チャンネル切り替えやボリューム調整、等）を制御するための処理が制御プログラムにより実行される。

入出力回路３２は、情報取得装置１とのデータ通信を制御する。

図３は、投射光学系１００と受光光学系２００の設置状態を示す斜視図である。

投射光学系１００と受光光学系２００は、ベースプレート３００に配置される。投射光学系１００を構成する光学部材は、ハウジング１００ａに設置され、このハウジング１００ａがベースプレート３００上に設置される。これにより、投射光学系１００がベースプレート３００上に配置される。１５０ａ、２４０ａは、それぞれ、ＦＭＤ１５０、ＣＭＯＳイメージセンサ２４０からの信号を回路基板（図示せず）に供給するためのＦＰＣ（フレキシブルプリント基板）である。

受光光学系２００を構成する光学部材は、ホルダ２００ａに設置され、このホルダ２００ａが、ベースプレート３００の背面からベースプレート３００に取りつけられる。これにより、受光光学系２００がベースプレート３００に配置される。なお、受光光学系２００は、Ｚ軸方向に光学部材が並ぶため、投射光学系１００と比べ、Ｚ軸方向の高さが高くなっている。ベースプレート３００は、Ｚ軸方向の高さを抑えるために、受光光学系２００の配置位置周辺がＺ軸方向に一段高くなっている。

図３に示す設置状態において、投射光学系１００の射出瞳と受光光学系２００の入射瞳の位置は、Ｚ軸方向において、略一致する。また、投射光学系１００と受光光学系２００は、投射光学系１００の投射中心と受光光学系２００の撮像中心がＸ軸に平行な直線上に並ぶように、Ｘ軸方向に所定の距離をもって並んで設置される。

投射光学系１００と受光光学系２００の設置間隔は、情報取得装置１と目標領域の基準面との距離に応じて、設定される。どの程度離れた目標物を検出対象とするかによって、基準面と情報取得装置１との間の距離が変わる。検出対象の目標物までの距離が近くなるほど、投射光学系１００と受光光学系２００の設置間隔は狭くなる。逆に、検出対象の目標物までの距離が遠くなるほど、投射光学系１００と受光光学系２００の設置間隔は広くなる。

図４（ａ）は、目標領域に対するレーザ光の照射状態を模式的に示す図、図４（ｂ）は、ＣＭＯＳイメージセンサ２４０におけるレーザ光の受光状態を模式的に示す図である。なお、同図（ｂ）には、便宜上、目標領域に平坦な面（スクリーン）とスクリーンの前に人物が存在するときの受光状態が示されている。

図４（ａ）に示すように、投射光学系１００からは、ドットパターンを持ったレーザ光（以下、このパターンを持つレーザ光の全体を「ＤＰ光」という）が、目標領域に照射される。図４（ａ）には、ＤＰ光の光束領域が実線の枠によって示されている。ＤＰ光の光束中には、ＤＯＥ１４０による回折作用によってレーザ光の強度が高められたドット領域（以下、単に「ドット」という）が、ＤＯＥ１４０による回折作用によるドットパターンに従って点在している。

目標領域に平坦な面（スクリーン）が存在すると、これにより反射されたＤＰ光は、図４（ｂ）のように、ＣＭＯＳイメージセンサ２４０上に分布する。

図４（ｂ）には、ＣＭＯＳイメージセンサ２４０上のＤＰ光の全受光領域が破線の枠によって示され、ＣＭＯＳイメージセンサ２４０の撮像有効領域に入射するＤＰ光の受光領域が実線の枠によって示されている。ＣＭＯＳイメージセンサ２４０の撮像有効領域は、ＣＭＯＳイメージセンサ２４０がＤＰ光を受光した領域のうち、センサとして信号を出力する領域であり、たとえば、ＶＧＡ（６４０画素×４８０画素）のサイズである。また、同図（ａ）に示す目標領域上におけるＤｔ０の光は、ＣＭＯＳイメージセンサ２４０上では、同図（ｂ）に示すＤｔ’０の位置に入射する。スクリーンの前の人物の像は、ＣＭＯＳイメージセンサ２４０上では、上下左右が反転して撮像される。

ここで、図５、図６を参照して、上記距離検出の方法を説明する。

図５は、上記距離検出手法に用いられる参照パターンの設定方法を説明する図である。

図５（ａ）に示すように、投射光学系１００から所定の距離Ｌｓの位置に、Ｚ軸方向に垂直な平坦な反射平面ＲＳが配置される。出射されたＤＰ光は、反射平面ＲＳによって反射され、受光光学系２００のＣＭＯＳイメージセンサ２４０に入射する。これにより、ＣＭＯＳイメージセンサ２４０から、撮像有効領域内の画素毎の電気信号が出力される。出力された画素毎の電気信号の値（画素値）は、図２のメモリ２６上に展開される。以下、反射面ＲＳからの反射によって得られた全画素値からなる画像を、「基準画像」、反射面ＲＳを「基準面」と称する。そして、図５（ｂ）に示すように、基準画像上に、「参照パターン領域」が設定される。なお、図５（ｂ）には、ＣＭＯＳイメージセンサ２４０の背面側から受光面をＺ軸正方向に透視した状態が図示されている。図６以降の図においても同様である。

こうして設定された参照パターン領域に対して、所定の大きさを有する複数のセグメント領域が設定される。セグメント領域の大きさは、得られる距離情報による物体の輪郭抽出精度とＣＰＵ２１に対する距離検出の演算量の負荷を考慮して決定される。

図５（ｃ）を参照して、参照パターン領域に設定されるセグメント領域について説明する。なお、図５（ｃ）には、便宜上、各セグメント領域の大きさが７画素×７画素で示され、各セグメント領域の中央の画素が×印で示されている。

セグメント領域は、図５（ｃ）に示すように、隣り合うセグメント領域が参照パターン領域に対してＸ軸方向およびＹ軸方向に１画素間隔で並ぶように設定される。すなわち、あるセグメント領域は、このセグメント領域のＸ軸方向およびＹ軸方向に隣り合うセグメント領域に対して１画素ずれた位置に設定される。このとき、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域内の画素値のパターンは、セグメント領域毎に異なっている。隣り合うセグメント領域の間隔が狭いほど、参照パターン領域内に含まれるセグメント領域の数が多くなり、目標領域の面内方向（Ｘ−Ｙ平面方向）における距離検出の分解能が高められる。

こうして、ＣＭＯＳイメージセンサ２４０上における参照パターン領域の位置に関する情報と、参照パターン領域に含まれる全画素の画素値（参照パターン）と、参照パターン領域に対して設定されるセグメント領域の情報が、図２のメモリ２６に記憶される。メモリ２６に記憶されるこれらの情報を、以下、「参照テンプレート」と称する。

図２のＣＰＵ２１は、投射光学系１００から検出対象物体の各部までの距離を算出する際に、参照テンプレートを参照する。ＣＰＵ２１は、距離を算出する際に、参照テンプレートから得られる各セグメント領域内のドットパターンのずれ量に基づいて、物体の各部までの距離を算出する。

たとえば、図５（ａ）に示すように距離Ｌｓよりも近い位置に物体がある場合、参照パターン上の所定のセグメント領域Ｓｎに対応するＤＰ光（ＤＰｎ）は、物体によって反射され、セグメント領域Ｓｎとは異なる領域Ｓｎ’に入射する。投射光学系１００と受光光学系２００はＸ軸方向に隣り合っているため、セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向はＸ軸に平行となる。図５（ａ）の場合、物体が距離Ｌｓよりも近い位置にあるため、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸正方向に変位する。物体が距離Ｌｓよりも遠い位置にあれば、領域Ｓｎ’は、セグメント領域Ｓｎに対してＸ軸負方向に変位する。

セグメント領域Ｓｎに対する領域Ｓｎ’の変位方向と変位量をもとに、投射光学系１００からＤＰ光（ＤＰｎ）が照射された物体の部分までの距離Ｌｒが、距離Ｌｓを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系１００からの距離が算出される。かかる算出手法の詳細は、たとえば、上記非特許文献１（第１９回日本ロボット学会学術講演会（２００１年９月１８−２０日）予稿集、Ｐ１２７９−１２８０）に示されている。

かかる距離算出では、参照テンプレートのセグメント領域Ｓｎが、実測時においてどの位置に変位したかを検出する。この検出は、実測時にＣＭＯＳイメージセンサ２４０上に照射されたＤＰ光から得られたドットパターンと、セグメント領域Ｓｎに含まれるドットパターンとを照合することによって行われる。以下、実測時にＣＭＯＳイメージセンサ２４０上の撮像有効領域に照射されたＤＰ光から得られた全画素値からなる画像を、「実測画像」と称する。実測時のＣＭＯＳイメージセンサ２４０の撮像有効領域は、基準画像取
得時と同様に、たとえば、ＶＧＡ（６４０画素×４８０画素）のサイズである。

図６（ａ）〜（ｅ）は、かかる距離検出の手法を説明する図である。図６（ａ）は、ＣＭＯＳイメージセンサ２４０上における基準画像に設定された参照パターン領域を示す図であり、図６（ｂ）は、実測時のＣＭＯＳイメージセンサ２４０上の実測画像を示す図であり、図６（ｃ）〜（ｅ）は、実測画像に含まれるＤＰ光のドットパターンと、参照テンプレートのセグメント領域に含まれるドットパターンとの照合方法を説明する図である。なお、図６（ａ）、（ｂ）は、便宜上、一部のセグメント領域のみが示されている。また、図６（ｂ）の実測画像には、便宜上、図４（ｂ）のように、検出対象物体として基準面より前に人物が存在しており、人物の像が写り込んでいることが示されている。

図６（ａ）のセグメント領域Ｓｉの実測時における変位位置を探索する場合、図６（ｂ）に示すように、実測画像上に、セグメント領域Ｓｉに対して探索範囲Ｒｉが設定される。探索範囲Ｒｉは、Ｘ軸方向に所定の幅を持っている。セグメント領域Ｓｉが探索範囲Ｒｉにおいて１画素ずつＸ軸方向に送られ、各送り位置において、セグメント領域Ｓｉのドットパターンと実測画像上のドットパターンとが比較される。以下、実測画像上の各送り位置に対応する領域を、「比較領域」と称する。探索範囲Ｒｉには、セグメント領域Ｓｉと同じサイズの比較領域が複数設定され、Ｘ軸方向に隣り合う比較領域は互いに１画素ずれている。

探索範囲Ｒｉは、検出対象物体が基準面よりも情報取得装置１に離れる方向、および近づく方向にどの程度の距離を検出可能な範囲とするかによって決定される。図６中では、基準画像上のセグメント領域Ｓｉの画素位置に対応する実測画像上の画素位置から、Ｘ軸負方向にｘ画素ずれた位置からＸ軸正方向にｘ画素ずれた位置の範囲が探索範囲Ｒｉに設定されている。

比較領域においてセグメント領域ＳｉをＸ軸方向に１画素ずつ送りながら、各送り位置において、参照テンプレートに記憶されているセグメント領域Ｓｉのドットパターンと、実測画像のＤＰ光のドットパターンのマッチング度合いが求められる。このようにセグメント領域Ｓｉを探索範囲Ｒｉ内においてＸ軸方向にのみ送るのは、上記のように、通常、参照テンプレートにより設定されたセグメント領域のドットパターンは、実測時において、Ｘ軸方向の所定の範囲内でのみ変位するためである。

なお、実測時には、検出対象物体の位置によっては、セグメント領域に対応するドットパターンが実測画像からＸ軸方向にはみ出すことが起こり得る。たとえば、参照パターン領域のＸ軸負側のセグメント領域Ｓ１に対応するドットパターンが、基準面よりも遠距離の物体に反射された場合、セグメント領域Ｓ１に対応するドットパターンは、実測画像よりもＸ軸負方向に位置づけられる。この場合、セグメント領域に対応するドットパターンは、ＣＭＯＳイメージセンサ２４０の撮像有効領域内にないため、この領域については、適正にマッチングすることができない。しかし、このような端の領域以外については、適正にマッチングすることができるため、物体の距離検出への影響は少ない。

なお、端の領域についても、適正にマッチングする場合には、実測時のＣＭＯＳイメージセンサ２４０の撮像有効領域を、基準画像取得時のＣＭＯＳイメージセンサ２４０の撮像有効領域よりも、大きくすることができるものを用いればよい。たとえば、基準画像取得時において、ＶＧＡ（６４０画素×４８０画素）のサイズで撮像有効領域が設定された場合、実測時においては、それよりもＸ軸正方向およびＸ軸負方向に３０画素分大きいサイズで撮像有効領域を設定する。これにより、実測画像が基準画像よりも大きくなるが、端の領域についても、適正にマッチングすることができる。

上記マッチング度合いの検出時には、まず、参照パターン領域の各画素の画素値と実測画像の各セグメント領域の各画素の画素値が２値化されて、メモリ２６に保持される。たとえば、基準画像および実測画像の画素値が８ビットの階調の場合、０〜２５５の画素値のうち、所定の閾値以上の画素が、画素値１に、所定の閾値未満の画素が、画素値０に変換されて、メモリ２６に保持される。その後、比較領域とセグメント領域Ｓｉとの間の類似度が求められる。すなわち、セグメント領域Ｓｉの各画素の画素値と、比較領域に対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Ｒｓａｄが、類似度を示す値として取得される。

たとえば、図６（ｃ）のように、一つのセグメント領域中に、ｍ列×ｎ行の画素が含まれている場合、セグメント領域のｉ列、ｊ行の画素の画素値Ｔ（ｉ，ｊ）と、比較領域のｉ列、ｊ行の画素の画素値Ｉ（ｉ，ｊ）との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、図６（ｃ）に示す式の値Ｒｓａｄが求められる。値Ｒｓａｄが小さい程、セグメント領域と比較領域との間の類似度が高い。

こうして、図６（ｄ）に示すように、セグメント領域Ｓｉについて、探索範囲Ｒｉの全ての比較領域に対して値Ｒｓａｄが求められる。図６（ｅ）は、探索範囲Ｒｉの各送り位置における値Ｒｓａｄの大小が模式的に示されたグラフである。セグメント領域Ｓｉについて、探索範囲Ｒｉの全ての比較領域に対して値Ｒｓａｄが求められると、まず、求めた値Ｒｓａｄの中から、最小値Ｂｔ１が参照される。次に、求めた値Ｒｓａｄの中から、２番目に小さい値Ｂｔ２が参照される。最小値Ｂｔ１と２番目に小さい値Ｂｔ２の位置が２画素以上離れた位置であり、かつ、その差分値Ｅｓが閾値未満であれば、セグメント領域Ｓｉの探索はエラーとされる。他方、差分値Ｅｓが閾値以上であれば、最小値Ｂｔ１に対応する比較領域Ｃｉが、セグメント領域Ｓｉの移動領域と判定される。たとえば、図６（ｄ）のように、比較領域Ｃｉは、基準画像上のセグメント領域Ｓｉの画素位置と同位置の実測画像上の画素位置Ｓｉ０よりもＸ軸正方向にα画素ずれた位置で検出される。これは、基準面よりも近い位置に存在する検出対象物体（人物）によって、実測画像上のＤＰ光のドットパターンが基準画像上のセグメント領域ＳｉよりもＸ軸正方向に変位したためである。

こうして、実測時に取得されたＤＰ光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物体の部位までの距離が求められる。

このようにして、セグメント領域Ｓ１〜セグメント領域Ｓｎまで全てのセグメント領域について、上記同様のセグメント領域の探索が行われる。

ところで、上述のように、通常、実測時において反射されたドットパターンは、Ｘ軸方向のみにずれる。しかし、ＣＭＯＳイメージセンサ２４０の経時変化による取り付け位置のずれ、およびＤＯＥ１４０の光学的な収差等の影響によって、ドットパターンの受光位置がＹ軸方向にずれることが起こり得る。

図７は、経時変化によって、ＣＭＯＳイメージセンサ２４０の取り付け位置がずれた場合の状況を示す図である。

図７（ａ）には、基準画像取得時におけるＣＭＯＳイメージセンサ２４０と、ＤＰ光が撮像された基準画像の理想的な状態が示されている。基準画像取得時において、ＣＭＯＳイメージセンサ２４０は、上下端が、Ｘ軸に対して平行、かつ、左右端が、Ｙ軸に対して平行になるように取り付けられている。

図７（ｂ）には、実測画像取得時におけるＣＭＯＳイメージセンサ２４０と、ＤＰ光が撮像された実測画像の関係が経時変化等により不適正となった状態が示されている。実測画像取得時において、ＣＭＯＳイメージセンサ２４０は、図７（ａ）の場合に比べて、ＸＹ平面の面内方向に対して傾いている。

このように、ＤＰ光の照射位置は変わらず、ＣＭＯＳイメージセンサ２４０の取り付け位置が傾くと、ＣＭＯＳイメージセンサ２４０に対するＤＰ光の入射位置がＹ軸方向に対してもずれることとなる。

たとえば、図７（ｃ）に示すように、基準画像取得時において、９画素×９画素のセグメント領域Ｓ１に対して、６つのドットが入射している。実測画像取得時において、ＣＭＯＳイメージセンサ２４０の取り付け位置が傾いていない場合、図７（ｄ）に示すように、セグメント領域Ｓ１に対応する比較領域Ｃ１においても、同様の位置に６つのドットが入射する。しかし、ＣＭＯＳイメージセンサ２４０の取り付け位置が傾くと、ＣＭＯＳイメージセンサ２４０に対するドットパターンの入射位置がＸ軸方向およびＹ軸方向にずれ、たとえば、比較領域Ｃ’１のように、Ｙ軸正方向に１画素ずれた位置に入射する。このような角度ずれは、Ｘ軸正方向またはＸ軸負方向に離れるほど、Ｙ軸方向のずれ量が大きくなり、端の位置において、１画素以内のずれに抑えるのは、困難である。

このように、セグメント領域Ｓ１のドットパターンの入射位置と、セグメント領域Ｓ１に対応する比較領域Ｃ’１の入射位置がＹ軸方向にずれると、セグメント領域の探索は、上述のように、Ｘ軸方向にずらして行われるため、正常にマッチングすることができなくなる。

図８は、比較例におけるＹ軸正方向にドットパターンが１画素ずれた場合のマッチング状況を模式的に示す図である。

比較例では、ＣＭＯＳイメージセンサ２４０上に検出されたドットパターンをそのまま用いて、上記距離検出の手法が行われる。

図８（ａ）は、セグメント領域におけるドットの検出状況、および、当該セグメント領域に対応する位置の比較領域におけるドットの検出状況を示す図である。また、図８（ｂ）は、図８（ａ）のセグメント領域と比較領域とが重なったときのマッチング状況を示す図、図８（ｃ）は、図８（ｂ）の状態からセグメント領域が１画素ずれたときのマッチング状況を示す図である。図中、それぞれ、セグメント領域が実線で囲まれ、比較領域が破線で囲まれて示されている。また、図示のごとく、セグメント領域に含まれるドットを示す画素と、比較領域に含まれるドットを示す画素と、比較領域に含まれるドットにマッチングされたドットを示す画素がハッチングで示されている。なお、比較領域に含まれるドットは、基準面と同位置にある物体によって反射されたものである。

図８（ａ）に示すように、セグメント領域には、６つのＤＰ光のドットが入射している。６つのうち、中央の２つのＤＰ光のドットは、ＣＭＯＳイメージセンサ２４０上の画素をＹ軸方向に跨ぐように入射しているため、Ｙ軸方向に２画素においてドットが検出されている。なお、１つのＤＰ光のドットが２つの画素を跨ぐように入射した場合、ＣＭＯＳイメージセンサ２４０から出力される信号は、１つの画素に入射した場合よりも、小さくなるが、前述したように、２値化されることによって、それぞれ、他のドットと同等のドットとして扱われる。他方、セグメント領域に対応する比較領域のドットは、Ｙ軸正方向に１画素ずれて検出されている。このように、セグメント領域と比較領域では、それぞれ、８画素分のドットが検出されている。

図８（ｂ）を参照して、セグメント領域と比較領域とが重なった状況では、中央付近の２画素のドットのみがマッチングされている。それ以外のドットが検出された画素においては、比較領域のドットがＹ軸負方向にずれているため、マッチングされない。したがって、差分値（Ｒｓａｄ）は、１２となる。

他方、図８（ｃ）を参照して、セグメント領域が比較領域に対して１画素ずれた状況では、全てのドットがマッチングされていない。したがって、差分値（Ｒｓａｄ）は、最も高い１６となる。

このように、ドットがＹ軸方向にずれて検出されると、通常、マッチングされるべき図８（ｂ）の位置において、他の画素ずれ量の位置における差分値（Ｒｓａｄ）との差が大きくならず、マッチングがエラーとなりやすい。なお、比較例では、セグメント領域の中央の２つのＤＰ光のドットが、画素を跨いで入射したため、２画素分のドットがマッチングされたが、すべてのドットが画素を跨がず入射し、一つのドットもマッチングしないことも起こり得る。

そこで、本実施の形態では、あらかじめ、ＣＭＯＳイメージセンサ２４０に検出されたドットパターンをＹ軸方向に引き延ばした状態でマッチング処理を実行する。

図９は、本実施の形態における距離検出処理の流れを示す図である。

図９（ａ）は、参照テンプレート生成処理の流れを示す図である。これらの処理は、情報取得装置１のセットアップ時に、設定者によって設定装置を用いて行われる。

参照テンプレート生成処理時には、まず、基準面のみが配置された状態で反射されたＤＰ光を撮像し、基準画像を取得する（Ｓ１１）。そして、設定装置は、ＣＭＯＳイメージセンサ２４０から得られた基準画像の２値化処理を行う（Ｓ１２）。これにより、基準画像は、ドットの有無が０と１で表現された画像となる。そして、設定装置は、上述の如く、２値化された基準画像上に、セグメント領域が設定し、参照テンプレートを生成する（Ｓ１３）。生成された参照テンプレートは、図２のメモリ２６に消去不可能な状態で記憶される。こうしてメモリ２６に記憶された参照テンプレートは、距離検出する際にＣＰＵ２１により参照される。

図９（ｂ）は、距離検出時の処理の流れを示す図である。これらの処理は、距離検出時に、情報取得装置１のＣＰＵ２１の距離取得部２１ｂによって行われる。

距離検出時には、まず、目標領域から反射されたＤＰ光を撮像し、実測画像を取得する（Ｓ２１）。そして、ＣＰＵ２１は、基準画像と同様に、実測画像の２値化処理を行う（Ｓ２２）。これにより、実測画像は、基準画像同様、ドットの有無が０と１で表現された画像となる。そして、ＣＰＵ２１は、参照テンプレートに含まれる２値化された基準画像と、２値化された実測画像のドットパターンの引き延ばし処理を行う（Ｓ２３）。

図１０は、図９（ｂ）のＳ２３におけるドットパターンの引き延ばし処理の流れを示す図である。図１０の処理は、基準画像のドットパターンと実測画像のドットパターンに対して並行して行われる。

まず、ＣＰＵ２１は、０と１で表現された基準画像および実測画像のドットパターン（２値化信号）をｍ行×ｎ列の２次元配列Ａｒに読み込む（Ｓ２０１）。それぞれ、行数が大きくなる方向が、図８（ａ）に示すＹ軸正方向に相当し、列数が大きくなる方向が、図
８（ａ）に示すＸ軸正方向に相当する。なお、基準画像および実測画像は、上述のごとく、ＶＧＡサイズであり、６４０行×４８０列の２次元配列に読み込まれる。

次に、ＣＰＵ２１は、行の位置を示す変数ｉに１をセットし（Ｓ２０２）、列の位置を示す変数ｊに１をセットする（Ｓ２０３）。そして、配列Ａｒ（ｉ、ｊ）に対応する画素にドットが存在するかを判断する（Ｓ２０４）。基準画像および実測画像を読み込んだ配列Ａｒ（ｉ、ｊ）には、ドットの有無に応じて、０または１の値が格納されており、１が格納されている場合、その位置に対応する画素には、ドットが存在する。Ｓ２０４では、配列Ａｒ（ｉ、ｊ）の値が１であるかが判断される。

配列Ａｒ（ｉ、ｊ）の位置に対応する画素にドットが存在する場合（Ｓ２０４：ＹＥＳ）、配列Ａｒ（ｉ、ｊ）の一つ上（Ｙ軸負方向）の行の配列Ａｒ（ｉ−１、ｊ）に対応する画素にドットが存在するかを判断する（Ｓ２０５）。配列Ａｒ（ｉ−１、ｊ）に対応する画素にドットが存在しない場合（Ｓ２０５：ＮＯ）、処理をＳ２０６に進める。配列Ａｒ（ｉ、ｊ）の一つ上の行に対応する画素にドットが存在する場合（Ｓ２０５：ＹＥＳ）、処理をＳ２０７に進める。

配列Ａｒ（ｉ、ｊ）の一つ上の行に対応する画素にドットが存在しない場合（Ｓ２０５：ＮＯ）、ＣＰＵ２１は、配列Ａｒ（ｉ−１、ｊ）の位置に対応する画素にドットを設定する（Ｓ２０６）。すなわち、配列Ａｒ（ｉ−１、ｊ）に１を格納する。そして、配列Ａｒ（ｉ、ｊ）の一つ下（Ｙ軸正方向）の行の配列Ａｒ（ｉ＋１、ｊ）に対応する画素にドットが存在するかを判断する（Ｓ２０７）。

配列Ａｒ（ｉ、ｊ）の一つ下の行の配列Ａｒ（ｉ＋１、ｊ）に対応する画素にドットが存在する場合（Ｓ２０７：ＹＥＳ）、処理をＳ２０９に進める。配列Ａｒ（ｉ、ｊ）の一つ下の行の配列Ａｒ（ｉ＋１、ｊ）に対応する画素にドットが存在しない場合（Ｓ２０７：ＮＯ）、ＣＰＵ２１は、配列Ａｒ（ｉ＋１、ｊ）の位置に対応する画素にドットを設定する（Ｓ２０８）。すなわち、配列Ａｒ（ｉ＋１、ｊ）に１を格納する。

そして、ＣＰＵ２１は、列を示す変数ｊが最後のｍ列であるかを判断する（Ｓ２０９）。変数ｊがｍでない場合（Ｓ２０９：ＮＯ）、ＣＰＵ２１は、変数ｊに１を加算し（Ｓ２１０）、処理をＳ２０４に戻す。変数ｊがｍである場合（Ｓ２０９：ＹＥＳ）、ＣＰＵ２１は、行を示す変数ｉが最後のｎ行であるかを判断する（Ｓ２１１）。

変数ｉがｎでない場合（Ｓ２１１：ＮＯ）、ＣＰＵ２１は、変数ｉに１を加算し（Ｓ２１２）、処理をＳ２０３に戻す。変数ｉがｎである場合（Ｓ２１１：ＹＥＳ）、ＣＰＵ２１は、更新された配列Ａｒを基準画像および実測画像の更新ドットパターンとしてメモリ２６に記憶する（Ｓ２１３）。

このようにして、基準画像および実測画像に含まれるドットパターンがＹ軸正方向およびＹ軸負方向に１画素ずつ引き延ばされてメモリ２６に記憶される。

図９（ｂ）に戻り、ＣＰＵ２１は、Ｓ２３によりＹ軸正方向およびＹ軸負方向に１画素ずつ引き延ばされた基準画像および実測画像を用いて、上記距離検出手法のマッチング処理を行う（Ｓ２４）。

図１１は、本実施の形態におけるＹ軸正方向にドットパターンが１画素ずれた場合のマッチング状況を模式的に示す図である。

図１１（ａ）は、セグメント領域と、当該セグメント領域に対応する位置の比較領域に
対して上記ドットパターンの引き延ばし処理を行ったときのドットの分布状況を示す図である。また、図１１（ｂ）は、セグメント領域と当該比較領域とが重なったときのマッチング状況を示す図、図１１（ｃ）は、図１１（ｂ）の状態からセグメント領域が１画素だけずれたときのマッチング状況を示す図である。

図１１（ａ）に示すように、セグメント領域および比較領域のドットは、図８（ａ）の場合に比べて、Ｙ軸正方向およびＹ軸負方向に１画素ずつ引き延ばされている。中央の２つのＤＰ光のドットは、検出されたドット間の間隔が１画素のため、１画素のみが引き延ばされている。このように、セグメント領域および比較領域には、それぞれ１９画素分のドットが分布している。

図１１（ｂ）を参照して、セグメント領域と比較領域とが重なったときのマッチング状況では、セグメント領域および比較領域のドットがＹ軸方向に１画素ずつ引き延ばされることにより、比較例の場合よりも、マッチングされるドットが多い。比較領域において、引き延ばし前のドットパターンは、Ｙ軸正方向に１画素ずれているため、セグメント領域の引き延ばし前のドットと、このドットに対してＹ軸正方向に１画素延ばされた部分のドットの２画素分のドットが、比較領域の２画素分のドットとマッチングされる。他方、セグメント領域のドットのうち、引き延ばし前のドットに対してＹ軸負方向に引き延ばされたドットは、比較領域のドットとマッチングしない。したがって、図１１（ｂ）の状態では、差分値（Ｒｓａｄ）は、１０となり、比較例における差分値（Ｒｓａｄ）（＝１２）よりもやや小さくなる。

図１１（ｃ）を参照して、セグメント領域が１画素ずれたマッチング状況では、全てのドットがマッチングされていない。セグメント領域および比較領域のドットがＹ軸正方向およびＹ軸負方向に１画素ずつ引き延ばされているため、差分値（Ｒｓａｄ）は、比較例の場合の差分値（Ｒｓａｄ）（＝１６）よりもかなり高い３６となる。

このように、ドットがＹ軸正方向およびＹ軸負方向に１画素ずつ引き延ばされることにより、引き延ばされたドットのうち、少なくとも一部のドットがマッチングされやすくなる。たとえば、図示の如く、実測時において、ドットがＹ軸正方向またはＹ軸負方向に１画素ずれたとしても、少なくとも２画素分のドットがマッチングされる。また、実測時において、ドットがＹ軸正方向またはＹ軸負方向に２画素ずれたとしても、少なくとも１画素分のドットがマッチングされる。

また、ドットが引き延ばされることにより、セグメント領域および比較領域内に含まれるドットの数が多くなり、セグメント領域と、これに対応する比較領域以外の比較領域とが重なったときの差分値（Ｒｓａｄ）が大きくなる。したがって、セグメント領域とこれに対応する比較領域とが重なったときの差分値（Ｒｓａｄ）が、他の比較領域にセグメント領域が重なったときの差分値（Ｒｓａｄ）よりも相対的に小さくなる。

図１２は、本願発明者らが本実施の形態の効果を確認するシミュレーションを行った結果を示すグラフである。シミュレーションでは、基準画像取得時において、１５画素×１５画素のセグメント領域内に１５個のＤＰ光のドットが所定のパターンで照射されるとの設定となっている。またシミュレーションでは、実測時において、全てのドットが基準画像取得時の位置から縦方向（Ｙ軸正方向）に１画素ずれた状態で検出されたとの条件（縦画素ずれあり）と、全てのドットが縦方向にずれていない状態で検出された条件（縦画素ずれなし）とにおいて、それぞれ、差分値（Ｒｓａｄ）が求められている。また、シミュレーションでは、実測画像上のセグメント領域に対応する領域を画素ずれ量０とし、この領域からＸ軸正負の方向に画素ずれ量が−５〜＋５の範囲でマッチングの探索を行ったときの差分値（Ｒｓａｄ）が求められている。なお、シミュレーションでは、基準面と同位
置に検出対象物があることが想定されている。

図１２（ａ）は、上記のように、Ｙ軸正方向およびＹ軸負方向に１画素分ドットが引き延ばされたドットパターンを用いたマッチング結果を示すグラフ、図１２（ｂ）は、比較例のように、Ｙ軸正方向およびＹ軸負方向にドットを引き延ばさないときのマッチング結果を示すグラフである。それぞれ、測定されたドットパターンに縦方向（Ｙ軸方向）の画素ずれがある場合のグラフが実線で示され、縦方向（Ｙ軸方向）の画素ずれがない場合のグラフが破線で示されている。横軸は、Ｘ軸方向における探索範囲を画素ずれ量として示し、縦軸は、各探索位置における差分値（Ｒｓａｄ）を示している。

図１２（ａ）の破線グラフを参照して、縦方向（Ｙ軸方向）の画素ずれがない場合、画素ずれ量０以外の位置では、セグメント領域および比較領域のドットがＹ軸正方向およびＹ軸負方向に１画素引き延ばされることにより、差分値（Ｒｓａｄ）は、６０〜１００の高い値となっている。また、画素ずれ量０の位置では、全てのドットがマッチングし、差分値（Ｒｓａｄ）は、０である。この場合、差分値（Ｒｓａｄ）の最小値は０であり、２番目に小さい差分値（Ｒｓａｄ）は、略６０となるため、それぞれの差分が十分に大きくなり、適正にマッチングされる。

次に、図１２（ａ）の実線グラフを参照して、実測時において、ドットが縦方向（Ｙ軸負方向）に１画素ずれた場合、画素ずれ量０以外の位置では、上記同様、ドットが引き延ばされることにより、差分値（Ｒｓａｄ）は、６０〜１００の高い値となっている。また、画素ずれ量０の位置では、セグメント領域および比較領域のドットがＹ軸正負方向に１画素引き延ばされることにより、少なくとも、１部のドットがマッチングし、差分値（Ｒｓａｄ）は、略３０である。この場合、差分値（Ｒｓａｄ）の最小値は略３０であり、２番目に小さい差分値（Ｒｓａｄ）は、略６０となり、それぞれの差分は、十分に大きくなっている。したがって、実測時において、ドットが縦方向（Ｙ軸方向）にずれたとしても、適正にマッチングされることがわかる。

また、図１２（ｂ）の破線グラフを参照して、比較例において、縦方向（Ｙ軸方向）の画素ずれがない場合、画素ずれ量０以外の位置では、差分値（Ｒｓａｄ）は、２０〜３０の値となっている。また、画素ずれ量０の位置では、全てのドットがマッチングし、差分値（Ｒｓａｄ）は、０である。この場合、上記同様、差分値（Ｒｓａｄ）の最小値と、２番目に小さい差分値（Ｒｓａｄ）との差が十分に大きいため、適正にマッチングされる。

次に、図１２（ｂ）の実線グラフを参照して、比較例において、実測時にドットが縦方向（Ｙ軸負方向）に１画素ずれた場合、画素ずれ量０以外の位置では、差分値（Ｒｓａｄ）は、２０〜３０の値となっている。また、画素ずれ量０の位置では、比較領域のドットが縦方向（Ｙ軸負方向）に１画素ずれることにより、ほぼマッチングされるドットはなく、差分値（Ｒｓａｄ）は、略３０となっている。したがって、比較例では、実測時において、ドットが縦方向（Ｙ軸方向）にずれた場合、適正にマッチすることができず、距離検出がエラーとなることがわかる。

このように、本実施の形態では、実測時のドットが正規の位置から縦方向（Ｙ軸方向）にずれたとしても、ドットが縦方向（Ｙ軸方向）に引き延ばされるため、セグメント領域とこれに対応する比較領域とが重なったとき（画素ずれ量＝０）は、少なくとも、一部のドットがマッチングされ、差分値（Ｒｓａｄ）は、大きくならない。また、セグメント領域に対応しない比較領域にセグメント領域が重なったとき（画素ずれ量≠０）には、差分値（Ｒｓａｄ）がかなり大きくなる。したがって、本実施の形態では、実測時において、ドットが縦方向（Ｙ軸方向）にずれたとしても、適正にマッチング検出を行うことができる。

以上、本実施の形態によれば、基準画像および実測画像のドットパターンがＹ軸正方向およびＹ軸負方向に引き延ばされた状態でマッチングされるため、実測時において、ドットの受光位置がＹ軸正方向またはＹ軸負方向にずれても、適正に距離を検出することができる。

また、本実施の形態によれば、実測時におけるドットの照射位置がＹ軸方向にずれても、適正に距離を検出することができるため、レーザ光源１１０に対する温度調節素子などを省略することができ、情報取得装置１のコストダウンを図ることができる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。

上記実施の形態では、基準画像と実測画像の両方のドットパターンを、それぞれ、Ｙ軸正方向および負方向に１画素ずつ引き延ばしたが、基準画像のドットパターンのみ、または、実測画像のドットパターンのみをＹ軸方向に引き延ばしてもよい。

図１３は、実測画像のドットパターンのみをＹ軸正方向およびＹ軸負方向に１画素ずつ引き延ばした変更例１におけるマッチング状況を模式的に示す図である。

図１３（ａ）は、変更例１のセグメント領域におけるドットの分布状況、および、当該セグメント領域に対応する位置の比較領域におけるドットの分布状況を示す図である。また、図１３（ｂ）は、セグメント領域が当該比較領域に重なったときのマッチング状況を示す図、図１３（ｃ）は、図１３（ｂ）の状態からセグメント領域が１画素だけずれたときのマッチング状況を示す図である。

図１３（ａ）に示すように、セグメント領域では、ドットがＹ軸方向に引き延ばされず、８画素分のドットが分布している。また、比較領域では、上記実施の形態同様、ドットがＹ軸正方向およびＹ軸負方向に１画素ずつ引き延ばされ、１９画素分のドットが分布している。

図１３（ｂ）を参照して、セグメント領域が当該比較領域に重なったときのマッチング状況では、比較領域のみのドットがＹ軸方向に引き延ばされることにより、比較領域のドットのうち、引き延ばし前のドットに対してＹ軸正方向に１画素引き延ばされた部分のドットがマッチングされる。他方、その反対方向に引き延ばされたドットは、逆にマッチングがとれなくなる。したがって、差分値（Ｒｓａｄ）は、１１となり、比較例、および図１１の場合の差分値（Ｒｓａｄ）（＝１２）よりも１だけ小さくなる。

しかし、図１３（ｃ）に示すように、上記の実施の形態と同様、画素ずれ量１の位置のマッチング状況では、全てのドットがマッチングされず、差分値（Ｒｓａｄ）は、上記比較例の場合差分値（Ｒｓａｄ）（＝１６）よりも大きい２７となる。

このように、本変更例では、差分値（Ｒｓａｄ）の最小値と、２番目に小さい差分値（Ｒｓａｄ）との差は、図１１の場合よりも小さくなるものの、比較例の場合に比べると、かなり大きくなる。したがって、変更例１の場合においても、実測時に、ドットがＹ軸方向にずれても、適正にマッチングされることがわかる。

上記実施の形態の場合は、セグメント領域および比較領域の両方のドットがＹ軸方向に１画素分引き延ばされたため、実測時にＹ軸正方向および負方向に２画素までずれたとしても、適正にマッチングされたが、変更例１の場合、比較領域のドットのみがＹ軸方向に
引き延ばされているため、実測時に、ドットがＹ軸正方向およびＹ軸負方向に１画素までずれたとしても、適正にマッチングされる。

図１４は、基準画像のドットパターンのみをＹ軸正方向およびＹ軸負方向に引き延ばした変更例２におけるマッチング状況を模式的に示す図である。

図１４（ａ）は、変更例２のセグメント領域におけるドットの分布状況、および、当該セグメント領域に対応する比較領域におけるドットの分布状況を示す図である。また、図１４（ｂ）は、セグメント領域が当該比較領域に重なったときのマッチング状況を示す図、図１４（ｃ）は、図１４（ｂ）の状態からセグメント領域が１画素ずれたときのマッチング状況を示す図である。

図示の如く、変更例２の場合、上記変更例１の場合と、逆に引き延ばされた方向のドットがマッチングされ、同様の効果が得られることがわかる。

変更例２の場合も、変更例１の場合と同様に、実測時に、ドットがＹ軸正方向およびＹ軸負方向に１画素までずれたとしても、適正にマッチングされる。

このように、実測時におけるドットのＹ軸方向のずれの許容量が小さければ、変更例１または２のように、基準画像または実測画像の片方のみのドットを引き延ばしたとしても、上記実施の形態と同様の効果が得られることがわかる。

しかし、上記実施の形態のように、基準画像および実測画像の両方のドットを引き延ばしたほうが、実測時におけるドットのＹ軸方向のずれの許容量を大きくでき、より好適である。

実測時におけるドットのＹ軸方向のずれの許容量をさらに大きくするには、基準画像または実測画像のドットのＹ軸方向の引き延ばし量を大きくすればよいが、図１５（ａ）に示すように、ドットの引き延ばし量をセグメント領域の一辺に含まれる画素の数以上にすると、セグメント領域内の全てのドットがセグメント領域のＹ軸方向の画素数限界（９画素）まで引き延ばされ、ドットパターンのユニーク性が大きく失われることとなる。また、セグメント領域外のドットが大きく引き延ばされることによって、さらにドットパターンのユニーク性が失われる。したがって、ドットの引き延ばし量は、少なくとも、セグメント領域の一辺に含まれる画素の数よりも小さいほうが望ましい。

さらに、上記実施の形態では、ＤＯＥ１４０によって生成されるドットの数は略３万個、ＣＭＯＳイメージセンサ２４０の総画素数は略３０万であり、ＣＭＯＳイメージセンサ２４０上の隣り合うドットの平均間隔は、略２．５画素となっている。図１５（ｂ）のように、隣り合うドットの平均間隔以上にドットをＹ軸方向に引き延ばすと、Ｙ軸方向に隣り合うドットがそれぞれ干渉し合い、Ｙ軸方向に大きく連続したドットとなりやすく、ドットパターンのユニーク性が失われやすい。図１５（ｂ）では、中央の２つのＤＰ光のドットの他に、Ｘ軸負方向の境界に近い２つのＤＰ光のドットが、セグメント領域のＹ軸方向の画素数限界（９画素）まで引き延ばされている。したがって、ドットのＹ軸方向の引き延ばし量は、Ｙ軸方向に隣り合うドットの平均間隔よりも小さい方がさらに望ましい。

また、上記実施の形態および変更例１、２では、基準画像および実測画像のいずれか一方もしくは両方のドットパターンが、Ｙ軸正方向およびＹ軸負方向の両方に引き延ばされたが、Ｙ軸正方向またはＹ軸負方向の片方のみに引き延ばされれば、少なくとも、実測時に、Ｙ軸正方向またはＹ軸負方向のいずれか一方に対して、ドットがずれても、適正にマッチングすることができる。

図１６は、基準画像のドットパターンを、Ｙ軸正方向に１画素、実測画像のドットパターンを、Ｙ軸負方向に１画素引き延ばした変更例３におけるマッチング状況を示す図である。

図１６（ａ）は、変更例３のセグメント領域におけるドットの分布状況、および、当該セグメント領域に対応する比較領域におけるドットの分布状況を示す図である。また、図１６（ｂ）は、セグメント領域と比較領域が重なったときのマッチング状況を示す図、図１６（ｃ）は、図１６（ｂ）からセグメント領域が１画素ずれたときのマッチング状況を示す図である。

図１６（ａ）に示すように、セグメント領域では、ドットがＹ軸正方向にのみ１画素分引き延ばされ、１４画素分のドットが分布している。また、比較領域では、ドットがＹ軸負方向にのみ１画素分引き伸ばされ、１４画素分のドットが分布している。

図１６（ｂ）を参照して、セグメント領域と比較領域とが重なったときのマッチング状況では、セグメント領域のドットがＹ軸正方向（実測時のドットのずれ方向）に１画素分引き延ばされ、逆に、比較領域のドットが実測時のずれ方向と反対の方向に１画素分引き延ばされることにより、全てのドットがマッチングされる。したがって、差分値（Ｒｓａｄ）は、０となり、最も小さくなる。

図１６（ｃ）を参照して、セグメント領域が１画素ずれたときのマッチング状況では、上記同様、全てのドットがマッチングされていない。セグメント領域および比較領域のドットがＹ軸正方向またはＹ軸負方向に引き延ばされているため、差分値（Ｒｓａｄ）は、２８となる。

したがって、変更例３の場合、実測時にずれた方向にドットパターンを引き延ばされているため、適正にマッチングすることができる。

実測時のドットパターンのＹ軸方向のずれの方向に傾向がある場合は、このように、セグメント領域および比較領域のいずれか一方もしくは両方のドットパターンが、かかる傾向に応じてＹ軸正方向またはＹ軸負方向の一方のみに引き延ばされれば、適正にマッチングすることができる。

たとえば、レーザ光の出射波長が変動すると、ＤＯＥ１４０の光学特性によって、０次光を中心にドットパターンが放射状に広がる傾向がある。このような場合、ドットパターンの中心からＹ軸正方向に離れた位置のセグメント領域では、Ｙ軸正方向にドットを引き延ばし、Ｙ軸負方向に離れた位置のセグメント領域では、Ｙ軸負方向にドットを引き延ばせばよい。こうすると、レーザ光の出射波長変動によって、ドットパターンがＹ軸方向にずれた場合にも、適正にマッチングすることができる。

しかし、レーザ光の出射波長変動の他、ＣＭＯＳイメージセンサ２４０の取り付け位置のずれの発生等を考慮すると、Ｙ軸正方向もしくはＹ軸負方向のどちらに変化するかを完全に把握するのは困難である。したがって、上記実施の形態のように、ドットパターンがＹ軸正方向およびＹ軸負方向の両方に引き延ばされたほうが望ましい。

また、上記実施の形態では、距離測定時において、毎回ドットパターンを引き延ばしたが、上述のように、通常、Ｙ軸方向のずれは発生しない。したがって、図１７（ａ）の変更例４、図１７（ｂ）の変更例５に示すように、マッチングのエラー発生率や温度変化を契機にドットパターンの引き延ばし処理を実施するか否かが判断されてもよい。なお、図
中、上記実施の形態における図９（ｂ）と同様の処理については、同一の符号が付されており、詳細な説明は省略する。

図１７（ａ）を参照して、変更例４の場合、実測画像の２値化処理後（Ｓ２２）、ＣＰＵ２１は、マッチングのエラー発生率が所定の閾値を超えているかを判断する（Ｓ５１）。マッチングのエラー発生率は、たとえば、所定の回数分、過去のマッチング処理の結果を、メモリ２６に保持しておき、各回のマッチングエラーの発生率を求め、求めた発生率を平均化することによって算出される。

マッチングのエラー発生率が所定の閾値を超えている場合（Ｓ５１：ＹＥＳ）、ＣＰＵ２１は、基準画像および実測画像のドットパターンの引き延ばし処理を行う（Ｓ２３）。そして、ＣＰＵ２１は、ドットパターンがＹ軸方向に引き延ばされた基準画像および実測画像を用いて、マッチング処理を行う（Ｓ２４）。

マッチングのエラー発生率が所定の閾値を超えていない場合（Ｓ５１：ＮＯ）、ＣＰＵ２１は、ドットパターンの引き延ばし処理を行わず、処理をＳ２４に進める。そして、ＣＰＵ２１は、ドットパターンが引き延ばされていない基準画像および実測画像を用いて、マッチング処理を行う（Ｓ２４）。

このように、変更例４では、マッチングのエラーが続いた場合のみ、ドットパターンのＹ軸方向の引き延ばし処理が行われる。したがって、ドットパターンの引き延ばしの必要のない状況においては、ドットパターンの引き延ばし処理が行われず、ＣＰＵ２１にかかる演算量を軽減することができる。

また、図１７（ｂ）を参照して、変更例５の場合、実測画像の２値化処理後（Ｓ２２）、ＣＰＵ２１は、レーザ光源１１０の周辺の温度を検出する（Ｓ６１）。温度検出処理は、たとえば、ＣＰＵ２１により、レーザ光源１１０の近傍に配置された温度検出素子によって出力された信号を読み込むことによって行われる。そして、ＣＰＵ２１は、あらかじめ設定された所定の温度からの温度変化が所定の閾値を超えているかを判断する（Ｓ６２）。

温度変化が所定の閾値を超えている場合（Ｓ６２：ＹＥＳ）、ＣＰＵ２１は、基準画像および実測画像のドットパターンの引き延ばし処理を行う（Ｓ２３）。そして、ＣＰＵ２１は、ドットパターンがＹ軸方向に引き延ばされた基準画像および実測画像を用いて、マッチング処理を行う（Ｓ２４）。

温度変化が所定の閾値を超えていない場合（Ｓ６２：ＮＯ）、ＣＰＵ２１は、ドットパターンの引き延ばし処理を行わず、処理をＳ２４に進める。そして、ＣＰＵ２１は、ドットパターンが引き延ばされていない基準画像および実測画像を用いて、マッチング処理を行う（Ｓ２４）。

このように、変更例５では、レーザ光源１１０の近傍の温度が、所定の温度より大きく変化した場合にのみ、ドットパターンのＹ軸方向の引き延ばし処理が行われる。したがって、温度変化によって、レーザ光源１１０の出射波長が変動した場合にのみ、引き延ばし処理が行われ、必要のない状況においては、ドットパターンの引き延ばし処理が行われず、ＣＰＵ２１にかかる演算量を軽減することができる。

さらに、変更例４では、マッチングのエラー発生率のみ、変更例５では、温度変化のみによって、ドットパターンの引き延ばし処理の要否が判断されたが、マッチングのエラー発生率と、レーザ光源１１０の温度変化の両方を判断して、ドットパターンの引き延ばし
処理の要否が判断されてもよい。

また、上記実施の形態では、マッチング処理の前に、基準画像および実測画像の全てのドットについて、一括で引き延ばし処理が行われたが、マッチング処理時において、セグメント領域単位でドットの引き延ばし処理が行われてもよい。こうすると、ドットパターンの引き延ばし処理にかかる演算量が増大するが、図１５（ａ）、（ｂ）のように、Ｙ軸方向の引き延ばし量を大きくしても、セグメント領域外のドットが引き延ばされることによる影響をなくすことができる。

また、上記実施の形態では、基準画像もしくは実測画像に含まれる全てのドットについて、Ｙ軸方向に引き延ばされたが、一部分のドットのみが引き延ばされてもよい。また、全てのセグメント領域および比較領域に対して引き延ばし処理を行わず、ずれが生じ易いセグメント領域と比較領域に対してのみ引き延ばし処理を行っても良い。

また、上記実施の形態では、基準画像もしくは実測画像に含まれるドットがＹ軸正方向およびＹ軸負方向に１画素ずつ引き延ばされたが、その他の画素数でもよく、Ｙ軸正方向とＹ軸負方向で同じ画素数でなくてもよい。

また、上記実施の形態および各変更例では、実測時にドットの引き延ばし処理を行ったが、実測に先立って、予めドットが引き延ばされたドットパターンを保持しておき、実測時には、予め保持した、引き延ばされたドットパターンを用いてマッチング処理を行っても良い。この場合、基準画像に対する引き伸ばされたドットパターンは、情報取得装置１のセットアップ時に、基準画像とともにメモリ２６に保持されても良い。

また、上記実施の形態では、距離検出のエラー判定として、最も照合率の高いＲｓａｄと、その次に照合率が高いＲｓａｄとの差分が閾値を超えているかに基づいて、エラーが判定されたが、最も照合率の高いＲｓａｄが所定の閾値を超えているかに基づいて、エラーが判定されてもよい。

また、上記実施の形態では、セグメント領域と比較領域のマッチング率を算出する前に、セグメント領域と比較領域に含まれる画素の画素値を２値化したが、ＣＭＯＳイメージセンサ２４０によって得られた画素値をそのまま用いて、マッチングしてもよい。また、上記実施の形態では、ＣＭＯＳイメージセンサ２４０によって得られた画素値をそのまま２値化したが、画素値について、所定の画素の重みづけ処理、および背景光の除去処理、等の補正処理を行った後に、２値化してもよい。

また、上記実施の形態では、三角測量法を用いて距離情報が求められ、メモリ２６に記憶されたが、物体の輪郭抽出を主目的とするような場合は、三角測量法を用いた距離を演算せずに、セグメント領域の変位量（画素ずれ量）が距離情報として取得されてもよい。

また、上記実施の形態では、投射光学系１００に、ＦＭＤ１５０が用いられたが、ＦＭＤ１５０は省略されてもよい。

また、上記実施の形態では、目標領域に照射されるレーザ光の波長帯以外の波長帯の光を除去するためにフィルタ２３０を配したが、たとえば、目標領域に照射されるレーザ光以外の光の信号成分を、ＣＭＯＳイメージセンサ２４０から出力される信号から除去する回路構成が配されるような場合には、フィルタ２３０を省略することができる。また、アパーチャ２１０の配置位置は、何れか２つの撮像レンズの間であってもよい。

また、上記実施の形態では、受光素子として、ＣＭＯＳイメージセンサ２４０を用いた
が、これに替えて、ＣＣＤイメージセンサを用いることもできる。さらに、投射光学系１００および受光光学系２００の構成も、適宜変更可能である。また、情報取得装置１と情報処理装置２は一体化されてもよいし、情報取得装置１と情報処理装置２がテレビやゲーム機、パーソナルコンピュータと一体化されてもよい。

本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。

１ … 情報取得装置
２１ … ＣＰＵ（距離取得部）
２１ｂ … 距離取得部（距離取得部）
２４ … 撮像信号処理回路（距離取得部）
２６ … メモリ（記憶部）
１００ … 投射光学系
１１０ … レーザ光源
１２０ … コリメータレンズ
１４０ … ＤＯＥ（回折光学素子）
２００ … 受光光学系

Claims (7)

1. 光を用いて目標領域の情報を取得する情報取得装置において、
   目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、
   前記投射光学系に対して所定の距離だけ横方向に離れて並ぶように配置され、前記目標領域をイメージセンサにより撮像する受光光学系と、
   基準面に前記レーザ光を照射したときに前記受光光学系により撮像された基準ドットパターンと、距離測定時に目標領域を撮像して取得された実測ドットパターンとを保持する記憶部と、
   前記基準ドットパターンにセグメント領域を設定し、前記実測ドットパターンと前記セグメント領域内のドットとを照合することにより、前記セグメント領域に対応する前記目標領域内の位置について距離を取得する距離取得部と、を備え、
   前記距離取得部は、前記基準ドットパターンと前記実測ドットパターンのいずれか一方または両方の前記ドットが前記投射光学系と前記受光光学系の並び方向に垂直な方向の一方または両方に引き延ばされたドットパターンを用いて、前記距離の取得を行う、
   ことを特徴とする情報取得装置。
2. 請求項１に記載の情報取得装置において、
   前記距離取得部は、前記基準ドットパターンおよび前記実測ドットパターンの両方の前記ドットが引き延ばされたドットパターンを用いて、前記距離の取得を行う、
   ことを特徴とする情報取得装置。
3. 請求項１または２に記載の情報取得装置において、
   前記距離取得部は、前記ドットを前記投射光学系と前記受光光学系の並び方向に垂直な方向の両方に引き延ばされたドットパターンを用いて、前記距離の取得を行う、
   ことを特徴とする情報取得装置。
4. 請求項１ないし３の何れか一項に記載の情報取得装置において、
   前記ドットの引き延ばし量は、１画素以上であって、前記セグメント領域の一辺に含まれる画素の数以下である、
   ことを特徴とする情報取得装置。
5. 請求項１ないし３の何れか一項に記載の情報取得装置において、
   前記ドットの引き延ばし量は、１画素以上であって、前記投射光学系と前記受光光学系の並び方向に垂直な方向に隣り合う前記ドットの平均間隔に対応する画素の数以下である、
   ことを特徴とする情報取得装置。
6. 請求項１ないし５の何れか一項に記載の情報取得装置において、
   前記投射光学系は、レーザ光源と、前記レーザ光源から出射されたレーザ光が入射するコリメータレンズと、前記コリメータレンズを透過した前記レーザ光を回折によりドットパターンの光に変換する回折光学素子と、を備える、
   ことを特徴とする情報取得装置。
7. 請求項１ないし６の何れか一項に記載の情報取得装置を有する物体検出装置。

Images