JP6891954B2 - 物体検知装置、物体検知方法、及びプログラム - Google Patents

Description

本発明は、魚眼画像を用いて物体検知を行なう、物体検知装置、物体検知方法、及びこれらを実現するためのプログラムに関する。

近年、車両の駐車時の安全支援を目的として、車載カメラを用いた移動体検知システムが提案されている（例えば、特許文献１参照）。移動体検知システムは、車両の後部、車両周縁部等に取り付けられた、車載カメラからの映像に基づいて、他の車両、歩行者等の移動体を検知するシステムである。また、このような物体検知システムでは、低コストで死角の少ない視野を得るため、車載カメラとして魚眼カメラが用いられる。

具体的には、特許文献１に開示された移動体検知システムは、停車中の車両の周囲の移動体を検知するシステムである。物体検知システムは、魚眼カメラの画像から、物体が存在する領域を、移動領域ピクセルとして検出し、検出した移動領域ピクセルを半透明で色付けし、色付けした移動領域ピクセルを画面上に表示する。これにより、車両のドライバーは移動体の存在を認識することができる。

更に、移動体が車両に接近すると、それに応じて、移動体の像が拡大し、色付けされた移動領域ピクセルのピクセル数は増加する。特許文献１に開示された移動体検知システムは、このことを利用し、移動量領域ピクセルのピクセル数が閾値を超えると、ドライバーに、移動体の接近を警告する。

特許第４４４９６１８号明細書

しかしながら、車両の後部等に設置された魚眼カメラを用いて、歩行者等の移動体の検知を行なう場合は、魚眼画像上には歪が存在するため、移動体の実際の接近距離、移動体の実際の移動速度に対応して、適切に検知することは困難である。

具体的には、特許文献１に開示された移動体検知システムでは、移動体の接近の判定は、魚眼画像上の移動体の大きさに依存して行なわれ、実際の接近距離及び移動速度に正しく対応して行なわれているわけではない。特に、魚眼画像では、カメラの光軸から見て周辺部の対象は小さく映ることから、特許文献１に開示された移動体検知システムでは、移動体の接近判定における危険度は低く見積もられる可能性がある。

そのため、特許文献１に開示された移動体検知システムのように、魚眼画像上の対象物の大きさに基づいて物体の検知が行なわれるシステムでは、車両の側面から後方へと回り込もうとする歩行者等を検知することが難しいという問題も発生する。また、車両の側面から後方へと廻り込もうとする歩行者等を検知することは、車両の安全運転を支援する目的においては、特に重要であり、確実な検知が求められている。

本発明の目的は、上記問題を解消し、魚眼光学系が用いられる場合において、物体の検知精度の向上を図り得る、物体検知装置、物体検知方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における物体検知装置は、魚眼画像から物体を検知するための装置であって、
物体が写った魚眼画像を正規化して得られた正規化画像を取得する、正規化画像取得部と、
前記正規化画像における前記物体の位置座標を検出する、位置検出部と、
前記正規化画像における前記物体の位置座標を用いて、前記物体と当該装置との位置関係を判定する、判定部と、
を備えていることを特徴とする。

また、上記目的を達成するため、本発明の一側面における物体検知方法は、魚眼画像から物体を検知するための方法であって、
（ａ）物体が写った魚眼画像を正規化して得られた正規化画像を取得する、ステップと、
（ｂ）前記正規化画像における前記物体の位置座標を検出する、ステップと、
（ｃ）前記正規化画像における前記物体の位置座標を用いて、前記物体との位置関係を判定する、ステップと、
を備えていることを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、魚眼画像から物体を検知するためのプログラムであって、
前記コンピュータに、
（ａ）物体が写った魚眼画像を正規化して得られた正規化画像を取得する、ステップと、
（ｂ）前記正規化画像における前記物体の位置座標を検出する、ステップと、
（ｃ）前記正規化画像における前記物体の位置座標を用いて、前記物体との位置関係を判定する、ステップと、
を実行させることを特徴とする。

以上のように本発明によれば、魚眼光学系が用いられる場合において、物体の検知精度の向上を図ることができる。

図１は、本発明の実施の形態における物体検知装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における物体検知装置の構成をより具体的に示すブロック図である。 図３（ａ）は、本発明の実施の形態で用いられる正規化画像の一例を示す図であり、図３（ｂ）は、本発明の実施の形態で用いられる実空間座標系の一例を示す図である。 図４は、本発明の実施の形態で用いられる撮像装置の座標系の定義を示す図である。 図５は、ＺＸＹオイラー角表現を用いて表現される視点補償ベクトルを説明するための図である。 図６は、本発明の実施の形態において行なわれる２視点間の座標変換を説明するための図である。 図７は、本発明の実施の形態で用いられる元の視点での座標系と平行化視点座標系とを説明するための図である。 図８は、本発明の実施の形態において対象となる魚眼画像（Ｉ_Ｐ）の一例を模式的に示した図である。 図９は、本発明の実施の形態で定義される平行化視点座標系の一例を示す図である。 図１０は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる正規化パノラマ画像とを示している。 図１１は、本発明の実施形態における物体検知装置の動作を示すフロー図である。 図１２は、図１１に示された判定処理をより具体的に示すフロー図である。 図１３は、本発明の実施の形態における物体検知装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、物体検知装置、物体検知方法、及びプログラムについて、図１〜図１３を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態における物体検知装置の概略構成について説明する。図１は、本発明の実施の形態における物体検知装置の概略構成を示すブロック図である。

図１に示す、本実施の形態における物体検知装置１００は、魚眼画像から物体を検知するための装置である。図１に示すように、物体検知装置１００は、正規化画像取得部１０と、位置検出部２０と、判定部３０とを備えている。

正規化画像取得部１０は、物体が写った魚眼画像を正規化して得られた正規化画像を取得する。位置検出部２０は、正規化画像における物体の位置座標を検出する。判定部３０は、正規化画像における物体の位置座標を用いて、物体と物体検知装置１００との位置関係を判定する。

このように、本実施の形態では、魚眼画像を正規化して得られた正規化画像を用いて、物体の検知が行なわれる。このため、本実施の形態によれば、魚眼光学系が用いられる場合において、物体の検知精度の向上を図ることができる。

続いて、図２〜図４を用いて、本実施の形態における物体検知装置１００の構成をより具体的に説明する。図２は、本発明の実施の形態における物体検知装置の構成をより具体的に示すブロック図である。

図２に示すように、本実施の形態においては、物体検知装置１００は、画像出力装置２００及びセンサ装置３００に接続されている。また、本実施の形態では、物体検知装置１００は、車両に搭載されている。

画像出力装置２００は、画像データを、正規化画像取得部１０に向けて出力する装置である。図２の例では、画像出力装置２００として、撮像装置が用いられている。撮像装置は、リアルタイムで画像を撮像する装置であり、物体の画像データを連続的に出力する。撮像装置の具体例として、例えば、ＮＴＳＣ（National Television Standards Committee）形式、ＰＡＬ（Phase Alternating Line）形式、または各種デジタル画像を出力するカムコーダ等が挙げられる。

また、本実施の形態では、画像出力装置２００は、画像データとして、魚眼画像の画像データを出力する。従って、撮像装置に用いられる光学系としては、魚眼レンズ系が挙げられる。撮像装置としては、魚眼レンズと撮像素子とを備えた魚眼カメラが挙げられる。

また、画像出力装置２００は、撮像装置以外の装置、例えば、画像キャプチャ装置であっても良い。画像キャプチャ装置は、記憶媒体に保存された画像情報を読み出し、読み出した画像情報を、ＮＴＳＣ形式、ＰＡＬ形式、又は、その他の電子制御装置が読み取ることのできる画像形式に変換して出力する。この場合、画像出力装置２００は、物体検知装置１００を構築するコンピュータで動作するソフトウェアプログラムとして実現することもできる。なお、物体検知装置１００を構築するコンピュータについては後述する。コンピュータは、画像出力装置２０から送られてくる画像情報に応じて、所定のプログラムに基づく画像処理を実行する。

正規化画像取得部１０は、本実施の形態では、画像出力装置２００が出力してきた魚眼画像の画像データを取得し、これに正規化処理を行なうことで、正規化画像を取得する。このため、図２に示すように、正規化画像取得部１０は、魚眼画像取得部１１と、視点補償ベクトル取得部１２と、画像生成部１３と、視点補償ベクトル生成部１４とを備えている。なお、本実施の形態では、正規化画像取得部１０は、予め外部で生成された正規化画像の保存データを順次取得するもので会っても良い。

魚眼画像取得部１１は、対象物が写った魚眼画像を取得する。視点補償ベクトル取得部１２は、視点補償ベクトル生成部１４によって生成された視点補償ベクトルを取得する。視点補償ベクトルは、対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、魚眼画像を、対象物を接地面に平行な方向から撮影して得られる画像に変換するための、ベクトルである。

視点補償ベクトル生成部１４は、センサ装置３００から、撮像装置である画像入力装置２００の光軸回りのロール角及び光軸のピッチ角を取得し、取得したロール角及びピッチ角に基づいて、視点補償ベクトルを生成する。

センサ装置３００は、撮像装置である画像入力装置２００に取り付けられている。センサ装置３００は、例えば、角度センサを備えており、撮像装置の光軸ベクトルと、被写体となっている物体の接地面に平行なベクトルと、の相対ベクトルを計測するための情報を出力する。出力される情報としては、撮像装置における、光軸回りのロール角、光軸のピッチ角、光軸のヨー角が挙げられる（後述の図６参照）。

物体の接地面（対象平面）を水平面（地面）と想定する場合には、センサ装置３００は、撮像装置の光軸が水平方向に平行であり、且つ、撮像装置の傾きがゼロ（撮像素子の水平方向が水平面と平行の状態）であるときの値を初期値として、初期値との差分を出力する。

一方、対象物の接地面が水平面（地面）ではない場合は、センサ装置３００は、予め測定された対象の接地面の水平面に対する角度を考慮して、上述の初期値との差分を出力する。また、センサ装置３００とは別に、対象物の接地面の角度を測定するセンサ装置（角度センサ）が設置されていても良く、このとき、センサ装置３００は、自身のセンサデータと、別のセンサ装置のセンサデータとの差分を出力する。

また、画像出力装置２００が、上述した画像キャプチャ装置である場合には、予め角度センサの情報も作成され、角度センサの情報は、これを画像と同期して記憶する記憶デバイスから提供される。なお、この場合の角度センサの情報とは、読み出しの対象となる画像情報を出力した撮像装置における、光軸回りのロール角、光軸のピッチ角、光軸のヨー角が挙げられる。

また、本実施の形態では、センサ装置３００を用いる代わりに、相対ベクトルを算出するソフトウェアが用いられていても良い。この場合は、ソフトウェアによって、例えば、画像中の基準オブジェクトの位置及び形状から、対象物の接地面に対する差分ベクトルが推定される。なお、撮像装置の光軸ベクトルと対象物の接地面との相対関係が、撮像中変化しないことが想定できる場合には、このソフトウェアの代わりに、予め測定された上記相対関係を規定するデータが用いられても良い。

画像生成部１３は、先ず、視点補償ベクトルを用いて変換された魚眼画像に対して、その水平方向に沿って、対象物の接地面に平行な視点を複数設定する。続いて、画像生成部１３は、設定された視点毎に、変換後の魚眼画像に対して、各視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行なう。そして、画像生成部１３は、歪み補正後の魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する。

このように本実施の形態では、視点補償ベクトルによる変換が行なわれるので、魚眼カメラの光軸と対象物の接地する平面との位置関係が一定条件を満たさない場合であっても、魚眼画像における歪みを正規化することができる。また、本実施の形態では、複数の座標系毎に歪み補正が行なわれ、視点を変えて補正された画像が得られる。そして、得られた補正後の各画像の垂直方向の要素を連結して最終的な正規化画像となる。このため、本実施の形態では、魚眼光学系は、設計モデルが非公開である場合であっても、歪みの除去が可能となり、魚眼光学系に影響されることがない。

位置検出部２０は、本実施の形態では、正規化画像上の画素データに基づいて、正規化画像上において、物体の画像領域を検出し、検出した画像領域と路面とが交差している位置の座標を、物体の位置座標として検出する。具体的には、位置検出部２０は、画像特徴に基づいて識別する一般的な統計的物体検出の方法を用いて、正規化画像の画像データから、例えば、人、車両といった物体の画像領域を検出し、検出した画像領域の最下点の位置座標を検出する。

また、位置検出部２０は、正規化される前の画像の画像データ上で、物体の画像領域の検出及び位置座標の検出を行なうこともできる。この場合、位置検出部２０は、検出した位置座標を、正規化画像上の座標系に変換する。更に、位置検出部２０は、例えば、レーザセンサなど外部センサからの情報に基づいて、物体の検出及び位置座標の検出を行なうこともできる。この場合も、位置検出部２０は、検出した位置座標を、正規化画像上の座標系に変換する。

判定部３０は、図３に示すように、本実施の形態では、正規化画像における物体の位置座標を、車両までの距離ｒと撮像装置の光軸に対する傾斜角θとで位置座標を規定する座標系（以下、「実空間座標系」と表記する。）に変換する。図３（ａ）は、本発明の実施の形態で用いられる正規化画像の一例を示す図であり、図３（ｂ）は、本発明の実施の形態で用いられる実空間座標系の一例を示す図である。

図３（ａ）及び（ｂ）に示すように、正規化画像上の位置座標と実空間座標系での位置座標とは、正規化画像の定義上、下記の数１及び数２によって対応付けられる。

また、上記数１及び数２で用いられるパラメータの定義は、図３（ａ）及び（ｂ）に示すように下記の通りとなる。
（ｕ_Ｈ，ｖ_Ｈ）：正規化画像上の位置座標，
（θ，ｒ）：実空間座標系での位置座標，
Ａ_Ｘ：水平視野角，
Ａ_Ｙ：垂直視野角，
Ｗ_ｏ×Ｈ_ｏ：正規化画像サイズ，
Ｈ_Ｃ：カメラ設置高さ，

実空間座標系上の位置座標（θ，ｒ）は、図３（ｂ）に示すように、実空間にある路面上の位置を極座標で表現したものであり、車両のシステムの基準位置に対する物体の相対的な角度（θ）及び距離（ｒ）をそれぞれ表している。

また、本実施の形態において、判定部による位置座標の変換処理は、演算によって都度行なわれても良いし、予め作成された、位置座標の対応関係を示すルックアップテーブル（ＬＵＴ）を用いて行なわれても良い。

次いで、判定部３０は、変換後の物体の位置座標の時系列変化を求める。具体的には、判定部３０は、時間平均変化率として、物体の車両までの距離ｒの変化率（以下「距離速度」と表記する）と、物体の傾斜角θの変化率（以下「角速度」と表記する）とを算出する。また、距離速度及び角速度としては、カルマンフィルタなどによる平滑値が用いられていても良い。更に、時刻ｔにおける、傾斜角、距離、角速度、距離速度は下記の数３のように表される。

次いで、判定部３０は、変換後の物体の位置座標の時系列変化に基づいて、物体と車両との位置関係を判定する。具体的には、判定部３０は、角速度及び距離速度に基づいて、物体が車両に廻り込むように移動している状態、物体が車両を横切った状態、及び物体が車両に接近している状態のいずれであるかを判定する。この判定の具体的な判定基準は下記の通りである。

（１）廻り込み
判定部３０は、下記の数４に示すように、距離速度の絶対値｜ｄｒ／ｄｔ｜が、閾値δ（＞０）未満、傾斜角θが０に近づくように変化し、更に、角速度ｄθ／ｄｔが閾値ε（＞０）を超える場合は、物体が車両に廻り込むように移動していると判定する。

（２）横切り
判定部３０は、下記の数５に示すように、距離速度の負の値（即ち、距離方向の接近速度）が、閾値δ（＞０）以上、η（＞δ＞０）以下の範囲にあり、傾斜角θが０に近づくように変化し、角速度ｄθ／ｄｔが閾値ε（＞０）を超える場合は、物体は車両を横切っていると判定する。

（３）接近
判定部３０は、下記の数６に示すように、距離速度の負の値（即ち、距離方向の接近速度）が、閾値η（＞０）以上である場合は、物体は車両に接近していると判定する。

また、判定部３０は、傾斜角と角速度との２つのみから、回り込み状態及び横切り状態のいずれかであることを判定することもできる。具体的には、判定部３０は、角速度が下記の数７に示す場合に該当するときは、物体は、回り込み状態及び横切り状態のいずれかであると判定する。

このように、判定部３０は、物体の車両への廻りこみ及び横切りを、円周方向の移動のみで判定することができる。この場合、実空間の円周方向の移動が、正規化画像上の水平方向の移動に一対一で対応するので、通常の２変数の座標変換演算が１変数の座標変換演算で済むことになる。従って、この場合は、２変数を利用する場合に比べて、参照テーブルにおけるデータ数、及びデータアクセス数が半減されるので、判定部３０における負荷が軽減される。

ここで、図４〜図１０を用いて、正規化画像取得部１０による魚眼画像から正規化画像を生成する処理についてより具体的に説明する。

まず、本実施の形態で用いる用語について説明する。本実施の形態では、魚眼画像の正規化（歪みの除去）において、視点は水平面に設定され、更に、この水平面の基準となる平面（対象平面：target plane）が定められる。対象平面としては、正規化を行いたい対象（Target）である縦長の対象物が接地している平面（接地面）が選択される。そして、正規化の対象が、例えば歩行者であるならば、対象平面としては、道路面、床面などが挙げられる。また、対象平面は、垂直の壁面、又は傾斜のある路面に定義されていても良く、必ずしも現実の水平面と一致していなくても良い。

また、以降では、対象平面が路面であり、正規化の対象（魚眼画像の被写体）が歩行者である場合について、説明を行うが、本発明の適用範囲は、これらの制約によって限定されることはない。

魚眼画像取得部１１は、画像出力装置２００から正規化画像取得部１０へと出力された魚眼画像の画像データを取得する。また、魚眼画像取得部１１は、画像データを取得すると、画像データに対して、必要な画像領域の切り出し処理、解像度及びサイズの調整処理、ＮＴＳＣ形式画像からの奇数（又は偶数）フィールドの抽出処理、画質改善処理といった、画像形式についての調整処理を実行することもできる。

視点補償ベクトル取得部１２は、視点補償ベクトル生成部１４から視点補償ベクトルを取得する。視点補償ベクトル生成部１４は、撮像装置の光軸ベクトルと対象平面に平行なベクトルとの相対ベクトルを、視点補償ベクトルとして生成する。この相対ベクトルは、２つの座標系間の回転を表現するベクトルである。

回転の表現手法としては、一般に、Ｑｕａｔｅｒｎｉｏｎ、オイラー角表現などが挙げられ、本実施の形態では、いずれの表現手法が採用されていてもよい。例として、以降では、オイラー角表現を用いて説明する。なお、オイラー角表現には回転の順序により任意性があり、ここではＺＸＹ系オイラー角表現を用いる。

図４を用いて、撮像装置の座標と回転軸とについて説明する。図４は、本発明の実施の形態で用いられる撮像装置の座標系の定義を示す図である。まず、本実施の形態において、相対ベクトルは、少なくとも、ロール（ｒｏｌｌ）角、およびピッチ(ｐｉｔｃｈ)角からなる２次元の数値を含んでいる。ロール角及びピッチ角は、カメラの光軸を含む水平面（ｘ−ｚ平面）と対象平面とを一致させるために必要な回転角度である。

本実施の形態では、ヨー（ｙａｗ）角としては、魚眼画像の水平視野角の範囲に含まれる任意の角度が指定される。ヨー角は、最終的に生成される画像の（水平方向の）中心視点を定めるものである。よって、元の魚眼画像の水平視野角を最大限利用するためには、ヨー角としては、現実の撮像装置（カメラ）の光軸におけるヨー角がそのまま用いられていることが好ましい。

図５を用いて、視点補償ベクトルの表現形式について説明する。図５は、ＺＸＹオイラー角表現を用いて表現される視点補償ベクトルを説明するための図である。ロール角とピッチ角は、ＺＸＹオイラー角表現では、図５を参照すると次のように定義される。なお、視点補償ベクトルを構成するロール角及びピッチ角を、特に「相対ロール角」及び「相対ピッチ角」と表記する。

すなわち、図５に示すように、撮像装置の座標において、ｘ−ｚ平面から、対象平面とロール角の一致したｘ’−ｚ平面へのｚ軸回りの回転角度は、相対ロール角α_０と定義される。また、ｘ’−ｚ平面から、対象平面と平行なｘ’−ｚ’平面へのｘ’軸回りの回転角度は、相対ピッチ角β_０と定義される。

そして、任意のヨー角γ_０が与えられたとすると、視点補償ベクトルＶは、例えば、下記の数８で表される。なお、任意のヨー角γ_０がカメラ光軸によって規定される場合には、下記の数８において、γ_０＝０が成立する。

視点補償ベクトルＶを用いれば、２視点間の座標変換を行うことが出来る。図６は、本発明の実施の形態において行なわれる２視点間の座標変換を説明するための図である。図６を参照すると、一般に、物理空間上のある点に対する座標変換は、座標系１から座標系２に対する外部パラメータ行列Ｋを用いて、下記の数９で記述できる。

ただし、ｐチルダ^（ｉ）は、座標系ｉにおける位置座標の同次表現である。同次表現は、下記の数１０によって表される。

また、上記数２におけるＫは、一般に回転行列Ｒ、および並進ベクトルｔを用いて、下記の数１１で記述される。

回転行列Ｒは、ＺＸＹオイラー角表現においては、定義におけるロール角α、ピッチ角β、ヨー角γを用いて、下記の数１２で記述される。

ここで、上記数８で規定された視点補償ベクトルＶによって変換された視点を「平行化中心視点（central horizontalized viewpoint）」と表記し、視点が存在する座標系を「平行化中心視点座標系」と表記することとする。

また、対象平面に平行であり、且つ、平行化中心視点から任意のヨー角γだけ回転させて得られた視点の集合を「平行化視点（horizontalized viewpoints）」と表記し、それぞれの視点における座標系を「平行化視点座標系」と表記することとする。図７は、本発明の実施の形態で用いられる元の視点での座標系と平行化視点座標系とを説明するための図である。

平行化視点座標系は、任意のγ、及び視点補償ベクトルの（α_０,β_０）による座標変換から得られている。平行化視点座標への座標変換は、上記数１１及び数１２において（α,β）＝（α_０，β_０）とした外部パラメータ行列Ｋ^ｈｒｚ（γ）を用いて、下記の数１３によって記述できる。

但し、元の視点（original viewpoint）での座標系の座標と、平行化視点座標系における座標とは、それぞれ下記の数１４及び数１５とする。

また、平行化中心視点は、元の視点との間で原点を共有するものとすれば、Ｋ^ｈｒｚ（γ）において並進ベクトルｔは、ｔ=(０，０，０)^Ｔとおくことができる。

以上のように、視点補償ベクトルＶが与えられると、元の視点での座標系から、平行化視点座標系への座標変換Ｋ^ｈｒｚ（γ）を定義することができる。本実施の形態では、視点補償ベクトル生成部１４は、平行化変換行列（horizontal transform matrix）Ｋ^ｈｒｚ（γ）を生成し、これを視点補償ベクトル取得部１１に与える。

画像生成部１３は、本実施の形態では、生成される正規化画像の水平方向の全画素数に応じて、視点を設定する。また、画像生成部１３は、視点毎に、歪み補正を行なった後に、補正後の魚眼画像を垂直方向に切り出して、各視点からの視線が入射するスライス画像を抽出する。そして、画像生成部１３は、抽出したスライス画像それぞれを、予め定めた順序で、水平方向に配置して、１つの正規化画像を生成する。

具体的には、画像生成部１３は、まず、魚眼画像取得部１１で取得された魚眼画像に対し、視点補償ベクトルＶを用いて、平行化視点の集合を設定する。次いで、画像生成部１３は、水平方向の視野範囲を任意に分割し、各平行化視点の集合（平行化視点列）のそれぞれの平行化視点座標系において、透視投影近似による歪補正を実行する。そして、画像生成部１３は、各視点の中心を通る垂直方向の画像要素を、平行化視点列の順序で水平方向に並べ、これらを連結することで、一枚の合成画像を生成する。以下、画像生成部１３による処理について詳細に説明する。

透視投影近似による歪み補正：
ここで、透視投影近似による歪み補正について具体的に説明する。透視投影近似による歪補正（透視投影補正）は、一般にカメラモデル、及びカメラモデルにおける校正済みの内部パラメータが既知であれば、以下の方法で求めることが出来る。なお、透視投影近似による歪み補正は、既存の技術で実現できるものであるが、参考として以下で簡単に説明する。

一般のカメラ座標系における実空間上の点ｐ＝(ｘ，ｙ，ｚ)^Ｔと、魚眼画像上の点との関係式は以下の数１６〜数１８によってモデル化できる。但し、数１６におけるρ’は数１９によって表される。

また、上記数１６及び数１８における（ｕ’，ｖ’）は、ａｆｆｉｎｅ歪のない理想的な魚眼画像の座標（中心を原点とする）を示している。数１８における（ｕ”，ｖ”）は、実際の魚眼画像の座標（左上を原点とする）を示し、（ｕ_０”，ｖ_０”）は、実際の魚眼画像の中心座標を示している。更に、数１８における２×２の正方向行列は、ａｆｆｉｎｅ変換行列である。

そして、上記数１７の係数を４次までに近似して得られるパラメータは、魚眼レンズの歪特性、及び魚眼レンズの光軸と撮像素子との位置関係のずれ、等から決まるカメラの内部パラメータである。なお、当該パラメータを下記の数２０に示す。

そして、上記数２０に示すパラメータは、下記の参考文献に開示されているキャリブレーション手法によって予め求めることができる。
［参考文献］
Davide Scaramuzza、 Agostino Martinelli and Roland Siegwart、 “A Toolbox for Easily Calibrating Omnidirectional Cameras”、 IROS、 2006。

ここで、座標系のｚ軸に垂直な画像平面（ｚ＝ｚ_ｄ）を設定すると、画像平面（ｚ＝ｚ_ｄ）上で定義される画像の座標（ｕ_ｄ，ｖ_ｄ）に対して、上記数１６〜数１８の関係式を用いることで、対応する魚眼画像の座標（ｕ”，ｖ”）を求めることが出来る。従って、画像の座標（ｕ_ｄ，ｖ_ｄ）に対応する魚眼画像の座標（ｕ”，ｖ”）の画素値を参照して、画像座標（ｕ_ｄ，ｖ_ｄ）における画素値を魚眼画像の座標（ｕ”，ｖ”）の画素値に置き換えることで、透視投影近似による歪み補正後の画像（「透視投影補正画像」と表記する。）を生成することができる。

なお、魚眼画像座標の画素値は、モノクロ画像であれば１チャンネルの輝度値、カラー画像ではＲＧＢ３チャンネルの輝度値である。そして、ｚ＝ｚ_ｄの値は投影面と焦点からの距離を表し、これが透視投影補正画像のスケールを決定するパラメータである。

透視投影近似による歪み補正の効果
視点補償ベクトルによって平行化変換行列が与えられるため、任意の平行化視点における透視投影画像平面を定義できる。その結果、画像生成部１３は、平行化視点それぞれ毎に、各視点における透視投影補正画像を上記の方法を用いて生成することになる。

透視投影補正画像では、直線性が復元される一方で、周辺部に向かうにしたがって射影歪により被写体のスケール歪が大きくなることが知られている。従って、画像生成部１３は、視点毎に、生成された透視投影補正画像の中心列のみを抽出し、これら中心列を水平方向に連結する。これにより、水平方向のスケール歪が抑制され、且つ、垂直方向の直線性が保たれた、連続した一枚画像が生成される。これによって、元の魚眼画像に撮像された対象平面上に存在する縦長の立体物が全て一貫したスケールを持ち、且つ、形状歪の少ない、一枚の正規化画像が合成される。

画像生成部による具体的処理
ここで、画像生成部１３による処理の具体例について以下に説明する。元の魚眼画像（Ｉ_Ｐ）から各平行化視点座標系で生成される透視投影補正画像（Ｉ_Ｐ）において、その中心を通る画像列を「正規化スライス画像（Ｉ_Ｓ）」と表記する。また、最終的な出力画像を「正規化パノラマ画像（Ｉ_Ｈ）」、と表記する。本実施の形態では、正規化パノラマ画像を生成するまでの一連の機能が画像生成部１３の機能である。

まず、画像生成部１３において、最終的に出力される画像のサイズ（幅、高さ）＝（Ｗ_０、Ｈ_０）が定義される。次に、画像生成部１３は、正規化パノラマ画像の合成に用いる平行化視点列を定義する。視点のロール角及びピッチ角は、視点補償ベクトルベクトルＶによって決定されているので、ここではヨー角の組Φを定義すればよい。Φは、画像の横ピクセル数と同数の系列とし、下記の数２１で表される。

Φは、元の魚眼画像の水平視野範囲で任意に設定できる。Φの上限と下限とが、正規化パノラマ画像で描画される水平視野範囲（FOV_H）を決定する。例えば、水平視野範囲がＦＯＶ＿Ｈ=１８５°を確保するとき、平行化視点列の範囲は、下記の数２２に示す範囲となる。

一般に魚眼画像は実空間上の球体面モデルに投影された点群の一方向への写像としてモデル化される。このとき球体中心は光学中心と一致すると仮定できる。各平行化視点座標系の原点は光学中心と一致させているため、Φは、下記数２３に示すように、等分解能で定義できる。但し、下記数２３において、ｉ＝０，・・・，Ｗ_０−１である。

また、各平行化視点座標系（数２４）上の点は、平行化変換行列Ｋ^ｈｒｚ（γ）を用いて、元のカメラ座標系の点ｍチルダが「(ｘ，ｙ，ｚ，１)^Ｔ」表されることから、下記の数２５で求められる。

上述したように、平行化視点座標系（数２４）のｚ軸（数２６）に垂直な画像平面（数２７）を設定すると、この画像平面（数２７）上で定義される画像座標（数２８）において、元の魚眼画像上の画素（ｕ”，ｖ”）への対応が求められる。魚眼画像上の画素の点が、画像座標（数２８）上へ投影された画像が透視投影補正画像である。また、数２７の定数は、投影面と焦点からの距離を表し、これが透視投影補正画像のスケールを決定するパラメータである。

透視投影補正画像（Ｉ_Ｐ）の中心を通る垂直方向の画像列が、正規化スライス画像（Ｉ_Ｓ）である。正規化スライス画像（Ｉ_Ｓ）は、透視投影補正画像（Ｉ_Ｐ）を透視投影画像平面に投影する際に、投影画像の横サイズを１ピクセルに設定する条件で生成される、透視投影補正画像（Ｉ_Ｐ）の特別なバリエーションである。なお、正規化スライス画像（Ｉ_Ｓ）を生成するためにより大きな横サイズをもつ別の透視投影補正画像（Ｉ_Ｐ）を生成した上で切り出しを行う必要はない。

各平行化視点座標系（数２４）において、正規化スライス画像（数２９）を生成するときのスケールパラメータ（数３０）は、通常、各平行化視点座標系において、同じ値で定義され、最終的な正規化パノラマ画像における縦横のアスペクト比を考慮して設定する必要がある。スケールパラメータは、直接値を定義するだけでなく、後述するようにその他のパラメータから間接的に定義することもできる。

本実施の形態では、各平行化視点座標系（数２４）における正規化スライス画像（数２９）を、左から平行化視点のヨー角Φの系列の順に並べて得られた合成画像を、正規化パノラマ画像（Ｉ_Ｈ）とする。正規化パノラマ画像（Ｉ_Ｈ）の各要素は、下記の数３１で定義される。但し、数３１において、かっこ内は画像座標を示している。また、ｉ＝０，１，・・・Ｗ_０−１、ｊ＝０，１，・・・Ｈ_０−１である。

ここで、図８〜図１０を用いて、魚眼画像の一例とそれに対する画像生成処理について説明する。図８は、本発明の実施の形態において対象となる魚眼画像（Ｉ_Ｐ）の一例を模式的に示した図である。図８の例では、魚眼画像には、地面を対象平面として、下向きの視点で撮影された人物（Ｐｅｒｓｏｎ Ａ、Ｐｅｒｓｏｎ Ｂ、Ｐｅｒｓｏｎ Ｃ）が写っている。

図８に示す魚眼画像に対して正規化画像取得部１０による処理が実行される。これにより、図９に示すように、各平行化視点座標系（数２４）において、透視投影画像平面が定義される。図９は、本発明の実施の形態において定義される平行化視点座標系の一例を示す図である。また、透視投影画像平面における座標は、上記数２８によって表される。そして、この透視投影画像平面上に、正規化スライス画像（Ｉ_Ｓ）を含む任意の画像サイズの透視投影補正画像（Ｉ_Ｐ：数３２）が生成される。

図１０は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる正規化パノラマ画像とを示している。

具体的には、図１０の左図には、平行化視点（数３３）で生成される、透視投影補正画像（数３４）及び正規化スライス画像（数３５）が示されている。また、図１０の中央図には、平行化視点（数３６）で生成される、透視投影補正画像（数３７）、及び正規化スライス画像（数３８）が例示されている．

また、図１０の右図には、定義された平行視点列（数３９）における全ての正規化スライス画像によって生成された正規化パノラマ画像（Ｉ_Ｈ）の一例が示されている。図１０に示したように、正規化スライス画像（上記数３５）及び（上記数３８）を含むすべての正規化スライス画像を要素として、正規化パノラマ画像（Ｉ_Ｈ）が合成される。

スケールパラメータの間接的決定処理：
また、画像生成部１３は、視点毎の透視投影近似による歪み補正において、平行化視点座標系における投影平面の原点に対する距離を、生成される正規化パノラマ画像における、サイズ、水平方向における視野角の範囲、及びアスペクト比に基づいて決定する。

つまり、透視投影補正画像及び正規化スライス画像を生成する際の画像スケールは、上述したように各座標における投影面の距離｜ｚ_ｄ｜によって決まる。しかし、実用上はこれを直接指定するよりも、正規化パノラマ画像の視野範囲及び画像サイズなどの拘束条件を満たすように間接的に決定した方が便利な場合がある。

ここでは、画像のサイズ、水平方向における視野角の範囲、画像のアスペクト比を指定してスケールを求める方法を示す。ここで、正規化パノラマ画像のサイズ（幅、高さ）を、（Ｗ_０，Ｈ_０）とし、正規化パノラマ画像に投影する水平方向の視野角の大きさをＡ_Ｘ、垂直方向の視野角の大きさをＡ_ｙとする。また、正規化パノラマ画像における縦／横の（角度／ピクセル）比を下記の数４０とする。ただし、下記の数４０において、Ａ_ｙの上限値を１８０度とする（数４１）。

また、スケール｜ｚ_ｄ｜は、次のステップ（ａ）及び（ｂ）によって決定される。

ステップ（ａ）：
（Ｗ_０，Ｈ_０，Ａ_Ｘ，μ）を拘束条件として、下記の数４２及び数４３を用いて、（｜ｚ_ｄ｜，Ａ_ｙ）を決定する。

ステップ（ｂ）：
以下の数４４が成立するときに、下記の数４５〜数４７を用いた再計算により、（Ａ_Ｘ，Ａ_ｙ，｜ｚ_ｄ｜）を下記の数４８で置き換える。

ＬＵＴ処理による高速化：
本実施の形態では、視点補償ベクトル取得部１２は、視点補償ベクトルとして、対象物を接地面に平行な方向から撮影して得られる画像上の座標と、魚眼画像上の座標と、の対応付けを記述したテーブルを取得することができる。

具体的には、本実施の形態では、予め定められた固定の視点補償ベクトルが用いられる場合は、視点補償ベクトル生成部１４は、正規化パノラマ画像上の座標（ｕ_Ｈ，ｖ_Ｈ）から対応する元の魚眼画像上の座標（ｕ”，ｖ”）への対応付けを記述した参照テーブルを予め生成する。この場合、入力画像系列に対する実際の正規化パノラマ画像の生成処理は、参照テーブルを参照しながら、正規化パノラマ画像を生成する、テーブル参照（ＬＵＴ： Look-Up-Table）処理に置き換えられる。

例えば、オフラインで参照テーブルを生成し、オンラインの画像入力系列に対して、順次正規化パノラマ画像を生成する処理をＬＵＴ処理で実行することにより、魚眼画像から正規化パノラマ画像の生成を高速に処理することが出来る。この態様では、処理クロックの低いプロセッサ上への実装を必要とする用途に好適な画像処理システムを構築できる。

具体的な参照テーブルの生成方法としては、概略下記のような方法が考えられる。まず、元の魚眼画像のサイズ（Ｗ_ｉｎ，Ｈ_ｉｎ）の幅と高さを持つ、２チャンネルの行列（インデックスマップと呼ぶ）を用意する。そして、１つ目のチャンネルの行列であるＸインデックスマップ（Ｘ_ｉｎｄ）の各列には、対応する（ｕ”）の座標値を与え、２つめのチャンネルの行列であるＹインデックスマップ（Ｙ_ｉｎｄ）の各行には対応する（ｖ”）の座標値を与える。

すなわち、インデックスマップを、下記の数４９及び数５０で定義する。但し、数５１が条件となる。

そして、画像生成部１３が、（Ｘ_ｉｎｄ）及び（Ｙ_ｉｎｄ）それぞれを入力として、正規化パノラマ画像の生成を実行すると、視点補償ベクトル生成部１４は、それぞれの正規化パノラマ画像から、ＬＵＴマップ（Ｘ_ＬＵＴ）及び（Ｙ_ＬＵＴ）を生成する。ＬＵＴマップにおいては、（Ｘ_ＬＵＴ）及び（Ｙ_ＬＵＴ）の各座標（ｕ_Ｈ，ｖ_Ｈ）には、それぞれ対応する元の魚眼画像座標（ｕ”）及び（ｖ”）の値が格納されている。よって、（ｕ_Ｈ，ｖ_Ｈ）の各座標と魚眼画像上の座標（ｕ”，ｖ”）との一対一の対応関係が得られることになる。

また、このようにして作成されたＬＵＴマップは、例えば、１対１の対応関係（数５２）を一行ずつ列挙したテキストファイル形式等によって、参照テーブルファイルとして保存することができる。

ＬＵＴ処理では、画像生成部１３は、まず、予め生成された参照テーブルファイルを読み込む。そして、画像生成部１３は、参照テーブルに記述された正規化パノラマ画像上の座標（ｕ_Ｈ，ｖ_Ｈ）と、取得された元の魚眼画像における座標（ｕ”，ｖ”）とを対応付ける情報に従って、逐次、正規化パノラマ画像座標に対応する魚眼画像上の画素値を参照し、正規化パノラマ画像を生成する。

［装置動作］
次に、本実施の形態における物体検知装置１００の動作について図１１を用いて説明する。図１１は、本発明の実施の形態における物体検知装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図１０を参酌する。また、本実施の形態では、物体検知装置１００を動作させることによって、物体検知方法が実施される。よって、本実施の形態における物体検知方法の説明は、以下の物体検知装置１００の動作説明に代える。

図１１に示すように、まず、正規化画像取得部１０において、魚眼画像取得部１１が、画像出力装置２０から魚眼画像を取得する（ステップＳ１）。次に、視点補償ベクトル取得部１２は、視点補償ベクトルを取得する（ステップＳ２）。

次に、画像生成部１３は、ステップＳ１で取得された魚眼画像と、ステップＳ２で取得された視点補償ベクトルとを用いて、正規化画像を生成する（ステップＳ３）。

次に、位置検出部２０は、ステップＳ３で生成された正規化画像において、物体の位置座標を検出する（ステップＳ４）。

その後、判定部３０は、ステップＳ４で検出された、正規化画像における物体の位置座標を用いて、物体と車両（物体検知装置１００）との位置関係を判定する（ステップＳ５）。また、ステップＳ５の実行後、物体検知装置１００は、判定結果を車両の制御装置等に出力する。

ここで、図１２を用いて、上述のステップＳ５での処理を具体的に説明する。図１２は、図１１に示された判定処理をより具体的に示すフロー図である。

図１２に示すように、最初に、判定部３０は、ステップＳ４で検出された正規化画像上の物体の位置座標（ｕ_Ｈ，ｖ_Ｈ）を、ルックアップテーブルを用いて、実空間座標系での位置座標（θ，ｒ）に変換する（ステップＳ５１）。

次に、判定部３０は、過去の変換処理で得られている位置座標（θ，ｒ）に、ステップＳ５１で得られた最新の位置座標（θ，ｒ）を加えて、距離速度ｄｒ／ｄｔ及び角速度ｄθ／ｄｔを算出する（ステップＳ５２）。

次に、判定部３０は、ステップＳ５２の算出結果と、上記の数４〜数６それぞれに規定されている条件とを対比して、ステップＡ５２の算出結果がいずれの条件に該当するかどうかを判定することによって、物体と車両との関係を判定する（ステップＳ５３）。

上述したように、判定部３０は、ステップＳ５２の算出結果が数４に該当する場合は、物体が車両に廻り込むように移動していると判定し、ステップＳ５２の算出結果が数５に該当する場合は、物体は車両を横切っていると判定する。また、判定部３０は、ステップＳ５２の算出結果が数６に該当する場合は、物体は車両に接近していると判定する。

以上、ステップＳ１〜Ｓ５（Ｓ５１〜Ｓ５３）の実行により、魚眼画像から正規化画像が生成され、生成された正規化画像に基づいて、物体の状態が判定される。また、ステップＳ１〜Ｓ５は、車両の起動が停止するまで繰り返し実行され、車両の起動中は常に物体の状態が判定される。

［実施の形態における効果］
以上のように、本実施の形態では、魚眼カメラと接地平面との位置関係が補償され、その上で、魚眼画像中の歩行者の画像の形状歪が補正され、歩行者の画像は、通常のカメラ画像と同様に見えるように正規化される。また、正規化によって得られた画像は、全水平視野の範囲での平行化視点それぞれ毎に得られた透視投影補正画像の正規化スライス画像を連結して得られている。このため、本実施の形態によれば、歪み補正の精度が撮像装置の光学系から影響を受けることもない。また、魚眼カメラの光軸と対象物の接地平面との位置関係が一定条件を満たさない場合であっても、魚眼画像における歪みが精度良く除去される。

そして、この正規化画像上では、魚眼画像の全水平視野角においてカメラの光学中心から等距離の物体は、等倍の正規化された物体として、１枚の画像上に投影される。よって、本実施の形態では、実際の距離と対応した画像をユーザへ提示することも可能となる。

また、正規化画像上の水平方向と垂直方向は、水平面上に定義されたカメラの光学中心を中心とする極座標において、円周方向および半径方向に対応する。このため、本実施の形態では、このことを利用し、物体が車両の側面から移動方向（カメラの光軸方向）側へと廻り込むように移動した場合、物体が車両を横切った場合に、これらの移動を検知することが可能となる。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図１１に示すステップＳ１〜Ｓ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における物体検知装置１００と物体検知方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、正規化画像取得部１０、位置検出部２０、及び判定部３０として機能し、処理を行なう。また、コンピュータとしては、パーソナルコンピュータといった汎用のコンピュータだけでなく、自動車、家電、作業用機器等に搭載されるコンピュータも挙げられる。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、正規化画像取得部１０、位置検出部２０、及び判定部３０のいずれかとして機能しても良い。

［物理構成］
ここで、本実施の形態におけるプログラムを実行することによって、物体検知装置１００を実現するコンピュータについて図１３を用いて説明する。図１３は、本発明の実施の形態における物体検知装置を実現するコンピュータの一例を示すブロック図である。

図１３に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

また、本実施の形態における物体検知装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、物体検知装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

ここで、本明細書中に使われている主な記号を以下にまとめる。
集合のある要素に対するインデックス：ｉ，ｊ，・・・
カメラ座標系における回転角度（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）：α，β，γ
回転行列：Ｒ
並進ベクトル：ｔ
一般的な座標変換におけるカメラ外部パラメータ行列：Ｋ
任意のヨー角γに対する平行化変換行列：Ｋ^ｈｒｚ（γ）
元のカメラ座標系の点：ｍチルダ＝(ｘ，ｙ，ｚ，１)^Ｔ
元の魚眼画像：Ｉ_Ｐ
元の魚眼画像の座標：（ｕ”，ｖ”）
正規化パノラマ画像：Ｉ_Ｈ
正規化パノラマ画像の出力サイズ（幅、高さ）：(Ｗ_０，Ｈ_０)
平行化視点におけるヨー角の系列：Φ={φ_ｉ}
ある平行化視点φ_ｉに対する平行化視点座標系：（数５３）
ある平行化視点φ_ｉに対する透視投影画像平面座標：（数５４）
ある平行化視点φ_ｉに対する透視投影補正画像：（数５５）
ある平行化視点に対する正規化スライス画像：（数５６）
スケールパラメータ：（数５７）

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
魚眼画像から物体を検知するための装置であって、
物体が写った魚眼画像を正規化して得られた正規化画像を取得する、正規化画像取得部と、
前記正規化画像における前記物体の位置座標を検出する、位置検出部と、
前記正規化画像における前記物体の位置座標を用いて、前記物体と当該装置との位置関係を判定する、判定部と、
を備えていることを特徴とする物体検知装置。

（付記２）
前記正規化画像取得部が、
前記魚眼画像を取得する、魚眼画像取得部と、
前記物体の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、視点補償ベクトル取得部と、
前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの前記正規化画像を生成する、画像生成部と、
を備えている、
付記１に記載の物体検知装置。

（付記３）
当該物体検知装置が車両に搭載されており、
前記判定部は、前記正規化画像における前記物体の位置座標を、前記車両までの距離と撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、変換後の前記物体の位置座標の時系列変化に基づいて、前記物体と前記車両との位置関係を判定する、
付記１または２に記載の物体検知装置。

（付記４）
前記判定部は、変換後の前記物体の位置座標から、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率を求め、
求めた、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率に基づいて、前記物体が前記車両に廻り込むように移動している状態、前記物体が前記車両を横切った状態、及び前記物体が前記車両に接近している状態のいずれであるかを判定する、
付記３に記載の物体検知装置。

（付記５）
前記判定部が、予め作成された参照テーブルを用いて、前記正規化画像における前記物体の位置座標を、前記車両までの距離と前記撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、
前記参照テーブルは、前記正規化画像上の垂直方向及び水平方向の座標毎に、当該座標と、それに対応する前記距離及び前記傾斜角を関連付けて登録している、
付記３または４に記載の物体検知装置。

（付記６）
魚眼画像から物体を検知するための方法であって、
（ａ）物体が写った魚眼画像を正規化して得られた正規化画像を取得する、ステップと、
（ｂ）前記正規化画像における前記物体の位置座標を検出する、ステップと、
（ｃ）前記正規化画像における前記物体の位置座標を用いて、前記物体との位置関係を判定する、ステップと、
を備えていることを特徴とする物体検知方法。

（付記７）
前記（ａ）のステップが、
（ａ１）前記魚眼画像を取得する、ステップと、
（ａ２）前記物体の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、ステップと、
（ａ３）前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの前記正規化画像を生成する、ステップと、
を含む、
付記６に記載の物体検知方法。

（付記８）
当該物体検知方法が車両において実行され、
前記（ｃ）のステップにおいて、前記正規化画像における前記物体の位置座標を、前記車両までの距離と前記撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、変換後の前記物体の位置座標の時系列変化に基づいて、前記物体と前記車両との位置関係を判定する、
付記６または７に記載の物体検知方法。

（付記９）
前記（ｃ）のステップにおいて、変換後の前記物体の位置座標から、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率を求め、
求めた、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率に基づいて、前記物体が前記車両に廻り込むように移動している状態、前記物体が前記車両を横切った状態、及び前記物体が前記車両に接近している状態のいずれであるかを判定する、
付記８に記載の物体検知方法。

（付記１０）
前記（ｃ）のステップにおいて、予め作成された参照テーブルを用いて、前記正規化画像における前記物体の位置座標を、前記車両までの距離と前記撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、
前記参照テーブルは、前記正規化画像上の垂直方向及び水平方向の座標毎に、当該座標と、それに対応する前記距離及び前記傾斜角を関連付けて登録している、
付記８または９に記載の物体検知方法。

（付記１１）
コンピュータによって、魚眼画像から物体を検知するためのプログラムであって、
前記コンピュータに、
（ａ）物体が写った魚眼画像を正規化して得られた正規化画像を取得する、ステップと、
（ｂ）前記正規化画像における前記物体の位置座標を検出する、ステップと、
（ｃ）前記正規化画像における前記物体の位置座標を用いて、前記物体との位置関係を判定する、ステップと、
を実行させる、プログラム。

（付記１２）
前記（ａ）のステップが、
（ａ１）前記魚眼画像を取得する、ステップと、
（ａ２）前記物体の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、ステップと、
（ａ３）前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの前記正規化画像を生成する、ステップと、
を含む、
付記１１に記載のプログラム。

（付記１３）
前記コンピュータが車両に搭載されており、
前記（ｃ）のステップにおいて、前記正規化画像における前記物体の位置座標を、前記車両までの距離と前記撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、変換後の前記物体の位置座標の時系列変化に基づいて、前記物体と前記車両との位置関係を判定する、
付記１１または１２に記載のプログラム。

（付記１４）
前記（ｃ）のステップにおいて、変換後の前記物体の位置座標から、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率を求め、
求めた、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率に基づいて、前記物体が前記車両に廻り込むように移動している状態、前記物体が前記車両を横切った状態、及び前記物体が前記車両に接近している状態のいずれであるかを判定する、
付記１３に記載のプログラム。

（付記１５）
前記（ｃ）のステップにおいて、予め作成された参照テーブルを用いて、前記正規化画像における前記物体の位置座標を、前記車両までの距離と前記撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、
前記参照テーブルは、前記正規化画像上の垂直方向及び水平方向の座標毎に、当該座標と、それに対応する前記距離及び前記傾斜角を関連付けて登録している、
付記１３または１４に記載のプログラム。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

以上のように本発明によれば、魚眼光学系が用いられる場合において、物体の検知精度の向上を図ることができる。本発明は、魚眼カメラを用いて物体の検知が行なわれる分野、例えば、車載用物体検知システムに有用である。

１０ 正規化画像取得部
１１ 魚眼画像取得部
１２ 視点補償ベクトル取得部
１３ 画像生成部
１４ 視点補償ベクトル生成部
２０ 位置検出部
３０ 判定部
１００ 物体検知装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２００ 画像出力装置
３００ センサ装置

Claims (5)

1. 車両に搭載された、魚眼画像から物体を検知するための装置であって、
   物体が写った魚眼画像を正規化して得られた正規化画像を取得する、正規化画像取得部と、
   前記正規化画像における前記物体の位置座標を検出する、位置検出部と、
   前記正規化画像における前記物体の位置座標を、前記車両までの距離と撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、
   変換後の前記物体の位置座標から、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率を求め、
   求めた、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率に基づいて、前記物体が前記車両に廻り込むように移動している状態、前記物体が前記車両を横切った状態、及び前記物体が前記車両に接近している状態のいずれであるかを判定する、判定部と、
   を備えていることを特徴とする物体検知装置。
2. 前記正規化画像取得部が、
   前記魚眼画像を取得する、魚眼画像取得部と、
   前記物体の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、視点補償ベクトル取得部と、
   前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
   設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
   補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの前記正規化画像を生成する、画像生成部と、
   を備えている、
   請求項１に記載の物体検知装置。
3. 前記判定部が、予め作成された参照テーブルを用いて、前記正規化画像における前記物体の位置座標を、前記車両までの距離と前記撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、
   前記参照テーブルは、前記正規化画像上の垂直方向及び水平方向の座標毎に、当該座標と、それに対応する前記距離及び前記傾斜角を関連付けて登録している、
   請求項１または２に記載の物体検知装置。
4. 車両に搭載されたコンピュータによって、魚眼画像から物体を検知するための方法であって、
   前記コンピュータが、
   （ａ）物体が写った魚眼画像を正規化して得られた正規化画像を取得する、ステップと、
   （ｂ）前記正規化画像における前記物体の位置座標を検出する、ステップと、
   （ｃ）前記正規化画像における前記物体の位置座標を、前記車両までの距離と撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、
   変換後の前記物体の位置座標から、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率を求め、
   求めた、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率に基づいて、前記物体が前記車両に廻り込むように移動している状態、前記物体が前記車両を横切った状態、及び前記物体が前記車両に接近している状態のいずれであるかを判定する、ステップと、
   を実行する、物体検知方法。
5. 車両に搭載されたコンピュータによって、魚眼画像から物体を検知するためのプログラムであって、
   前記コンピュータに、
   （ａ）物体が写った魚眼画像を正規化して得られた正規化画像を取得する、ステップと、
   （ｂ）前記正規化画像における前記物体の位置座標を検出する、ステップと、
   （ｃ） 前記正規化画像における前記物体の位置座標を、前記車両までの距離と撮像装置の光軸に対する傾斜角とで位置座標を規定する座標系に変換し、
   変換後の前記物体の位置座標から、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率を求め、
   求めた、前記物体の前記車両までの距離の変化率及び前記物体の前記傾斜角の変化率に基づいて、前記物体が前記車両に廻り込むように移動している状態、前記物体が前記車両を横切った状態、及び前記物体が前記車両に接近している状態のいずれであるかを判定する、ステップと、
   を実行させる、プログラム。

Images