JP2011076214A - 障害物検出装置 - Google Patents

Abstract

【課題】障害物と判定できる対象の多様性を確保しつつ、路面等の対象の変化に対して誤判定を生じにくくする。
【解決手段】障害物検出装置は、カメラで撮影した路面Ｒの入力画像（カラー静止画像）をフレームＦに則して複数の領域に分割し、これら分割領域毎に入力ファクターとして平均輝度や平均彩度を抽出する。そして、入力ファクターに基づいて基準空間における距離を演算し、この距離が閾値を超える場合に障害物があると判定する。
【選択図】図７

Description

本発明は、カメラにより撮影した画像を用いて対象範囲内の障害物について判定を行う障害物検出装置に関する。

この種の障害物検出装置に関して従来、ステレオ式ではなく単一のカメラで静止障害物を検出しようとする先行技術が知られている（例えば、特許文献１参照。）。この先行技術は、例えば車両が後進（バック）しようとする方向を車載のカメラで撮影した場合、一般的に道路（路面）の部分は色彩を有しないグレースケール画像であるが、その他の部分は色情報を有した有彩色画像となるため、画像中の色情報に基づいて路面部分とそれ以外の部分とを区別することができる点に着目したものである。このため先行技術によれば、たとえ単一のカメラで撮影した静止画像であっても、そこから静止障害物の存在を検出することができると考えられる。

特開２００９−１２６４９３号公報

しかしながら上記の先行技術は、画像中の色情報だけに依存して障害物の検出（有無の判定）を行っているため、例えば画像に映った対象が赤色等の服装をした人物であれば、これを障害物として認識するものの、全身を黒色や白色等の無彩色の服装で統一した人物については、これを障害物として認識することができない。

すなわち先行技術の手法は、画像中の色情報という１つのファクターだけに依存して障害物の判定を行っているため、そのファクターが路面部分と大きく異なる対象であれば、これを容易に障害物として判定することができる。しかしその反面、色情報という唯一のファクターが路面部分とほとんど異ならない対象については、たとえその他のファクターが大きく異なっていたとしても、これを障害物と判定することができない。このように先行技術の手法には、障害物として認識できる対象のバリエーションに乏しく、障害物の認識性能が未だ十分でないという問題がある。

この点、静止画像中の複数のファクター（例えば、色情報と明度情報等）を観測して障害物の判定を行うという手法も考えられるものの、この場合は撮影時の路面状態の変化（例えば日照や照明等の明るさの変化）に対して判定結果が過敏になりやすく、障害物でない対象をも誤って障害物と判定するおそれがある。

そこで本発明は、障害物と判定できる対象の多様性を確保しつつ、路面等の対象の変化に対して誤判定を生じにくくする技術の提供を課題とする。

上記の課題を解決するため、本発明の以下の解決手段を採用する。
本発明の障害物検出装置は、所定の対象範囲を撮影するカメラと、このカメラにより撮影して得られた入力画像を用いて対象範囲内の障害物の有無を判定する制御手段とを備える。本発明において制御手段は、特に以下の手法により障害物の判定を行っている。なお、下記の（１）〜（３）の処理は、本発明の十分な開示のため便宜的に付したインデックスに過ぎず、ここで本発明の判定（検出）手法をこれらの手順ないしステップだけに限定する意図ではない。

（１）複数種類の入力ファクター抽出
制御手段は、カメラにより撮影された入力画像を分割した複数の分割領域毎に複数種類の入力ファクターを抽出（算出）する。ここで抽出する「入力ファクター」は、例えばカメラで撮影された入力画像を用いたデータ演算処理によって導き出すことができる。また、入力画像を複数の領域に分割することで、対象範囲についてより高精度な障害物の判定が可能となる。

（２）分割領域毎の距離演算
次に制御手段は、抽出した複数種類の入力ファクターに基づき入力画像の分割領域毎に距離を演算する。ここで演算する「距離」は、障害物の判定に関して予め記憶した複数種類の基準ファクターにより形成される基準空間において、個々の分割領域毎にそれぞれの位置を当てはめた場合に得られる統計上の指標や尺度等となる値である。

上記の「基準空間」を形成する複数種類の基準ファクターは、入力画像とは別に用意された複数の基準画像をそれぞれ複数の領域に分割した分割領域毎に抽出して得られる。制御手段は「距離」の演算に際して上記の「基準空間」を形成するため、予めこれら複数種類の基準ファクターを記憶しておくことができる。

また「基準画像」は、例えばカメラにより撮影される対象範囲について標準的な対象物（例えば、障害物が存在しない状態の一般的な路面等）を事前に撮影して得ることができる。このとき複数の「基準画像」を用いることから、例えば対象が路面（地面も含む）の場合であっても、その様々な変化（路面状況や環境、明るさ等の違い）を予め想定して複数種類の基準ファクターを抽出しておくことができる。このような「基準画像」の分割領域毎に複数種類の基準ファクターを抽出することで、そこから標準的な対象（基準画像）についての基準空間における統計上の距離の分布を既知としておくことができる。したがって、基準空間において新たに複数種類の入力ファクターに基づいて演算した「距離」は、入力画像について個々の分割領域が基準空間においてどのような位置に存在するかを判断するための尺度となる。

（３）障害物判定
制御手段は、演算した距離に基づき入力画像の分割領域毎に対象範囲内の障害物の有無を判定する。上記のように演算した「距離」は、今回の入力画像の各分割領域が基準空間においてどのような位置に存在するかを示すものである。このため例えば、演算した「距離」が予め設定しておいた閾値を超える場合は「障害物あり」と判定し、それ以外なら「障害物なし」と判定することができる。

つまり、「距離」が閾値を超える分割領域がある場合、その分割領域の「距離」は「基準画像」についての既知の分布からある程度かけ離れていると考えられるため、その入力画像中（分割領域内）に何らかの障害物が映り込んでいる（障害物あり）と判断することができる。一方、いずれの分割領域も「距離」が閾値を超えない場合、それは「基準画像」についての既知の分布に近いと考えられるため、その入力画像中（分割領域内）には障害物が映っていない（障害物なし）と判断することができる。

このように本発明の障害物検出装置によれば、障害物の判定に用いる「距離」の演算を複数種類の入力ファクターを用いて行うため、より多様な対象についても障害物の判定が可能となり、それだけ認識できる障害物のバリエーションを増やすことができる。また、予め複数種類の基準画像を用いて抽出した基準ファクターを記憶していることから、カメラで撮影する対象範囲の様々な変化に対して過剰に反応することなく、障害物の有無を正確に判断することができる。

より好ましくは、制御手段はマハラノビスの距離を用いて障害物の判定を行うものとする。すなわち制御手段は、上記（２）で複数種類の基準ファクターにより形成されるマハラノビス空間を基準空間として、このマハラノビス空間における入力画像の分割領域毎のマハラノビス距離を基準空間における距離として演算する。そして上記（３）では、演算したマハラノビス距離に基づき入力画像の分割領域毎に対象範囲内の障害物の有無を判定する。

この場合、基準画像について分割領域毎に求めたマハラノビス距離の分布を既知としておき、そこに入力画像から求めた分割領域毎のマハラノビス距離を演算して当てはめることで、容易に障害物の有無を判断することができる。すなわち、ある分割領域について演算したマハラノビス距離が大きいほど、その分割領域がマハラノビス空間において基準画像についての分布からかけ離れていることを意味する。このため、例えば予め障害物が存在しないと判断できるマハラノビス距離についての閾値を設定しておき、この閾値を超える場合は障害物があると判定し、それ以外は障害物がないと判定することができる。

より実用的には、制御手段は障害物の判定を行うに際し、入力画像から路面種類についての判別を行うものとする。すなわち制御手段は、カメラにより撮影される対象範囲に含まれる複数の路面種類のそれぞれについて、上記（２）で入力画像とは別に用意された複数の基準画像をそれぞれ複数の領域に分割し、これら分割領域毎に抽出して得られた複数種類の基準ファクターを予め複数の路面種類毎に記憶しておく。また制御手段は、複数の路面種類毎に基準空間における入力画像の分割領域毎の距離を複数種類の入力ファクターに基づき演算し、この演算した距離に基づいて対象範囲に含まれる路面種類を設定する。そして上記（３）で制御手段は、設定した路面種類について演算した距離に基づき分割領域毎に対象範囲内の障害物の有無を判定するものとする。

このような態様であれば、カメラで撮影する対象範囲が未知の路面種類を含むものであっても、その都度、複数の路面種類毎に演算した距離（マハラノビス距離でもよい）に基づきいずれかの路面種類を設定することができる。すなわち制御手段は、予め複数の路面種類（例えば路面種類ａ〜ｄとする）毎に複数種類の基準ファクターを記憶しておくことで、予め用意された複数の路面種類ａ〜ｄ毎の基準画像についての距離の分布をいずれも既知とすることができる。そして、今回の入力画像から抽出した複数種類の入力ファクターに基づき複数の路面種類ａ〜ｄ毎に距離（例えば距離Ｄａ〜Ｄｄとする）をそれぞれ演算していくと、その中から最も距離が近くなるいずれかの路面種類（例えば路面種類ｂ）を今回の対象範囲に含まれている路面種類として設定（推定）することができる。

その上で制御手段は、設定した路面種類について演算した距離が例えば閾値を超える場合、その分割領域に障害物が存在すると判定し、それ以外については障害物が存在しないと判定することができる。

以上のように本発明の障害物検出装置は、障害物として認識できる対象のバリエーションを多く確保することができ、より精度の高い判定を可能とする。

また、カメラで撮影する対象範囲が未知の路面種類を含む場合であっても、入力画像を用いて路面種類を設定し、その上で障害物の有無を高精度に判定することができる。このため、例えば車両（自動車、トラック・バス、二輪車等）のように、多種多様な路面（地面を含む）上を移動していく移動手段に搭載されたカメラを用いて路面上の障害物を検出する用途に好適である。

障害物検出装置を車両に搭載した場合の実施形態を示す概要図である。 障害物検出装置の構成を概略的に示した機能ブロック図である。 後方カメラで撮影された入力画像を複数の領域に分割する処理を示す概要図である。 複数枚の基準画像をそれぞれ複数領域に分割する事前処理を示した概念図である。 分割領域毎に演算されたマハラノビス距離を用いた障害物判定の手法を示す概念図である。 マハラノビス空間を用いた解析例を図解して示す概念図である。 後方カメラで撮影された別の入力画像を複数の領域に分割する処理を示す概要図である。 障害物が存在する入力画像について分割領域毎に演算されたマハラノビス距離を用いた障害物判定の手法を示す概念図である。 障害物が存在する場合のマハラノビス空間を用いた解析例を図解して示した概念図である。 砂利道を撮影した場合の入力画像の分割領域とその内部解析値を示す概要図である。 路面種類が未知である入力画像から路面種類を設定する手法を図解した概要図である。 路面上に障害物がある砂利道を撮影した場合の入力画像の分割領域とその内部解析値を示す概要図である。 障害物検出処理の手順例を示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。
図１は、障害物検出装置を車両１０に搭載した場合の実施形態を示す概要図である。車両１０は、ここでは普通自動車（乗用車）を例に挙げているが、トラックやバスに障害物検出装置を搭載することもできる。以下、車両１０に搭載された障害物検出装置の構成について説明する。

〔カメラ〕
障害物検出装置は、車両１０の後部に搭載された後方カメラ１２を備えている。この後方カメラ１２は撮像素子（ＣＣＤ、ＣＭＯＳ等）を有しており、例えば広角レンズを用いて車両１０の後方を広範囲にわたって撮影することができる。後方カメラ１２で撮影される対象範囲には、現在停車（駐車）している車両１０の後方の路面Ｒが含まれる他、路上の空間や後方の遠景、場合によっては上空までをも含めることができる。ただし、後方カメラ１２の撮影範囲（画角）をどの程度に設定するかは任意であり、少なくとも後方数メートル先までの路面Ｒやその上部の空間が撮影範囲に含まれていればよい。また車幅方向（水平方向）については、少なくとも車両１０の全幅をカバーできる撮影範囲が確保されているものとする。

〔制御ユニット〕
また障害物検出装置は、上記の後方カメラ１２とともに制御ユニット１４を備えている。この制御ユニット１４は、例えばマイクロコンピュータとしてのハードウェアリソースを有するものであり、本実施形態では車載の電子コントロールユニット（ＥＣＵ）をそのまま制御ユニット１４として利用することができる。制御ユニット１４は、上記の後方カメラ１２で撮影された画像（デジタルデータ化された画像）を入力画像として処理する。なお、公知のように車載のＥＣＵには、プロセッサやメモリデバイス、周辺ＩＣといった各種のコンピュータハードウェアが内蔵されているため、これらリソースを障害物検出装置の制御ユニット１４として好適に活用することができる。

〔表示器〕
本実施形態のように障害物検出装置を車両１０に適用する場合、車載の液晶ディスプレイ１６を障害物検出装置の一部として活用することができる。この液晶ディスプレイ１６には、上記の後方カメラ１２で撮影された入力画像が表示される他、車載のＥＣＵに予め組み込まれている各種のサービス機能（例えばカーナビゲーション機能、ＡＶ管理機能、空調管理機能等）に関する操作メニュー等が表示されるものとなっている。

〔シフト位置検出器〕
また障害物検出装置は、例えばシフト位置センサ１８をその構成の一部として活用することもできる。シフト位置センサ１８は、運転者によるシフトセレクタレバー２０の操作状態に応じてそのときのシフト位置（「Ｐ」，「Ｒ」，「Ｎ」，「Ｄ」，「２」，「Ｌ」等）を表す信号（シフト位置信号）を出力する。本実施形態では主に、車両１０の後方に位置する静止した障害物の検出を想定している。このため、運転者によりシフト位置が「Ｒ（後退）」に操作されたことをシフト位置信号に基づいて判断した場合、制御ユニット１４は後方カメラ１２による撮影機能や障害物検出機能をアクティブにすることができる。なおシフト位置センサ１８には、車両１０の電装部品をそのまま活用することができる。

〔障害物警報機〕
さらに障害物検出装置は、例えば車載のスピーカ２２をその構成の一部として活用することができる。本実施形態では、障害物検出装置により車両１０の後方に位置する障害物を検出した場合、車室内の後部に設置されているスピーカ２２から警報音を出力することができる。なおスピーカ２２についても、車両１０の電装部品をそのまま活用することができる。

図２は、障害物検出装置の構成を概略的に示した機能ブロック図である。特に図２においては、制御ユニット１４の内部構成がより具体的に示されている。

制御ユニット１４は画像入力部２４及び入力部２６を有している。これら入力部２４，２６には、例えばＥＣＵに実装されている周辺ＩＣ（例えば入力ドライバ、画像メモリ等）の機能を割り当てることができる。このうち画像入力部２４は、後方カメラ１２から送信される画像信号（例えばシリアル信号）を入力画像のデータ（例えば８ビットＲＧＢカラー）に変換し、これを画像メモリに展開して記憶する。また入力部２６は、シフト位置センサ１８からシフト位置信号を入力し、これをシフト位置情報として記憶する。

また制御ユニット１４は処理部３０を有している。この処理部３０には、例えばＥＣＵに実装されているプロセッサ（例えばＣＰＵ）の機能を割り当てることができる。処理部３０は、画像入力部２４に記憶されている入力画像のデータを参照し、障害物の検出に必要な演算処理を実行する。また処理部３０は、入力部２６に記憶されているシフト位置情報を参照し、運転者によるシフトセレクタレバー２０の操作状態（現在のシフト位置）を認識する。

制御ユニット１４はさらに記憶部３２を有している。この記憶部３２には、例えばＥＣＵに実装されているＲＷＭ（ＲＡＭ）やＲＯＭ等のメモリデバイスの機能を割り当てることができる。記憶部３２には、例えば処理部３０による演算処理に用いられる各種のデータがその記憶領域内に記憶されており、処理部３０はその記憶領域にアクセスして必要なデータを読み出すことができる。なお、演算処理に用いられる各種のデータについてはさらに後述する。

また制御ユニット１４はＬＣＤコントローラ３４を有している。このＬＣＤコントローラ３４は、例えば処理部３０からの表示信号に基づいて上記の液晶ディスプレイ１６による表示動作を管理する他、液晶ディスプレイ１６の表示領域に対応したＶＲＡＭ（フレームバッファ）を有する。液晶ディスプレイ１６には、ＬＣＤコントローラ３４から出力される表示制御信号に基づき各種の画像（例えば後方カメラ１２で撮影された画像）が表示される。本実施形態においてＬＣＤコントローラ３４には、ＥＣＵに実装されている電装部品をそのまま利用することができる。

この他に制御ユニット１４は、音響出力部３６を有している。この音響出力部３６は、例えば処理部３０からの音響出力信号に基づいて上記のスピーカ２２に駆動信号を出力する。この駆動信号に基づき、スピーカ２２から例えば上記の警報音（アラーム音）が発せられたり、カーナビゲーション用の音声や効果音、ＡＶ再生時の音声や音楽等が発せられたりする。

〔障害物検出手法〕
次に、障害物検出装置による障害物の検出手法について説明する。図３は、後方カメラ１２で撮影された画像を入力画像とし、これを複数の領域に分割するまでの処理を示す概要図である。

〔入力画像〕
図３中（Ａ）：例えば、車両１０の運転者がシフトセレクタレバー２０を「Ｒ（後退）」に操作すると、制御ユニット１４が後方カメラ１２の撮影機能を起動することで、後方カメラ１２により車両１０の後方が撮影される。このとき撮影される画像には、車両１０がこれから後進（バック）しようとする方向の路面Ｒが含まれる他、その周辺環境の様子が含まれている。いずれにしても制御ユニット１４は、後方カメラ１２で撮影された画像を入力画像として処理する。

なお、ここでは路面Ｒとして例えば駐車場内の舗装路面を想定している。このため入力画像中には、その大部分にアスファルトの表面が黒っぽい（チャコールグレー）画像として映っている。また入力画像中の右上には、例えば路肩用のコンクリートブロックが白っぽい画像として映っている。

〔分割領域〕
図３中（Ｂ）：制御ユニット１４の処理部３０は、入力画像を複数の領域（例えば１６個）に分割する処理を行う。このとき分割される範囲は、入力画像の中で車両１０の数メートル後方までの路面Ｒが映っている部分に設定されている。このため図３中（Ｂ）には、画像処理上で分割される範囲が台形状のフレームＦで示されるとともに、その内側に１６個の分割領域が区画して示されている。この例では、後方カメラ１２と路面Ｒとの位置関係やその画角との関係から、入力画像中で車両１０が後進する際の進路に該当する範囲に合わせてフレームＦが台形状に設定されているが、フレームＦは例えば入力画像全体の外形に沿った矩形状であってもよい。

〔事前処理〕
一方で障害物検出装置は、予め上記の入力画像とは別に用意された複数の基準画像に基づく事前処理を行っている。具体的には、（１）複数の基準画像の取り込み、（２）各基準画像の分割、そして（３）基準ファクターの抽出である。以下、事前処理について具体的に説明する。

（１）複数の基準画像の取り込み
特に図示していないが、基準画像には例えば同種の舗装路（アスファルトの表面が多く露出している路面）を複数の場所や様々な環境下（明るさや天候、時間帯等が異なる条件下）で、かつ、障害物が存在しない状態で撮影したものを用いることができる。ここでは例として、ｍ枚の画像（例えば１０枚）を後方カメラ１２で撮影したものを基準画像Ｓ１〜Ｓｍとして制御ユニット１４に取り込むものとする。なお、基準画像の取り込みを含む以下の事前処理は、制御ユニット１４とは別のコンピュータ機器を用いて行ってもよい。

（２）各基準画像の分割
図４は、ｍ枚の基準画像Ｓ１〜Ｓｍについて、それぞれをフレームＦ内でｎ個の領域に分割する事前処理を示した概念図である。この事前処理では、取り込んだ基準画像Ｓｉ（ｉ＝１〜ｍ）のそれぞれを、さらにｎ個（この例では１６個）の領域Ｓｉ１〜Ｓｉｎに分割する。分割領域の序列は、例えばフレームＦ内の左上隅をスタート地点として行方向に進み、各行の右端位置で折り返して下段に進むものとする。したがって、例えば１枚目の基準画像Ｓ１であれば、フレームＦ内の左上隅に分割領域Ｓ１１を有し、右下隅に分割領域Ｓ１１６を有する。つまり任意の基準画像Ｓｉであれば、フレームＦ内に任意の分割領域Ｓｉｊを有することになり、ｍ枚目の基準画像Ｓｍであれば、フレームＦ内の右下隅に分割領域Ｓｍｎを有することになる。

各分割領域Ｓｉｊには、Ｔ個の画素（例えば平均して１００個程度）が含まれるものとする。なお本実施形態では、台形状のフレームＦに則して分割領域Ｓｉ１〜Ｓｉｎを区画しているため、上段から下段に向かうほど分割領域内の画素数が多くなるが、例えば上記のようにフレームＦを矩形状として、全ての分割領域Ｓｉ１〜Ｓｉ１６の画素数を共通に設定することもできる。

（３）基準ファクターの抽出
各基準画像Ｓｉについて、それぞれ分割領域Ｓｉｊ内に含まれるＴ個の画素から複数種類の基準ファクターｘｉｊ，ｙｉｊ（２種類の場合）を計算により抽出する。このうち一方の基準ファクターｘｉｊは例えば分割領域Ｓｉｊ内の画素の平均輝度を示すファクターであり、もう一方の基準ファクターｙｉｊは例えば分割領域Ｓｉｊ内の画素の平均彩度を示すファクターである。ここで抽出される複数種類の基準ファクターｘｉｊ，ｙｉｊの組の数は、全ｍ枚の基準画像についてｍ×ｎ個（この例では全部で１６０組）となる。

〔平均輝度：ｘｉｊ〕
先ず、分割領域Ｓｉｊ内の画素の平均輝度ｘｉｊは、例えば以下の式（１）から計算することができる。
ｘｉｊ＝Σ（０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ）／Ｔ ・・・（１）
上式（１）において、
Ｒ：各画素のＲ成分の値
Ｇ：各画素のＧ成分の値
Ｂ：各画素のＢ成分の値
Ｔ：分割領域内の全画素数
である。

〔平均彩度：ｙｉｊ〕
次に分割領域Ｓｉｊ内の画素の平均彩度ｙｉｊは、例えば以下の式（２）から計算することができる。
ｙｉｊ＝Σ√［｛(Ｒ−Ｙ)／１．１４｝^２＋｛(Ｂ−Ｙ)／２．０３｝^２］／Ｔ ・・・（２）
上式（２）において、
Ｙ：分割領域Ｓｉｊの平均輝度
Ｒ：各画素のＲ成分の値
Ｂ：各画素のＢ成分の値
Ｔ：分割領域内の全画素数
である。

以上の計算結果をｍ×ｎ個の基準ファクターの組（ｘ１１，ｙ１１），（ｘ１２，ｙ１２），・・・，（ｘｍｎ，ｙｍｎ）とし、さらにこれら基準ファクターから、全ての平均輝度の平均ｘ＿ａｖｅ、平均彩度の平均ｙ＿ａｖｅ、平均輝度の分散ｘ＿ｓｉｇｍａ、平均彩度の分散ｙ＿ｓｉｇｍａ及び平均輝度と平均彩度の共分散ｘｙ＿ｓｉｇｍａをそれぞれ計算する。

〔平均輝度の平均：ｘ＿ａｖｅ〕
先ず平均輝度の平均ｘ＿ａｖｅは、例えば以下の式（３）から計算することができる。
ｘ＿ａｖｅ＝Σｘ／ｎ ・・・（３）
上式（３）において、
ｘ：平均輝度ｘｉｊ（ｉ＝１〜ｍ，ｊ＝１〜ｎ）
ｍ：基準画像枚数（＝１０）
ｎ：分割領域数（＝１６）
である。
〔平均彩度の平均：ｙ＿ａｖｅ〕
また平均彩度の平均ｙ＿ａｖｅは、例えば以下の式（４）から計算することができる。
ｙ＿ａｖｅ＝Σｙ／ｎ ・・・（４）
上式（４）において、
ｙ：平均彩度ｙｉｊ（ｉ＝１〜ｍ，ｊ＝１〜ｎ）
ｍ：基準画像枚数（＝１０）
ｎ：分割領域数（＝１６）
である。

〔平均輝度の分散：ｘ＿ｓｉｇｍａ〕
次に平均輝度の分散ｘ＿ｓｉｇｍａは、例えば以下の式（５）から計算することができる。
ｘ＿ｓｉｇｍａ＝Σ（ｘ−ｘ＿ａｖｅ）^２／ｎ ・・・（５）
上式（５）において、
ｘ：平均輝度ｘｉｊ（ｉ＝１〜ｍ，ｊ＝１〜ｎ）
ｎ：分割領域数（＝１６）
である。

〔平均彩度の分散：ｙ＿ｓｉｇｍａ〕
また平均彩度の分散ｙ＿ｓｉｇｍａは、例えば以下の式（６）から計算することができる。
ｙ＿ｓｉｇｍａ＝Σ（ｙ−ｙ＿ａｖｅ）^２／ｎ ・・・（６）
上式（６）において、
ｙ：平均輝度ｙｉｊ（ｉ＝１〜ｍ，ｊ＝１〜ｎ）
ｎ：分割領域数（＝１６）
である。

そして平均輝度と平均彩度の共分散ｘｙ＿ｓｉｇｍａは、例えば以下の式（７）から計算することができる。
ｘｙ＿ｓｉｇｍａ＝Σ（ｘ−ｘ＿ａｖｅ）・（ｙ−ｙ＿ａｖｅ）／ｎ ・・・（７）

事前処理において以上の各計算結果ｘ＿ａｖｅ，ｙ＿ａｖｅ，ｘ＿ｓｉｇｍａ，ｙ＿ｓｉｇｍａ，ｘｙ＿ｓｉｇｍａ，は、いずれも制御ユニット１４の記憶部３２に予め記憶されているものとする。

〔静止障害物の検出手法〕
次に、実際の入力画像（例えば図３）を用いて静止した障害物を検出する手法について説明する。制御ユニット１４の処理部３０は、例えば以下の処理を通じて障害物の検出を行うことができる。

〔１〕入力画像の取り込み
処理部３０は、上記のように後方カメラ１２で撮影された入力画像を取り込む。ここでは入力画像として、図３中（Ａ）に示されている舗装路面の画像を取り込むものとする。

〔２〕入力画像の分割
また処理部３０は、入力画像を複数の領域に分割する処理を行う。ここでは図３中（Ｂ）に示されるフレームＦに則して入力画像の一部をｎ（＝１６）個の領域に分割するものとする。

〔３〕入力ファクターの抽出
次に処理部３０は、入力画像についての分割領域ａｊ（ｊ＝１〜ｎ）内に含まれるＴ個の画素（画素数は分割領域ａｊにより異なる）から、複数種類の入力ファクターｘｊ，ｙｊを計算により抽出する。このうち一方の入力ファクターｘｊは、入力画像について分割領域ａｊ内の画素の平均輝度を示すファクターであり、もう一方の基準ファクターｙｊは例えば分割領域ａｊ内の画素の平均彩度を示すファクターである。なお入力ファクターｘｊの計算には上式（１）の右辺、入力ファクターｙｊの計算には上式（２）の右辺をそれぞれ適用することができる。ここで抽出される複数種類の入力ファクターｘｊ，ｙｊの組の数は、今回の入力画像についてｎ個（この例では全部で１６組）となる。

〔４〕マハラノビス距離の演算
次に処理部３０は、抽出した入力ファクターｘｊ，ｙｊの組に基づき分割領域ａｊ毎のマハラノビス距離Ｄｊを演算する。分割領域ａｊ毎のマハラノビス距離Ｄｊは、予め記憶されている基準ファクターｘｉｊ，ｙｉｊの組により形成されるマハラノビス空間において、各分割領域ａｊがどのような位置付けとなるかを示す尺度ないし指標となるものである。マハラノビス距離Ｄｊは、例えば以下の計算式（８）により演算することができる。

〔５〕分割領域毎の障害物判定
図５は、分割領域ａｊ毎に演算されたマハラノビス距離Ｄｊを用いた障害物判定の手法を示す概念図である。

〔内部解析画像〕
図５中（Ａ）：ここには、分割領域ａｊ（ａ１〜ａ１６）毎に演算されたマハラノビス距離Ｄｊの内部解析画像の例を示している。各分割領域ａｊ内に示されている縦長のバー（棒図形）の長さは、分割領域ａｊ毎のマハラノビス距離Ｄｊに相当する。このように処理部３０による障害物判定の過程では、例えばその内部メモリ空間上で各分割領域ａｊのマハラノビス距離Ｄｊを仮想的にプロットし、１つの入力画像を分割領域ａｊ毎に解析することができる。

〔閾値との比較〕
図５中（Ｂ）：ここには、分割領域ａｊ毎に演算したマハラノビス距離Ｄｊの結果を一覧にして示している。また縦軸上には、障害物の判定に用いられる閾値Ｂを合わせて示している。処理部３０による障害物の判定は、例えば各分割領域ａｊのマハラノビス距離Ｄｊが閾値Ｂを超えるか否かによって行うことができる。この例では、いずれの分割領域ａｊについてもマハラノビス距離Ｄｊが閾値Ｂを超えていないため、今回の入力画像からは障害物が検出されなかった（障害物がない）と判定することができる。なお閾値Ｂは、障害物が存在しない状態で撮影された多くのサンプル画像に基づき統計的に設定することができる。

〔マハラノビス空間解析〕
図６は、マハラノビス空間を用いた解析例を図解して示す概念図である。上記のように、予め基準ファクターｘｉｊ，ｙｉｊとして平均輝度及び平均彩度を記憶部３２に記憶しておくことにより、処理部３０による内部解析上で仮想的にマハラノビス空間（この例では二次元空間）を形成することができる。

このようなマハラノビス空間において、今回の入力画像について各分割領域ａｊ毎に演算したマハラノビス距離Ｄｊをドット（図６中の「●」）で表した場合を想定する。対象範囲内に障害物が存在しない状態で撮影された入力画像（図３）の場合、マハラノビス空間を用いた解析結果は、全てのドットが標準的なグループ（図６中の符号ＳＧ）の広がりの中に分布した状態となる。これはつまり、いずれの分割領域ａｊについてもマハラノビス距離Ｄｊが標準的なグループから大きくかけ離れていないことを意味する。したがってこの場合、いずれの分割領域ａｊ内にも障害物が存在していない（画像に映り込んでいない）と判定することができる。

なお公知のように、マハラノビス空間においては、標準的なグループ（ＳＧ）の広がりを表す複重の楕円の１つ１つは等距離線に相当する。このため、例えば図６中に示される２つのドットａｊ１，ａｊ２は、見かけ上（ユークリッド距離）で互いに長短差を有しているものの、これらのマハラノビス距離は互いに等しい。

〔障害物ありの場合〕
図７は、後方カメラ１２で撮影された別の入力画像と、これを複数の領域に分割するまでの処理を示す概要図である。

〔入力画像〕
図７中（Ａ）：ここでも同様に、車両１０の運転者がシフトセレクタレバー２０を「Ｒ（後退）」に操作すると、制御ユニット１４が後方カメラ１２の撮影機能を起動することで、後方カメラ１２により車両１０の後方が撮影される。このとき車両１０の後方に各種の障害物ＢＸ，ＣＮが存在していた場合、入力画像には、車両１０がこれから後進（バック）しようとする方向の路面Ｒとともに障害物ＢＸ，ＣＮが含まれる。

なお、ここでは障害物ＢＸとして例えば段ボール箱を想定し、別の障害物ＣＮとして例えばロードコーン（パイロン）を想定している。このため入力画像中には、これら障害物ＢＸ，ＣＮが明るく色彩の強い画像として映っている。また障害物は、段ボール箱やロードコーン以外の静止物体であってもよいし、人物であってもよい。

〔分割領域〕
図７中（Ｂ）：いずれにしても、処理部３０は同様に入力画像を複数の分割領域ａｊ（ｊ＝１〜ｎ）に分割する処理を行う。この例では、ある１つの分割領域内に１つの障害物ＣＮの輪郭全体が収まっている様子が示されているが、通常多くは障害物ＢＸのように、その輪郭が複数の分割領域にまたがっていたり、フレームＦから一部がはみ出ていたりする。

図８は、障害物が存在する入力画像について分割領域ａｊ毎に演算されたマハラノビス距離Ｄｊを用いた障害物判定の手法を示す概念図である。

〔内部解析画像〕
図８中（Ａ）：上記のように、障害物ＢＸ，ＣＮが含まれている分割領域（例えば分割領域ａ３，ａ４，ａ７，ａ１０等）では、いずれもマハラノビス距離が他の分割領域に比較して突出していることがわかる。なお図８中（Ａ）では、縦長のバーが画像枠からはみ出た部分を破線で示している。

〔閾値との比較〕
図８中（Ｂ）：この場合、分割領域ａ３，ａ４，ａ１０のマハラノビス距離Ｄ３，Ｄ４，Ｄ１０がいずれも閾値Ｂを超えるため、処理部３０による内部解析では、これら分割領域ａ３，ａ４，ａ１０内に障害物が存在する（映り込んでいる）と判定することができる。それ以外の分割領域ではマハラノビス距離Ｄｊが閾値Ｂを超えていないものの、いずれかの分割領域ａｊ内（つまりフレームＦ内）に障害物が存在すると判定した場合、処理部３０は今回の入力画像から障害物が検出されたと最終的に判定する。

〔マハラノビス空間解析〕
図９は、障害物が存在する場合のマハラノビス空間を用いた解析例を図解して示した概念図である。マハラノビス空間において、今回のように対象範囲内に障害物（ＢＸ，ＣＮ等）が存在する状態で撮影された入力画像（図７）の場合、マハラノビス空間を用いた解析結果は、実際に障害物が含まれている分割領域ａ３，ａ４，ａ１０についてのドットが標準的なグループ（ＳＧ）の広がりよりも外側に大きくはみ出た状態となる。これはつまり、分割領域ａ３，ａ４，ａ１０についてマハラノビス距離Ｄ３，Ｄ４，Ｄ１０（それぞれ点線の矢印で示す）が標準的なグループから大きくかけ離れていることを意味する。したがってこの場合、これら分割領域ａ３，ａ４，ａ１０内に障害物が存在する（画像に映り込んでいる）と判定することができる。

なお図９中、分割領域ａ１０のドットが横軸（彩度）方向に大きく中心から離れているのは、入力画像中で障害物ＣＮの彩度が大きく影響したためであると考えられる。それ以外の分割領域については、各ドットが標準的なグループ（ＳＧ）の広がりの中に分布した状態となる。

以上は、予め路面Ｒの種類が舗装路であることを想定した場合に適用できる障害物検出手法の第１例であるが、車両１０の特性上、常に路面Ｒの種類が１つであるとは限らず、後方カメラ１２で撮影される路面Ｒの種類は、車両１０が移動した先の場所によって異なる場合がある。すなわち路面Ｒの種類は、車両１０の移動に伴って舗装路だけでなく、例えば砂利道、農道、山道、林道等のように変化することがある。路面Ｒの種類が異なれば、それに伴って障害物検出に用いるべき基準ファクターも異なってくる。

そこで本実施形態では、予め複数の路面種類について基準ファクターを記憶しておくことにより、その都度、未知の入力画像を用いて演算したマハラノビス距離に基づいて路面Ｒの種類を設定（推定）し、その上で障害物を検出する手法として次の第２例を採用している。以下、第２例について説明する。

〔障害物検出手法の第２例〕
図１０は、後方カメラ１２で砂利道を撮影した場合の入力画像の分割領域とその内部解析値を示す概要図である。すなわち、ここでは路面Ｒの種類に例えば「舗装路」及び「砂利道」の２種類が含まれることを想定し、このうち「砂利道」が入力画像として撮影された場合を例に挙げている。

〔入力画像の分割〕
図１０中（Ａ）：例えば、車両１０が砂利道に停車（駐車）している状態で運転者がシフトセレクタレバー２０を「Ｒ（後退）」に操作すると、後方カメラ１２により車両１０の後方が撮影される。このとき入力画像中には、その大部分に砂利道の表面（路面Ｒ）が灰色っぽい画像として映っており、その中に砂利や石塊等が点在して映っている。また入力画像中の右上には、例えばブロック塀が白っぽい画像として映っている。なおフレームＦを用いた入力画像の分割についてはこれまでの処理と同様である。

〔内部解析画像〕
図１０中（Ｂ）：ここでも同様に、分割領域ａｊ（ａ１〜ａ１６）毎に演算されたマハラノビス距離Ｄｊの内部解析画像の例を示している。特に障害物が存在していなければ、路面Ｒの種類が砂利道に該当する場合についても、マハラノビス距離Ｄｊは上記の閾値Ｂを超えることはない。

第２例のように路面Ｒの種類が複数（例えば「舗装路」と「砂利道」の２種類）にまたがることを想定している場合、事前処理において予め路面種類毎に異なる基準ファクターｘｋｉｊ，ｙｋｉｊ（ｋ＝１，２）の組が制御ユニット１４の記憶部３２に記憶されている。すなわち、記憶部３２には舗装路についての基準ファクターｘ１ｉｊ，ｙ１ｉｊの組が記憶されている他、砂利道についての基準ファクターｘ２ｉｊ，ｙ２ｉｊの組が合わせて記憶されている。

このように、複数の路面種類毎に基準ファクターを記憶しておくため、障害物検出装置はその事前処理において、複数の路面種類毎に上述した（１）複数の基準画像の取り込み、（２）各基準画像の分割、及び（３）基準ファクターの抽出を行っている。

その上で処理部３０は、今回の入力画像について路面種類のそれぞれについて分割領域ａｋｊ毎のマハラノビス距離Ｄｋｊを演算し、その結果に基づきマハラノビス空間上で最もグループの中心に近い路面種類を設定することができる。

〔路面種類の設定例〕
図１１は、路面Ｒの種類が未知である入力画像から路面種類を設定する手法を図解した概要図である。

上記のように記憶部３２に複数の路面種類毎に基準ファクターｘｋｉｊ，ｙｋｉｊが記憶されている場合、これらに基づいて形成されるマハラノビス空間には、路面種類毎に標準的なグループ（ＳＧ１，ＳＧ２）の広がりが存在する。この例では舗装路についての標準的なグループ（ＳＧ１）と砂利道についての標準的なグループ（ＳＧ２）のみが示されているが、３つ以上の路面種類について基準ファクターｘｋｉｊ，ｙｋｉｊが予め記憶されていれば、その路面種類の数に応じた数（３つ以上）の標準的なグループの広がりがマハラノビス空間に存在することになる。

〔路面種類毎のマハラノビス距離〕
いずれにしても、路面Ｒの種類が未知である入力画像を取り込むと、ひとまず処理部３０は、その分割領域ａｊ毎に入力ファクターｘｊ，ｙｊを抽出した後、これら入力ファクターｘｊ，ｙｊに基づいて路面種類毎にマハラノビス距離Ｄｋｊを演算する。なお、路面種類毎のマハラノビス距離Ｄｋｊは、上式（８）において平均（ｘ＿ａｖｅ，ｙ＿ａｖｅ）や分散（ｘ＿ｓｉｇｍａ，ｙ＿ｓｉｇｍａ）、共分散（ｘｙ＿ｓｉｇｍａ）等の諸変数を路面種類別に代入することで演算することができる。

したがって、例えば入力画像中のある分割領域ａｊについては、路面種類毎に複数通りのマハラノビス距離Ｄｋｊ（ｋ＝１，２）が算出されることになる。これを図１１のマハラノビス空間上にドットとしてプロットしてみると、ある分割領域（図１１中のドットａｋｊ）のマハラノビス距離Ｄｋｊは、舗装路についての標準的なグループ（ＳＧ１）の広がりからは大きく離れているが、砂利道についての標準的なグループ（ＳＧ２）の広がりの中に存在していることが分かる。これはつまり、この分割領域（ドットａｋｊ）は、舗装路よりも砂利道についてのマハラノビス距離の方が短いことを意味する。これにより処理部３０は、この分割領域（ドットａｋｊ）は砂利道についての標準的なグループ（ＳＧ２）に属するものと判断し、今回の入力画像に映っている路面Ｒの種類として「砂利道」の路面種類を設定する。

以上の処理を通じて路面種類を設定すると、処理部３０はこれまでと同様に内部解析画像を用いて障害物についての判定を行うことができる。

〔障害物ありの場合〕
図１２は、路面Ｒ上に障害物がある砂利道を後方カメラ１２で撮影した場合の入力画像の分割領域とその内部解析値を示す概要図である。ここまでの処理において、処理部３０は今回の入力画像に基づき路面Ｒの種類を「砂利道」に設定しているものとする。

〔入力画像の分割〕
図１２中（Ａ）：車両１０の後方に障害物ＢＸが存在していた場合、入力画像には、車両１０がこれから後進（バック）しようとする方向の路面Ｒとともに障害物ＢＸが含まれる。このため入力画像中には、障害物ＢＸが明るく色彩の強い画像として映っている。なお、フレームＦを用いた入力画像の分割については、これまでの処理と同様に行われる。

〔内部解析画像〕
図１２中（Ｂ）：処理部３０は、入力画像から抽出した入力ファクターｘｊ，ｙｊに基づき、設定した「砂利道」についての基準ファクターｘｉｊ，ｙｉｊを記憶部３２から読み出してマハラノビス距離Ｄｊを演算する。その結果、障害物ＢＸが含まれている分割領域ａ１，ａ２，ａ５，ａ６では、いずれもマハラノビス距離Ｄ１，Ｄ２，Ｄ５，Ｄ６が他の分割領域に比較して突出した状態となる。そして処理部３０は、これらマハラノビス距離Ｄ１，Ｄ２，Ｄ５，Ｄ６が閾値Ｂを超える場合、分割領域ａ１，ａ２，ａ５，Ｄ６内に障害物が存在する（映り込んでいる）と判定することができる。これにより処理部３０は、今回の入力画像から障害物が検出されたと最終的に判定することができる。

以上の第２例から明らかなように、本実施形態では路面Ｒの種類が未知の場合であっても、予め事前処理により複数の路面種類毎に基準ファクターｘｉｊ，ｙｉｊを記憶しておくことにより、入力画像に基づいて先ず路面種類を設定し、その上で分割領域毎に演算したマハラノビス距離に基づき障害物の有無を正確に判定することができる。

なお第２例では路面種類として主に「舗装路」と「砂利道」を想定しているが、本実施形態ではより多くの路面種類を想定した上で入力画像から路面種類を設定し、最終的に障害物の有無を判定することができる。このような障害物検出手法は、例えば以下の処理手順により一般化することができる。

〔障害物検出処理〕
図１３は、多数の路面種類に対応した障害物検出処理の手順例を示すフローチャートである。例えば車両１０のメインスイッチＯＮに伴い、制御ユニット１４の処理部３０は定期的に（例えば割込処理として）この障害物検出処理を実行する。以下、障害物検出処理の内容を手順例に沿って説明する。

ステップＳ１０：処理実行に伴い、先ず処理部３０はシフト位置が「Ｒ（後退）」に切り替え操作されたか否かを確認する。この確認は、上記のシフト位置センサ１８からの信号に基づいて行うことができる。特にシフト位置が「Ｒ（後退）」に操作されていなければ（Ｎｏ）、処理部３０はここで障害物検出処理から従前の処理（例えばメインプログラム）に復帰する。

これに対し、シフト位置が「Ｒ（後退）」に操作されたことを確認した場合（Ｙｅｓ）、処理部３０は次のステップＳ１２に進む。なお、シフト位置が「Ｐ（駐車）」→「Ｒ（後退）」、あるいは「Ｎ（中立）」→「Ｒ（後退）」へ切り替え操作可能になるのは、通常、車速が０ｋｍ／ｈで、かつ、ブレーキペダルが踏み込まれている必要がある（シフトロック解除時）ため、ステップＳ１０の条件を満たす場合（Ｙｅｓ）、現時点で車両１０は停車（駐車）中であると考えられる。

ステップＳ１２：次に処理部３０は、後方カメラ１２を起動する。これにより、後方カメラ１２による撮影機能がアクティブとなり、車両１０の後方（対象範囲）の撮影が行われる。

ステップＳ１４：後方カメラ１２を起動すると、処理部３０は今回の入力画像を取り込む。入力画像を取り込む処理の内容は、例えば図３に示される入力画像の例とともに説明したとおりである。

〔画像分割処理〕
ステップＳ１６：次に処理部３０は、画像分割処理を実行する。この処理では、処理部３０は入力画像を複数の領域に分割する。具体的な分割処理の手法は、例えば図４に示されるフレームＦに則した分割領域の例とともに説明したとおりである。

〔領域別抽出処理〕
ステップＳ１８：画像分割処理から復帰すると、次に処理部３０は領域別抽出処理を実行する。この処理では、処理部３０は複数の分割領域毎に上記の入力ファクターｘｊ，ｙｊを計算により抽出する。ここでも、入力ファクターｘｊの計算には上式（１）の右辺、入力ファクターｙｊの計算には上式（２）の右辺をそれぞれ適用することができる。

〔路面種類設定処理〕
ステップＳ２０：領域別演算処理から復帰すると、処理部３０は路面種類設定処理を実行する。この処理では、処理部３０は記憶部３２に記憶されている路面種類毎の基準ファクターｘｉｊ，ｙｉｊに基づいて分割領域毎のマハラノビス距離を演算し、その中で最も距離が短くなる路面種類を設定する。複数の路面種類からいずれか１つの種類を設定する手法は、例えば図１１に示される例とともに説明したとおりである。ただし、ここでは一般化に適した事前処理を例に挙げて路面種類の設定手法について説明する。

（１）路面種類別の複数の基準画像の取り込み
特に図示していないが、事前処理として上記の「舗装路」や「砂利道」の他、「農道」や「山道」、「林道」等のＲ種類（例えば１０種類）の路面を複数の場所や様々な環境下で、かつ、障害物が存在しない状態で撮影した複数枚の基準画像を取り込む。なお基準画像は、例えば「舗装路」については１０枚、「砂利道」については２０枚といったように、各路面種類別にｍｋ枚（ｋ＝１〜Ｒ）が用意されているものとする。

（２）各基準画像の分割
また事前処理として、取り込んだ路面種類別の基準画像Ｓｋｉ（ｉ＝１〜ｍ）のそれぞれを、さらにｎ個（例えば１６個）の領域Ｓｋｉ１〜Ｓｋｉｎに分割する。なお分割の手法は、例えば図４の例を用いて既に説明したとおりである。また各分割領域Ｓｋｉｊには、Ｔ個の画素（例えば平均して１００個程度）が含まれるものとする。

（３）路面種類別の基準ファクターの抽出
路面種類別の各基準画像Ｓｋｉについて、それぞれ分割領域Ｓｋｉｊ内に含まれるＴ個の画素から複数種類の基準ファクターｘｋｉｊ，ｙｋｉｊ（２種類の場合）を計算により抽出する。このうち一方の基準ファクターｘｋｉｊは例えば分割領域Ｓｋｉｊ内の画素の平均輝度を示すファクターであり、もう一方の基準ファクターｙｋｉｊは例えば分割領域Ｓｋｉｊ内の画素の平均彩度を示すファクターである。ここで抽出される複数種類の基準ファクターｘｋｉｊ，ｙｉｋｊの組の数は、路面種類毎にそれぞれｍ枚の基準画像についてｍ×ｎ個（例えば「舗装路」が１６０組、「砂利道」が３２０組等）となる。なお、平均輝度ｘｋｉｊ、平均彩度ｙｋｉｊはそれぞれ上式（１），（２）を用いて計算することができる。

各路面種類における以上の計算結果をｍ×ｎ個の基準ファクターの組（ｘｋ１１，ｙｋ１１），（ｘｋ１２，ｙｋ１２），・・・，（ｘｋｍｎ，ｙｋｍｎ）とし（ｋ＝１〜Ｒ）、さらにこれら基準ファクターから、路面種類毎に全ての平均輝度の平均ｘｋ＿ａｖｅ、平均彩度の平均ｙｋ＿ａｖｅ、平均輝度の分散ｘｋ＿ｓｉｇｍａ、平均彩度の分散ｙｋ＿ｓｉｇｍａ及び平均輝度と平均彩度の共分散ｘｙｋ＿ｓｉｇｍａをそれぞれ計算する。これらの計算は、それぞれ上式（３）〜（７）を用いて行うことができる。

そして、事前処理において以上の各計算結果ｘｋ＿ａｖｅ，ｙｋ＿ａｖｅ，ｘｋ＿ｓｉｇｍａ，yｋ＿ｓｉｇｍａ，ｘyｋ＿ｓｉｇｍａ，は、路面種類別に制御ユニット１４の記憶部３２に予め記憶されているものとする。

（４）マハラノビス距離の演算
その上で処理部３０は、今回の入力画像について計算した入力ファクターｘｊ，ｙｉｊに基づき、分割領域ａｊ毎にマハラノビス距離Ｄｋｊ（ｋ＝１〜Ｒ）を演算する。計算式は上式（８）になぞらえて、例えば以下の一般式（９）を用いるものとする。

処理部３０は、以上のマハラノビス距離Ｄｋｊの演算を路面種類数であるｋ回（ｋ＝１〜Ｒ）繰り返し、路面種類別のマハラノビス距離Ｄｋｊ（ｊ＝１〜ｎ）を演算する。

（５）路面種類の設定（推定）
そして処理部３０は、演算結果Ｄｋｊ^２（ｋ＝１〜Ｒ）のうち、最も小さい値となる路面種類ｋを今回の入力画像に映っている路面の種類として設定する。これにより、今回の入力画像について路面種類が１つに特定される結果、分割領域ａｊ毎のマハラノビス距離Ｄｊが改めて確定した状態となる。

ステップＳ２２：これにより処理部３０は、分割領域ａｊ毎のマハラノビス距離Ｄｊを閾値Ｂと比較することにより、分割領域ａｊ毎に障害物があるか否か（障害物が映っているか否か）を判定することができる。その結果、特に障害物が存在しないと判定した場合（Ｎｏ）、処理部３０はここで障害物検出処理から従前の処理に復帰する。これに対し、障害物があると判定した場合（Ｙｅｓ）、処理部３０は次のステップＳ２４を実行する。

〔警報出力処理〕
ステップＳ２４：処理部３０は、ここで警報出力処理を実行する。この処理では、処理部３０は上記の音響出力部３６に対して警報音の出力コマンドを発行する。これを受けて音響出力部３６は、スピーカ２２を駆動して実際に警報音を出力させる。このとき警報音は、車室内の後方位置から運転席に向かって発せられるため、直感的にも運転者が車両１０の後方に障害物が存在することを認識しやすくなる。

また、このとき処理部３０は、ＬＣＤコントローラ３４に対して警報表示の出力コマンドを発行してもよい。これにより、液晶ディスプレイ１６に例えば「障害物に注意」といった警報情報が表示されるため、それによって運転者に注意を喚起することができる。

〔障害物検出手法の第３例〕
ここまでに説明した障害物検出手法の第１例及び第２例では、ファクターとして平均輝度と平均彩度の２種類を用いているが、以下のようなファクターを用いて障害物の検出を行ってもよい。

例えば複数種類のファクター（基準ファクター及び入力ファクター）として、各分割領域内のＲ成分の平均ｒ＿ａｖｅ、Ｇ成分の平均ｇ＿ａｖｅ、Ｂ成分の平均ｂ＿ａｖｅ、ＲＧ共分散ｒｇ＿ｓｉｇｍａ、ＧＢ共分散ｇｂ＿ｓｉｇｍａ、ＢＲ共分散ｂｒ＿ｓｉｇｍａの６種類を用いるものとする。これらファクターは、例えば以下の各計算式（１０）〜（１５）を用いてそれぞれ計算することができる。

ｒ＿ａｖｅ＝ΣＲ／ｎ ・・・（１０）
ｇ＿ａｖｅ＝ΣＧ／ｎ ・・・（１１）
ｂ＿ａｖｅ＝ΣＢ／ｎ ・・・（１２）
ｒｇ＿ｓｉｇｍａ＝Σ（Ｒ−ｒ＿ａｖｅ）・（Ｇ−ｇ＿ａｖｅ）／ｎ ・・・（１３）
ｇｂ＿ｓｉｇｍａ＝Σ（Ｇ−ｇ＿ａｖｅ）・（Ｂ−ｂ＿ａｖｅ）／ｎ ・・・（１４）
ｒｂ＿ｓｉｇｍａ＝Σ（Ｒ−ｒ＿ａｖｅ）・（Ｂ−ｂ＿ａｖｅ）／ｎ ・・・（１５）
上式（１０）〜（１５）において、
Ｒ：各画素のＲ成分の値
Ｇ：各画素のＧ成分の値
Ｂ：各画素のＢ成分の値
である。

また、上記のファクターを用いる場合、マハラノビス距離の計算式は次元数（この場合は６次元）に応じたものとなる。なお、ここではファクターとして上記の６種類を例に挙げているが、より多種類のファクターを用いてもよい。

以上のように本実施形態の障害物検出装置によれば、単一の後方カメラ１２で撮影された静止画像に基づき、車両１０の後方に障害物が存在するか否かを確実に判定することができる。また、複数種類の入力ファクターに基づいて障害物の判定を行っているため、それだけ障害物として認識できる対象のバリエーションを多くすることができる。

また本実施形態では、事前処理において路面を様々な条件下で撮影した基準画像から基準ファクターを抽出しておき、その上で、今回の入力画像についてマハラノビス距離（マハラノビス空間における距離）に基づき障害物の有無を判断している。したがって、路面状態の変化（日照や照明等の明るさの変化）に対して判定結果が過敏になりにくく、その分、誤判定を防止してより高精度な障害物の検出が可能となる。

本発明は上述した実施形態に制約されることなく、種々に変形して実施することができる。一実施形態では、後方カメラ１２を用いて車両１０の後方を対象範囲として障害物の検出を行っているが、車両１０の前方や側方（周囲）にそれぞれカメラを設置し、多方向からの入力画像に基づいて障害物の検出を行ってもよい。

また、路面状態については昼間と夜間、あるいは晴天時と曇天時、雨天時等の条件を細かく分けて基準画像を用意してもよい。この場合、例えば明るさセンサや路面センサ等の補助装置を用いて入力画像の路面状態（天候や時間帯、ドライ路面、ウェット路面等の状態）を予め設定し、その上で基準画像を設定して障害物の検出を行うことができる。

また障害物検出装置は、車両１０以外の移動体（例えば鉄道車両、牽引物、車椅子、カート等）に適用することもできる。

さらに、障害物の有無を判定する対象範囲は路面（道路面）に限らず、更地や運動場、河川敷、海岸、芝地、雑草地等であってもよい。これらの場合についても、予め想定される対象範囲について複数の基準画像を用意し、種類毎に基準ファクターを記憶しておくことで入力画像を用いた障害物の検出が可能である。

１０ 車両
１２ 後方カメラ
１４ 制御ユニット
１６ 液晶ディスプレイ
１８ シフト位置センサ
２０ シフトセレクタレバー
２２ スピーカ
３０ 処理部
３２ 記憶部

Claims (3)

1. 所定の対象範囲を撮影するカメラと、
   前記カメラにより撮影して得られた入力画像を用いて前記対象範囲内の障害物の有無を判定する制御手段とを備え、
   前記制御手段は、
   前記入力画像を分割した複数の分割領域毎に複数種類の入力ファクターを抽出するとともに、
   前記入力画像とは別に用意された複数の基準画像をそれぞれ複数の領域に分割した分割領域毎に抽出して得た複数種類の基準ファクターを予め記憶しておき、これら複数種類の基準ファクターにより形成される基準空間における前記入力画像の分割領域毎の距離を前記複数種類の入力ファクターに基づき演算し、
   前記演算した距離に基づき前記入力画像の分割領域毎に前記対象範囲内の障害物の有無を判定することを特徴とする障害物検出装置。
2. 請求項１に記載の障害物検出装置において、
   前記制御手段は、
   前記複数種類の基準ファクターにより形成されるマハラノビス空間を前記基準空間として、前記マハラノビス空間における前記入力画像の分割領域毎のマハラノビス距離を前記基準空間における距離として演算し、
   前記マハラノビス距離に基づき前記入力画像の分割領域毎に前記対象範囲内の障害物の有無を判定することを特徴とする障害物検出装置。
3. 請求項１又は２に記載の障害物検出装置において、
   前記制御手段は、
   前記対象範囲に含まれる複数の路面種類のそれぞれについて、前記入力画像とは別に用意された複数の基準画像をそれぞれ複数の領域に分割し、これら分割領域毎に抽出して得られた複数種類の基準ファクターを予め前記複数の路面種類毎に記憶しておき、前記複数の路面種類毎に前記基準空間における前記入力画像の分割領域毎の距離を前記複数種類の入力ファクターに基づき演算し、この演算した距離に基づいて前記対象範囲に含まれる路面種類を設定し、
   前記設定した路面種類について演算した距離に基づき前記分割領域毎に前記対象範囲内の障害物の有無を判定することを特徴とする障害物検出装置。