JP4752158B2 - 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置 - Google Patents
環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置 Download PDFInfo
- Publication number
- JP4752158B2 JP4752158B2 JP2001258170A JP2001258170A JP4752158B2 JP 4752158 B2 JP4752158 B2 JP 4752158B2 JP 2001258170 A JP2001258170 A JP 2001258170A JP 2001258170 A JP2001258170 A JP 2001258170A JP 4752158 B2 JP4752158 B2 JP 4752158B2
- Authority
- JP
- Japan
- Prior art keywords
- environment
- obstacle
- red
- complexity
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置に係り、特に、車両周囲の交通環境に応じてドライバの障害物認識支援を行う環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
車両の運転において、車両の直進時では左右からの飛び出しの確認をすることや、車両の右左折時では進行方向に対して左右の横断物の確認を行うことは、事故を防止する上で重要である。左右から飛び出したり横断する移動体は、例えば、歩行者、２輪車、４輪車などの種々のものが考えられる。
【０００３】
特開平３−２６０８１３号公報では、このような移動体を検出する環境認識装置が提案されている。環境認識装置は、明度情報の差分や閉区間領域を抽出することで輪郭情報を得て、輪郭情報から移動物体を認識している。しかし、車両を取り巻く照明条件は刻々と変わり、また外乱光などの影響があるため、輪郭を完全にかつ鮮明に抽出できることは少ない。したがって、上記環境認識装置は、輪郭情報のみを用いて画像認識を行うので、情報量の少なさから環境変化への対応が弱い。特に、車両に搭載されて障害物等を検出する場合では、上述した影響を大きく受けるので、最適に移動体を検出することができるとは言いがたい。また、明度情報から直接閉区間を抽出する処理は、影や外乱光などの影響を受けやすく、外乱光によって変化した明度が直接に重心や面積の変化に影響を与えるため、困難である。
【０００４】
このほか、テンプレートマッチングやテクスチャーマッチングなど輪郭情報に内部情報を加えた検出手法も提案されている。しかし、処理時間がかかってしまったり、テンプレートに関する膨大な情報を予め用意する手間がかかってしまうなどの問題がある。
【０００５】
こうした背景の下、例えば近年、画像情報を圧縮する技術から派生して、カメラの撮像情報を明度データの分布ととらえる技術が提案されている。
【０００６】
特開平１１−１４２１６８号公報では、多変量解析の１つである主成分分析などを行い、撮像情報を正規化主成分特徴量で張られた情報空間に写像し、情報空間内でのデータの挙動を解析することによって画像認識する手法を改良した技術が提案されている。この技術は、正規化主成分特徴量を車両運動情報、操作情報を用いてよりロバストな環境認識を行うものである。また、特開２０００−１９２５９号公報では、可視光線映像情報と可視光以外の赤外線映像情報とを用いて物体を認識する技術が提案されている。
【０００７】
しかし、これらの技術は、例えばガードレールや停止車輌等の物体の認識を妨げる要因が多く存在する場合、移動体を認識することが困難である。例えば、車両が通行する路面上以外の歩道や交差点における歩行者、自転車の待機場所や停止車輌間から飛び出してきた歩行者を認識することができない問題がある。
【０００８】
これに対して、例えば特開平１１−３０１３４３号では、障害物そのものだけでなく、カメラ（可視光、赤外）を用いた、環境（道路形状）認識により移動障害物の出現確率を予測する車両用照明装置が提案されている。また、特開平１１−２３２５６９号では、交差点等に歩行者が近づいたか否かを車輌側へ発信する装置をもつ歩行者警報システムが提案されている。さらに、特開平６−１４４１２９号公報では、移動障害物を積極的に認識することなく、同一の注意すべき状態に対して複数用意されていた注意項目をランダムに１つ選択して運転手に報知することで注意喚起を図る注意喚起アシスト装置が提案されている。
【０００９】
このように、移動障害物の自動認識、移動物体の出現確率を考慮したもの、あるいは歩行者の接近警告などを行うことによって、ドライバに対して障害物認識支援をする移動障害物認識支援が提案されている。
【００１０】
しかし、最終的に移動障害物を認識するのはドライバ自身である。そのドライバの視覚認知、認知特性を考慮しなければ、大量の情報をドライバに提示しすぎたために、かえってドライバーを混乱させる可能性がある。また、注意項目を場所にあわせてランダムに提示する方法は、情報提示量は少ないものの非効率である。
【００１１】
本発明は、上述した課題を解決するために提案されたものであり、ドライバに過剰な情報を提示することなく効率的かつ的確に障害物認識支援を行うことができる環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１記載の発明は、環境からの撮像光に基づいて撮像画像を生成する撮像手段と、前記撮像手段で生成された撮像画像に輝度分割ブロックを設定し、設定された輝度分割ブロック内において各画素の輝度値が均質であると判断されるまで、前記輝度分割ブロックを分割して新たな輝度分割ブロックを設定することを繰り返し、前記撮像画像に対して、各画素の輝度値が均質になった輝度分割ブロックの数に基づいて環境の複雑度を演算する複雑度演算手段と、を備えている。
【００１３】
請求項１記載の発明では、撮像手段は、例えば車両前席から正面の交通環境を撮像するように設置されているのが好ましい。
【００１５】
複雑度演算手段は、撮像画像に対して輝度分割ブロックを設定する。最初に設定される輝度分割ブロックは、複雑度を演算する領域を示している。そして、輝度分割ブロック内において、各画素の輝度値が均質であると判断されるまで、前記輝度分割ブロックを分割し、分割された輝度分割ブロックを新たな輝度分割ブロックとして設定し、この処理を繰り返す。ここで、各画素の輝度値が均質であるとは、各画素の輝度値が一致する場合に限らず、輝度値の最大値と輝度値の最小値の差が所定値以下であればよい。すなわち、各画素の輝度値のばらつきが所定値以下になっていればよい。
【００１６】
そして、すべての輝度分割領域内の各画素の輝度値が均質であると判断されると、これらのすべての輝度分割ブロックの数を環境の複雑度として求める。このような輝度分割ブロックの数は空間周波数に対応している。すなわち、総数が多いと高周波成分が多く、撮像画像が複雑である。また、総数が少ないと高周波成分が少なく、撮像画像は単純である。このように、輝度分割ブロックの数を求めることで、環境の複雑度を求めることができる。
【００１７】
請求項２記載の発明は、環境からの撮像光に基づいて撮像画像を生成する撮像手段と、前記撮像手段で生成された撮像画像に赤色系分割ブロックを設定し、設定された赤色系分割ブロックが所定の赤色系画素のみで構成されるまで、前記赤色系分割ブロックを分割して新たな赤色系分割ブロックを設定することを繰り返し、前記撮像画像に対して、前記所定の赤色系画素のみで構成される赤色系分割ブロックの数に基づいて環境の複雑度を演算する複雑度演算手段と、を備えたことを特徴とする。
【００１８】
請求項２記載の発明では、複雑度演算手段は、撮像画像に対して赤色系分割ブロックを設定する。最初に設定される赤色系分割ブロックは、複雑度を演算する領域を示している。赤色系分割ブロックが所定の赤色系画素のみで構成されるまで、当該赤色系分割ブロックを分割する。そして、分割された赤色系分割ブロックを新たな赤色系分割ブロックとして設定し、この処理を繰り返す。すべての赤色系分割ブロックが所定の赤色系画素のみで構成されると、これらのすべての赤色系分割ブロックの数を環境の複雑度として求める。赤色は緑色に比べて誘目性が高い特性があり、赤色系分割ブロックの数は画像の複雑さを示している。したがって、上記赤色系分割ブロックの数を演算することで、環境の複雑度を求めることができる。
【００１９】
請求項３記載の発明は、環境からの撮像光に基づいて撮像画像を生成する撮像手段と、前記撮像手段で生成された撮像画像に輝度分割ブロックを設定し、設定された輝度分割ブロック内において各画素の輝度値が均質であると判断されるまで、前記輝度分割ブロックを分割して新たな輝度分割ブロックを設定することを繰り返し、前記撮像画像に対して、各画素の輝度値が均質になった輝度分割ブロックの数を演算し、前記撮像手段で生成された撮像画像に赤色系分割ブロックを設定し、設定された赤色系分割ブロックが所定の赤色系画素のみで構成されるまで、前記赤色系分割ブロックを分割して新たな赤色系分割ブロックを設定することを繰り返し、前記撮像画像に対して、前記所定の赤色系画素のみで構成される赤色系分割ブロックの数を演算し、前記輝度分割ブロックの数と、赤色系分割ブロックの数と、に基づいて環境の複雑度を演算する複雑度演算手段と、を備えたことを特徴とする。
【００２０】
請求項３記載の発明では、複雑度演算手段は、請求項１記載の発明と同様にして輝度分割ブロックの数を求め、さらに、請求項２記載の発明と同様にして赤色系分割ブロックの数を求め、これらの総数に基づいて環境の複雑度を求める。環境の複雑度としては、輝度分割ブロックの数、赤色系分割ブロックの数、輝度分割ブロックの数と赤色系分割ブロックの数との積、にそれぞれ所定の重み付け係数を乗して、これらの総和を求めるのが好ましい。
【００２１】
請求項４記載の発明は、請求項１から３のいずれか１項記載の環境複雑度演算装置と、前記複雑度演算装置で演算された複雑度に基づいて、環境の認識度合を推定する環境認識度合推定手段と、を備えている。
【００２２】
請求項４記載の発明では、環境複雑度演算装置で演算された複雑度は、環境の撮像画像の複雑さを示していることから、観察者の環境の認識度合を推定するためのパラメータとして用いられる。すなわち、環境認識度合推定手段は、上記複雑度に基づいて環境の認識度合を推定することができる。
【００２３】
請求項５記載の発明は、請求項４記載の発明において、前記環境認識度合推定手段は、前記複雑度演算装置で演算された複雑度が閾値以上であるときは環境の認識度合が低いと推定し、前記複雑度演算装置で演算された複雑度が閾値より小さいときは環境の認識度合が高いと推定することを特徴とする。
【００２４】
請求項５記載の発明では、環境の認識度合の基準値となる閾値を設定する。すなわち、閾値は、環境が複雑と単純の中間を示す複雑度の値である。そこで、環境認識度合推定手段は、この閾値を用いることで、複雑度が閾値以上であるときは環境の認識度合が低いと推定し、複雑度が閾値より小さいときは環境の認識度合が高いと推定することができる。
【００２５】
請求項６記載の発明は、請求項５記載の発明において、環境の照度を検出する照度検出手段を更に備え、前記環境認識度合推定手段は、前記環境の照度に対応する前記閾値が記述された閾値テーブルに基づいて、前記照度検出手段により検出された照度に対応する前記閾値を設定することを特徴とする。
【００２６】
請求項６記載の発明では、複雑度が一定であっても、車両外部が明るかったり暗くなったりすると、観察者は環境が複雑と感じたり単純と感じることがあることがある。そこで、このような照度の変化による環境の認識度合の変化を補正するため、照度に対応する閾値が予め記述された閾値テーブルを用いる。これにより、照度検出手段により照度が検出されると、検出された照度に対応する閾値を設定することができる。そして、設定された閾値を用いて環境の認識度合を推定することができる。この結果、照度がどのような値であっても、環境の認識度合を正確に推定することができる。
【００２７】
請求項７記載の発明は、請求項６記載の発明において、観察者の姿勢変化を検出する姿勢変化検出手段を更に備え、前記環境認識度合推定手段は、前記姿勢変化検出手段で検出された観察者の姿勢変化が大きくなるに従って前記閾値テーブルに記述された前記閾値の最大値を大きく設定し、前記姿勢変化検出手段で検出された観察者の姿勢変化が小さくなるに従って前記閾値の最大値を小さく設定することを特徴とする。
【００２８】
請求項７記載の発明では、観察者は、姿勢変化が大きい場合には、環境を認識する度合が高い傾向にある。環境認識度合推定手段は、観察者の姿勢変化が大きくなるに従って閾値テーブルに記述された閾値の最大値を大きく設定し、観察者の姿勢変化が小さくなるに従って閾値の最大値を小さく設定することで、観察者の実際の視覚特性に合致するように、環境の認識度合を正確に推定することができる。
【００２９】
請求項８記載の発明は、所定領域毎に環境の認識度合を推定する請求項４から７のいずれか１項記載の環境認識度合推定装置と、障害物の位置を検出する障害物位置検出手段と、前記障害物検出手段で検出された障害物の位置を含む所定領域が、前記環境認識度合推定手段によって環境の認識度合が低いと推定されたときに、前記障害物に関する警報を行う警報手段と、を備えている。
【００３０】
請求項８記載の発明では、障害物位置検出手段は、障害物の位置を検出する。このとき、環境認識度合推定装置は、障害物が検出された位置を含む所定領域の環境の認識度合を推定する。ここで、環境の認識度合が高い場合、観察者は、障害物位置検出手段によって検出された障害物を十分認識することができる。一方、環境の認識度合が低い場合、観察者は、障害物位置検出手段によって検出された障害物を認識することができない可能性がある。そこで、警報手段は、障害物の位置を含む所定領域が環境の認識度合が低いと推定されたときに、障害物に関する警報を行う。これにより、観察者は、環境の認識度合が低い領域に障害物がある場合でも、障害物があることを事前に認識して、事故を回避することができる。なお、警報手段は、画像又は音声を出力することによって、観察者に注意を喚起させることができる
また、警報手段は、障害物の位置を含む所定領域が環境の認識度合が高いと推定されたときに、障害物に関する警報は行わない。これにより、観察者は、環境の認識度合が高い領域に障害物がある場合では、その障害物を認識することができるので、余計な警報によって煩わしさを受けることがない。
【００３１】
請求項９記載の発明は、請求項８記載の発明において、前記環境認識度合推定装置は、撮像画像の下部を除く領域を複数の推定領域に分割し、分割された推定領域毎に環境の認識度合を推定し、前記警報手段は、前記障害物位置検出手段により検出された障害物の位置が前記推定領域のいずれにあり、かつ、当該推定領域の環境の認識度合が前記環境認識度合推定手段によって低いと推定されたときに、優先度の高い推定領域に存在する障害物に関する警報を行うことを特徴とする。
【００３２】
請求項８記載の発明では、環境認識度合推定装置は、撮像画像の下部を除く領域を複数の推定領域に分割し、分割された推定領域毎に環境の認識度合を推定する。つまり、撮像画像の下部については環境の認識度合を推定しない。その理由は、撮像画面の下部は、観察者直前の環境の画像を示しており、その環境の認識の度合を推定する意味がないからである。
【００３３】
警報手段は、前記障害物位置検出手段により検出された障害物の位置が前記推定領域のいずれにあり、かつ、当該推定領域の環境の認識度合が前記環境認識度合推定手段によって低いと推定されたかを判定する。ここでは、障害物が検出され、かつ環境の認識度合が低い推定領域をすべて選択する。そして、選択された指定領域のうち優先度の高い推定領域について、障害物が存在する旨の警報を行う。これにより、最も危険な領域を観察者に注意させることで大きな事故を回避することができると共に、あまり危険でない領域については観察者に報知しないことで観察者が情報過多になって混乱するのを防止することができる。
【００３４】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００３５】
［第１の実施の形態］
本発明の第１の実施の形態は、例えば図１に示す構成の障害物警報装置１に適用することができる。障害物警報装置１は、車両外部のインフラからインフラ情報を検出するインフラ情報をインフラ情報検出部１０と、道路及びその周辺の障害物に関する情報を検出する障害物情報検出部２０と、自車両の動作状態を検出する自車状態検出部３０と、ドライバや車両外部の環境を検出する環境情報検出部４０と、ドライバの環境認識の度合を示す視覚特性を入力するためのスライダパネル５０と、障害物情報を出力する障害物情報出力部６０と、各部において検出された情報に基づいて全体の制御を行うマイクロコンピュータ７０と、を備えている。
【００３６】
インフラ情報検出部１０は、ＧＰＳ（Ｇｌｏｂａｌ ＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）信号を受信するＧＰＳ受信回路１１と、ＤＶＤディスクに記録されている地図情報を読み出すＤＶＤドライブ１２と、接近情報を受信する接近情報受信回路１３と、を備えている。
【００３７】
ＧＰＳ受信回路１１は、ＧＰＳアンテナ１１ａを介して、時刻及びＧＰＳ衛星の位置情報を有するＧＰＳ信号を受信し、データバス５を介してマイクロコンピュータ７０に供給する。ＤＶＤドライブ１２は、車両が現在走行している位置情報に基づいて、ＤＶＤディスクから地図情報を読み出し、データバス５を介して、マイクロコンピュータ７０に供給する。接近情報受信回路１３は、後述するデータキャリアリーダから送信された接近情報を受信し、データバス５を介して、マイクロコンピュータ７０に供給する。
【００３８】
障害物情報検出部２０は、道路上や道路周囲の障害物を撮影するための障害物撮影用ＣＣＤカメラ２１と、道路上や道路周囲の障害物を赤外線により撮影するための赤外カメラ２２と、前方障害物を認識するためのレーダ送受信機２３と、を備えている。
【００３９】
障害物撮影用ＣＣＤカメラ２１及び赤外カメラ２２は、車両前方方向の物体を撮像できるように設置されている。そして、障害物撮影用ＣＣＤカメラ２１及び赤外カメラ２２は、撮影した撮影画像を、データバス５を介してマイクロコンピュータ７０に供給する。レーダ送受信機２３は、前方障害物を認識するために、当該障害物に対してパルス状の光レーダを鋭く絞って２次元方向に送信すると共に、障害物によって反射された光レーダを受光する。なお、レーダ送受信機２３は、光レーダを送受信するもの限らず、電波レーダを送受信するものであってもよい。
【００４０】
自車状態検出部３０は、例えば、車輪速センサ、操舵角センサ、スロットルバルブセンサ、マスタシリンダ油圧センサ、ヨーレートセンサ、前後加速度センサ、横加速度センサ等を備えている。そして、自車状態検出部３０は、車速、ハンドル操舵角度、アクセル操作量、ブレーキ操作量、ヨーレート、ロールレート、ピッチレート、前後加速度、横加速度、ウィンカ操作量を検出して、マイクロコンピュータ７０に供給する。
【００４１】
環境情報検出部４０は、車両外部の照度を検出する照度センサ４１と、ドライバを撮影するドライバ撮影用ＣＣＤカメラ４２と、を備えている。ここでは、ドライバ撮影用ＣＣＤカメラ４２は１つだけ設けられているが、ドライバの姿勢変化を容易に検出できるように、ドライバの正面前方、右前方、左前方をそれぞれ撮像する３つのＣＣＤカメラを設けてもよい。
【００４２】
スライダパネル５０は、外部環境の複雑さを示す視覚特性をドライバの主観に従って操作入力するためのものである。スライダパネル５０、図２に示すように、左右に移動可能なスライダ５１を有している。ドライバは、例えば、自分自身が交通環境を見落としがちである場合、つまり車両外部の交通環境を認識しにくいと判断する場合は、スライダ５１を「弱」の方向に操作する。また、ドライバは、交通環境をよく見ることができる場合、つまり車両外部の交通環境を認識しやすい場合はスライダ５１を「強」の方向に操作する。これにより、詳しくは後述するが、マイクロコンピュータ７０は、ドライバの現在の視覚特性を考慮して環境認識度合を推定することができる。
【００４３】
障害物情報出力部６０は、画像により障害物情報を出力するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６１と、音声により障害物情報を出力するスピーカ６２と、を備えている。
【００４４】
マイクロコンピュータ７０は、図示されていないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、データのワークエリアであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、後述する各種のルーチン処理を実行するプログラムや出現範囲推定テーブルや閾値テーブルが記憶されているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により構成されている。マイクロコンピュータ７０は、各部からの情報に基づいて、出現可能性のある障害物を推定したり、ドライバの環境認識度合を推定したり、障害物情報の警報を行う。
【００４５】
（メインルーチン）
以上のように構成された障害物警報装置１において、マイクロコンピュータ７０は、図３に示すステップＳＴ１からステップＳＴ３までの処理を実行する。ここでは、最初にステップＳＴ１からステップＳＴ３までの処理を簡単に説明し、その後各処理の具体的なサブルーチンについて説明する。
【００４６】
マイクロコンピュータ７０は、インフラ情報検出部１０で検出された情報に基づいて自車位置を検出すると共に、自車の進行方向に出現する可能性のある障害物を推定する（ステップＳＴ１）。そして、自車の進行方向の環境の撮像画像を分割し、分割された領域毎にドライバが認識しやすいかを示す環境認識度合を推定する（ステップＳＴ２）。最後に、マイクロコンピュータ７０は、出現可能性のある障害物情報と、所定の領域毎の環境認識度合とに基づき、必要に応じて画像又は音声によりドライバに対して障害物に関する警報を行う（ステップＳＴ３）。
【００４７】
（ステップＳＴ１）
ステップＳＴ１では、マイクロコンピュータ７０は、自車の進行方向に出現する可能性のある障害物を推定すべく、具体的には図４に示すステップＳＴ１１からステップＳＴ１４までの処理を実行する。
【００４８】
ステップＳＴ１１では、マイクロコンピュータ７０は、自車の位置を検出すると共に、自車位置周辺であってドライバの視界範囲外の移動障害物を検出する。なお、ここでは、例えば以下に説明するようなインフラが用いられている。
【００４９】
例えば図５に示すように、歩行者は、データキャリア１６が設けられた物品（例えば、携帯電話）を常時携帯している。また、２輪車や４輪車には、データキャリア１６が設けられている。データキャリア１６は数種類の接近情報を出力することができ、歩行者、２輪車及び４輪車のデータキャリア１６はそれぞれ異なる接近情報を出力する。一方、見通しの悪い交差点や横断歩道には、接近情報を受信するデータキャリアリーダ１７が設置されている。データキャリアリーダ１７は、データキャリア１６が接近すると、接近情報を受信して、この接近情報を障害物警報装置１に送信する。
【００５０】
障害物警報装置１のマイクロコンピュータ７０は、データキャリアリーダ１７から送信された接近情報を接近情報受信回路１３で受信すると、障害物の場所を特定することができ、さらにその障害物が歩行者、２輪車、４輪車のいずれであるかを認識することができる。
【００５１】
そして、マイクロコンピュータ７０は、ＧＰＳ受信回路１１により受信されたＧＰＳ信号と、ＤＶＤドライブ１２から読み出された地図情報と、接近情報受信回路１３により受信された接近情報と、に基づいて自車の位置を検出すると共に、自車位置周辺であってドライバの視界範囲外の移動障害物を検出し、当該移動障害物の種別（人、２輪車、４輪車のいずれか）を認識する。
【００５２】
さらに、マイクロコンピュータ７０は、図６に示す出現範囲推定テーブルを参照して、移動障害物の種別に基づいて、自車周辺の路上における移動障害物が出現する可能性のある範囲を推定する。例えば、マイクロコンピュータ７０は、移動障害物として４輪車を認識したときは、当該４輪車は現在の位置から進行方向に１０ｍの範囲内に出現する可能性があると推定する。また、移動障害物として歩行者を認識したときは、当該歩行者は現在位置から半径１ｍの範囲内に出現する可能性があると推定する。
【００５３】
マイクロコンピュータ７０は、自車の進行方向軸及び進行方向軸に直交する軸からなる座標系（以下「自車周辺座標系」という。）を設定し、移動障害物の出現可能性範囲を自車周辺座標系に記述して、ステップＳＴ１２に移行する。
【００５４】
ステップＳＴ１２では、マイクロコンピュータ７０は、ドライバの視界範囲内にある障害物を検出する。ここでは、マイクロコンピュータ７０は、障害物撮影用ＣＣＤカメラ２１及び赤外カメラ２２を駆動させ、障害物撮影用ＣＣＤカメラ２１及び赤外カメラ２２により生成された撮像画像を取得する。そして、各カメラにより生成された画像の差分を求めることで、安全上特に問題となる人間や車をそれ以外のものと十分にコントラストを付けた画像を得ることによって、移動障害物を検出する。
【００５５】
また、マイクロコンピュータ７０は、レーダ送受信機２３による送信から受信までの光レーダの往復時間に基づいて、自車の前方障害物の距離画像を得て、前方障害物を認識する。マイクロコンピュータ７０は、このようにして認識された移動障害物を自車周辺座標系に記述して、ステップＳＴ１３に移行する。
【００５６】
ステップＳＴ１３では、マイクロコンピュータ７０は、自車状態検出部３０からの情報に基づいて自車状態を検出する。ここでは、例えば特開平１１−３０１３４３号公報に記載されているように、マイクロコンピュータ７０は、車速、ハンドル操舵角度、アクセル操作量、ブレーキ操作量、ヨーレート、ロールレート、ピッチレート、前後加速度、横加速度及びウィンカ操作量を検出し、自車の進行方向を推定して、自車の進行方向の推定結果を自車周辺座標系に記述して、ステップＳＴ１４に移行する。
【００５７】
ステップＳＴ１４では、マイクロコンピュータ７０は、ステップＳＴ１１からステップＳＴ１３までの処理によって得られた自車周辺座標系に対して、自車の進行予測範囲内に出現する可能性のある移動障害物の情報のみを残し、その他の情報を除去する。そして、マイクロコンピュータ７０は、自車周辺座標系に記述された移動障害物に関する情報を障害物表示画面としてＬＣＤ６１に表示させると、サブルーチンを抜けて図３に示したステップＳＴ２に移行する。
【００５８】
ここで、障害物表示画面は、例えば図７に示すように、自車が走行している周囲の地図と、自車の現在位置と、自車の進行予測範囲と、移動障害物（人や車など）及びその出現可能範囲を表示している。障害物表示画面に表示された移動障害物の大きさは、当該移動障害物が出現する可能性のある範囲を示している。
【００５９】
（ステップＳＴ２）
ステップＳＴ２では、マイクロコンピュータ７０は、車両周囲環境をドライバが認識する度合を推定すべく、具体的には図８に示すステップＳＴ２１からステップＳＴ２４までの処理を実行する。
【００６０】
ステップＳＴ２１では、マイクロコンピュータ７０は、環境情報検出部４０からの情報を用いてドライバの姿勢の変化を検出する。すなわち、マイクロコンピュータ７０は、ドライバ撮影用ＣＣＤカメラ４２からの撮像画像についてフレーム間毎に差分を求め、撮像画像の差分値をドライバの移動領域量として検出する。
【００６１】
マイクロコンピュータ７０は、移動領域量が所定の閾値以上のときは「１」をカウントし、移動領域量が所定の閾値より小さいときはカウントを行わない。そして、例えば過去５分間のカウント値を求め、当該カウント値が閾値ＴＨ１未満のときは姿勢変化が「小」であると判定し、当該カウント値が閾値ＴＨ１以上であり閾値ＴＨ２（＞ＴＨ１）未満のときは姿勢変化が「中」であると判定し、当該カウント値が閾値ＴＨ２以上のときは姿勢変化が「大」であると判定する。また、マイクロコンピュータ７０は、照度センサ４１により検出された車両外部の照度を取得して、ステップＳＴ２２に移行する。
【００６２】
ステップＳＴ２２では、マイクロコンピュータ７０は、図７に示した障害物表示画面の所定領域毎に、環境の複雑度Ｃを演算する。なお、ここにいう複雑度Ｃとは、ドライバの交通環境の認識度合を推定するために用いられるパラメータをいう。
【００６３】
最初に、マイクロコンピュータ７０は、ステップＳＴ１で得られた障害物表示画面のうち、障害物及びその出現可能範囲のある領域を、距離・方向で４分割する。ここでは図９に示すように、障害物表示画面を領域Ａ，領域Ｂ，領域Ｃ及び領域Ｄに分割する。これにより、上記障害物表示画面は、自車の前方正面近距離の領域である領域Ａと、領域Ａに隣接し、かつ自車の前方正面遠距離の領域である領域Ｂと、領域Ａ及びＢに隣接し、かつ自車の前方左遠距離の領域である領域Ｃと、領域Ａ及びＢに隣接し、かつ自車の前方右遠距離の領域である領域Ｄと、を有している。なお、障害物表示画面領域Ａから領域Ｄは、模式的には図１０に示すように分割される。
【００６４】
次に、マイクロコンピュータ７０は、領域Ｂ、領域Ｃ及び領域Ｄのそれぞれについて、次の式（１）に基づいて交通環境の複雑度Ｃを演算する。
【００６５】
【数１】
【００６６】
指標Ｃ１は輝度分割ブロックの数、指標Ｃ２は赤色系分割ブロックの数を示している。また、α、β、γは、重み付け係数であり、それぞれ所定の値をとる。
【００６７】
ここで、指標Ｃ１の演算について説明する。なお、マイクロコンピュータ７０は、上述したように領域Ｂ、領域Ｃ及び領域Ｄについて指標Ｃ１を演算するが、ここでは、領域Ｂについて図１１に示す撮像画像を用いて指標Ｃ１を演算することについて説明する。
【００６８】
マイクロコンピュータ７０は、障害物撮影用ＣＣＤカメラ２１を駆動させ、例えば図１１に示すような撮像画像を得る。そして、当該撮像画像全体を輝度分割ブロックとして設定する。
【００６９】
マイクロコンピュータ７０は、設定された輝度分割ブロック内において各画素の輝度値の最大値と最小値の差を演算する。マイクロコンピュータ７０は、輝度値の最大値と最小値の差が所定の閾値以上であるかを判定し、上記差が所定の閾値を超えているときは輝度分割ブロックを４つに分割する。このとき、マイクロコンピュータ７０は、縦横ほぼ同じ画素数で構成されるように、かつ可能な限り大きくするように、輝度分割ブロックを分割するのが好ましい。
【００７０】
撮像画像の輝度値が例えば図１２（Ａ）に示すようになっている場合、マイクロコンピュータ７０は、輝度値の最大値（１８０）と最小値（０００）の差を演算する。そして、輝度値の最大値と最小値の差（１８０）が閾値（例えば４０）以上であるかを判定し、ここでは上記差が閾値（４０）を超えているので、図１２（Ａ）に示すように輝度分割ブロックを４つに分割する。
【００７１】
マイクロコンピュータ７０は、分割された各輝度分割ブロック内において各画素の輝度値の最大値と最小値の差が所定の閾値以下になるまで、前記輝度分割ブロックを４つに分割し、新たな輝度分割ブロックを設定することを繰り返す。
【００７２】
例えば、図１２（Ａ）に示す輝度分割ブロックＢＫ１は４×４画素で構成され、輝度値の最大値は１８０、輝度値の最小値は２０である。マイクロコンピュータ７０は、輝度分割ブロックＢＫ１の輝度値の最大値と最小値の差（１６０）を求め、上記差が閾値（４０）以上であるので、図１２（Ｂ）に示すように、輝度分割ブロックＢＫ１を４つ（ＢＫ２，ＢＫ３，ＢＫ４，ＢＫ５）に分割する。
【００７３】
そして、マイクロコンピュータ７０は、輝度分割ブロックＢＫ２の輝度値の最大値と最小値の差（３９）は閾値（４０）以上でないので、輝度分割ブロックＢＫ２に対しては分割を行わない。一方、輝度分割ブロックＢＫ３，ＢＫ４，ＢＫ５については、輝度値の最大値と最小値の差は閾値（４０）以上であるので、図１２（Ｃ）に示すように、各輝度分割ブロックＢＫを分割する。
【００７４】
このような処理を経て、マイクロコンピュータ７０は、各画素の輝度値の最大値と最小値の差が所定の閾値（４０）以下になった輝度分割ブロックの数を示す指標Ｃ１を求める。これにより、マイクロコンピュータ７０は、輝度分割ブロックを構成する各画素の輝度値を均質にする。
【００７５】
なお、指標Ｃ１は、各画素の輝度値の最大値と最小値の差が所定の閾値以下になった輝度分割ブロックの数に限定されるものではない。例えば、指標Ｃ１は、撮像画像の輝度値の分散値であってもよい。また、指標Ｃ１は、撮像画像の２次元高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）の高周波成分の総和であってもよい。
【００７６】
また、マイクロコンピュータ７０は、図１２（Ｃ）に示すように、輝度分割ブロックＢＫが１×１画素になるまで分割したが、輝度分割ブロックＢＫを分割して予め定めた大きさ（例えば、４×４画素）になったときに、分割を終了してもよい。
【００７７】
つぎに、指標Ｃ２の演算について説明する。なお、マイクロコンピュータ７０は、上述したように所定領域毎に赤色系分割ブロックの数を示すＣ２を演算するが、ここでは、領域Ｂについて、図１３（Ａ）に示す撮像画像を用いて指標Ｃ２を演算することについて説明する。
【００７８】
マイクロコンピュータ７０は、障害物撮影用ＣＣＤカメラ２１を駆動させ、例えば図１３（Ａ）に示すような撮像画像を得る。そして、当該撮像画像から明度０．３以上、彩度０．１以上を抽出して、例えば図１３（Ｂ）に示すような撮像画像を得る。さらに、マイクロコンピュータ７０は、０．１以下又は０．７５以上の色相を抽出すると、図１３（Ｃ）に示すような撮像画像を得る。
【００７９】
マイクロコンピュータ７０は、図１３（Ｃ）に示すような撮像画像に対して、同一の赤色系分割ブロック内が赤色系画素のみで占めるようにブロック分割を繰り返し、図１３（Ｄ）に示すように、赤色系画素（１）又は赤色系画素以外の画素（０）で構成された赤色系分割ブロックを得る。そして、マイクロコンピュータ７０は、赤色系画素のみで構成された赤色系分割ブロックの数である指標Ｃ２を求める。
【００８０】
マイクロコンピュータ７０は、求められた輝度分割ブロックの数を示す指標Ｃ１及び赤色系分割ブロックの数を示す指標Ｃ２を用いて、上述した式（１）に従って環境の複雑度Ｃを演算して、ステップＳＴ２３に移行する。なお、以上のようにして演算された複雑度Ｃの値は、例えば図１４に示すように、時刻によって変化する。
【００８１】
なお、指標Ｃ２は、赤色系分割ブロックの数に限定されるものではなく、例えば、次のような値でもよい。
【００８２】
マイクロコンピュータ７０は、所定の領域の撮像画像に対して、マンセル色票において色票が２．５ＲＰ，５ＲＰ，７．５ＲＰ，１０ＲＰ，２．５Ｒ，５Ｒ，７．５Ｒ，１０Ｒ，２．５ＹＲ，５ＹＲに属し、クロマ２以上、明度３以上の赤色系の画素のみを抽出してもよい。そして、同一の分割ブロック内が上記赤色系画素のみ、赤色系画素以外の画素のみで構成されるまで、上記分割ブロックを分割することを繰り返し、得られた分割ブロックの数を指標Ｃ２とすればよい。
【００８３】
また、マイクロコンピュータ７０は、所定の領域の撮像画像に対して、マンセル色票において色票が２．５ＲＰ，５ＲＰ，７．５ＲＰ，１０ＲＰ，２．５Ｒ，５Ｒ，７．５Ｒ，１０Ｒ，２．５ＹＲ，５ＹＲに属し、クロマ２以上、明度３以上の赤色系の画素のみを抽出し、上記赤色系の画素の数を指標Ｃ２としてもよい。あるいは、撮像画像の中央から上述した各赤色系画素の距離の総和を指標Ｃ２としてもよい。
【００８４】
ステップＳＴ２３では、マイクロコンピュータ７０は、環境認識度合を判定するための閾値ｔｈを設定する。閾値ｔｈは、車両外部の環境照度によって異なるように設定される。その理由は、複雑度Ｃの値が一定であっても、車両外部が明るかったり暗くなったりすると、ドライバは交通環境が複雑と感じたり単純と感じることがあるからである。
【００８５】
マイクロコンピュータ７０には、例えば図１５に示すように、環境照度に対する閾値ｔｈを記述した閾値テーブルが記憶されている。図１５によると、閾値ｔｈは、環境照度がゼロからＳ１までの場合は最小値（一定）となり、環境照度がＳ１からＳ２まで大きくなるに従って一定の割合で大きくなる。そして、閾値ｔｈは、環境照度がＳ２からＳ３までの場合は最大値（一定）となり、環境照度がＳ３より大きくなるに従って一定の割合で小さくなる。なお、図１５に示す閾値テーブルは本実施の形態の一例であり、本発明はこれに限定されるものではない。
【００８６】
そこで、マイクロコンピュータ７０は、上記閾値テーブルを参照して、照度センサ４１によって検出された環境照度に基づいて、閾値ｔｈを設定する。さらに、マイクロコンピュータ７０は、ドライバの操作入力値やドライバの姿勢変化に応じて、閾値ｔｈの最大値を再設定することができる。
【００８７】
最初に、マイクロコンピュータ７０は、スライダパネル５０に設けられたスライダ５１の入力値に応じて、閾値ｔｈの最大値を設定する。例えば、ドライバがスライダ５１を「強」の方にスライドしている場合は、図１５に示すように、マイクロコンピュータ７０は閾値ｔｈの最大値を大きく設定する。逆に、ドライバがスライダ５１を「弱」の方にスライドしている場合は、マイクロコンピュータ７０は閾値ｔｈの最大値を小さく設定する。なお、スライダ５１が「強」と「弱」の中間にある場合は、マイクロコンピュータ７０は、環境照度に基づいて設定されたデフォルトの閾値ｔｈのままでよい。
【００８８】
次に、マイクロコンピュータ７０は、ドライバの姿勢変化に応じて、閾値ｔｈの最大値を設定する。その理由は、ドライバは、頻繁に姿勢の変化がある場合では種々の環境を認識し易い傾向があり、姿勢の変化がない場合では環境を認識しにくい傾向があるからである。そこで、マイクロコンピュータ７０は、交通環境の認識のしやすさとドライバの姿勢変化の関係を考慮して、以下のように閾値ｔｈを設定する。
【００８９】
マイクロコンピュータ７０は、例えば上述したステップＳＴ２１においてドライバの姿勢変化が「小」であると判定した場合、図１６に示すように、閾値ｔｈの最大値を小さく設定する。逆に、例えばステップＳＴ２１においてドライバの姿勢変化が「大」であると判定した場合は、閾値ｔｈの最大値を大きく設定する。なお、マイクロコンピュータ７０は、ドライバの姿勢変化が「中」であると判定した場合は、環境照度に基づいて設定されたデフォルトの閾値ｔｈのままでよい。
【００９０】
このように、マイクロコンピュータ７０は、環境照度に対応する閾値ｔｈが記述された閾値テーブルと、スライダパネル５０に設けられたスライダ５１の入力値と、更にドライバの姿勢変化と、に基づいて閾値ｔｈを設定すると、ステップＳＴ２４に移行する。
【００９１】
ステップＳＴ２４では、マイクロコンピュータ７０は、図１７に示すように、ステップＳＴ２２で演算された複雑度Ｃと、ステップＳＴ２３で設定された閾値ｔｈとを比較する。そして、複雑度Ｃが閾値ｔｈを超えていなかったときは、環境は複雑でない、すなわち単純であると判定する。また、複雑度Ｃが閾値ｔｈを超えていたときは、環境は複雑であると判定する。
【００９２】
マイクロコンピュータ７０は、障害物撮影用ＣＣＤカメラ２１で得られた撮像画像が例えば図１８に示すような前方風景の場合は、交通環境が「単純」であると判定し、例えば図１９に示すような前方風景の場合は、交通環境が「複雑」であると判定する。そして、サブルーチン処理を終了して、図３に示すステップＳＴ３に移行する。
【００９３】
（ステップＳＴ３）
ステップＳＴ３では、マイクロコンピュータ７０は、ドライバに対して障害物の警報を行う。ここでは、領域毎に警報要請フラグがあるかを判定し、優先順位の高いフラグを用いてドライバに所定の警報を行う。なお、ここにいう警報要請フラグとは、上記所定領域について障害物等の存在によりドライバに警報を行う必要があることを示すフラグをいう。そして、マイクロコンピュータ７０は、具体的には図２０に示すステップＳＴ３１からステップＳＴ４２までの処理を実行する。
【００９４】
ステップＳＴ３１では、マイクロコンピュータ７０は、領域Ａの警報要請フラグを生成するか否かを判定する。ここでは、具体的には図２１に示すステップＳＴ５１からステップＳＴ５４までのサブルーチンを実行する。
【００９５】
ステップＳＴ５１では、マイクロコンピュータ７０は、領域Ａにおいて障害物を検出したか、又は現在の自車位置が障害物出現範囲内にあるかを判定し、いずれか一方の条件を満たすときはステップＳＴ５２に移行し、いずれの条件も満たさないときはサブルーチン処理を終了する。
【００９６】
ステップＳＴ５２では、マイクロコンピュータ７０は、上述したステップＳＴ１３で検出された自車状態に基づいて、障害物に対して自車が回避行動をとっているかを判定し、回避行動をとっているときはステップＳＴ５３に移行し、回避行動をとっていないときはサブルーチン処理を終了する。
【００９７】
ステップＳＴ５３では、マイクロコンピュータ７０は、ステップＳＴ１において検出された障害物に関する情報及び自車状態に基づいて、自車が障害物を回避することが不可能であるかを判定する。そして、例えばドライバがブレーキペダルを踏んだり、ハンドルを操作して、障害物に対する回避行動をとっていたとしても、自車が障害物を回避することができないときはステップＳＴ５４に移行し、自車が障害物を回避することができるときはサブルーチン処理を終了する。
【００９８】
ステップＳＴ５４では、マイクロコンピュータ７０は、領域Ａにおける警報要請フラグを発生してサブルーチン処理を終了する。マイクロコンピュータ７０は、このようなサブルーチン処理を終了すると、図２０に示すステップＳＴ３２に移行する。
【００９９】
ステップＳＴ３２では、マイクロコンピュータ７０は、領域Ｂ，Ｃ及びＤのそれぞれに対して警報要請フラグを生成するか否かの判定を行う。具体的には図２２に示すステップＳＴ６１からステップＳＴ６４までのサブルーチン処理を実行する。なお、ここではいずれの領域でも同じ処理を行うので、領域Ｂの処理を例に挙げて説明する。
【０１００】
ステップＳＴ６１では、マイクロコンピュータ７０は、領域Ｂにおいて障害物を検出したか、又は現在の自車位置が障害物出現範囲内にあるかを判定し、いずれか一方の条件を満たすときはステップＳＴ６２に移行し、いずれの条件も満たさないときはサブルーチン処理を終了する。
【０１０１】
ステップＳＴ６２では、マイクロコンピュータ７０は、上述したステップＳＴ２において領域Ｂは複雑であると判定したか、すなわち、ステップＳＴ２において領域Ｂの複雑度Ｃが閾値ｔｈを超えたかを判定する。そして、領域Ｂの複雑度Ｃが閾値ｔｈを超えたときはステップＳＴ６３に移行し、閾値ｔｈを超えていないときはサブルーチン処理を終了する。
【０１０２】
ステップＳＴ６３では、マイクロコンピュータ７０は、障害物又は障害物出現範囲の場所が初めて警報を発する場所であるかを判定し、初めて警報を発する場所であるときはステップＳＴ６４に移行し、初めて警報を発する場所でないときはサブルーチン処理を終了する。
【０１０３】
ステップＳＴ６４では、マイクロコンピュータ７０は、領域Ｂにおける警報要請フラグを発生してサブルーチン処理を終了する。マイクロコンピュータ７０は、以上のようなサブルーチン処理を終了すると、図２０に示すステップＳＴ３３に移行する。
【０１０４】
ステップＳＴ３３では、マイクロコンピュータ７０は、領域Ａの警報要請フラグがあるか否かを判定し、領域Ａの警報要請フラグがあったときはステップＳＴ３９に移行し、領域Ａの警報要請フラグがなかったときはステップＳＴ３４に移行する。
【０１０５】
ステップＳＴ３４では、マイクロコンピュータ７０は、領域Ｃ又は領域Ｄの警報要請フラグがあるか否かを判定する。そして、各領域の少なくとも一方に警報要請フラグがあったときはステップＳＴ３８に移行し、各領域のいずれにも警報要請フラグがないときはステップＳＴ３５に移行する。
【０１０６】
ステップＳＴ３５では、マイクロコンピュータ７０は、領域Ｂの警報要請フラグがあるか否かを判定し、領域Ｂの警報要請フラグがあったときはステップＳＴ３６に移行し、領域Ｂの警報要請フラグがなかったときはサブルーチン処理を終了する。
【０１０７】
このように、マイクロコンピュータ７０は、ステップＳＴ３３からステップＳＴ３５の順に処理を実行することで、領域Ａ、領域Ｃ又は領域Ｄ、領域Ｂの順に優先順位を設定し、優先順位の高い領域から障害物の警報を行っている。
【０１０８】
ステップＳＴ３６では、マイクロコンピュータ７０は、前回の判定処理で領域Ａの警報要請フラグがあったかを判定し、領域Ａの警報要請フラグがあったときはステップＳＴ３７に移行し、領域Ａの警報要請フラグがなかったときはサブルーチン処理を終了する。
【０１０９】
ステップＳＴ３７では、マイクロコンピュータ７０は、ドライバに領域Ｂの警報を行う。マイクロコンピュータ７０は、ドライバに対する警報として、「前方障害物に注意してください。」、「交差点に近づきます。歩行者の飛び出しに注意してください。」などをＬＣＤ６１に表示させたり、音声によりスピーカ６２から出力させて、サブルーチン処理を終了する。
【０１１０】
また、ステップＳＴ３４で領域Ｃ、領域Ｄの少なくとも一方の警報要請フラグがあったと判定して移行したときのステップＳＴ３８では、マイクロコンピュータ７０は、警報要請フラグのあった領域について、ドライバに対して警報を行う。警報要請の一例としては、ステップＳＴ３７と同様である。
【０１１１】
一方、ステップＳＴ３３で領域Ａの警報要請フラグがあったと判定して移行したときのステップＳＴ３９では、領域Ａの警報要請フラグが所定数以上あるか否かを判定し、警報要請フラグが所定数以上あるときはステップＳＴ４０に移行し、警報要請フラグが所定数以上ないときはステップＳＴ４２に移行する。
【０１１２】
ステップＳＴ４０では、マイクロコンピュータ７０は、自車状態検出部３０により検出された車速が所定値以上であるかを判定し、車速が所定値以上であるときはステップＳＴ４１に移行し、車速が所定値以上でないときはステップＳＴ４２に移行する。
【０１１３】
ステップＳＴ４１では、マイクロコンピュータ７０は、ドライバに対して領域Ａにおける第１警報を行う。マイクロコンピュータ７０は、ドライバに対する第１警報として、例えば「衝突注意。減速してください。」などをＬＣＤ６１に表示させたり、音声によりスピーカ６２から出力させて、サブルーチン処理を終了する。
【０１１４】
ステップＳＴ４２では、マイクロコンピュータ７０は、ドライバに対して領域Ａにおける第２警報を行う。マイクロコンピュータ７０は、ドライバに対する第２警報として、例えば「障害物を回避してください。」などをＬＣＤ６１に表示させたり、音声によりスピーカ６２から出力させて、サブルーチン処理を終了する。
【０１１５】
マイクロコンピュータ７０は、ステップＳＴ３のサブルーチン処理を終了すると、ドライバに対する警報を終了する。このように、マイクロコンピュータ７０は、各領域の警報要請フラグに優先順位を設定して処理を行うことによって、ドライバに対する警報を最小限に抑制し、情報過多になってドライバが混乱することを防止することができる。
【０１１６】
以上のように、第１の実施の形態に係る障害物警報装置１は、移動障害物を自動的に認識し、移動障害物の出現可能範囲を推定し、更に、移動障害物の出現場所において、ドライバの交通環境の認識度合を考慮することによって、ドライバを混乱させることなく、移動障害物をドライバに認識させることができる。また、障害物警報装置１は、ドライバに提示するべき情報量が多いときは、自車の車速を低下させるように促して、事故を未然に防止することができる。
【０１１７】
障害物警報装置１は、図１０に示した領域Ａから領域Ｄのいずれにおいても障害物を検出した場合には、自車直前の領域Ａを最優先し、領域Ａに存在する障害物に対して警報を行う。これにより、障害物警報装置１は、直前に迫った危機を回避することができる。
【０１１８】
［他の実施の形態］
つぎに、本発明の他の実施の形態について説明する。なお、第１の実施の形態と重複する箇所については同一の符号を付し、詳細な説明は省略する。
【０１１９】
（撮像画像の分割の態様）
第１の実施の形態では、マイクロコンピュータ７０は、図１０に示すように、撮像領域を領域Ａから領域Ｄまでの４つに分割し、領域Ｂ、領域Ｃ及び領域Ｄにおいて指標Ｃ１及び指標Ｃ２を演算していた
これに対して、マイクロコンピュータ７０は、例えば図２３（Ａ）に示す撮像画像を、図２３（Ｂ）に示すように４つの領域に分割してもよい。つまり、マイクロコンピュータ７０は、長方形状の撮像画像を２つの対角線に沿って分割することによって、撮像画像を４つの領域に分割している。そして、第１の実施の形態と同様に、各領域について指標Ｃ１及び指標Ｃ２を演算すればよい。
【０１２０】
また、マイクロコンピュータ７０は、例えば図２４（Ａ）に示す撮像画像を、図２４（Ｂ）に示すように、領域（１）、２つの領域（２）、領域（３）の４つの領域に分割してもよい。ここで、領域（１）は、自車の前方直前の車両を示す領域である。領域（２）は、領域（１）の両外側の領域である。領域（３）は、領域（１）及び領域（２）以外の領域である。
【０１２１】
マイクロコンピュータ７０は、領域（１）については輝度分割ブロックを１×１画素まで分割し、領域（２）については２×２画素まで分割し、領域（３）については２×２画素まで分割して、各領域で指標Ｃ１を演算することができる。さらに、マイクロコンピュータ７０は、各領域において赤色系分割ブロックを１×１画素まで分割して、図２４（Ｃ）に示す画像を得て、各領域で指標Ｃ２を演算することができる。
【０１２２】
さらに、マイクロコンピュータ７０は、撮像画像を次のように分割することもできる。例えば図２５に示すように、撮像画像を「画面下部」、「画面中央」、「画面左方」、「画面右方」に分割してもよい。「画面下部」は、撮像画像の下側の縦方向約１／５から１／４までの長方形状の領域である。「画面中央」は、三角形状の領域であり、その三角形の一辺が「画面下部」に隣接し、その一辺の対角が撮像画面の上端に位置している。「画面左方」は、「画面下部」及び「画面中央」以外の領域のうち左側の台形状の領域である。「画面右方」は、「画面下部」及び「画面中央」以外の領域のうち右側の台形状の領域である。
【０１２３】
画面中央については、図２６に示すように、さらに分割してもよい。
【０１２４】
（閾値ｔｈの設定）
マイクロコンピュータ７０は、第１の実施の形態のように、ドライバ個人によって操作されたスライダ５１の入力値に従って閾値ｔｈを設定する場合に限らず、例えば複数のドライバによって操作されたスライダ５１の各入力値に従って設定するようにしてもよい。
【０１２５】
図２７は、１０名のドライバに１０枚の撮像画像を提示した場合に、ドライバによって入力された環境の認識度合をプロットした図である。マイクロコンピュータ７０は、例えばこれらの値の平均を演算することで妥当な閾値ｔｈを設定することができる。
【０１２６】
（複雑度Ｃの他の演算手法）
マイクロコンピュータ７０は、式（１）に従って複雑度Ｃを演算し、複雑度Ｃと閾値ｔｈとを比較することによって環境認識度合を推定していたが、本発明はこれに限定されるものではない。
【０１２７】
マイクロコンピュータ７０は、例えば図２８に示すように、指標Ｃ１及び指標Ｃ２によって決定される認識度合を示す認識度合マップを記憶してもよい。このとき、マイクロコンピュータ７０は、第１の実施の形態と同様にして指標Ｃ１及び指標Ｃ２を演算し、上記認識度合マップを参照して環境の認識度合を推定すればよい。例えば、マイクロコンピュータ７０は、（Ｃ１，Ｃ２）＝（ａ，ｂ）のときは環境の認識度合が高いと判定し、（Ｃ１，Ｃ２）＝（ｃ，ｄ）のときは環境の認識度合が低いと判定することができる。
【０１２８】
（３次元空間配置）
マイクロコンピュータ７０は、撮像画像を予め所定領域に分割し、所定領域毎に、第１の実施の形態と同様に指標Ｃ１及び指標Ｃ２を演算し、さらに、指標Ｃ１・Ｃ２を演算する。そして、指標Ｃ１、指標Ｃ２、指標Ｃ１・Ｃ２を、図２９に示すように、３次元ベクトル空間に配置し、各画素上での移動ベクトルの値（大きさ、向き）を複雑度Ｃとして用いることもできる。
【０１２９】
このとき、例えば図３０に示すように、３次元ベクトル空間内に、環境の認識度合が低いと推定される第１の領域と、環境の認識度合が高いと推定される第２の領域とを設けてもよい。マイクロコンピュータ７０は、上記３次元空間を用いて求められた複雑度Ｃが上記領域のいずれに属するかを判定し、複雑度Ｃが第１の領域にあるとドライバは環境認識の度合が低いと推定し、複雑度Ｃが第２の領域にあるとドライバは環境認識の度合が高いと推定することができる。
【０１３０】
（ニューラルネット）
マイクロコンピュータ７０は、ニューラルネットを用いて環境の認識度合を推定してもよい。図３１は、ニューラルネットを用いて環境の認識度合を推定するマイクロコンピュータ７０の機能的な構成を示すブロック図である。
【０１３１】
マイクロコンピュータ７０は、更新可能なデータベースを有する変換関数からなるニューラルネット７１と、ドライバの環境の認識度合を推定する認識度合推定部７２と、入力値から推定値を減算する処理を行う演算器７３と、を備えている。なお、ニューラルネット７１の代わりに、統計的手法によって学習機能を備えたものであってもよい
演算器７３は、図２に示したスライダ５１の入力値から、認識度合推定部７２で推定された環境の認識度合の推定値を減算する。ニューラルネット７１は、演算器７３により減算された減算値と、複雑度Ｃとに基づいて逐次学習し、学習済みの複雑度Ｃを認識度合推定部７２に供給する。認識度合推定部７２は、ニューラルネット７１からの学習済みの複雑度Ｃを用いて、ドライバ毎に環境の認識度合を推定すればよい。
【０１３２】
この結果、マイクロコンピュータ７０は、ドライバの実際の環境認識を考慮して逐次学習し、ドライバ個人の視覚特性に応じて、交通環境の認識度合を正確に推定することができる。
【０１３３】
【発明の効果】
本発明に係る環境複雑度演算装置は、前記撮像手段で生成された撮像画像に含まれる輝度の変化の分布、前記撮像画像に含まれる赤色系画素の分布の少なくとも一方に基づいて、環境の複雑度を演算することによって、環境の認識のしにくさ、すなわち環境の複雑さを示す複雑度を求めることができる。
【０１３４】
本発明に係る環境認識度合推定装置は、複雑度演算装置で演算された複雑度に基づいて環境の認識度合を推定することによって、観察者の環境の認識度合を客観的かつ正確に推定することができる。
【０１３５】
本発明に係る障害物警報装置は、障害物の位置を検出し、検出された障害物の位置を含む所定領域が環境の認識度合が低いと推定されたときに、前記障害物に関する警報を行うことによって、環境の認識度合の低い領域に障害物があるときに当該障害物の存在を観察者に警報することができる。一方、環境の認識度合の高い領域に障害物があるときに警報を行わないので、観察者が余計な警報によって煩わしさを受けることを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る障害物警報装置の構成を示すブロック図である。
【図２】障害物警報装置に備えられたスライダパネルの構成を示す図である。
【図３】障害物警報装置に備えられたマイクロコンピュータの動作手順のメインルーチンを示すフローチャートである。
【図４】メインルーチンにおけるステップＳＴ１の具体的な動作手順を示すフローチャートである。
【図５】データキャリアとデータキャリアリーダの概要を説明するための図である。
【図６】マイクロコンピュータに記憶された出現範囲推定テーブルを示す図である。
【図７】ＬＣＤに表示される障害物表示画面を示す図である。
【図８】メインルーチンにおけるステップＳＴ２の具体的な動作手順を示すフローチャートである。
【図９】障害物表示画面を領域Ａから領域Ｄに分割した状態を説明する図である。
【図１０】障害物表示画面を模式的に領域Ａから領域Ｄに分割した状態を説明する図である。
【図１１】領域Ｂで指標Ｃ１を演算するときの撮像画像の一例を示す図である。
【図１２】撮像画像の輝度値の一例を示す図である。
【図１３】撮像画像の一例を示す図である。
【図１４】複雑度Ｃが時刻によって変化する状態を説明する図である。
【図１５】環境照度に対する閾値が記述された閾値テーブルを示す図である。
【図１６】ドライバの姿勢変化に応じて閾値ｔｈが変化する状態を説明する図である。
【図１７】複雑度Ｃと閾値ｔｈとを比較して環境の認識度合を推定するための図である。
【図１８】交通環境が単純である風景画像の一例を示す図である。
【図１９】交通環境が複雑である風景画像の一例を示す図である。
【図２０】メインルーチンにおけるステップＳＴ３の具体的な動作手順を示すフローチャートである。
【図２１】サブルーチンにおけるステップＳＴ３１の具体的な動作手順を示すフローチャートである。
【図２２】サブルーチンにおけるステップＳＴ３２の具体的な動作手順を示すフローチャートである。
【図２３】撮像画像の分割の他の手法を説明するための図である。
【図２４】撮像画像の分割の他の手法を説明するための図である。
【図２５】撮像画像の分割の他の手法を説明するための図である。
【図２６】画面中央の分割の一例を示す図である。
【図２７】１０名のドライバに１０枚の撮像画像を提示した場合に、ドライバによって入力された環境の認識度合をプロットした図である。
【図２８】指標Ｃ１及び指標Ｃ２によって決定される認識度合を示す認識度合マップを示す図である。
【図２９】指標Ｃ１、指標Ｃ２、指標Ｃ１・Ｃ２からなる３次元ベクトル空間を示す図である。
【図３０】３次元ベクトル空間内に、環境の認識度合が低いと推定される第１の領域と、環境の認識度合が高いと推定される第２の領域とを設けた状態を説明する図である。
【図３１】ニューラルネットを用いて環境の認識度合を推定するマイクロコンピュータの機能的な構成を示すブロック図である。
【符号の説明】
１ 障害物警報装置
１０ インフラ情報検出部
２０ 障害物情報検出部
４０ 環境情報検出部
６０ 障害物情報出力部
７０ マイクロコンピュータ
【発明の属する技術分野】
本発明は、環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置に係り、特に、車両周囲の交通環境に応じてドライバの障害物認識支援を行う環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
車両の運転において、車両の直進時では左右からの飛び出しの確認をすることや、車両の右左折時では進行方向に対して左右の横断物の確認を行うことは、事故を防止する上で重要である。左右から飛び出したり横断する移動体は、例えば、歩行者、２輪車、４輪車などの種々のものが考えられる。
【０００３】
特開平３−２６０８１３号公報では、このような移動体を検出する環境認識装置が提案されている。環境認識装置は、明度情報の差分や閉区間領域を抽出することで輪郭情報を得て、輪郭情報から移動物体を認識している。しかし、車両を取り巻く照明条件は刻々と変わり、また外乱光などの影響があるため、輪郭を完全にかつ鮮明に抽出できることは少ない。したがって、上記環境認識装置は、輪郭情報のみを用いて画像認識を行うので、情報量の少なさから環境変化への対応が弱い。特に、車両に搭載されて障害物等を検出する場合では、上述した影響を大きく受けるので、最適に移動体を検出することができるとは言いがたい。また、明度情報から直接閉区間を抽出する処理は、影や外乱光などの影響を受けやすく、外乱光によって変化した明度が直接に重心や面積の変化に影響を与えるため、困難である。
【０００４】
このほか、テンプレートマッチングやテクスチャーマッチングなど輪郭情報に内部情報を加えた検出手法も提案されている。しかし、処理時間がかかってしまったり、テンプレートに関する膨大な情報を予め用意する手間がかかってしまうなどの問題がある。
【０００５】
こうした背景の下、例えば近年、画像情報を圧縮する技術から派生して、カメラの撮像情報を明度データの分布ととらえる技術が提案されている。
【０００６】
特開平１１−１４２１６８号公報では、多変量解析の１つである主成分分析などを行い、撮像情報を正規化主成分特徴量で張られた情報空間に写像し、情報空間内でのデータの挙動を解析することによって画像認識する手法を改良した技術が提案されている。この技術は、正規化主成分特徴量を車両運動情報、操作情報を用いてよりロバストな環境認識を行うものである。また、特開２０００−１９２５９号公報では、可視光線映像情報と可視光以外の赤外線映像情報とを用いて物体を認識する技術が提案されている。
【０００７】
しかし、これらの技術は、例えばガードレールや停止車輌等の物体の認識を妨げる要因が多く存在する場合、移動体を認識することが困難である。例えば、車両が通行する路面上以外の歩道や交差点における歩行者、自転車の待機場所や停止車輌間から飛び出してきた歩行者を認識することができない問題がある。
【０００８】
これに対して、例えば特開平１１−３０１３４３号では、障害物そのものだけでなく、カメラ（可視光、赤外）を用いた、環境（道路形状）認識により移動障害物の出現確率を予測する車両用照明装置が提案されている。また、特開平１１−２３２５６９号では、交差点等に歩行者が近づいたか否かを車輌側へ発信する装置をもつ歩行者警報システムが提案されている。さらに、特開平６−１４４１２９号公報では、移動障害物を積極的に認識することなく、同一の注意すべき状態に対して複数用意されていた注意項目をランダムに１つ選択して運転手に報知することで注意喚起を図る注意喚起アシスト装置が提案されている。
【０００９】
このように、移動障害物の自動認識、移動物体の出現確率を考慮したもの、あるいは歩行者の接近警告などを行うことによって、ドライバに対して障害物認識支援をする移動障害物認識支援が提案されている。
【００１０】
しかし、最終的に移動障害物を認識するのはドライバ自身である。そのドライバの視覚認知、認知特性を考慮しなければ、大量の情報をドライバに提示しすぎたために、かえってドライバーを混乱させる可能性がある。また、注意項目を場所にあわせてランダムに提示する方法は、情報提示量は少ないものの非効率である。
【００１１】
本発明は、上述した課題を解決するために提案されたものであり、ドライバに過剰な情報を提示することなく効率的かつ的確に障害物認識支援を行うことができる環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１記載の発明は、環境からの撮像光に基づいて撮像画像を生成する撮像手段と、前記撮像手段で生成された撮像画像に輝度分割ブロックを設定し、設定された輝度分割ブロック内において各画素の輝度値が均質であると判断されるまで、前記輝度分割ブロックを分割して新たな輝度分割ブロックを設定することを繰り返し、前記撮像画像に対して、各画素の輝度値が均質になった輝度分割ブロックの数に基づいて環境の複雑度を演算する複雑度演算手段と、を備えている。
【００１３】
請求項１記載の発明では、撮像手段は、例えば車両前席から正面の交通環境を撮像するように設置されているのが好ましい。
【００１５】
複雑度演算手段は、撮像画像に対して輝度分割ブロックを設定する。最初に設定される輝度分割ブロックは、複雑度を演算する領域を示している。そして、輝度分割ブロック内において、各画素の輝度値が均質であると判断されるまで、前記輝度分割ブロックを分割し、分割された輝度分割ブロックを新たな輝度分割ブロックとして設定し、この処理を繰り返す。ここで、各画素の輝度値が均質であるとは、各画素の輝度値が一致する場合に限らず、輝度値の最大値と輝度値の最小値の差が所定値以下であればよい。すなわち、各画素の輝度値のばらつきが所定値以下になっていればよい。
【００１６】
そして、すべての輝度分割領域内の各画素の輝度値が均質であると判断されると、これらのすべての輝度分割ブロックの数を環境の複雑度として求める。このような輝度分割ブロックの数は空間周波数に対応している。すなわち、総数が多いと高周波成分が多く、撮像画像が複雑である。また、総数が少ないと高周波成分が少なく、撮像画像は単純である。このように、輝度分割ブロックの数を求めることで、環境の複雑度を求めることができる。
【００１７】
請求項２記載の発明は、環境からの撮像光に基づいて撮像画像を生成する撮像手段と、前記撮像手段で生成された撮像画像に赤色系分割ブロックを設定し、設定された赤色系分割ブロックが所定の赤色系画素のみで構成されるまで、前記赤色系分割ブロックを分割して新たな赤色系分割ブロックを設定することを繰り返し、前記撮像画像に対して、前記所定の赤色系画素のみで構成される赤色系分割ブロックの数に基づいて環境の複雑度を演算する複雑度演算手段と、を備えたことを特徴とする。
【００１８】
請求項２記載の発明では、複雑度演算手段は、撮像画像に対して赤色系分割ブロックを設定する。最初に設定される赤色系分割ブロックは、複雑度を演算する領域を示している。赤色系分割ブロックが所定の赤色系画素のみで構成されるまで、当該赤色系分割ブロックを分割する。そして、分割された赤色系分割ブロックを新たな赤色系分割ブロックとして設定し、この処理を繰り返す。すべての赤色系分割ブロックが所定の赤色系画素のみで構成されると、これらのすべての赤色系分割ブロックの数を環境の複雑度として求める。赤色は緑色に比べて誘目性が高い特性があり、赤色系分割ブロックの数は画像の複雑さを示している。したがって、上記赤色系分割ブロックの数を演算することで、環境の複雑度を求めることができる。
【００１９】
請求項３記載の発明は、環境からの撮像光に基づいて撮像画像を生成する撮像手段と、前記撮像手段で生成された撮像画像に輝度分割ブロックを設定し、設定された輝度分割ブロック内において各画素の輝度値が均質であると判断されるまで、前記輝度分割ブロックを分割して新たな輝度分割ブロックを設定することを繰り返し、前記撮像画像に対して、各画素の輝度値が均質になった輝度分割ブロックの数を演算し、前記撮像手段で生成された撮像画像に赤色系分割ブロックを設定し、設定された赤色系分割ブロックが所定の赤色系画素のみで構成されるまで、前記赤色系分割ブロックを分割して新たな赤色系分割ブロックを設定することを繰り返し、前記撮像画像に対して、前記所定の赤色系画素のみで構成される赤色系分割ブロックの数を演算し、前記輝度分割ブロックの数と、赤色系分割ブロックの数と、に基づいて環境の複雑度を演算する複雑度演算手段と、を備えたことを特徴とする。
【００２０】
請求項３記載の発明では、複雑度演算手段は、請求項１記載の発明と同様にして輝度分割ブロックの数を求め、さらに、請求項２記載の発明と同様にして赤色系分割ブロックの数を求め、これらの総数に基づいて環境の複雑度を求める。環境の複雑度としては、輝度分割ブロックの数、赤色系分割ブロックの数、輝度分割ブロックの数と赤色系分割ブロックの数との積、にそれぞれ所定の重み付け係数を乗して、これらの総和を求めるのが好ましい。
【００２１】
請求項４記載の発明は、請求項１から３のいずれか１項記載の環境複雑度演算装置と、前記複雑度演算装置で演算された複雑度に基づいて、環境の認識度合を推定する環境認識度合推定手段と、を備えている。
【００２２】
請求項４記載の発明では、環境複雑度演算装置で演算された複雑度は、環境の撮像画像の複雑さを示していることから、観察者の環境の認識度合を推定するためのパラメータとして用いられる。すなわち、環境認識度合推定手段は、上記複雑度に基づいて環境の認識度合を推定することができる。
【００２３】
請求項５記載の発明は、請求項４記載の発明において、前記環境認識度合推定手段は、前記複雑度演算装置で演算された複雑度が閾値以上であるときは環境の認識度合が低いと推定し、前記複雑度演算装置で演算された複雑度が閾値より小さいときは環境の認識度合が高いと推定することを特徴とする。
【００２４】
請求項５記載の発明では、環境の認識度合の基準値となる閾値を設定する。すなわち、閾値は、環境が複雑と単純の中間を示す複雑度の値である。そこで、環境認識度合推定手段は、この閾値を用いることで、複雑度が閾値以上であるときは環境の認識度合が低いと推定し、複雑度が閾値より小さいときは環境の認識度合が高いと推定することができる。
【００２５】
請求項６記載の発明は、請求項５記載の発明において、環境の照度を検出する照度検出手段を更に備え、前記環境認識度合推定手段は、前記環境の照度に対応する前記閾値が記述された閾値テーブルに基づいて、前記照度検出手段により検出された照度に対応する前記閾値を設定することを特徴とする。
【００２６】
請求項６記載の発明では、複雑度が一定であっても、車両外部が明るかったり暗くなったりすると、観察者は環境が複雑と感じたり単純と感じることがあることがある。そこで、このような照度の変化による環境の認識度合の変化を補正するため、照度に対応する閾値が予め記述された閾値テーブルを用いる。これにより、照度検出手段により照度が検出されると、検出された照度に対応する閾値を設定することができる。そして、設定された閾値を用いて環境の認識度合を推定することができる。この結果、照度がどのような値であっても、環境の認識度合を正確に推定することができる。
【００２７】
請求項７記載の発明は、請求項６記載の発明において、観察者の姿勢変化を検出する姿勢変化検出手段を更に備え、前記環境認識度合推定手段は、前記姿勢変化検出手段で検出された観察者の姿勢変化が大きくなるに従って前記閾値テーブルに記述された前記閾値の最大値を大きく設定し、前記姿勢変化検出手段で検出された観察者の姿勢変化が小さくなるに従って前記閾値の最大値を小さく設定することを特徴とする。
【００２８】
請求項７記載の発明では、観察者は、姿勢変化が大きい場合には、環境を認識する度合が高い傾向にある。環境認識度合推定手段は、観察者の姿勢変化が大きくなるに従って閾値テーブルに記述された閾値の最大値を大きく設定し、観察者の姿勢変化が小さくなるに従って閾値の最大値を小さく設定することで、観察者の実際の視覚特性に合致するように、環境の認識度合を正確に推定することができる。
【００２９】
請求項８記載の発明は、所定領域毎に環境の認識度合を推定する請求項４から７のいずれか１項記載の環境認識度合推定装置と、障害物の位置を検出する障害物位置検出手段と、前記障害物検出手段で検出された障害物の位置を含む所定領域が、前記環境認識度合推定手段によって環境の認識度合が低いと推定されたときに、前記障害物に関する警報を行う警報手段と、を備えている。
【００３０】
請求項８記載の発明では、障害物位置検出手段は、障害物の位置を検出する。このとき、環境認識度合推定装置は、障害物が検出された位置を含む所定領域の環境の認識度合を推定する。ここで、環境の認識度合が高い場合、観察者は、障害物位置検出手段によって検出された障害物を十分認識することができる。一方、環境の認識度合が低い場合、観察者は、障害物位置検出手段によって検出された障害物を認識することができない可能性がある。そこで、警報手段は、障害物の位置を含む所定領域が環境の認識度合が低いと推定されたときに、障害物に関する警報を行う。これにより、観察者は、環境の認識度合が低い領域に障害物がある場合でも、障害物があることを事前に認識して、事故を回避することができる。なお、警報手段は、画像又は音声を出力することによって、観察者に注意を喚起させることができる
また、警報手段は、障害物の位置を含む所定領域が環境の認識度合が高いと推定されたときに、障害物に関する警報は行わない。これにより、観察者は、環境の認識度合が高い領域に障害物がある場合では、その障害物を認識することができるので、余計な警報によって煩わしさを受けることがない。
【００３１】
請求項９記載の発明は、請求項８記載の発明において、前記環境認識度合推定装置は、撮像画像の下部を除く領域を複数の推定領域に分割し、分割された推定領域毎に環境の認識度合を推定し、前記警報手段は、前記障害物位置検出手段により検出された障害物の位置が前記推定領域のいずれにあり、かつ、当該推定領域の環境の認識度合が前記環境認識度合推定手段によって低いと推定されたときに、優先度の高い推定領域に存在する障害物に関する警報を行うことを特徴とする。
【００３２】
請求項８記載の発明では、環境認識度合推定装置は、撮像画像の下部を除く領域を複数の推定領域に分割し、分割された推定領域毎に環境の認識度合を推定する。つまり、撮像画像の下部については環境の認識度合を推定しない。その理由は、撮像画面の下部は、観察者直前の環境の画像を示しており、その環境の認識の度合を推定する意味がないからである。
【００３３】
警報手段は、前記障害物位置検出手段により検出された障害物の位置が前記推定領域のいずれにあり、かつ、当該推定領域の環境の認識度合が前記環境認識度合推定手段によって低いと推定されたかを判定する。ここでは、障害物が検出され、かつ環境の認識度合が低い推定領域をすべて選択する。そして、選択された指定領域のうち優先度の高い推定領域について、障害物が存在する旨の警報を行う。これにより、最も危険な領域を観察者に注意させることで大きな事故を回避することができると共に、あまり危険でない領域については観察者に報知しないことで観察者が情報過多になって混乱するのを防止することができる。
【００３４】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００３５】
［第１の実施の形態］
本発明の第１の実施の形態は、例えば図１に示す構成の障害物警報装置１に適用することができる。障害物警報装置１は、車両外部のインフラからインフラ情報を検出するインフラ情報をインフラ情報検出部１０と、道路及びその周辺の障害物に関する情報を検出する障害物情報検出部２０と、自車両の動作状態を検出する自車状態検出部３０と、ドライバや車両外部の環境を検出する環境情報検出部４０と、ドライバの環境認識の度合を示す視覚特性を入力するためのスライダパネル５０と、障害物情報を出力する障害物情報出力部６０と、各部において検出された情報に基づいて全体の制御を行うマイクロコンピュータ７０と、を備えている。
【００３６】
インフラ情報検出部１０は、ＧＰＳ（Ｇｌｏｂａｌ ＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）信号を受信するＧＰＳ受信回路１１と、ＤＶＤディスクに記録されている地図情報を読み出すＤＶＤドライブ１２と、接近情報を受信する接近情報受信回路１３と、を備えている。
【００３７】
ＧＰＳ受信回路１１は、ＧＰＳアンテナ１１ａを介して、時刻及びＧＰＳ衛星の位置情報を有するＧＰＳ信号を受信し、データバス５を介してマイクロコンピュータ７０に供給する。ＤＶＤドライブ１２は、車両が現在走行している位置情報に基づいて、ＤＶＤディスクから地図情報を読み出し、データバス５を介して、マイクロコンピュータ７０に供給する。接近情報受信回路１３は、後述するデータキャリアリーダから送信された接近情報を受信し、データバス５を介して、マイクロコンピュータ７０に供給する。
【００３８】
障害物情報検出部２０は、道路上や道路周囲の障害物を撮影するための障害物撮影用ＣＣＤカメラ２１と、道路上や道路周囲の障害物を赤外線により撮影するための赤外カメラ２２と、前方障害物を認識するためのレーダ送受信機２３と、を備えている。
【００３９】
障害物撮影用ＣＣＤカメラ２１及び赤外カメラ２２は、車両前方方向の物体を撮像できるように設置されている。そして、障害物撮影用ＣＣＤカメラ２１及び赤外カメラ２２は、撮影した撮影画像を、データバス５を介してマイクロコンピュータ７０に供給する。レーダ送受信機２３は、前方障害物を認識するために、当該障害物に対してパルス状の光レーダを鋭く絞って２次元方向に送信すると共に、障害物によって反射された光レーダを受光する。なお、レーダ送受信機２３は、光レーダを送受信するもの限らず、電波レーダを送受信するものであってもよい。
【００４０】
自車状態検出部３０は、例えば、車輪速センサ、操舵角センサ、スロットルバルブセンサ、マスタシリンダ油圧センサ、ヨーレートセンサ、前後加速度センサ、横加速度センサ等を備えている。そして、自車状態検出部３０は、車速、ハンドル操舵角度、アクセル操作量、ブレーキ操作量、ヨーレート、ロールレート、ピッチレート、前後加速度、横加速度、ウィンカ操作量を検出して、マイクロコンピュータ７０に供給する。
【００４１】
環境情報検出部４０は、車両外部の照度を検出する照度センサ４１と、ドライバを撮影するドライバ撮影用ＣＣＤカメラ４２と、を備えている。ここでは、ドライバ撮影用ＣＣＤカメラ４２は１つだけ設けられているが、ドライバの姿勢変化を容易に検出できるように、ドライバの正面前方、右前方、左前方をそれぞれ撮像する３つのＣＣＤカメラを設けてもよい。
【００４２】
スライダパネル５０は、外部環境の複雑さを示す視覚特性をドライバの主観に従って操作入力するためのものである。スライダパネル５０、図２に示すように、左右に移動可能なスライダ５１を有している。ドライバは、例えば、自分自身が交通環境を見落としがちである場合、つまり車両外部の交通環境を認識しにくいと判断する場合は、スライダ５１を「弱」の方向に操作する。また、ドライバは、交通環境をよく見ることができる場合、つまり車両外部の交通環境を認識しやすい場合はスライダ５１を「強」の方向に操作する。これにより、詳しくは後述するが、マイクロコンピュータ７０は、ドライバの現在の視覚特性を考慮して環境認識度合を推定することができる。
【００４３】
障害物情報出力部６０は、画像により障害物情報を出力するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）６１と、音声により障害物情報を出力するスピーカ６２と、を備えている。
【００４４】
マイクロコンピュータ７０は、図示されていないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、データのワークエリアであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、後述する各種のルーチン処理を実行するプログラムや出現範囲推定テーブルや閾値テーブルが記憶されているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により構成されている。マイクロコンピュータ７０は、各部からの情報に基づいて、出現可能性のある障害物を推定したり、ドライバの環境認識度合を推定したり、障害物情報の警報を行う。
【００４５】
（メインルーチン）
以上のように構成された障害物警報装置１において、マイクロコンピュータ７０は、図３に示すステップＳＴ１からステップＳＴ３までの処理を実行する。ここでは、最初にステップＳＴ１からステップＳＴ３までの処理を簡単に説明し、その後各処理の具体的なサブルーチンについて説明する。
【００４６】
マイクロコンピュータ７０は、インフラ情報検出部１０で検出された情報に基づいて自車位置を検出すると共に、自車の進行方向に出現する可能性のある障害物を推定する（ステップＳＴ１）。そして、自車の進行方向の環境の撮像画像を分割し、分割された領域毎にドライバが認識しやすいかを示す環境認識度合を推定する（ステップＳＴ２）。最後に、マイクロコンピュータ７０は、出現可能性のある障害物情報と、所定の領域毎の環境認識度合とに基づき、必要に応じて画像又は音声によりドライバに対して障害物に関する警報を行う（ステップＳＴ３）。
【００４７】
（ステップＳＴ１）
ステップＳＴ１では、マイクロコンピュータ７０は、自車の進行方向に出現する可能性のある障害物を推定すべく、具体的には図４に示すステップＳＴ１１からステップＳＴ１４までの処理を実行する。
【００４８】
ステップＳＴ１１では、マイクロコンピュータ７０は、自車の位置を検出すると共に、自車位置周辺であってドライバの視界範囲外の移動障害物を検出する。なお、ここでは、例えば以下に説明するようなインフラが用いられている。
【００４９】
例えば図５に示すように、歩行者は、データキャリア１６が設けられた物品（例えば、携帯電話）を常時携帯している。また、２輪車や４輪車には、データキャリア１６が設けられている。データキャリア１６は数種類の接近情報を出力することができ、歩行者、２輪車及び４輪車のデータキャリア１６はそれぞれ異なる接近情報を出力する。一方、見通しの悪い交差点や横断歩道には、接近情報を受信するデータキャリアリーダ１７が設置されている。データキャリアリーダ１７は、データキャリア１６が接近すると、接近情報を受信して、この接近情報を障害物警報装置１に送信する。
【００５０】
障害物警報装置１のマイクロコンピュータ７０は、データキャリアリーダ１７から送信された接近情報を接近情報受信回路１３で受信すると、障害物の場所を特定することができ、さらにその障害物が歩行者、２輪車、４輪車のいずれであるかを認識することができる。
【００５１】
そして、マイクロコンピュータ７０は、ＧＰＳ受信回路１１により受信されたＧＰＳ信号と、ＤＶＤドライブ１２から読み出された地図情報と、接近情報受信回路１３により受信された接近情報と、に基づいて自車の位置を検出すると共に、自車位置周辺であってドライバの視界範囲外の移動障害物を検出し、当該移動障害物の種別（人、２輪車、４輪車のいずれか）を認識する。
【００５２】
さらに、マイクロコンピュータ７０は、図６に示す出現範囲推定テーブルを参照して、移動障害物の種別に基づいて、自車周辺の路上における移動障害物が出現する可能性のある範囲を推定する。例えば、マイクロコンピュータ７０は、移動障害物として４輪車を認識したときは、当該４輪車は現在の位置から進行方向に１０ｍの範囲内に出現する可能性があると推定する。また、移動障害物として歩行者を認識したときは、当該歩行者は現在位置から半径１ｍの範囲内に出現する可能性があると推定する。
【００５３】
マイクロコンピュータ７０は、自車の進行方向軸及び進行方向軸に直交する軸からなる座標系（以下「自車周辺座標系」という。）を設定し、移動障害物の出現可能性範囲を自車周辺座標系に記述して、ステップＳＴ１２に移行する。
【００５４】
ステップＳＴ１２では、マイクロコンピュータ７０は、ドライバの視界範囲内にある障害物を検出する。ここでは、マイクロコンピュータ７０は、障害物撮影用ＣＣＤカメラ２１及び赤外カメラ２２を駆動させ、障害物撮影用ＣＣＤカメラ２１及び赤外カメラ２２により生成された撮像画像を取得する。そして、各カメラにより生成された画像の差分を求めることで、安全上特に問題となる人間や車をそれ以外のものと十分にコントラストを付けた画像を得ることによって、移動障害物を検出する。
【００５５】
また、マイクロコンピュータ７０は、レーダ送受信機２３による送信から受信までの光レーダの往復時間に基づいて、自車の前方障害物の距離画像を得て、前方障害物を認識する。マイクロコンピュータ７０は、このようにして認識された移動障害物を自車周辺座標系に記述して、ステップＳＴ１３に移行する。
【００５６】
ステップＳＴ１３では、マイクロコンピュータ７０は、自車状態検出部３０からの情報に基づいて自車状態を検出する。ここでは、例えば特開平１１−３０１３４３号公報に記載されているように、マイクロコンピュータ７０は、車速、ハンドル操舵角度、アクセル操作量、ブレーキ操作量、ヨーレート、ロールレート、ピッチレート、前後加速度、横加速度及びウィンカ操作量を検出し、自車の進行方向を推定して、自車の進行方向の推定結果を自車周辺座標系に記述して、ステップＳＴ１４に移行する。
【００５７】
ステップＳＴ１４では、マイクロコンピュータ７０は、ステップＳＴ１１からステップＳＴ１３までの処理によって得られた自車周辺座標系に対して、自車の進行予測範囲内に出現する可能性のある移動障害物の情報のみを残し、その他の情報を除去する。そして、マイクロコンピュータ７０は、自車周辺座標系に記述された移動障害物に関する情報を障害物表示画面としてＬＣＤ６１に表示させると、サブルーチンを抜けて図３に示したステップＳＴ２に移行する。
【００５８】
ここで、障害物表示画面は、例えば図７に示すように、自車が走行している周囲の地図と、自車の現在位置と、自車の進行予測範囲と、移動障害物（人や車など）及びその出現可能範囲を表示している。障害物表示画面に表示された移動障害物の大きさは、当該移動障害物が出現する可能性のある範囲を示している。
【００５９】
（ステップＳＴ２）
ステップＳＴ２では、マイクロコンピュータ７０は、車両周囲環境をドライバが認識する度合を推定すべく、具体的には図８に示すステップＳＴ２１からステップＳＴ２４までの処理を実行する。
【００６０】
ステップＳＴ２１では、マイクロコンピュータ７０は、環境情報検出部４０からの情報を用いてドライバの姿勢の変化を検出する。すなわち、マイクロコンピュータ７０は、ドライバ撮影用ＣＣＤカメラ４２からの撮像画像についてフレーム間毎に差分を求め、撮像画像の差分値をドライバの移動領域量として検出する。
【００６１】
マイクロコンピュータ７０は、移動領域量が所定の閾値以上のときは「１」をカウントし、移動領域量が所定の閾値より小さいときはカウントを行わない。そして、例えば過去５分間のカウント値を求め、当該カウント値が閾値ＴＨ１未満のときは姿勢変化が「小」であると判定し、当該カウント値が閾値ＴＨ１以上であり閾値ＴＨ２（＞ＴＨ１）未満のときは姿勢変化が「中」であると判定し、当該カウント値が閾値ＴＨ２以上のときは姿勢変化が「大」であると判定する。また、マイクロコンピュータ７０は、照度センサ４１により検出された車両外部の照度を取得して、ステップＳＴ２２に移行する。
【００６２】
ステップＳＴ２２では、マイクロコンピュータ７０は、図７に示した障害物表示画面の所定領域毎に、環境の複雑度Ｃを演算する。なお、ここにいう複雑度Ｃとは、ドライバの交通環境の認識度合を推定するために用いられるパラメータをいう。
【００６３】
最初に、マイクロコンピュータ７０は、ステップＳＴ１で得られた障害物表示画面のうち、障害物及びその出現可能範囲のある領域を、距離・方向で４分割する。ここでは図９に示すように、障害物表示画面を領域Ａ，領域Ｂ，領域Ｃ及び領域Ｄに分割する。これにより、上記障害物表示画面は、自車の前方正面近距離の領域である領域Ａと、領域Ａに隣接し、かつ自車の前方正面遠距離の領域である領域Ｂと、領域Ａ及びＢに隣接し、かつ自車の前方左遠距離の領域である領域Ｃと、領域Ａ及びＢに隣接し、かつ自車の前方右遠距離の領域である領域Ｄと、を有している。なお、障害物表示画面領域Ａから領域Ｄは、模式的には図１０に示すように分割される。
【００６４】
次に、マイクロコンピュータ７０は、領域Ｂ、領域Ｃ及び領域Ｄのそれぞれについて、次の式（１）に基づいて交通環境の複雑度Ｃを演算する。
【００６５】
【数１】
指標Ｃ１は輝度分割ブロックの数、指標Ｃ２は赤色系分割ブロックの数を示している。また、α、β、γは、重み付け係数であり、それぞれ所定の値をとる。
【００６７】
ここで、指標Ｃ１の演算について説明する。なお、マイクロコンピュータ７０は、上述したように領域Ｂ、領域Ｃ及び領域Ｄについて指標Ｃ１を演算するが、ここでは、領域Ｂについて図１１に示す撮像画像を用いて指標Ｃ１を演算することについて説明する。
【００６８】
マイクロコンピュータ７０は、障害物撮影用ＣＣＤカメラ２１を駆動させ、例えば図１１に示すような撮像画像を得る。そして、当該撮像画像全体を輝度分割ブロックとして設定する。
【００６９】
マイクロコンピュータ７０は、設定された輝度分割ブロック内において各画素の輝度値の最大値と最小値の差を演算する。マイクロコンピュータ７０は、輝度値の最大値と最小値の差が所定の閾値以上であるかを判定し、上記差が所定の閾値を超えているときは輝度分割ブロックを４つに分割する。このとき、マイクロコンピュータ７０は、縦横ほぼ同じ画素数で構成されるように、かつ可能な限り大きくするように、輝度分割ブロックを分割するのが好ましい。
【００７０】
撮像画像の輝度値が例えば図１２（Ａ）に示すようになっている場合、マイクロコンピュータ７０は、輝度値の最大値（１８０）と最小値（０００）の差を演算する。そして、輝度値の最大値と最小値の差（１８０）が閾値（例えば４０）以上であるかを判定し、ここでは上記差が閾値（４０）を超えているので、図１２（Ａ）に示すように輝度分割ブロックを４つに分割する。
【００７１】
マイクロコンピュータ７０は、分割された各輝度分割ブロック内において各画素の輝度値の最大値と最小値の差が所定の閾値以下になるまで、前記輝度分割ブロックを４つに分割し、新たな輝度分割ブロックを設定することを繰り返す。
【００７２】
例えば、図１２（Ａ）に示す輝度分割ブロックＢＫ１は４×４画素で構成され、輝度値の最大値は１８０、輝度値の最小値は２０である。マイクロコンピュータ７０は、輝度分割ブロックＢＫ１の輝度値の最大値と最小値の差（１６０）を求め、上記差が閾値（４０）以上であるので、図１２（Ｂ）に示すように、輝度分割ブロックＢＫ１を４つ（ＢＫ２，ＢＫ３，ＢＫ４，ＢＫ５）に分割する。
【００７３】
そして、マイクロコンピュータ７０は、輝度分割ブロックＢＫ２の輝度値の最大値と最小値の差（３９）は閾値（４０）以上でないので、輝度分割ブロックＢＫ２に対しては分割を行わない。一方、輝度分割ブロックＢＫ３，ＢＫ４，ＢＫ５については、輝度値の最大値と最小値の差は閾値（４０）以上であるので、図１２（Ｃ）に示すように、各輝度分割ブロックＢＫを分割する。
【００７４】
このような処理を経て、マイクロコンピュータ７０は、各画素の輝度値の最大値と最小値の差が所定の閾値（４０）以下になった輝度分割ブロックの数を示す指標Ｃ１を求める。これにより、マイクロコンピュータ７０は、輝度分割ブロックを構成する各画素の輝度値を均質にする。
【００７５】
なお、指標Ｃ１は、各画素の輝度値の最大値と最小値の差が所定の閾値以下になった輝度分割ブロックの数に限定されるものではない。例えば、指標Ｃ１は、撮像画像の輝度値の分散値であってもよい。また、指標Ｃ１は、撮像画像の２次元高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）の高周波成分の総和であってもよい。
【００７６】
また、マイクロコンピュータ７０は、図１２（Ｃ）に示すように、輝度分割ブロックＢＫが１×１画素になるまで分割したが、輝度分割ブロックＢＫを分割して予め定めた大きさ（例えば、４×４画素）になったときに、分割を終了してもよい。
【００７７】
つぎに、指標Ｃ２の演算について説明する。なお、マイクロコンピュータ７０は、上述したように所定領域毎に赤色系分割ブロックの数を示すＣ２を演算するが、ここでは、領域Ｂについて、図１３（Ａ）に示す撮像画像を用いて指標Ｃ２を演算することについて説明する。
【００７８】
マイクロコンピュータ７０は、障害物撮影用ＣＣＤカメラ２１を駆動させ、例えば図１３（Ａ）に示すような撮像画像を得る。そして、当該撮像画像から明度０．３以上、彩度０．１以上を抽出して、例えば図１３（Ｂ）に示すような撮像画像を得る。さらに、マイクロコンピュータ７０は、０．１以下又は０．７５以上の色相を抽出すると、図１３（Ｃ）に示すような撮像画像を得る。
【００７９】
マイクロコンピュータ７０は、図１３（Ｃ）に示すような撮像画像に対して、同一の赤色系分割ブロック内が赤色系画素のみで占めるようにブロック分割を繰り返し、図１３（Ｄ）に示すように、赤色系画素（１）又は赤色系画素以外の画素（０）で構成された赤色系分割ブロックを得る。そして、マイクロコンピュータ７０は、赤色系画素のみで構成された赤色系分割ブロックの数である指標Ｃ２を求める。
【００８０】
マイクロコンピュータ７０は、求められた輝度分割ブロックの数を示す指標Ｃ１及び赤色系分割ブロックの数を示す指標Ｃ２を用いて、上述した式（１）に従って環境の複雑度Ｃを演算して、ステップＳＴ２３に移行する。なお、以上のようにして演算された複雑度Ｃの値は、例えば図１４に示すように、時刻によって変化する。
【００８１】
なお、指標Ｃ２は、赤色系分割ブロックの数に限定されるものではなく、例えば、次のような値でもよい。
【００８２】
マイクロコンピュータ７０は、所定の領域の撮像画像に対して、マンセル色票において色票が２．５ＲＰ，５ＲＰ，７．５ＲＰ，１０ＲＰ，２．５Ｒ，５Ｒ，７．５Ｒ，１０Ｒ，２．５ＹＲ，５ＹＲに属し、クロマ２以上、明度３以上の赤色系の画素のみを抽出してもよい。そして、同一の分割ブロック内が上記赤色系画素のみ、赤色系画素以外の画素のみで構成されるまで、上記分割ブロックを分割することを繰り返し、得られた分割ブロックの数を指標Ｃ２とすればよい。
【００８３】
また、マイクロコンピュータ７０は、所定の領域の撮像画像に対して、マンセル色票において色票が２．５ＲＰ，５ＲＰ，７．５ＲＰ，１０ＲＰ，２．５Ｒ，５Ｒ，７．５Ｒ，１０Ｒ，２．５ＹＲ，５ＹＲに属し、クロマ２以上、明度３以上の赤色系の画素のみを抽出し、上記赤色系の画素の数を指標Ｃ２としてもよい。あるいは、撮像画像の中央から上述した各赤色系画素の距離の総和を指標Ｃ２としてもよい。
【００８４】
ステップＳＴ２３では、マイクロコンピュータ７０は、環境認識度合を判定するための閾値ｔｈを設定する。閾値ｔｈは、車両外部の環境照度によって異なるように設定される。その理由は、複雑度Ｃの値が一定であっても、車両外部が明るかったり暗くなったりすると、ドライバは交通環境が複雑と感じたり単純と感じることがあるからである。
【００８５】
マイクロコンピュータ７０には、例えば図１５に示すように、環境照度に対する閾値ｔｈを記述した閾値テーブルが記憶されている。図１５によると、閾値ｔｈは、環境照度がゼロからＳ１までの場合は最小値（一定）となり、環境照度がＳ１からＳ２まで大きくなるに従って一定の割合で大きくなる。そして、閾値ｔｈは、環境照度がＳ２からＳ３までの場合は最大値（一定）となり、環境照度がＳ３より大きくなるに従って一定の割合で小さくなる。なお、図１５に示す閾値テーブルは本実施の形態の一例であり、本発明はこれに限定されるものではない。
【００８６】
そこで、マイクロコンピュータ７０は、上記閾値テーブルを参照して、照度センサ４１によって検出された環境照度に基づいて、閾値ｔｈを設定する。さらに、マイクロコンピュータ７０は、ドライバの操作入力値やドライバの姿勢変化に応じて、閾値ｔｈの最大値を再設定することができる。
【００８７】
最初に、マイクロコンピュータ７０は、スライダパネル５０に設けられたスライダ５１の入力値に応じて、閾値ｔｈの最大値を設定する。例えば、ドライバがスライダ５１を「強」の方にスライドしている場合は、図１５に示すように、マイクロコンピュータ７０は閾値ｔｈの最大値を大きく設定する。逆に、ドライバがスライダ５１を「弱」の方にスライドしている場合は、マイクロコンピュータ７０は閾値ｔｈの最大値を小さく設定する。なお、スライダ５１が「強」と「弱」の中間にある場合は、マイクロコンピュータ７０は、環境照度に基づいて設定されたデフォルトの閾値ｔｈのままでよい。
【００８８】
次に、マイクロコンピュータ７０は、ドライバの姿勢変化に応じて、閾値ｔｈの最大値を設定する。その理由は、ドライバは、頻繁に姿勢の変化がある場合では種々の環境を認識し易い傾向があり、姿勢の変化がない場合では環境を認識しにくい傾向があるからである。そこで、マイクロコンピュータ７０は、交通環境の認識のしやすさとドライバの姿勢変化の関係を考慮して、以下のように閾値ｔｈを設定する。
【００８９】
マイクロコンピュータ７０は、例えば上述したステップＳＴ２１においてドライバの姿勢変化が「小」であると判定した場合、図１６に示すように、閾値ｔｈの最大値を小さく設定する。逆に、例えばステップＳＴ２１においてドライバの姿勢変化が「大」であると判定した場合は、閾値ｔｈの最大値を大きく設定する。なお、マイクロコンピュータ７０は、ドライバの姿勢変化が「中」であると判定した場合は、環境照度に基づいて設定されたデフォルトの閾値ｔｈのままでよい。
【００９０】
このように、マイクロコンピュータ７０は、環境照度に対応する閾値ｔｈが記述された閾値テーブルと、スライダパネル５０に設けられたスライダ５１の入力値と、更にドライバの姿勢変化と、に基づいて閾値ｔｈを設定すると、ステップＳＴ２４に移行する。
【００９１】
ステップＳＴ２４では、マイクロコンピュータ７０は、図１７に示すように、ステップＳＴ２２で演算された複雑度Ｃと、ステップＳＴ２３で設定された閾値ｔｈとを比較する。そして、複雑度Ｃが閾値ｔｈを超えていなかったときは、環境は複雑でない、すなわち単純であると判定する。また、複雑度Ｃが閾値ｔｈを超えていたときは、環境は複雑であると判定する。
【００９２】
マイクロコンピュータ７０は、障害物撮影用ＣＣＤカメラ２１で得られた撮像画像が例えば図１８に示すような前方風景の場合は、交通環境が「単純」であると判定し、例えば図１９に示すような前方風景の場合は、交通環境が「複雑」であると判定する。そして、サブルーチン処理を終了して、図３に示すステップＳＴ３に移行する。
【００９３】
（ステップＳＴ３）
ステップＳＴ３では、マイクロコンピュータ７０は、ドライバに対して障害物の警報を行う。ここでは、領域毎に警報要請フラグがあるかを判定し、優先順位の高いフラグを用いてドライバに所定の警報を行う。なお、ここにいう警報要請フラグとは、上記所定領域について障害物等の存在によりドライバに警報を行う必要があることを示すフラグをいう。そして、マイクロコンピュータ７０は、具体的には図２０に示すステップＳＴ３１からステップＳＴ４２までの処理を実行する。
【００９４】
ステップＳＴ３１では、マイクロコンピュータ７０は、領域Ａの警報要請フラグを生成するか否かを判定する。ここでは、具体的には図２１に示すステップＳＴ５１からステップＳＴ５４までのサブルーチンを実行する。
【００９５】
ステップＳＴ５１では、マイクロコンピュータ７０は、領域Ａにおいて障害物を検出したか、又は現在の自車位置が障害物出現範囲内にあるかを判定し、いずれか一方の条件を満たすときはステップＳＴ５２に移行し、いずれの条件も満たさないときはサブルーチン処理を終了する。
【００９６】
ステップＳＴ５２では、マイクロコンピュータ７０は、上述したステップＳＴ１３で検出された自車状態に基づいて、障害物に対して自車が回避行動をとっているかを判定し、回避行動をとっているときはステップＳＴ５３に移行し、回避行動をとっていないときはサブルーチン処理を終了する。
【００９７】
ステップＳＴ５３では、マイクロコンピュータ７０は、ステップＳＴ１において検出された障害物に関する情報及び自車状態に基づいて、自車が障害物を回避することが不可能であるかを判定する。そして、例えばドライバがブレーキペダルを踏んだり、ハンドルを操作して、障害物に対する回避行動をとっていたとしても、自車が障害物を回避することができないときはステップＳＴ５４に移行し、自車が障害物を回避することができるときはサブルーチン処理を終了する。
【００９８】
ステップＳＴ５４では、マイクロコンピュータ７０は、領域Ａにおける警報要請フラグを発生してサブルーチン処理を終了する。マイクロコンピュータ７０は、このようなサブルーチン処理を終了すると、図２０に示すステップＳＴ３２に移行する。
【００９９】
ステップＳＴ３２では、マイクロコンピュータ７０は、領域Ｂ，Ｃ及びＤのそれぞれに対して警報要請フラグを生成するか否かの判定を行う。具体的には図２２に示すステップＳＴ６１からステップＳＴ６４までのサブルーチン処理を実行する。なお、ここではいずれの領域でも同じ処理を行うので、領域Ｂの処理を例に挙げて説明する。
【０１００】
ステップＳＴ６１では、マイクロコンピュータ７０は、領域Ｂにおいて障害物を検出したか、又は現在の自車位置が障害物出現範囲内にあるかを判定し、いずれか一方の条件を満たすときはステップＳＴ６２に移行し、いずれの条件も満たさないときはサブルーチン処理を終了する。
【０１０１】
ステップＳＴ６２では、マイクロコンピュータ７０は、上述したステップＳＴ２において領域Ｂは複雑であると判定したか、すなわち、ステップＳＴ２において領域Ｂの複雑度Ｃが閾値ｔｈを超えたかを判定する。そして、領域Ｂの複雑度Ｃが閾値ｔｈを超えたときはステップＳＴ６３に移行し、閾値ｔｈを超えていないときはサブルーチン処理を終了する。
【０１０２】
ステップＳＴ６３では、マイクロコンピュータ７０は、障害物又は障害物出現範囲の場所が初めて警報を発する場所であるかを判定し、初めて警報を発する場所であるときはステップＳＴ６４に移行し、初めて警報を発する場所でないときはサブルーチン処理を終了する。
【０１０３】
ステップＳＴ６４では、マイクロコンピュータ７０は、領域Ｂにおける警報要請フラグを発生してサブルーチン処理を終了する。マイクロコンピュータ７０は、以上のようなサブルーチン処理を終了すると、図２０に示すステップＳＴ３３に移行する。
【０１０４】
ステップＳＴ３３では、マイクロコンピュータ７０は、領域Ａの警報要請フラグがあるか否かを判定し、領域Ａの警報要請フラグがあったときはステップＳＴ３９に移行し、領域Ａの警報要請フラグがなかったときはステップＳＴ３４に移行する。
【０１０５】
ステップＳＴ３４では、マイクロコンピュータ７０は、領域Ｃ又は領域Ｄの警報要請フラグがあるか否かを判定する。そして、各領域の少なくとも一方に警報要請フラグがあったときはステップＳＴ３８に移行し、各領域のいずれにも警報要請フラグがないときはステップＳＴ３５に移行する。
【０１０６】
ステップＳＴ３５では、マイクロコンピュータ７０は、領域Ｂの警報要請フラグがあるか否かを判定し、領域Ｂの警報要請フラグがあったときはステップＳＴ３６に移行し、領域Ｂの警報要請フラグがなかったときはサブルーチン処理を終了する。
【０１０７】
このように、マイクロコンピュータ７０は、ステップＳＴ３３からステップＳＴ３５の順に処理を実行することで、領域Ａ、領域Ｃ又は領域Ｄ、領域Ｂの順に優先順位を設定し、優先順位の高い領域から障害物の警報を行っている。
【０１０８】
ステップＳＴ３６では、マイクロコンピュータ７０は、前回の判定処理で領域Ａの警報要請フラグがあったかを判定し、領域Ａの警報要請フラグがあったときはステップＳＴ３７に移行し、領域Ａの警報要請フラグがなかったときはサブルーチン処理を終了する。
【０１０９】
ステップＳＴ３７では、マイクロコンピュータ７０は、ドライバに領域Ｂの警報を行う。マイクロコンピュータ７０は、ドライバに対する警報として、「前方障害物に注意してください。」、「交差点に近づきます。歩行者の飛び出しに注意してください。」などをＬＣＤ６１に表示させたり、音声によりスピーカ６２から出力させて、サブルーチン処理を終了する。
【０１１０】
また、ステップＳＴ３４で領域Ｃ、領域Ｄの少なくとも一方の警報要請フラグがあったと判定して移行したときのステップＳＴ３８では、マイクロコンピュータ７０は、警報要請フラグのあった領域について、ドライバに対して警報を行う。警報要請の一例としては、ステップＳＴ３７と同様である。
【０１１１】
一方、ステップＳＴ３３で領域Ａの警報要請フラグがあったと判定して移行したときのステップＳＴ３９では、領域Ａの警報要請フラグが所定数以上あるか否かを判定し、警報要請フラグが所定数以上あるときはステップＳＴ４０に移行し、警報要請フラグが所定数以上ないときはステップＳＴ４２に移行する。
【０１１２】
ステップＳＴ４０では、マイクロコンピュータ７０は、自車状態検出部３０により検出された車速が所定値以上であるかを判定し、車速が所定値以上であるときはステップＳＴ４１に移行し、車速が所定値以上でないときはステップＳＴ４２に移行する。
【０１１３】
ステップＳＴ４１では、マイクロコンピュータ７０は、ドライバに対して領域Ａにおける第１警報を行う。マイクロコンピュータ７０は、ドライバに対する第１警報として、例えば「衝突注意。減速してください。」などをＬＣＤ６１に表示させたり、音声によりスピーカ６２から出力させて、サブルーチン処理を終了する。
【０１１４】
ステップＳＴ４２では、マイクロコンピュータ７０は、ドライバに対して領域Ａにおける第２警報を行う。マイクロコンピュータ７０は、ドライバに対する第２警報として、例えば「障害物を回避してください。」などをＬＣＤ６１に表示させたり、音声によりスピーカ６２から出力させて、サブルーチン処理を終了する。
【０１１５】
マイクロコンピュータ７０は、ステップＳＴ３のサブルーチン処理を終了すると、ドライバに対する警報を終了する。このように、マイクロコンピュータ７０は、各領域の警報要請フラグに優先順位を設定して処理を行うことによって、ドライバに対する警報を最小限に抑制し、情報過多になってドライバが混乱することを防止することができる。
【０１１６】
以上のように、第１の実施の形態に係る障害物警報装置１は、移動障害物を自動的に認識し、移動障害物の出現可能範囲を推定し、更に、移動障害物の出現場所において、ドライバの交通環境の認識度合を考慮することによって、ドライバを混乱させることなく、移動障害物をドライバに認識させることができる。また、障害物警報装置１は、ドライバに提示するべき情報量が多いときは、自車の車速を低下させるように促して、事故を未然に防止することができる。
【０１１７】
障害物警報装置１は、図１０に示した領域Ａから領域Ｄのいずれにおいても障害物を検出した場合には、自車直前の領域Ａを最優先し、領域Ａに存在する障害物に対して警報を行う。これにより、障害物警報装置１は、直前に迫った危機を回避することができる。
【０１１８】
［他の実施の形態］
つぎに、本発明の他の実施の形態について説明する。なお、第１の実施の形態と重複する箇所については同一の符号を付し、詳細な説明は省略する。
【０１１９】
（撮像画像の分割の態様）
第１の実施の形態では、マイクロコンピュータ７０は、図１０に示すように、撮像領域を領域Ａから領域Ｄまでの４つに分割し、領域Ｂ、領域Ｃ及び領域Ｄにおいて指標Ｃ１及び指標Ｃ２を演算していた
これに対して、マイクロコンピュータ７０は、例えば図２３（Ａ）に示す撮像画像を、図２３（Ｂ）に示すように４つの領域に分割してもよい。つまり、マイクロコンピュータ７０は、長方形状の撮像画像を２つの対角線に沿って分割することによって、撮像画像を４つの領域に分割している。そして、第１の実施の形態と同様に、各領域について指標Ｃ１及び指標Ｃ２を演算すればよい。
【０１２０】
また、マイクロコンピュータ７０は、例えば図２４（Ａ）に示す撮像画像を、図２４（Ｂ）に示すように、領域（１）、２つの領域（２）、領域（３）の４つの領域に分割してもよい。ここで、領域（１）は、自車の前方直前の車両を示す領域である。領域（２）は、領域（１）の両外側の領域である。領域（３）は、領域（１）及び領域（２）以外の領域である。
【０１２１】
マイクロコンピュータ７０は、領域（１）については輝度分割ブロックを１×１画素まで分割し、領域（２）については２×２画素まで分割し、領域（３）については２×２画素まで分割して、各領域で指標Ｃ１を演算することができる。さらに、マイクロコンピュータ７０は、各領域において赤色系分割ブロックを１×１画素まで分割して、図２４（Ｃ）に示す画像を得て、各領域で指標Ｃ２を演算することができる。
【０１２２】
さらに、マイクロコンピュータ７０は、撮像画像を次のように分割することもできる。例えば図２５に示すように、撮像画像を「画面下部」、「画面中央」、「画面左方」、「画面右方」に分割してもよい。「画面下部」は、撮像画像の下側の縦方向約１／５から１／４までの長方形状の領域である。「画面中央」は、三角形状の領域であり、その三角形の一辺が「画面下部」に隣接し、その一辺の対角が撮像画面の上端に位置している。「画面左方」は、「画面下部」及び「画面中央」以外の領域のうち左側の台形状の領域である。「画面右方」は、「画面下部」及び「画面中央」以外の領域のうち右側の台形状の領域である。
【０１２３】
画面中央については、図２６に示すように、さらに分割してもよい。
【０１２４】
（閾値ｔｈの設定）
マイクロコンピュータ７０は、第１の実施の形態のように、ドライバ個人によって操作されたスライダ５１の入力値に従って閾値ｔｈを設定する場合に限らず、例えば複数のドライバによって操作されたスライダ５１の各入力値に従って設定するようにしてもよい。
【０１２５】
図２７は、１０名のドライバに１０枚の撮像画像を提示した場合に、ドライバによって入力された環境の認識度合をプロットした図である。マイクロコンピュータ７０は、例えばこれらの値の平均を演算することで妥当な閾値ｔｈを設定することができる。
【０１２６】
（複雑度Ｃの他の演算手法）
マイクロコンピュータ７０は、式（１）に従って複雑度Ｃを演算し、複雑度Ｃと閾値ｔｈとを比較することによって環境認識度合を推定していたが、本発明はこれに限定されるものではない。
【０１２７】
マイクロコンピュータ７０は、例えば図２８に示すように、指標Ｃ１及び指標Ｃ２によって決定される認識度合を示す認識度合マップを記憶してもよい。このとき、マイクロコンピュータ７０は、第１の実施の形態と同様にして指標Ｃ１及び指標Ｃ２を演算し、上記認識度合マップを参照して環境の認識度合を推定すればよい。例えば、マイクロコンピュータ７０は、（Ｃ１，Ｃ２）＝（ａ，ｂ）のときは環境の認識度合が高いと判定し、（Ｃ１，Ｃ２）＝（ｃ，ｄ）のときは環境の認識度合が低いと判定することができる。
【０１２８】
（３次元空間配置）
マイクロコンピュータ７０は、撮像画像を予め所定領域に分割し、所定領域毎に、第１の実施の形態と同様に指標Ｃ１及び指標Ｃ２を演算し、さらに、指標Ｃ１・Ｃ２を演算する。そして、指標Ｃ１、指標Ｃ２、指標Ｃ１・Ｃ２を、図２９に示すように、３次元ベクトル空間に配置し、各画素上での移動ベクトルの値（大きさ、向き）を複雑度Ｃとして用いることもできる。
【０１２９】
このとき、例えば図３０に示すように、３次元ベクトル空間内に、環境の認識度合が低いと推定される第１の領域と、環境の認識度合が高いと推定される第２の領域とを設けてもよい。マイクロコンピュータ７０は、上記３次元空間を用いて求められた複雑度Ｃが上記領域のいずれに属するかを判定し、複雑度Ｃが第１の領域にあるとドライバは環境認識の度合が低いと推定し、複雑度Ｃが第２の領域にあるとドライバは環境認識の度合が高いと推定することができる。
【０１３０】
（ニューラルネット）
マイクロコンピュータ７０は、ニューラルネットを用いて環境の認識度合を推定してもよい。図３１は、ニューラルネットを用いて環境の認識度合を推定するマイクロコンピュータ７０の機能的な構成を示すブロック図である。
【０１３１】
マイクロコンピュータ７０は、更新可能なデータベースを有する変換関数からなるニューラルネット７１と、ドライバの環境の認識度合を推定する認識度合推定部７２と、入力値から推定値を減算する処理を行う演算器７３と、を備えている。なお、ニューラルネット７１の代わりに、統計的手法によって学習機能を備えたものであってもよい
演算器７３は、図２に示したスライダ５１の入力値から、認識度合推定部７２で推定された環境の認識度合の推定値を減算する。ニューラルネット７１は、演算器７３により減算された減算値と、複雑度Ｃとに基づいて逐次学習し、学習済みの複雑度Ｃを認識度合推定部７２に供給する。認識度合推定部７２は、ニューラルネット７１からの学習済みの複雑度Ｃを用いて、ドライバ毎に環境の認識度合を推定すればよい。
【０１３２】
この結果、マイクロコンピュータ７０は、ドライバの実際の環境認識を考慮して逐次学習し、ドライバ個人の視覚特性に応じて、交通環境の認識度合を正確に推定することができる。
【０１３３】
【発明の効果】
本発明に係る環境複雑度演算装置は、前記撮像手段で生成された撮像画像に含まれる輝度の変化の分布、前記撮像画像に含まれる赤色系画素の分布の少なくとも一方に基づいて、環境の複雑度を演算することによって、環境の認識のしにくさ、すなわち環境の複雑さを示す複雑度を求めることができる。
【０１３４】
本発明に係る環境認識度合推定装置は、複雑度演算装置で演算された複雑度に基づいて環境の認識度合を推定することによって、観察者の環境の認識度合を客観的かつ正確に推定することができる。
【０１３５】
本発明に係る障害物警報装置は、障害物の位置を検出し、検出された障害物の位置を含む所定領域が環境の認識度合が低いと推定されたときに、前記障害物に関する警報を行うことによって、環境の認識度合の低い領域に障害物があるときに当該障害物の存在を観察者に警報することができる。一方、環境の認識度合の高い領域に障害物があるときに警報を行わないので、観察者が余計な警報によって煩わしさを受けることを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る障害物警報装置の構成を示すブロック図である。
【図２】障害物警報装置に備えられたスライダパネルの構成を示す図である。
【図３】障害物警報装置に備えられたマイクロコンピュータの動作手順のメインルーチンを示すフローチャートである。
【図４】メインルーチンにおけるステップＳＴ１の具体的な動作手順を示すフローチャートである。
【図５】データキャリアとデータキャリアリーダの概要を説明するための図である。
【図６】マイクロコンピュータに記憶された出現範囲推定テーブルを示す図である。
【図７】ＬＣＤに表示される障害物表示画面を示す図である。
【図８】メインルーチンにおけるステップＳＴ２の具体的な動作手順を示すフローチャートである。
【図９】障害物表示画面を領域Ａから領域Ｄに分割した状態を説明する図である。
【図１０】障害物表示画面を模式的に領域Ａから領域Ｄに分割した状態を説明する図である。
【図１１】領域Ｂで指標Ｃ１を演算するときの撮像画像の一例を示す図である。
【図１２】撮像画像の輝度値の一例を示す図である。
【図１３】撮像画像の一例を示す図である。
【図１４】複雑度Ｃが時刻によって変化する状態を説明する図である。
【図１５】環境照度に対する閾値が記述された閾値テーブルを示す図である。
【図１６】ドライバの姿勢変化に応じて閾値ｔｈが変化する状態を説明する図である。
【図１７】複雑度Ｃと閾値ｔｈとを比較して環境の認識度合を推定するための図である。
【図１８】交通環境が単純である風景画像の一例を示す図である。
【図１９】交通環境が複雑である風景画像の一例を示す図である。
【図２０】メインルーチンにおけるステップＳＴ３の具体的な動作手順を示すフローチャートである。
【図２１】サブルーチンにおけるステップＳＴ３１の具体的な動作手順を示すフローチャートである。
【図２２】サブルーチンにおけるステップＳＴ３２の具体的な動作手順を示すフローチャートである。
【図２３】撮像画像の分割の他の手法を説明するための図である。
【図２４】撮像画像の分割の他の手法を説明するための図である。
【図２５】撮像画像の分割の他の手法を説明するための図である。
【図２６】画面中央の分割の一例を示す図である。
【図２７】１０名のドライバに１０枚の撮像画像を提示した場合に、ドライバによって入力された環境の認識度合をプロットした図である。
【図２８】指標Ｃ１及び指標Ｃ２によって決定される認識度合を示す認識度合マップを示す図である。
【図２９】指標Ｃ１、指標Ｃ２、指標Ｃ１・Ｃ２からなる３次元ベクトル空間を示す図である。
【図３０】３次元ベクトル空間内に、環境の認識度合が低いと推定される第１の領域と、環境の認識度合が高いと推定される第２の領域とを設けた状態を説明する図である。
【図３１】ニューラルネットを用いて環境の認識度合を推定するマイクロコンピュータの機能的な構成を示すブロック図である。
【符号の説明】
１ 障害物警報装置
１０ インフラ情報検出部
２０ 障害物情報検出部
４０ 環境情報検出部
６０ 障害物情報出力部
７０ マイクロコンピュータ
Claims (9)
- 環境からの撮像光に基づいて撮像画像を生成する撮像手段と、
前記撮像手段で生成された撮像画像に輝度分割ブロックを設定し、設定された輝度分割ブロック内において各画素の輝度値が均質であると判断されるまで、前記輝度分割ブロックを分割して新たな輝度分割ブロックを設定することを繰り返し、前記撮像画像に対して、各画素の輝度値が均質になった輝度分割ブロックの数に基づいて環境の複雑度を演算する複雑度演算手段と、
を備えた環境複雑度演算装置。 - 環境からの撮像光に基づいて撮像画像を生成する撮像手段と、
前記撮像手段で生成された撮像画像に赤色系分割ブロックを設定し、設定された赤色系分割ブロックが所定の赤色系画素のみで構成されるまで、前記赤色系分割ブロックを分割して新たな赤色系分割ブロックを設定することを繰り返し、前記撮像画像に対して、前記所定の赤色系画素のみで構成される赤色系分割ブロックの数に基づいて環境の複雑度を演算する複雑度演算手段と、
を備えた環境複雑度演算装置。 - 環境からの撮像光に基づいて撮像画像を生成する撮像手段と、
前記撮像手段で生成された撮像画像に輝度分割ブロックを設定し、設定された輝度分割ブロック内において各画素の輝度値が均質であると判断されるまで、前記輝度分割ブロックを分割して新たな輝度分割ブロックを設定することを繰り返し、前記撮像画像に対して、各画素の輝度値が均質になった輝度分割ブロックの数を演算し、前記撮像手段で生成された撮像画像に赤色系分割ブロックを設定し、設定された赤色系分割ブロックが所定の赤色系画素のみで構成されるまで、前記赤色系分割ブロックを分割して新たな赤色系分割ブロックを設定することを繰り返し、前記撮像画像に対して、前記所定の赤色系画素のみで構成される赤色系分割ブロックの数を演算し、前記輝度分割ブロックの数と、赤色系分割ブロックの数と、に基づいて環境の複雑度を演算する複雑度演算手段と、
を備えた環境複雑度演算装置。 - 請求項１から３のいずれか１項記載の環境複雑度演算装置と、
前記複雑度演算装置で演算された複雑度に基づいて、環境の認識度合を推定する環境認識度合推定手段と、
を備えた環境認識度合推定装置。 - 前記環境認識度合推定手段は、前記複雑度演算装置で演算された複雑度が閾値以上であるときは環境の認識度合が低いと推定し、前記複雑度演算装置で演算された複雑度が閾値より小さいときは環境の認識度合が高いと推定すること
を特徴とする請求項４記載の環境認識度合推定装置。 - 環境の照度を検出する照度検出手段を更に備え、
前記環境認識度合推定手段は、前記環境の照度に対応する前記閾値が記述された閾値テーブルに基づいて、前記照度検出手段により検出された照度に対応する前記閾値を設定すること
を特徴とする請求項５記載の環境認識度合推定装置。 - 観察者の姿勢変化を検出する姿勢変化検出手段を更に備え、
前記環境認識度合推定手段は、前記姿勢変化検出手段で検出された観察者の姿勢変化が大きくなるに従って前記閾値テーブルに記述された前記閾値の最大値を大きく設定し、前記姿勢変化検出手段で検出された観察者の姿勢変化が小さくなるに従って前記閾値の最大値を小さく設定すること
を特徴とする請求項６記載の環境認識度合推定装置。 - 所定領域毎に環境の認識度合を推定する請求項４から７のいずれか１項記載の環境認識度合推定装置と、
障害物の位置を検出する障害物位置検出手段と、
前記障害物検出手段で検出された障害物の位置を含む所定領域が、前記環境認識度合推定手段によって環境の認識度合が低いと推定されたときに、前記障害物に関する警報を行う警報手段と、
を備えた障害物警報装置。 - 前記環境認識度合推定装置は、撮像画像の下部を除く領域を複数の推定領域に分割し、分割された推定領域毎に環境の認識度合を推定し、
前記警報手段は、前記障害物位置検出手段により検出された障害物の位置が前記推定領域のいずれにあり、かつ、当該推定領域の環境の認識度合が前記環境認識度合推定手段によって低いと推定されたときに、優先度の高い推定領域に存在する障害物に関する警報を行うこと
を特徴とする請求項８記載の障害物警報装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001258170A JP4752158B2 (ja) | 2001-08-28 | 2001-08-28 | 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001258170A JP4752158B2 (ja) | 2001-08-28 | 2001-08-28 | 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003067727A JP2003067727A (ja) | 2003-03-07 |
| JP4752158B2 true JP4752158B2 (ja) | 2011-08-17 |
Family
ID=19085738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001258170A Expired - Fee Related JP4752158B2 (ja) | 2001-08-28 | 2001-08-28 | 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4752158B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3931860B2 (ja) | 2003-07-30 | 2007-06-20 | アイシン精機株式会社 | 移動体通信装置 |
| JP4185545B2 (ja) | 2004-03-29 | 2008-11-26 | パイオニア株式会社 | 道路景観解析装置及び方法 |
| JP4650079B2 (ja) * | 2004-11-30 | 2011-03-16 | 日産自動車株式会社 | 物体検出装置、および方法 |
| JP4628135B2 (ja) * | 2005-02-23 | 2011-02-09 | ユーテック株式会社 | 超音波識別装置、およびこの超音波識別装置を用いた制御装置 |
| JP4811201B2 (ja) * | 2005-12-06 | 2011-11-09 | 日産自動車株式会社 | 走路境界線検出装置、および走路境界線検出方法 |
| JP4730131B2 (ja) * | 2006-02-27 | 2011-07-20 | マツダ株式会社 | 車両用走行支援装置 |
| JP4670805B2 (ja) * | 2006-12-13 | 2011-04-13 | 株式会社豊田中央研究所 | 運転支援装置、及びプログラム |
| JP2008191781A (ja) * | 2007-02-01 | 2008-08-21 | Hitachi Ltd | 衝突回避システム |
| JP2010141755A (ja) * | 2008-12-15 | 2010-06-24 | Nippon Telegr & Teleph Corp <Ntt> | 道路監視システム、道路監視方法および道路監視プログラム |
| WO2011117974A1 (ja) * | 2010-03-23 | 2011-09-29 | パイオニア株式会社 | 危険箇所警告装置及び危険箇所警告方法 |
| US9070023B2 (en) * | 2013-09-23 | 2015-06-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method of alerting a driver that visual perception of pedestrian may be difficult |
| JP6332383B2 (ja) * | 2016-09-29 | 2018-05-30 | マツダ株式会社 | 車両用物標検出システム |
| JP6384534B2 (ja) * | 2016-09-29 | 2018-09-05 | マツダ株式会社 | 車両用物標検出システム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6462784A (en) * | 1987-09-03 | 1989-03-09 | Ricoh Kk | Identifying method for picture attribute |
| JP2839100B2 (ja) * | 1989-05-15 | 1998-12-16 | マツダ株式会社 | 移動車の前方車認識装置及びその方法 |
| JP3082507B2 (ja) * | 1993-04-07 | 2000-08-28 | 日産自動車株式会社 | 移動体の画像処理装置 |
| JP3138135B2 (ja) * | 1994-04-27 | 2001-02-26 | 日野自動車株式会社 | 曲折警報装置 |
| JPH0995194A (ja) * | 1995-09-29 | 1997-04-08 | Aisin Seiki Co Ltd | 車両前方の物体検出装置 |
| US6633611B2 (en) * | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
| US6154559A (en) * | 1998-10-01 | 2000-11-28 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for classifying an individual's gaze direction |
| JP4366758B2 (ja) * | 1999-05-27 | 2009-11-18 | コニカミノルタホールディングス株式会社 | 領域抽出装置および領域抽出方法、ならびに領域抽出プログラムを記録した記録媒体 |
| JP2000348184A (ja) * | 1999-06-01 | 2000-12-15 | Toshiba Corp | 背景画像生成装置及びその方法 |
-
2001
- 2001-08-28 JP JP2001258170A patent/JP4752158B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003067727A (ja) | 2003-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11941873B2 (en) | Determining drivable free-space for autonomous vehicles | |
| US20230012645A1 (en) | Deep neural network processing for sensor blindness detection in autonomous machine applications | |
| CN111133447B (zh) | 适于自主驾驶的对象检测和检测置信度的方法和系统 | |
| US11676364B2 (en) | Real-time detection of lanes and boundaries by autonomous vehicles | |
| CN112825136B (zh) | 自主机器应用中使用radar传感器检测障碍物的深度神经网络 | |
| CN113811886B (zh) | 自主机器应用中的路口检测和分类 | |
| US11675359B2 (en) | Path detection for autonomous machines using deep neural networks | |
| CN112825134B (zh) | 自主机器应用中使用radar传感器检测障碍物的深度神经网络 | |
| US20200218979A1 (en) | Distance estimation to objects and free-space boundaries in autonomous machine applications | |
| CN113785302A (zh) | 自主机器应用中的路口姿态检测 | |
| CN114450724A (zh) | 用于自主机器应用的多活动者环境中的未来轨迹预测 | |
| JP5179686B2 (ja) | 運転行動危険度演算装置 | |
| JP4678110B2 (ja) | 環境危険度演算装置 | |
| US10336252B2 (en) | Long term driving danger prediction system | |
| CN108082037A (zh) | 制动灯检测 | |
| JP4752158B2 (ja) | 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置 | |
| WO2020098004A1 (zh) | 车道通行状态提醒方法及设备 | |
| JPWO2012169029A1 (ja) | 車線逸脱防止支援装置、車線逸脱防止方法、記憶媒体 | |
| JP2024019588A (ja) | 地図データ生成装置 | |
| CN116795091A (zh) | 自主系统和应用程序的环境重建和路径规划 | |
| CN114684062A (zh) | 约束设备定位 | |
| JP2024045551A (ja) | 情報出力装置 | |
| CN112970029B (zh) | 用于自主机器应用中传感器视盲检测的深度神经网络处理 | |
| JP2021144311A (ja) | 情報処理装置 | |
| CN114913507A (zh) | 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110509 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |