JP2014048978A - 移動体警告装置、および移動体警告方法 - Google Patents

Abstract

【課題】多数の移動体が存在しても運転者に負担をかけずに移動体の存在を警告する。
【解決手段】前方画像の中から移動体を検出して、移動体の存在を運転者に警告する。このとき、運転者の視認範囲内に連続して基準時間以上存在する移動体（既認識移動体）を検出して、既認識移動体については、既認識移動体ではない移動体（未認識移動体）とは異なる閾値で、運転者に警告する。こうすれば、前方画像中に複数の移動体が存在する場合でも、警告の態様から既認識移動体と未認識移動体とを区別することができるので、運転者の負担を軽減することができる。また、未認識移動体については、既認識移動体とは異なる態様で警告することから、未認識移動体の存在を運転者に確実に認識させることもできる。
【選択図】図９

Description

本発明は、車両の前方に存在する移動体を検出して、運転者に警告する技術に関する。

車両の前方を撮影した画像から歩行者や自転車などの移動体を検出して、移動体が存在する旨を運転者に警告する技術が提案されている。この技術は、運転者が歩行者などを見落とすことを回避して事故の発生を防止するだけでなく、運転者の負担も軽減することができるなど、有効な運転支援技術になり得るものと考えられている。もっとも、多くの移動体が存在する場合、それら全ての移動体の存在を警告したのでは却って運転者に負担をかけてしまう虞がある。

そこで、全ての移動体を同じように警告するのではなく、移動体の危険度に応じて警告することが試みられている。そのような試みの１つとして、運転者の視線を検出して、視線から外れた位置にある移動体を強調して運転者に警告表示する技術が提案されている（特許文献１）。

特開２００９−４０１０７号公報

しかし、上述した提案の技術では、多くの移動体が存在する場合に、依然として運転者の負担を軽減することが難しいという問題があった。これは、運転者の視線は絶え間なく動いているため、提案の方法では強調して警告表示される移動体が次々と切り換わることとなって、運転者には煩わしく感じられるためである。また、運転者の視線から外れた位置で移動体を強調して警告表示すると、運転者の視線が自然とそちらに誘導されることとなって、運転者が本当に注意するべき部分への注意が削がれる虞もある。

この発明は、上述した問題に鑑みてなされたものであり、多数の移動体が存在する場合でも運転者に負担をかけることなく警告することが可能な技術の提供を目的とする。

上述した問題を解決するために本発明の移動体警告装置あるいは移動体警告方法は、前方画像の中から移動体を検出して、移動体の存在を運転者に警告する。このとき、運転者の視認範囲内に連続して基準時間以上存在する移動体（既認識移動体）を検出して、既認識移動体については、既認識移動体ではない移動体（未認識移動体）とは異なる閾値で、運転者に警告する。

こうすれば、前方画像中に複数の移動体が存在する場合でも、警告の態様から既認識移動体と未認識移動体とを区別することができるので、運転者の負担を軽減することができる。また、未認識移動体については、既認識移動体とは異なる態様で警告することから、未認識移動体の存在を運転者に確実に認識させることも可能となる。

また、上述した本発明の移動体警告装置においては、運転者の前方から撮影した運転者の画像を撮影し、その画像に基づいて視認範囲を検出することとしてもよい。

前方から運転者の画像を撮影すれば、運転者の顔の向きや瞳の位置などから視認範囲を容易に検出することが可能となる。

また、上述した本発明の移動体警告装置においては、既認識移動体については、次のように警告しても良い。先ず、移動体が既認識移動体と判定された判定回数を、移動体毎に計数しておく。そして、判定回数に応じた態様で、既認識移動体の存在を運転者に警告してもよい。

既認識移動体として判定された回数の多い移動体と、回数の少ない移動体とでは、運転者の認識度合いも異なるものと考えられる。従って、既認識移動体については、判定回数に応じた態様で運転者に警告してやれば、運転者に過度な負担をかけることなく、それでいながら確実に移動体の存在を警告することが可能となる。

また、上述したように、既認識移動体として判定された判定回数に応じた態様で警告する本発明の移動体警告装置においては、判定回数が所定回数に達した既認識移動体については、運転者への警告を停止することとしてもよい。

既認識移動体として何回も判定された移動体は、運転者も十分に認識しているものと考えられる。従って、判定回数が所定回数に達した既認識移動体については運転者への警告を停止してやれば、運転者が移動体の存在を見落とす虞を生じさせずに、運転者にかかる負担を軽減することができる。

また、既認識移動体として判定された判定回数に応じた態様で警告する本発明の移動体警告装置においては、次のような場合には、判定回数を減数させても良い。すなわち、既認識移動体と判定されてから、所定の閾値時間が経過するまでの間に再び既認識移動体と判定されない場合には、その移動体についての判定回数を減数することとしてもよい。

長い時間に亘って運転者によって認識されない状態が継続する移動体については、たとえ既認識移動体であっても警告の態様を見直した方がよい場合も考えられる。従って、判定回数に応じた態様で警告する本発明の移動体警告装置においては、上記のようにして判定回数を減数することで、より適切な態様で運転者に警告することが可能となる。

また、上述した本発明の移動体警告装置においては、次のようにしても良い。先ず、未認識移動体の状態が所定の見落時間以上、継続している移動体を検出して、見落移動体と判定する。そして、見落移動体については、見落移動体でない未認識移動体とも、既認識移動体とも異なる態様で、移動体の存在を運転者に警告することとしてもよい。

見落移動体は、所定の見落時間以上に亘って未認識移動体の状態が継続していることから、運転者に対してより明確に警告することが望ましいと考えられる。従って、見落移動体については、見落移動体でない未認識移動体とも、既認識移動体とも異なる態様で警告してやれば、運転者により明確に警告することが可能となる。

本実施例の移動体警告装置を搭載した車両の説明図である。 本実施例の移動体警告装置のブロック図である。 移動体を警告するための移動体警告処理のフローチャートである。 前方画像から移動体を検出した様子を例示した説明図である。 移動体が視認範囲に存在するか否かを判断する方法を示した説明図である。 移動体に付与する属性の概要を示した一覧図である。 移動体に属性を付与する属性付与処理のフローチャートである。 移動体の各種の警告態様を例示した一覧図である。 複数の移動体に対する警告態様が変化する様子を例示した説明図である。 変形例の属性付与処理のフローチャートである。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、本実施例の移動体警告装置１０を搭載した車両１の大まかな構成が示されている。図示されているように本実施例の移動体警告装置１０は、車両１の前方の状況を撮影する前方カメラ１２と、車両１のダッシュボード（あるいはステアリングコラム）に搭載されて前方から運転者の顔の画像を撮影するドライバーカメラ１４と、車両の前方の状況を画面上に表示して移動体（歩行者や、自転車、自動車など）の存在を運転者に警告表示するディスプレイ１６と、これらの動作を制御する制御部１８などを備えている。尚、「警告表示」とは、マーカー画像を重ねて表示したり、輪郭を強調して表示したり、該当部分を周囲よりも明るく表示するなどの何らかの方法で目立たせて表示することで、警告する表示形態をいう。
また、本実施例では、前方カメラ１２で撮影した前方の状況の画像（前方画像）をディスプレイ１６に表示し、ディスプレイ１６の画面上で移動体の存在を警告表示するものとしている。しかし、車両１のダッシュボードなどから、運転者の視界に重ねて警告用の画像をフロントガラスに投影することによって、移動体の存在を警告表示してもよい。あるいは、移動体の存在を運転者に知らせる警告音や音声を発生させることによって、聴覚的に警告することとしてもよい。

図２には、移動体警告装置１０の制御部１８の内部構成が示されている。図示されるように制御部１８は、移動体検出部１８ａと、判定部１８ｂと、視認範囲検出部１８ｃと、警告部１８ｄとを備えている。尚、これら移動体検出部１８ａ、判定部１８ｂ、視認範囲検出部１８ｃ、警告部１８ｄは、制御部１８の内部を機能に着目して概念的に分類したものであり、それぞれが物理的に別個に存在している必要はない。また、これらは、いわゆるＬＳＩと呼ばれる集積回路などによってハードウェア的に実現することもできるし、あるいはコンピュータープログラムによってソフトウェア的に実現することもできる。もちろん、一部をハードウェア的に実現し、残りの部分をソフトウェア的に実現してもよい。

移動体検出部１８ａは、前方カメラ１２で撮影した前方画像を受け取ると、歩行者や、自転車、自動車などの移動体を検出する。視認範囲検出部１８ｃは、ドライバーカメラ１４で撮影した運転者の顔の画像から、運転者が見ている範囲（視認範囲）を検出する。判定部１８ｂは、移動体検出部１８ａで検出された移動体のそれぞれについて、視認範囲検出部１８ｃで検出した視野範囲に基づいて、運転者がその移動体を認識しているか否かを判定する。そして、警告部１８ｄは、判定部１８ｂでの判定結果に基づいて、ディスプレイ１６の画面上で移動体を警告表示する。この時、以下に説明する方法によって警告表示することで、たとえ前方画像から複数の移動体が検出された場合でも、それらの移動体を、運転者に負担をかけることなく警告することが可能となる。
尚、本実施例では、前方画像を撮影する前方カメラ１２が本発明における「撮影手段」に対応しており、前方画像に基づいて移動体を検出する移動体検出部１８ａが本発明における「移動体検出手段」に対応する。また、本実施例の視認範囲検出部１８ｃが本発明における「視認範囲検出手段」に対応し、判定部１８ｂが本発明における「判定手段」に対応する。そして、本実施例では警告部１８ｄおよびディスプレイ１６が、本発明における「警告手段」に対応する。

Ｂ．移動体警告処理 ：
図３には、本実施例の移動体警告装置１０が、車両１の前方に存在する移動体を検出して運転者に警告する処理（移動体警告処理）のフローチャートが示されている。この処理は、移動体警告装置１０の制御部１８によって実行される。

移動体警告処理を開始すると、先ず始めに、前方カメラ１２で撮影した前方画像を取得する（Ｓ１００）。前方カメラ１２は、いわゆる動画撮影機能を備えており１秒間に３０フレームの割合で前方画像を撮影して制御部１８に出力する。Ｓ１００では、前方カメラ１２から出力された１フレーム分の画像データを取得して、制御部１８内の図示しないメモリに記憶する。

次に、前方画像の中から移動体を検出する（Ｓ１０２）。移動体は、画像の差分を取る方法、あるいは画像の相関を取る方法によって検出することができる。すなわち、前方カメラ１２は１秒間に３０フレームの割合で前方画像を撮影するから、あるフレームの画像は、その１つ前のフレームの画像とほとんど同じとなるが、移動体が写っている部分だけは違った画像となる。従って、２つの画像間で差分を取れば、画像中に写った移動体を検出することができる。また、移動体は、前方画像中である程度の大きさに写っており、更に、１つの移動体はほぼ同じ方向に移動している。従って、移動体が存在する部分で画像相関を取れば強い相関が現れることとなり、この性質を利用することで、移動体の位置や、大きさ、移動方向、移動速度などの情報を得ることができる。Ｓ１０２では、画像の差分や、相関の何れかを用いて、あるいはこれらを組み合わせることによって、前方画像中に存在する移動体を検出する。
図４には、前方画像中から移動体が検出された様子が例示されている。図示した例では、Ａ〜Ｃの３つの移動体が検出されている。

続いて、運転者の視認範囲を検出する（Ｓ１０４）。ここで「視認範囲」とは、車両１の運転者の視野内で、且つ、運転者が対象物を正しく認識可能な範囲を指す。すなわち、人間は１８０度近い視界を有するが、視界の端の部分では「何かがある」あるいは「何かが動いた」といった程度のことしか認識することができない。対象物を正しく認識できるのは、いわゆる視線を中心軸として所定の立体角の範囲内に限られる。視認範囲とは、この視線を中心軸とした所定の立体角の範囲を指す。
本実施例では、ドライバーカメラ１４を用いて前方から撮影した運転者の画像から、運転者の顔の左右方向の角度（Ｙａｗ角）を検出して、顔の向きが視線の向きであると仮定して視認範囲を検出する。

図５には、運転者の視認範囲を検出した様子が概念的に示されている。図示した例では、運転者は、図中に一点鎖線で示した正面前方に対して、Ｙａｗ角だけ右方向を向いている。そこで、この顔の向きが視線の方向であると仮定して、左右に角度αずつの範囲内を視認範囲とする。従って、図示した例では、移動体Ａ〜Ｃの中で移動体Ｃのみが、視認範囲内に存在していることになる。
尚、本実施例では、簡単のために、左右方向（Ｙａｗ角方向）の顔の向きのみを検出するものとして説明するが、上下方向（Ｐｉｔｃｈ角方向）の顔の向きも検出してもよい。この場合は、Ｙａｗ角およびＰｉｔｃｈ角で規定される方向が視線の方向であると仮定して、上下左右に角度αずつの範囲内、あるいは視線の方向を中心軸として立体角２αの範囲内を、視認範囲としても良い。
また、本実施例では、顔の向きが視線の向きを表しているものと仮定したが、運転者の瞳の位置を検出して、より直接的に視線の方向を検出しても良い。

以上のようにして、前方画像中の移動体と、運転者の視認範囲とを検出したら、今度は、検出した移動体に属性を付与する属性付与処理を開始する（Ｓ２００）。属性付与処理の詳細については後述するが、この処理では、検出された移動体のそれぞれについて、各種の属性が付与される。たとえば、図４に示した例では、３つの移動体Ａ〜Ｃが検出されているが、それぞれの移動体毎に各種の属性が付与される。

その後、付された属性に応じて移動体毎に警告表示の態様を決定して、その結果をディスプレイ１６に出力することによって、運転者に対して移動体を警告表示する（Ｓ１０６）。

そして、車両１の運転を終了するか否かを判断し（Ｓ１０８）、運転終了でなければ（Ｓ１０８：ｎｏ）、Ｓ１００に戻って新たな前方画像を取得した後、上述した続く一連の処理を繰り返す。前述したように前方カメラ１２は１秒間に３０フレームの割合で前方画像を取得するから、図３の移動体警告処理も１秒間に３０回の割合で、上述した一連の処理を実行する。その結果、前方画像中の移動体の属性は１フレーム毎に更新されることになり、ディスプレイ１６上で移動体が警告表示される態様も、刻々と変化していく。

Ｃ．属性付与処理 ：
以下では、移動体に属性を付与する属性付与処理（Ｓ２００）の詳細について説明するが、その準備として、本実施例の制御部１８が移動体に付与する属性の概要について予め説明しておく。

図６には、移動体に付与される属性の一覧が示されている。尚、これら７つの属性の中で、属性１および属性２は、前方画像中から移動体が検出された段階で付与される属性であり、残りの５つの属性（属性３〜７）が、属性付与処理によって付与される属性である。

属性１は、前方画像上での移動体の位置および大きさに関係する属性である。本実施例では、検出された移動体を矩形枠で囲って、矩形枠の対角に存在する２点の座標値を、属性１として使用する。たとえば、図４に示した移動体Ａについては、点ａ１および点ａ２の画像上での座標値が属性１となる。

属性２は、移動体の移動方向を表す属性である。本実施例では、属性２は、０〜７の値を取ることができ、このうちの「０」は、画像上で右方向に移動していることを示している。また「１」は、右下方向に移動していることを示し、「２」は下方向に移動していることを示している。更に、「３」は左下方向に、「４」は左方向、「５」は左上方向、「６」は上方向、「７」は右上方向に移動していることをそれぞれ示している。
尚、本実施例では、上述のように移動体の移動方向を大まかに８つに分類した結果を属性２として用いるが、これに限らず、移動体の移動方向および移動速度を表すベクトルを、属性２として用いることもできる。

属性３は、移動体が運転者の視認範囲内にあるか否か（図５参照）を示すフラグ（視認範囲フラグ）である。視認範囲フラグＯＮは、移動体が視認範囲内にあることを示している。
属性４は、視認範囲内にある移動体について、何フレームに亘って連続して視認範囲内にあるかを示す属性である。ある移動体が、一定のフレーム数に亘って連続して視認範囲内にあれば、運転者が認識したと考えることができる。
属性５は、運転者によって認識された回数を示す属性である。この属性５は、運転者が一度認識した移動体を何度も認識する場合があることに対応して、認識された回数を計数する。
属性６は、前方画像中の移動体が、運転者に１回も認識されないまま経過したフレーム数を示す属性である。そして、運転者に１回も認識されないまま所定のフレーム数が経過していれば、その移動体は運転者から見落とされているものと考えられる。
属性７は、移動体が運転者から見落とされていることを示すフラグ（見落フラグ）である。見落フラグＯＮは、移動体が見落とされた状態であることを示している。

移動体が初めて検出された段階では、属性３（視認範囲フラグ）および属性７（見落フラグ）についてはＯＦＦに設定され、属性４〜６については「０」が設定されている。しかし、その後は、前方カメラ１２からフレームの画像が供給されて、以下に説明する属性付与処理が実行される度に更新されていく。尚、属性１および属性２については、属性付与処理ではなく、移動体警告処理の中で移動体を検出する処理（図３のＳ１０２）で更新される。

図７には、属性付与処理のフローチャートが示されている。この処理に先だって、図３の移動体警告処理の中では、前方画像の移動体と運転者の視認範囲とが既に検出されている。
属性付与処理（Ｓ２００）では、先ず始めに、検出された移動体の中から任意の移動体を１つ選択する（Ｓ２０２）。そして、選択した移動体が、運転者の視認範囲内にあるか否かを判断する（Ｓ２０４）。
移動体が視認範囲内にあるか否かは、移動体の属性１と、先に検出しておいた運転者の視認範囲とに基づいて判断することができる。すなわち、移動体の属性１から、その移動体が、運転者の正面前方からＹａｗ角にしてどれだけの位置にあるかを求めることができる。そして、求めた移動体のＹａｗ角が、運転者の視線のＹａｗ角を中心として左右にαずつの範囲内に入っていれば、その移動体は運転者の視認範囲内にあると判断することができる（図５参照）。

その結果、移動体が視認範囲内にあると判断した場合は（Ｓ２０４：ｙｅｓ）、属性３の視認範囲フラグをＯＮにして（Ｓ２０６）、属性４の値に「１」を加算する（Ｓ２０８）。図６を用いて前述したように属性４は、移動体が、連続して視認範囲内に存在したフレーム数を示している。ここでは、現在処理しているフレームでは、移動体が視認範囲内にある（Ｓ２０４：ｙｅｓ）と判断したことに対応して、連続して視認範囲内に存在したフレーム数（すなわち属性４）に「１」を加算する。
これに対して、移動体が視認範囲内に存在しないと判断した場合は（Ｓ２０４：ｎｏ）、属性３の視認範囲フラグをＯＦＦにすると共に（Ｓ２１０）、属性４の値を「０」に初期化する（Ｓ２１２）。その結果、属性４は、移動体が視認範囲内に存在したフレーム数の累積値ではなく、視認範囲内に連続して存在するフレーム数が計数されることになる。

そして、属性４に「１」を加算した場合は（Ｓ２０８）、属性４の値が所定の第１閾値ＴＨ１に達したか否かを判断する（Ｓ２１４）。ここで、第１閾値ＴＨ１とは、移動体を運転者が認識したか否かを判断するために用いる閾値である。すなわち、移動体が視認範囲内に存在するというだけでは、その移動体を運転者が認識したということはできないが、移動体がある程度の時間に亘って連続して視認範囲内に留まり続けているのであれば、運転者がその移動体を認識したものと考えて良い。これは、視認範囲内に移動体が存在するだけでは、たまたま視線が移動体の上を通過した場合も考えられるのに対して、移動体がある程度の時間に亘って連続して視認範囲内に留まり続けているということは、運転者が意図して視線をその移動体に向けていると考えられるからである。
従って、属性４の値（移動体が運転者の視認範囲内に連続して存在するフレーム数）が、ある程度の値（第１閾値ＴＨ１）に達したら、運転者がその移動体を意図してみている（すなわち、運転者が認識した）ものと判断することができる。
尚、前述したように、本実施例ではフレーム数は３０フレームが１秒の比率で時間に換算できるから、視認範囲内に連続して存在するフレーム数は、視認範囲内に連続して存在する時間と同義となる。従って、本実施例では、第１閾値ＴＨ１が本発明における「基準時間」に対応する。

その結果、属性４の値が第１閾値ＴＨ１に達していれば（Ｓ２１４：ｙｅｓ）、属性５の値に「１」を加算する（Ｓ２１６）。図６を用いて前述したように、属性５は、その移動体が運転者によって認識された回数を表している。尚、本実施例の属性５の値は、運転者が認識した回数を表していることから、本発明における「判定回数」に対応する。
そして、属性４の値を「０」に初期化した後（Ｓ２１８）、属性７の見落フラグをＯＦＦに設定する（Ｓ２２０）。図６を用いて前述したように、見落フラグは移動体が運転者から見落とされていることを示すフラグである。従って、Ｓ２１６で属性５の値（移動体が運転者によって認識された回数）に「１」を加算した場合は、仮に見落フラグがＯＮに設定されていると不合理が生じるので、念のために属性７の見落フラグをＯＦＦに設定しておく（Ｓ２２０）。

これに対して、属性４の値（移動体が連続して視認範囲内に存在するフレーム数）が第１閾値ＴＨ１に達していない場合（Ｓ２１４：ｎｏ）、あるいは、そもそも移動体が視認範囲内に無いために属性３の視認範囲フラグおよび属性４の値が初期化された場合（Ｓ２１０、Ｓ２１２）は、属性５の値（運転者によって認識された回数）が「０」であるか否かを判断する（Ｓ２２２）。
その結果、属性５の値が「０」であった場合は（Ｓ２２２：ｙｅｓ）、その移動体は未だ１回も運転者に認識されていないことになるので、属性６の値に「１」を加算する（Ｓ２２４）。図６を用いて前述したように、属性６の値は、移動体として検出された後、運転者に１回も認識されないまま経過したフレーム数を示している。

そして、属性６の値が、所定の第２閾値ＴＨ２に達したか否かを判断する（Ｓ２２６）。第２閾値ＴＨ２は、前述した第１閾値ＴＨ１よりも大きな値に設定されている。その結果、属性６が第２閾値ＴＨ２に達していた場合は（Ｓ２２６：ｙｅｓ）、その移動体は、運転者に１回も認識されないまま長い時間が経過していると考えられるので、属性７の見落フラグをＯＮに設定する（Ｓ２２８）。これに対して、属性６が第２閾値ＴＨ２に達していない場合は（Ｓ２２６：ｎｏ）、属性７の見落フラグはＯＦＦのままとしておく。また、これら属性６および属性７は、移動体が運転者に１回も認識されていない状態に関連する属性なので、属性５の値が「０」ではなかった場合には（Ｓ２２２：ｎｏ）、属性６および属性７に関する処理（Ｓ２２４〜Ｓ２２８）は不要となる。
尚、移動体が運転者に１回も認識されないまま経過したフレーム数は、運転者に１回も認識されないまま経過した時間と同義となる。従って、本実施例では、第２閾値ＴＨ２が本発明における「見落時間」に対応する。また、見落フラグがＯＮに設定された移動体が、本発明における「見落移動体」に対応する。

以上のようにして、選択した移動体の属性３〜属性７を設定したら、前方画像から検出された全ての移動体を選択したか否かを判断する（Ｓ２３０）。その結果、未だ選択していない移動体が残っている場合は（Ｓ２３０：ｎｏ）、Ｓ２０２に戻って新たな移動体を１つ選択した後、上述した一連の処理を繰り返す。これに対して、全ての移動体を選択したと判断した場合は（Ｓ２３０：ｙｅｓ）、図７に示す属性付与処理を終了して、図３の移動体警告処理に復帰する。

Ｄ．移動体の警告表示 ：
図３に示されるように、移動体警告処理では属性付与処理（Ｓ２００）から復帰すると、移動体に付与された属性に応じて、それぞれの移動体について警告表示の態様を決定した後、ディスプレイ１６の画面上で警告表示する（図３のＳ１０６）。

図８には、移動体の属性に応じて設定された警告表示の態様が一覧的に示されている。図８（ａ）に示されるように、本実施例では、属性５の値（運転者が認識した回数）と、属性７の見落フラグの設定とに基づいて警告表示の態様が設定されている。また、図８（ｂ）には、属性の設定に応じて警告表示の態様が変化する様子が概念的に示されている。

全ての移動体は、検出された直後の属性５の値は「０」に設定され、属性７の見落フラグはＯＦＦに設定されている。この状態（属性５＝０）では、まだ運転者に認識されていないと考えられるので、移動体を赤色の矩形の枠（赤色枠）で囲って警告表示する。図８（ｂ）では、赤色枠は太い実線の枠で表示されている。

その後、運転者の視認範囲内に連続して所定フレーム数（第１閾値ＴＨ１）以上留まったら、属性５の値に「１」が加算される（図７のＳ２１６参照）。従って、属性５の値が「１」の移動体は、運転者によって１回認識されていると考えて良いので、細い青線の矩形の枠（青色枠）で囲って警告表示する。属性５の値「０」の場合の赤色枠と比較して、枠線の色が赤色から青色へと目立たない色に変更されており、加えて枠線の太さが細くなっているために、青色枠は、赤色枠に比べて目立ちにくい警告表示となっている。

その後、再び、属性５の値に「１」が加算されて、属性５の値が「２」になった移動体は、運転者に２回認識されたことになる。そこで、このような移動体は、細い破線の青色枠（破線の青色枠）で囲って警告表示する。青色枠と比較すると、枠線が破線に変更されている分だけ、破線の青色枠は目立ちにくい警告表示となっている。

更に、属性５の値に「１」が加算されて、属性５の値が「３」になった移動体は、運転者に３回認識されたことになる。このような移動体は運転者が十分に認識していると考えられるので、警告表示する必要はない。そこで、属性５の値が「３」以上の移動体については、枠の表示（警告表示）を行わない。
このように本実施例では、属性５の値が「１」以上の移動体については、運転者によって既に認識された移動体（既認識移動体）と考えられるので、青色枠（破線の青色枠も含む）のようにあまり目立たない警告表示の態様か、若しくは警告表示を行わないこととしている。

これに対して、運転者に１回も認識されないまま（すなわち、属性５の値が「０」のまま）所定フレーム数（第２閾値ＴＨ２）以上が経過すると、属性７の見落フラグがＯＮに設定される（図７のＳ２２８参照）。このような移動体は、赤色枠で囲う程度の警告表示では足らないと考えられるので、赤色枠を点滅表示させて、より目立ちやすい警告表示とする。

以上に説明したように本実施例では、属性５の値が「０」の移動体については、見落フラグがＯＮの移動体も含めて、運転者が未だ認識していない移動体（未認識移動体）と考えられるので、既認識移動体よりも目立ちやすい態様で警告表示を行うこととしている。
そして、既認識移動体と未認識移動体とで警告表示の態様を異ならせているので、多数の移動体が存在する場合でも、運転者に負担をかけることなく、それでいながら移動体の存在を確実に警告することが可能となる。以下では、この点について説明する。

図９には、前方画像から検出された複数の移動体について、警告表示の態様が変化していく様子が示されている。図９（ａ）には、前方画像から初めて移動体が検出された時に、ディスプレイ１６の画面上に表示される画像が例示されている。図示した例では、移動体ａ〜ｊまでの１０個の移動体が検出されている。また、これらの移動体は初めて検出された状態（属性５＝０）なので、全て赤色枠で囲って警告表示されている。

図９（ｂ）には、図９（ａ）の画像から所定時間（たとえば１〜２秒）が経過した後の画像が示されている。この所定時間の間に、幾つかの移動体（ここでは移動体ｂ、ｃ、ｄ、ｇ、ｈ）については運転者に認識されて属性５の値が「１」になり、それに伴って警告表示の態様が、赤色枠から青色枠に変更されている。

図９（ｃ）には、図９（ｂ）の画像から更に所定時間が経過した後の画像が示されている。この図９（ｃ）の画像では、更に幾つかの移動体（ここでは移動体ｅ、ｉ）が運転者に認識されて、警告表示の態様が赤色枠から青色枠に変更されると同時に、既に認識されていた移動体の中には、再び認識されて警告表示の態様が青色枠から破線の青色枠に変更された移動体（ここでは移動体ｂ、ｃ、ｇ、ｈ）も存在している。その一方で、この段階でも依然として運転者に認識されていない移動体（ここでは移動体ａ、ｆ）も存在している。

図９（ｄ）には、図９（ｃ）の画像から更に所定時間が経過した後の画像が示されている。図９（ｄ）の画像では、まだ認識されていなかった移動体（ここでは移動体ｆ）が運転者に認識されて、警告表示の態様が赤色枠から青色枠に変更されている。また、既に認識されていた移動体の中にも再び認識されて、警告表示の態様が青色枠から破線の青色枠に変更された移動体（ここでは移動体ｄ，ｅ，ｉ，ｊ）や、警告表示がされなくなった移動体（ここでは移動体ｂ、ｃ、ｇ、ｈ）も存在している。しかし、この段階でも依然として運転者に認識されていない移動体（ここでは移動体ａ）も存在しており、このような移動体については属性７の見落フラグがＯＮに設定される結果、警告表示の態様が、赤色枠から点滅する赤色枠に変更されている。

このように本実施例の移動体警告装置１０では、前方画像中に複数の移動体が存在する場合でも（図９（ａ）参照）、運転者によって認識された移動体（既認識移動体）については警告表示の態様を異ならせることで、運転者にかかる負担を軽減することができる。また、その裏返しとして、運転者によって認識されないままの移動体（未認識移動体）は、既認識移動体よりも目立ちやすくなるので、運転者に対して移動体の存在を確実に警告することが可能となる。
更に、図８および図９に例示したように、既認識移動体についても、属性５の値に応じて警告表示の態様を異ならせれば、運転者の負担をより一層軽減することができる。同様に、未認識移動体についても、属性７の見落フラグの設定に応じて警告表示の態様を異ならせれば、運転者に対して移動体の存在をより一層確実に警告することができる。

Ｅ．変形例 ：
上述した実施例では、移動体が運転者に認識された回数（属性５の値）は、増えることはあっても減ることはないものとして説明した。しかし、運転者に認識された後、あまりに長い間、運転者に認識されない状態が継続した場合には、属性５の値を減算するようにしても良い。

図１０には、このような変形例の属性付与処理のフローチャートが示されている。変形例の属性付与処理（Ｓ３００）は、図７を用いて前述した本実施例の属性付与処理（Ｓ２００）の代わりに実行される処理である。
また、変形例の属性付与処理（Ｓ３００）の処理内容は、本実施例の属性付与処理（Ｓ２００）とほぼ同様であるが、以下の点が大きく異なっている。すなわち、本実施例の属性付与処理（Ｓ２００）では、移動体が１回も認識されない間（属性５＝０の間）だけ、属性６の値の計数や、属性７の見落フラグの設定などを行っていた。これに対して、変形例の属性付与処理（Ｓ３００）では、属性５の値が「１」以上の場合にも属性６の値を計数し、属性６の値が第２閾値ＴＨ２に達した場合は属性５の値を減算する。以下では、この相違点を中心として、変形例の属性付与処理（Ｓ３００）について簡単に説明する。

変形例の属性付与処理（Ｓ３００）においても、先ず始めに、検出された移動体の中から任意の移動体を１つ選択し（Ｓ３０２）、選択した移動体が、運転者の視認範囲内にあるか否かを判断する（Ｓ３０４）。
その結果、移動体が視認範囲内にあると判断した場合は（Ｓ３０４：ｙｅｓ）、属性３の視認範囲フラグをＯＮにして（Ｓ３０６）、属性４の値（連続して視認範囲内に存在したフレーム数）に「１」を加算する（Ｓ３０８）。一方、移動体が視認範囲内に存在しないと判断した場合は（Ｓ３０４：ｎｏ）、属性３の視認範囲フラグをＯＦＦにして（Ｓ３１０）、属性４の値を「０」に初期化する（Ｓ３１２）。

そして、属性４に「１」を加算した場合は（Ｓ３０８）、属性４の値が所定の第１閾値ＴＨ１に達したか否かを判断し（Ｓ３１４）、第１閾値ＴＨ１に達していれば（Ｓ３１４：ｙｅｓ）、運転者によって認識されたものと判断できるので、属性５の値（運転者が認識した回数）に「１」を加算する（Ｓ３１６）。その後、属性４の値を「０」に初期化した後（Ｓ３１８）、属性７の見落フラグをＯＦＦに設定する（Ｓ３２０）。

これに対して、属性４の値（連続して視認範囲内に存在したフレーム数）が第１閾値ＴＨ１に達していない場合（Ｓ３１４：ｎｏ）、あるいは、移動体が視認範囲内に無いために属性３の視認範囲フラグおよび属性４の値が初期化された場合（Ｓ３１０、Ｓ３１２）は、変形例の属性付与処理では以下のような処理を実行する。

先ず、属性６の値に「１」を加算する（Ｓ３２２）。変形例での属性６は、移動体が運転者に認識されないまま経過したフレーム数を表している。従って、変形例では、移動体が運転者に認識された後も、その後、運転者に認識されない状態が続くと、属性６でフレーム数が計数されることになる。

そして、属性６の値が第２閾値ＴＨ２に達したか否かを判断する（Ｓ３２４）。その結果、属性６の値が第２閾値ＴＨ２に達していれば（Ｓ３２４：ｙｅｓ）、属性６の値を「０」に初期化した後（Ｓ３２６）、属性５の値（運転者が認識した回数）が「０」か否かを判断する（Ｓ３２８）。その結果、属性５の値が「０」であった場合は（Ｓ３２８：ｙｅｓ）、前述した本実施例の属性付与処理と同様に、属性７の見落フラグをＯＮに設定する（Ｓ３３０）。

これに対して、属性５の値が「０」ではなかった場合は（Ｓ３２８：ｎｏ）、属性５の値から「１」を減算する（Ｓ３３２）。従って、変形例の属性付与処理では、属性５の値が「１」の移動体でも、第２閾値ＴＨ２に相当するフレーム数に亘って、運転者に認識されない状態が継続すると、属性５の値が「０」に戻ってしまう。同様に、属性５の値が「２」であれば「１」に、属性５の値が「３」であれば「２」に戻ってしまう。
また、属性６の値が第２閾値ＴＨ２に達していない場合は（Ｓ３２４：ｎｏ）、属性５の値を減算したり、属性７の見落フラグを設定したりするための上述した処理（Ｓ３２６〜Ｓ３３０）は不要となる。

尚、上述した変形例では、属性５の値を減算するか否かを判断するための閾値として、属性７の見落フラグをＯＮに設定するか否かを判断するための閾値と同じ第２閾値ＴＨ２を用いるものとして説明した。もちろん、属性５の値を減算するか否かを判断するための閾値としては、第２閾値ＴＨ２とは異なる閾値を用いても構わない。
また、属性５の値を減算するか否かを判断するために用いた第２閾値ＴＨ２は、本発明における「閾値時間」に対応する。

以上のようにして、属性３〜属性７を設定したら、前方画像から検出された全ての移動体を選択したか否かを判断する（Ｓ３３４）。その結果、未だ選択していない移動体が残っている場合は（Ｓ３３４：ｎｏ）、Ｓ３０２に戻って新たな移動体を１つ選択した後、上述した一連の処理を繰り返す。これに対して、全ての移動体を選択したと判断した場合は（Ｓ３３４：ｙｅｓ）、図１０に示す変形例の属性付与処理を終了して、図３の移動体警告処理に復帰する。

以上に説明した変形例の属性付与処理では、運転者に認識されて警告表示の態様が目立ちにくい態様に変更された移動体でも、その後に認識されない状態が継続すると、目立ちやすい態様の警告表示に戻される。このため、既認識移動体の中に長い間認識されないままの移動体が存在する場合に、そのような移動体の存在を警告して、運転者の注意を喚起することが可能となる。

以上、本実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 １０…移動体警告装置、 １２…前方カメラ、
１４…ドライバーカメラ、 １６…ディスプレイ、 １８…制御部、
１８ａ…移動体検出部、 １８ｂ…判定部、 １８ｃ…視認範囲検出部、
１８ｄ…警告部

Claims (7)

1. 車両の前方に移動体が存在することを該車両の運転者に警告する移動体警告装置であって、
   前記車両の前方の状況を撮影した画像である前方画像を撮影する撮影手段と、
   前記前方画像から前記移動体を検出する移動体検出手段と、
   前記前方の状況の中の前記前方画像に対応する範囲の中で、前記運転者が視認している範囲である視認範囲を検出する視認範囲検出手段と、
   前記視認範囲内に連続して所定の基準時間存在する前記移動体を検出して、該移動体を既認識移動体と判定する判定手段と、
   前記既認識移動体ではない前記移動体である未認識移動体と前記既認識移動体とでは異なる態様で、前記移動体の存在を前記運転者に警告する警告手段と
   を備える移動体警告装置。
2. 請求項１に記載の移動体警告装置であって、
   前記視認範囲検出手段は、前記運転者の前方から撮影した該運転者の画像に基づいて、前記視認範囲を検出する手段である移動体警告装置。
3. 請求項１または請求項２に記載の移動体警告装置であって、
   前記移動体が前記既認識移動体と判定された判定回数を、該移動体毎に計数する計数手段を備え、
   前記警告手段は、前記判定回数に応じた態様で前記既認識移動体の存在を前記運転者に警告する手段である移動体警告装置。
4. 請求項３に記載の移動体警告装置であって、
   前記警告手段は、前記判定回数が所定回数に達した前記既認識移動体については、前記運転者への警告を停止する手段である移動体警告装置。
5. 請求項３または請求項４に記載の移動体警告装置であって、
   前記計数手段は、前記既認識移動体と判定されてから、所定の閾値時間が経過するまでの間に再び該既認識移動体と判定されない前記移動体については、該移動体についての前記判定回数を減数する手段である移動体警告装置。
6. 請求項１ないし請求項５の何れか一項に記載の移動体警告装置であって、
   前記判定手段は、前記未認識移動体の状態が所定の見落時間以上、継続している前記移動体を検出して、該移動体を見落移動体と判定する手段であり、
   前記警告手段は、前記見落移動体については、前記未認識移動体とも前記既認識移動体とも異なる態様で、前記移動体の存在を前記運転者に警告する手段である移動体警告装置。
7. 車両の前方に移動体が存在することを該車両の運転者に警告する移動体警告方法であって、
   前記車両の前方の状況を撮影した画像である前方画像を撮影する工程と、
   前記前方画像から前記移動体を検出する工程と、
   前記前方の状況の中の前記前方画像に対応する範囲の中で、前記運転者が視認している範囲である視認範囲を検出する工程と、
   前記視認範囲内に連続して所定の基準時間存在する前記移動体を検出して、該移動体を既認識移動体と判定する工程と、
   前記既認識移動体ではない前記移動体である未認識移動体と前記既認識移動体とでは異なる態様で、前記移動体の存在を前記運転者に警告する工程と
   を備える移動体警告方法。

Images