JP4905496B2 - 物体検出装置 - Google Patents

Description

本発明は、物体を検出する物体検出装置に関する。

従来、物体検出を行うものとして、移動体に搭載された撮像素子で撮像された動画像からオプティカルフローを検出する動画像処理装置を備え、当該動画像処理装置が、動画像に含まれるフレームを複数の領域に分割して領域ごとに異なる条件でオプティカルフローを算出する演算部と、移動体の状態に応じて分割の態様及び条件の少なくとも一方を適応的に変化させるパラメータ決定部とを備えるものが知られている。この物体検出装置では、近距離の物体検出時と遠距離の物体検出時とでオプティカルフロー演算におけるフレーム間隔を変更している。

特開２００８−２７６３０８号公報

ここで、上述の物体検出装置にあっては、例えば、物体の横位置が中心から大きく離れている場合や自車両が大きくカーブした場合など、状況によっては想定外にオプティカルフローが大きくなってしまい正確に演算することができない場合があった。このような場合は物体の検出精度が低下してしまうという問題があった。

本発明は、このような問題を解決するためになされたものであり、状況によらず物体の検出精度を向上させることのできる物体検出装置を提供することを目的とする。

本発明に係る物体検出装置は、移動体に搭載された撮像手段によって画像を取得し、所定のフレーム間隔を有する二つの画像間における画像移動量に基づいて物体を検出する物体検出装置において、物体の画像中における横位置に基づいてフレーム間隔を変更することを特徴とする。

例えば、物体が画像中における周縁部付近に位置している場合は（すなわち、自車両の撮像手段の撮像中心線と物体との横位置偏差が大きい場合）、画像中の物体の横位置変化量が大きくなり、一方、画像中における中央部付近に位置している場合は横位置変化量が小さくなる。従って、本発明に係る物体検出装置によれば、物体の画像中における横位置に基づいてフレーム間隔を変更することによって、オプティカルフローを高精度に演算することが可能となり、物体の位置によらず精度よく物体を検出することができる。以上によって、状況によらず物体の検出精度を向上させることができる。

本発明に係る物体検出装置は、移動体に搭載された撮像手段によって画像を取得し、所定のフレーム間隔を有する二つの画像間における画像移動量に基づいて物体を検出する物体検出装置において、移動体の旋回状態に基づいてフレーム間隔を変更することを特徴とする。

例えば、自車両が旋回している場合は（すなわち推定Ｒが小さい場合）、画像中における横位置変化量が大きくなり、一方、直進している場合は横位置変化量が小さくなる。従って、本発明に係る物体検出装置によれば、旋回状態に基づいてフレーム間隔を変更することによって、オプティカルフローを高精度に演算することが可能となり、運転状態によらず精度よく物体を検出することができる。以上によって、状況によらず物体の検出精度を向上させることができる。

本発明に係る物体検出装置において、画像中における物体の横方向の移動量に基づいてフレーム間隔を変更することが好ましい。画像中における物体の横方向の移動量に基づいてフレーム間隔を変更することができるため、物体の横方向の移動量に応じた適切なフレーム間隔を設定することによって、オプティカルフローを高精度に演算することが可能となり、状況によらず物体の検出精度を向上させることができる。

具体的には、本発明に係る物体検出において、物体の画像中における横位置が大きいほどフレーム間隔を短くすることが好ましく、移動体の旋回半径が小さいほどフレーム間隔を短くすることが好ましい。

本発明によれば、状況によらず物体の検出精度を向上させることができる。

本発明の実施形態に係る物体検出装置のブロック構成図である。 本発明の実施形態に係る物体検出装置における制御処理を示すフローチャートである。 カメラで撮像した画像の一例を示す図である。 最適なフレーム間隔を演算するための線図の一例である。 最適なフレーム間隔を演算するための線図の一例である。 画像のフレーム間隔を模式的に示した図である。

以下、図面を参照して本発明に係る物体検出装置の好適な実施形態について詳細に説明する。

まず、本発明の実施形態に係る物体検出装置１の構成を説明する。図１は、本発明の実施形態に係る物体検出装置１のブロック構成を示した図である。物体検出装置１は、撮像した画像を用いてオプティカルフローを演算し、その演算結果に基づいて物体を検出する機能を有する装置である。図１に示すように、物体検出装置１は、ＥＣＵ（Electronic Control Unit）２、ミリ波レーダ３、カメラ（撮像手段）４、を備えて構成されている。

ミリ波レーダ３は、ミリ波を利用して物体を検出するレーダセンサである。ミリ波レーダ３は、自車両（移動体）の前側の中央の所定の高さ位置（検出対象の障害物を確実に検出可能な高さ位置）に取り付けられる。ミリ波レーダ３では、ミリ波を左右方向に走査しながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。ミリ波を送信する際の上下方向の角度は、固定であり、車両停止時には路面に対して平行となる角度が設定されている。ミリ波レーダ３では、反射ミリ波を受信できた各反射点についてのミリ波情報（左右方向の走査方位角、送信時刻、受信時刻、反射強度など）からなるミリ波信号をＥＣＵ２に送信する。このミリ波レーダ３は、例えば、車両前方が図３に示すような状況である場合、検出点Ｐ１を検出することによって物体（図においては他車両Ｍ１である）を検出する。

カメラ４は、自車両の前方を撮像する単眼カメラである。カメラ４は、自車両の前側の中央に搭載される。カメラ４は、自車両前方を撮像し、その撮像画像情報を画像信号としてＥＣＵ２に送信する。この撮像画像は、一定時間（例えば、１／３０秒）毎のフレームの画像である。カメラ４は、左右方向に撮像範囲が広く、車線数が少ない場合には走行車線及び対向車線の外側の歩道や路肩までを十分に含む範囲まで撮像可能であり、例えば、図３のような画像を取得することができる。

ＥＣＵ２は、運転支援装置１全体の制御を行う電子制御ユニットであり、例えばＣＰＵを主体として構成され、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などを備えている。ＥＣＵ２は、画像処理領域抽出部１１、相対速度演算部１２、距離演算部１３、横位置演算部１４、推定Ｒ演算部１６、フレーム間隔演算部１７、オプティカルフロー演算部１８、物体検出部１９を備えて構成されている。

画像処理領域抽出部１１は、ミリ波レーダ３から出力されたミリ波信号に基づいて車両前方の物体を検出し、その物体の位置情報に基づいて当該物体がカメラ４から出力された画像中のどの領域に存在するかを特定し、特定した領域を画像処理領域Ｆ１として抽出する機能を有している。具体的には、画像処理領域抽出部１１は、現時刻でのミリ波情報を利用し、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と検出点Ｐ１の方向とのなす角度を求め、その角度から検出点Ｐ１の位置を算出することによって物体を検出する。そして、画像中で検出点Ｐ１を特定するとともに、その周辺の領域を画像処理領域Ｆ１として抽出する。

距離演算部１３は、ミリ波情報に基づいて自車両と物体との相対距離を演算する機能を有している。具体的には、距離演算部１３は、現時刻でのミリ波情報を利用し、ミリ波の送信から受信までの時間に基づいて前方の物体までの相対距離を算出する。

相対速度演算部１２は、ミリ波情報に基づいて自車両と物体との相対速度を演算する機能を有している。具体的には、相対速度演算部１２は、距離演算部１３によって演算された現時刻における距離と所定の前時刻における距離の変化に基づいて前方の物体との相対速度を算出する。

横位置演算部１４は、カメラ４から出力された撮像画像に基づいて物体の横位置を演算する機能を有している。ここで、横位置とはカメラ４の撮像中心線に対する物体の横位置偏差である。横位置演算部１４は、撮像画像を解析することによって物体の横位置を演算し、例えば、画像データのヒストグラムにおけるピーク部分を物体の幅方向の端部と認定し、認定した両端部の位置から物体の幅方向の中心軸の位置を割り出すことによって、物体の横位置を導き出すことができる。なお、横位置演算部１４は、ミリ波情報を用いて横位置を演算してもよい。

推定Ｒ演算部１６は、自車両の旋回半径（推定Ｒ）を演算する機能を有している。この推定Ｒは、図示されないヨーレイトセンサや操舵角センサの出力情報に基づいて演算することができる。推定Ｒは自車両がまっすぐに走っているときほど大きくなり、急速にカーブしているときほど小さくなる。

フレーム間隔演算部１７は、相対速度演算部１２、距離演算部１３、横位置演算部１４、推定Ｒ演算部１６の演算結果に基づいて、オプティカルフローを演算するのに最適なフレーム間隔を演算する機能を有している。ここで、フレーム間隔とは、図６に示すように、オプティカルフローを演算するのに用いられる二つの異なる画像同士の間の間隔であり、一つめの画像は現時刻（ｔ）における画像であり、二つめの画像は前時刻（ｔ−ｘ）における画像である。従来においては一フレーム前の前時刻（ｔ−１）における画像が用いられていたが、本実施形態においては条件に従ってオプティカルフローを演算するのに最適なフレーム間隔が演算される。

このフレーム間隔演算部１７は、画像中における物体の横方向の移動量に基づいてフレーム間隔を変更する機能を有している。また、フレーム間隔演算部１７は、物体の画像中における横位置に基づいてフレーム間隔を変更する機能を有し、自車両の旋回状態に基づいてフレーム間隔を変更する機能を有している。更に、フレーム間隔演算部１７は、物体との相対距離に基づいてフレーム間隔を変更する機能を有し、物体との相対速度に基づいてフレーム間隔を変更する機能を有している。具体的には、フレーム間隔演算部１７は、物体の横位置が大きいほどフレーム間隔を短く設定し横位置が小さいほどフレーム間隔を長く設定できるように、図４（ａ）に示すような曲線に従って最適なフレーム間隔を設定することができる。また、フレーム間隔演算部１７は、自車両の推定Ｒが大きいほど（すなわち進路がまっすぐであるほど）フレーム間隔を長めに設定し推定Ｒが小さいほど（すなわち急カーブであるほど）フレーム間隔を短めに設定できるように、図４（ｂ）に示すような曲線に従って最適なフレーム間隔を設定することができる。また、フレーム間隔演算部１７は、相対速度が大きいほどフレーム間隔を短く設定し相対速度が小さいほどフレーム間隔を長く設定できるように、図５（ａ）に示すような曲線に従って最適なフレーム間隔を設定することができる。またフレーム間隔演算部１７は、相対距離が大きいほどフレーム間隔を長く設定し、相対距離が小さいほどフレーム間隔を短めに設定することができるように、図５（ｂ）に示すような曲線に従って最適なフレーム間隔を設定することができる。フレーム間隔演算部１７は、相対距離、相対速度、横位置、及び推定Ｒからそれぞれ求められる最適なフレーム間隔を総合的に考慮してフレーム間隔を設定することができる。

オプティカルフロー演算部１８は、フレーム間隔演算部１７の演算結果にしたがって、二つの画像を用いてオプティカルフローを演算する機能を有している。ここで、オプティカルフローとは、画像内のある点や図形が次の瞬間にどのような方向へ、どの程度の距離移動するかを示すベクトルである。

物体検出部１９は、オプティカルフロー演算部１８で演算されたオプティカルフローの大きさに基づいて物体を検出する機能を有している。例えば、物体検出部１９は、物体のオプティカルフローの大きさが所定値より大きい場合には、物体を障害物として検出する機能を有している。また、物体検出部１９は、当該検出結果とミリ波レーダ３による物体の検出結果とを比較することによって装置の検出結果の信頼性を判定する機能を有している。更に、物体検出部１９は、検出結果を例えば警報装置、車両制御装置、乗員保護装置等の運転支援装置に出力して警告などの運転支援を行わせる機能を備えている。

次に、本実施形態に係る物体検出装置１の動作について図２を用いて説明する。図２は、本実施形態に係る物体検出装置１の動作を示すフローチャートである。なお、以下では、説明理解の容易性を考慮し、自車両が走行しながら物体検知する場合において、検出する物体を図３に示す他車両Ｍ１とした場合を説明する。図２に示す制御処理は、例えばイグニッションオンされてから所定のタイミングでＥＣＵ２内において繰り返し実行される。

まず、画像処理領域抽出部１１は、図２に示すように画像処理領域を抽出する（ステップＳ１０）。具体的に画像処理領域抽出部１１は、ミリ波レーダ３から出力されたミリ波信号に基づいて他車両Ｍ１を検出するとともに、その他車両Ｍ１が画像中のどの領域に存在するかを特定すると共に、特定した領域を画像処理領域Ｆ１として抽出する。

次に、距離演算部１３は、自車両と他車両Ｍ１との相対距離を演算する（ステップＳ１２）。相対速度演算部１２は、Ｓ１２で演算した相対距離に基づいて自車両と他車両Ｍ１との相対速度を演算する（ステップＳ１４）。また、横位置演算部１４は、カメラ４から出力された撮像画像に基づいて他車両Ｍ１の横位置を演算する（ステップＳ１６）。更に、推定Ｒ演算部１６は、ヨーレイトセンサや操舵角センサからの出力情報に基づいて自車両の推定Ｒを演算する（ステップＳ１８）。

次に、フレーム間隔演算部１７は、Ｓ１２で演算した相対距離、Ｓ１４で演算した相対速度、Ｓ１６で演算した横位置、及びＳ１８で演算した推定Ｒに基づいて最適なフレーム間隔を演算する（ステップＳ２０）。具体的には、フレーム間隔演算部１７は、図４及び図５に示す各曲線と相対距離、相対速度、横位置、及び推定Ｒとをそれぞれ照らし合わすことによって各要素におけるフレーム間隔を求めるとともにそれらを総合的に考慮することで最適なフレーム間隔を演算する。その結果、フレーム間隔を短くした方がオプティカルフロー算出精度を高めることができる場合は、例えば図６におけるフレーム間隔Ｄ１を選択し、フレーム間隔を長くした方がオプティカルフロー算出精度を高めることができる場合は、例えば図６におけるフレーム間隔Ｄ２を選択する。

次に、オプティカルフロー演算部１８は、Ｓ２０で演算した最適なフレーム間隔に基づいて二つの画像を用いてオプティカルフローを演算する（ステップＳ２２）。そして、物体検出部１９は、Ｓ２２の演算結果に基づいて他車両Ｍ１を検出する（ステップＳ２４）。Ｓ２４の処理が終了すると図２に示す制御処理は終了し、再びＳ１０から処理を開始する。

以上によって、本実施形態に係る物体検出装置１では、物体の画像中における横位置に基づいてフレーム間隔を変更している。例えば、物体が画像中における周縁部付近に位置している場合は（すなわち、自車両のカメラ４の撮像中心線と物体との横位置偏差が大きい場合）、画像中の物体の横位置変化量が大きくなり、一方、画像中における中央部付近に位置している場合は横位置変化量が小さくなる。従って、物体の画像中における横位置に基づいてフレーム間隔を変更することによって、オプティカルフローを高精度に演算することが可能となり、物体の位置によらず精度よく物体を検出することができる。

また、本実施形態に係る物体検出装置１では、自車両の旋回状態に基づいてフレーム間隔を変更することができる。例えば、自車両が旋回している場合は（すなわち推定Ｒが小さい場合）、画像中における横位置変化量が大きくなり、一方、直進している場合は横位置変化量が小さくなる。従って、旋回状態に基づいてフレーム間隔を変更することによって、オプティカルフローを高精度に演算することが可能となり、運転状態によらず精度よく物体を検出することができる。

また、本実施形態に係る物体検出装置１では、画像中における物体の横方向の移動量に基づいてフレーム間隔を変更することができるため、物体の横方向の移動量に応じた適切なフレーム間隔を設定することによって、オプティカルフローを高精度に演算することが可能となり、状況によらず物体の検出精度を向上させることができる。

なお、上述した実施形態は本発明に係る物体検出装置の一例を示すものである。本発明に係る物体検出装置は、この実施形態に係る物体検出装置に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る物体検出装置を変形し、又は他のものに適用したものであってもよい。

例えば、上記実施形態では、相対速度、相対距離、横位置、推定Ｒの全てを演算し、その結果に基づいてフレーム間隔を演算したが、少なくとも横位置あるいは推定Ｒの一方を考慮して演算すればよい。

１…物体検出装置、４…カメラ、Ｍ１…物体、Ｄ１，Ｄ２…フレーム間隔。

Claims (6)

1. 移動体に搭載された撮像手段によって画像を取得し、所定のフレーム間隔を有する二つの前記画像間における画像移動量に基づいて物体を検出する物体検出装置において、
   前記移動体が直進走行する際に、前記画像に基づいて前記物体の横位置を演算し、前記物体の前記画像中における横位置に基づいて前記フレーム間隔を変更することを特徴とする物体検出装置。
2. 移動体に搭載された撮像手段によって画像を取得し、所定のフレーム間隔を有する二つの前記画像間における画像移動量に基づいて物体を検出する物体検出装置において、
   前記移動体の旋回状態に基づいて前記フレーム間隔を変更することを特徴とする請求項１記載の物体検出装置。
3. 前記画像中における前記物体の横方向の移動量に基づいて前記フレーム間隔を変更することを特徴とする請求項１または２記載の物体検出装置。
4. 前記物体の前記画像中における前記横位置が大きいほど前記フレーム間隔を短くすることを特徴とする請求項１記載の物体検出装置。
5. 前記移動体の旋回半径が小さいほど前記フレーム間隔を短くすることを特徴とする請求項２記載の物体検出装置。
6. 一定時間毎の前記フレーム間隔を変更することを特徴とする請求項１〜５のいずれか一項記載の物体検出装置。

Images