JP2018045385A - 車両制御装置、車両制御方法、および車両制御プログラム - Google Patents

Abstract

【課題】運転者が意図しないタイミングでの警報等を抑制すると共に、精度よく物体を認識することができる車両制御装置、車両制御方法、および車両制御プログラムを提供する。
【解決手段】車両制御システムは、車両の周辺の物体を検出する物体検出部と、前記車両と前記物体検出部により検出された物体との位置関係を求めると共に、前記物体検出部により検出された物体の種別を識別する認識部であって、前記求めた位置関係に基づいて、前記物体の種別を識別する処理の内容を変更する認識部と、前記認識部による識別結果に基づいて、前記車両の走行を支援する走行支援部とを備える。
【選択図】図１

Description

本発明は、車両制御装置、車両制御方法、および車両制御プログラムに関する。

従来、車両の周辺の物体を検出し、検出した物体が歩行者であるか否かを認識する装置がある。例えば、車両の存在する位置や車速等に基づいて、車両と歩行者とが接触する危険度を求め、警報を行う装置であって、この危険度に応じて検出した物体を歩行者として認識する認識レベルを切り替えて、車両の周辺の歩行者を認識し、警報する装置が開示されている（例えば、特許文献１参照）。

特開２００９−６４２７４号公報

しかしながら、上記特許文献１の装置は、車両と検出した物体との位置関係によっては、ノイズや歩行者でない物体を歩行者と認識したり、歩行者をノイズや歩行者でない物体と認識したりすることで運転者が意図しないタイミングで警報がされる場合があり、商品性を損ねる可能性がある。

本発明は、このような事情を考慮してなされたものであり、運転者が意図しないタイミングでの警報等を抑制すると共に、精度よく物体を認識することができる車両制御装置、車両制御方法、および車両制御プログラムを提供することを目的の一つとする。

請求項１記載の発明は、車両の周辺の物体を検出する物体検出部（１２）と、前記車両と前記物体検出部により検出された物体との位置関係を求めると共に、前記物体検出部により検出された物体の種別を識別する認識部であって、前記求めた位置関係に基づいて、前記物体の種別を識別する処理の内容を変更する認識部（３２）と、前記認識部による識別結果に基づいて、前記車両の走行を支援する走行支援部（７０）とを備える車両制御システム（１）である。

請求項２記載の発明は、請求項１記載の車両制御システムであって、前記認識部は、物体を検出する対象の領域において、前記車両の進行予定の軌跡である進行方向軌跡上にある前記物体の種別を識別するために用いる閾値を、前記進行方向軌跡上にない前記物体の種別を識別するために用いる閾値に比して高く設定するものである。

請求項３記載の発明は、請求項２記載の車両制御システムであって、前記認識部は、車両の進行予定の軌跡である進行方向軌跡を前記物体が横切ろうとしていると判定した場合、前記横切ろうとしている物体に対して、前記閾値を低く設定するものである。

請求項４記載の発明は、請求項１から３のうちいずれか１項記載の車両制御システムであって、前記認識部は、前記車両の横方向の位置に関して前記車両から遠い領域ほど、前記閾値を低く設定するものである。

請求項５記載の発明は、請求項１から４のうちいずれか１項記載の車両制御システムであって、前記認識部は、前記車両の進行方向に関して前記車両から第１の距離以上の第１領域については、前記車両から前記第１の距離に至る手前の第２領域に比して、前記閾値を高く設定するものである。

請求項６記載の発明は、請求項１から５のうちいずれか１項記載の車両制御システムであって、前記認識部は、前記車両の進行方向に関して前記車両から第２の距離未満の第３領域については、前記車両から第２の距離以上となる第４領域に比して、物体の種別を識別するために用いる閾値を高く設定するものである。

請求項７記載の発明は、請求項２から６のうちいずれか１項記載の車両制御システムであって、前記物体検出部は、画像を撮像する撮像部であって、物体のエッジの分布が記憶された物体モデル情報を格納する記憶部を、更に備え、前記認識部は、前記撮像部により撮像された時系列の画像からエッジを抽出し、抽出したエッジの分布と、前記記憶部が格納する物体モデル情報に記憶されたエッジの分布との類似度の指標を、前記時系列の画像ごとに導出し、前記時系列の画像ごとに導出した類似度の指標の変動に基づいて、前記物体を認識するものである。

請求項８記載の発明は、コンピュータが、車両の周辺の物体を検出し、前記車両と前記検出された物体との位置関係を求めると共に、前記検出された物体の種別を識別する処理を実行し、前記求めた位置関係に基づいて、前記物体の種別を識別する処理の内容を変更し、前記識別結果に基づいて、前記車両の走行を支援する車両制御方法である。

請求項９記載の発明は、コンピュータに、車両の周辺の物体を検出させ、前記車両と前記検出された物体との位置関係を求めると共に、前記検出された物体の種別を識別する処理を実行させ、前記求めた位置関係に基づいて、前記物体の種別を識別する処理の内容を変更させ、前記識別結果に基づいて、前記車両の走行を支援させる車両制御プログラムである。

請求項１から９記載の発明によれば、車両と物体検出部により検出された物体との位置関係に基づいて、前記物体の種別を識別する処理の内容を変更することにより、運転者が意図しないタイミングでの警報等を抑制すると共に、精度よく物体を認識することができる。また、走行制御部は、認識部の識別結果に基づいて、車両の走行を支援することにより、周辺の状況に応じた車両の制御を実現することができる。

物体認識装置２０を含む車両制御システム１の機能構成の一例を示す図である。 歩行者モデル情報６４の内容を模式的に示した図である。 物体認識装置２０により実行される処理の流れを示すフローチャートである。 処理部３６により実行される閾値の設定処理の流れを示すフローチャートである。 候補領域が進行方向軌跡内に存在する場合に設定される閾値を説明するための図である。 自車両の横方向の位置に基づいて設定される閾値を説明するための図である。 進行方向に関する距離に応じて設定される閾値を説明するための図である。 第２の距離に基づいて閾値が設定される処理が省略される場合の一例を示す図である。 第１の距離に基づいて閾値が設定される処理が省略される場合の一例を示す図である。 ラップ量について説明するための図である。 横断歩行者の姿勢と類似度の指標の変動との関係について説明するための図である。 横断歩行者でないと識別される類似度の指標の変動について説明するための図である。 第２の実施形態の物体認識装置２０により実行される処理の流れを示すフローチャートである。 第２の実施形態の車両制御システム１Ａの機能構成の一例を示す図である。

以下、図面を参照し、本発明の車両制御システム、車両制御方法、および車両制御プログラムの実施形態について説明する。

＜第１実施形態＞
図１は、物体認識装置２０を含む車両制御システム１の機能構成の一例を示す図である。車両制御システム１は、例えば、レーダ装置１０、カメラ１２、車両センサ１４、物体認識装置２０、車両制御装置７０、走行駆動装置７２、およびブレーキ装置７４を備える。

レーダ装置１０は、例えば、車両制御システム１が搭載された車両（以下、自車両）のバンパーや、フロントグリル等の周辺に設けられる。レーダ装置１０は、例えば、自車両の前方にミリ波を放射し、放射したミリ波が物体に当たって反射した反射波を受信し、受信した反射波を解析することにより、物体の位置を特定する。物体の位置は、例えば自車両から物体までの距離を少なくとも含み、その他、自車両に対する物体の方位や横位置等を含んでもよい。レーダ装置１０は、例えばＦＭ−ＣＷ（Frequency−Modulated Continuous Wave）方式によって物体の位置を検出し、検出結果を物体認識装置２０に出力する。レーダ装置１０は、「物体検出部」の一例である。

カメラ１２は、ＣＣＤ（Charge Couple Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１２は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１２は、例えば、周期的に繰り返し自車両の前方を撮像する。カメラ１２は、例えば、画像を撮像し、撮像した画像を物体認識装置２０に出力する。カメラ１２は、１台に限らず、自車両に複数設けられてもよいし、複数のカメラを含むステレオカメラであってもよい。カメラ１２は、「物体検出部」の一例である。

車両センサ１４は、車速を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両の向きを検出する方位センサ等を含む。車両センサ１４は、各センサの検出結果を車両制御装置７０に出力する。

物体認識装置２０は、例えば、画像取得部３０、画像認識部３２、周辺状況認識部５０、および記憶部６０を備える。画像取得部３０、画像認識部３２、および周辺状況認識部５０のうち、一部または全部は、プロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらのうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。また、物体認識装置２０に含まれる各機能部は、複数のコンピュータ装置によって分散化されたものであってもよい。記憶部６０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。

画像取得部３０は、カメラ１２により撮像された画像を取得する。

画像認識部３２は、例えば、特徴量抽出部３４、処理部３６、および識別部３８を備える。処理部３６は、車両と画像取得部３０により取得された画像における処理対象となる領域（物体が含まれる領域）との位置関係を求める。例えば、処理部３６は、カメラ１２の位置や、カメラ１２の焦点距離、画像における無限遠点（例えば道路消失点）等のパラメータに基づいて処理対象の領域に対応する位置を導出する。

特徴量抽出部３４は、画像取得部３０により取得された画像から特徴量を取得し、取得した特徴量からエッジを導出する。エッジとは、周辺画素または画素をグループ化した画素群との輝度差や色彩パラメータの差が基準より大きく変化する画素または画素群である。例えば、エッジは、ＳＯＢＥＬフィルタなどにより周辺の画素または画素群の間において特徴量の変化が求められることで導出される。

処理部３６は、求めた位置関係に基づいて、物体の種別を識別する処理の内容を変更する。以下の説明では、識別する対象の物体の種別は、歩行者であるものとして説明する。
物体の種別を識別する処理の内容の変更とは、識別部３８が物体を歩行者であると識別する処理に用いる閾値を変更することである。処理部３６は、識別部３８により識別された実空間上の歩行者の位置を導出する。処理部３６は、時系列の画像における物体（例えば歩行者）の位置の変化に基づいて、その物体の移動方向や移動速度等を導出する。

識別部３８は、特徴量抽出部３４により抽出された特徴量と、記憶部６０に記憶された歩行者モデル情報６４とに基づいて物体が歩行者であるか否かを識別する。

周辺状況認識部５０は、レーダ装置１０の検出結果を取得し、取得した結果に基づいて、物体の位置を認識する。また、周辺状況認識部５０は、画像認識部３２の処理結果として、実空間上の歩行者の位置を取得する。なお、周辺状況認識部５０は、レーダ装置１０によって特定された物体の位置のうち自車両からの距離を重視すると共に、画像認識部３２から取得した歩行者の位置のうち方位または横位置を重視する傾向で、これらの位置を統合し、歩行者の位置を認識してもよい。また、レーダ装置１０に代えて（または、加えて）レーザレーダ、超音波センサ等のセンサを備えてもよい。

また、周辺状況認識部５０は、車車間通信や、道路を歩行、または横断する歩行者を検出するセンサから取得した情報に基づいて、歩行者の位置や速度等を検出してもよい。この場合、自車両は、他の車両や、道路を走行する車両を検出するセンサ等と通信する通信部を備える。

車両制御装置７０は、車両センサ１４の検出結果、および周辺状況認識部５０により認識された歩行者の位置に基づいて、自車両を制御する。例えば、車両制御装置７０は、認識された歩行者とのＴＴＣ（Time To Collision）が一定以下になったときにブレーキ装置７４に制動力を出力させる自動ブレーキ制御を行う。また、車両制御装置７０は、スピーカ（不図示）に警報を出力させてもよい。また、車両制御装置７０は、歩行者との距離が一定距離以下に近づかないように走行駆動装置７２またはブレーキ装置７４を制御してもよい。車両制御装置７０は、「走行支援部」の一例である。

記憶部６０には、例えば、簡易モデル情報６２、歩行者モデル情報６４や、その他車両を制御するための制御プログラム等が記憶される。簡易モデル情報６２は、歩行者モデル情報６４よりも緩やかな基準で生成された歩行者のエッジの分布を表す歩行者モデル情報である。緩やかな基準とは、エッジの分布が歩行者モデル情報６４に含まれる歩行者のエッジの分布に比して少ないことをいう。歩行者モデル情報６４には、少なくとも、歩行者のエッジの分布を表す歩行者モデル情報が、その物体の識別情報と共に記憶されている。

図２は、歩行者モデル情報６４の内容を模式的に示した図である。歩行者モデル情報６４は、例えば、歩行者が撮像された画像から抽出されると想定されるエッジの分布を示している。この歩行者モデル情報６４から、エッジが所定の間隔で間引かれたものが、簡易モデル情報６２である。また、歩行者モデル情報６４において、歩行者モデル情報は歩行者の部位ごとに細分化されて記憶されてよい。

走行駆動装置７２は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動装置７２は、例えば、自車両が内燃機関を動力源とした自動車である場合、エンジン、変速機、およびエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）を備え、自車両が電動機を動力源とした電気自動車である場合、走行用モータおよび走行用モータを制御するモータＥＣＵを備え、自車両がハイブリッド自動車である場合、エンジン、変速機、およびエンジンＥＣＵと走行用モータおよびモータＥＣＵとを備える。走行駆動装置７２がエンジンのみを含む場合、エンジンＥＣＵは、後述する車両制御装置７０から入力される情報に従って、エンジンのスロットル開度やシフト段等を調整する。走行駆動装置７２が走行用モータのみを含む場合、モータＥＣＵは、車両制御装置７０から入力される情報に従って、走行用モータに与えるＰＷＭ信号のデューティ比を調整する。走行駆動装置７２がエンジンおよび走行用モータを含む場合、エンジンＥＣＵおよびモータＥＣＵは、車両制御装置７０から入力される情報に従って、互いに協調して走行駆動力を制御する。

ブレーキ装置７４は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、制動制御部とを備える電動サーボブレーキ装置である。電動サーボブレーキ装置の制動制御部は、不図示の自動ブレーキ制御部により出力された情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。電動サーボブレーキ装置は、ブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置７４は、上記説明した電動サーボブレーキ装置に限らず、電子制御式油圧ブレーキ装置であってもよい。電子制御式油圧ブレーキ装置は、車両制御装置７０により出力された情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する。また、自車両が走行用モータを含む場合、ブレーキ装置７４は、走行駆動装置７２のところで説明した走行用モータによる回生ブレーキを含んでもよい。

図３は、物体認識装置２０により実行される処理の流れを示すフローチャートである。
本処理は、例えば、画像取得部３０が、カメラ１２により撮像された画像を取得するごとに実行される。なお、このフローチャートの処理は、繰り返し実行されることを前提とし、今回のルーチンでの時刻をｔとして表現している。

まず、画像取得部３０が、カメラ１２により撮像された画像を取得する（ステップＳ１００）。次に、特徴量抽出部３４が、ステップＳ１００で取得された画像からエッジを抽出する（ステップＳ１０２）。次に、処理部３６が、歩行者が時刻ｔ−１において（すなわち前回のルーチンにおいて）横断歩行者を認識したか否かを判定する（ステップＳ１０４）。横断歩行者とは、自車両の進行方向に対して横方向に移動している歩行者である。横方向に移動しているとは、歩行者の移動軌跡を移動方向に対して仮想的に延出させた仮想線と、自車両の移動軌跡を移動方向に対して仮想的に延出させた仮想線とが直交する場合に加え、これらの仮想線が交差する場合も含む。

歩行者が時刻ｔ−１において横断歩行者を認識していない場合、処理部３６は、候補領域を抽出する（ステップＳ１０６）。ステップＳ１０６における候補領域は、画像に含まれる領域が複数の領域に細分化された領域のうち、歩行者が存在している可能性が高い領域である。処理部３６は、抽出されたエッジの分布と、簡易モデル情報６２のエッジの分布との類似度が所定以上のエッジの分布を含む領域を候補領域として抽出する。また、処理部３６は、例えば、レーダ装置１０により物体が検出された領域や、所定数以上のエッジが含まれる領域を候補領域として抽出してもよい。

次に、処理部３６は、ステップＳ１０６で抽出した候補領域に歩行者が存在するか否かを識別するために、自車両と物体との位置関係に基づいて、歩行者を識別する処理に用いる閾値を設定する（ステップＳ１０８）。位置関係とは、例えば、実平面上の自車両の位置と物体の位置との関係である。なお、閾値の設定の詳細については後述する。

次に、識別部３８が、ステップＳ１０２で抽出されたエッジの分布、歩行者モデル情報６４のエッジの分布、および処理部３６により設定された閾値に基づいて、ステップＳ１０６で抽出された候補領域における物体が歩行者であるか否かを識別する（ステップＳ１１０）。例えば、識別部３８は、抽出されたエッジの分布と、歩行者モデル情報６４のエッジの分布との類似度が、ステップＳ１０８で設定された閾値以上の場合、抽出されたエッジの分布に対応する物体は歩行者であると識別する。

一方、識別部３８は、抽出されたエッジの分布と、歩行者モデル情報６４のエッジの分布との類似度が、処理部３６により設定された閾値未満の場合、抽出されたエッジの分布に対応する物体は歩行者でなくノイズや、道路における窪み、歩行者以外の物体であると識別する。この場合、識別部３８は、抽出されたエッジの分布と、他のモデル情報の分布との類似度に基づいて、物体を識別してもよい。他のモデル情報とは、歩行者とは異なる物体の識別情報と、その物体のエッジの分布を表す情報とが対応付けられて記憶された情報である。歩行者とは異なる物体とは、例えば車両や、動物など、自車両が走行する際に注視すべき物体が類型化されたものである。他のモデル情報は、記憶部６０に記憶される。

時刻ｔ−１において横断歩行者を認識している場合、処理部３６は、前回以前の画像に基づいて、候補領域を抽出する（ステップＳ１１２）。ステップＳ１１２における候補領域は、画像が複数の領域に細分化された領域のうち、追跡している歩行者が存在している可能性が高い領域である。処理部３６は、例えば、前回以前の画像に基づいて導出された追跡している歩行者の移動方向や、移動速度に基づいて、今回のルーチンで取得した画像において歩行者が存在している可能性が高い候補領域を抽出する。

次に、処理部３６が、歩行者を識別する処理に用いる閾値を設定する（ステップＳ１１４）。処理部３６は、例えば、候補領域の自車両に対する相対位置、追跡している歩行者の移動方向、追跡している歩行者の移動速度のうち少なくとも１つ以上の要素に基づいて、閾値を設定する。相対位置とは、実平面上の相対位置であり、画像平面上の位置から写像された位置である。ステップＳ１１４の処理の詳細については後述する。

次に、識別部３８が、ステップＳ１０２で抽出されたエッジの分布、歩行者モデル情報６４の分布、および処理部３６により設定された閾値に基づいて、ステップＳ１１２で抽出された候補領域における物体を識別する（ステップＳ１１６）。例えば、識別部３８は、抽出されたエッジの分布と、歩行者モデル情報６４の分布との類似度が、ステップＳ１１４で設定された閾値以上の場合、抽出されたエッジの分布に対応する物体は歩行者であると識別する。これにより、画像認識部３２により横断歩行者が検出される。

次に、画像認識部３２は、検出された歩行者についてトラッキング処理を実行する（ステップＳ１１８）。画像認識部３２は、例えば、トラッキングとして以下の処理を行う。画像認識部３２は、例えば、識別した歩行者の自車両に対する相対位置を導出する。また、画像認識部３２は、例えば、歩行者が前回以前のルーチンで検出されている場合、今回および前回以前のルーチンで導出された歩行者の相対位置に基づいて、歩行者の移動方向や、移動速度等を導出する。ここで導出された移動方向や、移動速度は、次のルーチンの処理で取得された画像おいて、歩行者の位置を推定する処理に用いられるため、画像認識部３２は、歩行者に関する情報を記憶部６０に記憶される。

また、周辺状況認識部５０は、画像認識部３２の処理結果、およびレーダ装置１０により特定された物体の情報を取得し、取得した情報に基づいて、自車両の周辺に存在する歩行者を把握する。そして、車両制御装置７０は、周辺状況認識部５０により把握された歩行者の位置や、移動方向等に基づいて、走行駆動装置７２またはブレーキ装置７４を制御する。これにより本フローチャートの処理は終了する。

［閾値の設定の詳細（その１）］
ここで、ステップＳ１０８の閾値設定処理について説明する。図４は、処理部３６により実行される閾値の設定処理の流れを示すフローチャートである。まず、処理部３６が、図３のステップＳ１０６で抽出した候補領域が進行方向軌跡内に存在するか否かを判定する（ステップＳ２００）。候補領域が進行方向軌跡内に存在する場合、候補領域において歩行者を識別する処理に用いる閾値を高く設定し（ステップＳ２０２）、候補領域が進行方向軌跡内に存在しない場合、ステップＳ２０４の処理に進む。進行方向軌跡は、自車両の左右端を自車両Ｍの中心軸方向に延出させた二本の線で囲まれた領域であってもよいし、操舵角等を考慮して曲がりを持って設定されてもよい。候補領域において歩行者を識別する処理に用いる閾値を高く設定とは、他の領域に比して相対的に閾値を高く設定することである（以下同様）。

処理部３６は、自車両から候補領域までの距離を算出する。距離が算出された候補領域の位置を、例えば図５に示すように上方から自車両を見た場合の二次元空間で表す。

図５は、候補領域が進行方向軌跡内に存在する場合に設定される閾値を説明するための図である。図中、Ｘ方向は自車両Ｍの横方向を表し、Ｙ方向は自車両Ｍの進行方向を示している。また、図中、領域Ａ１は、カメラ１２により撮像される領域を表し、領域Ａ２は、進行方向軌跡に対応する領域を表している。図中、領域ＣＡ１および領域ＣＡ２は、処理対象の候補領域を表している。

処理部３６は、自車両Ｍの進行方向軌跡に対応する領域Ａ２に含まれる領域ＣＡ１に対して、領域Ａ２に含まれない領域ＣＡ２に比して、歩行者を識別する処理に用いる閾値を高く設定する。ここで、領域Ａ２において、閾値が高く設定されないと、ノイズ等を歩行者であると認識する誤認識が生じる場合がある。この場合、車両制御装置７０は、誤認識した結果に基づいて自車両Ｍを制御するため、煩わしい。一方、上述したように領域Ａ２において、閾値が高く設定されると、誤認識が生じることが抑制されることで、不要な制御が行われること無く自車両Ｍの周辺状況に応じて自車両Ｍの制御を実現することができる。

次に、処理部３６は、自車両Ｍの横方向の位置に基づいて、歩行者を識別する処理に用いる閾値を決定する（ステップＳ２０４）。図６は、自車両Ｍの横方向の位置に基づいて設定される閾値を説明するための図である。図中、領域ＣＡ１１および領域ＣＡ１２は、処理対象の候補領域を表している。仮想線ＬＡは、仮想線ＬＢに直交するように仮想的に延出された仮想線である。仮想線ＬＢは、自車両Ｍから自車両Ｍの中心軸方向に仮想的に延出させた仮想線である。なお、図５と重複する説明は省略する。

処理部３６は、自車両Ｍの横方向の位置に関して、自車両Ｍから遠い領域ほど、閾値を低く設定する。図示する例では、処理部３６は、領域ＣＡ１２と仮想線ＬＢとの距離を示す仮想線ＬＡ２の長さは、領域ＣＡ１１と仮想線ＬＢとの距離を示す仮想線ＬＡ１の長さに比して長いため、領域ＣＡ１２において歩行者を識別する処理に用いる閾値は、領域ＣＡ１１において歩行者を識別する処理に用いる閾値より低く設定される。自車両Ｍの横方向の位置に関して、自車両Ｍから遠い領域にいる歩行者は、この時点では注視する対象とならないため、上記のように閾値が低く設定されても問題はない。むしろ、閾値が低く設定されることで、物体を歩行者として認識しやすくし、認識した歩行者を追跡の対象とすることができる。これにより、以降の処理において、認識された物体の種別をより確実に認識することができる。

次に、処理部３６は、自車両Ｍの進行方向に関して、ステップＳ１０６で抽出された候補領域が自車両Ｍから第１の距離以上の領域に含まれるか否かを判定する（ステップＳ２０６）。第１の距離以上の領域に候補領域が存在する場合、処理部３６は、候補領域において歩行者を識別する処理に用いる閾値を高く設定し（ステップＳ２０８）、第１の距離以上の領域に候補領域が存在しない場合、ステップＳ２１０の処理に進む。

次に、処理部３６は、自車両Ｍの進行方向に関して、ステップＳ１０６で抽出された候補領域が自車両Ｍから第２の距離未満の領域に存在するか否かを判定する（ステップＳ２１０）。第２の距離未満の領域に候補領域が存在する場合、処理部３６は、候補領域において歩行者を識別する処理に用いる閾値を高く設定し（ステップＳ２１２）、第２の距離未満の領域に候補領域が存在しない場合、本フローチャートの処理は終了する。

図７は、進行方向に関する距離に応じて設定される閾値を説明するための図である。図中、領域Ａ１１は、自車両Ｍの基準点（例えば重心）から自車両Ｍの進行方向に対して第１の距離以上の領域である。領域Ａ１１は、「第１領域」の一例である。第１の距離以上の領域においては、物体が小さく認識されているため、候補領域に含まれる対象が歩行者であるか、ノイズ等であるかの識別が困難な場合がある。このため、処理部３６は、第１の距離以上の候補領域においては、歩行者（図中、ＯＢ１）を識別する処理に用いる閾値を高く設定することで、誤認識を抑制する。

図中、領域Ａ１２は、自車両Ｍの基準点から自車両Ｍの進行方向に対して第２の距離未満の候補領域である。領域Ａ１２は、「第３領域」の一例である。第２の距離未満の領域においては、誤認識によりノイズ等を歩行者であると識別すると、自車両Ｍは歩行者を回避する動作や急制動等を行うことがあり、自車両Ｍの走行状態が不安定となる。このため、処理部３６は、第２の距離未満の領域においては、歩行者（図中、ＯＢ２）を識別する処理に用いる閾値を高く設定することで、誤認識を抑制する。

なお、処理部３６は、自車両Ｍの進行方向に対して第１の距離に至る手前、且つ第２の距離以上となる領域Ａ１３に存在する物体ＯＢ３を識別する処理に用いる閾値は変化させない。領域Ａ１３は、「車両から第１の距離に至る手前の第２領域」、および「車両から第２の距離以上となる第４領域」の一例である。

なお、図示する例では、第１の距離と第２の距離とは異なる距離であるものとして説明したが、同じ距離であってもよい。

また、第１の距離に基づいて閾値が設定される処理（ステップＳ２０６、ステップＳ２０８）と、第２の距離に基づいて閾値が設定される処理（ステップＳ２１０およびステップＳ２１２）とのうち、一方の処理は省略されてもよい。

図８は、第２の距離に基づいて閾値が設定される処理が省略される場合の一例を示す図である。図７と重複する説明は省略する。図中、領域Ａ１３＃は、自車両Ｍの基準点から自車両Ｍの進行方向に対して第１の距離未満の領域である。領域Ａ１３＃は、「車両から第１の距離に至る手前の第２領域」の一例である。処理部３６は、第１の距離以上の領域においては、歩行者（図中、ＯＢ１）を識別する処理に用いる閾値を、車両から第１の距離に至る手前の領域Ａ１３＃に比して高く設定することで、誤認識を抑制する。

図９は、第１の距離に基づいて閾値が設定される処理が省略される場合の一例を示す図である。図７と重複する説明は省略する。図中、領域Ａ１３＃＃は、自車両Ｍの基準点から自車両Ｍの進行方向に対して第２の距離以上となる候補領域である。領域Ａ１３＃＃は、「車両から第２の距離以上となる第４領域」の一例である。処理部３６は、第２の距離未満の領域においては、歩行者（図中、ＯＢ２）を識別する処理に用いる閾値を、車両から第２の距離以上となる領域Ａ１３＃＃に比して、高く設定することで、誤認識を抑制する。

また、処理部３６は、自車両Ｍと候補領域の距離に基づく処理に代えて、物体の大きさに基づいて、閾値を変更してもよい。例えば、処理部３６は、物体の大きさが所定の大きさ以下の場合、閾値を高く設定してもよい。

［閾値の設定の詳細（その２）］
ここで、図３のステップＳ１１４で処理部３６が、物体を識別する処理に用いる閾値を設定する処理について説明する。処理部３６は、ステップＳ１０６で抽出された歩行者が存在している可能性が高い領域である候補領域について、その候補領域が進行方向軌跡内に存在する場合、候補領域において歩行者を識別する処理に用いる閾値を高く設定するが、自車両Ｍの進行方向に横断歩行者が存在していると判定された場合はこの限りではなく、進行方向軌跡内の候補領域の閾値を低く設定する。これにより、横断歩行者の検出安定性を向上させることができる。また、閾値を低く設定するに当たってさらに条件を追加し、候補領域が進行方向軌跡内に存在し、且つ、自車両Ｍと横断歩行者との衝突の可能性が高い場合には、候補領域において歩行者を識別する処理に用いる閾値を低く設定してもよい。衝突の可能性が高いとは、横断歩行者が進行方向軌跡内に存在していると予測される時間において、横断歩行者が存在している領域を自車両Ｍが通過、またはその領域付近に接近することが予測することができることである。

例えば、処理部３６は、時系列における横断歩行者の位置および移動速度に基づいて、横断歩行者が進行方向軌跡内に存在していると予測される時間帯、または横断歩行者が進行方向軌跡内から進行方向軌跡外に移動すると予測される時刻を導出する。処理部３６は、現在の時刻から横断歩行者が進行方向軌跡内から進行方向軌跡外に移動すると予測される時刻との間の時間に対して、自車両Ｍの速度を乗算することにより、自車両Ｍの将来位置を予測する。この場合、処理部３６は、自車両Ｍの進行方向において、自車両Ｍの将来位置が、横断歩行者の位置よりも所定距離以上手前であれば、衝突の可能性は低いと判定し、所定距離以上手前でない、または予測した横断歩行者の位置を通過している場合は、衝突の可能性が高いと判定する。

また、処理部３６は、衝突地点を横断歩行者がほぼ通過していない場合において、自車両Ｍの進行方向軌跡と、横断歩行者の移動方向の軌跡である移動軌跡との重なり量を評価する指標値であるラップ量およびラップ率を用いて、衝突の可能性を判定してもよい。衝突地点とは、自車両Ｍの進行方向軌跡と、歩行者の移動軌跡との重なる部分である。

図１０は、ラップ量について説明するための図である。図中、横断歩行者ＯＢ１＃は、自車両Ｍが衝突地点に到達する予想時刻における歩行者の予想位置である。また、ｙ１は自車両Ｍの左端部から自車両Ｍの進行方向に延出する仮想線であり、ｙ２は自車両Ｍの右端部から自車両Ｍの進行方向に延出する仮想線である。

処理部３６は、横断歩行者の予想位置を求め、横断歩行者ＯＢ１＃の移動する方向を考慮した前端部（この場合、左端部Ｈ１Ｌ）から、既に前端部が通過した第２の仮想直線ｙ２までの距離βＨ１を、ラップ量として算出する。ここで、横断歩行者ＯＢ１＃が、第１の仮想直線ｙ１と第２の仮想直線ｙ２との間の領域である進行方向軌跡の外に存在する場合、ラップ量はゼロと算出される。更に、処理部３６は、ラップ量を第１の仮想直線ｙ１と第２の仮想直線ｙ２との幅Ｗで除算し、１００を乗じた値をラップ率［％］として算出する。そして、処理部３６は、ラップ率が７０［％］以上である場合、衝突の可能性は高いと判定する。また、処理部３６は、ラップ率が７０［％］未満であっても、ラップ率が０［％］を超える場合、ラップ率が０［％］より大きくなるにつれて衝突の可能性は高い傾向であると判定する。また、処理部３６は、上記したように進行方向軌跡の外に横断歩行者が存在する場合、衝突の可能性は低いと判定する。尚、衝突の可能性が高いと判定するにあたって、ラップ率の基準値は７０[％]に限定されるものではなく、横断歩行者ＯＢ１＃がある程度ラップしていればよく、例えば５０[％]などとしてもよい。

また、処理部３６は、上記の［閾値の設定の詳細（その２）］に代えて（加えて）、横方向に移動した歩行者を識別する処理に用いる閾値を低く設定してもよいし、１つ前の処理において横断歩行者であると識別された物体と同一である可能性が高い物体を識別する処理に用いる閾値を低く設定してもよい。同一である可能性が高いとは、１つ前以前の処理における物体の位置や移動速度から予測される位置と、今回の処理において検出された物体の位置とが合致することである。

また、処理部３６は、上記の［閾値の設定の詳細（その２）］に代えて（加えて）、自車両Ｍの車速が所定の速度以下であり、且つ自車両Ｍの位置から所定距離以上の位置に物体が存在する場合、歩行者を識別する処理に用いる閾値を上げてもよい。

上述した図３のフローチャートでは、処理部３６が、ある時刻において撮像された画像ごとに閾値を設定し、物体が横断歩行者であるか否かを識別するものとしたが、これに代えて（または加えて）、所定の時間内に撮像された複数の画像に基づいて、物体が横断歩行者であるか否かを識別してもよい。

ここで、画像に含まれる物体が歩行者であるか否かが識別される場合、歩行者から抽出したエッジの分布と、歩行者モデル情報に含まれるエッジの分布との類似度を用いて、物体が横断歩行者であるか否かが識別される。しかしながら、横断歩行者は横断の動作によって姿勢を変えるため、歩行者を精度よく識別するためには、横断歩行者の姿勢ごとにエッジの分布の情報を用意する必要がある。また、横断歩行者の姿勢ごとにエッジの分布の情報を用意しても、姿勢ごとのエッジの分布と、画像から抽出したエッジの分布とを比較する必要があるため、処理が煩雑になる場合がある。

図１１は、横断歩行者の姿勢と類似度の指標の変動との関係について説明するための図である。横断歩行者は、歩行の動作に応じて図中（ａ）から（ｄ）のように姿勢が変化する。この場合、横断歩行者が撮像された画像から抽出されたエッジの分布と、歩行者モデル情報６４のエッジの分布との類似度の指標は、歩行者の動作（時間）ごとに変動する。図中のグラフの縦軸は、類似度の指標を示し、横軸は時間を示している。また、横断歩行者は歩行の動作を繰り返しているため、異なる周期の類似度の指標の変動は合致する。図示するように、例えば、図１１の周期ｔ−ｘにおける類似度の指標の変動と、図１１の周期ｔにおける類似度の指標の変動は合致する。このように異なる周期において継続的に類似度の指標の変動が合致している場合、処理部３６は、画像における対象の物体は横断歩行者であると識別する。また、異なる周期において継続的に類似度の指標の変動が合致し、且つ所定の割合以上、１周期の中で類似度の指標が閾値を超える場合、処理部３６は、画像における対象の物体は横断歩行者であると識別してもよい。一方、異なる周期において継続的に類似度の指標の変動が合致しない場合、処理部３６は、横断歩行者が撮像された画像における物体は横断歩行者でないと識別する。

図１２は、横断歩行者でないと識別される類似度の指標の変動について説明するための図である。図中のグラフの縦軸は、類似度の指標を示し、横軸は時間を示している。図示するように、例えば、図１２の周期ｔ−ｘ＃における類似度の指標の変動と、図１２の周期ｔ＃における類似度の指標の変動が合致しない場合、処理部３６は、撮像された画像における対象の物体は横断歩行者でないと識別する。

なお、この場合、処理部３６は、１周期に含まれる類似度の指標のうち、所定の割合以上、類似度の指標が閾値を超える場合は、画像における対象の物体は横断歩行者であると識別してもよい。また、上述した類似度の指標の変動に基づいて、歩行者を識別する処理は、進行方向軌跡内に存在する候補領域に対してのみ行われてもよい。

上述した処理では、歩行者の姿勢ごとにエッジの分布の情報を用意しなくても、所定の時間内に撮像された複数の画像に基づいて、物体が横断歩行者であるか否かを識別することができるが、ある時刻において撮像された画像において歩行者を精度よく認識することについては考慮がされていない。本実施形態では、処理部３６は、ある時刻において撮像された画像に対して、自車両Ｍと物体との位置関係に基づいて、歩行者を識別するのに用いる閾値を変更する。これにより、歩行者の姿勢ごとにエッジの分布の情報を用意しなくても、誤検出を抑制すると共に、精度よく歩行者を認識することができる。

また、本実施形態の物体認識装置２０は、更にレーダ装置１０の検出結果等を加味して歩行者を識別するため、位置関係に基づいて歩行者を識別する処理の内容が変更された場合であっても、歩行者に対する識別性能は担保される。

以上説明した第１の実施形態では、画像認識部３２は、車両と物体との位置関係を求めると共に、検出された物体の種別を識別する画像認識部であって、求めた位置関係に基づいて、物体の種別を識別する処理の内容を変更することにより、運転者が意図しないタイミングでの警報等を抑制すると共に、精度よく物体を認識することができる。また、車両制御装置７０は、画像認識部３２の識別結果に基づいて、車両の走行を支援することにより、周辺の状況に応じた車両の制御を実現することができる。

＜第２の実施形態＞
以下、第２の実施形態について説明する。第１の実施形態では、物体認識装置２０は、横断歩行者を認識されている場合に抽出された候補領域と、横断歩行者が認識されていない場合に抽出された候補領域とのうち、いずれかの候補領域に対して閾値を設定する処理を実行するものとした。これに対して、第２の実施形態の物体認識装置２０は、横断歩行者を認識されている場合に抽出された候補領域と、横断歩行者が認識されていない場合に抽出された候補領域とに対して、並列で閾値を設定する処理を実行する。ここでは、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する機能等についての説明は省略する。

図１３は、第２の実施形態の物体認識装置２０により実行される処理の流れを示すフローチャートである。本処理は、例えば、時刻ｔにおいて、カメラ１２により撮像された画像に対して実行される処理である。

まず、画像取得部３０が、カメラ１２により撮像された画像を取得する（ステップＳ３００）。次に、特徴量抽出部３４が、ステップＳ３００で取得された画像からエッジを抽出する（ステップＳ３０２）。次に、処理部３６は、候補領域を抽出する（ステップＳ３０４）。処理部３６は、抽出されたエッジの分布と、簡易モデル情報６２のエッジの分布との類似度が所定以上のエッジの分布を含む領域を候補領域として抽出する。

次に、処理部３６は、ステップＳ３０４で抽出した候補領域に歩行者が存在するか否かを識別するために、自車両と物体との位置関係に基づいて、歩行者を識別する処理に用いる閾値を設定する（ステップＳ３０６）。ステップＳ３０６で歩行者を識別する処理に用いる閾値は、例えば、図４のステップＳ２００からステップＳ２１２で実行される処理に従って設定される。

次に、処理部３６が、歩行者が時刻ｔ−１において（すなわち前回の本フローチャートのルーチンにおいて）横断歩行者を認識したか否かを判定する（ステップＳ３０８）。時刻ｔ−１において横断歩行者を認識していない場合、ステップＳ３１４の処理に進む。時刻ｔ−１において横断歩行者を認識している場合、処理部３６は、前回以前の画像に基づいて、今回のルーチンで取得した画像において歩行者が存在している可能性が高い候補領域を抽出する（ステップＳ３１０）。次に、処理部３６が、ステップＳ３１０で抽出した候補領域に対して、歩行者を識別する処理に用いる閾値を設定する（ステップＳ３１２）。ステップＳ３１２で歩行者を識別する処理に用いる閾値は、例えば、図４のステップＳ２００からステップＳ２１２で実行される処理、および上述した［閾値の設定の詳細（その２）］の処理を実行することで設定される。［閾値の設定の詳細（その２）］の処理は、例えば、ステップＳ３１０で抽出された候補領域が進行方向軌跡内に存在する場合、その候補領域において歩行者を識別する処理に用いる閾値を低く設定する処理である。

次に、識別部３８が、ステップＳ３０２で抽出されたエッジの分布、歩行者モデル情報６４のエッジの分布、および処理部３６により設定された閾値に基づいて、ステップＳ３０４および／またはステップＳ３１０で抽出された候補領域における物体が歩行者であるか否かを識別する（ステップＳ３１４）。次に、画像認識部３２は、検出された歩行者についてトラッキング処理を実行する（ステップＳ３１６）。これにより本フローチャートの処理は終了する。そして、物体認識装置２０は、時刻ｔ＋１において、カメラ１２により撮像された画像に対して、上述した処理を実行する。

なお、上述した処理において、ステップＳ３１０の歩行者が存在している可能性が高い候補領域が抽出される処理は省略されてもよい。この場合、ステップＳ３１２において、処理部３６は、ステップＳ３０４で抽出されてステップＳ３０６の処理が実行された候補領域に対して、更に［閾値の設定の詳細（その２）］の処理を実行して閾値を設定する。

以上説明した第２の実施形態によれば、物体認識装置２０は、横断歩行者が認識されている場合に抽出された候補領域と、横断歩行者が認識されていない場合に抽出された候補領域とに対して、並列で閾値を設定する処理を実行することにより、第１の実施形態の効果と同様の効果を奏すると共に、より迅速に車両の周辺の状況を認識することができる。

＜第３の実施形態＞
以下、第３の実施形態について説明する。第１の実施形態では、車両制御装置７０が、物体認識装置２０の処理結果に基づいて、自動ブレーキ制御や警報出力、或いは車間距離制御などを実行するものとしたが、第３の実施形態では、自動運転制御装置１００が、物体認識装置２０の処理結果に基づいて、自動運転制御を行う。ここでは、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する機能等についての説明は省略する。

図１３は、第３の実施形態の車両制御システム１Ａの機能構成の一例を示す図である。車両制御システム１Ａは、第１の実施形態の物体認識装置２０に代えて、自動運転制御装置１００を備える。自動運転制御装置１００は、記憶部１０２、目標車線決定部１０４、および自動運転制御部１１０を備える。記憶部１０２には、例えば、高精度地図情報、目標車線情報、行動計画情報などの情報が格納される。

目標車線決定部１０４は、例えば、ＭＰＵ（Micro-Processing Unit）などにより実現される。目標車線決定部１０４は、ナビゲーション装置から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、高精度地図情報を参照してブロックごとに目標車線を決定する。目標車線決定部１０４は、例えば、左から何番目の車線を走行するといった決定を行う。目標車線決定部１０４は、例えば、経路において分岐箇所や合流箇所などが存在する場合、自車両が、分岐先に進行するための合理的な走行経路を走行できるように、目標車線を決定する。目標車線決定部１０４により決定された目標車線は、目標車線情報として記憶部１０２に記憶される。

自動運転制御部１１０は、例えば、行動計画生成部１１２と、軌道生成部１１４と、走行制御部１１６と、切替制御部１１８とを備える。

行動計画生成部１１２は、自動運転のスタート地点、および／または自動運転の目的地を設定する。行動計画生成部１１２は、そのスタート地点と自動運転の目的地との間の区間において、行動計画を生成する。行動計画は、例えば、順次実行される複数のイベントで構成される。イベントには、例えば、自車両を減速させる減速イベントや、自車両を加速させる加速イベント、走行車線を逸脱しないように自車両を走行させるレーンキープイベント、走行車線を変更させる車線変更イベント、前走車両を追従するイベント等が含まれる。行動計画生成部１１２によって生成された行動計画を示す情報は、行動計画情報として記憶部１０２に格納される。

軌道生成部１１４は、定速走行、追従走行、低速追従走行、減速走行、カーブ走行、障害物回避走行、車線変更走行、合流走行、分岐走行などのうちいずれかの走行態様を決定し、決定した走行態様に基づいて、軌道の候補を生成する。軌道生成部１１４は、例えば、将来の所定時間ごとに、自車両の基準位置（例えば重心や後輪軸中心）が到達すべき目標位置（軌道点）の集まりとして軌道を生成する。

走行制御部１１６は、軌道生成部１１４によって生成された軌道を、予定の時刻通りに自車両が通過するように、走行駆動装置７２またはブレーキ装置７４を制御する。切替制御部１１８は、自動運転切替スイッチ１２０から入力される信号に基づいて自動運転モードと手動運転モードとを相互に切り替える。

以上説明した第３の実施形態によれば、第１の実施形態と同様の効果を奏すると共に、より精度よく自動運転を実施することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１‥車両制御システム１、１０…レーダ装置、１２…カメラ、１４…車両センサ、２０…物体認識装置、３０…画像取得部、３２…画像認識部、３４…特徴量抽出部、３６…処理部、３８…識別部５０…周辺状況認識部、６０…記憶部、７２…走行駆動装置、７４…ブレーキ装置

Claims (9)

1. 車両の周辺の物体を検出する物体検出部と、
   前記車両と前記物体検出部により検出された物体との位置関係を求めると共に、前記物体検出部により検出された物体の種別を識別する認識部であって、前記求めた位置関係に基づいて、前記物体の種別を識別する処理の内容を変更する認識部と、
   前記認識部による識別結果に基づいて、前記車両の走行を支援する走行支援部と、
   を備える車両制御システム。
2. 前記認識部は、物体を検出する対象の領域において、前記車両の進行予定の軌跡である進行方向軌跡上にある前記物体の種別を識別するために用いる閾値を、前記進行方向軌跡上にない前記物体の種別を識別するために用いる閾値に比して高く設定する、
   請求項１記載の車両制御システム。
3. 前記認識部は、車両の進行予定の軌跡である進行方向軌跡を前記物体が横切ろうとしていると判定した場合、前記横切ろうとしている物体に対して、前記閾値を低く設定する、
   請求項２記載の車両制御システム。
4. 前記認識部は、前記車両の横方向の位置に関して前記車両から遠い領域ほど、物体の種別を識別するために用いる閾値を低く設定する、
   請求項１から３のうちいずれか１項記載の車両制御システム。
5. 前記認識部は、前記車両の進行方向に関して前記車両から第１の距離以上の第１領域については、前記車両から前記第１の距離に至る手前の第２領域に比して、物体の種別を識別するために用いる閾値を高く設定する、
   請求項１から４のうちいずれか１項記載の車両制御システム。
6. 前記認識部は、前記車両の進行方向に関して前記車両から第２の距離未満の第３領域については、前記車両から第２の距離以上となる第４領域に比して、物体の種別を識別するために用いる閾値を高く設定する、
   請求項１から５のうちいずれか１項記載の車両制御システム。
7. 前記物体検出部は、画像を撮像する撮像部であって、
   物体のエッジの分布が記憶された物体モデル情報を格納する記憶部を、更に備え、
   前記認識部は、前記撮像部により撮像された時系列の画像からエッジを抽出し、抽出したエッジの分布と、前記記憶部が格納する物体モデル情報に記憶されたエッジの分布との類似度の指標を、前記時系列の画像ごとに導出し、前記時系列の画像ごとに導出した類似度の指標の変動に基づいて、前記物体を認識する、
   請求項２から６のうちいずれか１項記載の車両制御システム。
8. コンピュータが、
   車両の周辺の物体を検出し、
   前記車両と前記検出された物体との位置関係を求めると共に、前記検出された物体の種別を識別する処理を実行し、前記求めた位置関係に基づいて、前記物体の種別を識別する処理の内容を変更し、
   前記識別結果に基づいて、前記車両の走行を支援する、
   車両制御方法。
9. コンピュータに、
   車両の周辺の物体を検出させ、
   前記車両と前記検出された物体との位置関係を求めると共に、前記検出された物体の種別を識別する処理を実行させ、前記求めた位置関係に基づいて、前記物体の種別を識別する処理の内容を変更させ、
   前記識別結果に基づいて、前記車両の走行を支援させる、
   車両制御プログラム。

Images