JP7196781B2 - 情報処理装置及び運転支援システム - Google Patents

Description

本開示は、車両周辺の物体を認識する技術に関する。

従来、車両に搭載されたカメラの撮影画像に基づいて周囲の環境等を検出する技術が知られている。例えば、下記特許文献１には、撮影画像に基づいてトンネルの出入り口があることを検出する技術が提案されている。

特開２００９－２５５７２２号公報

車両に搭載されたカメラの撮影画像に基づいて車両周辺の物体を検出し、運転支援を行う技術も提案されている。しかしながら、発明者の詳細な検討の結果、トンネル出入り口のような明るさが急変する場面では、撮影画像に物体が良好に示されず、運転支援の継続が困難になってしまうという課題が見出された。

本開示の１つの局面は、運転支援の継続時間を延ばすことができる技術を提供する。

本開示の一態様は、撮影装置（１１）及び運転支援装置（１２）を備える車両にて用いられる情報処理装置（１３）である。情報処理装置は、第１判定部（３３）と、第２判定部（３４）と、推定部（３５）と、出力部（３６）と、を備える。第１判定部は、車両の前方にトンネルの出入り口が存在することを判定するように構成される。第２判定部は、車両の前方を走行する先行車がトンネルの出入り口を通過することを判定するように構成される。推定部は、撮影装置を用いて取得される画像であって車両の周辺を示す周辺画像（５５Ｂ，５６Ｂ，５７Ｂ）に基づいて、先行車について推定される挙動を示す情報である推定情報を取得するように構成される。出力部は、少なくとも下記の（ｉ），（ｉｉ）の要件を含む出力条件を満たしたときに、推定部により取得された推定情報を運転支援装置に出力するように構成される。（ｉ）第１判定部により車両の前方に出入り口が存在すると判定される。（ｉｉ）第２判定部により先行車が出入り口を通過すると判定される。

このような構成であれば、車両の前方にトンネル出入り口が存在し、かつ、先行車がトンネル出入り口を通過すると判定されたとき、つまり先行車の追跡が困難となりやすい場面で推定情報を出力することができるため、運転支援の継続時間を延ばすことができる。

本開示の別の態様は、車両（３）に搭載して用いられる運転支援システム（１）であって、撮影装置（１１）と、運転支援装置（１２）と、上述した情報処理装置（１３）と、を備える。このような構成によれば、上述した本開示の別の態様の情報処理装置を備えることによる運転支援の継続時間を延ばすという効果を実現させることができる。

運転支援システムの構成を示すブロック図である。 実施形態の情報処理装置の機能ブロック図である。 図３Ａが、先行車がトンネルに進入する前の画像を示す図であり、図３Ｂが、先行車がトンネルに進入した後の画像を示す図である。 図４Ａが、先行車がトンネルを脱出する前の画像を示す図であり、図４Ｂが、先行車がトンネルを脱出した後の画像を示す図である。 情報出力処理のフローチャートである。 環境トンネル判定処理のフローチャートである。 判定エリアの設定方法を説明する図である。 物体トンネル判定処理のフローチャートである。 図９Ａはトンネル進入直前の先行車を示す画像であり、図９Ｂは図９Ａと同じ視点の視差画像である。 図１０Ａはトンネル進入中の先行車を示す画像であり、図１０Ｂは図１０Ａと同じ視点の視差画像である。 図１１Ａはトンネル進入後の先行車を示す画像であり、図１１Ｂは図１１Ａと同じ視点の視差画像である。 平均輝度の変化率の変化と視差点数割合の変化率の変化との例を示すグラフである。 外挿処理のタイミングの例を説明する図である。 外挿処理のタイミングの例を説明する図である。 物体矩形枠の設定範囲を説明する図である。 変形例の情報処理装置の機能ブロック図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．実施形態］
［１－１．構成］
図１に示される運転支援システム１は、車両３に搭載して用いられるシステムであって、ステレオカメラ１１と、運転支援装置１２と、情報処理装置１３と、を備える。

ステレオカメラ１１は、右カメラ１１ａ及び左カメラ１１ｂを備える。右カメラ１１ａ及び左カメラ１１ｂは、互いに同期が取られたＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサを備える。右カメラ１１ａ及び左カメラ１１ｂは、例えば、車両３のフロントガラスの内側において、車幅方向に所定の間隔をあけて、路面から同じ高さに取り付けられている。右カメラ１１ａ及び左カメラ１１ｂは、所定の周期（例えば、０．１秒間隔）で車両３の周辺を繰り返し撮影する。ステレオカメラ１１が撮影装置に相当する。

運転支援装置１２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えたマイクロコンピュータを備えた装置である。運転支援装置１２は、先行車との車間距離を維持するように加減速を行う、いわゆるアダプティブ・クルーズ・コントロール（以下、ＡＣＣ）の制御が可能に構成されている。運転支援装置１２は、情報処理装置１３により出力される物体情報及び推定情報を用いてＡＣＣを実行する。

情報処理装置１３は、ＣＰＵ２１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ２２）と、を有するマイクロコンピュータを備える。情報処理装置１３の各機能は、ＣＰＵ２１がメモリ２２に格納されたプログラムを実行することにより実現される。

情報処理装置１３は、図２に示されるように、視差検出部３１と、第１判定部３３と、第２判定部３４と、推定部３５と、出力部３６と、を備える。また情報処理装置１３は、物体認識・追跡部３２を備えてもよい。

視差検出部３１は、ステレオカメラ１１を用いて取得された視差画像における車両３の前方を走行する先行車を示す特徴点である視差点を検出する。視差画像には、画像上のエッジ部分を中心に多数の視差点が含まれる。視差点は公知の手法により取得できる。本実施形態では、視差検出部３１は、右カメラ１１ａ及び左カメラ１１ｂにより撮影がなされた都度、取得された左右の画像のアナログデータを、画素ごとに、所定の輝度階調のデジタルデータに変換する。そして、視差検出部３１は、左右のデジタル画像のステレオマッチングを行って視差を算出し、視差画像を生成する。視差画像が、周辺画像に相当する。また、視差検出部３１が、検出部に相当する。

物体認識・追跡部３２は、視差画像から、物体を検出すると共に、異なるタイミングで取得された視差画像における同一の物体の追跡を行い、物体の移動速度及び車両３からの距離を算出し、さらに、物体の種別を判定する。物体認識・追跡部３２は公知の方法を用いてこれらの処理を実行する。

第１判定部３３は、車両３の前方にトンネルの出入り口が存在することを判定する。ここでいう出入り口とは、車両３がトンネルに進入する際の入り口と、トンネルから離脱する際の出口と、の両方を含む。

この第１判定部３３は、後述する中央エリア６１が、中央エリア６１の周囲に位置する後述する路面エリア６２及び周縁部エリア６３と比較して明るい場合又は暗い場合に、車両３の前方にトンネルの出入り口が存在すると判定する。中央エリア６１は、車両３の前方を撮影した画像における消失点を含む領域である。中央エリア６１が第１範囲に相当し、路面エリア６２及び周縁部エリア６３が第２範囲に相当する。撮影された画像における各領域の明るさは、例えば輝度に基づいて判断することができるが、これに限らず、画像における明るい被写体を撮影した領域と暗い被写体を撮影した領域とを分類しうる様々なパラメータを利用することができる。

第２判定部３４は、車両３の前方を走行する先行車がトンネルの出入り口を通過することを判定する。第２判定部３４は、視差画像における先行車が存在する所定領域の輝度の変化率が所定の閾値よりも大きく、かつ、所定領域における視差点数の変化率が所定の閾値よりも大きいときに、先行車がトンネル出入り口を通過すると判定する。

推定部３５は、先行車の挙動を示す情報である、物体情報及び推定情報を取得する。これらの情報は、視差画像に含まれる物体の位置又は移動に関する情報を含む。以下の説明で、物体とは、視差画像に基づいて検出される物体を指す。

物体情報には、物体距離、縦方向相対速度、物体横位置、横方向相対速度、物体横幅、物体種別などが含まれる。物体距離とは、車両３から検出された物体までの距離である。縦方向相対速度とは、車両３の進行方向に関する車両３を基準とした物体の相対速度である。相対速度は過去の複数の視差画像に係る特徴点を用いることで算出できる。物体横位置は、車両３を基準とした、車両３の進行方向と直交する方向の物体の位置である。横方向相対速度とは、車両３の進行方向と直交する方向に関する車両３を基準とした物体の相対速度である。物体横幅は上述した直交する方向に関する物体の長さである。物体種別は、物体の大きさ、移動速度、形状などから推定される物体の種別である。なお本実施形態では、物体が先行車である場合に、物体情報や推定情報を演算により取得する。なお、物体情報の上記の内容はあくまでも例示であって、上記の内容に限定されるものではない。例えば運転支援に用いることができる様々な情報を物体情報として用いることができる。

また推定部３５は、物体情報を、視差検出部３１により検出された視差点に基づいて取得する。推定部３５は、物体の位置を、画像上の視差点の位置と該視差点が示す距離とにより特定する。また推定部３５は、物体の速度を、現在及び過去の視差画像に含まれる先行車に係る視差点を利用して求める。物体情報は、最新の視差画像に含まれる先行車に係る視差点を用いて求められる、現時点での先行車の挙動を示す情報である。

推定情報は、物体情報と同一種類の内容、つまり、物体距離、縦方向相対速度、物体横位置、横方向相対速度、物体横幅、物体種別などを含む。一方で、推定情報は物体情報とは異なり、先行車について推定される挙動を示す情報である。言い換えると、ある視差画像が取得されたタイミング（以下、基準タイミングと記載する）よりも後のタイミングにおける先行車の位置や速度について、予測される挙動を示す情報である。推定情報の各内容は次のように求められる。物体距離は、基準タイミングにおける物体の速度と等速運動を行ったものと仮定して、車両３の移動を考慮して計算される。縦方向相対速度，物体横位置，物体横幅，物体種別は、基準タイミングにおける値や内容がそのまま用いられる。横方向相対速度は、「０」と設定される。つまり横方向の相対的な移動は生じていないものと推定される。上述した推定情報の各内容の算出・設定方法はあくまで一例であり、上述した内容に限定されるものではない。例えば、横方向相対速度は基準タイミングにおける値であってもよい。

出力部３６は、推定部３５により取得された推定情報又は物体情報を運転支援装置１２に出力する。推定情報の出力を、外挿処理とも記載する。推定情報は、所定の出力条件を満たしたときに出力される。出力条件とは、（ｉ）第１判定部３３により車両３の前方にトンネルの出入り口が存在すると判定されたこと、及び、（ｉｉ）第２判定部３４により先行車が出入り口を通過すると判定されたこと、を要件として含む。

本願の技術思想を、車両３の前方が撮影された画像の例を示す図３Ａ－図４Ｂを用いて説明する。図３Ａに示される画像５１のように、トンネルによって暗くなる領域の直前を走行する先行車１０１は画像５１に明確に示される。しかしながら先行車１０１がトンネル入り口から内部に進入すると、図３Ｂに示されるように、先行車１０１は暗くなる。カメラのダイナミックレンジがトンネル外部の明るさを基準に設定されていると、トンネル内部の暗い部分は認識されにくくなり、先行車１０１を認識できなくなる。その結果、物体情報を取得できず、例えばＡＣＣ制御を継続できないなどの影響が生じる。そこで、先行車１０１がトンネルに進入したときには、一定期間、先行車１０１が存在すると仮定して運転支援装置１２に推定情報を出力する。なお、トンネル出口においても同様であり、図４Ａに示されるように、先行車１０１がトンネル内に位置していれば画像５３に明確に示されるが、図４Ｂに示されるように、先行車１０１がトンネル外に出ると画像から消失してしまう。この場合も同様に、先行車１０１が存在すると仮定して運転支援装置１２に推定情報を出力する。

［１－２．処理］
次に、情報処理装置１３が実行する情報出力処理について、図５のフローチャートを用いて説明する。本処理は、周期的に、例えば右カメラ１１ａ及び左カメラ１１ｂにより画像が取得される毎に実行される。

まず、Ｓ１では、情報処理装置１３の第１判定部３３は、環境トンネル判定処理をする。ここでは、ステレオカメラ１１により撮影された車両前方の画像に基づいて、車両３の前方にトンネルの出入り口が存在するか否かを判定する。なおトンネル判定処理の対象となる画像は、視差画像であってもよいし、例えば右カメラ１１ａ又は左カメラ１１ｂのいずれかにより撮影された視差画像ではない画像であってもよい。以下の説明では、視差画像でも、同じ範囲を撮影する他の画像でも良い場合は、単に撮影画像と記載する。環境トンネル判定処理の詳細は後述する。

Ｓ２では、情報処理装置１３は、Ｓ１において車両３の前方にトンネルの出入り口が存在すると判定さているか否かを判定する。情報処理装置１３は、Ｓ１においてトンネル出入り口が存在すると判定さている場合には、Ｓ３へ移行する。一方、情報処理装置１３は、Ｓ１においてトンネル出入り口が存在すると判定されていない場合には、図５の情報出力処理を終了する。

Ｓ３では、情報処理装置１３の第２判定部３４は、物体トンネル判定処理をする。ここでは、取得した視差画像に基づいて、車両の前方に検出された物体（即ち先行車）が、トンネル入口に位置する「トンネル入口物体」又はトンネル出口に位置する「トンネル出口物体」のいずれであるか、又はそのどちらでもないかを判定する。物体トンネル判定処理の詳細は後述する。

Ｓ４では、情報処理装置１３は、Ｓ３でトンネル入口物体であると判定した場合には、Ｓ５へ移行し、物体トンネル状態を「入口」と設定した後、Ｓ７に移行する。一方、情報処理装置１３は、Ｓ３でトンネル出口物体であると判定した場合には、Ｓ６へ移行し、物体トンネル状態を「出口」と設定した後、Ｓ７に移行する。また、情報処理装置１３は、Ｓ４でトンネル入口物体及びトンネル出口物体のいずれでもないと判定した場合は、物体トンネル状態の設定をクリアした後に、図５の情報出力処理を終了する。

Ｓ７で、情報処理装置１３は、推定情報の外挿処理を行う。その後、図５の情報出力処理を終了する。なお、外挿処理については後述する。
次に、図５の情報出力処理のＳ１で実行される環境トンネル判定処理について、図６のフローチャートを用いて説明する。

まず、Ｓ２１では、第１判定部３３は、実施条件判定を行い、所定の実施条件を満たしているか否かを判定する。ここでいう実施条件とは、具体的には、車両３が５０ｋｍ／ｈ以上で走行していること、雨天でないこと、夜間でないこと、及び、走行中の道路が直進道路であること、である。これらの要件を全て満たしたときに、実施条件を満たしたと判定される。実施条件の要件は上述した内容に限定されない。例えば、上記以外の他の要件を含んでもよい。また、上記要件を全て含む必要はなく、一部の要件のみが含まれていてもよい。

第１判定部３３は、Ｓ２１で実施条件を満たしていないと判定した場合には、Ｓ３０に移行する。一方、第１判定部３３は、Ｓ２１で実施条件を満たしていると判定した場合には、Ｓ２２へ移行する。

Ｓ２２では、第１判定部３３は、判定エリアを設定する。ここでは、図７に示されるように、撮影された画像５１の中から、中央エリア６１、路面エリア６２、及び周縁部エリア６３を設定する。中央エリア６１は、消失点を含む領域であり、例えば、画像５１における中央の位置を中央エリア６１と設定することができる。路面エリア６２は中央エリア６１の下方を対象とする領域である。周縁部エリア６３は中央エリア６１の周囲を対象とする領域であり、画像５１の外縁近傍に位置する外側の破線６３ａと、中央エリア６１の外側に位置する内側の破線６３ｂと、の間の領域である。

Ｓ２３では、第１判定部３３は、中央エリア６１の特徴を抽出する。ここでは、中央エリア６１と、路面エリア６２と、の輝度差を数値化する。例えば、両エリアの輝度値の平均値の差を、輝度差として求めてもよい。

Ｓ２４では、第１判定部３３は、周縁部エリア６３の特徴を抽出する。ここでは、中央エリア６１と、周縁部エリア６３と、の輝度差を数値化する。例えば、両エリアの輝度値の平均値の差を、輝度差として求めてもよい。

Ｓ２５では、第１判定部３３は、瞬時環境判定を行い、トンネルであるか否かを判定する。ここでは、Ｓ２３にて求めた輝度差と、Ｓ２４にて求めた輝度差と、に基づいてトンネルであるか否かを判定する。例えば、第１判定部３３は、それぞれの輝度差が所定の閾値以上に大きい場合に、トンネル出入り口と判定してもよい。さらに、中央エリア６１の輝度値が他の輝度値よりも大きい場合にはトンネル出口と判定し、小さい場合にはトンネル入口と判定してもよい。このＳ２５にて得られる判定結果は、以下では、瞬時環境と記載する。瞬時環境は、本処理の対象となる１つの画像を対象として、トンネルを含むか否かを判定した結果である。

第１判定部３３は、Ｓ２５にてトンネルでないと判定した場合には、Ｓ２９に移行する。一方、第１判定部３３は、Ｓ２５にて、トンネル出入り口であると判定した場合には、Ｓ２６へ移行し、瞬時環境継続数を更新する。メモリ２２には、瞬時環境がトンネル出入り口であると連続して判定された回数が記憶されており、ここでは、その回数に１を加算する。

Ｓ２７では、第１判定部３３は、瞬時環境継続数が所定の閾値以上であるか否かを判定する。閾値は、例えば５回としてもよい。第１判定部３３は、瞬時環境継続数が所定の閾値以上であれば、Ｓ２８に移行する。一方、第１判定部３３は、瞬時環境継続数が所定の閾値未満であると判定した場合には、Ｓ２９に移行する。

Ｓ２８では、第１判定部３３は、この環境トンネル判定処理によって出力される環境情報（以下、出力環境）として「トンネル入口」又は「トンネル出口」を出力する。その後、図６の環境トンネル判定処理を終了する。

Ｓ２９では、第１判定部３３は、出力環境保留期間内であるか否かを判定する。出力環境保留期間とは、瞬時環境がトンネル出入り口と判定されなくなった後に、Ｓ２８にて出力環境を出力する状態を一定時間確保するために設けられた期間である。出力環境保留期間は、最後にＳ２８にてトンネル出入り口である旨の環境情報を出力したときからカウントが開始される。第１判定部３３は、Ｓ２９で出力環境保留期間内であると判定した場合には、Ｓ２８に移行する。一方、第１判定部３３は、Ｓ２９で出力環境保留期間内でないと判定した場合には、Ｓ３０へ移行し、出力環境として、トンネル出入り口以外を意味する「その他」を出力した後、図６の環境トンネル判定処理を終了する。

次に、図５の情報出力処理のＳ３で実行される物体トンネル判定処理について、図８のフローチャートを用いて説明する。本処理の概要は、以下の（ア），（イ）の２つの特徴が得られた物体を、トンネルを進入する物体又は脱出する物体と判定することにある。

（ア）画像から検出される物体がトンネル進入・脱出時にトンネル内外の激しい明暗差により黒潰れ又は白飛びし、それにより輝度が大きく変化すること
（イ）黒潰れ又は白飛びにより画像上に物体のエッジが得られなくなり、その結果、視差点数割合が大きく減少すること
なおエッジとは、水平方向又は垂直方向に関して隣接した画素の輝度が急変している部分である。

まずＳ４１では、第２判定部３４は、ロスト判定を行う。ここでは、物体認識・追跡部３２により視差画像に基づく物体の追跡が継続されている場合は、ロストしていないと判定し、追跡ができなくなった場合には、ロストしていると判定する。

第２判定部３４は、Ｓ４１にてロストしていないと判定した場合には、Ｓ４２へ移行する。一方、第２判定部３４は、Ｓ４１にてロストしていると判定した場合には、Ｓ５０へ移行する。

Ｓ４２では、第２判定部３４は、実施条件を満たしているか否かを判定する。ここでいう実施条件とは、例えば、検出される物体が車両３と同じ車線にあること、一定期間以上同一の物体を継続して追跡していること、物体が車両であること、物体の移動速度が４５ｋｍ／ｈ以上であること、を要件として含む。実施条件の要件は上述した内容に限定されない。例えば、上記以外の他の要件を含んでもよい。また、上記要件を全て含む必要はなく、一部の要件のみが含まれていてもよい。

第２判定部３４は、Ｓ４２で実施条件を満たしていないと判定した場合には、Ｓ５０へ移行する。一方、第２判定部３４はＳ４２で実施条件を満たしていると判定した場合には、Ｓ４３へ移行する。

Ｓ４３では、第２判定部３４は、平均輝度・視差点数割合を算出する。図９Ａはトンネル進入直前の先行車１０１を示す画像５５Ａであり、図９Ｂは図９Ａに視差点８１を重畳した視差画像５５Ｂである。ここでいうトンネル進入とは、より厳密には、トンネルにより日光が遮られる空間への進入を意味する。視差点の距離情報は例えば色彩により示すことが可能であるが、図の理解を容易にするため、距離情報の表示については割愛する。また図１０Ａはトンネル進入中の先行車１０１を示す画像５６Ａであり、図１０Ｂは図１０Ａに視差点８１を重畳した視差画像５６Ｂである。また図１１Ａはトンネル進入後の先行車１０１を示す画像５７Ａであり、図１１Ｂは図１１Ａに視差点８１を重畳した視差画像５７Ｂである。

Ｓ４３では、第２判定部３４は、物体を示す物体矩形枠７１の平均輝度と視差点数割合を求める。物体矩形枠７１は、画像における先行車１０１が存在する所定領域を特定する枠である。物体矩形枠７１は、物体認識・追跡部３２が設定してもよい。平均輝度とは、物体矩形枠７１に含まれる各画素の輝度の平均値である。視差点数割合とは、視差点の数を物体矩形枠７１の面積で割った値である。

Ｓ４４では、第２判定部３４は、Ｓ４３にて取得した平均輝度・視差点数割合情報をメモリ２２に格納する。これらの情報は、Ｓ４１にてロストしていると判定されたとき、又はＳ４２で条件を満たしていないと判定されたときに、消去されてもよい。

Ｓ４５では、第２判定部３４は、平均輝度・視差点数割合情報の情報蓄積数を判定し、６であるか否かを判定する。この判断基準となる値は６に限定されず、他の数であってもよい。

第２判定部３４は、Ｓ４５で情報蓄積数が６未満であると判定した場合には、Ｓ５０へ移行する。一方、第２判定部３４は、Ｓ４５で情報蓄積数が６であると判定した場合には、Ｓ４６へ移行する。

Ｓ４６では、第２判定部３４は、物体平均輝度の変化率を算出する。図９Ａに示されるように、トンネル進入直前では先行車１０１は明るく表示されているが、図１０Ａでは明るい範囲が減少し、図１１Ａでは、ほぼ存在しない。物体矩形枠７１内の平均輝度は、トンネル進入により急減する。そのため、図１２に示されるように、平均輝度の変化率は先行車のトンネル進入に伴い低下する。また、トンネル脱出時は逆の変化が生じる。よって、平均輝度の変化率は先行車のトンネル進入の判定材料となる。変化率の求め方は特に限定されないが、例えば、蓄積された６つの平均輝度情報のうち、取得時刻が古い３つの平均輝度のさらに平均値を基準として、取得時間が新しい３つの平均輝度のさらに平均値について変化率を求めてもよい。

Ｓ４７では、第２判定部３４は、物体視差点数割合の変化率を算出する。図９Ｂに示されるように、トンネル進入直前では先行車１０１のエッジは明確であるが、図１０Ｂではエッジが明確である範囲が減少し、図１１Ｂでは、明確な範囲は非常に小さくなる。物体を示す物体矩形枠７１の視差点数は、トンネル進入により急減する。そのため、図１２に示されるように、視差点数割合変化率は先行車のトンネル進入に伴い低下する。また、トンネル脱出時は逆の変化が生じる。よって、視差点数割合の変化率は先行車のトンネル進入の判定材料となる。変化率の求め方は特に限定されないが、例えば、蓄積された６つの視差点数割合情報のうち、取得時刻が古い３つの視差点数割合のさらに平均値を基準とし、取得時間が新しい３つの視差点数割合のさらに平均値の変化率を求めてもよい。

Ｓ４８では、第２判定部３４は、瞬時トンネル状態を判定する。ここでは、Ｓ４７及び４８にて取得した変化率が、いずれも所定の閾値を超える場合に、「トンネル進入」又は「トンネル脱出」と判定する。

Ｓ４９では、第２判定部３４は、瞬時トンネル状態継続数を更新する。メモリ２２には瞬時トンネル状態の結果が「トンネル進入」又は「トンネル脱出」と連続して判定された回数が記憶されており、ここでは、その回数に１を加算する。

Ｓ５０では、第２判定部３４は、トンネル状態を出力する。ここでは、Ｓ４９にて所定回数（例えば２回）以上継続している場合には、「トンネル入口物体」又は「トンネル出口物体」と出力する。それ以外の場合には、「その他」と出力する。その後、図８の物体トンネル判定処理を終了する。

［１－３．外挿処理］
図５のＳ７で実行される外挿処理について説明する。外挿処理とは、推定情報を運転支援装置１２に出力する処理である。出力部３６は、外挿処理を行っていないときには、物体情報を運転支援装置１２に出力する。外挿処理は、物体情報が運転支援装置１２に出力されていないときに実行されてもよい。外挿処理を実行する期間は、以下のように設定することができる。

外挿処理の開始は、物体トンネル状態が「トンネル出口」又は「トンネル入口」と判定されている間に、物体認識・追跡部３２による物体の追跡が正常にできなくなったタイミングとしてもよい。

物体の認識が正常にできなくなったタイミングは、物体認識・追跡部３２が瞬間的に（つまり、１つの視差画像において）物体の追跡ができなくなったタイミングとしてもよい。また、物体の追跡の不成立が一定期間（例えば３フレーム）継続した場合にＡＣＣなどの運転支援処理を停止する構成において、上記一定期間の経過後のタイミングとしてもよい。つまり、図１３に示されるように、最初の物体認識状態「ロスト」は一定期間経過する前に認識が復活したため外挿処理が行われないが、２度目の「ロスト」は一定期間経過したため、その時点から外挿処理が行われる。

外挿処理の開始は、上記タイミングに限定されず、トンネルへの物体の進入又は脱出に関する様々なタイミングで開始するように設定できる。
外挿処理の終了は、所定の停止時間の経過後に終了してもよい。停止時間とは、推定情報の運転支援装置１２への出力を開始したタイミングにおける先行車１０１の位置に車両３が到達するまでの時間である到達時間に基づき設定される時間である。図１４に示されるように、到達時間は、車両３から先行車１０１までの距離と、車両３の走行速度とから求めることができる。停止時間は、上記の到達時間と同一でもよいし、到達時間より長く、又は短く設定されてもよい。停止時間と到達時間とが同一である場合とは、外挿処理の開始のタイミングにおける先行車１０１の位置に車両３が到達したときに外挿処理が終了するとも言い換えることができる。また図１４に示されるように、ＡＣＣによる追従距離を行う場合は、ＡＣＣによる車間時間の経過を到達時間として用いてもよい。また、停止時間を設定する場合に、上述した図１３に示すように「ロスト」後に一定期間経過してから外挿処理を開始する制御を行う場合は、上記一定期間（つまり、２度目の「ロスト」の期間）を含めて停止時間を定めてもよい。なお、外挿処理の終了は、これら以外のタイミングであってもよい。

［１－４．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１ａ）情報処理装置１３は、車両３の前方にトンネル出入り口が存在し、かつ、先行車がトンネル出入り口を通過すると判定されたとき、つまり物体認識・追跡部３２による先行車の追跡が困難となりやすい場面で推定情報を出力する。そのため、運転支援の継続時間を延ばすことができる。

（１ｂ）情報処理装置１３は、車両３の前方にトンネル出入り口が存在するか否かを、車両３の前方を示す画像の明るさに基づいて判定する。よって、トンネル出入り口を高精度に判定することができる。

（１ｃ）情報処理装置１３は、画像における先行車を示す領域の輝度の変化率と、視差画像における視差点の変化率と、の両方により、先行車がトンネルに進入したこと又は脱出したことを検出する。そのため、先行車のトンネル進入及び脱出を高精度に判定することができる。

（１ｄ）情報処理装置１３は、推定情報の運転支援装置１２への出力を、該出力を開始したタイミングにおける先行車の位置に車両３が到達する時間に基づき設定される停止時間の経過後に終了する。そのため、車両３がトンネルに進入するまで、又はトンネルから脱出するまでの期間は推定情報の出力を維持でき、物体認識・追跡部３２により先行車の認識が復帰するまでＡＣＣ等の運転支援を継続させやすくなる。

（１ｅ）情報処理装置１３は、推定情報の運転支援装置１２への出力を、物体認識・追跡部３２による先行車１０１の追跡が正常にできなかった場合に実行する。よって、先行車１０１の追跡が正常に行われている期間中は、推定値ではない物体情報に基づいた、高精度な運転支援を行うことができる。

（１ｆ）情報処理装置１３によれば、ステレオカメラ１１により取得される視差画像に含まれる視差点を用いることで、高精度な物体認識が可能となる。
［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、周辺画像に含まれる特徴点として視差点を例示したが、これに限定されるものではない。例えば、撮影画像からエッジ点を検出してエッジ点を用いる場合には、特徴点としてエッジ点を用いてもよい。エッジ点など視差点以外を特徴点として用いる場合、ステレオカメラ以外のカメラを用いてもよい。なおエッジ点とは、水平方向又は垂直方向に関して隣接した画素の輝度が急変している部分である。

（２ｂ）上記実施形態では、運転支援装置１２が実行する運転支援の内容はＡＣＣである構成を例示した。しかしながら、運転支援装置１２が実行する運転支援はＡＣＣ以外の運転支援であってもよい。例えば、運転支援装置１２は、車線逸脱防止機能や自動運転機能を実行するように構成されていてもよい。

（２ｃ）上記実施形態では、第１判定部３３が、撮影画像の中央エリア６１、路面エリア６２、周縁部エリア６３の明るさに基づいてトンネルを検出する構成を例示したが、これに限定されるものではない。例えば、画像処理によりトンネル形状を認識することでトンネルを検出してもよいし、トンネルの位置情報を含む地図と車両３の現在位置との対比からトンネルを検出してもよい。

（２ｄ）上記実施形態では、第２判定部３４が、画像における先行車の輝度と視差点数の変化率に基づいて、先行車のトンネル進入を判定する構成を例示したが、これに限定されるものではない。例えば、輝度と視差点数のいずれか一方又は両方は、変化率ではなく、平均輝度や視差点数の値が所定の閾値を超えるか否かにより、要件を満たしたか否かを判定してもよい。また、輝度と視差点数のいずれか一方のみを用いたり、他のパラメータをさらに考慮してトンネル進入を判定したりしてもよい。

（２ｅ）物体矩形枠７１、即ち所定領域は、図１５の画像５８に示されるように、車両３が走行中の車線９１と、該車線に隣接する車線９２と、の位置する範囲に存在する先行車１０１ａ、１０１ｂを対象として設定されてもよい。また、画像５８に複数の物体矩形枠７１ａ，７１ｂが存在する場合には、該複数の物体矩形枠ごとに、第２判定部３４による判定と、推定部３５による推定情報の取得と、出力部３６による出力と、が実行されるように構成されていてもよい。

（２ｆ）上記実施形態では、外挿処理の出力条件として、（ｉ）第１判定部３３により車両３の前方にトンネルの出入り口が存在すると判定されたこと、及び、（ｉｉ）第２判定部３４により先行車が出入り口を通過すると判定されたこと、を要件として含む構成を例示した。しかしながら、出力条件は上記の内容に限定されない。例えば、図１６に示される情報処理装置１３Ａのように、車両３が直線状の道路を走行中である直線走行状態か否かを判定するように構成された道路判定部４１を備え、道路判定部４１により直線走行状態と判定されたことを出力条件の要件の１つとしてもよい。道路判定部４１による判定は、撮影装置の撮影画像に基づいて実行してもよいし、直線状の道路か否かを示す情報を含む地図情報と車両３の現在位置との対比から判定してもよい。

さらに、図１６に示される情報処理装置１３Ａのように、夜間であるか否かを判定する夜間判定部４２を備え、出力部３６は、夜間判定部４２により夜間と判定されているときは、推定情報の出力を行わないように構成されていてもよい。このような構成であれば、トンネルの検出精度が低下する恐れのある場合において、誤判定の危険を低減することができる。

（２ｇ）本開示に記載の情報処理装置１３，１３Ａ及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の情報処理装置及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の情報処理装置及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。情報処理装置に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（２ｈ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（２ｉ）上述した情報処理装置１３の他、当該情報処理装置１３を構成要素とするシステム、当該情報処理装置１３としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、雨滴判定方法など、種々の形態で本開示を実現することもできる。

１…運転支援システム、３…車両、１１…ステレオカメラ、１２…運転支援装置、１３，１３Ａ…情報処理装置、３３…第１判定部、３４…第２判定部、３５…推定部、３６…出力部、５５Ｂ，５６Ｂ，５７Ｂ…視差画像

Claims (9)

1. 撮影装置（１１）及び運転支援装置（１２）を備える車両（３）にて用いられる情報処理装置（１３，１３Ａ）であって、
   前記車両の前方にトンネルの出入り口が存在することを判定するように構成された第１判定部（３３）と、
   前記車両の前方を走行する先行車が前記出入り口を通過することを判定するように構成された第２判定部（３４）と、
   前記撮影装置を用いて取得される画像であって前記車両の周辺を示す周辺画像（５５Ｂ，５６Ｂ，５７Ｂ）に基づいて、前記先行車について推定される挙動を示す情報である推定情報を取得するように構成された推定部（３５）と、
   少なくとも下記（ｉ）、（ｉｉ）の要件を含む出力条件を満たしたときに、前記推定部により取得された前記推定情報を前記運転支援装置に出力するように構成された出力部（３６）と、
   （ｉ）前記第１判定部により前記車両の前方に前記出入り口が存在すると判定されたこと
   （ｉｉ）前記第２判定部により前記先行車が前記出入り口を通過すると判定されたこと
   前記周辺画像における前記先行車を示す特徴点を検出するように構成された検出部（３１）と、
   を備え、
   前記第２判定部は、前記周辺画像における前記先行車が存在する所定領域の輝度の変化率が所定の閾値よりも大きく、かつ、前記所定領域における特徴点数の変化率が所定の閾値よりも大きいときに、前記先行車が前記出入り口を通過すると判定するように構成されている、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記所定領域は、前記車両が走行中の車線（９１）と、該車線に隣接する車線（９２）と、の位置する範囲に存在する物体を対象として設定される、情報処理装置。
3. 請求項１又は請求項２に記載の情報処理装置であって、
   前記第１判定部は、前記車両の前方を撮影した画像における消失点を含む第１範囲が、該第１範囲の周囲の第２範囲と比較して明るい場合又は暗い場合に、前記車両の前方に前記出入り口が存在すると判定するように構成されている、情報処理装置。
4. 請求項１から請求項３までのいずれか１項に記載の情報処理装置であって、
   前記出力部は、前記推定情報の前記運転支援装置への出力を、該出力を開始したタイミングにおける前記先行車の位置に前記車両が到達するまでの時間に基づき設定される停止時間の経過後に終了するように構成されている、情報処理装置。
5. 請求項１から請求項３までのいずれか１項に記載の情報処理装置であって、
   さらに、前記周辺画像に基づいて、前記先行車の追跡を行う追跡部（３２）を備え、
   前記出力部は、前記推定情報の前記運転支援装置への出力を、前記追跡部による前記先行車の追跡が正常にできなかった場合に実行するように構成されている、情報処理装置。
6. 請求項１から請求項５までのいずれか１項に記載の情報処理装置であって、
   前記撮影装置はステレオカメラであり、
   前記周辺画像は、前記ステレオカメラを用いて取得された視差画像であり、
   前記特徴点は、前記視差画像に示される視差点（８１）である、情報処理装置。
7. 請求項１から請求項６までのいずれか１項に記載の情報処理装置であって、
   さらに、前記車両が直線状の道路を走行中である直線走行状態か否かを判定するように構成された道路判定部（４１）を備え、
   前記出力条件は、前記道路判定部により直線走行状態であると判定されたことを要件の１つとして含む、情報処理装置。
8. 請求項１から請求項７までのいずれか１項に記載の情報処理装置であって、
   さらに、夜間であるか否かを判定する夜間判定部（４２）を備え、
   前記出力部は、前記夜間判定部により夜間と判定されているときは、前記推定情報の出力を行わないように構成されている、情報処理装置。
9. 車両（３）に搭載して用いられる運転支援システム（１）であって、
   撮影装置（１１）と、
   運転支援装置（１２）と、
   請求項１から請求項８のいずれか１項に記載の情報処理装置（１３）と、を備える運転支援システム。

Images