JP7286691B2 - 判定装置、車両制御装置、判定方法、およびプログラム - Google Patents

Description

本発明は、判定装置、車両制御装置、判定方法、およびプログラムに関する。

従来、自車両の車載カメラにより撮像された周辺画像に基づいて他車両の走行状態を検知し、自車両の自動運転制御を行う技術が知られている。

特開２０１３－１６８０１９号公報

従来の技術では、逆光などの理由で、撮像された周辺画像の画質が悪い場合には、他車両の走行状態を正確に検知することができず、過検知が生じてしまう場合がある。このような、過検知が生じてしまうと、自動運転制御によって自車両が誤って急ブレーキ動作を行うなど、自動運転制御に問題が生じてしまう場合がある。他車両の検知精度を向上させるために車車間通信を利用する技術が知られているが（例えば、特許文献１参照）、このような車車間通信を前提とした場合、車車間通信機能が実装された車両が限られていることに加え、システム構成が複雑化しコスト増につながるおそれがある。

本発明は、このような事情を考慮してなされたものであり、周辺環境を正確且つ簡易な手法で検知することができる判定装置、車両制御装置、判定方法、およびプログラムを提供することを目的の一つとする。

この発明に係る判定装置、車両制御装置、判定方法、およびプログラムは、以下の構成を採用した。
（１）この発明の一態様の判定装置は、車両の第１周辺画像に基づいて判定された周辺環境の一次判定結果と、前記一次判定結果の確信度とを取得する取得部と、前記確信度と予め設定された閾値との比較結果と、前記第１周辺画像よりも過去に撮像された前記車両の周辺画像に対する過去の一次判定結果との双方に基づいて、前記一次判定結果に対する二次判定を行い、前記一次判定結果よりも高精度な二次判定結果を出力する判定部と、を備えるものである。

（２）の態様は、上記（１）の態様に係る判定装置において、前記閾値は、第１閾値と、前記第１閾値よりも低い第２閾値とを含み、前記判定部は、前記確信度が前記第１閾値よりも大きい場合、前記一次判定結果を前記二次判定結果として出力する第１処理を行い、前記確信度が前記第２閾値未満である場合、前記二次判定を保留する第２処理を行い、前記確信度が前記第１閾値以下且つ前記第２閾値以上である場合、前記過去の一次判定結果に基づいて、前記一次判定結果を前記二次判定結果として採用するか否かを判定する第３処理を行うものである。

（３）の態様は、上記（２）の態様に係る判定装置において、前記判定部は、前記第３処理において、所定数の前記過去の一次判定結果のうち、前記一次判定結果と同一の判断結果を示す前記過去の一次判定結果の数が所定値以上である場合、前記一次判定結果を前記二次判定結果として出力し、前記所定数の前記過去の一次判定結果のうち、前記一次判定結果と同一の判断結果を示す前記過去の一次判定結果の数が前記所定値未満である場合、前記二次判定を保留するものである。

（４）の態様は、上記（３）の態様に係る判定装置において、前記過去の一次判定結果の前記所定数は、２以上の整数Ｎであり、前記所定値は、Ｎ／２以上且つ１以下の値であるものである。

（５）の態様は、上記（２）から（４）のいずれかの態様に係る判定装置において、前記判定部は、前記二次判定を保留する場合、前記二次判定が不能である旨を示す情報を出力するものである。

（６）の態様は、上記（１）から（５）のいずれかの態様に係る判定装置において、前記一次判定結果は、前記第１周辺画像に含まれる周辺車両の灯体の動作情報に基づく、前記周辺車両の走行状態の判定結果であるものである。

（７）の態様は、上記（６）の態様に係る判定装置において、前記灯体は、制動灯および方向指示器の少なくとも１つを含むものである。

（８）この発明の他の態様の車両制御装置は、第１から第７の何れかの態様に係る判定装置と、前記判定装置から出力される前記二次判定結果に基づいて、前記車両の挙動制御に変更が必要になるか否かを判定する制御部と、を備えるものである。

（９）の態様は、上記（８）の態様に係る車両制御装置において、前記制御部は、前記二次判定結果に基づいて前記車両の挙動制御に変更が必要になると判定した場合、前記車両の挙動制御の変更を行うものである。

（１０）の態様は、上記（８）または（９）の態様に係る車両制御装置において、前記制御部は、前記二次判定結果に基づいて前記車両の挙動制御に変更が必要にならないと判定した場合、前記車両の挙動制御の変更を行わないものである。

（１１）の態様は、上記（８）から（１０）のいずれかの態様に係る車両制御装置において、前記判定部により前記二次判定が保留された場合、前記制御部は、前記第１周辺画像を撮像したカメラとは異なる検知手段により取得された周辺環境情報に基づいて、前記車両の挙動制御に変更が必要になるかを判定するものである。

（１２）の態様は、上記（８）から（１１）のいずれかの態様に係る車両制御装置において、前記制御部は、前記車両の速度制御、加速制御、操舵制御、および停止制御の少なくとも１つに変更が必要となるか否かを判定するものである。

（１３）この発明の他の態様の判定方法は、車両に搭載されたコンピュータが、前記車両の第１周辺画像に基づいて判定された周辺環境の一次判定結果と、前記一次判定結果の確信度とを取得し、前記確信度と予め設定された閾値との比較結果と、前記第１周辺画像よりも過去に撮像された前記車両の周辺画像に対する過去の一次判定結果との双方に基づいて、前記一次判定結果に対する二次判定を行い、前記一次判定結果よりも高精度な二次判定結果を出力するものである。

（１４）この発明の他の態様のプログラムは、車両に搭載されたコンピュータに、前記車両の第１周辺画像に基づいて判定された周辺環境の一次判定結果と、前記一次判定結果の確信度とを取得させ、前記確信度と予め設定された閾値との比較結果と、前記第１周辺画像よりも過去に撮像された前記車両の周辺画像に対する過去の一次判定結果との双方に基づいて、前記一次判定結果に対する二次判定を行わせ、前記一次判定結果よりも高精度な二次判定結果を出力させるものである。

上記（１）から（１４）の態様によれば、周辺環境を正確且つ簡易な手法で検知し、周辺環境の過検知の発生を抑制することができる。
上記（６）および（７）の態様によれば、周辺車両の走行状態の検知率を向上させることができる。
上記（８）から（１２）の態様によれば、二次判定結果に基づいて自車両の挙動制御に変更が必要となるか否かを判定することで、安定した自動運転制御を行うことができる。

実施形態に係る判定装置を利用した車両システムの構成図である。 実施形態に係る第１制御部および第２制御部の機能構成図である。 実施形態に係る自動運転制御装置の認識部による判定処理の一例を示すフローチャートである。 自車両の前方を撮像した周辺画像の一例を示す図である。 自車両の前方を撮像した周辺画像の他の例を示す図である。 自車両の前方を撮像した周辺画像の他の例を示す図である。 自車両の前方を撮像した周辺画像の他の例を示す図である。 自車両の前方を撮像した周辺画像の他の例を示す図である。 自車両の前方を撮像した周辺画像の他の例を示す図である。 実施形態に係る判定部による判定処理を説明する図である。 実施形態に係る判定部による判定処理を説明する図である。

以下、図面を参照し、本発明の判定装置、車両制御装置、判定方法、およびプログラムの実施形態について説明する。

［概要］
本発明の判定装置は、自車両の周辺画像に基づいて判定された周辺環境（例えば、他車両の走行状態）の一次判定結果と、該一次判定結果の確信度とを取得し、確信度と閾値との比較結果と、判定対象の周辺画像よりも過去に撮像された周辺画像に対する過去の一次判定結果との双方に基づいて、一次判定結果に対する二次判定を行う。これにより、一次判定結果よりも高精度な二次判定結果を得ることができ、周辺環境を正確且つ簡易な手法で検知することができる。

［全体構成］
図１は、実施形態に係る判定装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪などの車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、あるいはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、あるいは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子７０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線などの多重通信線やシリアル通信線、無線通信網などによって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面などに取り付けられる。後方を撮像する場合、カメラ１０は、リアウインドシールド上部やバックドアなどに取り付けられる。側方を撮像する場合、カメラ１０は、ドアミラーなどに取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（あるいは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、あるいは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、自車両Ｍの向きを検出する方位センサなどを含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。

ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号（人工衛星から到来する電波）に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（あるいは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。

第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末などの端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサ（コンピュータ）がプログラム（ソフトウェア）を実行することにより実現される。また、推奨車線決定部６１は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＭＰＵ６０の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることでＭＰＵ６０の記憶装置にインストールされてもよい。

推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報（道路中心線、中心線）あるいは車線の境界の情報（道路区画線、区画線）などを含んでいる。また、第２地図情報６２には、道路情報（道路標識、交通信号機などの道路構造物）、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子７０は、例えば、ステアリングホイール７２の他、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子７０には、操作量あるいは操作の有無を検出するセンサが取り付けられている。そのセンサの検出結果は、自動運転制御装置１００に出力されたり、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力されたりする。ステアリングホイール７２は、必ずしも環状である必要は無く、異形ステアリングホイールやジョイスティック、ボタンなどの形態であってもよい。ステアリングホイール７２には、ステアリング把持センサ７４が取り付けられている。ステアリング把持センサ７４は、静電容量センサなどにより実現され、運転者がステアリングホイール７２を把持している（力を加えられる状態で接していることをいう）か否かを検知可能な信号を自動運転制御装置１００に出力する。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵなどのハードウェアプロセッサ（コンピュータ）がプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。自動運転制御装置１００、第１制御部１２０、または、認識部１３０は、「判定装置」の一例である。自動運転制御装置１００は、「車両制御装置」の一例である。

第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニングなどによる交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。

認識部１３０は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４から入力された情報の少なくとも一部に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度などの状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナーなどの代表点で表されてもよいし、領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

認識部１３０は、例えば、一次判定部１３１と、二次判定部１３５とを備える。一次判定部１３１は、カメラ１０から入力された自車両Ｍの周辺画像に基づいて、自車両Ｍの周辺環境の一次判定を行う。周辺環境は、例えば、周辺車両（他車両）の走行状態を含む。例えば、一次判定部１３１は、自車両Ｍの周辺画像に含まれる他車両の灯体の画像情報に基づいて、他車両の走行状態を判定する。灯体には、例えば、制動灯であるブレーキランプ（ストップライト）、方向指示器であるウインカー（ターンライト）、前照灯であるフロントライト、後退灯であるバックライト等の各種ライト用の光源等が含まれる。周辺画像は、白黒画像でもよいし、カラー画像でもよい。例えば、一次判定部１３１は、他車両のブレーキランプの動作状態（ブレーキランプの点灯、消灯）を判定することで、他車両が停止しようとしているのか否かを判定する。また、例えば、一次判定部１３１は、他車両のウインカーの動作状態（ウインカーの点滅）を判定することで、他車両が進路変更、右左折などの進行方向の変更を行おうとしているのか否かを判定する。一次判定部１３１は、このような一次判定を行うことで、他車両の運転者の操作意図（灯体の操作意図）を判定することができる。

一次判定部１３１は、例えば、物標特徴抽出部１３２と、意図判定部１３３とを備える。物標特徴抽出部１３２は、カメラ１０から入力された周辺画像に対して、パターンマッチングなどのルールベースの画像解析処理を行うことにより、周辺画像に含まれる他車両の灯体に対応する画像の特徴情報を抽出する。例えば、物標特徴抽出部１３２は、周辺画像に含まれる他車両のブレーキランプおよびウインカーに対応する画像の特徴情報を抽出する。

意図判定部１３３は、物標特徴抽出部１３２により抽出された特徴情報に基づいて、他車両の運転者の操作意図（灯体の操作意図）を判定し、意図判定結果（一次判定結果）と、この意図判定結果の確信度とを出力する。意図判定結果とは、例えば、右ウインカーが点滅していること、左ウインカーが点滅していること、ブレーキランプが点灯していることなど、他車両の灯体の動作状態を示す情報である。すなわち、意図判定結果は、周辺画像に含まれる周辺車両の灯体の動作情報に基づく、周辺車両の走行状態の判定結果である。

意図判定結果の確信度とは、意図判定結果の確からしさ（信頼度）を示す指標値である。例えば、確信度は、０から１の間の実数値でも良いし、高、中、低といった離散値でもよい。意図判定部１３３は、例えば、機械学習により求められた学習済みモデル（例えば、ニューラルネットワーク）を用いて、特徴情報に対する意図判定結果および確信度を導出する。この学習済みモデルは、特徴情報に対して、意図判定結果および確信度がラベル付けされたデータセットを教師データとし、特徴情報が入力されたときに、意図判定結果および確信度を出力するように学習されたモデルである。

意図判定部１３３は、１枚の周辺画像（シングルフレーム）から抽出された特徴情報、または連続する複数の周辺画像（シーケンシャルフレーム）から抽出された特徴情報に基づいて、意図判定結果および確信度を出力する。例えば、ブレーキランプの点灯の有無を判定する場合には、意図判定部１３３は、１枚の周辺画像（シングルフレーム）から抽出された特徴情報に基づいて、意図判定結果と、確信度とを出力する。また、例えば、ウインカーの点滅の有無を判定する場合には、意図判定部１３３は、連続する複数の周辺画像（シーケンシャルフレーム）から抽出された特徴情報に基づいて、意図判定結果と、確信度とを算出する。

なお、上記の学習済みモデルは、周辺画像に対して、意図判定結果および確信度がラベル付けされたデータセットを教師データとし、周辺画像が入力されたときに、意図判定結果および確信度を出力するように学習されたモデルであってもよい。この場合、上記の一次判定部１３１によるパターンマッチングなどのルールベースの画像解析処理は省略されてもよい。

二次判定部１３５は、例えば、取得部１３６と、判定部１３７とを備える。取得部１３６は、一次判定部１３１から出力された意図判定結果および確信度を取得する。すなわち、取得部１３６は、自車両Ｍ（車両）の周辺画像（第１周辺画像）に基づいて判定された周辺環境の一次判定結果と、該一次判定結果の確信度とを取得する。取得部１３６は、「取得部」の一例である。判定部１３７は、「判定部」の一例である。

判定部１３７は、取得部１３６により取得された確信度と予め設定された閾値との比較結果と、意図判定部１３３による判定の対象となった周辺画像よりも過去に撮像された自車両Ｍの周辺画像に対する過去の意図判定結果との双方に基づいて、意図判定結果に対する二次判定を行い、意図判定結果よりも高精度な二次判定結果を出力する。判定部１３７は、二次判定結果を、行動計画生成部１４０に出力する。判定部１３７の処理の詳細については後述する。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。行動計画生成部１４０は、「制御部」の一例である。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

行動計画生成部１４０は、認識部１３０により出力される二次判定結果に基づいて、自車両Ｍの挙動制御に変更が必要になるか否かを判定する。行動計画生成部１４０は、二次判定結果に基づいて自車両Ｍの挙動制御に変更が必要になると判定した場合、自車両Ｍの挙動制御の変更（目標軌道の変更など）を行う。また、行動計画生成部１４０は、二次判定結果に基づいて自車両Ｍの挙動制御に変更が必要にならないと判定した場合、自車両Ｍの挙動制御の変更を行わない。行動計画生成部１４０の処理の詳細については後述する。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、あるいは運転操作子７０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、あるいは運転操作子７０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子７０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、あるいは運転操作子７０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［判定処理］
以下、フローチャートを用いて、実施形態に係る判定処理について説明する。図３は、実施形態に係る自動運転制御装置１００の認識部１３０による判定処理の一例を示すフローチャートである。以下の説明においては、自動運転制御装置１００による自動運転の制御下において、自車両Ｍが自動運転を行っている場合を例に挙げて説明する。図３に示すフローチャートの判定処理は、自車両Ｍが自動運転を行っている間、繰り返し実行される。

まず、一次判定部１３１の物標特徴抽出部１３２は、カメラ１０から入力された周辺画像から、物標特徴情報を抽出する（ステップＳ１０１）。例えば、物標特徴抽出部１３２は、周辺画像に対してパターンマッチングなどのルールベースの画像解析処理を行うことにより、周辺画像に含まれる他車両の灯体（ブレーキランプ、ウインカーなど）に対応する部位の画像を抽出する。

図４Ａは、自車両Ｍの前方を撮像した周辺画像の一例を示す図である。図４Ａに示す周辺画像Ｆ１には、自車両Ｍの前方を走行している他車両Ｖ１が含まれている。この場合、物標特徴抽出部１３２は、この周辺画像Ｆ１から、物標特徴情報として、他車両Ｖ１のブレーキランプに対応する部分のブレーキランプ画像ＢＬを抽出する。なお、物標特徴抽出部１３２は、この周辺画像Ｆ１から、ブレーキランプ画像ＢＬに加えて、他車両Ｖ１のウインカーなどのブレーキランプ以外の灯体に対応する部分の画像を抽出してもよい。

図４Ｂは、自車両Ｍの前方を撮像した周辺画像の他の例を示す図である。図４Ｂに示す周辺画像Ｆ２は、図４Ａに示す周辺画像Ｆ１とは異なるタイミングで撮像された画像である。この場合、物標特徴抽出部１３２は、この周辺画像Ｆ２から、物標特徴情報として、他車両Ｖ１のブレーキランプに対応する部分のブレーキランプ画像ＢＬを抽出する。なお、物標特徴抽出部１３２は、この周辺画像Ｆ２から、ブレーキランプ画像ＢＬに加えて、他車両Ｖ１のウインカーなどのブレーキランプ以外の灯体に対応する部分の画像を抽出してもよい。

図５Ａは、自車両Ｍの前方を撮像した周辺画像の他の例を示す図である。図５Ａに示す周辺画像Ｆ３には、自車両Ｍの左車線の前方を走行している他車両Ｖ２が含まれている。この場合、物標特徴抽出部１３２は、この周辺画像Ｆ３から、物標特徴情報として、他車両Ｖ２のウインカーに対応する部分のウインカー画像ＴＳを抽出する。なお、物標特徴抽出部１３２は、この周辺画像Ｆ３から、ウインカー画像ＴＳに加えて、他車両Ｖ２のブレーキランプなどのウインカー以外の灯体に対応する部分の画像を抽出してもよい。

図５Ｂは、自車両Ｍの前方を撮像した周辺画像の他の例を示す図である。図５Ｂに示す周辺画像Ｆ４は、図５Ａに示す周辺画像Ｆ３とは異なるタイミングで撮像された画像である。この場合、物標特徴抽出部１３２は、この周辺画像Ｆ４から、物標特徴情報として、他車両Ｖ２のウインカーに対応する部分のウインカー画像ＴＳを抽出する。なお、物標特徴抽出部１３２は、この周辺画像Ｆ４から、ウインカー画像ＴＳに加えて、他車両Ｖ２のブレーキランプなどのウインカー以外の灯体に対応する部分の画像を抽出してもよい。

次に、一次判定部１３１の意図判定部１３３は、物標特徴抽出部１３２により抽出された物標特徴情報に基づいて、他車両の運転者の操作意図（灯体の操作意図）の判定を行う（ステップＳ１０３）。意図判定部１３３は、意図判定結果と、この意図判定結果の確信度とを出力する。例えば、意図判定部１３３は、ブレーキランプの点灯の有無やウインカーの点滅の有無を示す意図判定結果と、この意図判定結果の確信度とを出力する。

物標特徴抽出部１３２により図４Ａに示す周辺画像Ｆ１からブレーキランプ画像ＢＬが抽出された場合、意図判定部１３３は、ブレーキランプ画像ＢＬに基づいて、ブレーキランプがＯＦＦであると判定し、ブレーキランプがＯＦＦであることを示す意図判定結果を出力する。また、この場合、ブレーキランプ画像ＢＬの画質が高く、意図判定結果の確信度が高いと判定できるため、意図判定部１３３は、確信度として高い数値である“０．９５”を出力する。

一方、図４Ａに示す周辺画像Ｆ１と同じ場面を撮像した画像であっても、図６に示す周辺画像Ｆ５のように、ブレーキランプ画像ＢＬの画質が低いまたは一部の画像が欠けている場合など、意図判定結果の精度に問題が生じていることが懸念される場合には、確信度として低い数値が出力される。すなわち、物標特徴抽出部１３２により図６に示す周辺画像Ｆ５から画質の低いブレーキランプ画像ＢＬが抽出された場合、意図判定部１３３は、ブレーキランプ画像ＢＬに基づいて、ブレーキランプがＯＦＦであると判定し、ブレーキランプがＯＦＦであることを示す意図判定結果を出力する。しかしながら、この場合、ブレーキランプ画像ＢＬの画質が低く、意図判定結果の確信度が低いと判定できるため、意図判定部１３３は、確信度として低い数値である“０．４０”を出力する。

また、物標特徴抽出部１３２により図４Ｂに示す周辺画像Ｆ２からブレーキランプ画像ＢＬが抽出された場合、意図判定部１３３は、ブレーキランプ画像ＢＬに基づいて、ブレーキランプがＯＮであると判定し、ブレーキランプがＯＮであることを示す意図判定結果を出力する。また、この場合、ブレーキランプ画像ＢＬの画質が高く、意図判定結果の確信度が高いと判定できるため、意図判定部１３３は、確信度として高い数値である“０．９２”を出力する。

一方、図４Ｂに示す周辺画像Ｆ２と同じ場面を撮像した画像であっても、図７に示す周辺画像Ｆ２０のように、ブレーキランプ画像ＢＬの画質が低いまたは一部の画像が欠けている場合など、意図判定結果の精度に問題が生じていることが懸念される場合には、確信度として低い数値が出力される。すなわち、物標特徴抽出部１３２により図７に示す周辺画像Ｆ２０から画質の低いブレーキランプ画像ＢＬが抽出された場合、意図判定部１３３は、ブレーキランプ画像ＢＬに基づいて、ブレーキランプがＯＮであると判定し、ブレーキランプがＯＮであることを示す意図判定結果を出力する。しかしながら、この場合、ブレーキランプ画像ＢＬの画質が低く、意図判定結果の確信度が低いと判定できるため、意図判定部１３３は、確信度として低い数値である“０．６０”を出力する。

また、物標特徴抽出部１３２により図５Ａに示す周辺画像Ｆ３からウインカー画像ＴＳが抽出された場合、意図判定部１３３は、ウインカー画像ＴＳに基づいて、ウインカー（右および左ウインカー）がＯＦＦであると判定し、ウインカーがＯＦＦであることを示す意図判定結果を出力する。また、この場合、ウインカー画像ＴＳの画質が高く、意図判定結果の確信度が高いと判定できるため、意図判定部１３３は、確信度として高い数値である“０．９８”を出力する。また、物標特徴抽出部１３２により図５Ｂに示す周辺画像Ｆ４からウインカー画像ＴＳが抽出された場合、意図判定部１３３は、ウインカー画像ＴＳに基づいて、ウインカー（右ウインカー）がＯＮであると判定し、右ウインカーがＯＮであることを示す意図判定結果を出力する。また、この場合、ウインカー画像ＴＳの画質が高く、意図判定結果の確信度が高いと判定できるため、意図判定部１３３は、確信度として高い数値である“０．９１”を出力する。

次に、二次判定部１３５の取得部１３６は、意図判定部１３３により出力された意図判定結果および確信度を取得する（ステップＳ１０５）。

次に、二次判定部１３５の判定部１３７は、取得された確信度が、第１閾値よりも大きいか否かを判定する（ステップＳ１０７）。この第１閾値は、確信度が十分に高いか否かを判定する基準として予め設定される。例えば、この第１閾値には、対応する意図判定結果を自動運転制御に利用可能と判定できる確信度の下限値が設定される。確信度が０から１の間の実数値で定義される場合、この第１閾値には、例えば、０．９、０．８、０．７、０．６、０．５などの０．５以上の数値が設定される。なお、判定部１３７は、取得された確信度が、第１閾値以上であるか否かを判定するようにしてもよい。

判定部１３７は、取得された確信度が、第１閾値よりも大きいと判定した場合（ステップＳ１０７，“ＹＥＳ”）、取得された意図判定結果を二次判定結果として、行動計画生成部１４０に出力する（ステップＳ１１３）。次に、行動計画生成部１４０は、認識部１３０により出力された二次判定結果に基づいて、自車両Ｍの挙動制御に変更が必要であるか否かを判定する（ステップＳ１１５）。例えば、行動計画生成部１４０は、自車両Ｍの速度制御、加速制御、操舵制御、および停止制御の少なくとも１つに変更が必要となるか否かを判定する。

上記のステップＳ１１５において、行動計画生成部１４０は、自車両Ｍの挙動制御に変更が必要であると判定した場合（ステップＳ１１５，“ＹＥＳ”）、挙動制御の変更を行う（ステップＳ１１７）。例えば、図４Ｂの例のように、意図判定結果が他車両Ｖ１のブレーキランプがＯＮであることを示している場合、行動計画生成部１４０は、他車両Ｖ１との衝突を回避すべく自車両Ｍの挙動制御に変更が必要であると判定し、自車両Ｍの速度を低下させる、車線変更を行わせるなど、挙動制御の変更を行って目標軌道を再生成する。行動計画生成部１４０は、生成した目標軌道を第２制御部１６０に出力する。

上記のステップＳ１１５において、行動計画生成部１４０は、自車両Ｍの挙動制御に変更が必要ではないと判定した場合（ステップＳ１１５，“ＮＯ”）、挙動制御の変更は行わない。例えば、図４Ａの例のように、二次判定結果が他車両Ｖ１のブレーキランプが“ＯＦＦ”であることを示している場合、行動計画生成部１４０は、現在の走行状態を維持しても問題ないため自車両Ｍの挙動制御に変更が必要ではないと判定し、挙動制御の変更は行わない。

すなわち、行動計画生成部１４０は、自車両Ｍの挙動制御に変更が必要になると判定した場合、自車両Ｍの挙動制御の変更を行う。一方、行動計画生成部１４０は、自車両Ｍの挙動制御に変更が必要にならないと判定した場合、自車両の挙動制御の変更を行わない。

上記のステップＳ１０７において、判定部１３７は、取得された確信度が第１閾値よりも大きくないと判定した場合（ステップＳ１０７，“ＮＯ”）、確信度が第２閾値未満であるか否かを判定する（ステップＳ１０９）。この第２閾値は、確信度が十分に低いか否かを判定する基準として予め設定される。例えば、この第２閾値には、対応する意図判定結果を自動運転制御に利用不可能と即座に判定できる確信度の上限値が設定される。確信度が０から１の間の実数値で定義される場合、この第２閾値には、例えば、０．１、０．２、０．３、０．４などの０．５未満の数値が設定される。この第２閾値は、第１閾値よりも小さい値が設定される。なお、判定部１３７は、確信度が第２閾値以下であるか否かを判定してもよい。

上記のステップＳ１０９において、判定部１３７は、取得された確信度が第２閾値未満ではないと判定した場合（ステップＳ１０９，“ＮＯ”）、所定数の過去の意図判定結果のうち、現在の判定対象の意図判定結果と同一の判断結果を示す過去の意図判定結果の数が所定値以上であるか否かを判定する（ステップＳ１１１）。

例えば、第１閾値として“０．９”が設定され、第２閾値として“０．５”が設定されている場合、図７に示す周辺画像Ｆ２０（確信度“０．６０”）について、判定部１３７は、上記のステップＳ１１１の判定処理を行う。図８および９は、ステップＳ１１１の判定処理を説明する図である。図８には、現在の判定対象の周辺画像Ｆ２０と、この周辺画像Ｆ２０よりも過去に撮像された８フレーム分の周辺画像Ｆ１２からＦ１９が示されている。これら過去の周辺画像Ｆ１２からＦ１９のうち、周辺画像Ｆ２０に対する判定結果「ブレーキランプＯＮ」と同一の判定結果となっている過去の周辺画像は周辺画像Ｆ１５からＦ１９の５つである。ここで、例えば、所定値が“５”に設定されている場合、判定部１３７は、取得された意図判定結果と同一の判定結果を示す過去の意図判定結果の数が所定値以上であると判定する。

一方、図９の例では、過去の周辺画像Ｆ１２からＦ１９のうち、周辺画像Ｆ２０に対する判定結果「ブレーキランプＯＮ」と同一の判定結果となっている過去の周辺画像は周辺画像Ｆ１２、Ｆ１３、およびＦ１５の３つである。ここで、例えば、所定値が“５”に設定されている場合、判定部１３７は、取得された意図判定結果と同一の判定結果を示す過去の意図判定結果の数が所定値以上ではないと判定する。なお、判定部１３７は、現在の判定対象の意図判定結果と同一の判断結果を示す過去の意図判定結果の数が所定値よりも多いか否かを判定してもよい。

すなわち、判定部１３７は、確信度が第１閾値よりも大きい場合、一次判定結果を二次判定結果として出力する第１処理を行い、確信度が第２閾値未満である場合、二次判定を保留する第２処理を行い、確信度が第１閾値以下且つ第２閾値以上である場合、過去の一次判定結果に基づいて、一次判定結果を二次判定結果として採用するか否かを判定する第３処理を行う。

また、判定部１３７は、上記の第３処理において、所定数の過去の一次判定結果のうち、一次判定結果と同一の判断結果を示す過去の一次判定結果の数が所定値以上である場合、一次判定結果を二次判定結果として出力し、所定数の過去の一次判定結果のうち、一次判定結果と同一の判断結果を示す過去の一次判定結果の数が所定値未満である場合、二次判定を保留する。過去の一次判定結果の所定数は、２以上の整数Ｎであり、所定値は、Ｎ／２以上且つ１以下の値である。

上記のステップＳ１１１において、判定部１３７は、取得された意図判定結果と同一の判定結果を示す過去の意図判定結果の数が所定値以上であると判定した場合（ステップＳ１１１，“ＹＥＳ”）、取得された意図判定結果を二次判定結果として、行動計画生成部１４０に出力する（ステップＳ１１３）。このように、判定部１３７は、持続性が高い意図判定結果については、二次判定結果として採用する。次に、行動計画生成部１４０は、認識部１３０により出力された二次判定結果に基づいて、自車両Ｍの挙動制御に変更が必要であるか否かを判定し（ステップＳ１１５）、行動計画生成部１４０は、自車両Ｍの挙動制御に変更が必要であると判定した場合、挙動制御の変更を行う（ステップＳ１１７）。

一方、判定部１３７は、上記のステップＳ１０９において取得された確信度が第２閾値未満であると判定した場合（ステップＳ１０９，“ＹＥＳ”）、あるいは、上記のステップ１１１において取得された意図判定結果と同一の判定結果を示す過去の意図判定結果の数が所定値以上ではないと判定した場合（ステップＳ１１１，“ＮＯ”）、取得された意図判定結果を採用せずに、二次判定を保留し、二次判定が不能であることを示す情報（例えば、「Ｕｎｋｎｏｗｎ」信号）を、行動計画生成部１４０に出力する（ステップＳ１１９）。この場合、判定部１３７は、意図判定部１３３により出力された意図判定結果および確信度を、行動計画生成部１４０に出力してよい。

次に、行動計画生成部１４０は、認識部１３０により出力されたＵｎｋｎｏｗｎ信号に基づいて、エラー制御を行う（ステップＳ１２１）。例えば、行動計画生成部１４０は、エラー制御として、周辺画像を撮像したカメラ１０とは異なる検知手段（レーダ装置１２、ＬＩＤＡＲ１４など）から得られた周辺環境情報（他車両の向き、速度、加速度などの情報）に基づいて周辺環境の判定を行い、自車両Ｍの挙動制御に変更が必要であるか否かを判定する。

あるいは、行動計画生成部１４０は、現在の自車両Ｍの走行状態を維持しつつ次の二次判定結果の出力まで待機する制御処理を行ってもよい。あるいは、行動計画生成部１４０は、エラー制御として、現在の自車両Ｍの走行状態に応じて、走行状態の安全側に変更する制御処理を行ってもよい。例えば、行動計画生成部１４０は、現在の自車両Ｍの速度が所定の閾値以上である場合、走行状態の安全方向に変更する制御処理として、速度を低下させる制御などを行っても良い。以上により、本フローチャートの処理が終了する。

以上説明した実施形態によれば、自車両Ｍの第１周辺画像に基づいて判定された周辺環境の一次判定結果と、該一次判定結果の確信度とを取得する取得部１３６（取得部）と、確信度と予め設定された閾値との比較結果と、第１周辺画像よりも過去に撮像された自車両Ｍの周辺画像に対する過去の一次判定結果との双方に基づいて、一次判定結果に対する二次判定を行い、一次判定結果よりも高精度な二次判定結果を出力する判定部１３７（判定部）と、を備えることで、自車両Ｍの周辺環境を正確且つ簡易な手法で検知し、周辺環境の過検知の発生を抑制することができる。また、二次判定結果に基づいて自車両Ｍの挙動制御に変更が必要となるか否かを判定することで、安定した自動運転制御を行うことができる。

上記説明した実施形態は、以下のように表現することができる。
判定装置であって、
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記プログラムを実行することにより、
車両の第１周辺画像に基づいて判定された周辺環境の一次判定結果と、前記一次判定結果の確信度とを取得し、
前記確信度と予め設定された閾値との比較結果と、前記第１周辺画像よりも過去に撮像された前記車両の周辺画像に対する過去の一次判定結果との双方に基づいて、前記一次判定結果に対する二次判定を行い、前記一次判定結果よりも高精度な二次判定結果を出力する、
判定装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
１２ レーダ装置
１４ ＬＩＤＡＲ
１６ 物体認識装置
２０ 通信装置
３０ ＨＭＩ
４０ 車両センサ
５０ ナビゲーション装置
５１ ＧＮＳＳ受信機
５２ ナビＨＭＩ
５３ 経路決定部
５４ 第１地図情報
６０ ＭＰＵ
６１ 推奨車線決定部
６２ 第２地図情報
７０ 運転操作子
７２ ステアリングホイール
７４ ステアリング把持センサ
１００ 自動運転制御装置
１２０ 第１制御部
１３０ 認識部
１３１ 一次判定部
１３２ 物標特徴抽出部
１３３ 意図判定部
１３５ 二次判定部
１３６ 取得部
１３７ 判定部
１４０ 行動計画生成部
１６０ 第２制御部
１６２ 取得部
１６４ 速度制御部
１６６ 操舵制御部
２００ 走行駆動力出力装置
２１０ ブレーキ装置
２２０ ステアリング装置

Claims (13)

1. 車両に搭載された前記車両の前方、側方、および後方の一方を撮像するカメラにより撮像された画像に含まれる他車両の灯体に対応する部位の特徴情報を抽出し、特徴情報が入力されたときに運転者の操作意図の判定結果である一次判定結果および当該一次判定結果の確信度を出力するように学習された学習済みモデルに対して、抽出された前記特徴情報を入力することで、前記他車両の運転者の前記一次判定結果および前記確信度を出力する一次判定部であって、前記確信度は、前記一次判定結果の確からしさが高くなるほど大きくなる数値である、一次判定部と、
   前記一次判定結果と、前記確信度とを取得する取得部と、前記確信度と予め設定された閾値との比較結果に基づいて、前記画像の前記一次判定結果に対する二次判定を行い、二次判定結果を出力する判定部と、を備える、二次判定部と、
   を備える判定装置であって、
   前記閾値は、第１閾値と、前記第１閾値よりも低い第２閾値とを含み、
   前記判定部は、
   前記確信度が前記第１閾値よりも大きい場合、前記画像の前記一次判定結果を前記二次判定結果として出力する第１処理を行い、
   前記確信度が前記第２閾値未満である場合、前記二次判定を保留する第２処理を行い、
   前記確信度が前記第１閾値以下且つ前記第２閾値以上である場合、さらに、前記画像よりも過去に前記カメラにより撮像された過去画像に対する過去の一次判定結果に基づいて、前記画像の前記一次判定結果を前記二次判定結果として採用するか否かを判定する第３処理を行う、
   判定装置。
2. 前記判定部は、前記第３処理において、
   所定数の前記過去の一次判定結果のうち、前記画像の前記一次判定結果と同一の判定結果を示す前記過去の一次判定結果の数が所定値以上である場合、前記画像の前記一次判定結果を前記二次判定結果として出力し、
   前記所定数の前記過去の一次判定結果のうち、前記画像の前記一次判定結果と同一の判定結果を示す前記過去の一次判定結果の数が前記所定値未満である場合、前記二次判定を保留する、
   請求項１に記載の判定装置。
3. 前記過去の一次判定結果の前記所定数は、２以上の整数Ｎであり、
   前記所定値は、Ｎ／２以上且つ１以下の値である、
   請求項２に記載の判定装置。
4. 前記判定部は、前記二次判定を保留する場合、前記二次判定が不能である旨を示す情報を出力する、
   請求項１から３のいずれか一項に記載の判定装置。
5. 前記一次判定結果は、前記画像に含まれる前記他車両の灯体の動作情報に基づく、前記他車両の走行状態の判定結果である、
   請求項１から４のいずれか一項に記載の判定装置。
6. 前記灯体は、制動灯および方向指示器の少なくとも１つを含む、
   請求項５に記載の判定装置。
7. 請求項１から６のいずれか一項に記載の判定装置と、
   前記判定装置から出力される前記二次判定結果に基づいて、前記車両の目標軌道に変更が必要になるか否かを判定する制御部と、
   を備える、車両制御装置。
8. 前記制御部は、前記二次判定結果に基づいて前記車両の目標軌道に変更が必要になると判定した場合、前記車両の目標軌道の変更を行う、
   請求項７に記載の車両制御装置。
9. 前記制御部は、前記二次判定結果に基づいて前記車両の目標軌道に変更が必要にならないと判定した場合、前記車両の目標軌道の変更を行わない、
   請求項７または８に記載の車両制御装置。
10. 前記判定部により前記二次判定が保留された場合、前記制御部は、前記画像を撮像した前記カメラとは異なる検知手段により取得された情報に基づいて、前記車両の目標軌道に変更が必要になるかを判定する、
    請求項７から９のいずれか一項に記載の車両制御装置。
11. 前記制御部は、前記目標軌道における、前記車両の速度制御、加速制御、操舵制御、および停止制御の少なくとも１つに変更が必要となるか否かを判定する、
    請求項７から１０のいずれか一項に記載の車両制御装置。
12. 車両に搭載されたコンピュータが、
    前記車両に搭載された前記車両の前方、側方、および後方の一方を撮像するカメラにより撮像された画像に含まれる他車両の灯体に対応する部位の特徴情報を抽出し、特徴情報が入力されたときに運転者の操作意図の判定結果である一次判定結果および当該一次判定結果の確信度を出力するように学習された学習済みモデルに対して、抽出された前記特徴情報を入力することで、前記他車両の運転者の前記一次判定結果および前記確信度を出力し、前記確信度は、前記一次判定結果の確からしさが高くなるほど大きくなる数値であり、
    前記一次判定結果と、前記確信度とを取得し、
    前記確信度と予め設定された閾値との比較結果に基づいて、前記画像の前記一次判定結果に対する二次判定を行い、二次判定結果を出力する、
    判定方法であって、
    前記閾値は、第１閾値と、前記第１閾値よりも低い第２閾値とを含み、
    前記二次判定は、
    前記確信度が前記第１閾値よりも大きい場合、前記画像の前記一次判定結果を前記二次判定結果として出力する第１処理を行い、
    前記確信度が前記第２閾値未満である場合、前記二次判定を保留する第２処理を行い、
    前記確信度が前記第１閾値以下且つ前記第２閾値以上である場合、さらに、前記画像よりも過去に前記カメラにより撮像された過去画像に対する過去の一次判定結果に基づいて、前記画像の前記一次判定結果を前記二次判定結果として採用するか否かを判定する第３処理を行う、
    判定方法。
13. 車両に搭載されたコンピュータに、
    前記車両に搭載された前記車両の前方、側方、および後方の一方を撮像するカメラにより撮像された画像に含まれる他車両の灯体に対応する部位の特徴情報を抽出させ、特徴情報が入力されたときに運転者の操作意図の判定結果である一次判定結果および当該一次判定結果の確信度を出力するように学習された学習済みモデルに対して、抽出された前記特徴情報を入力させることで、前記他車両の運転者の前記一次判定結果および前記確信度を出力させ、前記確信度は、前記一次判定結果の確からしさが高くなるほど大きくなる数値であり、
    前記一次判定結果と、前記確信度とを取得させ、
    前記確信度と予め設定された閾値との比較結果に基づいて、前記画像の前記一次判定結果に対する二次判定を行わせ、二次判定結果を出力させる、
    プログラムであって、
    前記閾値は、第１閾値と、前記第１閾値よりも低い第２閾値とを含み、
    前記二次判定は、
    前記確信度が前記第１閾値よりも大きい場合、前記画像の前記一次判定結果を前記二次判定結果として出力する第１処理を行い、
    前記確信度が前記第２閾値未満である場合、前記二次判定を保留する第２処理を行い、
    前記確信度が前記第１閾値以下且つ前記第２閾値以上である場合、さらに、前記画像よりも過去に前記カメラにより撮像された過去画像に対する過去の一次判定結果に基づいて、前記画像の前記一次判定結果を前記二次判定結果として採用するか否かを判定する第３処理を行う、
    プログラム。

Images