JP2019003343A

JP2019003343A - 運転支援装置および運転支援方法

Info

Publication number: JP2019003343A
Application number: JP2017116224A
Authority: JP
Inventors: 孝尚矢野; Takanao Yano
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-06-13
Filing date: 2017-06-13
Publication date: 2019-01-10

Abstract

【課題】移動体が検出されない場合でも危険度を判定する技術を提供する。【解決手段】運転支援装置２０は、入力回路３０、出力回路３６を備え、車両１００に設置可能である。運転支援装置２０は、入力回路３０に入力される第１画素数を備える第１画像において、少なくとも道路領域と道路領域以外の領域に区分する。運転支援装置２０は、第１画像において、道路領域に、道路領域以外の前記領域から入り込んだエッジ部分を検出する。運転支援装置２０は、エッジ部分を含み、かつ第１画素数より少ない第２画素数を備える第２画像をもとに、危険度を算出する。算出された危険度が所定の値以上である場合、出力回路３６は、所定の信号を出力する。【選択図】図２

Description

本発明は、画像から危険度を判定する運転支援装置および運転支援方法に関する。

車両用の衝突回避支援装置は、車両の周囲に存在する歩行者等の移動体を検出し、移動体と車両との衝突の危険性があると判定した場合に、運転者に警告を発する。衝突の危険性の予測精度を向上するために、車両周辺の歩道境界物も検出されるとともに、移動体と歩道境界物との相対距離と、移動体と車両との相対距離とが使用される（例えば、特許文献１参照）。

特開２０１０−１８１９２８号公報

特許文献１においては、移動体を検出した場合に、移動体と歩道境界物との相対距離と、移動体と車両との相対距離とを使用することによって、移動体が歩道境界物を超えて車両の方に飛び出してくる危険性を判定する。しかしながら、駐車車両のような遮蔽物に隠れた移動体が飛び出してくる場合、当該移動体を検出していない段階において、移動体と車両との衝突の危険性は判定されない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、移動体が検出されない場合でも危険度を判定する技術を提供することにある。

上記課題を解決するために、本発明のある態様の運転支援装置は、入力回路と、出力回路とを備え、車両に設置可能な運転支援装置であって、入力回路に入力される第１画素数を備える第１画像において、少なくとも道路領域と道路領域以外の領域に区分し、第１画像において、道路領域に、道路領域以外の領域から入り込んだエッジ部分を検出し、エッジ部分を含み、かつ第１画素数より少ない第２画素数を備える第２画像をもとに、危険度を算出し、算出された危険度が所定の値以上である場合、出力回路は、所定の信号を出力する。

本発明の別の態様は、運転支援方法である。この方法は、入力回路と、出力回路とを備え、車両に設置可能な運転支援装置で利用可能な運転支援方法あって、入力回路に入力される第１画素数を備える第１画像において、少なくとも道路領域と道路領域以外の領域に区分し、第１画像において、道路領域に、道路領域以外の領域から入り込んだエッジ部分を検出し、エッジ部分を含み、かつ第１画素数より少ない第２画素数を備える第２画像をもとに、危険度を算出し、算出された危険度が所定の値以上である場合、出力回路は、所定の信号を出力する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、移動体が検出されない場合でも危険度を判定できる。

実施例に係る車両の車室内を後方から見た構成を示す図である。図１の運転支援装置の構成を示す図である。図３（ａ）−（ｃ）は、図２の運転支援装置の処理概要を示す図である。図４（ａ）−（ｂ）は、図２の運転支援装置の別の処理概要を示す図である。図１の運転支援装置による出力手順を示すフローチャートである。変形例に係る運転支援システムの構成を示す図である。

本発明を具体的に説明する前に、概要を述べる。本発明の実施例は、車両に搭載されており、撮像された画像から危険度を判定して運転者に通知する運転支援装置に関する。ここでは、特に、歩行者が飛び出す危険度を画像から判定する。画像に対して処理を実行する技術の１つが道路地形検出技術である。これまでの道路地形検出技術では、画像に対して車線検出のみが実行される場合、あるいは画像に対して歩道境界検出のみが実行される場合が多い。このような特定の物体に対する地形検出は高速に実行可能である。しかしながら、画像に含まれる歩行者、車両、ビル、建物等の検出精度は不十分である。また、車道への歩行者の飛び出しを予測するための予測技術では、車道あるいは歩道上に存在する歩行者を検出した場合、当該歩行者が自車両に飛び出すかの危険度を判定する。しかしながら、この処理は、画像中に歩行者を検出したことを前提とするので、遮蔽物から歩行者の飛び出しのような、画像中に歩行者が検出されない場合に危険度を判定できない。

これに対応するために、本実施例に係る運転支援装置は、画像に対して、次のような４段階の処理を実行する。第１段階では、カメラで撮像した画像（以下、「第１画像」という）に対してセマンティック・セグメンテーションを実行することによって、第１画像の画素毎に意味づけを実行する。これによって、第１画像に含まれた人物、他車両、道路、建物、信号機等毎に領域が認識される。その結果、人物領域、他車両領域、道路領域のようなカテゴリ毎にラベル付けがなされる。

第２段階では、ラベリングがなされた第１画像における道路領域を特定する。人物、他車両等の移動体が道路上に存在しない場合、道路領域は、建物領域、空領域に接しており、その境界は一般的に直線あるいは滑らかな曲線によって示される。一方、移動体が道路上に存在する場合、人物領域、他車両領域が道路領域に入り込んだエッジ部分が存在する。そのため、第２段階においてエッジ部分を検出する。これは、道路領域において不連続に接面が変化しているかを検出することに相当する。

第３段階では、１つのエッジ部分に対して、当該エッジ部分を含みながらサイズの異なった複数種類の画像を第１画像から抽出する。例えば、サイズの異なった４種類の画像を抽出する場合、これらの画像は、第２画像、・・・、第５画像と呼ばれる。第２画像、・・・、第５画像の画素数は第１画像の画素数よりも小さい。なお、第２画像、・・・、第５画像ではサイズだけなく、向きが異なっていてもよい。この処理は、エッジ部分毎になされる。

第４段階では、事前に注意対象とは何かを学習させておいたニューラルネットワークに、１つのエッジ部分における第２画像、・・・、第５画像のそれぞれを入力することによってディープラーニングを実行し、当該エッジ部分の危険度を導出する。例えば、危険度は、人物が飛び出してくる危険性がある車両と車両の隙間のエッジ部分、車道方向を向いた人物のエッジ部分があるほど高くなるように学習されている。また、第２画像、・・・、第５画像では、画像におけるエッジ部分の占有率が異なるので、エッジ部分を含む全体的な状況と、エッジ部分近傍の局所的な状況とが示される。これらをディープラーニングに使用するので、判定精度が向上する。この処理も、エッジ部分毎になされる。これらの４段階の処理において、道路上に駐車した車両間からの人物の飛び出しを予測可能である。

以下、本発明の実施例について、図面を参照して詳細に説明する。なお、以下に説明する各実施例は一例であり、本発明はこれらの実施例により限定されるものではない。

図１は、実施例に係る車両１００の車室内を後方から見た構成を示す。車室内の前方には左右に延びるダッシュボード１０が配置され、ダッシュボード１０の上方にはフロントガラス１２が配置される。また、フロントガラス１２の上方から後方に向かって天井１４が配置される。天井１４のフロントガラス１２側の部分から下方に向かってルームミラー１６が設置される。さらに、フロントガラス１２には、ルームミラー１６の左側に運転支援装置２０が設置される。運転支援装置２０は、フロントガラス１２において、ルームミラー１６の右側に設置されてもよい。

図２は、運転支援装置２０の構成を示す。運転支援装置２０は、入力回路３０、記憶装置３２、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３４、出力回路３６を含む。また、運転支援装置２０は前述のごとく車両１００に設置される。

入力回路３０は、例えば、カメラのような撮像装置を含む。入力回路３０は、車両１００の前方を撮像可能な位置に設けられ、動画像を撮像する。動画像は、逐次撮像された複数の第１画像によって構成される。各第１画像は第１画素数を備える。以下の説明では、１つの第１画像に対する処理を説明するが、他の第１画像に対しても同様の処理がなされればよい。入力回路３０は、第１画像をＣＰＵ３４に出力する。なお、入力回路３０は、ユーザからの指示を受けつけるためのボタン、タッチパネル等のインターフェイスを含んでもよく、ユーザから受けつけた指示をＣＰＵ３４に出力する。

記憶装置３２は、各種データを記憶する。また、運転支援装置２０がドライブレコーダの機能を有する場合、記憶装置３２は、入力回路３０からの第１画像をＣＰＵ３４経由で逐次受けつけて記憶することによって、動画像を記憶する。

ＣＰＵ３４は、各種のコンピュータプログラムを実行する。なお、ＣＰＵ３４は、各種のコンピュータプログラムを格納するためのメモリに接続されてもよい。ここでは、ＣＰＵ３４において実行されるコンピュータプログラムによる処理を前述の第１段階から第４段階の順に説明する。

（１）第１段階
第１段階では、入力回路３０からの第１画像を受けつける。図３（ａ）−（ｃ）は、運転支援装置２０の処理概要を示す。図３（ａ）は、第１画像４０を示す。一例として、道路５６の両側には、第１建物５８と第２建物６０とが建てられており、第１建物５８と第２建物６０との間には空６４が配置される。また、道路５６における第１建物５８側には他車両５４が駐車されるとともに、他車両５４の近傍には第１人物５０と第２人物５２が存在する。さらに、道路５６には信号機６２が設置されている。図３（ｂ）−（ｃ）は後述し、図２に戻る。

第１段階では、第１画像４０に対して、セマンティック・セグメンテーションが実行される。セマンティック・セグメンテーションは画像セグメンテーションとも呼ばれる。これは、第１画像４０に備えられる第１画素数の画素のそれぞれに対して、当該画素が示す意味をラベル付けする処理である。これは、各画素がどのクラスのオブジェクト、つまりどのカテゴリに属しているのかをラベル付けすることに相当する。

図３（ｂ）は、図３（ａ）の第１画像４０に対してセマンティック・セグメンテーションを実行した第１画像４０を示す。図３（ａ）における他車両５４、道路５６、信号機６２、空６４は車両領域７２、道路領域７４、信号機領域７８、空領域８０とそれぞれラベル付けされる。また、図３（ａ）における第１人物５０、第２人物５２は人物領域７０とラベル付けされ、図３（ａ）における第１建物５８、第２建物６０は建物領域７６とラベル付けされる。図３（ｂ）に示された第１画像４０は、図３（ａ）に示された第１画像４０に含まれる物体を認識し、物体をカテゴリ毎に分類し、分類したカテゴリ毎に色空間を変更することによって生成されたといえる。図３（ｃ）は後述し、図２に戻る。

つまり、第１段階では、第１画像４０において、少なくとも道路領域７４と道路領域７４以外の領域への区分がなされる。このようなセマンティック・セグメンテーション、つまり、道路領域７４と道路領域７４以外の領域との区分には、例えば、ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋが使用される。

（２）第２段階
道路５６上に物体が存在しない場合、ラベル付けした第１画像４０（以下、これもまた「第１画像４０」という）における道路領域７４の境界は直線や滑らかな曲線で構成される。一方、危険を生み出すおそれのある第１人物５０、第２人物５２、他車両５４、他車両５４に隠れた人物が道路５６上に存在する場合、これらのうちの少なくとも１つによって道路領域７４の境界は歪んだ形状に変化する。道路領域７４の境界における歪んだ形状は「エッジ部分」と呼ばれる。第２段階では、道路領域７４に、道路領域７４以外の領域から入り込んだエッジ部分を検出する。エッジ部分の検出は、道路領域７４の境界を構成する線の所定区間において、線の形状が大きく変化している部分を特定することによってなされる。例えば、所定区間の線の微分値の変化がしきい値よりも大きくなっている部分にエッジ部分が検出される。

図３（ｃ）は、図３（ｂ）の第１画像４０に対してエッジ部分９０を検出した結果を示す。エッジ部分９０は複数検出される場合もあり、ここでは、５つのエッジ部分９０が検出されている。このようにエッジ部分９０を検出する場合、人物領域７０あるいは車両領域７２が道路領域７４に接しているか否かの正確な位置情報が必要になる。物体検出では、画素がどの物体に属しているかが不明であるので、人物領域７０あるいは車両領域７２が道路領域７４に接しているか否かを正確に判定できない。第２段階を実行するために、第１段階における第１画像４０のラベル付けが必要になる。図２に戻る。

（３）第３段階
第３段階では、検出されたエッジ部分９０毎に、当該エッジ部分９０を含んだ複数の画像が生成される。この処理を説明するために、ここでは、図４（ａ）−（ｂ）を使用する。図４（ａ）−（ｂ）は、運転支援装置２０の別の処理概要を示す。図４（ａ）は、図３（ｃ）と同様の第１画像４０に相当する。図示のごとく、道路領域７４の左側に車両領域７２が配置されるとともに、車両領域７２の近傍に人物領域７０が配置される。ここでは、説明を明瞭にするために車両領域７２の奥側に配置される人物領域７０を第１人物領域７０ａと示し、車両領域７２の手前側に配置される人物領域７０を第２人物領域７０ｂと示す。さらに、第１人物領域７０ａと道路領域７４との境界において検出されたエッジ部分９０が第１エッジ部分９０ａと示される。車両領域７２と道路領域７４との境界において検出されたエッジ部分９０が第２エッジ部分９０ｂ、第３エッジ部分９０ｃと示される。第２人物領域７０ｂと道路領域７４との境界において検出されたエッジ部分９０が第４エッジ部分９０ｄと示される。

第３段階では、図４（ｂ）のごとく、第１エッジ部分９０ａを含み、かつ第１画素数より少ない第２画素数を備える第２画像４２を第１画像４０から抽出する。また、第３段階では、第３画像４４から第５画像４８も第１画像４０から抽出する。第３画像４４は第３画素数を備え、第４画像４６は第４画素数を備え、第５画像４８は第５画素数を備える。これらは、第１エッジ部分９０ａを含む。また、第３画素数から第５画素数は第１画素数よりも小さいが、それらは互いに異なる。つまり、第３段階では、第１エッジ部分９０ａを含みながら異なる画素数の第２画像４２から第５画像４８を切り出す。

第２画像４２から第５画像４８のうち、画素数の少ない画像では、当該画像における第１エッジ部分９０ａの占有率が大きくなるので、局所的な状況が示される。一方、第２画像４２から第５画像４８のうち、画素数の多い画像では、当該画像における第１エッジ部分９０ａの占有率が小さくなるので、全体的な状況が示される。ここでは、第１エッジ部分９０ａに対して、第２画像４２から第５画像４８の４種類の画像を抽出したが、４種類に限定されない。さらに、第３段階では、第２エッジ部分９０ｂから第４エッジ部分９０ｄに対しても同様の処理がなされる。つまり、第２画像４２から第５画像４８の抽出は、エッジ部分９０毎になされる。図２に戻る。

（４）第４段階
第４段階を実行する前に、エッジ部分９０が含まれたさまざまな状況の画像と、当該状況に対応付けられた危険度である教師付けデータとをもとに、学習処理がなされることによって学習結果が得られている。具体的には、画像をニューラルネットワークに入力することによって、教師付けデータが出力として得られるように、ニューラルネットワークの重みパラメータなどが学習結果として調整される。ここで、危険度は、衝突の蓋然性を示す指標であり、例えば、人物が飛び出してくる危険性がある車両と車両の隙間のエッジ部分９０、車道方向を向いた人物のエッジ部分９０があるほど、高くされる。

これに続いて、第４段階では、第１エッジ部分９０ａに対する第２画像４２から第５画像４８のそれぞれと、学習結果とをもとに、ニューラルネットワークを利用して、第１エッジ部分９０ａに対する危険度を算出する。具体的には、第１エッジ部分９０ａに対する第２画像４２から第５画像４８のそれぞれを学習済みのニューラルネットワークに入力し、当該ニューラルネットワークから出力される危険度を取得する。ここでは、第１人物領域７０ａにおいて第１エッジ部分９０ａが検出され、足が道路領域７４の方向を向いていることと、第１人物領域７０ａは車両領域７２に隠れており見にくい位置にいるため危険性が大きいことが判定基準要素として使用される。このような要素毎に定義した配点で危険度の高さが算出され、例えば、「８０」のように危険度が数値化される。

このような処理は、第２エッジ部分９０ｂから第４エッジ部分９０ｄのそれぞれに対してもなされる。第２エッジ部分９０ｂに対して、車両領域７２において奥側の第２エッジ部分９０ｂが検出され、車両領域７２の奥に存在する第１人物領域７０ａの歩行者の飛び出しが把握しにくく危険性が大きいことが判定基準要素として使用される。そのため、「６０」のように危険度が数値化される。第３エッジ部分９０ｃに対して、車両領域７２において手前側の第３エッジ部分９０ｃが検出され、車両領域７２の手前に存在する第２人物領域７０ｂの歩行者の飛び出しが把握しやすく危険性が小さいことが判定基準要素として使用される。そのため、「１０」のように危険度が数値化される。

第４エッジ部分９０ｄに対して、第２人物領域７０ｂにおいて第４エッジ部分９０ｄが検出され、足が道路領域７４の方向を向いていることと、第２人物領域７０ｂは車両領域７２に隠れておらず見やすい位置にいるため危険性が小さいことが判定基準要素として使用される。そのため、「５０」のように危険度が数値化される。第４段階では、例えば、しきい値が「６０」に設定される。各エッジ部分９０に対する危険度としきい値とが比較され、しきい値以上の危険度が危険と判定される。前述の場合に、しきい値を「６０」と設置した場合、「８０」の「車に隠れた歩行者」と「６０」の「歩行者が飛び出しやすい車両陰」が危険と判定される。第４段階において危険と判定された場合、判定結果が出力回路３６に通知される。

出力回路３６は、例えば、音を放つスピーカを少なくとも含む。出力回路３６は、ＣＰＵ３４からの通知を受けつけた場合、つまり算出された危険度がしきい値以上である場合、運転者に危険を知らせるための音声を出力する。音声は、危険を単に知らせるためのものであってもよく、危険の内容を具体的に知らせるためのものであってもよい。後者の場合、しきい値以上となった危険度の内容が音声として出力される。また、出力回路３６は表示装置であってもよく、危険を知らせるための表示を実行する。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したが、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

以上の構成による運転支援装置２０の動作を説明する。図５は、運転支援装置２０による出力手順を示すフローチャートである。ＣＰＵ３４には第１画像４０が入力される（Ｓ１０）。ＣＰＵ３４はセマンティック・セグメンテーションを実行することによって、第１画像４０にラベル付けを実行する（Ｓ１２）。道路領域７４に入り込んだエッジ部分９０を検出しなければ（Ｓ１４のＮ）、ステップ１０に戻る。道路領域７４に入り込んだエッジ部分９０を検出すれば（Ｓ１４のＹ）、ＣＰＵ３４は、第２画像４２から第５画像４８をエッジ部分９０毎に抽出する（Ｓ１６）。ＣＰＵ３４は、第２画像４２から第５画像４８のそれぞれをニューラルネットワークに入力することによって危険度を算出する（Ｓ１８）。危険度がしきい値以上でなければ（Ｓ２０のＮ）、ステップ１０に戻る。危険度がしきい値以上であれば（Ｓ２０のＹ）、出力回路３６は危険であることを出力し（Ｓ２２）、ステップ１０に戻る。

次に、変形例を説明する。実施例において運転支援装置２０に含まれたＣＰＵ３４が第１段階から第４段階までの処理を実行している。しかしながら、運転支援装置２０は、車両１００の外部に設置されたサーバと無線通信することによって、第１段階から第４段階うちの少なくとも１つの処理がサーバにおいて実行されてもよい。図６は、変形例に係る運転支援システム２００の構成を示す。運転支援システム２００は、運転支援装置２０、ネットワーク２２、サーバ２４を含む。運転支援装置２０は、図２の構成に加えて、通信装置３８を含む。

通信装置３８は、ＣＰＵ３４に接続されるとともに、アンテナ部３９を備え、アンテナ部３９を介して無線通信機能を備える。無線通信の一例は、携帯電話通信であるが、これに限定されない。通信装置３８は、運転支援装置２０のアンテナ部３９、基地局２６のアンテナ部２８、及びネットワーク２２を介してサーバ２４と通信することができる。

サーバ２４は、第１段階から第４段階うちの少なくとも１つの処理を実行する。つまり、サーバ２４は、ＣＰＵ３４においてなされる処理の一部を実行する。このようなサーバ２４とＣＰＵ３４とによる処理の分担を実現するために、サーバ２４と通信装置３８との間の通信が実行される。例えば、第１段階から第４段階のすべての処理をサーバ２４が実行する場合、通信装置３８はサーバ２４に第１画像４０を送信し、サーバ２４は通信装置３８に判定結果を送信する。

本実施例によれば、第１画像において区分した道路領域に、道路領域以外の領域から入り込んだエッジ部分を検出するので、道路領域に接している人物領域あるいは車両領域を特定できる。また、ニューラルネットワークを利用するので、道路領域と道路領域以外の領域への区分の精度を向上できる。また、検出したエッジ部分を含んだ第２画像であって、第１画像よりも小さいサイズの第２画像を第１画像から抽出するので、道路領域に接している人物領域あるいは車両領域の周辺に着目した第２画像を生成できる。また、道路領域に接している人物領域あるいは車両領域の周辺に着目した第２画像をもとに、衝突の蓋然性を示す危険度を算出するので、移動体が検出されない場合でも危険度を判定できる。また、道路領域に接している人物領域あるいは車両領域の周辺に着目した第２画像をニューラルネットワークに入力するので、危険度の算出精度を向上できる。

また、検出したエッジ部分を含みながら、サイズの異なる第２画像から第５画像のそれぞれをニューラルネットワークに入力するので、エッジ部分付近の局所的な状況と全体的な状況とを考慮して危険度を算出できる。また、エッジ部分付近の局所的な状況と全体的な状況とを考慮して危険度が算出されるので、危険度の算出精度を向上できる。また、危険度の算出性が向上するので、危険の判定精度を向上できる。また、カメラを含むので、第１画像を取得できる。また、スピーカを含むので、危険を知らせることができる。

本発明の一態様は、次の通りである。本発明のある態様の運転支援装置は、入力回路と、出力回路とを備え、車両に設置可能な運転支援装置であって、入力回路に入力される第１画素数を備える第１画像において、少なくとも道路領域と道路領域以外の領域に区分し、第１画像において、道路領域に、道路領域以外の領域から入り込んだエッジ部分を検出し、エッジ部分を含み、かつ第１画素数より少ない第２画素数を備える第２画像をもとに、危険度を算出し、算出された危険度が所定の値以上である場合、出力回路は、所定の信号を出力する。

この態様によると、第１画像において区分した道路領域に、道路領域以外の領域から入り込んだエッジ部分を検出し、検出したエッジ部分を含んだ第２画像をもとに危険度を算出するので、移動体が検出されない場合でも危険度を判定できる。

運転支援装置であって、入力回路は、少なくともカメラを含んでもよい。この場合、カメラを含むので、第１画像を取得できる。

運転支援装置であって、出力回路は、音を放つスピーカを少なくとも含んでもよい。この場合、スピーカを含むので、危険を知らせることができる。

運転支援装置であって、危険度は、衝突の蓋然性を示す指標であってもよい。この場合、衝突の蓋然性を示すので、移動体が検出されない場合でも危険が発生するおそれを知らせることができる。

運転支援装置であって、第１画像において道路領域と道路領域以外の領域に、ニューラルネットワークを利用して区分してもよい。この場合、ニューラルネットワークを利用するので、道路領域と道路領域以外の領域への区分の精度を向上できる。

運転支援装置であって、エッジ部分を含む第２画像をもとに、ニューラルネットワークを利用して危険度を算出してもよい。この場合、ニューラルネットワークを利用するので、危険度の算出精度を向上できる。

運転支援装置であって、第２画像に加えて、さらに、エッジ部分を含み、かつ第１画素数より少なく、第２画素数と異なる第３画素数を備える第３画像を使用して、危険度を算出し、第２画像および第３画像をもとに算出した危険度が所定の値以上である場合、出力回路は、所定の信号を出力してもよい。この場合、第３画像を使用するので、判定精度を向上できる。

運転支援装置であって、エッジ部分を含む第２画像と学習結果とをもとに、ニューラルネットワークを利用するとともに、エッジ部分を含む第３画像と学習結果とをもとに、ニューラルネットワークを利用することによって、危険度を算出してもよい。この場合、第３画像にもニューラルネットワークを利用するので、危険度の算出精度を向上できる。

運転支援方法であって、入力回路は、少なくともカメラを含んでもよい。この場合、カメラを含むので、第１画像を取得できる。

運転支援方法であって、出力回路は、音を放つスピーカを少なくとも含んでもよい。この場合、スピーカを含むので、危険を知らせることができる。

運転支援方法であって、危険度は、衝突の蓋然性を示す指標であってもよい。この場合、衝突の蓋然性を示すので、移動体が検出されない場合でも危険が発生するおそれを知らせることができる。

運転支援方法であって、第１画像において道路領域と道路領域以外の領域に、ニューラルネットワークを利用して区分してもよい。この場合、ニューラルネットワークを利用するので、道路領域と道路領域以外の領域への区分の精度を向上できる。

運転支援方法であって、エッジ部分を含む第２画像をもとに、ニューラルネットワークを利用して危険度を算出してもよい。この場合、ニューラルネットワークを利用するので、危険度の算出精度を向上できる。

運転支援方法であって、第２画像に加えて、さらに、エッジ部分を含み、かつ第１画素数より少なく、第２画素数と異なる第３画素数を備える第３画像を使用して、危険度を算出し、第２画像および第３画像をもとに算出した危険度が所定の値以上である場合、出力回路は、所定の信号を出力してもよい。この場合、第３画像を使用するので、判定精度を向上できる。

運転支援方法であって、エッジ部分を含む第２画像と学習結果とをもとに、ニューラルネットワークを利用するとともに、エッジ部分を含む第３画像と学習結果とをもとに、ニューラルネットワークを利用することによって、危険度を算出してもよい。この場合、第３画像にもニューラルネットワークを利用するので、危険度の算出精度を向上できる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ダッシュボード、１２フロントガラス、１４天井、１６ルームミラー、２０運転支援装置、２２ネットワーク、２４サーバ、３０入力回路、３２記憶装置、３４ＣＰＵ、３６出力回路、１００車両。

Claims

入力回路と、出力回路とを備え、車両に設置可能な運転支援装置であって、
前記入力回路に入力される第１画素数を備える第１画像において、少なくとも道路領域と前記道路領域以外の領域に区分し、
前記第１画像において、前記道路領域に、前記道路領域以外の前記領域から入り込んだエッジ部分を検出し、
前記エッジ部分を含み、かつ前記第１画素数より少ない第２画素数を備える第２画像をもとに、危険度を算出し、
前記算出された危険度が所定の値以上である場合、前記出力回路は、所定の信号を出力する、
運転支援装置。
請求項１に記載の運転支援装置であって、
前記入力回路は、少なくともカメラを含む、
運転支援装置。
請求項１または２に記載の運転支援装置であって、
前記出力回路は、音を放つスピーカを少なくとも含む、
運転支援装置。
請求項１から３のいずれか１項に記載の運転支援装置であって、
前記危険度は、衝突の蓋然性を示す指標である、
運転支援装置。
請求項１から４のいずれか１項に記載の運転支援装置であって、
前記第１画像において前記道路領域と前記道路領域以外の前記領域に、ニューラルネットワークを利用して区分する、
運転支援装置。
請求項１から５のいずれか１項に記載の運転支援装置であって、
前記エッジ部分を含む前記第２画像をもとに、ニューラルネットワークを利用して前記危険度を算出する、
運転支援装置。
請求項６に記載の運転支援装置であって、
前記第２画像に加えて、さらに、前記エッジ部分を含み、かつ前記第１画素数より少なく、前記第２画素数と異なる第３画素数を備える第３画像を使用して、危険度を算出し、
前記第２画像および前記第３画像をもとに算出した危険度が所定の値以上である場合、前記出力回路は、前記所定の信号を出力する、
運転支援装置。
請求項７に記載の運転支援装置であって、
前記エッジ部分を含む前記第２画像と学習結果とをもとに、ニューラルネットワークを利用するとともに、前記エッジ部分を含む前記第３画像と前記学習結果とをもとに、ニューラルネットワークを利用することによって、危険度を算出する、
運転支援装置。
入力回路と、出力回路とを備え、車両に設置可能な運転支援装置で利用可能な運転支援方法あって、
前記入力回路に入力される第１画素数を備える第１画像において、少なくとも道路領域と前記道路領域以外の領域に区分し、
前記第１画像において、前記道路領域に、前記道路領域以外の前記領域から入り込んだエッジ部分を検出し、
前記エッジ部分を含み、かつ前記第１画素数より少ない第２画素数を備える第２画像をもとに、危険度を算出し、
前記算出された危険度が所定の値以上である場合、前記出力回路は、所定の信号を出力する、
運転支援方法。
請求項９に記載の運転支援方法であって、
前記入力回路は、少なくともカメラを含む、
運転支援方法。
請求項９または１０に記載の運転支援方法であって、
前記出力回路は、音を放つスピーカを少なくとも含む、
運転支援方法。
請求項９から１１のいずれか１項に記載の運転支援方法であって、
前記危険度は、衝突の蓋然性を示す指標である、
運転支援方法。
請求項９から１２のいずれか１項に記載の運転支援方法であって、
前記第１画像において前記道路領域と前記道路領域以外の前記領域に、ニューラルネットワークを利用して区分する、
運転支援方法。
請求項９から１３のいずれか１項に記載の運転支援方法であって、
前記エッジ部分を含む前記第２画像をもとに、ニューラルネットワークを利用して前記危険度を算出する、
運転支援方法。
請求項１４に記載の運転支援方法であって、
前記第２画像に加えて、さらに、前記エッジ部分を含み、かつ前記第１画素数より少なく、前記第２画素数と異なる第３画素数を備える第３画像を使用して、危険度を算出し、
前記第２画像および前記第３画像をもとに算出した危険度が所定の値以上である場合、前記出力回路は、前記所定の信号を出力する、
運転支援方法。
請求項１５に記載の運転支援方法であって、
前記エッジ部分を含む前記第２画像と学習結果とをもとに、ニューラルネットワークを利用するとともに、前記エッジ部分を含む前記第３画像と前記学習結果とをもとに、ニューラルネットワークを利用することによって、危険度を算出する、
運転支援方法。