JP2019180075A - 運転支援システム、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】人が肉眼を通して直接見ることで認識する景色に近い画像を表示させることができる運転支援システムを提供すること。【解決手段】運転支援システムは、運転手の視線を検出し、検出された運転手の視線に関する情報に基づいて運転手の注視位置を推定し、撮像装置により取得された画像のうち注視位置を含む所定部分が他の部分より鮮明になるように表示部に表示させる。【選択図】図４

Description

本開示は、運転手に車両の周囲状況を違和感なく視認させるための運転支援システム、画像処理装置及び画像処理方法に関する。

運転手に車体の後方を主とする周囲の車両や障害物の状況、道路標識などを視認させるため、光学ミラーを用いたバックミラーやサイドミラーが知られている。しかしながら、光学ミラーを利用したバックミラーは、乗用車の後部座席が障壁となって後方の見える範囲が限定され、とりわけトラック、バスなどの大型車の場合は、車内にあるバックミラーから後方が視認できない問題があった。一方、光学ミラーを利用したサイドミラーもその構造上、比較的大きな死角が生じることが不可避であった。

そこで、特許文献１に示すような、あらかじめ車体の側面や後方に設置されているカメラの映像をミラー型のディスプレイに表示させる電子ミラーが提案されている。電子ミラーは、適切な位置に設置されているカメラの画像を映し出すため、カメラを設置する位置を工夫することにより、従来の光学ミラーに比べて死角を軽減させることができ、障壁のないクリアな視界を運転手に提供することができる点で大きなメリットがある。

特開２００９−０８３６１８号公報

従来の光学ミラーは、光を反射させることにより後方の状況を忠実に映し出すため、運転手に、前方を視認する場合とほぼ同様に、自然な感覚で後方を視認させることができる。ところが、電子ミラーの場合は、所定の位置に設置されているカメラが捉える画像をディスプレイに表示するため、カメラは表示されている画面全体にピントが合うように被写界深度が大きく設定されている。人間の眼球は、注視する位置にピントを自動的に合わせるため、それ以外の箇所はぼけて見えるが、ディスプレイに映し出された画像は全体にピントが合っているため、運転手に違和感を生じさせる問題があった。

本開示は、上述した従来の事情に鑑みて案出され、人が肉眼を通して直接見ることで認識する景色に近い画像を表示させることができる運転支援システムを提供することを目的とする。

本開示は、運転手に車体周辺の所定領域の状況を視認させるための運転支援システムであって、所定領域の画像を取得する撮像装置と、運転手の視線を検出する視線検出部と、処理部と、表示部と、を備え、処理部は、視線検出部により検出された運転手の視線に関する情報に基づいて、運転手の注視位置を推定し、撮像装置により取得された画像のうち、注視位置を含む所定部分が他の部分より鮮明になるように表示部に表示させる、運転支援システムを提供する。

また、本開示は、所定領域の画像を取得する撮像装置と、運転手の視線を検出する視線検出部と、表示部と、を備える運転支援システムを制御するための画像処理装置であって、視線検出部により検出された運転手の視線に関する情報に基づいて、運転手の注視位置を推定し、撮像装置により取得された画像のうち、注視位置を含む所定部分が他の部分より鮮明になるように表示部に表示させる、画像処理装置を提供する。

また、本開示は、運転手に車体周辺の所定領域の状況を視認させるため画像処理方法であって、運転手の視線を検出するステップと、検出された運転手の視線に関する情報に基づいて、運転手の注視位置を推定するステップと、撮像装置により取得された画像のうち、注視位置を含む所定部分が他の部分より鮮明になるように表示部に表示させるステップと、を有する画像処理方法を提供する。

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、注視部分を注視部分以外の部分より鮮明になるように表示させることにより、運転手に従来の光学ミラーに近い自然な感覚で車体の周囲や後方の状況を視認させることができる、実用的で利便性の高い運転支援システム、画像処理装置及び画像処理方法を提供する。

本開示における運転支援システムの原理を説明するための模式図 本開示における表示装置に表示される画像の一例を示す模式図 本開示における運転支援システムのブロック図 本開示における画像処理方法を示すフローチャート 本開示における画像処理方法の一実施例を示すフローチャート 本開示における表示処理の第１実施例を説明するための模式図 本開示における表示処理の第２実施例を説明するための模式図 本開示における表示処理の第３実施例を説明するための模式図 本開示における表示処理の第４実施例を説明するための模式図 本開示における表示処理の第５実施例を説明するための模式図

以下、添付図面を適宜参照しながら、本開示に係る運転支援システム、画像処理装置及び画像処理方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

本開示における運転支援システムは、運転手に車体周辺の所定領域の状況を視認させるためのシステムであり、以下においては、運転手に乗用車の後方の状況を視認させるバックミラーの電子ミラーシステムを例にとって説明する。また、以下においては、「車体」を一般乗用車として説明するが、本開示はこれに限らず、例えばバス、トラック、バイク、電車、船舶、航空機などその他の乗り物にも適用可能である。「車体周辺の所定領域」とは、典型的には車体の後方や左右の状況をいい、例えば後続車両、歩行者、道路、信号機、道路標識、建物、樹木などを含むがこれに限られない。本開示における画像処理装置は、上記運転支援システムにおける処理部であってよい。本開示における画像処理方法は、上記運転支援システムにおいて、上記画像処理装置が実行する各種ステップであってよい。以下において、説明の便宜のため、各図面において同一の手段には同一の符号を付して説明する。

図１は本開示における運転支援システムの原理を説明するための模式図である。本開示における運転支援システムは、車体に取り付けられ、車体の後部に所定領域の画像を取得する撮像装置１２０を有する。撮像装置１２０は、所定の画角により、後方の所定領域の画像を取得する。本開示では、一例として、車体の後方に後続車両Ｃ、道路標識Ｓ及び樹木Ｔが存在している場合を例にとって説明する。

撮像装置１２０によって取得された画像は、画像処理装置１１０によって車内に設置されている表示装置１５０に表示される。図２は、本開示における表示装置に表示される画像の一例を示す模式図である。図２に示すように、運転手は、表示装置１５０に映されている画像により、従来のバックミラーと同様の感覚で、障壁なく車体後方の状況を視認することができる。

次に、本開示における運転支援システムのハードウェア構成について説明する。図３は、本開示における運転支援システムのブロック図である。図３に示すように、本開示における運転支援システム１００は、例えば、画像処理装置１１０（すなわち運転支援システム１００の処理部、以下同じ）と、撮像装置１２０と、視線検出装置１３０（すなわち運転支援システム１００の視線検出部、以下同じ）と、速度検出装置１４０と、表示装置１５０（すなわち運転支援システム１００の表示部、以下同じ）と、ユーザインターフェース１６０（すなわち運転支援システム１００の入力部、以下同じ）と、接近物検出装置１７０（すなわち運転支援システム１００の接近物検出部、以下同じ）と、を含む構成でよい。

画像処理装置１１０は、例えばマイクロプロセッサなどであり、演算を行うことにより、各種制御を行う。画像処理装置１１０が実行する処理（ステップ）については、後述する。本開示において、説明の便宜上、画像処理装置を一つの手段として説明するが、本開示は物理的に一つのプロセッサにより実現されるとは限らず、各装置のそれぞれの処理部が共同で画像処理装置を構成してよい。また、中央処理装置（ＣＰＵ）と各装置の処理部が協調して処理を行う構成であってよい。

撮像装置１２０は、車体後方に設置されている小型カメラであってよく、所定領域の画像を取得することができる。好ましくは、焦点距離、絞り、シャッタースピード、ＩＳＯ感度などの各種パラメータを変更することにより、取得された画像のピント位置、露光、被写界深度を調整することができる。撮像装置１２０そのものは、従来のカメラであってよいため、ここでは詳しい説明を割愛する。

視線検出装置１３０は、例えば運転手に向かって設置されたカメラや、運転手が装着している眼鏡に取り付けられたセンサなどであり、運転手の眼球の位置などを認識するなどより運転手の視線を検出する。運転手に向かって設置されたカメラは、例えば、車室内のルームミラーに取り付けられてもよい。このときのルームミラーは、物理的に光を反射するような従来のミラーであっても良いし、従来のミラーに置き換えて設置される車両後方の映像を表示するディスプレイであってもよい。視線検出装置１３０は、運転手の心臓発作や居眠り運転を検出するドライバモニタリングシステムの一部を構成するセンサであってよいし、本開示による機能を実現するための独立したセンサであってよいし、これらの組み合わせであってもよい。

速度検出装置１４０は、例えば車輪の回転などに基づいて、運転手が乗っている車体の走行速度を検出する。速度検出装置１４０そのものは、一般のスピードメータに接続されている従来のセンサであってよい。また、速度検出装置１４０は、車載ネットワークにおいて通信されている情報に含まれる車輪の回転情報が入力される単なる入力部として機能するものであってもよい。このとき、車載ネットワークは、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。速度検出装置１４０は、運転手が乗っている車体の走行速度が取得できれば、どのような構成であってもよい。

表示装置１５０は、独立したディスプレイであってもよいし、フロントガラスに表示されるヘッドアップディスプレイ（ＨＵＤ）と一体型であってもよい。独立したディスプレイの場合は、従来のバックミラーと類似する形状を有するディスプレイであってよく、また当該バックミラー型ディスプレイは、スイッチの切り替えにより、通常の光学ミラーとしても使用できるタイプであってよい。

ユーザインターフェース１６０は、運転手からの各種入力を受け付ける車内にあるコントロールパネルであってもよく、各種ボタン、スイッチ、タッチパネル、ノブなどであってよい。

接近物検出装置１７０は、接近物を検知するために車内または車外に設けられているレーダーなどであり、自動運転、自動ブレーキシステムなどの一部を構成するものであってよいし、本開示の機能を実現するための独立したセンサであってもよいし、これらの組み合わせであってもよい。接近物検出装置１７０は、例えば、車車間通信（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ）、車物間通信（Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）、または路車間通信（Ｖｅｈｉｃｌｅ ｔｏ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）のいずれかの通信によって、自車両外からの情報が入力される単なる入力部として機能するものであってもよい。すなわち、近接物を検知した情報が取得できれば、どのような構成であってもよい。

次に、運転支援システム１００における各種処理（ステップ）を図面と共に詳しく説明する。なお、以下に説明する各ステップは、本開示における画像処理方法を構成してよく、これらのステップは、本開示における画像処理装置１１０が実行してよい。

図４は、本開示における画像処理方法を示すフローチャートである。図４に示すように、本開示における画像処理方法は、以下のステップを含む。

まず、画像処理装置１１０は、視線検出装置１３０により、運転手の視線を検出する（ステップＳ４１０）。具体的には、例えば運転手にセンサが取り付けられた眼鏡を装着させ、または車内にあるカメラにより、運転手の眼球の位置や運転手の視線の方向を検出してよい。このとき、運転手の心臓発作や居眠り運転などを監視するドライバモニタリングシステムから運転手の視線に関する情報を取得してもよい。

次に、画像処理装置１１０は、運転手の視線に関する情報に基づいて、運転手の注視位置を推定する（ステップＳ４２０）。例えば、図２において、運転手の両目の視線の方向が表示装置における後続車両Ｃに対応する座標に集中したとき、後続車両Ｃを注視位置と判断してよい。

そして、画像処理装置１１０は、撮像装置１２０に取得された画像のうち、注視位置を含む所定部分が他の部分より鮮明になるように表示装置１５０に表示させる（ステップＳ４３０）。これにより、光学ミラーを用いて後方を視認する場合と同様に、注視位置以外の部分がぼけた自然な画像を提供することができるため、電子ミラーの運転手に対する違和感を解消することができる。また、運転手が注視する位置は鮮明度が高いため、安全性を損なうことはない。

このとき、好ましい実施例として、図５に示すように、画像処理装置１１０は、視線検出装置１３０により運転手の視線を検出し（ステップＳ５１０）、運転手の視線に関する情報に基づいて運転手の注視位置を推定した後（ステップＳ５２０）、注視位置が所定時間時間（例えば２秒）以上安定した場合に運転手が注視状態であると判断し（ステップＳ５３０、「ＹＥＳ」）、注視状態になった場合にのみ注視位置を含む所定部分が他の部分より鮮明になるように表示装置１５０に表示させてもよい（ステップＳ５４０）。このとき、注視状態を判断するための閾値となる時間は、あらかじめ運転手からユーザインターフェース１６０を介して受け付けた情報に基づいて設定されてもよい。なお、運転手の注視状態は、上記時間だけでなく、運転手の瞬き、心拍、瞳孔の開き具合、脳波の状態、呼吸、表情などの様々な特徴を参照して判断してもよい。

鮮明度を区別して表示する一つ目の方法として、画像処理装置１１０は、注視位置を含む所定部分にピントが合う最小の被写界深度になるように撮像装置１２０を調節してよい。具体的には、ステップＳ４２０において推定された注視位置に撮像装置１２０のピントを合わせ、且つ絞り、シャッタースピード、ＩＳＯ感度などのパラメータを調整して、適正露出を維持した状態で被写界深度を小さく設定することにより、注視位置周辺にピントが合っており、且つそれ以外の部分はボケている画像を取得することができる。これにより、一層光学ミラーに近い感覚を運転手に与えることができる。また、画像処理装置１１０は、注視位置を含む所定部分にピントが合うより浅い被写界深度になるように撮像装置１２０を調整してよい。

ところが、上記の方法では、露光環境や撮像装置１２０の性能の制約により、被写界深度の調整に限界がある。そこで、鮮明度を区別して表示する二つの方法として、画像処理装置１１０は、注視位置を含む所定部分以外の部分の鮮明度を低下させてよい。具体的には、注視位置を含む所定部分以外の部分の解像度を低下させたり、モザイク処理により画質を低下させたりしてよい。逆に、注視位置を含む所定部分のみに対して超解像などによる鮮明化処理を施して鮮明度を上昇させてもよい。さらには、注視位置を含む所定部分に対して鮮明化処理を行うと同時に、それ以外の部分の鮮明度を低下させてもよい。このとき、「注視位置を含む所定部分」には、撮像装置１２０から注視位置までの距離と同距離の領域が含まれてもよい。これにより、露光環境や撮像装置１２０の性能の制約を受けずに、運転手に自然な感覚の画像を提供することができる。

以下において、画像処理装置１１０による表示処理のいくつかの実施例を説明する。なお、本開示において、以下の実施例は択一的なものとは限らず、複数の実施例を組み合わせたり、ユーザにより選択可能であったりすることを妨げない。

表示処理の第１の実施例として、画像処理装置１１０は、通常の状態では、表示装置１５０に撮像装置１２０が取得した図６（ａ）に示すような画像を表示させる。そして、運転手の注視位置を後続車両Ｃであると推定されると、図６（ｂ）のように、後続車両Ｃ及びその周辺（例えば後続車両Ｃから半径１ｍ以内の範囲）が他の部分より鮮明になるように表示装置１５０に表示させてよい。後続車両Ｃだけでなく、その周辺も鮮明に表示することにより、注視位置の判断が多少外れていたとしても、実際に注視している部分を鮮明に表示することができ、安全性を確保することができる。

表示処理の第２の実施例として、画像処理装置１１０は、撮像装置１２０により取得された画像の中の対象物の輪郭を識別する。注視位置が推定されると、画像処理装置１１０は、その注視位置が所定の対象物に属するか否かを判断し、注視位置が所定の対象物に属する場合にのみ、撮像装置１２０により取得された画像のうち、当該対象物をそれ以外の部分より鮮明になるように表示装置１５０に表示させてもよい。本実施例では、画像処理装置１１０は、通常の状態では、撮像装置１２０が取得した図７（ａ）に示すような画像を表示装置１５０に表示させる。そして、運転手の注視位置が後続車両Ｃであると推定されると、図７（ｂ）のように、後続車両Ｃを、ほかの部分より鮮明になるように表示装置１５０に表示させてよい。運転手が後続車両Ｃを注視していると判断している間は、後続車両Ｃが撮像装置１２０により取得された画像内で相対的に移動したとしても、後続車両Ｃを追従してそれ以外の部分より鮮明になるように表示させてもよい。これにより、運転手は一層注視している対象物のみに対して注意力を集中させることができる。

表示処理の第３の実施例として、画像処理装置１１０は、撮像装置１２０によって取得された画像を複数のエリアに分割し、撮像装置１２０により取得された画像のうち、注視位置を含むエリアを他のエリアより鮮明になるように表示装置１５０に表示させてよい。例えば、図８（ａ）に示すように、画像処理装置１１０は、撮像装置１２０が取得した画像を六分割する。運転手の注視位置を後続車両Ｃであると推定されると、図８（ｂ）のように、後続車両Ｃを含むエリアが他のエリアより鮮明になるように表示装置１５０に表示させてよい。これにより、注視位置の判断が容易になり、処理によるエラーを低減させることができる。

表示処理の第４の実施例として、画像処理装置１１０は、車体の走行速度が速いほど、注視位置を含む所定部分の面積を狭くして表示装置１５０に表示させる。例えば、画像処理装置１１０は、時速６０キロの比較的遅いスピードで走行している場合には、図９（ａ）に示すような比較的広い面積を「注視位置を含む所定部分」として表示装置１５０に表示させる。そして、車両のスピードが時速１００キロに達したときには、図９（ｂ）のように、「注視位置を含む所定部分」の面積を狭くして表示装置１５０に表示させる。なお、車両の時速は、速度メータと通信可能な速度検出装置１４０から取得してよい。これにより、安全性に対する要求が比較的高い高速走行時に、低速走行時と比べて運転手の注意力をさらに集中させることができる。

表示処理の第５の実施例として、画像処理装置１１０は、接近物検出装置１７０が所定の閾値以上（例えば時速２０キロ）の速度で接近する接近物を検知したとき、当該接近物を含む所定部分が他の部分より鮮明になるように表示装置１５０に表示させる。例えば、運転手が後続車両Ｃを注視しているときは、表示装置１５０に、図１０（ａ）に示すような画像を表示させる。そして、接近物検出装置１７０により後続車両Ｃと異なるもう一つの後続車両が時速２０キロ以上の速さで接近していることが検知されると、図１０（ｂ）のように、接近してくる後続車両及びその周辺（例えば後続車両Ｃから半径１ｍ以内の範囲）が他の部分より鮮明になるように表示装置１５０に表示させてよい。これにより、運転手に高速で接近してくる対象物に対して注意を喚起させ、より安全な運転を可能とする。

以上、本開示について実施形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

本開示は、人が肉眼を通して直接見ることで認識する景色に近い画像を表示させることができる運転支援システムとして有用である。

１００ 運転支援システム
１１０ 画像処理装置
１２０ 撮像装置
１３０ 視線検出装置
１４０ 速度検出装置
１５０ 表示装置
１６０ ユーザインターフェース
１７０ 接近物検出装置

Claims (12)

1. 運転手に車体周辺の所定領域の状況を視認させるための運転支援システムであって、
   前記所定領域の画像を取得する撮像装置と、
   運転手の視線を検出する視線検出部と、
   処理部と、
   表示部と、
   を備え、
   前記処理部は、
   前記視線検出部により検出された前記運転手の視線に関する情報に基づいて、前記運転手の注視位置を推定し、
   前記撮像装置により取得された画像のうち、前記注視位置を含む所定部分が他の部分より鮮明になるように前記表示部に表示させる、運転支援システム。
2. 前記処理部は、
   前記注視位置が所定時間以上安定した場合に、前記撮像装置により取得された画像のうち、前記注視位置を含む所定部分が他の部分より鮮明になるように前記表示部に表示させる、請求項１に記載の運転支援システム。
3. さらに入力部を有し、
   前記処理部は、
   前記入力部により受け付けた情報に基づいて前記所定時間を設定する、
   請求項２に記載の運転支援システム。
4. 前記処理部は、
   前記注視位置が、所定の対象物に属する場合にのみ、前記撮像装置により取得された画像のうち、前記対象物を前記対象物以外の部分より鮮明になるように前記表示部に表示させる、
   請求項１〜３の何れか一つに記載の運転支援システム。
5. 前記処理部は、
   前記撮像装置により取得された画像を複数のエリアに分割し、
   前記撮像装置により取得された画像のうち、前記注視位置を含むエリアを他のエリアより鮮明になるように前記表示部に表示させる、
   請求項１〜４の何れか一つに記載の運転支援システム。
6. 前記処理部は、画像処理により、前記撮像装置により取得された画像のうち、前記注視位置を含む所定部分の鮮明度を上昇させ、または注視位置を含む所定部分以外の部分の鮮明度を低下させることにより、前記注視位置を含む所定部分が他の部分より鮮明になるように前記表示部に表示させる、
   請求項１〜５の何れか一つに記載の運転支援システム。
7. 前記注視位置を含む所定部分には、前記撮像装置から前記注視位置までの距離と同距離の領域が含まれる、請求項１〜６の何れか一つに記載の運転支援システム。
8. 前記処理部は、
   前記注視位置を含む所定部分にピントが合う最小の被写界深度になるように前記撮像装置を調節する、
   請求項１〜３の何れか一つに記載の運転支援システム。
9. 前記処理部は、
   前記車体の走行速度が速いほど、前記注視位置を含む所定部分の面積を狭くして前記表示部に表示させる、請求項１〜８の何れか一つに記載の運転支援システム。
10. さらに接近物検出部を有し、
    前記処理部は、
    前記接近物検出部が所定の閾値以上の速度で前記車体に接近する接近物を検知したとき、前記接近物を含む所定部分が他の部分より鮮明になるように前記表示部に表示させる、請求項１〜９の何れか一つに記載の運転支援システム。
11. 所定領域の画像を取得する撮像装置と、運転手の視線を検出する視線検出部と、表示部と、を備える運転支援システムを制御するための画像処理装置であって、
    前記視線検出部により検出された前記運転手の視線に関する情報に基づいて、前記運転手の注視位置を推定し、
    前記撮像装置により取得された画像のうち、前記注視位置を含む所定部分が他の部分より鮮明になるように前記表示部に表示させる、画像処理装置。
12. 運転手に車体周辺の所定領域の状況を視認させるため画像処理方法であって、
    運転手の視線を検出するステップと、
    検出された前記運転手の視線に関する情報に基づいて、前記運転手の注視位置を推定するステップと、
    撮像装置により取得された画像のうち、前記注視位置を含む所定部分が他の部分より鮮明になるように表示部に表示させるステップと、を有する画像処理方法。
    

Images