JP2012008790A - 運転支援装置および運転支援方法 - Google Patents

Abstract

【課題】簡素な構成で運転者の運転技術を評価できるとともに運転者の運転技術に応じた運転支援を行うことができる運転支援装置および運転支援方法を提供する。
【解決手段】本発明の一実施形態に係る運転支援装置１０は、車両に設けられ、運転者および車両の周囲を撮影するカメラ１１と、運転者の撮像画像情報から運転者の視線移動情報を取得する運転者情報取得部２２と、車両の周囲画像情報を取得し、この周囲画像情報から車両の運転場面を特定する場面特定部２３と、視線移動情報および車両の運転場面の情報から、車両の運転場面における運転者の運転技術を判別する運転技術判別部２４と、を備える。
【選択図】 図１

Description

本発明の実施形態は、車両の運転者に対して運転支援を行う運転支援装置および運転支援方法に関する。

従来、車両挙動情報や安全確認情報などを用いて運転者の運転技術水準を評価するための種々の技術が開発されている（たとえば特許文献１参照）。ここで、車両挙動情報とは、車両の走行速度や加速度などの情報（運転者のペダル操作の情報）およびウインカーのタイミングの情報などをいう。安全確認情報は、運転者の安全確認の方向やタイミング、回数などの情報をいう。

この種の運転評価技術は、車両の現在位置情報および現在位置周辺の地図情報を取得して車両の次の交通場面を推定し、推定された交通場面に至る前に運転者に対して運転者の運転技術に応じた運転支援を行うようになっている。

特開２００９−２２２７４６号公報

しかし、従来の運転評価技術は、運転者の運転技術を評価するために必要な情報として、各種車両センサから取得する車両挙動情報、視線計測装置から取得する安全確認情報のほか、地図情報や現在位置情報など、様々な情報を必要とする。このため、従来の技術では、運転者に対して運転支援を行うために非常に複雑なシステムが必要となってしまう。

本発明は、上述した事情を考慮してなされたもので、簡素な構成で運転者の運転技術を評価できるとともに運転者の運転技術に応じた運転支援を行うことができる運転支援装置および運転支援方法を提供することを目的とする。

本発明に係る運転支援装置は、上述した課題を解決するために、車両に設けられ、運転者および前記車両の周囲を撮影する撮像部と、前記運転者の撮像画像情報から前記運転者の視線移動情報を取得する運転者情報取得部と、前記車両の周囲画像情報を取得し、この周囲画像情報から前記車両の運転場面を特定する場面特定部と、前記視線移動情報および前記車両の運転場面の情報から、前記車両の運転場面における前記運転者の運転技術を判別する運転技術判別部と、を備えたことを特徴とするものである。

一方、本発明に係る運転支援方法は、上述した課題を解決するために、車両の運転者および前記車両の周囲を撮影するステップと、前記運転者の撮像画像情報から前記運転者の視線移動情報を取得するステップと、前記車両の周囲画像情報を取得し、この周囲画像情報から前記車両の運転場面を特定するステップと、前記視線移動情報および前記車両の運転場面の情報から、前記車両の運転場面における前記運転者の運転技術を判別するステップと、を有することを特徴とする方法である。

本発明に係る運転支援装置および運転支援方法によれば、簡素な構成で運転者の運転技術を評価できるとともに運転者の運転技術に応じた運転支援を行うことができる。

本発明の第１実施形態に係る運転支援装置の構成例を示す概略的なブロック図。 運転場面と速度域の関係の一例を示す説明図。 運転支援ＥＣＵのＣＰＵにより、運転者画像および車両背景画像の情報にもとづいて、運転場面の特定および運転者の運転技術の判別を行うとともに運転者の運転技術に応じた運転アドバイスを行う際の手順を示すフローチャート。 図３のステップＳ４で運転支援ＥＣＵにより実行される場面別の支援情報提示処理の手順を示すサブルーチンフローチャート。 車庫入れにおける場面別スキル判定アルゴリズムの一例を説明するための図。 車庫入れにおける模範運転動作情報と運転者の実際の運転動作情報との比較結果にもとづいて運転者の運転タイプを判別する例を示す説明図。 車庫入れにおける場面別スキル判定アルゴリズムの他の例を説明するための図。 図３のステップＳ６で運転支援ＥＣＵにより実行される総合的な支援情報提示処理の手順を示すサブルーチンフローチャート。 速度域別統括評価方法の一例を示す説明図。 本発明の第２実施形態に係る運転支援装置の構成例を示す概略的なブロック図。

本発明に係る運転支援装置および運転支援方法の実施の形態について、添付図面を参照して説明する。

本発明の一実施形態に係る運転支援装置は、撮像装置により取得された運転者画像および車両背景画像の情報にもとづいて、運転場面（車庫入れや右左折など）の特定および運転者の運転技術の判別を行うとともに、運転者の運転技術に応じた運転アドバイスを行うものである。

（第１の実施形態）
（１）構成
図１は、本発明の第１実施形態に係る運転支援装置の構成例を示す概略的なブロック図である。なお、本実施形態では、本発明に係る運転支援装置が自動車に適用される場合の例について説明するが、本発明に係る運転支援装置は、自動車に限らず各種車両に適用することができる。

運転支援装置１０は、図１に示すように、運転者を撮像するカメラ１１、運転支援ＥＣＵ（Electronic Control Unit）１２、記憶部１３、表示部１４およびスピーカ１５を有する。

カメラ１１は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、運転者の顔部および車両周囲（車両外背景）の映像を取り込んで映像信号を生成して運転支援ＥＣＵ１２に与える。カメラ１１は、たとえばステアリングコラムを覆う筐体の上面やルームミラー近傍、運転者側のＡピラー（フロントピラー）、運転席上部のサンバイザー近傍など、運転者の顔部および車両周囲（車両外背景）を撮像可能な位置に設けられる。なお、カメラ１１には、より広範な車両外画像が取得可能なように広角レンズが取り付けられるとよい。

運転支援ＥＣＵ１２は、ＣＰＵ、ＲＡＭおよびＲＯＭなどの記憶媒体などにより構成される。運転支援ＥＣＵ１２のＣＰＵは、ＲＯＭなどの記憶媒体に記憶された運転支援プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、撮像装置により取得された運転者画像および車両背景画像の情報にもとづいて、運転場面の特定および運転者の運転技術の判別を行うとともに、運転者の運転技術に応じた運転アドバイスを行う処理を実行する。

運転支援ＥＣＵ１２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。運転支援ＥＣＵ１２のＲＯＭなどの記憶媒体は、運転支援プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。

なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は図示しないネットワーク接続部を介して電子ネットワークを介してダウンロードされるように構成してもよい。

なお、この場合、ネットワーク接続部は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って運転支援ＥＣＵ１２と他の車両のＥＣＵなどの電気機器とを電子ネットワークを介して接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

記憶部１３は、運転支援ＥＣＵ１２によるデータの読み書きが可能な不揮発性のメモリであり、あらかじめ、所定の視線移動情報を含む模範運転動作情報、場面特定アルゴリズム、場面別スキル判定アルゴリズム、総合スキル判定アルゴリズム、および運転者の場面別スキルや総合スキルに応じた運転アドバイスを行うための支援情報を記憶している。これらの情報は、電子ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。また、記憶部１３は、運転支援ＥＣＵ１２により、運転者の運転動作情報と模範運転動作情報との場面別の比較結果情報を格納される。

模範運転動作情報は、運転支援ＥＣＵ１２により、運転者の運転技術レベルを判別するために用いられる。運転動作情報には少なくとも視線移動情報が含まれる。運転者の運転技術レベルは、運転者の運転動作情報がこの模範運転動作情報に近いほど高いと判別され、異なっているほど低いと判別される。たとえば、模範運転動作とは、普段の運転で必要な動作をいうものとする。この模範運転動作は、熟練した大型トラック運転者や路線バス運転者などの運転動作を基準としてもよい。

具体的には、運転支援ＥＣＵ１２は、記憶部１３に記憶された場面特定アルゴリズムを用いてカメラ１１の撮像画像情報から現在の運転場面を特定し、運転場面ごとに場面別スキル判定アルゴリズムを用いて模範運転動作情報と運転者の実際の運転動作情報とを比較して、この比較結果を記憶部１３に格納する。また、運転支援ＥＣＵ１２は、記憶部１３に格納して蓄積した場面別の比較結果情報を用いることにより、より正確に運転者の運転場面別の運転技術レベルを判定することができる。また、運転場面を車両の所定の速度域ごとに分類することにより、運転支援ＥＣＵ１２は、運転者の車両速度域別の運転技術レベルを判定することができる。

総合スキル判定アルゴリズムは、運転支援ＥＣＵ１２により、運転場面別や速度域別の運転技術レベルにもとづいて運転者の運転全体での総合的な運転技術レベルを判定するために用いられる。

支援情報は、運転者の運転場面別の模範運転動作情報と運転者の実際の運転動作情報との比較結果、運転場面別の運転技術レベル、総合的な運転技術レベルに応じた運転アドバイスを行うための情報である。運転支援ＥＣＵ１２は、これらの比較結果や運転場面別または総合的な運転技術レベルに応じてこの支援情報を読み出し、読み出した支援情報を表示部１４に表示し、スピーカ１５から音声出力させることにより運転者に提示する。

表示部１４は、運転者が視認可能な位置に設けられ、車載用の一般的なディスプレイやカーナビゲーションシステム、ＨＵＤ（ヘッドアップディスプレイ）などの表示出力装置を用いることができ、運転支援ＥＣＵ１２の制御に従って運転支援情報などの各種情報を表示する。

スピーカ１５は、運転支援ＥＣＵ１２の制御に従って運転支援情報などの各種情報に対応した音声を出力する。

続いて、運転支援ＥＣＵ１２のＣＰＵによる機能実現部の構成について説明する。

図１に示すように、運転支援ＥＣＵ１２のＣＰＵは、運転支援プログラムによって、少なくとも画像情報入力部２１、運転者情報取得部２２、場面特定部２３、運転技術判別部２４および支援情報提示部２５として機能する。この各部２１〜２５は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。なお、これらの機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

画像情報入力部２１は、カメラ１１から画像情報を入力され、この画像情報を運転者情報取得部２２および場面特定部２３に与える。

運転者情報取得部２２は、カメラ１１から受けた画像情報に含まれた運転者の画像情報から、運転者の運転動作情報を取得する。運転動作情報には、運転者の視線移動情報、ハンドル操作（操舵）の情報、方向指示器の操作情報およびシフトレバーの操作情報などが含まれる。

たとえば、運転者情報取得部２２は、カメラ１１から受けた画像情報（以下、撮像画像情報という）に含まれた運転者の顔部の画像情報から運転者の顔向き角度や視線の向きの角度を抽出することにより、運転者の視線移動情報を取得する。また、運転者情報取得部２２は、撮像画像情報に含まれた運転者の左右の手の画像情報から、ハンドル操作（操舵）の情報、方向指示器の操作情報およびシフトレバーの操作情報を取得する。これらの運転動作情報は、取得された時刻と関連付けられてＲＡＭの所要のワークエリアや記憶部１３などの記憶媒体に記憶される。

さらに、運転者情報取得部２２は、記憶部１３にあらかじめ記憶された車両の運転者の顔部の画像情報と撮像画像情報に含まれた運転者の顔部の画像情報とを用いて、一般的な顔認識処理により運転者の人物特定を行う。顔認識処理としては、運転者の人物特定ができる方法であればよく、従来知られた各種の方法を使用することが可能である。

場面特定部２３は、撮像画像情報に含まれた車両の周囲画像情報および記憶部１３に記憶された場面特定アルゴリズムを用いて、車両の現在の運転場面を特定する。また、場面特定部２３は、運転場面の特定にあたり、さらに撮像画像情報に含まれた運転者の画像情報から得られる運転者の運転動作情報を用いるようにしてもよい。このとき、場面特定部２３は、運転者の運転動作情報を運転者情報取得部２２から受けるよう構成されてもよい。

図２は、運転場面と速度域の関係の一例を示す説明図である。運転場面は、車両の所定の速度域ごとに分類することができる。以下の説明では、図２に示すように、「低速域」に車庫入れおよび縦列駐車などが分類され、「中速域」に右折および左折などが分類され、「高速域」に自車両合流および他車両合流などが分類される場合の例について示す。

場面特定部２３は、各運転場面をさらに前半、中盤および後半に細分してもよい。たとえば、運転場面が車庫入れの場合、場面特定部２３は、撮像画像情報にもとづき運転者がハンドルを切りつつ車両の後退が開始されると車庫入れの前半であると特定し、その後運転者がハンドルを戻し始めると中盤であると特定し、ハンドルを動かさず車両が後退（直進後退）し始めると後半であると特定する。この場合、記憶部１３に記憶された場面特定アルゴリズムは、運転場面の前半、中盤および後半と、運転動作情報および車両の周囲画像情報と、を関連付けた情報となる。これらの運転場面および細分の情報は、各場面および細分の開始時刻および終了時刻と関連付けられてＲＡＭの所要のワークエリアや記憶部１３などの記憶媒体に記憶される。

運転技術判別部２４は、運転者情報取得部２２から運転者の運転動作情報を受けるとともに場面特定部２３から車両の周囲画像情報を受け、これらの情報および場面別スキル判定アルゴリズムを用いて、運転場面別に模範運転動作情報と運転者の実際の運転動作情報とを比較して、この比較結果（場面別比較結果情報）を記憶部１３に格納する。

また、運転技術判別部２４は、記憶部１３に蓄積された場面別比較結果情報および場面別スキル判定アルゴリズムを用いて、運転者の過去の運転動作傾向を反映した運転場面別および速度域別の運転技術を判別する。さらに、運転技術判別部２４は、記憶部１３に蓄積された場面別比較結果情報および総合スキル判定アルゴリズムを用いて、運転者の運転全体での総合的な運転技術レベルを判別する。なお、運転技術の判別は、たとえば運転者の運転技術を上級、中級および初級のいずれかに分類することにより行うとよい。

支援情報提示部２５は、運転技術判別部２４による運転者の運転技術レベルの判別結果および記憶部１３に記憶された支援情報にもとづいて、表示部１４およびスピーカ１５の少なくとも一方を介して運転者に対して運転技術レベルに応じた運転アドバイスの情報（運転支援情報）を提示する。

直前の運転場面における模範運転動作情報と運転者の実際の運転動作情報との比較結果に応じた運転支援情報ついては、運転場面中の運転支援情報提示により運転手の混乱を招く弊害を防ぐため、支援情報提示部２５は、この運転場面が終了後に提示するとよい。

また、総合的な運転技術レベルに応じた運転支援情報ついては、支援情報提示部２５は、運転開始時や運転終了時に総括的に運転者に提示するとよい。

（２）基本的な運転支援処理
次に、本実施形態に係る運転支援装置１０の動作の一例について説明する。

図３は、運転支援ＥＣＵ１２のＣＰＵにより、運転者画像および車両背景画像の情報にもとづいて、運転場面の特定および運転者の運転技術の判別を行うとともに、運転者の運転技術に応じた運転アドバイスを行う際の手順を示すフローチャートである。図３において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。

この手順は、車両のシステム電源（ＡＣＣ電源）がＯＮとなり運転支援装置１０に対して電力が供給された時点でスタートとなる。

まず、ステップＳ１において、運転者情報取得部２２は、カメラ１１から画像情報入力部２１を介して撮像画像情報を受け、記憶部１３にあらかじめ記憶された車両の運転者の顔部の画像情報と撮像画像情報に含まれた運転者の顔部の画像情報とを用いて、一般的な顔認識処理により運転者の人物特定を行う。

次に、ステップＳ２において、場面特定部２３は、撮像画像情報に含まれた車両の周囲画像情報および記憶部１３に記憶された場面特定アルゴリズムを用いて、車両の現在の運転場面を特定する。

次に、ステップＳ３において、場面特定部２３は、車両の現在の運転場面が発車時および到着時のいずれか一方であるか否かを判定する。発車時および到着時のいずれでもない場合は、ステップＳ４に進む。一方、発車時および到着時のいずれか一方である場合は、ステップＳ６に進む。

次に、ステップＳ４において、運転支援ＥＣＵ１２は、運転場面別の運転者の運転技術に応じた支援情報提示処理を行い、ステップＳ５においてシステム電源（ＡＣＣ電源）がＯＦＦであるか否かを判定する。システム電源がＯＦＦである場合は、一連の手順は終了となる。一方、システム電源がＯＮである場合は、ステップＳ２に戻る。

他方、ステップＳ３で発車時および到着時のいずれか一方であると判定されると、ステップＳ６において、運転支援ＥＣＵ１２は、総合的な運転者の運転技術に応じた支援情報提示処理を行い、ステップＳ５においてシステム電源（ＡＣＣ電源）がＯＦＦであるか否かを判定する。システム電源がＯＦＦである場合は、一連の手順は終了となる。一方、システム電源がＯＮである場合は、ステップＳ２に戻る。

（３）場面別の支援情報提示処理
続いて、運転場面別の運転者の運転技術に応じた支援情報提示処理を実行する際の手順について説明する。

図４は、図３のステップＳ４で運転支援ＥＣＵ１２により実行される場面別の支援情報提示処理の手順を示すサブルーチンフローチャートである。この手順は、図３のステップＳ３において現在の運転場面が発車時および到着時のいずれでもないと判定されてスタートとなる。

ステップＳ４１において、運転者情報取得部２２は、カメラ１１から画像情報入力部２１を介して撮像画像情報を受け、撮像画像情報に含まれる運転者の画像情報から運転者の運転動作情報を取得する。運転動作情報には、少なくとも運転者の視線移動情報を含み、ハンドル操作（操舵）の情報、方向指示器の操作情報およびシフトレバーの操作情報などが含まれてもよい。

次に、ステップＳ４２において、場面特定部２３は、図３のステップＳ２で特定した現在の運転場面が終了したか否かを判定する。運転場面が終了した場合は、ステップＳ４３に進む。一方、運転場面が継続されている場合は、現在の運転場面のステップＳ４１にもどり引き続き運転者情報取得部２２により運転動作情報が取得される。

次に、ステップＳ４３において、運転技術判別部２４は、運転者情報取得部２２から運転者の運転動作情報を受けるとともに場面特定部２３から車両の周囲画像情報を受ける。たとえば、運転者情報取得部２２が運転動作情報について取得した時刻と関連付けてＲＡＭの所要のワークエリアに記憶させるとともに場面特定部２３が各運転場面および細分を開始時刻および終了時刻と関連付けてＲＡＭの所要のワークエリアに記憶させている場合、運転技術判別部２４は、ＲＡＭの所要のワークエリアからこれらの情報を読み出す。

そして、運転技術判別部２４は、これらの情報および場面別スキル判定アルゴリズムを用いて、直前の運転場面における模範運転動作情報と運転者の実際の運転動作情報とを比較する。

次に、ステップＳ４４において、運転技術判別部２４は、この比較結果の情報（場面別比較結果情報）を記憶部１３に格納する。

次に、ステップＳ４５において、支援情報提示部２５は、直前の運転場面における模範運転動作情報と運転者の実際の運転動作情報との比較結果に応じて記憶部１３から支援情報を読み出すことにより、提示する支援情報を決定する。

次に、ステップＳ４６において、支援情報提示部２５は、直前の運転場面における模範運転動作情報と運転者の実際の運転動作情報との比較結果に応じた支援情報について、表示部１４およびスピーカ１５の少なくとも一方を介して運転者に提示し、図３のステップＳ５に戻る。

以上の手順により、運転者に対して運転場面別に運転者の運転技術に応じた支援情報を提示することができる。

図４に示す手順では、直前の運転場面における模範運転動作情報と運転者の実際の運転動作情報との比較結果に応じた運転支援情報ついて、この運転場面が終了後に提示するようになっている。このため、運転場面中に運転支援情報を提示する場合に比べ、運転手の混乱を招く弊害を防ぐことができる。

（４）場面別の運転技術判別方法の一例
ここで、図４のステップＳ４３における運転技術判別部２４による直前の運転場面における模範運転動作情報と運転者の実際の運転動作情報との比較方法の一例について説明する。

図５は、車庫入れにおける場面別スキル判定アルゴリズムの一例を説明するための図である。図５には、模範的な運転動作と同一の動作に対して１０点が与えられる場合の例について示した。

たとえば、車庫入れにおける模範的な運転動作が左右のミラーをそれぞれ所定回数以上確認する動作である場合、この動作と同一の動作に対しては１０点を与え、この動作と異なるほど１０点から減点されるようにすることで、運転技術判別部２４は車庫入れにおける模範運転動作情報と運転者の実際の運転動作情報との比較結果を得ることができる。この比較結果は運転場面別の運転者の運転技術を示す指標として用いることができる。

支援情報提示部２５は、図４のステップＳ４６で直前の運転場面におけるこの比較結果に応じた支援情報を提示する際に、特に運転者の運転動作のうち減点のあった項目（過不足動作があった項目）について支援情報を提示するとよい。

図６は、車庫入れにおける模範運転動作情報と運転者の実際の運転動作情報との比較結果にもとづいて運転者の運転タイプを判別する例を示す説明図である。運転場面別の運転タイプの情報は、あらかじめ場面別スキル判定アルゴリズムに含まれているとよい。

運転技術判別部２４は、車庫入れにおける模範運転動作情報と運転者の実際の運転動作情報との比較結果および場面別スキル判定アルゴリズムにもとづいて、運転者の運転タイプを判別する。

たとえば、車庫入れにおける運転者の運転動作情報から、運転者の運転タイプを基本的に右のミラーだけを見るタイプである「右ＯＫ派」と判別した場合、運転技術判別部２４は、この情報を支援情報提示部２５に与える。この場合、支援情報提示部２５は、この情報にもとづいて、運転者に対して表示部１４およびスピーカ１５の少なくとも一方を介して「あなたの車庫入れにおける運転タイプは「右ＯＫ派」です」といった情報や、「車庫入れの際はもう少し左ミラーを確認するようにしましょう」といった情報を提示するとよい。これらの提示される支援情報は、運転タイプと関連付けてあらかじめ記憶部１３に記憶させておく。

図７は、車庫入れにおける場面別スキル判定アルゴリズムの他の例を説明するための図である。図７に示すように、運転場面をさらに前半、中盤および後半に細分し、各細分における模範的な運転動作を定義付けておく場合は、運転技術判別部２４は車庫入れの各細分における模範運転動作情報と運転者の実際の運転動作情報との比較結果を得ることができる。

運転場面には、図５−図７で説明した車庫入れのほかにも様々な運転場面がある（図２参照）。いくつかの運転場面について、模範的な運転動作例および減点例を以下に示す。

縦列駐車では、模範的な運転動作について、たとえば前半から中盤にかけて駐車する側のサイドミラーを中心に見る視線移動動作と定義する。この場合、たとえば運転者の駐車時の前半から中盤にかけて駐車する側のサイドミラーの確認頻度や時間に応じて減点する。また、切り返しの回数や駐車完了（運転場面の開始から終了）までの時間も運転技術と相関があるといえ、これらの情報を記憶部１３に記憶させておくとよい。

右左折では、模範的な運転動作について、たとえば内輪側に大きく振り向く視線移動動作および運転場面全体を通して複数回ミラーを確認する視線移動動作と定義する。この場合、運転者の内輪側に振り向く角度に応じて減点する。たとえば横断歩道の端付近までであれば５点減点し、自車両が進む先しかみていなければ９点減点する。また、ミラーの確認頻度に応じ、確認頻度に相関のある係数を点数に乗じてもよい。

なお、運転者が横断歩道の端付近まで振り向いたか否かは、場面特定部２３により特定された運転場面の細分情報を用いることにより判定することができる。たとえば、右左折の運転場面開始を方向指示器操作時とし、右左折の運転場面中盤の開始をハンドルの所定角度以上の操作時とした場合、中盤の開始時点と振り向く角度の情報から、運転者が内輪側の交差点のどのあたりまで振り向いているかを推定することが可能である。

自車両合流では、模範的な運転動作について、たとえば後半（たとえば自車両が所望の車線に合流し終わった後）にサイドミラーまたはルームミラーのいずれかを見る視線移動動作と定義する。この場合、たとえば記憶部１３に蓄積された過去の自車両合流時の比較結果を読み出し、自車両合流時に毎回模範的な運転動作を行っていれば減点なしとし、確認の頻度に応じて減点（確認頻度が５％以下なら０点など）を行う。また、前半から中盤にかけて合流先車線を確認する視線移動動作を模範的な運転動作に加えてもよい。

他車両合流では、模範的な運転動作について、たとえば他車両が合流してくる可能性のある合流車線方向を確認する視線移動動作と定義する。この場合、たとえば記憶部１３に蓄積された過去の他車両合流時の比較結果を読み出し、他車両合流時に毎回模範的な運転動作を行っていれば減点なしとし、確認の頻度に応じて減点（確認頻度が５％以下なら０点など）を行う。

これらの点数のデータは、総合的な運転技術レベルの判別に用いられる。なお、点数付けされうる運転場面は上記の運転場面に限られない。以上の例に限らず、本実施形態に係る運転支援装置１０は、普段の運転で必要な動作を模範的な運転動作とし、この動作と異なれば異なるほど運転者の運転技術評価が下がるように運転者の運転技術レベルを評価するものである。

（５）総合的な支援情報提示処理
続いて、運転者の運転全体での総合的な運転技術に応じた支援情報提示処理を実行する際の手順について説明する。

図８は、図３のステップＳ６で運転支援ＥＣＵ１２により実行される総合的な支援情報提示処理の手順を示すサブルーチンフローチャートである。この手順は、図３のステップＳ３において現在の運転場面が発車時および到着時のいずれか一方であると判定されてスタートとなる。

ステップＳ６１において、運転技術判別部２４は、記憶部１３に蓄積された運転場面別の比較結果および総合スキル判定アルゴリズムを用いて、運転者の総合的な運転技術を判別する。

次に、ステップＳ６２において、支援情報提示部２５は、運転者の総合的な運転技術の判別結果に応じて運転者に対して総合的なアドバイス提示の必要のある項目を決定する。

次に、ステップＳ６３において、支援情報提示部２５は、総合的なアドバイス提示の必要のある項目に応じて記憶部１３から読み出し、表示部１４およびスピーカ１５の少なくとも一方を介して運転者に提示して、図３のステップＳ５に戻る。

以上の手順により、運転者の運転開始時（発車時）や運転終了時（到着時）において、運転者に対して運転者の総合的な運転技術に応じた支援情報を提示することができる。

（６）総合的な運転技術判別方法の一例
ここで、図８のステップＳ６１における運転技術判別部２４による運転者の総合的な運転技術判別方法の一例について説明する。

運転者の運転場面別の模範運転動作情報と運転者の実際の運転動作情報との比較結果は、記憶部１３に蓄積されている。運転技術判別部２４は、この蓄積された比較結果を用いて過去の運転場面別の評価（場面別統括評価）、過去の各速度域別の評価（速度域別統括評価）を行い、これらを用いて運転者の運転全体の総合評価を行う。支援情報提示部２５は、これらの評価に応じた運転支援情報を運転者に提示することにより、直前の運転場面の運転動作内容だけでは評価することが難しい運転者の総合的な運転技術に沿った支援を行うことができる。

運転技術判別部２４は、運転者の場面別統括評価について、記憶部１３に蓄積された運転場面別の点数の過去任意回数分の平均値、最頻値などの統計値に応じて、たとえば３段階（初級、中級および上級）のいずれであるかを判別する。

図９は、速度域別統括評価方法の一例を示す説明図である。図９には、速度域別統括評価を行う運転場面として図２に示した運転場面を用いる場合の例について示した。

運転技術判別部２４は、運転者の速度域別統括評価について、記憶部１３に蓄積された運転場面別の点数および各運転場面が属する速度域の情報（図２参照）にもとづいて、各速度域に属する運転場面別の点数に対して各運転場面固有の重み付け係数を乗じた値の総合点（図９の各統括点数参照）に応じて、たとえば３段階（初級、中級および上級）のいずれであるかを判別する。重み付け係数は、運転中に遭遇する確立の高い運転場面ほど評価に多く影響するように決定される。たとえば右左折の重み付け係数は縦列駐車の係数より大きいことが好ましい。

また、運転技術判別部２４は、総合スキル判定アルゴリズムに応じて運転者の運転全体の総合評価をおこなう。たとえば運転技術判別部２４は、運転者の運転全体の総合評価について、速度域別統括点数に対して各速度域固有の重み付け係数を乗じた値の総合点（＝低速域統括点数×低速域係数＋中速域統括点数×中速域係数＋高速域統括点数×高速域係数）に応じて、たとえば３段階（初級、中級および上級）のいずれであるかを判別する。なお、この運転全体の総合評価を行うための点数を算出するための式や図９に示した速度域別統括点数を算出するための式は、総合スキル判定アルゴリズムの一部として記憶部１３に記憶されているとよい。

（７）総合的な運転支援情報の決定方法の一例
次に、図８のステップＳ６２における支援情報提示部２５による運転者の総合的な運転技術に応じた支援内容の決定方法について説明する。

支援情報提示部２５は、記憶部１３に記憶された比較結果や、場面別統括評価、速度域別統括評価および運転全体の総合評価の判別結果を用いて、運転者が特に不得手と推定される動作を運転者に通知するための情報を支援情報の内容とするよう決定する。

たとえば、過去連続して１０回以上、右左折の運転場面で振り向き角度が足りない（中速域統括点数が低い）場合、支援情報提示部２５は、「右左折の際には、もっと巻き込みを確認してください」といった情報を支援情報の内容とするよう決定する。また、支援情報提示部２５は、場面別統括評価において最も低い評価の運転場面について、「○○の運転場面の安全確認が不足しています。もっと○○するよう心がけてください」といった情報を支援情報の内容とするよう決定してもよい。

さらに、記憶部１３に記憶された最新の運転場面別の比較結果が過去の比較結果よりも優れていた場合は、運転者を賞賛する情報を支援情報の内容とすることにより、運転者に対して今後とも安全運転を心がけようというやる気を起こさせるようにしてもよい。

本実施形態に係る運転支援装置１０によれば、カメラ１１により取得された運転者画像および車両背景画像の情報にもとづいて、運転場面の特定および運転者の運転技術の判別を行うことができるとともに、運転者の運転技術に応じた運転アドバイスを行うことができる。

（第２の実施形態）
次に、本発明に係る運転支援装置の第２実施形態について説明する。

図１０は、本発明の第２実施形態に係る運転支援装置１０Ａの構成例を示す概略的なブロック図である。

この第２実施形態に示す運転支援装置１０Ａは、自車位置特定装置５１および自車位置情報入力部５２をさらに備え、場面特定部２３による運転場面の特定や運転場面の細分に自車位置特定装置５１の出力情報を利用する点で第１実施形態に示す運転支援装置１０と異なる。他の構成および作用については図１に示す運転支援装置１０と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。

自車位置特定装置５１は、車両の路上における位置を特定するための情報（以下、自車位置特定情報という）を出力するものである。自車位置特定装置５１としては、車両の地図上の位置を出力可能な一般的なカーナビゲーションシステムや、車室外に設けられて車両前方周囲の画像を撮像するフロントカメラなどを用いることができる。

運転支援ＥＣＵ１２Ａの自車位置情報入力部５２は、自車位置特定装置５１から自車位置特定情報を受け、この情報を場面特定部２３に与える。

場面特定部２３は、カメラ１１の撮像画像情報および自車位置特定情報にもとづいて、車両の現在の運転場面を特定する。

本実施形態に係る運転支援装置１０Ａは、カメラ１１の撮像画像情報に加え、自車位置特定情報を用いて運転場面を特定することができる。このため、第１実施形態に係る運転支援装置１０にくらべ、より正確に運転場面を特定することができる。また、場面特定部２３は、撮像画像情報のみにより仮に運転場面を特定しておき、撮像画像情報のみにより仮に運転場面が終了したと判定した後に、場面特定部２３は、自車位置特定情報によってたとえばＲＡＭの所要のワークエリアに記憶させておいた運転場面の情報を正確な情報に修正することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

１０ 運転支援装置
１１ カメラ
１２ 運転支援ＥＣＵ
１３ 記憶部
１４ 表示部
１５ スピーカ
２１ 画像情報入力部
２２ 運転者情報取得部
２３ 場面特定部
２４ 運転技術判別部
２５ 支援情報提示部
５１ 自車位置特定装置
５２ 自車位置情報入力部

Claims (9)

1. 車両に設けられ、運転者および前記車両の周囲を撮影する撮像部と、
   前記運転者の撮像画像情報から前記運転者の視線移動情報を取得する運転者情報取得部と、
   前記車両の周囲画像情報を取得し、この周囲画像情報から前記車両の運転場面を特定する場面特定部と、
   前記視線移動情報および前記車両の運転場面の情報から、前記車両の運転場面における前記運転者の運転技術を判別する運転技術判別部と、
   を備えたことを特徴とする運転支援装置。
2. 前記運転技術判別部により判別された前記車両の運転場面における前記運転者の運転技術に応じて前記運転者に対して前記車両の運転場面ごとの運転支援情報を提示する支援情報提示部、
   をさらに備えた請求項１記載の運転支援装置。
3. 前記車両の運転場面ごとに所定の視線移動情報をあらかじめ記憶した記憶部、
   をさらに備え、
   前記運転技術判別部は、
   前記車両の運転場面ごとに、前記運転者情報取得部により取得された前記運転者の視線移動情報と前記記憶部に記憶された前記所定の視線移動情報とを比較し、前記運転者の視線移動情報と前記所定の視線移動情報とが異なっているほど前記運転者の運転技術が低いと判別する、
   請求項１または２に記載の運転支援装置。
4. 前記運転者技術判別部は、
   前記車両の運転場面ごとの前記運転者の視線移動情報と前記所定の視線移動情報との比較結果を前記記憶部に蓄積させ、この記憶部に蓄積した比較結果にもとづいて前記車両の運転場面ごとに前記運転者の運転技術を判別する、
   請求項３記載の運転支援装置。
5. 前記運転者技術判別部は、
   前記記憶部に蓄積した比較結果にもとづく前記車両の運転場面ごとの前記運転者の運転技術の判別結果にもとづいて、前記運転者の総合的な運転技術を判別する、
   請求項４記載の運転支援装置。
6. 前記支援情報提示部は、
   前記運転者の総合的な運転技術に応じて前記運転者に対して運転支援情報を提示する、
   請求項５記載の運転支援装置。
7. 前記運転者情報取得部は、
   前記運転者の撮像画像から前記運転者の前記視線移動情報、操舵情報および方向指示器操作情報を取得し、
   前記場面特定部は、
   前記車両の周囲画像情報、前記運転者の前記操舵操作情報および前記方向指示器操作情報から前記車両の運転場面を特定する、
   請求項１ないし６のいずれか１項に記載の運転支援装置。
8. 車両の運転者および前記車両の周囲を撮影するステップと、
   前記運転者の撮像画像情報から前記運転者の視線移動情報を取得するステップと、
   前記車両の周囲画像情報を取得し、この周囲画像情報から前記車両の運転場面を特定するステップと、
   前記視線移動情報および前記車両の運転場面の情報から、前記車両の運転場面における前記運転者の運転技術を判別するステップと、
   を有することを特徴とする運転支援方法。
9. 前記運転者の運転技術を判別するステップにより判別された前記車両の運転場面における前記運転者の運転技術に応じて前記運転者に対して運転支援情報を提示するステップ、
   をさらに有する請求項８記載の運転支援方法。

Images