JP5282612B2 - 情報処理装置及び方法、プログラム、並びに情報処理システム - Google Patents

Description

本発明は、情報処理装置及び方法、プログラム、並びに情報処理システムに関し、特に、少ない情報量で、車両の運転状況を確認できるようにした情報処理装置及び方法、プログラム、並びに情報処理システムに関する。

従来より、車両の運転状況を記録するドライブレコーダなどの装置が提案されている。

また、特許文献１には、車両の運転中の情報をリアルタイムで受信して、その情報の解析結果に基づいた注意通知を発信する車両運転状況監視システムが開示されている。

特開２００５−２９３０３２号公報

しかしながら、従来の技術であると、運転中の車両における車内外の情報を画像として残す場合には、情報量の多い画像データを保存する必要があるため、保存すべきデータの情報量が多くなるという問題がでてくる。

本発明はこのような状況に鑑みてなされたものであり、少ない情報量で、車両の運転状況を確認できるようにするものである。

本発明の情報処理装置は、車両に搭載される情報処理装置において、運転者の顔画像から得られる特徴量である顔情報を取得する顔情報取得手段と、前記車両の走行状態に関する走行状態情報を取得する走行状態情報取得手段と、取得された前記顔情報と前記走行状態情報とを関連付けて保存する情報保存手段と、保存されている前記顔情報に対応するアバタと、前記顔情報から得られる数値情報とを同時に、前記顔情報に関連付けられた前記走行状態情報とともに再生する情報再生手段とを備える。

本発明の情報処理装置においては、運転者の顔画像から得られる特徴量である顔情報が取得され、車両の走行状態に関する走行状態情報が取得され、取得された顔情報と走行状態情報とが関連付けて保存され、保存されている顔情報に対応するアバタと、顔情報から得られる数値情報とが同時に、顔情報に関連付けられた走行状態情報とともに再生される。

したがって、少ない情報量で、車両の運転状況を確認できる。

情報処理装置は、例えば、車両に搭載される車載装置として構成される。

顔情報取得手段は、例えば、CPU（Central Processing Unit）などにより実行されるプログラムに含まれる顔情報取得部により構成される。顔情報取得部は、運転者の顔画像から得られる特徴量である顔情報を取得する。例えば、顔情報は、顔の位置や向き、目の開閉状態や視線といった、運転者の顔の各器官の特徴に関する情報である。

これにより、例えば、脇見運転や居眠り運転などの運転者の運転状況を再現できる。

走行状態情報取得手段は、例えば、CPUなどにより実行されるプログラムに含まれる走行状態情報取得部により構成される。走行状態情報取得部は、車両の走行状態に関する走行状態情報を取得する。例えば、走行状態情報は、走行位置や走行時刻等の車両の走行に関する情報、エンジンの始動と停止、ライトやウインカの点灯の有無、ブレーキやアクセル、ハンドル等の運転者の操作に関する情報、速度センサや加速度センサにより検出される速度や加速度等の速度情報、気温センサや湿度センサにより検出される気温や湿度等の環境情報、あるいは、事故検出センサにより検出される事故の発生等のイベント情報などの情報である。

これにより、例えば、走行位置の地図や自車の車外の様子などの運転状況を再現できる。

情報保存手段は、例えば、不揮発性の半導体メモリやハードディスクなどで構成される情報保存部により構成される。情報保存部は、顔情報と走行状態情報とを関連付けて保存する。

これにより、例えば、顔情報と走行状態情報とが時系列に対応付けられて保存され、さらに、画像そのものを保存する場合と比して、少ない情報量で、車両の運転状況情報を保存することができる。

情報再生手段は、例えば、CPUなどにより実行されるプログラムに含まれる情報再生部により構成される。情報再生部は、情報保存部に保存されている顔情報に対応するアバタと、顔情報から得られる数値情報とが同時に、顔情報に関連付けられた走行状態情報とともに再生する。

これにより、例えば、事故時の運転状況などを再生して、再現することが可能となる。また、運転状況を再現する際に、顔で個人を特定できないようにしたい場合も考えられるが、顔画像の代わりにアバタを表示させることで、そのような場合でも、運転者のプライバシーに配慮できる。

アバタには、顔情報に基づいた顔の位置及び向き、並びに目の開閉状態及び視線を表情として有するようにすることができる。

これにより、実際の運転者の顔の向きや目の状態と同じ表情をしたアバタが表示されるので、脇見中の顔や居眠り中の顔がリアルに再現されるので、その様子を直感的に認識できる。

運転者の外見又は個人情報に関する運転者情報を取得する運転者情報取得手段をさらに設けることができ、情報保存手段には、取得された運転者情報と、顔情報とをさらに関連付けて保存させ、情報再生手段には、保存されている顔情報を、関連付けられた走行状態情報及び運転者情報とともに再生させることができる。

運転者情報取得手段は、例えば、CPUなどにより実行されるプログラムに含まれる運転者情報取得部により構成される。運転者情報取得部は、運転者の外見又は個人情報に関する運転者情報を取得する。例えば、運転者情報は、例えば、眼鏡やマスクの有無、肌や目の色（人種）などの運転者の画像を解析して得られる情報である。

これにより、運転者の容姿がリアルに再現される。

本発明の情報処理方法は、車両に搭載される情報処理装置の情報処理方法において、運転者の顔画像から得られる特徴量である顔情報を取得し、前記車両の走行状態に関する走行状態情報を取得し、取得された前記顔情報と前記走行状態情報とを関連付けて保存し、保存されている前記顔情報に対応するアバタと、前記顔情報から得られる数値情報とを同時に、前記顔情報に関連付けられた前記走行状態情報とともに再生するステップを含む。

本発明の情報処理方法においては、運転者の顔画像から得られる特徴量である顔情報が取得され、車両の走行状態に関する走行状態情報が取得され、取得された顔情報と走行状態情報とが関連付けて保存され、保存されている顔情報に対応するアバタと、顔情報から得られる数値情報とが同時に、顔情報に関連付けられた走行状態情報とともに再生される。

したがって、少ない情報量で、車両の運転状況を確認できる。

顔情報取得ステップは、運転者の顔画像から得られる特徴量である顔情報を取得するステップから構成され、走行状態情報取得ステップは、車両の走行状態に関する走行状態情報を取得するステップから構成され、情報保存ステップは、取得された顔情報と走行状態情報とを関連付けて保存するステップから構成され、情報再生ステップは、保存されている顔情報に対応するアバタと、顔情報から得られる数値情報とが同時に、顔情報に関連付けられた走行状態情報とともに再生するステップから構成される。

本発明のプログラムは、車両に搭載される機器を制御するコンピュータに実行させるプログラムであって、運転者の顔画像から得られる特徴量である顔情報を取得し、前記車両の走行状態に関する走行状態情報を取得し、取得された前記顔情報と前記走行状態情報とを関連付けて保存し、保存されている前記顔情報に対応するアバタと、前記顔情報から得られる数値情報とを同時に、前記顔情報に関連付けられた前記走行状態情報とともに再生するステップを含む。

本発明のプログラムは、所定の記録媒体に記録されて、例えば、ドライブにより読み出され、車載装置などの情報処理装置にインストールされる。記録媒体は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどにより構成される。

本発明の情報処理システムは、車両に搭載される第１の情報処理装置と、前記第１の情報処理装置とは異なる第２の情報処理装置からなる情報処理システムにおいて、前記第１の情報処理装置は、運転者の顔画像から得られる特徴量である顔情報を取得する顔情報取得手段と、前記車両の走行状態に関する走行状態情報を取得する走行状態情報取得手段と、取得された前記顔情報及び前記走行状態情報を、前記第２の情報処理装置に送信する送信手段とを備え、前記第２の情報処理装置は、前記第１の情報処理装置から送信されてくる、前記顔情報及び前記走行状態情報を受信する受信手段と、受信された前記顔情報と前記走行状態情報とを関連付けて保存する情報保存手段と、保存されている前記顔情報に対応するアバタと、前記顔情報から得られる数値情報とを同時に、前記顔情報に関連付けられた前記走行状態情報とともに再生する情報再生手段とを備える。

本発明の情報処理システムにおいては、第１の情報処理装置では、運転者の顔画像から得られる特徴量である顔情報が取得され、車両の走行状態に関する走行状態情報が取得され、取得された顔情報及び走行状態情報が、第２の情報処理装置に送信され、第２の情報処理装置では、第１の情報処理装置から送信されてくる、顔情報及び走行状態情報が受信され、受信された顔情報と走行状態情報とが関連付けて保存され、保存されている顔情報に対応するアバタと、顔情報から得られる数値情報とが同時に、顔情報に関連付けられた走行状態情報とともに再生される。

したがって、少ない情報量で、車両の運転状況を確認できる。

送信手段は、例えば、アンテナを含む送受信ユニットなどにより構成される送信部により構成される。送信部は、取得された顔情報及び走行状態情報を、第２の情報処理装置に送信する。

受信手段は、例えば、無線若しくは有線のNIC、又はモデムなどにより構成される受信部により構成される。受信部は、第１の情報処理装置から送信されてくる、顔情報及び走行状態情報を受信する。

これにより、車載装置側で運転状況情報を保存する必要がなくなるため、車載装置の負担をさらに低減することができる。

以上のように、本発明によれば、少ない情報量で、車両の運転状況を確認できる。

車載装置のハードウェアの構成の例を示す図である。 図１の車載装置の機能的構成例を示す図である。 運転状況情報の保存処理を説明するフローチャートである。 運転状況情報の再生処理を説明するフローチャートである。 運転状況画面の構成例を示す模式図である。 図１の車載装置の機能的構成例の他の構成を示す図である。 運転状況情報をサーバに保存する場合における運転状況情報の保存再生処理を説明するフローチャートである。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１は、車載装置のハードウェアの構成の例を示す図である。

車載装置１は、例えば、乗用車、バス、電車、その他の車両に搭載され、運転状況に関する情報（以下、運転状況情報という）を取得して保存し、その後、保存された運転状況情報を再生する機器である。

車載装置１は、CPU（Central Processing Unit）１１、ROM（Read Only Memory）１２、RAM（Random Access Memory）１３、CCD（Charge Coupled Device）カメラ１５、画像入力部１６、記録部１７、LCD（Liquid Crystal Display）表示部１８、タッチパネル操作部１９、入力部２０、及び通信部２１から構成される。また、これらのブロックはCPUバス１４を介して相互に接続されている。

CPU１１は、車載装置１の各部を制御する。車載装置１において、CPU１１は、ROM１２に記録されているプログラム、又は記録部１７からRAM１３にロードされたプログラムにしたがって各種の処理を実行する。RAM１３にはまた、CPU１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CCDカメラ１５及び画像入力部１６は、CPU１１の制御の基に、ユーザの操作に応じた各種撮像に関する処理を行う。CCDカメラ１５は、例えば、レンズなどの光学系、CCDなどの撮像素子、映像信号の処理を行う映像信号回路などから構成される。CCDカメラ１５は、撮像した画像を画像データに変換し、変換した画像データを画像入力部１６に供給する。

画像入力部１６は、CCDカメラ１５から供給される画像データを、記録部１７に記録するのに適した方式に変換するなどの処理を行い、CPUバス１４を介して記録部１７に供給して、記録させる。

記録部１７は、画像入力部１６から供給される画像データを記録する。これにより、例えば、CCDカメラ１５により撮像された被写体の画像が、記録部１７に記録される。また、記録部１７には、CPU１１により処理された各種のデータも記録される。

LCD表示部１８は、CPU１１の制御を基に、記録部１７に記録されたデータに対応する情報を表示する。

タッチパネル操作部１９は、LCD表示部１８を透過するようになされており、LCD表示部１８の画面に表示された操作画面のボタンなどを選択するユーザの操作を受け付けて、その操作位置の位置を示す信号（以下、操作信号という）をCPU１１に供給する。CPU１１は、タッチパネル操作部１９から供給される操作信号を基に、各種の処理を実行する。

入力部２０は、例えば、CAN（Controller Area Network）などの車載LAN（Local Area Network）により車両内の他の機器と接続され、接続された他の機器から入力されてくる情報をCPU１１に供給する。

通信部２１は、CPU１１の制御を基に、有線または無線により、例えば、インターネットなどのネットワークや、無線電話通信網に接続され、外部の機器とのデータの授受を行う。

CPUバス１４にはまた、必要に応じてドライブ２２が接続され、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２３が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、例えば、ROM１２や記録部１７などにインストールされる。

なお、車載装置１のハードウェアの構成は、図１の例に限定されず、後述する図２の機
能的構成を少なくとも有していればよい。

図２は、図１の車載装置１の機能的構成例を示すブロック図である。

車載装置１は、画像取得部５０、走行状態情報入力部５１、顔情報取得部５２、運転者情報取得部５３、走行状態情報取得部５４、情報保存部５５、情報再生部５６、アバタ情報保存部５７、表示部５８、制御部６１、及び操作部６２から構成される。

なお、本実施の形態では、車載装置１は、上述した図１のハードウェア構成を有しているので、顔情報取得部５２、運転者情報取得部５３、走行状態情報取得部５４、及び情報再生部５６は、例えば、プログラムを実行するCPU１１により実現される。

また、画像取得部５０は、図１のCCDカメラ１５及び画像入力部１６に相当し、走行状態情報入力部５１は、各種のセンサが接続されている図１の入力部２０に相当する。情報保存部５５及びアバタ情報保存部５７は、図１の記録部１７に相当し、表示部５８は、図１のLCD表示部１８に相当する。さらにまた、制御部６１は、図１のCPU５１に相当し、操作部６２は、図１のタッチパネル操作部１９に相当する。

ただし、顔情報取得部５２、運転者情報取得部５３、走行状態情報取得部５４、又は情報再生部５６は、ハードウェアとして構成することもできるし、ソフトウェアとハードウェアとの組み合わせとして構成することもできる。

画像取得部５０は、被写体である運転者の画像に対応する画像データを生成し、画像を取得する。画像取得部５０は、生成した画像データを、顔情報取得部５２及び運転者情報取得部５３に供給する。

また、画像取得部５０は、走行中の車外の画像（例えば、自車の前方の画像）に対応する画像データを生成し、その画像データを走行状態情報取得部５４に供給する。

走行状態情報入力部５１には、例えば、ブレーキやアクセル、ハンドル等の運転者の操作に関する情報、運転中の車両の速度や加速度等の速度情報などの走行中の車両の状態に関する情報が入力される。走行状態情報入力部５１は、それらの車両の走行状態に関する情報（以下、走行状態情報という）を走行状態情報取得部５４に供給する。

顔情報取得部５２は、画像取得部５０から供給される画像データに対して、所定の顔画像抽出処理を施すことにより、運転者の顔画像を抽出し、抽出された顔画像から得られる特徴量（以下、顔情報という）を取得する。

ここで、顔画像の抽出方法としては、画像取得部５０からの画像データに対応する画像から、運転者の頭部の画像を抽出する方法がある。例えば、頭部は楕円状の形状をしているので、この楕円状となる画像を頭部として抽出することにより、顔画像が抽出される。なお、頭部の抽出方法は、この楕円状を抽出する方法以外であってもよく、例えば、顔の下側の輪郭線と類似した形状の画像を抽出したり、濃淡のパターンを用いて抽出する方法などもある。要は、画像取得部５０からの画像データに対応する画像から、頭部の画像を抽出できればよく、その抽出方法は、何れの方法であってもよい。

また、顔情報の取得方法であるが、例えば、次の方法により取得される。すなわち、抽出された顔画像（頭部の画像）から、運転者の、例えば、目、鼻、口、眉、耳、髪などの器官や顔の輪郭などの画像を抽出し、それらの器官の画像から、顔の位置や向き、目の開閉状態や視線といった、運転者の顔の各器官の特徴に関する情報を検出することで、顔情報が取得される。なお、器官の画像を抽出する際に、全ての器官の画像を抽出する必要はなく、例えば、目と鼻のみで運転者の顔の向きが判別できるのであれば、顔画像から目と鼻の画像のみを抽出するなど、器官の一部だけを抽出してもよい。要は、顔画像から、顔情報が取得できればよく、その取得方法は、何れの方法であってもよい。

以上のようにして取得された、例えば、顔の位置や向き等の特徴量である顔情報は、情報保存部５５に供給される。

運転者情報取得部５３は、画像取得部５０から供給される画像データに対応する画像に所定の画像処理を施し、それにより得られる運転者の外見に関する情報（以下、運転者情報という）を取得する。

この運転者情報としては、例えば、眼鏡やマスクの有無、肌や目の色（人種）などの運転者の画像を解析して得られる情報が取得される。これらの情報は、上述した方法と同様に、顔画像から、眼鏡やマスク等の所定の物体の画像を検出したり、目の画像を抽出してその色を解析したりすることで取得される。

また、運転者情報取得部５３は、操作部６２により操作入力された、例えば、運転者の氏名、性別、若しくは年齢、又は運転免許証に記載された事項などの運転者の個人情報を、運転者情報として取得する。

以上のようにして取得された、運転者の外見や個人情報に関する運転者情報は、情報保存部５５に供給される。

走行状態情報取得部５４には、画像取得部５０から供給される画像データと、走行状態情報入力部５１からの走行状態情報が入力される。

走行状態情報取得部５４は、画像取得部５０からの走行中の車外の画像に対応する画像データに対し、所定の画像処理を行うことで、シーンの解析を行う。このシーン解析の内容であるが、例えば、先行車や対向車の検出、歩行者や障害物などの検出、車線や道路領域の検出等であり、これらのシーン解析により検出された情報が走行状態情報として取得される。なお、この走行状態情報は、シーン解析をする代わりに、所定のセンサからの情報により取得してもよい。

また、走行状態情報取得部５４は、走行状態情報入力部５１からの走行状態情報を取得する。この走行状態情報としては、例えば、GPS（Global Positioning System）により特定される走行位置や走行時刻等の車両の走行に関する情報、エンジンの始動と停止、ライトやウインカの点灯の有無、ブレーキやアクセル、ハンドル等の運転者の操作に関する情報、速度センサや加速度センサにより検出される速度や加速度等の速度情報、気温センサや湿度センサにより検出される気温や湿度等の環境情報、事故検出センサにより検出される事故の発生等のイベント情報、あるいは、運転時間やドライブレコーダなどの情報が取得される。

以上のようにして取得された走行状態情報は、情報保存部５５に供給される。

情報保存部５５には、顔情報取得部５２からの顔情報、運転者情報取得部５３からの運転者情報、及び走行状態情報取得部５４からの走行状態情報が供給される。

情報保存部５５は、顔情報と、運転者情報及び走行状態情報とを関連付けて保存する。例えば、顔情報と走行状態情報は、時系列に対応付けられて保存され、運転者情報は、顔情報と対応付けて保存される。

なお、運転者情報と走行状態情報は、運転者の顔情報に関連付けられて保存されるものであるので、以下、それらの２つの情報を特に区別する必要がない場合、関連情報と称して説明する。また、顔情報、運転者情報、及び走行状態情報は、運転状況を示す情報であるので、以下、それらの３つの情報を特に区別する必要がない場合、運転状況情報と称して説明する。

情報再生部５６は、情報保存部５５に保存されている顔情報と、その顔情報と関連付けられた関連情報を読み出し、読み出した顔情報を、関連付けられた関連情報とともに再生し、表示部５８に表示させる。

アバタ情報保存部５７には、顔情報及び運転者情報に対応するアバタに関する情報（以下、アバタ情報という）が保存されている。このアバタ情報は、例えば、顔の位置や向き、目の開閉状態や視線といった運転者の顔の各器官の特徴を示す顔情報に対応する顔の表情を表現可能な情報となる。また、アバタ情報保存部５７には、例えば、車内や自車の前方の様子、あるいは地図などの運転状況を表現するための各種の素材情報も保存されている。

情報再生部５６は、アバタ情報保存部５７から、情報保存部５５から読み出した顔情報及び運転者情報に対応するアバタ情報と、走行状態情報に対応する素材情報とを読み出す。情報再生部５６は、読み出したアバタ情報及び素材情報に基づいて、運転状況を示した画面（以下、運転状況画面という）を生成し、表示部５８に表示させることにより再生する。

なお、例えば、眼鏡やマスク等の運転者情報が取得されず、運転者情報に対応するアバタ情報を再生する必要がない場合には、顔情報に対応するアバタ情報のみが再生される。

また、本実施の形態においては、説明を分かり易くするため、顔情報及び運転者情報は、運転者のものだけを取得する例について説明するが、運転者以外の他の同乗者のものを取得するようにしても勿論よく、同乗者の情報を取得した場合、その情報は、運転者の情報と同様に処理される。

以上のようにして、車載装置１は構成される。

次に、車載装置１の動作について説明する。

はじめに、図３のフローチャートを参照して、運転状況情報の保存処理について説明する。

ステップＳ１１において、顔情報取得部５２は、画像取得部５０からの画像データに所定の画像処理を施して、顔情報を取得する。

ステップＳ１２において、運転者情報取得部５３は、画像取得部５０からの画像データに所定の画像処理を施して得られる運転者の外見に関する情報と、操作部６２により操作入力された運転者の個人情報を、運転者情報として取得する。また、走行状態情報取得部５４は、画像取得部５０からの画像データを、シーン解析して得られる情報と、走行状態情報入力部５１からの情報を、走行状態情報として取得する。

これにより、運転者情報取得部５３及び走行状態情報取得部５４が、運転者情報と走行状態情報をそれぞれ取得することによって、関連情報が取得されたことになる。

ステップＳ１３において、情報保存部５５は、顔情報取得部５２により取得された顔情報と、走行状態情報取得部５４により取得された走行状態情報とを時系列に対応付けて保存する。また、情報保存部５５は、顔情報取得部５２により取得された顔情報と、運転者情報取得部５３により取得された運転者情報とを対応付けて保存する。

これにより、顔情報と関連情報とが関連付けられて保存されたことになる。

ステップＳ１４において、制御部６１は、操作部６２からの操作信号に基づいて、運転状況情報の取得を終了するか否かを判定する。

ステップＳ１４において、運転状況情報の取得を続行すると判定された場合、ステップＳ１１に戻り、運転状況情報の取得を終了する（ステップＳ１４の「Ｙｅｓ」）と判定されるまで、上述したステップＳ１１ないしＳ１４の処理が繰り返される。これにより、情報保存部５５には、顔情報と関連情報とが時系列で順次保存され、運転状況情報が蓄積される。

一方、ステップＳ１４において、運転状況情報の取得を終了すると判定された場合、図３の運転状況情報の保存処理は終了する。

以上のようにして、情報保存部５５には、顔情報、運転者情報、及び走行状態情報からなる運転状況情報が関連付けられて保存される。

このように、情報量の多い運転中の車内外の映像や顔画像の画像データを保存する代わりに、運転状況情報を保存することにより、それらの画像をそのまま残す場合と比べて情報量を減らすことができる。また、保存された運転状況情報を後から解析する場合には、運転状況情報に対して、所定の数値処理を施すことにより、効率的な解析作業を行うことが可能となる。

次に、このようにして保存された運転状況情報を再生する再生処理について、図４のフローチャートを参照して説明する。

ステップＳ２１において、制御部６１は、操作部６２からの操作信号に基づいて、運転状況情報の再生が指示されたか否かを判定する。

ステップＳ２１において、運転状況情報の再生が指示されていないと判定された場合、運転状況情報の再生が指示された（ステップＳ２１の「Ｙｅｓ」）と判定されるまで、ステップＳ２１の判定処理が繰り返される。

一方、ステップＳ２１において、運転状況情報の再生が指示されたと判定された場合、ステップＳ２２に進む。また、このとき、再生したい運転状況情報を特定するための再生条件も指定される。この再生条件は、例えば、日付時刻や運転者名、走行位置などの再生する運転状況情報を絞り込むための条件となる。

ステップＳ２２において、情報再生部５６は、指定された再生条件に基づいて、情報保存部５５に保存されている顔情報と関連情報を読み出す。また、情報再生部５６は、ステップＳ２３において、情報保存部５５から読み出した顔情報及び運転者情報に対応するアバタ情報と、走行状態情報に対応する素材情報を、アバタ情報保存部５７から読み出す。

ステップＳ２４において、情報再生部５６は、アバタ情報保存部５７から読み出した顔情報と運転者情報に対応するアバタ情報、及び走行状態情報に対応する素材情報に基づいて、指示された再生条件に応じた運転状況画面を生成する。

ステップＳ２５において、情報再生部５６は、生成した運転状況画面を表示部５８に表示させて、運転状況画面を再生する。

図５は、再生中の運転状況画面の構成例を示す模式図である。

図５に示すように、顔情報表示領域７１には、例えば、「脇見中」の運転者の顔がアバタにより表示される。このアバタは、「脇見中」の運転者を表しているので、図中の正面ではなく、斜め下方向を向いて脇見したものとなる。さらに、運転者の右目の視線の方向を示す矢印である視線Ｉ_Ｒと、左目の視線の方向を示す矢印である視線Ｉ_Ｌとがアバタの目の位置に重畳して表示され、右目の開閉度を表すグラフＧ_Ｒと、左目の開閉度を表すグラフＧ_Ｌとがアバタの目の上側の位置に重畳して表示される。

すなわち、顔情報には、顔の位置や向き、目の開閉状態や視線といった運転者の顔の各器官の特徴に関する特徴量が含まれているので、それらの特徴量に応じたアバタ情報が読み出され、表示される。別の例として、例えば、それらの特徴量により運転者が居眠りをしていると判別された場合には、目を閉じて居眠りをしている顔のアバタが表示される。

また、運転者の顔のアバタとともに、その運転者の視線や目の開閉状態を数値化して、視線の矢印や目の開閉度のグラフなどで表すことで、例えば、顔情報表示領域７１には、脇見中の運転者のアバタを表示しているが、その脇見の様子を直感的に認識できる。

なお、アバタの肌や目の色は、運転者情報に基づいて決定され、また、仮に、眼鏡やマスクをしている運転者である場合には、眼鏡やマスク等のアバタも表示されることになる。また、運転者情報に基づいた運転者の氏名、性別、年齢などを表示してもよい。

走行状態情報表示領域７２Ａには、例えば、走行状態情報に基づいて、顔情報表示領域７１に表示されたアバタの運転者により運転された車両の走行位置が、素材情報から得られる地図により表される。この地図により、上記の脇見中の運転者により運転された図中の矢印Ｃで示す自動車（自車）が、現在、「○○県××市□□町」を走行中であって、道路幅の広い幹線道路の交差点に向かって走行していることが分かる。

走行状態情報表示領域７２Ｂには、例えば、走行状態情報に基づいて、走行状態情報表示領域７２Ａの矢印Ｃで示す自車の車外の様子を示す情報が、素材情報から得られる画像により表示される。この画像により、車内の運転席側から見た自車の前方の様子が再現され、この例では、自車の前方にはトラックが走行していることが分かる。

走行状態情報表示領域７３には、走行状態情報に基づいて、走行状態情報表示領域７２Ａの矢印Ｃで示す自車における運転者の操作情報や速度情報などが表示される。これらの情報としては、例えば、ライトとウインカの点灯の有無、シフトレバーの位置、アクセルとブレーキの使用状況、及び自車の速度などが表示される。この例では、走行状態情報表示領域７２Ａの矢印Ｃの地点を走行中の自車においては、ライトが消灯され、右ウインカが点灯され、シフトレバーがＤ（ドライブ）の位置にあり、アクセルペダルが約半分踏み込まれ、ブレーキペダルが踏まれておらず、さらに、速度35km/hで走行中であることが分かる。

このように、顔情報表示領域７１、走行状態情報表示領域７２Ａ，７２Ｂ，７３により、指定した条件での運転状況がアニメーションのように再現されるので、例えば、図５の場合、矢印Ｃの地点を走行中の自車は、速度35km/hで走行中であって、次の交差点を右折しようとしているが、運転者は脇見運転をしている、といったことが分かる。また、この画面では、自車を運転していた運転者の顔がアバタで表されるため、運転者のプライバシーが保護されている。

また、再生操作部７４により、運転状況画面に表示される情報の再生、停止、早送り、巻き戻しなどの操作が可能である。これにより、目的の運転状況を迅速に確認できるとともに、重要なシーンについては、繰り返し再生するなどして、必要な情報を確実に入手できる。

なお、走行状態情報表示領域７２Ａ，７２Ｂ，７３に表示した情報は、走行状態情報に基づいて表示可能な情報の一例であって、勿論、走行状態情報により表示可能な他の情報を表示させることが可能である。

また、顔情報をアバタで表示させる以外にも、顔情報に対応するテキスト情報や音声などにより、運転者の運転状況を通知してもよい。さらに、運転者のプライバシーを考慮する必要がない場合には、アバタに対し、保存しておいた運転者本人の顔画像を添付したものや、本人の画像そのものを表示するようにしてもよい。

以上のように、情報再生部５６によって、情報保存部５５に保存された運転状況情報に基づいた運転状況画面が再生される。

これにより、例えば、事故時の運転状況を運転状況画面により再現して、その様子を後から詳細に把握することが可能となる。また、保存された運転状況情報を利用する際に、例えば、不特定多数で共有して利用したり、統計処理のために第三者が利用したりするなどで、運転状況画面に表示される顔で個人を特定できないようにしたい場合も考えられるが、顔画像の代わりにアバタを表示させることで、そのような場合でも、運転者のプライバシーに配慮できる。

ところで、上述した運転状況情報は、車載装置１で保存せずに、例えば、データセンタ内に設置される専用のサーバなどの外部の他の機器に保存させて、車載装置１以外の機器に再生させることも可能である。その場合、図２の構成のうち、画像取得部５０ないし走行状態情報取得部５４は、車載装置１側に設けられ、情報保存部５５ないし表示部５８は、サーバ側に設けられる。かかる構成の例が図６に示されている。

なお、図６において、図２と同一の箇所には同一の符号が付されており、処理が同じ箇所については、繰り返しになるのでその説明は省略する。

図６に示すように、顔情報取得部５２、運転者情報取得部５３、及び走行状態情報取得部５４により取得される運転状況情報は、送信部８１に供給される。

送信部８１は、図１の通信部２１に相当するものであり、顔情報取得部５２ないし走行状態情報取得部５４からの運転状況情報を、ネットワーク３を介して、不図示のデータセンタ内に設置されたサーバ２に送信する。

サーバ２は、受信部９１、情報保存部９２、情報再生部９３、アバタ情報保存部９４、表示部９５、制御部９６、及び操作部９７から構成される。

受信部９１は、ネットワーク３を介して車載装置１から送信されてくる運転状況情報を受信し、情報保存部９２に保存させる。これにより、情報保存部９２においては、車載装置１側で取得された運転状況情報のうち、例えば、顔情報と走行状態情報とが時系列に対応付けられて保存され、運転者情報が顔情報と対応付けられて保存される。

なお、情報保存部９２ないし表示部９５は、図２の情報保存部５５ないし表示部５８に対応している。

次に、図７のフローチャートを参照して、図６の構成、すなわち、車載装置１で取得された運転状況情報をサーバ２に保存する場合における運転状況情報の保存再生処理について説明する。

図７において、ステップＳ３１ないしＳ３４の処理は、車載装置１により実行され、ステップＳ４１ないしＳ４７の処理は、サーバ２により実行される。

車載装置１側では、ステップＳ３１及びＳ３２において、図３のステップＳ１１及びＳ１２と同様に、顔情報取得部５２ないし走行状態情報取得部５４によって、運転状況情報（顔情報と関連情報）が取得される。

ステップＳ３３において、送信部８１は、顔情報取得部５２ないし走行状態情報取得部５４により取得された運転状況情報を、ネットワーク３を介してサーバ２に送信する。

ステップＳ３４において、図３のステップＳ１４と同様に、運転状況情報の取得を終了するか否かの判定処理が行われる。すなわち、運転状況情報の取得を終了すると判定されるまで、運転状況情報が順次取得され、その運転状況情報が、ネットワーク３を介して、車載装置１からサーバ２に送信され続ける。

一方、サーバ２側では、ステップＳ４１において、受信部９１は、ネットワーク３を介して車載装置１から送信されてくる運転状況情報を受信し、情報保存部９２に供給する。そして、ステップＳ４２において、図３のステップＳ１３と同様に、情報保存部９２によって、車載装置１から送信されてくる運転状況情報が保存される。例えば、情報保存部９２においては、顔情報と走行状態情報とが時系列に対応付けられて保存され、さらに、顔情報と運転者情報とが対応付けられて保存される。

ステップＳ４３ないしＳ４７において、図４のステップＳ２１ないしＳ２５と同様に、情報保存部９２ないし表示部９５によって、運転状況情報の再生が指示された場合、指示された再生条件に応じた、例えば、図５の運転状況画面などの画面が生成され、再生される。

以上のように、車載装置１側で取得された運転状況情報がサーバ２に保存され、サーバ２側において、保存された運転状況情報が再生される。この図６の構成を採用することで、車載装置１側で運転状況情報を保存する必要がないため、車載装置１の負担がさらに低減される。

また、図６の構成では、サーバ２に保存された運転状況情報を、サーバ２自身が再生するとして説明したが、運転状況情報を再生するのはサーバ２に限らず、サーバ２に接続可能な他の機器であってもよい。すなわち、例えば、携帯電話機やパーソナルコンピュータなどの端末機器によって、サーバ２に保存された運転状況情報が受信され、再生されるようにしてもよい。

またその運転状況情報を利用する者としては、運転者自身や、その家族の他、警察、保険会社、又は自動車教習所等の第三者や、不特定多数で共有する場合が考えられる。これらの者により用いられる運転状況情報の使用例としては、例えば、下記の（ａ）から（ｅ）に示すようなものがある。

（ａ）安全運転度のポイント集計での利用
走行状態情報に基づいて計算される安全運転度のポイントを貯めて、個人別や他人とのランキングを集計する。このとき、顔情報により脇見運転や居眠り運転等が認識された場合には、安全運転度のポイントを減じる。
例えば、自動車保険を取り扱う会社は、自動車保険加入者の日頃の安全運転度のポイントに応じて保険の掛け金を決定する。
なお、この運転安全度のポイントに応じて、運転者のアバタを育ててもよい。

（ｂ）自動車教習所での利用
自動車教習所において、教習車での走行後、その走行中に保存された運転状況情報に基づいた運転状況画面を再生し、教習生の運転の復習に用いる。この場合、教官が運転状況画面を見ながら教習生を評価し、指導を行うといったことも可能である。

（ｃ）場所の特定での利用
顔情報により脇見運転や居眠り運転が認識された場合、それらの行為が行われた時点に走行していた位置をGPSなどにより特定し、その位置（場所）を共有する。
例えば、道路の整備を行う際に、脇見運転や居眠り運転が行われ易い場所に、運転者に対して注意を促す看板（標識）などを設置することで、それらの行為に起因して発生する事故を未然に防止することが可能となる。また、運転中に脇見をする夜景スポットの場所を特定し、共有することもできる。また、脇見運転や居眠り運転が頻繁に発生する場所を取り締まるなど、警察の取り締まり場所の選択にも利用できる。

（ｄ）広く一般を対象とした利用
例えば、顔情報により脇見運転や居眠り運転が認識された場合、それらの行為を警察に通報する。また、警察の取り締まり時に、顔情報により「一時停止をして左右を目視確認したかどうか」等を確認し、罰金の多寡を決定する。
自動車事故が発生した場合、事故を起こした互いの自動車に保存してある運転状況情報を比較解析し、例えば、事故の過失割合に反映させる。
走行状態情報により地球環境を配慮した低燃費な運転（いわゆるエコドライブ）をしている運転者を特定し、その自動車の自動車税を割り引いて優遇する。

（ｅ）個人的な利用
家族で同じ自動車を共用している場合、運転状況画面により、他の人の運転を確認する。また、顔情報取得部５２を運転席以外の他の席にも設けることで、チャイルドシートに座っている子供を確認できる。
交通事故の裁判の証拠物件として、運転状況情報を提出することができる。
自動車の運転に優れた者による運転の状況を、運転状況情報として保存し、その運転中の目線等を再現し、教習などに利用する。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク、光磁気ディスク、若しくは半導体メモリなどよりなる図１のリムーバブルメディア２３により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されている図１のROM１２や記録部１７などで構成される。

また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 車載装置
２ サーバ
３ ネットワーク
５０ 画像取得部
５１ 走行状態情報入力部
５２ 顔情報取得部
５３ 運転者情報取得部
５４ 走行状態情報取得部
５５ 情報保存部
５６ 情報再生部
５７ アバタ情報保存部
５８ 表示部
６１ 制御部
６２ 操作部
８１ 送信部
９１ 受信部
９２ 情報保存部
９３ 情報再生部
９４ アバタ情報保存部
９５ 表示部
９６ 制御部
９７ 操作部

Claims (6)

1. 車両に搭載される情報処理装置において、
   運転者の顔画像から得られる特徴量である顔情報を取得する顔情報取得手段と、
   前記車両の走行状態に関する走行状態情報を取得する走行状態情報取得手段と、
   取得された前記顔情報と前記走行状態情報とを関連付けて保存する情報保存手段と、
   保存されている前記顔情報に対応するアバタと、前記顔情報から得られる数値情報とを同時に、前記顔情報に関連付けられた前記走行状態情報とともに再生する情報再生手段と
   を備えることを特徴とする情報処理装置。
2. 前記アバタは、前記顔情報に基づいた顔の位置及び向き、並びに目の開閉状態及び視線を表情として有している
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記運転者の外見又は個人情報に関する運転者情報を取得する運転者情報取得手段をさらに備え、
   前記情報保存手段は、取得された前記運転者情報と、前記顔情報とをさらに関連付けて保存し、
   前記情報再生手段は、保存されている前記顔情報を、関連付けられた前記走行状態情報及び前記運転者情報とともに再生する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 車両に搭載される情報処理装置の情報処理方法において、
   運転者の顔画像から得られる特徴量である顔情報を取得し、
   前記車両の走行状態に関する走行状態情報を取得し、
   取得された前記顔情報と前記走行状態情報とを関連付けて保存し、
   保存されている前記顔情報に対応するアバタと、前記顔情報から得られる数値情報とを同時に、前記顔情報に関連付けられた前記走行状態情報とともに再生する
   ステップを含むことを特徴とする情報処理方法。
5. 車両に搭載される機器を制御するコンピュータに実行させるプログラムであって、
   運転者の顔画像から得られる特徴量である顔情報を取得し、
   前記車両の走行状態に関する走行状態情報を取得し、
   取得された前記顔情報と前記走行状態情報とを関連付けて保存し、
   保存されている前記顔情報に対応するアバタと、前記顔情報から得られる数値情報とを同時に、前記顔情報に関連付けられた前記走行状態情報とともに再生する
   ステップを含むプログラム。
6. 車両に搭載される第１の情報処理装置と、前記第１の情報処理装置とは異なる第２の情報処理装置からなる情報処理システムにおいて、
   前記第１の情報処理装置は、
   運転者の顔画像から得られる特徴量である顔情報を取得する顔情報取得手段と、
   前記車両の走行状態に関する走行状態情報を取得する走行状態情報取得手段と、
   取得された前記顔情報及び前記走行状態情報を、前記第２の情報処理装置に送信する送信手段と
   を備え、
   前記第２の情報処理装置は、
   前記第１の情報処理装置から送信されてくる、前記顔情報及び前記走行状態情報を受信する受信手段と、
   受信された前記顔情報と前記走行状態情報とを関連付けて保存する情報保存手段と、
   保存されている前記顔情報に対応するアバタと、前記顔情報から得られる数値情報とを同時に、前記顔情報に関連付けられた前記走行状態情報とともに再生する情報再生手段と
   を備えることを特徴とする情報処理システム。

Images