[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7531265B2 - 運転支援装置、運転支援方法および運転支援プログラム - Google Patents

運転支援装置、運転支援方法および運転支援プログラム Download PDF

Info

Publication number
JP7531265B2
JP7531265B2 JP2019107394A JP2019107394A JP7531265B2 JP 7531265 B2 JP7531265 B2 JP 7531265B2 JP 2019107394 A JP2019107394 A JP 2019107394A JP 2019107394 A JP2019107394 A JP 2019107394A JP 7531265 B2 JP7531265 B2 JP 7531265B2
Authority
JP
Japan
Prior art keywords
information
sound
subject
output
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019107394A
Other languages
English (en)
Other versions
JP2020201671A (ja
Inventor
培仁 田中
一樹 ▲高▼野
英裕 武田
亮 鷲塚
太郎 小田切
敏宏 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019107394A priority Critical patent/JP7531265B2/ja
Priority to CN202010466757.5A priority patent/CN112046497B/zh
Priority to US16/885,886 priority patent/US11332072B2/en
Publication of JP2020201671A publication Critical patent/JP2020201671A/ja
Application granted granted Critical
Publication of JP7531265B2 publication Critical patent/JP7531265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、運転支援装置等に関する。
近年、運転手の運転をサポートするために、各種の技術が車両に適応されている。たとえば、車両内にスピーカを設置しておき、車両に対象物が接近したことを検出すると、スピーカから警告音を出力して、運転手に注意喚起を行う従来技術がある。
特開2009-259102号公報 特開2009-78628号公報 特開2005-316704号公報 特開2018-41394号公報
上述した従来技術では、車両に対象物が接近する度に、警告音を出力するため、交通量の多い場所では、運転手に警告音を出力する回数が多くなり、運転手に与える負担が大きくなる。このため、従来技術では、運転手に負担をかけることなく、リスクを通知できないという問題がある。
上記問題は、車両に限らず、電車、飛行機、二輪車等の移動体に搭乗する対象者に対してリスク通知を行う場合にでも、同様に発生し得る。
1つの側面では、本発明は、移動体に搭乗する対象者に負担をかけずにリスクを通知することができる運転支援装置、運転支援方法および運転支援プログラムを提供することを目的とする。
第1の案では、運転支援装置は、移動体に搭乗する対象者の周囲に設置された複数の音源と、検出部と、出力制御部とを有する。検出部は、移動体の周囲の状態を検出する。出力制御部は、複数の音源を用いて対象者に対して定常音を継続して出力している間に、検出部によって対象物が検出された場合に、対象物の検出された方向から、対象者に向かう定常音の出力を低減させる。
移動体に搭乗する対象者に負担をかけずにリスクを通知することができる。
図1は、本実施例1に係る運転支援装置の処理を説明するための図である。 図2は、本実施例1に係る運転支援システムの一例を示す図である。 図3は、本実施例1に係る運転支援装置の構成を示す機能ブロック図である。 図4は、映像バッファのデータ構造の一例を示す図である。 図5は、環境音バッファのデータ構造の一例を示す図である。 図6は、配置情報のデータ構造の一例を示す図である。 図7は、出力制御部の処理の一例を説明するための図である。 図8は、定常音の減衰量を説明するための図である。 図9は、本実施例1に係る運転支援装置の処理手順を示すフローチャートである。 図10は、本実施例2に係る運動支援システムの一例を示す図である。 図11は、本実施例2に係る運転支援装置の構成を示す機能ブロック図である。 図12は、本実施例2に係る運転支援装置の処理手順を示すフローチャートである。 図13は、本実施例に係る運転支援装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
以下に、本願の開示する運転支援装置、運転支援方法および運転支援プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例1に係る運転支援装置の処理を説明するための図である。本実施例1に係る運転支援装置は、車両10に搭乗する運転手1の周囲に設置した複数のスピーカから、ホワイトノイズ等の定常音を出力することで、運転手1の周囲に定常音の場5aを醸成する。
運転支援装置は、車両10の周囲の状態を検出し、車両10の周囲に対象物を検出しない間は、複数のマイクから定常音を出力し続けることで、定常音の場5aを維持する。運転支援装置は、車両10の周囲に対象物2を検出した場合には、定常音の場5aのうち、対象物2から運転手1の方向に向かう定常音の出力を減衰(低減)させる。
このように、運転支援装置が、対象物2から運転手1の方向に向かう定常音の出力を減衰させることで、運転手1に対して、閉鎖室内にいるような状態から、急に対象物2の方向の部分空間5bが開いたような感覚を与えることができる。また、部分空間5bの方向に対する運転手1の注意喚起を自然に与えることができる。すなわち、車両10等の移動体に搭乗する運転手(対象者)に負担をかけず、リスクを通知することができる。
また、運転支援装置は、車両10の外部に設置したマイクを用いて、車両10の周囲の音を集音する。以下の説明では、マイクが集音した音を「環境音」と表記する。運転支援装置は、車両10の周囲に対象物2を検出し、対象物2から運転手1の方向に向かう定常音の出力を減衰させた後に、対象物2の方向の環境音を、対象物2の方向から運転手1に向かって出力する。
このように、定常音の減衰に加え、対象物2の方向の環境音を、対象物2の方向から出力することで、人工的な警告音による強い刺激を運転手1に与えなくても、対象物2に関連する環境音の注意喚起を与えることができる。
次に、本実施例1に係る運動支援システムの一例について説明する。図2は、本実施例1に係る運転支援システムの一例を示す図である。図2に示すように、この運転支援システムでは、車両10に、カメラ11a~11d、マイク12a~12dが配置されている。車両10の運転席に搭乗する運転手1の周囲には、複数のスピーカ13a~13d、内部カメラ14が配置されている。また、運転席のハンドルには、バイブレーター15a,15bが配置されている。マイク12a~12dは、集音器の一例である。スピーカ13a~13dは、音源の一例である。
運転支援装置100は、車両10に設置され、無線または有線によって、カメラ11a~11d、マイク12a~12d、スピーカ13a~13d、内部カメラ14、バイブレーター15a,15bとそれぞれ接続されているものとする。
カメラ11a~11dは、車両10の周囲の映像を撮影するカメラである。ここでは、カメラ11a~11dを用いて説明するが、他のカメラを更に用いて、車両10の周囲の映像を撮影してもよい。カメラ11a~11dは、撮影した映像の情報を、運転支援装置100に出力する。以下の説明では、カメラ11a~11dをまとめて、カメラ11と表記する。カメラ11が撮影した映像の情報を、「映像情報」と表記する。カメラ11は、映像情報に、カメラ11を一意に識別するカメラ識別情報を付与してもよい。
マイク12a~12dは、車両10の周囲の環境音を集音するマイクである。ここでは、マイク12a~12dを用いて説明するが、他のマイクを更に用いて、車両10の周囲の環境音を集音してもよい。マイク12a~12dは、集音した環境音の情報を、運転支援装置100に出力する。以下の説明では、マイク12a~12dをまとめて、マイク12と表記する。マイク12が集音した環境音の情報を、「環境音情報」と表記する。マイク12は、環境音情報に、マイク12を一意に識別するマイク識別情報を付与してもよい。
スピーカ13a~13dは、運転支援装置100からの制御命令に従って、定常音、環境音等を出力するスピーカである。ここでは、スピーカ13a~13dを用いて説明するが、他のスピーカを更に用いて、定常音、環境音等を出力してもよい。以下の説明では、スピーカ13a~13dをまとめて、スピーカ13と表記する。
内部カメラ14は、運転手1の映像を撮影するカメラである。内部カメラ14は、撮影した運転手1の映像の情報を、運転支援装置100に出力する。以下の説明では、運転手1の画像の情報を、「運転手映像情報」と表記する。
バイブレーター15a,15bは、運転支援装置100からの制御命令に従って振動し、運転手1に振動による刺激を与える装置である。バイブレーター15a,15bは、図2に示すように、ハンドルに配置されていてもよいし、運転席のシートに配置されていてもよい。以下の説明では、バイブレーター15a,15bをまとめて、バイブレーター15と表記する。
運転支援装置100は、車両10に搭載され、図1で説明した処理を実行する装置である。たとえば、運転支援装置100は、スピーカ13から定常音を出力することで、定常音の場5aを醸成する。運転支援装置100は、カメラ11から受け付ける映像情報を基にして、車両10の周囲の状態を検出する。運転支援装置100は、スピーカ13から定常音を出力している間に、対象物を検出した場合、対象物を検出した方向から、運転手1に向かう定常音の出力を減衰させる。また、運転支援装置100は、定常音の出力を減衰させた後に、マイク12から受け付けた環境音情報を基にして、対象物の方向の環境音を、スピーカ13から出力する。
図3は、本実施例1に係る運転支援装置の構成を示す機能ブロック図である。図3に示すように、この運転支援装置100は、カメラ11(カメラ11a~11d)、マイク12(マイク12a~12d)、スピーカ13(13a~13d)、内部カメラ14、バイブレーター15(15a、15b)と、車両情報検出装置20に接続される。
ここで、車両情報検出装置20は、車両10の位置情報、速度情報、加速度情報、ブレーキの有無、ハンドルの操舵角情報、車両10のエンジン始動の有無等の車両情報を検出する装置である。車両情報検出装置20は、時刻毎の車両情報を、運転支援装置100に出力する。
たとえば、車両情報検出装置20は、GPS(Global Positioning System)の機能を用いて、車両10の位置情報を検出してもよいし、周辺の基地局とのデータ通信によって、車両10の位置情報を検出してもよい。
車両情報検出装置20は、車両10に設置された速度センサ(図示略)を基にして、車両10の速度情報、加速度情報を検出する。車両情報検出装置20は、車両10に設置されたブレーキセンサ(図示略)を基にして、ブレーキの有無を検出する。車両情報検出装置20は、車両10に設置されたステアリングセンサ(図示略)を基にして、ハンドルの操舵角情報を検出する。車両情報検出装置20は、カム角センサ(図示略)を基にして、エンジン始動の有無を検出する。車両情報検出装置20は、車両情報を、運転支援装置100に出力する。
運転支援装置100は、インタフェース部110と、入力部120と、表示部130と、通信部140と、記憶部150と、制御部160とを有する。
インタフェース部110は、カメラ11、マイク12、スピーカ13、内部カメラ14、バイブレーター15、車両情報検出装置20に接続される。インタフェース部110は、カメラ11から取得する映像情報を、制御部160に出力する。インタフェース部110は、マイク12から取得する環境音情報を、制御部160に出力する。インタフェース部110は、制御部160から取得する定常音、環境音の出力に関する制御命令を、スピーカ13に出力する。インタフェース部110は、内部カメラ14から取得する、運転手映像情報を、制御部160に出力する。インタフェース部110は、制御部160から取得する振動に関する制御命令を、バイブレーター15に出力する。インタフェース部110は、車両情報検出装置20から取得する車両情報を、制御部160に出力する。
入力部120は、各種の情報を運転支援装置100に入力するための入力装置である。たとえば、入力部120は、入力ボタン、タッチパネル等に対応する。
表示部130は、制御部160から出力される各種の情報を表示する表示装置である。たとえば、表示部130は、液晶ディスプレイ、タッチパネル等に対応する。
通信部140は、ネットワークを介して、他の装置とデータ通信を実行する処理部である。
記憶部150は、映像バッファ151、環境音バッファ152、運転手映像バッファ153、車両情報バッファ154、配置情報155、運転手情報156を有する。記憶部150は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
映像バッファ151は、カメラ11が撮影した車両10の周囲の映像情報を格納するバッファである。図4は、映像バッファのデータ構造の一例を示す図である。図4に示すように、この映像バッファ151は、カメラ識別情報と、映像情報とを対応付ける。カメラ識別情報は、カメラ11を一意に識別する情報である。たとえば、カメラ識別情報C1~C4は、カメラ11a~11dをそれぞれ識別する。
映像情報は、カメラ11に撮影された映像情報である。映像情報は、時系列に並んだ画像情報(静止画像の情報)を有し、各画像情報は、それぞれ時刻に対応付けられる。
環境音バッファ152は、マイク12が集音した音情報を格納するバッファである。図5は、環境音バッファのデータ構造の一例を示す図である。図5に示すように、この環境音バッファは、マイク識別情報と、環境音情報とを対応付ける。マイク識別情報は、マイク12を一意に識別する情報である。たとえば、マイク識別情報M1~M4は、マイク12a~12dをそれぞれ識別する。
環境音情報は、マイク12に集音された環境音情報であり、たとえば、時刻、信号強度、周波数等を対応付けた情報である。
運転手映像バッファ153は、内部カメラ14が撮影した運転手映像情報を格納するバッファである。運転手映像情報は、時系列に並んだ画像情報を有し、各画像情報は、それぞれ時刻に対応付けられる。
車両情報バッファ154は、車両情報検出装置20から取得する車両情報を格納するバッファである。車両情報は、時刻と対応付けられる。車両情報は、車両10の位置情報、速度情報、加速度情報、ブレーキの有無、ハンドルの操舵角情報等を有する。
配置情報155は、カメラ11、マイク12、スピーカ13、内部カメラ14の配置位置に関する情報を保持する情報である。図6は、配置情報のデータ構造の一例を示す図である。図6に示すように、この配置情報155は、テーブル155a,155b,155c,155dを有する。
テーブル155aは、カメラ識別情報と、パラメータとを有する。カメラ識別情報は、カメラ11を一意に識別する情報である。パラメータは、カメラ11が撮影した画像の座標点を、座標点(車両10の「基準位置」を基準とする座標点)に変換するための外部パラメータおよび内部パラメータである。車両10の基準位置は、予め設定される。以下の説明では、車両10の基準位置を基準とする座標を、「車両座標系の座標」と表記する。
テーブル155bは、マイク識別情報と、位置座標とを有する。マイク識別情報は、マイク12を一意に識別する情報である。位置座標は、基準位置を基準とするマイクの位置座標を示す。
テーブル155cは、スピーカ識別情報と、位置座標とを有する。スピーカ識別情報は、スピーカ13を一意に識別する情報である。位置座標は、基準位置を基準とするスピーカ13の位置座標を示す。
テーブル155dは、内部カメラ14のパラメータを有する。かかるパラメータは、内部カメラ14が撮影した画像の座標点を、基準位置を基準とする座標点に変換するための外部パラメータおよび内部パラメータである。
図3の説明に戻る。運転手情報156は、運転手1に関する各種の情報を保持する情報である。たとえば、運転手情報156は、運転手1の運転経験年数、運転スキルに関する評価値等を有する。
制御部160は、取得部161、検出部162、出力制御部163、バイブレーター制御部164、評価部165を有する。制御部160は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部160は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
取得部161は、インタフェース部110を介して、カメラ11、マイク12、内部カメラ14、車両情報検出装置20から各種の情報を取得する処理部である。取得部161は、カメラ11から映像情報を取得し、カメラ識別情報と対応付けて、映像情報を、映像バッファ151に登録する。
取得部161は、マイク12から環境音情報を取得し、マイク識別情報と対応付けて、環境音情報を、環境音バッファ152に登録する。取得部161は、内部カメラ14から運転手映像情報を取得し、運転手映像バッファ153に登録する。
検出部162は、映像バッファ151に格納された映像情報を基にして、車両10の周囲の状態を検出する処理部である。検出部162は、検出結果を、出力制御部163、バイブレーター制御部164に出力する。検出部162は、車両情報バッファ154を参照し、車両10のエンジンが始動してから、周囲の状況を検出する処理を開始してもよい。
検出部162は、映像バッファ151に格納された映像情報を基にして、運転手1を基準とした「前方の映像情報」、「後方の映像情報」、「左方向の映像情報」、「右方向の映像情報」を生成する。たとえば、検出部162は、カメラ11cの画像領域を左右に2分割した内の、右側の映像と、カメラ11dの画像領域を左右に2分割した内の、左側の映像とを組み合わせて、前方の映像情報を生成する。検出部162は、カメラ11aの画像領域を左右に2分割した内の、右側の映像と、カメラ11bの画像領域を左右に2分割した内の、左側の映像とを組み合わせて、後方の映像情報を生成する。
検出部162は、カメラ11aの画像領域を左右に2分割した内の、車両10左側の映像と、カメラ11dの画像領域を左右に2分割した内の、右側の映像とを組み合わせて、右側の映像情報を生成する。検出部162は、カメラ11bの画像領域を左右に2分割した内の、右側の映像と、カメラ11cの画像領域を左右に2分割した内の、左側の映像とを組み合わせて、左側の映像情報を生成する。なお、検出部162は、その他の周知技術を用いて、前方、後方、左方向、右方向の映像情報をそれぞれ生成してもよい。
検出部162は、前方の映像情報の時系列に並んだ各画像情報に対して、ハフ変換等を実行することで、エッジ画像を生成し、エッジ画像と、各種の対象物の形状を定義したテンプレートとを比較を行って、前方に対象物が存在するか否かを検出する。検出部162は、対象物を検出した場合、対象物の中心座標を特定し、特定した中心座標を、カメラ111c,11dのパラメータを基にして、車両座標系の座標に変換する。検出部162は、方向「前方」と、対象物の車両座標系の座標とを対応付けた検出結果の情報を、出力制御部163、バイブレーター制御部164に出力する。
検出部162は、後方の映像情報の時系列に並んだ各画像情報に対して、ハフ変換等を実行することで、エッジ画像を生成し、エッジ画像と、各種の対象物の形状を定義したテンプレートとを比較を行って、後方に対象物が存在するか否かを検出する。検出部162は、対象物を検出した場合、対象物の中心座標を特定し、特定した中心座標を、カメラ111a,11bのパラメータを基にして、車両座標系の座標に変換する。検出部162は、方向「後方」と、対象物の車両座標系の座標とを対応付けた検出結果の情報を、出力制御部163、バイブレーター制御部164に出力する。
検出部162は、左方向の映像情報の時系列に並んだ各画像情報に対して、ハフ変換等を実行することで、エッジ画像を生成し、エッジ画像と、各種の対象物の形状を定義したテンプレートとを比較を行って、左方向に対象物が存在するか否かを検出する。検出部162は、対象物を検出した場合、対象物の中心座標を特定し、特定した中心座標を、カメラ11b,11cのパラメータを基にして、車両座標系の座標に変換する。検出部162は、方向「左方向」と、対象物の車両座標系の座標とを対応付けた検出結果の情報を、出力制御部163、バイブレーター制御部164に出力する。
検出部162は、右方向の映像情報の時系列に並んだ各画像情報に対して、ハフ変換等を実行することで、エッジ画像を生成し、エッジ画像と、各種の対象物の形状を定義したテンプレートとを比較を行って、右方向に対象物が存在するか否かを検出する。検出部162は、対象物を検出した場合、対象物の中心座標を特定し、特定した中心座標を、カメラ11a,11dのパラメータを基にして、車両座標系の座標に変換する。検出部162は、方向「右方向」と、対象物の車両座標系の座標とを対応付けた検出結果の情報を、出力制御部163、バイブレーター制御部164に出力する。
検出部162は、「前方の映像情報」、「後方の映像情報」、「左方向の映像情報」、「右方向の映像情報」のうち、いずれの映像情報からも対象物を検出しない間は、対象物を検出していない旨の検出結果を、出力制御部163、バイブレーター制御部164に出力する。
出力制御部163は、スピーカ13に対して、定常音の出力制御、環境音の出力制御を行う処理部である。出力制御部163は、車両情報バッファ154を参照し、車両10のエンジンが始動したか否かを判定する。出力制御部163は、車両10のエンジンが始動した場合に、スピーカ13を用いて定常音の場を醸成させる。たとえば、出力制御部163は、立体音響の技術を用いて、運転手1の周囲から同様の定常音が聞こえるように、スピーカ13を制御し、定常音の場を醸成する。出力制御部163は、定常音としてホワイトノイズを用いる。出力制御部163は、定常音の場を醸成する前に、スピーカ13から運転手1を取り囲むような起動音を出力させてもよい。
出力制御部163は、検出部162の検出結果を取得し、対象物が検出されていない間は、定常音の場を維持するために、スピーカ13からそれぞれ出力される定常音の音量を所定の音量(予め定められた音量)に保つ。
一方、出力制御部163は、検出部162から検出結果を取得し、対象物が検出された場合、対象物が検出された方向から、運転手1に向かう定常音の出力を低減させる制御を行う。出力制御部163が、かかる制御を行うことで、対象物が検出された方向の窓が開いたような感覚を、運転手1に与えることができる。
図7は、出力制御部の処理の一例を説明するための図である。図7に示すように、位置(x、y、z)において、対象物が検出され、運転手1が位置(xd、yd、zd)に位置するものとする。出力制御部163は、位置(x、y、z)と、位置(xd、yd、zd)とを結ぶ線分L1を特定する。出力制御部163は、配置情報155を基にして、各スピーカ13a~13dの位置と、位置(xd、yd、zd)とを結ぶ線分をそれぞれ特定する。
たとえば、スピーカ13aの位置と、位置(xd、yd、zd)とを結ぶ線分をl1とする。スピーカ13bの位置と、位置(xd、yd、zd)とを結ぶ線分をl2とする。スピーカ13cの位置と、位置(xd、yd、zd)とを結ぶ線分をl3とする。スピーカ13dの位置と、位置(xd、yd、zd)とを結ぶ線分をl4とする。
出力制御部163は、線分L1と、各線分l1~l4との線分とのなす角を基にして、なす角の小さい順に、スピーカ13(スピーカ13のスピーカ識別情報S1~S4)をソートする。たとえば、図7に示す例では、出力制御部163は、スピーカ13a(S1)、13d(S4)、13b(S2)、13c(S3)の順にソートする。出力制御部163は、ソートしたS1~S4のうち、先頭のスピーカ識別情報に対応するスピーカから出力される定常音の音量をより減衰させる制御を行う。これによって、出力制御部163は、定常波の場について、対象物が検出された方向から、運転手1に向かう定常音の出力を低減させる。
たとえば、図7に示す例では、出力制御部163は、出力される定常音の減衰量を、スピーカ13a、スピーカ13d、スピーカ13b、スピーカ13cの順に大きくする。
出力制御部163は、上記処理により定常音の出力を低減させた後に、対象物が検出された方向の環境音を、対象物が検出された方向のスピーカ13から出力させる処理を行う。たとえば、出力制御部163は、対象物を検出したタイミングにおいて、対象物の位置と、マイク12の位置とを比較して、対象物の位置に最も近いマイクを特定する。出力制御部163は、特定したマイクが集音した環境音情報のうち、対象物を検出した時刻を基準とする前後所定時間の環境音情報を、環境音バッファ152から取得し、対象物が検出された方向のスピーカ13から出力させる。
たとえば、図7において、対象物の位置に最も近いマイクは、マイク12aとなり、対象物が検出された方向のスピーカは、スピーカ13a,13dとなる。出力制御部163は、マイク12aにより集音された環境音情報のうち、対象物を検出した時刻を基準とする前後所定時間の環境音情報を、スピーカ13aから第1音量で出力し、スピーカ13dから第2音量で出力する。たとえば、出力制御部163は、対象物の方向により近いスピーカ13aの第1音量を、スピーカ13dの第2音量よりも大きくする。
ところで、出力制御部163は、運転手情報156を参照して、運転手1がベテランの運転手であるか否かを判定する。出力制御部163は、運転手情報156の評価値が、所定の評価値以上である場合に、運転手1がベテラン運転手であると判定する。出力制御部163は、対象物が検出され、定常音の出力を減衰させる際に、運転手1がベテラン運転手である場合には、定常音の出力の減衰量をより少なくする。
図8は、定常音の減衰量を説明するための図である。たとえば、対象物が検出されていない間は、スピーカ13から出力される定常音の強さはP1となる。対象物が検出され、運転手1がベテラン運転手ではない(初心者運転手である)場合、減衰後の定常音の強さはP2となる。対象物が検出され、運転手1がベテラン運転手である場合、減衰後の定常音の強さはP3となる。このように、運転手1がベテラン運転手の場合には、減衰前後の変化を小さくすることで、運転手1に係る負担より軽減することができる。
出力制御部163は、上記の定常音を減衰させる処理、環境音を出力する処理を行った後に、運転手映像バッファ153の運転手映像情報を基にして、運転手1が対象物(リスク)を認識したか否かを判定する。出力制御部163は、運転手1が対象物を認識した場合に、スピーカ13に対して制御命令を出力し、減衰させた定常音を元の定常音に戻す処理を行う。
たとえば、出力制御部163は、運転手映像情報を解析して、運転手1の視線方向を検出する。出力制御部163は、運転手1の視線方向が、検出された対象物の方向を向いた場合に、運転手1が、対象物を認識したと判定する。なお、出力制御部163は、その他の判定ポリシーを用いて、運転手1が対象物を認識したか否かを判定してもよい。
図3の説明に戻る。バイブレーター制御部164は、検出部162の検出結果を基にして、バイブレーター15を振動させる処理部である。バイブレーター制御部164は、検出部162が対象物を検出していない間は、バイブレーター15が振動することを抑止する。
バイブレーター制御部164は、車両10の右方向において対象物が検出された場合、バイブレーター15aを振動させる。バイブレーター制御部164は、車両10の左方向において対象物が検出された場合、バイブレーター15bを振動させる。バイブレーター制御部164は、車両10の後方において対象物が検出された場合、バイブレーター15a,15bを振動させる。バイブレーター制御部164は、その他の制御ポリシーによって、バイブレーター15の振動を制御してもよい。
評価部165は、車両10を運転する運転手1を評価する処理部である。評価部165は、評価結果を、運転手情報156に登録する。評価部165は、運転手映像バッファ153の運転手映像情報を参照し、運転手1の動作と、安全運転に準拠する動作ポリシーとを比較して、運転手1の評価値を算出する。たとえば、評価部165は、エンジンが始動した際に、運転手1の顔画像の視線方向を検出し、周囲を見渡している場合に、評価値に加点を行う。一方、評価部165は、エンジンが始動した際に、運転手1が周囲を見渡していない場合に、評価値の減点を行う。また、評価部165は、車両情報バッファ154の速度情報を参照し、車両10の速度が法定速度を超えた場合に、評価値の減点を行う。
評価部165は、その他の運転手1、または、車両10の挙動に関する評価項目と、加点または減点とを対応付けた評価ポリシーを基にして、運転手1の評価値を更新する。評価部165は、運転手1の運転歴や、運転免許証の情報をもとにして、評価点に加点または減点を行ってもよい。たとえば、評価部165は、運転手1の運転歴が、所定年数以上である場合に、評価点を加点する。評価部165は、運転免許証の情報を基にして、減点が増える度に、評価値を減点してもよい。
次に、本実施例1に係る運転支援装置100の処理手順の一例について説明する。図9は、本実施例1に係る運転支援装置の処理手順を示すフローチャートである。運転支援装置100の出力制御部163は、車両10のエンジン始動を検出する(ステップS101)。出力制御部163は、スピーカ13に制御命令を出力し、車両10の運転手1の周囲に定常音の場を醸成する(ステップS102)。
運転支援装置100の検出部162は、車両10の周囲のセンシングを開始する(ステップS103)。検出部162は、リスク(対象物)を検出していない場合には(ステップS104,No)、ステップS110に移行する。
一方、検出部162が、リスクを検出した場合には(ステップS104,Yes)、出力制御部163は、スピーカ13に制御命令を出力し、リスク方向の定常音を減衰させる(ステップS105)。出力制御部163は、スピーカ13に制御命令を出力し、リスク方向から、リスクに関する環境音を出力させる(ステップS106)。
出力制御部163は、運転手1がリスクを認識したか否かを判定する(ステップS107)。出力制御部163は、運転手1がリスクを認識していない場合には(ステップS107,No)、ステップS106に移行する。一方、出力制御部163は、運転手1がリスクを認識した場合には(ステップS107,Yes)、ステップS108に移行する。
出力制御部163は、スピーカ13に制御命令を出力し、減衰させた定常音をもとの定常音に戻す(ステップS108)。運転支援装置100は、運転が終了した場合には(ステップS109,Yes)、処理を終了する。一方、運転支援装置100は、運転が終了していない場合には(ステップS109,No)、センシングを継続し(ステップS110)、ステップS104に移行する。
次に、本実施例1に係る運転支援装置100の効果について説明する。運転支援装置100は、車両10の周囲の状態を検出し、車両10の周囲に対象物を検出しない間は、複数のマイクから定常音を出力し続けることで、定常音の場5aを維持する。運転支援装置100は、車両10の周囲に対象物を検出した場合には、定常音の場のうち、対象物から運転手1の方向に向かう定常音の出力を減衰させる。これにより、車両10等の移動体に搭乗する運転手(対象者)に負担をかけず、リスクを通知することができる。
また、運転支援装置100が、対象物から運転手1の方向に向かう定常音の出力を減衰させることで、運転手1に対して、閉鎖室内にいるような状態から、急に対象物の方向の部分空間が開いたような感覚を与えることができる。また、部分空間の方向に対する運転手1の注意喚起を自然に与えることができる。
運転支援装置100は、車両10の外部に設置したマイク12を用いて、車両10の周囲の音を集音する。運転支援装置100は、車両10の周囲に対象物を検出し、対象物から運転手1の方向に向かう定常音の出力を減衰させた後に、対象物の方向の環境音を、対象物の方向から運転手1に向かって出力する。
このように、定常音の減衰に加え、対象物の方向の環境音を、対象物の方向から出力することで、人工的な警告音による強い刺激を運転手1に与えなくても、対象物に関連する環境音の注意喚起を与えることができる。
また、運転支援装置100によれば、人間が本来備えている周囲を察知する能力を引き出すために、音や触覚(定常音の変化、環境音)を用いて知らせることで、情報ではなく感覚での安全な運転を実現できる。すなわち、人と車両との境界がなくなり、一体化し感覚が拡張される「AFFECTIVE Mobility」の実現が可能となる。
次に、本実施例2に係る運転支援装置について説明する。本実施例2に係る運転支援装置は、実施例1の運転支援装置100と同様にして、定常音の場を醸成する。本実施例2に係る運転支援装置は、車両の周囲の交通状況を取得し、前方の道が開けている場合、運転手1の前方の定常音を減衰させる。このように、前方の定常音を減衰させることで、運転手1に開放感を与えることができ、実際よりも速いスピード感を醸成するので、運転手1が、車両の走行速度を上げることを抑止することができる。
また、本実施例2に係る運転支援装置は、車両の周囲の交通状況を取得し、前方が渋滞している場合に、前方の定常音にゆらぎを加える。これによって、運転手1にリスクを感じさせることができ、車両の走行速度を上げることを抑止することができる。
図10は、本実施例2に係る運動支援システムの一例を示す図である。図10に示すように、この運転支援システムでは、車両10に、カメラ11、マイク12が配置されている。車両10の運転席に搭乗する運転手1の周囲には、スピーカ13、内部カメラ14が配置されている。また、運転席のハンドルには、バイブレーター15が配置されている。カメラ11、マイク12、スピーカ13、内部カメラ14、バイブレーター15に関する説明は、実施例1と同様である。
運転支援装置200は、車両10に設置され、無線または有線によって、カメラ11、マイク12、スピーカ13、内部カメラ14、バイブレーター15とそれぞれ接続されているものとする。
図11は、本実施例2に係る運転支援装置の構成を示す機能ブロック図である。図11に示すように、この運転支援装置100は、カメラ11(カメラ11a~11d)、マイク12(マイク12a~12d)、スピーカ13(13a~13d)、内部カメラ14、バイブレーター15(15a、15b)と、車両情報検出装置25に接続される。
車両情報検出装置25は、車両10の位置情報、速度情報、ブレーキの有無、ハンドルの操舵角情報、車両10のエンジン始動の有無等の車両情報を検出する装置である。また、車両情報検出装置25は、ネットワーク上のサーバにアクセスし、車両10周辺の交通状況の情報を取得する。たとえば、車両情報検出装置25は、車両10の位置情報をサーバに通知し、車両10の前方に、交通状況の情報を取得し、制御部260に出力する。
運転支援装置200は、インタフェース部210と、入力部220と、表示部230と、通信部240と、記憶部250と、制御部260とを有する。
インタフェース部210は、カメラ11、マイク12、スピーカ13、内部カメラ14、バイブレーター15、車両情報検出装置25に接続される。インタフェース部210は、カメラ11から取得する映像情報を、制御部260に出力する。インタフェース部210は、マイク12から取得する環境音情報を、制御部260に出力する。インタフェース部210は、制御部260から取得する定常音、環境音の出力に関する制御命令を、スピーカ13に出力する。インタフェース部210は、内部カメラ24から取得する、運転手映像情報を、制御部260に出力する。インタフェース部210は、制御部260から取得する振動に関する制御命令を、バイブレーター15に出力する。インタフェース部210は、車両情報検出装置25から取得する車両情報を、制御部260に出力する。
入力部220、表示部230、通信部240に関する説明は、実施例1の入力部120、表示部130、通信部140に関する説明と同様である。
記憶部250は、映像バッファ251、環境音バッファ252、運転手映像バッファ253、車両情報バッファ254、配置情報255、運転手情報256を有する。記憶部250は、RAM、フラッシュメモリなどの半導体メモリ素子や、HDDなどの記憶装置に対応する。
映像バッファ251、環境音バッファ252、運転手映像バッファ253、配置情報255、運転手情報256に関する説明は、実施例1の映像バッファ151、環境音バッファ152、運転手映像バッファ153、配置情報155、運転手情報156に関する説明と同様である。
車両情報バッファ254は、車両情報検出装置25から取得する車両情報を格納するバッファである。車両情報は、時刻と対応付けられる。車両情報は、車両10の位置情報、速度情報、ブレーキの有無、ハンドルの操舵角情報等を有する。また、車両情報は、車両10の前方の交通状況の情報を有する。交通状況の情報には、渋滞しているか否かの情報が含まれる。
制御部260は、取得部261、検出部262、出力制御部263、バイブレーター制御部264、評価部265を有する。制御部260は、CPUやMPUなどによって実現できる。また、制御部260は、ASICやFPGAなどのハードワイヤードロジックによっても実現できる。
取得部261は、インタフェース部210を介して、カメラ21、マイク22、内部カメラ24、車両情報検出装置25から各種の情報を取得する処理部である。取得部261に関するその他の説明は、実施例1の取得部161に関する説明と同様である。
検出部262は、映像バッファ251に格納された映像情報を基にして、車両10の周囲の状態を検出する処理部である。検出部262は、検出結果を、出力制御部263、バイブレーター制御部264に出力する。検出部262に関するその他の説明は、実施例1の検出部162に関する説明と同様である。
出力制御部263は、スピーカ13に対して、定常音の出力制御、環境音の出力制御を行う処理部である。出力制御部263は、車両情報バッファ254を参照し、車両10のエンジンが始動したか否かを判定する。出力制御部263は、車両10のエンジンが始動した場合に、スピーカ13を用いて定常音の場を醸成させる。出力制御部263が、定常音の場を醸成させる処理は、実施例1の出力制御部163と同様である。
出力制御部263は、車両情報バッファ254から、交通状況の情報を取得し、車両10の前方に渋滞が発生しているか否かを判定する。また、出力制御部263は、検出部262から検出結果を取得し、前方に対象物が検出されているか否かを判定する。出力制御部263は、前方に渋滞が発生しておらず、かつ、前方に対象物が検出されていない場合に、「前方の道が開けている」と判定する。
出力制御部263は、前方の道が開けていると判定した場合、運転手1の前方のスピーカ13c,13dから出力される定常音を減衰させる制御を行う。出力制御部263が、かかる制御を行うことで、運転手1の前方に対して、開放感を与えることができる。
また、出力制御部263は、前方の道が開けていると判定した場合、運転手1に対してスピードに注意する旨の表示画面を生成して、表示部230に出力することで、運転手1の加速操作を抑止する。
一方、出力制御部263は、前方に対象物が存在しないが、前方に渋滞が発生している場合に、運転手1の前方のスピーカ13c,13dから出力される定常音に揺らぎを加える制御を行う。たとえば、カメラ11c,11dで検出可能な範囲には、対象物が存在しないが、カメラ11c,11dの検出可能な範囲外において、渋滞が発生している場合が想定される。
出力制御部263が、かかる制御を行うことで、運転手1にリスクを感じさせることができ、車両の走行速度を上げることを抑止することができる。出力制御部263は、前方に渋滞が発生している間、定常音に揺らぎを加える制御を継続して行う。
なお、出力制御部263は、上記処理に加えて、実施例1で説明した出力制御部163と同様の処理を実行してもよい。すなわち、出力制御部263は、検出部162から検出結果を取得し、対象物が検出された場合、対象物が検出された方向から、運転手1に向かう定常音の出力を低減させる制御を行う。
バイブレーター制御部264は、検出部262の検出結果を基にして、バイブレーター15を振動させる処理部である。バイブレーター制御部264に関するその他の説明は、実施例1のバイブレーター制御部164に関する説明と同様である。
評価部265は、車両10を運転する運転手1を評価する処理部である。評価部265は、評価結果を、運転手情報256に登録する。評価部265に関するその他の説明は、実施例1の評価部165に関する説明と同様である。
次に、本実施例2に係る運転支援装置200の処理手順の一例について説明する。図12は、本実施例2に係る運転支援装置の処理手順を示すフローチャートである。図12に示すように、この運転支援装置200の出力制御部263は、車両10のエンジン始動を検出する(ステップS201)。出力制御部263は、スピーカ13に制御命令を出力し、車両10の運転手1の周囲に定常音の場を醸成する(ステップS202)。
出力制御部263は、対象物の検出結果と、車両10の周囲の交通状況の状態とを基にして、前方の道が開けているか否かを判定する(ステップS203)。出力制御部263は、前方の道が開けている場合には(ステップS204,Yes)、スピーカに制御命令を出力し、前方の定常音を減衰させる(ステップS205)。
出力制御部263は、加速操作を抑止する画面情報を表示する(ステップS206)。出力制御部263は、前方の道が開けている状況が終了していない場合には(ステップS207,No)、ステップS205に移行する。
一方、出力制御部263は、前方の道が開けている状況が終了した場合には(ステップS207,Yes)、スピーカに制御命令を出力し、減衰させた定常音をもとの定常音に戻す(ステップS208)。運転支援装置200は、運転が終了した場合には(ステップS209,Yes)、処理を終了する。一方、運転支援装置200は、運転が終了していない場合には(ステップS209,No)、ステップS203に移行する。
一方、ステップS204において、出力制御部263は、前方の道が開けていない場合(ステップS204,No)、前方が渋滞しているか否かを判定する(ステップS210)。出力制御部263は、前方が渋滞していない場合には(ステップS210,No)、ステップS209に移行する。
一方、出力制御部263は、前方が渋滞している場合には(ステップS210,Yes)、スピーカに制御命令を出力し、前方の定常音にゆらぎを付与する(ステップS211)。出力制御部263は、渋滞状況が終了していない場合には(ステップS212,No)、ステップS211に移行する。一方、渋滞状況が終了した場合には(ステップS212,Yes)、ステップS208に移行する。
次に、本実施例2に係る運転支援装置200の効果について説明する。運転支援装置200は、車両10の周囲の交通状況を取得し、前方の道が開けている場合、運転手1の前方の定常音を減衰させる。このように、前方の定常音を減衰させることで、運転手1に開放感を与えることができ、実際よりも速いスピード感を醸成するので、運転手1が、車両の走行速度を上げることを抑止することができる。
ところで、上述した運転支援装置100(200)は、検出部162が、映像情報に含まれる各画像情報に対してエッジ画像を生成し、対象物を検出する場合について説明したが、対象物を検出する処理は、かかる処理に限定されるものでは無い。たとえば、検出部162は、対象物を検出するためのパラメータを予め学習したNN(neural network)に画像情報を入力して、対象物を検出してもよい。運転支援装置100は、距離センサ等を用いて、車両10の周囲から、対象物を検出してもよいし、地図データと、車両10の位置情報とを比較して、対象物を検出してもよい。
また、本実施例では、移動体の一例として車両10を用いて説明したが、移動体はこれに限定されるものでは無く、電車、飛行機、二輪車等の移動体であってもよい。たとえば、移動体が飛行機である場合には、運転支援装置100は、複数のスピーカを用いて、パイロットの上下左右において、定常音の場を醸成する。運転支援装置100は、パイロットの上下左右を対象として、対象物を検出した場合には、定常音の場のうち、対象物からパイロットの方向に向かう定常音の出力を減衰させる。
本実施例に係る出力制御部263は、車両情報バッファ154の加速度情報を参照し、車両10の加速度が所定の加速度以上となった場合に、運転手1の前方の定常音を減衰させてもよい。これによって、運転者1は、通常の速度よりも、スピード感を得られることができ、車両10の速度を抑えることができる。
本実施例に係る出力制御部263は、検出部262の検出結果によらず、渋滞の有無によって、定常音の減衰を制御してもよい。たとえば、出力制御部263は、前方に渋滞が発生していない場合に、運転手1の前方の定常音を減衰させてもよい。これによって、運転手1にリスクを感じさせることができ、車両の走行速度を上げることを抑止することができる。
次に、本実施例1に示した運転支援装置100(200)と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図13は、本実施例に係る運転支援装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図13に示すように、コンピュータ500は、各種演算処理を実行するCPU501と、ユーザからのデータの入力を受け付ける入力装置502と、ディスプレイ503とを有する。また、コンピュータ500は、記憶媒体からプログラム等を読み取る読み取り装置504と、インタフェース装置505とを有する。インタフェース装置505は、カメラ11、マイク12、スピーカ13、内部カメラ14、バイブレーター15、車両情報検出装置20,25等に接続される。コンピュータ500は、各種情報を一時記憶するRAM506と、ハードディスク装置507とを有する。そして、各装置501~507は、バス508に接続される。
ハードディスク装置507は、取得プログラム507a、検出プログラム507b、出力制御プログラム507c、バイブレーター制御プログラム507d、評価プログラム507eを有する。CPU501は、取得プログラム507a、検出プログラム507b、出力制御プログラム507c、バイブレーター制御プログラム507d、評価プログラム507eを読み出してRAM506に展開する。
取得プログラム507aは、取得プロセス506aとして機能する。検出プログラム507bは、検出プロセス506bとして機能する。出力制御プログラム507cは、出力制御プロセス506cとして機能する。バイブレーター制御プログラム507dは、バイブレーター制御プロセス506dとして機能する。評価プログラム507eは、評価プロセス506eとして機能する。
取得プロセス506aの処理は、取得部161,261の処理に対応する。検出プロセス506bの処理は、検出部162,262の処理に対応する。出力制御プロセス506cの処理は、出力制御部163,263の処理に対応する。バイブレーター制御プロセス506dの処理は、バイブレーター制御部164,264の処理に対応する。評価プロセス506eの処理は、評価部165,265の処理に対応する。
なお、各プログラム507a~507eついては、必ずしも最初からハードディスク装置507に記憶させておかなくてもよい。例えば、コンピュータ500に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ500が各プログラム507a~507eを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)移動体に搭乗する対象者の周囲に設置された複数の音源と、
前記移動体の周囲の状態を検出する検出部と、
前記複数の音源を用いて前記対象者に対して定常音を継続して出力している間に、前記検出部によって対象物が検出された場合に、前記対象物の検出された方向から、前記対象者に向かう定常音の出力を低減させる出力制御部と
を有することを特徴とする運転支援装置。
(付記2)前記移動体の周囲の音を集音する集音器を更に有し、前記出力制御部は、前記集音器によって集音される、前記対象物の検出された方向の音を、前記対象物の検出された方向から、前記対象者に向かって出力する処理を更に実行することを特徴とする付記1に記載の運転支援装置。
(付記3)前記出力制御部は、前記対象物の検出された方向から、前記対象者に向かう定常音の出力を低減させた後に、前記対象物の検出された方向の音を、前記対象物の検出された方向から、前記対象者に向かって出力することを特徴とする付記2に記載の運転支援装置。
(付記4)前記出力制御部は、前記移動体の前方に渋滞が発生していない場合に、前記対象者の前方から、前記対象者に向かう定常音の出力を低減させる処理を更に実行することを特徴とする付記1、2または3に記載の運転支援装置。
(付記5)前記出力制御部は、前記移動体の前方に渋滞が発生している場合に、前記対象者の前方から、前記対象者に向かう定常音にゆらぎを発生させる処理を更に実行することを特徴とする付記1~4のいずれか一つに記載の運転支援装置。
(付記6)前記出力制御部は、前記移動体の加速度が所定の加速度以上となった場合に、前記対象者の前方から、前記対象者に向かう定常音の出力を低減させる処理を更に実行することを特徴とする付記1~5のいずれか一つに記載の運転支援装置。
(付記7)移動体の周囲の状態を検出し、
前記移動体に搭乗する対象者の周囲に設置された複数の音源を用いて、前記対象者に対して定常音を継続して出力している間に、前記対象物が検出された場合に、前記対象物の検出された方向から、前記対象者に向かう定常音の出力を低減させる
処理をコンピュータが実行することを特徴とする運転支援方法。
(付記8)集音器によって集音される、前記対象物の検出された方向の音を、前記対象物の検出された方向から、前記対象者に向かって出力する処理を更に実行することを特徴とする付記7に記載の運転支援方法。
(付記9)前記出力する処理は、前記対象物の検出された方向から、前記対象者に向かう定常音の出力を低減させた後に、前記対象物の検出された方向の音を、前記対象物の検出された方向から、前記対象者に向かって出力することを特徴とする付記8に記載の運転支援方法。
(付記10)前記移動体の前方に渋滞が発生していない場合に、前記対象者の前方から、前記対象者に向かう定常音の出力を低減させる処理を更に実行することを特徴とする付記7、8または9に記載の運転支援方法。
(付記11)前記移動体の前方に渋滞が発生している場合に、前記対象者の前方から、前記対象者に向かう定常音にゆらぎを発生させる処理を更に実行することを特徴とする付記7~10のいずれか一つに記載の運転支援方法。
(付記12)前記移動体の加速度が所定の加速度以上となった場合に、前記対象者の前方から、前記対象者に向かう定常音の出力を低減させる処理を更に実行することを特徴とする付記7~11のいずれか一つに記載の運転支援方法。
(付記13)移動体の周囲の状態を検出し、
前記移動体に搭乗する対象者の周囲に設置された複数の音源を用いて、前記対象者に対して定常音を継続して出力している間に、前記対象物が検出された場合に、前記対象物の検出された方向から、前記対象者に向かう定常音の出力を低減させる
処理をコンピュータに実行させることを特徴とする運転支援プログラム。
(付記14)集音器によって集音される、前記対象物の検出された方向の音を、前記対象物の検出された方向から、前記対象者に向かって出力する処理を更に実行することを特徴とする付記13に記載の運転支援プログラム。
(付記15)前記出力する処理は、前記対象物の検出された方向から、前記対象者に向かう定常音の出力を低減させた後に、前記対象物の検出された方向の音を、前記対象物の検出された方向から、前記対象者に向かって出力することを特徴とする付記14に記載の運転支援プログラム。
(付記16)前記移動体の前方に渋滞が発生していない場合に、前記対象者の前方から、前記対象者に向かう定常音の出力を低減させる処理を更に実行することを特徴とする付記13、14または15に記載の運転支援プログラム。
(付記17)前記移動体の前方に渋滞が発生している場合に、前記対象者の前方から、前記対象者に向かう定常音にゆらぎを発生させる処理を更に実行することを特徴とする付記13~16のいずれか一つに記載の運転支援プログラム。
(付記18)前記移動体の加速度が所定の加速度以上となった場合に、前記対象者の前方から、前記対象者に向かう定常音の出力を低減させる処理を更に実行することを特徴とする付記13~17のいずれか一つに記載の運転支援プログラム。
10 車両
11a,11b,11c,11d カメラ
12a,12b,12c,12d マイク
13a,13b,13c,13d スピーカ
14 内部カメラ
15a,15b バイブレーター
20,25 車両情報検出装置
100,200 運転支援装置
110,210 インタフェース部
120,220 入力部
130,230 表示部
140,240 通信部
150,250 記憶部
151,251 映像バッファ
152,252 環境音バッファ
153,253 運転手映像バッファ
154,254 車両情報バッファ
155,255 配置情報
156,256 運転手情報
160,260 制御部
161,261 取得部
162,262 検出部
163,263 出力制御部
164,264 バイブレーター制御部
165,265 評価部

Claims (6)

  1. 移動体に搭乗する対象者の周囲に設置された複数の音源と、
    前記移動体の周囲の状態を検出する検出部と、
    前記複数の音源を用いて前記対象者に対して定常音を継続して出力している間に、前記検出部によって対象物が検出されておらず、かつ、前記移動体の前方に渋滞が発生している場合に、前方から前記対象者に向かう定常音の出力に揺らぎを加え、
    前記検出部によって前記対象物が検出された場合には、前記対象物が検出された方向から前記対象者に向かう定常音の出力を低減させる出力制御部と
    を有することを特徴とする運転支援装置。
  2. 前記移動体の周囲の音を集音する集音器を更に有し、前記出力制御部は、前記集音器によって集音される、前記対象物の検出された方向の音を、前記対象物の検出された方向から、前記対象者に向かって出力する処理を更に実行することを特徴とする請求項1に記載の運転支援装置。
  3. 前記出力制御部は、前記対象物の検出された方向から、前記対象者に向かう定常音の出力を低減させた後に、前記対象物の検出された方向の音を、前記対象物の検出された方向から、前記対象者に向かって出力することを特徴とする請求項2に記載の運転支援装置。
  4. 前記出力制御部は、前記移動体の加速度が所定の加速度以上となった場合に、前記対象者の前方から、前記対象者に向かう定常音の出力を低減させる処理を更に実行することを特徴とする請求項1、2または3に記載の運転支援装置。
  5. 移動体の周囲の状態を検出し、
    前記移動体に搭乗する対象者の周囲に設置された複数の音源を用いて、前記対象者に対して定常音を継続して出力している間に、対象物が検出されておらず、かつ、前記移動体の前方に渋滞が発生している場合に、前方から前記対象者に向かう定常音の出力に揺らぎを加え、
    前記対象物が検出された場合には、前記対象物が検出された方向から前記対象者に向かう定常音の出力を低減させる
    処理をコンピュータが実行することを特徴とする運転支援方法。
  6. 移動体の周囲の状態を検出し、
    前記移動体に搭乗する対象者の周囲に設置された複数の音源を用いて、前記対象者に対して定常音を継続して出力している間に、対象物が検出されておらず、かつ、前記移動体の前方に渋滞が発生している場合に、前方から前記対象者に向かう定常音の出力に揺らぎを加え、
    前記対象物が検出された場合には、前記対象物が検出された方向から前記対象者に向かう定常音の出力を低減させる
    処理をコンピュータに実行させることを特徴とする運転支援プログラム。
JP2019107394A 2019-06-07 2019-06-07 運転支援装置、運転支援方法および運転支援プログラム Active JP7531265B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019107394A JP7531265B2 (ja) 2019-06-07 2019-06-07 運転支援装置、運転支援方法および運転支援プログラム
CN202010466757.5A CN112046497B (zh) 2019-06-07 2020-05-28 驾驶辅助设备、驾驶辅助方法和驾驶辅助程序
US16/885,886 US11332072B2 (en) 2019-06-07 2020-05-28 Driving assistance apparatus, driving assistance method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019107394A JP7531265B2 (ja) 2019-06-07 2019-06-07 運転支援装置、運転支援方法および運転支援プログラム

Publications (2)

Publication Number Publication Date
JP2020201671A JP2020201671A (ja) 2020-12-17
JP7531265B2 true JP7531265B2 (ja) 2024-08-09

Family

ID=73609204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019107394A Active JP7531265B2 (ja) 2019-06-07 2019-06-07 運転支援装置、運転支援方法および運転支援プログラム

Country Status (3)

Country Link
US (1) US11332072B2 (ja)
JP (1) JP7531265B2 (ja)
CN (1) CN112046497B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7118134B2 (ja) * 2018-03-29 2022-08-15 本田技研工業株式会社 鞍乗型車両
KR20220055214A (ko) * 2020-10-26 2022-05-03 현대자동차주식회사 운전자 보조 시스템 및 그를 가지는 차량
US12017674B2 (en) * 2022-09-02 2024-06-25 Toyota Motor North America, Inc. Directional audio for distracted driver applications

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009286186A (ja) 2008-05-27 2009-12-10 Denso Corp 車載オーディオシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4275507B2 (ja) * 2003-10-28 2009-06-10 富士通テン株式会社 運転支援装置
JP2005316704A (ja) 2004-04-28 2005-11-10 Sony Corp 周囲状況通知装置、周囲状況通知方法
JP4873255B2 (ja) 2007-09-25 2012-02-08 株式会社デンソー 車両用報知システム
JP2009259102A (ja) * 2008-04-18 2009-11-05 Honda Motor Co Ltd 運転支援装置
US8319620B2 (en) * 2008-06-19 2012-11-27 Personics Holdings Inc. Ambient situation awareness system and method for vehicles
US8212659B2 (en) * 2008-09-05 2012-07-03 Mazda Motor Corporation Driving assist device for vehicle
JP2011232293A (ja) * 2010-04-30 2011-11-17 Toyota Motor Corp 車外音検出装置
JP5039870B2 (ja) * 2011-01-18 2012-10-03 パナソニック株式会社 車両方向特定装置、車両方向特定方法、及びそのプログラム
JP5516455B2 (ja) * 2011-02-23 2014-06-11 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法
JP6001248B2 (ja) * 2011-09-20 2016-10-05 トヨタ自動車株式会社 音源検出装置
US9663031B2 (en) * 2013-10-21 2017-05-30 Harman International Industries, Inc. Modifying an audio panorama to indicate the presence of danger or other events of interest
JP6631445B2 (ja) 2016-09-09 2020-01-15 トヨタ自動車株式会社 車両用情報提示装置
US10861331B2 (en) * 2016-10-25 2020-12-08 Pioneer Corporation Processing device, server device, output method, and non-transitory storage medium
US20200066070A1 (en) * 2016-11-29 2020-02-27 Jaguar Land Rover Limited Improvements relating to hearing assistance in vehicles
KR20180069147A (ko) * 2016-12-14 2018-06-25 만도헬라일렉트로닉스(주) 차량의 보행자 경고장치
US20200086788A1 (en) * 2018-09-19 2020-03-19 Richard J. Pivnicka Method and system for alerting drivers with direction specific audio system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009286186A (ja) 2008-05-27 2009-12-10 Denso Corp 車載オーディオシステム

Also Published As

Publication number Publication date
JP2020201671A (ja) 2020-12-17
CN112046497A (zh) 2020-12-08
CN112046497B (zh) 2024-03-15
US20200384916A1 (en) 2020-12-10
US11332072B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
US10882398B2 (en) System and method for correlating user attention direction and outside view
JP7531265B2 (ja) 運転支援装置、運転支援方法および運転支援プログラム
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
US9786192B2 (en) Assessing driver readiness for transition between operational modes of an autonomous vehicle
US9539944B2 (en) Systems and methods of improving driver experience
EP3033999A1 (en) Apparatus and method for determining the state of a driver
US10462281B2 (en) Technologies for user notification suppression
JP6613623B2 (ja) 車載装置、運転モード制御システム、及び運転モード制御方法
JP6417962B2 (ja) 情報処理装置、情報処理方法及び記憶媒体
JP6969254B2 (ja) 画像処理装置及びプログラム
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
CN110641468A (zh) 基于乘客行为控制自主车辆
US9984298B2 (en) Method for outputting a drowsiness warning and control unit
JP2023160924A (ja) 制御装置及び制御プログラム
WO2007135865A1 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体
JP6365423B2 (ja) 運転者状態判定方法及びその判定装置
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
JP6572538B2 (ja) 下方視判定装置および下方視判定方法
JP7347459B2 (ja) 制御装置及び制御プログラム
DE102019133559A1 (de) Bestimmen der Benutzung eines Mobilgeräts
JP2021089652A (ja) ドライバモニタ、ドライバ状態推定方法およびプログラム
JP7557389B2 (ja) 視線検出装置、視線検出システム、及び視線検出方法
WO2024142170A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP7119372B2 (ja) 違和感対象判別方法及び違和感対象判別装置
JP7091643B2 (ja) 違和感判別方法及び違和感判別装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230322

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230801

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20231206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20231206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240730

R150 Certificate of patent or registration of utility model

Ref document number: 7531265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150