JP2024074897A - 出力装置 - Google Patents

Abstract

【課題】警告機能を保ちつつ煩わしさを低減させることができる出力装置を提供する。【解決手段】映像取得部が取得した映像と音取得部が取得した環境音とに同一の対象物による対象物情報が含まれる場合に、報知情報を出力しないことで、警告機能を保ちつつ煩わしさを低減させることができる。即ち、同一の対象物が映像及び音の両方として検出されている場合には、搭乗者が対象物を認識している可能性が高く、このような場合には敢えて警告をしないことで煩わしさを低減することができる。【選択図】図２

Description

本発明は、出力装置に関する。

一般に、車両等の移動体には、他の移動体や歩行者等の対象物の接近を検知した場合に、警報音等の報知情報を出力する出力装置が設けられる。このような出力装置として、他車両を検出して報知する車両接近検出装置が提案されている（例えば、特許文献１参照）。特許文献１に記載された車両接近検出装置では、カメラとマイクロフォンとによって車両周囲映像および車両周囲環境音を検出するとともに、警告音を発生したり警告表示をしたりすることで、他車両が接近していることを自車両の搭乗者に知らせるようになっている。

特開２０１７－１３８７６６号公報

しかしながら、特許文献１に記載された車両接近検出装置では、搭乗者が他車両に気付いている場合であっても警告音等を発生してしまうため、搭乗者に煩わしさを与えてしまう可能性がある。また、例えば他車両の接近度が高い場合にのみ警告音等を発生するようにすれば、警告発生頻度を低下させて煩わしさを低減させることができるものの、搭乗者が接近に気付くのが遅れてしまう可能性があり、警告機能が低下してしまう。このように、警告機能を保ちつつ煩わしさを低減させることは困難であった。

したがって、本発明の課題は、警告機能を保ちつつ煩わしさを低減させることができる出力装置を提供することが一例として挙げられる。

前述した課題を解決し目的を達成するために、請求項１に記載の本発明の出力装置は、室外の環境音を取得する音取得部と、室外の映像を取得する映像取得部と、前記取得された環境音及び映像に基づき前記映像または前記環境音に対象物情報が含まれることが特定される場合、前記対象物情報に関連し、室内に報知するための報知情報を出力する出力部と、を備え、前記出力部は、前記映像と前記環境音とに同一の対象物による前記対象物情報が含まれる場合には前記報知情報を出力しないことを特徴としている。

本発明の第１実施例に係る出力装置を示すブロック図である。 前記出力装置の制御部が実行する第１報知情報出力処理の一例を示すフローチャートである。 本発明の第２実施例に係る出力装置を示すブロック図である。 前記出力装置の制御部が実行する第２報知情報出力処理の一例を示すフローチャートである。

以下、本発明の実施形態を説明する。本発明の実施形態に係る出力装置は、室外の環境音を取得する音取得部と、室外の映像を取得する映像取得部と、取得された環境音及び映像に基づき映像または環境音に対象物情報が含まれることが特定される場合、対象物情報に関連し、室内に報知するための報知情報を出力する出力部と、を備える。出力部は、映像と環境音とに同一の対象物による対象物情報が含まれる場合には報知情報を出力しない。

同一の対象物が映像及び音の両方として検出されている場合には、使用者が対象物を認識している可能性が高い。従って、映像取得部が取得した映像と、音取得部が取得した環境音と、に同一の対象物による対象物情報が含まれる場合に、報知情報を出力しないことで、警告機能を保ちつつ煩わしさを低減させることができる。

出力部は、対象物情報を含む環境音又は映像と同一の認知方法で報知情報を出力してもよい。このとき、出力部は、環境音に対象物情報が含まれる場合、報知情報としてこの対象物情報を室内に出力することが好ましい。このように報知情報を出力すれば、使用者が対象物の種類を直感的に認識しやすい。また、報知情報として環境音に含まれる対象物情報を出力する場合、この音をそのまま出力してもよいし、適宜増幅して出力してもよい。

出力部は、対象物情報を含む環境音又は映像と異なる認知方法で報知情報を出力してもよい。即ち、環境音に対象物情報が含まれる場合には、映像（光）や振動による報知情報を出力し、映像に対象物情報が含まれる場合には、音や振動による報知情報を出力してもよい。これにより、対象物情報に対して報知情報を補完的に出力することができ、警告機能を向上させることができる。

例えば、使用者が視覚情報に対して注意力散漫になっている場合、対象物が映像として取得可能な状態であっても、対象物が使用者に認識されにくいことがある。このとき、音や振動による報知情報を出力すれば、使用者に対象物を認識させやすく、警告機能を向上させることができる。

本発明の他の実施形態に係る出力装置は、室外の環境音を取得する音取得部と、室外の映像を取得する映像取得部と、取得された環境音及び映像に基づき映像または環境音に対象物情報が含まれることが特定される場合、対象物情報に関連し、室内に報知するための報知情報を出力する出力部と、を備える。出力部は、映像と環境音とにそれぞれ１つの対象物情報のみが含まれるとともにこれらの対象物が同一である場合には報知情報を出力しない。

即ち、出力部は、映像又は環境音に複数の対象物情報が含まれている場合には、映像と環境音とに同一の対象物の対象物情報が含まれていても、報知情報を出力する。映像又は環境音に複数の対象物情報が含まれている場合、使用者は一部の対象物しか認識していない可能性がある。このような場合に報知情報の出力を省略しないことにより、警告機能を向上させることができる。

以下、本発明の実施例について具体的に説明する。

［第１実施例］
本実施例の出力装置１Ａは、図１に示すように、音取得部２と、映像取得部３と、制御部４と、出力部５と、を備え、移動体としての車両に搭載される。この車両の搭乗者（特に運転者）を使用者とする。

音取得部２は、例えばマイクであって、車室外の環境音を集音することで取得する。音取得部２は、車両の１箇所に設けられていてもよいし、複数箇所（例えば車両を上方視した際の四隅）に設けられていてもよい。音取得部２は、取得した環境音（取得結果）の情報を制御部４に送信する。

映像取得部３は、例えばカメラであって、車室外の映像を撮像することで取得する。本実施例では、映像取得部３は、車両の前方を撮像するものとするが、側方を撮像するものであってもよいし、後方を撮像するものであってもよいし、複数の方向を撮像するものであってもよい。映像取得部３は、取得した映像（取得結果）の情報を制御部４に送信する。尚、映像取得部３は、可視光や赤外線、紫外線等の回折を生じない光を検知することにより、映像を取得するものであればよい。また、映像取得部３は、光を送信するとともに対象物の反射光を受信するものであってもよいし、光を送信せずに受信するだけのものであってもよい。

制御部４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリを備えたＣＰＵ（Central Processing Unit）で構成され、出力装置１Ａの全体制御を司る。尚、車両に設けられたメータＥＣＵを制御部４として用いてもよいし、専用の制御部４を設けてもよい。制御部４は後述するように出力部５に制御信号を送信する。

制御部４は、音取得部２及び映像取得部３の取得結果に基づき、環境音及び映像に含まれる対象物情報を特定し、特定部として機能する。例えば、制御部４は、環境音に含まれる音の波長や波形、音の間隔等に基づき、対象物としての自転車や自動二輪車の走行音を対象物情報として特定したり、対象物としての子供の声を対象物情報として特定したりする。また、制御部４は、映像に含まれる像の大きさや形状、色、動作等に基づき、対象物としての自転車や自動二輪車の像を対象物情報として特定したり、対象物としての子供の像を対象物情報として特定したりする。

尚、特定される対象物は、人間であってもよいし、動物であってもよいし、他の移動体であってもよい。人間を対象物とする場合、対象とする年齢は任意であり、人間の存在を検知するだけであってもよいし、その人間の年齢も推定するようにしてもよい。

出力部５は、スピーカ等の音発生部と、例えばインストルメントパネルに設けられる表示画面である表示部と、によって構成され、音による報知情報（警報音）と、映像による報知情報（警告表示）と、を出力可能に構成されている。

以下、制御部４が実行する第１報知情報出力処理について図２を参照しつつ説明する。制御部４は、例えば車両の走行時や発進時に第１報知情報出力処理を実行する。報知情報出力処理において、制御部４は、まず、音取得部２及び映像取得部３に対し、情報を取得するように取得命令信号を送信する（ステップＳ１）。次に、制御部４は、音取得部２及び映像取得部３から取得結果（環境音及び映像）の信号を受信し（ステップＳ２）、環境音及び映像に含まれる対象物情報を特定する（ステップＳ３）。

次に、制御部４は、環境音に対象物情報が含まれるか否かを判定する（ステップＳ４）。環境音に対象物情報が含まれる場合（ステップＳ４でＹ）、制御部４は、映像に対象物情報が含まれるか否かを判定する（ステップＳ５）。映像に対象物情報が含まれる場合（ステップＳ５でＹ）、制御部４は、環境音に含まれる対象物情報の対象物と、映像に含まれる対象物情報の対象物と、が同一であるか否かを判定する（ステップＳ６）。

環境音に含まれる対象物情報の対象物と、映像に含まれる対象物情報の対象物と、が同一である場合（ステップＳ６でＹ）、制御部４は、出力部５に制御信号を送信せず（ステップＳ７）、ステップＳ１に戻る。環境音に含まれる対象物情報の対象物と、映像に含まれる対象物情報の対象物と、が異なる場合（ステップＳ６でＮ）、制御部４は、出力部５に対し、報知情報を出力するように制御信号を送信し（ステップＳ８）、ステップＳ１に戻る。また、映像に対象物情報が含まれない場合（ステップＳ５でＮ）、制御部４は、出力部５に対し、報知情報を出力するように制御信号を送信し（ステップＳ９）、ステップＳ１に戻る。

一方、環境音に対象物情報が含まれない場合（ステップＳ４でＮ）、制御部４は、映像に対象物情報が含まれるか否かを判定する（ステップＳ１０）。映像に対象物情報が含まれる場合（ステップＳ１０でＹ）、制御部４は、出力部５に対し、報知情報を出力するように制御信号を送信する（ステップＳ１１）。また、映像に対象物情報が含まれない場合（ステップＳ１０でＮ）、制御部４は、出力部５に制御信号を送信せず（ステップＳ１２）、ステップＳ１に戻る。

ここで、ステップＳ８、Ｓ９、Ｓ１１において送信する制御信号の一例について説明する。ステップＳ９で制御信号が送信される場合、環境音には対象物情報が含まれているものの、映像には対象物情報は含まれておらず、音のみで対象物が検出されている。この場合、制御部４は、報知情報として、環境音に含まれる対象物情報を車室内に出力するように、出力部５に対して制御信号を送信する。即ち、出力部５のスピーカに報知情報を出力させる。

尚、環境音に含まれる対象物情報を車室内に出力する際、取得した環境音のうち対象物情報に対応する成分を適宜増幅して車室内に出力してもよいし、対象物情報に対応する音声情報を予め記憶しておき、この音声情報を再生することで車室内に出力してもよい。例えば、対象物としての子供の声を検出した場合には、その声をそのまま車室内に出力してもよいし、拡声して出力してもよいし、子供の声として予め記憶した音声情報を再生してもよい。

ステップＳ１１で制御信号が送信される場合、環境音には対象物情報は含まれておらず、映像には対象物情報が含まれており、映像のみで対象物が検出されている。この場合、制御部４は、報知情報としての警報音を車室内に出力するように、出力部５に対して制御信号を送信する。即ち、出力部５のスピーカに報知情報を出力させる。この警報音は、単なるブザー音であってもよいし、対象物の接近状況について搭乗者に知らせる音声（例えば「左前方から自転車が接近しています」という音声）であってもよい。

また、ステップＳ９、Ｓ１１において、表示部に警告表示をするように出力部５に制御信号を送信してもよい。即ち、出力部５に、対象物情報を含む環境音又は映像と同一の認知方法で報知情報を出力させてもよいし、対象物情報を含む環境音又は映像と異なる認知方法で報知情報を出力させてもよい。また、ステップＳ９、Ｓ１１において、警報音及び警告表示の両方を出力させてもよい。

ステップＳ８では、出力部５に警報音及び警告表示の両方を出力させてもよいし、いずれか一方のみを出力させてもよい。

また、出力部５は、ステアリングホイールや座席等の搭乗者が接触し得る位置に設けられた振動発生部を有していてもよく、ステップＳ８、Ｓ９、Ｓ１１において、警報音や警報表示と併せて警告振動を出力させてもよいし、警告振動のみを出力させてもよい。

上記の構成により、映像取得部が取得した映像と音取得部が取得した環境音とに同一の対象物による対象物情報が含まれる場合に、報知情報を出力しないことで、警告機能を保ちつつ煩わしさを低減させることができる。即ち、同一の対象物が映像及び音の両方として検出されている場合には、搭乗者が対象物を認識している可能性が高く、このような場合には敢えて警告をしないことで煩わしさを低減することができる。

また、環境音に対象物情報が含まれている場合に、報知情報として、環境音に含まれる対象物情報を車室内に出力すれば、搭乗者が対象物の種類を直感的に認識しやすい。

また、出力部５に、対象物情報を含む環境音又は映像と異なる認知方法で報知情報を出力させれば、対象物情報に対して報知情報を補完的に出力することができ、警告機能を向上させることができる。

［第２実施例］
本実施例の出力装置１Ｂは、図３に示すように、音取得部２と、視線取得部６と、制御部４と、出力部５と、を備え、移動体としての車両に搭載される。この車両の搭乗者（特に運転者）を使用者とする。

視線取得部６は、例えば搭乗者の眼球の動きを検出することにより、運転者の視線方向を取得するものである。尚、視線取得部６は、搭乗者の頭部の位置や向きにも基づいて視線方向を取得してもよい。視線取得部６は、取得した視線方向（取得結果）の情報を制御部４に送信する。

以下、制御部４が実行する第２報知情報出力処理について図４を参照しつつ説明する。制御部４は、例えば車両の走行時や発進時に第２報知情報出力処理を実行する。報知情報出力処理において、制御部４は、まず、音取得部２及び視線取得部６に対し、情報を取得するように取得命令信号を送信する（ステップＳ１３）。次に、制御部４は、音取得部２及び視線取得部６から取得結果（環境音及び視線方向）の信号を受信し（ステップＳ１４）、環境音に含まれる対象物情報およびその対象物が位置する方向を特定する（ステップＳ１５）。

次に、制御部４は、環境音に対象物情報が含まれるか否かを判定する（ステップＳ１６）。環境音に対象物情報が含まれる場合（ステップＳ１６でＹ）、制御部４は、搭乗者の視線方向に対象物が位置するか否かを判定する（ステップＳ１７）。搭乗者の視線方向に対象物が位置する場合（ステップＳ１７でＹ）、制御部４は、出力部５に制御信号を送信せず（ステップＳ１８）、ステップＳ１３に戻る。搭乗者の視線方向に対象物が位置しない場合（ステップＳ１７でＮ）、制御部４は、出力部５に対し、報知情報を出力するように制御信号を送信し（ステップＳ１９）、ステップＳ１３に戻る。一方、環境音に対象物情報が含まれない場合（ステップＳ１６でＮ）、制御部４は、出力部５に制御信号を送信せず（ステップＳ２０）、ステップＳ１３に戻る。

ここで、ステップＳ１９において送信する制御信号の一例について説明する。ステップＳ１８で制御信号が送信される場合、環境音に対象物情報が含まれているものの、視線方向に対象物が位置していない。即ち、搭乗者が対象物を認識していない可能性が高い。この場合、制御部４は、報知情報として、環境音に含まれる対象物情報を車室内に出力するように、出力部５に対して制御信号を送信する。即ち、出力部５のスピーカに報知情報を出力させる。

尚、環境音に含まれる対象物情報を車室内に出力する際、取得した環境音のうち対象物情報に対応する成分を適宜増幅して車室内に出力してもよいし、対象物情報に対応する音声情報を予め記憶しておき、この音声情報を再生することで車室内に出力してもよい。例えば、対象物としての子供の声を検出した場合には、その声をそのまま車室内に出力してもよいし、拡声して出力してもよいし、子供の声として予め記憶した音声情報を再生してもよい。また、出力部５のスピーカに報知情報として警報音を出力させてもよい。この警報音は、単なるブザー音であってもよいし、対象物の接近状況について搭乗者に知らせる音声（例えば「左前方から自転車が接近しています」という音声）であってもよい。

また、ステップＳ１９において、表示部に警告表示をするように出力部５に制御信号を送信してもよい。即ち、出力部５に、環境音と異なる認知方法で報知情報を出力させてもよい。また、ステップＳ１９において、警報音及び警告表示の両方を出力させてもよい。

また、出力部５は、ステアリングホイールや座席等の搭乗者が接触し得る位置に設けられた振動発生部を有していてもよく、ステップＳ１９において、警報音や警報表示と併せて警告振動を出力させてもよいし、警告振動のみを出力させてもよい。

尚、環境音に複数の対象物情報が含まれる場合には、全ての対象物について、視線方向に位置するか否かを判定すればよい。

上記の構成により、搭乗者の視線取得部が取得した視線方向に対象物が位置する場合には、この対象物について報知情報を出力しないことで、警告機能を保ちつつ煩わしさを低減させることができる。即ち、搭乗者の視線方向に対象物が位置する場合には、搭乗者がこの対象物を認識している可能性が高く、このような場合には敢えて警告をしないことで煩わしさを低減することができる。

また、報知情報として環境音に含まれる対象物情報を車室内に出力することにより、搭乗者が対象物の種類を直感的に認識しやすい。

また、出力部５に音以外の報知情報を出力させれば、環境音に含まれる対象物情報に対して報知情報を補完的に出力することができ、警告機能を向上させることができる。

なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。

例えば、前記第１実施例では、環境音及び映像に含まれる対象物情報の数を判定することなく、環境音に含まれる対象物情報の対象物と、映像に含まれる対象物情報の対象物と、が同一である場合には報知情報を出力しないものとしたが（ステップＳ６、Ｓ７）、環境音及び映像に含まれる対象物情報の数を判定し、映像と前記環境音とにそれぞれ１つの対象物情報のみが含まれるとともにこれらの対象物が同一である場合には報知情報を出力しないようにしてもよい。

即ち、映像又は環境音に複数の対象物情報が含まれている場合には、映像と環境音とに同一の対象物による対象物情報が含まれていても、報知情報を出力するようにしてもよい。映像又は環境音に複数の対象物情報が含まれている場合、使用者は一部の対象物しか認識していない可能性がある。このような場合に報知情報の出力を省略しないことにより、警告機能を向上させることができる。

また、前記第２実施例では、対象物が視線方向に位置するか否かを判定するものとしたが（ステップＳ１７～Ｓ１９）、視線方向に位置する対象物の数について判定し、視線方向に１つの対象物のみが位置する場合に報知情報を出力しないようにしてもよい。

即ち、視線方向に複数の対象物が位置する場合には報知情報を出力するようにしてもよい。視線方向に複数の対象物が位置する場合、使用者は一部の対象物しか認識していない可能性がある。このような場合に報知情報の出力を省略しないことにより、警告機能を向上させることができる。

また、前記第１実施例では、映像取得部３によって取得した車両前方の映像に含まれる対象物情報を特定するものとしたが、車両の進行方向に応じて、どの方向の映像について対象物情報を特定するかを選択してもよい。即ち、車両が前進する（又は前進を開始しようとしている）場合には、車両前方の映像に含まれる対象物情報を特定し、車両が後退する（又は後退を開始しようとしている）場合には、車両後方の映像に含まれる対象物情報を特定してもよい。車両の進行方向は、例えばシフトレバーの位置に基づいて判断すればよい。また、車両が車線変更しようとしている場合には、車両側方及び車両後方の映像に含まれる対象物情報を特定してもよい。車両が車線変更しようとしているか否かは、例えば方向指示器やステアリングホイールの操作に基づいて判断すればよい。

また、前記第１実施例の出力装置１Ａが音取得部２及び映像取得部３を備え、前記第２実施例の出力装置１Ｂが音取得部２及び視線取得部６を備えるものとしたが、出力手段は、音取得部２、映像取得部３及び視線取得部６を備えるものとしてもよい。このとき、映像取得部が取得した映像と音取得部が取得した環境音とに同一の対象物の対象物情報が含まれ、且つ、搭乗者の視線方向にこの対象物が位置する場合に、報知情報を出力しないようにしてもよい。

また、前記第１実施例及び前記第２実施例では、出力部５が音発生部と表示部とによって構成され、音による報知情報と、映像による報知情報と、を出力可能に構成されているものとしたが、出力部は、報知情報を信号として外部機器に出力するものであってもよい。即ち、出力装置が音発生部や表示部を有しておらず、外部機器としての音発生部や表示部に対して信号を送信し、警報音や警報表示を発生させる構成としてもよい。

その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。

１Ａ 出力装置
２ 音取得部
３ 映像取得部
４ 制御部
５ 出力部

Claims (1)

1. 室外の環境音を取得する音取得部と、
   室外の映像を取得する映像取得部と、
   前記取得された環境音及び映像に基づき前記映像または前記環境音に対象物情報が含まれることが特定される場合、前記対象物情報に関連し、室内に報知するための報知情報を出力する出力部と、を備え、
   前記出力部は、前記映像と前記環境音とに同一の対象物による前記対象物情報が含まれる場合には前記報知情報を出力しないことを特徴とする出力装置。

Images