[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6232759B2 - 情報処理装置、接近対象物通知方法及びプログラム - Google Patents

情報処理装置、接近対象物通知方法及びプログラム Download PDF

Info

Publication number
JP6232759B2
JP6232759B2 JP2013120600A JP2013120600A JP6232759B2 JP 6232759 B2 JP6232759 B2 JP 6232759B2 JP 2013120600 A JP2013120600 A JP 2013120600A JP 2013120600 A JP2013120600 A JP 2013120600A JP 6232759 B2 JP6232759 B2 JP 6232759B2
Authority
JP
Japan
Prior art keywords
information
vehicle
image
approaching
dynamic pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013120600A
Other languages
English (en)
Other versions
JP2014239326A (ja
Inventor
英史 大場
英史 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013120600A priority Critical patent/JP6232759B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CA2912349A priority patent/CA2912349C/en
Priority to EP14735687.7A priority patent/EP3005228B1/en
Priority to CN201480030492.7A priority patent/CN105308620B/zh
Priority to PCT/JP2014/002836 priority patent/WO2014196171A1/en
Priority to US14/893,997 priority patent/US10528825B2/en
Priority to EP19186958.5A priority patent/EP3579143B1/en
Publication of JP2014239326A publication Critical patent/JP2014239326A/ja
Application granted granted Critical
Publication of JP6232759B2 publication Critical patent/JP6232759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、情報処理装置、接近対象物通知方法及びプログラムに関する。
近年、運転者が車両の後方を確認するための後方視界支援システムとして、車載カメラによって撮像された画像(撮像画像)を車両に搭載されたモニタに表示する技術が開発されている。運転者は、バックミラーやサイドミラー等のミラーの代わりに、当該モニタを視認することにより、自車両の周囲の様子を確認することができる。
一方、上記撮像画像や車両に搭載された各種のセンサ装置等によって、自車両に相対的に接近する対象物(例えば、後方から接近してくる他の車両等)を検出し、運転者に接近する対象物(接近対象物)がある旨を通知するシステムが開発されている。例えば、特許文献1には、測距センサによって車両と周囲の障害物との距離を測定し、測定された距離に応じて複数のLEDを段階的に発光させることにより、運転者に車両と障害物との距離を感覚的に通知する技術が開示されている。
ここで、画像内の特定の対象物に所定のパターンを付すことによりユーザに注意を喚起する技術として、例えば特許文献2には、複数の撮像部によって撮像された画像を合成してパノラマ画像を生成するシステムにおいて、最至近被写体までの距離が所定のしきい値未満である場合に、撮像画像内の当該最至近被写体にゼブラパターンを付すことにより、画像合成時に不良となり得る箇所をユーザに通知する技術が開示されている。
特開2005−47504号公報 特開2011−4340号公報
ここで、運転者に接近対象物を通知するシステムにおいては、運転者に接近対象物の存在を素早く認識させることが求められるとともに、当該接近対象物の様子(例えば、接近対象物の形状(車種)や接近速度等)をより正確に認識させることが求められる。しかし、上記特許文献1に記載の技術では、接近対象物の存在がLEDの発光によって運転者に通知されるため、上述したような接近対象物の様子を認識するためにはミラー等による視認が必要であり、正確な状況の認識に時間を要する恐れがあった。
また、運転中においては、運転者は基本的にフロントガラス越しに進行方向に視線を向けているため、周囲の様子の撮像画像が表示されたモニタを常時見ている訳ではない。従って、上記特許文献2に記載の技術のように、当該モニタ内の接近対象物にゼブラパターンが付されただけでは、運転者が接近対象物の存在を素早く認識することができない可能性がある。
上記事情を鑑みれば、運転者に接近対象物の存在を素早く認識させるとともに、当該接近対象物の様子を必要な状況でより正確に認識させることが求められていた。そこで、本開示では、運転者に接近対象物をより素早く、より正確に認識させることが可能な、新規かつ改良された情報処理装置、接近対象物通知方法及びプログラムを提案する。
本開示によれば、接近する対象物を少なくとも含む撮像画像の画像情報を取得する画像情報取得部と、接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成する画像生成部と、前記表示画面に前記動的パターン付与画像を表示させる表示制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、接近する対象物を少なくとも含む撮像画像の画像情報を取得することと、接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成することと、前記表示画面に前記動的パターン付与画像を表示させることと、を含む、接近対象物通知方法が提供される。
また、本開示によれば、コンピュータに、接近する対象物を少なくとも含む撮像画像の画像情報を取得する機能と、接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成する機能と、前記表示画面に前記動的パターン付与画像を表示させる機能と、を実現させるためのプログラムが提供される。
本開示によれば、表示画面における表示が所定の周期で変動する動的パターンが、周囲の前記対象物を少なくとも含む撮像画像内の接近する対象物に付与された動的パターン付与画像が生成される。従って、当該動的パターン付与画像が表示画面に表示されることで、たとえ運転者が表示画面を注視していない場合であっても、運転者の視界内に表示が周期的に変動する動的パターンが捉えられることにより、運転者は接近対象物を素早く認識することができる。また、動的パターン付与画像においては、接近する対象物及び動的パターンがともに表示される。このように、動的パターンが、対象物に付与されたときに表示画面上において当該対象物の視認を妨げないように生成されることにより、運転者は、表示画面を視認することで接近対象物を正確に認識することができる。
以上説明したように本開示によれば、運転者に接近対象物をより素早く、より正確に認識させることが可能となる。
本開示の第1の実施形態に係る接近対象物通知システムが適用された車両の概要を示す概略図である。 本開示の第1の実施形態に係る接近対象物通知システムの一構成例を示す機能ブロック図である。 動的パターンの具体例であるゼブラパターンについて説明するための説明図である。 動的パターンの具体例であるゼブラパターンについて説明するための説明図である。 動的パターンの具体例である枠状パターンについて説明するための説明図である。 動的パターンの具体例である枠状パターンについて説明するための説明図である。 動的パターンの具体例である波状パターンについて説明するための説明図である。 動的パターンの具体例である波状パターンについて説明するための説明図である。 動的パターンの具体例である波状パターンについて説明するための説明図である。 本開示の第2の実施形態に係る接近対象物通知システムの一構成例を示す機能ブロック図である。 本開示の第1及び第2の実施形態に係る接近対象物通知方法の一処理手順例を示すフロー図である。 本開示の第1及び第2の実施形態に係る接近対象物通知装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.接近対象物通知システムの概要
1−2.接近対象物通知システムの構成
1−3.動的パターンの具体例
1−3−1.ゼブラパターン
1−3−2.枠状パターン
1−3−3.波状パターン
2.第2の実施形態
3.接近対象物通知方法の処理手順
4.ハードウェア構成
5.まとめ
<1.第1の実施形態>
[1−1.接近対象物通知システムの概要]
まず、図1を参照して、本開示の第1の実施形態に係る接近対象物通知システムの概要について説明する。図1は、本開示の第1の実施形態に係る接近対象物通知システムが適用された車両の概要を示す概略図である。なお、以下の説明では、本実施形態に係る接近対象物通知システムが車両に適用される場合について説明するが、本実施形態はかかる例に限定されず、操縦者(運転者)が乗り込んで操縦を行う乗り物であれば、あらゆる種類の乗り物に適用可能である。また、以下の説明において、前方、後方、左右等の方向を示す表現は、車両を運転している運転者を基準とした方向を示すものとする。
図1を参照すると、第1の実施形態に係る接近対象物通知システムが適用された車両610には、車載カメラ611及び測距センサ装置612が搭載されている。車載カメラ611は、車両610の周囲の様子を撮像する撮像装置の一例である。車載カメラ611は、例えば、運転者がバックミラー及びサイドミラー等の車載ミラーによって通常視認し得る範囲を撮像するように配設される。具体的には、車載カメラ611は、車両610の後方及び左右後方の様子を撮像するように配設される。なお、図1に示す例では、車載カメラ611が、車両610の左のサイドミラーに対応する位置に1台配設されているが、本実施形態はかかる例に限定されない。車載カメラ611は所望の範囲を撮像することができるように、車両610の任意の位置に複数台が配設されてよい。
車載カメラ611によって撮像された画像(撮像画像)は、同じく車両610に搭載されるモニタ(図示せず。)に表示される。従って、運転者は、当該モニタに表示される撮像画像を視認することにより、車両610の周囲の様子を確認することができる。このように、本実施形態においては、車載カメラ611及びその撮像画像を表示するモニタは、車載ミラーを代用することができる。当該モニタは、車両610の車内の運転者から視認される位置に設けられてもよいし、一般的に車載ミラーが設けられる位置にミラーに代わって設けられてもよい。また、車載カメラ611が複数台配設される場合には、車載カメラ611のそれぞれによって撮像された撮像画像を表示するように、車載カメラ611と同数のモニタが設けられてもよい。
測距センサ装置612は、車両610と、車両610の周囲の対象物との距離を検出する距離検出装置の一例である。具体的には、測距センサ装置612は、ミリ波レーダ装置、音波測距装置、超音波測距装置、光測距装置等の各種の測距センサ装置であってよい。図1に示す例では、測距センサ装置612は、車両610の後方及び左右後方の対象物との距離を検出するように配設されている。ただし、本実施形態はかかる例に限定されず、測距センサ装置612は、車両610の前方、後方及び左右方向における対象物との距離を検出するように、複数台が異なる位置に配設されてもよい。
このように、本実施形態に係る接近対象物通知システムにおいては、車載カメラ611によって車両610の周囲の様子が撮像され、測距センサ装置612によって車両610の周囲の対象物との距離が検出される。ここで、図1に示すように、例えば、車両610の左後方から他の車両620が接近してくる場合を考える。この場合、本実施形態においては、車載カメラ611によって、車両620を含む撮像画像が車両610に搭載されたモニタに表示される。また、測距センサ装置612によって、車両610と車両620との距離が検出される。そして、当該撮像画像内の車両620に動的パターンが付与された画像であって、車両620及び当該動的パターンをともに表示する画像である動的パターン付与画像が、当該モニタに表示されることによって、運転者に接近してくる車両620(接近対象物、接近車両)が通知される。
ここで、動的パターンとは、表示画面における表示が所定の周期で変動するパターンのことである。このような動的パターンは、ヒトの動体視力に訴える作用を有し、換言すれば、動的パターンは運転者にとって認識されやすいパターンであると言える。これは、多くの脊椎動物、とりわけ草食動物が有する視力に関する能力(視機能)に起因するものである。草食動物は、目の中心窩の外周に広がる、低解像でありながら水平の横移動をする動体を敏感に察知する視野領域を有することが知られており、草食動物の視機能は、当該視野領域における非定常変化を察知することにより、捕食動物の僅かな動きを捉えることができる。ここで、中心窩とは、錐体が高い密度で存在する網膜の黄斑部の略中心に位置する部分であり、視野の略中心で高精細な視力を司る部分である。また、中心窩の周辺部には変動知覚を司る杆体細胞が多く分布することが知られている。このように、本実施形態では、ヒトの動体視力に訴える作用を利用することにより運転者への注意喚起が行われる。具体的には、動的パターン付与画像が車両610に搭載されたモニタに表示されることで、運転者がモニタを注視していない場合であっても、運転者の視界内に動的パターンが捉えられることにより、運転者は接近対象物を素早く認識することができる。
また、本実施形態に係る動的パターン付与画像では、車両620に動的パターンが付与されていると同時に、車両620と当該動的パターンとがともに表示される。つまり、動的パターンは、車両620の視認を妨げないように車両620に付与される。従って、モニタに表示された動的パターン付与画像を参照した運転者は、接近対象物である車両620の様子(例えば、車両620の形状(車種)や接近速度等)をより正確に認識することができる。
以上、図1を参照して、本開示の第1の実施形態に係る接近対象物通知システムの概要について説明した。このように、本実施形態によれば、運転者に、自車両に接近する接近対象物をより素早く、より正確に認識させることが可能となる。以下では、本実施形態に係る接近対象物通知システムの具体的な機能及び構成について詳細に説明する。
なお、図1に示す例では、接近対象物が4輪の車両620であったが、本実施形態はかかる例に限定されない。例えば、接近対象物は、自転車等の軽車両や二輪車等の他の形態の車両であってもよい。また、本実施形態において、接近対象物は、車両610との相対的な距離が接近している対象物であればよく、例えば壁や電柱、ガードレール等の静止している物体や、歩行者のような車両610に比して十分遅い速度で移動している物体も相対的な接近対象物に含まれてよい。
[1−2.接近対象物通知システムの構成]
図2を参照して、本開示の第1の実施形態に係る接近対象物通知システムの概略構成について説明する。図2は、本開示の第1の実施形態に係る接近対象物通知システムの一構成例を示す機能ブロック図である。
図2を参照すると、本開示の第1の実施形態に係る接近対象物通知システム1は、車両情報検出装置10、距離検出装置20及び接近対象物通知装置30を備える。本実施形態においては、車両情報検出装置10、距離検出装置20及び接近対象物通知装置30は、例えば車両に設けられる。以下の説明においては、特に記載のない限り、車両とは、本実施形態に係る車両情報検出装置10、距離検出装置20及び接近対象物通知装置30を搭載した車両のことを意味することとする。また、以下の説明においては、接近対象物通知システム1における一連の処理のことを接近対象物通知処理とも呼称する。また、接近対象物通知装置30は、接近対象物通知処理における各種の情報処理を主に行う装置であることから、以下の説明においては、接近対象物通知装置30のことを情報処理装置30とも呼称する。
車両情報検出装置10は、車両の状態を表す車両情報を検出する。ここで、車両情報とは、車両の状態を表すあらゆる情報を含んでよい。例えば、車両情報は、車両の速度、エンジンの回転数、ステアリングの状態、ギアの状態(すなわちシフトレバーの位置)等の、車両の移動に関する情報を含んでもよい。また、車両情報は、方向指示器、ヘッドライト及びブレーキランプ等の各種のランプの点灯や、エアコン、ワイパー、カーナビゲーションシステム等の設備の起動状態に関する情報を含んでもよい。
車両情報検出装置10は、検出した車両情報を接近対象物通知装置30に送信する。ここで、車両情報検出装置10は、車両情報を常に検出してもよいし、接近対象物通知装置30からの指令に従って所定のタイミングで車両情報を検出してもよい。更に、車両情報検出装置10は、車両情報に変化が生じた場合、例えば車線変更の意思表示となる方向指示器の点灯等がなされた場合に、当該変化した車両情報及びその他の車両情報を検出してもよい。また、車両情報検出装置10は、検出した車両情報を接近対象物通知装置30に随時送信してもよいし、接近対象物通知装置30からの指令に従って所定のタイミングで送信してもよい。また、車両情報検出装置10は、車両情報に変化が生じた場合に当該変化した情報のみを接近対象物通知装置30に送信してもよい。
距離検出装置20は、車両と、当該車両の周囲の対象物との距離を検出する。距離検出装置20は、図1における測距センサ装置612に対応するものである。例えば、距離検出装置20は、ミリ波レーダ装置、音波測距装置、超音波測距装置、光測距装置等の各種の測距センサ装置であってよい。なお、図2では、距離検出装置20を1つだけ図示しているが、距離検出装置20は車両に複数台設けられてもよく、車両の周囲のあらゆる方向における対象物との距離を検出してもよい。
距離検出装置20は、検出した周囲の対象物との距離についての情報を接近対象物通知装置30に送信する。ここで、距離検出装置20は、周囲の対象物との距離を常に検出してもよいし、接近対象物通知装置30からの指令に従って所定のタイミングで距離を検出してもよい。また、距離検出装置20は、周囲の対象物との距離についての情報を、接近対象物通知装置30に随時送信してもよいし、接近対象物通知装置30からの指令に従って所定のタイミングで送信してもよい。また、接近対象物通知装置30は、車両情報検出装置10から特定の車両情報が送信された場合に、距離検出装置20に対して周囲の対象物との距離を検出し、当該距離に関する情報を送信するように指令を出してもよい。
接近対象物通知装置30は、本実施形態に係る接近対象物通知処理を統合的に制御する。接近対象物通知装置30は、撮像部310、表示部320及び制御部330を備える。
撮像部310は車両の周囲の様子を撮像する機能を有する。撮像部310は車両の周囲の対象物を少なくとも含む撮像画像を撮像し、当該撮像画像の画像情報を制御部330に送信する。撮像部310は各種のカメラ装置であってよく、車両の周囲の様子を動画として撮像し、画像情報をリアルタイムで制御部330に送信することができる。なお、撮像部310は、図1における車載カメラ611に対応するものである。また、図2では、撮像部310を1つだけ図示しているが、撮像部310は車両に複数設けられてもよく、車両の周囲のあらゆる方向を撮像し、複数の撮像画像の画像情報を制御部330に送信してもよい。
表示部320は、接近対象物通知装置30において処理される各種の情報や処理された結果を表示画面に視覚的に表示する出力インターフェースである。本実施形態においては、表示部320は、制御部330からの制御により、撮像部310によって撮像された撮像画像を表示画面上に表示する。また、表示部320は、制御部330からの制御により、当該撮像画像に動的パターンが付与された動的パターン付与画像を表示画面上に表示する。このように、表示部320の表示画面には、撮像画像又は動的パターン付与画像が表示されるため、表示部320には車両の周囲の様子が表示されていると言える。従って、撮像部310が車両の後方や左右後方を撮像し、表示部320が車両の後方や左右後方における撮像画像や動的パターン付与画像を表示する場合には、表示部320は車載ミラーを代用するものであると言える。表示部320は、車両の車内における運転者から視認される位置に設けられてもよいし、一般的に車載ミラーが設けられる位置に車載ミラーに代わって設けられてもよい。なお、図2では、表示部320を1つだけ図示しているが、表示部320は複数設けられてもよい。また、撮像部310が複数台配設される場合には、撮像部310のそれぞれによる撮像画像を表示するように、撮像部310と同数の表示部320が設けられてもよい。
制御部330は、接近対象物通知装置30を統合的に制御するとともに、本実施形態に係る接近対象物通知処理における各種の情報処理を行う。以下、制御部330の機能及び構成について詳しく説明する。
制御部330は、接近状態判断部331、動的パターン生成部334、画像情報取得部335、画像生成部336及び表示制御部337を有する。
接近状態判断部331は、接近する対象物(接近対象物)の状態を判断する。ここで、接近対象物の状態(接近状態)とは、車両と接近対象物との距離、車両に接近する対象物の速度や方向等の情報を含む。また、接近対象物の状態とは、接近対象物が車両に衝突する危険性を示す指標である、接近対象物の危険度についての情報を含む。また、本実施形態においては、接近状態は、距離検出装置20によって検出される車両と接近対象物との距離についての情報に基づいて判断される。
接近状態判断部331の機能及び構成についてより詳細に説明する。接近状態判断部331は、接近情報取得部332及び危険度判定部333を有する。
接近情報取得部332は、接近する対象物についての情報である接近情報を取得する。接近情報とは、例えば、接近対象物が存在すること、車両と接近対象物との距離、並びに接近対象物が接近してくる速度及び方向等の情報である。本実施形態においては、接近情報取得部332は、車両と接近対象物との距離についての情報を距離検出装置20から受信する。接近情報取得部332は、当該距離についての情報に基づいて、例えば上述した内容を含む接近情報を取得することができる。接近情報取得部332は、取得した接近情報を危険度判定部333に送信する。
ここで、接近情報取得部332は、距離検出装置20から随時送信される距離についての情報に基づいて、随時接近情報を取得してもよいし、所定のタイミングで接近情報を取得してもよい。当該所定のタイミングとは、例えば、車両情報検出装置10によって特定の車両情報が検出されたタイミングであってよい。このように、本実施形態においては、接近情報取得部332は、車両情報検出装置10から車両情報を受信してもよく、特定の車両情報を受信した場合に接近情報を取得してもよい。つまり、本実施形態においては、接近情報は、特定の車両情報が検出された場合に取得されてもよい。以下の説明においては、接近情報取得部332が接近情報を取得するきっかけとなる車両情報のことを、トリガー情報とも呼称する。接近情報取得部332がトリガー情報に応じて接近情報を取得する場合には、トリガー情報を受信した接近情報取得部332が距離検出装置20に車両と対象物との距離を検出するように指令を送信することにより、距離検出装置20によって当該距離の検出が行われてもよい。また、本実施形態に係る接近対象物通知処理においては、接近情報取得部332が接近情報を取得することにより接近対象物通知処理における一連の処理が行われるため、トリガー情報は、接近対象物通知処理が開始されるきっかけとなる車両情報とも言うことができる。
ここで、トリガー情報の具体例について説明する。例えば、トリガー情報は車両の速度についての情報であってよい。車両の速度が所定の速度以上である場合には、対象物と衝突した際の危険性が高く、接近対象物を通知する必要性が高いと考えられる。従って、車両の速度が所定の速度以上の旨の車両情報が検出された場合に、接近対象物通知処理が行われるようにしてもよい。
また、例えば、トリガー情報は車両の方向指示器の駆動についての情報であってよい。車両が左右いずれかの方向指示器を駆動させた場合には、車両が右左折又は車線変更をしようとしている可能性が高く、運転者の死角から接近してくる対象物との衝突が懸念される。従って、車両が左右いずれかの方向指示器を駆動させた旨の車両情報が検出された場合に、接近対象物通知処理が行われるようにしてもよい。
また、例えば、トリガー情報は車両のシフトレバーの位置についての情報であってよい。例えば、シフトレバーが「P」(パーキング)の位置から他の位置に移動した場合には、車両が停車した状態から動き出す場合であると考えられるため、車両の周囲により注意を払うべき状況であると考えられる。従って、シフトレバーの位置が「P」の位置から他の位置に移動した旨の車両情報が検出された場合に、接近対象物通知処理が行われるようにしてもよい。また、例えば、シフトレバーが「R」(リバース)の位置にある場合には、車両が後進しようとしている場合であり、車両を前進させる場合と比べて運転者の視界が狭く、接近対象物を通知する必要性が高いと考えられる。従って、シフトレバーが「R」の位置にある旨の車両情報が検出された場合に、接近対象物通知処理が行われるようにしてもよい。
以上、トリガー情報の具体例について説明したが、本実施形態においてはトリガー情報はこれらの例に限定されない。トリガー情報は、車両情報に含まれる情報であればどのような情報であってもよく、運転者又は接近対象物通知システムの設計者によって適宜設定されてよい。例えば、車両に運転者の視線や頭部の位置及び姿勢等を検出するシステムが搭載される場合であれば、当該システムによって検出される視線や頭部の位置及び姿勢等の状態を示す情報も車両情報に含まれてよく、当該情報がトリガー情報として用いられてもよい。具体的には、例えば、運転者が車線変更に伴う事前確認や、車線変更時に法規上求められている斜め後方の直接視界による確認のために視線や頭部を動かした旨の情報がトリガー情報として検出された場合に、接近対象物通知処理が行われるようにしてもよい。なお、運転者の視線や頭部の位置及び姿勢等を検出するシステムは、例えば運転者の眼球や頭部の位置や動き等の状態を画像として捉える撮像装置や、運転者の頭部の動きを距離の変化として捉える各種の測距センサ装置、更には、これらの撮像装置によって取得された画像や測距センサ装置によって検出された距離情報に基づいて、運転者の視線や頭部の位置及び姿勢等の状態を示す情報及び当該情報がトリガー情報に含まれるかどうかを判断する制御装置等によって構成される。
このように、本実施形態に係る接近対象物通知処理は、接近対象物に対して随時行われてもよいし、トリガー情報が検出された場合にそのとき存在する接近対象物に対して行われてもよい。なお、トリガー情報を用いた接近対象物通知処理は、人間工学的な観点からも優れた効果を有する。何故ならば、トリガー情報が検出された場合に接近対象物通知処理が行われる、すなわち、運転者に対して提示される画像が変化することにより、必要な時のみ運転者の周辺視界に注意喚起を示す動的パターンが映り込むこととなる。従って、頻繁に動的パターンが表示されることが回避され、視界に映り込む画像に対する慣れに伴う感覚の鈍化防止効果が得られるため、より効果的な注意喚起を行うことが可能となる。なお、接近対象物通知処理を随時行うか、トリガー情報が検出された場合に行うかの切り換えは、運転者によって任意に切り換え可能であってよい。また、トリガー情報としてどのような車両情報を用いるかも、運転者によって適宜選択可能であってよい。
危険度判定部333は、接近情報取得部332によって取得された接近情報に基づいて前記対象物の危険度を判定する。ここで、危険度とは、接近対象物が車両に衝突する危険性を示す指標であってよい。例えば、危険度はスコアによって表現されてよく、危険度判定部333は、車両と接近対象物との距離が近いほど、接近対象物の速度が速いほど、危険度を表すスコアを高く算出してもよい。また、危険度判定部333は、車両情報検出装置10から車両情報を受信し、当該車両情報に更に基づいて危険度を判定してもよい。つまり、本実施形態においては、危険度は、車両情報に更に基づいて判定されてもよい。なお、危険度判定部333が接近対象物の危険度を判定する方法はスコア方式に限定されず、各種の方法が用いられてよい。例えば、接近対象物通知装置30の記憶部(図示せず。)に、接近情報及び/又は車両情報に含まれる各種の状況に応じた危険度の値がテーブルとして記憶されていてもよく、危険度判定部333は、接近情報及び/又は車両情報に基づいて、当該テーブルを参照することにより危険度を判定してもよい。
ここで、危険度判定部333が車両情報に基づいて危険度を判定する具体例について説明する。例えば、危険度判定部333は、車両の速度についての車両情報に基づいて危険度を判定してもよい。例えば、車両の速度が十分遅く、当該車両が渋滞や信号待ちの車列内を走行していることが想定される場合には、危険度判定部333は、周囲の対象物(例えば前後の他の車両)との距離が比較的近くても危険度を低く判定してよい。また、例えば、車両の速度が十分速く、当該車両が高速道路を走行していることが想定される場合には、危険度判定部333は、周囲の対象物(例えば前後の他の車両)との距離が、上記速度が遅い場合と同程度であっても危険度を高く判定することができる。このように、危険度判定部333は、車両情報に応じて、ほぼ同内容の接近情報に基づく判定であっても異なる危険度を判定してもよい。
また、例えば、危険度判定部333は、車両の方向指示器の駆動についての車両情報に基づいて危険度を判定してもよい。例えば、車両が左右いずれかの方向指示器を駆動させた場合には、車両が右左折又は車線変更をしようとしている可能性が高いため、危険度判定部333は、方向指示器を駆動させている方向に存在する対象物の危険度を、他の方向に存在する対象物の危険度よりも高く判定してもよい。例えば、車両が所定の速度以上で走行中に左側の方向指示器を駆動させた場合には、当該車両は左側の車線に車線変更を試みようとしていることが想定される。従って、危険度判定部333は、車両の左後方に存在する接近対象物の危険度を、他の方向(例えば後方や右後方)に存在する接近対象物より高く判定することができる。
また、例えば、危険度判定部333は、車両のシフトレバーの位置についての車両情報に基づいて危険度を判定してもよい。例えば、シフトレバーが「R」の位置にある場合、すなわち車両が後進しようとしている場合には、運転者が比較的視認し難い車両の後方に存在する接近対象物の危険度を、他の方向(例えば前方や左右方向)に存在する接近対象物より高く判定してもよい。
以上、危険度判定部333が車両情報に基づいて危険度を判定する具体例について説明したが、危険度判定部333が危険度の判定に用いる車両情報はこれらの例に限定されない。危険度判定部333は、車両情報に含まれるあらゆる情報に基づいて危険度を判定してもよい。例えば、危険度判定部333は、上述したような運転者の視線や頭部の位置及び姿勢等を検出するシステムによって検出された運転者の視線や頭部の位置及び姿勢等の状態を示す車両情報に基づいて危険度を判断してもよい。具体的には、危険度判定部333は、例えば、運転者の視線や頭部の位置及び姿勢等の変化から、車両が右左折又は車線変更しようとしていると判断される場合には、右左折又車線変更をしようとしている方向、すなわち運転者が視線を向けている方向及び/又は頭部を傾けた方向に存在する対象物の危険度を、他の方向に存在する対象物の危険度よりも高く判定してもよい。ここで、車両が右左折又は車線変更しようとしていると判断される場合とは、例えば、車線変更に伴う確認動作として、運転者の視線や頭部の位置及び姿勢等が右又は左を向いたり、車両の斜め後方を向いたりした場合であってよい。また、例えば、危険度判定部333は、運転者の視線を示す車両情報に基づいて危険度を判定してもよい。例えば、運転者の視線が車両の前方(フロントガラス)に集中している場合には、運転者は後方や側方からの接近対象物に気付いていない可能性が高い。このような場合、危険度判定部333は、運転者の視線が向いていない方向からの接近対象物の危険度を相対的に高く判定してもよい。また、危険度判定部333がどのような車両情報に基づいて危険度を判定するかは、運転者又は接近対象物通知システムの設計者によって適宜設定されてよい。
危険度判定部333は、判定した危険度についての情報である危険度情報を動的パターン生成部334に送信する。また、危険度判定部333は、接近情報取得部332から受信した接近情報を動的パターン生成部334に更に送信してもよい。
以上、接近状態判断部331が有する接近情報取得部332及び危険度判定部333の機能について詳しく説明した。このように、接近状態判断部331によって判断される接近対象物の状態には、接近情報取得部332によって取得される接近情報及び危険度判定部333によって判定される危険度についての情報である危険度情報が含まれてよい。接近状態判断部331は、判断した接近対象物の状態についての情報を動的パターン生成部334に送信する。
動的パターン生成部334は、接近状態判断部331の判断結果に基づいて、表示部320の表示画面における表示が所定の周期で変動する動的パターンを生成する。ここで、動的パターンは、表示画面において接近対象物に付与されて、当該接近対象物とともに表示されるパターンであり、表示画面における当該接近対象物の視認を妨げないパターンである。動的パターン生成部334は、接近情報取得部332によって接近対象物が存在する旨の情報が取得された場合に動的パターンを生成してもよい。また、動的パターン生成部334は、危険度判定部333によって判定された危険度が所定のしきい値以上であった場合に動的パターンを生成してもよい。なお、本実施形態においては、動的パターン生成部334による動的パターンの生成処理は、必ずしも表示画面上のパターンを一から生成することを意味する訳ではなく、予め用意されている複数の種類の動的パターンの中から、接近状態判断部331の判断結果に基づいて、適切な動的パターンを選択する処理を含んでもよい。
動的パターンが表示画面において所定の周期で変動することにより、運転者は表示画面に変化が生じていることを視界に捉えることができ、接近対象物が存在することを素早く認識することができる。また、動的パターンが付与された接近対象物の視認が妨げられないので、運転者が接近対象物を正確に認識することができる。このように、本実施形態に係る動的パターンは、表示画面に表示された際に運転者の動体視力に訴えるような形状及び表示の変動を有するとともに、付与された接近対象物の視認を妨げないパターンであればよく、その形態は限定されない。動的パターンの具体例については、下記[1−3.動的パターンの具体例]で詳細に説明する。
また、動的パターン生成部334は、危険度判定部333によって判定された危険度に応じて、異なる動的パターンを生成してもよい。例えば、動的パターン生成部334は、危険度判定部333によって判定された危険度に応じて、異なる色を有する動的パターンを生成してもよい。具体的には、動的パターン生成部334は、危険度が高いほど運転者の注意を引きやすい色(例えば警戒色等)を有する動的パターンを生成することができる。例えば、動的パターン生成部334は、危険度が低い場合には青色の動的パターンを生成し、危険度が中程度である場合には黄色の動的パターンを生成し、危険度が高い場合には赤色の動的パターンを生成してもよい。
また、例えば、動的パターン生成部334は、危険度判定部333によって判定された危険度に応じて、表示が変動する速度が異なる前記動的パターンを生成してもよい。具体的には、動的パターン生成部334は、危険度が高いほど動的パターンの表示が変動する速度を速くしてもよい。このように、動的パターン生成部334が、危険度の高さに応じて動的パターンの色及び/又は表示の変動の速度を変更することにより、危険度の高さを運転者に直感的に認識させることができる。
動的パターン生成部334は、生成した動的パターンを画像生成部336に送信する。また、動的パターン生成部334は、接近状態判断部331によって判断された接近対象物の状態についての情報を画像生成部336に送信してもよい。
画像情報取得部335は、接近する対象物を少なくとも含む撮像画像の画像情報を取得する。本実施形態においては、画像情報取得部335は、当該画像情報を撮像部310から取得する。また、画像情報取得部335は、取得した画像情報に対して、黒レベルの補正処理や、輝度の補正処理、ホワイトバランスの補正処理等、一般的な画像処理において行われる各種の処理を行ってもよい。画像情報取得部335は、撮像画像の画像情報を画像生成部336及び表示制御部337に送信する。
画像生成部336は、接近する対象物の状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが撮像画像内の接近する対象物に付与された画像であって、接近する対象物及び動的パターンがともに表示される画像である動的パターン付与画像を生成する。本実施形態では、画像生成部336は、接近状態判断部331の判断結果に基づいて、撮像画像内の接近する対象物に動的パターンが付与された画像であって、接近する対象物及び動的パターンがともに表示される画像である動的パターン付与画像を生成する。ここで、画像生成部336には、動的パターン生成部334から、接近対象物の状態についての情報が送信されている。従って、画像生成部336は、車両のどの方向におけるどのくらいの距離に接近対象物が存在するのかを認識することができる。また、画像生成部336には、画像情報取得部335から、周囲の対象物を少なくとも含む撮像画像の画像情報が送信されている。従って、画像生成部336は、受信したこれらの情報を統合することにより、車両に接近してくる対象物と撮像画像内の対象物とを対応付け、撮像画像内の接近対象物に動的パターンを付与することができる。また、画像生成部336は、接近対象物の状態についての情報に基づいて、撮像画像内の対象物の危険度を認識し、危険度が所定のしきい値以上である場合に動的パターンを付与してもよい。画像生成部336は、生成した動的パターン付与画像を、表示制御部337に送信する。
表示制御部337は、表示部320の駆動を制御し、表示部320の表示画面に、接近対象物通知装置30において処理される各種の情報を、テキスト、表、グラフ、画像等、あらゆる形式で視覚的に表示させる。本実施形態においては、表示制御部337は、画像生成部336によって生成された動的パターン付与画像を表示部320の表示画面に表示させる。また、表示制御部337は、撮像部310によって撮像された撮像画像を表示部320の表示画面に表示させてもよい。撮像部310及び表示部320が複数配設される場合には、表示制御部337は、複数の表示部320の駆動を制御し、例えば撮像部310のそれぞれによって撮像される複数の撮像画像や、当該撮像画像に基づいて生成される複数の動的パターン付与画像を、対応する表示部320に表示させてもよい。
以上、図2を参照して、本開示の第1の実施形態に係る接近対象物通知システム1の一構成例について詳細に説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、特に接近対象物通知装置30の制御部330については、その各構成要素の機能をCPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
以上説明したように、第1の実施形態においては、動的パターン生成部334によって、表示部320の表示画面における表示が所定の周期で変動する動的パターン生成される。また、画像生成部336によって、撮像画像内の接近する対象物に動的パターンが付与された画像であって、接近する対象物及び動的パターンがともに表示される画像である動的パターン付与画像が生成される。更に、表示制御部337によって、動的パターン付与画像が表示部320の表示画面に表示される。従って、動的パターンが表示画面において所定の周期で変動することにより、運転者は表示画面に変化が生じていることを視界に捉えることができ、接近対象物が存在することを素早く認識することができる。また、動的パターンが付与された接近対象物の視認が妨げられないので、運転者が接近対象物を正確に認識することができる。よって、第1の実施形態によれば、運転者に、接近対象物をより素早くより正確に通知することが可能となる。
ここで、運転者への接近対象物の注意喚起のための他の方法として、表示画面に表示された撮像画像内の接近対象物に対応する領域を所定の色(例えば赤色等の警戒色)で塗り潰す方法が考えられる。しかしながら、当該方法では、運転者が接近対象物の様子を十分に認識することができず、本来運転者が瞬時に識別するべき接近対象物の判別や接近対象物との相対速度の判断等が困難になる恐れがある。一方、上述したように、本実施形態においては、表示画面において接近対象物に動的パターンが付与され、当該動的パターンは運転者による当該接近対象物の視認を妨げない。従って、本実施形態によれば、運転者は瞬時に接近対象物を含む周囲の状況をより素早く認識し、的確な状況判断及び自車両の操作を行うことが可能となる。
なお、図2に示す例では、接近対象物通知装置30は、撮像部310、表示部320及び制御部330を備えているが、本実施形態はかかる例に限定されない。例えば、接近対象物通知装置30は、運転者が各種の情報を入力するための入力部、接近対象物通知装置30において処理される各種の情報を記憶するための記憶部、外部の他の機器と総合に情報を送受信するための通信部等の構成を更に有してもよい。また、接近対象物通知装置30は1台の装置によって構成されなくてもよく、接近対象物通知装置30が備える各機能は、任意に複数の装置に分離されて構成されてもよい。例えば、車両には撮像部310及び表示部320のみが搭載され、制御部330は車両外のサーバ等の任意の情報処理装置に搭載され、撮像部310及び表示部320と、制御部330とが相互に各種の情報を送受信することにより、以上説明した接近対象物通知装置30における各種の処理が行われてもよい。また、例えば、接近対象物通知装置30が、接近状態判断部331に示す接近対象物の状態の判断に関する機能を主に行う第1の装置と、撮像部310、表示部320、動的パターン生成部334、画像情報取得部335、画像生成部336及び表示制御部337に示す画像処理に関する機能を主に行う第2の装置とに、分離されて構成されてもよい。また、当該第1の装置は距離検出装置20であってもよく、すなわち、距離検出装置20が接近状態判断部331に示す接近対象物の状態の判断に関する機能を備え、当該第2の装置は制御部330におけるその他の機能(上記画像処理に関する機能)を備える接近対象物通知装置30であってもよく、このような距離検出装置20と接近対象物通知装置30とが相互に各種の情報を送受信することにより、本実施形態に係る接近対象物通知処理が行われてもよい。更に、接近対象物通知装置30が、当該第1の装置と当該第2の装置とに分離されて構成される場合には、動的パターン生成部334の機能が当該第1の装置に搭載されてもよい。このように、本実施形態に係る接近対象物通知システム1においては、上記説明した接近対象物通知システム1における各処理が行われればよく、接近対象物通知システム1は図2に示す構成例に限定されず、任意の構成を取り得る。本実施形態に係る接近対象物通知システム1をどのような装置構成によって実現するかや、それらの各装置にどのような機能を実行させるかは、適宜設定されてよい。
また、第1の実施形態に係る接近対象物通知システム1は、接近対象物が複数の場合であっても適用可能である。例えば、接近対象物が複数存在する場合には、接近状態判断部331は、各対象物に対する接近状態の判断を行ってもよい。また、動的パターン生成部334は、接近状態判断部331の判断結果に基づいて、複数の接近対象物のそれぞれに対して、互いに異なる動的パターンを生成してもよい。また、画像生成部336は、接近状態判断部331の判断結果に基づいて、撮像画像内の複数の接近対象物のそれぞれに対して、互いに異なる動的パターンが付与された動的パターン付与画像を生成してもよい。当該動的パターン付与画像においては、例えば、最も危険度が高いと判断された接近対象物に対して運転者の注意をより惹きやすい動的パターン(例えば、表示の変動の速度が速い、警戒色を有する等)が付与されてもよい。従って、運転者は、当該動的パターン付与画像が表示された表示部320を参照することにより、接近対象物が複数存在すること、それらの接近対象物が接近する速度や方向、それらの接近対象物の車種及びそれらの接近対象物の中での危険度の高低等の情報を、素早く正確に認識することができる。
[1−3.動的パターンの具体例]
次に、図3A、図3B、図4A、図4B、図5A−図5Cを参照して、本実施形態に係る動的パターンの具体例について説明する。なお、図3A、図3B、図4A、図4B、図5A−図5Cは、表示画面に撮像画像又は動的パターン付与画像が表示された様子を示す図であるが、簡単のため、これらの図では、接近対象物は1台の車両だけであり、表示画面には、撮像画像又は動的パターン付与画像に含まれる物体のうち、接近対象物である車両及び当該車両に付与される動的パターンのみが表示された様子を図示している。また、図3A、図3B、図4A、図4B、図5A−図5Cでは、表示画面の一例として、車載ミラーの形状を模した表示画面を図示しているが、本実施形態に係る表示画面はかかる例に限定されず、運転者の利便性を考慮して任意の形状を有してよい。
(1−3−1.ゼブラパターン)
まず、図3A及び図3Bを参照して、動的パターンがゼブラパターンである場合について説明する。図3A及び図3Bは、動的パターンの具体例であるゼブラパターンについて説明するための説明図である。
図3Aを参照すると、上段には表示画面410に撮像画像が表示された様子が図示されており、下段には表示画面410に動画パターン付与画像が表示された様子が図示されている。つまり、下段に示す表示画面410の表示は、上段に示す表示画面410の表示に対して、動的パターンであるゼブラパターン510が付与された様子を示すものである。
図3Aを参照すると、上段に示す撮像画像において、表示画面410に接近対象物である接近車両420が表示されている。そして、下段に示す動的パターン付与画像においては、接近車両420にゼブラパターン510が重畳されて表示されている。このように、本実施形態に係る動的パターンは、所定の幅を有する線分が所定の間隔で配列されるゼブラパターン510であってよく、動的パターン付与画像は、ゼブラパターン510が接近対象物に重畳された画像であってよい。また、ゼブラパターン510は、ゼブラパターン510を構成する線分が移動するように表示される。
ゼブラパターン510の表示が変動する様子を図3Bに示す。図3Bに示すように、ゼブラパターン510a、510b、510cは、表示画面410の左右方向に所定の速度で動いてもよい。図3Bに示す例では、ゼブラパターン510bは、ゼブラパターン510aにおける線分が所定の距離だけ紙面に向かって右から左に動いた様子を表している。同様に、ゼブラパターン510cは、ゼブラパターン510bにおける線分が所定の距離だけ紙面に向かって右から左に動いた様子を表しており、ゼブラパターン510aは、ゼブラパターン510cにおける線分が所定の距離だけ紙面に向かって右から左に動いた様子を表している。
ただし、本実施形態においては、ゼブラパターン510の表示の変動はかかる例に限定されず、ゼブラパターン510は、運転者の動体視力に訴えることができるように表示画面410における表示が変動すればよく、その変動方法はどのような様式であってもよい。ここで、ゼブラパターン510では、ゼブラパターン510における線分の延伸方向とは異なる方向に当該線分が移動すれば、その表示が変動していると言える。従って、ゼブラパターン510においては、表示が変動するように線分が移動していればその移動方向はどの方向であってもよい。また、ゼブラパターン510における線分の幅や線分間の間隔を周期的に変化させることによって、ゼブラパターン510の表示を変動させてもよい。
ここで、本実施形態に係るゼブラパターン510は、例えばゼブラパターン510を構成する線分が半透明に着色されており、接近車両420における当該線分と重なっている領域が運転者によって視認できるように構成される。従って、表示画面410を確認した運転者は、接近車両420の上でゼブラパターン510が動いている様子を視認するとともに、ゼブラパターン510における線分間の隙間及び当該線分の上から、接近車両420の画像を視認することができる。このように、ゼブラパターン510が、運転者が接近車両420を視認することを妨げないように生成されるため、運転者は接近車両420を正確に認識することが可能となる。
[1−3−2.枠状パターン]
次に、図4A及び図4Bを参照して、動的パターンが枠状パターンである場合について説明する。図4A及び図4Bは、動的パターンの具体例である枠状パターンについて説明するための説明図である。
図4Aを参照すると、上段には表示画面410に撮像画像が表示された様子が図示されており、下段には表示画面410に動画パターン付与画像が表示された様子が図示されている。つまり、下段に示す表示画面410の表示は、上段に示す表示画面410の表示に対して、動的パターンである枠状パターンが付与された様子を示すものである。
図4Aを参照すると、上段に示す撮像画像において、表示画面410に接近対象物である接近車両420が表示されている。そして、下段に示す動的パターン付与画像においては、接近車両420に枠状パターン520が重畳されて表示されている。このように、本実施形態に係る動的パターンは、同心円状に配置された複数の枠が表示される枠状パターン520であってよく、動的パターン付与画像は、枠状パターン520が接近対象物に重畳された画像であってよい。また、枠状パターン520は、枠状パターン520を構成する枠が、当該枠の中心を基準として拡大されるように表示される。
枠状パターン520の表示が変動する様子を図4Bに示す。図4Bに示すように、枠状パターン520a、520b、520cは、枠状パターン520a、520b、520cを構成する枠が所定の速度で拡大するように表示されてもよい。図4Bに示す例では、枠状パターン520bは、枠状パターン520aにおける枠が所定の割合だけ拡大された様子を表している。同様に、枠状パターン520cは、枠状パターン520bにおける枠が所定の割合だけ更に拡大された様子を表している。また、枠状パターン520aは、枠状パターン520cにおける枠が所定の割合だけ更に拡大されたとともに、最外殻の枠の表示が消され、最内殻に新たな枠が表示された様子を表している。このように、枠が拡大されるように枠状パターン520a、520b、520cの表示を変動させることにより、表示画面410を視認している運転者に、接近車両420が近づいてきていることを直感的に認識させることができる。
ただし、本実施形態においては、枠状パターン520の表示の変動はかかる例に限定されず、枠状パターン520は、運転者の動体視力に訴えることができるように表示画面410における表示が変動すればよく、その変動方法はどのような様式であってもよい。例えば、図4Bに示した例とは逆に、枠が同心円状に縮小していくように枠状パターン520の表示が変動してもよい。
ここで、上述したゼブラパターン510と同様に、本実施形態に係る枠状パターン520は、例えば枠状パターン520を構成する枠が半透明に着色されており、接近車両420における当該枠と重なっている領域が運転者によって視認できるように構成される。従って、表示画面410を確認した運転者は、接近車両420の上で枠状パターン520が動いている様子を視認するとともに、枠状パターン520における枠間の隙間及び当該枠の上から、接近車両420の画像を視認することができる。このように、枠状パターン520が、運転者が接近車両420を視認することを妨げないように生成されるため、運転者は接近車両420を正確に認識することが可能となる。
[1−3−3.波状パターン]
次に、図5A−図5Cを参照して、動的パターンが波状パターンである場合について説明する。図5A−図5Cは、動的パターンの具体例である波状パターンについて説明するための説明図である。
図5Aを参照すると、上段には表示画面410に撮像画像が表示された様子が図示されており、下段には表示画面410に動画パターン付与画像が表示された様子が図示されている。つまり、下段に示す表示画面410の表示は、上段に示す表示画面410の表示に対して、動的パターンである波状パターンが付与された様子を示すものである。
図5Aを参照すると、上段に示す撮像画像において、表示画面410に接近対象物である接近車両420が表示されている。そして、下段に示す動的パターン付与画像においては、接近車両420に波状パターン530が付与されて表示されている。具体的には、動的パターン付与画像においては、接近車両420が波状に歪んで表示されている。図5Aに示す例では、接近車両420が縦方向に波状に歪んで表示されている。このように、本実施形態に係る動的パターンは、接近車両420を波状に歪めて表示させる波状パターン530であってよい。また、波状パターン530は、波状の歪みが所定の方向に移動するように表示される。なお、波状パターン530が付与された動的パターン付与画像は、撮像画像において接近車両420及びその近傍の領域を歪ませることによって生成されてもよいし、作用した対象を波状に歪めて表示させるフィルター(波状フィルター)が存在し、当該波状フィルターを撮像画像における接近車両420及びその近傍の領域に作用させることによって生成されてもよい。
波状パターン530の表示が変動する様子を図5Bに示す。図5Bに示すように、波状パターン530a、530b、530cは、表示画面410の左右方向に所定の速度で動いてもよい。図5Bに示す例では、波状パターン530bは、波状パターン530aにおける波状の歪みが所定の距離だけ紙面に向かって右から左に動いた様子を表している。同様に、波状パターン530cは、波状パターン530bにおける波状の歪みが所定の距離だけ紙面に向かって右から左に動いた様子を表しており、波状パターン530aは、波状パターン530cにおける波状の歪みが所定の距離だけ紙面に向かって右から左に動いた様子を表している。
ただし、本実施形態においては、波状パターン530の表示の変動はかかる例に限定されず、波状パターン530は、運転者の動体視力に訴えることができるように表示画面410における表示が変動すればよく、その変動方法はどのような様式であってもよい。また、図5A及び図5Bに示す例では、接近車両420を縦方向に歪めて表示させているが、本実施形態に係る波状パターン530はかかる例に限定されず、異なる様に接近車両420を歪めて表示させてもよい。例えば、接近車両420は横方向に歪んで表示されてもよいし、接近車両420の中心付近を基準とした同心円状に波紋状に歪んで表示されてもよい。
図5Cに、波状パターン530の一変形例として、接近車両420が横方向に歪めて表示されるパターンである波状パターン540が付与された動的パターン付与画像を示す。ここで、図5Cでは、図5Aと同様、上段には表示画面410に撮像画像が表示された様子が図示されており、下段には表示画面410に動画パターン付与画像が表示された様子が図示されている。図5Cに示すように、動的パターンが、接近車両420が横方向に歪んで表示されるパターンである波状パターン540である場合には、例えば波状の歪みが縦方向に移動するように、波状パターン540の表示が変動してもよい。また、動的パターンが、接近車両420が、接近車両420の中心付近を基準とした同心円状に波紋状に歪んで表示される波状パターンである場合には、例えば波状の歪みが同心円状に広がるように、又は縮まるように、当該波状パターンの表示が変動してもよい。
ここで、動的パターンが波状パターン530、540である場合には、表示画面410における接近車両420の表示が何らかのパターンによって隠されることなく、接近車両420の表示が視認できる状態で保たれる。従って、表示画面410を確認した運転者は、接近車両420の上で波状パターン530、540が動いている様子を視認するとともに、接近車両420の表示を直接視認することができる。このように、波状パターン530、540が、運転者が接近車両420を視認することを妨げないように生成されるため、運転者は接近車両420を正確に認識することが可能となる。
以上、図3A、図3B、図4A、図4B、図5A−図5Cを参照して、本実施形態に係る動的パターンの具体例として、ゼブラパターン510、枠状パターン520及び波状パターン530、540について詳しく説明した。以上説明したように、ゼブラパターン510、枠状パターン520及び波状パターン530、540によれば、表示画面410上で表示が変動することにより運転者の注意を喚起することができるとともに、付与される対象である接近車両420の表示が視認できる状態で保たれる。従って、運転者は、より素早くより正確に接近車両420を認識することができる。なお、上記[1−2.接近対象物通知システムの構成]で説明したように、これらの動的パターンは、危険度判定部333によって判定された危険度に応じて、異なる色を有するように生成されてもよいし、表示が変動する速度が異なるように生成されてもよい。
ここで、運転者に接近対象物を通知する他の方法として、例えば、車両に設けられたモニタに表示された撮像画像内の接近対象物に対応する領域を、所定の色(例えば赤色等の警戒色)で塗り潰す方法等が考えられる。しかしながら、このような、接近対象物に対応する領域を所定の色で塗り潰す方法では、運転者が接近対象物自体を視認することが不可能であるため、本来モニタに表示されているはずの接近対象物の様子を示す情報が失われてしまい、運転者が接近対象物の様子を十分に認識することができず、素早い状況判断が困難になる恐れがある。一方、上述したように、本実施形態に係る動的パターンにおいては、付与される対象である接近車両420の表示が視認できる状態で保たれる。従って、本実施形態によれば、運転者は瞬時に接近対象物を含む周囲の状況をより素早く認識し、的確な状況判断及び自車両の操作を行うことが可能となる。
ここで、本実施形態に係る動的パターンは、表示画面における表示が周期的に変動するように生成されるが、一般的に、ヒトは、3相以上の位相駆動によって表示が変化するものを見ると、当該表示が一方向に移動しているように認識することができる。つまり、運転者に動的パターンの表示が変動しているように見せるためには、所定の方向に少しずつパターンが移動した3つのパターンを生成し、それらを順に表示させればよい。この原理を利用すれば、本実施形態に係る動的パターンは、少なくとも3相の位相駆動によって表示が変動するように生成されてもよい。
なお、本実施形態に係る動的パターンは、上記説明したゼブラパターン510、枠状パターン520及び波状パターン530、540に限定されず、他のパターンであってもよい。本実施形態に係る動的パターンは、運転者の動体視力に訴えるように表示画面における表示が変動するとともに、付与される対象である接近対象物の視認を妨げないパターンであればよく、あらゆる種類、形態のパターンが動的パターンとなり得る。例えば、動的パターンは、所定の幅を有する線分が所定の間隔で縦横に配列される格子状パターンであってもよく、当該格子が所定の方向に移動するように表示されるパターンであってもよい。なお、互いに異なる複数の動的パターンの中から、運転者が任意の動的パターンを選択可能であってもよい。
<2.第2の実施形態>
次に、図6を参照して、本開示の第2の実施形態に係る接近対象物通知システムについて説明する。図6は、本開示の第2の実施形態に係る接近対象物通知システムの一構成例を示す機能ブロック図である。
図6を参照すると、本開示の第2の実施形態に係る接近対象物通知システム2は、車両情報検出装置10及び接近対象物通知装置30を備える。ここで、本開示の第2の実施形態に係る接近対象物通知システム2は、距離検出装置20を備えず、接近情報取得部332の代わりに接近情報取得部332aを有すること以外は、図2を参照して説明した第1の実施形態と同様である。従って、以下の第2の実施形態についての説明では、第1の実施形態との相違点について主に説明することとし、重複する機能及び構成については詳細な説明は省略する。
第2の実施形態に係る接近情報取得部332aは、第1の実施形態に係る接近情報取得部332と、接近情報を取得する方法が異なる。第2の実施形態においては、接近情報取得部332aは、画像情報取得部335から送信される撮像画像の画像情報に基づいて接近情報を取得する。撮像部310によって撮像される撮像画像には、車両の周囲の様子が撮影されており、周囲の対象物(例えば、他の車両等)が含まれている。接近情報取得部332aは、撮像画像に含まれる周囲の対象物の表示に基づいて接近情報を取得することができる。このように、本実施形態においては、接近状態は、画像情報取得部335によって取得される撮像画像の画像情報に基づいて判断される。
接近情報取得部332aが撮像画像から接近情報を取得する具体的な方法としては、公知のあらゆる方法を用いることができる。例えば、接近情報取得部332aは、撮像画像内の対象物の表示面積の時間変化を検出し、当該表示面積が時間の経過とともに大きくなることにより、接近対象物が存在すること及びその接近してくる方向を接近情報として取得してもよい。また、接近情報取得部332aは、当該表示面積が時間の経過とともに大きくなる割合に基づいて、対象物が接近してくる速度を検出してもよい。
また、車両に撮像部310が複数配設され、互いに異なる角度から対象物を撮像した撮像画像が2つ以上存在する場合には、接近情報取得部332aは、これら複数の撮像画像に基づいて接近情報を取得してもよい。複数の撮像画像を用いる場合、例えば、複数の撮像画像におけるオーバーラップ領域に含まれる画素について、各画素に対応する被写体(対象物)までの距離(被写体距離)がステレオ測距の原理によって算出されてもよい。接近情報取得部332aは、算出された被写体距離の時間変化を検出し、当該被写体距離が時間の経過とともに近くなっていることにより、接近対象物が存在すること及びその接近してくる方向を接近情報として取得してもよい。また、接近情報取得部332aは、当該被写体距離が時間の経過とともに近くなる割合に基づいて、対象物が接近してくる速度を検出してもよい。
なお、第2の実施形態に係る接近情報取得部332aの機能は、接近情報を撮像画像の画像情報に基づいて取得すること以外は、第1の実施形態において説明した接近情報取得部332の機能と同様である。従って、例えば、接近情報取得部332aは、画像情報取得部335から随時送信される画像情報に基づいて、随時接近情報を取得してもよいし、所定のタイミングで接近情報を取得してもよい。当該所定のタイミングとは、例えば、車両情報検出装置10によって特定の車両情報が検出されたタイミングであってよい。このように、本実施形態においては、接近情報取得部332aは、車両情報検出装置10から車両情報を受信してもよく、特定の車両情報であるトリガー情報を受信した場合に接近情報を取得してもよい。接近情報取得部332aがトリガー情報に応じて接近情報を取得する場合には、トリガー情報を受信した接近情報取得部332aが画像情報取得部335に画像情報を送信するように指令を送信することにより、画像情報が接近情報取得部332aに送信され、当該距離の検出が行われてもよい。なお、トリガー情報となり得る車両情報は、具体的には、上記[1−2.接近対象物通知システムの構成]で説明した車両情報であってよい。
以上、図6を参照して、本開示の第2の実施形態に係る接近対象物通知システム2の機能及び構成について説明した。なお、接近対象物通知システム2においては、上記説明した接近情報取得部332a以外の構成部材の機能及び構成は、第1の実施形態に係る接近対象物通知システム1の対応する各構成部材の機能及び構成と同様である。例えば、接近対象物通知システム2における動的パターンとしては、上記[1−3.動的パターンの具体例]で説明したゼブラパターン510、枠状パターン520及び波状パターン530、540が用いられてよい。また、第2の実施形態においても、上記説明した第1の実施形態と同様、接近対象物通知装置30は、図6に図示されない他の構成を更に有してもよい。更に、第2の実施形態に係る接近対象物通知装置30は1台の装置によって構成されなくてもよく、接近対象物通知装置30が備える各機能は、任意に複数の装置に分離されて構成されてもよい。
以上説明したように、本開示の第2の実施形態においては、第1の実施形態によって得られる効果に加えて、以下の効果を得ることができる。すなわち、本開示の第2の実施形態においては、接近情報が撮像部310によって撮像された撮像画像に基づいて取得される。従って、距離検出装置20を車両に設置する必要がなく、より少ないコストで接近対象物通知システムを構成することができる。
<3.接近対象物通知方法の処理手順>
次に、図7を参照して、本開示の第1及び第2の実施形態に係る接近対象物通知方法の処理手順について説明する。図7は、本開示の第1及び第2の実施形態に係る接近対象物通知方法の一処理手順例を示すフロー図である。なお、以下の図7の説明において、車両情報検出装置10、距離検出装置20及び接近対象物通知装置30が備える各機能については、上記<1.第1の実施形態>及び<2.第2の実施形態>で説明した各機能と同様であるため、詳細な説明は省略する。
なお、図7は、特定の車両情報であるトリガー情報が検出された場合に、接近情報取得部332、332aが接近情報を取得し、接近対象物通知処理が行われる例について示している。図7に示す例では、具体的には、トリガー情報は、車両の方向指示器が駆動していることかつ車両の速度が所定のしきい値以上であることである。これらのトリガー情報が検出された場合には、車両が所定の速度以上で走行しながら車線変更しようとしている状況であると想定されるため、運転者に接近対象物(接近車両)、特に車線変更する先の車線における接近対象物を通知することの重要性が高い状況であると言える。
図7を参照すると、まず、ステップS701で、車両情報検出装置10から送信される車両情報に基づいて、接近情報取得部332、332aによって、車両が車線変更するかどうかが判断される。ここで、接近情報取得部332、332aは、車両情報に方向指示器が駆動された旨の情報が含まれているかどうかに応じて、車両が車線変更するかどうかを判断してもよい。
車両が車線変更しないと判断された場合には、接近対象物通知処理が中止され、接近情報取得部332、332aは次の車両情報が送信されるまで待ち、次の車両情報に対してステップS701における判断を繰り返し行う。車両が車線変更すると判断された場合には、ステップS703に進む。
ステップS703では、車両情報検出装置10から送信される車両情報に基づいて、接近情報取得部332、332aによって、車両の速度が所定のしきい値以上かどうかが判断される。ここで、接近情報取得部332、332aは、車両情報に含まれる車両の速度についての情報に基づいて、当該判断を行ってもよい。例えば、当該しきい値は、周囲の対象物との衝突の危険が増すと考えられる高速走行時の速度に設定される。ただし、当該しきい値はかかる例に限定されず、運転者又は接近対象物通知システムの設計者によって適宜設定されてよい。
車両の速度がしきい値未満であると判断された場合には、ステップS701に戻る。すなわち、接近対象物通知処理が中止され、接近情報取得部332、332aは次の車両情報が送信されるまで待つ。車両の速度がしきい値以上であると判断された場合には、ステップS705に進む。
ステップS705では、接近情報取得部332、332aによって、接近対象物である接近車両が存在するかどうかが判断される。ここで、上記<1.第1の実施形態>及び<2.第2の実施形態>で説明したように、第1の実施形態に係る接近情報取得部332は、距離検出装置20によって検出される周囲の対象物との距離についての情報に基づいて接近車両の有無を判断してもよく、第2の実施形態に係る接近情報取得部332aは、画像情報取得部335から送信される撮像画像の画像情報に基づいて接近車両の有無を判断してもよい。
接近車両がないと判断された場合には、ステップS701に戻る。すなわち、接近対象物通知処理が中止され、接近情報取得部332、332aは新たな車両情報が送信されるまで待つ。接近車両があると判断された場合には、ステップS707に進む。
ステップS707では、接近状態判断部331によって判断された接近状態に基づいて、動的パターン生成部334によって、動的パターンが生成される。ここで、当該接近状態には、接近情報取得部332、332aによって取得された接近情報及び危険度判定部333によって判定された接近対象物の危険度についての情報が含まれてよい。また、動的パターン生成部334は、接近対象物の接近状態、特に危険度に応じて、動的パターンの表示が変動する速度や、動的パターンの色等を調整してもよい。例えば、接近対象物の速度が速い、接近対象物との距離が近い等、危険度が高いと判定された場合には、動的パターン生成部334は、運転者により強く注意喚起するために、動的パターンの表示が変動する速度を速くしたり、動的パターンの色を警戒色である赤色等にしたりしてもよい。ステップS707で動的パターンが生成されると、ステップS709に進む。
ステップS709では、接近状態判断部331によって判断された接近状態に基づいて、画像生成部336によって、動的パターン付与画像が生成される。ここで、画像生成部336は、画像情報取得部335によって取得された撮像画像の画像情報を利用して、ステップS707において動的パターン生成部334によって生成された動的パターンを、当該撮像画像の接近対象物の表示に付与することにより、動的パターン付与画像を生成してもよい。ステップS709で動的パターン付与画像が生成されると、ステップS711に進む。
ステップS711では、表示制御部337によって、表示部120の表示画面に動的パターン付与画像が表示される。表示部120の表示画面に表示された動的パターンの変動により、運転者の注意が他の部分に向いている場合であっても、運転者は当該表示画面において何かが動いていることを認識することができるため、接近車両の存在を素早く認識することができる。また、動的パターンは、付与された接近車両の視認を妨げないように生成されているため、運転者は、表示画面に表示された動的パターン付与画像を確認することにより、接近対象物が車両である場合にはその接近車両の車種や色等を確認することができ、接近対象物をより正確に認識することができる。
第1及び第2の実施形態に係る接近対象物通知方法においては、以上説明したステップS701からステップS711までの処理が繰り返されることにより、接近対象物通知が行われる。なお、表示部120の表示画面に表示された動的パターン付与画像を参照した運転者によって適切な対応が取られ、車両と接近対象物との距離が十分安全な距離に広がる等、危険が回避されたと判断された場合には、一連の接近対象物通知処理が終了され、再びステップS701に示す処理から一連の処理が行われてもよい。
以上、図7を参照して、本開示の第1及び第2の実施形態に係る接近対象物通知方法の処理手順について説明した。なお、図7に示す例では、特定の車両情報であるトリガー情報が検出された場合に、接近情報取得部332、332aが接近情報を取得し、接近対象物通知処理が行われているが、本実施形態はかかる例に限定されない。本実施形態においては、接近情報取得部332、332aが接近情報を随時取得し、接近対象物通知処理が随時行われてもよい。また、図7に示す例では、ステップS701及びステップS703に示すように、トリガー情報が、車両の方向指示器が駆動していることかつ車両の速度が所定のしきい値以上であることである場合について示しているが、本実施形態はかかる例に限定されない。本実施形態においては、トリガー情報として車両情報に含まれる各種の情報が適宜組み合わされて用いられてよい。
<4.ハードウェア構成>
次に、図8を参照しながら、本開示の実施形態に係る接近対象物通知装置30のハードウェア構成について、詳細に説明する。図8は、本開示の第1及び第2の実施形態に係る接近対象物通知装置のハードウェア構成の一構成例を示す機能ブロック図である。
接近対象物通知装置30は、主に、CPU901と、ROM903と、RAM905と、を備える。また、接近対象物通知装置30は、更に、ホストバス907、ブリッジ909、外部バス911、インターフェース913、撮像装置914、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925を備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体927に記録された各種プログラムに従って、接近対象物通知装置30内の動作全般又はその一部を制御する。CPU901は、例えば、第1及び第2の実施形態においては、図2及び図6に示す制御部330に対応する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
撮像装置914は、配列状に設けられる複数の受光素子(光電変換素子)を有し、受光した光信号を電気信号に変換することにより、画像を表す電気信号である画像信号を取得する装置である。撮像装置914によって取得された画像信号に各種の信号処理を施し、ディスプレイ等の表示装置に表示することにより、撮像された画像を得ることができる。撮像装置914は、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の各種の固体撮像素子を有する各種のカメラ装置であってよい。撮像装置914は、例えば、第1及び第2の実施形態においては、図2及び図6に示す撮像部310に対応するものであり、搭載された車両の周囲の様子を撮像する機能を有する。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等ユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、接近対象物通知装置30の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。接近対象物通知装置30のユーザ(運転者)は、この入力装置915を操作することにより、接近対象物通知装置30に対して各種のデータを入力したり処理動作を指示したりすることができる。例えば、第1及び第2の実施形態であれば、運転者は、入力装置915を操作することにより、接近情報取得部332による接近情報取得のきっかけとなるトリガー情報や、危険度判定部333による危険度判定の方式、使用する動的パターンの種類等、接近対象物通知処置における各種の条件を入力してもよい。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、有機LED等のELディスプレイ装置、HUD(ヘッドアップディスプレイ:Head−Up Display)及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、座席振動やステアリング振動等の振動(ハプティックス)系の各種のHMI(ヒューマンマシンインターフェース:Human Machine Interface)、プリンタ装置等がある。出力装置917は、例えば、接近対象物通知装置30が行った各種処理により得られた結果を出力する。具体的には、表示装置は、接近対象物通知装置30が行った各種処理により得られた結果を、テキスト又はイメージで表示する。当該表示装置は、例えば、第1及び第2の実施形態においては、図2及び図6に示す表示部320に対応する。また、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、接近対象物通知装置30の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ及び外部から取得した各種データ等を格納する。例えば、第1及び第2の実施形態であれば、ストレージ装置919には、接近対象物通知処置において処理される各種の情報が記憶される。例えば、ストレージ装置919には、取得された車両情報、取得された接近情報、判定された危険度、撮像された撮像画像、生成された動的パターン、生成された動的パターン付与画像等の各種の情報が、時系列的に履歴として記憶されてもよい。
ドライブ921は、記録媒体用リーダライタであり、接近対象物通知装置30に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。例えば、第1及び第2の実施形態であれば、ドライブ921によって、接近対象物通知処置において処理される各種の情報が、各種のリムーバブル記録媒体927から読み出され、又は各種のリムーバブル記録媒体927に書き込まれてよい。
接続ポート923は、機器を接近対象物通知装置30に直接接続するためのポートである。接続ポート923の一例として、UART(Universal Asynchronous Receiver Transmitter)、I2C(Inter―Integrated Circuit)、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、接近対象物通知装置30は、外部接続機器929から直接各種データを取得したり、外部接続機器929に各種データを提供したりする。例えば、第1及び第2の実施形態であれば、接続ポート923を介して、接近対象物通知処置において処理される各種の情報が、各種の外部接続機器929から読み出され、又は各種の外部接続機器929に書き込まれてよい。
通信装置925は、例えば、通信網(ネットワーク)931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、FlexRay、MOST(Media Orientedd System transport)、D2B(Domestic Digital Bus)、Ethernet(登録商標) AVB(IEEE802.1 Audio/Video Bridging)、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。例えば、第1及び第2の実施形態であれば、通信装置925によって、接近対象物通知処置において処理される各種の情報が、通信網931を介して、外部の他の機器との間で相互に送受信されてもよい。
以上、本開示の実施形態に係る接近対象物通知装置30の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る接近対象物通知装置30の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<5.まとめ>
以上説明したように、本開示の第1及び第2の実施形態によれば、以下の効果が得られる。
第1の実施形態においては、動的パターン生成部334によって、表示部320の表示画面における表示が所定の周期で変動する動的パターンを生成される。また、画像生成部336によって、撮像画像内の接近する対象物に動的パターンが付与された画像であって、接近する対象物及び動的パターンがともに表示される画像である動的パターン付与画像が生成される。更に、表示制御部337によって、動的パターン付与画像が表示部320の表示画面に表示される。従って、動的パターンが表示画面において所定の周期で変動することにより、運転者は表示画面に変化が生じていることを視界に捉えることができ、接近対象物が存在することを素早く認識することができる。また、動的パターンが付与された接近対象物の視認が妨げられないので、運転者が接近対象物の相対接近速度や大きさ等を正確に認識することができる。よって、第1の実施形態によれば、運転者に、接近対象物をより素早くより正確に通知することが可能となる。
また、第2の実施形態においては、第1の実施形態によって得られる効果に加えて、以下の効果を得ることができる。すなわち、本開示の第2の実施形態においては、接近情報が撮像部310によって撮像された撮像画像に基づいて取得される。従って、距離検出装置20を車両に設置する必要がなく、より少ないコストで接近対象物通知システムを構成することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、接近情報取得部332による接近情報の取得及び危険度判定部333による危険度の判定に用いられる車両情報の具体例として、車両の速度についての情報、車両の方向指示器の駆動についての情報及びシフトレバーの位置についての情報について説明したが、本技術はかかる例に限定されない。例えば、車両情報には、車両に搭載されているカーナビゲーションシステムによって処理される各種の情報が含まれてもよい。そして、接近情報取得部332及び危険度判定部333は、例えば、カーナビゲーションシステムによって取得されるVICS(登録商標)(Vehicle Information and Communication System)情報に基づいて、道路状況等に応じた接近情報の取得及び危険度の判定を行ってもよい。また、接近情報取得部332及び危険度判定部333は、例えば、車両情報に含まれるヘッドランプの点灯状態についての情報やワイパーの駆動状態についての情報に基づいて、周囲の状況(暗さや降雨、煙霧等)に応じた接近情報の取得及び危険度の判定を行ってもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)接近する対象物を少なくとも含む撮像画像の画像情報を取得する画像情報取得部と、接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成する画像生成部と、前記表示画面に前記動的パターン付与画像を表示させる表示制御部と、を備える、情報処理装置。
(2)前記接近状態は、接近する前記対象物についての情報である接近情報と、前記接近情報に基づいて判定される前記対象物の危険度についての危険度情報と、を含み、前記動的パターンは、判定された前記危険度に基づいて生成される、前記(1)に記載の情報処理装置。
(3)前記動的パターンは、判定された前記危険度に応じて、異なる色を有するように生成される、前記(2)に記載の情報処理装置。
(4)前記動的パターンは、判定された前記危険度に応じて、表示が変動する速度が異なるように生成される、前記(2)又は(3)に記載の情報処理装置。
(5)前記動的パターンは、所定の幅を有する線分が所定の間隔で配列されるとともに、前記線分が移動するように表示されるゼブラパターンであり、前記動的パターン付与画像は、前記ゼブラパターンが前記対象物に重畳された画像である、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記動的パターンは、同心円状に配置された複数の枠が、当該枠の中心を基準として拡大されるように表示される枠状パターンであり、前記動的パターン付与画像は、前記枠状パターンが前記対象物に重畳された画像である、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(7)前記動的パターンは、前記対象物を波状に歪めて表示させるとともに、当該波状の歪みが所定の方向に移動するように表示される波状パターンである、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(8)前記動的パターンは、少なくとも3相の位相駆動によって表示が変動する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)前記接近状態は、車両に接近する前記対象物についての情報である接近情報、を含み、前記車両の状態を表す車両情報として特定の前記車両情報が検出された場合に、前記接近情報が取得される、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)前記接近状態は、車両に接近する前記対象物についての情報である接近情報と、前記接近情報に基づいて判定される前記対象物の危険度についての危険度情報と、を含み、前記危険度は、前記車両の状態を表す車両情報に更に基づいて判定される、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)前記車両情報は、前記車両の速度についての情報を含む、前記(9)又は(10)に記載の情報処理装置。
(12)前記車両情報は、前記車両の方向指示器の駆動についての情報を含む、前記(9)〜(11)のいずれか1項に記載の情報処理装置。
(13)前記車両情報は、前記車両のシフトレバーの位置についての情報を含む、前記(9)〜(12)のいずれか1項に記載の情報処理装置。
(14)前記車両情報は、前記車両の運転者の視線の状態についての情報を含む、前記(9)〜(13)のいずれか1項に記載の情報処理装置。
(15)前記接近状態は、周囲の前記対象物との距離を検出する距離検出装置によって検出される前記対象物との距離についての情報に基づいて判断される、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)前記距離検出装置は、ミリ波レーダ装置を含む、前記(15)に記載の情報処理装置。
(17)前記接近状態は、前記画像情報取得部によって取得される前記撮像画像の前記画像情報に基づいて判断される、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(18)周囲の前記対象物を少なくとも含む前記撮像画像を撮像する撮像部を更に備える、前記(17)に記載の情報処理装置。
(19)接近する対象物を少なくとも含む撮像画像の画像情報を取得することと、接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成することと、前記表示画面に前記動的パターン付与画像を表示させることと、を含む、接近対象物通知方法。
(20)コンピュータに、接近する対象物を少なくとも含む撮像画像の画像情報を取得する機能と、接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成する機能と、前記表示画面に前記動的パターン付与画像を表示させる機能と、を実現させるためのプログラム。
1、2 接近対象物通知システム
10 車両情報検出装置
20 距離検出装置
30 接近対象物通知装置
310 撮像部
320 表示部
330 制御部
331 接近状態判断部
332 接近情報取得部
333 危険度判定部
334 動的パターン生成部
335 画像情報取得部
336 画像生成部
337 表示制御部

Claims (20)

  1. 接近する対象物を少なくとも含む撮像画像の画像情報を取得する画像情報取得部と、
    接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成する画像生成部と、
    前記表示画面に前記動的パターン付与画像を表示させる表示制御部と、
    を備え
    前記動的パターン付与画像においては、前記撮像画像内の接近する前記対象物が表示されている領域が視覚的に変化するように、前記動的パターンが前記対象物に付与される、
    情報処理装置。
  2. 前記接近状態は、接近する前記対象物についての情報である接近情報と、前記接近情報に基づいて判定される前記対象物の危険度についての情報である危険度情報と、を含み、
    前記動的パターンは、判定された前記危険度に基づいて生成される、
    請求項1に記載の情報処理装置。
  3. 前記動的パターンは、判定された前記危険度に応じて、異なる色を有するように生成される、
    請求項2に記載の情報処理装置。
  4. 前記動的パターンは、判定された前記危険度に応じて、表示が変動する速度が異なるように生成される、
    請求項2に記載の情報処理装置。
  5. 前記動的パターンは、所定の幅を有する線分が所定の間隔で配列されるとともに、前記線分が移動するように表示されるゼブラパターンであり、
    前記動的パターン付与画像は、前記ゼブラパターンが前記対象物に重畳された画像である、
    請求項1に記載の情報処理装置。
  6. 前記動的パターンは、同心円状に配置された複数の枠が、当該枠の中心を基準として拡大されるように表示される枠状パターンであり、
    前記動的パターン付与画像は、前記枠状パターンが前記対象物に重畳された画像である、
    請求項1に記載の情報処理装置。
  7. 前記動的パターンは、前記対象物を波状に歪めて表示させるとともに、当該波状の歪みが所定の方向に移動するように表示される波状パターンである、
    請求項1に記載の情報処理装置。
  8. 前記動的パターンは、少なくとも3相の位相駆動によって表示が変動する、
    請求項1に記載の情報処理装置。
  9. 前記接近状態は、車両に接近する前記対象物についての情報である接近情報、を含み、
    前記車両の状態を表す車両情報として特定の前記車両情報が検出された場合に、前記接近情報が取得される、
    請求項1に記載の情報処理装置。
  10. 前記接近状態は、車両に接近する前記対象物についての情報である接近情報と、前記接近情報に基づいて判定される前記対象物の危険度についての情報である危険度情報と、を含み、
    前記危険度は、前記車両の状態を表す車両情報に更に基づいて判定される、
    請求項1に記載の情報処理装置。
  11. 前記車両情報は、前記車両の速度についての情報を含む、
    請求項9に記載の情報処理装置。
  12. 前記車両情報は、前記車両の方向指示器の駆動についての情報を含む、
    請求項9に記載の情報処理装置。
  13. 前記車両情報は、前記車両のシフトレバーの位置についての情報を含む、
    請求項9に記載の情報処理装置。
  14. 前記車両情報は、前記車両の運転者の視線の状態についての情報を含む、
    請求項9に記載の情報処理装置。
  15. 前記接近状態は、周囲の前記対象物との距離を検出する距離検出装置によって検出される前記対象物との距離についての情報に基づいて判断される、
    請求項1に記載の情報処理装置。
  16. 前記距離検出装置は、ミリ波レーダ装置を含む、
    請求項15に記載の情報処理装置。
  17. 前記接近状態は、前記画像情報取得部によって取得される前記撮像画像の前記画像情報に基づいて判断される、
    請求項1に記載の情報処理装置。
  18. 周囲の前記対象物を少なくとも含む前記撮像画像を撮像する撮像部を更に備える、
    請求項17に記載の情報処理装置。
  19. 接近する対象物を少なくとも含む撮像画像の画像情報を取得することと、
    接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成することと、
    前記表示画面に前記動的パターン付与画像を表示させることと、
    を含み、
    前記動的パターン付与画像においては、前記撮像画像内の接近する前記対象物が表示されている領域が視覚的に変化するように、前記動的パターンが前記対象物に付与される、
    接近対象物通知方法。
  20. コンピュータに、
    接近する対象物を少なくとも含む撮像画像の画像情報を取得する機能と、
    接近する前記対象物の状態である接近状態に対する判断結果に基づいて、表示画面における表示が所定の周期で変動する動的パターンが前記撮像画像内の接近する前記対象物に付与された画像であって、接近する前記対象物及び前記動的パターンがともに表示される画像である動的パターン付与画像を生成する機能と、
    前記表示画面に前記動的パターン付与画像を表示させる機能と、
    を実現させ
    前記動的パターン付与画像においては、前記撮像画像内の接近する前記対象物が表示されている領域が視覚的に変化するように、前記動的パターンが前記対象物に付与される、
    プログラム。
JP2013120600A 2013-06-07 2013-06-07 情報処理装置、接近対象物通知方法及びプログラム Active JP6232759B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013120600A JP6232759B2 (ja) 2013-06-07 2013-06-07 情報処理装置、接近対象物通知方法及びプログラム
EP14735687.7A EP3005228B1 (en) 2013-06-07 2014-05-28 Information processing device, approaching object notification method, and program
CN201480030492.7A CN105308620B (zh) 2013-06-07 2014-05-28 信息处理设备、接近对象通知方法和程序
PCT/JP2014/002836 WO2014196171A1 (en) 2013-06-07 2014-05-28 Information processing device, approaching object notification method, and program
CA2912349A CA2912349C (en) 2013-06-07 2014-05-28 Information processing device, approaching object notification method, and program
US14/893,997 US10528825B2 (en) 2013-06-07 2014-05-28 Information processing device, approaching object notification method, and program
EP19186958.5A EP3579143B1 (en) 2013-06-07 2014-05-28 Information processing device, approaching object notification method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013120600A JP6232759B2 (ja) 2013-06-07 2013-06-07 情報処理装置、接近対象物通知方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017205795A Division JP6583385B2 (ja) 2017-10-25 2017-10-25 情報処理装置、接近対象物通知方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014239326A JP2014239326A (ja) 2014-12-18
JP6232759B2 true JP6232759B2 (ja) 2017-11-22

Family

ID=51063754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013120600A Active JP6232759B2 (ja) 2013-06-07 2013-06-07 情報処理装置、接近対象物通知方法及びプログラム

Country Status (6)

Country Link
US (1) US10528825B2 (ja)
EP (2) EP3579143B1 (ja)
JP (1) JP6232759B2 (ja)
CN (1) CN105308620B (ja)
CA (1) CA2912349C (ja)
WO (1) WO2014196171A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389992B2 (en) * 2014-08-05 2019-08-20 Utherverse Digital Inc. Immersive display and method of operating immersive display for real-world object alert
JP6277933B2 (ja) * 2014-10-10 2018-02-14 株式会社デンソー 表示制御装置、表示システム
JP6319349B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
JP6552285B2 (ja) * 2015-06-05 2019-07-31 アルパイン株式会社 車載表示装置及び車両後方映像表示方法
JP6494764B2 (ja) * 2015-08-20 2019-04-03 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
US10062290B2 (en) * 2015-12-16 2018-08-28 Ford Global Technologies, Llc Convoy vehicle look-ahead
CA3010988C (en) * 2016-01-13 2023-10-17 Travis COPEN Wireless tilt sensor system and method
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10719724B2 (en) * 2016-08-23 2020-07-21 Blinkeyelabs Electronics Private Limited Safety system for an automobile
JP6271674B1 (ja) * 2016-10-20 2018-01-31 パナソニック株式会社 歩車間通信システム、車載端末装置、歩行者端末装置および安全運転支援方法
DE112016007454T5 (de) * 2016-11-18 2019-08-14 Mitsubishi Electric Corporation Fahrassistenzvorrichtung und Fahrassistenzverfahren
JP6720063B2 (ja) * 2016-11-21 2020-07-08 京セラ株式会社 画像処理装置、撮像装置、および表示システム
JP6712942B2 (ja) * 2016-11-21 2020-06-24 京セラ株式会社 画像処理装置、撮像装置、および表示システム
CN106792680B (zh) * 2016-11-28 2020-07-28 浙江宇视科技有限公司 一种车辆验证方法及接入点ap
CN110312952B (zh) 2017-02-20 2022-09-27 3M创新有限公司 光学制品和与其交互的系统
JP6680254B2 (ja) * 2017-03-22 2020-04-15 トヨタ自動車株式会社 車両用表示制御装置
JP6827202B2 (ja) * 2017-03-24 2021-02-10 パナソニックIpマネジメント株式会社 情報表示装置、情報表示方法及びプログラム
JP6722132B2 (ja) * 2017-04-27 2020-07-15 クラリオン株式会社 推奨運転出力装置、推奨運転出力方法、及び推奨運転出力システム
EP3688662A1 (en) 2017-09-27 2020-08-05 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
US10933886B2 (en) * 2017-10-27 2021-03-02 Waymo Llc Hierarchical messaging system
JP7180067B2 (ja) * 2017-11-06 2022-11-30 日本電気株式会社 運転支援装置
US20190287304A1 (en) * 2018-03-13 2019-09-19 The Boeing Company Safety Enhancement System for a Mobile Display System
DE112018007625T5 (de) * 2018-05-17 2021-02-25 Mitsubishi Electric Corporation Fahrzeuggenutzte rückseitige warnvorrichtung und fahrzeuggenutztes rückseitiges warnverfahren
US10756926B2 (en) * 2018-07-01 2020-08-25 Benchmark Electronics, Inc. System and method for transmission of video and controller area network (CAN) data over a power slip ring assembly
EP3640109A1 (en) * 2018-10-17 2020-04-22 Volvo Car Corporation System and method for detecting and/or preventing automation expectation mismatch in vehicle
US10964187B2 (en) 2019-01-29 2021-03-30 Pool Knight, Llc Smart surveillance system for swimming pools
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법
JP2021135907A (ja) * 2020-02-28 2021-09-13 本田技研工業株式会社 情報提供システム
CN111724598B (zh) * 2020-06-29 2022-04-05 北京百度网讯科技有限公司 用于自动驾驶规划路径的方法、装置、设备以及存储介质
JP7327320B2 (ja) * 2020-08-11 2023-08-16 トヨタ自動車株式会社 警告通知システム、警告通知方法及び警告通知プログラム
JP7574113B2 (ja) * 2021-03-12 2024-10-28 本田技研工業株式会社 注意喚起システム、及び注意喚起方法
JP2022142614A (ja) * 2021-03-16 2022-09-30 パナソニックIpマネジメント株式会社 安全確認支援装置、安全確認支援方法及び安全確認支援プログラム
JP7480753B2 (ja) * 2021-07-16 2024-05-10 トヨタ自動車株式会社 車両および車載装置
US20230264697A1 (en) * 2022-02-22 2023-08-24 Toyota Research Institute, Inc. Varying extended reality content based on driver attentiveness
US12005919B2 (en) 2022-02-22 2024-06-11 Toyota Research Institute, Inc. Varying extended reality content based on risk level of a driving environment
WO2024195097A1 (ja) * 2023-03-23 2024-09-26 日本電気株式会社 情報処理装置、情報処理方法、記憶媒体

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930606B2 (en) * 1997-12-02 2005-08-16 Crane & Co., Inc. Security device having multiple security detection features
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
JP2002183898A (ja) 2000-12-18 2002-06-28 Koyo Seiko Co Ltd 車両用障害物検出装置
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
JP2004274538A (ja) 2003-03-11 2004-09-30 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP2005047504A (ja) 2004-11-01 2005-02-24 Toyoda Gosei Co Ltd 異常接近警告表示装置
JP2007124097A (ja) 2005-10-26 2007-05-17 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4892965B2 (ja) 2005-12-26 2012-03-07 住友電気工業株式会社 移動体判定システム、移動体判定方法、及びコンピュータプログラム
JP2008193339A (ja) 2007-02-02 2008-08-21 Toyota Motor Corp 後方監視装置
JP2009140305A (ja) 2007-12-07 2009-06-25 Honda Motor Co Ltd 車両用情報提示装置
JP2010108264A (ja) * 2008-10-30 2010-05-13 Honda Motor Co Ltd 車両周辺監視装置
JP2010126135A (ja) 2008-12-01 2010-06-10 Toyota Motor Corp 視線誘導装置
JP5235798B2 (ja) 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP5269755B2 (ja) * 2009-12-10 2013-08-21 株式会社日立製作所 人横断支援車両システム及び人横断支援方法
JP2011134103A (ja) * 2009-12-24 2011-07-07 Aisin Aw Co Ltd 案内装置、案内方法、及び案内プログラム
JP5071743B2 (ja) * 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
US9321399B2 (en) * 2010-03-01 2016-04-26 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
US9073484B2 (en) * 2010-03-03 2015-07-07 Honda Motor Co., Ltd. Surrounding area monitoring apparatus for vehicle
US9004390B2 (en) * 2010-08-03 2015-04-14 Ricoh Company, Ltd. Roll medium holding unit, roll sheet feeder, and image forming apparatus
US9058619B2 (en) * 2011-05-19 2015-06-16 Purushottaman Nandakumar System and method for measurement, planning, monitoring, and execution of out-of-home media
JP5626147B2 (ja) * 2011-07-04 2014-11-19 株式会社デンソー 車両接近物検知装置
WO2013046408A1 (ja) * 2011-09-29 2013-04-04 トヨタ自動車株式会社 画像表示装置及び画像表示方法
WO2013065122A1 (ja) 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置

Also Published As

Publication number Publication date
US10528825B2 (en) 2020-01-07
US20160110618A1 (en) 2016-04-21
EP3579143B1 (en) 2024-07-24
CN105308620A (zh) 2016-02-03
CN105308620B (zh) 2020-03-17
CA2912349C (en) 2022-11-22
CA2912349A1 (en) 2014-12-11
EP3579143A1 (en) 2019-12-11
EP3005228B1 (en) 2019-08-21
EP3005228A1 (en) 2016-04-13
JP2014239326A (ja) 2014-12-18
WO2014196171A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
JP6232759B2 (ja) 情報処理装置、接近対象物通知方法及びプログラム
JP6307895B2 (ja) 車両用周辺監視装置
TWI478833B (zh) 調校車用影像裝置之方法及其系統
JP6562239B2 (ja) 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置
JP5692403B2 (ja) 障害物警報装置
CN109415018B (zh) 用于数字后视镜的方法和控制单元
KR101986734B1 (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
WO2013065341A1 (ja) 障害物警報装置
JP7047586B2 (ja) 車両用表示制御装置
JP5861449B2 (ja) 障害物警報装置
JP6583385B2 (ja) 情報処理装置、接近対象物通知方法及びプログラム
JP5704416B2 (ja) 障害物警報装置
JP5660395B2 (ja) 障害物警報装置
JP5845909B2 (ja) 障害物警報装置
JP6773189B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5787168B2 (ja) 障害物警報装置
KR102249394B1 (ko) 차량 제동 상태 표시 제어 장치 및 방법
JP5703192B2 (ja) 車両周辺監視装置
JP5040985B2 (ja) 注意喚起システム
JP3222638U (ja) 安全運転支援装置
JP2013131179A (ja) 障害物警報装置
JP2018142883A (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP5704417B2 (ja) 障害物警報装置
JP5674071B2 (ja) 障害物警報装置
JP2013131178A (ja) 障害物警報装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171009

R151 Written notification of patent or utility model registration

Ref document number: 6232759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250