[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6497158B2 - 表示装置、移動体 - Google Patents

表示装置、移動体 Download PDF

Info

Publication number
JP6497158B2
JP6497158B2 JP2015061053A JP2015061053A JP6497158B2 JP 6497158 B2 JP6497158 B2 JP 6497158B2 JP 2015061053 A JP2015061053 A JP 2015061053A JP 2015061053 A JP2015061053 A JP 2015061053A JP 6497158 B2 JP6497158 B2 JP 6497158B2
Authority
JP
Japan
Prior art keywords
passenger
image
driver
unit
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015061053A
Other languages
English (en)
Other versions
JP2015231828A (ja
Inventor
横田　聡一郎
聡一郎 横田
賢一郎 齊所
賢一郎 齊所
博美 吉川
博美 吉川
智子 石垣
智子 石垣
史子 酒匂
史子 酒匂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015061053A priority Critical patent/JP6497158B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to AU2015260356A priority patent/AU2015260356B2/en
Priority to EP15793397.9A priority patent/EP3142902B1/en
Priority to CN201580024269.6A priority patent/CN106458029A/zh
Priority to US15/129,871 priority patent/US20170155867A1/en
Priority to PCT/JP2015/063539 priority patent/WO2015174383A1/en
Priority to CA2944844A priority patent/CA2944844A1/en
Publication of JP2015231828A publication Critical patent/JP2015231828A/ja
Application granted granted Critical
Publication of JP6497158B2 publication Critical patent/JP6497158B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/008—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles allowing the driver to see passengers, e.g. for busses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/777—Instrument locations other than the dashboard on or in sun visors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示装置、及び前記表示装置を搭載した移動体に関する。
新たな車両安全技術として、ステレオカメラやヘッドアップディスプレイ（以降、ＨｕＤと称する場合がある）を用いた表示装置の技術開発が進んでいる。この技術は、測距が可能なステレオカメラと、運転者の視界に直接画像を投影するＨｕＤとを組み合わせたもので、拡張現実（ＡＲ：Augmented Reality）感のある運転中の映像体験が市場から期待されている。一方、市場において、自律運転に向けた技術開発が進められており、２０２０年には部分的な自律運転車両が市場に現れると言われている。
現在のＨｕＤの価値は、手動運転における視線移動の低減により安全運転を提供することにあるが、上記のような自律運転が普及する社会において、人の車両内での行為がどう変化するか、車両のインテリアはどう変わるか、に関して様々な場所で議論されている。そのような議論の中で、「自車両が今どのような状態にあるか」を乗員に通知する機能は少なくとも必要になると予測されている。
ところで、従来、例えば、チャイルドシートに幼児を、といったように助手席若しくは後部座席に子供等を同乗させて運転している場合、運転者は、同乗者である子供等の様子が気になると瞬間的に同乗者の子供等に顔を向けて確認することがある。
しかしながら、運転者が同乗者に顔を向ける場合には、視野が大きく移動して車両の進行方向から外れることもあり、交通安全上好ましくないという問題がある。又、運転者が同乗者に顔を向けるまでしなくとも、例えば、従来技術のようにナビゲーション装置を利用する構成においては、運転者が前方から視線をはずすことによっての安全性の低下は避けられない。
本発明は、上記に鑑みてなされたものであり、安全性の低下を抑制しつつ運転者が同乗者の情報を知ることが可能な表示装置等を提供することを課題とする。
本表示装置は、運転者が運転する移動体に同乗する同乗者を撮像する同乗者撮像部と、前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を示す画像を生成する画像生成部と、前記運転者がフロントガラスを介して前記移動体の外部を見る範囲の一部に、前記画像を重畳して表示する画像表示部と、前記運転者を撮像する運転者撮像部と、前記運転者撮像部が撮像した情報に基づいて、前記運転者の視線方向を検出する運転者視線検出部と、を有し、前記画像表示部は、前記運転者視線検出部に基づいて、前記運転者の視線方向の移動範囲が広範ではないと判断した場合に、前記運転者の視線方向の中心から外れた位置に前記画像を表示することを要件とする。
開示の技術によれば、安全性の低下を抑制しつつ運転者が同乗者の情報を知ることが可能な表示装置等を提供できる。
本実施の形態に係る表示装置を例示する図である。 本実施の形態に係る画像表示部を例示する図である。 本実施の形態に係る表示装置の動作を説明するための図である。 運転者撮像部がステレオカメラである場合のハードウェア構成を例示する図である。 画像表示をするか否かの判断に関するフローチャートの一例である。 本実施の形態に係る表示装置による画像表示例を示す図である。
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
図１は、本実施の形態に係る表示装置を例示する図である。図１を参照するに、表示装置１は、自車両１２０に搭載されており、大略すると、運転者撮像部１０と、前方用撮像部１５と、同乗者撮像部２０と、画像処理部４０と、画像表示部５０と、同乗者用ディスプレイ６０とを有する。但し、運転者撮像部１０、前方用撮像部１５、及び同乗者用ディスプレイ６０は付加的な構成要素であり、必須の構成要素ではない。又、本実施の形態では車両を例にとって説明するが、本実施の形態に係る表示装置は航空機や船舶、ロボット等にも搭載可能である。なお、車両、航空機、船舶、ロボット等を含めて移動体と称する場合がある。
運転者撮像部１０は、自車両１２０の運転者１３０の状態を判断するために、運転者１３０を撮像する機能を有する。運転者撮像部１０としては、例えば、単眼カメラや複眼カメラ（ステレオカメラ）等を用いることができる。運転者撮像部１０は、運転者１３０の両眼近傍を画角に捉える形態で配置されている。運転者撮像部１０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。運転者撮像部１０を自車両１２０内のダッシュボード上等に配置してもよい。
前方用撮像部１５は、例えば、自車両１２０の前方における注意対象物（前方車両や歩行者等）の有無、自車両１２０と前方車両との車間距離等を判断するために、自車両１２０の前方を撮像する機能を有する。前方用撮像部１５としては、例えば、単眼カメラや複眼カメラ（ステレオカメラ）等を用いることができる。前方用撮像部１５は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。前方用撮像部１５を自車両１２０内のダッシュボード上等に配置してもよい。
同乗者撮像部２０は、自車両１２０に同乗する同乗者１４０の状態を判断するために、同乗者１４０を撮像する機能を有する。同乗者撮像部２０としては、例えば、単眼カメラや複眼カメラ（ステレオカメラ）等を用いることができる。同乗者撮像部２０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の前部座席のシートの後ろ側上部に配置することができる。同乗者撮像部２０を自車両１２０内の天井部等に配置してもよい。
同乗者撮像部２０は、運転者撮像部１０よりも広い画角を有していることが好ましい。すなわち、同乗者撮像部２０は、同乗者１４０の様々な状態を判断する必要があるため、同乗者１４０の体全体を画角に捉える形態で配置することが好ましい。又、例えば、後部座席に３人の乗車が可能であれば、３人全員の状態を捉えられる程度の広い画角を有していることが好ましい。
又、同乗者撮像部２０として、複数の撮像部を配置してもよい。例えば、後部座席全体を確実に撮像するために、複数の撮像部を配置してもよい。又、助手席の同乗者の状態を判断するために、後部座席の撮像部とは別の撮像部を配置してもよい。助手席の同乗者の状態を判断する場合の撮像部の位置の一例は、助手席側のダッシュボード上である。
なお、同乗者１４０は、例えば、チャイルドシートに座っている子供であるが、これには限定されず、後部座席に座っている大人であってもよい。又、同乗者１４０は、後部座席ではなく、助手席に座っていてもよい。
画像処理部４０は、運転者撮像部１０及び同乗者撮像部２０より入手した情報に基づいて重畳画像を生成し、画像表示部５０に出力する機能を有する。画像処理部４０は、自車両１２０内の任意の位置に配置することができる。画像処理部４０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、メインメモリ等を含む構成とすることができる。
この場合、画像処理部４０の各種機能は、ＲＯＭ等に記録されたプログラムがメインメモリに読み出されてＣＰＵにより実行されることによって実現できる。但し、画像処理部４０の一部又は全部は、ハードウェアのみにより実現されてもよい。又、画像処理部４０は、物理的に複数の装置等により構成されてもよい。
画像表示部５０は、自車両１２０内で画像処理部４０が生成した画像を、運転者１３０の視界に虚像として重畳して表示する機能を有する、所謂ヘッドアップディスプレイである。画像表示部５０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内のダッシュボード上に配置することができる。画像表示部５０を自車両１２０内の天井部等に配置してもよい。或いは、画像表示部５０をダッシュボード内に埋め込んでもよい。
より詳しくは、画像表示部５０は、内部で生成した中間像をミラーやレンズ等で拡大虚像表示し、運転者１３０の視点から所定の距離感を持って画像を表示することができるモジュールである。画像表示部５０の実現形態としてはパネル投射型やレーザ走査型等があるが、本実施の形態では何れの形態を用いてもよい。但し、レーザ走査型は、虚像の広角化が可能であること、外光に対してロバストな高輝度画像を表示できることから、本実施の形態において用いると好適である。以下、レーザ走査型の画像表示部５０を例にして説明する。
図２は、本実施の形態に係る画像表示部を例示する図である。図２を参照するに、画像表示部５０は、大略すると、光源部５１と、光偏向器５２と、第１ミラー５３と、被走査面５４と、第２ミラー５５とを有する。なお、図２において、１３５は運転者の眼球（以降、眼球１３５とする）を、１１０は虚像（以降、虚像１１０とする）を示している。
光源部５１は、例えば、ＲＧＢに対応した３つのレーザ光源、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのレーザ光源から出射されたレーザ光を合成して光偏向器５２の反射面に向かって導く。光偏向器５２の反射面に導かれたレーザ光は、光偏向器５２により２次元的に偏向される。
光偏向器５２としては、例えば、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器５２は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）とすることができる。光偏向器５２は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。
光偏向器５２により２次元的に偏向された光束は、第１ミラー５３に入射し、第１ミラー５３により折り返されて被走査面５４に２次元像を描画する。第１ミラー５３としては、例えば、凹面ミラーを用いることができる。第１ミラー５３の反射面は、例えば、アナモフィックとすることができる。つまり、第１ミラー５３の反射面は、所定方向の曲率と、それに直交する方向の曲率とが異なる反射面とすることができる。第１ミラー５３の反射面をアナモフィックとすることにより、反射面の曲面形状を調整可能となり、収差補正性能を向上できる。
被走査面５４は、第１ミラー５３で反射された光束が入射して２次元像が形成される透過性を有する面である。被走査面５４は、合成されたレーザ光を所望の発散角で発散させる機能を有しており、例えば、マイクロレンズアレイ構造とすると好適である。被走査面５４から射出された光束は、第２ミラー５５及び半透過鏡５９により拡大表示される。第２ミラー５５としては、例えば、凹面ミラーを用いることができる。画像表示部５０は、レンズやプリズム等の透過型光学素子を具備してもよい。
半透過鏡５９は、可視域の透過率が１０〜７０％程度である鏡であり、第２ミラー５５により折り返された光束が入射する側に、例えば、誘電体多層膜或いはワイヤーグリッド等が形成された反射面を有する。半透過鏡５９の反射面は、レーザが出射する光束の波長帯を選択的に反射するものとすることができる。すなわち、ＲＧＢに対応した３つのレーザからの出射光を包含する反射ピークや反射バンドを有するものや、特定の偏向方向に対して反射率を強めるように形成されたものとすることができる。
半透過鏡５９は、例えば、自車両１２０のフロントガラス１２５（図１参照）と一体化することができる。画像表示部５０を自車両１２０において運転者１３０の前方に配置することにより、半透過鏡５９の反射面で反射された光束は、運転席にいる運転者１３０の眼球１３５へ入射する。そして、被走査面５４の２次元像が、半透過鏡５９の反射面よりも前方の所定の位置に拡大された虚像１１０として運転者１３０に視認される。つまり、画像表示部５０により、所謂ヘッドアップディスプレイを実現できる。
図１に戻り、同乗者用ディスプレイ６０は、運転者撮像部１０が撮像した画像を表示する機能を有する。同乗者用ディスプレイ６０は、同乗者１４０が視認可能な位置であれば自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の前部座席のシートの後ろ側上部に配置することができる。
次に、図３を参照しながら、画像処理部４０が運転者撮像部１０及び同乗者撮像部２０より入手した情報を処理するアルゴリズムの例について説明する。
運転者撮像部１０から得た光学情報は、画像処理部４０の運転者視線検出部４２に送られる。運転者視線検出部４２は、運転者撮像部１０が撮像した光学情報に基づいて、運転者１３０の視線方向を検出することができる。具体的には、例えば、目の画像情報を利用する場合には、瞳孔の動きを追跡して視線方向を検出する方法等を用いることができる。又、顔の画像情報を利用する場合には、顔の特徴的な画像領域部（目、口、鼻等）を認識してその位置の変化により視線方向を検出する方法や、顔の輪郭情報から視線方向を検出する方法等を用いることができる。運転者視線検出部４２が検出した運転者１３０の視線方向は、画像処理部４０の画像生成部４３に送られる。
同乗者撮像部２０が得た光学情報は、画像処理部４０の同乗者状態検出部４１に送られる。又、同乗者撮像部２０が得た光学情報は、画像処理部４０の同乗者状態検出部４１を経由して、画像処理部４０の画像生成部４３にも送られる。同乗者状態検出部４１は、同乗者撮像部２０が撮像した光学情報に基づいて、画像認識等により、同乗者１４０の状態（疲労度や興奮度等）を検出することができる。
具体的には、例えば、同乗者１４０の顔を認識して目の領域の部分の画像を抽出し、抽出した画像の経時的変化から瞼の開閉を検出することで、同乗者１４０の瞬目時間（例えば、瞬き１回当たりの目を閉じていると認識される時間）を算出する。そして、現在の瞬目時間を平常時の瞬目時間と比較することで、同乗者１４０の疲労度（例えば、眠気が大きい等）を検出することができる。又、例えば、同乗者１４０の手や足の動きを認識し、平常時の手や足の動きと比較することで、同乗者１４０の興奮度（例えば、いらいらしている等）を検出してもよい。同乗者状態検出部４１が検出した同乗者１４０の状態は、画像処理部４０の画像生成部４３に送られる。
なお、運転開始時の同乗者１４０の状態を平常時の状態としてもよいし、過去の履歴等から推測した値を平常時の状態としてもよい。又、平常時の状態を、データとしてＲＯＭ等に予め記憶しておいてもよい。
図４は、運転者撮像部１０がステレオカメラである場合のハードウェア構成を例示する図である。運転者撮像部１０がステレオカメラである場合、運転者撮像部１０は、第１カメラ部１２と第２カメラ部１３とを有する。第１カメラ部１２と第２カメラ部１３の一方が左目用、他方が右目用である。第１カメラ部１２と第２カメラ部１３とを並置することで、両者の視差情報を利用して、撮像された対象物の奥行き情報を得ることができる。すなわち、撮像された対象物の３次元情報を得ることができる。
第１カメラ部１２と第２カメラ部１３は、例えば、互いに略平行に配置されている。第１カメラ部１２は、レンズ１２ａ、画像センサ１２ｂ、及びセンサコントローラ１２ｃを備えている。同様に、第２カメラ部１３は、レンズ１３ａ、画像センサ１３ｂ、及びセンサコントローラ１３ｃを備えている。
画像センサ１２ｂ及び１３ｂとしては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Device）等のイメージセンサを用いることができる。センサコントローラ１２ｃ及び１３ｃは、画像センサ１２ｂ及び１３ｂの露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う機能を有する。センサコントローラ１２ｃ及び１３ｃは、ＣＰＵやＲＯＭ等を含んで構成されてもよい。
運転者撮像部１０は、例えば、データバスライン及びシリアルバスラインを介して画像処理部４０と接続されている。画像処理部４０は、運転者撮像部１０から得られた光学情報に基づいて輝度画像及び視差画像を生成することができる。又、画像処理部４０は、状況認識等の各種処理を実行制御することで、対象物の認識を行うことができる。
画像処理部４０の機能の一部又は全部は、運転者撮像部１０に内蔵されてもよい。すなわち、運転者撮像部１０と同一筐体内にＣＰＵ等を設けて画像処理を行う構成にしてもよい。なお、前方用撮像部１５や同乗者撮像部２０がステレオカメラである場合も、図４と同様のハードウェア構成とすることができる。
図３の説明に戻り、画像処理部４０の画像生成部４３は、同乗者１４０の状態を示す画像を生成し、画像表示部５０に送信する。画像表示部５０は、画像生成部４３が生成した画像を運転者１３０の視界に重畳して表示する。
画像生成部４３は、例えば、同乗者状態検出部４１からの情報により、同乗者１４０が眠い状態であると認識できる場合、同乗者撮像部２０で撮像した同乗者１４０の画像に、『眠い』という文字を追加した画像を生成し、画像表示部５０に送信する。なお、画像表示部５０は、同乗者１４０の画像のみでなく、同乗者１４０を含めた後部座席全体の画像を表示してもよい。
画像生成部４３は、運転者視線検出部４２が検出した運転者１３０の視線方向の変化に基づいて、生成した画像を画像表示部５０によって割り込みで表示するか否かを決定してもよい。例えば、慣れない土地での運転、車間距離が詰まっているシーン、注意対象物が多いシーン等においては、運転者１３０の注意力が散漫となり視線の軌道が複雑化、移動範囲が広範化する。
そこで、画像生成部４３は、運転者視線検出部４２が検出した運転者１３０の視線方向が複雑に動いていたり、移動範囲が広範化したりしていることを認識した場合には、運転者１３０を運転に集中させるため、生成した画像を画像表示部５０に送信しなくてもよい。画像生成部４３は、生成した画像を画像表示部５０に送信するか否かを、前方用撮像部１５から入手した情報に基づいて決定することができる。
一方、画像生成部４３は、運転者視線検出部４２が検出した運転者１３０の視線方向が安定していることを認識した場合には、生成した画像を画像表示部５０に送信することができる。このように、画像表示部５０は運転者１３０の視界に重畳させた画像の表示を行うことができるが、上記のような所定の条件においては、運転者１３０の視界に重畳させた画像の表示をしない。
画像を表示するか否かの判断のための視線方向の検出方法としては、例えば、瞳孔を検出し、瞳孔の位置と眼球の位置から視線方向をリアルタイムで検出する方法を用いることができる（例えば、特開２００３−１５８１６号公報参照）。
又、目の輪郭の３次元座標から黒目輪郭上の点が存在する平面の法線方向を求めると共に、黒目の中心を求め、黒目輪郭上の点が存在する平面の法線のうち、黒目の中心が通る線の方向を視線方向として検出する方法を用いてもよい（例えば、特開２００４−２５５０７４号公報参照）。
又、顔の中心の３次元位置を基準位置として算出すると共に、左右の瞳中心の左右方向における中心の３次元位置を特徴位置として算出し、基準位置に対する特徴位置のずれ量に基づいて視線方向を検出する方法を用いてもよい（例えば、国際公開第２００８／００７７８１号参照）。或いは、ここで例示した以外の視線方向の検出方法を用いてもよい。
なお、慣れない土地での運転、車間距離が詰まっているシーン、注意対象物が多いシーンは、他の方法でも判断され得る。
画像生成部４３は、慣れない土地での運転である場合には、生成した画像を画像表示部５０に送信しない（画像表示部５０は画像を表示しない）。慣れない土地であるか否かは、ＧＰＳ等で取得した過去の地点情報を記憶しておき一度も訪れていない土地であることから判断しても良いし、運転者がスイッチで切り替えられるようにしても良い。
又、画像生成部４３は、車間距離が詰まっているシーンでは、生成した画像を画像表示部５０に送信しない（画像表示部５０は画像を表示しない）。車間距離が詰まっているか否かは、図１の前方用撮像部１５で前方車両を認識・測距した結果、前方車両までの距離が閾値を上回るか否かで判断できる。なお、前方用撮像部１５での測距に代えて、従来から知られているミリ波レーダやレーザレーダによる測距も用いることができる。
又、画像生成部４３は、注意対象物が多いシーンでは、生成した画像を画像表示部５０に送信しない（画像表示部５０は画像を表示しない）。注意対象物が多いか否かは、前方用撮像部１５で前方車両や歩行者等の車両の運転において注意すべき対象物を認識した結果、それらの数が閾値を上回るか否かで判断できる。
これらを組み合わせ、例えば、図５に示すようなフローを利用することができる。すなわち、ステップＳ５０１で画像生成部４３が画像生成後、ステップＳ５０２で画像生成部４３は、『慣れない土地での運転か否か』を判断する。そして、画像生成部４３は、ステップＳ５０２で『慣れない土地での運転である』と判断した場合には、ステップＳ５０７に移行し、生成した画像を画像表示部５０に送信しない。その結果、画像表示部５０は画像を表示しない。
一方、画像生成部４３は、ステップＳ５０２で『慣れない土地での運転でない』と判断した場合には、ステップＳ５０３に移行し、『車間距離が詰まっているか否か』を判断する。そして、画像生成部４３は、ステップＳ５０３で『車間距離が詰まっている』と判断した場合には、ステップＳ５０７に移行し、生成した画像を画像表示部５０に送信しない。その結果、画像表示部５０は画像を表示しない。
一方、画像生成部４３は、ステップＳ５０３で『車間距離が詰まっていない』と判断した場合には、ステップＳ５０４に移行し、『注意対象物が多いか否か』を判断する。そして、画像生成部４３は、ステップＳ５０４で『注意対象物が多い』と判断した場合には、ステップＳ５０７に移行し、生成した画像を画像表示部５０に送信しない。その結果、画像表示部５０は画像を表示しない。
一方、画像生成部４３は、ステップＳ５０４で『注意対象物が少ない』と判断した場合には、ステップＳ５０５に移行し、『運転者の視線方向が複雑に動いているか否か、運転者の視線方向の移動範囲が広範に動いているか否か』を判断する。そして、画像生成部４３は、ステップＳ５０５で『運転者の視線方向が複雑に動いている、又は、運転者の視線方向の移動範囲が広範に動いている』と判断した場合には、ステップＳ５０７に移行し、生成した画像を画像表示部５０に送信しない。その結果、画像表示部５０は画像を表示しない。
一方、画像生成部４３は、ステップＳ５０５で『運転者の視線方向が複雑に動いていなく、かつ、運転者の視線方向の移動範囲が広範に動いていない』と判断した場合には、ステップＳ５０６に移行し、生成した画像を画像表示部５０に送信する。その結果、画像表示部５０は画像を表示する。
又、画像生成部４３は、同乗者状態検出部４１からの情報に基づいて同乗者１４０の状態に異常がない（例えば、疲労状態や興奮状態ではない）と認識した場合は、生成した画像を画像表示部５０に送信しなくてもよい。この場合には、画像表示部５０は、同乗者１４０の状態を表示せず、車速や案内等の運転に必要な情報を優先して表示することができる。これらの機能により、画像表示部５０による同乗者１４０の状態の表示が安全運転の阻害となることを防ぐことができる。
画像生成部４３が生成した画像は、運転者視線検出部４２が検出した運転者１３０の視線方向を考慮した位置に表示してもよい。すなわち、画像生成部４３が生成した画像を運転者１３０の視線方向の中心に表示すると、運転者１３０の安全運転を妨げるおそれがある。そこで、運転者１３０の視界内であって、かつ、運転者１３０の視線方向の中心から外れた位置に、画像生成部４３が生成した画像を表示することが好ましい。これにより、運転者１３０の安全運転を確保することができる。
なお、画像生成部４３は、同乗者撮像部２０が撮像したままの画像を生成し、画像表示部５０に送信してもよい。この場合には、文字等は表示されず、同乗者１４０の画像のみが画像表示部５０により運転者１３０の視界に表示される。又、画像生成部４３は、文字等のみの画像を生成し、画像表示部５０に送信してもよい。この場合には、同乗者１４０の画像は表示されず、文字等のみの画像が画像表示部５０により運転者１３０の視界に表示される。
すなわち、画像生成部４３が生成する同乗者１４０の状態を示す画像は、同乗者１４０の画像のみでもよいし、同乗者１４０の状態を示す文字等のみでもよいし、同乗者１４０の画像に同乗者１４０の状態を示す文字等を加えたものでもよい。
運転者撮像部１０が撮像した運転者の画像を同乗者用ディスプレイ６０に表示してもよい。同乗者１４０は、同乗者用ディスプレイ６０に表示された画像を介して、運転者１３０の顔や身体を視認できるため、同乗者１４０の「撮影されている緊張感」を取り除き、かつ、運転者１３０の存在感による安心感を得ることができる。又、運転者１３０は画像表示部５０が視界に重畳して表示する同乗者１４０を視認でき、同乗者１４０は同乗者用ディスプレイ６０に表示された運転者１３０を視認できるため、互いに顔を視ながら快適なコミュニケーションをとることができる。
図６は、本実施の形態に係る表示装置による画像表示例を示す図である。図６の例では、運転者１３０の視界に、車速の表示２０１に加えて、同乗者１４０の画像２０２を表示している。前述のように、画像２０２に加えて、或いは、画像２０２に代えて、同乗者１４０の状態を表す文字等を表示してもよい。なお、画像を表示する領域は、運転者１３０の運転の妨げにならないフロントガラス下方とするのが通常であるが、前述のように、運転者１３０の視線に基づいて、画像を表示する領域を適宜変更することができる。
このように、本実施の形態に係る表示装置１では、助手席や後部座席等の同乗者１４０の情報（同乗者１４０の実際の顔や身体の画像、同乗者１４０の状態を表す文字等）を、運転者１３０の視界に重畳させて表示させる。これにより、運転者１３０の視野の移動をほとんど生じさせることなく、すなわち安全性をほとんど低下させることなく、運転者１３０は同乗者１４０の情報を知ることができる。すなわち、運転者１３０の安全運転と、同乗者１４０へのコミュニケーションの円滑さとを両立することができる。
以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。
例えば、画像生成部４３が生成する画像は、以下のようなものであってもよい。例えば、画像生成部４３が同乗者状態検出部４１からの情報に基づいて、同乗者１４０である子供がドアロックをいじっていることや、シート上に立っていることを認識した場合、同乗者１４０の画像に『危険』という文字を追加した画像を生成することができる。又、同乗者１４０である子供の体調が悪そうなときに、同乗者１４０の画像に『体調不良』という文字を追加した画像を生成することができる。もちろん、これらの場合に、文字情報のみの画像を生成してもよい。
なお、上述の同乗者の状態検出は、同乗者撮像部２０のような、カメラを用いた画像認識によることもできるが、発汗センサにより助手席に着座した人物の発汗量を検出する方法や、脈拍センサにより助手席に着座した人物の脈拍を検出する方法等（例えば、特開２０１４−９２９６５号公報参照）、種々の方法によって実現できる。
又、自車両１２０は自家用車には限定されず、例えば、タクシー等であってもよい。例えば、自車両１２０がタクシーである場合には、乗客である同乗者１４０の様子を画像表示部５０で表示することで、運転者１３０であるタクシードライバーに乗客の様子を伝えることができる。
又、運転者１３０が指示を出したときのみに、表示装置１が動作するようにしてもよい。例えば、運転者１３０がハンドル近傍に設けられたスイッチを押すと表示装置１が起動し、同乗者１４０を撮像して所定の画像を生成し、運転者１３０の視界に重畳して表示するようにしてもよい。つまり、運転者１３０が同乗者１４０の状態を知りたいときのみに、表示装置１が動作するようにしてもよい。
又、画像表示部５０において、３つのレーザを用いる例を示したが、単一のレーザを用いて単色の画像を形成する構成としてもよい。この場合には、合成素子等は不要である。
１ 表示装置
１０ 運転者撮像部
１２ 第１カメラ部
１２ａ、１３ａ レンズ
１２ｂ、１３ｂ 画像センサ
１２ｃ、１３ｃ センサコントローラ
１３ 第２カメラ部
１５ 前方用撮像部
２０ 同乗者撮像部
４０ 画像処理部
４１ 同乗者状態検出部
４２ 運転者視線検出部
４３ 画像生成部
５０ 画像表示部
５１ 光源部
５２ 光偏向器
５３ 第１ミラー
５４ 被走査面
５５ 第２ミラー
５９ 半透過鏡
６０ 同乗者用ディスプレイ
１１０ 虚像
１２０ 自車両
１２５ フロントガラス
１３０ 運転者
１３５ 眼球
１４０ 同乗者
２０１ 車速の表示
２０２ 同乗者の画像
特開２００３−１０４１３２ 特開２００３−２３７４６６

Claims (12)

  1. 運転者が運転する移動体に同乗する同乗者を撮像する同乗者撮像部と、
    前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を示す画像を生成する画像生成部と、
    前記運転者がフロントガラスを介して前記移動体の外部を見る範囲の一部に、前記画像を重畳して表示する画像表示部と、
    前記運転者を撮像する運転者撮像部と、
    前記運転者撮像部が撮像した情報に基づいて、前記運転者の視線方向を検出する運転者視線検出部と、を有し、
    前記画像表示部は、前記運転者視線検出部に基づいて、前記運転者の視線方向の移動範囲が広範ではないと判断した場合に、前記運転者の視線方向の中心から外れた位置に前記画像を表示する表示装置。
  2. 前記画像表示部は、前記運転者視線検出部に基づいて、前記運転者の視線方向が複雑に動いていない、及び、前記運転者の視線方向の移動範囲が広範ではないと判断した場合に、前記運転者の視線方向の中心から外れた位置に前記画像を表示する請求項１記載の表示装置。
  3. 前記運転者撮像部はステレオカメラである、請求項１又は２記載の表示装置。
  4. 前記同乗者の状態を検出する同乗者状態検出部を有し、
    前記画像生成部は、前記同乗者撮像部が撮像した情報、及び前記同乗者状態検出部から入手した情報に基づいて前記画像を生成する請求項１乃至３の何れか一項記載の表示装置。
  5. 前記同乗者状態検出部は、前記同乗者撮像部が撮像した情報に基づいて、前記同乗者の状態を検出する請求項４記載の表示装置。
  6. 前記画像は、前記同乗者状態検出部から入手した情報に基づいて生成された文字を含む請求項４又は５記載の表示装置。
  7. 前記画像は、運転開始時の前記同乗者の状態又は過去の履歴から推測した値を平常時の状態とし、前記平常時の状態と前記同乗者状態検出部から入手した情報とに基づいて生成された文字を含む、請求項４乃至６の何れか一項記載の表示装置。
  8. 前記同乗者撮像部は、前記運転者撮像部よりも広い画角を有している請求項１乃至７の何れか一項記載の表示装置。
  9. 前記同乗者は後部座席に同乗しており、
    前記同乗者撮像部は、前記同乗者を含めて前記後部座席全体を撮像する請求項１乃至８の何れか一項記載の表示装置。
  10. 前記同乗者用のディスプレイを有し、
    前記運転者撮像部が撮像した画像を前記ディスプレイに表示する請求項１乃至９の何れか一項記載の表示装置。
  11. 前記画像表示部は、レーザ光源と、前記レーザ光源から出射されたレーザ光を偏向する光偏向器と、を備えている請求項１乃至１０の何れか一項記載の表示装置。
  12. 請求項１乃至１１の何れか一項記載の表示装置を搭載した移動体。
JP2015061053A 2014-05-16 2015-03-24 表示装置、移動体 Active JP6497158B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2015061053A JP6497158B2 (ja) 2014-05-16 2015-03-24 表示装置、移動体
EP15793397.9A EP3142902B1 (en) 2014-05-16 2015-04-30 Display device and vehicle
CN201580024269.6A CN106458029A (zh) 2014-05-16 2015-04-30 显示装置及交通工具
US15/129,871 US20170155867A1 (en) 2014-05-16 2015-04-30 Display device and vehicle
AU2015260356A AU2015260356B2 (en) 2014-05-16 2015-04-30 Display device and vehicle
PCT/JP2015/063539 WO2015174383A1 (en) 2014-05-16 2015-04-30 Display device and vehicle
CA2944844A CA2944844A1 (en) 2014-05-16 2015-04-30 Display device and vehicle

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014102093 2014-05-16
JP2014102093 2014-05-16
JP2015061053A JP6497158B2 (ja) 2014-05-16 2015-03-24 表示装置、移動体

Publications (2)

Publication Number Publication Date
JP2015231828A JP2015231828A (ja) 2015-12-24
JP6497158B2 true JP6497158B2 (ja) 2019-04-10

Family

ID=54479922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015061053A Active JP6497158B2 (ja) 2014-05-16 2015-03-24 表示装置、移動体

Country Status (7)

Country Link
US (1) US20170155867A1 (ja)
EP (1) EP3142902B1 (ja)
JP (1) JP6497158B2 (ja)
CN (1) CN106458029A (ja)
AU (1) AU2015260356B2 (ja)
CA (1) CA2944844A1 (ja)
WO (1) WO2015174383A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015218306A1 (de) * 2015-09-23 2017-03-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
CN108349455B (zh) * 2015-10-26 2021-06-15 主动知识有限责任公司 可移动的内部振动吸收能量消散垫
US10621778B2 (en) 2015-10-30 2020-04-14 Faraday & Future Inc. Methods and systems for generating dynamic user interface effects
JP2017178025A (ja) * 2016-03-30 2017-10-05 矢崎総業株式会社 運転支援装置
US20170293140A1 (en) * 2016-04-12 2017-10-12 Ostendo Technologies, Inc. Split Exit Pupil Heads-Up Display Systems and Methods
WO2017190092A1 (en) * 2016-04-29 2017-11-02 Faraday&Future Inc. System for providing color balance in automotive display
WO2017205490A1 (en) 2016-05-24 2017-11-30 Gentex Corporation Vehicle display with selective image data display
JP2018105737A (ja) * 2016-12-27 2018-07-05 トヨタ紡織株式会社 アイポイント測定装置、及びアイポイント測定方法
JP6922217B2 (ja) 2016-12-28 2021-08-18 株式会社リコー 表示装置、物体装置及び表示方法
JP6972549B2 (ja) 2016-12-28 2021-11-24 株式会社リコー Ｈｕｄ装置、車両装置及び表示方法
JP6627787B2 (ja) 2017-01-17 2020-01-08 トヨタ自動車株式会社 ドライバ状態検出装置
JP6930120B2 (ja) 2017-02-02 2021-09-01 株式会社リコー 表示装置、移動体装置及び表示方法。
JP6809262B2 (ja) 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置
KR20190119093A (ko) * 2017-03-03 2019-10-21 오스텐도 테크놀로지스 인코포레이티드 스플릿 사출 동공 헤드업 디스플레이 시스템 및 방법
DE102017204256A1 (de) 2017-03-14 2018-09-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Erinnerung eines Fahrers an ein Anfahren an einer Lichtsignaleinrichtung mit variabler Ausgabefunktion
CN110770818A (zh) * 2017-06-16 2020-02-07 本田技研工业株式会社 体验提供系统、体验提供方法及体验提供程序
KR102397089B1 (ko) * 2017-07-28 2022-05-12 삼성전자주식회사 이미지 처리 방법 및 이미지 처리 장치
US11265460B2 (en) * 2017-09-20 2022-03-01 Sharp Kabushiki Kaisha Electronic device, control device, and control method
JP6806914B2 (ja) * 2017-09-22 2021-01-06 マクセル株式会社 表示システム及び表示方法
EP3470908B1 (en) * 2017-10-16 2021-03-24 Volvo Car Corporation Vehicle with overhead vehicle state indication
KR102302917B1 (ko) * 2017-12-18 2021-09-15 현대모비스 주식회사 안전운전 지원 장치 및 방법
JP6963632B2 (ja) * 2017-12-27 2021-11-10 パイオニア株式会社 記憶装置及び興奮抑制装置
JP7114906B2 (ja) * 2018-01-17 2022-08-09 トヨタ自動車株式会社 車両用表示装置
JP7005112B2 (ja) * 2018-03-05 2022-01-21 矢崎総業株式会社 表示システム、及び、車載システム
CN108320496A (zh) * 2018-03-20 2018-07-24 段宏伟 一种出租车精准载客与乘客快速搭车系统
JP2019174461A (ja) * 2018-03-28 2019-10-10 株式会社リコー 画像制御装置、表示装置、移動体、画像データ生成方法、及びプログラム
JP7037764B2 (ja) 2018-03-29 2022-03-17 株式会社リコー 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム
JP7211673B2 (ja) * 2018-05-25 2023-01-24 株式会社Subaru 車両の乗員監視装置
KR102546441B1 (ko) * 2018-11-07 2023-06-26 현대모비스 주식회사 안전운전 지원 장치 및 방법
US10969595B2 (en) 2018-11-30 2021-04-06 International Business Machines Corporation In-vehicle content display apparatus
JP7241005B2 (ja) * 2019-11-27 2023-03-16 京セラ株式会社 ヘッドアップディスプレイシステムおよび移動体
DE102020133448A1 (de) * 2020-12-15 2022-06-15 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Fahrzeug
US20240054733A1 (en) * 2022-08-12 2024-02-15 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced outdoor displays via augmented reality

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7887089B2 (en) * 1992-05-05 2011-02-15 Automotive Technologies International, Inc. Vehicular occupant protection system control arrangement and method using multiple sensor systems
GB9323970D0 (en) * 1993-11-22 1994-01-12 Toad Innovations Ltd Safety device
JPH09301054A (ja) * 1996-05-20 1997-11-25 Honda Motor Co Ltd 車両用前照灯装置
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US20040056954A1 (en) * 2002-09-20 2004-03-25 Crandall John Christopher System and method for monitoring within a vehicle
JP4487633B2 (ja) * 2004-05-24 2010-06-23 日産自動車株式会社 車両内コミュニケーション装置
JP4650349B2 (ja) * 2005-10-31 2011-03-16 株式会社デンソー 車両用表示システム
WO2008052178A2 (en) * 2006-10-27 2008-05-02 Johnson Controls Technology Company Vehicle vision system
JP5133340B2 (ja) * 2007-05-22 2013-01-30 株式会社オートネットワーク技術研究所 自動車用撮影装置
JP5061373B2 (ja) * 2008-11-06 2012-10-31 Ｎｅｃフィールディング株式会社 車両内犯罪防止システム、車両内犯罪防止方法および車両内犯罪防止プログラム
KR20100063394A (ko) * 2008-12-03 2010-06-11 한국전자통신연구원 차량에 탑승한 유아의 안전을 위한 제어 시스템 및 방법
US20100201507A1 (en) * 2009-02-12 2010-08-12 Ford Global Technologies, Llc Dual-mode vision system for vehicle safety
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
JP5287746B2 (ja) * 2009-05-21 2013-09-11 日産自動車株式会社 運転支援装置、及び運転支援方法
US20110032266A1 (en) * 2009-08-07 2011-02-10 Delphi Technologies, Inc. Glare detection and mitigation method for a photo-sensitive display device
JP2011116219A (ja) * 2009-12-02 2011-06-16 Koito Mfg Co Ltd 車内監視システム
JP5555526B2 (ja) * 2010-04-06 2014-07-23 東芝アルパイン・オートモティブテクノロジー株式会社 車両用ディスプレイ装置
US8605009B2 (en) * 2010-12-05 2013-12-10 Ford Global Technologies, Llc In-vehicle display management system
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US20130293466A1 (en) * 2011-03-30 2013-11-07 Honda Motor Co., Ltd. Operation device
JP2013061554A (ja) * 2011-09-14 2013-04-04 Ricoh Co Ltd 画像形成装置、画像形成装置を搭載した車両
JP2013130832A (ja) * 2011-12-22 2013-07-04 Nippon Seiki Co Ltd 表示装置
US9602779B2 (en) * 2012-07-10 2017-03-21 Christopher DeJuliis System for passenger monitoring
US9565402B2 (en) * 2012-10-30 2017-02-07 Baby-Tech Innovations, Inc. Video camera device and method to monitor a child in a vehicle
JP2014092965A (ja) * 2012-11-05 2014-05-19 Denso Corp 乗員監視装置

Also Published As

Publication number Publication date
EP3142902B1 (en) 2021-02-10
EP3142902A1 (en) 2017-03-22
EP3142902A4 (en) 2017-09-13
AU2015260356B2 (en) 2018-05-10
AU2015260356A1 (en) 2016-10-27
US20170155867A1 (en) 2017-06-01
CA2944844A1 (en) 2015-11-19
CN106458029A (zh) 2017-02-22
WO2015174383A1 (en) 2015-11-19
JP2015231828A (ja) 2015-12-24

Similar Documents

Publication Publication Date Title
JP6497158B2 (ja) 表示装置、移動体
JP6047318B2 (ja) ドライバ状態検出装置及びドライバ状態報知装置
US11351918B2 (en) Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
JP4926437B2 (ja) 車両の運転支援装置
JP4970379B2 (ja) 車両用表示装置
EP3200048A2 (en) Image display apparatus
JP2014010418A (ja) 立体表示装置及び立体表示方法
JP6512475B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
US11176749B2 (en) In-vehicle display device three-dimensional image generation
JP2010143250A (ja) 後方視認装置
JP2023052450A (ja) 頭部着用型の電子表示装置の操作方法および仮想コンテンツを表示する表示システム
KR20210120398A (ko) 차량에 탑재된 CMS 사이드 디스플레이(Camera Monitoring System Side Display)를 이용하여 영상을 디스플레이하는 전자 장치 및 그 동작 방법
CN114787890A (zh) 车辆驾驶系统
JP7115276B2 (ja) 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
JP2018203245A (ja) 表示システム、電子ミラーシステム及び移動体
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
JP2015219631A (ja) 表示装置、車両
WO2020090187A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
JP6504382B2 (ja) 表示制御装置、表示システム、表示制御方法、表示制御プログラム、および投影装置
JP2008162550A (ja) 外部環境表示装置
WO2019124323A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
JP2003011722A (ja) 夜間走行支援装置
JP2019151205A (ja) 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
JP2022048454A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190225

R151 Written notification of patent or utility model registration

Ref document number: 6497158

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151