[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020064047A - コンテンツを視覚化する装置及び方法 - Google Patents

コンテンツを視覚化する装置及び方法 Download PDF

Info

Publication number
JP2020064047A
JP2020064047A JP2019142154A JP2019142154A JP2020064047A JP 2020064047 A JP2020064047 A JP 2020064047A JP 2019142154 A JP2019142154 A JP 2019142154A JP 2019142154 A JP2019142154 A JP 2019142154A JP 2020064047 A JP2020064047 A JP 2020064047A
Authority
JP
Japan
Prior art keywords
content
visualizing
display position
vehicle
route guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019142154A
Other languages
English (en)
Other versions
JP7303691B2 (ja
Inventor
敏重 李
Min-Joong Lee
敏重 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020064047A publication Critical patent/JP2020064047A/ja
Application granted granted Critical
Publication of JP7303691B2 publication Critical patent/JP7303691B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)

Abstract

【課題】コンテンツを視覚化する装置及び方法を提供する。【解決手段】コンテンツを視覚化する装置は、経路案内コンテンツの指示地点及び道路面及び障害物などに基づいてオブジェクト配置空間110を生成し、オブジェクト配置空間内で経路案内コンテンツ121に対応するグラフィック表現が視覚化される表示位置を決定する。指示地点は、経路案内コンテンツに対応する動作が行われる地点を含む。決定された表示位置に記経路案内コンテンツに対応するグラフィックオブジェクトを3次元的に視覚化する。【選択図】図1

Description

以下、コンテンツを視覚化する技術が提供される。
車両及びその他の運送手段の走行を補助するために様々な視覚情報(Visual Information)を示す拡張現実(AR:Augmented Reality)のための機能が車両に搭載されたディスプレイ又はナビゲーションを介して提供される。例えば、AR基盤HUD(Head−Up Display)装置により走行情報を表示しようとする試みが行われている。
一実施形態における課題は、コンテンツを視覚化する方法において、オブジェクト配置空間を生成し、生成されたオブジェクト配置空間内でユーザに情報を提供するグラフィックオブジェクトを視覚化することにある。
一実施形態における別の課題は、コンテンツを視覚化する方法において、先行オブジェクト、例えば、他の車両と重ならない深さに立体的なグラフィックオブジェクトを視覚化することにある。
一実施形態に係るコンテンツを視覚化する方法は、推定された前方道路領域に基づいて3次元のオブジェクト配置空間を生成するステップと、経路案内コンテンツの指示地点及び前記オブジェクト配置空間に基づいて、前記経路案内コンテンツに対する表示位置を決定するステップと、前記決定された表示位置に前記経路案内コンテンツに対応するグラフィックオブジェクトを3次元的に視覚化するステップとを含む。
前記指示地点は、前記経路案内コンテンツに対応する動作が行われる地点を含み得る。
前記オブジェクト配置空間を生成するステップは、ユーザの視野角及び前記ユーザ視点から障害物までの距離に基づいて前記オブジェクト配置空間を生成するステップを含み得る。
前記グラフィックオブジェクトを3次元的に視覚化するステップは、ユーザの左眼に対応する第1グラフィック表現及び前記ユーザの右眼に対応する第2グラフィック表現を生成するステップと、前記第1グラフィック表現及び前記第2グラフィック表現との間に視差を提供するステップとを含み得る。
前記提供するステップは、前記ユーザの左眼及び右眼の位置を追跡するステップをさらに含み得る。
前記表示位置を決定するステップは、前記指示地点が前記オブジェクト配置空間から離れる場合に応答して、前記表示位置を前記オブジェクト配置空間内の位置として決定するステップを含み得る。
前記指示地点に対応する位置は、前記オブジェクト配置空間の限界平面の近くに位置し、前記地点に向かう前記ユーザのアイボックスの中心からの軸上に位置し得る。
前記表示位置を決定するステップは、前記指示地点の高さが前記オブジェクト配置空間の底よりも低い場合に応答して、前記表示位置の高さを前記オブジェクト配置空間の底にフィッティングするステップを含み得る。
前記表示位置を決定するステップは、ユーザの視野に対応する空間及び道路面が交差しない場合に応答して、前記表示位置の高さを前記オブジェクト配置空間の底にフィッティングするステップを含み得る。
前記表示位置を決定するステップは、ユーザから前記表示位置までの距離が前記オブジェクト配置空間の最大距離よりも遠い場合に応答して、前記表示位置を前記オブジェクト配置空間内にアップデートするステップを含み得る。
前記オブジェクト配置空間を生成するステップは、コンテンツを視覚化する装置が装着された車両の車体及びユーザの視野角(FOV)に基づいて前記オブジェクト配置空間を生成するステップを含み得る。
前記グラフィックオブジェクトを3次元的に視覚化するステップは、ユーザの視野角及び車両の車体に基づいてコンテンツ動き軌跡を決定するステップと、コンテンツを視覚化する装置が前記指示地点にアクセスする場合に応答して、前記コンテンツ動き軌跡に基づいて前記グラフィックオブジェクトの高さを調整することで前記グラフィックオブジェクトを視覚化するステップとを含み得る。
コンテンツを視覚化する方法は、前記3次元のオブジェクト配置空間が道路面に交差する場合に応答して、前記3次元のオブジェクト配置空間を制限するステップをさらに含み得る。
前記オブジェクト配置空間の底は、車両の周辺に推定された道路領域の表面にフィッティングされ得る。
前記オブジェクト配置空間を生成するステップは、視野角に対応する空間及び前記道路面の交差地点から最大距離まで、前記オブジェクト配置空間の底を前記道路面にフィッティングさせるステップを含み得る。
前記グラフィックオブジェクトを3次元的に視覚化するステップは、前記オブジェクト配置空間で前記グラフィックオブジェクトの下方に対応する領域にシェードオブジェクトを視覚化するステップを含み得る。
前記シェードオブジェクトを視覚化するステップは、シェード領域の周辺領域に対して前記グラフィックオブジェクトの下方で前記シェード領域の明るさを保持するステップと、前記シェード領域よりも高い明るさのグラフィックオブジェクトを視覚化するステップとを含み得る。
コンテンツを視覚化する方法は、コンテンツを視覚化する装置が前記経路案内コンテンツに対する前記表示地点に達した場合に応答して、次の経路案内コンテンツに対する次の表示位置を決定するステップと、前記次の表示位置に前記次の経路案内コンテンツに対応する他のグラフィックオブジェクトを視覚化するステップとをさらに含み得る。
前記グラフィックオブジェクトを3次元的に視覚化するステップは、前記オブジェクト配置空間の最大距離から前記グラフィックオブジェクトまでの距離に基づいて、前記グラフィックオブジェクトの透明度を決定するステップを含み得る。
コンテンツを視覚化する方法は、前記3次元のオブジェクト配置空間の境界に隣接に位置する前記経路案内コンテンツの透明度を増加させるステップをさらに含み得る。
前記経路案内コンテンツは、線に沿って配置された複数のポイントオブジェクトを含み、前記複数のポイントオブジェクトのそれぞれは、互いに対して単位間隔に離隔され得る。
前記表示位置を決定するステップは、前記指示地点及び前記表示位置が異なる場合に応答して、前記表示位置に対応する臨時案内コンテンツを取得するステップを含み、前記グラフィックオブジェクトを3次元的に視覚化するステップは、前記オブジェクト配置空間が前記指示地点を含むまで、前記臨時案内コンテンツに対応するグラフィックオブジェクトを前記表示位置に視覚化するステップを含み得る。
コンテンツを視覚化する方法は、コンテンツを視覚化する装置が位置した道路で、前記装置が走行している車路情報に対応するグラフィックオブジェクト及び危険オブジェクトに対応するグラフィックオブジェクトを視覚化するステップをさらに含み得る。
前記グラフィックオブジェクトを3次元的に視覚化するステップは、前記グラフィックオブジェクトを視覚化する途中前記表示位置が変更された場合に応答して、前記グラフィックオブジェクトを以前表示位置から変更された表示位置まで徐々に変更しながら視覚化するステップを含み得る。
一実施形態に係るコンテンツを視覚化する装置は、推定された前方道路領域に基づいて3次元のオブジェクト配置空間を生成し、経路案内コンテンツの指示地点及び前記オブジェクト配置空間に基づいて表示位置を決定するプロセッサと、前記決定された表示位置に前記経路案内コンテンツに対応するグラフィックオブジェクトを3次元的に視覚化するディスプレイとを含む。
コンテンツを視覚化する装置は、前記経路案内コンテンツ、装置の前記状態に関する情報、マップデータベース、及び実行された時に前記3次元のオブジェクト配置空間及び前記表示位置のうちいずれか1つ又は組合せを前記プロセッサが決定するように設定する命令語を格納するメモリをさらに含み得る。
前記プロセッサは、マップデータベースで道路情報に基づいて前記指示地点を決定するようにさらに構成され得る。
コンテンツを視覚化する装置は、装置に配置され、前記装置の周辺に障害物からの距離及び前記装置の状態に関する情報を検出し、前記装置が動く場合に応答してユーザの左眼及び右眼の位置を追跡するように構成されるセンサをさらに含み、前記プロセッサは、前記ユーザの前記左眼の位置に対応する第1グラフィック表現を生成し、前記ユーザの前記右眼の位置に対応する第2グラフィック表現を生成し、前記第1グラフィック表現及び前記第2グラフィック表現間の視差に基づいてヘッドアップディスプレイ(HUD:head−up display)上に3次元グラフィックオブジェクトをレンダリングし得る。
前記装置は車両を含み、前記装置の前記状態に関する情報は、前記車両の位置情報、前記車両の現在地理学的座標、前記車両の位置に対応する道路情報、前記車両が走行中である車路、前記車両が走行中である車路の幅、前記車両が走行中である道路の幅、前記道路の車路個数、前記車路の中心線、前記道路上の回転地点、前記道路上の交通信号、前記車両速度、前記車両の燃料、前記車両の燃料レベル、及び前記車両の整備情報のいずれか1つ又は組合せを含み得る。
前記オブジェクト配置空間は、ユーザの両目から前記車両の前の道路領域に延長する長方形の四角錐領域を含み得る。
一実施形態に係るコンテンツを視覚化する方法によると、道路面にフィッティングされ、最大距離により制限されるオブジェクト配置空間を生成することで、立体表示の際発生し得るクロストークを防止できる。
一実施形態に係るコンテンツを視覚化する方法によると、先行オブジェクト、例えば、他の車両と重ならない深さに立体的なグラフィックオブジェクトを視覚化することで、先行オブジェクトと仮想オブジェクトとの間の深さ混同により誘発されるクロストークを防止し、ユーザの視覚的な疲れを軽減させることができる。
一実施形態により視覚化されたコンテンツの例示を説明する図である。 一実施形態に係るコンテンツを視覚化する装置の構成を示すブロック図である。 一実施形態に係るコンテンツを視覚化する装置のヘッドアップディスプレイ(HUD:head up display)の構成を示すブロック図である。 一実施形態に係るコンテンツを視覚化する方法を説明するフローチャートである。 一実施形態に係るコンテンツを視覚化する方法を説明するフローチャートである。 一実施形態に係る経路案内コンテンツを取得する方法を説明するフローチャートである。 一実施形態に係る表示位置決定及びグラフィックオブジェクト視覚化を説明するフローチャートである。 一実施形態によりオブジェクト配置空間内部に決定された表示位置を有するグラフィックオブジェクトを説明する図である。 一実施形態によりオブジェクト配置空間内部に決定された表示位置を有するグラフィックオブジェクトを説明する図である。 一実施形態によりオブジェクト配置空間内部に決定された表示位置を有するグラフィックオブジェクトを説明する図である。 一実施形態により指示地点が遮断される場合、経路案内コンテンツに対応するグラフィックオブジェクトの表示位置を決定する動作を説明する図である。 一実施形態により指示地点が遮断される場合、経路案内コンテンツに対応するグラフィックオブジェクトの表示位置を決定する動作を説明する図である。 一実施形態に係るコンテンツ動き軌跡に基づいた経路案内コンテンツの視覚化を説明する図である。 一実施形態に係るコンテンツ動き軌跡に基づいた経路案内コンテンツの視覚化を説明する図である。 一実施形態に係るコンテンツを視覚化する装置が登り坂に進入及び進出する間に経路案内コンテンツの表示位置を決定する例示を説明する図である。 一実施形態に係るコンテンツ視覚化方法を説明するフローチャートである。 一実施形態に係るコンテンツを視覚化する装置が視野確保により経路案内コンテンツの位置を変更してグラフィックオブジェクトを変形する動作を説明する例示である。 一実施形態に係る経路指示線に対応するグラフィックオブジェクトを説明する図である。 一実施形態に係る車路情報の視覚化を説明する図である。 一実施形態に係る経路案内コンテンツを動的に視覚化する動作を説明する図である。 一実施形態に係る経路案内コンテンツを静的に視覚化する動作を説明する図である。 一実施形態により危険オブジェクトを警告する動作を説明する図である。 一実施形態により速度制限情報を提供する動作を説明する図である。 一実施形態により経路案内コンテンツに対応するシェードオブジェクトを視覚化した例示を説明する図である。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に第2構成要素は第1構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
本明細書で用いられる用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付の図面を参照して詳説する。添付図面を参照して説明することにおいて、図面符号に関わらず同じ構成要素は同じ参照符号を付与し、これに関する重複説明は省略することにする。
図1は、一実施形態により視覚化されたコンテンツの例示を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、経路案内コンテンツ121に対応するグラフィックオブジェクトを視覚化する。例えば、コンテンツを視覚化する装置は、オブジェクト配置空間110内の任意の位置にグラフィックオブジェクトを配置して視覚化する。コンテンツを視覚化する装置は、ユーザの左眼に左眼映像、ユーザの右眼に右眼映像を提供することにより、グラフィックオブジェクトを立体的に提供し得る。左眼映像及び右眼映像は、互いに対して水平軸に沿って深さによる視差(disparity)だけ離隔したグラフィックオブジェクトを含む。したがって、ユーザは、立体的にレンダリングされたグラフィックオブジェクトの深度感を認識することができる。
オブジェクト配置空間110は、グラフィックオブジェクトが配置される空間であって、3次元空間を示す。オブジェクト配置空間110は、深さを有するグラフィックオブジェクトが立体的に視覚化される空間を示す。オブジェクト配置空間110に属する各地点の座標は、物理的世界(physical world)の位置座標と同一であるか、又は類似のスケールにマッピングされる。オブジェクト配置空間110の境界は、ヘッドアップディスプレイの構造により決定される。例えば、コンテンツを視覚化する装置は、ヘッドアップディスプレイの構造により決定された最小の深さ(例えば、最小距離)から最大の深さ(例えば、最大距離)までの空間内でグラフィックオブジェクトを視覚化し得る。図1において、最小距離は5m、最大距離は70mと示しているが、これに限定されることはない。
オブジェクト配置空間110は、ユーザの視野に対応する空間に基づいて決定される。オブジェクト配置空間110の形態及び大きさは、アイボックス190(eye box)の大きさ及びヘッドアップディスプレイによって提供される視野角(FOV:field of view)に基づいて決定される。例えば、オブジェクト配置空間110は四角錐(rectangular cone)の形態であり、アイボックス190から視野角に対応して拡張される形態の空間であり得る。アイボックス190は、ユーザの2つの目が位置するものとして設定された領域を示す。
一実施形態に係るコンテンツを視覚化する装置は、ウィンドシールドガラス(wind shield glass)180の向かい側にオブジェクト配置空間110内の表示位置に、様々な種類のグラフィック表現を視覚化することができ、互いに異なる種類のグラフィック表現は、互いに異なるオブジェクト配置空間110に視覚化するように実現される。
オブジェクト配置空間110内に表示可能なグラフィック表現の種類は、例えば、経路案内コンテンツ121、経路指示線122、警告コンテンツ123、及び走行関連コンテンツ124などを含む。その他にも、オブジェクト配置空間110内に表示可能なグラフィック表現の種類は、様々な形態に変更及び実施可能である。他の種類のグラフィック表現は、例えば、道路障害物、道路状態などが使用される。
ユーザは、オブジェクト配置空間110内の表示位置に対応する物理的位置に該当のグラフィック表現が存在すると認識する。上述したように、オブジェクト配置空間110の各座標は、物理的座標と一対一にマッピングされてもよい。
本明細書に係る表示位置は、グラフィックオブジェクトが表示される地点として、例えば、3次元空間内で任意の地点であってもよい。表示位置は、絶対的3次元座標又は車両を基準とする相対的3次元座標を有する。表示位置は、コンテンツを視覚化する装置の動作により固定されたり移動される。
ここで言及された車両は、輸送、配達、又は通信中に任意のモードを示し、例えば、自動車、トラック、トラクター、スクーター、バイク、サイクル、水陸両用自動車、スノーモービル、船、公共輸送車両、バス、モノレール、汽車、トラム、自動又は無人走行車両、知能型車両、自律走行車両、無人航空機、電気車、ハイブリッドカー、スマート移動装置、及びドローンを示す。例えば、スマート移動装置は、例えば、電動ホイール(electric wheels)、電動キックボード(electric kickboard)、及び電気自転車などのような装置を含んでもよい。例えば、車両は、エンジンが走った車両及びエンジンが走っていない車両を含んでもよく、動力エンジンを有する車両(例えば、耕うん機又はバイク)、自転車又は手押し車などであり得る。
また、車両は、様々な装置を含んでもよく、例えば、スマートフォン、歩行補助装置、ウェアラブル装置、セキュリティー装置、ロボット、移動端末、及び様々なIoT(Internet of Things)装置を含む。
「道路」は、道路の表面にマーキングされた車路境界によって区別される道路空間を示す。「現在走行車路」は車両が現在走行中である車路を示し、該当の車両によって現在占有されて用いられる車路空間を示す。現在走行車路は、また、「自己車路(ego lane)」と示してもよい。「車路境界(lane boundary)」は、車路を区別する道路の表面にマーキングされた実線又は破線を示す。「道路境界」は、「車線表示(lane marking)」のように示してもよい。
一実施形態に係る方法及び装置は、車両のナビゲーション装置で道路案内情報に使用され、例えば、AR 3D HUD(augmented reality head−up display)及び自律走行車両であり得る。例えば、ここで方法及び装置は、運転者をサポートしたり自律走行車両を制御するための情報を生成するために使用される。例えば、例示は、車両で完全自律走行又は走行補助のために設置された知能型システムに対して視覚的情報を解釈し、安全で安らかな走行を補助するために使用され得る。また、例示は、車両及び車両管理システム、例えば、自律車両、自動又は自律走行システム、知能型車両、ADAS(advanced driver assistance system)、ナビゲーションシステムに適用され、車両、スマートフォン、又は、移動装置が移動中である車路を安全に保持するよう車両を補助する。車両のための道路案内情報を表示するものに関する例示は、例えば、トレーニング、ゲーム、健康管理アプリケーション、公衆安全、観光、及びマーケティングなどに提供され得る。
経路案内情報は、ユーザによって設定された経路によるユーザの移動を案内する情報を示す。例えば、経路案内情報は、ユーザが直進しなければならない距離、別れ目で方向転換などを含んでもよい。経路は、出発地から目的地までユーザが通過しなければならない道(path)を示す。経路案内コンテンツ121は、目的地までの経路を進むために提供されなければならない経路案内情報が視覚化されたコンテンツであり、例えば、ユーザが直進しなければならない距離を指示する数字及び文字、そして、別れ目で方向転換(例えば、左折及び右折など)を指示する矢印などを含んでもよい。経路指示線122は、目的地までの経路を指示する線であり、経路案内コンテンツ121と区別される形態の経路案内情報として視覚化される。警告コンテンツ123は、現在の走行環境で必要な場合、ユーザに与えられなければならない警告メッセージを含む。
走行関連コンテンツ124は、走行に関するコンテンツを示す。走行関連コンテンツ124は、例えば、車両速度、加速度、位置、燃料、及び整備に関する情報を示す。燃料に関する情報は、ガソリン車の場合にガソリンの残量、ディーゼル車の場合にディーゼルの残量、水素車の場合に水素の残量、電気車の場合に充填された電力量を示す。整備に関する情報は、エンジンオイルの状態、トランスミッションオイルの状態、累積した走行距離、及びタイヤの空気圧などのように車両の整備が必要であるか否かを判断するために要求される情報を示す。ただし、上述したことは単なる例示であって、これに限定されることはない。
一実施形態に係るコンテンツを視覚化する装置は、経路案内コンテンツ121及び経路指示線122などをユーザから離れた位置に視覚化される。参考として、コンテンツを視覚化する装置が車両に搭載されている場合、ユーザは該当車両の運転者であってもよい。
コンテンツを視覚化する装置が搭載された車両を運転している運転者は、主に道路170で車両から遠い位置を凝視する可能性が高い。コンテンツを視覚化する装置は、経路案内コンテンツ121又は経路指示線122のようなコンテンツを車両から遠い位置に視覚化することで、ユーザの眼球の疲れを軽減させ得る。すなわち、経路を指示するグラフィックオブジェクトをユーザが凝視している深さと類似の深さに対応する距離に視覚化することで、コンテンツを視覚化する装置は、ユーザの深さ混同によるクロストーク(crosstalk)を減少させることができる。
一実施形態に係るコンテンツを視覚化する装置は、センサ(例えば、カメラセンサ、GPS、及びLIDARなど)を用いて、車両の位置を推定する。コンテンツを視覚化する装置は、車両の位置から運転者の目の位置だけの誤差間隔を考慮して、経路案内コンテンツ121に対応するグラフィックオブジェクトを実際の道路に整合して視覚化する。コンテンツを視覚化するための装置は、経路案内コンテンツ121に対応するグラフィックオブジェクトを車両の位置から運転者の目の位置だけの誤差間隔(error interval)を考慮して実際の道路上に視覚化する。HDマップデータが用いられる場合、コンテンツを視覚化する装置は、より正確な位置に経路案内コンテンツ121を整合することができる。このような整合により、コンテンツを視覚化する装置は運転者の心理的な安定感を改善させることができる。
また、平凡な走行状況(normal driving circumstance)の間に運転者に提供される一般情報に関する走行関連コンテンツ124は、ユーザから一定の距離だけ離れた第1位置(例えば、近い位置)に視覚化される。運転者にアラームが必要と判断される場合、コンテンツを視覚化する装置は、走行関連コンテンツ124の一部又は全てを第1位置よりも遠い位置に視覚化することで、ユーザにアラーム(alarm)を提供し得る。例えば、車両の走行速度が警告コンテンツ123の形態に50m程度位置に視覚化されてもよい。アラームが必要な状況が解除された場合、コンテンツを視覚化する装置は、走行関連コンテンツ124の一部又は全てを再び第1位置に移動させてもよい。
ユーザが走行する間に頻繁に凝視する経路案内コンテンツ121とは異なって、走行関連コンテンツ124は、ユーザが必要な時のみ見ることができる。したがって、ユーザが走行関連コンテンツ124を凝視する頻度が低いため、走行関連コンテンツ124が近い位置に視覚化されても、走行関連コンテンツ124によるクロストーク誘発の可能性は低い。運転の視野確保のために、走行関連コンテンツ124は、オブジェクト配置空間110のコーナー(例えば、下段部)に視覚化されてもよい。図1において、近い位置は5m〜17m、遠い位置は17m〜70mとして示されているが、これに限定されることはない。
参考として、図1に表示されているように、道路170は1つ以上の車路(lane)を含んでもよい。車路境界線(lane line)150は、車路と車路との間を区分する境界線を示す。ただし、道路170又は車路に車路境界線150が存在するものと限定することはない。走行車路は、車両が現在走行中である車路を示す。中央線160は、車両の進入禁止を指示する境界線を示す。
図2は、一実施形態に係るコンテンツを視覚化する装置の構成を示すブロック図である。
コンテンツを視覚化する装置200は、センサ210、ディスプレイ220、プロセッサ230、及びメモリ240を含む。
センサ210は、コンテンツの視覚化のために必要な情報を検出する。一実施形態によれば、センサ210は、ユーザの周辺に位置するオブジェクトまでの距離を測定し、例えば、ライダ(LIDAR:Light Detection and Ranging)及びレーダー(RADAR:Radio Detection and Ranging)などを含んでもよい。また、センサ210は、コンテンツを視覚化する装置200が装着された機器の状態に関する情報を検出する。例えば、車両に装着された場合、センサ210は、車両に関する情報を検出し、車両に関する情報は、車両の位置情報、車両の位置に対応する道路情報、及び車両の走行関連情報などを含んでもよい。ここで、走行関連情報は車両の走行に関する情報として、例えば、車両速度、加速度、位置、燃料、及び整備に関する情報であってもよい。また、センサ210は、車両内部を撮影する内部センサを含んでもよい。内部センサは、カメラセンサ(例えば、カラーカメラ)、赤外線センサ、深さセンサ、及び熱画像センサなどであるが、これに限定されることはない。
車両の位置情報は、車両が位置する現在の座標であってもよく、現在車両が走行中である車路情報まで指示される。例えば、センサ210は、GPS(Global Positioning System)を介して車両の2次元座標を取得する。また、センサ210は、車両の前方に対する前方イメージを取得し、プロセッサ230が前方イメージから道路を構成している複数の車路のうち、現在車両が走行中である車路(ego lane)を決定してもよい。ただし、これに限定されることなく、プロセッサ230は、センサ210から収集されたイメージに基づいて現在車両の位置を推定し得る。
「プロセッサ」は、ハードウェアで実現されるデータ処理装置であって、物理的な構造で所望する動作を行う回路を有する。例えば、所望する動作は、プログラムに含まれたコード又は命令語を含んでもよい。ハードウェアで実現されるデータ処理装置は、例えば、マイクロプロセッサー、CPU(central processing unit)、プロセッサコア、マルチコアプロセッサ、マルチプロセッサ、ASIC(application specific integrated circuit)、及びFPGA(field programmable gate array)などを含んでもよい。プロセッサ230は、コンテンツ視覚化装置200を制御してプログラムを実行する。プロセッサ230によって実行されるプログラムのコードは、メモリ240に格納される。プロセッサ230の詳細は後述する。
道路情報は、道路の幅、道路を構成している車路(lane)の個数、車路の幅、中央線、方向転換地点、交通信号、及び、その他の交通に関する情報のうちの1つ以上を含む。
ディスプレイ220は、コンテンツを視覚化してユーザに提供する。例えば、ディスプレイ220は、ユーザインタフェースをレンダリングしたり、ユーザ入力を受信できる1つ以上のハードウェア構成を含む物理的構造である。例えば、ウィンドシールドガラス又はHUD(head−up display)を用いて車両の分離したスクリーン上にコンテンツが表示されたり、又はAR HUD(augmented reality head−up display)上に表示されてもよい。一実施形態によれば、ディスプレイ220は、ヘッドアップディスプレイであってもよく、ユーザの前方にプロジェクション平面を形成して、プロジェクション平面を介してコンテンツをユーザに提供することができる。また、ディスプレイ220は、ユーザの左眼に左映像を提供し、右眼に右映像を提供する。例えば、プロセッサ210は、運転者の左眼に対応する第1グラフィック表現を含む左映像、及び運転者の右眼に対応する第2グラフィック表現を含む右映像を生成する。ディスプレイ220は、互いに対して視差を有するように左映像及び右映像を提供する。ディスプレイ220は、左映像でコンテンツが視覚化されたグラフィックオブジェクト及び右映像でコンテンツが視覚化されたグラフィックオブジェクトを互いに対して両眼視差(binocular disparity)に基づいて離隔させることで、深さを有するコンテンツをユーザに立体的なグラフィックオブジェクトとして視覚化して提供できる。例えば、ディスプレイ220は、プロセッサ230によって決定された表示位置に経路案内コンテンツに対応するグラフィックオブジェクトを視覚化する。ユーザ両眼の位置は、上述したセンサ210(例えば、内部センサ)によって測定されてプロセッサ230に提供される。ユーザ両眼の位置は、車両が移動する間に常に追跡されて運転者が頭を上下左右に移動したり座席の高低を調整しても、コンテンツを立体的に伝えることができる。
プロセッサ230は、ディスプレイ220を介して視覚化されるコンテンツを生成(create)、変形(deform)、及び調整(adjust)する。一実施形態によれば、プロセッサ230は、推定された前方道路領域に基づいてオブジェクト配置空間を生成する。プロセッサ230は、経路案内コンテンツの指示地点及びオブジェクト配置空間に基づいて表示位置を決定する。例えば、プロセッサ230は、表示位置を固定したり、表示位置を動的に調整してもよい。
経路案内コンテンツの指示地点は、該当の経路案内コンテンツに対応する動作をユーザが行わなければならない地点を示す。例えば、経路案内コンテンツが別れ目で方向転換(例えば、左折)を指示するコンテンツである場合、指示地点は、ユーザが方向転換しなければならない地点として別れ目の入口地点である。
プロセッサ230は、マップデータベースに含まれた道路情報に基づいて指示地点を決定する。例えば、プロセッサ230は、車両に与えられた経路案内情報に基づいて、方向転換が実行されなければならない方向転換領域を決定し、方向転換領域の進入地点を指示地点として決定する。方向転換領域は、方向転換地点を含む領域を示す。
ただし、プロセッサ230の動作を上述したものに限定せず、プロセッサ230は、下記の図3〜図24を参照して説明された動作のうち少なくとも1つと共に上述した動作を行ってもよい。プロセッサ230のより詳細な動作については、下記の図3〜図24を参照して説明する。
メモリ240は、コンテンツの視覚化に要求される情報を臨時的又は永久的に格納する。例えば、メモリ240は、プロセッサ230によって実行されて下記の図3〜図24による動作を行うための命令語を格納する。また、メモリ240は、経路案内情報、走行関連コンテンツ、及びマップデータベースなどを格納してもよい。マップデータベースは、マップデータを格納するデータベースを示す。マップデータベースは、例えば、HD(high definition)マップデータを格納してもよい。HDマップデータは、例えば、車路個数、車路の幅、及び中心線の位置などのような精密データに関する情報を含む。
一実施形態に係るコンテンツを視覚化する装置200は、車両用3次元ヘッドアップディスプレイ装置及び車両の走行経路を指示するナビゲーション装置などにより実現される。例えば、コンテンツ視覚化装置200は、車両のECU(electronic control unit)又はVCU(vehicle control unit)にコンテンツを送信する。ECU又はVCUは、車両のディスプレイ220上にコンテンツを表示する。ただし、コンテンツのディスプレイは、上述した例示に限定せず、他の機構クラスタ(instrument cluster)、車両インフォテインメントシステム(vehicular infotainment system)、車両でスクリーン又は、車両でディスプレイパネルがディスプレイ機能を行ってもよい。例えば、他のディスプレイ、スマートフォン、EGD(eye glass display)などは、動作的にコンテンツ視覚化装置200と接続されて使用されてもよい。
また、コンテンツを視覚化する装置200は、ユーザに拡張現実を提供するように実現されることができる。例えば、コンテンツを視覚化する装置200は、車両のボンネットの向かい側の一定範囲(例えば、車両から5m〜70m)の深さにコンテンツを表示してもよい。コンテンツを視覚化する装置200は、下記図3〜図24を参照して説明するが、ユーザの現在の注視位置と類似の深さにコンテンツを視覚化することで、ユーザの視覚的な疲れを軽減し、より正確な深さでコンテンツを視覚化することによって、ユーザが運転に集中すできるように補助できる。
図3は、一実施形態に係るコンテンツを視覚化する装置のヘッドアップディスプレイ(HUD:head up display)の構成を示すブロック図である。
コンテンツ視覚化システム300は、ユーザ390にコンテンツ361を提供するシステムであって、例えば、コンテンツを視覚化する装置310が装着された機器である。
コンテンツを視覚化する装置310は、センサ311、プロセッサ312、及びヘッドアップディスプレイ313を含む。
センサ311は、前方に存在するオブジェクトを検出する。例えば、センサ311は、前方に存在するオブジェクトまでの距離を測定する。ただし、これに限定されることなく、センサ311は、車両の周辺に存在するオブジェクトまでの距離を測定することがき、周辺に存在するオブジェクトまでの距離を指示する周辺距離マップを生成する。また、センサ311は、車両の前方、後方、左側、及び右側の環境を撮影してイメージを生成する。
プロセッサ312は、検出されたオブジェクトに基づいて、ユーザ390に提供するコンテンツ361を生成する。コンテンツ361は、ユーザに情報を提供するためのデータを示す。運転に関する情報(以下、運行情報)は、例えば、経路案内情報及び走行関連情報などのように運転者に必要とされる情報であり得る。また、プロセッサ312は、センサ311によって検出された周辺情報(例えば、周辺のオブジェクトまでの距離及びオブジェクトを含む映像など)を分析し、オブジェクトをモデリングしたり、オブジェクトの位置を検出したり、オブジェクトを認識する動作などを行ってもよい。
ヘッドアップディスプレイ313は、ユーザ390の前方に位置するユーザ390の可視領域にコンテンツ361を視覚化する。例えば、ヘッドアップディスプレイ313は、ユーザ390の前方に配置されるガラス窓(例えば、車両のウィンドシールドガラス)にコンテンツ361を視覚化する。ヘッドアップディスプレイ313は、仮想のプロジェクション平面350を形成する。プロジェクション平面350は、ヘッドアップディスプレイ313によって生成されたコンテンツ361を含む虚像が表示される平面を示す。ユーザ390は、プロジェクション平面350に虚像が配置されたものと認識する。
また、ヘッドアップディスプレイ313は、プロジェクション平面350に深さを有するコンテンツ361を視覚化する。例えば、プロセッサ312は、プロジェクション平面350を基準としてコンテンツ361が視覚化される深さを決定し、ヘッドアップディスプレイ313は、決定された深さに基づいてユーザ390を基準としてプロジェクション平面350から遠い深さ又は近い深さを有するようコンテンツ361を視覚化する。ヘッドアップディスプレイ313は、仮想領域360内に該当する深さを有するコンテンツ361をプロジェクション平面350に視覚化する。ここで、プロセッサ312は、ヘッドアップディスプレイ313の光学系に基づいて、コンテンツ361を3次元グラフィック表現でレンダリングする。3次元グラフィック表現は、深さを有する立体的なグラフィック表現を示し、以下ではグラフィックオブジェクトのように示してもよい。ヘッドアップディスプレイ313は、コンテンツ361が有する深さに基づいて、左映像及び右映像を含むプロジェクション平面350を形成し、プロジェクション平面350を介して左映像をユーザ390の左眼に、右映像をユーザ390の右眼に提供する。したがって、ユーザ390は、立体的にレンダリングされたコンテンツ361の深度感を認識する。
一実施形態に係るヘッドアップディスプレイ313は、例えば、画像生成部314、折り畳みミラー(fold mirror)315、及び凹面鏡316を含む。ただし、ヘッドアップディスプレイ313の構成がこれに限定されることなく、設計に応じてユーザ390の前方に配置されたガラス窓への投射を介して虚像が生じるプロジェクション平面350を形成する複数のコンポーネントを含んでもよい。
本明細書では、コンテンツを視覚化する装置310が車両に装着された例示を中心に説明するが、これに限定されることはない。例えば、コンテンツを視覚化する装置310は、拡張現実メガネ(AR glass:Augmented Reality glass)及び混合現実(MR:mixed reality)などのように現実と仮想の情報を結合させる技術に適用され得る。
一実施形態に係るコンテンツを視覚化する装置310は、コンテンツ361の深さを調整することで、ヘッドアップディスプレイ313によって形成されるプロジェクション平面350を位置変更しなくても、連続的な深さを表現することができる。また、コンテンツを視覚化する装置310は、プロジェクション平面350の位置を変更する必要がないため、ヘッドアップディスプレイ313に含まれた構成要素に対する物理的な操作を要求しない。コンテンツを視覚化する装置310が車両に装着された場合、コンテンツを視覚化する装置310は、運転者の前方に3次元コンテンツ361を動的に視覚化できる。
また、コンテンツを視覚化する装置310は、ヘッドアップディスプレイ313を介して連続的な深さを表現することができ、ユーザ390の前方数百mの前までの深さを有するコンテンツ361を視覚化できる。ただし、ユーザ390と深さを有するように視覚化されたコンテンツ361との間に障害物(例えば、建物又は登り坂による被さりなど)が存在する場合、コンテンツ361が深度感あるように視覚化された3次元グラフィック表現と障害物との間の重なりが発生する恐れがある。このような重複は、ユーザ390の視覚的な疲れを誘発したり、ユーザ390に不自然な映像を認知させるクロストークを引き起こす。
一実施形態に係るコンテンツを視覚化する装置310は、よりナチュラルに視覚化されるようコンテンツ361を調整できる。コンテンツを視覚化する装置310の具体的な動作については以下で説明する。
図4及び図5は、一実施形態に係るコンテンツを視覚化する方法を説明するフローチャートである。
図4は、コンテンツを視覚化する方法の概略的なフローチャートを示す。
まず、ステップS410において、コンテンツを視覚化する装置は、推定された前方道路領域に基づいてオブジェクト配置空間を生成する。例えば、コンテンツを視覚化する装置は、センサによって検出されたデータ(例えば、イメージなど)から前方道路領域を推定する。コンテンツを視覚化する装置は、視野角に対応する空間内で、前方道路領域に対応する空間をオブジェクト配置空間として決定する。例えば、コンテンツを視覚化する装置は、ユーザの視野角及びユーザ視点から障害物までの距離に基づいてオブジェクト配置空間を生成する。コンテンツを視覚化する装置は、装置自身から障害物の間の空間をオブジェクト配置空間として決定し、障害物の向かい側の空間を排除する。したがって、コンテンツを視覚化する装置は、ユーザの視野が確保される空間までのみをオブジェクト配置空間として決定する。
そして、ステップS420において、コンテンツを視覚化する装置は、経路案内コンテンツの指示地点(indication point)及びオブジェクト配置空間に基づいて、経路案内コンテンツに対する表示位置を決定する。例えば、コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間内に属する場合に応答して、指示地点を表示位置として決定する。異なる例として、コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間の外側に属する場合に応答して、オブジェクト配置空間内で指示地点に対応する地点を表示位置として決定してもよい。
本明細書でオブジェクト配置空間内で指示地点に対応する地点は、例えば、ユーザの視線軸(例えば、アイボックスの中心から指示地点に向かう軸)がオブジェクト配置空間の限界面と交差する地点である。異なる例として、表示位置は、指示地点に向かう視線軸上に存在する地点のうち、オブジェクト配置空間内の地点であってもよい。表示位置は、指示地点に向かう視線軸上に存在する地点のうち、オブジェクト配置空間の限界面からマージン距離(margin distance)だけ近い地点であり得る。マージン距離は、オブジェクト配置空間の限界によって、グラフィックオブジェクトの表現がカットされることを防止するために、設定されたマージンを示すことができる。言い換えれば、例えば、表示位置は、指示地点に対応する地点がオブジェクト配置空間から離隔して位置する場合に応答して、オブジェクト配置空間内の地点に対応する位置を含み得る。例えば、地点に対応する位置は、オブジェクト配置空間の限界平面に近くに位置し、ユーザのアイボックスの中心から地点に向かう軸上に位置する。
次に、ステップS430において、コンテンツを視覚化する装置は、決定された表示位置に経路案内コンテンツに対応するグラフィックオブジェクトを視覚化する。したがって、コンテンツを視覚化する装置は、ユーザによって認識される空間である、オブジェクト配置空間内でのみグラフィックオブジェクトを視覚化できる。
例えば、コンテンツを視覚化する装置は、表示位置に経路案内コンテンツに対応するグラフィックオブジェクトを固定して視覚化し得る。ここで、グラフィックオブジェクトの表示位置は任意の平面座標で固定され、コンテンツを視覚化する装置が表示位置にアクセスするほど、コンテンツを視覚化する装置は、グラフィックオブジェクトの深さを徐々に減少させることができる。したがって、ユーザは表示位置に固定されたグラフィックオブジェクトにアクセスすることを認識することができる。ただし、これに限定されることなく、コンテンツを視覚化する装置は、表示位置を動的に調整することで、装置自身からグラフィックオブジェクトまでの相対的な距離を一定に保持して視覚化することができる。また、コンテンツを視覚化する装置は、表示位置を動的に調整することで、アニメーション効果を与える可能性もあるが、このような視覚的な効果の実現については次の図17、図20、及び図23を参照して詳細に説明する。
参考として、本明細書において位置は、絶対座標位置を示す。コンテンツを視覚化する装置を基準とする相対的座標は、相対的な位置と示すことができる。
図5は、コンテンツを視覚化する方法をより詳細に説明したフローチャートである。
まず、ステップS501において、コンテンツを視覚化する装置は、経路案内コンテンツを取得する。コンテンツを視覚化する装置は、目的地までの経路に基づいて経路案内情報を生成し、生成された経路案内情報に基づいて経路案内コンテンツを生成する。例えば、コンテンツを視覚化する装置は、経路案内情報に含まれた任意の指示地点との距離が閾値距離未満の場合に応答して、該当の指示地点に対応する経路案内コンテンツを生成する。
そして、ステップS510において、コンテンツを視覚化する装置は、経路案内情報及び推定された前方道路領域に基づいてオブジェクト配置空間を生成する。例えば、コンテンツを視覚化する装置は、経路案内情報から前方道路が登り坂(uphill)であるか、又は下り坂(downhill)であるかの有無を決定する。登り坂として決定された場合に応答して、コンテンツを視覚化する装置は、登り坂との道路面及びオブジェクト配置空間の交差面に基づいてオブジェクト配置空間を制限する。さらに、コンテンツを視覚化する装置は、深さセンサによって検出された道路面又はイメージデータから推定された道路面などに基づいてオブジェクト配置空間を制限してもよい。また、コンテンツを視覚化する装置は、経路案内情報によって指示される案内経路に基づいて装置自身が進行するものと予測される走行予定領域を決定する。経路案内情報が交差点で右折を指示する場合、走行予定領域は、右折に対応する領域を含み、左折に対応する領域を排除する。コンテンツを視覚化する装置は、視野角に対応する空間のうち前方道路領域の中から走行予定領域に対応する空間を、上述したオブジェクト配置空間として決定する。したがって、ユーザの視線が主に走行予定領域に向かっているため、コンテンツを視覚化する装置は、ユーザの視線がフォーカスされる領域をオブジェクト配置空間で生成する。ただし、これに限定されることなく、コンテンツを視覚化する装置は、経路案内情報に関係なく、オブジェクト配置空間を生成してもよい。
次に、ステップS521において、コンテンツを視覚化する装置は、経路案内コンテンツの表示位置を決定する。例えば、経路案内コンテンツの指示地点がオブジェクト配置空間部である場合、コンテンツを視覚化する装置は、該当の指示地点を経路案内コンテンツの表示位置として決定する。異なる例として、コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間から離れる場合に応答して、表示位置をオブジェクト配置空間内の位置として決定する。ここで、コンテンツを視覚化する装置は、ユーザから表示位置までの距離がオブジェクト配置空間の最大距離よりも遠い場合に応答して、表示位置をオブジェクト配置空間内にアップデートする。コンテンツを視覚化する装置は、表示位置の深さだけ調整(例えば、減少)し、残りの座標(例えば、高さなど)を保持することによって、オブジェクト配置空間内の位置を表示位置として決定できる。
そして、ステップS522において、コンテンツを視覚化する装置は、コンテンツ動き軌跡を決定する。例えば、コンテンツを視覚化する装置は、ユーザの視野角及び車両の車体に基づいてコンテンツ動き軌跡を決定する。コンテンツ動き軌跡は、例えば、道路面から車体の前方エッジを経てユーザの目に対応する領域(例えば、アイボックス)に達する軌跡を示すことができる。コンテンツ動き軌跡は、表示位置及びコンテンツを視覚化する装置間の距離によるグラフィックオブジェクトの高さを定義する。コンテンツ動き軌跡は、下記の図14を参照して詳細に説明する。
次に、ステップS530において、コンテンツを視覚化する装置は、経路案内コンテンツに対応するグラフィックオブジェクトを生成及び視覚化する。例えば、コンテンツを視覚化する装置は、固定された表示位置にグラフィックオブジェクトを視覚化したり、動く表示位置に沿ってグラフィックオブジェクトを視覚化してもよい。また、コンテンツを視覚化する装置は、コンテンツ動き軌跡に応じて決定された高さでグラフィックオブジェクトを視覚化し得る。コンテンツ動き軌跡は、ユーザの視野角にフィッティングされて決定された軌跡であるため、コンテンツを視覚化する装置は、経路案内コンテンツに対する表示位置が近接しても安定的にグラフィックオブジェクトをユーザに提供することができる。
そして、ステップS540において、コンテンツを視覚化する装置は、走行関連情報に対応するグラフィックオブジェクトを決定及び視覚化する。例えば、コンテンツを視覚化する装置は、経路案内コンテンツ以外の付加的な情報に対するグラフィックオブジェクトを視覚化してもよい。コンテンツを視覚化する装置は、走行関連情報に対応するグラフィックオブジェクトをオブジェクト配置空間でユーザに隣接する隈空間(例えば、プロジェクション平面の下段部など)に視覚化してもよい。
図6は、一実施形態に係る経路案内コンテンツを取得する方法を説明するフローチャートである。
まず、ステップS601において、コンテンツを視覚化する装置は、ユーザから目的地を受信する。例えば、コンテンツを視覚化する装置は、ユーザ入力に応答して、ユーザの所望する目的地を取得する。目的地は、例えば、任意の地理的位置であり得る。
そして、ステップS602において、コンテンツを視覚化する装置は、センサに基づいて周辺距離マップを生成する。周辺距離マップは、コンテンツを視覚化する装置を中心に周辺に存在するターゲット地点(例えば、障害物など)までの距離を指示するマップである。コンテンツを視覚化する装置は、カラーイメージ、深さイメージ、及びライダデータ(LiDAR data、Light Detection and Ranging data)などに基づいて周辺距離マップを生成する。
次に、ステップS603において、コンテンツを視覚化する装置は、受信された目的地までの案内経路を算出する。例えば、コンテンツを視覚化する装置は、車両が走行できる車路に基づいて、現在位置から目的地までの案内経路を決定する。
そして、ステップS604において、コンテンツを視覚化する装置は、算出された案内経路による経路案内コンテンツを取得する。例えば、様々な案内地点(例えば、別れ目)で上述したステップS603で算出された案内経路を進むための指示がユーザに提供される。コンテンツを視覚化する装置は、該当の案内経路により複数の指示地点に対する経路案内コンテンツを取得できる。
図7は、一実施形態に係る表示位置決定及びグラフィックオブジェクト視覚化を説明するフローチャートである。
まず、ステップS721において、コンテンツを視覚化する装置は、マップデータがHDマップであるか否かを判断する。HDマップは上述したように、車路の個数などのような精密な情報を含むマップデータを示すことができる。
そして、コンテンツを視覚化する装置は、マップデータがHDマップである場合に応答して、経路案内コンテンツを視覚化する表示位置を決定する。例えば、ステップS722において、指示地点がオブジェクト配置空間の外側であるか否かを決定する。ステップS723において、コンテンツを視覚化する装置は、経路案内コンテンツの指示地点がオブジェクト配置空間の外側である場合に応答して、経路案内コンテンツの表示位置をオブジェクト配置空間内部に調整する。例えば、上述したように、コンテンツを視覚化する装置は、指示地点に対する視線軸上に存在する地点のうち、オブジェクト配置空間内の地点を表示位置として決定する。コンテンツを視覚化する装置は、指示地点が経路配置空間の内側である場合に応答して、経路案内コンテンツの指示地点を表示位置として決定する。
次に、ステップS724において、コンテンツを視覚化する装置は、マップデータがHDマップではない場合に応答して、プロジェクション平面の真ん中を表示位置として決定する。マップデータがSDマップである場合、オブジェクト配置空間を物理的世界に正確にフィッティングし難しこともあるため、コンテンツを視覚化する装置は、経路案内コンテンツの表示位置を任意に決定してもよい。ただし、これに限定されることなく、マップデータに関係なく、コンテンツを視覚化する装置は、オブジェクト配置空間内に経路案内コンテンツの表示位置を決定してもよい。
そして、ステップS731において、コンテンツを視覚化する装置は、経路指示コンテンツの透明度を距離に応じて決定する。経路指示コンテンツは、例えば、経路指示線として現在位置から目的地までの案内経路を指示する線を示す。経路指示コンテンツは、例えば、車両の中心点が通過すると予測される地点の集合であり得る。例えば、直進区間で経路指示コンテンツは、車路の中心を通過する指示線であり得る。方向転換区間(例えば、右折又は左折区間など)で経路指示コンテンツは、方向転換区間の進入車路の中心及び進出車路の中心を通過する曲線型態の指示線であり得る。
一実施形態に係るコンテンツを視覚化する装置は、経路指示コンテンツで経路配置空間の境界面に隣接する部分に対して高い透明度を割り当てる。例えば、コンテンツを視覚化する装置は、経路配置空間に隣接するほど、経路指示コンテンツの透明度を増加することで、経路指示コンテンツの終端(end)をフェードアウト(fade out)させる。したがって、コンテンツを視覚化する装置は、経路指示コンテンツをナチュラルに実際の世界と融和させることができる。
次に、ステップS732において、コンテンツを視覚化する装置は、シェードオブジェクトを視覚化する。例えば、コンテンツを視覚化する装置は、経路案内コンテンツに対応するグラフィックオブジェクトの下段にシェードオブジェクトを表現することで、該当グラフィックオブジェクトのリアリティを改善できる。シェードオブジェクトの視覚化については、下記の図24を参照して詳細に説明する。
図8〜図10は、一実施形態によりオブジェクト配置空間内部に決定された表示位置を有するグラフィックオブジェクトを説明する図である。
図8は、コンテンツを視覚化する装置が車両890に搭載された例示を示す側面図である。
コンテンツを視覚化する装置は、オブジェクト配置空間810内に経路案内コンテンツの表示位置を決定する。一実施形態によれば、コンテンツを視覚化する装置は、車両890の周辺に対して推定された道路領域に基づいて、道路領域の道路面809にオブジェクト配置空間810の底がフィッティングされるようオブジェクト配置空間810を生成する。コンテンツを視覚化する装置は、道路面809及び視野角に対応する空間が交差する部分から最大距離まで、オブジェクト配置空間810の底を道路面809にフィッティングさせ得る。
コンテンツを視覚化する装置は、オブジェクト配置空間810の底に経路案内コンテンツに対応するグラフィックオブジェクト820を視覚化する。オブジェクト配置空間810は、ユーザの視野811が確保された空間であるため、ユーザはグラフィックオブジェクト820を凝視できる。
図9は、登り坂を進行する車両990に対するグラフィックオブジェクトの表示位置を説明する側面図である。
例えば、コンテンツを視覚化する装置が登り坂に進入する場合、経路案内コンテンツの指示地点が車両990を基準として道路面909よりも遠い位置であるかもしれない。道路面909より遠い位置に視覚化されたグラフィックオブジェクト921は、それよりも近い道路面909によって遮られるため、ユーザにクロストークを誘発し得る。水平距離を保持しながら道路面909よりも高い位置に視覚化されたグラフィックオブジェクト922は、ユーザの視野角から離れているため、ユーザは、該当のグラフィックオブジェクト922を観測できない。
一実施形態に係るコンテンツを視覚化する装置は、道路情報及び視野情報に基づいてオブジェクト配置空間910を生成することにより、オブジェクト配置空間910を道路面909にフィッティングさせることができる。例えば、コンテンツを視覚化する装置は、指示地点の高さがオブジェクト配置空間910の底よりも低い場合に応答して、表示位置の高さをオブジェクト配置空間910の底にフィッティングする。コンテンツを視覚化する装置は、オブジェクト配置空間910の底に経路案内コンテンツに対応するグラフィックオブジェクト923を視覚化する。したがって、コンテンツを視覚化する装置は、登り坂のような障害物によって指示地点が遮断されても、その前の地点を表示位置として決定することで、ユーザに経路案内コンテンツを安定的に提供することができる。
図10は、図9を参照して説明された登り坂でのオブジェクト配置空間を透視図(perspective view)として示す図である。オブジェクト配置空間は、車両のウィンドシールドガラス1090の向かい側のユーザ視野に対応する空間1010から決定される。視野に対応する空間1010は、図10に示すように四角錐の形状の空間であってもよい。
例えば、コンテンツを視覚化する装置は、視野に対応する空間1010及び道路面1009が交差する交差面1015を決定する。交差面1015は、例えば、遠距離クリッピング平面(far clipping plane)とも示してもよい。コンテンツを視覚化する装置は、交差面1015をオブジェクト配置空間の境界面として決定する。コンテンツを視覚化する装置は、上述したように、決定された境界面上に経路案内コンテンツ1020の表示位置を決定することによって、道路面1009にフィッティングされたグラフィックオブジェクトを視覚化する。また、コンテンツを視覚化する装置は、経路指示線1030をオブジェクト配置空間の底面(例えば、境界面)にフィッティングして視覚化する。コンテンツを視覚化する装置は、プロジェクション平面に隣接する空間に走行関連情報1040を視覚化する。
登り坂では、オブジェクト配置空間1010の境界面が道路面によって制限されることで、オブジェクトが配置され得る距離も減少する。例えば、図10では、オブジェクト配置空間1010の視覚化できる最大距離が40mに減少する。
図11及び図12は、一実施形態により指示地点が遮断される場合、経路案内コンテンツに対応するグラフィックオブジェクトの表示位置を決定する動作を説明する図である。
図11は、指示地点に対するユーザの視野が遮断される状況を示す鳥瞰図である。
第1視点1101で、コンテンツを視覚化する装置は、指示地点に視覚化された経路案内コンテンツ1121にユーザの視線が到達できるか否かを判断する。コンテンツを視覚化する装置は、車両1190から指示地点に対応する経路案内コンテンツ1121の間に障害物1180が存在する場合、視野が遮られたものと決定する。
第2視点1102で、コンテンツを視覚化する装置は、障害物に基づいてオブジェクト配置空間1110を再生成する。例えば、コンテンツを視覚化する装置は、障害物によって遮られる面をオブジェクト配置空間の境界面として決定する。コンテンツを視覚化する装置は、車両1190から指示地点に向かう視線軸に沿って境界面に隣接するオブジェクト配置空間内部の地点を表示位置として決定する。コンテンツを視覚化する装置は、決定された表示位置に経路案内コンテンツ1122に対応するグラフィックオブジェクトを視覚化する。
第3視点1103で、コンテンツを視覚化する装置は、指示地点に対する視野が確保された場合に応答して、指示地点に経路案内コンテンツ1123に対応するグラフィックオブジェクトを視覚化する。コンテンツを視覚化する装置は、車線変更地点、迂迴路地点、及び交差点進入地点のように、運転者が行こうとする場所に予めグラフィックオブジェクトを配置し、該当の場所を予め知らせることができる。
図12は、指示地点及び表示位置が異なる場合の視覚化動作を説明するための鳥瞰図を示す。
一実施形態に係るコンテンツを視覚化する装置は、指示地点及び表示位置が異なる場合に応答して、表示位置に対応する臨時案内コンテンツを取得する。コンテンツを視覚化する装置は、オブジェクト配置空間が指示地点を含むまで、臨時案内コンテンツに対応するグラフィックオブジェクトを表示位置に視覚化する。コンテンツを視覚化する装置は、臨時案内コンテンツに対応するグラフィックオブジェクトの表示位置を装置の移動に応じて変更することで、該当の装置からグラフィックオブジェクトまでの相対的な距離を保持する。
例えば、第1視点1201で、車両1290から指示地点までの視野が確保されないことがある。コンテンツを視覚化する装置は、指示地点と表示位置が異なるため、障害物によって制限されるオブジェクト配置空間を生成する。コンテンツを視覚化する装置は、オブジェクト配置空間内に表示位置を決定し得る。図12において、車両1290は、交差点で右折しなければならないが、第1視点1201で決定された表示位置は直進道路であるため、コンテンツを視覚化する装置は、直進の臨時案内コンテンツ1221を取得する。コンテンツを視覚化する装置は、臨時案内コンテンツ1221の表示位置を経路指示線上の地点として決定する。ただし、これに限定されることはない。
第2視点1202においても、依然として車両1290から指示地点までの視野が確保されないことがある。コンテンツを視覚化する装置は、以前の第1視点1201で生成された臨時案内コンテンツを車両1290からの距離を保持しながら視覚化する。
第3視点1203において、車両1290から指示地点までの視野が確保される。ただし、コンテンツを視覚化する装置は、グラフィックオブジェクトを視覚化する間に、表示位置が変更された場合に応答して、グラフィックオブジェクトを以前表示位置から変更された表示位置まで徐々に変更しながら視覚化する。例えば、コンテンツを視覚化する装置は、以前表示位置から次の表示位置まで、臨時案内コンテンツ1221を徐々に移動させ得る。また、コンテンツを視覚化する装置は、臨時案内コンテンツ1221から中間コンテンツ1222を経て経路案内コンテンツ1223に対応するグラフィックオブジェクトに徐々に変形し得る。
本明細書でグラフィックオブジェクトの漸進的な変形、表示位置の漸進的な変更(例えば、移動)は、連続的に行われる。例えば、コンテンツを視覚化する装置は、指定されたフレームレート(例えば、30fps、60fps、及び120fpsなど)で各フレームにより徐々に変形又は移動したグラフィックオブジェクトをナチュラルに視覚化することができる。
第4視点1204において、コンテンツを視覚化する装置は、指示地点に経路案内コンテンツ1223に対応するグラフィックオブジェクトを視覚化する。コンテンツを視覚化する装置は、車両1290が指示地点に到達するまで、経路案内コンテンツ1223を指示地点に固定して視覚化する。第4視点1204でコンテンツを視覚化する装置は、変形が完了したグラフィックオブジェクトを視覚化し得る。
図13及び図14は、一実施形態に係るコンテンツ動き軌跡に基づいた経路案内コンテンツの視覚化を説明する図である。
まず、図5に示すステップS522において説明したように、コンテンツを視覚化する装置は、ユーザの視野角及び車両1490の車体に基づいてコンテンツ動き軌跡1419を決定する。
そして、ステップS1321において、コンテンツを視覚化する装置は、経路案内コンテンツが視野角及び車体によって遮られているか否かを判断する。例えば、車両1490と指示地点との間の距離が閾値距離未満である場合、車両1490の車体(例えば、ボンネット)によって経路案内コンテンツが遮断される。コンテンツを視覚化する装置は、指示地点及び現在位置間の距離が閾値距離未満である場合、経路案内コンテンツが遮られたものとして決定する。
次に、ステップS1322において、経路案内コンテンツが遮断される場合に応答して、コンテンツを視覚化する装置は、車体及びコンテンツ動き軌跡1419に基づいて経路案内コンテンツの高さを調整する。例えば、コンテンツを視覚化する装置は、該当の装置が装着された車両1490の車体及びユーザの視野角(FOV:field of view)に基づいてオブジェクト配置空間を生成する。コンテンツを視覚化する装置は、このように生成されたオブジェクト配置空間内でグラフィックオブジェクトの自然な高さ変更のためのコンテンツ動き軌跡1419をさらに活用する。例えば、コンテンツを視覚化する装置は、該当の装置が指示地点にアクセスする場合に応答して、コンテンツ動き軌跡1419に基づいてグラフィックオブジェクトの高さを調整することで、グラフィックオブジェクトを視覚化することができる。
図14に示すように、車両1490が指示地点に視覚化されたグラフィックオブジェクト1421にアクセスし、コンテンツを視覚化する装置は、アクセスによりコンテンツ動き軌跡1419に基づいて決定された高さで視覚化されたグラフィックオブジェクト1422をユーザに提供する。コンテンツ動き軌跡1419は、装置から閾値距離以上である領域については、道路面に高さがフィッティングされた軌跡を示し、閾値距離未満の領域については、道路面から車体の前方のエッジを経てユーザの目に対応する領域に到達する軌跡を示す。
図15は、一実施形態に係るコンテンツを視覚化する装置が登り坂に進入及び進出する間に経路案内コンテンツの表示位置を決定する例示を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、表示地点に経路案内コンテンツを視覚化した後、該当の表示地点に装置が到達するまで表示位置を固定する。例えば、図15に示すように、コンテンツを視覚化する装置は、オブジェクト配置空間内に第1コンテンツ1521を視覚化し、第1コンテンツ1521に到達するまで第1コンテンツ1521の位置を保持する。したがって、ユーザは、装置が第1コンテンツ1521にアクセスするものと認識する。
コンテンツを視覚化する装置は、該当の装置が現在の経路案内コンテンツに対する現在の表示地点に達した場合に応答して、次の経路案内コンテンツに対する次の表示位置を決定する。コンテンツを視覚化する装置は、次の表示位置に次の経路案内コンテンツに対応するグラフィックオブジェクトを視覚化する。例えば、図15に示すように、コンテンツを視覚化する装置は、第1コンテンツ1521に対応する地点に達した場合、第2コンテンツ1522を視覚化する。
登り坂では視野が制限されるため、第2コンテンツ1522は、車両1590に近い上方に視覚化される。コンテンツを視覚化する装置は、第2コンテンツ1522に到達する場合に応答して、第3コンテンツ1523を視覚化する。図15に示すように、登り坂の進入時には視野が制限されるため、オブジェクト配置空間が小さく生成される。登り坂に進入した後には、コンテンツを視覚化する装置は平地に類似の距離に第4コンテンツ1524を視覚化する。
一実施形態に係るユーザの視野に対応する空間及び道路面が交差しない場合に応答して、表示位置の高さをオブジェクト配置空間の底にフィッティングする。例えば、図15において、車両1590が登り坂から進出するとき、オブジェクト配置空間の底面が道路面から離隔される。すなわち、ユーザの視野に道路面が見られない。コンテンツを視覚化する装置は、第5コンテンツ1525を道路面にフィッティングする代わりに、オブジェクト配置空間の底面にフィッティングして視覚化することができる。
図15は登り坂について説明したが、下り坂においてもコンテンツを視覚化する装置は、類似の方式により経路案内コンテンツを視覚化できる。例えば、登り坂の進入は下り坂の進出に対応し、登り坂の進出は下り坂の進入に対応する。
図16は、一実施形態に係るコンテンツ視覚化方法を説明するフローチャートである。
まず、ステップS1621において、コンテンツを視覚化する装置は、車両速度が高速であるか否かを判断する。例えば、コンテンツを視覚化する装置は、車両速度が閾値速度を超過するか否かを判断する。
そして、ステップS1622において、コンテンツを視覚化する装置は、車両速度が高速である場合に応答して、グラフィックオブジェクトを遠い位置(例えば、第2位置)に視覚化する。車両速度が高速である場合、運転者が遠い位置を凝視しているものと予想されるため、コンテンツを視覚化する装置は、運転者の視線に対応する位置を表示位置として決定する。第2位置は、例えば、50mであってもよいが、これに限定されることはない。
次に、ステップS1623において、コンテンツを視覚化する装置は、車両速度が高速でない場合に応答して、グラフィックオブジェクトを近い位置(例えば、第1位置)に視覚化する。車両速度が低速である場合、運転者が比較的に近い位置を凝視していると予想されるため、コンテンツを視覚化する装置は、運転者の視線に対応する位置を表示位置として決定する。第1位置は、例えば、15mであってもよいが、これに限定されることはない。
ただし、速度を2段階に区分したが、これに限定されることはない。コンテンツを視覚化する装置は、車両速度をn個の速度区間のうち一速度区間に分類してもよく、分類された速度区間に対応する表示位置にグラフィックオブジェクトを視覚化してもよい。ここで、nは1以上の整数であり得る。
そして、ステップS1624において、コンテンツを視覚化する装置は、車路変更が要求されるか否かを決定する。コンテンツを視覚化する装置は、経路案内情報に基づいて、車路を変更しなければならないか否かを決定する。例えば、方向転換(例えば、左折又は右折など)をしなければならないが、現在車両が方向転換できない車路である場合、コンテンツを視覚化する装置は、方向転換が可能な車路に変更しなければならないものと決定する。
次に、ステップS1625において、コンテンツを視覚化する装置は、車路変更が要求される場合に応答して、グラフィックオブジェクトを動的に視覚化する。例えば、コンテンツを視覚化する装置は、装置から指示地点までグラフィックオブジェクトを移動させる連続的な軌跡を視覚化することで、運転者のアクションを誘導し得る。
ただし、グラフィックオブジェクトの動的視覚化を車路変更イベントに限定することはない。コンテンツを視覚化する装置は、ユーザの能動的なアクションが要求されるイベント(例えば、方向転換、車路変更など)が検出される場合に応答して、経路案内コンテンツに対応するグラフィックオブジェクトを動的に視覚化できる。グラフィックオブジェクトの動的視覚化は、経路指示線に沿って装置の現在位置から指示地点まで表示位置を繰り返し移動させながら連続的に視覚化する動作を含み得る。動的視覚化については下記の図20を参照して説明する。
そして、ステップS1626において、コンテンツを視覚化する装置は、指示地点に近接する場合に応答して、ステップS1627において、グラフィックオブジェクトを指示地点に固定して視覚化する。例えば、コンテンツを視覚化する装置は、指示地点及び装置の位置間の距離が指示要求距離よりも小さい場合に応答して、指示地点に経路案内コンテンツを視覚化する。例えば、コンテンツ視覚化装置は、経路案内情報を指示地点に固定(pin)する。指示地点がオブジェクト配置空間の外側である場合、コンテンツを視覚化する装置は、オブジェクト配置空間内の表示地点を新しく決定し、表示地点にグラフィックオブジェクトを視覚化する。目的地に向かう経路に関する数多い情報が一回に提供される場合、該当情報に対応するグラフィックオブジェクトによって運転が妨害されることがある。案内経路に含まれる無数に多い指示を一回に提供できないため、コンテンツを視覚化する装置は、指示が要求される距離に近接すれば、それに対応する経路案内コンテンツを提供する。目的地まで全ての情報が一回に提供される場合、該当情報に対応するグラフィックオブジェクトが運転を妨げるためである。
次に、ステップS1628において、コンテンツを視覚化する装置は、経路指示線を点線に視覚化する。コンテンツを視覚化する装置は、経路指示コンテンツを一定の間隔の点を表示することにより、ユーザに距離を認識させることができる。経路指示線の視覚化は、下記の図18を参照して説明する。
そして、ステップS1629において、コンテンツを視覚化する装置は、目的地に到達したか否かを決定する。コンテンツを視覚化する装置は、目的地に到達した場合、経路案内に関する動作を終了する。コンテンツを視覚化する装置は、目的地に到達できない場合に応答して、ステップS510を行う。
また、一実施形態に係るコンテンツを視覚化する装置は、案内経路から車両が外れる場合に応答して迂迴路を算出し、それに対応する経路指示線を視覚化する。例えば、コンテンツを視覚化する装置は、運転者のミスによって案内経路から外れた場合、経路案内コンテンツ及び経路指示コンテンツを用いて迂迴路を予め視覚化することで、新しい道を運転者に提示することができる。
図17は、一実施形態に係るコンテンツを視覚化する装置が視野確保により経路案内コンテンツの位置を変更してグラフィックオブジェクトを変形する動作を説明する例示である。
図16において、上述したステップS1626,S1627でコンテンツを視覚化する装置は、指示地点に近接する場合に応答して、指示地点に経路案内コンテンツに対応するグラフィックオブジェクトを視覚化することができる。
第1視点1701で、コンテンツを視覚化する装置は、指示地点までの距離が指示要求距離未満であるか否かを決定する。また、コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間に含まれるか否かを判断する。指示要求距離は、例えば、オブジェクト配置空間の最大距離であってもよいが、これに限定されることはない。コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間に含まれるものとして決定された場合に応答して、第1経路案内コンテンツ1721を視覚化する。
コンテンツを視覚化する装置は、第1視点1701の第1経路案内コンテンツ1721を移動させることにより、第2視点1702で第2経路案内コンテンツ1722を視覚化する。コンテンツを視覚化する装置は、第2経路案内コンテンツ1722を移動させることにより、第3視点1703で第3経路案内コンテンツ1723を視覚化する。そして、コンテンツを視覚化する装置は、第4視点1704で指示地点に第4経路案内コンテンツ1724を視覚化する。コンテンツを視覚化する装置は、第1経路案内コンテンツ1721から第4経路案内コンテンツ1724に毎フレームごとにグラフィックオブジェクトの形態を徐々に変形する。また、コンテンツを視覚化する装置は、経路指示線に沿って毎フレームごとに移動した第1経路案内コンテンツ1721ないし第4経路案内コンテンツ1724を視覚化することで、経路案内コンテンツが変形されながら移動することを視覚化できる。したがって、コンテンツを視覚化する装置は、経路案内コンテンツの移動により装置が進行しなければならない経路をユーザに誘導することができ、アクションが実行されなければならない地点(例えば、方向転換地点)を案内できる。
図18は、一実施形態に係る経路指示線に対応するグラフィックオブジェクトを説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、経路案内コンテンツとして経路指示線1820を視覚化する。経路指示線1820を、上述したように車両が走行しなければならない案内経路を指示する線として、例えば、車路の中心線に対応する。経路案内コンテンツは、案内経路に沿って配置された複数のポイントオブジェクト1821を含む経路指示線1820を含んでもよい。複数のポイントオブジェクト1821のそれぞれは、互いに対して単位間隔で離隔される。単位間隔は、例えば、1mであってもよいが、これに限定されることはない。例えば、近い距離(例えば、車両から30m以内の距離)に対しては、単位間隔が1mと設定されてもよく、遠い距離(例えば、車両から60m以上の距離)に対しては単位間隔が10mと設定されてもよい。単位間隔は、ユーザの視覚的な認知力を強化する。
コンテンツを視覚化する装置は、等間隔に配置されたポイントオブジェクト1821を介してユーザに周辺の障害物までの距離情報を直観的に提供できる。ポイントオブジェクト1821は、図18で円形に示されているが、これに限定されることなく、ポイントオブジェクト1821の大きさ及び形態は限定されない。
また、コンテンツを視覚化する装置は、オブジェクト配置空間の最大距離からグラフィックオブジェクトまでの距離に基づいて、グラフィックオブジェクトの透明度を決定する。透明度は、アルファブレンディング(alpha blending)に基づいて決定される。例えば、コンテンツを視覚化する装置は、経路指示線1820で装置から遠い一端1840(distal end portion)の透明度を装置から遠いほど徐々に増加させてもよい。コンテンツを視覚化する装置は、経路指示線1820でオブジェクト配置空間の境界面に対応する部分を完全に透明に視覚化し得る。したがって、コンテンツを視覚化する装置は、経路指示線1820をナチュラルにフェードアウトさせることができる。また、コンテンツを視覚化する装置は、経路指示線1820で装置に近い一端1830(proximal end portion)の透明度を装置から近いほど徐々に増加させてもよい。
図19は、一実施形態に係る車路情報の視覚化を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、走行関連情報として車路情報に対応するグラフィックオブジェクトを視覚化する。例えば、図19に示すように、コンテンツを視覚化する装置は、視野角の下段部に走行関連コンテンツを視覚化する。上述したようにコンテンツを視覚化する装置は、走行関連コンテンツをプロジェクション平面に対応する表示位置に視覚化することで、ユーザが走行中に計器盤を見るように走行関連情報を提供する。走行関連コンテンツは、走行に妨害されない大きさに設定される。コンテンツを視覚化する装置は、車両の状態に応じてリアルタイムに走行関連コンテンツをアップデートする。例えば、コンテンツを視覚化する装置は、前方50mに子ども保護区域が示されれば、運転者視線に類似の前方位置へ30Km速度制限表示板のグラフィックオブジェクトを配置及び整合させる。コンテンツを視覚化する装置は、走行関連コンテンツのうち主な情報に対応するコンテンツは、予め定められた時間の間に視野中央に視覚化し、下段の運行情報提供領域に移動させ得る。
図19に示された例示は、車両が4車路に進入する状況について説明する。
第1視点の車両1991は、高速道路に合流するための車路を走行する。第1視点の車両1991に対して、コンテンツを視覚化する装置は、第1視点の視野イメージ1901を提供する。視野イメージ1901は、ユーザの2目のうちいずれか一目によって認識されるビジョン(vision)を示し、例えば、車両の前方に対する実際の環境にコンテンツを視覚化する装置により視覚化されるグラフィックオブジェクトがオーバーレイされたイメージを示すことができる。第1視点の視野イメージ1901に示すように、コンテンツを視覚化する装置は、車両が現在の走行中である1つの車路を指示するグラフィックオブジェクト1931を視覚化する。追加的に、コンテンツを視覚化する装置は、車両速度を指示するグラフィックオブジェクト1942及び道路情報を要約した要約コンテンツに対応するグラフィックオブジェクト1941を視覚化する。
要約コンテンツは、道路情報の要約に対応するコンテンツとして、例えば、道路の線形、形態、車路個数、及び属性などを示す。図19に示された要約コンテンツ1941は、車両が走行中である車路が高速道路に合流予定の車路であることを示す。
第2視点の車両1992は、高速道路に合流できる区間を走行する。第2視点の視野イメージ1902に示すように、コンテンツを視覚化する装置は、道路の車路個数及び現在車両が走行中である車路の位置に対応するグラフィックオブジェクト1932を視覚化する。例えば、第3視点でグラフィックオブジェクト1932は合計5個の車路のうち車両が最右側の車路を走行中であるという情報を提供し得る。
第3視点の車両1993は、高速道路に合流した後の区間を走行する。第3視点の視野イメージ1903に示すように、コンテンツを視覚化する装置は、車両の車路変更によってアップデートされた車路情報に関するグラフィックオブジェクト1933を視覚化する。例えば、第3視点で車路情報は、合計5個の車路のうち、現在車両が走行中である車路が4車路であるという情報を提供し得る。
第4視点の車両1994は、合流区間を通過した後の区間を走行する。第4視点の視野イメージ1904に示すように、コンテンツを視覚化する装置は、合流車路が排除されることによってアップデートされた車路情報に関するグラフィックオブジェクト1934を視覚化する。例えば、第4視点で車路情報を合計4個の車路のうち、現在車両が走行中である車路が最右側の車路であるという情報を提供し得る。
図19は、理解を助けるための例示であって、車路情報及びそれに対応するグラフィックオブジェクトはこれに限定されることはない。
図20は、一実施形態に係る経路案内コンテンツを動的に視覚化する動作を説明する図である。
一実施形態によれば、コンテンツを視覚化する装置は、動的イベントを検出する場合に応答して、該当動的イベントに対応する経路案内コンテンツのグラフィックオブジェクトを動的に視覚化する。
例えば、コンテンツを視覚化する装置は、装置から指示地点まで表示地点を毎フレームごとに連続的に変更して視覚化されるグラフィックオブジェクトの位置を移動させる。コンテンツを視覚化する装置は、経路指示線2080に沿ってグラフィックオブジェクトを移動させる。したがって、ユーザの視野でグラフィックオブジェクトが経路指示線2080に沿って前方に早く移動することにより、コンテンツを視覚化する装置は、動的イベントに対応するユーザのアクションを誘導できる。
図20を参照して、動的イベントは車路変更イベントであり得る。図20において、経路案内情報は左側車路に合流しろとの案内を含んでもよく、現在の車路から車路変更の対象となる左側車路に経路指示線2080が形成されてもよい。第1視点で、コンテンツを視覚化する装置は第1経路案内コンテンツ2021を生成し、経路指示線2080に対応する表示位置に視覚化する。第2視点で、コンテンツを視覚化する装置は、経路指示線2080に沿って表示位置を前進させ、変更された表示位置に第2経路案内コンテンツ2022を視覚化する。第3視点で、コンテンツを視覚化する装置は、第2経路案内コンテンツ2022より前進された位置を表示位置として決定し、該当の表示位置に第3経路案内コンテンツ2023を視覚化する。コンテンツを視覚化する装置は、経路案内コンテンツの表示位置が経路指示線2080に沿って前方に変更されながら、オブジェクト配置空間の境界面に到達する場合に応答して、既存表示位置を除去し、新しい表示位置を決定する。例えば、コンテンツを視覚化する装置は、装置の位置を開始地点で経路案内コンテンツに対応する新しいグラフィックオブジェクトを生成し、指示地点(例えば、オブジェクト配置空間の境界面に対応する終了地点)まで移動させることができる。
図21は、一実施形態に係る経路案内コンテンツを静的に視覚化する動作を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、静的イベントを検出する場合に応答して、該当静的イベントに対応する経路案内コンテンツのグラフィックオブジェクトを静的に視覚化する。
例えば、コンテンツを視覚化する装置は、指示地点に表示位置を固定し、グラフィックオブジェクトを視覚化する。コンテンツを視覚化する装置は、装置が表示位置を通過するまで、固定された表示位置にグラフィックオブジェクトを視覚化する。ユーザは、グラフィックオブジェクトが配置された位置で装置がアクセスするように認識することができる。
図21において、静的イベントは、車路保持イベントであってもよい。図21で経路案内情報は、現在の車路で走行しろとの案内を含んでもよく、現在の車路の中心線に沿って経路指示線が形成される。コンテンツを視覚化する装置は、第1視点2101で指示地点に直進走行のための経路案内コンテンツ2121を視覚化する。コンテンツを視覚化する装置は、第2視点2102で装置と指示地点との間の距離が減少した時にも、指示地点に経路案内コンテンツ2121を視覚化することができる。
図22は、一実施形態により危険オブジェクトを警告する動作を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、該当の装置が位置した道路で、装置が走行している車路情報に対応するグラフィックオブジェクト及び装置の周辺にある危険オブジェクトに対応するグラフィックオブジェクトを視覚化する。
例えば、コンテンツを視覚化する装置は、危険物体が危険距離以内に存在するか否かを検出する。コンテンツを視覚化する装置は、危険物体が危険距離以内に存在する場合に応答して、該当危険オブジェクトの物理的座標に基づいて表示位置を決定する。例えば、コンテンツを視覚化する装置は、危険オブジェクトに対して検出されたバウンディングボックスの後面に対応する地点を表示位置として決定する。コンテンツを視覚化する装置は、危険オブジェクトの後面に第1危険グラフィックオブジェクト2221を視覚化する。また、コンテンツを視覚化する装置は、危険オブジェクトの後方に危険可能性を示す危険領域2222を視覚化する。危険領域2222は、オブジェクト配置空間の底面にフィッティングできる。さらに、コンテンツを視覚化する装置は、危険オブジェクトが存在する車路情報に対応するグラフィックオブジェクト2223を視覚化できる。
図23は、一実施形態により速度制限情報を提供する動作を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、走行関連イベントを検出する場合に応答して、検出されたイベントに対応するグラフィックオブジェクトを視覚化する。走行関連イベントに区間が指定された場合、コンテンツを視覚化する装置は、区間の開始地点を表示位置として決定して固定する。コンテンツを視覚化する装置は、固定された表示位置に走行関連イベントに対応するグラフィックオブジェクトを視覚化する。コンテンツを視覚化する装置は、区間の開始地点を該当の装置が通過した場合に応答して、該当の走行関連イベントに対応する走行関連コンテンツに対応するグラフィックオブジェクトをオブジェクト配置空間の隅に追加してもよい。
例えば、コンテンツを視覚化する装置は、速度制限区間に進入するイベントを検出する場合に応答して、速度制限区間に対応する走行関連コンテンツのグラフィックオブジェクトを視覚化する。図23において、コンテンツを視覚化する装置は、速度制限区間の開始地点を表示位置として決定する。コンテンツを視覚化する装置は、速度制限区間の開始地点に速度制限コンテンツ2321を視覚化する。コンテンツを視覚化する装置は、速度制限コンテンツ2321の位置を固定する。したがって、車両が進むことによりコンテンツを視覚化する装置は、拡大して視覚化される速度制限コンテンツ2322を提供する。コンテンツを視覚化する装置は、速度制限区間に進入した後には、運行情報提供領域(例えば、オブジェクト配置空間内で下段領域)に速度制限コンテンツ2323を視覚化する。
ただし、走行関連イベントを速度制限イベントに限定することなく、設計に応じて様々なイベントが設定されてもよい。
図24は、一実施形態により経路案内コンテンツに対応するシェードオブジェクトを視覚化した例示を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、オブジェクト配置空間でグラフィックオブジェクト2420の下方に対応する領域にシェードオブジェクトを視覚化する。コンテンツを視覚化する装置は、グラフィックオブジェクト2420の下で、シェード領域2431の明るさを保持する。コンテンツを視覚化する装置は、シェード領域2431の周辺領域2432に対してシェード領域2431よりも高い明るさのオブジェクトを視覚化する。周辺領域2432は、少なくともシェード領域2431を取り囲む形態の領域であってもよい。周辺領域2432は円形のように示されているが、これに限定されることはない。
透明ヘッドアップディスプレイは、グラフィックオブジェクト2420の明るさを低くすることが難しいため、影を表現するのに制約がある。一実施形態に係るコンテンツを視覚化する装置は、影を表現するためのシェード領域2431そのものではない、その周辺領域2432の明るさを増加することで、シェード領域2431の明るさが相対的に低く見える錯視効果により影を実現することができる。道路面2490は、一般的に暗い色であるため、影がリアリティに表現できる。立体空間に表現される3次元オブジェクトは、影がなければ、ユーザがリアリティを感じることができない。
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DYIJDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
200:コンテンツを視覚化する装置
210:センサ
220:ディスプレイ
230:プロセッサ
240:メモリ

Claims (31)

  1. コンテンツを視覚化する方法において、
    推定された前方道路領域に基づいて3次元のオブジェクト配置空間を生成するステップと、
    経路案内コンテンツの指示地点及び前記オブジェクト配置空間に基づいて、前記経路案内コンテンツに対する表示位置を決定するステップと、
    前記決定された表示位置に前記経路案内コンテンツに対応するグラフィックオブジェクトを3次元的に視覚化するステップと、
    を含むコンテンツを視覚化する方法。
  2. 前記指示地点は、前記経路案内コンテンツに対応する動作が行われる地点を含む、請求項1に記載のコンテンツを視覚化する方法。
  3. 前記オブジェクト配置空間を生成するステップは、ユーザの視野角及び前記ユーザ視点から障害物までの距離に基づいて前記オブジェクト配置空間を生成するステップを含む、請求項1に記載のコンテンツを視覚化する方法。
  4. 前記グラフィックオブジェクトを3次元的に視覚化するステップは、
    ユーザの左眼に対応する第1グラフィック表現及び前記ユーザの右眼に対応する第2グラフィック表現を生成するステップと、
    前記第1グラフィック表現及び前記第2グラフィック表現との間に視差を提供するステップと、
    を含む、請求項1に記載のコンテンツを視覚化する方法。
  5. 前記提供するステップは、前記ユーザの左眼及び右眼の位置を追跡するステップをさらに含む、請求項4に記載のコンテンツを視覚化する方法。
  6. 前記表示位置を決定するステップは、前記指示地点が前記オブジェクト配置空間から離れる場合に応答して、前記表示位置を前記オブジェクト配置空間内の位置として決定するステップを含む、請求項1−5のうち何れか一項に記載のコンテンツを視覚化する方法。
  7. 前記指示地点に対応する位置は、前記オブジェクト配置空間の限界平面に近くに位置し、前記地点に向かうユーザのアイボックスの中心からの軸上に位置する、請求項1に記載のコンテンツを視覚化する方法。
  8. 前記表示位置を決定するステップは、前記指示地点の高さが前記オブジェクト配置空間の底よりも低い場合に応答して、前記表示位置の高さを前記オブジェクト配置空間の底にフィッティングするステップを含む、請求項1−5のうち何れか一項に記載のコンテンツを視覚化する方法。
  9. 前記表示位置を決定するステップは、ユーザの視野に対応する空間及び道路面が交差しない場合に応答して、前記表示位置の高さを前記オブジェクト配置空間の底にフィッティングするステップを含む、請求項1−5のうち何れか一項に記載のコンテンツを視覚化する方法。
  10. 前記表示位置を決定するステップは、ユーザから前記表示位置までの距離が前記オブジェクト配置空間の最大距離よりも遠い場合に応答して、前記表示位置を前記オブジェクト配置空間内にアップデートするステップを含む、請求項1−5のうち何れか一項に記載のコンテンツを視覚化する方法。
  11. 前記オブジェクト配置空間を生成するステップは、コンテンツを視覚化する装置が装着された車両の車体及びユーザの視野角(FOV)に基づいて前記オブジェクト配置空間を生成するステップを含む、請求項1に記載のコンテンツを視覚化する方法。
  12. 前記グラフィックオブジェクトを3次元的に視覚化するステップは、
    ユーザの視野角及び車両の車体に基づいてコンテンツ動き軌跡を決定するステップと、
    コンテンツを視覚化する装置が前記指示地点にアクセスする場合に応答して、前記コンテンツ動き軌跡に基づいて前記グラフィックオブジェクトの高さを調整することで前記グラフィックオブジェクトを視覚化するステップと、
    を含む、請求項1に記載のコンテンツを視覚化する方法。
  13. 前記3次元のオブジェクト配置空間が道路面に交差する場合に応答して、前記3次元のオブジェクト配置空間を制限するステップをさらに含む、請求項1−12のうち何れか一項に記載のコンテンツを視覚化する方法。
  14. 前記オブジェクト配置空間の底は、車両の周辺に推定された道路領域の表面にフィッティングされる、請求項1−13のうち何れか一項に記載のコンテンツを視覚化する方法。
  15. 前記オブジェクト配置空間を生成するステップは、視野角に対応する空間及び道路面の交差地点から最大距離まで、前記オブジェクト配置空間の底を前記道路面にフィッティングさせるステップを含む、請求項14に記載のコンテンツを視覚化する方法。
  16. 前記グラフィックオブジェクトを3次元的に視覚化するステップは、前記オブジェクト配置空間で前記グラフィックオブジェクトの下方に対応する領域にシェードオブジェクトを視覚化するステップを含む、請求項1に記載のコンテンツを視覚化する方法。
  17. 前記シェードオブジェクトを視覚化するステップは、
    シェード領域の周辺領域に対して前記グラフィックオブジェクトの下方で前記シェード領域の明るさを保持するステップと、
    前記シェード領域よりも高い明るさのグラフィックオブジェクトを視覚化するステップと、
    を含む、請求項16に記載のコンテンツを視覚化する方法。
  18. コンテンツを視覚化する装置が前記経路案内コンテンツに対する前記表示位置に達した場合に応答して、次の経路案内コンテンツに対する次の表示位置を決定するステップと、
    前記次の表示位置に前記次の経路案内コンテンツに対応する他のグラフィックオブジェクトを視覚化するステップと、
    をさらに含む、請求項1−17のうち何れか一項に記載のコンテンツを視覚化する方法。
  19. 前記グラフィックオブジェクトを3次元的に視覚化するステップは、前記オブジェクト配置空間の最大距離から前記グラフィックオブジェクトまでの距離に基づいて、前記グラフィックオブジェクトの透明度を決定するステップを含む、請求項1−11のうち何れか一項に記載コンテンツを視覚化する方法。
  20. 前記3次元のオブジェクト配置空間の境界に隣接に位置する前記経路案内コンテンツの透明度を増加させるステップをさらに含む、請求項1−19のうち何れか一項に記載コンテンツを視覚化する方法。
  21. 前記経路案内コンテンツは、線に沿って配置された複数のポイントオブジェクトを含み、
    前記複数のポイントオブジェクトのそれぞれは、互いに対して単位間隔に離隔される、請求項1−20のうち何れか一項に記載コンテンツを視覚化する方法。
  22. 前記表示位置を決定するステップは、前記指示地点及び前記表示位置が異なる場合に応答して、前記表示位置に対応する臨時案内コンテンツを取得するステップを含み、
    前記グラフィックオブジェクトを3次元的に視覚化するステップは、前記オブジェクト配置空間が前記指示地点を含むまで、前記臨時案内コンテンツに対応するグラフィックオブジェクトを前記表示位置に視覚化するステップを含む、請求項1−5のうち何れか一項に記載コンテンツを視覚化する方法。
  23. コンテンツを視覚化する装置が位置した道路で、前記装置が走行している車路情報に対応するグラフィックオブジェクト及び危険オブジェクトに対応するグラフィックオブジェクトを視覚化するステップをさらに含む、請求項1−5のうち何れか一項に記載コンテンツを視覚化する方法。
  24. 前記グラフィックオブジェクトを3次元的に視覚化するステップは、前記グラフィックオブジェクトを視覚化する途中前記表示位置が変更された場合に応答して、前記グラフィックオブジェクトを以前表示位置から変更された表示位置まで徐々に変更しながら視覚化するステップを含む、請求項1−11のうち何れか一項に記載コンテンツを視覚化する方法。
  25. 請求項1乃至請求項24のうち何れか一項に記載の方法を視覚化装置のコンピュータに実行させる命令語を含むコンピュータプログラム。
  26. コンテンツを視覚化する装置において、
    推定された前方道路領域に基づいて3次元のオブジェクト配置空間を生成し、経路案内コンテンツの指示地点及び前記オブジェクト配置空間に基づいて表示位置を決定するプロセッサと、
    前記決定された表示位置に前記経路案内コンテンツに対応するグラフィックオブジェクトを3次元的に視覚化するディスプレイと、
    を含むコンテンツを視覚化する装置。
  27. 前記経路案内コンテンツ、装置の状態に関する情報、マップデータベース、及び実行された時に前記3次元のオブジェクト配置空間及び前記表示位置のうちいずれか1つ又は組合せを前記プロセッサが決定するように設定する命令語を格納するメモリをさらに含む、請求項26に記載のコンテンツを視覚化する装置。
  28. 前記プロセッサは、マップデータベースで道路情報に基づいて前記指示地点を決定するようにさらに構成される、請求項26に記載のコンテンツを視覚化する装置。
  29. 装置に配置され、前記装置の周辺に障害物からの距離及び前記装置の状態に関する情報を検出し、前記装置が動く場合に応答してユーザの左眼及び右眼の位置を追跡するように構成されるセンサをさらに含み、
    前記プロセッサは、
    前記ユーザの前記左眼の位置に対応する第1グラフィック表現を生成し、
    前記ユーザの前記右眼の位置に対応する第2グラフィック表現を生成し、
    前記第1グラフィック表現及び前記第2グラフィック表現間の視差に基づいてヘッドアップディスプレイ(HUD:head−up display)上に3次元グラフィックオブジェクトをレンダリングする、請求項28に記載のコンテンツを視覚化する装置。
  30. 前記装置は車両を含み、
    前記装置の前記状態に関する情報は、前記車両の位置情報、前記車両の現在地理学的座標、前記車両の位置に対応する道路情報、前記車両が走行中である車路、前記車両が走行中である車路の幅、前記車両が走行中である道路の幅、前記道路の車路個数、前記車路の中心線、前記道路上の回転地点、前記道路上の交通信号、前記車両速度、前記車両の燃料、前記車両の燃料レベル、及び前記車両の整備情報のいずれか1つ又は組合せを含む、請求項29に記載のコンテンツを視覚化する装置。
  31. 前記オブジェクト配置空間は、ユーザの両目から前記車両の前の道路領域に延長する長方形の四角錐領域を含む、請求項30に記載のコンテンツを視覚化する装置。
JP2019142154A 2018-10-15 2019-08-01 コンテンツを視覚化する装置及び方法 Active JP7303691B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0122382 2018-10-15
KR1020180122382A KR20200042166A (ko) 2018-10-15 2018-10-15 컨텐츠를 시각화하는 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2020064047A true JP2020064047A (ja) 2020-04-23
JP7303691B2 JP7303691B2 (ja) 2023-07-05

Family

ID=66175268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019142154A Active JP7303691B2 (ja) 2018-10-15 2019-08-01 コンテンツを視覚化する装置及び方法

Country Status (5)

Country Link
US (2) US11099026B2 (ja)
EP (1) EP3640598A1 (ja)
JP (1) JP7303691B2 (ja)
KR (1) KR20200042166A (ja)
CN (1) CN111055853A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014709A1 (ko) * 2021-07-13 2024-01-18 엘지전자 주식회사 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
EP3720751A4 (en) * 2018-10-25 2021-07-14 Samsung Electronics Co., Ltd. AUGMENTED REALITY PROCESS AND APPARATUS FOR DRIVING ASSISTANCE
KR20200117641A (ko) * 2019-04-05 2020-10-14 현대자동차주식회사 경로 안내 장치 및 그 방법
GB2607172B (en) * 2019-04-25 2023-11-01 Motional Ad Llc Graphical user interface for display of autonomous vehicle behaviors
WO2020235305A1 (ja) * 2019-05-17 2020-11-26 株式会社東海理化電機製作所 制御装置および提示システム
JP7476568B2 (ja) * 2019-09-02 2024-05-01 株式会社アイシン 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
KR102270502B1 (ko) * 2019-10-24 2021-06-30 네이버랩스 주식회사 주행 정보 안내 방법 및 시스템
US11767023B2 (en) * 2019-11-04 2023-09-26 Volvo Car Corporation Displaying next action of an autonomous vehicle
KR20210129974A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
KR20210129976A (ko) 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
KR20210129975A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
FR3110710A1 (fr) * 2020-05-19 2021-11-26 Thales Dispositif électronique de gestion d’affichage d’un écran d’affichage tête haute, système d’affichage, procédé de gestion et produit programme ordinateur associés
CN111896015A (zh) * 2020-07-22 2020-11-06 Oppo广东移动通信有限公司 导航方法、装置、存储介质及电子设备
KR20220022340A (ko) 2020-08-18 2022-02-25 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
CN112109550A (zh) * 2020-09-08 2020-12-22 中国第一汽车股份有限公司 基于ar-hud的预警信息的显示方法、装置、设备及车辆
KR20220036199A (ko) * 2020-09-15 2022-03-22 현대자동차주식회사 증강현실 기반의 정보 표시 장치
KR102481075B1 (ko) * 2020-10-08 2022-12-26 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템
US20220128993A1 (en) * 2020-10-23 2022-04-28 Deere & Company Methods, apparatus, and articles of manufacture to display acquisition paths
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
JP7487713B2 (ja) * 2021-08-16 2024-05-21 トヨタ自動車株式会社 車両用表示制御装置、車両用表示装置、車両用表示制御方法およびプログラム
GB2613004A (en) * 2021-11-19 2023-05-24 Wayray Ag System and method
KR102645699B1 (ko) * 2022-06-10 2024-03-12 엘지전자 주식회사 차량의 ar 디스플레이 장치 및 그것의 동작방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156608A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 車載用表示システム及び表示方法
WO2015118859A1 (ja) * 2014-02-05 2015-08-13 パナソニックIpマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
WO2015136874A1 (ja) * 2014-03-13 2015-09-17 パナソニックIpマネジメント株式会社 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体
WO2016166887A1 (ja) * 2015-04-17 2016-10-20 三菱電機株式会社 表示制御装置、表示システム、表示制御方法および表示制御プログラム
WO2017042923A1 (ja) * 2015-09-10 2017-03-16 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
WO2018042898A1 (ja) * 2016-08-29 2018-03-08 マクセル株式会社 ヘッドアップディスプレイ装置
JP2018159738A (ja) * 2017-03-22 2018-10-11 アイシン・エィ・ダブリュ株式会社 虚像表示装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050071082A1 (en) * 2003-09-30 2005-03-31 Mazda Motor Corporation Route guidance apparatus, method and program
KR100721560B1 (ko) * 2005-11-30 2007-05-23 한국전자통신연구원 임의 시점을 가지는 3차원 차량정보 제공 시스템 및 그방법
EP1990789A1 (en) * 2006-02-27 2008-11-12 Navitime Japan Co., Ltd. Map display system, method of inputting conditions for searching for poi, method of displaying guidance to poi, and terminal device
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8503762B2 (en) 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
JP5660140B2 (ja) * 2010-12-28 2015-01-28 トヨタ自動車株式会社 ナビゲーション装置
US20120224060A1 (en) 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
KR20130027367A (ko) 2011-09-07 2013-03-15 동국대학교 산학협력단 내비게이션 장치 및 경로 표시 방법
KR101316176B1 (ko) 2011-12-14 2013-10-08 현대자동차주식회사 다중도로구간 안내시스템 및 그 안내 방법
DE102014219567A1 (de) * 2013-09-30 2015-04-02 Honda Motor Co., Ltd. Dreidimensionale (3-d) navigation
KR20150054022A (ko) 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법
JP2016074410A (ja) 2014-10-07 2016-05-12 株式会社デンソー ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JP2016090344A (ja) * 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、及びナビゲーションプログラム
KR102406489B1 (ko) * 2014-12-01 2022-06-10 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP6642972B2 (ja) 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
KR102330034B1 (ko) 2015-09-04 2021-11-25 현대모비스 주식회사 지능형 차량 제어 방법
US9625264B1 (en) 2016-01-20 2017-04-18 Denso Corporation Systems and methods for displaying route information
KR102463688B1 (ko) 2016-05-26 2022-11-07 현대자동차주식회사 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법
WO2018057987A1 (en) 2016-09-23 2018-03-29 Apple Inc. Augmented reality display
KR102552715B1 (ko) 2016-11-07 2023-07-06 현대모비스 주식회사 차량용 헤드업 디스플레이 장치 및 이의 제어 방법
GB201702309D0 (en) 2017-02-13 2017-03-29 Jaguar Land Rover Ltd An apparatus and a method for controlling a head-up display of a vehicle
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156608A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 車載用表示システム及び表示方法
WO2015118859A1 (ja) * 2014-02-05 2015-08-13 パナソニックIpマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
WO2015136874A1 (ja) * 2014-03-13 2015-09-17 パナソニックIpマネジメント株式会社 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体
WO2016166887A1 (ja) * 2015-04-17 2016-10-20 三菱電機株式会社 表示制御装置、表示システム、表示制御方法および表示制御プログラム
WO2017042923A1 (ja) * 2015-09-10 2017-03-16 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
WO2018042898A1 (ja) * 2016-08-29 2018-03-08 マクセル株式会社 ヘッドアップディスプレイ装置
JP2018159738A (ja) * 2017-03-22 2018-10-11 アイシン・エィ・ダブリュ株式会社 虚像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014709A1 (ko) * 2021-07-13 2024-01-18 엘지전자 주식회사 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템

Also Published As

Publication number Publication date
JP7303691B2 (ja) 2023-07-05
US20210341305A1 (en) 2021-11-04
US11099026B2 (en) 2021-08-24
US11656091B2 (en) 2023-05-23
CN111055853A (zh) 2020-04-24
KR20200042166A (ko) 2020-04-23
US20200116518A1 (en) 2020-04-16
EP3640598A1 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
JP7303691B2 (ja) コンテンツを視覚化する装置及び方法
KR102547823B1 (ko) 컨텐츠 시각화 장치 및 방법
US10766498B2 (en) Method, apparatus, and computer readable storage medium having instructions for controlling a display of an augmented reality display device for a transportation vehicle
EP2860971B1 (en) Display control apparatus, method, recording medium, and vehicle
CN106030609B (zh) 用于模仿前车的系统和方法
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
CN111788459A (zh) 辅助信息在显示单元上的显现
KR102306790B1 (ko) 컨텐츠 시각화 장치 및 방법
CN111937044B (zh) 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序
JP2006501443A (ja) 車両に対してナビゲーション情報を表示する方法及び装置
US20200249044A1 (en) Superimposed-image display device and computer program
JP2015210644A (ja) 車両用表示システム
TWI728117B (zh) 動態信息系統及動態信息系統的操作方法
JP6856085B2 (ja) 車両用表示制御装置、方法及びプログラム
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
US20220242234A1 (en) System integrating autonomous driving information into head up display
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
WO2023145852A1 (ja) 表示制御装置、表示システム、及び表示制御方法
US20240317250A1 (en) Enhanced map display for autonomous vehicles and passengers
JP2019087259A (ja) 重畳画像表示装置及びコンピュータプログラム
US20240317252A1 (en) Enhanced signage display for autonomous vehicles and passengers
CN118613382A (zh) 显示控制装置、显示系统及显示控制方法
JP2024148800A (ja) 表示制御方法及び表示制御装置
CN118654690A (zh) 导航方法、显示设备、存储介质及交通工具
CN118876967A (zh) 车辆变道的控制方法、装置、介质和设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230623

R150 Certificate of patent or registration of utility model

Ref document number: 7303691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150