[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6310531B2 - 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法 - Google Patents

自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法 Download PDF

Info

Publication number
JP6310531B2
JP6310531B2 JP2016227755A JP2016227755A JP6310531B2 JP 6310531 B2 JP6310531 B2 JP 6310531B2 JP 2016227755 A JP2016227755 A JP 2016227755A JP 2016227755 A JP2016227755 A JP 2016227755A JP 6310531 B2 JP6310531 B2 JP 6310531B2
Authority
JP
Japan
Prior art keywords
autonomous vehicle
image
content
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016227755A
Other languages
English (en)
Other versions
JP2017204261A (ja
Inventor
チュエン ワン
チュエン ワン
ビャオ マー
ビャオ マー
シャオシャン リュウ
シャオシャン リュウ
ジェームズ ペン
ジェームズ ペン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2017204261A publication Critical patent/JP2017204261A/ja
Application granted granted Critical
Publication of JP6310531B2 publication Critical patent/JP6310531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B60K35/53—Movable instruments, e.g. slidable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/90—Calibration of instruments, e.g. setting initial or reference parameters; Testing of instruments, e.g. detecting malfunction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592—Data transfer involving external databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Description

本出願の実施形態はコンテンツ検索及び配信に関する。より具体的に、本出願の実施形態は自律走行車におけるコンテンツ検索及び配信に関する。
自律モード（例えば、無人運転又は自動運転）で運転される車両は乗員、特に運転者を運転関連作業から解放することを可能にする。自律モードで運転する場合、車両は車載センサを利用して様々な位置導かれることができ、それによって、ヒューマンインタラクションが最小化である場合、または乗員がない状況で車両走行を可能にする。従って、自律走行車は、乗員、特に車両を運転するすべきな人が走行中にほかのことをすることを可能にする。様々な運転関連作業に集中する代わり、運転者やその他の乗員は自律走行車に乗る時に映画やその他のメディアコンテンツを自由に見ることができる。
通常、自律走行車に乗ることによる興奮は、初めて乗る搭乗者に対しても極めて短い時間しか持続できず、その後で非常につまらない体験になる。また、少なくとも初期段階において、自律走行車の応用前景は共有経済に基づく可能性が高い。従って、一台の車両には、少数ではなく、多数のつまらない搭乗者が乗っていることになる。
しかしながら、自律走行車における通常のコンテンツ配信システムは、通常、自律走行車が運転しているリアルタイム交通環境にかかわらず、ユーザに静的コンテンツを提供する。配信されたコンテンツには、自律走行車に乗るユーザにとって興味があるものもあれば、興味がないものもある。
一つの様態において、自律走行車にコンテンツ配信を行うためのコンピュータ実施方法を提供し、この方法は、サーバにおいて第一自律走行車からコンテンツ配信に対する要求を受信するステップと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定するステップと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識するステップと、前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて拡張画像を生成するステップと、前記第一自律走行車に前記拡張画像を伝送するステップと、を含んでおり、ここで、前記拡張画像が仮想現実の方式で前記自律走行車内の表示装置に表示される。
別の一つの様態において、命令を記憶した非一時的機械読取可能媒体を提供し、プロセッサに実行される時に前記命令が前記プロセッサに自律走行車に対してコンテンツ配信操作を実行させ、前記操作は、第一自律走行車からコンテンツ配信に対する要求を受信することと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定することと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて、拡張画像を生成することと、前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む。
別の一つの様態において、サーバとして動作するデータ処理システムを提供し、このデータ処理システムは、プロセッサと、前記プロセッサに接続されて、前記プロセッサにより実行される時に前記プロセッサに操作を実行させる命令を記憶するメモリと、を含んでおり、前記操作は、第一自律走行車からコンテンツ配信に対する要求を受信することと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定することと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて、拡張画像を生成することと、前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む。
別の一つの様態において、自律走行車においてメディアコンテンツを表示するコンピュータ実施方法を提供し、この方法は、ネットワークを介して、自律走行車からクラウドサーバに、メディアコンテンツに対する自律走行車の車両識別子（ＩＤ）と前記自律走行車に乗るユーザのユーザＩＤとを含む要求を伝送するステップと、前記クラウドサーバからストリーミングされて前記クラウドサーバによりレンダリングされた第一ストリームメディアコンテンツと第二ストリームメディアコンテンツとを受信するステップと、前記自律走行車の第一ウィンドウに相当する第一位置に配置される第一表示装置において前記第一ストリームメディアコンテンツを表示するステップと、前記自律走行車の第二ウィンドウに相当する第二位置に配置された第二表示装置において前記第二ストリームメディアコンテンツを表示するステップと、を含む。
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号は、類似の構成要素を示す。
本出願の一実施形態に係るネットワーク化システムを示すブロック図である。 本出願の一実施形態において自律走行車でエンターテイメントコンテンツを提供する処理フローを示す図である。 本出願の一実施形態に係るコンテンツレンダリングシステムの一例を示すブロック図である。 本出願の一実施形態に係るコンテンツ処理プロセスフローを示す図である。 本出願の一実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。 本出願の別の実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。 一実施形態に係るデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら、本出願の様々な実施形態および方法を説明し、図面は、前記様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
本明細書では「一つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造または特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
いくつかの実施形態によれば、車載情報とエンターテイメントシステムを利用して、仮想現実（ＶＲ）の方式で自律走行車での表示に適するコンテンツを提供する。自律走行車の搭乗者の情報（例えば、ナビゲーション、推薦）やエンターテイメント（例えば、勉強及びゲーム）アプリケーションに応じてコンテンツを認識してレンダリングすることができ、それによって、拡張現実及び/又は仮想現実をクラウドレンダリング及びストリーミングとを組み合わせて、前記自律運転環境用コンテンツでの可用性に焦点を当てる。
本出願の一様態によれば、サーバ（例えば、クラウドサーバ）は第一自律走行車からコンテンツ配信に対する要求を受信する。当該要求に応答して、要求から取得された画像に視覚分析を実行して画像の三次元（３Ｄ）位置決め情報を決定する。第一自律走行車に乗るユーザのユーザプロファイルに応じて、第一自律走行車の現在の車両情報に基づきコンテンツアイテムリストを認識する。画像の３Ｄ位置決め情報に基づき、コンテンツアイテムリストから選択された第一コンテンツアイテムを画像に拡張させて拡張画像を生成する。第一自律走行車に当該拡張画像を伝送し、拡張画像を仮想現実の方式で自律走行車内の表示装置に表示する。
拡張画像は、サーバから自律走行車にストリーミングされるストリーム（例えば、拡張ビデオストリーム）における複数の拡張画像のうちの一つであってもよい。サーバはネットワーク（例えば、クラウドネットワーク）を介してサーバに通信接続される複数の自律走行車に情報とエンターテイメントコンテンツを提供するように配置されることができる。車両情報は速度と移動方向、位置と経路情報、地図とポイントオブインタレスト（ＭＰＯＩ）、及び/又は自律走行車に関連するリアルタイム交通情報を含むことができる。複数のデータソース及び自律走行車から定期的に車両情報を受信することができる。ユーザのユーザプロファイル及び前記時点での車両情報に基づきコンテンツアイテムを認識することができる。
本出願の別の様態によれば、自律走行車は、ネットワークを介してクラウドサーバに自律走行車の車両識別子（ＩＤ）及び自律走行車に乗るユーザを認識するユーザ認識子（ＩＤ）を含んでメディアコンテンツに対する要求を伝送する。クラウドサーバから、クラウドサーバによりレンダリングされた第一ストリームメディアコンテンツと第二ストリームメディアコンテンツをストリーミングする。第一ストリームメディアコンテンツを、自律走行車の第一ウィンドウに相当する第一位置に配置された第一表示装置に表示する。第二ストリームメディアコンテンツを、自律走行車の第二ウィンドウに相当する第二位置に配置された第二表示装置に表示する。
図１は本出願の一実施形態に係るネットワーク構成を示すブロック図である。図１に示されるように、ネットワーク構成１００は、ネットワーク１０３を介して集中型サーバ１０２に通信接続された自律走行車を含む。一台の自律走行車が示されたが、複数台の自律走行車をネットワーク１０３を介してサーバ１０２に接続し、サーバ１０２によってこれら車両を管理してもよい。各自律走行車は自律走行車１０１と同じ又は類似した構造を有してもよい。ネットワーク１０３は、例えば、有線又は無線ローカルエリアネットワーク（ＬＡＮ）、例えばインターネット、セルラーネットワーク、衛星ネットワークなどの広域エリアネットワーク（ＷＡＮ）、又はこれらの組合せのいずれでもよい。サーバ１０２は、例えばネットワーク又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はこれらの組合せなどのサーバ又はサーバクラスターのいずれでもよい。
一実施形態において、自律走行車１０１はセンサシステム１１５とデータ処理システム１１０を含むがこれらに制限されない。センサシステム１１５は、自律走行車１０１が様々な状況下で各種の道路や場所でナビゲーションすることを可能にするのに必要な複数のセンサ又は感知装置を含む。例えば、センサシステム１１５は一つ又は複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測装置（ＩＭＵ）、レーダーシステム及び/又は光検出測距（ＬＩＤＡＲ）システムを含むことができる。データ処理システム１１０は、例えばバス、インターコネクト又はネットワークを介してセンサシステム１１５に通信接続される。データ処理システム１１０は、センサシステム１１５から受信された任意のデータを処理し且つセンサシステム１１５を管理したり制御したりするように作動可能である。データ処理システム１１０は、センサシステム１１５から受信された情報を処理して自律走行車１０１の運転と制御に必要なソフトウェア及びハードウェアを備える専用コンピュータであってもよい。
一実施形態において、データ処理システム１１０は、行程モジュール１２１Ａ、コンテンツレンダリングシステム１２２Ａ、コンテンツ表示モジュール１２３、通信モジュール１２４及びデータ記憶部１２５を含むが、これらに制限されない。モジュール１２１Ａ〜１２４は、ソフトウェア、ハードウェア又はこれらの組合せに実装されることができる。例えば、モジュール１２１Ａ〜１２４はシステムメモリーにロードされてデータ処理システム１１０の一つの又は複数のプロセッサに実行されてもよい。行程モジュール１２１Ａはユーザの行程に関連する任意のデータを管理する。ユーザは例えばユーザインタフェースを介してログインして行程の出発地と目的地を指定することができる。行程モジュール１２１Ａは行程関連データを取得するために自律走行車１０１のその他の構成要素と通信する。例えば、行程モジュール１２１Ａは位置サーバ１０６及び地図とＰＯＩ（ＭＰＯＩ）サーバ１０５から位置と経路情報を取得することができる。位置サーバ１０６は位置サービスを提供し、ＭＰＯＩサーバ１０５は地図サービスとある位置のＰＯＩを提供する。自律走行車１０１が経路に沿って走行する時、行程モジュール１２１Ａは交通情報システム又はサーバ（ＴＩＳ）１０４からリアルタイム交通情報を取得することができる。なお、サーバ１０４〜１０６は第三者エンティティによって操作されてもよい。あるいは、サーバ１０４〜１０６の機能はサーバ１０２と統合することができる。行程モジュール１２１Ａはこれらのタイプの情報を分析してネットワーク１０３を介してサーバ１０２に伝送する。
データ記憶部１２５は持続的記憶装置（例えば、ハードディスクである不揮発性記憶装置）に保存されることができ、前記持続的記憶装置は複数のデータを記憶し、当該データはコンテンツデータベース（例えば、マルチメディアコンテンツ）、ユーザプロファイル、行程相関情報（例えば、位置や経路情報、ＰＯＩ情報）を含むが、これらに制限されない。データ記憶部１２５に記憶されたデータは例えばサーバ１０２、交通情報サーバ１０４、地図とＰＯＩサーバ１０５、並びに位置サーバ１０６等の複数種のデータソースから取得することができる。例えば、コンテンツデータとユーザプロファイルはサーバ１０２のデータ記憶部１３０におけるコンテンツデータベース１３１とユーザプロファイル１３２から提供されキャッシュされることができる。データ処理システム１１０は、その他の部品、例えば一つ又は複数のプロセッサ（例えば、中央処理ユニット又はＣＰＵ）、システムメモリー又は通信インターフェース（例えば、無線通信インターフェース）等を含んでもよい。
コンテンツレンダリングシステム１２２Ａは、例えばデータ記憶部１２５に記憶されたコンテンツに対してローカルコンテンツレンダリング操作を実行する。一実施形態において、コンテンツレンダリングシステム１２２Ａは、前記コンテンツをレンダリングすることでコンテンツ表示モジュール１２３によって自律走行車１０１の一つ又は複数の表示装置１２０において仮想現実方式で表示可能な仮想現実コンテンツにする。例えば、自律走行車１０１のウィンドウとして、実際の車窓の一般的な形状として成形又は曲げられた表示装置で代替する仮想ウィンドウを配置する。ユーザが表示装置に表示されたコンテンツを見ることは、透明なウィンドウを介して見るのようである。別の例として、仮想現実及び/又は拡張現実コンテンツは個人的にカスタマイズされて、それぞれ各搭乗者のヘッドセットに配信することによって、カスタマイズされた実体験のようなユーザエクスペリエンスを提供することを可能にする。
表示されるコンテンツは自律走行車１０１の一つ又は複数のカメラによってリアルタイムに捕捉された、自律走行車１０１の実際の物理的環境を示す画像又はビデオであってもよい。或いは、表示されるコンテンツは自律走行車１０１の周囲環境と完全に異なり又は無関係のコンテンツであってもよい。具体的には、ユーザは、リアルタイムに捕捉されるリアルタイムな実体コンテンツ、又は例えばデータ記憶部１２５から検索されて表示装置に表示しようとするレンダリングされたコンテンツを選択することができる。例えば、自律走行車１０１が雪の降る日にニューヨーク市で走行する場合、ユーザは表示装置を切り替えてハワイの晴れた環境を表示し、自律走行車１０１が晴れている日に旅しているようにすることができる。協同又は協力方式（すなわち仮想現実方式）を利用して複数の表示装置（例えば、複数のウィンドウ）においてコンテンツを表示することが可能である。
一実施形態によれば、ローカルにコンテンツをレンダリングする代わり、自律走行車１０１はネットワーク１０３を介して複数種の通信プロトコルを利用してサーバ１０２と通信するための通信モジュール１２４を含む。より高い処理能力又はサーバ１０２においてより多くの利用可能な処理リソースを使用して、サーバ１０２においてコンテンツレンダリングを実行することができる。この例では、コンテンツレンダリングシステム１２２Ａの一部又はすべての機能は、例えばコンテンツレンダリングシステム１２２Ｂの一部としてサーバ１０２において実現することができる。同様に、自律走行車１０１の行程モジュール１２１Ａの一部又はすべての機能は、例えば行程モジュール１２１Ｂの一部としてサーバ１０２に保存することができる。また、サーバ１０２は複数のクラウドコンピューティングノード又はクラウド処理ノードに通信接続されて、分散型方式でレンダリングタスクを配分することができる。その他、別の一実施形態によれば、コンテンツレンダリングシステムの一部の機能は自律走行車１０１のコンテンツレンダリングシステム１２２Ａとサーバ１０２のコンテンツレンダリングシステム１２２Ｂの間で分かれてもよい。
次に、レンダリングされたコンテンツ（例えば、仮想現実コンテンツ）はサーバ１０２から動的に自律走行車１０１にストリーミングされ、よりよい性能を取得するために、前記コンテンツは、データ記憶部１２５にバッファされたりキャッシュされたりすることができる。リアルタイム車両情報（例えば、位置や経路、ＭＰＯＩ、交通状况）及び自律走行車１０１に乗るユーザのユーザプロファイル１３２のコンテキストにおけるその他の情報に基づき認識して選択することができる特定のコンテンツ（例えば、スポンサー付きコンテンツ、広告）を利用して、仮想現実コンテンツを更に拡張させることもできる。従って、レンダリングされたコンテンツは、予めコンパイルされたメディアコンテンツに基づく純粋な仮想現実コンテンツであってもよい。或いは、コンテンツは、自律走行車１０１のカメラによってリアルタイムに捕捉されてその他のコンテンツ（例えば、スポンサー付きコンテンツ、その他のデータソース又はコンテンツプロバイダーから取得された補充又は関連コンテンツ）を拡張させた画像又はビデオに基づきレンダリングされた拡張仮想現実（ＡＶＲ、拡張現実/仮想現実又はＡＲ/ＶＲコンテンツとも呼ばれる）コンテンツであってもよい。予めコンパイルされたコンテンツにこのような拡張を実行することもできる。例えば、スポンサー付きコンテンツ（例えば、Ａｄ）を、予め収集された従来の画像又はビデオに拡張する。
図２は本出願の一実施形態において自律走行車でエンターテイメントコンテンツを提供する処理フローを示す図である。プロセス２００は図１のシステム１００によって実行することができる。図２に示されるように、自律走行車１０１は経路２０１を介してクラウドサーバ１０２にコンテンツ配信に対する要求を送信する。当該要求は仮想現実コンテンツ又は拡張仮想現実コンテンツを要求することができる。普通の仮想現実コンテンツが要求されるとき、要求は自律走行車１０１を標識する車両ＩＤ、自律走行車に乗るユーザを標識するユーザＩＤ及びユーザにより選択可能な特定コンテンツを標識するオプションコンテンツＩＤのみを含んでもよい。拡張仮想現実コンテンツが要求されるとき、要求は自律走行車１０１の一つ又は複数のカメラによってリアルタイムに捕捉される画像を更に含んでもよい。当該画像は自律走行車１０１の周囲環境を表示する。要求は、自律走行車１０１の車両情報、例えば、位置及び経路情報、速度、移動方法等を含んでもよい。
当該要求に応答して、ブロック２０２において、サーバ１０２は画像に視覚分析を実行して３Ｄ位置決め又は視聴情報を決定する。この操作は受信された要求が拡張現実コンテンツを要求する場合にしか実行しない。ブロック２０３において、サーバ１０２はサーバ１０２において利用可能な情報、例えば車両情報、ＭＰＯＩ情報、リアルタイム交通情報及び/又はユーザのユーザプロファイルの一部又はすべてに基づいて別のコンテンツを検索して認識する。前記仮想現実コンテンツが普通の仮想現実コンテンツか拡張仮想現実コンテンツかに関わらず、ブロック２０４において、仮想現実コンテンツをレンダリングする。次に、経路２０５を介してレンダリングされたコンテンツをサーバ１０２から自律走行車１０１に伝送する。その後、ブロック２０６において仮想現実の方式で自律走行車１０１内の一つ又は複数の表示装置にレンダリングされたコンテンツを表示する。
図３は本出願の一実施形態に係るコンテンツレンダリングシステムの一例を示すブロック図である。コンテンツレンダリングシステム１２２は図１のコンテンツレンダリングシステム１２２Ａ及び/又は１２２Ｂを示す。図３を参照して、コンテンツレンダリングシステム１２２は視覚分析モジュール３０１、コンテンツ選択モジュール３０２、コンテンツランキングモジュール３０３、拡張モジュール３０４、ＶＲレンダリングモジュール３０５及び画像再生ストリーミングモジュール３０６を含むが、これらに制限されない。自律走行車からコンテンツ配信に対する要求を受信したとき、当該要求を検査して当該要求が仮想現実（ＶＲ）コンテンツを要求するか拡張仮想現実（ＡＶＲ）コンテンツを要求するかを決定する。
当該要求がＡＶＲコンテンツを要求することを決定した応答として、視覚分析モジュール３０１は画像に視覚分析を実行して画像の３Ｄ位置決め情報と視角情報を決定する。画像は自律走行車の一つ又は複数のカメラによってリアルタイムに捕捉される。視覚分析モジュール３０１への入力ストリームは、車両からのオリジナルな捕捉画像及び位置/方位に関する情報を含む。視覚分析モジュール３０１においてコンピュータ視覚関連カーネルＡＲアルゴリズムを実施して、更に当該コンピュータビジョンに関連するコアＡＲアルゴリズムにより、当該入力に基づいて回復された捕捉画像の３Ｄ位置決め情報を生成する。言い換えると、視覚分析モジュール３０１の出力は、アノテーションレンダリングの位置、角度及び手段を正確に把握するが、どうやってレンダリングするかが不明である。
一実施形態において、コンテンツ選択モジュール３０２はその他の情報、例えばユーザＩＤ及びその他の車両関連情報を分析する。次に、コンテンツ選択モジュール３０２は、ユーザＩＤに基づいてユーザプロファイル１３２を問い合わせてユーザプロファイル情報（例えば、ユーザ嗜好）を取得し、行程モジュール１２１によって複数のデータソース（例えば、図１のサーバ１０４−１０６）から取得できる例えば地図、登録企業等のその他の関連情報を組み合わせて、コンテンツデータベース１３１からコンテンツアイテムリストを認識する。コンテンツランキングモジュール３０３は、複数種のランキングアルゴリズム又はランキングモデル３１０（例えば、ユーザ嗜好、前のインタラクション履歴）を使用してコンテンツアイテムをランキングする。次に、前記ランキングに基づいてコンテンツアイテムの一つを選択する。言い換えると、このような出力は、どんな情報を表示するかを正確に把握するがどうやって表示するかが不明である。
拡張モジュール３０４は、例えば視覚分析モジュール３０１が提供する３Ｄ位置決め情報に基づき、選択されたコンテンツアイテムを自律走行車から受信した実画像に拡張させる。その後、ＶＲレンダリングモジュール３０５は拡張モジュール３０４が提供する拡張画像に基づい、また、状況に応じて視覚分析モジュール３０１が提供する３Ｄ位置決め/視聴情報に基づいてＶＲコンテンツをレンダリングする。拡張モジュール３０４及びＶＲレンダリングモジュール３０５は単一モジュールとして集積されることができる。次に、ネットワークを介してレンダリングされたＡＶＲコンテンツを、例えばクラウドサーバから自律走行車にストリーミングして、仮想現実方式で自律走行車において表示する。なお、実際の設定に応じて、かかるカメラセンサとウィンドウモニター対が複数存在する可能性があり、更に、現実的なユーザエクスペリエンスを提供するために、捕捉された画像と表示される画像との対応性及び同期性を確保することを必要とする場合がある。
一実施形態において、視覚分析モジュール３０１は画像に画像認識を実行して画像によって表示されるコンテンツを導出又は理解する。例えば、視覚分析モジュール３０１は画像又はＰＯＩを説明する一つ又は複数のキーワードを導出できる。画像によって表示される一つ又は複数のキーワード又はＰＯＩに基づき、コンテンツアイテムリストを更に認識することができる。次に、拡張モジュール３０４は選択されたコンテンツアイテムを画像に拡張させて拡張画像を生成し、ここで、コンテンツアイテムが画像に重ねてもよい。それから、自律走行車の表示装置において拡張画像が表示される。
例えば、カメラは、例えば小売店等の道端の対象を捕捉することができる。更に、位置及び経路情報、ＭＰＯＩ情報及び/又は自律走行車のリアルタイム交通データに基づき、画像を分析して認識する。認識された小売店に関連するその他の情報、例えば認識された小売店のユーザ評価、近傍におけるその他の店舗（店舗の名称又はタイプ、ユーザ評価及び/又は小売店との距離を含む）を取得することができる。当該情報を、ストリーミングされた自律走行車の拡張画像に注釈を付けることができる。
自律走行車では、実際のウィンドウ又は物理的なウィンドウがない場合がある。むしろ、「ウィンドウ」（本出願では仮想ウィンドウと呼ばれる）は表示装置（すなわち車窓の形状に成形された平坦な又は曲面を有する画面表示装置）によって表示又は代替することができる。表示装置は、ユーザが透明ウィンドウを介して実際の物理的コンテンツを見る又は目にするように、適切なカメラによってリアルタイム且つ動的に捕捉される画像又は画像ストリーム（例えば、ビデオ）を表示する。それぞれの「ウィンドウ」（例えば、表示装置）に対して、リアルタイムに表示されて、拡張現実システム（例えばデータ処理システム１１０）によって集中処理可能な対応コンテンツをストリーミングする表示チャネルが存在する。この場合、仮想現実方式（拡張現実方式とも呼ばれる）によって拡張画像を表示する。
別の一実施形態によれば、要求が普通の仮想現実コンテンツに対する要求である場合、コンテンツ選択モジュール３０２は前記複数種の要素（例えば、現在の車両情報やユーザプロファイル等）に基づいてコンテンツデータベース１３１を検索してコンテンツアイテム（例えば、既存のビデオ）のリストを認識する。コンテンツランキングモジュール３０３は、複数種のランキングアルゴリズム又はランキングモデル３１０を使用してコンテンツアイテムをランキングし、前記ランキングに基づき、コンテンツアイテムのうちの一つを選択する。更に、ＶＲレンダリングモジュール３０５によって、選択されたコンテンツアイテムをレンダリングする。次に、画像再生ストリーミングモジュール３０６はレンダリングされたコンテンツを再生して当該コンテンツを自律走行車にストリーミングする。
一実施形態において、コンテンツランキングモジュール３０３は、複数種のランキングアルゴリズムを使用してリストにおけるコンテンツアイテムをランキングする。ユーザのユーザプロファイルに基づきコンテンツアイテムをランキングすることができ、例えば、ユーザプロファイルから導出可能なユーザ嗜好に基づいてコンテンツアイテムをランキングする。ユーザのユーザ操作履歴に基づいてユーザプロファイルをコンパイルすることができる。一実施形態において、コンテンツランキングモジュール３０３はコンテンツアイテム中のそれぞれに一つ又は複数のコンテンツランキングモデル３１０を適用して、それぞれのコンテンツアイテムのランキングスコアを決定する。ランキングスコアが所定閾値より高いコンテンツアイテムを選択することができる。以前の類似走行環境又は交通状況を示す複数群の既知特徴を使用してコンテンツランキングモデル３１０をトレーニングすることが可能である。更に類似したユーザのユーザプロファイルに基づいてコンテンツランキングモデル３１０をトレーニングしてもよい。
ＶＲ配置では、カメラ入力に依存せず、且つＡＲアノテーションに基づく必要があっても、ユーザＩＤと車両情報をネットワークを介して自律走行車からクラウドサーバに送信するだけである。クラウドサーバにおける再生画像データベースにおいて車両に表示される画像を直接検索し、この検索はユーザ嗜好に応じて車両の周囲現実と関係がある場合もあって、関係がない場合もある。ＡＲアノテーションが必要であれば、クラウドサーバにおけるＶＲレンダリングモジュール３０５はそれぞれの再生画像に対する３Ｄ位置決め情報を検索し、更にユーザのＩＤを使用してユーザプロファイルを問い合わせて関連情報、例えばユーザのサービス嗜好を取得する。最後に、画像の３Ｄ位置に基づいて前記画像に具体的にカレントユーザに用いられるＡＲアノテーションをレンダリングし、且つレンダリングされた画像を通信モジュールによって車両に返送してモニターの適切な側面に表示する。再生メディアコンテンツのソースとして、商用コンテンツプロバイダー又は以前の行程についてのユーザ自分の記録であってもよい。どちらにしても、適切な録音及び再生は全体的なユーザＶＲエクスペリエンスを改善することに大きく貢献できる。
図４は本出願の一実施形態に係るコンテンツ処理プロセスフローを示す図である。処理フロー４００は図１のデータ処理システム１１０又はサーバ１０２によって実行することができる。図４に示されるように、自律走行車から取得された車両情報４０１をコンテンツ選択モジュール３０２に提供する。車両情報４０１及びその他の情報（例えば、位置及び経路情報４１１、リアルタイム交通情報４１２、ＭＰＯＩ情報４１３、ユーザプロファイル１３２）に基づき、コンテンツ選択モジュール３０２はコンテンツデータベース１３１を検索してコンテンツアイテムリストを認識する。コンテンツランキングモジュール３０３によってコンテンツアイテムをランキングし、更に前記ランキングに基づいてコンテンツアイテム４０３を選択する。自律走行車から受信された要求が普通の仮想現実コンテンツに対する要求である場合、選択されたコンテンツアイテム４０３は更にＶＲレンダリングモジュール３０５によってレンダリングされて自律走行車にストリーミングされる。
前記要求が拡張仮想現実コンテンツに対する要求である場合、視覚分析モジュール３０１によって、自律走行車のカメラによってリアルタイムに捕捉された画像を分析して、３Ｄ位置又は視角情報４１５を決定する。拡張モジュール３０４は３Ｄ位置決め/視聴情報４１５に基づいて選択されたコンテンツアイテム（例えば、スポンサー付きコンテンツ又は広告）４０３を画像４０２に拡張させて拡張画像４２０を生成する。更に拡張画像４２０はＶＲレンダリングモジュール３０５によってレンダリングされて自律走行車に伝送されて自律走行車において表示する。
図５は本出願の一実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。プロセス５００はソフトウェア、ハードウェア又はこれらの組合せを含む処理ロジックによって実行されることができる。例えば、プロセス５００は図１のデータ処理システム１１０によって実行されることができる。図５に示されるように、ブロック５０１において、処理ロジックは自律走行車の一つ又は複数のカメラを使用して自律走行車の外部に表示される一つ又は複数の対象（例えば、建物、標識）の画像ストリームを受信する。ブロック５０２において、処理ロジックはネットワークを介してクラウドサーバに画像を伝送し、状況に応じて自律走行車に乗る一つ又は複数のユーザの一つ又は複数のユーザＩＤの伝送を含む。
ブロック５０３において、処理ロジックはクラウドサーバから拡張画像ストリームを受信する。クラウドサーバは、クラウドサーバに送信された画像に基づいて拡張画像に対して処理、拡張及びレンダリングを行う。ブロック５０４において、仮想現実方式で自律走行車の一つ又は複数の表示装置に拡張画像を表示する。拡張画像における一部はすべてのユーザが共用する表示装置に表示できるが、その他の拡張画像はそれぞれのユーザの個人用表示装置（例えば、携帯電話、タブレットＰＣ）にストリーミングされる。個人用表示装置は、無線ローカルエリアネットワークを介して自律走行車に通信接続されることができる。特定ユーザのユーザプロファイルに基づいて認識されるコンテンツの一部は個人コンテンツとされるのに対して、その他のコンテンツは通常、自律走行車に乗るすべてのユーザにとって面白いと思われる。
図６は本出願の別の実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。プロセス６００はソフトウェア、ハードウェア又はこれら組合せを含む処理ロジックによって実行されることができる。例えば、プロセス６００は図１のサーバ１０２に実行されることができる。図６に示されるように、ブロック６０１において、処理ロジックはネットワークを介して自律走行車から画像及び自律走行車に乗るユーザの一つ又は複数のユーザＩＤ（状況に応じて）を受信する。ブロック６０２において、処理ロジックは画像に視覚分析を実行して３Ｄ位置決め又は視聴情報を決定する。ブロック６０３において、処理ロジックは車両情報（例えば、位置及び経路、ＭＰＯＩ、リアルタイム交通データ）及びユーザのユーザプロファイルに基づいてコンテンツアイテムリストを検索して認識する。ランキングアルゴリズム又はランキングモデルを使用してコンテンツアイテムをランキングすることができる、前記ランキングに基づきコンテンツアイテムのうちの一つを選択する。ブロック６０４において、処理ロジックは、３Ｄ位置決め/視聴情報に基づいて選択されたコンテンツアイテムを画像に拡張させて拡張仮想現実画像を生成する。ブロック６０５において、拡張画像を自律走行車に伝送して仮想現実方式で自律走行車において表示する。
本出願の全体にわたって説明される技術は、時点における行程の経路に沿った走行環境（例えば、位置および経路情報、リアルタイム交通情報および地図と興味点）に基づき、自律走行車に乗るユーザに特定のスポンサー付きコンテンツ（例えば、広告またはＡｄ）を提供することに用いられてもよい。リアルタイムにキャプチャされた自律走行車の周辺環境の１つまたは複数の画像にスポンサー付きコンテンツを追加し、それにより拡張現実コンテンツの配信環境を構築する。
上記自律走行車とは、車両が運転者からの入力が非常に少なくまたはない場合でもナビゲーションして環境を通過するように自律走行モードに設定できる車両である。このような自律走行車は、車両走行環境に関連する情報を検出するための１つまたは複数のセンサを含むセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、検出された情報を用いてナビゲーションして前記環境を通過できる。前記センサシステムは、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。
ＧＰＳシステムは、自律走行車の地理的位置を推定できる。ＧＰＳシステムは、送受信機を備えてもよく、前記送受信機は、自律走行車の位置に関連する情報を提供するように動作できる。ＩＭＵユニットは、慣性加速度に基づいて自律走行車の位置および方位変化を感知できる。レーダーユニットは、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、感知対象以外に、レーダーユニットはさらに対象の速度および/または前進方向を感知できる。ＬＩＤＡＲユニットは、レーザで自律走行車が位置する環境における対象を感知してもよい。他のシステムの構成要素以外に、ＬＩＤＡＲユニットはさらに１つまたは複数のレーザ光源、レーザスキャナーおよび１つまたは複数の検出器を備えてもよい。カメラは、自律走行車の周辺環境の画像をキャプチャするための１つまたは複数の装置を備えてもよい。カメラはスチルカメラまたはビデオカメラであってもよい。カメラは、カメラが取り付けられたプラットフォームを回転および/または傾斜させるように機械的に移動してもよい。マイクロホンは、自律走行車の周辺環境から音声をキャプチャするように構成されてもよい。
自律走行車は、自律走行車環境における対象および/または特徴を識別するように１つまたは複数のカメラによりキャプチャされた画像を処理して分析するためのコンピュータビジョンシステムをさらに備えてもよい。前記対象は、交通信号、車道境界、他の車両、通行人および/または障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡および他のコンピュータビジョン技術を用いてもよい。いくつかの実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象追跡、対象速度の推定等を行うことができる。
自律走行車は、自律走行車の走行経路を決定するためのナビゲーションシステムをさらに備えてもよい。例えば、ナビゲーションシステムは、自律走行車が大体最終目的地に到着する車道経路に沿って前進するとともに、感知した障害物を基本的に回避するように一連の速度および所定の前進方向を決定してもよい。目的地はユーザインタフェースによるユーザ入力に基づいて設定されてもよい。ナビゲーションシステムは自律走行車が走行していると同時に走行経路を動的に更新してもよい。ナビゲーションシステムは、ＧＰＳシステムおよび１つまたは複数の地図からのデータを合併して自律走行車用の走行経路を決定する。
自律走行車は、自律走行車環境における潜在的障害物を識別し、評価し且つ回避して、または他の方式で迂回するための衝突防止システムをさらに備えてもよい。例えば、衝突防止システムは、制御システムにおける１つまたは複数のサブシステムが旋回動作、方向転換動作、ブレーキ動作等を行うように操作することによって自律走行車のナビゲーション中の変更を実現してもよい。衝突防止システムは、周囲の交通モード、道路状況等に基づいて実現可能な障害物回避動作を自動的に決定してもよい。衝突防止システムは、他のセンサシステムにより自律走行車が旋回して入る隣接領域に位置する車両、建築障害物等を検出した場合に旋回動作を行わないように構成されてもよい。衝突防止システムは、利用可能で自律走行車の搭乗者の安全性を最大化する動作を自動的に選択してもよい。衝突防止装置は、自律走行車の車室に最小の加速度をもたらすように、予測した回避動作を選択してもよい。
自律走行車は、その周辺環境内に位置する外部システム（例えば装置、センサ、他の車両等）および/またはコントローラ、サーバ等との通信を可能にする無線通信システムをさらに備えてもよく、前記外部システムおよび/またはコントローラ、サーバ等は、車両の周辺環境に関連する有用な情報、例えば交通情報、天気情報等を提供できる。例えば、無線通信システムは、直接的にまたは通信ネットワークによって１つまたは複数の装置と無線で通信できる。無線通信システムは、任意のセルラ通信ネットワークまたは無線ＬＡＮ（ＷＬＡＮ）、例えばＷｉＦｉを用いてもよい。無線通信システムは、例えば赤外リンク、ブルートゥース（登録商標）等を用いて装置と直接的に通信できる。
なお、上記の構成要素の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組合せにより実現できる。例えば、このような構成要素は、永久記憶装置にインストールされ且つ記憶されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ（図示せず）でメモリにおいてロードされ且つ実行されることにより、本出願の全体にわたって説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハードウェア（例えば集積回路（例えば、専用集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってアプリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が１つまたは複数の特定命令によってアクセスされる命令セットの一部となる。
図７は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば図１のデータ処理システム１１０またはサーバ１０２を示してもよい。システム１５００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
さらに、システム１５００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム１５００は、バスまたは相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３および装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ１５０１は、本明細書に説明される操作およびステップを実行するための命令を実行ように構成される。また、システム１５００は、選択可能なグラフィックサブシステム１５０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム１５０４は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ１５０３は、プロセッサ１５０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ１５０３にロードされてもよく、且つプロセッサ１５０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）会社からのＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、アップル会社からのＭａｃ ＯＳ（登録商標）/ｉＯＳ（登録商標）、Ｇｏｏｇｌｅ（登録商標）会社からのＡｎｄｒｏｉｄ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｕｎｉｘ（登録商標）または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。
システム１５００は、Ｉ/Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６および他の選択可能なＩ/Ｏ装置１５０７を備える。ネットワークインターフェース装置１５０５は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネット（登録商標）カードであってもよい。
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
Ｉ/Ｏ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のＩ/Ｏ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置または設計により決められる。
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報を永久記憶するために、大容量記憶装置（図示せず）をプロセッサ１５０１に接続させてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、主にソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。
記憶装置１５０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール/ユニット/ロジック１５２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュール、コンテンツレンダリングシステムのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック１５２８は、さらにデータ処理システム１５００により実行される期間にメモリ１５０３内および/またはプロセッサ１５０１内に完全または少なくとも部分的に存在してもよく、メモリ１５０３およびプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。
コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載のモジュール/ユニット/ロジック１５２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック１５２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック１５２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、または両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現できることを理解すべきである。
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。

Claims (25)

  1. サーバにおいて第一自律走行車からコンテンツ配信に対する要求を受信するステップと、
    前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定するステップと、
    前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識するステップと、
    前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に重ねて拡張画像を生成するステップと、
    前記第一自律走行車に前記拡張画像を伝送するステップと、を含んでおり、
    ここで、前記拡張画像が仮想現実の方式で前記自律走行車内の表示装置に表示される
    ことを特徴とする自律走行車にコンテンツ配信を行うためのコンピュータ実施方法。
  2. 前記サーバはネットワークを介して複数の自律走行車にコンテンツ配信を提供する
    ことを特徴とする請求項１に記載の方法。
  3. 前記画像は前記第一自律走行車の一つ又は複数のカメラによってリアルタイムに捕捉されて、前記自律走行車の周囲ビューを表示する
    ことを特徴とする請求項１に記載の方法。
  4. 前記画像は、前記第一自律走行車から順番にストリーミングされた複数の画像のうちの一つであり、前記拡張画像は、前記サーバから前記第一自律走行車にストリーミングされる複数の拡張画像のうちの一つである
    ことを特徴とする請求項３に記載の方法。
  5. 前記現在の車両情報は、前記要求から取得された前記第一自律走行車の位置情報を含む
    ことを特徴とする請求項１に記載の方法。
  6. 選択された前記コンテンツアイテムは、前記ユーザプロファイルに基づき決定されたユーザ嗜好によって前記コンテンツアイテムリストから選択されるものであり、ここで、前記ユーザプロファイルが前記要求から取得されたユーザ認識子に基づいて検索される
    ことを特徴とする請求項１に記載の方法。
  7. 前記画像に画像認識を実行して前記第一自律走行車の外部の第一オブジェクトを認識するステップを更に含み、ここで、前記画像に重ねられたコンテンツアイテムは前記第一オブジェクトを説明する第一メタデータを含む
    ことを特徴とする請求項１に記載の方法。
  8. 前記コンテンツアイテムは、近傍における第二オブジェクトを記述し、前記第一オブジェクトと前記第二オブジェクトの間の距離を示す第二メタデータを更に含む
    ことを特徴とする請求項７に記載の方法。
  9. 前記第二オブジェクトは前記画像において示されていないが、前記第一自律走行車の位置及び経路情報に基づき取得された地図及びポイントオブインタレスト（ＭＰＯＩ）情報によって、前記第二オブジェクトは前記第一自律走行車の所定近接範囲内に位置する
    ことを特徴とする請求項８に記載の方法。
  10. 命令を記憶した非一時的機械読取可能媒体であって、プロセッサに実行される時に前記命令が前記プロセッサに自律走行車に対してコンテンツ配信操作を実行させ、前記操作は、
    第一自律走行車からコンテンツ配信に対する要求を受信することと、
    前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定することと、
    前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、
    前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に重ねて、拡張画像を生成することと、
    前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む
    ことを特徴とする非一時的機械読取可能媒体。
  11. 前記サーバはネットワークを介して複数の自律走行車にコンテンツ配信を提供する
    ことを特徴とする請求項１０に記載の非一時的機械読取可能媒体。
  12. 前記画像は、前記第一自律走行車の一つ又は複数のカメラによってリアルタイムに捕捉されるものであり、前記自律走行車の周囲ビューを表示する
    ことを特徴とする請求項１０に記載の非一時的機械読取可能媒体。
  13. 前記画像は、前記第一自律走行車から順番にストリーミングされた複数の画像のうちの一つであり、前記拡張画像は、前記サーバから前記第一自律走行車にストリーミングされた複数の拡張画像のうちの一つである
    ことを特徴とする請求項１２に記載の非一時的機械読取可能媒体。
  14. 前記車両情報は前記要求から取得された前記第一自律走行車の位置情報を含む請求項１０に記載の非一時的機械読取可能媒体。
  15. 選択された前記コンテンツアイテムは、前記ユーザプロファイルに基づき決定されたユーザ嗜好によって前記コンテンツアイテムリストから選択されるものであり、ここで、前記ユーザプロファイルが前記要求から取得されたユーザ認識子に基づいて検索される
    ことを特徴とする請求項１０に記載の非一時的機械読取可能媒体的。
  16. 前記操作は、前記画像に画像認識を実行して前記自律走行車の外部の第一オブジェクトを認識することを更に含み、ここで、前記画像に重ねられるコンテンツアイテムは前記第一オブジェクトを記述する第一メタデータを含む
    ことを特徴とする請求項１０に記載の非一時的機械読取可能媒体。
  17. 前記コンテンツアイテムは、近傍における第二オブジェクトを記述し、前記第一オブジェクトと前記第二オブジェクトの間の距離を示す第二メタデータを更に含む
    ことを特徴とする請求項１６に記載の非一時的機械読取可能媒体。
  18. 前記第二オブジェクトは前記画像において示されていないが、前記第一自律走行車の位置及び経路情報に基づき取得した地図及びポイントオブインタレスト（ＭＰＯＩ）情報によって、前記第二オブジェクトは前記第一自律走行車の所定近接範囲内に位置する
    ことを特徴とする請求項１７に記載の非一時的機械読取可能媒体。
  19. プロセッサと、
    前記プロセッサに接続されて、前記プロセッサにより実行される時に前記プロセッサに操作を実行させる命令を記憶するメモリと、を含んでおり、
    前記操作は、
    第一自律走行車からコンテンツ配信に対する要求を受信することと、
    前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定することと、
    前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、
    前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に重ねて、拡張画像を生成することと、
    前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む
    ことを特徴とするサーバとして動作するデータ処理システム。
  20. 前記サーバはネットワークを介して複数の自律走行車にコンテンツ配信を提供する
    ことを特徴とする請求項１９に記載のシステム。
  21. ネットワークを介して、自律走行車からクラウドサーバに、メディアコンテンツに対する自律走行車の車両識別子（ＩＤ）と前記自律走行車に乗るユーザのユーザＩＤとを含む要求を伝送するステップと、
    前記クラウドサーバからストリーミングされて前記クラウドサーバによりレンダリングされた第一ストリームメディアコンテンツと第二ストリームメディアコンテンツとを受信するステップと、
    前記自律走行車の第一ウィンドウに相当する第一位置に配置される第一表示装置において前記第一ストリームメディアコンテンツを表示するステップと、
    前記自律走行車の第二ウィンドウに相当する第二位置に配置された第二表示装置において前記第二ストリームメディアコンテンツを表示するステップと、を含む
    ことを特徴とする自律走行車においてメディアコンテンツを表示するコンピュータ実施方法。
  22. 前記クラウドサーバは、前記ユーザＩＤにより認識された前記ユーザのユーザプロファイルに基づき前記第一ストリームメディアコンテンツと前記第二ストリームメディアコンテンツを認識する
    ことを特徴とする請求項２１に記載の方法。
  23. 前記第一ストリームメディアコンテンツは、前記ユーザが前記自律走行車の第一透明ウィンドウを介して第一視角から実際のコンテンツを見るように、仮想現実方式で前記第一表示装置に表示する
    ことを特徴とする請求項２１に記載の方法。
  24. 前記第二ストリームメディアコンテンツは、前記ユーザが前記自律走行車の第二透明ウィンドウを介して第二視角から実際のコンテンツを見るように、仮想現実方式で前記第二表示装置に表示する
    ことを特徴とする請求項２３に記載の方法。
  25. 前記第一ストリームメディアコンテンツと前記第二ストリームメディアコンテンツは協同して表示される
    ことを特徴とする請求項２１に記載の方法。
JP2016227755A 2016-05-11 2016-11-24 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法 Active JP6310531B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/152,015 US10366290B2 (en) 2016-05-11 2016-05-11 System and method for providing augmented virtual reality content in autonomous vehicles
US15/152,015 2016-05-11

Publications (2)

Publication Number Publication Date
JP2017204261A JP2017204261A (ja) 2017-11-16
JP6310531B2 true JP6310531B2 (ja) 2018-04-11

Family

ID=57482170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016227755A Active JP6310531B2 (ja) 2016-05-11 2016-11-24 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法

Country Status (5)

Country Link
US (1) US10366290B2 (ja)
EP (1) EP3244591B1 (ja)
JP (1) JP6310531B2 (ja)
KR (1) KR101960140B1 (ja)
CN (1) CN107369207A (ja)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10589625B1 (en) 2015-12-11 2020-03-17 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of an actual vehicle component with a virtual vehicle component
US10969748B1 (en) 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
US10225085B2 (en) 2016-08-12 2019-03-05 Unity IPR ApS System and method for digital token exchange and delivery
US9942360B2 (en) * 2016-08-12 2018-04-10 Unity IPR ApS System and method for digital token exchange and delivery
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
DE102017200733A1 (de) * 2017-01-18 2018-07-19 Audi Ag Unterhaltungssystem für ein Kraftfahrzeug und Verfahren zum Betreiben eines Unterhaltungssystems
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
DE102017208806B3 (de) * 2017-05-24 2018-07-26 Audi Ag Externe Darstellung von Bildaufnahmen eines Fahrzeuginnenraums in einer VR-Brille
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
US10854002B2 (en) * 2017-09-08 2020-12-01 Verizon Patent And Licensing Inc. Interactive vehicle window system including augmented reality overlays
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US10585471B2 (en) * 2017-10-03 2020-03-10 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on predicted events
CN108109210B (zh) * 2017-12-15 2019-04-16 广州德科投资咨询有限公司 一种用于自动驾驶车辆的场景生成方法及智能眼镜
US10600234B2 (en) * 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
WO2019133743A1 (en) * 2017-12-27 2019-07-04 Drive.Ai Inc Method for accessing supplemental perception data from other vehicles
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
US20190235521A1 (en) * 2018-02-01 2019-08-01 GM Global Technology Operations LLC System and method for end-to-end autonomous vehicle validation
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
JP7027933B2 (ja) * 2018-02-14 2022-03-02 トヨタ自動車株式会社 移動店舗車の配置決定装置、配置決定方法及びプログラム
CN108388350B (zh) * 2018-03-25 2021-02-19 东莞市华睿电子科技有限公司 一种基于智能座椅的混合场景生成方法
CN108459719B (zh) * 2018-03-25 2021-04-16 东莞市华睿电子科技有限公司 一种隧道环境下的热门景点虚拟场景推送方法
CN108501948A (zh) * 2018-04-16 2018-09-07 北京京大律业知识产权代理有限公司 一种基于虚拟现实的无人驾驶汽车控制方法
JP7259211B2 (ja) * 2018-05-07 2023-04-18 トヨタ自動車株式会社 情報処理装置、情報処理方法、及びプログラム
EP3573025A1 (en) * 2018-05-24 2019-11-27 Honda Research Institute Europe GmbH Method and system for automatically generating an appealing visual based on an original visual captured by the vehicle mounted camera
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
KR102095333B1 (ko) * 2018-07-24 2020-04-01 인하대학교 산학협력단 증강현실 기반 실차 테스트 방법 및 시스템
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US10841632B2 (en) 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
WO2020035380A1 (de) 2018-08-13 2020-02-20 Audi Ag Betrieb einer vr-brille in einem autonom fahrenden fahrzeug
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11074542B2 (en) * 2018-09-27 2021-07-27 Intel Corporation Automated delivery device and method for delivering a package
KR102587085B1 (ko) * 2018-10-01 2023-10-11 현대자동차주식회사 자율주행차량의 호출자 탐색 방법
KR20210072048A (ko) 2018-10-11 2021-06-16 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11100680B2 (en) * 2018-11-08 2021-08-24 Toyota Jidosha Kabushiki Kaisha AR/VR/MR ride sharing assistant
CN109525585B (zh) 2018-11-28 2020-12-29 百度在线网络技术（北京）有限公司 用于推送信息的方法、用于控制内容的呈现的方法和装置
DE102018220691A1 (de) * 2018-11-30 2020-06-04 Audi Ag Verfahren zum Betreiben eines Anzeigesystems mit einer Anzeigevorrichtung unter Berücksichtigung eines Interessensprofils eines Benutzers, sowie Anzeigesystem
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
DE102018222378A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Vorrichtung und Verfahren Steuerung der Ausgabe von Fahrerinformation und zur Aufrechterhaltung der Aufmerksamkeit eines Fahrers eines automatisierten Fahrzeugs
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
CN109508017A (zh) * 2018-12-28 2019-03-22 镇江市高等专科学校 智能小车控制方法
CN109658519B (zh) * 2018-12-28 2022-07-12 吉林大学 基于现实路况信息图像处理的车载多模式增强现实系统
CN109737965B (zh) * 2019-01-03 2020-08-18 温州大学 一种三维虚拟场景下的导航路径最优选择的方法
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US20240335738A1 (en) * 2019-02-08 2024-10-10 Warner Bros. Entertainment Inc. Intra-vehicle games
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN109872392B (zh) * 2019-02-19 2023-08-25 阿波罗智能技术(北京)有限公司 基于高精地图的人机交互方法和装置
JP2020140487A (ja) 2019-02-28 2020-09-03 トヨタ自動車株式会社 処理装置、処理方法およびプログラム
KR102306161B1 (ko) * 2019-04-30 2021-09-29 엘지전자 주식회사 존 기반 모빌리티 서비스 추천 및 동적 하차위치 설정 ui/ux를 이용한 통합 관제 시스템 및 이의 제어 방법
US11501495B2 (en) * 2019-05-10 2022-11-15 Qualcomm Incorporated Virtual models for communications between autonomous vehicles and external observers
KR102477703B1 (ko) * 2019-06-19 2022-12-15 (주) 애니펜 차량 내부 영상을 기반으로 콘텐츠를 저작하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN110275618A (zh) * 2019-06-21 2019-09-24 北京三快在线科技有限公司 车辆部件显示方法和车辆部件显示装置
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
JP7431538B2 (ja) * 2019-09-10 2024-02-15 株式会社カプコン ゲームプログラム、車両、及びゲームシステム
US11900815B2 (en) * 2019-09-30 2024-02-13 Gm Cruise Holdings Llc Augmented reality wayfinding in rideshare applications
JP7168858B2 (ja) * 2019-10-01 2022-11-10 株式会社カプコン ゲームプログラム、自動運転車、及びゲームシステム
JP6974782B2 (ja) * 2019-10-01 2021-12-01 株式会社カプコン ゲームプログラム、コンピュータ、及びゲームシステム
JP6901541B2 (ja) * 2019-11-28 2021-07-14 株式会社カプコン ゲームプログラム、コンピュータ、及びゲームシステム
JP6974780B2 (ja) * 2019-11-28 2021-12-01 株式会社カプコン ゲームプログラム、コンピュータ、及びゲームシステム
CN111076742A (zh) 2019-12-17 2020-04-28 百度国际科技（深圳）有限公司 一种ar导航的显示方法、装置、电子设备及存储介质
KR20210080936A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 Xr 컨텐트 제공 방법 및 xr 디바이스
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
JP7219404B2 (ja) * 2020-04-10 2023-02-08 株式会社カプコン ゲームプログラム、コンピュータ、及びゲームシステム
KR102434787B1 (ko) * 2020-07-01 2022-08-23 (주)케이시크 자율주행자동차 연결 관광서비스 제공방법
KR102431493B1 (ko) 2020-07-31 2022-08-11 주식회사 인벤티스 증강현실 콘텐츠 기반 차량기능 안내 및 가상 시험주행 경험 제공 시스템 및 방법
US11626028B2 (en) 2020-07-31 2023-04-11 Inventis Co., Ltd System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content
KR102373115B1 (ko) * 2020-08-20 2022-03-11 (주) 아키드로우 가상 공간 콘텐츠 데이터 기반 현실적 장면 이미지를 이용한 인테리어 디자인 선주문 마켓 플랫폼 서비스 제공 방법 및 그 장치
KR102368427B1 (ko) * 2020-08-26 2022-03-02 도로교통공단 인공지능 알고리즘을 이용한 자율주행 동적운행 위험도 분석 및 평가 방법과, 이를 이용한 자율주행 평가시스템
EP4209401A4 (en) * 2020-09-02 2024-04-03 LG Electronics Inc. SYSTEM FOR VEHICLE AR SCREEN IMAGE AND METHOD FOR PROVIDING VEHICLE AR SCREEN IMAGE SERVICE
KR20220039110A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 증강 현실 시스템 및 그 생성 방법
CN112905005B (zh) * 2021-01-22 2024-12-10 领悦数字信息技术有限公司 用于车辆的自适应显示方法、装置及存储介质
JPWO2022201783A1 (ja) * 2021-03-26 2022-09-29
CN113382221A (zh) * 2021-05-14 2021-09-10 异现实科技(成都)有限公司 单实例多终端云渲染系统及其方法
KR102403892B1 (ko) 2021-06-24 2022-05-31 한국기술교육대학교 산학협력단 차량 내 모바일 단말기를 이용한 증강현실 콘텐츠 설계 방법
KR20240012449A (ko) * 2021-07-13 2024-01-29 엘지전자 주식회사 증강현실과 혼합현실에 기반한 경로 안내 장치 및 경로안내 시스템
US12211031B2 (en) 2021-08-11 2025-01-28 Disney Enterprises, Inc. Systems and methods to compilate an experience summary based on real-world experiences
KR102625974B1 (ko) * 2021-11-29 2024-01-18 주식회사 오비고 자율주행차량의 운행 검증에 필요한 검증 시나리오를 편집하는 방법 및 이를 이용한 서버
CN114327049B (zh) * 2021-12-07 2023-07-25 北京五八信息技术有限公司 基于ar应用的提示方法、装置、电子设备及可读介质
CN114291106A (zh) * 2021-12-30 2022-04-08 阿波罗智联(北京)科技有限公司 用于车辆的信息展示方法、装置、电子设备和存储介质
CN114428577A (zh) * 2021-12-31 2022-05-03 合众新能源汽车有限公司 一种车载交互方法、车载交互终端及车载系统
CN114669046A (zh) * 2021-12-31 2022-06-28 联想(北京)有限公司 一种控制方法和控制装置
US12208741B2 (en) * 2022-05-27 2025-01-28 Caterpillar Paving Products Inc. Augmented machine user interface system
CN115018967B (zh) * 2022-06-30 2024-05-03 联通智网科技股份有限公司 一种图像生成方法、装置、设备和存储介质
US20240020928A1 (en) * 2022-07-08 2024-01-18 Qualcomm Incorporated Techniques to facilitate a cloud-based vehicle xr experience
US12141791B2 (en) 2022-11-07 2024-11-12 Disney Enterprises, Inc. Systems and methods to adjust a unit of experience based on digital assets of users
JP2024171054A (ja) * 2023-05-29 2024-12-11 株式会社デンソー 処理システム、処理方法、処理プログラム
CN117389937B (zh) * 2023-12-11 2024-03-08 上海建工一建集团有限公司 一种车辆避障数据的计算方法、计算机及可读存储介质
KR102745279B1 (ko) * 2024-08-29 2024-12-23 주식회사 제이솔루션 Uam 및 자율 주행 객체를 위한 인터렉티브 광고 제공 방법 및 시스템

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001312285A (ja) 2000-04-28 2001-11-09 Mitsubishi Electric Corp 車両内データ配信装置
JP2005014784A (ja) * 2003-06-26 2005-01-20 Hitachi Ltd 映像情報配信表示システム、並びに鉄道列車
US20050222752A1 (en) 2004-04-05 2005-10-06 Sokola Raymond L Method for enabling communications dependent on user location, user-specified location or orientation
US20090109240A1 (en) * 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment
JP2009234509A (ja) 2008-03-28 2009-10-15 Kddi Corp コンテンツ配信システム、コンテンツ配信方法およびプログラム
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
CN102548886A (zh) * 2008-06-17 2012-07-04 迪吉盖吉有限公司 改变虚拟景观的系统
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
KR101423196B1 (ko) * 2009-07-30 2014-07-25 에스케이플래닛 주식회사 영상 특징을 이용한 증강 현실 제공 방법과 그를 위한 서버 및 휴대용 단말기
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
CN103080983A (zh) * 2010-09-06 2013-05-01 国立大学法人东京大学 车辆系统
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
JP5783777B2 (ja) * 2011-04-13 2015-09-24 富士通テン株式会社 情報配信装置、方法およびプログラム
US8660735B2 (en) 2011-12-14 2014-02-25 General Motors Llc Method of providing information to a vehicle
EP2608153A1 (en) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
DE102012200133A1 (de) * 2012-01-05 2013-07-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerinformation
US8733938B2 (en) * 2012-03-07 2014-05-27 GM Global Technology Operations LLC Virtual convertible tops, sunroofs, and back windows, and systems and methods for providing same
KR101401961B1 (ko) * 2012-05-01 2014-06-02 주식회사 라임페이퍼 증강현실 컨텐츠 공유시스템 및 방법
JP5699116B2 (ja) * 2012-09-25 2015-04-08 ヤフー株式会社 広告配信装置、広告配信方法及びプログラム
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US10223838B2 (en) * 2013-03-15 2019-03-05 Derek A. Devries Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
JP5981371B2 (ja) 2013-03-18 2016-08-31 Kddi株式会社 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法
US10052972B2 (en) 2013-03-26 2018-08-21 Intel Corporation Vehicular occupancy assessment
JP6193690B2 (ja) * 2013-09-09 2017-09-06 株式会社デンソー コンテンツ提供システム
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US9672648B2 (en) * 2013-10-18 2017-06-06 Vmware, Inc. Augmented reality aided navigation
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
JP6327637B2 (ja) 2014-03-27 2018-05-23 株式会社日本総合研究所 移動体による地域情報発見システム及びその方法
CN103942049B (zh) * 2014-04-14 2018-09-07 百度在线网络技术（北京）有限公司 增强现实的实现方法、客户端装置和服务器
US20150312773A1 (en) * 2014-04-29 2015-10-29 Dhaval Joshi Systems and methods for providing site acquisition services
KR102322027B1 (ko) * 2014-05-15 2021-11-08 삼성전자주식회사 개인화 정보 제공 시스템 및 그 방법
US20150362733A1 (en) * 2014-06-13 2015-12-17 Zambala Lllp Wearable head-mounted display and camera system with multiple modes
KR101583950B1 (ko) * 2014-06-30 2016-01-08 현대자동차주식회사 차량정보 표시장치 및 그 표시방법
WO2016029939A1 (en) * 2014-08-27 2016-03-03 Metaio Gmbh Method and system for determining at least one image feature in at least one image
US9625724B2 (en) * 2014-09-04 2017-04-18 Daqri, Llc Retractable display for head mounted device
US9571819B1 (en) * 2014-09-16 2017-02-14 Google Inc. Efficient dense stereo computation
KR101592788B1 (ko) 2014-11-19 2016-02-18 현대자동차주식회사 이상 차량 처리 방법 및 이를 수행하는 v2x 통신 시스템
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
EP3842747A1 (en) * 2015-02-10 2021-06-30 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US20160342782A1 (en) * 2015-05-18 2016-11-24 Daqri, Llc Biometric authentication in a head mounted device
KR20170015115A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20150348112A1 (en) * 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles
US9679485B2 (en) * 2015-09-11 2017-06-13 International Business Machines Corporation Determining a parking position based on visual and non-visual factors
US20170142405A1 (en) * 2015-10-21 2017-05-18 Praxik, LLC. Apparatus, Systems and Methods for Ground Plane Extension
US20170214980A1 (en) * 2016-01-21 2017-07-27 Hashplay Inc. Method and system for presenting media content in environment
US20170213165A1 (en) * 2016-01-26 2017-07-27 GM Global Technology Operations LLC Systems and methods for vehicle ride safety and security of person and property
US20170270362A1 (en) * 2016-03-18 2017-09-21 Daqri, Llc Responsive Augmented Content

Also Published As

Publication number Publication date
CN107369207A (zh) 2017-11-21
US20170330034A1 (en) 2017-11-16
EP3244591B1 (en) 2019-01-09
US10366290B2 (en) 2019-07-30
EP3244591A1 (en) 2017-11-15
KR20170127342A (ko) 2017-11-21
JP2017204261A (ja) 2017-11-16
KR101960140B1 (ko) 2019-07-04

Similar Documents

Publication Publication Date Title
JP6310531B2 (ja) 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法
JP6456902B2 (ja) リアルタイム交通情報に基づいて自律走行車においてコンテンツを提供するシステムおよび方法
JP6456901B2 (ja) 自律走行車においてメディアコンテンツを提示するためのシステム及び方法
KR102096726B1 (ko) 자율 주행 차량의 운행을 위한 제어 오류 보정 계획 방법
JP6498246B2 (ja) グラフベースの車線変更ガイドを用いて自律走行車を動作させる方法及びシステム
US10511878B2 (en) System and method for providing content in autonomous vehicles based on perception dynamically determined at real-time
CN107577227B (zh) 操作无人驾驶车辆的方法、装置和数据处理系统
JP6606532B2 (ja) 自律走行車のために車両群を管理する方法及びシステム
JP6615840B2 (ja) 自律走行車の個人運転好みの認識方法及びシステム
JP2018531385A6 (ja) 自律走行車を運行させるための制御エラー補正計画方法
JP2018084573A (ja) 頑健で効率的な車両測位用のアルゴリズム及びインフラ
JP2019503523A (ja) 自律走行車のための車両の位置点の配信方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180316

R150 Certificate of patent or registration of utility model

Ref document number: 6310531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250