[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111868667B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN111868667B
CN111868667B CN201980020486.6A CN201980020486A CN111868667B CN 111868667 B CN111868667 B CN 111868667B CN 201980020486 A CN201980020486 A CN 201980020486A CN 111868667 B CN111868667 B CN 111868667B
Authority
CN
China
Prior art keywords
user
view
video
angle
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980020486.6A
Other languages
English (en)
Other versions
CN111868667A (zh
Inventor
石川毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111868667A publication Critical patent/CN111868667A/zh
Application granted granted Critical
Publication of CN111868667B publication Critical patent/CN111868667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本特征涉及一种信息处理装置、信息处理方法和程序,利用所述信息处理装置、信息处理方法和程序可以在加强沉浸感的同时抑制VR病。视频生成单元基于用户的头部的定向来生成视频,在该视频中控制与在虚拟空间中移动的用户的视场对应的虚拟摄像装置的视角。当用户在虚拟空间中处于加速状态时,基于用户的加速度方向,视频生成单元将虚拟摄像装置的视角从关于当用户处于非加速状态时的第一视角改变至第二视角。本特征可以应用于例如头戴式显示器(HMD)。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及信息处理装置、信息处理方法和程序,并且具体地涉及使得能够消除或最小化具有增强的沉浸感的VR病的信息处理装置、信息处理方法和程序。
背景技术
迄今为止,已经考虑通过第一人视觉视点图像的呈现来提供各种体验的机制。其中,存在减少由于所呈现的图像与头部移动之间的差异等引起的晕动症的技术。
例如,在PTL 1中,公开了响应于用户的视线方向的变化对沿相反方向旋转图像进行校正以便减少由于佩戴在用户的头部上的成像装置的旋转移动而引起的屏幕抖动的技术。
此外,在PTL 2中,公开了响应于关于用户正在观看的视频的变化而向佩戴HMD(头戴式显示器)的用户的头部呈现力感的技术。
引用列表
专利文献
[PTL 1]PCT专利公开第2015/122108号
[PTL 2]日本专利特开第2017-182130号
发明内容
技术问题
此外,如今,已知用于在虚拟空间内呈现视频的VR(虚拟现实)技术。
在该VR技术中,例如,当用户在虚拟空间中加速的同时行进时,呈现了用户加速情况的视频,然而由于没有力施加于用户的身体,并且因此,用户可能会感觉不舒服,或者可能会感觉到所谓的VR病。
鉴于这种情况已经做出了本技术,并且本技术使得能够消除或最小化具有增强的沉浸感的VR病。
问题的解决方案
根据本技术的信息处理装置包括视频生成部,该视频生成部基于用户的头部姿势生成由于控制虚拟摄像装置的视角而产生的视频,该视角对应于用户在虚拟空间内的视场,并且当用户在虚拟空间中处于加速状态时,基于用户的加速度方向,视频生成部将虚拟摄像装置的视角从当用户处于非加速度状态时的第一视角改变至第二视角。
根据本技术的一种信息处理方法是包括下述的信息处理方法:由信息处理装置基于用户的头部姿势生成由于控制虚拟摄像装置的视角而产生的视频,该视角对应于用户在虚拟空间内的视场,并且当用户在虚拟空间中处于加速状态时,由信息处理装置基于用户的加速度方向将虚拟摄像装置的视角从当用户处于非加速度状态时的第一视角改变至第二视角。
根据本技术的一种程序是使得计算机能够执行处理的程序,包括:基于用户的头部姿势,生成由于控制虚拟摄像装置的视角而产生的视频,该视角对应于用户在虚拟空间内的视场,并且当用户在虚拟空间中处于加速状态时,基于用户的加速度方向将虚拟摄像装置的视角从当用户处于非加速状态时的第一视角改变至第二视角。
在本技术中,基于用户的头部姿势,生成由于控制虚拟摄像装置的视角而产生的视频,该视角对应于用户在虚拟空间内的视场,并且当用户在虚拟空间中处于加速状态时,基于用户的加速度方向将虚拟摄像装置的视角从当用户处于非加速状态时的第一视角改变至第二视角。
发明的有益效果
本技术使得可以消除或最小化具有增强的沉浸感的VR病。
注意,本技术的效果不必限于此处描述的效果,并且可以是本公开内容中描述的任何效果。
附图说明
[图1]图1是示出由根据本公开内容的技术提供的视频呈现的概要的图。
[图2]图2是示出应用了本技术的视频呈现系统的配置的示例的框图。
[图3]图3是示出信息处理装置的配置的示例的框图。
[图4]图4是示出视频呈现系统的功能的配置的示例的框图。
[图5]图5是描述对视频进行视角控制处理的流程图。
[图6]图6是示出视频呈现系统的配置的另一示例的图。
[图7]图7是示出图6的视频呈现系统的配置的示例的框图。
[图8]图8是示出图6的视频呈现系统中的视频呈现的示例的图。
[图9]图9是示出在另一加速状态下的视频呈现的示例的图。
[图10]图10是示出在再一加速状态下的视频呈现的示例的图。
[图11]图11是示出在又一加速状态下的视频呈现的示例的图。
[图12]图12是示出视频呈现系统的配置的再一示例的图。
[图13]图13是示出视频呈现系统的配置的又一示例的图。
具体实施方式
在下文中,将描述用于实践本公开内容的模式(在下文中称为实施方式)。此处,将按以下顺序进行描述。
1.由根据本公开内容的技术提供的视频呈现的概要
2.视频呈现系统(HMD)的第一配置
3.视频呈现系统(单个显示器)的第二配置
4.在其他加速状态下的视频呈现
5.视频呈现系统的其他配置
<1.由根据本公开内容的技术提供的视频呈现的概要>
应用了根据本公开内容的技术(本技术)的视频呈现系统呈现了由于使用视觉翻正反射(righting reflex)而产生的视频,所述视觉翻正反射使人试图恢复至他或她的原始姿势。
翻正反射是使动物试图保持其姿势的姿势反射中的一种。作为视觉翻正反射,响应于视觉刺激的感应使人试图保持他或她的头部位置正常。
图1是示出了由应用了本技术的图像呈现系统呈现的视频呈现的概要的图。
在图1中的A至C中的每一个中,示出了其中在他或她的头部上佩戴HMD 10的用户U1正在观看视频的情况。
HMD 10被配置为用于VR的显示装置,并且包括非透明型显示部11。显示部11呈现用作用户U1在虚拟空间(在下文中称为VR空间)内的视场的视频。换句话说,显示部11呈现由虚拟摄像装置VC捕获的并且对应于用户U1在VR空间内的视场的视频。
特别地,在本实施方式中,呈现在显示部11上的视频用作包括其中用户U1在VR空间中以给定的加速度行进的状态的第一人视觉视点视频。具体地,显示部11呈现来自位于车辆驾驶员的座椅处的视点的视频,或者来自滑雪、滑板滑雪或冲浪的人的视点的视频。
在下文中,将其中加速度被强制施加于用户U1,例如当用户U1在VR空间中以给定的加速度行进时的状态称为“加速状态”,并且将其中用户U1处于停止或以恒定速度行进的状态称为“非加速状态”。
加速状态包括其中用户U1借助于独立于用户U1的行进对象在VR空间中以给定的加速度行进的状态。行进对象可以是上面提及的车辆、飞行器或火车,并且还可以是用户U1在VR空间中乘坐的乘坐装置,诸如魔毯或虚拟空间独有的魔法扫帚或者用于上面提及的滑雪、滑板滑雪或冲浪中的任何一种的装备(板)等。此外,行进对象可以是由用户在VR空间中利用的自动扶梯和俯瞰外部的电梯轿厢中的任何一个。
此外,可以将加速状态扩展成包括其中在VR空间中通过地震或地震生成车(earthquake generation car)将振动强制施加于用户U1(导致用户U1摇动)的状态。此外,可以将加速状态扩展成包括其中将由于事件而生成的力施加于用户U1的状态,所述事件的示例包括其中用户U1被出现在VR空间中的角色等拉动的事件、其中用户U1被风吹走的事件、其中用户U1被吸入某物中的事件以及任何其他类似事件。
如随后所述,在呈现在显示部11上的视频中,响应于用户U1的(头部)姿势的变化等来改变显示区域(用户U1在VR空间内的视场)。因此,呈现在显示部11上的视频用作可以显示为当前显示区域的外部区域的视频中的任何一个(即,相对于当前显示区域在上侧、下侧、左侧和右侧的区域的视频)的例如整个天球视频或对虚拟空间进行建模而产生的3D模型视频。
图1中的A示出了其中用户U1在VR空间中乘坐车辆并且处于其中例如用户U1以恒定速度向前行进的非加速状态的情况。显示部11呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中沿正前方向设置其视角的虚拟摄像装置VC捕获。将重力G沿重力的方向(在图1中向下)施加于用户U1的头部。
图1中的B示出了以下情况,其中用户U1已经从图1中的A的状态移动,并且用户U1在VR空间中处于其中用户U1向前行进同时开始加速的加速状态。此时,显示部11呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中沿从正前方向向下倾斜的方向设置其视角的虚拟摄像装置VC捕获。即,使用户U1在VR空间内的视场从正前方向向下倾斜。
顺便提及,在真实空间中用户乘坐车辆并且向前行进同时加速的情况下,会产生向后拉动他或她的身体的力。用户试图通过拉紧他或她的背部和腿部保持身体来抵抗该力。
然而,在常规VR技术中,存在其中无论用户在VR空间中处于非加速状态还是处于加速状态,用户都继续以相同姿势观看视频的情况。
同时,在应用了本技术的视频呈现系统中,当用户U1在VR空间中处于其中向前施加了加速度的加速状态时,如图1中的B所示,使呈现的视频从正前方向向下倾斜(朝向用户U1的脚的一侧)。这种操作给用户U1他或她的头部已经向前倾斜的幻觉,并且这种幻觉引起使用户U1试图恢复至他或她的原始姿势的视觉翻正反射。
因此,如图1中的C所示,用户U1试图通过向后弯曲他或她的身体来向后倾斜他或她的头部以便保持他或她的姿势(以便试图将他或她的视场恢复至正前方向)。这种行为使施加于用户U1的头部的重力G分解成向后施加至头部的力g1和沿着他或她的身体躯干的方向施加至头部的力g2。
即,其中用户U1向后弯曲他或她的身体的行为使身体的重心偏移,并且因此,作为结果,用户U1感觉到向后拉动身体的力。用户U1试图通过拉紧他或她的背部和腿部来保持他或她的姿势来抵抗该力。其中用户U1试图保持他或她的姿势的这种情况引起了用户U1在真实空间中乘坐车辆并且向前行进同时加速的情况下的类似情况。
另外,在图1中的C的状态下,显示部11响应于用户U1的头部的向后倾斜而呈现下述视频,该视频由其中其视角恢复至正前方向的虚拟摄像装置VC捕获。
以这种方式,在应用了本技术的视频呈现系统中,在VR空间中行进同时加速的用户可以自然地感觉到由加速施加于用户的力。
<2.视频呈现系统的配置的第一示例>
(视频呈现系统的配置的示例)
图2是示出参照图1已经描述的应用本技术并且实现视频呈现的视频呈现系统的配置示例的框图。
图2的视频呈现系统包括HMD 10和信息处理装置20。
HMD 10佩戴在用户的头部上,并且向信息处理装置20提供表示用户的头部姿势的姿势信息。此外,HMD 10基于来自信息处理装置20的视频信息在HMD 10上呈现由用户观看的视频。
信息处理装置20被配置为例如PC(个人计算机)等。信息处理装置20基于来自HMD10的姿势信息生成视频,并且向HMD 10提供表示视频的视频信息。
(信息处理装置的配置的示例)
接下来,将参照图3描述信息处理装置20的配置的示例。
如图3所示,CPU(中央处理单元)21、ROM(只读存储器)22和RAM(随机存取存储器)23经由总线24连接至彼此。
CPU 21根据存储在ROM 22中的程序或加载在RAM 23中的程序执行用于实现包括在信息处理装置20中的功能的各种处理。在由CPU 21进行的各种处理的执行中所需的数据片段以及任何其他类型的数据同样根据需要存储在RAM 23中。
总线24还连接至输入/输出接口25。
输入/输出接口25连接至输入部26、输出部27、存储部28和通信部29。
输入部26包括键、按钮、触摸面板、麦克风和任何其他部件,并且输出部27包括显示器、扬声器和任何其他部件。
存储部28包括非易失性存储器和任何其他存储部件。除了由CPU 21执行的程序之外,存储部28还在其中存储用于在HMD 10上呈现的视频的各种类型的数据和任何其他类型的数据。
通信部29包括网络接口和任何其他部件。通信部29经由无线线路或有线线路执行与HMD 10的通信。
输入/输出接口25在必要时还连接至驱动器30,根据需要,将由半导体存储器或任何其他存储介质实现的可移动介质31附接至驱动器30。在必要时将从可移动介质31中读取的程序安装在存储部28中。
(视频呈现系统的功能的配置的示例)
接下来,将参照图4描述视频呈现系统的功能的配置的示例。
图4的视频呈现系统包括姿势检测部51、视频生成部52和显示控制部53。
姿势检测部51应由HMD 10实现,并且视频生成部52和显示控制部53应由信息处理装置20实现。在此,显示控制部53可以由HMD 10实现。
姿势检测部51检测佩戴HMD 10的用户的头部姿势,并且向视频生成部52提供表示姿势的姿势信息。HMD 10包括例如加速度传感器,并且姿势检测部51基于加速度传感器的输出来检测用户的头部姿势。
视频生成部52基于来自姿势检测部51的姿势信息生成要呈现给用户的视频。
视频生成部52包括视角控制部61。视角控制部61控制虚拟摄像装置的视角,虚拟摄像装置的视角对应于用户在VR空间内的视场。
具体地,当用户在VR空间中处于加速状态时,基于用户的加速度方向,视角控制部61将竖直摄像装置的视角从当用户处于非加速状态时的第一视角改变至第二视角。
此处,将第二视角定义为下述视角:诸如图1中的B所示,视觉翻正反射通过该视角沿着施加于用户(其在真实空间中处于与加速状态相同的状态)的力的方向引导用户的头部姿势。
此外,视角控制部61基于来自姿势检测部51的姿势信息来控制虚拟摄像装置的视角。例如,如图1中的C所示,视角控制部61根据当用户在VR空间中处于加速状态时的头部姿势的变化来改变虚拟摄像装置的视角以便使相关视角从第二视角接近第一视角。
以这种方式,视频生成部52生成由于通过视角控制部61控制虚拟摄像装置的视角而产生的视频。将表示所生成的视频的视频信息提供至显示控制部53。
显示控制部53向HMD 10提供来自视频生成部52的视频信息,并且控制由视频信息表示的视频的显示。
(对视频进行视角控制处理的流程)
接下来,将参照图5的流程图描述对呈现在HMD 10上的视频进行的视角控制处理。图5的处理开始于在HMD 10上开始呈现视频。
在步骤S11中,视角控制部61基于由视频生成部52生成的视频来确定用户在VR空间中是否处于加速状态。
重复步骤S11直至确定用户处于加速状态为止,并且当确定用户处于加速状态时,处理进行至步骤S12。
在步骤S12中,视角控制部61根据在加速状态下呈现的视频中的加速度的大小来计算虚拟摄像装置的视角。
在真实空间中,向前的加速度越大,向后拉动用户的身体的力就越强。因此,在VR空间中的向前加速度越大,就越大程度地期望使用户向后弯曲他或她的身体以使得用户能够亲身感测到加速度。
因此,在本实施方式中,在VR空间中的向前加速度越大,就越大程度地使虚拟摄像装置的视角从正前方向向下倾斜。
当由α指示在加速状态下呈现的视频中的加速度并且由d1指示相对于非加速状态下的虚拟摄像装置的视角变化量时,使用给定系数k1通过下式表示视角变化量d1。
d1=k1×α
以这种方式,当已经根据在加速下呈现的视频中的加速度的大小计算了视角(变化量)时,处理前进至步骤S13。
在步骤S13中,视角控制部61基于所计算的视角变化量d1来改变虚拟摄像装置的视角。
在步骤S14中,视角控制部61基于来自姿势检测部51的姿势信息来确定是否已经检测到用户的头部姿势的改变。
重复步骤S14直至确定已经检测到姿势的变化为止,并且在确定检测到姿势改变时,处理前进至步骤S15。
在步骤S15中,视角控制部61根据在加速状态下呈现的视频中的加速度和用户的头部姿势的变化量来再次计算虚拟摄像装置的视角。
在当从正前方向向下倾斜看到视频时的情况下,通过视觉翻正反射使处于向前加速状态的用户向后弯曲他或她的身体,根据身体向后弯曲的程度(向后弯曲的量),使向下倾斜的虚拟摄像装置的视角恢复至正前方向。
例如,当将处于非加速状态的用户的头部的位置和定向用作参考点时,用户的身体的向后弯曲量由h1即从该位置向后行进的量和h2即从该定向向上旋转的量(角度变化量)的乘积限定。
当根据用户的身体的向后弯曲量使虚拟摄像装置的视角恢复至正前方向时的视角变化量d2使用h1×h2(即上面提及的用户的身体的向后弯曲量)以及给定系数k2通过下式表示。
d2=k2×h1×h2
因此,根据用户的头部姿势的变化计算出的视角变化量d3即相对于非加速状态下的视角变化量使用视角变化量d1、视角变化量d2以及给定系数k3由下式表示。
d3=k3(d1-d2)
以这种方式,当已经根据用户的头部姿势的变化计算出了视角(变化量)时,该处理返回至步骤S13,并且在那里,使虚拟摄像装置的视角基于所计算的视角变化量d3改变。
即,其中用户向后弯曲他或她的身体以使视角变化量d2的值与视角变化量d1的值相同的行为使得视角变化量d3的值等于0,从而使得虚拟摄像装置的视角与非加速状态下的视角为相同的视角。
此时,将用户在VR空间内的视场定向成正前方向,并且因此,用户无需进一步向后弯曲身体来保持姿势。因此,这种配置使得用户能够感觉到向后拉动身体的力,并且再现了其中用户在真实空间中以恒定加速度行进的状态。即,此时的h1×h2即此时用户的身体的向后弯曲量可以被认为是使得用户能够亲身感测加速度的理想向后弯曲量。
根据上述处理,当用户在游戏、模拟等中的VR空间中行进同时加速时,用户可以自然地感觉到由加速施加于用户的力,并且因此,这种配置使得可以消除或最小化具有增强的沉浸感的VR病。这种情况使得用户能够在VR空间中享受更逼真的体验。
另外,在上面提及的处理中,采用以下配置:其中被施加至在VR空间中处于加速状态的用户的加速度越大,关于虚拟摄像装置的视角从正前方向向下的变化量就越大。
例如,在用户在真实空间中乘坐的车辆继续加速行进的情况下,控制驾驶变得不可能,并且与另一车辆的碰撞或翻车(rolling)可能发生。
因此,在计算出的虚拟摄像装置的视角的变化量由于其中在VR空间中在加速状态下施加于用户的加速度超过恒定加速度的事件或任何其他类似的事件的发生而超过预定阈值的情况下,可以生成和呈现不同于这样的上面提及的加速状态视频的视频。
例如,在计算出的虚拟摄像装置的视角的变化量已经超过预定阈值的情况下,可以将所呈现的视频从开始加速状态的视频诸如呈现在图1中的B中的显示部11上的视频,切换至与另一车辆碰撞的视频或翻车的视频。
这样的视频呈现使得可以向用户给予进一步增强的沉浸感。
在上面,已经描述了其中HMD用作显示装置的视频呈现系统的配置,然而,可以允许单个显示器用作显示装置。
<3.视频呈现系统的配置的第二示例>
图6是示出其中单个显示器用作显示装置的视频呈现系统的配置的示例的图。
图6示出了其中用户U1在其上安装有传感器81的显示器82的前方观看视频的情况。用户U1的身体位置可以是站立位置或坐下位置。
传感器81包括RGB摄像装置、深度传感器和任何其他部件,并且借助于对用户U1进行骨骼识别等来检测用户U1的姿势。
显示器82被配置为具有大屏幕、大型屏幕等的电视接收器。显示器82呈现用作用户U1在VR空间内的视场的视频。
图7是示出图6的视频呈现系统的配置的示例的框图。
图7的视频呈现系统包括传感器81、显示器82和信息处理装置20。
传感器81对用户U1进行骨骼识别等,并且向信息处理装置20提供表示用户U1的头部姿势的结果姿势信息。
信息处理装置20基于来自传感器81的姿势信息生成视频,并且向显示器82提供表示结果视频的视频信息。
显示器82基于来自信息处理装置20的视频信息呈现要由用户U1观看的视频。
图8是示出由图6和图7的视频呈现系统提供的视频呈现的示例的图。
图8中的A示出了其中用户U1在VR空间中乘坐车辆并且处于其中例如用户U1以恒定速度向前行进的非加速状态的情况。显示器82呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中沿正前方向设置其视角的未示出的虚拟摄像装置捕获。将重力G沿重力的方向(在图8中向下)施加于用户U1的头部。
图8中的B示出了以下情况,其中用户U1已经从图8中的A的状态移动,并且用户U1在VR空间中处于其中用户U1向前行进同时开始加速的加速状态。此时,显示器82呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中沿从正前方向向下倾斜的方向设置其视角的未示出的虚拟摄像装置捕获。即,使用户U1在VR空间内的视场从正前方向向下倾斜。
这种操作给用户U1他或她的头部已经向前倾斜的幻觉,并且这种幻觉引起使用户U1试图恢复至他或她的原始姿势的视觉翻正反射。
因此,如图8中的C所示,用户U1试图通过向后弯曲他或她的身体来向后倾斜他或她的头部以便保持他或她的姿势(以便试图将他或她的视场恢复至正前方向)。这种行为使施加于用户U1的头部的重力G分解成向后施加至头部的力g1和沿着他或她的身体躯干的方向施加至头部的力g2。
即,其中用户U1向后弯曲他或她的身体的行为使身体的重心偏移,并且因此,作为结果,用户U1感觉到向后拉动身体的力。用户U1试图通过拉紧他或她的背部和腿部来保持他或她的姿势来抵抗该力。其中用户U1试图保持他或她的姿势的这种情况引起了在用户U1在真实空间中乘坐车辆并且向前行进同时加速的情况下的类似情况。
此处,在图8中的C的状态下,显示器82响应于用户U1的头部的向后倾斜而呈现下述视频,该视频由其中其视角恢复至正前方向的未示出的虚拟摄像装置捕获。
以这种方式,即使在图6和图7的视频呈现系统中,当用户在VR空间中行进同时加速时,用户也可以自然地感觉到由加速施加于用户的力,并且因此,这种配置使得可以消除或最小化具有增强的沉浸感的VR病。
<4.在其他加速状态下的视频呈现>
在上面,已经描述了当用户在VR空间中处于向前加速状态时的视频呈现的示例,然而,用户在VR空间中的加速方向不限于向前方向。在下文中,将描述用户处于其他加速状态时的视频呈现的示例。
(向后加速状态)
图9是示出当用户处于向后加速状态时的视频呈现的示例的图。注意,向后加速状态不仅包括其中用户向后行进同时加速的状态,而且理所当然地还包括其中用户向前行进同时减速的状态。
图9中的A示出了其中用户U1在VR空间中乘坐车辆并且处于其中例如用户U1以恒定速度向前行进的非加速状态下的情况。显示装置100呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中沿正前方向设置其视角的未示出的摄像装置捕获。显示装置100可以被配置为HMD或单个显示器。
顺便提及,尽管在图9中,用户U1的头部(面部)面向右手侧,但是用户U1实际上应被定位成与显示装置100的显示部直接相对。
图9中的B示出了以下情况,其中用户U1已经从图9中的A的状态移动,并且用户U1在VR空间中处于其中用户U1向前行进同时减速的向后加速状态。此时,显示装置100呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中沿从正前方向向上倾斜的方向设置其视角的未示出的虚拟摄像装置捕获。即,使用户U1在VR空间内的视场从正前方向向上倾斜。
这种操作给用户U1他或她的头部已经向后倾斜的幻觉,并且这种幻觉引起使用户U1试图恢复至他或她的原始姿势的视觉翻正反射。
因此,如图9中的C所示,用户U1试图通过向前弯曲他或她的身体来向前倾斜他或她的头部以便保持他或她的姿势(以便试图将他或她的视场恢复至正前方向)。这种行为使施加于用户U1的头部的重力G分解成向前施加至头部的力g11和沿着他或她的身体躯干的方向施加至头部的力g12。
即,其中用户U1向前弯曲他或她的身体的行为使身体的重心偏移,并且因此,作为结果,用户U1感觉到向前拉动身体的力。用户U1试图通过拉紧他或她的腹部和腿部来保持他或她的姿势以抵抗该力。其中用户U1试图保持他或她的姿势的这种情况引起了在用户U1在真实空间中乘坐车辆并且向前行进同时减速的情况下的类似情况。
此处,在图9中的C的状态下,显示装置100响应于用户U1的头部的向前倾斜而呈现下述视频,该视频由其中其视角恢复至正前方向的未示出的虚拟摄像装置捕获。
以这种方式,在根据本技术的视频呈现系统中,即使在用户在VR空间中行进同时减速的情况下,用户也可以自然地感觉到由减速施加于用户的力,并且因此,这种配置使得可以消除或最小化具有增强的沉浸感的VR病。
(其中涉及转弯的加速状态)
图10是示出当用户处于其中涉及转弯的加速状态时的视频呈现的示例的图。其中涉及转弯的加速状态是其中用户以绕拐角弯曲到向右(或向左)方向的这种方式向前(或向后)行进的状态。
图10中的A示出了其中用户U1在VR空间中乘坐车辆并且处于其中例如用户U1以恒定速度向前行进的非加速状态的情况。显示装置100正在呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中沿正前方向设置其视角的未示出的虚拟摄像装置捕获。
图10中的B示出了以下情形,其中用户U1已经从图10中的A的状态移动,并且用户U1在VR空间中处于其中用户U1向前行进同时向右转弯的其中涉及转弯的加速状态。此时,显示装置100呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中其视角向转弯方向的内侧(即,向右侧)旋转的未示出的虚拟摄像装置捕获。即,使用户U1在VR空间内的水平方向的视场向右倾斜。
这种操作给用户U1他或她的头部已经向右倾斜的幻觉,并且这种幻觉引起使用户U1试图恢复至他或她的原始姿势的视觉翻正反射。
因此,如图10中的C所示,用户U1试图通过向左斜靠他或她的身体来向左倾斜他或她的头部以便保持他或她的姿势(以便试图将他或她的倾斜的水平方向的视场恢复至原始方向)。这种行为使施加于用户U1的头部的重力G分解成向左施加至头部的力g21和沿着他或她的身体躯干的方向施加至头部的力g22。
即,其中用户U1向左斜靠他或她的身体的行为使身体的重心偏移,并且因此,作为结果,用户U1感觉到向左拉动身体的力。用户U1试图通过拉紧他或她的身体和脖子来保持他或她的姿势以抵抗该力。其中用户U1试图保持他或她的姿势的这种情况引起了在用户U1在真实空间中乘坐车辆并且行进同时向右转弯的情况下的类似的情况。
另外,在图10中的C的状态下,显示装置100响应于用户U1的头部的向左倾斜而呈现下述视频,该视频由其中使其视角旋转而恢复至原始视角的未示出的虚拟摄像装置捕获。
以这种方式,在根据本技术的视频呈现系统中,即使在用户在VR空间中行进同时转弯的情况下,用户也可以自然地感觉到由转弯施加于用户的力,并且因此,这种配置使得可以消除或最小化具有增强的沉浸感的VR病。
(横向加速状态)
图11是示出当用户处于横向加速状态时的视频呈现的示例的图。横向加速状态是其中用户行进同时向右(或向左)加速(或减速)的状态。
图11中的A示出了以下情况,其中用户U1在VR空间中乘坐火车并且处于其中如同从用户U1看到的一样用户U1以恒定速度向右行进的非加速状态。显示装置100正在呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中与火车的向前行进方向的左侧直接相对设置其视角的未示出的虚拟摄像装置捕获。因此,在该示例中,由虚拟摄像装置捕获的视频相对于视角向左移动。
图11中的B示出了以下情况,其中用户U1已经从图11中的A的状态移动,并且用户U1在VR空间中处于其中用户U1向右行进同时加速的加速状态。此时,显示装置100呈现下述视频,该视频用作用户U1在VR空间内的视场并且由其中其视角向加速方向的一侧(即,向右)旋转的未示出的虚拟摄像装置捕获。即,使用户U1在VR空间内的水平方向的视场向右倾斜。
这种操作给用户U1他或她的头部已经向右倾斜的幻觉,并且这种幻觉引起使用户U1试图恢复至他或她的原始姿势的视觉翻正反射。
因此,如图11中的C所示,用户U1试图通过向左斜靠他或她的身体来向左倾斜他或她的头部以便保持他或她的姿势(以便试图将他或她的倾斜的水平方向的视场恢复至原始方向)。这种行为使施加于用户U1的头部的重力G分解成向左施加至头部的力g31和沿着他或她的身体躯干的方向施加至头部的力g32。
即,其中用户U1向左斜靠他或她的身体的行为使身体的重心偏移,并且因此,作为结果,用户U1感觉到向左拉动身体的力。用户U1试图通过拉紧他或她的身体和脖子来保持他或她的姿势以抵抗该力。其中用户U1试图保持他或她的姿势的这种情况引起了在用户U1在真实空间中在火车上并且向右行进同时加速的情况下的类似的情况。
另外,在图11中的C的状态下,显示装置100响应于用户U1的头部的向左倾斜而呈现下述视频,该视频由其中使其视角旋转而恢复至原始视角的未示出的虚拟摄像装置捕获。
以这种方式,在根据本技术的视频呈现系统中,即使在用户在VR空间中沿横向方向行进同时加速的情况下,用户也可以自然地感觉到由加速施加于用户的力,并且因此,这种配置使得可以消除或最小化具有增强的沉浸感的VR病。
注意,根据本技术的视频呈现系统可以采用能够呈现向用户给予沉浸感的视频的任何其他配置。
<5.视频呈现系统的配置的其他示例>
图12是示出其中圆顶型显示器用作显示装置的视频呈现系统的配置示例的图。
图12示出了其中用户U1在其上安装有传感器131的显示器132的前方正在观看视频的情况。
传感器131包括RGB摄像装置、深度传感器和任何其他部件,并且借助于对用户U1进行骨骼识别等来检测用户U1的姿势。显示器132被配置为圆顶型显示器并且包括圆顶形的显示面。显示器132呈现用作用户U1在VR空间内的视场的视频。
图13是示出其中移动终端用作显示装置的视频呈现系统的配置示例的图。
图13中示出的移动终端150被配置为例如智能电话、平板终端等,并且包括传感器151和显示部152。
传感器151包括RGB摄像装置、深度传感器和任何其他部件,并且借助于对用户进行骨骼识别等来检测用户的姿势。显示部152被配置为具有触摸面板功能的显示器。显示部152呈现用作用户在VR空间内的视场的视频。
即使在图12和图13的视频呈现系统中,如果这些系统可以呈现给予沉浸感的视频,则当用户在VR空间中行进同时加速时,用户可以自然地感觉到由加速施加于用户的力,并且因此,这种配置使得可以消除或最小化具有增强的沉浸感的VR病。
可以通过硬件或软件来执行上述一系列处理。在通过软件执行上述一系列处理的情况下,从网络或记录介质安装构成该软件的程序。
该记录介质包括例如图3所示的可移动介质31,该可移动介质31与装置主体分开地分配至信息处理装置20的用户以递送程序。可移动介质31由其中记录有程序的存储介质实现,诸如磁盘(包括软盘)、光盘(包括CD-ROM和DVD)、磁光盘或半导体存储器。此外,记录介质不仅由以上这种存储介质来实现,而且还由诸如ROM 22或包括在存储单元28中的硬盘的存储介质来实现,在该记录介质中记录了在预先嵌入装置主体中的状态下递送至管理员的程序。
注意,在本说明书中,描述记录在记录介质中的程序的步骤不仅包括根据上述顺序以时间序列方式执行的处理,而且理所当然地还包括不必以时间序列方式执行并且可以并行或单独执行的处理。
此外,本技术的实施方式不限于上述实施方式,并且在不脱离本技术的主旨的范围内可以对其进行各种变型。
此外,在本说明书中描述的效果仅是示例,而不是限制性示例,并且可以存在其他效果。
此外,本技术可以具有以下配置。
(1)一种信息处理装置,包括:
视频生成部,其基于用户的头部姿势生成由于控制虚拟摄像装置的视角而产生的视频,所述视角对应于所述用户在虚拟空间内的视场,其中,
当所述用户在所述虚拟空间中处于加速状态时,所述视频生成部将所述虚拟摄像装置的视角从当所述用户处于非加速状态时的第一视角改变至基于所述用户的加速度方向的第二视角。
(2)根据(1)所述的信息处理装置,其中,
所述第二视角包括下述视角:视觉翻正反射通过所述视角沿以下力的方向引导所述头部姿势,所述力在真实空间中被施加至处于与所述加速状态相同的状态的用户。
(3)根据(2)所述的信息处理装置,其中,
当所述用户在所述虚拟空间中处于具有向前施加的加速度的所述加速状态时,所述视频生成部使所述虚拟摄像装置的视角从正前方向向下倾斜。
(4)根据(2)所述的信息处理装置,其中,
当所述用户在所述虚拟空间中处于具有向后施加的加速度的所述加速状态时,所述视频生成部使所述虚拟摄像装置的视角从正前方向向上倾斜。
(5)根据(2)所述的信息处理装置,其中,
当所述用户在所述虚拟空间中处于伴随着转弯的所述加速状态时,所述视频生成部将所述虚拟摄像装置的视角旋转至所述转弯的方向的内侧。
(6)根据(2)所述的信息处理装置,其中,
当所述用户在所述虚拟空间中处于具有向左或向右施加的加速度的所述加速状态时,所述视频生成部将所述虚拟摄像装置的视角旋转至所述加速度的方向。
(7)根据(1)至(6)中任一项所述的信息处理装置,其中,
所述加速状态包括其中在所述虚拟空间中将加速度强制施加至所述用户的状态。
(8)根据(7)所述的信息处理装置,其中,
所述加速状态包括其中所述用户借助于独立于所述用户的行进对象在所述虚拟空间中以给定的加速度行进的状态。
(9)根据(8)所述的信息处理装置,其中,
所述行进对象包括由所述用户在所述虚拟空间中乘坐的车辆。
(10)根据(1)至(9)中任一项所述的信息处理装置,其中,
所述视频生成部根据在所述加速状态下所述用户的加速度的大小来控制从所述第一视角至所述第二视角的变化量。
(11)根据(10)所述的信息处理装置,其中,
在所述加速状态下所述用户的加速度越大,所述视频生成部使从所述第一视角至所述第二视角的所述变化量就越大。
(12)根据(10)或(11)所述的信息处理装置,其中,
在从所述第一视角至所述第二视角的所述变化量超过预定阈值的情况下,当所述用户在所述虚拟空间中处于所述加速状态时,所述视频生成部生成不同于第一视频的第二视频。
(13)根据(1)至(12)中任一项所述的信息处理装置,其中,
根据当所述用户在所述虚拟空间中处于所述加速状态时的所述头部姿势的变化,所述视频生成部改变所述虚拟摄像装置的视角以便使所述虚拟摄像装置的视角从所述第二视角接近所述第一视角。
(14)根据(13)所述的信息处理装置,其中,
所述视频生成部基于在对应于当所述用户在所述虚拟空间中处于所述加速状态时从所述第一视角至所述第二视角的所述变化量的值与对应于当所述用户在所述虚拟空间中处于所述加速状态时的所述头部姿势的变化量的值之间的差异来计算所述虚拟摄像装置的视角。
(15)根据(1)至(14)中任一项所述的信息处理装置,还包括:
显示控制部,其控制由显示装置中的所述视频生成部生成的所述视频的显示。
(16)根据(15)所述的信息处理装置,其中,
所述显示装置包括HMD。
(17)根据(15)所述的信息处理装置,其中,
所述显示装置包括单个显示器。
(18)根据(15)所述的信息处理装置,其中,
所述显示装置包括移动终端。
(19)一种信息处理方法,包括:
由信息处理装置基于用户的头部姿势生成由于控制虚拟摄像装置的视角而产生的视频,所述视角对应于所述用户在虚拟空间内的视场;并且
当所述用户在所述虚拟空间中处于加速状态时,由所述信息处理装置将所述虚拟摄像装置的视角从当所述用户处于非加速状态时的第一视角改变至基于所述用户的加速度方向的第二视角。
(20)一种使得计算机能够执行处理的程序,包括:
基于用户的头部姿势,生成由于控制虚拟摄像装置的视角而产生的视频,所述视角对应于所述用户在虚拟空间内的视场;并且
当所述用户在所述虚拟空间中处于加速状态时,将所述虚拟摄像装置的视角从当所述用户处于非加速状态时的第一视角改变至基于所述用户的加速度方向的第二视角。
附图标记列表
10HMD,11显示部,20信息处理装置,51姿势检测部,52视频生成部,53显示控制部,61视角控制部,81传感器,82显示器,150移动终端,151传感器,152显示部。

Claims (20)

1.一种信息处理装置,包括:
视频生成部,其基于与用户相关联的虚拟摄像装置的视角生成视频,其中,所述视角对应于所述用户在虚拟空间内的视场,其中,
当所述用户在所述虚拟空间中处于非加速状态时,所述视频生成部基于所述虚拟摄像装置的第一视角生成所述视频,并且
当所述用户在所述虚拟空间中处于加速状态时,所述视频生成部基于所述虚拟摄像装置的视角的变化将所生成的视频的视角从所述第一视角改变至与所述用户的加速度方向对应的第二视角。
2.根据权利要求1所述的信息处理装置,其中,
所述视频从所述第一视角被改变至所述第二视角,以引起所述用户的视觉翻正反射,所述用户的视觉翻正反射沿以下力的方向改变所述用户在真实空间中的头部姿势,所述力被施加至处于与所述加速状态相同的状态的用户。
3.根据权利要求2所述的信息处理装置,其中,
当所述用户在所述虚拟空间中处于具有向前施加的加速度的所述加速状态时,所述视频生成部使所述虚拟摄像装置的视角从正前方向向下倾斜。
4.根据权利要求2所述的信息处理装置,其中,
当所述用户在所述虚拟空间中处于具有向后施加的加速度的所述加速状态时,所述视频生成部使所述虚拟摄像装置的视角从正前方向向上倾斜。
5.根据权利要求2所述的信息处理装置,其中,
当所述用户在所述虚拟空间中处于伴随着转弯的所述加速状态时,所述视频生成部将所述虚拟摄像装置的视角旋转至所述转弯的方向的内侧。
6.根据权利要求2所述的信息处理装置,其中,
当所述用户在所述虚拟空间中处于具有向左或向右施加的加速度的所述加速状态时,所述视频生成部将所述虚拟摄像装置的视角旋转至加速方向侧。
7.根据权利要求1所述的信息处理装置,其中,
所述加速状态包括以下状态:其中在所述虚拟空间中将加速度强制施加至所述用户。
8.根据权利要求7所述的信息处理装置,其中,
所述加速状态包括以下状态:其中所述用户借助于独立于所述用户的行进对象在所述虚拟空间中以给定的加速度行进。
9.根据权利要求8所述的信息处理装置,其中,
所述行进对象包括由所述用户在所述虚拟空间中乘坐的车辆。
10.根据权利要求1所述的信息处理装置,其中,
所述视频生成部根据在所述加速状态下所述用户的加速度的大小来控制从所述第一视角至所述第二视角的变化量。
11.根据权利要求10所述的信息处理装置,其中,
在所述加速状态下所述用户的加速度越大,所述视频生成部越使从所述第一视角至所述第二视角的所述变化量增大。
12.根据权利要求10所述的信息处理装置,其中,
在从所述第一视角至所述第二视角的所述变化量超过预定阈值的情况下,当所述用户在所述虚拟空间中处于所述加速状态时,所述视频生成部生成不同于第一视频的第二视频。
13.根据权利要求1所述的信息处理装置,其中,
根据当所述用户在所述虚拟空间中处于所述加速状态时的头部姿势的变化,所述视频生成部改变所述虚拟摄像装置的视角以便使所述虚拟摄像装置的视角从所述第二视角接近所述第一视角。
14.根据权利要求13所述的信息处理装置,其中,
所述视频生成部基于在对应于当所述用户在所述虚拟空间中处于所述加速状态时从所述第一视角至所述第二视角的所述变化量的值与对应于当所述用户在所述虚拟空间中处于所述加速状态时的所述头部姿势的变化量的值之间的差异来计算所述虚拟摄像装置的视角。
15.根据权利要求1所述的信息处理装置,还包括:
显示控制部,其控制由所述视频生成部生成的视频在显示装置中的显示。
16.根据权利要求15所述的信息处理装置,其中,
所述显示装置包括HMD。
17.根据权利要求15所述的信息处理装置,其中,
所述显示装置包括单个显示器。
18.根据权利要求15所述的信息处理装置,其中,
所述显示装置包括移动终端。
19.一种信息处理方法,包括:
基于与用户相关联的虚拟摄像装置的视角生成视频,
其中,所述视角对应于所述用户在虚拟空间内的视场,
当所述用户在所述虚拟空间中处于非加速状态时,基于所述虚拟摄像装置的第一视角生成所述视频,并且
当所述用户在所述虚拟空间中处于加速状态时,基于所述虚拟摄像装置的视角的变化将所生成的视频的视角从所述第一视角改变至与所述用户的加速度方向对应的第二视角。
20.一种计算机可读介质,其上存储有程序,所述程序允许计算机执行处理,所述处理包括:
基于与用户相关联的虚拟摄像装置的视角生成视频,
其中,所述视角对应于所述用户在虚拟空间内的视场,
当所述用户在所述虚拟空间中处于非加速状态时,基于所述虚拟摄像装置的第一视角生成所述视频,并且
当所述用户在所述虚拟空间中处于加速状态时,基于所述虚拟摄像装置的视角的变化将所生成的视频的视角从所述第一视角改变至与所述用户的加速度方向对应的第二视角。
CN201980020486.6A 2018-03-26 2019-03-12 信息处理装置、信息处理方法和程序 Active CN111868667B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018057580 2018-03-26
JP2018-057580 2018-03-26
PCT/JP2019/009855 WO2019188229A1 (ja) 2018-03-26 2019-03-12 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN111868667A CN111868667A (zh) 2020-10-30
CN111868667B true CN111868667B (zh) 2024-08-23

Family

ID=68061436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020486.6A Active CN111868667B (zh) 2018-03-26 2019-03-12 信息处理装置、信息处理方法和程序

Country Status (6)

Country Link
US (1) US11480787B2 (zh)
EP (1) EP3779644B1 (zh)
JP (1) JP7235041B2 (zh)
KR (1) KR20200133338A (zh)
CN (1) CN111868667B (zh)
WO (1) WO2019188229A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021095143A1 (ja) * 2019-11-12 2021-05-20 株式会社ハシラス Vr用搭乗装置
DE112021003448T5 (de) * 2020-06-29 2023-07-06 Sony Group Corporation Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012394A1 (ja) * 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント シミュレーションシステム、処理方法及び情報記憶媒体

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2864003C (en) * 2012-02-23 2021-06-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
WO2014008185A1 (en) * 2012-07-02 2014-01-09 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
US9417762B2 (en) * 2013-01-09 2016-08-16 Northrop Grumman Systems Corporation System and method for providing a virtual immersive environment
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
US10380799B2 (en) * 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
US20150138099A1 (en) * 2013-11-15 2015-05-21 Marc Robert Major Systems, Apparatus, and Methods for Motion Controlled Virtual Environment Interaction
KR20160122702A (ko) 2014-02-17 2016-10-24 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US9865089B2 (en) * 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
SG10201907954PA (en) * 2014-11-28 2019-10-30 Haptech Inc Methods and apparatuses for haptic systems
US10163255B2 (en) * 2015-01-07 2018-12-25 Geopogo, Inc. Three-dimensional geospatial visualization
US10684485B2 (en) * 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10300362B2 (en) * 2015-04-23 2019-05-28 Win Reality, Llc Virtual reality sports training systems and methods
US10078917B1 (en) * 2015-06-26 2018-09-18 Lucasfilm Entertainment Company Ltd. Augmented reality simulation
JP2017027163A (ja) * 2015-07-16 2017-02-02 株式会社コロプラ 仮想カメラの制御方法及び制御プログラム
US9766713B2 (en) * 2015-09-08 2017-09-19 Unity IPR ApS System and method for providing user interface tools
WO2017051564A1 (ja) * 2015-09-25 2017-03-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US20170091993A1 (en) * 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data and User Interface
US10724874B2 (en) * 2015-10-13 2020-07-28 Here Global B.V. Virtual reality environment responsive to predictive route navigation
JP6395687B2 (ja) * 2015-10-16 2018-09-26 株式会社カプコン 映像生成方法、映像生成プログラムおよび映像生成装置
JP6675209B2 (ja) * 2016-01-20 2020-04-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびユーザガイド提示方法
JP6092437B1 (ja) 2016-02-02 2017-03-08 株式会社コロプラ 仮想空間画像提供方法、及びそのプログラム
US11314089B2 (en) * 2016-03-07 2022-04-26 Apple Inc. Method and device for evaluating view images
US10518172B2 (en) * 2016-03-07 2019-12-31 Htc Corporation Accessory management of virtual reality system
US11163358B2 (en) * 2016-03-17 2021-11-02 Sony Interactive Entertainment Inc. Spectating virtual (VR) environments associated with VR user interactivity
JP2017182130A (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20170126295A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
WO2017215899A2 (en) * 2016-05-27 2017-12-21 Holobuilder Inc, Augmented and virtual reality
US10981061B2 (en) * 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
JP6774260B2 (ja) * 2016-08-12 2020-10-21 株式会社バンダイナムコアミューズメント シミュレーションシステム
JP6185123B1 (ja) * 2016-08-18 2017-08-23 グリー株式会社 プログラム、制御方法、及び情報処理装置
US10255714B2 (en) * 2016-08-24 2019-04-09 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
US20180061084A1 (en) * 2016-08-24 2018-03-01 Disney Enterprises, Inc. System and method of bandwidth-sensitive rendering of a focal area of an animation
US10617956B2 (en) * 2016-09-30 2020-04-14 Sony Interactive Entertainment Inc. Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10152851B2 (en) * 2016-11-29 2018-12-11 Microsoft Technology Licensing, Llc Notification artifact display
WO2018100906A1 (ja) * 2016-11-30 2018-06-07 グリー株式会社 アプリケーション制御プログラム、アプリケーション制御方法及びアプリケーション制御システム
US10620441B2 (en) * 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US20180182172A1 (en) * 2016-12-28 2018-06-28 Brillio LLC Method and electronic device for managing display information in first immersive mode and second immersive mode
US10373342B1 (en) * 2017-01-10 2019-08-06 Lucasfilm Entertainment Company Ltd. Content generation in an immersive environment
US10503964B1 (en) * 2017-02-10 2019-12-10 Aldin Dynamics, Ehf. Method and system for measuring and visualizing user behavior in virtual reality and augmented reality
US10554950B1 (en) * 2017-03-16 2020-02-04 Amazon Technologies, Inc. Collection of camera calibration data using augmented reality
US10656704B2 (en) * 2017-05-10 2020-05-19 Universal City Studios Llc Virtual reality mobile pod
JP6909286B2 (ja) * 2017-05-18 2021-07-28 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法
US20180373348A1 (en) * 2017-06-22 2018-12-27 Microsoft Technology Licensing, Llc Systems and methods of active brightness depth calculation for object tracking
US10751621B2 (en) * 2017-09-01 2020-08-25 Square Enix Limited Method and system for rendering video game images
US11179635B2 (en) * 2017-10-11 2021-11-23 Sony Interactive Entertainment LLC Sound localization in an augmented reality view of a live event held in a real-world venue
US10930075B2 (en) * 2017-10-16 2021-02-23 Microsoft Technology Licensing, Llc User interface discovery and interaction for three-dimensional virtual environments
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
US10553016B2 (en) * 2017-11-15 2020-02-04 Google Llc Phase aligned foveated rendering
US20190204599A1 (en) * 2017-12-28 2019-07-04 Microsoft Technology Licensing, Llc Head-mounted display device with electromagnetic sensor
US10636188B2 (en) * 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012394A1 (ja) * 2016-07-13 2018-01-18 株式会社バンダイナムコエンターテインメント シミュレーションシステム、処理方法及び情報記憶媒体

Also Published As

Publication number Publication date
EP3779644B1 (en) 2023-03-08
EP3779644A1 (en) 2021-02-17
US11480787B2 (en) 2022-10-25
WO2019188229A1 (ja) 2019-10-03
US20210096361A1 (en) 2021-04-01
KR20200133338A (ko) 2020-11-27
EP3779644A4 (en) 2021-04-28
CN111868667A (zh) 2020-10-30
JP7235041B2 (ja) 2023-03-08
JPWO2019188229A1 (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
US10496158B2 (en) Image generation device, image generation method and non-transitory recording medium storing image generation program
CN110300994B (zh) 图像处理装置、图像处理方法以及图像系统
JP6097377B1 (ja) 画像表示方法及びプログラム
WO2002056792A2 (en) Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
US20110044604A1 (en) Method and apparatus to provide a physical stimulus to a user, triggered by a motion detection in a video stream
CN111868667B (zh) 信息处理装置、信息处理方法和程序
CN113544765A (zh) 信息处理装置、信息处理方法和程序
CN111937045A (zh) 信息处理装置、信息处理方法和记录介质
US10525352B2 (en) Game processing method and recording medium
JP2017220224A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム
WO2021200494A1 (ja) 仮想空間における視点変更方法
JP4040609B2 (ja) 移動体シミュレーション装置及び移動体シミュレーションプログラム
US11417050B2 (en) Image adjustment device, virtual reality image display system, and image adjustment method
JP7443749B2 (ja) 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7363454B2 (ja) 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7443750B2 (ja) バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法
JP7443751B2 (ja) バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法
JP7380177B2 (ja) バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法
JP7322692B2 (ja) 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
JP7423781B2 (ja) Vrアミューズメントプログラムおよび装置
KR101750064B1 (ko) 가상체험 시뮬레이션 장치 및 방법
JP2005306269A (ja) 車載情報提供装置
CN115442581B (zh) 车载vr眼镜控制方法、装置及计算机设备
US20240331253A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP6177965B1 (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant