[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7382954B2 - Ｖｒ酔い低減システム、ヘッドマウントディスプレイ、ｖｒ酔い低減方法及びプログラム - Google Patents

Ｖｒ酔い低減システム、ヘッドマウントディスプレイ、ｖｒ酔い低減方法及びプログラム Download PDF

Info

Publication number
JP7382954B2
JP7382954B2 JP2020553765A JP2020553765A JP7382954B2 JP 7382954 B2 JP7382954 B2 JP 7382954B2 JP 2020553765 A JP2020553765 A JP 2020553765A JP 2020553765 A JP2020553765 A JP 2020553765A JP 7382954 B2 JP7382954 B2 JP 7382954B2
Authority
JP
Japan
Prior art keywords
moving image
swing
swing control
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020553765A
Other languages
English (en)
Other versions
JPWO2020090477A5 (ja
JPWO2020090477A1 (ja
Inventor
順 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2020090477A1 publication Critical patent/JPWO2020090477A1/ja
Publication of JPWO2020090477A5 publication Critical patent/JPWO2020090477A5/ja
Application granted granted Critical
Publication of JP7382954B2 publication Critical patent/JP7382954B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159—Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ＶＲ酔い低減システム、ヘッドマウントディスプレイ、ＶＲ酔い低減方法及びプログラムに関する。
特許文献１には、仮想環境におけるイベントとは無関係な低周波振動を使用してバーチャルリアリティ（ＶＲ）によって引き起こされる酔い（いわゆるＶＲ酔い）を低減する技術が記載されている。
米国特許出願公開第２０１５／０３２５０２７号明細書
発明者らは、ヘッドマウントディスプレイ（ＨＭＤ）の筐体の前面に設けられる振動モータなどを用いてＨＭＤを装着しているユーザの頭部を揺動させることでＶＲ酔いを低減する技術を検討している。ＶＲ酔いは、視点から見た様子を表す動画像がユーザの眼前に配置されているＨＭＤの表示部に表示されている状況における、当該視点の動きとユーザの体感とのずれが引き起こすものと考えられている。そのため表示される動画像と頭部の揺動とを連携させることで、ＶＲ酔いをより低減できるものと思われる。
しかし特許文献１に記載の技術では、上述のように仮想環境におけるイベントとは無関係な低周波振動を使用してＶＲ酔いを低減しており、ＶＲ酔いを低減させることを目的としたＨＭＤの表示と振動との連携は行われていない。
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ＶＲ酔いをより低減できるＶＲ酔い低減システム、ヘッドマウントディスプレイ、ＶＲ酔い低減方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係るＶＲ酔い低減システムは、装着した際にユーザの眼前に配置される表示部を備えたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部と、視点から見た様子を表す動画像を前記表示部に表示させる表示制御部と、前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記揺動部の揺動を制御する揺動制御部と、を含む。
本発明の一態様では、前記揺動制御部は、前記表示部に表示されている前記動画像が、前記視点が加速している状況を表すものであるか否かに応じて、前記揺動部を揺動させるか否かを制御する。
この態様では、前記表示制御部は、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す前記動画像を前記表示部に表示させ、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かを判定する判定部、をさらに含み、前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部を揺動させるか否かを制御してもよい。
あるいは、前記動画像を示す動画像データと、当該動画像において前記視点が加速している状況が表れているフレーム画像を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する取得部、をさらに含み、前記表示制御部は、前記揺動制御動画像データに含まれる前記動画像データが示す動画像を前記表示部に表示させ、前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記視点が加速している状況が表れているフレーム画像が前記表示部に表示されているか否かを判定する判定部、をさらに含み、前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部を揺動させるか否かを制御してもよい。
この態様では、前記動画像データに基づいて、前記揺動制御データを生成する揺動制御データ生成部、をさらに含んでいてもよい。
あるいは、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す動画像を示す前記動画像データと、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かの判定の結果に基づいて生成される前記揺動制御データと、を含む前記揺動制御動画像データを生成する揺動制御動画像データ生成部、をさらに含んでいてもよい。
また、本発明の一態様では、前記表示制御部は、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す前記動画像を前記表示部に表示させ、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かを判定する判定部、をさらに含み、前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御する。
この態様では、前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想カメラの画角内の前記仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御してもよい。
また、前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想カメラに最も近い前記仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動を制御してもよい。
また、前記揺動制御部は、前記判定部による判定の結果、及び、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部を揺動させるか否かを制御してもよい。
あるいは、前記揺動制御部は、前記仮想空間内に配置された仮想オブジェクトと前記仮想カメラとの間の距離に基づいて、前記揺動部の揺動量を制御してもよい。
また、本発明の一態様では、前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部の揺動を制御する。
この態様では、前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部を揺動させるか否かを制御してもよい。
あるいは、前記揺動制御部は、前記動画像に写るオブジェクトの単位時間あたりの移動量に基づいて、前記揺動部の揺動量を制御してもよい。
また、本発明の一態様では、前記動画像を示す動画像データと、当該動画像における前記視点の加速状況を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する取得部、をさらに含み、前記表示制御部は、前記揺動制御動画像データに含まれる前記動画像データが示す動画像を前記表示部に表示させ、前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記表示部に表示されている動画像における前記視点の加速状況を判定する判定部、をさらに含み、前記揺動制御部は、前記判定部による判定の結果に応じて、前記揺動部の揺動を制御する。
この態様では、前記動画像データに基づいて、前記揺動制御データを生成する揺動制御データ生成部、をさらに含んでいてもよい。
あるいは、仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す動画像を示す前記動画像データと、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かの判定の結果に基づいて生成される前記揺動制御データと、を含む前記揺動制御動画像データを生成する揺動制御動画像データ生成部、をさらに含んでいてもよい。
また、本発明の一態様では、前記揺動部は、前記ヘッドマウントディスプレイの筐体の前面に設けられている。
また、本発明に係るヘッドマウントディスプレイは、装着した際にユーザの眼前に配置される表示部と、前記ユーザの頭部を揺動可能な揺動部と、視点から見た様子を表す動画像を前記表示部に表示させる表示制御部と、前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記揺動部を揺動させるか否かを制御する揺動制御部と、を含む。
また、本発明に係るＶＲ酔い低減方法は、ヘッドマウントディスプレイを装着した際にユーザの眼前に配置される表示部に、視点から見た様子を表す動画像を表示させるステップと、前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部を揺動させるか否かを制御するステップと、を含む。
また、本発明に係るプログラムは、ヘッドマウントディスプレイを装着した際にユーザの眼前に配置される表示部に、視点から見た様子を表す動画像を表示させる手順、前記表示部に表示されている前記動画像における前記視点の加速状況に応じて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部を揺動させるか否かを制御する手順、をコンピュータに実行させる。
本発明の一実施形態に係るエンタテインメントシステムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。 仮想空間の一例を示す図である。 揺動制御動画像データのデータ構造の一例を模式的に示す図である。 本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。 仮想空間の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について、図面を参照しながら説明する。
図１は、本発明の一実施形態に係るエンタテインメントシステム１０の全体構成の一例を示す図である。図２Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図２Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。
図１に示すように、本実施形態に係るエンタテインメントシステム１０は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。
本実施形態に係るＨＭＤ１２には、例えば図２Ａに示すように、プロセッサ３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、揺動部４２、が含まれる。
プロセッサ３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。
通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。
入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートやＵＳＢポートなどの入出力ポートである。
表示部３８は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。図１に示すように、表示部３８は、ＨＭＤ１２をユーザが装着した際に当該ユーザの眼前に配置される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
センサ部４０は、例えば、加速度センサやモーションセンサなどのセンサである。センサ部４０は、ＨＭＤ１２の姿勢、回転量、移動量などの計測結果を所定のサンプリングレートで、プロセッサ３０に出力してもよい。
揺動部４２は、本実施形態では、例えば入力される信号に応じて揺動するデバイスである。図１に示すように本実施形態では揺動部４２は、ＨＭＤ１２の筐体４４の前面に設けられている。揺動部４２は、例えば、振動モータなどの振動子であってもよい。また揺動部４２が偏心モータである場合に、入力される信号に応じて揺動部４２に含まれる錘が概ね前後方向に沿った軸として回転することにより、揺動部４２が振動するようにしてもよい。
図１の例では揺動部４２はＨＭＤ１２の筐体４４の前面中央に１つ設けられている。そして揺動部４２は、ＨＭＤ１２を装着しているユーザの頭部を揺動可能である。なおＨＭＤ１２に揺動部４２が複数設けられていてもよい。またこの場合、複数の揺動部４２が左右対称に設けられていてもよい。
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されている、あるいは、光ディスクに記録された、ゲームプログラムの実行やコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由してディスプレイ１８に出力する。
本実施形態に係るエンタテインメント装置１４には、例えば図２Ｂに示すように、プロセッサ５０、記憶部５２、通信部５４、入出力部５６が含まれる。
プロセッサ５０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ５０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５２には、プロセッサ５０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部５２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
通信部５４は、例えば無線ＬＡＮモジュールなどの通信インタフェースなどである。
入出力部５６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。
本実施形態に係る中継装置１６は、例えば制御回路、画像処理回路、音声処理回路等の制御部、メモリ等の記憶部、などを備えたコンピュータである。中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力する。
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
ＨＭＤ１２と中継装置１６とは、例えば、無線によるデータの送受信が互いに可能になっている。なおＨＭＤ１２と中継装置１６とが、ＨＤＭＩケーブルやＵＳＢケーブルなどの有線を介して接続されていてもよい。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。
本実施形態では例えば、エンタテインメント装置１４において一人称視点のゲームのプログラムが実行される。そして例えば、図３に示す仮想空間６０に配置されている仮想カメラ６２から撮影方向６４を見た様子を表す動画像が生成される。ここでは例えば、所定のフレームレートで、当該フレームにおける仮想カメラ６２の位置から撮影方向６４を見た様子を表すフレーム画像が生成される。また図３に示す仮想空間６０は、仮想三次元空間である。仮想カメラ６２の位置や撮影方向６４は、例えばプレイヤによるコントローラ２２の操作やゲームにおいて発生するイベントなどといったゲームのプレイ状況に応じて変化する。仮想カメラ６２の位置や撮影方向６４の変化に応じてＨＭＤ１２の表示部３８に表示されるコンテンツは変化する。仮想カメラ６２の位置や撮影方向６４の更新、フレーム画像の生成、及び、フレーム画像の表示を含む、ゲームのプレイ状況に応じた処理が、上述の所定のフレームレートで実行されてもよい。
そして本実施形態では例えば、仮想カメラ６２の動きに基づいて、仮想カメラ６２が加速度運動をしているか否かが判定される。ここで加速度運動とは、例えば、円運動、等加速度運動、変加速度運動などを指す。なお当該加速度運動が指す運動に、等角加速度運動、変角加速度運動などといった角加速度運動が含まれてもよいし、含まれなくてもよい。例えば一人称視点のゲームにおいては、一人称視点のキャラクタがジャンプしたりダッシュしたりする際に、仮想カメラ６２が加速度運動をしていると判定される。ここで例えば、直近の所定数のフレームにおける仮想カメラ６２の位置や撮影方向６４に基づいて、仮想カメラ６２が加速度運動をしているか否かが判定されてもよい。
そして当該判定の結果に応じて、揺動部４２の揺動（例えば、揺動部４２を揺動させるか否か）が制御される。ここで揺動部４２が振動モータである場合、周波数帯としては１０～２０ヘルツ、加速度値（Ｇ値）としては０．０５～０．５Ｇとなるよう振動モータが振動するよう制御されてもよい。
以上のように本実施形態では、表示部３８に表示されている動画像が、仮想カメラ６２が加速している状況を表すものであるか否かに応じて、揺動部４２を揺動させるか否かが制御される。
ＨＭＤ１２を装着しているユーザの酔い（いわゆるＶＲ酔い）は、視点から見た様子を表す動画像がユーザの眼前に配置されている表示部３８に表示されている状況における、当該視点の動きとユーザの体感とのずれが引き起こすものと考えられている。上述の例では、当該視点の位置が仮想カメラ６２の位置に相当する。また、当該視点の向きが撮影方向６４に相当する。すなわち上述の例におけるＶＲ酔いは、仮想カメラ６２の動きとユーザの体感とのずれが引き起こすものと考えられている。特に感覚器官が集中している頭部の体感はＶＲ酔いに与える影響が大きいものと思われる。
本実施形態では、表示部３８に表示されている動画像における視点の加速状況に応じて、揺動部４２の揺動が制御される。例えば、以上で説明したように、表示部３８に表示されている動画像が、視点が加速している状況を表すものであるか否かに応じて、揺動部４２を揺動させるか否かが制御される。このようにして本実施形態によれば、表示される動画像と頭部の揺動とを連携させることで、ＶＲ酔いをより低減できることとなる。
なお本発明は、仮想カメラ６２によって撮影される仮想空間６０の動画像が表示部３８に表示される場面だけでなく、実カメラによって撮影される実空間の動画像が表示部３８に表示される場面においても同様に適用可能である。例えば、当該実カメラが加速している状況を表すものであるか否かに応じて、揺動部４２を揺動させるか否かが制御されるようにしてもよい。また本発明は、実カメラや仮想カメラ６２によって撮影される動画像ではない、映画コンテンツの動画像などといった、視点から見た様子を表す一般的な動画像についても同様に適用可能である。
また上述のように、本実施形態に係る揺動部４２は、ＨＭＤ１２の筐体４４の前面に設けられている。そのため、揺動部４２をＨＭＤ１２に容易に取り付けることができる。
なお、揺動部４２は、ＨＭＤ１２を装着しているユーザの頭部を揺動可能であれば、ＨＭＤ１２の筐体４４の前面に設けられている必要はない。例えば、揺動部４２が筐体４４の内側の面に設けられていてもよい。また、揺動部４２がＨＭＤ１２に設けられている必要もない。
図４は、本実施形態に係る揺動制御動画像データ６６のデータ構造の一例を模式的に示す図である。本実施形態において、図４に示す揺動制御動画像データ６６が生成されるようにしてもよい。揺動制御動画像データ６６には、例えば、動画像データ６８と、揺動制御データ７０と、が含まれる。
動画像データ６８は、例えば、再生することにより表示部３８に表示される、視点から見た様子を表す動画像を示すデータである。ここで例えば、以上で説明した仮想カメラ６２の動きに応じて生成される動画像が表示部３８に表示されるようにしつつ、当該動画像を示す動画像データ６８が生成されるようにしてもよい。
揺動制御データ７０は、例えば、動画像データ６８が示す動画像における視点の加速状況を特定可能なデータである。揺動制御データ７０は、例えば、動画像データ６８が示す動画像において視点が加速している状況が表れているフレーム画像を特定可能なデータであってもよい。
本実施形態では例えば、動画像データ６８には、所定のフレームレートで生成される複数のフレーム画像が含まれることとする。また本実施形態では、揺動制御データ７０には、それぞれフレーム画像に関連付けられるフレーム揺動制御データが複数含まれることとする。フレーム揺動制御データは、関連付けられるフレーム画像が、視点が加速している状況を表すものである場合は１が設定され、視点が加速している状況を表すものでない場合は０が設定されるフラグであってもよい。図４に示す揺動制御データ７０では、視点が加速している状況が表れているフレーム画像に関連付けられるフレーム揺動制御データ、すなわち値が１であるフレーム揺動制御データは黒塗りで模式的に表現されている。
なお、揺動制御データ７０のデータ形式は上述のものに限定されない。例えば、揺動制御データ７０が、視点が加速している状況が表れているフレーム画像のフレーム番号を示すデータであってもよい。
揺動制御データ７０は、例えば、動画像データ６８が示す動画像を見ながらオペレータが行う操作に応じて設定されてもよい。例えば視点が加速している状況が表れているとオペレータが判断したフレーム画像について、当該オペレータが当該フレーム画像に関連付けられるフレーム揺動制御データの値として１を設定する操作を行ってもよい。そして当該操作に応じて、当該フレーム揺動制御データの値として１が設定されてもよい。
また例えば、画像解析技術を用いることで、動画像データ６８に基づいて、それぞれのフレーム画像について、視点が加速している状況が表れているフレーム画像であるか否かが判定されるようにしてもよい。例えば視点が加速している状況が表れているフレーム画像であるか否かが、当該フレーム画像までの連続する所定数のフレーム画像に基づいて判定されるようにしてもよい。そして当該特定の結果に基づいて、揺動制御データ７０が生成されるようにしてもよい。
また例えば、上述した、仮想カメラ６２の動きに基づく仮想カメラ６２が加速度運動をしているか否かの判定の結果に基づいて、揺動制御データ７０が生成されるようにしてもよい。例えば上述の例において揺動部４２が揺動するよう制御されるタイミングに表示されるフレーム画像に関連付けられるフレーム揺動制御データの値として１が設定されるようにしてもよい。
そして本実施形態において例えば、揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像の再生に応じて、当該揺動制御動画像データ６６に含まれる揺動制御データ７０に基づく揺動制御が行われるようにしてもよい。例えば、揺動制御データ７０に基づいて、視点が加速している状況が表れているフレーム画像が表示部３８に表示されているか否かが判定されてもよい。そして視点が加速している状況が表れているフレーム画像が表示されていると判定された際に、揺動部４２が揺動するよう制御されてもよい。例えば表示部３８に表示されるフレーム画像に関連付けられるフレーム揺動制御データの値が１である場合に、揺動部４２が揺動するようにしてもよい。
また例えば、視点の加速度値又は角加速度値が判定されるようにしてもよい。そして当該加速度値又は角加速度値に応じた揺動制御が行われるようにしてもよい。例えば加速度値又は角加速度値が大きいほど揺動部４２が大きく揺動するよう揺動部４２が制御されてもよい。また逆に、表示部３８に表示されている動画像が、視点が加速している状況を表すものである際に、視点の加速度値又は角加速度値に関係なく、揺動部４２が所定の大きさの揺動をするよう制御されてもよい。
また例えばゲーム配信の場面において、ゲームのプレイ中にリアルタイムで揺動制御動画像データ６６の生成、及び、ネットワークを介して接続された他のエンタテインメントシステム１０への当該揺動制御動画像データ６６の送信が行われるようにしてもよい。そして揺動制御動画像データ６６を受信したエンタテインメントシステム１０において、当該揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像が表示されるようにしてもよい。また揺動制御動画像データ６６を受信したエンタテインメントシステム１０において、上述のような、当該揺動制御動画像データ６６に含まれる揺動制御データ７０に基づく、表示される動画像と連携した揺動部４２の揺動制御が行われるようにしてもよい。
以下、本実施形態に係るエンタテインメント装置１４で実装される機能、及び、本実施形態に係るエンタテインメント装置１４で行われる処理について、さらに説明する。
図５は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図５に示す機能のすべてが実装される必要はなく、また、図５に示す機能以外の機能が実装されていても構わない。
図５に示すように、本実施形態に係るエンタテインメント装置１４には、機能的には例えば、プログラム実行部８０、動画像データ生成部８２、判定部８４、揺動制御データ生成部８６、揺動制御動画像データ生成部８８、揺動制御動画像データ記憶部９０、揺動制御動画像データ取得部９２、表示制御部９４、揺動制御部９６、が含まれる。
プログラム実行部８０、動画像データ生成部８２、判定部８４、揺動制御データ生成部８６、揺動制御動画像データ生成部８８は、プロセッサ５０を主として実装される。揺動制御動画像データ記憶部９０は、記憶部５２を主として実装される。揺動制御動画像データ取得部９２は、プロセッサ３０又は通信部５４を主として実装される。表示制御部９４、揺動制御部９６は、プロセッサ５０及び入出力部５６を主として実装される。
そして以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ５０で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給される。
プログラム実行部８０は、本実施形態では例えば、ゲームのプログラムなどのプログラムを実行する。
動画像データ生成部８２は、本実施形態では例えば、ゲームのプレイ状況に応じた動画像などといった、プログラム実行部８０によるプログラムの実行結果に応じた動画像を示す動画像データ６８を生成する。動画像データ生成部８２は、仮想空間６０内に配置された仮想カメラ６２から仮想空間６０を見た様子を表す動画像を生成してもよい。
判定部８４は、本実施形態では例えば、表示部３８に表示されているフレーム画像における視点の加速状況を判定する。ここで判定部８４は、視点が加速している状況が表れているフレーム画像が表示部３８に表示されているか否かを判定してもよい。判定部８４は、例えば、仮想カメラ６２が仮想空間６０内において加速度運動をしているか否かを判定してもよい。ここで上述のように、当該加速度運動が指す運動に、角加速度運動が含まれてもよいし、含まれなくてもよい。
揺動制御データ生成部８６は、本実施形態では例えば、上述の揺動制御データ７０を生成する。揺動制御データ生成部８６は、判定部８４による、仮想空間６０内に配置された仮想カメラ６２が仮想空間６０内において加速度運動をしているか否かの判定の結果に基づいて、揺動制御データ７０を生成してもよい。
また、揺動制御データ生成部８６は、視点から見た様子を表す動画像を示す動画像データ６８に基づいて、揺動制御データ７０を生成してもよい。例えば揺動制御データ生成部８６は、動画像データ生成部８２が生成する動画像データ６８に基づいて、揺動制御データ７０を生成してもよい。
揺動制御動画像データ生成部８８は、本実施形態では例えば、上述の揺動制御動画像データ６６を生成する。ここで揺動制御動画像データ生成部８８が、例えば、動画像データ生成部８２が生成する動画像データ６８と、揺動制御データ生成部８６が生成する揺動制御データ７０と、を含む揺動制御動画像データ６６を生成してもよい。ここで当該動画像データ６８が、仮想カメラ６２から仮想空間６０を見た様子を表す動画像を示すデータであり、当該揺動制御データ７０が、仮想カメラ６２が仮想空間６０内において加速度運動をしているか否かの判定の結果に応じたデータであってもよい。
また揺動制御動画像データ６６に含まれる動画像データ６８は、プログラム実行部８０によるプログラムの実行結果に応じた動画像を示す動画像データ６８である必要はない。揺動制御動画像データ６６に含まれる動画像データ６８は、例えば上述のように、実カメラによって撮影される実空間の動画像を示す動画像データ６８であってもよい。また動画像データ６８は、ゲームのプレイ状況に応じた動画像を示すものである必要はなく、例えば、映画等のコンテンツの動画像を示すものであってもよい。また動画像データ６８が示す動画像は、実カメラや仮想カメラ６２により撮影される動画像である必要もない。
揺動制御動画像データ記憶部９０は、本実施形態では例えば、上述の揺動制御動画像データ６６を記憶する。ここで揺動制御動画像データ記憶部９０が、揺動制御動画像データ生成部８８が生成する揺動制御動画像データ６６を記憶してもよい。
また揺動制御動画像データ６６はユーザによって購入可能であってもよい。そしてユーザによって購入された揺動制御動画像データ６６が揺動制御動画像データ記憶部９０に記憶されてもよい。
揺動制御動画像データ取得部９２は、本実施形態では例えば、揺動制御動画像データ６６を取得する。ここで揺動制御動画像データ取得部９２が、揺動制御動画像データ記憶部９０に記憶されている揺動制御動画像データ６６を取得してもよい。また揺動制御動画像データ取得部９２が、他のエンタテインメントシステム１０から送信される揺動制御動画像データ６６を受信してもよい。
表示制御部９４は、本実施形態では例えば、視点から見た様子を表す動画像を表示部３８に表示させる。ここで例えば、表示制御部９４は、中継装置１６を経由してＨＭＤ１２に当該動画像を送信してもよい。そしてＨＭＤ１２が、受信した動画像を表示部３８に表示させてもよい。
また、表示制御部９４は、仮想空間６０内に配置された仮想カメラ６２から仮想空間６０を見た様子を表す動画像を表示部３８に表示させてもよい。また表示制御部９４は、実空間内に配置された実カメラから実空間を見た様子を表す動画像を表示部３８に表示させてもよい。
また、表示制御部９４は、揺動制御動画像データ取得部９２が取得する揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像を表示部３８に表示させてもよい。
揺動制御部９６は、本実施形態では例えば、表示部３８に表示されている動画像における視点の加速状況に応じて、揺動部４２の揺動を制御する。揺動制御部９６は、表示部３８に表示されている、視点から見た様子を表す動画像が、当該視点が加速している状況を表すものであるか否かに応じて、揺動部４２を揺動させるか否かを制御してもよい。ここで例えば、揺動制御部９６は、揺動部４２を制御するための制御信号を、中継装置１６を経由してＨＭＤ１２に送信してもよい。そしてＨＭＤ１２は、受信した制御信号に基づいて揺動部４２の揺動制御を行ってもよい。
また揺動制御部９６は、判定部８４による判定の結果に応じて、揺動部４２を揺動させるか否かを制御してもよい。
また判定部８４が、揺動制御動画像データ取得部９２が取得する揺動制御動画像データ６６に含まれる揺動制御データ７０に基づいて、視点が加速している状況が表れているフレーム画像が表示部３８に表示されているか否かを判定してもよい。例えば表示されるフレーム画像に関連付けられているフレーム揺動制御データの値が１である場合に、視点が加速している状況が表れているフレーム画像が表示部３８に表示されていると判定されてもよい。そして揺動制御部９６は、判定部８４による当該判定の結果に応じて、揺動部４２を揺動させるか否かを制御してもよい。
ここで、本実施形態に係るエンタテインメント装置１４において行われる処理の流れの一例を、図６に例示するフロー図を参照しながら説明する。図６に示す処理例は、仮想カメラ６２の動きに基づく、揺動部４２の揺動制御処理の流れの一例である。なお本処理例では、揺動制御動画像データ生成部８８によって予め生成された空の揺動制御動画像データ６６が、揺動制御動画像データ記憶部９０に記憶されていることとする。
また図６に示すＳ１０１～Ｓ１０７に示す処理は、所定のフレームレートで繰り返し実行される。
まず、プログラム実行部８０が、コントローラ２２から受け付ける操作信号やゲームにおいて発生したイベントなどを含むゲームのプレイ状況に基づいて、仮想カメラ６２の位置及び撮影方向６４を変更する（Ｓ１０１）。
そして動画像データ生成部８２が、仮想カメラ６２から撮影方向６４を見た様子を表すフレーム画像を生成する（Ｓ１０２）。
そして判定部８４が、仮想カメラ６２が加速度運動をしているか否かを判定する（Ｓ１０３）。
ここで仮想カメラ６２が加速度運動をしていると判定されたとする（Ｓ１０３：Ｙ）。この場合は、表示制御部９４が、Ｓ１０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行するとともに、揺動制御部９６が、揺動部４２を揺動させる揺動制御を実行する（Ｓ１０４）。この場合は、揺動部４２は揺動する。
一方、仮想カメラ６２が加速度運動をしていないと判定されたとする（Ｓ１０３：Ｎ）。この場合は、表示制御部９４が、Ｓ１０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行する（Ｓ１０５）。この場合は、揺動部４２は揺動しない。ここで揺動制御部９６が、揺動部４２を揺動させない揺動制御を実行してもよい。
Ｓ１０４又はＳ１０５に示す処理が終了すると、揺動制御データ生成部８６が、Ｓ１０３に示す処理における判定結果に応じた、本ループにおけるフレーム揺動制御データを生成する（Ｓ１０６）。ここでは例えば本ループにおいてＳ１０４に示す処理が実行された場合は、値が１であるフレーム揺動制御データが生成される。また例えば本ループにおいてＳ１０５に示す処理が実行された場合は、値が０であるフレーム揺動制御データが生成される。
そして、揺動制御動画像データ生成部８８が、揺動制御動画像データ記憶部９０に記憶されている揺動制御動画像データ６６を更新する（Ｓ１０７）。ここでは例えば、Ｓ１０２に示す処理で生成されたフレーム画像が当該揺動制御動画像データ６６に含まれる動画像データ６８に追加される。また例えば、Ｓ１０６に示す処理で生成された本ループにおけるフレーム揺動制御データが、当該フレーム画像に関連付けられた状態で、当該揺動制御動画像データ６６に含まれる揺動制御データ７０に追加される。そして、Ｓ１０１に示す処理に戻る。
なお、Ｓ１０６に示す処理及びＳ１０７に示す処理が実行されなくてもよい。
次に、本実施形態に係るエンタテインメント装置１４において行われる別の処理の流れの一例を、図７に例示するフロー図を参照しながら説明する。図７に示す処理例は、揺動制御動画像データ取得部９２が取得する揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像の再生の際に実行される、揺動部４２の揺動制御処理の流れの一例である。
また図７に示すＳ２０１～Ｓ２０４に示す処理は、所定のフレームレートで繰り返し実行される。
まず、表示制御部９４が、揺動制御動画像データ６６に含まれる動画像データ６８に示されている、本ループにおけるフレーム画像を特定する（Ｓ２０１）。
そして、判定部８４が、揺動制御動画像データ６６に含まれる揺動制御データ７０に基づいて、Ｓ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものであるか否かを判定する（Ｓ２０２）。ここでは例えば、Ｓ２０１に示す処理で特定されたフレーム画像に関連付けられているフレーム揺動制御データの値が１である場合に、Ｓ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものであると判定される。またＳ２０１に示す処理で特定されたフレーム画像に関連付けられているフレーム揺動制御データの値が０である場合に、Ｓ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものではないと判定される。
ここでＳ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものであると判定されたとする（Ｓ２０２：Ｙ）。この場合は、表示制御部９４が、Ｓ２０１に示す処理で特定されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行するとともに、揺動制御部９６が、揺動部４２を揺動させる揺動制御を実行する（Ｓ２０３）。この場合は、揺動部４２は揺動する。
一方、Ｓ２０１に示す処理で特定されたフレーム画像が、視点が加速している状況を表すものでないと判定されたとする（Ｓ２０２：Ｎ）。この場合は、表示制御部９４が、Ｓ１０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行する（Ｓ２０４）。この場合は、揺動部４２は揺動しない。ここで揺動制御部９６が、揺動部４２を揺動させない揺動制御を実行してもよい。
そして、Ｓ２０１に示す処理に戻る。
なお、本実施形態において、揺動制御部９６が、判定部８４による判定の結果、及び、図８に示す仮想空間６０内に配置された仮想オブジェクト１００と仮想カメラ６２との間の距離ｄに基づいて、揺動部４２の揺動を制御してもよい。例えば、揺動制御部９６が、判定部８４による判定の結果、及び、仮想空間６０内に配置された仮想オブジェクト１００と仮想カメラ６２との間の距離ｄに基づいて、揺動部４２を揺動させるか否かを制御してもよい。
揺動制御部９６は、判定部８４による判定の結果、及び、仮想カメラ６２の画角（撮影範囲）内に配置されている仮想オブジェクト１００と仮想カメラ６２との間の距離ｄに基づいて、揺動部４２の揺動を制御してもよい。ここで、揺動制御部９６は、仮想カメラ６２の視点の位置Ｐ１と当該視点の位置Ｐ１に最も近い仮想オブジェクト１００の表面上の点の位置Ｐ２との間の距離ｄを特定してもよい。
また、揺動制御部９６は、複数の仮想オブジェクトのうちから特定される仮想カメラ６２に最も近い仮想オブジェクトと、仮想カメラ６２と、の間の距離ｄを特定してもよい。
例えば、仮想カメラ６２の画角内に複数の仮想オブジェクトが配置されているとする。この場合、揺動制御部９６は、これらの仮想オブジェクトのうちから仮想カメラ６２に最も近い仮想オブジェクトを特定してもよい。そして、揺動制御部９６は、特定された仮想オブジェクトと仮想カメラ６２との間の距離ｄを特定してもよい。
そして、判定部８４によって仮想カメラ６２が仮想空間６０内において加速度運動をしていると判定され、かつ、距離ｄが所定の距離ｄ１よりも短い場合に、揺動制御部９６は、揺動部４２を揺動させる揺動制御を実行してもよい。
また、揺動制御部９６は、仮想空間６０内に配置された仮想オブジェクト１００と仮想カメラ６２との間の距離ｄに基づいて、揺動部４２の揺動量を制御してもよい。例えば、揺動制御部９６は、距離ｄに基づいて、揺動部４２の揺動量を決定してもよい。そして、揺動制御部９６は、決定される揺動量で揺動するよう揺動部４２を制御してもよい。ここで例えば、距離ｄが短いほど大きな揺動量が決定されてもよい。この場合、距離ｄが短いほど揺動部４２が大きく揺動するよう揺動部４２は制御される。
また、揺動制御部９６は、画像解析技術を用いることで、動画像データ６８が示す動画像に写るオブジェクトを特定してもよい。そして、揺動制御部９６が、特定されるオブジェクトのフレーム画像内における単位時間あたりの移動量を特定してもよい。この場合、表示部３８が三次元画像の表示ができるものであっても、揺動制御部９６は、当該三次元画像を二次元画像に置き換えて、オブジェクトの移動量を特定してもよい。すなわち、オブジェクトの移動量を特定する際には、オブジェクトの奥行き方向の移動は考慮されなくてもよい。
そして、揺動制御部９６は、特定される移動量に基づいて、揺動部４２の揺動を制御してもよい。
揺動制御部９６は、例えば、特定される移動量に基づいて、揺動部４２を揺動させるか否かを制御してもよい。揺動制御部９６は、例えば、特定される移動量が所定の移動量よりも大きい場合に、揺動部４２を揺動させる揺動制御を実行してもよい。
また、揺動制御部９６は、特定される移動量に基づいて、揺動部４２の揺動量を制御してもよい。例えば、特定される移動量が大きいほど揺動部４２が大きく揺動するよう揺動部４２が制御されてもよい。
例えば、あるフレームのフレーム画像に写るオブジェクトの中心の位置と、当該フレームの直前のフレームのフレーム画像に写る当該オブジェクトの中心の位置と、の間の距離が特定されてもよい。そして、特定される距離に基づいて、揺動部４２の揺動を制御してもよい。例えば特定される距離が所定の距離よりも大きい場合に、揺動制御部９６は、揺動部４２を揺動させる揺動制御を実行してもよい。また、特定される距離が大きいほど揺動部４２が大きく揺動するよう揺動部４２が制御されてもよい。
また、動画像データ６８が示す動画像に写る複数のオブジェクトが特定される場合は、フレーム画像内における単位時間あたりの移動量が最も大きなオブジェクトが特定されてもよい。そして、特定されるオブジェクトの単位時間あたりの移動量に基づいて、揺動部４２の揺動が制御されてもよい。
また、揺動制御部９６は、当該フレームのフレーム画像に含まれる画素の画素値と、直前のフレームのフレーム画像に含まれる当該画素に対応する画素の画素値と、の差を特定してもよい。そして、揺動制御部９６は、すべての画素について特定される画素値の差の合計に基づいて、揺動部４２の揺動を制御してもよい。例えば特定される合計が所定値よりも大きい場合に、揺動制御部９６は、揺動部４２を揺動させる揺動制御を実行してもよい。また、特定される合計が大きいほど揺動部４２が大きく揺動するよう揺動部４２が制御されてもよい。
ここで、本実施形態に係るエンタテインメント装置１４において行われる別の処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。図９に示す処理例は、図６に示すような、仮想カメラ６２の動きに基づく、揺動部４２の揺動制御処理の流れの別の一例である。なお本処理例では、揺動制御動画像データ生成部８８によって予め生成された空の揺動制御動画像データ６６が、揺動制御動画像データ記憶部９０に記憶されていることとする。
また図９に示すＳ３０１～Ｓ３０８に示す処理は、所定のフレームレートで繰り返し実行される。
図９に示すＳ３０１～Ｓ３０３に示す処理は、図６に示すＳ１０１～Ｓ１０３に示す処理と同様であるため、説明を省略する。
Ｓ３０３に示す処理で、仮想カメラ６２が加速度運動をしていると判定されたとする（Ｓ３０３：Ｙ）。この場合は、揺動制御部９６は、上述のようにして、仮想カメラ６２と仮想オブジェクト１００との間の距離ｄを特定し、距離ｄが所定の距離ｄ１よりも短いか否かを判定する（Ｓ３０４）。
距離ｄが所定の距離ｄ１よりも短い場合は、表示制御部９４が、Ｓ３０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行するとともに、揺動制御部９６が、揺動部４２を揺動させる揺動制御を実行する（Ｓ３０５）。この場合は、揺動部４２は揺動する。
Ｓ３０３に示す処理で、仮想カメラ６２が加速度運動をしていないと判定されたとする（Ｓ３０３：Ｎ）。あるいは、Ｓ３０４に示す処理で、距離ｄが所定の距離ｄ１以上であると判定されたとする（Ｓ３０４：Ｎ）。これらのいずれかの場合は、表示制御部９４が、Ｓ３０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行する（Ｓ３０６）。この場合は、揺動部４２は揺動しない。ここで揺動制御部９６が、揺動部４２を揺動させない揺動制御を実行してもよい。
Ｓ３０５又はＳ３０６に示す処理が終了すると、揺動制御データ生成部８６が、Ｓ３０３及びＳ３０４に示す処理における判定結果に応じた、本ループにおけるフレーム揺動制御データを生成する（Ｓ３０７）。ここでは例えば本ループにおいてＳ３０５に示す処理が実行された場合は、値が１であるフレーム揺動制御データが生成される。また例えば本ループにおいてＳ３０６に示す処理が実行された場合は、値が０であるフレーム揺動制御データが生成される。
そして、揺動制御動画像データ生成部８８が、揺動制御動画像データ記憶部９０に記憶されている揺動制御動画像データ６６を更新する（Ｓ３０８）。ここでは例えば、Ｓ３０２に示す処理で生成されたフレーム画像が当該揺動制御動画像データ６６に含まれる動画像データ６８に追加される。また例えば、Ｓ３０７に示す処理で生成された本ループにおけるフレーム揺動制御データが、当該フレーム画像に関連付けられた状態で、当該揺動制御動画像データ６６に含まれる揺動制御データ７０に追加される。そして、Ｓ３０１に示す処理に戻る。
なお、Ｓ３０７に示す処理及びＳ３０８に示す処理が実行されなくてもよい。
次に、本実施形態に係るエンタテインメント装置１４において行われる別の処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。図１０に示す処理例は、図９に示すＳ３０１～Ｓ３０８に示す処理で生成された揺動制御動画像データ６６に含まれる動画像データ６８が示す動画像の再生の際に実行される、揺動部４２の揺動制御処理の流れの一例である。
また図１０に示すＳ４０１～Ｓ４０４に示す処理は、所定のフレームレートで繰り返し実行される。
まず、表示制御部９４が、揺動制御動画像データ６６に含まれる動画像データ６８に示されている、本ループにおけるフレーム画像を特定する（Ｓ４０１）。
そして、判定部８４が、Ｓ４０１に示す処理で特定されたフレーム画像に関連付けられているフレーム揺動制御データの値が１であるか否かを確認する（Ｓ４０２）。
ここでフレーム揺動制御データの値が１であることが確認されたとする（Ｓ４０２：Ｙ）。この場合は、表示制御部９４が、Ｓ２０１に示す処理で特定されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行するとともに、揺動制御部９６が、揺動部４２を揺動させる揺動制御を実行する（Ｓ４０３）。この場合は、揺動部４２は揺動する。
一方、フレーム揺動制御データの値が０であることが確認されたとする（Ｓ４０２：Ｎ）。この場合は、表示制御部９４が、Ｓ１０２に示す処理で生成されたフレーム画像をＨＭＤ１２の表示部３８に表示させる表示制御を実行する（Ｓ４０４）。この場合は、揺動部４２は揺動しない。ここで揺動制御部９６が、揺動部４２を揺動させない揺動制御を実行してもよい。
そして、Ｓ４０１に示す処理に戻る。
本実施形態において、上述のフレーム揺動制御データが、揺動量を示すデータであってもよい。そしてこの場合、例えば、揺動制御データ生成部８６は、揺動量を示すフレーム揺動制御データが生成されてもよい。ここで、揺動部４２を揺動させない場合は、揺動制御データ生成部８６は、値が０であるフレーム揺動制御データを生成してもよい。そしてこの場合、揺動制御部９６が、フレーム揺動制御データが示す揺動量で揺動するよう揺動部４２を揺動させる揺動制御を実行してもよい。
なお、本発明は上述の実施形態に限定されるものではない。
例えばＨＭＤ１２、エンタテインメント装置１４、中継装置１６の役割分担は上述のものに限定されない。例えば図５に示す機能の一部（例えば表示制御部９４、及び、揺動制御部９６）又は全部がＨＭＤ１２によって実装されてもよい。
また例えば、揺動制御部９６が、例えばユーザの操作などによって、揺動部４２の揺動制御のオン、オフを切り替えるようにしてもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (7)

  1. 装着した際にユーザの眼前に配置される表示部を備えたヘッドマウントディスプレイと、
    前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部と、
    動画像を示す動画像データと、当該動画像において視点が加速している状況が表れているフレーム画像を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する取得部と、
    前記揺動制御動画像データに含まれる前記動画像データが示す前記動画像を前記表示部に表示させる表示制御部と、
    前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記視点が加速している状況が表れているフレーム画像が前記表示部に表示されているか否かを判定する判定部と、
    前記判定部による判定の結果に応じて、前記揺動部を揺動させるか否かを制御する揺動制御部と、
    を含むことを特徴とするＶＲ酔い低減システム。
  2. 前記動画像データに基づいて、前記揺動制御データを生成する揺動制御データ生成部、をさらに含む、
    ことを特徴とする請求項１に記載のＶＲ酔い低減システム。
  3. 仮想空間内に配置された仮想カメラから前記仮想空間を見た様子を表す動画像を示す前記動画像データと、前記仮想カメラが前記仮想空間内において加速度運動をしているか否かの判定の結果に基づいて生成される前記揺動制御データと、を含む前記揺動制御動画像データを生成する揺動制御動画像データ生成部、をさらに含む、
    ことを特徴とする請求項１に記載のＶＲ酔い低減システム。
  4. 前記揺動部は、前記ヘッドマウントディスプレイの筐体の前面に設けられている、
    ことを特徴とする請求項１から３のいずれか一項に記載のＶＲ酔い低減システム。
  5. 装着した際にユーザの眼前に配置される表示部と、
    前記ユーザの頭部を揺動可能な揺動部と、
    動画像を示す動画像データと、当該動画像において視点が加速している状況が表れているフレーム画像を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する取得部と、
    前記揺動制御動画像データに含まれる前記動画像データが示す前記動画像を前記表示部に表示させる表示制御部と、
    前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記視点が加速している状況が表れているフレーム画像が前記表示部に表示されているか否かを判定する判定部と、
    前記判定部による判定の結果に応じて、前記揺動部を揺動させるか否かを制御する揺動制御部と、
    を含むことを特徴とするヘッドマウントディスプレイ。
  6. 動画像を示す動画像データと、当該動画像において視点が加速している状況が表れているフレーム画像を特定可能な揺動制御データと、を含む揺動制御動画像データを取得するステップと、
    ヘッドマウントディスプレイを装着した際にユーザの眼前に配置される表示部に、前記揺動制御動画像データに含まれる前記動画像データが示す前記動画像を表示させるステップと、
    前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記視点が加速している状況が表れているフレーム画像が前記表示部に表示されているか否かを判定するステップと、
    前記判定するステップでの判定の結果に応じて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部を揺動させるか否かを制御するステップと、
    を含むことを特徴とするＶＲ酔い低減方法。
  7. 動画像を示す動画像データと、当該動画像において視点が加速している状況が表れているフレーム画像を特定可能な揺動制御データと、を含む揺動制御動画像データを取得する手順、
    ヘッドマウントディスプレイを装着した際にユーザの眼前に配置される表示部に、前記揺動制御動画像データに含まれる前記動画像データが示す前記動画像を表示させる手順、
    前記揺動制御動画像データに含まれる前記揺動制御データに基づいて、前記視点が加速している状況が表れているフレーム画像が前記表示部に表示されているか否かを判定する手順、
    前記判定する手順での判定の結果に応じて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部を揺動可能な揺動部を揺動させるか否かを制御する手順、
    をコンピュータに実行させることを特徴とするプログラム。
JP2020553765A 2018-11-01 2019-10-16 Ｖｒ酔い低減システム、ヘッドマウントディスプレイ、ｖｒ酔い低減方法及びプログラム Active JP7382954B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018206572 2018-11-01
JP2018206572 2018-11-01
PCT/JP2019/040723 WO2020090477A1 (ja) 2018-11-01 2019-10-16 Ｖｒ酔い低減システム、ヘッドマウントディスプレイ、ｖｒ酔い低減方法及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2020090477A1 JPWO2020090477A1 (ja) 2021-09-24
JPWO2020090477A5 JPWO2020090477A5 (ja) 2022-09-26
JP7382954B2 true JP7382954B2 (ja) 2023-11-17

Family

ID=70464060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020553765A Active JP7382954B2 (ja) 2018-11-01 2019-10-16 Ｖｒ酔い低減システム、ヘッドマウントディスプレイ、ｖｒ酔い低減方法及びプログラム

Country Status (5)

Country Link
US (2) US11687159B2 (ja)
EP (1) EP3876524A4 (ja)
JP (1) JP7382954B2 (ja)
CN (1) CN112913225B (ja)
WO (1) WO2020090477A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160089298A1 (en) 2014-09-29 2016-03-31 Otolith Sound Inc Device for Mitigating Motion Sickness and Other Responses to Inconsistent Sensory Information
US11284205B2 (en) 2016-11-14 2022-03-22 Otolith Sound Inc. Systems, devices, and methods for treating vestibular conditions
JP2021124529A (ja) * 2020-01-31 2021-08-30 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JPWO2023079748A1 (ja) 2021-11-08 2023-05-11
WO2023171422A1 (ja) * 2022-03-10 2023-09-14 株式会社ソニー・インタラクティブエンタテインメント 表示制御システム、表示制御方法、プログラム
TWI815353B (zh) * 2022-03-16 2023-09-11 國立清華大學 用於減緩動暈症的頭戴式裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176296A1 (en) 2012-12-19 2014-06-26 HeadsUp Technologies, Inc. Methods and systems for managing motion sickness
US20150325027A1 (en) 2014-05-09 2015-11-12 Dreamworks Animation Llc Method and system for reducing motion sickness in virtual reality ride systems
JP2017049468A (ja) 2015-09-03 2017-03-09 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2017182130A (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018514005A (ja) 2015-02-05 2018-05-31 株式会社ソニー・インタラクティブエンタテインメント 乗り物酔いの監視及び、酔いを抑えるための追加音の付与

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339490A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp Ｖｒ酔い低減方法
US8619080B2 (en) * 2008-09-08 2013-12-31 Disney Enterprises, Inc. Physically present game camera
US9094749B2 (en) * 2012-07-25 2015-07-28 Nokia Technologies Oy Head-mounted sound capture device
US9549870B2 (en) * 2013-05-27 2017-01-24 Iman Shafieloo Smart joint care
KR101507242B1 (ko) * 2013-10-21 2015-03-31 포항공과대학교 산학협력단 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
WO2017051564A1 (ja) * 2015-09-25 2017-03-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP6448527B2 (ja) * 2015-12-10 2019-01-09 キヤノン株式会社 周波数制御装置、モータ駆動装置および光学機器
JP6689694B2 (ja) 2016-07-13 2020-04-28 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2018082363A (ja) * 2016-11-18 2018-05-24 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6246310B1 (ja) * 2016-12-22 2017-12-13 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および、装置
CN107621883B (zh) * 2017-10-18 2020-05-08 炫彩互动网络科技有限公司 一种基于手机终端的虚拟现实系统及人机交互方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140176296A1 (en) 2012-12-19 2014-06-26 HeadsUp Technologies, Inc. Methods and systems for managing motion sickness
US20150325027A1 (en) 2014-05-09 2015-11-12 Dreamworks Animation Llc Method and system for reducing motion sickness in virtual reality ride systems
JP2018514005A (ja) 2015-02-05 2018-05-31 株式会社ソニー・インタラクティブエンタテインメント 乗り物酔いの監視及び、酔いを抑えるための追加音の付与
JP2017049468A (ja) 2015-09-03 2017-03-09 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2017182130A (ja) 2016-03-28 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20230280834A1 (en) 2023-09-07
JPWO2020090477A1 (ja) 2021-09-24
US11687159B2 (en) 2023-06-27
CN112913225B (zh) 2024-10-29
EP3876524A1 (en) 2021-09-08
US20210389822A1 (en) 2021-12-16
EP3876524A4 (en) 2022-12-28
WO2020090477A1 (ja) 2020-05-07
CN112913225A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
JP7382954B2 (ja) Ｖｒ酔い低減システム、ヘッドマウントディスプレイ、ｖｒ酔い低減方法及びプログラム
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
US11806615B2 (en) Asynchronous virtual reality interactions
CN107735152B (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
US9219961B2 (en) Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus
US11107183B2 (en) Adaptive mesh skinning in a foveated rendering system
US10758821B2 (en) Operation input system, operation input device, and game system for adjusting force feedback control
JP6757420B2 (ja) 音声制御装置、音声制御方法及びプログラム
US11086587B2 (en) Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space
JP6530453B2 (ja) ゲームプログラム及びゲームシステム
JP7011721B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN110825219B (zh) 电子设备、电子设备的控制方法和电子系统
JP6499805B2 (ja) 映像表示装置および映像表示方法
WO2023171421A1 (ja) 通知制御システム、通知制御方法、プログラム
WO2024166207A1 (ja) 振動制御装置、ｖｒ装置、振動制御方法及びコンピュータプログラム
JP2020174329A (ja) 情報処理装置、表示方法およびコンピュータプログラム
JP6737842B2 (ja) ゲームプログラム、およびゲーム装置
WO2024006634A1 (en) Use of machine learning to transform screen renders from the player viewpoint

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231107

R150 Certificate of patent or registration of utility model

Ref document number: 7382954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150