JP7260673B2 - 映像表示装置及び映像表示方法 - Google Patents
映像表示装置及び映像表示方法 Download PDFInfo
- Publication number
- JP7260673B2 JP7260673B2 JP2021566701A JP2021566701A JP7260673B2 JP 7260673 B2 JP7260673 B2 JP 7260673B2 JP 2021566701 A JP2021566701 A JP 2021566701A JP 2021566701 A JP2021566701 A JP 2021566701A JP 7260673 B2 JP7260673 B2 JP 7260673B2
- Authority
- JP
- Japan
- Prior art keywords
- exercise
- display device
- specific object
- display
- viewer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 18
- 238000001514 detection method Methods 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 description 50
- 210000003128 head Anatomy 0.000 description 29
- 238000012545 processing Methods 0.000 description 27
- 238000011084 recovery Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 24
- 230000001737 promoting effect Effects 0.000 description 22
- 238000012544 monitoring process Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 9
- 208000003464 asthenopia Diseases 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010052904 Musculoskeletal stiffness Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 208000026843 stiff neck Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0658—Position or arrangement of display
- A63B2071/0661—Position or arrangement of display arranged on the user
- A63B2071/0666—Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/803—Motion sensors
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Physical Education & Sports Medicine (AREA)
- Business, Economics & Management (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Educational Technology (AREA)
- Signal Processing (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Ophthalmology & Optometry (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、映像表示装置及び映像表示方法に関する。
ヘッドマウントディスプレイ(Head Mount Display、以下「HMD」と記載する)、スマートフォン、タブレット端末等の映像表示装置でコンテンツを視聴する際に、視聴者が長時間に亘って同じ姿勢を取り続けることで眼精疲労を感じることがある。この眼精疲労の解消に貢献する技術として、特許文献1には「画像表示装置の画面上で水平方向に往復移動する所定のオブジェクトの画像を生成する画像生成手段と、オブジェクトの画像を、画像表示装置の画面に自動的に表示する表示制御手段と、を有し、オブジェクトの画像は、下方を見るユーザがこれを目で追うようにすることで、ユーザの疲労を回復させられるようになっている、疲労回復支援装置(要約抜粋)」が開示されている。
また、特許文献2には「コンテンツの視聴者がまばたきすることを促す電子機器であって、前記視聴者が前記コンテンツを視聴する際に、前記視聴者にまばたきのタイミングを報知するまばたき報知手段を含む電子機器、及び前記視聴者が前記コンテンツを視聴する際に、前記視聴者による入力操作を検知する入力操作検知手段を含み、入力操作検知手段が、前記視聴者による入力操作を第一の所定の時間以上連続して検知しなかった場合に、まばたき報知手段は、前記視聴者に前記まばたきのタイミングを報知する(要約抜粋)」との記載がある。
上記特許文献1、2は、長時間映像表示装置や電子機器を使用すると視聴者の状況に関係な目の運動を促すことで眼精疲労の軽減の効果が期待できる。しかし視聴者が感じる疲労は眼精疲労だけでなく、首や肩のこり等、視聴者の体の広い部分にも生じうる。この体の広い部分に生じうる疲労の軽減については特許文献1、2では考慮されておらず、課題が残る。
本発明は、上記課題を解決するためになされたものであり、映像表示装置でコンテンツを視聴する際に視聴者の目の疲労に限定することなく、より広い部位に生じる疲労の解消が期待できる映像表示装置及び映像表示方法を提供することを目的とする。
上記課題を解決するために、本発明は請求の範囲に記載の構成を有する。その一例をあげるならば、本発明は映像表示装置であって、ディスプレイと、前記ディスプレイに表示されたコンテンツを視聴している際の前記映像表示装置の運動量を検出してセンサ情報を出力する運動量検出センサと、前記コンテンツの視聴時間を計測するタイマーと、前記ディスプレイ、前記運動量検出センサ、及び前記タイマーの其々に接続されたプロセッサと、を備え、前記プロセッサは、前記タイマーから前記視聴時間を取得し、予め定められた長さの視聴時間内に取得された前記センサ情報に基づいて前記映像表示装置の運動量を演算し、前記運動量と前記視聴者に対して運動を促進するかを判定するための運動促進閾値とを比較し、前記運動量が前記運動促進閾値以下になると、前記ディスプレイの表示領域内に特定オブジェクトを表示し、前記特定オブジェクトの表示位置は、前記ディスプレイの表示領域内の画素の位置を示す2次元座標系と実空間の位置を示す外部座標系とを対応付けた座標系で定義され、前記プロセッサは、前記外部座標系に従って前記特定オブジェクトの表示位置を前記表示領域の内側から外側に向かって移動させる、ことを特徴とする。
本発明によれば、映像表示装置でコンテンツを視聴する際に視聴者の目の疲労に限定することなく、より広い部位に生じる疲労の解消が期待できる。上記以外の目的、構成、効果については下記の実施形態において明らかにされる。
以下、本発明の実施形態を図面を用いて説明する。全図を通じて同一の構成には同一の符号を付し、重複説明を省略する。
<第1実施形態>
図1は、本実施形態に係るヘッドマウントディスプレイ(HMD)1の外観図である。図1のHMD1は、シースルー方式のHMD1である。HMD1は、透過あるいは半透過のディスプレイ73を有する。HMD1を装着した装着者2(図6参照)は、ディスプレイ73に表示された仮想オブジェクトや映像を外景に重畳して見ることができる。なお、本実施形態では、図示はしていないが、没入型のHMDにも適用可能である。没入型のHMDを装着した装着者2は、直接周囲の景色を見ることはなく、VRの世界(仮想現実)を見る。更に、没入型のHMDは、ビデオスルー方式、即ち、アウトカメラ72(図2参照)で撮像した外界映像のデータを使い、外界映像に仮想オブジェクトを重畳した映像を視認する。本実施形態は、上記いずれの方式にも適用可能であるが、シースルー方式のHMD1を例に挙げて説明する。
図1は、本実施形態に係るヘッドマウントディスプレイ(HMD)1の外観図である。図1のHMD1は、シースルー方式のHMD1である。HMD1は、透過あるいは半透過のディスプレイ73を有する。HMD1を装着した装着者2(図6参照)は、ディスプレイ73に表示された仮想オブジェクトや映像を外景に重畳して見ることができる。なお、本実施形態では、図示はしていないが、没入型のHMDにも適用可能である。没入型のHMDを装着した装着者2は、直接周囲の景色を見ることはなく、VRの世界(仮想現実)を見る。更に、没入型のHMDは、ビデオスルー方式、即ち、アウトカメラ72(図2参照)で撮像した外界映像のデータを使い、外界映像に仮想オブジェクトを重畳した映像を視認する。本実施形態は、上記いずれの方式にも適用可能であるが、シースルー方式のHMD1を例に挙げて説明する。
[HMDのハードウェア構成例]
図2は、HMD1における内部構成の一例を示すハードウェア構成図である。
図2は、HMD1における内部構成の一例を示すハードウェア構成図である。
HMD1は、システムバス3と、システムバス3に接続されたメインプロセッサ20、RAM41、ROM42、フラッシュメモリ43、GPS(Global Positioning System)受信器51、地磁気センサ52、距離センサ53、加速度センサ54、ジャイロセンサ55、タイマー56、無線通信I/F61、電話網通信I/F62、インカメラ71、アウトカメラ72、ディスプレイ73、マイク81、スピーカ82、オーディオデコーダ83、ボタンスイッチ91、及びタッチパネル92を含む。
メインプロセッサ20は、所定の動作プログラムに従ってHMD1全体を制御する。CPU、MPU、専用の論理回路等、構成部品は限定されない。
システムバス3は、メインプロセッサ20とHMD1内の各構成要素とを相互に接続するデータ通信路である。メインプロセッサ20とHMD1内の各構成要素とは、システムバス3を介して各種コマンドやデータなどの送受信を行う。
RAM41は、メインプロセッサ20が各種プログラムを実行する際に使用するワークエリアなどの書き替え可能なプログラム作業領域を構成する。
ROM42及びフラッシュメモリ43は、HMD1の機能を実現するための各種プログラムと、動作設定値、後述するセンサからの検出値を含むセンサ情報、仮想オブジェクト及びコンテンツなどの各種表示用データを記憶する。ROM42及びフラッシュメモリ43は、HMD1に外部から電源が供給されていない状態であっても記憶している情報を保持する、所謂不揮発性ストレージである。
フラッシュメモリ43は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶する。フラッシュメモリ43に記憶された各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。
更にフラッシュメモリ43は、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、インカメラ71又はアウトカメラ72が撮影した動画や静止画等のデータを記憶可能である。
RAM41、ROM42、フラッシュメモリ43はストレージの一例であり、他のデバイス、例えばSSD(Solid State Drive)などの半導体素子メモリ、HDD(Hard Disc Drive)などの磁気ディスクドライブ等のデバイスが用いられてもよい。
メインプロセッサ20は、GPS受信器51、地磁気センサ52、距離センサ53、加速度センサ54、及びジャイロセンサ55の其々のセンサ情報を取得し、タイマー56が計測した視聴時間も取得する。そして、センサ情報及び視聴時間を用いてHMD1の位置、傾き、方角、動き等を検出する。また、HMD1が、照度センサ、近接センサ、高度センサ等、他のセンサを更に備えていても良い。
無線通信I/F61は、無線アクセスポイント等を介してインターネット等のネットワークと接続され、前記ネットワーク上の各サーバとデータの送受信を行う。無線アクセスポイント等との接続はWi-Fi(登録商標)や、BlueTooth(登録商標)を用いてもよい。
電話網通信I/F62は、GSM(登録商標)(Global System for Mobile Communications)方式、W-CDMA(Wideband Code Division Multiple Access)方式やCDMA2000方式、UMTS(Universal Mobile Telecommunications System)方式などの第3世代移動通信システム(以下「3G」と表記する)、またはLTE(Long Term Evolution)方式、第4世代(4G)、第5世代(5G)と呼ばれる通信方式で、移動体通信網を利用して基地局を通して通信ネットワークに接続され、通信ネットワーク上のサーバと情報の送受信を行う。
無線通信I/F61と電話網通信I/F62は、それぞれ符号化回路や復号回路やアンテナ等を備える。
また、HMD1は、赤外線通信I/F等、他の通信I/Fを備えていても良い。
インカメラ71及びアウトカメラ72は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラである。
ディスプレイ73は、例えば液晶パネル等の表示デバイスであり、画像データをHMD1の装着者2に提供する。HMD1は、図示を省略したビデオRAMを備える。前記ビデオRAMに入力された画像データに基づいてディスプレイ73の画面上に仮想オブジェクトや映像が表示される。
マイク81は、装着者2の声などを音声データに変換して入力する。
スピーカ82は、音声情報等を出力する。
オーディオデコーダ83は、必要に応じて、符号化音声信号の復号処理を行う。
ボタンスイッチ91及びタッチパネル92は、HMD1に対する操作指示の入力を行う操作デバイスである。操作デバイスは、ボタンスイッチ91やタッチパネル92に限定されない。例えば有線通信または無線通信により接続された別体の携帯端末機器(例えばスマートフォンやタブレット端末)からHMD1の操作信号を送信し、HMD1が操作信号を受信し、この操作信号に従って操作してもよい。またマイク81から音声を入力し、メインプロセッサ20が音声認識処理を実行して操作信号を生成し、HMD1の動作制御を行ってもよい。
なお、図2に示したHMD1の構成例は、本実施形態に必須ではない構成も含んでいるが、これらが備えられていない構成であっても本実施形態の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
[HMD1の機能ブロック]
図3は、HMD1における機能ブロック構成の一例を示すブロック図である。図3に示す各機能ブロック部は、メインプロセッサ20がROM42やフラッシュメモリ43に格納されたプログラムをRAM41にロードして実行することにより構成される。
図3は、HMD1における機能ブロック構成の一例を示すブロック図である。図3に示す各機能ブロック部は、メインプロセッサ20がROM42やフラッシュメモリ43に格納されたプログラムをRAM41にロードして実行することにより構成される。
主制御部30は、HMD1の動作を制御する。
センサ情報取得部31は、GPS受信器51、地磁気センサ52、距離センサ53、加速度センサ54、及びジャイロセンサ55の其々から、センサ情報を取得する。センサ情報取得部31は、取得したセンサ情報をストレージ(例えばフラッシュメモリ43)の作業領域からなるセンサ情報記憶部32に格納する。センサ情報取得部31は、タイマー56が計測した視聴時間も取得し、運動量解析部33や運動量監視部35が視聴時間を参照する。
運動量解析部33は、センサ情報記憶部32に格納された一定期間ごとのセンサ情報を読み出し、装着者2の移動量、移動速度、移動方向を解析し運動量情報を生成する。運動量解析部33は、運動量情報をストレージ(例えばフラッシュメモリ43)の作業領域からなる運動量情報記憶部34に格納する。
運動量監視部35は、運動量情報記憶部34に格納された運動量情報を読み出し、設定された時間の運動量情報を累積する。そして累積値に基づいて、HMD1の装着者2の運動状態を監視する。
運動促進部36は、運動量監視部35の累積値に基づいて、HMD1の装着者2に対して運動を促進させるための映像を表示するための制御を行う。
[HMD1の処理内容]
図4は、HMD1の全体の処理の流れを示すフローチャートである。
図4は、HMD1の全体の処理の流れを示すフローチャートである。
HMD1の処理は、大きく分けて、通常視聴モードと運動量監視モード及びそれに続く運動促進モードがある。通常視聴モードは、HMD1の装着者2が自由に操作してコンテンツやアプリを楽しむモードである。運動量監視モードは、通常視聴モード中におけるHMD1の装着者2の頭部の運動量を監視し、必要に応じて疲労を解消するための疲労回復運動を促進する運動促進モードへと遷移させるモードである。HMD1は、主電源がONになると通常視聴モードと運動量監視モードとを並列で実行する。
[通常視聴モード]
通常視聴モードとして、例えばコンテンツの表示処理を例に挙げて説明する。HMD1のメインプロセッサ20は、コンテンツの表示開始指示の入力をボタンスイッチ91やタッチパネル92から受け付けるまで待機する(S101:NO)。メインプロセッサ20が表示開始指示の入力を受け付けると(S101:YES)、コンテンツの表示処理を開始する(S102)。
通常視聴モードとして、例えばコンテンツの表示処理を例に挙げて説明する。HMD1のメインプロセッサ20は、コンテンツの表示開始指示の入力をボタンスイッチ91やタッチパネル92から受け付けるまで待機する(S101:NO)。メインプロセッサ20が表示開始指示の入力を受け付けると(S101:YES)、コンテンツの表示処理を開始する(S102)。
[運動量監視モード]
主制御部30は、コンテンツの視聴時間Tを計測するタイマー56を0にリセットし、かつ累積運動量M1、M2、M3の値を0にリセットする(S201)。本実施形態ではHMD1の装着者2(図6参照)の頭部の運動量として、頭の回転・平行・上下移動量の計測を行う。そこで、HMD1の装着者の頭部の運動量を計測するためのセンサ情報として特に地磁気センサ52、加速度センサ54及びジャイロセンサ55を用いる。地磁気センサ52のセンサ情報の累積値を第1累積運動量M1、加速度センサ54のセンサ情報の累積値を第2累積運動量M2、及びジャイロセンサ55のセンサ情報の累積値を第3累積運動量M3で表す。
主制御部30は、コンテンツの視聴時間Tを計測するタイマー56を0にリセットし、かつ累積運動量M1、M2、M3の値を0にリセットする(S201)。本実施形態ではHMD1の装着者2(図6参照)の頭部の運動量として、頭の回転・平行・上下移動量の計測を行う。そこで、HMD1の装着者の頭部の運動量を計測するためのセンサ情報として特に地磁気センサ52、加速度センサ54及びジャイロセンサ55を用いる。地磁気センサ52のセンサ情報の累積値を第1累積運動量M1、加速度センサ54のセンサ情報の累積値を第2累積運動量M2、及びジャイロセンサ55のセンサ情報の累積値を第3累積運動量M3で表す。
センサ情報取得部31は、GPS受信器51、地磁気センサ52、距離センサ53、加速度センサ54、及びジャイロセンサ55からセンサ情報を取得し、センサ情報記憶部32に格納する。またタイマー56による視聴時間Tの計測も開始する(S202)。
運動量解析部33は、センサ情報記憶部32から地磁気センサ52、加速度センサ54及びジャイロセンサ55のセンサ情報を読み出し、M1、M2、M3を其々演算し、その演算結果を運動量情報として運動量情報記憶部34に格納する。
運動量監視部35は、M1、M2、M3の其々について予め設定された第1下限運動量(M1th)、第2下限運動量(M2th)、第3下限運動量(M3th)をストレージから読み出す。また運動量監視部35は、運動量情報記憶部34からM1、M2、M3を読み出す。そして、下式(1)~(3)の判定処理を行う(S203)。
M1>M1th・・・(1)
M2>M2th・・・(2)
M3>M3th・・・(3)
M1>M1th・・・(1)
M2>M2th・・・(2)
M3>M3th・・・(3)
式(1)から式(3)の判定結果に一つでも肯定であれば(S203:YES)、ステップS201へ戻る。この場合、HMD1の装着者の頭部は運動促進が必要となるほどには静止していないと推定される。
一方、式(1)~式(3)の判定結果が全て否定であれば(S203:NO)、ステップS204へ進む。この場合、HMD1の装着者2の頭部の運動量が少ないため運動促進が必要と推定される。
運動量監視部35は、視聴時間Tと予め設定された許容時間閾値Tthを用いて下式(4)の判定処理を行う(S204)
T>Tth・・・(4)
T>Tth・・・(4)
式(4)の判定結果が否定であれば(S204:NO)、ステップS202へ戻る。この場合、HMD1の装着者2の頭部の運動量は運動促進が必要な程度に少ないと推定されたものの、運動量が少ない状態が許容時間閾値Tth以上には続いていないので、運動促進は現時点では不要と判定される。
一方、式(4)の判定結果が肯定であれば(S204:YES)、通常視聴モードを中断し(S103)、運動促進モードに遷移する(S300)。この場合、HMD1の装着者2の頭部の運動量が少ない状態が長く続いており、HMD1の装着者2に運動を促進すべきと推定される。
[運動促進モード]
図5は、運動促進モードの処理の流れを示すフローチャートである。
図5は、運動促進モードの処理の流れを示すフローチャートである。
運動促進部36は、疲労回復運動に用いるオブジェクト(以下「特定オブジェクト」という)をディスプレイ73の表示領域100内に表示する(S301)。
図6は、通常視聴モードの視聴状態を示す図である。
図6(a)は、通常視聴モードにおいてHMD1の装着者2が視認している風景を示す。通常視聴モードでは、ディスプレイ73の表示領域100にコンテンツ111を表示する。装着者2は現実の風景にコンテンツ111を重畳して視聴する。
図6(b)は、現実空間の3次元空間における装着者2の位置とコンテンツ111が仮想的に見える位置との関係を示す。通常視聴モードで表示されるコンテンツ111は、装着者2が移動しても見たいコンテンツであるので、表示領域100に対して固定された位置に表示される。
また、現実空間の3次元空間に仮想的に配置されている仮想オブジェクトであれば、現実空間内の3次元座標に対して固定的に配置される。例えば、テーブル112に対して固定されたコップの仮想オブジェクト113は、装着者2が頭を動かすことで表示領域100と装着者2の視線の延長上に仮想オブジェクト113がある場合にのみ、装着者2が視聴できる。そのため、図6では装着者2は仮想オブジェクト113を視聴できていない。
図7は運動促進モードの視聴状態を示す図である。
運動促進部36は、ディスプレイ73の表示領域100内に特定オブジェクト120を表示する(図7(a))。図7(b)は、現実空間の3次元空間における装着者2の位置と特定オブジェクト120が仮想的に見える位置との関係を示す。図6(b)の装着者2の頭部の位置及び角度と図7(b)の装着者2の頭部の位置及び角度とは変化ないものとする。
図5の説明に戻る。運動促進部36は、図8の運動リストを参照し、装着者2に促す疲労回復運動で用いる運動パターンを決定する(S302)。
図8は、運動テーブルを示す図である。運動テーブルでは、頭部の運動として回転運動、左右運動、上下運動が登録されており、最初に装着者2に向かせる方向や、回転方向、速度、運動の回数が設定されている。ここで、速度は5段階に設定できるとした場合の中間の速度であると設定した例である。
運動促進部36が疲労回復運動を決定するアルゴリズムはいくつかあるが、例えば、式(1)~式(3)のうち、運動促進閾値以下となった運動量を補間するように決定してもよい。より詳しくは、運動促進部36がM1、M2、M3の値を解析し、装着者2の頭部の運動方向と運動量を演算する。そして、運動量が少ない運動方向から順に従って、疲労回復運動に用いる運動種類、順序、及び回数を決定してもよい。
図9は、決定された疲労回復運動の運動パターンを示す図である。疲労回復運動では、図8に登録された運動から選択された種類と、実行順番と、実行回数が規定されている。
運動促進部36は、回復運動に規定された運動パターンに従って表示領域100内における特定オブジェクト120の表示位置を移動させる(S303)。
図10は、特定オブジェクト120の表示位置の規定する外部座標系と表示領域100の2次元座標系との対応関係を示す図である。
運動促進部36は、GPS受信器51からHMD1の現在位置を取得する。この現在位置は、GPS座標系、即ち現実世界の3次元座標系で定義された座標であり本明細書では外部座標系と称する。なお、屋内にいる場合等、GPS受信器51から正確な現在位置が取得できない場合がある。その場合、GPS受信器51から正確な現在位置が記録された地点から、HMD1に搭載された加速度センサ54等の情報から算出した移動距離を加味して現在位置としてもよい。また、HMD1の起動時点の位置を外部座標系の原点として処理し、GPS受信器51から正確な現在位置が取得された後に現在位置を補正することも可能である。また、図10では片眼の表示例を用いて説明するが、両眼表示で3次元表示をする場合は、現実世界の3次元座標系にある特定オブジェクト120を各々の目の表示領域に変換して表示する。
運動促進部36は、表示領域100内の画素P0、P1、P2、P3を、表示領域100内の2次元座標系(st座標系)と現実空間の位置を示す外部座標系(xyz座標系)とを対応付けた座標系とを対応付けて表示領域100の2次元座標系を外部座標系に変換するキャリブレーションデータを生成する。
P0:(s0,t0)(x0,y0,z0)
P1:(s1,t0)(x1,y0,z0)
P2:(s0,t2)(x0,y2,z0)
P3:(s1,t2)(x1,y2,z0)
P0:(s0,t0)(x0,y0,z0)
P1:(s1,t0)(x1,y0,z0)
P2:(s0,t2)(x0,y2,z0)
P3:(s1,t2)(x1,y2,z0)
運動促進部36は、特定オブジェクト120の表示位置を外部座標系に沿って移動させる。その際、特定オブジェクト120の表示位置の外部座標系の座標を、上記キャリブレーションを用いて表示領域100の2次元座標に変換することで、外部座標系の所望の位置に特定オブジェクトを表示できる。
又は、運動促進部36は、特定オブジェクト120の外部座標系で示された表示位置が、表示領域100を含む面の法線ベクトルVであって、表示領域100の画素を通る法線ベクトルV上にある場合はディスプレイ73に特定オブジェクト120を表示するように構成してもよい。この場合、特定オブジェクト120の表示位置が2次元座標系のいずれかの点の法線ベクトルV上にない場合は、特定オブジェクト120をディスプレイに表示しない。
運動促進部36は、P0、P1、P2、P3の外部座標系の座標を下式(5)に適用し、表示領域100を含む面の外部座標系で定義された式を求める。
ax+by+cz=d・・・(5)
ax+by+cz=d・・・(5)
その後運動促進部36は、式(5)に基づいてP0、P1、P2、P3の各点を通る表示領域100を含む面の法線ベクトルV0、V1、V2、V3を求める。V0、V1、V2、V3で囲まれた3次元空間内101に特定オブジェクト120がある場合は、表示領域100を透過する装着者2の視線上に特定オブジェクト120があるので、装着者2に視認させるために表示領域100に表示する。
図10において特定オブジェクト120を表示領域100の内側から図10の紙面左方向に沿って外側に向けて移動させた結果、3次元空間内101から特定オブジェクト120が逸脱すると、装着者2は視認できなくなる。よって、運動促進部36は外部座標系に沿って特定オブジェクト120の表示位置を移動させた結果、3次元空間内101から逸脱し始めると特定オブジェクト120_outに示すように、3次元空間内101から逸脱した部分から順に表示領域100に非表示にする。つまり、特定オブジェクト120の表示位置の外部座標系の座標に対応する表示領域100内の画素が存在する場合は、当該画素に特定オブジェクト120を表示し、特定オブジェクト120の表示位置の外部座標系の座標に対応する表示領域100内の画素が存在しない場合は、ディスプレイ75に表示しない。
図7(c)は、特定オブジェクト120を図7(a)よりも更に上方に移動させた状態を示している。図7(d)では、装着者2は頭を仰角方向に動かすので(即ち、頭部が運動している)、現実空間に対するHMD1の表示領域100も移動し、特定オブジェクト120を見ている状態を示している。
運動促進部36は、装着者2の頭部の傾き角度(例えば仰角)θが予め定められた実行判定閾値θth以上であるかを下式(6)により判定する(S304)。
θ≧θth・・・(6)
θ≧θth・・・(6)
図11は、運動確認リスト例を示す図である。運動確認リストには、各運動のポイント毎に頭の角度について、運動が達成できたかを判定するための実行判定閾値θthが規定されている。
式(6)が否定の場合(S304:NO)、ステップS303へ戻り特定オブジェクトの移動を継続する。式(6)が肯定の場合(S304:YES)、その運動は実行済みであると推定できるので次の運動又は疲労回復運動を終了する。そこで、運動促進部36は、図9で規定した運動パターン及び回数が全て終了していなければ(S305:NO)、次の移動方向を選択し(即ち移動方向を変更し)(S306)、その移動方向に向かって特定オブジェクト120を移動させる(S303)。上記では、上を向かせる表示について説明したが、同様に特定オブジェクト120を下や左右へ移動、更に、周囲を移動させることにより、装着者2の頭を動かすように促すことができる。
一方、図9で決定した疲労回復運動の運動パターンと回数を全て終了していれば(S305:YES)、疲労回復運動を終了させる。メインプロセッサ20は、通常視聴モードを再開する(S101)と共に、運動量監視モードも再開する(S201)。
本実施形態によれば、装着者2が通常視聴モードでコンテンツ111を視聴している間、装着者2の頭部の運動量を監視し、運動量が小さい状態が許容時間閾値Tth経過すると、運動促進モードに移行する。そして、特定オブジェクト120の表示位置を強制的に、即ち装着者2の操作指示によらずに移動させることにより、装着者2が特定オブジェクト120を目で覆う結果、頭部に動きが生じる。更に装着者2に頭部の運動量を確認することで、疲労回復運動が適切に実行されていることを確認することができる。その結果、装着者2がHMD1のコンテンツ111の視聴に集中し、頭部の運動量が減少した場合に、より効果的に頭部や首の運動を促進させることができる。
<第2実施形態>
[没入型HMDイメージ]
図12及び図13は、装着者2が、没入型のHMD1で映像を視聴している状態を示す図である。没入型のHMD1の場合、装着者2は、アウトカメラ72で撮影した外部映像をディスプレイ73の表示領域100に表示して現実世界の風景を視認する。また外部映像に仮想オブジェクトやコンテンツを重畳して視認する。図12(a)は、アウトカメラ72が撮像した現実世界の部分領域を映した外部映像が表示領域100に表示された状態を視認している状況を示す。図12(b)は、図12(a)の映像を装着者2が視認しているときの装着者2の頭部の姿勢例を示す。
[没入型HMDイメージ]
図12及び図13は、装着者2が、没入型のHMD1で映像を視聴している状態を示す図である。没入型のHMD1の場合、装着者2は、アウトカメラ72で撮影した外部映像をディスプレイ73の表示領域100に表示して現実世界の風景を視認する。また外部映像に仮想オブジェクトやコンテンツを重畳して視認する。図12(a)は、アウトカメラ72が撮像した現実世界の部分領域を映した外部映像が表示領域100に表示された状態を視認している状況を示す。図12(b)は、図12(a)の映像を装着者2が視認しているときの装着者2の頭部の姿勢例を示す。
第1実施形態と第2実施形態との違いは、第1実施形態における特定オブジェクト120が仮想オブジェクトを用いた実施形態であったが、第2実施形態では、特定オブジェクトとして仮想オブジェクトではなく、外部映像を縮小表示した特定オブジェクト121(図13(a)参照)を用いる点である。
運動促進部36は、運動促進モードに移行すると、運動促進モードに入る直前の映像を、表示領域100の大きさから徐々に縮小して特定オブジェクト121を生成する。そして第1実施形態と同様に、特定オブジェクト121を移動させる。特定オブジェクト121は通常視聴モードにより表示されていたコンテンツの縮小映像でもよいし、通常視聴モードとしてコンテンツが表示されず、外部映像のみが表示されている場合は、外部映像の縮小映像でもよい。
運動促進部36は、特定オブジェクト121の周辺部分(背景領域)は、特定オブジェクト121との輝度差をつける為、暗くする。なお、特定オブジェクト121が暗い画面の場合は、縮小するとともに特定オブジェクト121全体の明るさを徐々に上げていき、背景領域との輝度差をつけることにより認識しやすくしてもよい。
特定オブジェクト121として、直前の外部映像を縮小した画像を用いることにより、装着者2が、コンテンツや外部映像の視聴を中断することなく、疲労回復運動を行うことができる。
<第3実施形態>
疲労回復運動では、特定オブジェクト120、121を表示領域100の外部に向けて移動させる。そのため、装着者2が特定オブジェクト120、121の移動に追従できずに見失うことがある。そこで第3実施形態では、特定オブジェクト120、121を見失った場合のガイドを行う。以下では特定オブジェクト120を例に挙げて説明する。
疲労回復運動では、特定オブジェクト120、121を表示領域100の外部に向けて移動させる。そのため、装着者2が特定オブジェクト120、121の移動に追従できずに見失うことがある。そこで第3実施形態では、特定オブジェクト120、121を見失った場合のガイドを行う。以下では特定オブジェクト120を例に挙げて説明する。
図14は、第3実施形態における視聴状態を示す図である。図14では、特定オブジェクト120が表示領域100の内部にない。これは図10において、V0、V1、V2、V3で囲まれた3次元空間内101の外側に特定オブジェクト120が位置している状態に相当する。従って、装着者2は左右又は前後のどちらを向けば特定オブジェクト120が視聴できるかがわからない。
そこで、運動促進部36は、特定オブジェクト120が表示領域100から外れたと判定した場合は、装着者2に特定オブジェクト120がある方向を知らせる処理を行う。
例えば運動促進部36は、特定オブジェクト120の方向を通知するガイド130を表示する。図15に、特定オブジェクトの方向を通知する処理である第3実施形態の処理の流れを示すフローチャートを示す。図5と同じものには同じ番号を付し、説明は省略する。ステップS310は、特定オブジェクトが表示領域100内にあるか否かを判定する。表示領域100内にある場合にはステップS304に進むが、表示領域100内にない場合、ステップS311で特定オブジェクト120と表示領域100との相対位置を算出する。次に、ステップS312で、図14に示したような、頭の動き方向の動作を示す、動き補助情報であるガイド130を表示する。
また運動促進部36は、特定オブジェクト120を表示領域100に再配置し、装着者2を向かせたい方向に再度移動させてもよい。この場合、装着者2が特定オブジェクト120の移動の速さに追従できなかったと判定し、最初に移動した速さより速度を下げることにより装着者2がより追従し易くすることができる。
また運動促進部36は、HMD1に設けられたスピーカ82からの音声により、方向を通知してもよい。なお、スピーカ82を音源の方向が分かる3次元スピーカとし、特定オブジェクト120の方向から音を出すことで装着者2に特定オブジェクト120の位置を知らせてもよい。
本実施形態によれば、特定オブジェクト120を見失っても、ガイド130により特定オブジェクト120の移動方向を装着者2に知らせることにより、特定オブジェクト120を見つけることができ、疲労回復運動が可能になる。
<第4実施形態>
第4実施形態は、装着者2の眼球の疲労回復を促進させる実施形態である。第4実施形態ではインカメラ71で装着者2の眼を撮像する。そして、運動量監視部35は、インカメラ71の画像を基に装着者2の視点の動きを検出する。疲労回復運動の要否を決定するために設けた疲労回復判定時間内に、装着者2の視点の動きの累積値Meyeが、視点の動きに対して予め設けられた運動促進閾値Meyeth以下であるかを判定する。
第4実施形態は、装着者2の眼球の疲労回復を促進させる実施形態である。第4実施形態ではインカメラ71で装着者2の眼を撮像する。そして、運動量監視部35は、インカメラ71の画像を基に装着者2の視点の動きを検出する。疲労回復運動の要否を決定するために設けた疲労回復判定時間内に、装着者2の視点の動きの累積値Meyeが、視点の動きに対して予め設けられた運動促進閾値Meyeth以下であるかを判定する。
MeyeがMeyeth以下である場合、運動促進部36は、特定オブジェクト120を生成し、表示位置を移動させる。表示位置の移動範囲は、視点運動が行えればよいので、表示領域100内に留めてもよい。
コンテンツの視聴をしている間、装着者2の視点はコンテンツの表示位置から動きが少なくなり、眼精疲労が蓄積する虞がある。本実施形態によれば、インカメラ71で装着者2の視点の動きをトラッキングし、必要に応じて眼球の疲労回復運動を促すことで、装着者2の眼精疲労の軽減が期待できる。
また運動量監視部35は、特定オブジェクト120を装着者2の身体から遠ざかる方向に動かし、装着者2を歩かせたり、手を伸ばさせたりする運動を疲労回復運動として行わせてもよい。例えば図6(a)で示したコップの仮想オブジェクト113を特定オブジェクトとして用い、装着者2に仮想オブジェクト113を把持するように音声ガイドを流してもよい。装着者は、音声ガイドを聞いた時点では視認できていない仮想オブジェクト113を視認するために首を動かし、手を仮想オブジェクト113にむけて伸ばすので、運動をさせることができる。また、妖精を模した特定オブジェクト120を捕まえるように音声ガイドを流すことで、装着者2に立ち上がったり、歩行させたりすることができる。
<第5実施形態>
[運動促進モードへの遷移判定]
装着者2の状況によっては運動促進モードに遷移するのが適さない状況がある。そこで第5実施形態では、運動促進モードへの遷移の可否を判定する。
[運動促進モードへの遷移判定]
装着者2の状況によっては運動促進モードに遷移するのが適さない状況がある。そこで第5実施形態では、運動促進モードへの遷移の可否を判定する。
図16は、第5実施形態の処理の流れを示すフローチャートである。
運動量監視部35は、ステップS204で肯定と判定すると、各種センサ、アウトカメラ72、マイク81の少なくとも一つからのセンサ情報、外部映像、又は音声の少なくとも一つを取得し、装着者2の状況を判定する。
例えば、運動量監視部35はGPS受信器51や加速度センサ54のセンサ情報から装着者2が移動中と判定した場合、疲労回復運動の実施は危険なため、運動促進処理モードには遷移せず、通常視聴モードを継続し、状況判定処理を継続する(S205:NO)。
また、例えば、運動量監視部35がアウトカメラ72の外部映像やマイク81の音声から、装着者2が他の人と話していると判定した場合は、疲労回復運動をするのは不適切なタイミングとして運動促進処理モードには遷移せず、通常視聴モードを継続し、状況判定処理を継続する(S205:NO)。
運動量監視部35は、運動促進モードへの遷移が不適と判定した状況がなくなると(S205:YES)、運動促進モードに遷移する。
本実施形態によれば、運動量監視部35が装着者2の状況を判定し、許容される場合にのみ運動促進部36による運動促進モードが開始される。これにより、装着者2が疲労回復運動をしても問題が無い状況で、疲労回復運動を促すことができる。
以上、運動促進モードへの遷移の可否の判定処理を追加する実施形態について説明したが、装着者2が例えばボタンスイッチ91やタッチパネル92を用いて運動促進モードへの遷移を回避できるように構成してもよい。
<第6実施形態>
第6実施形態は、HMD1以外の携帯型映像表示装置、例えばスマートフォン210やタブレット端末に本発明を適用した実施形態である。
第6実施形態は、HMD1以外の携帯型映像表示装置、例えばスマートフォン210やタブレット端末に本発明を適用した実施形態である。
図17Aは、スマートフォン210の正面図、図17Bはスマートフォン210の背面図である。
スマートフォン210の正面には、タッチパネル92を搭載したディスプレイ73、自分撮りが可能なインカメラ71、スピーカ82が備えられる。また、スマートフォン210の背面には、アウトカメラ72、LED等の撮影用ライト74、マイク81が備えられる。スマートフォン210の筐体の内部には、HMD1と同様に各種センサが搭載されており、スマートフォン210自体の方向を検知することができる。更に、図示はしていないが、スマートフォン210の正面に装着者2の顔の3次元認証に使用する距離センサを配置、更に、背面に被写体までの距離や被写体の形状を検知する距離センサを配置されることもある。
図18は、第6実施形態の処理の流れを示すフローチャートである。第1実施形態の処理と異なる点は、ステップS303で特定オブジェクト120の表示位置を移動した後、運動促進部36は、スマートフォン210の移動方向を解析して、スマートフォン210の少なくとも傾きθs及び移動量Msの少なくとも一つと予め設定された閾値θsth、Msthとの比較を行う(S401)。スマートフォン210の傾きや移動量が移動判定閾値未満であれば(S401:NO)、スマートフォン210と装着者2との相対位置は移動判定閾値内の移動しか生じていない。従って、装着者2が特定オブジェクト120を目で追っていると判定できるので、ステップS303に戻り、特定オブジェクト120の表示位置の移動を続ける。
運動促進部36は、スマートフォン210の傾きや移動量が移動判定閾値以上であると判定すると(S401:YES)、装着者2が正しくスマートフォン210に正対しているかを判定する(S402)。スマートフォン210はHMD1とは異なり、スマートフォン210と装着者2の頭の動きは一致しないので、装着者2の頭が動いているかを判定する必要がある。
そこで運動促進部36は、インカメラ71で装着者2の顔を撮影し、顔の向きを判定する。顔の向きは、例えば、運動処理に入る時、あるいは、コンテンツ視聴中に装着者2の顔の正面映像を撮影し、運動処理中に撮影した装着者2の顔の映像と比較することにより、装着者2の顔がスマートフォン210と正対しているか否かを判定する。
運動促進部36は、装着者2の顔の向きが正対していると判定した場合(S402:YES)は、運動パターンが終了しているかを判定し(S305)、終了していれば、通常視聴モード及び運動量監視モードに遷移する。
一方、運動促進部36は、装着者2の顔の向きが正対していないと判定した場合(S402:NO)は、警告処理を行う(S403)。警告処理では、例えば、装着者2の頭の動きを促す注意を表示領域100に表示する、あるいは音声で頭の動きを促す。
図19は、スマートフォン210と装着者2の顔が正対している場合を示す図である。図19(a)はスマートフォン210の表示領域100に表示されている映像であり、このとき図19(b)に示すように装着者2はスマートフォン210の表示領域100に正対している。図19(a)では特定オブジェクト120は画面内にあり、スマートフォン210も所定の方向をむいている。
図20は、スマートフォン210と装着者2の顔が正対していない場合を示す図である。図20(b)では、スマートフォン210と装着者2の顔は正対しておらず、装着者2が正しく運動できているとは言えない。このような時に図20(a)に示すように警告表示450を表示する。
更に、スマートフォン210と装着者2の顔の向きが所定の位置になるまで、ステップS401からステップS403を繰り返し、運動パターンの終了判定ステップS305に進む。
本実施形態によれば、頭の動きとは連動しないスマートフォン210のような携帯映像情報端末においても、ある一定時間毎に疲労回復運動を促し、かつ正しく疲労回復運動ができているかを確認することができる。
上記実施形態において、インカメラ71に代わり、スマートフォン210の正面に配置された距離センサを用いて、装着者2の目や鼻、口の位置から顔の向きを検出し、その情報からスマートフォン210との位置関係を判定してもよい。
上記各実施形態は本発明の実施形態の一例を示したものであり、本発明は、上記実施形態に限定されず、様々な変形例が考えられる。例えば、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めHMDや携帯映像表示装置のプログラム部等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。
また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
1 :HMD
2 :装着者
2a :視聴者
3 :システムバス
20 :メインプロセッサ
30 :主制御部
31 :センサ情報取得部
32 :センサ情報記憶部
33 :運動量解析部
34 :運動量情報記憶部
35 :運動量監視部
36 :運動促進部
41 :RAM
42 :ROM
43 :フラッシュメモリ
51 :GPS受信器
52 :地磁気センサ(運動量検出センサ)
53 :距離センサ
54 :加速度センサ(運動量検出センサ)
55 :ジャイロセンサ(運動量検出センサ)
56 :タイマー
61 :無線通信I/F
62 :電話網通信I/F
71 :インカメラ
72 :アウトカメラ
73 :ディスプレイ
74 :撮影用ライト
81 :マイク
82 :スピーカ
83 :オーディオデコーダ
91 :ボタンスイッチ
92 :タッチパネル
100 :表示領域
101 :3次元空間内
111 :コンテンツ
112 :テーブル
113 :仮想オブジェクト
120 :特定オブジェクト
120_out :特定オブジェクト
121 :特定オブジェクト
130 :ガイド
210 :スマートフォン
450 :警告表示
2 :装着者
2a :視聴者
3 :システムバス
20 :メインプロセッサ
30 :主制御部
31 :センサ情報取得部
32 :センサ情報記憶部
33 :運動量解析部
34 :運動量情報記憶部
35 :運動量監視部
36 :運動促進部
41 :RAM
42 :ROM
43 :フラッシュメモリ
51 :GPS受信器
52 :地磁気センサ(運動量検出センサ)
53 :距離センサ
54 :加速度センサ(運動量検出センサ)
55 :ジャイロセンサ(運動量検出センサ)
56 :タイマー
61 :無線通信I/F
62 :電話網通信I/F
71 :インカメラ
72 :アウトカメラ
73 :ディスプレイ
74 :撮影用ライト
81 :マイク
82 :スピーカ
83 :オーディオデコーダ
91 :ボタンスイッチ
92 :タッチパネル
100 :表示領域
101 :3次元空間内
111 :コンテンツ
112 :テーブル
113 :仮想オブジェクト
120 :特定オブジェクト
120_out :特定オブジェクト
121 :特定オブジェクト
130 :ガイド
210 :スマートフォン
450 :警告表示
Claims (11)
- 映像表示装置であって、
ディスプレイと、
前記ディスプレイに表示されたコンテンツを視聴している際の前記映像表示装置の運動量を検出してセンサ情報を出力する運動量検出センサと、
前記コンテンツの視聴時間を計測するタイマーと、
前記ディスプレイ、前記運動量検出センサ、及び前記タイマーの其々に接続されたプロセッサと、を備え、
前記プロセッサは、
前記タイマーから前記視聴時間を取得し、
予め定められた長さの視聴時間内に取得された前記センサ情報に基づいて前記映像表示装置の運動量を演算し、
前記運動量と視聴者に対して運動を促進するかを判定するための運動促進閾値とを比較し、
前記運動量が前記運動促進閾値以下になると、前記ディスプレイの表示領域内に特定オブジェクトを表示し、
前記特定オブジェクトの表示位置は、前記ディスプレイの表示領域内の画素の位置を示す2次元座標系と実空間の位置を示す外部座標系とを対応付けた座標系で定義され、
前記プロセッサは、前記外部座標系に従って前記特定オブジェクトの表示位置を前記表示領域の内側から外側に向かって移動させる、
ことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記プロセッサは、前記特定オブジェクトが前記表示領域外にある場合に、前記特定オブジェクトを視認するために前記映像表示装置を動かす方向を通知する、
ことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記プロセッサは、前記特定オブジェクトを表示した後に前記運動量検出センサが出力したセンサ情報を取得し、前記特定オブジェクトを表示した後の運動量を演算し、
前記特定オブジェクトを表示した後の運動量と前記視聴者が運動を行ったかを判定するための実行済閾値とを比較し、前記特定オブジェクトを表示した後の運動量が前記実行済閾値以上になると、前記特定オブジェクトの表示を終了する、
ことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記プロセッサは、前記センサ情報に基づいて前記視聴者が移動しているか否かを判定し、移動中であると判定した場合は、前記特定オブジェクトを表示しない、
ことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
マイク及び前記映像表示装置の外界風景を撮像するアウトカメラの少なくとも一つを更に備え、
前記プロセッサは、前記マイクが集音した音声情報及び前記アウトカメラが撮像した外界映像の少なくとも一つに基づいて前記視聴者が会話中であるか否かを判定し、会話中であると判定した場合は、前記特定オブジェクトを表示しない、
ことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記映像表示装置はヘッドマウントディスプレイであって、
前記運動量検出センサは、GPS受信器、地磁気センサ、距離センサ、加速度センサ、ジャイロセンサの少なくとも一つである、
ことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記映像表示装置は、携帯映像表示装置であって、
前記携帯映像表示装置は、前記ディスプレイに表示されたコンテンツを視認する視聴者を撮影するインカメラを更に備え、
前記プロセッサは前記インカメラに更に接続され、
前記特定オブジェクトを表示した後の運動量と前記視聴者が運動を行ったかを判定するための実行済閾値とを比較し、前記特定オブジェクトを表示した後の運動量が前記実行済閾値以上であり、かつ前記インカメラが撮像した映像に基づいて前記視聴者が前記ディスプレイに正対しているかを判定した結果、前記視聴者が前記ディスプレイに正対していると判定すると、前記特定オブジェクトの表示を停止する、
ことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記プロセッサは、仮想オブジェクトからなる前記特定オブジェクトを表示する、
ことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記プロセッサは、前記コンテンツの表示サイズを縮小した縮小映像からなる前記特定オブジェクトを表示する、
ことを特徴とする映像表示装置。 - 請求項1の映像表示装置であって、
前記プロセッサは、前記特定オブジェクトの表示位置の外部座標系の座標に対応する前記ディスプレイの表示領域内の画素が存在する場合は、当該画素に前記特定オブジェクトを表示し、前記特定オブジェクトの表示位置の外部座標系の座標に対応する前記表示領域内の画素が存在しない場合は、前記ディスプレイに表示しない、
ことを特徴とする映像表示装置。 - 映像表示方法であって、
映像表示装置に搭載されたディスプレイにコンテンツを表示するステップと、
前記ディスプレイに表示されたコンテンツを視聴している視聴者の運動量を検出して得られたセンサ情報を取得するステップと、
予め定められた長さの視聴時間内に取得された前記センサ情報に基づいて前記視聴者の運動量を演算するステップと、
前記運動量と前記視聴者に対して運動を促進するかを判定するための運動促進閾値とを比較し、前記運動量が前記運動促進閾値以下になると、前記ディスプレイの表示領域内に特定オブジェクトを表示し、
前記特定オブジェクトの表示位置は、前記ディスプレイの表示領域内の画素の位置を示す2次元座標系と実空間の位置を示す外部座標系とを対応付けた座標系で定義され、前記特定オブジェクトの表示位置を前記外部座標系に従って前記表示領域の内側から外側に向かって移動させるステップと、
を含むことを特徴とする映像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023061871A JP2023098955A (ja) | 2019-12-26 | 2023-04-06 | 映像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/051235 WO2021130986A1 (ja) | 2019-12-26 | 2019-12-26 | 映像表示装置及び映像表示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023061871A Division JP2023098955A (ja) | 2019-12-26 | 2023-04-06 | 映像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021130986A1 JPWO2021130986A1 (ja) | 2021-07-01 |
JP7260673B2 true JP7260673B2 (ja) | 2023-04-18 |
Family
ID=76573794
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021566701A Active JP7260673B2 (ja) | 2019-12-26 | 2019-12-26 | 映像表示装置及び映像表示方法 |
JP2023061871A Pending JP2023098955A (ja) | 2019-12-26 | 2023-04-06 | 映像表示装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023061871A Pending JP2023098955A (ja) | 2019-12-26 | 2023-04-06 | 映像表示装置 |
Country Status (4)
Country | Link |
---|---|
US (3) | US11714486B2 (ja) |
JP (2) | JP7260673B2 (ja) |
CN (1) | CN115280408A (ja) |
WO (1) | WO2021130986A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004236241A (ja) | 2003-01-31 | 2004-08-19 | Nikon Corp | 表示装置 |
JP2005266170A (ja) | 2004-03-17 | 2005-09-29 | Scalar Corp | 疲労回復支援装置、情報処理装置、コンピュータプログラムおよび疲労回復方法 |
US20120092172A1 (en) | 2010-10-15 | 2012-04-19 | Wong Glenn A | User Fatigue |
JP2014130204A (ja) | 2012-12-28 | 2014-07-10 | Seiko Epson Corp | 表示装置、表示システム、および、表示装置の制御方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5245026B2 (ja) | 2007-08-31 | 2013-07-24 | MgダイニングSapporo株式会社 | まばたきすることを促す電子機器及びプログラム |
JP2019114822A (ja) | 2016-03-23 | 2019-07-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
JP6932007B2 (ja) | 2017-02-22 | 2021-09-08 | 株式会社ジンズホールディングス | 情報処理方法、情報処理装置及びプログラム |
-
2019
- 2019-12-26 CN CN201980103312.6A patent/CN115280408A/zh active Pending
- 2019-12-26 JP JP2021566701A patent/JP7260673B2/ja active Active
- 2019-12-26 US US17/788,846 patent/US11714486B2/en active Active
- 2019-12-26 WO PCT/JP2019/051235 patent/WO2021130986A1/ja active Application Filing
-
2023
- 2023-04-06 JP JP2023061871A patent/JP2023098955A/ja active Pending
- 2023-06-09 US US18/207,718 patent/US11977673B2/en active Active
-
2024
- 2024-03-18 US US18/607,625 patent/US20240220007A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004236241A (ja) | 2003-01-31 | 2004-08-19 | Nikon Corp | 表示装置 |
JP2005266170A (ja) | 2004-03-17 | 2005-09-29 | Scalar Corp | 疲労回復支援装置、情報処理装置、コンピュータプログラムおよび疲労回復方法 |
US20120092172A1 (en) | 2010-10-15 | 2012-04-19 | Wong Glenn A | User Fatigue |
JP2014130204A (ja) | 2012-12-28 | 2014-07-10 | Seiko Epson Corp | 表示装置、表示システム、および、表示装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021130986A1 (ja) | 2021-07-01 |
JP2023098955A (ja) | 2023-07-11 |
US11714486B2 (en) | 2023-08-01 |
US20240220007A1 (en) | 2024-07-04 |
US20230315199A1 (en) | 2023-10-05 |
US11977673B2 (en) | 2024-05-07 |
CN115280408A (zh) | 2022-11-01 |
WO2021130986A1 (ja) | 2021-07-01 |
US20230044455A1 (en) | 2023-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6266736B1 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
US10311640B2 (en) | Method and apparatus for providing virtual space, and non-transitory computer readable data storage medium storing program causing computer to perform method | |
US9599818B2 (en) | Obstacle avoidance apparatus and obstacle avoidance method | |
JP6342038B1 (ja) | 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法 | |
US11487354B2 (en) | Information processing apparatus, information processing method, and program | |
CN109002164B (zh) | 头戴显示设备的显示方法、装置及头戴显示设备 | |
US9412190B2 (en) | Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program | |
JP2018007175A (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
WO2019155840A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020012955A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2017130793A (ja) | 情報処理装置およびユーザガイド提示方法 | |
CN112241199B (zh) | 虚拟现实场景中的交互方法及装置 | |
JP2019092216A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20200144196A (ko) | 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법 | |
WO2018198499A1 (ja) | 情報処理装置、情報処理方法、及び記録媒体 | |
WO2017022769A1 (ja) | ヘッドマウントディスプレイ、表示制御方法及びプログラム | |
JP7260673B2 (ja) | 映像表示装置及び映像表示方法 | |
CN111279410B (zh) | 显示设备和显示设备控制方法 | |
CN111796740A (zh) | 基于可穿戴智能设备的无人车控制方法、装置及系统 | |
WO2016012516A1 (en) | Head mounted display assembly comprising a sensor assembly having a rear view sensing area direction | |
JP2018085595A (ja) | 頭部装着型表示装置、及び、頭部装着型表示装置の制御方法 | |
CN116615704A (zh) | 用于姿势检测的头戴式设备 | |
US12111463B2 (en) | Head-mounted display apparatus and operating method thereof | |
US11908090B2 (en) | Information processing device, information processing method, and program | |
EP4206867A1 (en) | Peripheral tracking system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7260673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |