[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN106817913B - 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示系统 - Google Patents

头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示系统 Download PDF

Info

Publication number
CN106817913B
CN106817913B CN201580055928.2A CN201580055928A CN106817913B CN 106817913 B CN106817913 B CN 106817913B CN 201580055928 A CN201580055928 A CN 201580055928A CN 106817913 B CN106817913 B CN 106817913B
Authority
CN
China
Prior art keywords
display
head
input
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580055928.2A
Other languages
English (en)
Other versions
CN106817913A (zh
Inventor
栗原洋辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN106817913A publication Critical patent/CN106817913A/zh
Application granted granted Critical
Publication of CN106817913B publication Critical patent/CN106817913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种可佩戴在用户的头部上的头戴式显示器100，包括：显示设备，设置在由用户佩戴在头部上的头戴式显示器100的内表面上；触摸板140，设置在由用户佩戴在头部上的头戴式显示器100的外表面上，该触摸板140能够检测与用户的身体部分的接触或接近；以及显示控制单元，获取基于指示该触摸板140检测与用户的身体部分的接触或接近的输入信息而生成的图像的数据，所述显示控制单元进一步使显示设备显示所获取的图像数据。

Description

头戴式显示器、移动信息终端、图像处理装置、显示控制程序、 显示控制方法和显示系统
技术领域
本发明涉及显示控制技术。更具体地，本发明涉及头戴式显示器、显示控制程序、显示控制方法和显示系统。
背景技术
通常的做法是在头部上佩戴连接到游戏机的头戴式显示器，并通常通过在观看头戴式显示器上显示的屏幕的同时操作控制器来玩游戏。利用与游戏机连接的普通固定显示器，用户的视场延伸到显示器屏幕外部。这倾向于防止用户集中注意于显示屏幕上或者防止体验游戏的沉浸感。相反，佩戴头戴式显示器允许用户仅观看显示在头戴式显示器的屏幕上的图像。这增强了在虚拟世界中的沉浸感，并提高正在玩的游戏的娱乐性质。
发明内容
技术问题
发明人已经认识到需要更加用户友好的输入技术，来允许更广泛的用户群体使用头戴式显示器享受游戏。
问题的解决方案
在解决上述问题中，且根据本发明的一个实施例，提供一种可佩戴在用户的头部上的头戴式显示器。所述头戴式显示器包括：显示设备，配置为设置在由用户佩戴在头部上的头戴式显示器的内表面上；输入设备，配置为设置在由用户佩戴在头部上的头戴式显示器的外表面上，所述输入设备能够检测与用户的身体部分的接触或接近；以及显示控制单元，配置为获取基于指示所述输入设备检测到的与用户的身体部分的接触或接近的输入信息而生成的图像的数据，所述显示控制单元进一步使所述显示设备显示所获取的图像数据
根据本发明的另一实施例，提供一种显示控制方法，包括：使获取单元获取基于指示输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息而生成的图像的数据的步骤，所述输入设备设置在所述头戴式显示器的外表面上；以及使显示控制单元将由所述获取单元获取的图像数据显示在设置在由用户佩戴在头部上的头戴式显示器的内表面上的显示设备上的步骤。
根据本发明的另一实施例，提供一种显示系统，包括：头戴式显示器，配置为可佩戴在用户的头部上；以及图像处理装置，配置为生成要显示在所述头戴式显示器上的图像。所述头戴式显示器包含：显示设备，配置为设置在由用户佩戴在头部上的头戴式显示器的内表面上；输入设备，配置为设置在由用户佩戴在头部上的头戴式显示器的外表面上，所述输入设备能够检测与用户的身体部分的接触或接近；以及显示控制单元，配置为从所述图像处理装置获取基于指示所述输入设备检测与用户的身体部分的接触或接近的输入信息而生成的图像的数据，所述显示控制单元进一步使所述显示设备显示所获取的图像数据。所述图像处理装置包含图像生成单元，配置为获取所述输入信息并基于所述输入信息生成所述图像数据。
根据本发明的又一实施例，提供一种可佩戴在用户的头部上的头戴式显示器。所述头戴式显示器包括：显示设备，配置为设置在由用户佩戴在头部上的头戴式显示器的内表面上；以及显示控制单元，配置为获取基于指示输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息而生成的图像的数据，所述输入设备设置在所述头戴式显示器的外表面上，所述显示控制单元进一步使所述显示设备显示所获取的图像数据。
根据本发明的又一实施例，提供一种可由用户携带的移动信息终端。所述移动信息终端包括：输入设备，配置为能够检测与用户的身体部分的接触或接近；以及通信部分，配置为将指示所述输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息发送到基于所述输入信息生成要显示在所述头戴式显示器上的图像的装置，所述移动信息终端设置在由用户佩戴在头部上的头戴式显示器的外表面上。
根据本发明的又一实施例，提供一种图像处理装置，包括：接收单元，配置为接收指示输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息，所述输入设备设置在所述头戴式显示器的外表面上；生成单元，配置为基于由所述接收单元接收的输入信息生成图像的数据，所述图像预定(destined)要显示在设置在由用户佩戴在头部上的头戴式显示器的内表面上的显示设备上；以及发送单元，配置为将由所述生成单元生成的图像数据发送到所述头戴式显示器。
在本发明的上述构成要素或上述表达的其他组合在诸如方法、设备和系统的不同形式之间转换时，它们仍然构成本发明的有效实施例。
发明的有益效果
本发明提高了头戴式显示器的用户友好性。
附图说明
图1是示出根据实施例的游戏系统的使用环境的示意图。
图2是根据实施例的头戴式显示器的外部视图。
图3是游戏设备的功能框图。
图4是头戴式显示器的功能框图。
图5是头戴式显示器的控制部分的功能框图。
图6是移动信息终端的功能框图。
图7是示出在头戴式显示器的显示设备上显示的典型图像的示意图。
图8是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图9是示出移动信息终端的触摸面板的示意图。
图10是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图11是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图12是示出移动信息终端的另一触摸面板的示意图。
图13是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图14是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图15是示出移动信息终端的另一触摸面板的示意图。
图16是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图17是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图18是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图19是示出移动信息终端的另一触摸面板的示意图。
图20是示出移动信息终端的另一触摸面板的示意图。
图21是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图22是示出移动信息终端的另一触摸面板的示意图。
图23是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图24是示出在移动信息终端的触摸面板上显示的典型图像的示意图。
图25是示出在移动信息终端的触摸面板上显示的另一典型图像的示意图。
图26是示出在移动信息终端的触摸面板上显示的另一典型图像的示意图。
图27是示出在移动信息终端的触摸面板上显示的另一典型图像的示意图。
图28是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图29是示出一方面的头戴式显示器的显示设备的显示区域与另一方面的触摸面板和触摸板的输入区域的对应关系的示意图。
图30是示出在头戴式显示器的显示设备上显示的另一典型图像的示意图。
图31是示出构成本实施例的显示控制方法的步骤的序列图。
具体实施方式
下面描述使用头戴式显示器(head-mounted display，HMD)的显示系统。头戴式显示器以覆盖用户双眼的方式由用户佩戴在头部上，以使用户可视地享受在用户眼睛前方设置的显示屏幕上显示的静态或运动图像。虽然要显示在头戴式显示器上的对象可以是诸如电影和电视节目的内容，但是下面将体现本发明的头戴式显示器作为显示游戏图像的显示设备进行说明。
图1示出了根据实施例的游戏系统1的使用环境。游戏系统1包括执行游戏程序的游戏设备10、将用户指令输入到游戏设备10的输入设备20、捕捉用户周围的真实空间的图像的成像设备14、以及显示由游戏设备10生成的游戏图像的头戴式显示器100。
在本实施例中，用于接收来自用户的触摸输入的输入装置设置在用户佩戴的头戴式显示器100的外表面上。如果要执行仅可由通过该输入装置的输入操作的游戏，则不需要输入设备20。当佩戴头戴式显示器100时，用户不能可视地识别周围环境。这使得用户在佩戴头戴式显示器100之后难以寻找诸如输入设备20的输入装备。此外，被挥动的诸如输入设备20的输入装备可能会撞击周围环境中的障碍物。相比之下，本实施例可以仅允许能够接收触摸输入的输入装置接收相关的输入。因此，无需挥舞或查找输入设备20。如稍后将讨论的，用户可以通过利用触摸输入的输入接口来直观地执行操作。这里所提供的是用户友好的输入接口，可以被不熟悉游戏的用户方便地使用。
当进行从上述输入装置和输入设备20两者接收操作指令的游戏时，例如，如图1所示，用户可以用右手握持输入设备20同时操作输入设备20，并用左手执行输入到设置在头戴式显示器100的外表面上的输入装置。
游戏设备10基于输入到输入设备20或输入到设置在头戴式显示器100的外表面上的输入装置的指令来执行游戏程序。这样做，游戏设备10生成表示处理游戏程序的结果的图像信号，并将生成的图像信号发送到头戴式显示器100。
在接收到由游戏设备10生成的图像信号后，头戴式显示器100显示游戏图像。头戴式显示器100还向游戏设备10发送关于用户对设置在头戴式显示器100的外表面上的输入装置进行的触摸输入的信息。头戴式显示器100可以通过电缆连接到游戏设备10。替代地，头戴式显示器100可以经由无线局域网(local area network，LAN)无线地连接到游戏设备10。
游戏图像还可以被输出到显示设备12。显示设备12可以是例如具有显示器和扬声器的电视机或计算机显示器。
输入设备20具有向游戏设备10发送由用户输入的指令的功能。在本实施例中，输入设备20被配置为能够与游戏设备10无线通信的无线控制器。可以使用蓝牙(注册商标)协议在输入设备20和游戏设备10之间建立无线连接。输入设备20不限于无线控制器。替代地，输入设备20可以是通过电缆连接到游戏设备10的有线控制器。
输入设备20由电池电源驱动，并且具有用于给出操作指令以使游戏进行的多个按钮。当用户操作输入设备20的按钮时，相应的操作指令被无线地发送到游戏设备10。
成像设备14是例如由电荷耦合器件(charge-coupled device，CCD)图像传感器或互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)图像传感器构成的摄像机。成像设备14以预定间隔捕捉真实空间的图像，来以每个间隔生成帧图像。成像设备14经由通用串行总线(universal serial bus，USB)或经由一些其他合适的接口连接到游戏设备10。游戏设备10使用由成像设备14捕获的图像来确定输入设备20和头戴式显示器100的位置和姿态。替代地，成像设备14可以是能够测量距离的测距相机或立体相机。在这种情况下，例如，成像设备14获得从成像设备14到输入设备20或到头戴式显示器100的距离。
在本实施例的游戏系统1中，输入设备20具有配置为发射多种颜色的光的光发射器。在游戏期间，由成像设备14捕获光发射器发射的、游戏设备10所指定的颜色的光。成像设备14通过捕获输入设备20生成帧图像，并将生成的图像提供给游戏设备10。游戏设备10获取该帧图像，并且基于获取的帧图像中的光发射器图像的位置和大小获得关于真实空间中的光发射器的位置信息。例如，游戏设备10将该位置信息作为游戏操作指令来处理，并通过控制玩家角色的移动将其反映在游戏的处理中。本实施例的游戏设备10具有不仅使用对输入设备20的按钮进行的输入操作、而且使用来自捕获的光发射器图像的位置信息来处理游戏应用程序的功能。
输入设备20还包括加速度传感器和陀螺传感器。传感器的检测值以预定间隔被发送到游戏设备10。游戏设备10获得传感器检测值，以获取关于输入设备20在真实空间中的姿态信息。游戏设备10将姿态信息作为游戏操作指令来处理，将其反映在游戏的处理中。
图2是根据实施例的头戴式显示器100的外部视图。头戴式显示器100包括主体部分110、头部接触部分120、触摸板140和终端安装部分150。
合并入或外部附接到头戴式显示器100的诸如全球定位系统(GPS)的位置传感器允许用户位置信息的测量。合并入或外部附接到头戴式显示器100的姿态传感器能够测量佩戴头戴式显示器100的用户头部的姿态信息，例如朝向和倾斜度。
主体部分110包括显示器、位置信息获取传感器、姿态传感器和通信设备。头部接触部分120包括能够测量用户的诸如体温、脉搏率、血液成分、汗液、脑电图和脑血流量等生物信息的生物信息获取传感器。
头戴式显示器100的外表面配备有用于从用户接收触摸输入的输入装置。该输入装置可以是不兼作为显示装置的触摸板，并且预先附接到头戴式显示器100上。替代地，该输入装置可以兼作为显示装置。作为另一替代方案，诸如具有用作输入装置的触摸板或触摸面板的智能手机的外部装置可以可拆卸地连接到头戴式显示器100。在本实施例中，触摸板140设置在主体部分110的上表面和侧表面上。移动信息终端200可拆卸地连接到设置在主体部分110前方处的终端安装部分150。
设置在侧表面上的触摸板140可以由诸如矩阵开关系统、电阻膜系统、表面声波系统、红外线系统、电磁感应系统或静电电容系统的适当系统来操作。替代地，触摸板140可以例如是当用户的指尖触摸板表面时检测输入的接触型触摸板。作为另一替代方案，触摸板140可以例如是非接触型触摸板，其可以在用户的指尖接近板表面时感测输入。触摸板140还可以配备有可以检测板表面上的按压力的触敏传感器。触摸板140可以被配置为基于例如触摸板区域的平面尺寸、电压值和静电电容来计算输入的强度。触摸板140输出检测到输入的位置的坐标。
头戴式显示器100的前方区域提供有用于可拆卸地安装移动信息终端200的终端安装部分150，用户的移动信息终端200可以可拆卸地安装在其上。当安装了移动信息终端200时，其用作输入装置。移动信息终端200的显示设备可以显示由头戴式显示器100生成的图像或关于头戴式显示器100的信息。
头戴式显示器100还可以配备有用于捕获用户眼睛的相机。合并入头戴式显示器100中的相机可以例如检测用户的视线、瞳孔移动和眨眼。
虽然结合头戴式显示器100描述了本实施例，但是本实施例的显示控制方法并不以狭义限定的含义受限于头戴式显示器100。显示控制方法还适用于每个由用户佩戴的眼镜、眼镜型显示器、眼镜型相机、耳机、耳麦(配备麦克风的耳机)、耳塞机、耳环、耳挂相机、帽子、配备相机的帽子，或发带。
图3是游戏设备10的功能框图。游戏设备10包括通信部分302、控制部分310和数据保持部分360。控制部分310包括输入信息接收单元311、输入位置调整单元312、HMD图像数据生成单元313、HMD图像数据发送单元314、触摸面板显示信息生成单元315、触摸面板显示信息发送单元316、HMD显示信息接收单元317、捕获图像分析单元318和游戏控制单元319。
通信部分302例如控制头戴式显示器100、移动信息终端200、输入设备20、成像设备14和显示设备12之间的通信。数据保持部分360保持要由游戏设备10执行的游戏的程序数据以及游戏程序使用的各种数据。
输入信息接收单元311从头戴式显示器100和移动信息终端200接收由用户触摸头戴式显示器100和移动信息终端200而输入的信息。输入信息接收单元311还从头戴式显示器100接收关于头戴式显示器100的位置和姿态的信息。当使用输入设备20时，输入信息接收单元311从输入设备20接收通常关于在输入设备20上执行并由输入设备20接收的按钮操作的信息。
输入位置调整单元312将由输入信息接收单元311接收的输入信息中的触摸输入的位置与头戴式显示器100上显示的图像中的位置相关联。在本实施例中，从设置在头戴式显示器100的不同位置处的多个触摸板140和移动信息终端200的触摸面板接收用户的触摸输入。这要求不同的触摸区域与所显示的图像中的区域相关联。稍后将更详细地讨论输入位置调整单元312的功能。
游戏控制单元319执行游戏程序。游戏控制单元319允许游戏根据用户输入并由输入信息接收单元311接收的指令进行。
HMD图像数据生成单元313生成由游戏控制单元319控制的游戏的图像。HMD图像数据发送单元314向头戴式显示器100发送由HMD图像数据生成单元313生成的图像数据。
触摸面板显示信息生成单元315生成与由游戏控制单元319控制的游戏相关的并且要显示在移动信息终端200的触摸面板上的信息。尽管在游戏期间佩戴头戴式显示器100的用户不能看到移动信息终端200的触摸面板，触摸面板可以显示预定给用户周围的人的信息。触摸面板显示信息发送单元316向移动信息终端200发送由触摸面板显示信息生成单元315生成的显示信息。
HMD显示信息接收单元317从移动信息终端200接收要显示在头戴式显示器100的显示设备上的信息。HMD图像数据生成单元313使得由HMD显示信息接收单元317接收到的显示信息被包含在头戴式显示器100上显示的图像中。以这种方式，从移动信息终端200发送的显示信息被显示在头戴式显示器100的显示设备上，使得用户可以在游戏期间观看该显示信息。
捕获图像分析单元318获取由成像设备14捕获的图像，并分析捕获图像以计算头戴式显示器100和输入设备20的位置和姿态。游戏控制单元319获取输入设备20的位置和姿态作为来自用户的指令，并将其反映在游戏的进程中。基于头戴式显示器100的位置和姿态，HMD图像数据生成单元313控制在生成游戏图像中使用的视点位置和视线方向。
图4是头戴式显示器100的功能框图。头戴式显示器100包括输入接口22、输出接口30、背光32、通信控制部分40、网络适配器42、天线44、存储部分50、GPS单元60、无线单元62、姿态传感器64、外部输入/输出终端接口70、外部存储器72、时钟部分80、显示设备90、触摸板140和控制部分160。这些功能块可单独通过硬件、单独通过软件或通过两者的适当组合以各种方式实现。
控制部分160是处理诸如图像信号和传感器信号的信号、指令、和数据并且输出所述处理的结果的主处理器。输入接口22从触摸板140以及触摸板控制器接收操作信号和设置信号，并将接收到的信息馈送到控制部分160。输出接口30从控制部分160接收图像信号，并使得显示设备90进行反映出接收到的图像信号的显示。背光32对构成显示设备90的液晶显示器进行背光。
通信控制部分40经由网络适配器42或天线44以有线或无线的方式向外部发送从控制部分160输入的数据。通信控制部分40还经由网络适配器42或天线44以有线或无线方式向控制部分160输出从外部接收的数据。
存储部分50暂时存储要被控制部分160处理的数据、参数和操作信号。
根据来自控制部分160的操作信号，GPS单元60从GPS卫星接收位置信息并将接收到的信息馈送给控制部分160。按照来自控制部分160的操作信号，无线单元62接收来自无线基站的位置信息，并将接收到的信息馈送给控制部分160。
姿态传感器64检测关于头戴式显示器100的主体部分110的姿态信息，诸如主体部分110的朝向和倾斜度。姿态传感器64由陀螺仪传感器、加速度传感器、和角加速度传感器的合适的组合构成。
外部输入/输出终端接口70连接到诸如USB控制器的外围设备。外部存储器72例如是外部连接的闪速存储器。
时钟部分80基于来自控制部分160的设置信号来设置时间信息，并将时间数据馈送到控制部分160。
图5是头戴式显示器100的控制部分160的功能框图。控制部分160包括触摸输入接收单元161、输入位置调整单元162、输入信息发送单元163、HMD图像数据接收单元164、和HMD显示控制单元165。
触摸输入接收单元161从触摸板140接收输入信号。输入位置调整单元162将由触摸输入接收单元161接收的输入的位置与被分配到触摸板140的输入区域的、作为在显示设备90上显示的图像的一部分的区域的位置相关联。输入信息发送单元163向游戏设备10发送指示由输入位置调整单元162调整的触摸输入位置的信息。
HMD图像数据接收单元164从游戏设备10接收要在显示设备90上显示的图像的数据。HMD显示控制单元165使显示设备90显示由HMD图像数据接收单元164接收的图像数据。
图6是移动信息终端200的功能框图。移动信息终端200包括按钮261、通信部分202、控制部分210、数据保持部分260和触摸面板262。控制部分210包括触摸输入接收单元211、输入位置调整单元212、输入信息发送单元213、触摸面板显示信息接收单元214、触摸面板显示控制单元215、HMD显示信息生成单元216、和HMD显示信息发送单元217。这些功能块也可单独通过硬件、单独通过软件或通过两者的适当组合以各种方式实现。
通信部分202控制与游戏设备10的通信。数据保持部分260保持由移动信息终端200执行的应用的程序数据以及应用使用的数据。触摸面板262显示由控制部分210生成的图像，并且检测来自用户的触摸输入。
控制部分210执行用于接收对触摸面板262的触摸输入作为对由游戏设备10执行的、并且其图像被显示在头戴式显示器100上的游戏的输入的协作应用程序。
触摸输入接收单元211接收来自触摸面板262的输入信号。输入位置调整单元212将由触摸输入接收单元211接收的输入的位置与被分配到触摸板262的输入区域的、作为在头戴式显示器100的显示设备90上显示的图像的一部分的区域的位置相关联。例如，在开始该协作应用时预先从头戴式显示器100或者从游戏设备10获取关于触摸面板262的输入区域所分配到的区域的信息。输入信息发送单元213向游戏设备10发送指示由输入位置调整单元212调整的触摸输入位置的信息。
触摸面板显示信息接收单元214从游戏设备10接收要在触摸面板262上显示的信息。触摸面板显示控制单元215使得触摸面板262显示由触摸面板显示信息接收单元214接收到的信息。
HMD显示信息生成单元216生成要在头戴式显示器100的显示设备上显示的信息。HMD显示信息生成单元216从移动信息终端200执行的其他应用中获取不同的通知信息，并且根据预定条件从这些通知信息中生成显示信息。例如，当移动信息终端200的邮件应用接收到邮件时，HMD显示信息生成单元216可以通过提取诸如邮件的标题、由邮件文本开头处预定数量的字符构成的字符串、以及发件人的姓名的信息来生成显示信息。HMD显示信息发送单元217向游戏设备10发送由HMD显示信息生成单元216生成的显示信息。在本实施例中，要在头戴式显示器100的显示设备上显示的信息首先被发送到游戏设备10，进而生成相关的图像数据。在另一示例中，要在头戴式显示器100的显示设备上显示的信息可以直接发送到头戴式显示器100。然后，头戴式显示器100的HMD显示控制单元165可以使显示器设备90显示所发送的信息。
图7示出了在头戴式显示器100的显示设备90上显示的典型图像。头戴式显示器100的显示设备90显示由游戏设备10控制的游戏的图像。
图8示出了在头戴式显示器100的显示设备90上显示的另一典型图像。假设当如图7所示正在进行游戏时，用户的周围环境突然变暗。在该情况下，游戏设备10的HMD图像数据生成单元313生成纯黑的游戏图像。头戴式显示器100的显示设备90继续显示该纯黑的游戏图像。
图9示出了移动信息终端200的触摸面板262。在图9的示例中，游戏设备10的触摸面板显示信息生成单元315生成使触摸面板262显示与在头戴式显示器100的显示设备90上显示的图像相同的图像的信息。移动信息终端200的触摸面板显示控制单元215使得触摸面板262显示与头戴式显示器100的显示设备90上显示的相同的图像。假设提供了一种允许当在任何位置处向下轻弹(flick)触摸面板262以输入而虚拟地佩戴夜视眼镜、且当向上轻弹触摸面板262以输入而虚拟地摘下夜视眼镜的功能。当用户向下轻弹触摸面板262以输入时，输入信息发送单元213向游戏设备10发送指示进行了向下轻弹输入的信息。
图10示出了在头戴式显示器100的显示设备90上显示的另一典型图像。当用户如图9所示向下轻弹触摸面板262以输入、并且当游戏设备10的游戏控制单元319获取指示向触摸面板262进行了向下轻弹输入的信息时，游戏控制单元319指示HMD图像数据生成单元313通过假设虚拟地佩戴了夜视眼镜来生成夜视图像。如图10所示，HMD图像数据生成单元313生成在头戴式显示器100的显示设备90上显示的夜视图像。以这种方式，对触摸面板262进行的向下轻弹输入和向上轻弹输入与真实眼镜在向下移动中被用户佩戴和在向上移动中被用户摘下相关联。这提供了一种直观易懂、用户友好的操作方案。
图11示出了在头戴式显示器100的显示设备90上显示的另一典型图像。头戴式显示器100的显示设备90显示在视场中包括云402的游戏图像。
图12示出了移动信息终端200的另一个触摸面板262。假设提供了用于当在任何方向上滑动(swipe)触摸面板262上的显示了云402的位置以输入时来移除每个云402的功能。当用户滑动触摸面板262以输入时，输入信息发送单元213将指示滑动位置的信息发送到游戏设备10。
图13示出了在头戴式显示器100的显示设备90上显示的另一典型图像。当用户如图12所示滑动触摸面板262以输入时，游戏设备10的游戏控制单元319移除在滑动位置处显示的云402。如图13所示，HMD图像数据生成单元313从游戏图像中删除被移除的云402。在图12中用户在触摸面板262上显示的游戏图像中滑动右侧区域时，滑动区域对应于从用户观看时屏幕上的左侧区域。因此，游戏控制单元319删除在游戏图像的左侧区域中显示的云402。如果触摸面板262显示与头戴式显示器100上显示的游戏图像相同的游戏图像，则观看触摸面板262的人看到用户滑动图像的右侧区域，但是将注意到在游戏图像的左侧区域中显示的云402被删除。这将给观看者一种尴尬的感觉。出于该原因，触摸面板262显示水平地翻转头戴式显示器100上显示的游戏图像的镜像。
图14示出了在头戴式显示器100的显示设备90上显示的另一典型图像。头戴式显示器100的显示设备90显示示出了附着在视场上的蜘蛛404的游戏图像。
图15示出了移动信息终端200的另一个触摸面板262。假设提供了用于从任何位置在任何方向上重复滑动以在触摸面板262上输入来移除蜘蛛404的功能。当用户滑动触摸面板262至少预定次数以输入时，输入信息发送单元213向游戏设备10发送指示滑动位置和该位置被滑动的次数的信息。在另一个示例中，每当滑动触摸面板262以输入时，输入信息发送单元213可以将指示滑动位置的信息发送到游戏设备10。然后游戏设备10的游戏控制单元319可以确定用户是否已经滑动至少预定次数以输入。
图16示出了在头戴式显示器100的显示设备90上显示的另一典型图像。当用户如图15所示滑动触摸面板262至少预定次数以输入时，游戏设备10的游戏控制单元319移除在被滑动至少预定次数以输入的位置上显示的蜘蛛404。如图16所示，HMD图像数据生成单元313从游戏图像中删除被移除的蜘蛛404。
图17示出了在头戴式显示器100的显示设备90上显示的另一典型图像。头戴式显示器100的显示设备90显示示出放置在游戏场中的闪光爆炸手榴弹406的游戏图像。
图18示出了在头戴式显示器100的显示设备90上显示的另一典型图像。当满足闪光爆炸手榴弹406在图17所示的游戏状态下爆炸的预定条件时，游戏控制单元319使闪光爆炸手榴弹406爆炸。HMD图像数据生成单元313生成通过闪光爆炸手榴弹406的爆炸而产生闪光的游戏图像。在头戴式显示器100的显示设备90上显示闪光408。
当闪光408出现时，用户可以用手覆盖双眼的方式触摸触摸面板262。这使得闪光408消失并且再次显示周围的游戏场。如果用户未能以用手覆盖双眼的方式触摸触摸面板262，则眼睛被闪光408所遮蔽，并且在闪光408消失之后的预定时间段内显示纯白的游戏图像，使周围的游戏场在此期间消失。
图19示出了移动信息终端200的另一个触摸面板262。提供了用于当用户的手掌触摸触摸面板262的右半区域和左半区域中的每个时防止闪光408屏蔽双眼的功能。当如此触摸触摸面板262以输入时，输入信息发送单元213将指示多个触摸位置的信息发送到游戏设备10。游戏控制单元319确定是否满足预定条件，即，在爆炸的时刻触摸面板262的右半区域和左半区域是否被手掌触摸。如果确定触摸面板262的两个区域被触摸以输入，则当闪光408消失时，游戏控制单元319使HMD图像数据生成单元313再次显示周围的游戏场。如果确定该两个区域没有被触摸以输入，则游戏控制单元319使HMD图像数据生成单元313在闪光408消失之后的预定时间段内显示纯白的游戏图像。
图20示出了移动信息终端200的另一个触摸面板262。当用户如图20所示用食指和中指在左眼或右眼附近形成V型手势并且用所述两个手指触摸触摸面板262时，从用户操作的玩家角色的眼睛或者从第一人称视点游戏中的用户的虚拟眼睛发射光束。
图21示出了在头戴式显示器100的显示设备90上显示的另一典型图像。提供了用于当同时触摸触摸面板262的预定范围内的区域中的两个点以输入时发射光束的功能。当如此触摸触摸面板262以输入时，输入信息发送单元213将指示多个触摸位置的信息发送到游戏设备10。游戏控制单元319确定在面板的预定范围内是否两个点同时被触摸以输入。如果确定同时触摸了预定范围内的两个点以输入，则游戏控制单元319使HMD图像数据生成单元313显示被发射的光束410。如果确定未触摸两个点以输入，则游戏控制单元319不使HMD图像数据生成单元313显示光束410的发射。当发射光束410时，游戏控制单元319计算光束410的路径。如果在路径上发现任何对象，则游戏控制单元319执行适用于当光束410撞击对象时的处理。
图22是示出移动信息终端200的另一个触摸面板262的示意图。当用户如图22所示用手指在触摸面板262上触摸任何位置至少预定时间段以输入时，在头戴式显示器100的显示设备90上所显示的游戏图像的触摸位置上显示手指图像。
图23示出了在头戴式显示器100的显示设备90上显示的另一典型图像。提供了一种功能，其中当用户以至少预定时间段或以至少预定量的压力触摸任何位置以在触摸面板262上输入时，然后给出使用户的手指从背景侵入(intrude)到在头戴式显示器100的显示设备90上显示的虚拟世界图像的视觉效果。当触摸触摸面板262以输入时，输入信息发送单元213向游戏设备10发送指示多个触摸位置和触摸该位置所花费的时间或施加于该触摸的压力的信息。游戏控制单元319确定触摸面板262是否以至少预定时间段或以至少预定的压力量被触摸。如果确定如此进行了触摸以输入，则游戏控制单元319使HMD图像数据生成单元313在触摸位置处显示用户的手指412。如果确定未以这种方式进行触摸，则游戏控制单元319不使HMD图像数据生成单元313显示用户的手指412。替代地，执行触摸的时间越长或执行触摸的压力量越大，可以示出手指侵入前景越深入。
如上所述，当用户以与真实世界中用户头部附近的手的动作相对应的方式对触摸面板262进行输入时，推定由真实世界动作引起的结果反映在显示器中。这提供了直观易懂、用户友好的界面。
在上述示例中，移动信息终端200的触摸面板262显示与头戴式显示器100的显示设备90上显示的图像相同的图像。这允许用户周围的人同时观看和享受由用户所玩的游戏。例如，当父母希望检查他们孩子所玩的游戏时，该方案是有效的。此外，由于不需要在显示设备12上显示游戏图像以使用户周围的人观看游戏，所以显示设备12可以用于其他目的。
触摸面板262可以显示与显示设备90上显示的图像不同的图像。触摸面板262上显示的内容可以通过经由头戴式显示器100、移动信息终端200或游戏设备10接收用户的指令来确定，或由头戴式显示器100、移动信息终端200或游戏设备10自动确定。
图24示出了在移动信息终端200的触摸面板262上显示的典型图像。在图24的示例中，指示游戏控制单元319所控制的游戏的状态的信息被显示在触摸面板262上。游戏设备10的触摸面板显示信息生成单元315通过获取指示在游戏控制单元319的控制下的游戏状态的信息来生成显示信息。本示例中的触摸面板262将游戏状态显示为“与大怪(boss)战斗”、以及作为添加到游戏状态的详细信息的敌人角色的强度的指示符和预定给周围的人的用户的消息。
图25示出了在移动信息终端200的触摸面板262上显示的另一典型图像。同样在图25的示例中，触摸面板262显示指示由游戏控制单元319所控制的游戏的状态的信息。游戏设备10的触摸面板显示信息生成单元315通过获取指示在游戏控制单元319的控制下的游戏状态的信息来生成显示信息。触摸面板262将游戏状态显示为“观看电影”、以及作为附加到游戏状态的详细信息的电影的剩余时间的秒数的指示符和预定给周围的人的用户的消息。
图26示出了在移动信息终端200的触摸面板262上显示的另一典型图像。同样在图25的示例中，触摸面板262显示指示由游戏控制单元319所控制的游戏的状态的信息。游戏设备10的触摸面板显示信息生成单元315通过获取指示在游戏控制单元319的控制下的游戏状态的信息来生成显示信息。触摸面板262显示游戏的游戏时间、以及到达下一个保存点所需的大致时间。例如，当父母希望限制他们孩子的游戏时间时，这个功能是有效的。
如上所述，触摸面板262显示指示佩戴着头戴式显示器100的用户正在玩的游戏或正在观看的电影的状态的信息。该特征允许用户周围的人获知用户的状态，例如，使他们能够在状态可中断时与用户讲话。这减少了用户被中断、即使该中断是不被期望的的场合，从而允许用户更有效地体验沉浸感。
图27示出了在移动信息终端200的触摸面板262上显示的另一典型图像。在图27的示例中，触摸面板262显示用作捕获图像分析单元318分析头戴式显示器100的位置和姿态所使用的标记的图像。该特征有助于提高分析头戴式显示器100的位置和姿态的准确性。如果在设置在不同位置处的多个触摸面板上显示不同的标记，则该特征更有效。显示在触摸面板262上用作标记的图像可以是诸如条形码或游戏角色的任何图形。作为另一替代方案，标记图像可以是人或游戏角色的脸部中的人眼睛及其周围环境，如同用户佩戴角色的面具一样显示。这将娱乐用户周围的人。
图28示出了在头戴式显示器100的显示设备90上显示的另一典型图像。当移动信息终端200的邮件应用在游戏期间接收到邮件时，HMD显示信息生成单元216通过获取关于接收到的邮件的信息来生成要显示在头戴式显示器100的显示设备90上的信息。游戏设备10的HMD显示信息接收单元317从移动信息终端200接收要显示在头戴式显示器100的显示设备90上的信息。进而，HMD图像数据生成单元313生成包含接收到的信息的图像数据。在图28的示例中，头戴式显示器100的显示设备90在屏幕底部的显示区域502中显示由移动信息终端200接收的邮件的发件人、接收到的邮件的标题和邮件开头处的文本部分。
可以经由移动信息终端200的触摸面板262从用户预先接收用于要显示在头戴式显示器100的显示设备90上的信息的设置。这允许用户在使用头戴式显示器100的同时查看关于移动信息终端200的必要的信息。如果需要，用户可以中断观看头戴式显示器100并使用移动信息终端200。此时，显示在头戴式显示器100的显示设备90上的信息不需要显示在移动信息终端200的触摸面板262上。这防止用户周围的人观看用户的信息。
可以取决于当前游戏状态或根据从用户接收的设置来确定显示从移动信息终端200接收到的信息的显示区域502的位置和大小。由于要显示的图像的宽高比与显示设备90的显示区域的宽高比不一致，因此在屏幕的顶部、底部、右边缘或左边缘处可能保留空白区域。然后可以将无图像区域用作显示区域502。
用户可以在观看头戴式显示器100的显示设备90的同时操作移动信息终端200。在使用游戏设备10的输入功能(例如输入设备20)来操作移动信息终端200的情况下，游戏设备10将从输入设备20接收的输入指令发送到移动信息终端200。移动信息终端200的协作应用将接收到的输入指令转发到诸如邮件应用的目标应用。在使用头戴式显示器100的输入功能(例如触摸板140)来操作移动信息终端200的情况下，头戴式显示器100例如直接或经由游戏设备10将从触摸板140接收的输入指令发送到移动信息终端200。在使用移动信息终端200的触摸面板262来操作移动信息终端200的情况下，由目标应用直接接收、或通过协作应用间接接收输入指令。
图29示出了一方面头戴式显示器100的显示设备90上的显示区域与另一方面触摸面板262和每个触摸板140的输入区域之间的对应关系。如上所述，本实施例包括多个触摸面板262和触摸板140。因此，游戏设备10的输入位置调整单元312将对触摸面板262和每个触摸板140的输入的位置与显示在头戴式显示器100的显示设备90上的图像的位置相关联。在图29的示例中，在头戴式显示器100的显示设备90上显示的图像内，区域a与移动信息终端200的触摸面板262相关联；区域b与设置在头戴式显示器100的上表面上的触摸板140相关联；区域c与设置在头戴式显示器100的左头侧的触摸板140相关联；并且区域d与设置在头戴式显示器100的右头侧上的触摸板140相关联。在这种情况下，优选的，用户的视场尽可能与触摸面板262和触摸板140所设置的实际位置一致。这提供了允许用户执行操作而不意识到身体感觉和视觉感觉之间的不一致的界面。
上述显示区域中的每一个可以与触摸面板262和每个触摸板140的输入区域的尺寸或形状不同。如果触摸面板262发生这种情况，则移动信息终端200的输入位置调整单元212将实际输入位置与分配的输入区域中的输入位置相关联。在触摸板140的情况下，头戴式显示器100的输入位置调整单元162将实际输入位置与分配的输入区域中的输入位置相关联。
图30示出了在头戴式显示器100的显示设备90上显示的另一典型图像。当输入信息接收单元311接收输入信息时，游戏设备10的输入位置调整单元312将指示输入位置的标记504、以及与接收到该输入的触摸面板262或触摸板140对应的区域框506显示在调整后的位置处。以这种方式，在存在多个触摸板140以及触摸面板262的情况下，可以可理解地向用户示出对触摸面板262和触摸板140中的哪一个进行触摸以输入到期望位置。还可以可理解地向用户示出在触摸面板262或触摸板140上触摸哪里。
图31是示出构成本实施例的显示控制方法的步骤的序列图。游戏设备10的游戏控制单元319控制游戏(S100)。HMD图像数据生成单元313生成要显示在头戴式显示器100上的图像数据(S102)。HMD图像数据发送单元314将图像数据发送到头戴式显示器100(S104)。头戴式显示器100的HMD显示控制单元165在显示设备90上显示图像数据(S106)。
游戏设备10的触摸面板显示信息生成单元315生成用于在移动信息终端200的触摸面板262上显示游戏状态和其他信息的信息(S108)。触摸面板显示信息发送单元316将显示信息发送到移动信息终端200(S110)。移动信息终端200的触摸面板显示控制单元215在触摸面板262上显示该显示信息(S112)。
当用户触摸移动信息终端200的触摸面板262以输入时，触摸输入接收单元211接收该输入(S120)。输入位置调整单元212调整触摸输入的位置，并且输入信息发送单元213将输入信息发送到游戏设备10(S124)。当用户触摸头戴式显示器100的任何触摸板140以输入时，触摸输入接收单元161接收该输入(S122)。输入位置调整单元162调整触摸输入的位置，并且输入信息发送单元163将输入信息发送到游戏设备10(S126)。当游戏设备10的输入信息接收单元311从移动信息终端200或从头戴式显示器100接收到输入信息时，输入位置调整单元312调整触摸输入的位置，并且游戏控制单元319使该触摸输入反映在游戏控制中(S128)。然后将控制返回到步骤S100。
HMD显示信息生成单元216生成例如在移动信息终端200接收到邮件时要显示在头戴式显示器100上的信息(S140)。在这种情况下，HMD显示信息发送单元217将显示信息发送到游戏设备10(S142)。当游戏设备10的HMD显示信息接收单元317从移动信息终端200接收到显示信息时，HMD图像数据生成单元313使该显示信息反映在显示器中(S144)。然后将控制返回到步骤S102。
以上使用具体实施例作为示例描述了本发明。本领域技术人员应当理解，实施例的组成要素和处理的适当组合可以引起本发明的进一步变化，并且这些变化也落在本发明的范围内。
在上述示例中，在头戴式显示器100的显示设备90上显示单眼视觉图像。作为替代方案，可以显示双眼立体视觉图像。在这种情况下，双眼立体视觉图像可以显示在移动信息终端200的触摸面板262上，而单目视觉图像可以显示在触摸面板262上。
在上述示例中，游戏设备10控制游戏以生成要显示在头戴式显示器100的显示设备90上的图像数据。替代地，头戴式显示器100可以被配置为控制游戏以生成图像数据。在这种情况下，不需要游戏设备10。移动信息终端200可以直接与头戴式显示器100通信，而不需要游戏设备10的干预。
虽然在上述示例中，游戏系统使用头戴式显示器100，但结合实施例描述的技术还可以用于显示除游戏以外的内容。在不包括诸如游戏控制器的任何专用输入设备的显示系统中，根据实施例的头戴式显示器100可以被用于经由触摸板或移动信息终端的触摸面板容易地输入用户的指令。
参考标记列表
10 游戏设备
90 显示设备
100 头戴式显示器
140 触摸板
161 触摸输入接收单元
162 输入位置调整单元
163 输入信息发送单元
164 HMD图像数据接收单元
165 HMD显示控制单元
200 移动信息终端
211 触摸输入接收单元
212 输入位置调整单元
213 输入信息发送单元
214 触摸面板显示信息接收单元
215 触摸面板显示控制单元
216 HMD显示信息生成单元
217 HMD显示信息发送单元
262 触摸面板
311 输入信息接收单元
312 输入位置调整单元
313 HMD图像数据生成单元
314 HMD图像数据发送单元
315 触摸面板显示信息生成单元
316 触摸面板显示信息发送单元
317 HMD显示信息接收单元
319 游戏控制单元
工业实用性
本发明可以应用于实现头戴式显示器。

Claims (10)

1.一种可佩戴在用户的头部上的头戴式显示器，所述头戴式显示器包括：
显示设备，配置为设置在由用户佩戴在头部上的头戴式显示器的内表面上；
多个输入设备，每个配置为设置在由用户佩戴在头部上的头戴式显示器的外表面上，所述多个输入设备的每个具有能够检测与用户的身体部分的接触或接近的输入区域；以及
显示控制单元，配置为获取基于指示所述输入设备检测与用户的身体部分的接触或接近的输入信息而生成的图像的数据，所述显示控制单元进一步使所述显示设备显示所获取的图像数据，
其中，所述多个输入设备的每个的输入区域与构成图像的多个划分区域中的一个相关联，并且用户的视场与设置所述输入设备的实际位置一致，
其中所述多个输入设备的至少一个是包含兼作为显示面板的触摸板的触摸面板，并且所述显示面板显示与在所述显示设备上显示的图像相关的图像。
2.根据权利要求1所述的头戴式显示器，
其中所述触摸板能够检测与用户的身体部分的接触或接近。
3.根据权利要求1或2所述的头戴式显示器，
其中所述输入设备是具有处理装置和所述触摸板的触摸面板的移动信息终端，所述触摸板能够检测与用户的身体部分的接触或接近，以及
所述显示设备能够显示关于由所述处理装置执行的应用的信息。
4.根据权利要求1至2中任一项所述的头戴式显示器，
其中，当用户以与手在真实世界中头部附近执行的动作相对应的方式对所述输入设备执行输入时，生成图像以反映推定由真实世界中的所述动作引起的结果。
5.一种显示控制方法，包括：
使获取单元获取基于指示多个输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息而生成的图像的数据的步骤，所述多个输入设备设置在所述头戴式显示器的外表面上；以及
使显示控制单元将由所述获取单元获取的图像数据显示在设置在由用户佩戴在头部上的头戴式显示器的内表面上的多个显示设备上的步骤，
其中，所述多个输入设备的每个的输入区域与构成图像的多个划分区域中的一个相关联，并且用户的视场与设置所述输入设备的实际位置一致，
其中所述多个输入设备的至少一个是包含兼作为显示面板的触摸板的触摸面板，并且所述显示面板显示与在所述显示设备上显示的图像相关的图像。
6.一种计算机可读记录介质，所述计算机可读记录介质记录显示控制程序，所述显示控制程序使计算机作为：
获取单元，配置为获取基于指示多个输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息而生成的图像的数据，所述多个输入设备设置在所述头戴式显示器的外表面上；以及
显示控制单元，配置为将由所述获取单元获取的图像数据显示在设置在由用户佩戴在头部上的头戴式显示器的内表面上的多个显示设备上，
其中，所述多个输入设备的每个的输入区域与构成图像的多个划分区域中的一个相关联，并且用户的视场与设置所述输入设备的实际位置一致，
其中所述多个输入设备的至少一个是包含兼作为显示面板的触摸板的触摸面板，并且所述显示面板显示与在所述显示设备上显示的图像相关的图像。
7.一种显示系统，包括：
头戴式显示器，配置为可佩戴在用户的头部上；以及
图像处理装置，配置为生成要显示在所述头戴式显示器上的图像，
其中所述头戴式显示器包含
显示设备，配置为设置在由用户佩戴在头部上的头戴式显示器的内表面上，
多个输入设备，配置为设置在由用户佩戴在头部上的头戴式显示器的外表面上，所述多个输入设备能够检测与用户的身体部分的接触或接近，以及
显示控制单元，配置为从所述图像处理装置获取基于指示所述多个输入设备检测与用户的身体部分的接触或接近的输入信息而生成的图像的数据，所述显示控制单元进一步使所述显示设备显示所获取的图像数据，以及
所述图像处理装置包含
图像生成单元，配置为获取所述输入信息并基于所述输入信息生成所述图像数据，
其中，所述多个输入设备的每个的输入区域与构成图像的多个划分区域中的一个相关联，并且用户的视场与设置所述输入设备的实际位置一致，
其中所述多个输入设备的至少一个是包含兼作为显示面板的触摸板的触摸面板，并且所述显示面板显示与在所述显示设备上显示的图像相关的图像。
8.一种可佩戴在用户的头部上的头戴式显示器，包括：
多个显示设备，配置为设置在由用户佩戴在头部上的头戴式显示器的内表面上；以及
显示控制单元，配置为获取基于指示多个输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息而生成的图像的数据，所述多个输入设备设置在所述头戴式显示器的外表面上，所述显示控制单元进一步使所述显示设备显示所获取的图像数据，
其中，所述多个输入设备的每个的输入区域与构成图像的多个划分区域中的一个相关联，并且用户的视场与设置所述输入设备的实际位置一致，
其中所述多个输入设备的至少一个是包含兼作为显示面板的触摸板的触摸面板，并且所述显示面板显示与在所述显示设备上显示的图像相关的图像。
9.一种可由用户携带的移动信息终端，包括：
多个输入设备，配置为能够检测与用户的身体部分的接触或接近；以及
通信部分，配置为将指示所述多个输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息发送到基于所述输入信息生成要显示在所述头戴式显示器上的图像的装置，所述移动信息终端设置在由用户佩戴在头部上的头戴式显示器的外表面上，
其中，所述多个输入设备的每个的输入区域与构成图像的多个划分区域中的一个相关联，并且用户的视场与设置所述输入设备的实际位置一致，
其中所述多个输入设备的至少一个是包含兼作为显示面板的触摸板的触摸面板，并且所述显示面板显示与在所述头戴式显示器的显示设备上显示的图像相关的图像。
10.一种图像处理装置，包括：
接收单元，配置为接收指示多个输入设备检测与在头部上佩戴头戴式显示器的用户的身体部分的接触或接近的输入信息，所述多个输入设备设置在所述头戴式显示器的外表面上；
生成单元，配置为基于由所述接收单元接收的输入信息生成图像的数据，所述图像预定要显示在设置在由用户佩戴在头部上的头戴式显示器的内表面上的显示设备上；以及
发送单元，配置为将由所述生成单元生成的图像数据发送到所述头戴式显示器，
其中，所述多个输入设备的每个的输入区域与构成图像的多个划分区域中的一个相关联，并且用户的视场与设置所述输入设备的实际位置一致，
其中所述多个输入设备的至少一个是包含兼作为显示面板的触摸板的触摸面板，并且所述显示面板显示与在所述显示设备上显示的图像相关的图像。
CN201580055928.2A 2014-10-22 2015-10-16 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示系统 Active CN106817913B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014215565A JP6340301B2 (ja) 2014-10-22 2014-10-22 ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
JP2014-215565 2014-10-22
PCT/JP2015/079276 WO2016063801A1 (ja) 2014-10-22 2015-10-16 ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム

Publications (2)

Publication Number Publication Date
CN106817913A CN106817913A (zh) 2017-06-09
CN106817913B true CN106817913B (zh) 2020-10-09

Family

ID=55760839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580055928.2A Active CN106817913B (zh) 2014-10-22 2015-10-16 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示系统

Country Status (5)

Country Link
US (2) US10379605B2 (zh)
EP (1) EP3211513B1 (zh)
JP (1) JP6340301B2 (zh)
CN (1) CN106817913B (zh)
WO (1) WO2016063801A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6567324B2 (ja) * 2015-05-21 2019-08-28 シャープ株式会社 画像表示装置、およびヘッドマウントディスプレイ
JP6668170B2 (ja) * 2016-06-07 2020-03-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびコンピュータプログラム
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
KR20180002208A (ko) * 2016-06-29 2018-01-08 엘지전자 주식회사 단말기 및 그 제어 방법
US11392237B2 (en) * 2017-04-18 2022-07-19 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
JP6996285B2 (ja) * 2017-12-25 2022-01-17 凸版印刷株式会社 Ｖｒコンテンツ再生装置によるｖｒコンテンツの再生を制御するためのユーザインターフェースを携帯型端末が提供するための方法、携帯型端末、及びプログラム
JP6582205B2 (ja) * 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP7403943B2 (ja) * 2018-05-28 2023-12-25 株式会社コロプラ ゲームプログラム、ゲーム方法、および情報処理端末
KR102185338B1 (ko) * 2018-06-15 2020-12-01 주식회사 룩시드랩스 안면 지지 마스크 및 이를 포함하는 헤드 마운트 디스플레이 장치
KR102312185B1 (ko) * 2018-08-28 2021-10-13 주식회사 룩시드랩스 생체 데이터 획득용 탈착식 기능모듈 및 이를 포함하는 헤드 마운트 디스플레이 장치
US11906740B2 (en) 2018-09-20 2024-02-20 Sony Interactive Entertainment Inc. Display system, program, display method, and head mounted device
JP7385238B2 (ja) * 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
EP3734416A1 (en) * 2019-04-30 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium
JP7384576B2 (ja) * 2019-06-06 2023-11-21 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法、及び表示制御プログラム
US11740742B2 (en) * 2019-09-23 2023-08-29 Apple Inc. Electronic devices with finger sensors
CN113238708B (zh) * 2021-05-17 2024-02-23 杭州灵伴科技有限公司 一种在头戴式显示设备中显示触控操作信息的方法、装置
CN115877572A (zh) * 2022-10-20 2023-03-31 北京凌宇智控科技有限公司 一种头戴式显示设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103217791A (zh) * 2012-01-18 2013-07-24 索尼公司 头戴式显示器
CN103430534A (zh) * 2011-03-06 2013-12-04 索尼公司 头戴式显示器
CN103534665A (zh) * 2011-04-04 2014-01-22 英特尔公司 平视显示器的键盘化身
CN103677579A (zh) * 2012-09-03 2014-03-26 联想(北京)有限公司 电子设备和控制方法
CN103914128A (zh) * 2012-12-31 2014-07-09 联想(北京)有限公司 头戴式电子设备和输入方法
JP2014145734A (ja) * 2013-01-30 2014-08-14 Nikon Corp 情報入出力装置、及び情報入出力方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991085A (en) * 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JP2003289484A (ja) 2002-03-28 2003-10-10 Sanyo Electric Co Ltd 眼前装着型映像表示装置及び操作装置
JP2004085476A (ja) 2002-08-28 2004-03-18 Sony Corp ヘッドトラッキング方法及び装置
KR20050025083A (ko) 2003-09-03 2005-03-11 휴먼센스 주식회사 영상저장매체 착탈 가능한 두부장착 디스플레이 장치
JP2007310599A (ja) * 2006-05-17 2007-11-29 Nikon Corp 映像表示装置
JP2008028552A (ja) 2006-07-19 2008-02-07 Nikon Corp 表示装置
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
WO2011097564A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
US9606612B2 (en) 2010-07-20 2017-03-28 Empire Technology Development Llc Augmented reality proximity sensing
WO2012040386A1 (en) * 2010-09-21 2012-03-29 4Iiii Innovations Inc. Head-mounted peripheral vision display systems and methods
JP5978592B2 (ja) * 2011-10-26 2016-08-24 ソニー株式会社 ヘッド・マウント・ディスプレイ及び表示制御方法
JP2013125247A (ja) 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
US8970960B2 (en) 2011-12-22 2015-03-03 Mattel, Inc. Augmented reality head gear
JP6136090B2 (ja) 2012-03-13 2017-05-31 株式会社ニコン 電子機器、及び表示装置
JP2013258614A (ja) 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
JP5962403B2 (ja) 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
TWI492133B (zh) * 2012-11-26 2015-07-11 電容感測電路
JP6524917B2 (ja) * 2014-01-23 2019-06-05 ソニー株式会社 画像表示装置及び画像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430534A (zh) * 2011-03-06 2013-12-04 索尼公司 头戴式显示器
CN103534665A (zh) * 2011-04-04 2014-01-22 英特尔公司 平视显示器的键盘化身
CN103217791A (zh) * 2012-01-18 2013-07-24 索尼公司 头戴式显示器
CN103677579A (zh) * 2012-09-03 2014-03-26 联想(北京)有限公司 电子设备和控制方法
CN103914128A (zh) * 2012-12-31 2014-07-09 联想(北京)有限公司 头戴式电子设备和输入方法
JP2014145734A (ja) * 2013-01-30 2014-08-14 Nikon Corp 情報入出力装置、及び情報入出力方法

Also Published As

Publication number Publication date
US20170308158A1 (en) 2017-10-26
EP3211513A1 (en) 2017-08-30
JP6340301B2 (ja) 2018-06-06
CN106817913A (zh) 2017-06-09
WO2016063801A1 (ja) 2016-04-28
US10379605B2 (en) 2019-08-13
EP3211513B1 (en) 2021-01-13
JP2016081476A (ja) 2016-05-16
US20190310703A1 (en) 2019-10-10
US10620699B2 (en) 2020-04-14
EP3211513A4 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
CN106817913B (zh) 头戴式显示器、移动信息终端、图像处理装置、显示控制程序、显示控制方法和显示系统
US11449133B2 (en) Information processing apparatus and information processing method
US10303244B2 (en) Information processing apparatus, information processing method, and computer program
CN108292490B (zh) 显示控制装置和显示控制方法
WO2017094608A1 (ja) 表示制御装置及び表示制御方法
WO2017094606A1 (ja) 表示制御装置及び表示制御方法
EP3086216B1 (en) Mobile terminal and controlling method thereof
JP2016158795A (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
JP6507827B2 (ja) 表示システム
CN109782968B (zh) 一种界面调整方法及终端设备
US11567330B2 (en) Display control apparatus, display control method, and display control program
JP6457446B2 (ja) 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム
JP2018160249A (ja) ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法
JP6891319B2 (ja) 表示制御装置及び表示制御方法
JP6705929B2 (ja) 表示制御装置及び表示制御方法
JP6683862B2 (ja) 表示制御装置及び表示制御方法
WO2016158080A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6711891B2 (ja) 表示制御プログラム、表示制御装置、及び表示制御方法
JP2023027077A (ja) 表示制御装置及び表示制御方法
KR20160027813A (ko) 글래스형 단말기

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant