[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2024144353A1 - 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법 - Google Patents

시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법 Download PDF

Info

Publication number
WO2024144353A1
WO2024144353A1 PCT/KR2023/021990 KR2023021990W WO2024144353A1 WO 2024144353 A1 WO2024144353 A1 WO 2024144353A1 KR 2023021990 W KR2023021990 W KR 2023021990W WO 2024144353 A1 WO2024144353 A1 WO 2024144353A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
user
area
display area
tracking sensor
Prior art date
Application number
PCT/KR2023/021990
Other languages
English (en)
French (fr)
Inventor
최종철
구본곤
이상현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/417,584 priority Critical patent/US20240220008A1/en
Publication of WO2024144353A1 publication Critical patent/WO2024144353A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • head mounted display devices that provide images to the user through a display placed close to the user's eyes while worn on the user's head are being developed.
  • FIG. 1 is a conceptual diagram for explaining a head-mounted display device according to an embodiment of the present disclosure.
  • Figure 2 is a plan view for explaining the configuration of a head-mounted display device according to an embodiment of the present disclosure.
  • Figure 11 is a plan view for explaining the arrangement of a gaze tracking sensor and a light source for gaze tracking according to an embodiment of the present disclosure.
  • FIG. 1 is a conceptual diagram for explaining a head-mounted display device according to an embodiment of the present disclosure.
  • an electronic device may provide content to a user 150 wearing the electronic device.
  • the electronic device is a device that can provide content to the user 150 and may be a head mounted display (HMD) device 100.
  • the electronic device is shown in FIG. 1 as having a shape similar to glasses, including a support portion that spans the face of the user 150.
  • the present disclosure is not limited to this, and the electronic device may include a support portion that spans the face and head of the user 150.
  • the electronic device is not limited to a head mounted display device, but may include a TV, a mobile device, a smart phone, a laptop computer, a desktop, a tablet PC, and an e-book reader. , may be implemented in various types of electronic devices such as digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players), wearable devices, etc.
  • the electronic device will be described as a head mounted display device 100.
  • the head mounted display device 100 may include a display 110 and an optical lens 120 that display an image.
  • the image provided from the display 110 may be refracted, reflected, or dispersed through the optical lens 120 and provided to the user 150.
  • the head mounted display device 100 may include at least one light source 130. At least one light source 130 may irradiate light 160 to the eyes 151 of a user wearing the head mounted display device 100. In one embodiment, light 160 provided from at least one light source 130 is refracted, reflected, or dispersed through the optical lens 120 and irradiated to the user's eyes 151. It could be.
  • the head mounted display device 100 may obtain gaze information of the user 150 using at least one light source 130 and at least one gaze tracking sensor 140. In one embodiment, the head mounted display device 100 may obtain biometric information of the user 150 using at least one light source 130 and at least one eye tracking sensor 140. In one embodiment, the gaze information of the user 150 includes the direction of the gaze of the user 150, the distance between the user's eyes 151 and the optical lens 120, and the distance between the user's eyes 151 and the display 110. , It may include a viewpoint at which the user 150's gaze and the optical lens 120 intersect, and a viewpoint at which the user 150's gaze and the display 110 intersect.
  • the head mounted display device 100 may acquire an iris pattern of the user's eye 151 or an eye image of the user 150 using at least one gaze tracking sensor 140.
  • the head mounted display device 100 may acquire biometric information of the user 150 based on the iris pattern of the user's eye 151 or the eye image of the user 150.
  • the biometric information of the user 150 includes an iris image of the user's eye 151, a retinal image of the user's eye 151, a vein pattern inside the user's eye 151, and a blood vessel pattern inside the user's eye 151. It may include visual acuity, disease information present in the user's eyes 151, etc.
  • the at least one light source 130 will be referred to as at least one gaze tracking light source 130.
  • the head mounted display device 100 may track the gaze of the user 150 and obtain information about the direction of the gaze of the user 150.
  • the head mounted display device 100 measures the distance between the user's eyes 151 and the optical lens 120 using at least one gaze tracking light source 130 and at least one gaze tracking sensor 140. Alternatively, at least one of the distances between the user's eyes 151 and the display 110 may be calculated.
  • the head mounted display device 100 determines the gaze direction of the user 150 and the optical lens 120 based on the obtained gaze direction of the user 150 and the distance between the user's eyes 151 and the optical lens 120. The point of view where (120) intersects can be identified. The head mounted display device 100 determines the intersection between the gaze of the user 150 and the display 110 based on the acquired direction of gaze of the user 150 and the distance between the user's eyes 151 and the display 110. The point in time can be identified.
  • the front (or upper) and rear (or lower) surfaces of the head mounted display device 100 may be defined based on the first direction axis 10.
  • the meaning of “overlapping” may mean overlapping with respect to the first direction axis 10.
  • the meaning of “included within” may mean included within the corresponding area based on the first direction axis 10.
  • the meaning of “arrangement” may mean arranged based on the first direction axis 10.
  • the present disclosure is not limited to this, and may also describe cases where the objects overlap or are arranged based on the second direction axis 20 or the third direction axis 30, if necessary.
  • the first distance between the optical lens 120 and the user's eye 151 along the first directional axis 10 is equal to the first directional axis 10 between the display 110 and the user's eye 151. It may be closer than the second distance to.
  • the arrangement relationship between the optical lens 120 and the display 110 will be described later with reference to FIGS. 9 and 10.
  • FIG. 1 shows at least one eye tracking light source 130 being disposed at a position spaced apart from the display 110 in the second direction axis 20 .
  • At least one eye tracking light source 130 disposed at a position spaced apart from the display 110 in the second direction axis 20 may not overlap the display 110 .
  • At least one eye tracking light source 130 may be disposed outside the first display area 111 and the second display area 112 .
  • the present disclosure is not limited thereto.
  • At least one eye tracking light source 130 may be disposed at a location spaced apart from the display 110 in the first direction axis 10 .
  • At least one eye tracking light source 130 disposed at a position spaced apart from the display 110 in the first direction axis 10 may overlap the display 110 .
  • At least one eye tracking light source 130 may be included within the second display area 112 .
  • At least one eye tracking light source 130 may overlap the optical lens 120.
  • At least one eye tracking sensor 140 may be disposed at a location spaced apart from the display 110 in the first direction axis 10 . Based on the first direction axis 10, the third distance between the at least one gaze tracking sensor 140 and the user's eye 151 may be greater than the second distance between the display 110 and the user's eye 151. there is.
  • Figure 2 is a plan view for explaining the configuration of a head-mounted display device according to an embodiment of the present disclosure.
  • components identical to those described in FIG. 1 will be assigned the same reference numerals, and overlapping descriptions will be omitted.
  • display 110 and optical lens 120 may each be disposed on frame 181.
  • the frame 181 may have a shape similar to that of a general glasses frame.
  • the frame 181 may include a rim shape surrounding the display 110 and the optical lens 120.
  • the optical lens 120 may include a first optical lens 120_1 corresponding to the user's left eye 151_1 and a second optical lens 120_2 corresponding to the user's right eye 151_2.
  • the first optical lens 120_1 may correspond to the first display 110_1
  • the second optical lens 120_2 may correspond to the second display 110_2.
  • the first display 110_1, the first optical lens 120_1, the first eye tracking light source 130_1, and the first eye tracking sensor 140_1 may be disposed in the first frame 181_1.
  • a second display 110_2, a second optical lens 120_2, a second eye tracking light source 130_2, and a second eye tracking sensor 140_2 may be disposed in the second frame 181_2. .
  • temples 182 may be connected to frame 181.
  • the temples 182 are parts that support the head-mounted display device 100 by covering the ears of the user 150 when the user 150 wears the head-mounted display device 100.
  • the temples 182 may include a first temple 182_1 connected to the first frame 181_1 and a second temple 182_2 connected to the second frame 181_2.
  • the nose bridge 184 is a support that connects the first frame 181_1 and the second frame 181_2.
  • the nose bridge 184 may be connected to the nose support portion 183.
  • the head mounted display device 100 may not include the nose bridge 184.
  • At least one eye tracking sensor 140 may receive reflected light 170 reflected from the eyes 151 of a user wearing the head mounted display device 100 through the optical lens 120. .
  • the configuration, operation, and function of at least one eye tracking sensor 140 will be described in detail with reference to FIG. 3 .
  • Figure 3 is a block diagram for explaining a head mounted display device and a method of operating the head mounted display device according to an embodiment of the present disclosure.
  • the same reference numerals will be assigned to the same components as those described in FIGS. 1 and 2, and overlapping descriptions will be omitted.
  • a display 110, an optical lens 120, at least one eye tracking light source 130, at least one eye tracking sensor 140, at least one processor 191, memory 192, and The communication interfaces 194 may be electrically and/or physically connected to each other.
  • the at least one eye tracking light source 130 when the at least one eye tracking light source 130 includes an infrared LED (Light Emitting Diode) that emits infrared light, the at least one eye tracking light source 130 includes an infrared light source of planar light. can be irradiated toward the user's eyes 151.
  • an infrared LED Light Emitting Diode
  • the at least one eye tracking light source 130 when the at least one eye tracking light source 130 includes an infrared LED (Light Emitting Diode) that emits infrared light, the at least one eye tracking light source 130 includes an infrared light source of planar light. can be irradiated toward the user's eyes 151.
  • the memory 192 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or Memory), Mask ROM, Flash ROM, etc.), a hard disk drive (HDD), or a solid state drive (SSD).
  • At least one command or program code for performing functions or operations of the head mounted display device 100 may be stored in the memory 192 .
  • At least one instruction, algorithm, data structure, program code, and application program stored in the memory 192 may be written in a programming or scripting language such as C, C++, Java, assembler, etc. It can be implemented.
  • the gaze sensing module 192_3 acquires at least one of gaze information or biometric information of the user 150 based on the reflected light 170 obtained through at least one gaze tracking sensor 140. It may be composed of instructions or program code related to functions.
  • the at least one processor 191 executes instructions or program code of the gaze sensing module 192_3, thereby detecting the user based on the reflected light 170 obtained through the at least one gaze tracking sensor 140.
  • the gaze direction of (150) can be obtained.
  • the gaze sensing module 192_3 determines the distance between the user's eyes 151 and the optical lens 120 or the user's eyes based on the reflected light 170 obtained through at least one gaze tracking sensor 140. It may be composed of instructions or program code related to an operation or function for calculating at least one of the distances between 151 and the display 110.
  • the communication interface 194 may include, for example, wired LAN, wireless LAN, Wi-Fi, Bluetooth, zigbee, WFD (Wi-Fi Direct), Infrared Communication (IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC (Near Field Communication), Wibro (Wireless Broadband Internet, Wibro), WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol) ), Wireless Gigabit Allicance (WiGig), and RF communication may be used to perform data communication with a server or other surrounding electronic devices.
  • WFD Wi-Fi Direct
  • IrDA Infrared Communication
  • BLE Bluetooth Low Energy
  • NFC Near Field Communication
  • Wibro Wireless Broadband Internet, Wibro
  • WiMAX Worldwide Interoperability for Microwave Access, WiMAX
  • SWAP Shared Wireless Access Protocol
  • WiGigabit Allicance WiGig
  • RF communication may be used to perform data communication with a server or other surrounding electronic devices.
  • the communication interface 194 may receive data including an image displayed on the display 110 from a server or other peripheral electronic devices. At least one processor 191 may display an image on the display 110 based on the received data.
  • Figure 4 is a flowchart for explaining the operation of a head-mounted display device according to an embodiment of the present disclosure.
  • a method of operating the head mounted display device 100 includes applying light 160 to the user's eyes 151 using at least one gaze tracking light source 130. It may include a step of investigating (S100). In one embodiment, in step S100 of radiating light 160 to the user's eyes 151, at least one processor 191 (see FIG. 3) detects the user through at least one gaze tracking light source 130. Light 160 can be irradiated to the eyes 151.
  • the cross-sectional area of the optical lens 120 may be equal to or larger than the cross-sectional area of the display 110. Based on the first direction axis 210, the entire area of the display 110 may overlap the optical lens 120. In one embodiment, the cross-sectional area of the aperture stop of the optical lens 120 may be equal to or greater than the cross-sectional area of the display area of the display 110. In one embodiment, the effective diameter of the optical lens 120 may be inscribed in the display area of the display 110.
  • the user's visual acuity when observing the image using central vision is higher than the visual acuity of the user when observing the image using peripheral vision. Accordingly, in order to clearly see the image displayed on the display 110, the user 150 can view the image displayed on the display 110 by changing the focused area on the display 110.
  • the image displayed on the display 110 may be refracted, reflected, or dispersed through the optical lens 120 and then provided to the user 150.
  • the distance between the area where the image displayed on the display 110 is refracted, reflected, or dispersed through the optical lens 120 and the user's eyes 151 is determined by the optical lens 120 and It may be equal to or close to the first distance between the user's eyes 151.
  • the distance between the area where the image refracted, reflected, or dispersed through the optical lens 120 is formed and the user's eyes 151 is assumed to be equal to the first distance.
  • the user 150 may recognize the image provided by the head mounted display device 100 by observing the refraction, reflection, or dispersion of the image through the optical lens 120. You can.
  • the area of interest 550 may be determined based on a first distance 540, which is the distance between the user's eye 151 and the optical lens 120, and a preset reference angle 530.
  • At least one processor 191 when at least one processor 191 (see FIG. 3) identifies that the head of the user 150 is moving through the gaze sensing module 192_3, it displays ( By changing the image displayed on 110), the user 150 can observe the image displayed in an area other than the area of interest 550 before moving his head. Specifically, when the at least one processor identifies that the head of the user 150 is moving, the at least one processor changes the image displayed in the region of interest 550 in response to the head movement of the user 150, By moving the , you can reproduce the effect of observing an image from a wide viewing angle.
  • the clarity of the image displayed in the area other than the area of interest 550 recognized by the user 150 may be low.
  • At least one eye tracking sensor 520 may be disposed inside the second display area 112 in the first direction axis 10 . At least one eye tracking sensor 520 may be disposed adjacent to the second side 115 of the display 110 . Based on the first direction axis 10, the third distance between the at least one gaze tracking sensor 520 and the user's eye 151 is the first distance between the optical lens 120 and the user's eye 151. It could be farther.
  • FIG. 6 an enlarged view of the area 560 shown in Figure 5 is shown in Figure 6.
  • the display 600 may include a substrate 630, a circuit layer 620 disposed on the substrate 630, and a plurality of pixels 610 disposed on the circuit layer 620. .
  • circuit layer 620 may be disposed on substrate 630.
  • the circuit layer 620 may include an insulating layer, a semiconductor pattern, a conductive pattern, and a signal line.
  • the circuit layer 620 may include a thin film transistor and a plurality of insulating layers disposed on the substrate 630. Additionally, the circuit layer 620 may include a plurality of connection electrode parts formed to penetrate a plurality of insulating layers.
  • a plurality of pixels 610 may be disposed on the circuit layer 620. Each of the plurality of pixels 610 may generate light. In one embodiment, each of the plurality of pixels 610 may include an organic light emitting diode or an inorganic light emitting diode that generates different color lights. However, the present disclosure is not limited thereto, and each of the plurality of pixels 610 includes an organic light emitting diode or an inorganic light emitting diode that generates the same color light, and the display 600 may further include a color filter layer including a plurality of color filters having different colors. In one embodiment, each of the plurality of pixels 610 may include a quantum dot light emitting diode.
  • each of the plurality of pixels 610 may include a light-emitting layer for generating light and an electrode layer such as a cathode and anode for applying a voltage to the light-emitting layer.
  • an electrode layer such as a cathode and anode for applying a voltage to the light-emitting layer.
  • a portion of the light irradiated from the outside to the plurality of pixels 610 may be refracted, reflected, etc. by at least one of the light emitting layer or the electrode layer included in each of the plurality of pixels 610. Accordingly, the transmittance of the area where the plurality of pixels 610 are arranged may be lower than the transmittance of the area where the plurality of pixels 610 are not arranged.
  • the display 600 may include a first display area 611 and a second display area 612 that display an image.
  • the plurality of pixels 610 include a plurality of first pixels 613 included in the first display area 611 and a plurality of second pixels included in the second display area 612 ( 614) may be included.
  • the resolution of the first display area 611 may be greater than the resolution of the second display area 612.
  • the number of the plurality of first pixels 613 included in the first display area 611 per unit area is the number of the plurality of second pixels 614 included in the second display area 612 per unit area. It can be bigger than In one embodiment, the size of each of the first pixels 613 and the size of each of the second pixels 614 may be the same. In one embodiment, the spacing between adjacent first pixels among the plurality of first pixels 613 may be closer than the spacing between adjacent second pixels among the plurality of second pixels 614.
  • the transmittance of the second display area 612 with a small number of pixels per unit area may be higher than the transmittance of the first display area 611 with a large number of pixels per unit area.
  • the present disclosure is not limited thereto.
  • the size of each of the plurality of second pixels 614 is larger than the size of each of the plurality of first pixels 613, and the size of each of the plurality of first pixels 614 is larger.
  • the spacing between adjacent first pixels among the plurality of second pixels 613 may be closer than the spacing between adjacent second pixels among the plurality of second pixels 614.
  • the transmittance of the second display area 612 with a small number of pixels per unit area may be higher than the transmittance of the first display area 611 with a large number of pixels per unit area.
  • the second side 115 of the display 110 may be adjacent to the substrate 630.
  • the second surface 115 of the display 110 may refer to the lower surface of the substrate 630.
  • the substrate 630 may be disposed on at least one eye tracking sensor 640.
  • at least one eye tracking sensor 640 may be disposed below the display 600 and inside the second display area 612 based on the first direction axis 10.
  • at least one eye tracking sensor 640 may be disposed outside the first display area 611.
  • the first display area 611 does not overlap with at least one eye tracking sensor 640.
  • at least one eye tracking sensor 640 may be arranged to overlap an area of the substrate 630 corresponding to the second display area 612. At least one eye tracking sensor 640 may be disposed below the substrate included in the second display area 612 of the substrate 630 .
  • the at least one eye tracking sensor 640 is disposed inside the second display area 612, which has a relatively high transmittance compared to the first display area 611, to control the user's eyes 151,
  • the reflected light 170 (see FIG. 5) reflected from the light (see FIG. 5) may be received.
  • FIG. 7 is a conceptual diagram illustrating that each of a gaze tracking sensor and a light source for gaze tracking is disposed inside a display area according to an embodiment of the present disclosure.
  • the same reference numerals will be assigned to the same components as those described in FIG. 5, and overlapping descriptions will be omitted.
  • FIGS. 1 and 7 the user's eyes 151, the display 110, and the optical lens ( 120) is shown.
  • the optical lens 120 may be disposed on the display 110 based on the first direction axis 10.
  • Optical lens 120 may be disposed adjacent to first side 114 of the display.
  • the first distance 740 between the optical lens 120 and the user's eye 151 is the distance between the display 110 and the user's eye 151. It may be closer than the second distance.
  • the cross-sectional area of the optical lens 120 may be equal to or larger than the cross-sectional area of the display 110.
  • the cross-sectional area of the effective diameter of the optical lens 120 may be equal to or larger than the cross-sectional area of the display area of the display 110.
  • the entire area of the display 110 may overlap the optical lens 120.
  • the effective diameter of the optical lens 120 may be inscribed in the display area of the display 110.
  • the region of interest 750 on the optical lens 120 is based on a first distance 740, which is the distance between the user's eye 151 and the optical lens 120, and a pre-set reference angle 730. It can be decided by
  • At least one gaze tracking light source 710 may be disposed inside the second display area 112 in the first direction axis 10 . At least one eye tracking light source 710 may be disposed adjacent to the second side 115 of the display 110. Based on the first direction axis 10, the fourth distance between the at least one gaze tracking light source 710 and the user's eye 151 is the first distance between the optical lens 120 and the user's eye 151. It can be farther than the distance (740).
  • At least one gaze tracking light source 710 may overlap the optical lens 120 in the first direction axis 10 .
  • the light 160 emitted from at least one gaze tracking light source 710 may pass through the display 110 and then be irradiated to the user's eyes 151 through the optical lens 120.
  • the present disclosure is not limited thereto. Even if the at least one gaze tracking light source 710 and the optical lens 120 do not overlap in the first direction axis 10, the light 160 provided from the at least one gaze tracking light source 710 is transmitted to the optical lens 120. ) may be irradiated to the user's eyes 151.
  • At least one eye tracking light source 710 may be disposed outside the region of interest 750 in the first direction axis 10 .
  • At least one eye tracking sensor 720 may be disposed outside the region of interest 750 . At least one eye tracking sensor 720 may overlap the optical lens 120 in the first direction axis 10 . At least one eye tracking sensor 720 may receive reflected light 170 reflected from the user's eyes 151 through the optical lens 120.
  • the present disclosure is not limited thereto. Even if the at least one gaze tracking sensor 720 and the optical lens 120 do not overlap in the first direction axis 10, the at least one gaze tracking sensor 720 may detect the reflected light 170 reflected from the user's eyes 151. ) can also be received through the optical lens 120.
  • FIG. 8 shows an enlarged view of the area 760 shown in FIG. 7 .
  • the display 800 may include a substrate 830, a circuit layer 820 disposed on the substrate 630, and a plurality of pixels 810 disposed on the circuit layer 820. .
  • the second display area 812 includes a first sub-display area 812_1 overlapping with at least one eye tracking light source 840 in the first direction axis 10 and at least one eye tracking sensor ( It may include a second sub-display area 812_2 overlapping with 850 .
  • At least one eye tracking light source 840 may be disposed below the display 800 and may be disposed inside the first sub-display area 812_1 with respect to the first direction axis 10. there is. Based on the first direction axis 10, at least one eye tracking light source 840 is disposed outside the first display area 811. At least one eye tracking light source 840 may be disposed below the substrate included in the first sub-display area 812_1 of the substrate 830.
  • the first sub-display area 812_1 and the second sub-display area 812_2 are shown to be spaced apart from each other.
  • the first sub-display area 812_1 and the second sub-display area 812_2 may each be surrounded by the first display area 811.
  • the first sub-display area 812_1 and the second sub-display area 812_2 may be included in the display 110 while being spaced apart from each other on a plane defined by the second direction axis 20 and the third direction axis 30.
  • the present disclosure is not limited thereto, and the first sub-display area 812_1 and the second sub-display area 812_2 may be included in the display 110 as one area that touches each other.
  • the display 110, the optical lens 120, at least one eye tracking light source 910, and at least one eye tracking sensor 920 are shown as seen from the first direction axis 10. .
  • the optical lens 120 may be disposed on the display 110 with respect to the first direction axis 10. In one embodiment, on a plane defined by the second direction axis 20 and the third direction axis 30, the optical lens 120 may have a circular shape. In one embodiment, the display 110 may have a rectangular shape on a plane defined by the second direction axis 20 and the third direction axis 30.
  • the operation of the video and head mounted display device 100 can also be controlled.
  • the distance between the user's eye 151 and the region of interest 550 is shown to be equal to the first distance 540 between the user's eye 151 and the optical lens 120, but the present disclosure is not limited thereto. No. Based on the shape, configuration, and refractive index of the optical lens 120, the distance between the user's eye 151 and the area of interest 550 may be closer than the first distance 540 between the user's eye 151 and the optical lens 120. It may be possible.
  • the region of interest 930 on the plane defined by the second direction axis 20 and the third direction axis 30 is defined by the second direction axis 20 and the third direction axis 30.
  • the cross section of the display 110 may be different.
  • the image displayed in the area corresponding to the area of interest 930 can be viewed by the user 150 by moving his or her eyes and using central vision, which has relatively high visual acuity compared to peripheral vision. Accordingly, the image displayed in the area corresponding to the area of interest 930 can be clearly observed by the user 150.
  • the head mounted display device 100 of the present disclosure uses at least one eye tracking sensor 920 to track the user's eyes 151 and the user's eyes 151 on a plane defined by the second direction axis 20 and the third direction axis 30. It is close and is disposed inside the second display area 112 with high transmittance among the display 110 to improve the light receiving performance of the at least one eye tracking sensor 920, and to provide the user 150 with the second display area 112. This can prevent differences in image quality from being recognized.
  • At least one eye tracking light source 1010 may be disposed below the optical lens 120 and overlap the optical lens 120 with respect to the first direction axis 10. At least one eye tracking light source 1010 may be disposed outside the first display area 111 and the second display area 112.
  • At least one eye tracking sensor 1020 is disposed below the display 110 and inside the second display area 112 of the display 110 with respect to the first direction axis 10. can be placed. In one embodiment, at least one eye tracking sensor 1020 may be disposed outside the first display area 111 of the display 110. In one embodiment, at least one eye tracking sensor 1020 may be placed outside the region of interest 930.
  • the optical lens 120 may be disposed on the display 110 with respect to the first direction axis 10. In one embodiment, on a plane defined by the second direction axis 20 and the third direction axis 30, the optical lens 120 may have a circular shape. In one embodiment, the display 110 may have a rectangular shape on a plane defined by the second direction axis 20 and the third direction axis 30.
  • the at least one eye tracking light source 1110 is disposed below the display 110 and is located inside the second display area 112 of the display 110 with respect to the first direction axis 10. can be placed in At least one eye tracking light source 1110 may be disposed outside the first display area 111 of the display 110. At least one eye tracking light source 1110 may be placed outside the region of interest 930. At least one eye tracking light source 1110 may overlap the optical lens 120 with respect to the first direction axis 10.
  • the head mounted display device 100 is shown as including three eye tracking light sources 1110.
  • the second display area 112 may include three first sub-display areas 112_1 each overlapping the three eye-tracking light sources 1110 .
  • three gaze tracking light sources 1110 and three first sub-display areas 112_1 are arranged to be spaced apart from each other, but the present disclosure is not limited thereto.
  • the three eye tracking light sources 1110 may be placed adjacent to each other or may be placed inside one common first sub-display area 112.
  • At least one eye tracking sensor 1120 is disposed below the display 110 and inside the second display area 112 of the display 110 with respect to the first direction axis 10. can be placed. At least one eye tracking sensor 1120 may be placed outside the region of interest 930.
  • At least one eye tracking sensor 1220 is disposed below the display 110 and inside the second display area 112 of the display 110 with respect to the first direction axis 10. can be placed. In one embodiment, at least one eye tracking sensor 1220 may be disposed outside the first display area 111 of the display 110. In one embodiment, at least one eye tracking sensor 1220 may be disposed outside the region of interest 1230 having a reference radius 1232 based on the center 1231 of the optical lens 120.
  • the cross-sectional area of the display may be smaller than the cross-sectional area of the optical lens. In one embodiment, the cross-sectional area of the effective diameter of the optical lens may be equal to or greater than the cross-sectional area of the display area of the display. In one embodiment, the effective diameter of the optical lens may be inscribed in the display area of the display.
  • Computer-readable recording media include, for example, magnetic storage media (e.g., read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and optical read media (e.g., CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable recording medium is distributed among computer systems connected to a network, so that computer-readable code can be stored and executed in a distributed manner.
  • the recording medium can be read by a computer, stored in memory, and executed by a processor.
  • programs according to embodiments disclosed in this specification may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Instrument Panels (AREA)

Abstract

본 개시는 디스플레이, 디스플레이의 제1 면에 인접하게 배치된 광학 렌즈, 광을 출력하는 적어도 하나의 광원 및 디스플레이의 제2 면에 인접하게 배치되고, 적어도 하나의 광원에서 출력된 광이 사용자의 눈에 의해 반사된 반사광을 수광하여 사용자의 시선 정보를 획득하는 적어도 하나의 시선 추적 센서를 포함하며, 디스플레이는 적어도 하나의 시선 추적 센서가 배치된 위치에 대응되는 제2 표시 영역과, 제2 표시 영역 이외의 제1 표시 영역을 포함하며, 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 큰 헤드 마운티드 디스플레이(Head Mounted Display) 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법을 포함한다.

Description

시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법
본 개시는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법에 관한 것이다.
기술의 발전에 따라 사용자의 두부(頭部)에 착용된 상태에서, 사용자의 눈에 가깝게 배치된 디스플레이를 통하여 사용자에게 영상을 제공하는 헤드 마운티드 디스플레이(Head Mounted display) 장치가 개발되고 있다.
헤드 마운티드 디스플레이 장치에 포함되는 디스플레이는 현실 세계(real world)의 물리적 환경 공간이나, 현실 객체(real world object) 상에 가상 이미지를 오버레이(overlay)하여 함께 보여주기 위한 옵티컬 시스루 디스플레이(optical see-through display)를 포함하거나, 카메라 등을 통하여 현실 세계의 물리적 환경 공간의 이미지를 촬영한 이미지를 표시하여 사용자에게 제공하는 비디오 시스루 디스플레이(video see-through display)를 포함할 수 있다.
최근에는, 헤드 마운티드 디스플레이 장치를 착용한 사용자의 시선 방향을 센싱하고, 센싱된 시선 방향에 기초하여 디스플레이에 표시되는 영상을 보정하여 사용자에게 제공하는 기술이 개발되고 있다.
본 개시의 일 실시예는 디스플레이 및 디스플레이의 제1 면에 인접하게 배치된 광학 렌즈를 포함하는 헤드 마운티드 디스플레이(Head Mounted Display) 장치를 제공한다. 헤드 마운티드 디스플레이 장치는 적어도 하나의 광원을 포함할 수 있다. 헤드 마운티드 디스플레이 장치는 디스플레이의 제2 면에 인접하게 배치되고, 적어도 하나의 광원에서 출력된 광이 사용자의 눈에 의해 반사된 반사광을 수광하여 사용자의 시선 정보를 획득하는 적어도 하나의 시선 추적 센서를 포함할 수 있다. 디스플레이는, 적어도 하나의 시선 추적 센서가 배치된 위치에 대응되는 제2 표시 영역과, 제2 표시 영역 이외의 제1 표시 영역을 포함할 수 있다. 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 클 수 있다.
본 개시의 일 실시예는 디스플레이 및 디스플레이의 제1 면에 인접하게 배치된 광학 렌즈를 포함하는 헤드 마운티드 디스플레이 장치를 제공한다. 헤드 마운티드 디스플레이 장치는 적어도 하나의 광원을 포함할 수 있다. 헤드 마운티드 디스플레이 장치는 디스플레이의 제2 면에 인접하도록 배치되고, 적어도 하나의 광원에서 출력된 광이 사용자의 눈으로부터 반사된 반사광을 수광하는 적어도 하나의 시선 추적 센서를 포함할 수 있다. 헤드 마운티드 디스플레이 장치는 적어도 하나의 명령어(instruction)를 저장하는 메모리 및 메모리에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 적어도 하나의 시선 추적 센서를 통해 수광된 반사광에 기초하여, 사용자의 시선 정보를 획득할 수 있다. 디스플레이는 적어도 하나의 시선 추적 센서가 배치된 위치에 대응되는 제2 표시 영역과, 제2 표시 영역 이외의 제1 표시 영역을 포함할 수 있다. 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 클 수 있다.
본 개시의 일 실시예는 디스플레이 및 디스플레이의 제1 면에 인접하게 배치된 광학 렌즈를 포함하는 헤드 마운티드 디스플레이 장치의 동작 방법을 제공한다. 헤드 마운티드 디스플레이 장치의 동작 방법은 적어도 하나의 광원을 이용하여 사용자의 눈에 광을 조사하는 단계를 포함할 수 있다. 헤드 마운티드 디스플레이 장치의 동작 방법은 디스플레이의 제2 면에 인접하게 배치되는 적어도 하나의 시선 추적 센서를 이용하여, 적어도 하나의 광원에 의하여 조사되어 사용자의 눈으로부터 반사된 반사광을 수광하는 단계를 포함할 수 있다. 헤드 마운티드 디스플레이 장치의 동작 방법은 수광된 반사광에 기초하여, 사용자의 시선 정보를 획득하는 단계를 포함할 수 있다. 디스플레이는 적어도 하나의 시선 추적 센서가 배치된 위치에 대응되는 제2 표시 영역과, 제2 표시 영역 이외의 제1 표시 영역을 포함할 수 있다. 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 클 수 있다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치를 설명하기 위한 개념도이다.
도 2는 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치의 구성을 설명하기 위한 평면도이다.
도 3은 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치의 동작을 설명하기 위한 순서도이다.
도 5는 본 개시의 일 실시예에 따른 시선 추적 센서는 디스플레이의 표시 영역 내에 배치되고, 시선 추적용 광원은 디스플레이의 표시 영역의 외부에 배치되는 것을 설명하기 위한 개념도이다.
도 6은 본 개시의 일 실시예에 따른 시선 추적 센서는 디스플레이의 표시 영역 내에 배치되고, 시선 추적용 광원은 디스플레이의 표시 영역의 외부에 배치되는 것을 설명하기 위한 확대도이다.
도 7은 본 개시의 일 실시예에 따른 시선 추적 센서 및 시선 추적용 광원 각각이 표시 영역의 내부에 배치되는 것을 설명하기 위한 개념도이다.
도 8은 본 개시의 일 실시예에 따른 시선 추적 센서 및 시선 추적용 광원 각각이 표시 영역의 내부에 배치되는 것을 설명하기 위한 확대도이다.
도 9는 본 개시의 일 실시예에 따른 시선 추적 센서와 시선 추적용 광원의 배치를 설명하기 위한 평면도이다.
도 10은 본 개시의 일 실시예에 따른 시선 추적 센서와 시선 추적용 광원의 배치를 설명하기 위한 평면도이다.
도 11은 본 개시의 일 실시예에 따른 시선 추적 센서와 시선 추적용 광원의 배치를 설명하기 위한 평면도이다.
도 12는 본 개시의 일 실시예에 따른 시선 추적 센서와 시선 추적용 광원의 배치를 설명하기 위한 평면도이다.
본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시의 일 실시예에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 본 개시의 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 개시에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for)”, “~하는 능력을 가지는(having the capacity to)”, “~하도록 설계된(designed to)”, “~하도록 변경된(adapted to)”, “~하도록 만들어진(made to)”, 또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성된(또는 설정된)”은 하드웨어적으로 “특별히 설계된(specifically designed to)” 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 시스템”이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
또한, 본 개시에서 일 구성요소가 다른 구성요소와 “연결된다” 거나 “접속된다” 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
본 개시에서, '전자 장치'는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치일 수 있다. 다만, 본 개시는 이에 한정되는 것은 아니고, '전자 장치'는 TV, 모바일 디바이스, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 착용형 기기(wearable device) 등과 같은 다양한 형상의 전자 장치로 구현될 수도 있다.　
본 개시에서 '중심시(Central Vision)'는 사용자가 주시하는 영역을 관찰할 때 사용하는 시야를 의미할 수 있다. 중심시는 사용자의 시야의 중심부에 위치한 영역을 관찰할 때 사용하는 시야를 의미할 수 있다.
본 개시에서 '주변시(Peripheral Vision)'는 사용자가 주시하는 영역의 주변 영역을 관찰할 때 사용하는 시야를 의미할 수 있다. 주변시는 사용자의 시야의 중심부와 인접한 영역을 관찰할 때 사용하는 시야를 의미할 수 있다.
본 개시에서 '기준 각도'는 인간 공학(human factors)에 기초하여, 헤드 마운티드 디스플레이 장치를 이용하여 영상을 시청하는 사용자가 디스플레이 상에 표시되는 영상을 주시할 때, 디스플레이 중 최초로 주시한 영역에서 머리를 움직이지 않고 사용자의 눈을 움직여서 주시하는 영역을 변경하는 최대 각도라고 판단되는 각도에 대응되도록 설정된 각도일 수 있다.
본 개시에서, '관심 영역'은 사용자가 머리를 움직이지 않고, 사용자의 눈동자만을 움직여 중심시로 디스플레이 상에 표시된 영상을 관찰할 수 있는 영역이다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시의 일 실시예는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시의 일 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 본 개시 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치를 설명하기 위한 개념도이다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 전자 장치는, 전자 장치를 착용한 사용자(150)에게 콘텐츠를 제공할 수 있다. 일 실시예에서, 전자 장치는 사용자(150)에게 콘텐츠를 제공할 수 있는 장치로서, 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치(100)일 수 있다. 일 실시예에서, 도 1에는 전자 장치가 사용자(150)의 안면부(顔面部)에 걸쳐지는 지지부를 포함하는, 안경과 유사한 형상으로 도시되어 있다. 다만, 본 개시는 이에 한정되지 않고, 전자 장치는 사용자(150)의 안면부(顔面部) 및 두부(頭部)에 걸쳐지는 지지부를 포함할 수도 있다. 또한, 본 개시의 일 실시예로, 전자 장치는 헤드 마운티드 디스플레이 장치에 제한되지 않고, TV, 모바일 디바이스, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 착용형 기기(wearable device) 등과 같은 다양한 형상의 전자 장치로 구현될 수도 있다.　이하, 설명의 편의를 위하여, 전자 장치는 헤드 마운티드 디스플레이 장치(100)인 것으로 설명한다.
일 실시예로, 헤드 마운티드 디스플레이 장치(100)는 영상을 표시하는 디스플레이(110) 및 광학 렌즈(120)를 포함할 수 있다. 디스플레이(110)에서 제공되는 영상은 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion)되어 사용자(150)에게 제공될 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 외부에서 제공받은 데이터 또는 헤드 마운티드 디스플레이 장치(100)에 기-저장된 데이터에 기초하여 생성한 영상을 디스플레이(110)에 표시하여 사용자(150)에게 제공할 수 있다.　일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 외부의 전자 장치로부터 디스플레이(110)에 표시할 영상에 대한 정보를 포함하는 데이터를 제공받을 수 있다.
다만, 본 개시는 이에 제한되지 않는다. 헤드 마운티드 디스플레이 장치(100)는 사용자(150)의 시선 방향이 향하는 곳의 물리적 환경 공간을 카메라로 촬영하여 영상을 획득한 후, 디스플레이(110)를 통하여 사용자(150)에게 획득한 영상을 제공하는 비디오 시스루(video see-through) 전자 장치일 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 적어도 하나의 광원(130)을 포함할 수 있다. 적어도 하나의 광원(130)은 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈(151)에 광(160)을 조사할 수 있다. 일 실시예에서, 적어도 하나의 광원(130)에서 제공된 광(160)은, 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion)되어 사용자의 눈(151)에 조사될 수도 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 적어도 하나의 시선 추적 센서(140)를 포함할 수 있다. 적어도 하나의 시선 추적 센서(140)는 적어도 하나의 광원(130)에서 출력된 광이 사용자의 눈(151)에 의해 반사된 반사광(170)을 수광할 수 있다. 적어도 하나의 시선 추적 센서(140)는 적어도 하나의 광원(130)에서 제공된 광이 사용자의 눈(151)에 의하여 반사되어 획득된 반사광(170)을 수광할 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(140)는 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion)된 반사광(170)을 수광할 수도 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 적어도 하나의 광원(130) 및 적어도 하나의 시선 추적 센서(140)를 이용하여 사용자(150)의 시선 정보를 획득할 수 있다. 일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 적어도 하나의 광원(130) 및 적어도 하나의 시선 추적 센서(140)를 이용하여 사용자(150)의 생체 정보를 획득할 수 있다. 일 실시예에서, 사용자(150)의 시선 정보는 사용자(150)의 시선의 방향, 사용자의 눈(151)과 광학 렌즈(120) 간의 거리, 사용자의 눈(151)과 디스플레이(110) 간의 거리, 사용자(150)의 시선과 광학 렌즈(120)가 교차하는 시점 및 사용자(150)의 시선과 디스플레이(110)가 교차하는 시점을 포함할 수 있다. 일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 적어도 하나의 시선 추적 센서(140)를 이용하여 사용자의 눈(151)의 홍채 패턴 또는 사용자(150)의 안구 이미지를 획득할 수 있다. 헤드 마운티드 디스플레이 장치(100)는 사용자의 눈(151)의 홍채 패턴 또는 사용자(150)의 안구 이미지에 기초하여 사용자(150)의 생체 정보를 획득할 수 있다. 일 실시예에서, 사용자(150)의 생체 정보는 사용자의 눈(151)의 홍채 이미지, 사용자의 눈(151)의 망막 이미지, 사용자의 눈(151) 안쪽의 핏줄 패턴, 사용자의 눈(151)의 시력, 사용자의 눈(151)에 존재하는 질병 정보 등을 포함할 수 있다.
이하, 설명의 편의를 위하여 적어도 하나의 광원(130)을 적어도 하나의 시선 추적용 광원(130)이라 지칭하기로 한다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 사용자(150)의 시선을 추적하여, 사용자(150)의 시선의 방향에 관한 정보를 획득할 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 적어도 하나의 시선 추적용 광원(130) 및 적어도 하나의 시선 추적 센서(140)를 이용하여 사용자의 눈(151)과 광학 렌즈(120) 간의 거리 또는 사용자의 눈(151)과 디스플레이(110) 간의 거리 중 적어도 하나를 산출할 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 획득한 사용자(150)의 시선의 방향 및 사용자의 눈(151)과 광학 렌즈(120) 간의 거리에 기초하여 사용자(150)의 시선과 광학 렌즈(120)가 교차하는 시점(point of view)을 식별할 수 있다. 헤드 마운티드 디스플레이 장치(100)는 획득한 사용자(150)의 시선의 방향 및 사용자의 눈(151)과 디스플레이(110) 간의 거리에 기초하여, 사용자(150)의 시선과 디스플레이(110)가 교차하는 시점을 식별할 수 있다.
도 1 및 이하 도면들에서는 제1 방향 축(10), 제2 방향 축(20) 및 제3 방향 축(30)이 도시되었으며, 본 개시에서 설명되는 제1 방향 축(10), 제2 방향 축(20) 및 제3 방향 축(30)이 지시하는 방향은 상대적인 개념으로서 다른 방향으로 변환될 수 있다. 또한, 제1 방향 축(10), 제2 방향 축(20) 및 제3 방향 축(30)이 지시하는 방향은 각각 제1 방향, 제2 방향 및 제3 방향으로 설명될 수도 있다. 본 개시에서는, 제1 방향 축(10)과 제2 방향 축(20)은 서로 직교하는 방향이고, 제3 방향 축(30)은 제1 방향 축(10)과 제2 방향 축(20)으로 정의되는 평면에 대한 법선 방향일 수 있다.
본 개시에서, 헤드 마운티드 디스플레이 장치(100)의 전면(또는 상면)과 배면(또는 하면)은 제1 방향 축(10)을 기준으로 정의될 수 있다. 본 개시에서 "중첩"의 의미는, 제1 방향 축(10)을 기준으로 중첩되는 것을 의미할 수 있다. 본 개시에서, "내부에 포함" 의 의미는, 제1 방향 축(10)을 기준으로 해당 영역의 내부에 포함된다는 것을 의미할 수 있다. 또한, 본 개시에서 "배치"의 의미는 제1 방향 축(10)을 기준으로 배치되는 것을 의미할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 필요에 따라 제2 방향 축(20) 또는 제3 방향 축(30)을 기준으로 중첩되거나, 배치되는 경우를 설명할 수도 있다.
일 실시예에서, 광학 렌즈(120)와 사용자의 눈(151) 간의 제1 방향 축(10)으로의 제1 거리는, 디스플레이(110)와 사용자의 눈(151) 간의 제1 방향 축(10)으로의 제2 거리보다 가까울 수 있다. 광학 렌즈(120)와 디스플레이(110) 간의 배치 관계에 대하여는 도 9 및 도 10에서 후술하도록 한다.
일 실시예에서, 도 1에는 적어도 하나의 시선 추적용 광원(130)이 디스플레이(110)로부터 제2 방향 축(20)으로 이격된 위치에 배치되는 것으로 도시되어 있다. 디스플레이(110)로부터 제2 방향 축(20)으로 이격된 위치에 배치된 적어도 하나의 시선 추적용 광원(130)은 디스플레이(110)와 중첩되지 않을 수 있다. 적어도 하나의 시선 추적용 광원(130)은 제1 표시 영역(111) 및 제2 표시 영역(112)의 외부에 배치될 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 적어도 하나의 시선 추적용 광원(130)은 디스플레이(110)로부터 제1 방향 축(10)으로 이격된 위치에 배치될 수도 있다. 디스플레이(110)로부터 제1 방향 축(10)으로 이격된 위치에 배치된 적어도 하나의 시선 추적용 광원(130)은 디스플레이(110)와 중첩될 수 있다. 적어도 하나의 시선 추적용 광원(130)은 제2 표시 영역(112) 내부에 포함될 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(130)은 광학 렌즈(120)와 중첩될 수 있다.
적어도 하나의 시선 추적용 광원(130), 디스플레이(110) 및 광학 렌즈(120) 간의 배치 관계에 대하여는 도 5 내지 도 10에 대한 설명에서 후술하도록 한다.
일 실시예에서, 적어도 하나의 시선 추적 센서(140)는 디스플레이(110)로부터 제1 방향 축(10)으로 이격된 위치에 배치될 수 있다. 제1 방향 축(10)을 기준으로, 적어도 하나의 시선 추적 센서(140)와 사용자의 눈(151) 간의 제3 거리는, 디스플레이(110)와 사용자의 눈(151) 간의 제2 거리보다 멀 수 있다.
일 실시예에서, 디스플레이(110)에서 영상이 표시되는 표시 영역은 제1 표시 영역(111) 및 제2 표시 영역(112)을 포함할 수 있다. 제1 표시 영역(111)의 해상도는 제2 표시 영역(112)의 해상도보다 클 수 있다. 제1 표시 영역(111)에 포함된 복수의 화소들의 단위 면적 당 개수는 제2 표시 영역(112)에 포함된 복수의 화소들의 단위 면적 당 개수보다 클 수 있다.
적어도 하나의 시선 추적 센서(140)는 제1 방향 축(10)을 기준으로 디스플레이(110)의 제2 표시 영역(112)과 중첩될 수 있다. 적어도 하나의 시선 추적 센서(140)는 디스플레이(110)의 제2 표시 영역(112)의 내부에 배치될 수 있다. 일 실시예에서, 제2 표시 영역(112)의 내부는, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서 제2 표시 영역(112)에 포함되는 영역을 의미할 수 있다. 일 실시예에서, 제2 표시 영역(112)은, 적어도 하나의 시선 추적 센서(140)가 배치된 위치에 대응되는 영역일 수 있다. 디스플레이(110)의 제1 방향 축(10)을 기준으로 제1 표시 영역(111)은 적어도 하나의 시선 추적 센서(140)와 중첩되지 않을 수 있다. 적어도 하나의 시선 추적 센서(140)는 제1 표시 영역(111)의 외부에 배치될 수 있다. 일 실시예에서, 제1 표시 영역(111)은 제2 표시 영역(112) 이외의 영역일 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(140)는 제1 방향 축(10)을 기준으로 광학 렌즈(120)와 중첩될 수 있다.
적어도 하나의 시선 추적 센서(140), 디스플레이(110) 및 광학 렌즈(120) 간의 배치 관계에 대하여는 도 5 내지 도 10에 대한 설명에서 후술하도록 한다.
본 개시의 헤드 마운티드 디스플레이 장치(100)는, 제2 방향 축(20) 및 제3 방향 축(30)에 의하여 정의되는 평면 상에서 적어도 하나의 시선 추적 센서(140)와 사용자의 눈(151)와의 거리가 가까워도록, 적어도 하나의 시선 추적 센서(140)를 제1 방향 축(10) 기준으로 디스플레이(110)의 제2 표시 영역(112)의 내부에 포함되도록 배치할 수 있다. 본 개시를 통하여, 사용자(150)가 디스플레이(110)에 표시되는 영상을 관찰하기 위하여, 사용자의 눈(151)를 움직이더라도(예를 들어, 적어도 하나의 시선 추적 센서(140)가 배치된 위치와 멀어지는 방향으로 이동), 적어도 하나의 시선 추적 센서(140)는 사용자의 눈(151)으로부터 반사되는 반사광(170)을 수광할 수 있다. 따라서, 적어도 하나의 시선 추적 센서(140)의 수광 성능을 향상시킬 수 있다.
또한, 본 개시의 헤드 마운티드 디스플레이 장치(100)는, 적어도 하나의 시선 추적 센서(140)의 수광 성능을 향상시키기 위하여 제1 표시 영역(111)보다 작은 개수의 단위 면적 당 화소 수를 갖는 제2 표시 영역(112)이 후술할 관심 영역(550, 도 5 참조)의 외부에 배치되도록 하여, 제2 표시 영역(112)의 낮은 해상도로 인한 영상의 화질 차이가 사용자(150)에게 시인되는 것을 방지할 수 있다.
도 2는 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치의 구성을 설명하기 위한 평면도이다. 이하, 도 1에서 설명한 구성과 동일한 구성은 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 2를 참조하면, 헤드 마운티드 디스플레이 장치(100)는 디스플레이(110), 광학 렌즈(120), 적어도 하나의 시선 추적용 광원(130), 적어도 하나의 시선 추적 센서(140), 프레임(181), 안경 다리(182), 코 지지부(183), 노즈 브릿지(nose bridge, 184), 적어도 하나의 프로세서(191), 메모리(192) 및 배터리(193)를 포함할 수 있다. 일 실시예에서, 도 2에는 헤드 마운티드 디스플레이 장치(100)의 구조를 설명하기 위한 구성 요소만이 개시되어 있고, 헤드 마운티드 디스플레이 장치(100)가 포함하는 구성 요소가 도 2에 도시된 바와 같이 한정되는 것은 아니다. 일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 현실 세계(real world)의 물리적 환경 공간을 촬영하기 위한 카메라 등을 포함할 수도 있다.
일 실시예에서, 디스플레이(110) 및 광학 렌즈(120)는 각각 프레임(181)에 배치될 수 있다. 프레임(181)은 일반적인 안경 구조의 프레임과 유사한 형태를 포함할 수 있다. 프레임(181)은 디스플레이(110) 및 광학 렌즈(120)를 둘러싸는 림(rim) 형태를 포함할 수 있다
일 실시예에서, 디스플레이(110)는 사용자의 좌안(151_1)에 대응되는 제1 디스플레이(110_1) 및 사용자의 우안(151_2)에 대응되는 제2 디스플레이(110_2)를 포함할 수 있다.
일 실시예에서, 광학 렌즈(120)는 사용자의 좌안(151_1)에 대응되는 제1 광학 렌즈(120_1) 및 사용자의 우안(151_2)에 대응되는 제2 광학 렌즈(120_2)를 포함할 수 있다. 제1 광학 렌즈(120_1)는 제1 디스플레이(110_1)에 대응되고, 제2 광학 렌즈(120_2)는 제2 디스플레이(110_2)에 대응될 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(130)은 사용자의 좌안(151_1)에 대응되는 제1 시선 추적용 광원(130_1) 및 사용자의 우안(151_2)에 대응되는 제2 시선 추적용 광원(130_2)을 포함할 수 있다. 제1 시선 추적용 광원(130_1)은 제1 디스플레이(110_1)에 대응되고, 제2 시선 추적용 광원(130_2)은 제2 디스플레이(110_2)에 대응될 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(140)는 사용자의 좌안(151_1)에 대응되는 제1 시선 추적 센서(140_1) 및 사용자의 우안(151_2)에 대응되는 제2 시선 추적 센서(140_2)를 포함할 수 있다. 제1 시선 추적 센서(140_1)는 제1 디스플레이(110_1)에 대응되고, 제2 시선 추적 센서(140_2)는 제2 디스플레이(110_2)에 대응될 수 있다.
일 실시예에서, 프레임(181)은 사용자의 좌안(151_1)에 대응되는 제1 프레임(181_1) 및 사용자의 우안(151_2)에 대응되는 제2 프레임(181_2)을 포함할 수 있다. 제1 프레임(181_1)은 제1 디스플레이(110_1) 및 제1 광학 렌즈(120_1)를 둘러싸는 림을 포함할 수 있다. 제2 프레임(181_2)은 제2 디스플레이(110_2) 및 제2 광학 렌즈(120_2)를 둘러싸는 림을 포함할 수 있다.
일 실시예에서, 제1 프레임(181_1)에는 제1 디스플레이(110_1), 제1 광학 렌즈(120_1), 제1 시선 추적용 광원(130_1) 및 제1 시선 추적 센서(140_1)가 배치될 수 있다. 일 실시예에서, 제2 프레임(181_2)에는 제2 디스플레이(110_2), 제2 광학 렌즈(120_2), 제2 시선 추적용 광원(130_2) 및 제2 시선 추적 센서(140_2)가 배치될 수 있다.
다만, 본 개시는 이에 제한되지 않는다. 제1 디스플레이(110_1) 및 제2 디스플레이(110_2)는 일체로 형성되어 프레임(181)에 배치될 수도 있다. 제1 광학 렌즈(120_1) 및 제2 광학 렌즈(120_2)는 일체로 형성되어 프레임(181)에 배치될 수도 있다.
일 실시예에서, 안경 다리(182)는 프레임(181)과 연결될 수 있다. 안경 다리(182)는 사용자(150)가 헤드 마운티드 디스플레이 장치(100)를 착용한 경우, 사용자(150)의 귀 부분에 걸쳐져 헤드 마운티드 디스플레이 장치(100)를 지지하는 부분이다. 일 실시예에서, 안경 다리(182)는 제1 프레임(181_1)과 연결된 제1 안경 다리(182_1) 및 제2 프레임(181_2)과 연결된 제2 안경 다리(182_2)를 포함할 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)에 포함된 적어도 하나의 프로세서(191), 메모리(192) 및 배터리(193)는 안경 다리(182)에 내장될 수 있다. 도 2에는 적어도 하나의 프로세서(191), 메모리(192) 및 배터리(193)가 제1 안경 다리(182_1)에 내장되는 것으로 도시되었지만, 이는 예시적인 구조이고, 본 개시가 도시된 바와 같이 한정되는 것은 아니다.
일 실시예에서, 코 지지부(183)는 프레임(181)과 연결될 수 있다. 코 지지부(183)는 사용자(150)가 헤드 마운티드 디스플레이 장치(100)를 착용한 경우, 사용자(150)의 코 부분에 걸쳐져 헤드 마운티드 디스플레이 장치(100)를 지지하는 부분이다. 일 실시예에서, 코 지지부(183)는 코 다리 및 안경 코를 포함할 수 있다. 또한, 코 다리 및 안경 코는 일체형으로 구성될 수 있으나 이에 한정되지 않는다. 본 개시의 일 실시예로, 코 지지부(183)와 프레임(181)은 일체로 형성될 수도 있다.
일 실시예에서, 노즈 브릿지(184)는 제1 프레임(181_1)과 제2 프레임(181_2)을 연결하는 지지대이다. 노즈 브릿지(184)는 코 지지부(183)와 연결될 수 있다. 다만, 제1 프레임(181_1) 및 제2 프레임(181_2)이 일체로 형성되는 경우, 헤드 마운티드 디스플레이 장치(100)는 노즈 브릿지(184)를 포함하지 않을 수도 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(130)은 광학 렌즈(120)를 통하여 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈(151)에 광(160)을 조사할 수 있다. 적어도 하나의 시선 추적용 광원(130)의 구성, 동작 및 기능에 관하여는 도 3에서 상세하게 설명하기로 한다.
일 실시예에서, 적어도 하나의 시선 추적 센서(140)는 광학 렌즈(120)를 통하여 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈(151)에서 반사된 반사광(170)을 수광할 수 있다. 적어도 하나의 시선 추적 센서(140)의 구성, 동작 및 기능에 관하여는 도 3에서 상세하게 설명하기로 한다.
일 실시예에서, 배터리(193)는 적어도 하나의 시선 추적용 광원(130), 적어도 하나의 시선 추적 센서(140), 적어도 하나의 프로세서(191) 및 메모리(192)와 전기적 및/또는 물리적으로 연결될 수 있다. 배터리(193)는 적어도 하나의 프로세서(191)의 제어에 의해 적어도 하나의 시선 추적용 광원(130) 및 적어도 하나의 시선 추적 센서(140)에 구동 전력을 공급할 수 있다.
일 실시예에서, 배터리(193)는 충전 가능한 2차 전지로 구성된 적어도 하나의 배터리 모듈을 포함할 수 있다. 배터리(193)는 예를 들어, 리튬 이온 배터리(Li-ion Battery), 리튬 이온 폴리머 배터리(Li-Ion Polymer Battery; LIPB), 니켈 카드뮴 배터리(Ni-Cd Battery), 또는 니켈 수소 배터리(Ni-MH Battery) 등으로 구성될 수 있으나, 이에 한정되지 않는다.
프로세서(191) 및 메모리(192)에 대한 구체적인 구성, 동작 및 기능에 대해서는 도 3에서 상세하게 설명하기로 한다.
도 3은 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법을 설명하기 위한 블록도이다. 이하, 도 1 및 도 2에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 1, 도 2 및 도 3을 참조하면, 헤드 마운티드 디스플레이 장치(100)는 디스플레이(110), 광학 렌즈(120), 적어도 하나의 시선 추적용 광원(130), 적어도 하나의 시선 추적 센서(140), 적어도 하나의 프로세서(191), 적어도 하나의 명령어(instruction)를 저장하는 메모리(192) 및 통신 인터페이스(194)를 포함할 수 있다. 그러나, 도 3에 도시된 구성 요소가 모두 필수 구성 요소인 것은 아니다. 도 3에 도시된 구성 요소보다 많은 구성 요소에 의해 헤드 마운티드 디스플레이 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 헤드 마운티드 디스플레이 장치(100)는 구현될 수 있다. 일 실시예에서, 헤드 마운티드 디스플레이 장치(100)는 사용자(150)의 시선 방향이 향하는 곳의 현실 공간을 촬영하기 위한 카메라 또는 디스플레이(110), 적어도 하나의 시선 추적용 광원(130), 적어도 하나의 시선 추적 센서(140) 및 적어도 하나의 프로세서(191) 각각에 구동 전력을 공급하는 배터리(193) 중 적어도 하나를 더 포함할 수도 있다.
일 실시예에서, 디스플레이(110), 광학 렌즈(120), 적어도 하나의 시선 추적용 광원(130), 적어도 하나의 시선 추적 센서(140), 적어도 하나의 프로세서(191), 메모리(192) 및 통신 인터페이스(194)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
일 실시예에서, 디스플레이(110)는 유기 발광 다이오드(organic light emitting diodes) 디스플레이, 무기 발광 다이오드(inorganic light emitting diodes) 디스플레이 중 어느 하나의 디스플레이를 포함할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 디스플레이(110)는 사용자(US)에게 콘텐츠를 제공할 수 있는 다른 종류의 디스플레이를 포함할 수 있다.
일 실시예에서, 광학 렌즈(120)는 글라스(glass) 또는 액정 분자(liquid crystal molecule)을 포함하는 액정 렌즈(electrically tunable liquid crystal lens) 중 어느 하나를 포함할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 광학 렌즈(120)는 광학 렌즈(120)로 입사되는 광의 광학적 성질을 굴절, 반사, 또는 분산 등을 통하여 변경할 수 있는 물질 등을 포함할 수 있다. 또한, 도 1을 참조할 때, 광학 렌즈(120)는 하나의 렌즈를 포함하는 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 광학 렌즈(120)는 복수의 렌즈들을 포함할 수 있고, 이때, 복수의 렌즈들 각각의 형상이나 크기, 굴절률 등은 서로 다를 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(130)은 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈(151)에 광(160)을 조사하도록 구성될 수 있다. 일 실시예에서, 적어도 하나의 시선 추적용 광원(130)에서 사용자의 눈(151)을 향해 조사되는 광(160)은 적외선(infrared ray, IR)일 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(130)은 적외선을 방출하는 적외선 LED(Light Emitting Diode)를 포함하는 경우, 적어도 하나의 시선 추적용 광원(130)은 면광(planar light)의 적외선을 사용자의 눈(151)을 향해 조사할 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(130)이 적외선을 방출하는 적외선 스캐너(예를 들어, MEMS 스캐너)를 포함하는 경우, 적어도 하나의 시선 추적용 광원(130)은 점광(point light) 또는 선광(line light) 형태의 적외선을 사용자의 눈(151)을 향해 조사할 수 있다. 적어도 하나의 시선 추적용 광원(130)은 사용자의 눈(151)이 위치한 공간을 커버할 수 있도록, 조사하는 방향을 변경하며 적외선을 방출할 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(140)는 사용자의 눈(151)으로부터 반사된 반사광(170)을 수광하도록 구성될 수 있다. 일 실시예에서, 사용자의 눈(151)으로부터 반사되는 반사광(170)은 적외선일 수 있다. 적어도 하나의 시선 추적 센서(140)는 적외선을 수신할 수 있는 적외선 디텍터(예를 들어, 포토 다이오드(photodiode))를 포함할 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(140)는 적외선 카메라를 포함할 수도 있다. 적어도 하나의 시선 추적 센서(140)는 적외선 카메라를 통하여 사용자의 눈(151)을 촬영하여 눈 이미지를 획득하고, 눈 이미지로부터 사용자(150)의 시선 정보를 획득할 수도 있다.
본 개시의 일 실시예에서, 메모리(192)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 메모리(192)에는 헤드 마운티드 디스플레이 장치(100)의 기능 또는 동작들을 수행하기 위한 적어도 하나의 명령어 또는 프로그램 코드가 저장될 수 있다. 메모리(192)에 저장되는 적어도 하나의 명령어(instruction), 알고리즘, 데이터 구조, 프로그램 코드 및 애플리케이션 프로그램은 예를 들어, C,　C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.
일 실시예에서, 메모리(192)에는 시선 센싱 모듈(192_3) 및 영상 표시 모듈(192_4)이 저장될 수 있다. 그러나, 도 3에 도시된 모듈 모두가 필수 모듈인 것은 아니다. 메모리(192)에는 도 3에 도시된 모듈보다 더 많은 모듈들이 저장될 수도 있고, 그보다 적은 모듈들이 저장될 수도 있다.
메모리(192)에 포함되는 '모듈'은 적어도 하나의 프로세서(191)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미할 수 있다. 메모리(192)에 포함되는 '모듈'은 적어도 하나의 명령어(instruction), 알고리즘, 데이터 구조, 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.
일 실시예에서, 시선 센싱 모듈(192_3)은 적어도 하나의 시선 추적 센서(140)를 통하여 획득한 반사광(170)에 기초하여, 사용자(150)의 시선 정보 또는 생체 정보 중 적어도 하나를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 시선 센싱 모듈(192_3)은 적어도 하나의 시선 추적 센서(140)를 통하여 획득한 반사광(170)에 기초하여, 사용자(150)의 시선 방향에 대한 정보를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 시선 센싱 모듈(192_3)은 사용자의 눈(151)에서 반사되는 반사광(170)의 방향 또는 광량 등을 검출하여 사용자(150)의 시선 방향에 대한 정보를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 시선 센싱 모듈(192_3)은 적어도 하나의 시선 추적 센서(140)를 통하여 획득한 눈 이미지로부터 눈동자나 동공의 이미지를 검출하여, 사용자(150)의 시선 방향에 대한 정보를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 시선 센싱 모듈(192_3)은 적어도 하나의 시선 추적 센서(140)를 통하여 획득한 눈 이미지로부터 눈동자나 동공의 이미지를 검출하여, 사용자의 눈(151)의 홍채 패턴, 사용자의 눈(151)의 홍채 이미지, 사용자의 눈(151)의 망막 이미지, 사용자의 눈(151) 안쪽의 핏줄 패턴, 사용자의 눈(151)의 시력, 사용자의 눈(151)에 존재하는 질병 정보 등을 포함하는 사용자(150)의 생체 정보를 획득하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 적어도 하나의 프로세서(191)는 시선 센싱 모듈(192_3)의 명령어들 또는 프로그램 코드를 실행함으로써, 적어도 하나의 시선 추적 센서(140)를 통하여 획득한 반사광(170)에 기초하여 사용자(150)의 시선 방향을 획득할 수 있다.
일 실시예에서, 시선 센싱 모듈(192_3)은 적어도 하나의 시선 추적 센서(140)를 통하여 획득한 반사광(170)에 기초하여 사용자의 눈(151)과 광학 렌즈(120) 간의 거리 또는 사용자의 눈(151)과 디스플레이(110) 간의 거리 중 적어도 하나를 산출하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 적어도 하나의 프로세서(191)는 시선 센싱 모듈(192_3)의 명령어들 또는 프로그램 코드를 실행함으로써, 적어도 하나의 시선 추적 센서(140)를 통하여 획득한 반사광(170)에 기초하여 사용자의 눈(151)과 광학 렌즈(120) 간의 거리 또는 사용자의 눈(151)과 디스플레이(110) 간의 거리 중 적어도 하나를 산출할 수 있다.
일 실시예에서, 시선 센싱 모듈(192_3)은 획득한 사용자(150)의 시선 방향 및 사용자의 눈(151)과 광학 렌즈(120) 간의 거리에 기초하여 사용자(150)의 시선과 광학 렌즈(120)가 교차하는 시점을 식별하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 적어도 하나의 프로세서(191)는 시선 센싱 모듈(192_3)의 명령어들 또는 프로그램 코드를 실행함으로써, 사용자(150)의 시선 방향 및 사용자의 눈(151)과 광학 렌즈(120) 간의 거리에 기초하여 사용자(150)의 시선과 광학 렌즈(120)가 교차하는 시점을 식별할 수 있다.
일 실시예에서, 시선 센싱 모듈(192_3)은 획득한 사용자(150)의 시선 방향 및 사용자의 눈(151)과 디스플레이(110) 간의 거리에 기초하여 사용자(150)의 시선과 디스플레이(110)가 교차하는 시점을 식별하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 적어도 하나의 프로세서(191)는 시선 센싱 모듈(192_3)의 명령어들 또는 프로그램 코드를 실행함으로써, 사용자(150)의 시선 방향 및 사용자의 눈(151)과 디스플레이(110) 간의 거리에 기초하여 사용자(150)의 시선과 디스플레이(110)가 교차하는 시점을 식별할 수 있다.
일 실시예에서, 영상 표시 모듈(192_4)은 디스플레이(110)에 영상을 표시하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다. 일 실시예에서, 영상 표시 모듈(192_4)은 식별된 사용자(150)의 시선과 광학 렌즈(120)가 교차하는 시점 또는 식별된 사용자(150)의 시선과 디스플레이(110)가 교차하는 시점 중 적어도 하나에 대응하여 디스플레이(110)에 표시되는 영상을 변환하여 디스플레이(110)에 표시하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 영상 표시 모듈(192_4)은 영상 중 식별된 사용자(150)의 시선과 광학 렌즈(120)가 교차하는 시점 또는 식별된 사용자(150)의 시선과 디스플레이(110)가 교차하는 시점 중 적어도 하나에 대응되는 영상의 해상도, 휘도 또는 명암비(Contrast Ratio) 중 적어도 하나를, 시점에 대응되지 않는 나머지 영상의 해상도, 휘도 또는 명암비 중 적어도 하나보다 높게 표시하는 동작이나 기능에 관한 명령어들 또는 프로그램 코드로 구성될 수 있다.
일 실시예에서, 적어도 하나의 프로세서(191)는 영상 표시 모듈(192_4)의 명령어들 또는 프로그램 코드를 실행함으로써, 디스플레이(110)에 영상을 표시하여 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자(150)에게 제공할 수 있다.
일 실시예에서, 적어도 하나의 프로세서(191)는 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays) 및 뉴럴 프로세서(Neural Processing Unit) 또는 인공지능 모델(Artificial Intelligence, AI)의 학습 및 처리에 특화된 하드웨어 구조로 설계된 인공지능 전용 프로세서 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
일 실시예에서, 적어도 하나의 프로세서(191)는 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈(151)에 광(160)을 조사하도록 적어도 하나의 시선 추적용 광원(130)을 제어할 수 있다. 이때, 적어도 하나의 시선 추적용 광원(130)에서 조사되는 광은 적외선일 수 있다.
일 실시예에서, 적어도 하나의 프로세서(191)는 헤드 마운티드 디스플레이 장치(100)를 착용한 사용자의 눈(151)에서 반사된 반사광(170)을 수광하도록 적어도 하나의 시선 추적 센서(140)를 제어할 수 있다. 이때, 적어도 하나의 시선 추적 센서(140)를 통하여 수광되는 반사광(170)은 적외선일 수 있다.
일 실시예에서, 통신 인터페이스(194)는 적어도 하나의 프로세서(191)의 제어에 의해 외부의 서버(미도시)와 데이터 통신을 수행할 수 있다. 또한, 통신 인터페이스(194)는 외부의 서버뿐 아니라, 다른 주변 전자 장치들과도 데이터 통신을 수행할 수 있다.
일 실시예로, 통신 인터페이스(194)는 예를 들어, 유선 랜, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), 적외선 통신(IrDA, infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신을 포함하는 데이터 통신 방식 중 적어도 하나를 이용하여 서버 또는 다른 주변 전자 장치들과 데이터 통신을 수행할 수 있다.
일 실시예에서, 통신 인터페이스(194)는 디스플레이(110)에 표시하는 영상을 포함하는 데이터를 서버 또는 다른 주변 전자 장치들로부터 수신할 수도 있다. 적어도 하나의 프로세서(191)는 수신한 데이터에 기초하여 디스플레이(110) 상에 영상을 표시할 수 있다.
도 4는 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치의 동작을 설명하기 위한 순서도이다.
도 1 및 도 4를 참조하면, 일 실시예에서, 헤드 마운티드 디스플레이 장치(100)의 동작 방법은, 적어도 하나의 시선 추적용 광원(130)을 이용하여 사용자의 눈(151)에 광(160)을 조사하는 단계(S100)를 포함할 수 있다. 일 실시예에서, 사용자의 눈(151)에 광(160)을 조사하는 단계(S100)에서, 적어도 하나의 프로세서(191, 도 3 참조)는 적어도 하나의 시선 추적용 광원(130)을 통하여 사용자의 눈(151)에 광(160)을 조사할 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)의 동작 방법은, 적어도 하나의 시선 추적 센서(140)를 이용하여 사용자의 눈(151)으로부터 반사되는 반사광(170)을 수광하는 단계(S200)를 포함할 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(140)는 디스플레이(110)의 제1 면(114, 도 9 참조)의 반대 면인 제2 면(115, 도 9 참조)에 인접하게 배치될 수 있다. 일 실시예에서, 사용자의 눈(151)으로부터 반사되는 반사광(170)을 수광하는 단계(S200)에서 적어도 하나의 프로세서(191)는 적어도 하나의 시선 추적용 광원(130)을 통하여 조사되어, 사용자의 눈(151)으로부터 반사된 반사광을 적어도 하나의 시선 추적 센서(140)를 통하여 수광할 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)의 동작 방법은, 수광된 반사광(170)에 기초하여, 사용자(150)의 시선 정보를 획득하는 단계(S300)를 포함할 수 있다.
일 실시예에서, 사용자(150)의 시선 정보 또는 생체 정보를 획득하는 단계(S300)에서, 적어도 하나의 프로세서(191)는 사용자(150)의 시선 방향, 사용자의 눈(151)과 광학 렌즈(120) 간의 거리, 사용자의 눈(151)과 디스플레이(110) 간의 거리, 사용자(150)의 시선과 광학 렌즈(120)가 교차하는 시점 또는 사용자(150)의 시선과 디스플레이(110)가 교차하는 시점 중 적어도 하나의 정보를 포함하는 시선 정보를 획득할 수 있다.
다만, 본 개시는 이에 제한되지 않는다. 수광된 반사광(170)에 기초하여 사용자(150)의 시선 정보를 획득하는 단계(S300)에서는, 사용자(150)의 생체 정보를 획득할 수도 있다. 일 실시예에서, 사용자(150)의 시선 정보 또는 생체 정보를 획득하는 단계(S300)에서, 적어도 하나의 프로세서(191)는 사용자의 눈(151)의 홍채 패턴 또는 사용자(150)의 안구 이미지를 획득할 수 있다. 헤드 마운티드 디스플레이 장치(100)는 사용자의 눈(151)의 홍채 패턴 또는 사용자(150)의 안구 이미지에 기초하여 사용자(150)의 생체 정보를 획득할 수 있다. 일 실시예에서, 사용자(150)의 생체 정보는 사용자의 눈(151)의 홍채 이미지, 사용자의 눈(151)의 망막 이미지, 사용자의 눈(151) 안쪽의 핏줄 패턴, 사용자의 눈(151)의 시력, 사용자의 눈(151)에 존재하는 질병 정보 등을 포함할 수 있다.
일 실시예에서, 수광된 반사광(170)에 기초하여 사용자(150)의 시선 정보 또는 생체 정보 중 적어도 하나를 획득하는 단계(S300)에서, 적어도 하나의 프로세서(191)는 수광된 반사광(170)에 기초하여 사용자(150)의 시선 정보 또는 생체 정보 중 적어도 하나를 획득할 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)의 동작 방법은, 디스플레이(110)에 영상을 표시하는 단계를 더 포함할 수 있다. 디스플레이(110)에 영상을 표시하는 단계에서는, 획득된 사용자(150)의 시선 정보에 기초하여 디스플레이(110)에 표시하는 영상의 해상도, 휘도 또는 명암비 중 적어도 하나를 결정할 수 있다.
일 실시예에서, 헤드 마운티드 디스플레이 장치(100)의 동작 방법은, 획득한 사용자(150)의 생체 정보를 사용자(150)에게 제공하는 단계를 더 포함할 수도 있다.
도 5는 본 개시의 일 실시예에 따른 시선 추적 센서는 디스플레이의 표시 영역 내에 배치되고, 시선 추적용 광원은 디스플레이의 표시 영역의 외부에 배치되는 것을 설명하기 위한 개념도이다.
도 1 및 도 5를 참조하면, 적어도 하나의 시선 추적용 광원(510)과 적어도 하나의 시선 추적 센서(520)의 배치를 설명하기 위한 사용자의 눈(151), 디스플레이(110) 및 광학 렌즈(120)가 도시되어 있다. 이하, 설명의 편의를 위하여, 도 5 내지 도 12에는 사용자(150)의 두 눈 중 어느 하나의 눈에 대응되는 디스플레이(110), 광학 렌즈(120), 적어도 하나의 시선 추적용 광원(510) 및 적어도 하나의 시선 추적 센서(520)가 도시되어 있다. 다만, 본 개시는 이에 제한되지 않고, 사용자(150)의 두 눈 중 다른 하나의 눈에 대응되는 디스플레이, 광학 렌즈, 적어도 하나의 시선 추적용 광원 및 적어도 하나의 시선 추적 센서가 도 5 내지 도 12에 도시된 것과 같은 형상 및 배치를 가질 수 있음은 물론이다.
일 실시예에서, 제1 방향 축(10)을 기준으로, 광학 렌즈(120)는 디스플레이(110) 상에 배치될 수 있다. 디스플레이(110) 중 사용자의 눈(151)으로부터 인접한 면을 제1 면(114), 제1 면(114)과 마주보는 면을 제2 면(115)으로 정의할 수 있다. 광학 렌즈(120)는 디스플레이의 제1 면(114)에 인접하게 배치될 수 있다. 일 실시예에서, 제1 방향 축(10)을 기준으로, 광학 렌즈(120)와 사용자의 눈(151)과의 제1 거리(540)는 디스플레이(110)와 사용자의 눈(151)과의 제2 거리보다 가까울 수 있다.
일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)에 의하여 정의되는 평면 상에서, 광학 렌즈(120)의 단면적은 디스플레이(110)의 단면적과 같거나 클 수 있다. 제1 방향 축(210)을 기준으로, 디스플레이(110)의 전체 영역은 광학 렌즈(120)에 모두 중첩될 수 있다. 일 실시예에서, 광학 렌즈(120)의 유효경(aperture stop)의 단면적은, 디스플레이(110)의 표시 영역의 단면적과 같거나 클 수 있다. 일 실시예에서, 광학 렌즈(120)의 유효경은, 디스플레이(110)의 표시 영역에 내접할 수 있다.
일 실시예에서, 사용자(150)의 시야(Visual Field)는 중심시(Central Vision) 및 주변시(Peripheral Vision)를 포함한다. 중심시는 사용자(150)가 주시하는 영역을 관찰할 때 사용하는 시야를 의미할 수 있다. 중심시는 사용자의 시야의 중심부에 위치한 영역을 관찰할 때 사용하는 시야를 의미할 수 있다. 일 실시예에서, 사용자(150)는 디스플레이(110) 중 주시하는 영역에 표시되는 영상을 중심시를 이용하여 관찰할 수 있다.
주변시는 사용자(150)가 주시하는 영역의 주변 영역을 관찰할 때 사용하는 시야를 의미할 수 있다. 주변시는 사용자의 시야의 중심부와 인접한 영역을 관찰할 때 사용하는 시야를 의미할 수 있다. 일 실시예에서, 사용자(150)는 디스플레이(110) 중 주시하는 영역과 인접한 영역에 표시되는 영상을 주변시를 이용하여 관찰할 수 있다.
이때, 중심시를 이용하여 영상을 관찰하는 경우의 사용자의 시력은, 주변시를 이용하여 영상을 관찰하는 경우의 사용자의 시력보다 높다. 따라서, 사용자(150)는 디스플레이(110)에 표시되는 영상을 선명하게 보기 위하여, 디스플레이(110) 상의 주시하는 영역을 변경하며 디스플레이(110)에 표시된 영상을 볼 수 있다.
일 실시예에서, 디스플레이(110)에 표시된 영상은, 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion) 된 후 사용자(150)에게 제공될 수 있다. 디스플레이(110)에서 표시된 영상이 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion) 된 영상이 맺히는 영역과 사용자의 눈(151) 간의 거리는, 광학 렌즈(120)와 사용자의 눈(151) 간의 제1 거리와 같거나 가까울 수 있다. 이하, 설명의 편의를 위하여, 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion) 된 영상이 맺히는 영역과 사용자의 눈(151) 간의 거리가 제1 거리와 같은 것으로 설명한다.
일 실시예에서, 사용자(150)는 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion) 된 영상을 관찰하여 헤드 마운티드 디스플레이 장치(100)가 제공하는 영상을 인식할 수 있다.
일 실시예에서, 관심 영역(550)은 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion) 된 영상이 맺히는 영역 중, 사용자(150)가 머리를 움직이지 않고 사용자의 눈(151)만을 움직여 중심시로 영상을 관찰할 수 있는 영역이다.
일 실시예에서, 관심 영역(550)은 사용자의 눈(151)과 광학 렌즈(120) 사이의 거리인 제1 거리(540)와 기-설정된 기준 각도(530)에 기초하여 결정될 수 있다.
일 실시예에서, 제1 거리(540)는 본 개시에 따른 헤드 마운티드 디스플레이 장치(100)의 구조 및 형상과, 사용자(150)의 골격 등 신체적 특징에 따라 결정될 수 있다. 일 실시예에서, 제1 거리(540)는 본 개시에 따른 헤드 마운티드 디스플레이 장치(100)의 구조 및 형상과, 헤드 마운티드 디스플레이 장치(100)를 사용할 것으로 예상되는 복수의 사용자들의 서로 다른 신체적 특징에 따라 계산된 복수의 제1 거리들의 평균 값일 수 있다.
일 실시예에서, 기준 각도(530)는 인간 공학(human factors)에 기초하여, 헤드 마운티드 디스플레이 장치(100)를 이용하여 영상을 시청하는 사용자(150)가 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion) 된 영상이 맺히는 영역을 주시할 때, 최초로 주시한 영역에서 머리를 움직이지 않고 사용자의 눈(151)을 움직여서 주시하는 영역을 변경하는 최대 각도라고 판단되는 각도에 대응되도록 설정된 각도일 수 있다. 일 실시예에서, 기준 각도(530)는 광학 렌즈(120)의 중심(center, 931, 도 9 참조)을 기준으로 설정된 각도일 수 있다.
일 실시예에서, 광학 렌즈(120)의 중심(931)이 사용자(150)가 디스플레이(110)를 최초로 주시하는 영역에 대응된다고 할 때, 기준 각도(530)는 광학 렌즈(120)의 중심(931)으로부터 10°와 같거나 크고, 40°와 같거나 작은 어느 하나의 각도로 설정될 수 있다. 일 실시예에서, 기준 각도(530)는 30°로 설정될 수도 있다.
일 실시예에서, 사용자(150)가 영상을 관찰하기 위하여 최초 주시하고 있는 영역에서 다른 영역을 주시하려 할 때, 사용자의 눈(151)을 기준으로 최초 주시하던 영역과 다른 영역 사이의 각도가 기준 각도(530)와 같거나, 기준 각도(530) 이하인 경우, 사용자(150)는 사용자(150)의 머리를 움직이지 않고, 사용자의 눈(151)을 움직여서 주시하는 영역을 변경할 수 있다.
일 실시예에서, 사용자(150)가 영상을 관찰하기 위하여 최초 주시하고 있는 영역에서 다른 영역을 주시하려 할 때, 사용자의 눈(151)을 기준으로 최초 주시하던 영역과 다른 영역 사이의 각도가 기준 각도(530)보다 큰 경우, 사용자(150)는 사용자(150)의 머리를 돌려 주시하는 영역을 변경할 수 있다.
일 실시예에서, 사용자(150)는 관심 영역(550)에 대응되는 영상을 관찰할 때는, 사용자의 눈(151)만을 움직여 영상을 관찰할 수 있다. 이 경우, 사용자(150)의 주변시를 통하여 관찰되는 관심 영역(550)이 아닌 영역에 대응되는 영상의 선명도는, 관심 영역(550)에 대응되는 영상의 선명도보다 낮을 수 있다.
일 실시예에서, 사용자(150)는 디스플레이(110) 내의 관심 영역(550)이 아닌 영역에 표시된 영상을 관찰할 때는, 머리를 움직이는 동작 또는 머리와 사용자의 눈(151)를 움직이는 동작을 통하여 디스플레이(110) 상에 표시된 영상을 관찰할 수 있다.
이떄, 본 개시의 헤드 마운티드 디스플레이 장치(100)는 사용자(150)의 머리에 착용된 상태이므로, 사용자(150)가 머리를 움직임에 대응되어 헤드 마운티드 디스플레이 장치(100)도 움직이게 된다. 따라서 사용자(150)가 머리를 움직이더라도, 사용자(150)가 디스플레이(110)를 최초로 주시하는 영역에 대응되는 광학 렌즈의 중심은 사용자(150)가 머리를 움직이기 전의 광학 렌즈(120)의 중심(931)에 동일할 수 있다. 또한, 사용자(150)가 머리를 움직인 경우의 디스플레이(110) 내에 포함된 관심 영역(550)의 위치도, 사용자(150)가 머리를 움직이기 전의 디스플레이(110) 내에 포함된 관심 영역(550)의 위치와 동일할 수 있다.
일 실시예에서, 적어도 하나의 프로세서(191, 도 3 참조)는 시선 센싱 모듈(192_3)을 통하여 사용자(150)의 머리가 움직이는 것을 식별한 경우, 사용자(150)의 머리 움직임에 대응하여 디스플레이(110) 상에 표시되는 영상을 변경하여, 사용자(150)가 머리를 움직이기 전의 관심 영역(550)이 아닌 영역에 표시된 영상을 관찰할 수 있도록 할 수 있다. 구체적으로, 적어도 하나의 프로세서는 사용자(150)의 머리가 움직이는 것을 식별한 경우, 사용자(150)의 머리 움직임에 대응하여 관심 영역(550)에 표시되는 영상을 변경하여, 사용자(150)가 머리를 움직임에 따라 넓은 시야각으로 영상을 관찰하는 듯한 효과를 재현할 수 있다.
이때, 사용자(150)가 머리를 움직이더라도 관심 영역이 아닌 영역은 주변시를 통하여 관찰되므로, 사용자(150)에게 인식되는 관심 영역(550)이 아닌 영역에 표시된 영상의 선명도는 낮을 수 있다.
일 실시예에서, 제1 방향 축(10)을 기준으로 적어도 하나의 시선 추적용 광원(510)은 제1 표시 영역(111) 및 제2 표시 영역(112)의 외부에 배치될 수 있다. 제1 방향 축(10)에서 적어도 하나의 시선 추적용 광원(510)은 광학 렌즈(120)와 중첩할 수 있다. 적어도 하나의 시선 추적용 광원(510)에서 방출된 광(160)은 광학 렌즈(120)를 통하여 사용자의 눈(151)에 조사될 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 제1 방향 축(10)에서 적어도 하나의 시선 추적용 광원(510)과 광학 렌즈(120)가 중첩되지 않더라도, 적어도 하나의 시선 추적용 광원(510)에서 제공된 광이 광학 렌즈(120)를 통하여 사용자의 눈(151)에 조사될 수도 있다.
일 실시예에서, 제1 방향 축(10)에서 적어도 하나의 시선 추적 센서(520)는 제2 표시 영역(112)의 내부에 배치될 수 있다. 적어도 하나의 시선 추적 센서(520)는 디스플레이(110)의 제2 면(115)에 인접하게 배치될 수 있다. 제1 방향 축(10)을 기준으로, 적어도 하나의 시선 추적 센서(520)와 사용자의 눈(151)과의 제3 거리는, 광학 렌즈(120)와 사용자의 눈(151)과의 제1 거리보다 멀 수 있다.
일 실시예에서, 제1 방향 축(10)에서, 적어도 하나의 시선 추적 센서(520)는 관심 영역(550)의 외부에 배치될 수 있다. 제1 방향 축(10)에서 적어도 하나의 시선 추적 센서(520)는 광학 렌즈(120)와 중첩할 수 있다. 적어도 하나의 시선 추적 센서(520)는 사용자의 눈(151)에서 반사된 반사광(170)을 광학 렌즈(120)를 통하여 수광할 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 제1 방향 축(10)에서 적어도 하나의 시선 추적 센서(520)와 광학 렌즈(120)가 중첩되지 않더라도, 적어도 하나의 시선 추적 센서(520)는 사용자의 눈(151)에서 반사된 반사광(170)을 광학 렌즈(120)를 통하여 수광할 수도 있다.
적어도 하나의 시선 추적 센서(520)가 제1 방향 축(10)을 기준으로 표시 영역의 내부에 배치되지 않고, 제2 방향 축(20) 또는 제3 방향 축(30) 중 적어도 어느 하나를 기준으로 디스플레이(110)와 이격된 경우에, 적어도 하나의 시선 추적 센서(520)의 반사광의 수광 성능은 낮아질 수 있다. 구체적으로, 사용자(150)는 디스플레이(110)에 표시된 영상을 관찰하기 위하여 사용자의 눈(151)을 적어도 하나의 시선 추적 센서(520)가 배치된 위치와 멀어지는 방향으로 움직일 수 있다. 이 경우, 사용자의 눈(151)과 적어도 하나의 시선 추적 센서 간의 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 거리가 멀기 때문에, 적어도 하나의 시선 추적 센서(520)가 수광하는 사용자의 눈(151)으로부터 반사되는 반사광이 불충분하여 적어도 하나의 시선 추적 센서(520)의 수광 성능이 낮아질 수 있다.
이와 달리, 본 개시의 헤드 마운티드 디스플레이 장치(100)와 같이 적어도 하나의 시선 추적 센서(520)가 제1 방향 축(10)을 기준으로 제2 표시 영역(612)의 내부에 배치된 경우, 사용자(150)는 디스플레이(110)에 표시된 영상을 관찰하기 위하여 사용자의 눈(151)을 적어도 하나의 시선 추적 센서(520)가 배치된 위치와 멀어지는 쪽으로 움직이더라도, 사용자의 눈(151)과 적어도 하나의 시선 추적 센서(520) 간의 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 거리가 가깝기 때문에, 적어도 하나의 시선 추적 센서(520)의 수광 성능이 향상될 수 있다.
도 6은 본 개시의 일 실시예에 따른 시선 추적 센서는 디스플레이의 표시 영역 내에 배치되고, 시선 추적용 광원은 디스플레이의 표시 영역의 외부에 배치되는 것을 설명하기 위한 확대도이다.
도 6을 참조하면, 도 6에는 도 5에 도시된 영역(560)의 확대도가 도시되어 있다.
일 실시예에서, 디스플레이(600)는 기판(630), 기판(630) 상에 배치된 회로층(620) 및 회로층(620) 상에 배치된 복수의 화소들(610)을 포함할 수 있다.
일 실시예에서, 기판(630)은 회로층(620)이 배치되는 베이스면을 제공하는 부재일 수 있다. 기판(630)은 플라스틱 기판, 절연 필름, 글라스(glass), 또는 복수의 절연층들을 포함하는 적층 구조체일 수 있다.
일 실시예에서, 회로층(620)은 기판(630) 상에 배치될 수 있다. 회로층(620)은 절연층, 반도체 패턴, 도전 패턴 및 신호 라인 등을 포함할 수 있다. 일 실시예에서, 회로층(620)은 기판(630) 상에 배치된 박막 트랜지스터 및 복수의 절연층들을 포함할 수 있다. 또한, 회로층(620)은 복수의 절연층들을 관통하도록 형성된 복수의 연결 전극부들을 포함할 수 있다.
일 실시예에서, 복수의 화소들(610)은 회로층(620) 상에 배치될 수 있다. 복수의 화소들(610) 각각은 광을 생성할 수 있다. 일 실시예에서, 복수의 화소들(610) 각각은 서로 다른 컬러광을 생성하는 유기 발광 다이오드(Organic Emitting Diode) 또는 무기 발광 다이오드(Inorganic Emitting Diode)를 포함할 수 있다. 다만, 본 개시는 이에 제한되지 않고, 복수의 화소들(610) 각각은 동일한 컬러광을 생성하는 유기 발광 다이오드(Organic Emitting Diode) 또는 무기 발광 다이오드(Inorganic Emitting Diode)를 포함하고, 디스플레이(600)는 서로 다른 컬러를 갖는 복수의 컬러 필터들을 포함하는 컬러 필터층을 더 포함할 수도 있다. 일 실시예에서, 복수의 화소들(610) 각각은 퀀텀닷 발광 다이오드(Quantum Dot Light Emitting Diode)를 포함할 수도 있다.
일 실시예에서, 복수의 화소들(610)는 회로층(620)에 포함된 반도체 패턴, 도전 패턴 또는 신호 라인 중 적어도 하나와 전기적으로 연결될 수 있다.
일 실시예에서, 복수의 화소들(610) 각각은 광을 생성하기 위한 발광층 및 발광층에 전압을 인가하기 위한 캐소드(Cathode), 애노드(Anode) 등의 전극층 등을 포함할 수 있다. 외부에서 복수의 화소들(610)로 조사되는 광의 일부는, 복수의 화소들(610) 각각에 포함된 발광층 또는 전극층 중 적어도 하나의 층에 의하여 굴절, 반사등이 될 수 있다. 따라서 복수의 화소들(610)이 배치된 영역의 투과율은, 복수의 화소들(610)이 배치되지 않은 영역의 투과율보다 낮을 수 있다.
일 실시예에서, 디스플레이(600)는 영상을 표시하는 제1 표시 영역(611) 및 제2 표시 영역(612)을 포함할 수 있다. 일 실시예에서, 복수의 화소들(610)은 제1 표시 영역(611)에 포함되는 복수의 제1 화소들(613) 및 제2 표시 영역(612)에 포함되는 복수의 제2 화소들(614)을 포함할 수 있다.
일 실시예에서, 제1 표시 영역(611)의 해상도는 제2 표시 영역(612)의 해상도보다 클 수 있다. 제1 표시 영역(611)에 포함된 복수의 제1 화소들(613)의 단위 면적 당 개수는, 제2 표시 영역(612)에 포함된 복수의 제2 화소들(614)의 단위 면적 당 개수보다 클 수 있다. 일 실시예에서, 복수의 제1 화소들(613) 각각의 크기와, 복수의 제2 화소들(614) 각각의 크기는 서로 동일할 수 있다. 일 실시예에서, 복수의 제1 화소들(613) 중 인접한 제1 화소들간의 간격은, 복수의 제2 화소들(614) 중 인접한 제2 화소들간의 간격보다 가까울 수 있다.
일 실시예에서, 단위 면적 당 화소들의 개수가 적은 제2 표시 영역(612)의 투과율이 단위 면적 당 화소들의 개수가 큰 제1 표시 영역(611)의 투과율보다 높을 수 있다.
다만, 본 개시는 이에 제한되지 않는다, 일 실시예에서, 복수의 제1 화소들(613) 각각의 크기보다 복수의 제2 화소들(614) 각각의 크기가 더 크고, 복수의 제1 화소들(613) 중 인접한 제1 화소들간의 간격이 복수의 제2 화소들(614) 중 인접한 제2 화소들간의 간격보다 가까울 수도 있다. 이 경우에도, 일 실시예에서, 단위 면적 당 화소들의 개수가 적은 제2 표시 영역(612)의 투과율이 단위 면적 당 화소들의 개수가 큰 제1 표시 영역(611)의 투과율보다 높을 수 있다.
일 실시예에서, 디스플레이(600)의 제1 면(114, 도 5 참조)은 복수의 화소들(610)과 인접한 면일 수 있다. 디스플레이(600)의 제1 면(114)은, 복수의 화소들(610)의 상면을 의미할 수 있다.
일 실시예에서, 디스플레이(110)의 제2 면(115)은 기판(630)과 인접한 면일 수 있다. 디스플레이(110)의 제2 면(115)은 기판(630)의 하면을 의미할 수 있다.
일 실시예에서, 기판(630)은 적어도 하나의 시선 추적 센서(640) 상에 배치될 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(640)는 디스플레이(600)의 아래에 배치되고, 제1 방향 축(10)을 기준으로 제2 표시 영역(612)의 내부에 배치될 수 있다. 일 실시예에서, 제1 방향 축(10)을 기준으로, 적어도 하나의 시선 추적 센서(640)는 제1 표시 영역(611)의 외부에 배치될 수 있다. 제1 방향 축(10)을 기준으로, 제1 표시 영역(611)은 적어도 하나의 시선 추적 센서(640)와 중첩되지 않는다. 일 실시예에서, 적어도 하나의 시선 추적 센서(640)는 기판(630) 중 제2 표시 영역(612)에 대응되는 영역과 중첩되도록 배치될 수 있다. 적어도 하나의 시선 추적 센서(640)는 기판(630) 중 제2 표시 영역(612)에 포함된 기판의 아래에 배치될 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(640)는 제1 표시 영역(611)과 비교하여, 상대적으로 투과율이 높은 제2 표시 영역(612)의 내부에 배치되어, 사용자의 눈(151, 도 5 참조)으로부터 반사된 반사광(170, 도 5 참조)을 수광할 수 있다.
본 개시의 헤드 마운티드 디스플레이 장치(100, 도 1 참조)는, 적어도 하나의 시선 추적 센서(640)를 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서 사용자의 눈(151)과 가깝고, 디스플레이(600) 중 투과율이 높은 제2 표시 영역(612) 내에 포함되도록 배치하여 적어도 하나의 시선 추적 센서의 수광 성능을 향상시킬 수 있다.
도 7은 본 개시의 일 실시예에 따른 시선 추적 센서 및 시선 추적용 광원 각각이 표시 영역의 내부에 배치되는 것을 설명하기 위한 개념도이다. 이하, 도 5에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 1 및 도 7을 참조하면, 적어도 하나의 시선 추적용 광원(710)과 적어도 하나의 시선 추적 센서(720)의 배치를 설명하기 위한 사용자의 눈(151), 디스플레이(110) 및 광학 렌즈(120)가 도시되어 있다.
일 실시예에서, 제1 방향 축(10)을 기준으로, 광학 렌즈(120)는 디스플레이(110) 상에 배치될 수 있다. 광학 렌즈(120)는 디스플레이의 제1 면(114)에 인접하게 배치될 수 있다. 일 실시예에서, 제1 방향 축(10)을 기준으로, 광학 렌즈(120)와 사용자의 눈(151)과의 제1 거리(740)는 디스플레이(110)와 사용자의 눈(151)과의 제2 거리보다 가까울 수 있다.
일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)에 의하여 정의되는 평면 상에서, 광학 렌즈(120)의 단면적은 디스플레이(110)의 단면적과 같거나 클 수 있다. 광학 렌즈(120)의 유효경의 단면적은, 디스플레이(110)의 표시 영역의 단면적과 같거나 클 수 있다. 제1 방향 축(10)을 기준으로, 디스플레이(110)의 전체 영역은 광학 렌즈(120)에 모두 중첩될 수 있다. 광학 렌즈(120)의 유효경은 디스플레이(110)의 표시 영역에 내접할 수 있다.
일 실시예에서, 광학 렌즈(120) 상의 관심 영역(750)은 사용자의 눈(151)과 광학 렌즈(120) 사이의 거리인 제1 거리(740)와 기-설정된 기준 각도(730)에 기초하여 결정될 수 있다
일 실시예에서, 관심 영역(750)은 사용자(150)가 머리를 움직이지 않고 사용자의 눈(151)만을 움직여 중심시로 영상을 관찰할 수 있는 영역이다. 사용자(150)는 관심 영역(750)에 대응되는 영상을 관찰할 때는, 사용자의 눈(151)만을 움직여 영상을 관찰할 수 있다. 이 경우, 사용자(150)의 주변시를 통하여 관찰되는 관심 영역(750)이 아닌 영역에 대응되는 영상의 선명도는, 관심 영역(750)에 대응되는 영상의 선명도보다 낮을 수 있다.
일 실시예에서, 제1 방향 축(10)에서 적어도 하나의 시선 추적용 광원(710)은 제2 표시 영역(112)의 내부에 배치될 수 있다. 적어도 하나의 시선 추적용 광원(710)은 디스플레이(110)의 제2 면(115)에 인접하게 배치될 수 있다. 제1 방향 축(10)을 기준으로, 적어도 하나의 시선 추적용 광원(710)과 사용자의 눈(151)과의 제4 거리는, 광학 렌즈(120)와 사용자의 눈(151)과의 제1 거리(740)보다 멀 수 있다.
일 실시예에서, 제1 방향 축(10)에서 적어도 하나의 시선 추적용 광원(710)은 광학 렌즈(120)와 중첩할 수 있다. 적어도 하나의 시선 추적용 광원(710)에서 방출된 광(160)은 디스플레이(110)를 거친 후, 광학 렌즈(120)를 통하여 사용자의 눈(151)에 조사될 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 제1 방향 축(10)에서 적어도 하나의 시선 추적용 광원(710)과 광학 렌즈(120)가 중첩되지 않더라도, 적어도 하나의 시선 추적용 광원(710)에서 제공된 광(160)이 광학 렌즈(120)를 통하여 사용자의 눈(151)에 조사될 수도 있다.
일 실시예에서, 제1 방향 축(10)에서 적어도 하나의 시선 추적용 광원(710)은 관심 영역(750)의 외부에 배치될 수 있다.
일 실시예에서, 제1 방향 축(10)에서 적어도 하나의 시선 추적 센서(720)는 제2 표시 영역(112)의 내부에 배치될 수 있다. 적어도 하나의 시선 추적 센서(720)는 디스플레이(110)의 제2 면(115)에 인접하게 배치될 수 있다.
일 실시예에서, 제1 방향 축(10)에서, 적어도 하나의 시선 추적 센서(720)는 관심 영역(750)의 외부에 배치될 수 있다. 제1 방향 축(10)에서 적어도 하나의 시선 추적 센서(720)는 광학 렌즈(120)와 중첩할 수 있다. 적어도 하나의 시선 추적 센서(720)는 사용자의 눈(151)에서 반사된 반사광(170)을 광학 렌즈(120)를 통하여 수광할 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 제1 방향 축(10)에서 적어도 하나의 시선 추적 센서(720)와 광학 렌즈(120)가 중첩되지 않더라도, 적어도 하나의 시선 추적 센서(720)는 사용자의 눈(151)에서 반사된 반사광(170)을 광학 렌즈(120)를 통하여 수광할 수도 있다.
도 8은 본 개시의 일 실시예에 따른 시선 추적 센서 및 시선 추적용 광원 각각이 디스플레이와 중첩되는 것을 설명하기 위한 확대도이다. 이하, 도 6에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 7 및 도 8을 참조하면, 도 8에는 도 7에 도시된 영역(760)의 확대도가 도시되어 있다. 일 실시예에서, 디스플레이(800)는 기판(830), 기판(630) 상에 배치된 회로층(820) 및 회로층(820) 상에 배치된 복수의 화소들(810)을 포함할 수 있다.
일 실시예에서, 디스플레이(800)는 영상을 표시하는 제1 표시 영역(811) 및 제2 표시 영역(812)을 포함할 수 있다. 일 실시예에서, 복수의 화소들(810)은 제1 표시 영역(811)에 포함되는 복수의 제1 화소들(813) 및 제2 표시 영역(812)에 포함되는 복수의 제2 화소들(814)을 포함할 수 있다.
일 실시예에서, 제1 표시 영역(811)의 해상도는 제2 표시 영역(812)의 해상도보다 클 수 있다. 제1 표시 영역(811)에 포함된 복수의 제1 화소들(813)의 단위 면적 당 개수는, 제2 표시 영역(812)에 포함된 복수의 제2 화소들(814)의 단위 면적 당 개수보다 클 수 있다. 일 실시예에서, 단위 면적 당 화소들의 개수가 적은 제2 표시 영역(812)의 투과율이 단위 면적 당 화소들의 개수가 큰 제1 표시 영역(811)의 투과율보다 높을 수 있다.
일 실시예에서, 제2 표시 영역(812)은 제1 방향 축(10)에서 적어도 하나의 시선 추적용 광원(840)과 중첩되는 제1 서브 표시 영역(812_1) 및 적어도 하나의 시선 추적 센서(850)와 중첩되는 제2 서브 표시 영역(812_2)을 포함할 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(840)은 디스플레이(800)의 아래에 배치되고, 제1 방향 축(10)을 기준으로 제1 서브 표시 영역(812_1)의 내부에 배치될 수 있다. 제1 방향 축(10)을 기준으로, 적어도 하나의 시선 추적용 광원(840)은 제1 표시 영역(811)의 외부에 배치된다. 적어도 하나의 시선 추적용 광원(840)은 기판(830) 중 제1 서브 표시 영역(812_1)에 포함된 기판의 아래에 배치될 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(840)은 제1 표시 영역(811)과 비교하여, 상대적으로 투과율이 높은 제1 서브 표시 영역(812_1)의 내부에 배치되어, 사용자의 눈(151)을 향하여 광(160)을 조사할 수 있다. 제1 서브 표시 영역(812_1)에 포함되는 복수의 제2 화소들(814_1)의 단위 면적 당 개수는 제1 서브 표시 영역(812_1)과 인접한 제1 표시 영역(811)에 포함된 복수의 제1 화소들(813)의 단위 면적 당 개수보다 작을 수 있다. 따라서 제1 서브 표시 영역(812_1)을 통하여 광(160)을 사용자의 눈(151)을 향하여 제공하는 적어도 하나의 시선 추적용 광원(840)의 조사 성능을 향상시킬 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(850)는 디스플레이(800)의 아래에 배치되고, 제1 방향 축(10)을 기준으로 제2 서브 표시 영역(812_2)의 내부에 배치될 수 있다. 제1 방향 축(10)을 기준으로, 적어도 하나의 시선 추적 센서(850)는 제1 표시 영역(811)의 외부에 배치될 수 있다. 적어도 하나의 시선 추적 센서(850)는 기판(830) 중 제2 서브 표시 영역(812_2)에 포함된 기판의 아래에 배치될 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(850)는 제1 표시 영역(811)과 비교하여, 상대적으로 투과율이 높은 제2 서브 표시 영역(812_2)의 내부에 배치되어, 사용자의 눈(151)으로부터 반사된 반사광(170)을 수광할 수 있다. 제2 서브 표시 영역(812_2)에 포함되는 복수의 제2 화소들(814_2)의 단위 면적 당 개수를 제2 서브 표시 영역(812_2)과 인접한 제1 표시 영역(811)에 포함된 복수의 제1 화소들(813)의 단위 면적 당 개수보다 작게하여, 제2 서브 표시 영역(812_2)을 통하여 반사광(170)을 수광하는 적어도 하나의 시선 추적 센서(850)의 수광 성능을 향상시킬 수 있다.
도 8을 참조하면, 제1 서브 표시 영역(812_1)과 제2 서브 표시 영역(812_2)은 서로 이격된 것으로 도시되어 있다. 제1 서브 표시 영역(812_1) 및 제2 서브 표시 영역(812_2)은 각각 제1 표시 영역(811)에 의하여 둘러싸일 수 있다. 제1 서브 표시 영역(812_1) 및 제2 서브 표시 영역(812_2)은 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서 서로 이격되어 디스플레이(110) 내에 포함될 수 있다. 다만, 본 개시는 이에 제한되지 않고, 제1 서브 표시 영역(812_1)과 제2 서브 표시 영역(812_2)은 서로 맞닿은 하나의 영역으로 디스플레이(110) 내에 포함될 수도 있다.
복수의 제2 화소들(814)은 제1 서브 표시 영역(812_1)에 포함되는 복수의 제1 서브 화소들(814_1) 및 제2 서브 표시 영역(812_2)에 포함되는 복수의 제2 서브 화소들(814_2)을 포함할 수 있다. 도 8을 참조하면, 복수의 제1 서브 화소들(814_1) 및 복수의 제2 서브 화소들(814_2)의 단위 면적 당 개수가 동일한 것으로 도시되어 있다. 다만, 본 개시는 이에 제한되지 않고, 복수의 제1 서브 화소들(814_1)의 단위 면적 당 개수와 복수의 제2 서브 화소들(814_2)의 단위 면적 당 개수는 서로 상이할 수도 있다.
도 9는 본 개시의 일 실시예에 따른 시선 추적 센서와 시선 추적용 광원의 배치를 설명하기 위한 평면도이다. 이하, 도 5 내지 도 8에서 설명된 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고 중복되는 설명은 생략하도록 한다.
도 9를 참조하면, 제1 방향 축(10)에서 바라본 디스플레이(110), 광학 렌즈(120), 적어도 하나의 시선 추적용 광원(910) 및 적어도 하나의 시선 추적 센서(920)가 도시되어 있다.
일 실시예에서, 제1 방향 축(10)을 기준으로 광학 렌즈(120)는 디스플레이(110) 상에 배치될 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서, 광학 렌즈(120)는 원형의 형상을 가질 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서, 디스플레이(110)는 사각형의 형상을 가질 수 있다.
일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 디스플레이(110)의 단면은, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 광학 렌즈(120)의 단면과 모두 중첩될 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 디스플레이(110)의 단면적은, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 광학 렌즈(120)의 단면적보다 작을 수 있다. 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 디스플레이(110)의 제1 및 제2 표시 영역들(111, 112)의 단면적은, 광학 렌즈(120)의 유효경의 단면적보다 작을 수 있다. 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 광학 렌즈(120)의 유효경은, 디스플레이(110)의 표시 영역(111, 112)에 내접할 수 있다.
일 실시예에서, 디스플레이(110)는 제1 표시 영역(111) 및 제2 표시 영역(112)을 포함할 수 있다. 제1 표시 영역(111)은 디스플레이(110)의 중심부에 대응될 수 있다. 제2 표시 영역(112)은 제1 표시 영역(111)과 인접할 수 있다. 일 실시예에서, 제2 표시 영역(112)은 제1 표시 영역(111)에 의하여 둘러싸일 수 있다. 다만, 본 개시는 이에 제한되지 않고, 제2 표시 영역(112)의 경계 중 일부는 제1 표시 영역(111)과 맞닿고, 제2 표시 영역(112)의 경계 중 나머지는 제1 표시 영역(111)과 맞닿지 않을 수도 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(910)은 광학 렌즈(120)의 아래에 배치되어, 제1 방향 축(10)을 기준으로 광학 렌즈(120)와 중첩될 수 있다. 적어도 하나의 시선 추적용 광원(910)은 제1 방향 축(10)을 기준으로 디스플레이(110)와 중첩되지 않을 수 있다. 적어도 하나의 시선 추적용 광원(910)은 제1 표시 영역(111) 및 제2 표시 영역(112)의 외부에 배치될 수 있다. 다만, 본 개시는 이에 제한되지 않고, 디스플레이(110)가 영상이 표시되지 않는 비-표시 영역(예를 들어, 베젤(bezel))을 포함하는 경우, 적어도 하나의 시선 추적용 광원(910)은 제1 표시 영역(111) 및 제2 표시 영역(112)의 외부에 배치되고, 비-표시 영역의 내부에 배치될 수도 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(920)는 디스플레이(110)의 아래에 배치되어, 제1 방향 축(10)을 기준으로 디스플레이(110)의 제2 표시 영역(112)의 내부에 배치될 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(920)는 디스플레이(110)의 제1 표시 영역(111)의 외부에 배치될 수 있다.
도 5 및 도 9를 참조할 때, 광학 렌즈(120)의 중심(931)을 기준으로, 기준 반지름(932)을 갖는 관심 영역(930)이 정의될 수 있다. 기준 반지름(932)은 기-설정된 기준 각도(530) 및 제1 거리(540)에 기초하여 설정될 수 있다. 일 실시예에서, 관심 영역(930)은 디스플레이(110)에 표시된 영상이 광학 렌즈(120)를 통하여 굴절(refraction), 반사(reflection) 또는 분산(dispersion) 된 후 맺히는 영역일 수 있다. 사용자(150)는 관심 영역(930)에 맺히는 영상에 기초하여 헤드 마운티드 디스플레이 장치(100)를 통해 제공되는 영상을 인식할 수 있다. 일 실시예에서, 적어도 하나의 프로세서(191, 도 3 참조)는 사용자(150)의 시선과 관심 영역(930)이 교차하는 시점을 식별하고, 식별된 시점에 기초하여 디스플레이(110)에 표시되는 영상 및 헤드 마운티드 디스플레이 장치(100)의 동작을 제어할 수도 있다. 도 5에는 사용자의 눈(151)과 관심 영역(550) 간의 거리가, 사용자의 눈(151)과 광학 렌즈(120) 간의 제1 거리(540)와 동일한 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 광학 렌즈(120)의 형상, 구성 및 굴절률 등에 기초하여 사용자의 눈(151)과 관심 영역(550) 간의 거리가 사용자의 눈(151)과 광학 렌즈(120) 간의 제1 거리(540)보다 가까울 수도 있다.
일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서의 관심 영역(930)은 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 디스플레이(110)의 단면과 상이할 수 있다.
일 실시예에서, 관심 영역(930)에 대응되는 영역에 표시되는 영상은, 사용자(150)가 눈동자를 움직여, 주변시와 비교할 때 상대적으로 높은 시력을 갖는 중심시로 관찰할 수 있다. 따라서, 관심 영역(930)에 대응되는 영역에 표시되는 영상은 사용자(150)에게 선명하게 관찰될 수 있다.
반면, 관심 영역(930)에 대응되는 영역이 아닌 영역에 표시되는 영상은, 사용자(150)가 중심시와 비교할 때 상대적으로 낮은 시력을 갖는 주변시로 관찰할 수 있다. 따라서, 관심 영역(930)에 대응되는 영역이 아닌 영역에 표시되는 영상은 사용자(150)에게 흐릿하게 관찰될 수 있다.
일 실시예에서, 제1 표시 영역(111)은 관심 영역(930)에 대응될 수 있다. 제1 방향 축(10)을 기준으로, 제1 표시 영역(111)은 관심 영역(930)과 중첩될 수 있다. 제1 표시 영역(111)의 일부는 관심 영역(930)과 중첩되고, 제1 표시 영역(111)의 일부는 관심 영역(930)과 중첩되지 않을 수 있다.
일 실시예에서, 제2 표시 영역(112)은 관심 영역(930)의 외부에 배치될 수 있다. 제1 방향 축(10)을 기준으로, 제2 표시 영역(112)은 관심 영역(930)에 중첩되지 않을 수 있다. 제2 표시 영역(112)에 표시되는 영상은 디스플레이(110) 중 관심 영역(930)에 대응되는 영역이 아닌 영역에 표시되는 영상이므로, 사용자(150)에게 흐릿하게 관찰될 수 있다. 따라서, 제2 표시 영역(112)의 해상도가 제1 표시 영역(111)의 해상도보다 낮더라도, 제2 표시 영역(112)에 표시되는 영상의 화질과 제1 표시 영역(111)에 표시되는 영상의 화질 차이가 사용자(150)에게 인지되는 것을 방지할 수 있다.
따라서, 본 개시의 헤드 마운티드 디스플레이 장치(100)는 적어도 하나의 시선 추적 센서(920)를 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서 사용자의 눈(151)과 가깝고, 디스플레이(110) 중 투과율이 높은 제2 표시 영역(112)의 내부에 배치하여 적어도 하나의 시선 추적 센서(920)의 수광 성능을 향상시키면서, 사용자(150)에게 제2 표시 영역(112)으로 인한 영상의 화질 차이가 시인되는 것을 방지할 수 있다.
도 10은 본 개시의 일 실시예에 따른 시선 추적 센서와 시선 추적용 광원의 배치를 설명하기 위한 평면도이다. 이하, 도 9에서 설명된 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 10을 참조하면, 제1 방향 축(10)에서 바라본 디스플레이(110), 광학 렌즈(120), 적어도 하나의 시선 추적용 광원(1010) 및 적어도 하나의 시선 추적 센서(1020)가 도시되어 있다.
일 실시예에서, 제1 방향 축(10)을 기준으로 광학 렌즈(120)는 디스플레이(110) 상에 배치될 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서, 광학 렌즈(120)는 원형의 형상을 가질 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서, 디스플레이(110)는 사각형의 형상을 가질 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(1010)은 광학 렌즈(120)의 아래에 배치되어, 제1 방향 축(10)을 기준으로 광학 렌즈(120)와 중첩될 수 있다. 적어도 하나의 시선 추적용 광원(1010)은 제1 표시 영역(111) 및 제2 표시 영역(112)의 외부에 배치될 수 잇다.
도 10에는 헤드 마운티드 디스플레이 장치(100, 도 1 참조)에 네 개의 시선 추적용 광원들(1010)이 포함되는 것으로 도시되어 있지만, 본 개시는 이에 제한되지 않는다. 헤드 마운티드 디스플레이 장치(100)는 세 개 이하의 시선 추적용 광원들 또는 다섯 개 이상의 시선 추적용 광원들을 포함할 수도 있다. 또한, 도 10에는 네 개의 시선 추적용 광원들(1010)이 광학 렌즈(120)의 상, 하, 좌, 우에 각각 이격되어 배치되는 것으로 도시되어 있지만, 본 개시는 이에 제한되지 않는다. 헤드 마운티드 디스플레이 장치(100)에 포함된 적어도 하나의 시선 추적용 광원(1010)의 배치는 측정하고자 하는 사용자의 눈(151, 도 1 참조)에 의한 반사광의 패턴 등에 따라 달라질 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(1020)는 디스플레이(110)의 아래에 배치되어, 제1 방향 축(10)을 기준으로 디스플레이(110)의 제2 표시 영역(112)의 내부에 배치될 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(1020)는 디스플레이(110)의 제1 표시 영역(111)의 외부에 배치될 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(1020)는 관심 영역(930)의 외부에 배치될 수 있다.
일 실시예에서, 도 10에는 헤드 마운티드 디스플레이 장치(100)에 두 개의 시선 추적 센서들(1020)이 포함되는 것으로 도시되어 있다. 두 개의 시선 추적 센서들(1020) 각각은 제2 표시 영역(112)의 내부에 배치될 수 있다. 다만, 본 개시는 이에 제한되지 않는다. 헤드 마운티드 디스플레이 장치(100)는 하나의 시선 추적 센서 또는 세 개 이상의 시선 추적 센서들을 포함할 수도 있다. 또한, 도 10에는 두 개의 시선 추적 센서들(1020)이 서로 이격되어 배치되는 것으로 도시되어 있지만, 본 개시는 이에 제한되지 않는다. 헤드 마운티드 디스플레이 장치(100)에 포함된 두 개 이상의 시선 추적 센서들은 서로 인접하여 배치되고, 공통되는 하나의 제2 표시 영역과 중첩될 수도 있다.
도 11은 본 개시의 일 실시예에 따른 시선 추적 센서와 시선 추적용 광원의 배치를 설명하기 위한 평면도이다. 이하, 도 9 및 도 10에서 설명한 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 11을 참조하면, 제1 방향 축(10)에서 바라본 디스플레이(110), 광학 렌즈(120), 적어도 하나의 시선 추적용 광원(1110) 및 적어도 하나의 시선 추적 센서(1120)가 도시되어 있다.
일 실시예에서, 제1 방향 축(10)을 기준으로 광학 렌즈(120)는 디스플레이(110) 상에 배치될 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서, 광학 렌즈(120)는 원형의 형상을 가질 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서, 디스플레이(110)는 사각형의 형상을 가질 수 있다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(1110)은 디스플레이(110)의 아래에 배치되어, 제1 방향 축(10)을 기준으로 디스플레이(110)의 제2 표시 영역(112)의 내부에 배치될 수 있다. 적어도 하나의 시선 추적용 광원(1110)은 디스플레이(110)의 제1 표시 영역(111)의 외부에 배치될 수 있다. 적어도 하나의 시선 추적용 광원(1110)은 관심 영역(930)의 외부에 배치될 수 있다. 적어도 하나의 시선 추적용 광원(1110)은 제1 방향 축(10)을 기준으로 광학 렌즈(120)와 중첩될 수 있다.
도 11에는 헤드 마운티드 디스플레이 장치(100)가 세 개의 시선 추적용 광원들(1110)을 포함하는 것으로 도시되어 있다. 제2 표시 영역(112)은 세 개의 시선 추적용 광원들(1110)에 각각 중첩되는 세 개의 제1 서브 표시 영역들(112_1)을 포함할 수 있다. 도 11에는 세 개의 시선 추적용 광원들(1110) 및 세 개의 제1 서브 표시 영역들(112_1)이 서로 이격되어 배치되어 있지만, 본 개시는 이에 제한되지 않는다. 세 개의 시선 추적용 광원들(1110)은 서로 인접하여 배치될 수 있고, 공통되는 하나의 제1 서브 표시 영역(112)의 내부에 배치될 수도 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(1120)는 디스플레이(110)의 아래에 배치되어, 제1 방향 축(10)을 기준으로 디스플레이(110)의 제2 표시 영역(112)의 내부에 배치될 수 있다. 적어도 하나의 시선 추적 센서(1120)는 관심 영역(930)의 외부에 배치될 수 있다.
도 11에는 헤드 마운티드 디스플레이 장치(100)가 하나의 시선 추적 센서(1120)를 포함하는 것으로 도시되어 있다. 제2 표시 영역(112)은 하나의 시선 추적 센서(1120)에 중첩되는 하나의 제2 서브 표시 영역(112_2)을 포함할 수 있다. 도 11에는 하나의 시선 추적 센서(1120)와 세 개의 시선 추적용 광원들(1110)이 서로 이격되어 있지만, 본 개시는 이에 제한되지 않는다. 하나의 시선 추적 센서(1120)와 세 개의 시선 추적용 광원들(1110)은 서로 인접하여 배치될 수 있고, 공통되는 하나의 제2 표시 영역(112)의 내부에 배치될 수도 있다.
도 12는 본 개시의 일 실시예에 따른 시선 추적 센서와 시선 추적용 광원의 배치를 설명하기 위한 평면도이다. 이하, 도 9 내지 도 11에서 설명된 구성과 동일한 구성에 대하여는 동일한 도면 부호를 부여하고, 중복되는 설명은 생략하도록 한다.
도 12를 참조하면, 제1 방향 축(10)에서 바라본 디스플레이(110), 광학 렌즈(120), 적어도 하나의 시선 추적용 광원(1210) 및 적어도 하나의 시선 추적 센서(1220)가 도시되어 있다.
일 실시예에서, 제1 방향 축(10)을 기준으로 광학 렌즈(120)는 디스플레이(110) 상에 배치될 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서, 광학 렌즈(120)는 원형의 형상을 가질 수 있다. 일 실시예에서, 제2 방향 축(20) 및 제3 방향 축(30)으로 정의되는 평면 상에서, 디스플레이(110)는 원형의 형상을 가질 수 있다. 다만, 본 개시는 이에 제한되지 않고, 광학 렌즈(120) 및 디스플레이(110)는 사각 형상 등 다른 형상을 가질 수도 있음은 물론이다.
일 실시예에서, 적어도 하나의 시선 추적용 광원(1210)은 광학 렌즈(120)의 아래에 배치되어, 제1 방향 축(10)을 기준으로 광학 렌즈(120)와 중첩될 수 있다. 적어도 하나의 시선 추적용 광원(1210)은 제1 방향 축(10)을 기준으로 제1 표시 영역(111) 및 제2 표시 영역(112)의 외부에 배치될 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서(1220)는 디스플레이(110)의 아래에 배치되어, 제1 방향 축(10)을 기준으로 디스플레이(110)의 제2 표시 영역(112)의 내부에 배치될 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(1220)는 디스플레이(110)의 제1 표시 영역(111)의 외부에 배치될 수 있다. 일 실시예에서, 적어도 하나의 시선 추적 센서(1220)는 광학 렌즈(120)의 중심부(1231)를 기준으로, 기준 반지름(1232)을 갖는 관심 영역(1230)의 외부에 배치될 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예에서 디스플레이 및 디스플레이의 제1 면에 인접하게 배치된 광학 렌즈를 포함하는 헤드 마운티드 디스플레이(Head Mounted Display) 장치를 제공한다. 헤드 마운티드 디스플레이 장치는, 적어도 하나의 광원을 포함할 수 있다. 헤드 마운티드 디스플레이 장치는 디스플레이의 제2 면에 인접하게 배치되고, 적어도 하나의 광원에서 출력된 광이 사용자의 눈에 의해 반사된 반사광을 수광하여 사용자의 시선 정보를 획득하는 적어도 하나의 시선 추적 센서를 포함할 수 있다. 디스플레이는 적어도 하나의 시선 추적 센서가 배치된 위치에 대응되는 제2 표시 영역과 제2 표시 영역 이외의 제1 표시 영역을 포함할 수 있다. 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 클 수 있다.
일 실시예에서, 제1 표시 영역은 광학 렌즈의 중심(center)을 기준으로 기준으로 기-설정된 기준 각도 및 상기 사용자의 눈과 상기 광학 렌즈(120) 간의 거리에 대응되는 기준 반지름을 갖는 영역인 관심 영역에 대응될 수 있다. 제2 표시 영역은 제 1표시 영역에 인접하고, 관심 영역의 외부에 배치될 수 있다.
일 실시예에서, 기-설정된 기준 각도는 10°와 같거나 크고, 40°와 같거나 작은 어느 하나의 각도로 설정될 수 있다.
일 실시예에서, 디스플레이의 단면적은, 광학 렌즈의 단면적보다 작을 수 있다. 일 실시예에서, 광학 렌즈의 유효경의 단면적은, 디스플레이의 표시 영역의 단면적과 같거나, 클 수 있다. 일 실시예에서, 광학 렌즈의 유효경은, 디스플레이의 표시 영역에 내접할 수 있다.
일 실시예에서, 적어도 하나의 시선 추적 센서는, 적어도 하나의 광원에서 출력된 광이 사용자의 눈에 의해 반사된 반사광을 수광하여, 사용자의 생체 정보를 획득할 수 있다.
일 실시예에서, 디스플레이는 기판, 기판 상에 배치된 회로층 및 회로층 상에 배치된 복수의 화소들을 포함하고, 디스플레이의 제1 면은 복수의 화소들과 인접한 면이고, 디스플레이의 제2 면은 기판과 인접한 면일 수 있다.
일 실시예에서, 기판은 적어도 하나의 시선 추적 센서 상에 배치되고, 적어도 하나의 시선 추적 센서는 기판 중 제1 표시 영역의 외부에 대응되는 영역에 중첩되도록 배치될 수 있다.
일 실시예에서, 제2 표시 영역은 적어도 하나의 시선 추적 센서가 배치되는 제1 서브 표시 영역 및 적어도 하나의 광원이 배치되는 제2 서브 표시 영역을 포함할 수 있다.
일 실시예에서, 사용자의 눈과 광학 렌즈 간의 제1 거리는 사용자의 눈과 디스플레이 간의 제2 거리보다 가까울 수 있다.
일 실시예에서, 디스플레이는 사용자의 좌안에 대응되는 제1 디스플레이 및 사용자의 우안에 대응되는 제2 디스플레이를 포함할 수 있다. 광학 렌즈는 제1 디스플레이에 대응되는 제1 광학 렌즈 및 제2 디스플레이에 대응되는 제2 광학 렌즈를 포함할 수 있다. 적어도 하나의 시선 추적 센서는 제1 디스플레이에 대응되는 적어도 하나의 제1 시선 추적 센서 및 제2 디스플레이에 대응되는 적어도 하나의 제2 시선 추적 센서를 포함할 수 있다.
일 실시예에서, 적어도 하나의 광원은 제1 디스플레이에 대응되는 적어도 하나의 제1 시선 추적용 광원 및 제2 디스플레이에 대응되는 적어도 하나의 제2 시선 추적용 광원을 포함할 수 있다.
일 실시예에서, 제2 표시 영역의 투과율은, 제1 표시 영역의 투과율보다 클 수 있다.
일 실시예에서, 복수의 화소들 각각은 유기 발광 다이오드일 수 있다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 다른 실시예는 디스플레이 및 디스플레이의 제1 면에 인접하게 배치된 광학 렌즈를 포함하는 헤드 마운티드 디스플레이(Head Mounted Display) 장치를 제공한다. 헤드 마운티드 디스플레이 장치는 적어도 하나의 광원을 포함할 수 있다. 헤드 마운티드 디스플레이 장치는 디스플레이의 제2 면에 인접하도록 배치되고, 적어도 하나의 광원에서 출력된 광이 사용자의 눈으로부터 반사된 반사광을 수광하는 적어도 하나의 시선 추적 센서를 포함할 수 있다. 헤드 마운티드 디스플레이 장치는 적어도 하나의 명령어(instruction)를 저장하는 메모리 및 메모리에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는 적어도 하나의 시선 추적 센서를 통해 수광된 반사광에 기초하여, 사용자의 시선 정보를 획득할 수 있다. 디스플레이는 적어도 하나의 시선 추적 센서가 배치된 위치에 대응되는 제2 표시 영역과 제2 표시 영역 이외의 제1 표시 영역을 포함할 수 있다. 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 클 수 있다.
일 실시예에서, 제1 표시 영역은 광학 렌즈의 중심(center)을 기준으로 기-설정된 기준 각도 및 사용자의 눈과 광학 렌즈 간의 거리에 대응되는 기준 반지름을 갖는 영역인 관심 영역에 대응되고, 제2 표시 영역은 제1 표시 영역에 인접하고, 관심 영역의 외부에 배치될 수 있다. 기-설정된 기준 각도는 10°와 같거나 크고, 40°와 같거나 작은 어느 하나의 각도로 설정될 수 있다.
일 실시예에서, 디스플레이는 사용자의 좌안에 대응되는 제1 디스플레이 및 사용자의 우안에 대응되는 제2 디스플레이를 포함할 수 있다. 광학 렌즈는 제1 디스플레이에 대응되는 제1 광학 렌즈 및 제2 디스플레이에 대응되는 제2 광학 렌즈를 포함할 수 있다. 적어도 하나의 시선 추적 센서는 제1 디스플레이에 대응되는 적어도 하나의 제1 시선 추적 센서 및 제2 디스플레이에 대응되는 적어도 하나의 제2 시선 추적 센서를 포함할 수 있다. 적어도 하나의 광원은 제1 디스플레이에 대응되는 적어도 하나의 제1 시선 추적용 광원 및 제2 디스플레이에 대응되는 적어도 하나의 제2 시선 추적용 광원을 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여 본 개시의 다른 실시예는 디스플레이 및 디스플레이의 제1 면에 인접하게 배치된 광학 렌즈를 포함하는 헤드 마운티드 디스플레이 장치의 동작 방법을 제공한다. 헤드 마운티드 디스플레이 장치의 동작 방법은, 적어도 하나의 광원을 이용하여 사용자의 눈에 광을 조사하는 단계를 포함할 수 있다. 헤드 마운티드 디스플레이 장치의 동작 방법은 디스플레이의 제2 면에 인접하게 배치되는 적어도 하나의 시선 추적 센서를 이용하여, 적어도 하나의 광원에 의하여 조사되어 사용자의 눈으로부터 반사된 반사광을 수광하는 단계를 포함할 수 있다. 헤드 마운티드 디스플레이 장치의 동작 방법은 수광된 반사광에 기초하여, 사용자의 시선 정보를 획득하는 단계를 포함할 수 있다. 디스플레이는 적어도 하나의 시선 추적 센서가 배치된 위치에 대응되는 제2 표시 영역과, 제2 표시 영역 이외의 제1 표시 영역을 포함할 수 있다. 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 클 수 있다.
일 실시예에서, 제1 표시 영역은 광학 렌즈의 중심(center)을 기준으로 기-설정된 기준 각도 및 사용자의 눈과 광학 렌즈 간의 거리에 대응되는 기준 반지름을 갖는 영역인 관심 영역에 대응되고, 제2 표시 영역은 제1 표시 영역에 인접하고, 관심 영역의 외부에 배치될 수 있다. 기-설정된 기준 각도는 10°와 같거나 크고, 40°와 같거나 작은 어느 하나의 각도로 설정될 수 있다.
일 실시예에서, 디스플레이는 사용자의 좌안에 대응되는 제1 디스플레이 및 사용자의 우안에 대응되는 제2 디스플레이를 포함할 수 있다. 광학 렌즈는 제1 디스플레이에 대응되는 제1 광학 렌즈 및 제2 디스플레이에 대응되는 제2 광학 렌즈를 포함할 수 있다. 적어도 하나의 시선 추적 센서는 제1 디스플레이에 대응되는 적어도 하나의 제1 시선 추적 센서 및 제2 디스플레이에 대응되는 적어도 하나의 제2 시선 추적 센서를 포함할 수 있다. 적어도 하나의 광원은 제1 디스플레이에 대응되는 적어도 하나의 제1 시선 추적용 광원 및 제2 디스플레이에 대응되는 적어도 하나의 제2 시선 추적용 광원을 포함할 수 있다.
일 실시예에서, 개시된 헤드 마운티드 디스플레이 장치(100)의 동작 방법의 실시예 중 적어도 하나의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.
본 개시에서 설명된 헤드 마운티드 디스플레이 장치(100)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 기록 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 헤드 마운티드 디스플레이 장치(100)의 제조사 또는 전자 마켓(예를 들어, 삼성 갤럭시 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 헤드 마운티드 디스플레이 장치(100)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장 매체가 될 수 있다.

Claims (15)

  1. 디스플레이(110);
    상기 디스플레이(110)의 제1 면에 인접하게 배치된 광학 렌즈(120);
    광을 출력하는 적어도 하나의 광원(130); 및
    상기 디스플레이(110)의 제2 면에 인접하게 배치되고, 상기 적어도 하나의 광원(130)에서 출력된 상기 광이 사용자의 눈에 의해 반사된 반사광 중 적어도 일부를 수광하여 상기 사용자의 시선 정보를 획득하는 적어도 하나의 시선 추적 센서(140)를 포함하고,
    상기 디스플레이는, 상기 적어도 하나의 시선 추적 센서(140)가 배치된 위치에 대응되는 제2 표시 영역과, 상기 제2 표시 영역 이외의 제1 표시 영역을 포함하며,
    상기 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 상기 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 큰 헤드 마운티드 디스플레이(Head Mounted Display) 장치(100).
  2. 제1 항에 있어서,
    상기 제1 표시 영역은 상기 광학 렌즈(120)의 중심(center)을 기준으로 기-설정된 기준 각도 및 상기 사용자의 눈과 상기 광학 렌즈(120) 간의 거리에 대응되는 기준 반지름을 갖는 영역인 관심 영역에 대응되고,
    상기 제2 표시 영역은, 상기 제1 표시 영역에 인접하고, 상기 관심 영역의 외부에 배치되는 헤드 마운티드 디스플레이 장치(100).
  3. 제2 항에 있어서,
    상기 기-설정된 기준 각도는, 10°와 같거나 크고, 40°와 같거나 작은 어느 하나의 각도로 설정된 헤드 마운티드 디스플레이 장치(100).
  4. 제1 내지 제3 항 중 어느 하나의 항에 있어서,
    상기 디스플레이(110)의 단면적은, 상기 광학 렌즈(120)의 단면적보다 작은 헤드 마운티드 디스플레이 장치(100).
  5. 제1 내지 제4 항 중 어느 하나의 항에 있어서,
    상기 적어도 하나의 시선 추적 센서(140)는,
    상기 적어도 하나의 광원(130)에서 출력된 광이 상기 사용자의 눈에 의해 반사된 상기 반사광을 수광하여, 상기 사용자의 생체 정보를 획득하는 헤드 마운티드 디스플레이 장치(100).
  6. 제1 내지 제5 항 중 어느 하나의 항에 있어서,
    상기 디스플레이(110)는,
    기판;
    상기 기판 상에 배치된 회로층; 및
    상기 회로층 상에 배치된 복수의 화소들을 포함하고,
    상기 디스플레이의 상기 제1 면은, 상기 복수의 화소들과 인접한 면이고,
    상기 디스플레이의 상기 제2 면은, 상기 기판과 인접한 면인 헤드 마운티드 디스플레이 장치(100).
  7. 제6 항에 있어서,
    상기 기판은, 상기 적어도 하나의 시선 추적 센서(140) 상에 배치되고,
    상기 적어도 하나의 시선 추적 센서(140)는, 상기 기판 중 상기 제1 표시 영역의 외부에 대응되는 영역에 중첩되도록 배치되는 헤드 마운티드 디스플레이 장치(100).
  8. 제6 또는 제7 항 중 어느 하나의 항에 있어서,
    상기 기판은, 상기 적어도 하나의 광원(130) 상에 배치되고,
    상기 적어도 하나의 광원(130)은 상기 기판 중 상기 제2 표시 영역에 대응되는 영역과 중첩되도록 배치되는 헤드 마운티드 디스플레이 장치(100).
  9. 제8 항에 있어서,
    상기 제2 표시 영역은,
    상기 적어도 하나의 시선 추적 센서(140)가 배치되는 제1 서브 표시 영역 및 상기 적어도 하나의 광원(130)이 배치되는 제2 서브 표시 영역을 포함하는 헤드 마운티드 디스플레이 장치(100).
  10. 제1 내지 제9 항 중 어느 하나의 항에 있어서,
    상기 사용자의 눈과 상기 광학 렌즈(120) 간의 제1 거리는 상기 사용자의 눈과 상기 디스플레이(110) 간의 제2 거리보다 가까운 헤드 마운티드 디스플레이 장치(100).
  11. 제1 내지 제10 항 중 어느 하나의 항에 있어서,
    상기 디스플레이(110)는 상기 사용자의 좌안에 대응되는 제1 디스플레이 및 상기 사용자의 우안에 대응되는 제2 디스플레이를 포함하고,
    상기 광학 렌즈(120)는, 상기 제1 디스플레이에 대응되는 제1 광학 렌즈 및 상기 제2 디스플레이에 대응되는 제2 광학 렌즈를 포함하고,
    상기 적어도 하나의 시선 추적 센서(140)는,
    상기 제1 디스플레이에 대응되는 적어도 하나의 제1 시선 추적 센서 및 상기 제2 디스플레이에 대응되는 적어도 하나의 제2 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치(100).
  12. 제11 항에 있어서,
    상기 적어도 하나의 광원(130)은,
    상기 제1 디스플레이에 대응되는 적어도 하나의 제1 시선 추적용 광원 및 상기 제2 디스플레이에 대응되는 적어도 하나의 제2 시선 추적용 광원을 포함하는 헤드 마운티드 디스플레이 장치(100).
  13. 제1 내지 제12 항 중 어느 하나의 항에 있어서,
    상기 제2 표시 영역의 투과율은, 상기 제1 표시 영역의 투과율보다 큰 헤드 마운티드 디스플레이 장치(100).
  14. 디스플레이(110);
    상기 디스플레이의 제1 면에 인접하게 배치된 광학 렌즈(120);
    광을 출력하는 적어도 하나의 광원(130);
    상기 디스플레이의 제2 면에 인접하도록 배치되고, 상기 적어도 하나의 광원(130)에서 출력된 상기 광이 사용자의 눈으로부터 반사된 반사광을 수광하는 적어도 하나의 시선 추적 센서(140);
    적어도 하나의 명령어(instruction)를 저장하는 메모리(192); 및
    상기 메모리(192)에 저장된 상기 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서(191)를 포함하고,
    상기 적어도 하나의 프로세서(191)는,
    상기 적어도 하나의 시선 추적 센서(140)를 통해 수광된 상기 반사광에 기초하여, 상기 사용자의 시선 정보를 획득하며,
    상기 디스플레이는, 상기 적어도 하나의 시선 추적 센서(140)가 배치된 위치에 대응되는 제2 표시 영역과, 상기 제2 표시 영역 이외의 제1 표시 영역을 포함하며,
    상기 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 상기 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 큰 헤드 마운티드 디스플레이(Head Mounted Display) 장치(100).
  15. 디스플레이(110) 및 상기 디스플레이(110)의 제1 면에 인접하게 배치된 광학 렌즈(120)를 포함하는 헤드 마운티드 디스플레이 장치(100)의 동작 방법에 있어서,
    적어도 하나의 광원(130)을 이용하여 사용자의 눈에 광을 조사하는 단계(S100);
    상기 디스플레이의 제2 면에 인접하게 배치되는 적어도 하나의 시선 추적 센서(140)를 이용하여, 상기 적어도 하나의 광원(130)에 의하여 조사되어, 상기 사용자의 눈으로부터 반사된 반사광을 수광하는 단계(S200); 및
    상기 수광된 반사광에 기초하여, 상기 사용자의 시선 정보를 획득하는 단계(S300)를 포함하며,
    상기 디스플레이(110)는, 상기 적어도 하나의 시선 추적 센서(140)가 배치된 위치에 대응되는 제2 표시 영역과, 상기 제2 표시 영역 이외의 제1 표시 영역을 포함하며,
    상기 제1 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수는, 상기 제2 표시 영역에 포함된 복수의 화소들의 단위 면적 당 개수보다 큰 헤드 마운티드 디스플레이(Head Mounted Display) 장치(100)의 동작 방법.
PCT/KR2023/021990 2022-12-29 2023-12-29 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법 WO2024144353A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/417,584 US20240220008A1 (en) 2022-12-29 2024-01-19 Head mounted display apparatus including eye-tracking sensor and operating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0189637 2022-12-29
KR1020220189637A KR20240106658A (ko) 2022-12-29 2022-12-29 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/417,584 Continuation US20240220008A1 (en) 2022-12-29 2024-01-19 Head mounted display apparatus including eye-tracking sensor and operating method thereof

Publications (1)

Publication Number Publication Date
WO2024144353A1 true WO2024144353A1 (ko) 2024-07-04

Family

ID=91718713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/021990 WO2024144353A1 (ko) 2022-12-29 2023-12-29 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법

Country Status (2)

Country Link
KR (1) KR20240106658A (ko)
WO (1) WO2024144353A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187794A (ja) * 2012-03-09 2013-09-19 Seiko Epson Corp 虚像表示装置
KR101895085B1 (ko) * 2010-09-21 2018-10-04 텔레폰악티에볼라겟엘엠에릭슨(펍) 시스루 헤드 마운트 디스플레이용 불투명도 필터
KR102419459B1 (ko) * 2017-04-17 2022-07-08 아코니아 홀로그래픽스 엘엘씨 스큐 미러 보조 이미징
KR20220100741A (ko) * 2021-01-08 2022-07-18 삼성디스플레이 주식회사 표시 패널, 표시 장치 및 표시 장치 제어 방법
KR20220105698A (ko) * 2021-01-20 2022-07-28 삼성전자주식회사 증강현실 안경 렌즈, 이를 포함하는 증강현실 안경 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101895085B1 (ko) * 2010-09-21 2018-10-04 텔레폰악티에볼라겟엘엠에릭슨(펍) 시스루 헤드 마운트 디스플레이용 불투명도 필터
JP2013187794A (ja) * 2012-03-09 2013-09-19 Seiko Epson Corp 虚像表示装置
KR102419459B1 (ko) * 2017-04-17 2022-07-08 아코니아 홀로그래픽스 엘엘씨 스큐 미러 보조 이미징
KR20220100741A (ko) * 2021-01-08 2022-07-18 삼성디스플레이 주식회사 표시 패널, 표시 장치 및 표시 장치 제어 방법
KR20220105698A (ko) * 2021-01-20 2022-07-28 삼성전자주식회사 증강현실 안경 렌즈, 이를 포함하는 증강현실 안경 및 시스템

Also Published As

Publication number Publication date
KR20240106658A (ko) 2024-07-08

Similar Documents

Publication Publication Date Title
WO2022139375A1 (en) Augmented reality device and operating method thereof
WO2020242085A1 (en) Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
WO2016017966A1 (en) Method of displaying image via head mounted display device and head mounted display device therefor
WO2021002641A1 (en) Electronic device and method for displaying augmented reality
WO2015105347A1 (en) Wearable display apparatus
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
EP3818431A1 (en) Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
WO2020111594A1 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
EP3914959A1 (en) Electronic device and method for displaying augmented reality
WO2021246777A1 (en) Device and method for displaying augmented reality
WO2016143983A1 (en) Method and device for radiating light used to capture iris
EP3092523A1 (en) Wearable display apparatus
WO2022102954A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2022270852A1 (ko) 가변 초점 렌즈를 포함하는 증강 현실 디바이스 및 그 동작 방법
WO2020141945A1 (en) Electronic device for changing characteristics of display according to external light and method therefor
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
WO2019172678A1 (en) System and method for augmented reality interaction
WO2022108001A1 (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
WO2024144353A1 (ko) 시선 추적 센서를 포함하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법
WO2022191497A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치
WO2022255682A1 (ko) 웨어러블 전자 장치 및 그의 파워 패스 제어 방법
WO2023048462A1 (ko) 착색 가능한 렌즈의 광 투과도를 조정하는 전자 장치 및 그 제어 방법
WO2021242008A1 (en) Electronic device and operating method thereof
WO2024205017A1 (ko) 가상 공간 이미지를 제공하기 위한 전자 장치 및 방법
WO2024034825A1 (ko) Ar 장치에게 표시하도록 명령할 컨텐츠를 결정하기 위한 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23913027

Country of ref document: EP

Kind code of ref document: A1