[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20160024168A - 전자 장치의 디스플레이 제어 방법 및 전자 장치 - Google Patents

전자 장치의 디스플레이 제어 방법 및 전자 장치 Download PDF

Info

Publication number
KR20160024168A
KR20160024168A KR1020140110657A KR20140110657A KR20160024168A KR 20160024168 A KR20160024168 A KR 20160024168A KR 1020140110657 A KR1020140110657 A KR 1020140110657A KR 20140110657 A KR20140110657 A KR 20140110657A KR 20160024168 A KR20160024168 A KR 20160024168A
Authority
KR
South Korea
Prior art keywords
electronic device
wearer
display
virtual reality
seed
Prior art date
Application number
KR1020140110657A
Other languages
English (en)
Inventor
김재범
조치현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140110657A priority Critical patent/KR20160024168A/ko
Priority to US14/835,157 priority patent/US9946393B2/en
Publication of KR20160024168A publication Critical patent/KR20160024168A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

전자 장치의 디스플레이를 제어하는 방법 및 전자 장치가 개시된다. 전자 장치는 머리 장착형 전자 장치를 착용한 착용자에게 가상 현실 동작을 제공하는 중에 착용자의 움직임이 감지되면 움직임의 크기를 측정할 수 있다. 전자 장치는 다수의 임계값들 중에 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 움직임의 크기가 큰 경우 가상 현실 동작을 씨-스루 동작으로 전환할 수 있다. 이외의 다른 실시예들도 가능하다.

Description

전자 장치의 디스플레이 제어 방법 및 전자 장치{METHOD FOR CONTROLLING DISPLAY IN ELECTRONIC DEVICE AND THE ELECTRONIC DEVICE}
본 발명은 전자 장치의 디스플레이를 제어하는 방법 및 전자 장치에 관한 것이다.
전자 장치들 중에는 신체에 착용할 수 있는 형태로 제공되는 전자 장치들이 있다. 이러한 전자 장치들은 통상적으로 웨어러블 디바이스(wearable device)라고 칭해진다. 신체에 착용할 수 있는 전자 장치들의 형태들 중에 HMD(head mounted display)와 같은 머리 장착형 전자 장치가 있다. HMD는 증강 현실(argumented reality, AR)을 제공하는 씨-스루(see-through) 형태와 가상 현실(virtual reality, VR)을 제공하는 씨-클로즈드(see-closed) 형태로 크게 구분할 수 있다.
씨-스루 형태의 대표적인 예로 구글 글래스를 들 수 있다. 구글 글래스는 반투과성 렌즈의 특성을 이용해 현실 세계의 기반 위에 가상의 대상 또는 사물을 합성 및 결합하여 현실 세계만으로 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있다. 씨-클로즈드 형태의 대표적인 예는 소니 HMZ를 들 수 있다. 소니 HMZ는 두 개의 디스플레이가 눈 앞에 놓여진 형태의 전자 장치로서, 외부 입력을 통해 제공되는 콘텐츠(게임, 영화, 스트리밍, 방송 등)를 독립된 화면에서 홀로 감상할 수 있어 뛰어난 몰입감을 제공할 수 있다.
사용자가 씨-클로즈드 형태의 머리 장착형 전자 장치를 착용하고 VR을 체험 중에는 착용자의 시야가 제한되므로 외부 위험 요소에 대한 인지 및 대응이 어려울 수 있다. 예를 들어 머리 장착형 전자 장치 착용자가 움직여 주변에 있는 사람이나 사물과 같은 다른 물체에 부딪칠 수도 있으며, 머리 장착형 전자 장치 착용자에게 접근하는 물체에 부딪힐 수도 있다.
본 발명의 다양한 실시예는 씨-클로즈드 형태의 머리 장착형 전자 장치의 착용자가 움직이는 경우 착용자가 이용 중인 콘텐츠의 종류에 적응적으로 외부 위험 요소를 사전에 인지할 수 있는 전자 장치의 디스플레이 제어 방법 및 전자 장치를 제공할 수 있다.
본 발명의 다양한 실시예는 씨-클로즈드 형태의 머리 장착형 전자 장치의 착용자에게 물체가 접근하는 경우 물체의 접근 및 물체의 접근 방향을 착용자가 사전에 인지할 수 있는 전자 장치의 디스플레이 제어 방법 및 전자 장치를 제공할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 디스플레이 제어 방법은, 머리 장착형 전자 장치를 착용한 착용자에게 VR 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 움직임의 크기를 측정하는 동작; 상기 움직임의 크기를 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값과 비교하는 동작; 및 상기 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 VR 동작을 씨-스루 동작으로 전환하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 디스플레이 제어 방법은, 머리 장착형 전자 장치를 착용한 착용자에게 VR 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 VR 동작을 씨-스루 동작으로 전환하는 동작; 상기 물체의 접근 방향을 측정하는 동작; 및 상기 물체의 접근 방향을 안내하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 머리 장착형 전자 장치를 착용한 착용자에게 적어도 VR 동작 및 씨-스루 동작을 제공하도록 상기 머리 장착형 전자 장치에 착탈 가능하게 장착되며, 상기 적어도 VR 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및 상기 디스플레이를 통해 상기 VR 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 상기 움직임의 크기를 측정하고, 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 VR 동작을 상기 씨-스루 동작으로 전환하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 머리 장착형 전자 장치를 착용한 착용자에게 적어도 VR 동작 및 씨-스루 동작을 제공하도록 상기 머리 장착형 전자 장치에 착탈 가능하게 장착되며, 상기 적어도 VR 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및 상기 디스플레이를 통해 상기 VR 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 VR 동작을 상기 씨-스루 동작으로 전환하고, 상기 물체의 접근 방향을 측정하여 안내하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 전자 장치를 착용한 착용자의 움직임을 감지하는 움직임 센서; 적어도 VR 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및 상기 디스플레이를 통해 상기 VR 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 상기 움직임의 크기를 측정하고, 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 VR 동작을 상기 씨-스루 동작으로 전환하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 전자 장치를 착용한 착용자에게 물체가 접근하는 것을 감지하는 접근 센서; 적어도 VR 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및 상기 디스플레이를 통해 상기 VR 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 VR 동작을 상기 씨-스루 동작으로 전환하고, 상기 물체의 접근 방향을 측정하여 안내하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시예에 따라, 전자 장치는 씨-클로즈드 형태의 머리 장착형 전자 장치의 착용자가 VR을 이용하는 중에 움직이는 경우 착용자가 이용 중인 콘텐츠의 종류에 적응적으로 씨-스루 동작으로 전환함으로써, 착용자가 외부 위험 요소를 사전에 효율적으로 인지하고 회피할 수 있다.
본 발명의 다양한 실시예에 따라, 전자 장치는 씨-클로즈드 형태의 머리 장착형 전자 장치의 착용자가 VR을 이용하는 중에 착용자에게 물체가 접근하는 경우 씨-스루 동작으로 전환함과 아울러 접근하는 물체의 접근 방향을 안내함으로써, 착용자가 외부 위험 요소를 사전에 효율적으로 인지하고 회피할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치를 포함하는 네트워크 환경을 도시한 블록도,
도 2는 본 발명의 다양한 실시예에 따른 머리 장착형 전자 장치의 예를 도시한 도면,
도 3a는 본 발명의 다양한 실시예에 따른 제1 전자 장치가 제2 전자 장치에 장착되는 예를 도시한 도면,
도 3b는 본 발명의 다양한 실시예에 따라 제1 전자 장치가 장착된 제2 전자 장치를 사용자가 착용한 예를 도시한 도면,
도 4는 본 발명의 다양한 실시예에 따른 제2 전자 장치의 구성 예를 도시한 블록도,
도 5는 본 발명의 다양한 실시예에 따른 일반 동작 화면의 예를 도시한 도면,
도 6은 본 발명의 다양한 실시예에 따른 VR 동작 화면의 예를 도시한 도면,
도 7은 본 발명의 다양한 실시예에 따른 씨-스루 동작 화면의 예를 도시한 도면,
도 8은 본 발명의 다양한 실시예에 따른 씨-스루 동작 화면의 다른 예를 도시한 도면,
도 9는 본 발명의 다양한 실시예에 따라 제1 전자 장치가 디스플레이를 제어하는 방법의 한 예를 도시한 흐름도,
도 10은 본 발명의 다양한 실시예에 따라 지정된 임계값들에 대한 가속도값에 따라 씨-스루 동작으로 전환되는 예를 도시한 도면,
도 11은 본 발명의 다양한 실시예에 따라 제1 전자 장치가 디스플레이를 제어하는 방법의 다른 예를 도시한 흐름도,
도 12는 본 발명의 다양한 실시예에 따라 씨-스루 동작 중에 물체의 접근 방향을 안내하는 화면의 예를 도시한 도면,
도 13은 본 발명의 다양한 실시예에 따라 제1 전자 장치가 장착된 제2 전자 장치를 각각 착용한 다수의 착용자들이 함께 콘텐츠를 이용하는 예를 도시한 도면,
도 14는 본 발명의 다양한 실시예에 따른 제2 전자 장치의 다른 구성 예를 도시한 블록도,
도 15는 본 발명의 다양한 실시예에 따른 전자 장치의 세부 구조를 나타내는 블록도.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 발명의 다양한 실시예에서 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시예에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명의 다양한 실시예에서 사용된 "제 1", "제2", "첫째" 또는 "둘째" 등의 표현들은 다양한 실시예의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 새로운 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 다양한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 다양한 실시예에 따른 전자 장치는, 예를 들어 후술하는 본 발명이 다양한 실시예에 관한 설명에서 언급되는 제1 전자 장치 또는 제2 전자 장치일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3(MPEG-1 audio layer-3) 플레이어, 모바일 의료기기, 카메라(camera) 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 HMD(head-mounted-device), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch)) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
본 발명의 다양한 실시예에 관한 설명에서 사용되는 용어 '사용자'는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다. 또한 본 발명의 다양한 관한 설명에서 사용되는 용어 '착용자'는 머리 장착형 전자 장치를 머리에 착용하고 머리 장착형 전자 장치 또는 머리 장착형 전자 장치에 착탈 가능하게 장착된 전자 장치가 제공하는 콘텐츠를 이용하는 사람을 지칭할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른, 전자 장치(102)를 포함하는 네트워크 환경(100)을 도시한다.
도 1을 참조하면, 전자 장치(102)는 네트워크(162)를 통해 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))에 연결될 수 있다. 한 실시예에 따라 전자 장치(102)는 네트워크(162)를 통하지 않고 외부 전자 장치(예: 전자 장치(104) 또는 서버(106))에 연결될 수 있다.
후술하는 본 발명의 다양한 실시예에 관한 설명에서, 전자 장치(104)는 전자 장치(102)가 착탈 가능하게 장착될 수 있는 머리 장착형 전자 장치이고, 전자 장치(102)는 전자 장치(104)에 착탈 가능하게 장착되어 머리 장착형 전자 장치 착용자에게 적어도 VR 동작 및 씨-스루 동작을 제공하는 것으로 예를 들어 설명한다. 후술하는 본 발명의 한 실시예에 관한 설명에서, 전자 장치(104)는 전자 장치(102)와 독립적으로 사용될 수 있는 머리 장착형 전자 장치로서 전자 장치(104) 착용자에게 적어도 VR 동작 및 씨-스루 동작을 제공하는 것으로 예를 들어 설명한다. 후술하는 본 발명의 다양한 실시예에 관한 설명에서 전자 장치(102)는 제1 전자 장치로 칭해질 수 있고 전자 장치(104)는 제2 전자 장치로 칭해질 수 있다.
전자 장치(102)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160)를 포함할 수 있다. 버스(110)는 전자 장치(102)의 구성요소들을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
프로세서(120)는, 예를 들면, 버스(110)를 통해 다른 구성요소들(예를 들어 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160) 등)으로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 프로세서(120) 또는 다른 구성요소들(예: 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160) 등)로부터 수신되거나 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 애플리케이션 프로그래밍 인터페이스(API: application programming interface)(133) 또는 애플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어(132), API(133) 또는 애플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(131)은 미들웨어(132), API(133) 또는 애플리케이션(134)에서 전자 장치(102)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(132)는 API(133) 또는 애플리케이션(134)이 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(132)는 애플리케이션(134)으로부터 수신된 작업 요청들과 관련하여, 예를 들면, 애플리케이션(134) 중 적어도 하나의 애플리케이션에 전자 장치(102)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케줄링 또는 로드 밸런싱)를 수행할 수 있다.
API(133)는 애플리케이션(134)이 커널(131) 또는 미들웨어(132)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
다양한 실시예에 따르면, 애플리케이션(134)은 SMS(short message service)/MMS(multimedia message service) 애플리케이션, 이메일 애플리케이션, 달력 애플리케이션, 알람 애플리케이션, 건강 관리(health care) 애플리케이션(예: 운동량 또는 혈당 등을 측정하는 애플리케이션) 또는 환경 정보 애플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 애플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 애플리케이션(134)은 전자 장치(102)와 외부 전자 장치(예: 전자 장치(104)) 사이의 정보 교환과 관련된 애플리케이션일 수 있다. 정보 교환과 관련된 애플리케이션은, 예를 들어, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 애플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 애플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 애플리케이션은 전자 장치(102)의 다른 애플리케이션(예: SMS/MMS 애플리케이션, 이메일 애플리케이션, 건강 관리 애플리케이션 또는 환경 정보 애플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예: 전자 장치(104))로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 알림 전달 애플리케이션은, 예를 들면, 외부 전자 장치(예: 전자 장치(104))로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 애플리케이션은, 예를 들면, 전자 장치(102)와 통신하는 외부 전자 장치(예: 전자 장치(104))의 적어도 일부에 대한 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 활성화/비활성화 또는 디스플레이의 밝기(또는, 해상도) 조절), 상기 외부 전자 장치에서 동작하는 애플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스)를 관리(예: 설치, 삭제 또는 업데이트)할 수 있다.
다양한 실시예에 따르면, 애플리케이션(134)은 외부 전자 장치(예: 전자 장치(104))의 속성(예: 전자 장치의 종류)에 따라 지정된 애플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 애플리케이션(134)은 음악 재생과 관련된 애플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 애플리케이션(134)은 건강 관리와 관련된 애플리케이션을 포함할 수 있다. 한 실시예에 따르면, 애플리케이션(134)은 전자 장치(102)에 지정된 애플리케이션 또는 외부 전자 장치(예: 서버(106) 또는 전자 장치(104))로부터 수신된 애플리케이션 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 애플리케이션(134)은 전자 장치(102)가 전자 장치(104)에 장착되어 사용되는 경우 전자 장치(104)와 통신하여 AR 동작 또는 씨-스루 동작을 제공하는 애플리케이션을 포함할 수 있다.
입출력 인터페이스(140)는, 입출력 장치(예: 센서, 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 버스(110)를 통해 프로세서(120), 메모리(130), 통신 인터페이스(160)에 전달할 수 있다. 예를 들면, 입출력 인터페이스(140)는 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 프로세서(120)로 제공할 수 있다. 입출력 인터페이스(140)는, 예를 들면, 버스(110)를 통해 프로세서(120), 메모리(130), 통신 인터페이스(160)로부터 수신된 명령 또는 데이터를 입출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다.
디스플레이(150)는 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 디스플레이할 수 있다. 디스플레이(150)는 본 발명의 다양한 실시예에 따라 AR 동작 또는 씨-스루 동작에 따른 화면을 디스플레이할 수 있다.
통신 인터페이스(160)는 전자 장치(102)와 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 간의 통신을 연결할 수 있다. 예를 들면, 통신 인터페이스(160)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 전자 장치와 통신할 수 있다. 한 실시예에 있어서, 통신 인터페이스(160)는 네트워크(162)를 통하지 않고 전자 장치(102)와 외부 전자 장치(예: 전자 장치(104) 또는 서버(106)) 간의 무선 통신 또는 유선 통신을 연결할 수 있다. 무선 통신은, 예를 들어, WiFi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 셀룰러(cellular) 통신(예: LTE(long term evolution), LTE-A(long term evolution-advanced), CDMA(code division multiple access), WCDMA(wideband code division multiple access), UMTS(universal mobile telecommunication system), WiBro(wireless broadband) 또는 GSM(global system for mobile communications) 등) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들어, USB(universal serial bus), UART(universal asynchronous receiver/transmitter), MHL(mobile high-definition link), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 네트워크(162)는 통신 네트워크(telecommunications network)일 수 있다. 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 전자 장치(102)와 외부 전자 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol))은 애플리케이션(134), API(133), 미들웨어(132), 커널(131) 또는 통신 인터페이스(160) 중 적어도 하나에서 지원될 수 있다.
본 발명의 다양한 실시예에 따라, 전자 장치(102)의 제어부는 프로세서(120)와 프로세서(120)에 의해 요구되는 정보를 저장하기 위한 메모리(130)를 포함할 수 있다. 제어부는 중앙처리장치일 수 있다. 전자 장치(102)의 제어부는 전자 장치(102)의 전반적인 동작을 제어하고, 본 발명의 다양한 실시예에 따른 디스플레이 제어 방법에 따른 동작을 수행할 수 있다.
본 발명의 다양한 실시예에 따라, 전자 장치(102)의 제어부는 디스플레이(150)를 통해 VR 동작을 제공하는 중에 움직임 센서를 통해 머리 장착형 전자 장치의 착용자의 움직임이 감지되면 움직임 크기를 측정할 수 있다. 움직임 센서로서 가속도 센서, 자이로 센서, 지자계 센서 등이 사용될 수 있다. 후술하는 바와 같이 움직임 센서는 머리 장착형 전자 장치에 포함될 수 있다. 한 실시예에 있어서 움직임 센서는 전자 장치(102)에 포함될 수도 있고 전자 장치(102)에 연결된 다른 전자 장치에 포함될 수도 있다. 전자 장치(102)의 제어부는 다수의 임계값들 중에 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 움직임의 크기가 큰 경우 VR 동작을 씨-스루 동작으로 전환할 수 있다. 씨-스루 동작은 전자 장치(102)의 제어부가 입출력 인터페이스(140)에 포함될 수 있는 카메라를 통해 착용자의 전방을 촬영하고 촬영에 따른 프리뷰 화면을 디스플레이(150)를 통해 디스플레이하는 동작일 수 있다.
본 발명의 다양한 실시예에 따라, 전자 장치(102)의 제어부는 머리 장착형 전자 장치의 착용자에게 디스플레이(150)를 통해 VR 동작을 제공하는 중에 물체가 접근하는 것을 접근 센서를 통해 감지하면 VR 동작을 씨-스루 동작으로 전환할 수 있다. 접근 센서는 후술하는 바와 같이 머리 장착형 전자 장치에 포함될 수 있다. 한 실시예에 있어서 접근 센서는 전자 장치(102)에 포함될 수도 있고 전자 장치(102)와 연결된 다른 전자 장치에 포함될 수도 있다. 전자 장치(102)의 제어부는 씨-스루 동작으로 전환하면 머리 장착형 전자 장치에 포함된 접근 센서를 통해 물체의 접근 방향을 측정하여 사용자에게 안내할 수 있다. 전자 장치(102)의 제어부는 물체의 접근 방향을 가리키는 이미지를 디스플레이(150)를 통해 디스플레이하는 것에 의해 물체의 접근 방향을 안내할 수 있다. 물체의 접근 방향을 가리키는 이미지는 예를 들어 화살표가 될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는, 머리 장착형 전자 장치를 착용한 착용자에게 적어도 VR 동작 및 씨-스루 동작을 제공하도록 상기 머리 장착형 전자 장치에 착탈 가능하게 장착되며, 상기 적어도 VR 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및 상기 디스플레이를 통해 상기 VR 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 상기 움직임의 크기를 측정하고, 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 VR 동작을 상기 씨-스루 동작으로 전환하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 머리 장착형 전자 장치에 포함되는 움직임 센서를 통해 상기 움직임을 감지하고 상기 움직임의 크기를 측정할 수 있다.
상기 전자 장치는, 카메라를 더 포함하고, 상기 제어부는, 상기 씨-스루 동작으로 전환하면 상기 카메라를 통해 상기 착용자의 전방을 촬영하고 상기 촬영에 따른 프리뷰 화면을 상기 디스플레이를 통해 디스플레이할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 머리 장착형 전자 장치를 착용한 착용자에게 적어도 VR 동작 및 씨-스루 동작을 제공하도록 상기 머리 장착형 전자 장치에 착탈 가능하게 장착되며, 상기 적어도 VR 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및 상기 디스플레이를 통해 상기 VR 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 VR 동작을 상기 씨-스루 동작으로 전환하고, 상기 물체의 접근 방향을 측정하여 안내하는 제어부를 포함할 수 있다.
상기 제어부는, 상기 머리 장착형 전자 장치에 포함되는 접근 센서를 통해 상기 물체의 접근을 감지하고 상기 접근 방향을 측정할 수 있다.
상기 전자 장치는, 카메라를 더 포함하고, 상기 제어부는, 상기 씨-스루 동작으로 전환하면 상기 카메라를 통해 상기 착용자의 전방을 촬영하고 상기 촬영에 따른 프리뷰 화면을 상기 디스플레이를 통해 디스플레이할 수 있다.
상기 제어부는, 상기 물체의 접근 방향을 가리키는 이미지를 상기 디스플레이를 통해 디스플레이하는 것에 의해 상기 물체의 접근 방향을 안내할 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 머리 장착형 전자 장치(200)의 예를 도시한 도면이다.
도 2를 참조하면, 머리 장착형 전자 장치(200)는 예를 들어 도 1의 전자 장치(104)일 수 있다. 머리 장착형 전자 장치(200)는 본체(202), 커버(204)를 포함할 수 있다. 본체(202)는 지지물(206), 2개의 렌즈들(208, 210), 장착부(212), 컨트롤 장치(214)를 포함할 수 있다.
커버(204)는 머리 장착형 전자 장치(200)에 전자 장치(102)가 장착되는 경우 전자 장치(102)가 장착된 상태를 유지하도록 전자 장치(102)의 후면 가장자리를 덮어 머리 장착형 전자 장치(200)에 고정할 수 있다. 지지물(206)은 사용자가 머리 장착형 전자 장치(200)를 머리에 착용하는데 사용될 수 있는 기구물일 수 있다. 렌즈들(208, 210)은 착용자의 양쪽 눈 각각에 대응하는 위치에 설치될 수 있다. 착용자는 렌즈들(208, 210)을 통해 디스플레이(도시하지 않았음)의 화면을 볼 수 있다. 장착부(212)는 머리 장착형 전자 장치(200)에 예를 들어 도 1의 전자 장치(102)를 착탈 가능하게 장착할 수 있는 기구적 구조일 수 있다.
컨트롤 장치(214)는 본체(202)의 측면에 설치될 수 있다. 컨트롤 장치(214)는 착용자가 머리 장착형 전자 장치(200)를 제어하기 위한 입력을 하는데 사용될 수 있다. 예를 들어 컨트롤 장치(214)는 터치 패널, 버튼, 휠 키, 및 터치 패드 등 중에 적어도 하나를 포함할 수 있다. 터치 패널은 사용자의 터치 입력을 수신할 수 있다. 터치 입력은 사용자가 터치 패널을 직접 터치하는 입력 또는 터치 패널에 근접한 호버링(hovering) 입력일 수 있다. 머리 장착형 전자 장치(200)는 전자 장치(102)와 USB 등의 인터페이스를 통해 연결되어 컨트롤 장치(214)를 통해 수신된 입력을 전자 장치(102)에 전송할 수 있다. 전자 장치(102)는 머리 장착형 전자 장치(200)의 컨트롤 장치(214)를 통해 수신된 입력에 응답하여 입력에 대응하는 기능을 제어할 수 있다. 예를 들어, 전자 장치(102)는 수신한 입력에 응답하여 음량을 조절하거나 영상 재생을 제어할 수 있다.
도 3a는 본 발명의 다양한 실시예에 따른 제1 전자 장치(300)가 제2 전자 장치(302)에 장착되는 예를 도시한 도면이고, 도 3b는 본 발명의 다양한 실시예에 따라 제1 전자 장치(300)가 장착된 제2 전자 장치(302)를 사용자가 착용한 예를 도시한 도면이다.
도 3a 및 도 3b를 참조하면, 제1 전자 장치(300)는 도 1의 전자 장치(102)일 수 있으며, 예를 들어 후면에 설치된 후면 카메라(306)를 포함하는 스마트폰일 수 있다. 제2 전자 장치(302)는 도 2의 머리 장착형 전자 장치(200)일 수 있다.
사용자는 도 3a처럼 제1 전자 장치(300)를 제1 전자 장치(300)의 디스플레이(도시하지 않았음)가 설치된 전면이 렌즈들(예를 들어 도 2의 렌즈들(208, 210))을 향하도록 제2 전자 장치(302)의 장착부(예를 들어 도 2의 장착부(212))에 장착할 수 있다. 사용자는 커버(304)를 덮어 제1 전자 장치(300)를 제2 전자 장치(302)에 고정시킬 수 있다. 사용자는 제1 전자 장치(300)가 장착된 제2 전자 장치(302)를 도 3b처럼 머리에 착용할 수 있다. 도 3b는 제1 전자 장치(300)가 장착된 제2 전자 장치(302)를 착용자(308)가 머리에 착용한 모습을 보인다. 착용자(308)는 제2 전자 장치(302)의 렌즈들(예를 들어 도 2의 렌즈들(208, 210))을 통해 제1 전자 장치(300)의 디스플레이의 화면을 볼 수 있다.
도 4는 본 발명의 다양한 실시예에 따른 제2 전자 장치(400)의 구성 예를 도시한 블록도이다.
도 4를 참조하면, 제2 전자 장치(400)는 도 2의 머리 장착형 전자 장치(200)일 수 있으며 도 3a 및 도 3b의 제2 전자 장치(302)일 수 있다. 제2 전자 장치(400)는 MCU(micro controller unit)(410), 통신 모듈(420), 센서 모듈(430), 입력 모듈(440), 시선 추적(eye tracking) 모듈(450), 바이브레이터(452), 초점 조절(adjustable optics) 모듈(454), 전력 관리 모듈(460), 배터리(462)를 포함할 수 있다.
MCU(410)는 운영체제 또는 임베디드 소프트웨어 프로그램을 구동하여 다른 구성 요소들(예를 들어, 통신 모듈(420), 센서 모듈(430), 입력 모듈(440), 시선 추적(eye tracking) 모듈(450), 바이브레이터(452), 초점 조절(adjustable optics) 모듈(454), 전력 관리 모듈(460))을 제어할 수 있는 제2 전자 장치(400)의 제어부일 수 있다. MCU(410)는 프로세서 및 메모리를 포함할 수 있다.
통신 모듈(420)은 제1 전자 장치(300)와 제2 전자 장치(400)를 유선 통신 또는 무선 통신을 이용하여 전기적으로 연결하여 데이터 송수신을 수행할 수 있다. 한 실시예에 따르면, 통신 모듈(420)은 USB 모듈(421), WiFi 모듈(422), BT 모듈(423), NFC 모듈(424), GPS 모듈(425)을 포함할 수 있다. 한 실시예에 따르면, USB 모듈(421), WiFi 모듈(422), BT 모듈(423), NFC 모듈(424), GPS 모듈(425) 중 적어도 2개는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
센서 모듈(430)은 물리량을 계측하거나 제2 전자 장치(400)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(430)은, 예를 들면, 가속도 센서(431), 자이로 센서(432), 지자계 센서(433), 마그네틱 센서(434), 근접 센서(435), 제스처 센서(436), 그립 센서(437), 생체 센서(438), 접근 센서(439) 중의 적어도 하나를 포함할 수 있다. 제2 전자 장치(400)는 제2 전자 장치(400)를 착용한 착용자의 머리 움직임을 가속도 센서(431), 자이로 센서(432), 지자계 센서(433) 중 적어도 하나를 이용하여 감지할 수 있다. 제2 전자 장치(400)는 근접 센서(435) 혹은 그립 센서(437)를 이용하여 제2 전자 장치(400)의 착용 여부를 감지할 수 있다. 한 실시예에 따르면 제2 전자 장치(400)는 사용자가 제2 전자 장치(400)를 착용함에 따른 IR(infrared) 인식, 가압 인식, 캐패시턴스(혹은 유전율)의 변화량 중 적어도 하나를 감지하여 사용자의 착용 여부를 감지할 수 있다. 제스처 센서(436)는 사용자의 손 또는 손가락의 움직임을 감지하여 제2 전자 장치(400)의 입력 동작으로 받을 수 있다. 제2 전자 장치(400)는 제2 전자 장치(400)의 착용자에게 물체가 접근하는 것을 접근 센서(439)를 이용하여 감지할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(430)은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), 홍채 센서, 지문 센서 등의 생체 인식 센서를 포함하고 생체 인식 센서를 이용하여 사용자의 생체 정보를 인식할 수 있다. 센서 모듈(430)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
입력 모듈(440)은 도 2의 콘트롤 장치(214)일 수 있다. 입력 모듈(440)은 사용자로부터 입력을 받아들일 수 있다. 입력 모듈(440)은 터치 패드(441), 버튼(442)을 포함할 수 있다. 터치 패드(441)는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 터치 패드(441)는 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 터치 패드(441)는 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패드(440)는 사용자에게 촉각 반응을 제공할 수 있다. 버튼(442)은, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다.
전력관리 모듈(460)은 제2 전자 장치(400)의 전력을 관리할 수 있다. 도시하지는 않았으나, 전력관리 모듈(460)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
배터리 게이지는, 예를 들면, 배터리(462)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 배터리(462)는 전기를 저장하여 전원을 공급할 수 있다. 배터리(462)는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
시선 추적 모듈(450)은 예를 들면, EOG(Electircal oculography) 센서, 코일 시스템(coil systems), 듀얼 푸르키네 시스템(dual purkinje systems), 브라이트 눈동자 시스템(bright pupil systems), 다크 눈동자 시스템(dark pupil systems) 중 적어도 하나의 방식을 이용하여 사용자의 시선을 추적할 수 있다. 또한, 시선 추적 모듈(450)은 시선추적을 위한 마이크로 카메라를 더 포함할 수도 있다.
초점 조절 모듈(454)은 사용자가 자신의 시력에 적합한 영상을 감상할 수 있도록 사용자의 양안 사이 거리(inter-pupil distance, IPD)를 측정할 수 있다. 제2 전자 장치(400)는 초점 조절 모듈(454)을 통해 측정된 사용자의 양안 사이 거리에 따라 렌즈의 거리를 조정할 수 있다. 제2 전자 장치(400)는 초점 조절 모듈(454)을 통해 측정된 사용자의 양안 사이 거리를 제1 전자 장치(300)로 전송하여 제1 전자 장치(300)의 디스플레이를 통한 화면의 디스플레이 위치를 조정할 수 있다.
MCU(410)는 센서 모듈(430)의 움직임 센서를 통해 감지된 움직임 신호를 제1 전자 장치(300)로 전송할 수 있다. 움직임 센서는 가속도 센서(431), 자이로 센서(432), 지자계 센서(433) 중 적어도 하나일 수 있다.
MCU(410)는 제2 전자 장치(400)의 착용자에게 물체가 접근하는 것을 접근 센서(439)를 통해 감지하고 접근 감지 신호를 제1 전자 장치(300)로 전송할 수 있다. MCU(410)는 제2 전자 장치(400)의 착용자에게 물체가 접근하는 방향을 접근 센서(439)를 통해 측정하여 제1 전자 장치(300)로 전송할 수 있다.
접근 센서(439)로서, IR(infrared) 센서, 초음파 센서, RF(radio frequency) 센서, 레이더 등과 같은 공간 인식 센서가 사용될 수 있다. RF 센서로서는 와이씨(Wisee) 센서, 올씨(Allsee) 센서 등이 사용될 수 있다. 한 실시예에 있어서, 접근 센서(439)로서 무선 통신 모듈이 이용될 수 있다. 무선 통신 모듈은 WiFi 모듈(422), BT 모듈(423), NFC 모듈(424), GPS 모듈(425) 중 적어도 하나일 수 있다. 제2 전자 장치(400)에 물체가 접근하면 무선 통신 모듈에 수신되는 무선 통신 신호의 수신 전계 강도가 접근하는 물체로 인해 약해질 수 있다. 제2 전자 장치(400)의 착용자가 이동하지 않는 중에 수신 전계 강도가 지정된 임계값보다 큰 차이로 급격히 저하되는 경우 MCU(410)는 물체가 접근하는 것으로 감지할 수 있다. 또한 MCU(410)는 수신 전계 강도가 지정된 임계값보다 큰 차이로 급격히 저하되는 방향을 물체가 접근하는 방향인 것으로 감지할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 일반 동작 화면(502)의 예를 도시한 도면이다.
도 5를 참조하면, 전자 장치(500)는 도 3a 및 도 3b의 제1 전자 장치(300)일 수 있다. 전자 장치(500)는 일반 동작 화면(502)을 디스플레이할 수 있다. 일반 동작 화면(502)은 전자 장치(500)가 VR 동작 또는 씨-스루 동작을 하지 않는 경우에 디스플레이할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 VR 동작 화면(602)의 예를 도시한 도면이다.
도 6을 참조하면, 전자 장치(600)는 도 3a 및 도 3b의 제1 전자 장치(300)일 수 있다. 전자 장치(600)는 도 3a 및 도 3b의 제2 전자 장치(302)에 장착되어 동작할 경우 VR 동작 화면(602)을 디스플레이할 수 있다. VR 동작 화면(602)은 하나의 영상이 2개의 영상들(604, 606)로 분리되어 표현될 수 있다. 한 실시예에 따르면, VR 동작에서는 제2 전자 장치(302)에 포함된 렌즈에 의해 영상이 왜곡되는 현상이 발생할 수 있기 때문에, 왜곡되지 않은 영상을 사용자에게 제공하기 위해 평면의 이미지를 렌즈의 특성에 따라 역 왜곡을 할 수 있다.
도 7은 본 발명의 다양한 실시예에 따른 씨-스루 동작 화면(702)의 예를 도시한 도면이다.
도 7을 참조하면, 전자 장치(700)는 도 3a 및 도 3b의 제1 전자 장치(300)일 수 있다. 본 발명의 다양한 실시예에 따라 도 3a 및 도 3b의 제2 전자 장치(302)에 장착된 전자 장치(700)는 후면 카메라(306)를 이용하여 씨-스루 동작을 제공할 수 있다. 한 실시예에 따라 전자 장치(700)가 VR 동작 중에 제2 전자 장치(302)의 착용자가 제2 전자 장치(302)의 도 3의 버튼(402)에 포함될 수 있는 씨-스루 동작 전환 버튼을 누르면 전자 장치(700)는 전자 장치(700)의 후면 카메라(306)를 실행할 수 있다. 전자 장치(700)는 후면 카메라(306)에 의해 촬영된 프리뷰 화면(708, 710)을 VR 동작 화면(704, 706)의 일부 영역에 PIP(picture-in-picture) 형태로 디스플레이함으로써 씨-스루 동작을 제공할 수 있다.
도 8은 본 발명의 다양한 실시예에 따른 씨-스루 동작 화면(802)의 다른 예를 도시한 도면이다.
도 8을 참조하면, 전자 장치(800)는 도 3a 및 도 3b의 제1 전자 장치(300)일 수 있다. 본 발명의 다양한 실시예에 따라 도 3a 및 도 3b의 제2 전자 장치(302)에 장착된 전자 장치(800)는 후면 카메라(306)를 이용하여 씨-스루 동작을 제공할 수 있다. 전자 장치(800)는 VR 화면을 백그라운드(background)로 전환하고 후면 카메라(306)에 의해 촬영된 프리뷰 화면(804, 806)을 전체 영역으로 확장하여 디스플레이할 수 있다. 도 8에서 프리뷰 화면(804, 806)은 전자 장치(800)가 장착된 제2 전자 장치(302)의 착용자의 전방(808)이 후면 카메라(306)에 의해 촬영된 예이다.
상술한 도 7의 씨-스루 동작 화면(702) 또는 도 8의 씨-스루 동작 화면(802)를 통해 사용자는 VR 환경을 체험하는 동시에 필요에 따라 주변 환경을 카메라 영상을 통해 확인할 수 있다.
도 9는 본 발명의 다양한 실시예에 따라 제1 전자 장치(300)가 디스플레이를 제어하는 방법의 한 예를 도시한 흐름도이다.
도 9를 참조하면, 제2 전자 장치(302)에 장착된 제1 전자 장치(300)는 VR 동작을 하는 중에(900), 제1 전자 장치(300)가 장착된 제2 전자 장치(302)를 착용한 착용자의 헤드 트래킹(head tracking) 또는 위치 이동 등의 움직임을 감지할 수 있다(902). 착용자의 움직임이 감지되면, 제1 전자 장치(300)는 움직임의 크기를 측정할 수 있다(904). 한 실시예에 있어서 제1 전자 장치(300)는 제2 전자 장치(302)에 포함된 움직임 센서를 통해 감지하고 움직임 크기를 측정할 수 있다. 제1 전자 장치(300)는 착용자의 움직임이 일정 수준 이상의 급격한 변화가 발생하는 경우 자동으로 위급 상황으로 판단하여 씨-스루 동작으로 자동 전환할 수 있다.
제1 전자 장치(300)는 움직임의 크기를 착용자가 이용 중인 콘텐츠의 종류에 대응하는 임계값과 비교할 수 있다. 착용자가 이용 중인 콘텐츠의 종류에 대응하는 임계값보다 움직임의 크기가 크지 않으면 제1 전자 장치(300)는 (900)동작을 계속 수행할 수 있다. 착용자가 이용 중인 콘텐츠의 종류에 대응하는 임계값보다 움직임의 크기가 크면 제1 전자 장치(300)는 씨-스루 동작으로 전환할 수 있다(908).
(908)동작에서 씨-스루 동작으로 전환한 다음에 제1 전자 장치(300)는 (902)동작으로 진행할 수 있다. 그러므로 씨-스루 동작으로 전환한 다음에 움직임의 크기가 임계값보다 크지 않게 되면, 제1 전자 장치(300)는 다시 VR 동작을 제공할 수 있다(900).
본 발명의 다양한 실시예에 따르면 착용자의 움직임에 따라 자동 전환 기능을 수행하기 위해 센서의 민감도 또는 자동 전환을 위한 임계값을 다수의 임계값들 중의 하나로 조절할 수 있다. 한 실시예에 따르면 착용자가 이용 중인 콘텐츠에 종류에 따라 센서의 민감도 또는 자동 전환을 위한 임계값을 조절할 수 있다. 다수의 임계값들은 다양한 콘텐츠 종류에 대응되게 지정될 수 있다.
예를 들면, 착용자가 비디오 콘텐츠(영화, TV, 스트리밍 영상 등)를 이용하는 중이라면 1인칭 슈팅 게임 등의 콘텐츠를 이용하고 있을 경우에 비해 일반적으로 머리의 움직임 및 위치 이동이 상대적으로 작을 수 있다. 이때, 씨-스루 동작으로 전환하기 위한 임계값은 게임 콘텐츠를 이용 중인 경우에 비해 움직임에 더 민감하도록 지정될 수 있다. 이처럼 지정되는 임계값에 기초하여 비디오 콘텐츠를 이용하는 동작과 씨-스루 동작을 이용한 외부 보기를 위한 동작을 구분할 수 있다.
다른 예를 들면, 착용자가 1인칭 슈팅 게임 등의 콘텐츠를 이용하고 있을 경우에는 비디오 콘텐츠를 이용 중인 착용자에 비해 머리의 움직임 및 위치 이동이 상대적으로 클 수 있다. 이때, 씨-스루 동작으로 전환하기 위한 임계값은 비디오 콘텐츠를 이용 중인 경우에 비해 움직임에 덜 민감하도록 지정될 수 있다. 이처럼 지정되는 임계값에 기초하여 게임을 위한 동작과 씨-스루 동작을 이용한 외부 보기를 위한 동작을 구분할 수 있다.
따라서, 제1 전자 장치(300)는 착용자가 콘텐츠를 이용 중에 머리를 움직이거나 일어서서 움직이는 동작을 감지하는 경우 이용 중인 콘텐츠의 종류에 따른 임계값보다 움직임의 크기가 크면, 착용자가 외부 보기를 원하는 상황으로 판단하고 씨-스루 동작으로 자동 전환함으로써, 착용자가 외부 위험 요소를 사전에 효율적으로 인지하고 회피하도록 할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 디스플레이 제어 방법은, 머리 장착형 전자 장치를 착용한 착용자에게 VR 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 움직임의 크기를 측정하는 동작; 상기 움직임의 크기를 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값과 비교하는 동작; 및 상기 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 VR 동작을 씨-스루 동작으로 전환하는 동작을 포함할 수 있다.
상기 다수의 임계값들 중에 게임 콘텐츠에 대응하는 임계값이 비디오 콘텐츠에 대응하는 임계값보다 더 크게 지정될 수 있다.
상기 전환하는 동작은, 상기 착용자의 전방을 촬영하는 동작; 및 상기 촬영에 따른 프리뷰 화면을 디스플레이하는 동작을 포함할 수 있다.
도 10은 본 발명의 다양한 실시예에 따라 지정된 임계값들에 대한 가속도값에 따라 씨-스루 동작으로 전환되는 예를 도시한 도면이다.
도 10을 참조하면, 움직임 센서의 예로서 가속도 센서가 사용된 경우 어느 한 축(예를 들어 X축)의 가속도 센서에 의해 감지되는 가속도 값이 움직임의 크기로서 측정되어 제1 임계값 또는 제2 임계값과 비교될 수 있다. 제1 임계값은 착용자가 이용 중인 콘텐츠의 종류가 비디오 콘텐츠인 경우에 대응하게 지정되는 임계값일 수 있다. 제2 임계값은 착용자가 이용 중인 콘텐츠의 종류가 게임 콘텐츠인 경우에 대응되게 지정되는 임계값일 수 있다. 도 10은 착용자의 움직임에 따른 양(+)의 방향 또는 음(-)의 방향의 가속도 값이 제1 임계값보다 큰 동안 제1 전자 장치(300)가 씨-스루 동작을 제공하는 예를 보인다. 양의 방향 및 음의 방향은 어느 한 축에서 서로 반대되는 방향일 수 있다.
도 11은 본 발명의 다양한 실시예에 따라 제1 전자 장치가 디스플레이를 제어하는 방법의 다른 예를 도시한 흐름도이다.
도 11을 참조하면, 제2 전자 장치(302)에 장착된 제1 전자 장치(300)는 VR 동작을 하는 중에(1100), 제1 전자 장치(300)가 장착된 제2 전자 장치(302)를 착용한 착용자에게 물체가 접근하는 것을 감지할 수 있다(1102). 물체의 접근이 감지되면 제1 전자 장치(300)는 씨-스루 동작으로 전환할 수 있다(1104). 제1 전자 장치(300)는 접근하는 물체의 접근 방향을 측정할 수 있다(1106).
제1 전자 장치(300)는 접근 방향을 안내할 수 있다(1108). 접근 방향은 물체의 접근 방향을 가리키는 이미지를 디스플레이하는 것에 의해 안내할 수 있다. 접근 방향의 안내는 얼마든지 다른 다양한 형태로도 가능할 수 있다. 예를 들어 음성으로 안내할 수도 있다. (1108)동작 다음에 (1102)동작으로 진행할 수 있다. 그러므로 씨-스루 동작으로 전환한 다음에 물체의 접근이 감지되지 않게 되면, 제1 전자 장치(300)는 다시 VR 동작을 제공할 수 있다(1100).
전술한 바와 같이 물체의 접근 방향은 접근 센서를 통해 측정될 수 있으므로 착용자의 전방뿐만 아니라 측방 또는 후방으로 접근하는 물체도 감지하고 접근 방향을 측정하고 안내할 수 있다. 그러므로 단순히 카메라(예를 들어, 후면 카메라(306))를 통해 전방으로 물체가 접근하는 것만을 감지하여 씨-스루 동작을 하는 경우에 비해 착용자의 FOV(field of view) 제한을 더욱 개선할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 디스플레이 제어 방법은, 머리 장착형 전자 장치를 착용한 착용자에게 VR 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 VR 동작을 씨-스루 동작으로 전환하는 동작; 상기 물체의 접근 방향을 측정하는 동작; 및 상기 물체의 접근 방향을 안내하는 동작을 포함할 수 있다.
상기 전환하는 동작은, 상기 착용자의 전방을 촬영하는 동작; 및 상기 촬영에 따른 프리뷰 화면을 디스플레이하는 동작을 포함할 수 있다.
상기 안내하는 동작은, 상기 물체의 접근 방향을 가리키는 이미지를 디스플레이하는 동작을 포함할 수 있다.
도 12는 본 발명의 다양한 실시예에 따라 씨-스루 동작 중에 물체의 접근 방향을 안내하는 화면(1202)의 예를 도시한 도면이다.
도 12를 참조하면, 전자 장치(1200)는 제1 전자 장치(300)일 수 있다. 전자 장치(1200)는 씨-스루 화면 (1202)을 디스플레이하는 중에 착용자 전방을 촬영하는 카메라의 프리뷰 화면(1204, 1206)에 물체의 접근 방향을 안내하는 이미지(1208, 1210)를 디스플레이할 수 있다. 이미지(1208, 1210)는 착용자가 용이하게 인식할 수 있도록 점멸하도록 할 수 있다.
도 13은 본 발명의 다양한 실시예에 따라 제1 전자 장치(300)가 장착된 제2 전자 장치(302)를 각각 착용한 다수의 착용자들이 함께 콘텐츠를 이용하는 예를 도시한 도면이다.
도 13을 참조하면, 제1 전자 장치(300)가 장착된 제2 전자 장치(302)를 착용한 다수의 착용자들이 함께 비디오 콘텐츠, 게임 콘텐츠를 이용하는 경우에, 각각의 착용자들이 착용한 전자 장치는 착용자의 움직임 감지 또는 다른 착용자의 접근 감지를 하여 씨-스루 동작으로 전환할 수 있다. 그러므로 착용자들은 안전하게 콘텐츠를 이용할 수 있다. 또한 각각의 착용자들이 착용한 전자 장치는 착용자의 움직임을 예를 들어 AP(access point)를 통해 다른 착용자가 착용한 전자 장치로 전송하여 해당 착용자에게 알릴 수 있다.
도 14는 본 발명의 다양한 실시예에 따른 제2 전자 장치(1400)의 다른 구성 예를 도시한 블록도이다.
도 14를 참조하면, 제2 전자 장치(1400)는 제1 전자 장치(300)와 독립적으로 전술한 제1 전자 장치(300)와 동일하거나 유사한 VR 동작 및 씨-스루 동작을 착용자에게 제공할 수 있다. 제2 전자 장치(1400)는 MCU(1410), 통신 모듈(1420), 센서 모듈(1430), 입력 모듈(1440), 시선 추적 모듈(1450), 바이브레이터(1452), 초점 조절 모듈(1454), 전력 관리 모듈(1460), 배터리(1462), 디스플레이(1470), 카메라(1480)를 포함할 수 있다.
MCU(1410), 통신 모듈(1420), 센서 모듈(1430), 입력 모듈(1440), 시선 추적 모듈(1450), 바이브레이터(1452), 초점 조절 모듈(1454), 전력 관리 모듈(1460), 배터리(1462)는 도 4의 제2 전자 장치(400)의 MCU(410), 통신 모듈(420), 센서 모듈(430), 입력 모듈(440), 시선 추적 모듈(450), 바이브레이터(452), 초점 조절 모듈(454), 전력 관리 모듈(460), 배터리(462)과 각각 동일하거나 유사하게 구성될 수 있다.
통신 모듈(1420)은, 예를 들면 USB 모듈(1421), WiFi 모듈(1422), BT 모듈(1423), NFC 모듈(1424), GPS 모듈(1425)을 포함할 수 있다. USB 모듈(1421), WiFi 모듈(1422), BT 모듈(1423), NFC 모듈(1424), GPS 모듈(1425)은 도 4의 USB 모듈(421), WiFi 모듈(422), BT 모듈(423), NFC 모듈(424), GPS 모듈(425)과 각각 동일하거나 유사하게 구성될 수 있다.
센서 모듈(1430)은, 예를 들면 가속도 센서(1431), 자이로 센서(1432), 지자계 센서(1433), 마그네틱 센서(1434), 근접 센서(1435), 제스처 센서(1436), 그립 센서(1437), 생체 센서(1438), 접근 센서(1439) 중의 적어도 하나를 포함할 수 있다. 가속도 센서(1431), 자이로 센서(1432), 지자계 센서(1433), 마그네틱 센서(1434), 근접 센서(1435), 제스처 센서(1436), 그립 센서(1437), 생체 센서(1438), 접근 센서(1439)는 도 4의 가속도 센서(431), 자이로 센서(432), 지자계 센서(433), 마그네틱 센서(434), 근접 센서(435), 제스처 센서(436), 그립 센서(437), 생체 센서(438), 접근 센서(439)와 각각 동일하거나 유사하게 구성될 수 있다.
입력 모듈(1440)은 터치 패드(1441), 버튼(1442)을 포함할 수 있다. 터치 패드(1441), 버튼(1442)는 도 4의 터치 패드(441), 버튼(442)와 각각 동일하거나 유사하게 구성될 수 있다.
그러므로 도 14를 참조한 설명에 있어서 전술한 도 4를 참조한 설명과 중복되는 설명은 생략한다.
제2 전자 장치(1400)는 제1 전자 장치(300)가 탈착되는 구조를 가지는 대신에 본체(202)에 고정되게 설치될 수 있는 디스플레이(1470)를 포함할 수 있다. 디스플레이(1470)는 제1 전자 장치(300)의 디스플레이 대신에 도 2의 렌즈들(208, 210)을 통해 사용자에게 화면을 제공할 수 있도록 본체(202)에 설치될 수 있다. 디스플레이(1470)는 본 발명의 다양한 실시예에 따라 AR 동작 또는 씨-스루 동작에 따른 화면을 디스플레이할 수 있다. 카메라(1480)는 예를 들어 본체(202)의 전면에 설치되어 착용자의 전방을 촬영할 수 있다.
제2 전자 장치(1400)는 제1 전자 장치(300)와 독립적으로 착용자에게 전술한 제1 전자 장치(300)와 동일하거나 유사한 VR 동작 및 씨-스루 동작을 제공할 수 있다.
한 실시예에 따라, MCU(1410)는 디스플레이(1470)를 통해 VR 동작을 제공하는 중에 착용자의 움직임이 감지되면 움직임의 크기를 측정하고, 다수의 임계값들 중에 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 움직임의 크기가 큰 경우 VR 동작을 씨-스루 동작으로 전환할 수 있다. 한 실시예에 따라, MCU(1410)는 디스플레이(1470)를 통해 VR 동작을 제공하는 중에 착용자에게 물체가 접근하는 것이 감지되면 VR 동작을 씨-스루 동작으로 전환하고, 물체의 접근 방향을 측정하여 안내할 수 있다. MCU(1410)는 씨-스루 동작으로 전환하면 카메라(1480)를 통해 착용자의 전방을 촬영하고 촬영에 따른 프리뷰 화면을 디스플레이(1470)를 통해 디스플레이할 수 있다. MCU(1410)는 물체의 접근 방향을 가리키는 이미지를 디스플레이(1470)를 통해 디스플레이하는 것에 의해 물체의 접근 방향을 안내할 수 있다.
제2 전자 장치(1400)가 VR 동작 중에 씨-스루 동작으로 전환하거나 씨-스루 동작으로 전환한 다음에 다시 VR 동작으로 전환하는 것은 전술한 제1 전자 장치(300)를 참조한 설명과 동일하거나 유사할 수 있다. 그러므로 이에 관한 상세한 설명은 생략한다.
본 발명의 다양한 실시예에 따른 머리 장착형 전자 장치는, 상기 전자 장치를 착용한 착용자의 움직임을 감지하는 움직임 센서; 적어도 VR 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및 상기 디스플레이를 통해 상기 VR 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 상기 움직임의 크기를 측정하고, 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 VR 동작을 상기 씨-스루 동작으로 전환하는 제어부를 포함할 수 있다.
상기 다수의 임계값들 중에 게임 콘텐츠에 대응하는 임계값이 비디오 콘텐츠에 대응하는 임계값보다 더 크게 지정될 수 있다.
상기 전자 장치는, 카메라를 더 포함하고, 상기 제어부는, 상기 씨-스루 동작으로 전환하면 상기 카메라를 통해 상기 착용자의 전방을 촬영하고 상기 촬영에 따른 프리뷰 화면을 상기 디스플레이를 통해 디스플레이할 수 있다.
본 발명의 다양한 실시예에 따른 머리 장착형 전자 장치는, 상기 전자 장치를 착용한 착용자에게 물체가 접근하는 것을 감지하는 접근 센서; 적어도 VR 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및 상기 디스플레이를 통해 상기 VR 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 VR 동작을 상기 씨-스루 동작으로 전환하고, 상기 물체의 접근 방향을 측정하여 안내하는 제어부를 포함할 수 있다.
상기 접근 센서는, 공간 인식 센서 및 무선 통신 모듈 중 적어도 하나일 수 있다.
상기 전자 장치는, 카메라를 더 포함하고, 상기 제어부는, 상기 씨-스루 동작으로 전환하면 상기 카메라를 통해 상기 착용자의 전방을 촬영하고 상기 촬영에 따른 프리뷰 화면을 상기 디스플레이를 통해 디스플레이할 수 있다.
상기 제어부는, 상기 물체의 접근 방향을 가리키는 이미지를 상기 디스플레이를 통해 디스플레이하는 것에 의해 상기 물체의 접근 방향을 안내할 수 있다.
도 15는 본 발명의 다양한 실시예에 따른 전자 장치의 세부 구조를 나타내는 블록도이다.
도 15에 보인 전자 장치(1500)는, 예를 들면, 도 1에 도시된 전자 장치(102)의 전체 또는 일부를 구성할 수 있다.
도 15를 참조하면, 전자 장치(1500)는 하나 이상의 프로세서(1510), SIM(subscriber identification module) 카드(1514), 메모리(1520), 통신 모듈(1530), 센서 모듈(1540), 입력 모듈(1550), 디스플레이(1560), 인터페이스(1570), 오디오 모듈(1580), 카메라 모듈(1591), 전력관리 모듈(1595), 배터리(1596), 인디케이터(1597), 또는 모터(1598)를 포함할 수 있다.
프로세서(1510)는 하나 이상의 애플리케이션 프로세서(AP: application processor, 1511) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor, 1513)를 포함할 수 있다. 프로세서(1510)는, 예를 들면, 도 1에 도시된 프로세서(120)일 수 있다. 도 15에서는 AP(1511) 및 CP(1513)가 프로세서(1510) 내에 포함된 것으로 도시되었으나, AP(1511)와 CP(1513)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 그리고 또 다른 실시예에 따르면, AP(1511) 및 CP(1513)는 하나의 IC 패키지 내에 포함될 수도 있다.
AP(1511)는 운영체제 또는 응용 프로그램을 구동하여 AP(1511)에 연결된 다수의 하드웨어 또는 소프트웨어 구성 요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. AP(1511)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(1510)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
CP(1513)는 전자 장치(1500)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. CP(1513)는, 예를 들면, SoC로 구현될 수 있다. 한 실시예에 따르면, CP(1513)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. CP(1513)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드(1514))을 이용하여 통신 네트워크 내에서 전자 장치(1500)의 구별 및 인증을 수행할 수 있다. 또한, CP(1513)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, CP(1513)는 통신 모듈(1530)의 데이터 송수신을 제어할 수 있다. 도 15에서는, CP(1513), 전력관리 모듈(1595) 또는 메모리(1520) 등의 구성 요소들이 AP(1511)와 별개의 구성 요소로 도시되어 있으나, 한 실시예에 따르면, AP(1511)가 전술한 구성 요소들의 적어도 일부(예: CP(1513))를 포함하도록 구현될 수 있다.
한 실시예에 따르면, AP(1511) 또는 CP(1513)는, 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를, 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP(1511) 또는 CP(1513)는 다른 구성 요소 중 적어도 하나로부터 수신하거나 다른 구성 요소 중 적어도 하나에 의해 생성된 데이터를, 비휘발성 메모리에 저장(store)할 수 있다.
SIM 카드(1514)는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치(1500)의 특정 위치에 형성된 슬롯에 삽입될 수 있다. SIM 카드(1514)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier))또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(1520)는 내장 메모리(1522) 또는 외장 메모리(1524)를 포함할 수 있다. 메모리(1520)는, 예를 들면, 도 1에 도시된 메모리(130)일 수 있다. 내장 메모리(1522)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 내장 메모리(1522)는 Solid State Drive(SSD)일 수 있다. 외장 메모리(1524)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(1524)는 다양한 인터페이스를 통하여 전자 장치(1500)와 기능적으로 연결될 수 있다.
도시되지는 않았으나, 전자 장치(1500)는 하드 디스크 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
통신 모듈(1530)은 무선 통신 모듈(1531) 또는 RF(radio frequency) 모듈(1534)을 포함할 수 있다. 상기 통신 모듈(1530)은, 예를 들면, 도 1에 도시된 통신 인터페이스(160)에 포함될 수 있다. 무선 통신 모듈(1531)은, 예를 들면, WiFi(1533), BT(bluetooth, 1535), GPS(global positioning system)(1537) 또는 NFC(near field communication, 1539)를 포함할 수 있다. 예를 들면, 무선 통신 모듈(1531)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 무선 통신 모듈(1531)은 전자 장치(1500)를 네트워크(예: 인터넷(Internet), LAN(local area network), WAN(wire area network), 통신 네트워크(communication network), 셀룰라 네트워크(cellular network), 위성 네트워크(satellite network) 또는 POTS(plain old telephone service) 등)와 연결하기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
RF 모듈(1534)은 음성 또는 데이터 신호의 송수신을 처리할 수 있다. RF 모듈(1534)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈(1534)은 무선통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
센서 모듈(1540)은, 예를 들면, 제스처 센서(1540A), 자이로 센서(1540B), 기압 센서(1540C), 마그네틱 센서(1540D), 가속도 센서(1540E), 그립 센서(1540F), 근접 센서(1540G), RGB(red, green, blue) 센서(1540H), 생체 센서(1540I), 온/습도 센서(1540J), 조도 센서(1540K) 또는 UV(ultra violet) 센서(1540L), 접근 센서(1540M), IR(infra red) 센서(미도시) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(1540)은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(1540)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 센서 모듈(1540)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
입력 모듈(1550)은 터치 패널(touch panel, 1552), (디지털) 펜 센서(pen sensor, 1554), 키(key, 1556) 또는 초음파 입력 장치(울트라소닉, 1558)를 포함할 수 있다. 입력 모듈(1550)은, 예를 들면, 도 1에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 터치 패널(1552)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패널(1552)은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 물리적인 접촉뿐만 아니라 근접 인식도 가능하다. 터치 패널(1552)은 택타일(tactile layer) 기능을 더 포함할 수도 있다. 이 경우, 터치 패널(1552)은 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(1554)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 키(1556)는, 예를 들면, 물리적인 버튼을 포함할 수 있다. 또한, 예를 들면, 광학식 키, 키패드, 또는 터치 키가 포함될 수 있다. 초음파 입력 장치(울트라소닉, 1558)는 초음파 신호를 발생하는 입력도구를 통해, 전자 장치(1500)에서 마이크(예: 마이크(1588))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 전자 장치(1500)는 통신 모듈(1530)를 이용하여, 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
디스플레이(1560)는 패널(1562), 홀로그램(1564), 또는 프로젝터(1566)를 포함할 수 있다. 디스플레이(1560)는, 예를 들면, 도 1에 도시된 디스플레이(150)일 수 있다. 패널(1562)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 패널(1562)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(1562)은 터치 패널(1552)과 하나의 모듈로 구성될 수도 있다. 홀로그램(1564)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(1566)는 빛의 투사를 통해 영상을 외부 스크린에 보여줄 수 있다. 한 실시예에 따르면, 디스플레이(1560)는 패널(1562), 홀로그램(1564), 또는 프로젝터(1566)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(1570)는, 예를 들면, HDMI(high-definition multimedia interface, 1572), USB(universal serial bus, 1574), Optical(광통신, 1576) 또는 D-sub(D-subminiature, 1578)를 포함할 수 있다. 인터페이스(1570)는, 예를 들면, 도 1에 도시된 통신 인터페이스(160)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(1570)는, 예를 들면, MHL(mobile high-definition link), SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
오디오 모듈(1580)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(1580)은, 예를 들면, 도 1에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 오디오 모듈(1580)은, 예를 들면, 스피커(1582), 리시버(1584), 이어폰(1586) 또는 마이크(1588) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(1591)은 화상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor, 미도시) 또는 플래쉬(flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
전력관리 모듈(1595)은 전자 장치(1500)의 전력을 관리할 수 있다. 도시하지는 않았으나, 전력관리 모듈(1595)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
배터리 게이지는, 예를 들면, 배터리(1596)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 배터리(1596)는 전기를 저장하여 전원을 공급할 수 있다. 배터리(1596)는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(1597)는 전자 장치(1500) 혹은 그 일부(예: AP(1511))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(1598)는 전기적 신호를 기계적 진동으로 변환할 수 있다.
도시되지는 않았으나, 전자 장치(1500)는 모바일 TV지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명의 다양한 실시예에 사용된 용어 "모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 발명의 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 명령어는, 하나 이상의 프로세서 (예: 프로세서(120) 또는 MCU들(410, 1410) 각각에 포함될 수 있는 프로세서)에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130) 또는 MCU들(410, 1410) 각각에 포함될 수 있는 메모리가 될 수 있다. 프로그래밍 모듈의 적어도 일부는, 예를 들면, 프로세서에 의해 구현(implement)(예: 실행)될 수 있다. 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(magnetic media)와, CD-ROM(compact disc read only memory), DVD(digital versatile disc)와 같은 광기록 매체(optical media)와, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media)와, 그리고 ROM(read only memory), RAM(random access memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시예에 따른 전자 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 전자 장치가 디스플레이 제어 방법을 수행하도록 하는 명령들을 포함하는 프로그램을 수신하여 저장할 수 있고, 다양한 전자 장치 또는 서버가 프로그램 제공 장치가 될 수도 있다. 프로그램 제공 장치는 상기 프로그램을 저장하기 위한 메모리와, 전자 장치와의 유선 또는 무선 통신을 수행하기 위한 통신 모듈과, 전자 장치의 요청 또는 자동으로 해당 프로그램을 전자 장치로 전송하는 프로세서를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 기재(describe)된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치의 디스플레이 제어 방법에 있어서,
    머리 장착형 전자 장치를 착용한 착용자에게 가상 현실 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 움직임의 크기를 측정하는 동작;
    상기 움직임의 크기를 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값과 비교하는 동작; 및
    상기 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 가상 현실 동작을 씨-스루 동작으로 전환하는 동작을 포함하는 디스플레이 제어 방법.
  2. 제1항에 있어서, 상기 다수의 임계값들 중에 게임 콘텐츠에 대응하는 임계값이 비디오 콘텐츠에 대응하는 임계값보다 더 크게 지정되는 디스플레이 제어 방법.
  3. 제1항에 있어서, 상기 전환하는 동작은,
    상기 착용자의 전방을 촬영하는 동작; 및
    상기 촬영에 따른 프리뷰 화면을 디스플레이하는 동작을 포함하는 디스플레이 제어 방법.
  4. 전자 장치의 디스플레이 제어 방법에 있어서,
    머리 장착형 전자 장치를 착용한 착용자에게 가상 현실 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 가상 현실 동작을 씨-스루 동작으로 전환하는 동작;
    상기 물체의 접근 방향을 측정하는 동작; 및
    상기 물체의 접근 방향을 안내하는 동작을 포함하는 디스플레이 제어 방법.
  5. 제4항에 있어서, 상기 전환하는 동작은,
    상기 착용자의 전방을 촬영하는 동작; 및
    상기 촬영에 따른 프리뷰 화면을 디스플레이하는 동작을 포함하는 디스플레이 제어 방법.
  6. 제5항에 있어서, 상기 안내하는 동작은, 상기 물체의 접근 방향을 가리키는 이미지를 디스플레이하는 동작을 포함하는 디스플레이 제어 방법.
  7. 전자 장치에 있어서,
    상기 전자 장치는 머리 장착형 전자 장치를 착용한 착용자에게 적어도 가상 현실 동작 및 씨-스루 동작을 제공하도록 상기 머리 장착형 전자 장치에 착탈 가능하게 장착되며,
    상기 적어도 가상 현실 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및
    상기 디스플레이를 통해 상기 가상 현실 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 상기 움직임의 크기를 측정하고, 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 가상 현실 동작을 상기 씨-스루 동작으로 전환하는 제어부를 포함하는 전자 장치.
  8. 제7항에 있어서, 상기 제어부는, 상기 머리 장착형 전자 장치에 포함되는 움직임 센서를 통해 상기 움직임을 감지하고 상기 움직임의 크기를 측정하는 전자 장치.
  9. 제7항에 있어서,
    상기 전자 장치는, 카메라를 더 포함하고,
    상기 제어부는, 상기 씨-스루 동작으로 전환하면 상기 카메라를 통해 상기 착용자의 전방을 촬영하고 상기 촬영에 따른 프리뷰 화면을 상기 디스플레이를 통해 디스플레이하는 전자 장치.
  10. 전자 장치에 있어서,
    상기 전자 장치는 머리 장착형 전자 장치를 착용한 착용자에게 적어도 가상 현실 동작 및 씨-스루 동작을 제공하도록 상기 머리 장착형 전자 장치에 착탈 가능하게 장착되며,
    상기 적어도 가상 현실 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및
    상기 디스플레이를 통해 상기 가상 현실 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 가상 현실 동작을 상기 씨-스루 동작으로 전환하고, 상기 물체의 접근 방향을 측정하여 안내하는 제어부를 포함하는 전자 장치.
  11. 제10항에 있어서, 상기 제어부는, 상기 머리 장착형 전자 장치에 포함되는 접근 센서를 통해 상기 물체의 접근을 감지하고 상기 접근 방향을 측정하는 전자 장치.
  12. 제10항에 있어서,
    상기 전자 장치는, 카메라를 더 포함하고,
    상기 제어부는, 상기 씨-스루 동작으로 전환하면 상기 카메라를 통해 상기 착용자의 전방을 촬영하고 상기 촬영에 따른 프리뷰 화면을 상기 디스플레이를 통해 디스플레이하는 전자 장치.
  13. 제10항에 있어서, 상기 제어부는, 상기 물체의 접근 방향을 가리키는 이미지를 상기 디스플레이를 통해 디스플레이하는 것에 의해 상기 물체의 접근 방향을 안내하는 전자 장치.
  14. 머리 장착형 전자 장치에 있어서,
    상기 전자 장치를 착용한 착용자의 움직임을 감지하는 움직임 센서;
    적어도 가상 현실 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및
    상기 디스플레이를 통해 상기 가상 현실 동작을 제공하는 중에 상기 착용자의 움직임이 감지되면 상기 움직임의 크기를 측정하고, 다수의 임계값들 중에 상기 착용자가 이용 중인 콘텐츠의 종류에 대응되는 임계값보다 상기 움직임의 크기가 큰 경우 상기 가상 현실 동작을 상기 씨-스루 동작으로 전환하는 제어부를 포함하는 전자 장치.
  15. 제14항에 있어서, 상기 다수의 임계값들 중에 게임 콘텐츠에 대응하는 임계값이 비디오 콘텐츠에 대응하는 임계값보다 더 크게 지정되는 전자 장치.
  16. 제14항에 있어서,
    상기 전자 장치는, 카메라를 더 포함하고,
    상기 제어부는, 상기 씨-스루 동작으로 전환하면 상기 카메라를 통해 상기 착용자의 전방을 촬영하고 상기 촬영에 따른 프리뷰 화면을 상기 디스플레이를 통해 디스플레이하는 전자 장치.
  17. 머리 장착형 전자 장치에 있어서,
    상기 전자 장치를 착용한 착용자에게 물체가 접근하는 것을 감지하는 접근 센서;
    적어도 가상 현실 동작 및 씨-스루 동작 중 하나의 동작에 따른 화면을 디스플레이하는 디스플레이; 및
    상기 디스플레이를 통해 상기 가상 현실 동작을 제공하는 중에 상기 착용자에게 물체가 접근하는 것이 감지되면 상기 가상 현실 동작을 상기 씨-스루 동작으로 전환하고, 상기 물체의 접근 방향을 측정하여 안내하는 제어부를 포함하는 전자 장치.
  18. 제17항에 있어서, 상기 접근 센서는, 공간 인식 센서 및 무선 통신 모듈 중 적어도 하나인 전자 장치.
  19. 제17항에 있어서,
    상기 전자 장치는, 카메라를 더 포함하고,
    상기 제어부는, 상기 씨-스루 동작으로 전환하면 상기 카메라를 통해 상기 착용자의 전방을 촬영하고 상기 촬영에 따른 프리뷰 화면을 상기 디스플레이를 통해 디스플레이하는 전자 장치.
  20. 제17항에 있어서, 상기 제어부는, 상기 물체의 접근 방향을 가리키는 이미지를 상기 디스플레이를 통해 디스플레이하는 것에 의해 상기 물체의 접근 방향을 안내하는 전자 장치.
KR1020140110657A 2014-08-25 2014-08-25 전자 장치의 디스플레이 제어 방법 및 전자 장치 KR20160024168A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140110657A KR20160024168A (ko) 2014-08-25 2014-08-25 전자 장치의 디스플레이 제어 방법 및 전자 장치
US14/835,157 US9946393B2 (en) 2014-08-25 2015-08-25 Method of controlling display of electronic device and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140110657A KR20160024168A (ko) 2014-08-25 2014-08-25 전자 장치의 디스플레이 제어 방법 및 전자 장치

Publications (1)

Publication Number Publication Date
KR20160024168A true KR20160024168A (ko) 2016-03-04

Family

ID=55348728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140110657A KR20160024168A (ko) 2014-08-25 2014-08-25 전자 장치의 디스플레이 제어 방법 및 전자 장치

Country Status (2)

Country Link
US (1) US9946393B2 (ko)
KR (1) KR20160024168A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101706015B1 (ko) * 2016-05-12 2017-02-22 민상규 가상 현실 핸드폰
WO2017188740A1 (ko) * 2016-04-28 2017-11-02 민상규 가상 현실 핸드폰
KR20180024576A (ko) * 2016-08-30 2018-03-08 엘지전자 주식회사 공항용 로봇, 그의 서비스 제공 방법을 수행하는 프로그램이 기록된 기록 매체, 및 그와 연결되는 이동 단말기
KR101868223B1 (ko) * 2016-08-08 2018-06-15 민상규 쌍안경 형태의 접이식 가상현실 장비
KR20200010938A (ko) * 2018-07-23 2020-01-31 삼성전자주식회사 디스플레이에서 출력된 광에 대해 다중 초점을 제공할 수 있는 전자 장치
US10948727B2 (en) 2016-05-25 2021-03-16 Sang Kyu MIN Virtual reality dual use mobile phone case

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278718A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Enhanced time-management and recommendation system
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9420075B2 (en) 2014-07-16 2016-08-16 DODOcase, Inc. Virtual reality viewer and input mechanism
KR102227481B1 (ko) * 2014-10-24 2021-03-15 삼성디스플레이 주식회사 표시 장치
US9665170B1 (en) 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
TWI587176B (zh) * 2015-12-03 2017-06-11 財團法人工業技術研究院 行動虛擬實境操作方法、系統與其儲存媒體
TWI660304B (zh) * 2016-05-30 2019-05-21 李建樺 虛擬實境即時導覽方法及系統
CN106126022B (zh) * 2016-06-20 2019-04-19 美的集团股份有限公司 基于虚拟现实的智能家居控制方法及装置
CN106774867A (zh) * 2016-12-05 2017-05-31 广州凯邦信息技术有限公司 一种折叠式便携可拆装vr一体机
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
WO2018227502A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of instantly previewing immersive content
CN107422942A (zh) * 2017-08-15 2017-12-01 吴金河 一种沉浸式体验的控制系统及方法
US11335177B2 (en) 2017-09-22 2022-05-17 Hewlett-Packard Development Company, L.P. Detection of objects based on change in wireless signal
CN107908276B (zh) * 2017-09-26 2021-02-02 广州新维感信息技术有限公司 Vr手柄回中处理方法、vr手柄及存储介质
US10976982B2 (en) * 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
CN112639681B (zh) * 2018-08-23 2024-07-09 苹果公司 用于进程数据共享的方法和设备
CN109031671A (zh) * 2018-09-30 2018-12-18 江西开欧客科技有限公司 一种适用于近视人群使用的快速精密调节vr眼镜
CN112506335B (zh) * 2019-09-16 2022-07-12 Oppo广东移动通信有限公司 头戴式设备及其控制方法、装置、系统和存储介质
US12086299B1 (en) * 2020-07-20 2024-09-10 Apple Inc. Touch input for head-mountable devices

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3326820B2 (ja) 1992-08-28 2002-09-24 ソニー株式会社 視覚装置
JP3469410B2 (ja) * 1996-11-25 2003-11-25 三菱電機株式会社 ウェルネスシステム
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP3517639B2 (ja) * 2000-09-27 2004-04-12 キヤノン株式会社 複合現実感提示装置及びその方法並びに記憶媒体
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
JP4054585B2 (ja) * 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
JP4440893B2 (ja) 2004-03-26 2010-03-24 淳 高橋 三次元視覚指示機能を備えた三次元実体デジタル拡大鏡システム
US7773098B2 (en) * 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
TW200642660A (en) 2005-06-14 2006-12-16 We Gene Technologies Inc Auto diagnosing method and device thereof for high mountain disease
WO2007108776A2 (en) * 2005-12-31 2007-09-27 Bracco Imaging S.P.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ('dextronet')
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
US20090106671A1 (en) * 2007-10-22 2009-04-23 Olson Donald E Digital multimedia sharing in virtual worlds
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120054355A1 (en) * 2010-08-31 2012-03-01 Nokia Corporation Method and apparatus for generating a virtual interactive workspace with access based on spatial relationships
US8593286B2 (en) * 2010-12-01 2013-11-26 At&T Intellectual Property I, L.P. System and method for wireless monitoring of sports activities
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
US9367860B2 (en) * 2011-08-05 2016-06-14 Sean McKirdy Barcode generation and implementation method and system for processing information
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9285871B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US20130305437A1 (en) * 2012-05-19 2013-11-21 Skully Helmets Inc. Augmented reality motorcycle helmet
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
US9696867B2 (en) * 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9323338B2 (en) * 2013-04-12 2016-04-26 Usens, Inc. Interactive input system and method
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9158115B1 (en) * 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
US10417824B2 (en) * 2014-03-25 2019-09-17 Apple Inc. Method and system for representing a virtual object in a view of a real environment
US9766075B2 (en) * 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188740A1 (ko) * 2016-04-28 2017-11-02 민상규 가상 현실 핸드폰
US10725306B2 (en) 2016-04-28 2020-07-28 Sang Kyu MIN Virtual reality cell phone
US11294190B2 (en) 2016-04-28 2022-04-05 Sang Kyu MIN Virtual reality cell phone
KR101706015B1 (ko) * 2016-05-12 2017-02-22 민상규 가상 현실 핸드폰
US10948727B2 (en) 2016-05-25 2021-03-16 Sang Kyu MIN Virtual reality dual use mobile phone case
KR101868223B1 (ko) * 2016-08-08 2018-06-15 민상규 쌍안경 형태의 접이식 가상현실 장비
KR20180024576A (ko) * 2016-08-30 2018-03-08 엘지전자 주식회사 공항용 로봇, 그의 서비스 제공 방법을 수행하는 프로그램이 기록된 기록 매체, 및 그와 연결되는 이동 단말기
KR20200010938A (ko) * 2018-07-23 2020-01-31 삼성전자주식회사 디스플레이에서 출력된 광에 대해 다중 초점을 제공할 수 있는 전자 장치
US11808942B2 (en) 2018-07-23 2023-11-07 Samsung Electronics Co., Ltd. Electronic device capable of providing multiple focal points for light outputted from display

Also Published As

Publication number Publication date
US9946393B2 (en) 2018-04-17
US20160055680A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
KR20160024168A (ko) 전자 장치의 디스플레이 제어 방법 및 전자 장치
KR102271833B1 (ko) 전자 장치, 그 제어 방법 및 기록 매체
EP3149598B1 (en) Data processing method and electronic device thereof
US10096301B2 (en) Method for controlling function and electronic device thereof
KR102219464B1 (ko) 보안 운용 방법 및 이를 지원하는 전자 장치
KR102303115B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
US20160063767A1 (en) Method for providing visual reality service and apparatus for the same
KR20150141808A (ko) 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
KR102262086B1 (ko) 이미지 처리 방법 및 장치
KR102206877B1 (ko) 생체 정보디스플레이 방법 및 장치
KR20150106719A (ko) 전자 장치의 촬영 위치 안내 방법 및 이를 이용한 전자 장치
KR20150127989A (ko) 사용자 인터페이스 제공 방법 및 장치
KR20160059765A (ko) 전자 장치의 디스플레이 방법 및 장치
KR20150117962A (ko) 안테나 방사 전력 제어 방법 및 이를 지원하는 전자 장치
KR20150094289A (ko) 전자 장치의 촬영 방법 및 그 전자 장치
KR20160010108A (ko) 초점 제어 방법 및 그 전자 장치
KR20160052309A (ko) 전자 장치 및 전자 장치에서 얼굴 정보를 분석하는 방법
KR20160055337A (ko) 텍스트 표시 방법 및 그 전자 장치
KR20150103927A (ko) 콘텐츠를 표시하는 방법과 전자 장치
KR20180046543A (ko) 전방위 영상을 획득하는 방법 및 장치
KR20160100674A (ko) 전자 장치의 플립 커버 인식 방법, 전자 장치, 및 플립 커버
KR20160031196A (ko) 전자 장치의 디스플레이 제어 방법 및 그 전자 장치
KR102183397B1 (ko) 이미지 처리 방법 및 이를 구현하는 전자 장치
KR102656425B1 (ko) 영상을 표시하는 전자 장치 및 방법
KR20160035846A (ko) 사용자 기반 센서 정보 획득 방법 및 그 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment