[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102083596B1 - 디스플레이장치 및 디스플레이장치의 동작방법 - Google Patents

디스플레이장치 및 디스플레이장치의 동작방법 Download PDF

Info

Publication number
KR102083596B1
KR102083596B1 KR1020130106742A KR20130106742A KR102083596B1 KR 102083596 B1 KR102083596 B1 KR 102083596B1 KR 1020130106742 A KR1020130106742 A KR 1020130106742A KR 20130106742 A KR20130106742 A KR 20130106742A KR 102083596 B1 KR102083596 B1 KR 102083596B1
Authority
KR
South Korea
Prior art keywords
display
information
wearer
input
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020130106742A
Other languages
English (en)
Other versions
KR20150028084A (ko
Inventor
이상혁
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130106742A priority Critical patent/KR102083596B1/ko
Priority to US14/186,176 priority patent/US9557961B2/en
Priority to EP14001246.9A priority patent/EP2846255B1/en
Priority to CN201410250434.7A priority patent/CN104423573B/zh
Publication of KR20150028084A publication Critical patent/KR20150028084A/ko
Priority to US15/387,139 priority patent/US10606553B2/en
Application granted granted Critical
Publication of KR102083596B1 publication Critical patent/KR102083596B1/ko
Ceased legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이장치 및 디스플레이장치의 제어방법이 개시된다. 본 발명의 실시예들은, 프리젠테이션을 진행할 수 있는 프로젝터와 연결되어 스크린에 투사되는 영상과 관련된 컨텐츠 정보를 출력하도록 이루어진 디스플레이장치로서, 신체의 특정 부위에 장착가능하도록 이루어진 본체에 결합된 마이크와, 상기 마이크를 통해 입력된 음성 정보와 상기 프리젠테이션과 관련된 기저장된 컨텐츠의 내용을 매칭하고, 기준값 이상 매칭되는 부분의 다음 컨텐츠 정보를 검출하는 제어부와, 상기 본체와 결합되고, 착용자의 양안 중 적어도 하나에 대응되는 위치에 배치되어, 상기 검출된 다음 컨텐츠 정보의 적어도 일부를 표시하도록 이루어진 디스플레이를 포함한다. 이때, 상기 제어부는, 디스플레이에 표시되는 다음 컨텐츠 정보의 출력속도를 상기 음성 정보의 입력속도에 대응되게 조절하고, 상기 디스플레이에는 상기 출력속도에 근거하여 상기 다음 컨텐츠 정보와 관련된 부가정보를 더 표시된다.

Description

디스플레이장치 및 디스플레이장치의 동작방법{DISPLAY DEVICE AND OPERATION METHOD THEREOF}
본 발명은 디스플레이장치 및 디스플레이장치의 제어방법에 관한 것으로, 좀 더 구체적으로, 프리젠테이션을 진행하기 위한 프로젝터와 연결되고, 신체의 특정 부위에 착용할 수 있도록 이루어진 디스플레이장치 및 디스플레이장치의 제어방법에 관한 것이다.
프로젝터는 프리젠테이션을 진행하기 위해 소정의 디스플레이장치로부터 전달받은 영상 정보를 스크린에 투사시켜서, 많은 사람들에게 영상을 보여준다.
이와 같이 프로젝터에 영상 정보를 전달하는 디스플레이장치의 예로는, 이동 가능 여부에 따라서 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같이 단말기의 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임 및 방송의 수신 등의 복잡한 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 또한, 멀티 미디어 기기의 복잡한 기능을 구현하기 위해 하드웨어 또는 소프트웨어의 면에서 새로운 다양한 시도들이 적용되고 있다.
한편, 프리젠테이션의 발표자는 상기한 디스플레이장치와 연결된 프로젝터를 통해 스크린 등에 투사되는 영상을 이용하여서 프리젠테이션을 진행하는데, 스크린에 투사된 영상만으로는 프리젠테이션이 원할하게 진행되지 않는 경우가 있다.
예를 들어, 발표자는 프리젠테이션의 진행 시간을 계속 고려하면서, 동시에 참석자의 집중도 및 이해도를 살피면서 설명을 해야하는데, 이와 같이 다양한 상황들과 정보들을 숙지하면서 프리젠테이션을 진행하다 보면 설명이 부족해지거나, 시간에 쫓기거나, 중요한 설명을 놓치거나, 또는 설명이 막히는 경우가 종종 있다. 또한, 프리젠테이션의 참석자가 프리젠테이션의 진행 도중에 설명과 관련된 질문을 하는 경우, 발표자가 이를 지속적으로 기억하거나 또는 질문에 효과적으로 답변하기 위한 시간이 부족한 경우가 종종 있다.
이에, 프리젠테이션의 발표자가 프리젠테이션의 원할한 설명과 진행을 진행할 수 있도록 도울 수 있는 수단이 필요한데, 예를 들어 발표자의 두부에 착용가능한 형태의 디스플레이장치가 있을 수 있다.
한편, 이와 같은 디스플레이장치의 일 예로서, 스마트 안경(smart glasses)이 있다. 신체의 특정 부위에 착용 가능한 장치(Wearable device)로 구현된 예로서, 스마트 안경은 기존의 이동 단말기에서 실행되던 기능을 간편하게 실행할 수 있다. 그러나, 스마트 안경의 경우 크기가 작고 착용자, 즉 프리젠테이션 발표자에게 전달할 수 있는 정보의 표시가 제한적이여서 불편한 점이 존재한다. 특히, 발표자는 참석자들에게 지속적으로 설명을 해야하므로 이를 방해하지 않는 범위내에서 정보의 제공이 이루어져야 할 것이다.
이에, 본 발명의 실시예들은, 프리젠테이션의 발표자가 두부 등의 신체에 착용하여, 발표자가 현재 발표하는 내용과 속도에 맞추어 다음 발표할 컨텐츠 정보와시간 정보를 제공받을 수 있도록 구현한 디스플레이장치 및 그것의 동작방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시예들은, 프리젠테이션의 발표자가 두부 등의 신체에 착용하여, 발표자가 긴장 상태에 있거나 발표 내용을 잊은 경우와 같이 돌발 상황 발생시, 프리젠테이션이 원할히 속행될 수 있도록 관련된 정보를 제공받을 수 있도록 구현한 디스플레이장치 및 그것의 동작방법을 제공하는데 다른 목적이 있다.
또한, 본 발명의 실시예들은, 다른 외부기기로부터 전달된 프리젠테이션과 관련된 정보를 발표자에게 제공하거나 이에 대한 피드백을 생성하여 제공할 수 있도록 구현한 디스플레이장치 및 그것의 동작방법을 제공하는데 다른 목적이 있다.
이에, 본 발명의 일 실시 예에 따른 출력장치는, 프리젠테이션을 진행할 수 있는 프로젝터와 연결되어 스크린에 투사되는 영상과 관련된 컨텐츠 정보를 출력하도록 이루어진 출력장치로서, 신체의 특정 부위에 장착가능하도록 이루어진 본체와; 상기 본체와 결합되는 마이크와; 상기 마이크를 통해 입력되는 음성 정보와 상기 프리젠테이션과 관련된 기저장된 컨텐츠의 내용을 매칭하여, 기준값 이상 매칭되는 부분의 다음 컨텐츠 내용의 적어도 일부를 출력부에 출력하도록 제어하는 제어부를 포함하여 이루어진다.
일 실시예에서, 상기 출력부는, 상기 본체와 일체로 결합되는 골전도 스피커이고, 상기 제어부는, 상기 다음 컨텐츠 내용을 음성 신호로 변환하여 상기 골전도 스피커에 전달하고, 상기 변환된 음성 신호의 출력속도를 상기 음성 정보의 입력속도에 대응되도록 조절하는 것을 특징으로 한다.
또한, 본 발명의 일 실시 예에 따른 디스플레이장치는, 프리젠테이션을 진행할 수 있는 프로젝터와 연결되어 스크린에 투사되는 영상과 관련된 컨텐츠 정보를 출력하도록 이루어진 디스플레이장치로서, 신체의 특정 부위에 장착가능하도록 이루어진 본체와; 상기 본체와 결합되는 마이크와; 상기 마이크를 통해 입력된 음성 정보와 상기 프리젠테이션과 관련된 기저장된 컨텐츠의 내용을 매칭하고, 기준값 이상 매칭되는 부분의 다음 컨텐츠 정보를 검출하는 제어부와; 상기 본체와 결합되고, 착용자의 양안 중 적어도 하나에 대응되는 위치에 배치되어, 상기 검출된 다음 컨텐츠 정보의 적어도 일부를 표시하도록 이루어진 디스플레이를 포함하여 이루어진다.
일 실시예에서, 상기 제어부는, 상기 디스플레이에 표시되는 다음 컨텐츠 정보의 출력속도를 상기 음성 정보의 입력속도에 대응되게 조절하고, 상기 디스플레이는, 상기 출력속도에 근거하여 상기 다음 컨텐츠 정보와 관련된 부가정보를 표시하는 것을 특징으로 한다.
일 실시예에서, 상기 부가정보는, 본체의 착용자 정보, 상기 음성 정보의 입력속도와 남은 컨텐츠 량을 토대로 산출된 시간 정보, 상기 기저장된 컨텐츠의 분량 정보, 상기 프리젠테이션의 진행 정도를 나타내는 정보, 상기 다음 컨텐츠 정보와 관련된 추가 정보, 및 상기 프리젠테이션의 참석자 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 기저장된 컨텐츠는 복수의 페이지를 포함하고, 상기 제어부는, 상기 복수의 페이지에 기할당된 시간 정보와 상기 프리젠테이션의 남은 시간 정보에 근거하여, 상기 디스플레이에 표시될 다음 컨텐츠 정보의 출력범위를 결정하는 것을 특징으로 한다.
일 실시예에서, 상기 본체와 일체로 결합되어, 착용자의 생체 정보(Bio Signal)를 감지하기 위한 감지부를 더 포함하고, 상기 제어부는, 상기 감지된 생체 정보에 근거하여 착용자의 상태를 감시하고, 착용자가 긴장 상태인 것으로 판단되면 상기 다음 컨텐츠 정보의 출력 크기를 변경하거나 하이라이팅 효과를 출력하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 본체의 적어도 일 영역에는 터치 입력을 감지할 수 있는 터치 센서가 구비되고, 상기 본체의 외측에는 착용자의 제스처 입력을 감지하기 위한 제1 카메라가 포함되며, 상기 제어부는, 상기 터치 센서와 상기 제1 카메라 중 적어도 하나에 의하여 인식된 착용자의 제스처 입력에 근거하여, 상기 디스플레이에 표시변화가 나타나도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 본체와 상기 스크린이 마주본 상태에서, 상기 본체와 상기 스크린 사이에 위치한 착용자의 손을 소정횟수 흔드는 제스처 입력에 응답하여, 상기 디스플레이에 출력되는 영상이 상기 프로젝터와 연결된 스크린에 투사되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 디스플레이의 경계영역에 인가된 복수의 터치시작점을 제 1 방향으로 회전시키는 제스처 입력에 응답하여, 상기 디스플레이에 표시되는 다음 컨텐츠 정보를 네비게이션 방식으로 확대시키는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 디스플레이의 경계영역에 인가된 복수의 터치시작점을 제 2 방향으로 회전시키는 제스처 입력에 응답하여, 상기 디스플레이에 표시되는 다음 컨텐츠 정보를 네비게이션 방식으로 축소시키는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 본체의 일 영역에 인가된 터치를 제 1 방향으로 드래그하는 입력이 인가되면 상기 디스플레이에 표시되는 상기 다음 컨텐츠 정보의 라인을 제 1 방향으로 스크롤하고, 상기 본체의 일 영역에 인가된 터치를 제 2 방향으로 드래그하는 입력이 인가되면 상기 디스플레이에 표시되는 상기 다음 컨텐츠 정보의 라인을 제 2 방향으로 스크롤하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 본체의 제 1 영역을 소정횟수 두드리는 터치입력에 근거하여 상기 디스플레이에 표시되는 상기 다음 컨텐츠 정보에 대응되는 문서 페이지를 제 1 방향으로 넘기고, 상기 본체의 제 2 영역을 소정횟수 두드리는 터치입력에 근거하여 상기 디스플레이에 표시되는 상기 다음 컨텐츠 정보에 대응되는 문서 페이지를 제 2 방향으로 넘기는 것을 특징으로 한다.
일 실시예에서, 상기 본체의 내측에 결합되어, 착용자의 시선을 추적하기 위한 제2 카메라를 더 포함하고, 상기 제어부는, 상기 착용자의 시선이 상기 디스플레이에 출력된 특정 객체에 고정되면, 상기 특정 객체와 관련된 추가 검색 결과를 상기 디스플레이의 일 영역에 표시하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 음성 정보의 입력이 없는 상태에서 착용자의 시선이 상기 스크린에 기설정된 시간 이상 고정되는 것에 응답하여, 상기 디스플레이에 표시되는 다음 컨텐츠 정보의 스크립트에 하이라이팅 효과를 출력하거나 상기 다음 컨텐츠 정보를 음성 신호로 변환하여 출력하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 마이크를 통해 입력되는 기설정된 음성 명령에 대응되는 표시변화가 나타나도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 마이크를 통해 입력되는 음성 정보가 상기 기저장된 컨텐츠의 내용과 매칭되지 않는 상태가 기설정된 시간 이상 지속되면, 소정의 알람을 출력하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 소정의 알람은, 소리, 메시지, 진동, 및 상기 다음 컨텐츠 정보에 대한 하이라이팅 효과 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 디스플레이는, 착용자의 좌안 및 우안에 각각 대응되는 제1 디스플레이와 제2 디스플레이를 포함하고, 상기 제어부는, 상기 제1 디스플레이 및 제2 디스플레이 중 어느 하나에는 상기 마이크를 통해 입력되는 음성 정보에 대응되는 시각정보를 출력하고, 나머지 하나에는 상기 다음 컨텐츠 정보와 관련된 부가정보나 추가 검색 결과를 출력하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 디스플레이장치는 외부기기와 접속하여, 상기 외부기기에 입력된 상기 프리젠테이션과 관련된 정보에 대응되는 무선신호를 수신하는 무선 통신부를 더 포함하고, 상기 제어부는, 상기 무선신호를 텍스트로 변환하고, 상기 변환된 텍스트를 상기 디스플레이의 일 영역에 표시하거나 또는 외부에 전송가능한 문서파일로 저장하는 것을 특징으로 한다.
일 실시예에서, 상기 무선 통신부는 상기 접속된 외부기기에 적어도 하나의 데이터를 송신하는 것이 가능하도록 이루어지고, 상기 제어부는, 상기 변환된 텍스트를 검색 키워드로 상기 기저장된 컨텐츠의 내용을 검색하고, 검색 결과에 대응되는 데이터를 상기 디스플레이에 표시하도록 제어하거나 또는 상기 외부기기에 송신하도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 디스플레이장치는 상기 프로젝터와 무선 통신을 진행하기 위한 무선 통신부를 더 포함하고, 상기 제어부는, 상기 프리젠테이션과 관련된 기저장된 컨텐츠를 상기 프로젝터로 송신하기 위한 기설정된 제스처 입력이 감지되면, 상기 디스플레이에 표시되는 화면이 상기 스크린에 동시에 출력되도록 상기 프로젝터를 제어하는 것을 특징으로 한다.
나아가, 본 발명의 일 실시 예에 따른 디스플레이장치의 동작방법은, 프리젠테이션을 진행할 수 있는 프로젝터와 연결되어 스크린에 투사되는 영상과 관련된 컨텐츠 정보를 출력하고, 신체의 특정 부위에 장착가능하도록 이루어진 디스플레이장치의 동작방법으로서, 본체와 결합된 마이크를 통해 입력된 음성 정보와 상기 프리젠테이션과 관련된 기저장된 컨텐츠의 내용을 매칭시키는 단계와; 기준값 이상 매칭되는 부분의 다음 컨텐츠 정보를 검출하는 단계와; 본체 착용자의 양안 중 적어도 하나에 대응되게 배치된 디스플레이에 상기 다음 컨텐츠 정보의 위치에 대응되는 내용의 적어도 일부를 표시하는 단계와; 상기 음성 정보의 입력속도에 대응되도록 상기 디스플레이에 표시되는 다음 컨텐츠 정보의 출력속도를 조절하는 단계를 포함하여 이루어진다.
본 발명의 실시예들에 따른 디스플레이장치 및 디스플레이장치 제어방법에 의하면, 프리젠테이션의 발표자가 두부 등에 장착하여 원할하게 발표를 진행할 수 있도록 관련된 정보를 제공하고 컨트롤을 위한 사용자 조작이 간단하다.
또한, 본 발명의 실시예에 따른 디스플레이장치 및 디스플레이장치 제어방법에 의하면, 프리젠테이션의 발표자가 긴장 상태에 있거나 발표 내용을 잊은 경우와 같이 돌발 상황 발생한 경우, 프리젠테이션 발표가 속행될 수 있도록 관련된 정보를 제공함으로써, 발표자의 편의를 돕는다.
또한, 본 발명의 실시예에 따른 디스플레이장치 및 디스플레이장치 제어방법에 의하면, 다른 외부기기로부터 전달된 프리젠테이션과 관련된 정보를 발표자가 인식할 수 있는 형태로 제공하거나 이에 대한 피드백을 생성하여 외부기기에 전달함으로써, 발표자와 청취자간의 상호작용이 즉각적이고 신속하게 이루어질 수 있도록 하는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 디스플레이장치의 예시를 나타내는 블록도이다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 디스플레이장치가 동작 가능한 통신 시스템의 개념도이다.
도 3은 본 발명의 실시예에 따라, 신체의 특정 부위에 착용가능하도록 이루어진 디스플레이장치의 일 실시 예를 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 디스플레이장치와, 상기 디스플레이장치와 연결되어 프리젠테이션을 진행할 수 있도록 시스템을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 디스플레이장치의 동작방법을 나타낸 예시 흐름도이다.
도 6a 내지 도 6c는 도 5의 흐름도를 설명하기 위한 개념도들이다.
도 7a 내지 도 7h는 본 발명의 실시예에 따라, 착용자의 다양한 동작들에 근거하여 디스플레이장치에 출력되는 화면이나 스크린에 투사되는 영상을 제어하기 위한 예시들을 보인 개념도들이다.
도 8a 및 도 8b는 본 발명의 실시예에 따라, 착용자의 시선에 근거하여 디스플레이장치에 출력되는 화면을 제어하기 위한 예시들을 보인 개념도들이다.
도 9a 및 도 9b는 본 발명의 실시예에 따라, 착용자의 음성명령에 근거하여 디스플레이장치에 출력되는 화면을 제어하기 위한 예시들을 보인 개념도들이다.
도 10a 내지 도 10c는 본 발명의 실시예에 따른 디스플레이장치가 외부기기와 접속하여 질문을 수신하고, 답변을 위한 검색을 수행하는 예시를 설명하기 위한 개념도들이다.
도 11은 본 발명의 실시예에 따른 디스플레이장치가 착용자에게는 프리젠테이션과 관련된 정보를 제공하고 동시에 프로젝터에는 투사될 영상 정보를 제공하는 것을 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 디스플레이장치(100)의 예시 블록도이다.
상기 디스플레이 장치(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 감지부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 디스플레이 장치(100)와 무선 통신 시스템 사이 또는 디스플레이 장치(100)와 디스플레이 장치(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 디스플레이 장치(100)에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 이동통신 모듈(112)은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 화상통화모드 및 음성통화모드를 구현하기 위하여 이동통신 모듈(112)은 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 디스플레이 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 이용될 수 있다.
위치정보 모듈(115)은 디스플레이 장치(100)의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다.
계속해서 도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 여기에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라는(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부 기기로 전송될 수 있다. 또한, 카메라(121)에서 획득되는 화상 프레임으로부터 사용자의 위치 정보 등이 산출될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자로부터 인가되는 디스플레이 장치(100)의 동작을 제어하기 위한 제어명령에 따른 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
감지부(또는 센싱부, 140)는 디스플레이 장치(100)의 위치, 사용자 접촉 유무, 디스플레이 장치(100)의 방위, 디스플레이 장치(100)의 가속/감속 등과 같이 디스플레이 장치(100)의 현 상태를 감지하여 디스플레이 장치(100)의 동작을 제어하기 위한 감지 신호(또는 센싱 신호)를 발생시킨다. 또한, 감지부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 감지할 수도 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(153), 알람부(154) 및 햅틱 모듈(155) 등이 포함될 수 있다.
디스플레이부(151)는 디스플레이 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이 장치가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 디스플레이 장치(100)가 화상 통화 모드 또는 촬영 모드인 경우에 디스플레이부(151)는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다.
또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부(152)로서 구성될 수 있다.
여기서, 입체영상은 3차원 입체영상(3-dimensional stereoscopic image)을 나타내며, 3차원 입체 영상(3-dimensional stereoscopic image)은 모니터나 스크린 상에서 사물이 위치한 점진적 깊이(depth)와 실체(reality)를 현실 공간과 동일하게 느낄 수 있도록 한 영상이다. 3차원 입체 영상은 양안시차(binocular disparity)를 이용하여 구현된다. 양안시차란 떨어져 있는 두 눈의 위치에 의하여 이루어지는 시차를 의미하는 것으로, 두 눈이 서로 다른 2차원 화상을 보고 그 화상들이 망막을 통하여 뇌로 전달되어 융합되면 입체 영상의 깊이 및 실제감을 느낄 수 있게 된다.
상기 입체 디스플레이부(152)에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다. 가정용 텔레비전 수신기 등에 많이 이용되는 스테레오스코픽 방식에는 휘스톤 스테레오스코프 방식 등이 있다.
상기 오토 스테레오스코픽 방식의 예로서, 패럴렉스 배리어(parallex barrier) 방식, 렌티큘러(lenticular) 방식, 집적영상(integral imaging) 방식, 스위츠블 렌즈(switchable lens) 등이 있다. 프로젝션 방식에는 반사형 홀로그래픽 방식, 투과형 홀로그래픽 방식 등이 있다.
일반적으로 3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.
또한, 3차원 썸네일 영상은 원본 영상 프레임의 좌 영상 및 우 영상으로부터 각각 좌 영상 썸네일 및 우 영상 썸네일을 생성하고, 이를 합쳐서 하나의 3차원 썸네일 영상을 생성할 수 있다. 일반적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 이렇게 생성된 좌 영상 썸네일과 우 영상 썸네일은 좌 영상과 우 영상의 시차에 대응하는 깊이감(depth)만큼 화면 상에서 좌우 거리차를 두고 표시됨으로써 입체적인 공간감을 나타낼 수 있다.
3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부(미도시)에 의하여 입체 디스플레이부(152)에 표시될 수 있다. 입체 처리부는 3D 영상을 입력받아 이로부터 좌 영상과 우 영상을 추출하거나, 2D 영상을 입력받아 이를 좌 영상과 우 영상으로 전환하도록 이루어진다.
한편, 디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 대상체가 터치 센서 상에 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
계속해서 도 1을 참조하면, 상기 터치 스크린에 의해 감싸지는 디스플레이 장치의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 근접 센서(141)는 상기 센싱부(140)의 일 예로서 구비될 수 있다. 상기 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 전도성을 갖는 물체(이하, 포인터라 함)의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
입체 디스플레이부(152)와 터치 센서가 상호 레이어 구조를 이루는 경우(이하, '입체 터치스크린'이라 함)나, 입체 디스플레이부(152)와 터치 동작을 감지하는 3차원 센서가 서로 조합되는 경우에는 상기 입체 디스플레이부(152)는 3차원의 입력 장치로도 사용될 수 있다.
상기 3차원 센서의 예로서, 상기 센싱부(140)는 근접 센서(141), 입체 터치센싱부(142), 초음파 센싱부(143), 카메라 센싱부(144)를 포함할 수 있다.
근접센서(141)는 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 터치를 가하는 감지대상(예를 들어, 사용자의 손가락이나 스타일러스 펜)와 검출면과의 거리를 측정한다. 디스플레이 장치(100)는 이러한 거리를 이용하여 입체영상의 어느 부분이 터치되었는지를 인식하게 된다. 특히, 터치스크린이 정전식인 경우에는 상기 감지대상의 근접에 따른 전계의 변화로 상기 감지대상의 근접 정도를 검출하고, 이러한 근접 정도를 이용하여 3차원상의 터치를 인식하도록 구성된다.
입체 터치센싱부(142)는 터치 스크린상에 가해지는 터치의 세기나 지속시간을 감지하도록 이루어진다. 예를 들어, 입체 터치센싱부(142)는 터치를 가하는 압력을 감지하고, 가압력이 강하면 이를 단말기의 내부를 향하여 터치 스크린과 보다 멀리 위치한 객체에 대한 터치로 인식한다.
초음파 센싱부(143)는 초음파를 이용하여, 감지대상의 위치정보를 인식하도록 이루어진다.
초음파 센싱부(143)는, 예를 들어 광 센서와 복수의 초음파 센서로 이루어질 수 있다. 광 센서는 광을 감지하도록 형성되며, 초음파 센서는 초음파를 감지하도록 형성된다. 광이 초음파보다 매우 빠르기 때문에, 광이 광 센서에 도달하는 시간은 초음파가 초음파 센서에 도달하는 시간보다 매우 빠르다. 따라서, 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치를 산출할 수 있게 된다.
카메라 센싱부(144)는 카메라(121), 포토 센서, 레이저 센서 중 적어도 하나를 포함한다.
예를 들어, 카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지한다. 카메라에 의하여 촬영된 2차원 영상에 레이저 센서에 의하여 감지된 거리정보가 더해지면, 3차원 정보가 획득될 수 있다.
또 다른 예로서, 포토 센서가 디스플레이 소자에 적층될 수 있다. 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보를 획득하게 된다.
음향 출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(153)은 디스플레이 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(153)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
알람부(154)는 디스플레이 장치(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 디스플레이 장치(100)에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(154)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동을 이용하여, 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력 모듈(153)을 통해서도 출력될 수 있어서, 디스플레이부(151) 및 음향 출력 모듈(153)은 알람부(154)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(155)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(155)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅택 모듈(155)이 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부(180)의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(155)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(155)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(155)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(155)은 디스플레이 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 디스플레이 장치(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.
인터페이스부(170)는 디스플레이 장치(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 디스플레이 장치(100) 내부의 각 구성요소에 전달하거나, 디스플레이 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(170)에 포함될 수 있다.
한편, 식별 모듈은 디스플레이 장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(170)를 통하여 디스플레이 장치(100)와 연결될 수 있다.
또한, 상기 인터페이스부(170)는 디스플레이 장치(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 디스플레이 장치(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 디스플레이 장치(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 디스플레이 장치(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.
제어부(controller, 180)는 통상적으로 디스플레이 장치(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
또한, 상기 제어부(180)는 상기 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
또한, 상기 제어부(180)는 상기 디스플레이 장치(100)의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행할 수 있다. 또한, 상기 제어부(180)는 상기 잠금 상태에서 상기 디스플레이부(151)를 통해 감지되는 터치 입력에 근거하여 상기 잠금 상태에서 표시되는 잠금화면을 제어할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들은 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
다음으로, 본 발명에 따른 디스플레이 장치(100)를 통해 실시 가능한 통신 시스템에 대하여 살펴본다.
도 2a 및 도 2b는 본 발명에 따른 디스플레이 장치(100)가 동작 가능한 통신 시스템의 개념도이다.
먼저, 도 2a를 살펴보면, 상기 통신 시스템은, 서로 다른 무선 인터페이스 및/또는 물리 계층을 이용할 수 있다. 예를 들어, 통신 시스템에 의해 이용 가능한 무선 인터페이스에는, 주파수 분할 다중 접속(Frequency Division Multiple Access, FDMA), 시분할 다중 접속(Time Division Multiple Access, TDMA), 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 범용 이동통신 시스템(Universal Mobile Telecommunications Systems, UMTS)(특히, LTE(Long Term Evolution)), 이동통신 글로벌 시스템(Global System for Mobile Communications, GSM) 등이 포함될 수 있다.
이하에서는, 설명의 편의를 위하여, CDMA에 한정하여 설명하도록 한다. 그러나, 본 발명은, CDMA 무선 통신 시스템을 포함한 모든 통신 시스템 적용될 수 있음은 자명하다.
도 2a에 도시된 바와 같이, CDMA 무선 통신 시스템은, 적어도 하나의 디스플레이 장치(100), 적어도 하나의 기지국(Base Station, BS)(270), 적어도 하나의 기지국 제어부(Base Station Controllers, BSCs)(275), 이동 스위칭 센터(Mobile Switching Center, MSC)(280)를 포함할 수 있다. MSC(280)는, 일반 전화 교환망(Public Switched Telephone Network, PSTN)(290) 및 BSCs(275)와 연결되도록 구성된다. BSCs(275)는, 백홀 라인(backhaul line)을 통하여, BS(270)와 짝을 이루어 연결될 수 있다. 백홀 라인은, E1/T1, ATM, IP, PPP, Frame Relay, HDSL, ADSL 또는 xDSL 중 적어도 하나에 따라서 구비될 수 있다. 따라서, 복수의 BSCs(275)가 도 2a에 도시된 시스템에 포함될 수 있다.
복수의 BS(270) 각각은 적어도 하나의 섹터를 포함할 수 있고, 각각의 섹터는, 전방향성 안테나 또는 BS(270)로부터 방사상의 특정 방향을 가리키는 안테나를 포함할 수 있다. 또한, 각각의 섹터는, 다양한 형태의 안테나를 두 개 이상 포함할 수도 있다. 각각의 BS(270)는, 복수의 주파수 할당을 지원하도록 구성될 수 있고, 복수의 주파수 할당은 각각 특정 스펙트럼(예를 들어, 1.25MHz, 5MHz 등)을 가질 수 있다.
섹터와 주파수 할당의 교차는, CDMA 채널이라고 불릴 수 있다. BS(270)은 는, 기지국 송수신 하부 시스템(Base Station Transceiver Subsystem, BTSs)이라고 불릴수 있다. 이러한 경우, 하나의 BSC(275) 및 적어도 하나의 BS(270)를 합하여 “기지국”이라고 칭할 수 있다. 기지국은, 또한 "셀 사이트"를 나타낼 수도 있다. 또는, 특정 BS(270)에 대한 복수의 섹터들 각각은, 복수의 셀 사이트로 불릴 수도 있다.
도 2a에 도시된 바와 같이, 방송 송신부(Broadcasting Transmitter, BT)(295)는, 시스템 내에서 동작하는 단말기들(100)에게 방송 신호를 송신한다. 도 1에 도시된 방송 수신 모듈(111)은, BT(295)에 의해 전송되는 방송 신호를 수신하기 위해 디스플레이 장치(100) 내에 구비된다.
뿐만 아니라, 도 2a에서는, 위성 위치 확인 시스템(Global Positioning System, GPS)의 위성(300)을 도시한다. 상기 위성(300)은, 디스플레이 장치(100)의 위치를 파악하는 것을 돕는다. 도 2a에서는 두 개의 위성이 도시되어 있지만, 유용한 위치 정보는, 두 개 이하 또는 이상의 위성들에 의해 획득될 수도 있다. 도 1에 도시된 위치정보 모듈(115)은, 원하는 위치 정보를 획득하기 위하여 도 2a에 도시된 위성(300)과 협력한다. 여기에서는, GPS 추적 기술뿐만 아니라 위치를 추적할 수 있는 모든 기술들을 이용하여 디스플레이 장치(100)의 위치가 추적될 수 있다. 또한, GPS 위성(300) 중 적어도 하나는, 선택적으로 또는 추가로 위성 DMB 전송을 담당할 수도 있다.
무선 통신 시스템의 전형적인 동작 중, BS(270)는, 디스플레이 장치(100)로부터 역 링크 신호를 수신한다. 이때, 디스플레이 장치(100)는, 호를 연결 중이거나, 메시지를 송수신 중이거나 또는 다른 통신 동작을 수행하고 있다. 특정 기지국(270)에 의해 수신된 역 링크 신호들 각각은, 특정 기지국(270)에 의해 내에서 처리된다. 상기 처리 결과 생성된 데이터는, 연결된 BSC(275)로 송신된다. BSC(275)는, 기지국들(270) 간의 소프트 핸드오프(soft handoff)들의 조직화를 포함하여, 호 자원 할당 및 이동성 관리 기능을 제공한다. 또한, BSCs(275)는, 상기 수신된 데이터를 MSC(280)로 송신하고, MSC(280)는, PSTN(290)과의 연결을 위하여 추가적인 전송 서비스를 제공한다. 또한, 이와 유사하게 PSTN(290)은 MSC(280)와 연결되고, MSC(280)는 BSCs(275)와 연결되고, BSCs(275)는 디스플레이 장치(100)로 순 링크 신호가 전송되도록 BS(270)를 제어할 수 있다.
다음으로, 도 2b에서는 와이파이 위치추적 시스템(WPS: WiFi(Wireless Fidelity) Positioning System)을 이용하여, 디스플레이 장치(100)의 위치정보를 획득하는 방법에 대하여 살펴본다.
와이파이 위치추적 시스템(WPS: WiFi Positioning System, 300)은 디스플레이 장치(100)에 구비된 WiFi모듈 및 상기 WiFi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point, 320)를 이용하여, 디스플레이 장치(100)의 위치를 추적하는 기술로서, WiFi를 이용한 WLAN(Wireless Local Area Network)기반의 위치 측위 기술을 의미한다.
와이파이 위치추적 시스템(300)은 와이파이 위치측위 서버(310), 디스플레이 장치(100), 상기 디스플레이 장치(100)와 접속된 무선 AP(330), 임의의 무선 AP정보가 저장된 데이터 베이스(330)를 포함할 수 있다.
와이파이 위치측위 서버(310)는 디스플레이 장치(100)의 위치정보 요청 메시지(또는 신호)에 근거하여, 디스플레이 장치(100)와 접속된 무선 AP(320)의 정보를 추출한다. 상기 디스플레이 장치(100)와 접속된 무선 AP(320)의 정보는 디스플레이 장치(100)를 통해 상기 와이파이 위치측위 서버(310)로 전송되거나, 무선 AP(320)에서 와이파이 위치측위 서버(310)로 전송될 수 있다.
상기 디스플레이 장치(100)의 위치정보 요청 메시지에 근거하여, 추출되는 무선 AP의 정보는 MAC Address, SSID, RSSI, 채널정보, Privacy, Network Type, 신호세기(Signal Strength) 및 노이즈 세기(Noise Strength )중 적어도 하나일 수 있다.
와이파이 위치측위 서버(310)는 위와 같이, 디스플레이 장치(100)와 접속된 무선 AP(320)의 정보를 수신하여, 미리 구축된 데이터베이스(330)에 포함된 정보와 상기 수신된 무선 AP(320) 정보를 비교하여, 상기 디스플레이 장치(100)의 위치정보를 추출(또는 분석)한다.
한편, 도 2b에서는 일 예로서, 디스플레이 장치(100)와 접속되어 있는 무선 AP를 제1, 제2 및 제3 무선 AP(320)로 도시하였다. 그러나, 디스플레이 장치(100)와 접속되는 무선 AP의 수는 디스플레이 장치(100)가 위치한 무선 통신환경에 따라 다양하게 변경될 수 있다. 와이파이 위치추척 시스템(300)은 디스플레이 장치(100)가 적어도 하나의 무선 AP와 접속되는 경우, 디스플레이 장치(100)의 위치를 추적하는 것이 가능하다.
다음으로, 임의의 무선 AP정보가 저장되어 있는 데이터 베이스(330)에 대하여 보다 구체적으로 살펴보면, 상기 데이터 베이스(330)에는 서로 다른 위치에 배치된 임의의 무선 AP들의 다양한 정보가 저장될 수 있다.
상기 데이터 베이스(300)에 저장되는 임의의 무선 AP들의 정보는 MAC Address, SSID, RSSI, 채널정보, Privacy, Network Type, 무선 AP의 위경도 좌표, 무선 AP가 위치한 건물명, 층수, 실내 상세 위치정보(GPS 좌표 이용가능), AP소유자의 주소, 전화번호 등의 정보일 수 있다.
이와 같이, 상기 데이터베이스(330)에는 임의의 무선 AP정보 및 상기 임의의 무선 AP에 대응되는 위치정보가 함께 저장되어 있으므로, 와이파이 위치측위 서버(310)는 상기 데이터베이스(330)에서 디스플레이 장치(100)에 접속된 무선 AP(320)의 정보와 대응되는 무선 AP정보를 검색하고, 검색된 무선 AP정보에 매칭된 위치정보 추출함으로써, 디스플레이 장치(100)의 위치정보를 추출할 수 있다.
그리고, 이렇게 추출된 디스플레이 장치(100)의 위치정보는 상기 와이파이 위치측위 서버(310)를 통해 디스플레이 장치(100)로 전송됨으로써, 디스플레이 장치(100)는 위치정보를 획득할 수 있다.
이하, 도 3은 상기 도 1에서 살펴본 본 발명의 일 실시 예에 따른 디스플레이 장치(100)가 신체의 특정 부위에 착용가능하도록 이루어진 예시 도면이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)는 적어도 본체 프레임(101), 마이크(122), 출력부(153 및/또는 151), 및 제어부(180)를 포함하여 이루어진다.
또한 본 발명에 따른 디스플레이 장치(100)는 두부에 장착가능한 디스플레이 장치(head mounted display, HMD)로 구현될 수 있다. 구체적인 실시 예로, 상기 디스플레이장치는 스마트 안경(smart glasses)으로 구현될 수 있다.
또한, 본 발명의 실시예에 따른 디스플레이장치(100)는 신체의 특정 부위, 예를 들어 두부(다른 예로, 손목, 목, 귀, 의류 등에 착용될 수 있음) 착용가능하도록 이루어진다. 또한, 본체 프레임(101)의 적어도 일 지점이나 일 영역에는 착용자의 터치 입력을 감지할 수 있는 터치 센서가 배치된다.
본 발명에 따른 디스플레이 장치(100)에 디스플레이(151)가 구비된 경우, 디스플레이(151)에 출력되는 프리젠테이션과 관련된 시각정보는 2D 또는 3D 형태가 될 수 있다.
이러한 경우, 디스플레이(151)는 본체(100)와 결합되어 착용자의 좌안 우안 중 적어도 하나에 대응되는 위치에 배치되어, 프리젠테이션과 관련된 시각 정보를 출력한다.
여기서, 프리젠테이션과 관련된 시각 정보란, 진행할 프리젠테이션과 관련하여 본체(100)에 기저장된 컨텐츠이거나, 외부장치로부터 수신되는 데이터이거나, 또는 착용자 입력에 따라 생성된 가상의 객체를 모두 포함하는 개념이다. 예를 들어, 프리젠테이션과 관련된 시각 정보란, 프리젠테이션을 위한 문서파일, 외부기기로부터 수신된 프리젠테이션과 관련된 질의 데이터 등을 포함할 수 있다.
한편, 본 발명에 따른 디스플레이 장치(100)는 디스플레이가 없는 형태의 출력 장치일 수 있다. 이러한 경우, 프리젠테이션과 관련된 정보의 출력은 스피커(특히, 골전도 스피커)를 통해 이루어진다.
마이크(122)는 본체(100)와 결합되어 프리젠테이션을 발표하는 착용자의 음성을 입력받는다.
제어부(180)는 마이크(122)를 통해 실시간으로 입력되는 음성 정보와 기저장된 프리젠테이션과 관련된 컨텐츠 내용을 매칭한다. 기준값 이상 매칭되는 부분이 검출되면, 상기 제어부(180)는 매칭되는 부분의 다음 컨텐츠 내용, 즉 착용자가 다음에 발표할 내용의 적어도 일부를 상술한 디스플레이(151) 또는 스피커(153)에 출력한다.
이때, 상기 제어부(180)는 마이크(122)에 실시간으로 입력되는 음성 정보의 입력속도에 따라서, 상기 디스플레이(151) 또는 스피커(153)에 출력되는 다음 컨텐츠 내용의 출력속도를 조절한다. 예를 들어, 착용자가 다음에 발표할 내용의 스크립트가 라인(line) 단위로 출력되는 경우, 착용자의 발표속도가 빨라지면 디스플레이(151)에 출력되는 스크립트의 라인이 빠른 속도로 스크롤되고, 반면 착용자의 발표속도가 느려지면 디스플레이(151)에 출력되는 스크립트의 라인이 느린 속도로 스크롤되거나 정지 상태로 유지된다.
다음으로, 도 4는 본 발명의 실시예에 따른 디스플레이장치와, 상기 디스플레이장치와 연결되어 프리젠테이션을 진행하기 위한 시스템을 설명하기로 한다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 디스플레이장치(100)는 스크린(80)에 영상을 투사하기 위한 프로젝터(Projector)(50)와 연결될 수 있다. 또한, 상기 디스플레이장치(100)는 상기 프로젝터(50)에 영상 정보를 제공하는 또 다른 디스플레이장치, 예를 들어 이동 단말기(70)와 연결될 수 있다.
여기서, 본 발명의 실시예에 따른 디스플레이장치(100)와 무선 연결되는 또 다른 디스플레이장치(80)로는, 예를 들어, 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이터(navigator), 디지털 TV, 데스크탑 컴퓨터, 또는 본 발명의 실시예에 따른 디스플레이장치(100)와 동일한 장치가 있을 수 있다. 이하에서는, 상술한 또 다른 디스플레이장치(70)를 통칭하여 '외부기기'로 명명하기로 한다.
외부기기(70)는 프로젝터(50)와 연결되어 스크린(80)에 투사될 영상 정보를 제공한다. 또한, 상기 외부기기(70)는 디스플레이장치(100)와 통신하여 스크린(80)에 투사될 영상 정보를 수신할 수 있다. 또한, 상기 외부기기(70)는 디스플레이장치(100)와 통신하여 프리젠테이션과 관련된 데이터를 디스플레이장치(100)에 송신할 수 있다.
디스플레이장치(100)에 출력되는 화면정보 및/또는 음향정보는, 상술한 바와 같이 외부기기(70)로부터 전송받은 컨텐츠일 수도 있고, 디스플레이장치(200)에 기저장된 컨텐츠 또는 이를 기초로 생성된 데이터일 수 있다.
또한, 디스플레이장치(100)는 착용자의 제스처 입력, 음성명령, 생체 정보에 근거하거나 연결된 외부기기(70)로부터 수신된 제어명령에 근거하여 관련된 동작을 수행할 수 있다. 예를 들어, 상기 디스플레이장치(100)는 본체에 인가된 사용자 입력에 대응되는 화면변화를 표시하거나 외부기기(70)로부터 수신된 제어명령에 대응되는 화면 및/또는 음향을 출력할 수 있다.
한편, 프로젝터(50)는 본 발명의 실시예에 따른 디스플레이장치(100)나 또는 상기 외부기기(70)로부터 스크린(80)에 투사시킬 영상정보를 수신할 수 있다.
전자의 경우, 상기 디스플레이장치(100)는 프리젠테이션과 관련된 정보를 착용자에게 제공해주는 역할과, 프리젠테이션과 관련된 정보를 프로젝터(50)에 송신하는 역할을 동시에 수행한다. 이때, 착용자에게 제공되는 정보와 프로젝터(50)에 제공되는 정보의 범위는 서로 다를 수 있다. 예를 들어, 프리젠테이션을 진행하는 착용자에게는 좀더 많은 양의 정보를 제공하고, 스크린에 영상 정보를 제공하는 프로젝터(50)에는 설명을 위한 최소한의 정보만을 제공하도록 할 수 있다.
이와 같이 영상정보가 수신되면, 상기 프로젝터(50)는 수신된 R, G, B 영상신호를 실제 영상 형태에 적합하도록 신호처리하고, 이를 레이저 또는 LDC 등의 실제 영상 형태로 구현한 다음 확대하여 스크린(70)에 투사한다.
또한, 디스플레이장치(100)와 외부기기(70)간에, 그리고 외부기기(170)와 프로젝터(50)간에는 예를 들어 블루투스(Bluetooth) 등의 근거리 통신 규격, 와이 파이(Wi-Fi) 등의 무선 인터넷 규격, USB(Universal Serial Bus) 등의 외부 장치 인터페이스 규격 등을 이용하여 유무선으로 연결될 수 있다.
한편, 디스플레이장치(100)와 외부기기(70)가 연결된 경우, 상기 디스플레이장치(100)는 프로젝터(50)를 통해 스크린(80)에 투사될 영상과 동일한 화면정보를 출력하거나, 스크린에 투사되는 영상보다 상세한 정보를 포함하는 화면정보를 출력할 수 있다. 이를 위해, 상기 디스플레이장치(100)는 해당 화면정보와 관련된 데이터를 외부기기(70)로부터 수신할 수 있다.
또한, 상기 디스플레이장치(100)는 본체에 구비된 카메라를 통해 착용자의 제스처를 감지하거나 착용자의 시선을 추적하여, 대응되는 동작을 실행하거나, 또는 대응되는 화면정보를 상기 외부기기(70)에 전송하여, 프로젝터(50)를 통해 스크린에 투사될 수 있도록 동작할 수 있다.
또는, 상기 디스플레이장치(100)는 상기 대응되는 화면정보를 직접 프로젝터(50)에 전송하여, 스크린(80)에 투사되는 영상을 제어할 수 있다. 이러한 경우, 디스플레이장치(100)의 착용자는 기설정된 소정의 제스처 입력을 통해, 상기 디스플레이장치(100)에 출력되는 화면정보와 상기 스크린(80)에 투사되는 영상정보를 동시에 제어할 수 있다.
이하에서는, 도 5와 도 6a 내지 도 6c를 참조하여, 프리젠테이션의 진행을 돕기 위한 디스플레이장치(100)의 동작방법을 설명하기로 한다.
도 5는 본 발명의 일 실시 예에 따른 디스플레이장치의 동작방법을 설명하기 위한 흐름도이고, 도 6a 내지 도 6c는 도 5의 흐름도를 설명하기 위한 개념도이다.
여기서, 상기 디스플레이장치(100, 도 4)는 프리젠테이션을 수행할 수 있는 프로젝터(50, 도 4)와 연결되어 스크린(80, 도 4)에 투사되는 영상과 관련된 컨텐츠 정보를 출력한다. 또한, 상기 디스플레이장치(100)는 신체의 특정 부위에 장착가능하도록 이루어진 것으로, 여기서는 설명하기 위한 목적으로 디스플레이를 구비한 안경형 HMD(Head Mounted Display)를 예시로 설명하였다. 다만, 본 발명이 이와 같은 예시에 한정되는 것은 아니며, 본 발명의 실시예들은 디스플레이를 구비하지 않은 형태와, AR 기술을 적용하여 디스플레이에 화면을 출력하는 형태와, 신체의 다른 부위(예, 손목, 목, 귀, 어깨, 의류장착형 등)에 착용가능한 형태로 구현될 수 있다.
또한, 상기 디스플레이장치(100)에는 프리젠테이션과 관련된 컨텐츠가 미리 저장될 수 있다. 이와 함께, 프리젠테이션의 발표 시간, 프리젠테이션이 수행되는 장소, 참가자 수 등과 같은 부가 정보가 더 저장될 수 있다. 또한, 프리젠테이션과 관련된 컨텐츠의 특정 객체에 대한 태그(tag) 설정, 링크, 세부정보가 미리 저장될 수 있다. 또, 상기 프리젠테이션과 관련된 컨텐츠가 복수의 페이지로 구성된 경우에는 페이지별로 중요도를 설정하거나 발표 시간을 미리 할당하여 저장할 수 있다.
또한, 이와 같은 정보들은 프리젠테이션이 진행되기 전에 미리 저장되는 것이 바람직하나, 필요한 경우 프리젠테이션의 진행 중에 외부기기(또는 서버)로부터 제공받는 것이 가능하며 프리젠테이션이 완료된 후 업데이트 되는 것도 가능하다.
먼저, 본 발명의 실시예에 따른 디스플레이장치(100)는 프리젠테이션을 발표할 사용자에 의해 신체의 특정 부위에 착용된다. 디스플레이장치(100)는 이와 같은 착용 상태와 착용 위치를 감지할 수 있고, 착용에 대응되는 알람을 출력할 수 있다.
또한, 상기 디스플레이장치(100)는 프리젠테이션과 관련된 영상정보를 스크린(80)에 투사하도록 이루어진 프로젝터(50)가 온(on) 상태가 되면, 이를 인식하고, 착용자 입력을 통해 또는 자동으로 상기 프로젝터(50)와 연결된다.
이와 같이 디스플레이장치(100)가 착용되고 온(on) 상태의 프로젝터(50)와 연결된 것이 감지되면(S501), 상기 디스플레이장치(100)는 대응되는 알람을 출력하여 프리젠테이션이 시작되었음을 착용자가 인식하게 할 수 있다(S502).
이와 같이 프리젠테이션이 시작되면, 디스플레이장치(100)의 제어부(180)는 마이크(122)를 통해 입력되는 착용자(또는 프리젠테이션의 발표자)의 음성 정보와 상기 디스플레이장치(100)에 기저장된 프리젠테이션과 관련된 컨텐츠의 내용을 매칭한다(S503).
구체적으로, 상기 제어부(180)는 입력된 음성 정보를 STT(Speech To Text) 변환한 다음 기정장된 프리젠테이션과 관련된 컨텐츠의 텍스트와 일치하는 정도를 비교할 수 있다. 이때, 상기 제어부(180)는 먼저 마이크(122)를 통해 입력되는 음성 정보가 기저장된 착용자의 음성 정보와 일치하는지를 판단하여, 일치하지 않으면(예, 청취자의 음성인 경우) 상기 매칭 과정을 수행하지 않도록 할 수 있다.
일 실시예에서, 상기 기저장된 프리젠테이션과 관련된 컨텐츠는 프리젠테이션 시작 전에 착용자가 미리 디스플레이장치(100)에 저장해 둔 컨텐츠일 수 있다.
한편, 다른 예에서, 상기 기저장된 프리젠테이션과 관련된 컨텐츠는 외부기기(70) 또는 외부 서버와 접속하여 그로부터 다운로드된 또는 스트리밍되는 컨텐츠일 수 있다.
또한, 상기 제어부(180)는 프리젠테이션이 시작됨과 동시에 내부의 타이머(미도시)를 동작할 수 있다. 이때, 상기 타이머는 기설정된 프리젠테이션의 할당시간을 시간의 경과에 따라 '0'이 될 때까지 감산해나가는 방식으로 동작할 수도 있다.
단계 S503에서의 매칭 결과, 상기 기저장된 프리젠테이션과 관련된 컨텐츠 에서 마이크(122)를 통해 입력되는 착용자의 음성 정보와 기준값 이상 매칭되는 부분이 발견되면, 상기 제어부(180)는 발견된 위치의 다음 컨텐츠 정보를 검출한다(S504).
여기서, 상기 기준값은 미리정해진 비율값이거나 사용자 입력을 통해 변경된 비율값일 수 있다. 예를 들어, 착용자의 음성 정보와 기저장된 프리젠테이션과 관련된 컨텐츠의 특정 부분이 90%이상 매칭되면, 해당 위치를 상기 매칭되는 부분으로 결정할 수 있다.
또한, 상기 제어부(180)는 상기 기저장된 컨텐츠가 다수의 라인 또는 다수의 페이지로 이루어진 경우, 매칭의 시작이 되는 기준을 미리 설정할 수 있다. 예를 들어, 상기 제어부(180)는 프리젠테이션에 할당된 시간과 현재시간 정보에 기초하여 매칭의 시작 라인이나 시작 페이지를 결정할 수 있다. 또, 상기 제어부(180)는 스크린(80)에 투사된 영상 정보에 대응되는 컨텐츠의 페이지를 매칭의 시작 페이지로 결정할 수 있다. 이를 위해, 본 명세서에 개시된 디스플레이장치(100)는 스크린(80)에 투사되는 영상을 획득하기 위한 카메라(121)를 적어도 하나 구비할 수 있다.
또한, 상기 제어부(180)는 마이크(122)를 통해 입력되는 음성 정보의 입력속도에 따라 다음 컨텐츠 정보가 검출되는 정도를 조절할 수 있다. 또는, 상기 제어부(180)는 다음 컨텐츠 정보의 위치에 대응되는 포인터값만을 검출하여, 착용자에게 해당 위치 정보만을 제공할 수도 있다. 이러한 경우에는, 출력을 위한 사용자 입력이 있기 전까지는 대기 상태가 된다.
이와 같이 제어부(180)에 의해 다음 컨텐츠 정보가 검출되면, 상기 제어부(180)는 상기 검출된 다음 컨텐츠 정보에 대응되는 내용의 적어도 일부를 디스플레이(151)에 표시한다(S505).
여기서, 다음 컨텐츠 정보에 대응되는 내용이란, 기저장된 프리젠테이션과 관련된 컨텐츠에서 착용자의 음성 정보와 매칭되는 부분의 다음에 저장된 컨텐츠 내용으로서, 착용자가 다음에 발표할 순서에 대응되는 내용을 가리킨다. 예를 들어, 다음에 말할 내용의 스크립트 또는 현재 스크린(80)에 보여지는 영상의 다음 페이지가 될 수 있다. 이와 같이, 현재 진행되는 발표내용보다 앞선 컨텐츠 내용을 발표자에게 미리 제공해줌으로써, 발표자가 다음에 말할 내용을 미리 준비할 수 있게 하여 원할한 프리젠테이션의 진행을 돕는다.
여기서 상기 디스플레이(151)는 본체 착용자의 양안 중 적어도 하나에 대응되게 배치되는 형태일 수 있다. 즉, 상기 디스플레이(151)는 착용자의 좌안/우안에 대응되도록 배치되거나, 양안 모두에 대응되게 배치될 수 있다.
또한, 상기 제어부(180)는 상기 검출된 다음 컨텐츠 정보뿐만 아니라, 현재 발표중인 그리고 바로 직전 발표된 컨텐츠 정보도 디스플레이(151)에 함께 출력되도록 할 수 있다. 이러한 경우, 상기 제어부(180)는 마이크(122)를 통해 입력된 음성 정보에 대응되는 컨텐츠 정보와 상기 다음 컨텐츠 정보를 시각적으로 구별되게 표시할 수 있다. 예를 들어, 상기 디스플레이(151)에 기본 컬러(color)를 갖는, 프리젠테이션과 관련된 컨텐츠의 스크립트들이 출력되고, 착용자가 프리젠테이션을 진행함에 따라 상기 스크립트들이 다른 컬러(또는 다른 형상)로 변화되는 효과(이하에서는 이를 '노래방 자막 효과'로 명명하기로 한다)가 출력될 수 있다. 이를 위해, 상기 제어부(180)는 디스플레이(151)에 출력되는 화면 및 화면변화를 실시간으로 업데이트한다.
한편, 디스플레이(151)에 다음 컨텐츠 정보에 대응되는 내용를 표시하는 방법은 다양하게 구현되거나 변형될 수 있다.
일 예로, 상기 디스플레이(151)에 출력되는 컨텐츠 화면은 착용자에게만 보여지는 형태를 취할 수 있다. 예를 들어, 도 3에서 카메라(121)와 인접한 위치에 프로젝터(미도시)와 프리즘(미도시)가 결합되어, 제어부(180)로부터 전송된 시각정보가 상기 프로젝터로 전달되고 프로젝터에서 프리즘으로, 그리고 프리즘에서 착용자의 안구에 직접 뿌려주는 방식으로 착용자에게 증강현실 화면을 디스플레이해주는 방식일 수 있다. 또는, 상기 제어부(180)로부터 제공된 시각 정보가 착용자의 양안 중 적어도 하나에 대응되게 배치된 디스플레이(151)의 내측에만 보여주는 방식으로 착용자에게 화면을 디스플레이해주는 방식일 수 있다.
다른 예로, 상기 디스플레이(151)에 출력되는 컨텐츠 화면은 스크린(80) 또는 다른 물체(예, 외벽, 책상 등)를 통해 모두에게 보여지는 형태를 취할 수 있다. 이를 위해, 도 3의 디스플레이장치(100)는 디스플레이(151)외에, 광원소자, 영상 형성 모듈, 및 렌즈 등을 포함하여 이루어지는 투사부(미도시)를 더 포함할 수 있다. 이와 같은 투사부(미도시)는 상기 디스플레이(151)와 인접한 위치에 하나 또는 복수 개 마련될 수 있다.
여기에서, 광원소자는 광을 방출하는 소자이고, 영상 형성 모듈은 광을 이용하여 영상 정보(또는 화면정보)를 형성하는 구성이다. 여기에서, 상기 투사부는, 광원소자로서, 특히 레이저 다이오드(Laser Diode)를 포함할 수 있으며, 이러한 레이저 다이오드(Laser Diode)는 예를 들어, 레드 레이저 다이오드(Red Laser Diode)로 구성될 수 있다.
이러한 경우, 상기 제어부(180)에서는 상기 투사부(미도시)에서 투사되는 빛(예, 가시광선)을 이용하여, 디스플레이(151)에 현재 출력되는 시각정보를 스크린(80)이나 다른 물체에 동시에 출력시킬 수 있다. 그에 따라, 도 3에 도시된 바와 같이 디스플레이(151)의 크기가 제한적인 안경형 디스플레이장치(100)의 단점을 극복할 수 있다. 또한, 스크린(80)에 투사되는 영상 정보보다 다양하고 많은 양의 시각정보를 제공할 수 프리젠테이션의 참가자들에게 제공할 수 있다는 장점이 있다.
또한, 다른 예로 본 발명에 따른 디스플레이장치(100)는 상술한 바와 같이 디스플레이(151)가 구비되지 않고 착용자에게 화면정보가 제공되지 않는 형태일 수 있다. 그러한 경우, 제어부(180)에 의해 검출된 다음 컨텐츠 정보의 내용은 디스플레이장치(100)와 일체로 결합된 음향 출력 모듈(153)을 통해 출력된다.
또한, 상기 제어부(180)는 상기 다음 컨텐츠 정보의 출력속도에 근거하여 상기 디스플레이(151)에 다음 컨텐츠 정보와 관련된 부가정보를 더 출력할 수 있다.
여기서, 상기 부가정보는 본체의 착용자 정보, 상기 음성 정보의 입력속도와 남은 컨텐츠 량을 토대로 산출된 시간 정보, 상기 기저장된 컨텐츠의 분량 정보, 상기 프리젠테이션의 진행 정도를 나타내는 정보, 상기 다음 컨텐츠 정보와 관련된 추가 정보, 및 상기 프리젠테이션의 참석자 정보 중 적어도 하나 이상을 포함한다.
또한, 상기 디스플레이(151)가 착용자의 좌안 및 우안에 각각 대응되는 제1 디스플레이와 제2 디스플레이를 포함하여 이루어진 경우, 상기 제어부(180)는, 상기 제1 디스플레이 및 제2 디스플레이 중 어느 하나에는 착용자의 음성 정보에 대응되는 시각정보(예, 컨텐츠의 스크립트들)를 출력하고, 나머지 하나에는 다음 컨텐츠 정보와 관련된 부가정보나 추가 검색 결과를 출력시킬 수 있다.
예를 들어, 도 6a에 도시된 바와 같이 착용자의 좌안 및 우안에 각각 대응되는 복수의 디스플레이(151)가 구비된 경우, 제1 디스플레이(610)에는 발표중인 스크립트(611)와 발표할 컨텐츠의 스크립트들(613)이 시각적으로 구별되게 출력된다(예, 노래방 자막 효과). 예로, 착용자가 'AAA'라고 말하면 디스플레이(151)에 표시된 스크립트의 'AAA'에 노래방 자막 효과가 출력된다. 제1 디스플레이(610)에는 컨텐츠의 스크립트들을 스크롤하기 위한 제어키(612)가 일 영역에 표시된다. 이때, 제어키(612)에 착용자의 근접터치가 인가되면, 터치방향을 따라 제 1 디스플레이(610)에 출력되는 스크립트가 스크롤된다.
한편, 도 6a의 제2 디스플레이(620)에는 스크린(80)에 투사되는 영상과 동일한 또는 동일한 진도의 영상(622)이 출력되고, 전체 컨텐츠에서 해당 영상(622)의 위치를 나타내는 썸네일 이미지(623)와 진행 정도를 나타내는 인디케이터(625)와 같은 부가 정보가 표시된다. 이때, 착용자는 상기 인디케이터(625)를 원하는 위치로 이동하여 원하는 페이지가 디스플레이(151)에 표시되게끔 할 수 있다. 또한, 제2 디스플레이(620)의 일 영역에는 프리젠테이션의 진행에 따른 시간 정보를 나타내는 이미지(621)가 표시된다. 상기 이미지(621)는 해당 페이지에 기할당된 시간정보(예, 4분 35초)와 현재 경과된 시간 정보(예, 15초)가 포함된다.
다른 예로, 도 6b를 참조하면, 제1 디스플레이(610)에는 발표중인 스크립트(631)와 발표할 컨텐츠의 스크립트들(632)이 시각적으로 구별되게 출력되고(예, 노래방 자막 효과), 스크립트들은 마이크(122)를 통해 입력되는 착용자의 음성 정보에 따라 자동으로 스크롤되거나 카메라(121)를 통해 인식되는 착용자의 시선방향을 따라 스크롤될 수 있다. 그리고, 제2 디스플레이(620)에는 스크린(80)에 투사되는 영상과 동일한 또는 동일한 진도의 영상(622)이 프론트(front)에 오는 다수의 페이지들이 겹쳐진 구조로 출력되고, 이와 같이 출력된 화면은 제2 디스플레이(620)의 일 영역에 표시된 제어키들(640)에 의해 변경된다. 다수의 페이지 각각 은 위치정보와 할당된 시간정보를 포함한다. 구체적으로, 도 6b에서 착용자가 '다음'을 나타내는 제어키를 근접터치하면, '페이지 넘김 효과'가 출력되면서 상기 영상(622)의 다음 페이지가 표시된다.
다른 예로, 도 6c를 참조하면, 제1 디스플레이(610)에는 발표중인 스크립트(631)와 발표할 컨텐츠의 스크립트들(632)이 시각적으로 구별되게 출력되고(예, 노래방 자막 효과), 제 2 디스플레이(620)에는 발표중인 스크립트(631)와 관련된 추가 검색 결과들이 표시될 수 있다. 이를 위해, 착용자는 제 2 디스플레이(620)에 표시된 '추가검색'키(645)에 대한 근접터치를 수행한다. 그러면, 현재 발표중인 스크립트의 키워드(661)와 관련된 웹 검색 결과(665)가 제 2 디스플레이(620)에 표시된다. 웹 검색 결과가 다수인 경우에는 페이지 넘김을 수행하기 위한 키들(662a 662b)이 출력될 수 있다.
또한, 비록 도시되지는 않았지만, 디스플레이(151)가 하나인 경우에는 상술한 다음 컨텐츠 정보와 부가정보가 복수의 영역에 각각 표시되거나, 사용자 조작에 따라 화면변경되어 표시되거나, 또는 발표 환경에 따라 필요한 경우에 팝업 표시될 수 있다.
한편, 상기 디스플레이장치(100)는 마이크(122)를 통해 입력되는 착용자의 목소리 톤이 기준범위를 초과하는 경우, 즉 지나치게 고음이거나 저음인 경우, 현재 목소리 톤에 대응되는 표시자를 디스플레이(151)에 표시할 수 있다.
예를 들어, 상기 제어부(180)는 착용자의 목소리 톤이 기준범위보다 고음이면 레드(red) 색상의 위 방향의 화살표 형상을 디스플레이(151)에 출력하여 착용자가 현재 목소리 톤을 인식하게끔 하거나, 또는 아래 방향을 가리키는 화살표 형상을 디스플레이(151)에 출력하여 착용자가 목소리 톤을 낮추도록 유도할 수 있다.
반면, 착용자의 목소리 톤이 기준범위보다 저음이면, 상기 제어부(180)는 블루(blue) 색상의 아래 방향의 화살표 형상을 디스플레이(151)에 출력하여 착용자가 현재 목소리 톤을 인식하게끔 하거나, 또는 위 방향을 가리키는 화살표 형상을 디스플레이(151)에 출력하여 착용자가 목소리 톤을 좀더 높여서 발표하도록 유도할 수 있다.
또한, 상기 디스플레이장치(100)는 마이크(122)를 통해 입력되는 착용자의 발표 속도가 기준값을 초과하거나(즉, 지나치게 빠르거나) 또는 프리젠테이션에 기할당된 시간을 초과할 것으로 예상되는 경우(즉, 지나치게 느린 경우), 현재 발표속도에 대응되는 표시자(또는 적정 속도 유도 표시자)를 디스플레이(151)에 표시함으로써, 착용자가 적절한 속도로 말할 수 있게 유도한다.
한편, 디스플레이(151)에 출력되는 다른 내용, 출력 범위, UI(User Interface), 및 화면변화에 관한 보다 다양한 동작들의 실시예는 이하에서 더 자세히 설명하기로 한다.
이와 같이 디스플레이(151)(또는 음향 출력 모듈(153))에 다음 컨텐츠 정보가 출력되면, 상기 제어부(180)는 마이크(122)에 입력되는 착용자의 음성 정보의 입력속도에 대응되게 다음 컨텐츠 정보의 출력속도를 조절할 수 있다(S506).
이때, 본 명세서에 개시된 디스플레이장치(100)가 상술한 바와 같이 디스플레이(151)가 없고 착용자에게 화면정보를 제공하지 않는 형태이면, 상기 제어부(180)는 검출된 다음 컨텐츠 내용을 음성 신호로 변환하여 음향 출력 모듈(153),예를 들어 골전도 스피커에 전달하고, 변환된 음성 신호의 출력속도를 음성 정보의 입력속도에 대응되게 조절한다. 예를 들어, 음성 정보의 입력속도가 빨라지면 골전도 스피커를 통해 출력되는 다음 컨텐츠 내용의 출력속도도 빨라지도록 제어한다.
상술한 음성 정보의 매칭, 검출, 출력과정은 프리젠테이션이 종료될 때까지(S507) 반복된다. 이때, 상기 제어부(180), 연결된 프로젝터(50)가 오프(off) 상태로 변경되거나, 또는 디스플레이장치(100)에 기설정된 사용자 입력이 인가되면, 프리젠테이션의 종료로 인식할 수 있다.
한편, 단계 S507에서 프리젠테이션의 종료되었음이 인식되면, 상기 제어부(180)는 프리젠테이션의 종료에 대응되는 소정의 알람(예, 알람음, 진동, 안내 메시지)을 출력할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 실시예들에 따른 디스플레이장치는 프리젠테이션의 발표자가 두부 등에 장착하여 원할하게 발표를 진행할 수 있도록 관련된 정보를 미리 제공하고, 특별한 조작없이 발표자의 발표속도에 맞추어 동작하도록 함으로써, 편의를 제공한다.
이하에서는, 본 명세서에 개시된 디스플레이장치(100)에 인가되는 다양한 입력에 따라, 디스플레이장치(100)에 출력되는 화면 및/또는 소리를 제어하거나 스크린(80)에 투사되는 영상을 제어하기 위한 예시들을 설명하기로 한다.
도 7a 내지 도 7h는 본 발명의 실시예에 따라, 착용자에 의한 다양한 입력신호에 근거하여 디스플레이장치에 출력되는 화면이나 스크린에 투사되는 영상을 제어하기 위한 예시들을 보인 개념도들이다.
여기서는, 본 명세서에 개시된 디스플레이장치(100)가 디스플레이(151)를 포함하며, 상기 기저장된 프리젠테이션과 관련된 컨텐츠가 복수의 페이지로 이루어진 경우를 예시로 설명한다. 또한, 디스플레이(151)에 출력되는 상술한 다음 컨텐츠 정보와 부가정보(예, 컨텐츠의 위치 정보, 시간 정보, 추가 검색 정보 등)는 스크린(80)에 투사되는 영상보다 더 많은 정보를 포함하는 것을 전제한다.
또한, 상기 제어부(180)는, 복수의 페이지 각각에 기할당된 시간 정보와 상기 프리젠테이션의 남은 시간 정보에 근거하여, 디스플레이(151)에 표시될 다음 컨텐츠 정보의 출력범위를 결정할 수 있다.
예를 들어, 해당 페이지에 기할당된 시간이 가까워지면, 상기 디스플레이(151)는 미리 다음 페이지를 출력한다. 또, 프리젠테이션에 기할당된 시간이 얼마 남지 않은 경우에는 프리젠테이션의 진행속도가 빨라질 것을 감안하여 기준범위보다 많은 양의 컨텐츠 정보를 디스플레이(151)에 출력시킨다.
또, 예를 들어, 해당 페이지에 기할당된 시간이 다른 페이지와 비교하여 긴 경우이면, 중요한 설명을 포함하는 것으로 인식하여, 보다 많은 양 컨텐츠 정보를 디스플레이(151)에 출력시킨다. 반면, 해당 페이지에 기할당된 시간이 다른 페이지와 비교하여 짧은 경우이면, 중요도가 낮아 스킵(skip)될 수 있음을 감안하여 미리 다음 페이지를 디스플레이(151)에 출력시킬 수 있다(이 경우에는 착용자가 스크린(80)의 영상만을 참조하여 설명할 수 있음).
한편, 도 3에 도시된 바와 같이, 본 명세서에 개시된 디스플레이장치(100)는 착용에 의한 다양한 입력신호를 감지하기 위해, 착용자의 생체 정보(Bio Signal)를 감지하기 위한 감지부(140), 착용자의 제스처를 감지하기 위한 제1 카메라(121), 착용자의 시선을 추적하기 위한 제2 카메라(미도시), 디스플레이장치(100)의 형태를 유지하는 프레임(101)의 일 지점 또는 일 영역에 구비된 터치센서(미도시) 중 적어도 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 제어부(180)는 상기 감지부(140)를 통해 감지된 착용자의 생체 정보(Bio Signal)에 근거하여 프리젠테이션을 발표하는 착용자가 긴장 상태인지를 판단할 수 있다. 이와 같은 판단은 디스플레이장치(100)와 연결된 외부기기(70)에 의하여 이루어질 수도 있다.
여기서, 생체 신호란 인체의 미세한 세포 간의 전기적인 신호를 의미하는 것으로, 예를 들어 EEG(ElectroEncephaloGram) 신호, ECG(ElectroCardioGram) 신호, PPG(Photoplethymogram) 신호, 또는 GSR(Galvanic Skin Response) 신호 중 어느 하나일 수 있겠으나, 이에 한정되지 않고 감정 상태를 측정을 위해 당업계에서 널리 사용되는 다양한 종류의 정보, 예를 들어 체온, 시선변화, 동공 크기변화, 눈 깜빡임 횟수 등이 모두 포함될 수 있다.
상기 제어부(180)는 감지부(140)를 통해 감지된 착용자의 맥박수, 호흡수 등이 빨라지거나 그리고/또는 체온이 기준값 이상 상승한 것으로 인식되면, 착용자가 긴장 상태인 것으로 판단한다.
또한, 상기 제어부(180)는 착용자가 긴장 상태인지를 판단하기 위해, 감지부(140)를 통해 감지된 생체 정보를 1차 판단기준으로 하고, 다른 감지 정보 예를 들어 착용자의 목소리 톤, 목소리 떨림, 침 삼킴 횟수 등을 2차 판단기준으로 설정할 수 있다.
이와 같이 착용자가 긴장 상태인 것으로 판단되면, 상기 제어부(180) 디스플레이(151)에 출력되는 다음 컨텐츠 정보에 대응되는 텍스트 또는 이미지의 크기를 변경하거나 하이라이팅 효과를 출력한다.
구체적으로, 도 7a에 도시된 바와 같이 디스플레이(151)에 다음 컨텐츠 내용이 출력된 상태에서, 착용자가 긴장 상태인 것으로 판단된 경우, 다음 설명할 'Progect A'텍스트(720)의 크기를 크게 변경하고, 착용자가 발표할 스크립트를 인지하기 쉽게 굵은 텍스트(720")로 출력할 수 있다. 이와 함께 텍스트(720")에 깜빡거리는 하이라이팅 효과를 출력하여 착용자의 주의를 더욱 환기시킬 수 있다. 또한, 제어부(180)는 다음 발표할 텍스트(720")를 음향 출력 모듈(153), 예를 들어 골전도 스피커에 출력시킬 수 있다.
한편, 이와 같은 과정은 착용자의 긴장 정도에 따라 단계적으로 수행될 수도 있다. 또한, 이와 함께, 상기 제어부(180)는 착용자의 긴장 상태를 완화시키기 위하여 영상표시장치(100)에 기등록된 컨텐츠 화면 또는 음향이 출력될 수 있다.
또한, 일 실시예에서, 상기 제어부(180)는 착용자의 제스처 입력에 근거하여, 상기 디스플레이(151)에 출력되는 다음 컨텐츠 정보에 표시변화가 나타나도록 제어할 수 있다.
이를 위해, 상기 디스플레이장치(100)는 본체 프레임의 적어도 일 영역에 터치 입력을 감지할 수 있는 터치 센서를 구비하고, 상기 본체의 외측에 착용자의 제스처 입력을 감지하기 위한 제1 카메라(121)를 구비할 수 있다.
즉, 제1 카메라(121)는 착용자의 제스처 입력을 감지하기 위한 용도로 사용된다. 제스쳐 입력은 착용자의 손이나 기타 근접물체의 움직임과 같은 모션 제스쳐(motion gesture)나, 손이나 근접물체의 모양, 크기 등을 인식하거나 특정 손동작과 같은 핸드 제스쳐(handgesture)를 이용한 입력을 모두 포함하는 개념이다.
이하에서는, 도 7b 내지 도 7h를 참조하여, 제1 카메라(121)와 터치 센서를 이용하여, 착용자에 의한 다양한 제스처 입력에 의해 디스플레이(151) 또는 스크린(80)에 출력되는 영상정보를 제어하는 구체적인 예시들을 설명한다.
제1실시예로, 도 7b에 도시된 바와 같이, 디스플레이장치(100)와 프리젠테이션의 영상이 투사되는 스크린(80)이 마주본 상태에서, 상기 본체와 상기 스크린 사이에 위치한 착용자의 손(701)을 소정횟수 흔드는 제스처 입력이 있으면, 상기 제어부(180)는 이에 대한 응답으로 상기 디스플레이(151)에 현재 출력되는 영상(720)이 스크린(80)에도 투사되도록 제어한다. 이때, 스크린(80)에서 영상에 대응되는 소리가 출력되고 있었다면, 이 또한 디스플레이(151)에 출력되는 영상에 대응되는 소리로 변경된다.
이와 같이 스크린(80)에 출력되는 영상과 디스플레이(151)에 출력되는 영상이 동일해지는 것은 상기한 제스처 입력이 인가된 경우에 한하며, 시간이 경과함에 따라 상기 디스플레이(151)에는 다시 스크린(80)에 출력되는 영상과 다른 영상(즉, 다음 컨텐츠 정보 및 부가정보)이 출력된다.
한편, 입력을 통해 디스플레이장치(100)와 연결된 프로젝터(50)에 소정의 제어신호가 송신되면, 스크린(80)에 출력되는 화면이 다시 이전 화면으로 복귀된다.
제2실시예로, 도 7c 및 도 7d에 도시된 바와 같이, 또한, 상기 디스플레이(151)의 경계영역에 인가된 복수의 터치시작점을 기설정된 방향으로 회전시키는 제스처 입력이 인가되면, 상기 제어부(180)는 상기 디스플레이(151)에 표시되는 다음 컨텐츠 정보를 네비게이션 방식으로 확대시키거나 축소시킨다.
구체적으로, 도 7c를 참조하면, 디스플레이(151)의 경계영역(예, 프레임)에 인가된 복수의 터치시작점(예, 착용자가 엄지와 검지(및 나머지 손가락)를 이용하여 디스플레이의 프레임을 쥐는 동작)을 제 1 방향, 예를 들어 시계방향으로 회전시키면, 상기 제어부(180)는 디스플레이(151)에 표시되는 다음 컨텐츠 정보를 네비게이션 방식으로 확대시킨다. 그에 따라, 이전화면(730)의 중앙을 중심으로 크기 확대된 화면(735)이 디스플레이(151)에 출력된다. 이 경우, 착용자는 이전화면(730) 또는 크기 확대된 화면(735)에 근접터치를 인가하여 화면의 다른 부분이 중앙에 오도록 이동 또는 회전시킬 수 있다. 또한, 비록 도시되지는 않았지만, 크기 확대된 화면(735)은 컨텐츠의 종류에 따라(예, 지도) 더 세부적인 정보를 포함할 수 있다.
또한, 도 7d를 참조하면, 디스플레이(151)의 경계영역(예, 프레임)에 인가된 복수의 터치시작점(예, 착용자가 엄지와 검지(및 나머지 손가락)를 이용하여 디스플레이의 프레임을 쥐는 동작)을 제 2 방향, 예를 들어 반시계방향으로 회전시키면, 상기 제어부(180)는 디스플레이(151)에 표시되는 다음 컨텐츠 정보를 네비게이션 방식으로 축소시킨다. 그에 따라, 이전화면(730)의 중앙을 중심으로 크기 축소된 화면(735)이 디스플레이(151)에 출력된다. 이 경우, 크기 축소된 화면(735)은 이전 화면보다 크기는 더 작아지지만, 컨텐츠의 출력범위는 더욱 확장된다.
또한, 제3실시예로, 도 7e를 참조하면, 디스플레이장치(100)의 프레임(101)의 일 영역에 인가된 터치를 제 1 방향, 예를 들어 착용자 안쪽방향(C)으로 드래그하는 입력이 인가되면, 상기 제어부(180)는 상기 디스플레이(151)에 표시되는 다음 컨텐츠 정보의 스크립트 라인을 제 1 방향, 즉 다음 스크립트 라인이 보여지도록 스크롤한다. 또한, 도 7f를 참조하면, 디스플레이장치(100)의 프레임(101)의 일 영역에 인가된 터치를 제 2 방향, 예를 들어 착용자 바깥방향(D)으로 드래그하는 입력이 인가되면, 상기 제어부(180)는 상기 디스플레이(151)에 표시되는 다음 컨텐츠 정보의 스크립트 라인을 제 2 방향, 즉 이전 스크립트 라인이 보여지도록 스크롤한다.
또한, 제4실시예로, 도 7g를 참조하면, 디스플레이장치(100)의 프레임(101)의 제 1 영역(예, 오른쪽 영역)을 소정횟수(예, 2회) 두드리는 터치입력에 근거하여, 상기 제어부(180)는 상기 디스플레이(151)에 표시되는 다음 컨텐츠 정보에 대응되는 문서 페이지를 제 1 방향(예, 다음 페이지)으로 넘긴다. 또한, 도 7h를 참조하면, 디스플레이장치(100)의 프레임(101)의 제 2 영역(예, 왼쪽 영역)을 소정횟수 두드리는 터치입력에 근거하여 상기 제어부는, 디스플레이장치(100)의 프레임(101)의 제 2 영역을 소정횟수(예, 2회) 두드리는 터치입력에 근거하여 상기 디스플레이(151)에 표시되는 다음 컨텐츠 정보에 대응되는 문서 페이지를 제 2 방향(예, 이전 페이지)으로 넘긴다.
한편, 제5실시예에서, 디스플레이장치(100)의 프레임(101)의 제 1 영역 또는 제 2 영역을 3회 이상 두드리는 터치입력을 수행하거나 또는 제 1 영역 또는 제 2 영역에 롱 터치입력을 수행하면 페이지 넘김에 가속도를 적용할 수 있다. 즉, 해당 영역에 대응되는 방향으로 다수의 페이지 넘김 효과가 출력되고, 이러한 상태에서 해당 영역에 숏 터치입력이 인가되면 페이지 넘김이 중단되고, 중단된 지점의 페이지가 디스플레이(151)에 출력된다.
이하에서는, 도 8a 및 도 8b을 참조하여, 착용자의 시선에 근거하여 디스플레이장치에 출력되는 화면을 제어하기 위한 예시들을 설명한다.
이를 위해, 상기 디스플레이장치(100)는 본체의 내측에 결합되어, 착용자의 시선을 추적하기 위한 제2 카메라(미도시)를 더 포함할 수 있다. 제 2 카메라는 착용자의 안구 움직임에 상응하게 움직이거나 회전한다.
즉, 제 2 카메라는 착용자의 시선 추적을 위한 용도로 사용된다. 시선 추적(eye-tracking)은 카메라를 통해 입력된 영상으로부터 착용자의 눈동자를 인식함으로써, 착용자 시선을 추적하는 기술을 의미한다. 이러한 시선 추적은 스포츠 중계, 장애인을 위한 시스템, 및 소비자의 동선 및 시선 파악 등에 응용되고 있으며, 최근에는 시선추적을 위한 인터페이스를 위해 다양한 알고리즘이 연구되고 있다.
디스플레이(151)에 다음 컨텐츠 정보가 출력된 상태에서, 착용자의 시선이 상기 디스플레이(151)에 출력된 특정 객체에 기설정된 시간 동안 고정되면, 상기 제어부(180)는 상기 특정 객체와 관련된 추가 검색 결과를 디스플레이(151)의 일 영역에 출력시킨다.
예를 들어, 도 8a에서 디스플레이장치(100)의 착용자가 디스플레이(151)에 출력되는 'A'객체(801)를 2초 이상 응시하는 경우, 'A'에 대한 웹 검색 결과(810, 820)가 디스플레이(151)의 다른 영역에 표시된다. 한편, 비록 도시되지는 않았지만, 디스플레이장치(100)의 착용자가 스크린(80)에 출력되는 특정 객체를 응시하는 것으로 인식되면, 해당 객체에 대한 웹 검색 결과를 출력할 수도 있다.
또한, 디스플레이(151)에 다음 컨텐츠 정보가 출력된 상태에서, 마이크(122)에 착용자에 의한 음성 정보의 입력이 없고 착용자의 시선이 상기 스크린에 기설정된 시간 이상 고정된 경우, 상기 제어부(180)는 착용자가 다음 발표할 내용을 잊거나 긴장 상태인 것으로 인식할 수 있다.
이러한 경우, 상기 제어부(180)는 디스플레이(151)에 출력되는 다음 컨텐츠 정보의 스크립트에 하이라이팅 효과를 출력하거나 또는 상기 다음 컨텐츠 정보를 음성 신호로 변환하여 출력하도록 제어할 수 있다.
예를 들어, 도 8b에서 프리젠테이션 진행 중에 착용자(900)가 말 없이 스크린(80)을 기설정된 시간 동안(예, 5초 이상) 응시하면, 디스플레이장치(100)의 디스플레이(151)에 출력되는 화면에서 다음 말할 스크립트 부분(830)에 하이라이팅 효과(예를 들어 깜빡임, 색변화, 박스표시 등)가 출력된다. 그리고, 이와 함께, 디스플레이(151)의 일 영역에 다음에 발표할 컨텐츠 정보를 음성으로 출력하기 위한 아이콘(840)이 표시된다. 착용자가 해당 아이콘(840)을 근접터치하면, 기녹음된 착용자 음성으로 다음에 발표할 컨텐츠 정보가 출력될 수 있다.
이하에서는, 도 9a 및 도 9b를 참조하여, 착용자의 음성명령에 근거하여 디스플레이장치에 출력되는 화면을 제어하기 위한 예시들을 설명한다.
디스플레이(151)에 다음 컨텐츠 정보와 부가 정보가 출력된 상태에서, 마이크(122)를 통해 기설정된 음성명령이 인가되면, 상기 제어부(180)는 입력된 음성 명령에 대응되는 표시변화가 나타나도록 디스플레이(151)를 제어한다.
이때, 상기 기설정된 음성명령은 디스플레이장치(100)에 미리 등록된 것일 수 있다. 예를 들어, 특정 페이지를 지칭하는 음성(예, '5페이지', '처음 페이지'), 현재 출력되는 페이지의 이동방향을 지칭하는 음성(예, '다음 페이지')이 입력되면 해당 음성 명령에 대응되는 동작을 수행할 수 있다.
예를 들어, 도 9a와 같이, 디스플레이(151)에 다음 컨텐츠 정보에 대응되는 화면이 출력된 상태에서, 착용자가 '다음'이라는 외치면, 상기 제어부(180)는 이를 다음 페이지를 표시하기 위한 제어명령으로 인식한다. 그에 따라, 디스플레이(151)에는 3페이지 화면(901)이 4페이지 화면(902)으로 변경된다.
또, 예를 들어, 도 9b와 같이, 디스플레이(151)에 다음 컨텐츠 정보에 대응되는 9페이지 화면(903)이 출력된 상태에서, 착용자가 '처음'이라는 외치면, 상기 제어부(180)는 이를 프리젠테이션의 처음 페이지를 표시하기 위한 제어명령으로 인식할 수 있다. 그에 따라, 디스플레이(151)에는 9페이지 화면(903)이 1페이지 화면(904)으로 변경된다. 한편, 도 9a 및 도 9b에 대응되는 화면변화는 스크린(80)에 대해서도 동시에 수행될 수 있다.
또한, 상기 제어부(180)는 착용자의 음성명령에만 동작을 수행하도록 설정될 수 있다. 이를 위해, 기녹음된 착용자 음성과 마이크(122)를 통해 입력된 음성명령의 일치 여부의 비교를 수행할 수 있다.
한편, 프리젠테이션의 진행 중 착용자가 프리젠테이션과 관련 없는 이야기를 장시간 하는 경우가 있다. 이러한 경우에는 디스플레이장치(100)가 착용자에게 프리젠테이션과 관련된 이야기를 하도록 유도할 필요가 있다.
이를 위해, 상기 제어부(180)는, 마이크(122)를 통해 입력되는 음성 정보가 상기 기저장된 컨텐츠의 내용과 매칭되지 않는 상태가 기설정된 시간 이상 지속되는 경우, 소정의 알람을 출력시킬 수 있다. 이때, 상기 소정의 알람은, 소리, 메시지, 진동, 및 상기 다음 컨텐츠 정보에 대한 하이라이팅 효과(또는 시간 정보를 나타내는 이미지에 대한 하이라이팅 효과) 중 적어도 하나 이상을 포함할 수 있다. 또한, 상기 소정의 알람은, 매칭되지 않는 상태가 길어질수록 알람의 강도가 높아질 수 있다.
한편, 이상에서 설명한 상기 디스플레이(151) 및/또는 스크린(80)에의 화면변화는 착용자에 의한 복수의 연속적으로 입력에 의하여 수행될 수도 있다.
예를 들어, 착용자가 프로젝터(50)를 조작할 필요없이 스크린(50)에 투사되는 영상을 변경하려면 영상표시장치(100)에 대한 터치, 제스처, 시선변화 등을 수행하여 원하는 컨텐츠 정보에 대응되는 페이지로 이동하고, 그런 다음 도 7b에 도시된 제스처 입력을 통해 디스플레이(151)에 출력되는 화면을 스크린(80)에 제공하면 된다.
이하에서는, 본 명세서에 개시된 디스플레이장치(100)가 프로젝터(50)에 영상 정보를 제공하는 외부기기(70)나, 또는 다른 디스플레이장치(100)와 연결되어 디스플레이(151)에 출력되는 화면을 제어하거나 디스플레이장치(100)의 동작을 제어하는 예시들을 설명한다.
도 10a 내지 도 10c은 이에 대한 예시로, 본 발명의 실시예에 따른 디스플레이장치(100)가 외부기기(70) 또는 다른 디스플레이장치(100)와 접속하여 프리젠테이션과 관련도니 질문을 수신하고, 답변을 위한 검색을 수행하는 예시들을 보인 것이다.
또한, 디스플레이장치(100)와 외부기기(70)간에, 그리고 외부기기(170)와 프로젝터(50)간에는 예를 들어 블루투스(Bluetooth) 등의 근거리 통신 규격, 와이 파이(Wi-Fi) 등의 무선 인터넷 규격, USB(Universal Serial Bus) 등의 외부 장치 인터페이스 규격 등을 이용하여 유무선으로 연결될 수 있다.
한편, 디스플레이장치(100)와 외부기기(70)가 연결된 경우, 상기 디스플레이장치(100)는 프로젝터(50)를 통해 스크린(80)에 투사될 영상과 동일한 화면정보를 출력하거나, 스크린에 투사되는 영상보다 상세한 정보를 포함하는 화면정보를 출력할 수 있다. 이를 위해, 상기 디스플레이장치(100)는 해당 화면정보와 관련된 데이터를 외부기기(70)로부터 수신할 수 있다.
이를 위해, 상기 디스플레이장치(100)는 외부기기(70) 또는 다른 디스플레이장치와 접속하여, 상기 프리젠테이션과 관련된 정보에 대응되는 무선신호를 수신하기 위한 무선 통신부(미도시)를 더 포함한다.
접속된 외부기기(70)나 다른 디스플레이장치로부터 상기 무선신호가 수신되면, 제어부(180)는, 수신된 무선신호를 텍스트로 변환하고, 상기 변환된 텍스트를 디스플레이(151)의 일 영역에 표시한다. 또는, 상기 제어부(180)는 상기 변환된 텍스트를 외부에 전송가능한 문서파일로 형태로 저장할 수 있다.
한편, 본 명세서에 개시된 디스플레이장치(100)는 상기 무선 통신부(미도시)를 통해 접속된 외부기기(70)나 다른 디스플레이장치에 적어도 하나의 데이터를 송신하는 것이 가능하다.
이러한 경우, 상기 제어부(180)는, 변환된 텍스트를 검색 키워드로 하여 상기 기저장된 프리젠테이션과 관련된 컨텐츠의 내용을 검색할 수 있다. 검색 결과에 대응되는 데이터는 디스플레이(151)에 표시되거나 또는 접속된 외부기기(70)에 송신되어 피드백을 수행하는 것이 가능하다.
예를 들어, 도 10a에서 디스플레이장치(100)는 접속된 외부기기(70)로부터 영상 정보를 수신하여 스크린(80)에 제공하거나 디스플레이(151)에 출력할 수 있다. 또, 도 10a에서 프리젠테이션의 발표자가 착용한 디스플레이장치(100)와 프리젠테이션을 청취하는 그룹이 착용한 디스플레이장치(100b)가 접속되어 인터랙션을 수행할 수 있다.
이러한 경우, 도 10b에 도시된 바와 같이, 청취자 그룹이 착용한 디스플레이장치(100b)에 입력된 질문이 착용자의 디스플레이장치(100)에 수신되면, 디스플레이(151)의 일 영역(B)에는 다음 컨텐츠 정보에 대응되는 스크립트(A)에 대응되는 질문들이 텍스트로 출력된다. 질문들이 표시되는 순서는 청취자 그룹이 착용한 디스플레이장치(100b)로부터 질문이 도착된 시간에 대응된다. 또한, 청취자 그룹이 착용한 디스플레이장치(100b)와 프리젠테이션의 발표자가 착용한 디스플레이장치(100)에 출력되는 화면이 서로 다르더라도, 상기 질문 텍스트는 청취자 그룹이 입력한 페이지에 대응되는 스크립트 위치에 표시된다.
도 10c는 디스플레이장치(100)가 청취자 그룹이 착용한 디스플레이장치(100b)에 전송할 답변 화면을 보인 것이다. 디스플레이장치(100)는 질문 텍스트를 검색 키워드로 하여 상기 기저장된 프리젠테이션과 관련된 컨텐츠의 내용(보다 상세한 부가 정보를 포함할 수 있음)을 검색한다. 검색 결과들(1010, 1020)은 질문을 송신한 청취자의 디스플레이장치로 송신됨으로써, 프리젠테이션 도중에도 발표를 중단시킴이 없이 질문에 대한 답변을 받을 수 있다. 질문에 대한 답면에 만족스럽지 않으면, 상기 디스플레이장치(100)에 다른 질문을 송신할 수 있다.
한편, 비록 도시되지는 않았지만, 본 명세서에 개시된 디스플레이장치(100)는 프리젠테이션의 청취그룹이 착용한 디스플레이장치에 구비된 카메라를 통해 청취그룹의 프리젠테이션 이해 정도의 정보를 수집하고, 이해 정도가 기준값보다 낮은 부분은 디스플레이(151)에 표시해줄 수 있다.
도 11은 본 발명의 실시예에 따른 디스플레이장치(100)가 착용자에게는 프리젠테이션과 관련된 정보를 제공하고 동시에 프로젝터(50)에는 투사될 영상 정보를 제공하는 것을 설명하기 위한 개념도이다.
여기서는, 디스플레이장치(100)의 디스플레이가 착용자의 좌안 및 우안에 각각 구비된 것(즉, 제 1 디스플레이, 제 2 디스플레이)을 형태를 예시로 설명하지만, 이에 한정되는 것은 아니다. 또한, 상기 디스플레이장치(100)는 스크린(80)에 영상을 투사시키기 위한 프로젝터(50)와 접속되어 소정의 무선신호를 주고받을 수 있다.
디스플레이장치(100)의 디스플레이(151)에 상술한 다음 컨텐츠 정보와 부가 정보가 각각 출력된 상태에서, 상기 제어부(180)는, 프리젠테이션과 관련된 기저장된 컨텐츠를 상기 프로젝터(50)로 송신하기 위한 기설정된 제스처 입력을 감지할 수 있다. 이러한 제스처는 예를 들어 도 11에 도시된 바와 같이, 디스플레이(151)의 프레임의 복수의 지점을 터치한 상태에서, 프로젝터(50)를 손가락으로 가리키는 제스처 입력일 수 있다.
이와 같은 제스처 입력이 감지되면, 상기 제어부(180)는 디스플레이(151)에 표시되는 화면이 스크린(80)에 동시에 출력되도록 상기 프로젝터(50)를 제어할 수 있다. 구체적으로, 도 11에 도시된 바와 같이 제 2 디스플레이(왼쪽 디스플레이)의 프레임의 복수의 지점을 터치한 상태에서 프로젝터(50)를 손가락으로 가리키는 제스처 입력이 감지됨에 따라, 제 2 디스플레이에 출력되는 화면(1110)이 프로젝터(50)를 통해 스크린(80)에 투사된다.
반면, 비록 도시되지는 않았지만, 착용자가 제 1 디스플레이(오른쪽 디스플레이)의 프레임의 복수의 지점을 터치한 상태에서 프로젝터(50)를 손가락으로 가리키는 제스처 입력이 감지되면, 제 1 디스플레이에 출력되는 화면(미도시)이 스크린(80)에 표시된다.
이와 같이 디스플레이(151)와 스크린(80)에 동일한 영상이 출력되면, 착용자의 다른 제스처 입력(예, 프로젝터(50)를 향해 'X' 형상을 그리는 제스처 입력)이 감지되기 전까지, 디스플레이(151)에 출력되는 화면이 변경되면 스크린(80)에 출력되는 화면도 그에 따라 변경시킨다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 디스플레이장치 및 이의 제어방법에 의하면, 프리젠테이션의 발표자가 두부 등에 장착하여 원할하게 발표를 진행할 수 있도록 관련된 정보를 제공하고 컨트롤을 위한 사용자 조작이 간단하여 편의를 제공한다. 또한, 프리젠테이션의 발표자가 긴장 상태에 있거나 발표 내용을 잊은 경우와 같이 돌발 상황이 발생한 경우에도, 프리젠테이션 발표가 속행될 수 있도록 관련된 정보를 제공함으로써, 발표자의 편의를 돕는다. 또한, 다른 외부기기로부터 전달된 프리젠테이션과 관련된 정보를 발표자가 인식할 수 있는 형태로 제공하거나 이에 대한 피드백을 생성하여 외부기기에 전달해줌으로써, 프리젠테이션의 발표자와 청취자간의 상호작용이 즉각적이고 신속하게 이루어질 수 있다.
또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 나아가, 상기와 같이 설명된 디스플레이장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (23)

  1. 프리젠테이션을 진행할 수 있는 프로젝터와 연결되어 스크린에 투사되는 영상과 관련된 컨텐츠 정보를 출력하도록 이루어진 출력장치로서,
    신체의 특정 부위에 장착가능하도록 이루어진 본체;
    상기 본체와 일체로 결합되는 마이크;
    상기 마이크를 통해 입력되는 음성 정보가 기 저장된 착용자의 음성 정보와 일치하는지 판단하고, 상기 음성 정보가 상기 착용자의 음성 정보와 일치하면, 상기 음성 정보와 기저장된 상기 프리젠테이션과 관련된 컨텐츠의 내용을 매칭하고, 기준값 이상 매칭되는 부분의 다음 컨텐츠 내용의 적어도 일부를 출력부에 출력시키는 제어부를 포함하는 것을 특징으로 하는 출력장치.
  2. 제1항에 있어서,
    상기 출력부는, 상기 본체와 일체로 결합되는 골전도 스피커이고,
    상기 제어부는,
    상기 다음 컨텐츠 내용을 음성 신호로 변환하여 상기 골전도 스피커에 전달하고, 상기 변환된 음성 신호의 출력속도를 상기 음성 정보의 입력속도에 대응되도록 조절하는 것을 특징으로 하는 출력장치.
  3. 프리젠테이션을 진행할 수 있는 프로젝터와 연결되어 스크린에 투사되는 영상과 관련된 컨텐츠 정보를 출력하도록 이루어진 디스플레이장치로서,
    신체의 특정 부위에 장착가능하도록 이루어진 본체;
    상기 본체와 일체로 결합되는 마이크;
    상기 마이크를 통해 입력되는 음성 정보가 기 저장된 착용자의 음성 정보와 일치하는지 판단하고, 상기 음성 정보가 상기 착용자의 음성 정보와 일치하면, 상기 마이크를 통해 입력된 음성 정보와 상기 프리젠테이션과 관련된 기저장된 컨텐츠의 내용을 매칭하고, 기준값 이상 매칭되는 부분의 다음 컨텐츠 정보를 검출하는 제어부; 및
    상기 본체와 결합되고, 착용자의 양안 중 적어도 하나에 대응되는 위치에 배치되어, 상기 검출된 다음 컨텐츠 정보의 적어도 일부를 표시하도록 이루어진 디스플레이를 포함하는 것을 특징으로 하는 디스플레이장치.
  4. 제3항에 있어서,
    상기 제어부는, 상기 디스플레이에 표시되는 다음 컨텐츠 정보의 출력속도를 상기 음성 정보의 입력속도에 대응되게 조절하고,
    상기 디스플레이는, 상기 출력속도에 근거하여 상기 다음 컨텐츠 정보와 관련된 부가정보를 표시하는 것을 특징으로 하는 디스플레이장치.
  5. 제4항에 있어서,
    상기 부가정보는,
    본체의 착용자 정보, 상기 음성 정보의 입력속도와 남은 컨텐츠 량을 토대로 산출된 시간 정보, 상기 기저장된 컨텐츠의 분량 정보, 상기 프리젠테이션의 진행 정도를 나타내는 정보, 상기 다음 컨텐츠 정보와 관련된 추가 정보, 및 상기 프리젠테이션의 참석자 정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 디스플레이장치.
  6. 제3항에 있어서,
    상기 기저장된 컨텐츠는 복수의 페이지를 포함하고,
    상기 제어부는,
    상기 복수의 페이지에 기할당된 시간 정보와 상기 프리젠테이션의 남은 시간 정보에 근거하여, 상기 디스플레이에 표시될 다음 컨텐츠 정보의 출력범위를 결정하는 것을 특징으로 하는 디스플레이장치.
  7. 제3항에 있어서,
    상기 본체와 일체로 결합되어, 착용자의 생체 정보(Bio Signal)를 감지하기 위한 감지부를 더 포함하고,
    상기 제어부는,
    상기 감지된 생체 정보에 근거하여 착용자의 상태를 감시하고, 착용자가 긴장 상태인 것으로 판단되면 상기 다음 컨텐츠 정보의 출력 크기를 변경하거나 하이라이팅 효과를 출력하도록 제어하는 것을 특징으로 하는 디스플레이장치.
  8. 제3항에 있어서,
    상기 본체의 적어도 일 영역에는 터치 입력을 감지할 수 있는 터치 센서가 구비되고, 상기 본체의 외측에는 착용자의 제스처 입력을 감지하기 위한 제1 카메라가 포함되며,
    상기 제어부는, 상기 터치 센서와 상기 제1 카메라 중 적어도 하나에 의하여 인식된 착용자의 제스처 입력에 근거하여, 상기 디스플레이에 표시변화가 나타나도록 제어하는 것을 특징으로 하는 디스플레이장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 본체와 상기 스크린이 마주본 상태에서,
    상기 본체와 상기 스크린 사이에 위치한 착용자의 손을 소정횟수 흔드는 제스처 입력에 응답하여, 상기 디스플레이에 출력되는 영상이 상기 프로젝터와 연결된 스크린에 투사되도록 제어하는 것을 특징으로 하는 디스플레이장치.
  10. 제8항에 있어서,
    상기 제어부는,
    상기 디스플레이의 경계영역에 인가된 복수의 터치시작점을 제 1 방향으로 회전시키는 제스처 입력에 응답하여, 상기 디스플레이에 표시되는 다음 컨텐츠 정보를 네비게이션 방식으로 확대시키는 것을 특징으로 하는 디스플레이장치.
  11. 제8항에 있어서,
    상기 제어부는,
    상기 디스플레이의 경계영역에 인가된 복수의 터치시작점을 제 2 방향으로 회전시키는 제스처 입력에 응답하여, 상기 디스플레이에 표시되는 다음 컨텐츠 정보를 네비게이션 방식으로 축소시키는 것을 특징으로 하는 디스플레이장치.
  12. 제8항에 있어서,
    상기 제어부는,
    상기 본체의 일 영역에 인가된 터치를 제 1 방향으로 드래그하는 입력이 인가되면 상기 디스플레이에 표시되는 상기 다음 컨텐츠 정보의 라인을 제 1 방향으로 스크롤하고,
    상기 본체의 일 영역에 인가된 터치를 제 2 방향으로 드래그하는 입력이 인가되면 상기 디스플레이에 표시되는 상기 다음 컨텐츠 정보의 라인을 제 2 방향으로 스크롤하는 것을 특징으로 하는 디스플레이장치.
  13. 제8항에 있어서,
    상기 제어부는,
    상기 본체의 제 1 영역을 소정횟수 두드리는 터치입력에 근거하여 상기 디스플레이에 표시되는 상기 다음 컨텐츠 정보에 대응되는 문서 페이지를 제 1 방향으로 넘기고,
    상기 본체의 제 2 영역을 소정횟수 두드리는 터치입력에 근거하여 상기 디스플레이에 표시되는 상기 다음 컨텐츠 정보에 대응되는 문서 페이지를 제 2 방향으로 넘기는 것을 특징으로 하는 디스플레이장치.
  14. 제3항에 있어서,
    상기 본체의 내측에 결합되어, 착용자의 시선을 추적하기 위한 제2 카메라를 더 포함하고,
    상기 제어부는, 상기 착용자의 시선이 상기 디스플레이에 출력된 특정 객체에 고정되면, 상기 특정 객체와 관련된 추가 검색 결과를 상기 디스플레이의 일 영역에 표시하도록 제어하는 것을 특징으로 하는 디스플레이장치.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 음성 정보의 입력이 없는 상태에서 착용자의 시선이 상기 스크린에 기설정된 시간 이상 고정되는 것에 응답하여,
    상기 디스플레이에 표시되는 다음 컨텐츠 정보의 스크립트에 하이라이팅 효과를 출력하거나 상기 다음 컨텐츠 정보를 음성 신호로 변환하여 출력하도록 제어하는 것을 특징으로 하는 디스플레이장치.
  16. 제3항에 있어서,
    상기 제어부는,
    상기 마이크를 통해 입력되는 기설정된 음성 명령에 대응되는 표시변화가 나타나도록 상기 디스플레이를 제어하는 것을 특징으로 하는 디스플레이장치.
  17. 제3항에 있어서,
    상기 제어부는,
    상기 마이크를 통해 입력되는 음성 정보가 상기 기저장된 컨텐츠의 내용과 매칭되지 않는 상태가 기설정된 시간 이상 지속되면, 소정의 알람을 출력하도록 제어하는 것을 특징으로 하는 디스플레이장치.
  18. 제17항에 있어서,
    상기 소정의 알람은, 소리, 메시지, 진동, 및 상기 다음 컨텐츠 정보에 대한 하이라이팅 효과 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 디스플레이장치.
  19. 제3항에 있어서,
    상기 디스플레이는, 착용자의 좌안 및 우안에 각각 대응되는 제1 디스플레이와 제2 디스플레이를 포함하고,
    상기 제어부는,
    상기 제1 디스플레이 및 제2 디스플레이 중 어느 하나에는 상기 마이크를 통해 입력되는 음성 정보에 대응되는 시각정보를 출력하고, 나머지 하나에는 상기 다음 컨텐츠 정보와 관련된 부가정보나 추가 검색 결과를 출력하도록 제어하는 것을 특징으로 하는 디스플레이장치.
  20. 제3항에 있어서,
    외부기기와 접속하여, 상기 외부기기에 입력된 상기 프리젠테이션과 관련된 정보에 대응되는 무선신호를 수신하는 무선 통신부를 더 포함하고,
    상기 제어부는,
    상기 무선신호를 텍스트로 변환하고, 상기 변환된 텍스트를 상기 디스플레이의 일 영역에 표시하거나 또는 외부에 전송가능한 문서파일로 저장하는 것을 특징으로 하는 디스플레이장치.
  21. 제20항에 있어서,
    상기 무선 통신부는 상기 접속된 외부기기에 적어도 하나의 데이터를 송신하는 것이 가능하도록 이루어지고,
    상기 제어부는,
    상기 변환된 텍스트를 검색 키워드로 상기 기저장된 컨텐츠의 내용을 검색하고, 검색 결과에 대응되는 데이터를 상기 디스플레이에 표시하도록 제어하거나 또는 상기 외부기기에 송신하도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 디스플레이장치.
  22. 제3항에 있어서,
    상기 디스플레이장치는 상기 프로젝터와 무선 통신을 진행하기 위한 무선 통신부를 더 포함하고,
    상기 제어부는,
    상기 프리젠테이션과 관련된 기저장된 컨텐츠를 상기 프로젝터로 송신하기 위한 기설정된 제스처 입력이 감지되면, 상기 디스플레이에 표시되는 화면이 상기 스크린에 동시에 출력되도록 상기 프로젝터를 제어하는 것을 특징으로 하는 디스플레이장치.
  23. 프리젠테이션을 진행할 수 있는 프로젝터와 연결되어 스크린에 투사되는 영상과 관련된 컨텐츠 정보를 출력하고, 신체의 특정 부위에 장착가능하도록 이루어진 디스플레이장치의 동작방법으로서,
    본체와 결합된 마이크를 통해 입력되는 음성 정보가 기 저장된 착용자의 음성 정보와 일치하는지 판단하는 단계;
    상기 음성 정보가 상기 착용자의 음성 정보와 일치하면, 상기 음성 정보와 상기 프리젠테이션과 관련된 기저장된 컨텐츠의 내용을 매칭시키는 단계;
    기준값 이상 매칭되는 부분의 다음 컨텐츠 정보를 검출하는 단계;
    본체 착용자의 양안 중 적어도 하나에 대응되게 배치된 디스플레이에 상기 다음 컨텐츠 정보의 위치에 대응되는 내용의 적어도 일부를 표시하는 단계; 및
    상기 음성 정보의 입력속도에 대응되도록 상기 디스플레이에 표시되는 다음 컨텐츠 정보의 출력속도를 조절하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 동작방법.
KR1020130106742A 2013-09-05 2013-09-05 디스플레이장치 및 디스플레이장치의 동작방법 Ceased KR102083596B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130106742A KR102083596B1 (ko) 2013-09-05 2013-09-05 디스플레이장치 및 디스플레이장치의 동작방법
US14/186,176 US9557961B2 (en) 2013-09-05 2014-02-21 Display device and method of operating the same
EP14001246.9A EP2846255B1 (en) 2013-09-05 2014-04-03 Display device and method of operating the same
CN201410250434.7A CN104423573B (zh) 2013-09-05 2014-06-06 显示装置及其操作方法
US15/387,139 US10606553B2 (en) 2013-09-05 2016-12-21 Display device and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130106742A KR102083596B1 (ko) 2013-09-05 2013-09-05 디스플레이장치 및 디스플레이장치의 동작방법

Publications (2)

Publication Number Publication Date
KR20150028084A KR20150028084A (ko) 2015-03-13
KR102083596B1 true KR102083596B1 (ko) 2020-03-02

Family

ID=50624344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130106742A Ceased KR102083596B1 (ko) 2013-09-05 2013-09-05 디스플레이장치 및 디스플레이장치의 동작방법

Country Status (4)

Country Link
US (2) US9557961B2 (ko)
EP (1) EP2846255B1 (ko)
KR (1) KR102083596B1 (ko)
CN (1) CN104423573B (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101926942B1 (ko) 2013-09-03 2019-03-07 토비 에이비 휴대용 눈 추적 디바이스
US10686972B2 (en) * 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
WO2015064935A1 (en) * 2013-10-28 2015-05-07 Lg Electronics Inc. Electronic device and control method thereof
KR20150083703A (ko) * 2014-01-10 2015-07-20 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
US20150281250A1 (en) * 2014-03-26 2015-10-01 Zeetings Pty Limited Systems and methods for providing an interactive media presentation
KR20150129423A (ko) * 2014-05-12 2015-11-20 삼성전자주식회사 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
GB2528867A (en) * 2014-07-31 2016-02-10 Ibm Smart device control
TWI524214B (zh) * 2014-08-15 2016-03-01 中強光電股份有限公司 簡報系統、穿戴式裝置及簡報的文稿呈現方法
KR20160112559A (ko) * 2015-03-19 2016-09-28 삼성전자주식회사 터치 패널을 포함하는 전자 장치 및 그 제어 방법
KR101917655B1 (ko) * 2015-04-13 2018-11-12 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 설정 방법
US9774990B2 (en) * 2015-04-21 2017-09-26 Verizon Patent And Licensing Inc. Proximity-based verification of programming instructions
JP6534292B2 (ja) * 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
CN104898997B (zh) * 2015-05-04 2020-07-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN104834383A (zh) * 2015-05-26 2015-08-12 联想(北京)有限公司 一种输入方法和电子设备
CN106412469B (zh) * 2015-08-03 2019-05-24 中强光电股份有限公司 投影系统、投影装置与投影系统的投影方法
WO2017051720A1 (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017107182A1 (zh) * 2015-12-25 2017-06-29 深圳市柔宇科技有限公司 头戴式显示设备
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
CN106572378A (zh) * 2016-09-30 2017-04-19 乐视控股(北京)有限公司 一种视频介绍信息显示方法及装置
CN106371632B (zh) * 2016-10-25 2019-08-20 歌尔科技有限公司 一种智能穿戴设备
CN106371271A (zh) * 2016-11-08 2017-02-01 湖北恒颖超科技有限公司 一种具有缓存播放数据和手势控制的激光投影仪
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) * 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US11024064B2 (en) 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
US10614794B2 (en) * 2017-06-15 2020-04-07 Lenovo (Singapore) Pte. Ltd. Adjust output characteristic
TWI659647B (zh) * 2017-11-21 2019-05-11 晶睿通訊股份有限公司 影像播放設備及其影像播放方法
CN108062216A (zh) * 2017-12-10 2018-05-22 汤庆佳 一种基于互动式教学的智能书写设备及其工作方法
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
KR102482589B1 (ko) 2018-02-12 2022-12-30 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
EP3531243B1 (en) * 2018-02-23 2021-12-29 Rohde & Schwarz GmbH & Co. KG Measurement instrument identification system as well as method for finding a particular measurement instrument
CN112424729A (zh) * 2018-06-16 2021-02-26 仁明(杭州)智能科技有限公司 用于修改便携式显示器的图像增强参数的系统和方法
KR102179220B1 (ko) * 2018-07-17 2020-11-16 김홍성 음성인식을 이용한 전자성경 시스템
JP7437706B2 (ja) * 2018-11-08 2024-02-26 パナソニックIpマネジメント株式会社 検出システム及び情報表示システム
CN110232111A (zh) * 2019-05-30 2019-09-13 杨钦清 一种文本显示方法、装置及终端设备
CN113342158B (zh) * 2020-03-03 2022-08-30 阿里巴巴集团控股有限公司 眼镜设备以及数据处理方法、装置、电子设备
JP2022102885A (ja) * 2020-12-25 2022-07-07 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
EP4221169A1 (en) * 2022-01-31 2023-08-02 Koa Health B.V. Sucursal en España System and method for monitoring communication quality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165156A (ja) * 2000-11-27 2002-06-07 Canon Inc 頭部装着型画像表示装置および画像情報表示システム
JP2008067218A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像表示装置、撮像表示方法
JP2010151997A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd プレゼンテーションシステム及びそのプログラム
KR101203921B1 (ko) * 2011-09-21 2012-11-27 유제형 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6901558B1 (en) * 2002-01-09 2005-05-31 International Business Machines Corporation System and method for displaying status of background worker threads
CN101634930A (zh) * 2009-08-18 2010-01-27 酷派软件技术(深圳)有限公司 一种终端及其帮助用户操作的方法
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
CN102455843B (zh) * 2010-10-21 2016-06-01 浪潮乐金数字移动通信有限公司 一种ppt文件的操作控制方法和装置
US9142062B2 (en) * 2011-03-29 2015-09-22 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
WO2013057658A1 (en) * 2011-10-19 2013-04-25 Vadim Dukhovny Enhancement of presentation or online collaboration meeting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165156A (ja) * 2000-11-27 2002-06-07 Canon Inc 頭部装着型画像表示装置および画像情報表示システム
JP2008067218A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像表示装置、撮像表示方法
JP2010151997A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd プレゼンテーションシステム及びそのプログラム
KR101203921B1 (ko) * 2011-09-21 2012-11-27 유제형 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치

Also Published As

Publication number Publication date
US20150067516A1 (en) 2015-03-05
US20170102917A1 (en) 2017-04-13
KR20150028084A (ko) 2015-03-13
CN104423573B (zh) 2019-03-15
EP2846255A1 (en) 2015-03-11
CN104423573A (zh) 2015-03-18
US9557961B2 (en) 2017-01-31
EP2846255B1 (en) 2018-07-11
US10606553B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
KR102083596B1 (ko) 디스플레이장치 및 디스플레이장치의 동작방법
US10318007B2 (en) Head mounted display device for multi-tasking and method for controlling same
EP2843508B1 (en) Wearable glasses-type terminal and system having the same
KR102129464B1 (ko) 디스플레이 장치 및 그것의 제어 방법
US9939642B2 (en) Glass type terminal and control method thereof
KR101595957B1 (ko) 이동 단말기 및 제어 시스템
US10424268B2 (en) Mobile terminal and controlling method thereof
EP3657366A1 (en) Mobile terminal and method for controlling the same
US10055086B2 (en) Mobile terminal and method for controlling the same
KR20150020918A (ko) 디스플레이 장치 및 그것의 제어 방법
KR20160001229A (ko) 이동단말기 및 그 제어방법
KR20130065074A (ko) 전자 기기 및 전자 기기의 제어 방법
KR20140147057A (ko) 안경형 단말기 및 안경형 단말기의 제어방법
KR20150033431A (ko) 안경형 단말기 및 그 제어 방법
KR20180079051A (ko) 이동 단말기 및 그 제어방법
KR20150032056A (ko) 안경형 단말기 및 그 제어방법
KR20150009488A (ko) 이동 단말기 및 그것의 제어방법
KR20150056360A (ko) 안경형 단말기 및 안경형 단말기의 제어방법
KR101612863B1 (ko) 이동 단말기 및 제어 시스템
KR20170024361A (ko) 이동 단말기 및 그 제어 방법
KR20160041710A (ko) 글래스 타입의 이동 단말기
KR20150068819A (ko) 디스플레이 장치 및 그것의 제어 방법
KR20150102554A (ko) 이동 단말기 및 nfc태그와 이동 단말기간 연동을 통한 화면 확대 방법
KR20150064563A (ko) 이동 단말기 및 그것의 제어방법
KR20150041448A (ko) 안경형 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130905

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180905

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130905

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190721

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191206

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200225

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200226

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC2102 Extinguishment

Termination category: Others

Termination date: 20210625