[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101171165B1 - 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체 - Google Patents

외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR101171165B1
KR101171165B1 KR1020110113221A KR20110113221A KR101171165B1 KR 101171165 B1 KR101171165 B1 KR 101171165B1 KR 1020110113221 A KR1020110113221 A KR 1020110113221A KR 20110113221 A KR20110113221 A KR 20110113221A KR 101171165 B1 KR101171165 B1 KR 101171165B1
Authority
KR
South Korea
Prior art keywords
information
remote control
component
input
computing device
Prior art date
Application number
KR1020110113221A
Other languages
English (en)
Inventor
박상호
Original Assignee
(주)지란지교소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지란지교소프트 filed Critical (주)지란지교소프트
Priority to KR1020110113221A priority Critical patent/KR101171165B1/ko
Application granted granted Critical
Publication of KR101171165B1 publication Critical patent/KR101171165B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/0225—User interface arrangements, e.g. keyboard, display; Interfaces to other computer systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체가 개시된다. 본 발명의 일측면에 따른 컴퓨팅장치에서의 입력 처리 방법은 특정 응용프로그램의 실행에 따라 구비된 디스플레이 수단에 표시되는 실행화면 내에 포함되는 하나 이상의 유아이(UI)컴포넌트들에 대한 컴포넌트 정보를 생성하는 단계; 컴포넌트 정보를 원격제어장치로 전송하는 단계; 컴포넌트 정보를 이용하여 UI컴포넌트들이 포함되는 사용자인터페이스 화면을 출력한 원격제어장치로부터 사용자 입력에 따른 이벤트정보를 수신하는 단계; 및 UI컴포넌트들 중 이벤트정보에 상응하는 선택UI컴포넌트를 인식하고, 응용프로그램에 선택UI컴포넌트에 따른 입력 처리를 수행하는 단계를 포함한다. 본 발명에 따르면, 다양한 응용프로그램을 편리하게 설치하여 이용할 수 있는 스마트 폰 또는 태블릿PC 등의 휴대 전자장치를 이용하여 원격에서 컴퓨팅장치에서 실행되는 응용프로그램을 편리하게 제어할 수 있도록 한다.

Description

외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체{Input processing method using external device and recording-medium recorded program thereof}
본 발명은 입력 처리에 관한 것으로서, 좀 더 상세하게는 디스플레이 수단을 구비한 컴퓨팅장치(computing device)에서 실행되는 응용프로그램에 대한 제어를 외부의 휴대전자장치를 이용하여 수행하는 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.
최근에는 디스플레이 기술의 발달로 큰 사이즈를 갖는 디스플레이 모듈을 구비한 스마트 TV와 같은 컴퓨팅 장치들이 증가하고 있다. 스마트 TV의 경우 단순히 방송국에서 송출되는 방송 영상뿐 아니라, 실시간 VOD와 같은 콘텐츠를 재생할 수 있으며, 또한 일반 컴퓨터에서 이용하는 동영상 플레이어와 같은 응용프로그램을 설치하여 이용할 수 있다.
이러한 대형 디스플레이 모듈을 구비한 컴퓨팅장치를 이용하는 경우, 사용자는 직접 해당 컴퓨팅장치에 어떠한 명령 또는 정보를 입력하기 보다는 리모트컨트롤러와 같은 보조장치를 이용하여 원격에서 제어하기를 원한다. 하지만 종래의 TV와 같은 대형 디스플레이모듈을 구비한 컴퓨팅장치에서는 자체 리모트컨트롤러를 이용하여 채널 변경, 음량 조절 등의 단순한 제어기능만을 제공하고 있으며, 이로 인해 운용되는 여러 응용프로그램을 효율적으로 제어하기가 어려운 실정이다.
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 스마트 폰(smart-phone) 및 태블릿PC(예를 들어, 아이패드, 갤럭시 탭 등) 등의 휴대 전자장치를 이용하여 원격에서 컴퓨팅장치에서 실행되는 응용프로그램을 쉽게 제어할 수 있도록 하는 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체를 제공하기 위한 것이다.
또한, 본 발명은 컴퓨팅장치에서 실행되는 응용프로그램의 실행화면 내에 포함된 사용자 인터페이스 컴포넌트(component)를 추출하여 새로운 사용자 인터페이스화면을 원격의 전자장치로 제공하는 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체를 제공하기 위한 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 컴퓨팅장치에서의 입력 처리 방법에 있어서, 특정 응용프로그램의 실행에 따라 구비된 디스플레이 수단에 표시되는 실행화면 내에 포함되는 하나 이상의 유아이(UI)컴포넌트들에 대한 컴포넌트 정보를 생성하는 단계; 상기 컴포넌트 정보를 원격제어장치로 전송하는 단계; 상기 컴포넌트 정보를 이용하여 상기 UI컴포넌트들이 포함되는 사용자인터페이스 화면을 출력한 원격제어장치로부터 사용자 입력에 따른 이벤트정보를 수신하는 단계; 및 상기 UI컴포넌트들 중 상기 이벤트정보에 상응하는 선택UI컴포넌트를 인식하고, 상기 응용프로그램에 상기 선택UI컴포넌트에 따른 입력 처리를 수행하는 단계를 포함하는 외부 장치를 이용한 입력 처리 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체가 제공된다.
여기서, 상기 컴포넌트 정보는 상기 원격제어장치가 상기 사용자인터페이스 화면에 포함되는 각 UI컴포넌트의 이미지를 생성 또는 선택하도록 하는 상기 UI컴포넌트들에 대한 속성 정보와, 상기 이벤트정보를 생성하기 위한 상기 UI컴포넌트들에 대한 핸들정보가 포함될 수 있다.
또한, 상기 컴포넌트 정보는 상기 UI컴포넌트들에 대한 이미지들과 포지션 정보를 포함하며, 상기 원격제어장치는 상기 이미지들을 이용하여 상기 사용자인터페이스 화면을 구성하고 상기 포지션 정보를 이용하여 상기 이벤트정보를 생성할 수 있다.
또한, 상기 컴포넌트 정보는 각 UI컴포넌트들의 중요도에 대한를 포함하며, 상기 원격제어장치는 상기 중요도에 따라 상기 UI컴포넌트들에 상응하는 이미지의 노출 여부 및 사이즈를 결정할 수 있다.
또한, 미리 저장된 각 응용프로그램의 UI컴포넌트에 대한 메타데이터를 이용하여 상기 컴포넌트 정보가 생성될 수 있다.
그리고, 컴퓨팅장치에서의 입력 처리 방법에 있어서, 특정 응용프로그램의 실행에 따라 구비된 디스플레이 수단에 표시되는 실행화면 내에 포함되는 하나 이상의 UI컴포넌트를 이용하여 원격제어영상을 생성하는 단계; 상기 원격제어영상을 원격제어장치로 전송하는 단계; 상기 원격제어영상을 이용한 사용자인터페이스 화면을 출력한 원격제어장치로의 사용자 입력에 따른 상기 원격제어영상에 대응되는 위치값을 이벤트정보로서 상기 원격제어장치로부터 수신하는 단계; 및 상기 이벤트정보에 상응하는 선택UI컴포넌트를 인식하고, 상기 응용프로그램에 상기 선택UI컴포넌트에 따른 입력 처리를 수행하는 단계를 포함하는 외부 장치를 이용한 입력 처리 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체가 제공된다.
여기서, 상기 원격제어장치의 디스플레이 모듈에 상응하는 크기 또는 해상도를 갖도록 상기 원격제어영상을 생성하는 것을 특징으로 하는 외부 장치를 이용한 입력 처리 방법.
그리고, 전자장치가 외부의 컴퓨팅장치에 사용자 입력을 처리하는 방법에 있어서, 외부의 컴퓨팅장치에서 실행되는 특정 응용프로그램에 따른 실행화면 내에 포함되는 하나 이상의 유아이(UI)컴포넌트들에 대한 컴포넌트 정보를 수신하는 단계; 상기 컴포넌트 정보를 이용하여 상기 UI컴포넌트들이 포함되는 원격제어영상을 생성하는 단계; 및 사용자로부터 상기 원격제어영상에 상응하는 사용자인터페이스 화면을 통한 입력이 감지되면, 상기 컴퓨팅장치가 상기 입력에 상응하는 UI컴포넌트를 인식하여 입력 처리하도록, 상기 입력에 상응하는 이벤트정보를 생성하여 상기 컴퓨팅장치로 전송하는 단계를 포함하는 입력 처리 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체가 제공된다.
여기서, 상기 컴포넌트 정보에 포함된 각 UI컴포넌트들에 대한 속성 정보에 상응하는 이미지를 생성하거나 미리 저장된 것들 중 어느 하나를 선택하여 상기 원격제어영상이 생성되고, 상기 컴포넌트 정보에 포함된 각 UI컴포넌트들에 대한 핸들정보를 이용하여 상기 이벤트정보가 생성될 수 있다.
또한, 상기 컴포넌트 정보에 포함된 상기 UI컴포넌트들에 대한 이미지들을 이용하여 상기 원격제어영상이 생성되고, 상기 컴포넌트 정보에 포함된 상기 UI컴포넌트들에 대한 포지션 정보를 이용하여 상기 이벤트정보가 생성될 수 있다.
본 발명에 따르면, 다양한 응용프로그램을 편리하게 설치하여 이용할 수 있는 스마트 폰 또는 태블릿PC 등의 휴대 전자장치를 이용하여 원격에서 컴퓨팅장치에서 실행되는 응용프로그램을 편리하게 제어할 수 있도록 한다.
또한, 본 발명에 따르면, 컴퓨팅장치에서 실행되는 응용프로그램에 따른 사용자 인터페이스 컴포넌트(component)를 이용하여 새로운 사용자 인터페이스화면을 원격의 전자장치로 제공함으로써, 컴퓨팅장치의 디스플레이 모듈을 통한 시청과 동시에 휴대전자장치를 통해 리모트 컨트롤에 용이한 사용자인터페이스를 이용할 수 있다는 효과를 제공한다.
도 1 및 도 2는 본 발명의 각 실시예에 따른 외부 장치를 이용한 입력 처리를 위한 전체 시스템을 개략적으로 나타낸 구성도.
도 3은 본 발명의 일 실시예에 따른 메인컴퓨팅장치에서 실행되는 응용프로그램을 제어하기 위한 원격제어장치의 사용자 인터페이스 화면을 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 응용프로그램의 UI컴포넌트에 대한 메타데이터를 예시한 테이블.
도 5 내지 도 6은 본 발명의 각 실시예에 따른 외부 장치를 이용한 입력처리 과정을 도시한 흐름도들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 및 도 2는 본 발명의 각 실시예에 따른 외부 장치를 이용한 입력 처리를 위한 전체 시스템을 개략적으로 나타낸 구성도이다.
먼저 일 실시예에 따른 전체시스템을 도시한 도 1을 참조하면, 전체시스템은 메인컴퓨팅장치(10) 및 원격제어장치(30)를 포함한다.
메인컴퓨팅장치(10)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 등의 디스플레이 수단을 구비한 컴퓨팅장치로서, 임의의 응용프로그램을 실행한 실행화면(즉 실행창 화면)을 구비된 디스플레이 수단을 표시할 수 있는 장치이다. 예를 들어, 메인컴퓨팅장치(10)는 일반 개인용 컴퓨터뿐 아니라 스마트TV 등 일 수 있다.
원격제어장치(30)는 메인컴퓨팅장치(10)와 유선 또는 무선으로 통신하여, 메인컴퓨팅장치(10)에서 실행되는 응용프로그램을 원격에서 제어하기 위한 휴대용 컴퓨팅장치로서, 쉬운 예를 들어 스마트폰, 태블릿PC 등일 수 있다. 이하에서는 설명의 편의상, 메인컴퓨팅장치(10)는 스마트TV이고, 원격제어장치(30)는 스마트폰인 경우를 가정하여 설명하기로 한다.
쉽게 말해, 본 실시예에 따른 전체시스템을 이용하는 사용자는 소유한 스마트폰 등의 원격제어장치(30)를 이용하여 스마트TV와 같은 메인컴퓨팅장치(10)에서 실행되는 동영상 플레이어와 같은 응용프로그램을 원격에서 편리하게 제어할 수 있다.
본 실시예에서는 원격제어장치(30)가 메인컴퓨팅장치(10)와 케이블 등에 의해 유선으로 연결되어 서로 데이터를 송수신하거나, 블루투스(Bluetooth) 등의 근거리 통신 수단을 이용하여 무선으로 데이터를 송수신하는 등, 서로 직접 데이터를 송수신하는 것을 예로 든 것이며, 다른 실시예에 따른 도 2를 참조하면 통신망을 통해 연결된 중개서버(50)를 경유하여 원격제어장치(30)와 메인컴퓨팅장치(10)간의 데이터가 송수신될 수도 있다.
이하에서는 설명의 편의상 메인컴퓨팅장치(10)와 원격제어장치(30)는 무선을 통해 직접 서로 데이터를 주고받는 경우를 예로 들어 설명하기로 하고, 원격제어장치(30)를 이용한 메인컴퓨팅장치(10)의 입력처리 방법에 대해 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 메인컴퓨팅장치(10)에서 실행되는 응용프로그램을 제어하기 위한 원격제어장치(30)의 사용자 인터페이스 화면을 도시한 예시도이다.
도 3을 참조하면, 메인컴퓨팅장치(10)에서는 실행되는 응용프로그램(예를 들어, 곰플레이어(GOM Player)와 같은 동영상 플레이어)에 따른 실행화면(320)이 디스플레이 화면(310)의 일측 또는 전체에 표시되고, 원격제어장치(30)에서는 상기한 응용프로그램을 제어하기 위한 사용자인터페이스 화면(330)이 표시된다.
따라서, 사용자는 원격제어장치(30)에 표시되는 사용자인터페이스(User Interface) 화면을 이용하여 간편하게 메인컴퓨팅장치(10)에서 실행되는 응용프로그램을 제어할 수 있게 된다.
메인컴퓨팅장치(10)에 표시되는 응용프로그램의 실행화면(즉 실행창) 내에는 사용자로부터 특정 명령 또는 정보를 입력받는 등 사용자 인터페이스를 위한 하나 이상의 UI(User Interface)컴포넌트(321, 323, 325, 327, 329)가 포함된다. 예를 들어, 동영상의 재생, 중단 등의 재생 제어를 위한 UI컴포넌트(321), 실행창의 크기 또는 닫기 제어를 위한 UI컴포넌트(327) 등이 있을 수 있다. 물론, 상기한 UI컴포넌트는 반드시 사용자로부터 특정 명령 또는 정보를 입력받기 위한 것만 존재하는 것이 아니라, 참조번호 329와 같은 해당 응용프로그램이 무엇인지를 나타내는 로고(logo)와 같은 정보도 UI컴포넌트로 활용될 수 있음은 당연하다.
메인컴퓨팅장치(10)는 상기한 UI컴포넌트와 관련된 정보들(차후 설명하기로 함)을 원격제어장치(30)로 전송함으로써, 원격제어장치(30)가 도면에 도시된 바와 같은 상기한 UI컴포넌트들(321, 323, 325, 327, 329)이 포함된 사용자인터페이스 화면(330)을 출력할 수 있도록 한다.
다시 말해, 본 실시예에 따르면, 메인컴퓨팅장치(10)에서 실행되는 응용프로그램에 따른 실행화면 중 사용자의 입력이 가능한 UI컴포넌트에 대한 정보를 취득한 원격제어장치(30)가 해당 UI컴포넌트가 포함된 사용자인터페이스 화면을 출력하는 것이다. 차후, 원격제어장치(30)로의 사용자 입력이 있으면, 원격제어장치(30)는 해당 입력에 따른 입력정보인 이벤트정보를 메인컴퓨팅장치(10)로 전송하고, 메인컴퓨팅장치(10)는 해당 이벤트정보를 실행중인 응용프로그램에 반영하여 입력 처리를 수행하는 것이다
따라서, 사용자는 원격제어장치(30)에서 표시되는 사용자인터페이스 화면을 이용하여 메인컴퓨팅장치(10)에서 실행되는 응용프로그램에 특정 명령 또는 정보를 입력할 수 있게 된다.
여기서, 본 실시예에 따른 메인컴퓨팅장치(10)가 실행되는 응용프로그램의 실행화면으로부터 UI컴포넌트를 추출하는 방식의 일 실시예로는, 현재 실행되는 응용프로그램을 메인컴퓨팅장치(10)가 직접 분석하여 UI컴포넌트를 인식하는 방식이다.
UI컴포넌트의 보다 정확한 인식 및 보다 유용한 정보의 제공을 위한 다른 실시예에 따르면, 메인컴퓨팅장치(10)는 각 응용프로그램의 UI컴포넌트에 대한 메타데이터를 미리 저장하고 있어, 현재 실행되는 응용프로그램의 실행화면에 따른 UI컴포넌트를 상기한 메타데이터를 이용하여 간편하게 추출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 응용프로그램의 UI컴포넌트에 대한 메타데이터를 예시한 테이블이다.
도 4를 참조하면, 응용프로그램(예를 들어 곰플레이어)에 따른 UI컴포넌트들의 이미지, 속성, 포지션, 사이즈(size), 중요도, 핸들(메인컴퓨팅장치(10)의 응용프로그램이 UI컴포넌트를 식별하기 위한 정보) 등에 대한 메타데이터가 메인컴퓨팅장치(10)에 저장됨으로써, 메인컴퓨팅장치(10)는 현재 실행중인 응용프로그램의 실행화면에 따른 UI컴포넌트를 각각 추출하고, 추출된 UI컴포넌트들에 대한 정보를 이용하여 원격제어장치(30)에서 출력되는 사용자인터페이스 화면에 따른 영상(이하, 원격제어영상이라 칭함)을 직접 생성하거나 원격제어장치(30)가 생성할 수 있도록 관련정보를 제공한다.
도면에 도시된 예에 따른 UI컴포넌트의 속성은 입력 방식이 버튼방식인지, 스크롤방식인지, 텍스트 입력 방식 인지에 대한 값을 가지며, 포지션은 일 실시예에 따라 실행화면 중 어떤 위치에 각 UI컴포넌트가 위치하는지에 대한 좌표값일 수 있으며, 사이즈는 이미지의 크기이고, 중요도는 사용자인터페이스 화면에 노출될지 여부 또는 이미지의 크기를 달리 설정할 때 이용될 수 있을 것이고, 핸들은 각 UI컴포넌트를 식별하기 위한 식별정보일 수 있다. 여기서, 핸들이란 실행창을 제어하기 위한 것이며, 상기한 핸들정보로는 윈도우핸들이 이용될 수 있으며, 일반적으로 윈도우핸들은 실행창에 포함된 버튼, 입력창 등을 구분하기 위한 것이다.
이하에서는 메인컴퓨팅장치(10)와 원격제어장치(30)간의 송수신되는 정보 및 그 처리방식에 대해 설명하기로 한다.
메인컴퓨팅장치(10)에서 원격제어장치(30)로 전송되는 UI컴포넌트에 대한 정보(이하, 컴포넌트 정보라 칭함)는 그 처리 방식에 따라 달라질 수 있다.
제1 실시예에 따르면, 메인컴퓨팅장치(10)에서 직접 UI컴포넌트를 이용한 원격제어영상을 생성하여 원격제어장치(30)로 전송하는 방식이다. 즉, 이 경우엔 원격제어장치(30)는 메인컴퓨팅장치(10)로부터 수신된 원격제어영상을 사용자인터페이스 화면으로 출력하는 것이며, 차후 사용자로부터 입력(예를 들어, 원격제어장치(30)가 터치스크린을 구비한 경우 터치 입력)이 감지되면, 해당 입력에 따른 이벤트정보로서 사용자인터페이스 화면 내의 위치값(예를 들어, 하단 좌측을 원점(x=0, y=0)으로 하는 좌표값)이 이용되어 메인컴퓨팅장치(10)로 제공될 수 있을 것이다. 따라서, 메인컴퓨팅장치(10)는 미리 생성하여 전송한 원격제어영상에 포함된 UI컴포넌트들 중 원격제어장치(30)로부터 수신된 이벤트정보인 위치값에 따른 UI컴포넌트(이하 선택UI컴포넌트라 칭함)를 인식할 수 있으며, 인식된 선택UI컴포넌트에 따른 제어신호를 실행중인 응용프로그램에 반영하여 입력 처리한다.
이와 다른 제2 실시예에 따르면, 메인컴퓨팅장치(10)는 UI컴포넌트들의 이미지와 포지션(position) 정보를 원격제어장치(30)로 전송하고, 원격제어장치(30)는 수신된 내용을 바탕으로 각 UI컴포넌트들에 따른 이미지를 배치하여 원격제어영상을 직접 생성한다. 차후 원격제어장치(30)는 사용자의 입력에 따른 포지션에 대한 정보를 이벤트정보로서 메인컴퓨팅장치(10)로 전송하고, 메인컴퓨팅장치(10)는 수신된 이벤트정보에 따른 선택UI컴포넌트를 인식하여 입력처리를 수행한다. 여기서, 이해의 편의를 위해 제1 실시예에서의 위치정보와 제2 실시예에서의 포지션 정보에 대한 차이를 간략히 설명하자면, 위치정보는 원격제어영상 내의 원점을 기준으로 하는 좌표값이고, 포지션 정보는 UI컴포넌트들 간의 상대적인 위치인 포지션을 말하는 것으로서 예를 들어 순서정보일 수 있다.
원격제어장치(30)가 원격제어영상을 직접 생성하는 것은 위의 제2 실시예와 동일하나 그 생성 방법에서 차이가 있는 제3 실시예에 따르면, 메인컴퓨팅장치(10)는 UI컴포넌트들의 속성과 윈도우 핸들에 관한 정보를 원격제어장치(30)로 전송하고, 원격제어장치(30)가 상기한 각 UI컴포넌트들의 속성에 따른 이미지를 직접 생성하거나 미리 저장된 것들 중 하나를 선택하고 배치하여 원격제어영상을 생성하는 것이다. 차후, 사용자의 입력이 인식되면, 해당 입력에 따른 핸들정보를 갖는 이벤트가 생성되어 메인컴퓨팅장치(10)로 전달되고, 메인컴퓨팅장치(10)는 해당 이벤트에 따른 핸들정보를 이용하여 선택UI컴포넌트를 인식하여 실행화면에 그 입력을 처리할 수 있다.
다시 말해, 메인컴퓨팅장치(10)에서 원격제어장치(30)로 전송되는 컴포넌트 정보는 각 UI컴포넌트의 속성과 핸들정보이며, 원격제어장치(30)가 해당 속성정보를 이용하여 직접 UI컴포넌트의 이미지를 생성 또는 선택하여 원격제어영상을 생성하고, 사용자의 입력에 따른 핸들값을 갖는 이벤트정보를 생성하여 메인컴퓨팅장치(10)로 전송하는 것이다.
위의 제2 실시예 및 제3 실시예에 따른 쉬운 예를 하나 들자면, 원격제어장치(30)는 수신된 UI컴포넌트들에 대한 관련정보 중 UI컴포넌트의 이미지를 그대로 이용하여 그 사이즈와 위치만을 바꿀 수도 있고, 또는 그 속성에 상응하는 다른 이미지를 이용하여 원격제어영상을 생성할 수도 있다. 또한 원격제어장치(30)는 각 UI컴포넌트들의 중요도에 따라 이미지의 크기를 설정할 수도 있을 것이다.
따라서, 원격제어장치(30)는 UI컴포넌트들에 대한 컴포넌트 정보를 가공하여 원격제어영상을 생성하여 사용자인터페이스 화면으로서 출력하고, 차후 사용자로부터의 입력이 감지되면, 해당 입력에 따른 선택UI컴포넌트가 무엇인지를 메인컴퓨팅장치(10)가 인식할 수 있도록 하는 이벤트정보를 메인컴퓨팅장치(10)로 전달한다. 메인컴퓨팅장치(10)는 수신된 이벤트정보에 따른 UI컴포넌트의 입력을 응용프로그램에 반영함으로써 입력처리를 완료한다.
이하, 도면을 참조하여 원격제어장치(30)와 메인컴퓨팅장치(10)간의 입력 처리를 위한 수행 과정을 설명하기로 한다.
도 5 내지 도 6은 본 발명의 각 실시예에 따른 외부 장치를 이용한 입력처리 과정을 도시한 흐름도들이다.
먼저 일 실시예에 따른 도 5를 참조하면, 메인컴퓨팅장치(10)는 원격제어장치(30)로부터 원격제어를 요청받으면(S510), 현재 실행중인 응용프로그램에 따른 실행화면의 UI컴포넌트를 추출한다(S515).
메인컴퓨팅장치(10)는 추출된 UI컴포넌트를 이용하여 원격제어를 위한 사용자인터페이스로서 화면에 출력되는 원격제어영상을 생성한다(S520). 즉, 메인컴퓨팅장치(10)는 상기한 세가지 실시예 중 첫번째와 같이 직접 원격제어영상을 이미지와 같은 형태로 생성하는데, 특히 원격제어장치(30)의 디스플레이 모듈의 규격(예를 들어 사이즈, 해상도 등)에 상응하도록 생성할 수도 있다.
원격제어장치(30)는 메인컴퓨팅장치(10)로부터 원격제어영상을 수신하면(S525), 이를 디스플레이 모듈을 통해 출력한다(S530).
따라서, 사용자는 원격제어장치(30)에 출력되는 메인컴퓨팅장치(10)의 실행화면을 제어하기 위한 원격제어영상에 따른 사용자인터페이스 화면을 이용하여 원하는 입력을 수행할 수 있게 된다.
원격제어장치(30)는 사용자로부터 특정 UI컴포넌트에 대한 입력(예를 들어, 터치입력 등)이 인식되면(S535), 해당 입력에 상응하는 입력 위치에 대한 정보인 위치값(예를 들어, 좌표값 등)을 메인컴퓨팅장치(10)로 전송한다(S540).
메인컴퓨팅장치(10)는 수신된 위치값에 따른 원격제어영상 내의 선택UI컴포넌트를 인식하고(S545), 해당 선택UI컴포넌트에 대한 입력 처리를 수행한다(S550).
메인컴퓨팅장치(10)가 직접 원격제어영상을 생성하는 위의 실시예와는 달리, 메인컴퓨팅장치(10)는 UI컴포넌트들에 대한 관련정보만을 원격제어장치(30)로 제공하고, 원격제어장치(30)가 직접 상기한 관련정보를 이용하여 원격제어영상을 생성하는 방식에 대한 실시예에 대해 설명하고자 한다.
도 6을 참조하면, 메인컴퓨팅장치(10)는 원격제어장치(30)로부터 원격제어를 요청받으면(S610), 현재 실행중인 응용프로그램의 실행화면에 대한 UI컴포넌트에 따른 관련정보(이하, 컴포넌트 정보라 칭함)를 생성하고 (S615), 생성된 컴포넌트 정보를 원격제어장치(30)로 전송한다(S620).
원격제어장치(30)는 수신된 컴포넌트 정보를 이용하여 직접 원격제어영상을 생성한다(S625). 여기서, 상술한 바와 같이, 각 실시예에 따라 상기한 컴포넌트 정보는 달라질 수 있으며, 그에 따른 원격제어영상의 생성과 이벤트정보의 생성도 달라질 수 있으며, 이는 상술하였으므로 중복되는 설명은 생략한다.
원격제어장치(30)는 생성된 원격제어영상을 사용자인터페이스 화면으로서 출력하고(S630), 사용자로부터 해당 사용자인터페이스 화면에 따른 입력이 감지되면(S635), 사용자 입력에 따른 선택UI컴포넌트를 인식하고, 인식된 선택UI컴포넌트의 핸들정보를 이벤트 정보로서 생성하여(S640) 메인컴퓨팅장치(10)로 전송한다(S645).
메인컴퓨팅장치(10)는 수신된 이벤트정보에 따른 UI컴포넌트를 식별하고, 그에 따른 입력 처리를 수행한다(S650).
상술한 본 발명에 따른 외부 장치를 이용한 입력 처리 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 메인컴퓨팅장치
30 : 원격제어장치
50 : 중개서버

Claims (11)

  1. 컴퓨팅장치에서의 입력 처리 방법에 있어서,
    특정 응용프로그램의 실행에 따라 구비된 디스플레이 수단에 표시되는 실행화면 내에 포함되는 유아이(UI)컴포넌트들 중 사용자로부터 특정 명령 또는 정보를 입력받기 위한 사용자입력컴포넌트들에 대한 속성정보와 핸들정보가 포함된 컴포넌트 정보를 생성하는 단계;
    상기 컴포넌트 정보를 원격제어장치로 전송하는 단계;
    상기 컴포넌트 정보를 이용하여 생성된 사용자인터페이스 화면을 출력한 상기 원격제어장치로부터 사용자 입력에 상응하는 이벤트정보를 수신하는 단계; 및
    상기 이벤트정보에 따른 핸들정보에 대응되는 선택UI컴포넌트를 인식하고, 상기 응용프로그램에 상기 선택UI컴포넌트에 따른 입력 처리를 수행하는 단계를 포함하되,
    상기 원격제어장치는 저장된 이미지들 중 상기 속성정보에 따른 사용자입력컴포넌트들에 대응되는 것들을 이용하여 상기 사용자인터페이스 화면을 생성하는 것을 특징으로 하는 외부 장치를 이용한 입력 처리 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 속성정보는 각 사용자입력컴포넌트들의 중요도에 대한 정보를 포함하며, 상기 원격제어장치는 상기 중요도에 따라 상기 사용자입력컴포넌트들에 상응하는 이미지의 노출 여부 및 사이즈를 결정하는 것을 특징으로 하는 외부 장치를 이용한 입력 처리 방법.
  5. 청구항 1에 있어서,
    미리 저장된 각 응용프로그램의 UI컴포넌트에 대한 메타데이터를 이용하여 상기 컴포넌트 정보를 생성하는 것을 특징으로 하는 외부 장치를 이용한 입력 처리 방법.
  6. 컴퓨팅장치에서의 입력 처리 방법에 있어서,
    특정 응용프로그램의 실행에 따라 구비된 디스플레이 수단에 표시되는 실행화면 내에 포함되는 UI컴포넌트들 중 사용자로부터 특정 명령 또는 정보를 입력받기 위한 컴포넌트들을 사용자입력컴포넌트로서 구분하는 단계;
    저장된 이미지들을 이용하여 상기 사용자입력컴포넌트들의 속성정보에 따른 각 이미지가 포함된 원격제어영상을 생성하며, 상기 각 이미지에 따른 핸들정보로서 위치값들을 저장하는 단계;
    상기 원격제어영상을 원격제어장치로 전송하는 단계;
    상기 원격제어영상을 이용한 사용자인터페이스 화면을 출력한 원격제어장치로부터 사용자 입력에 따른 핸들정보인 위치값이 포함된 이벤트정보를 수신하는 단계; 및
    상기 사용자입력컴포넌트들 중 상기 이벤트정보에 포함된 핸들정보에 상응하는 선택UI컴포넌트를 인식하고, 상기 응용프로그램에 상기 선택UI컴포넌트에 따른 입력 처리를 수행하는 단계를 포함하는 외부 장치를 이용한 입력 처리 방법.
  7. 청구항 6에 있어서,
    상기 원격제어장치의 디스플레이 모듈에 상응하는 크기 또는 해상도를 갖도록 상기 원격제어영상을 생성하는 것을 특징으로 하는 외부 장치를 이용한 입력 처리 방법.
  8. 전자장치가 외부 컴퓨팅장치로의 사용자 입력을 처리하는 방법에 있어서,
    외부의 컴퓨팅장치에서 실행되는 특정 응용프로그램에 따른 실행화면 내에 포함되는 UI컴포넌트들 중 사용자로부터 특정 명령 또는 정보를 입력받기 위한 사용자입력컴포넌트들에 대한 속성정보와 핸들정보가 포함된 컴포넌트 정보를 상기 컴퓨팅장치로부터 수신하는 단계;
    저장된 이미지들을 이용하여 상기 속성정보에 따른 사용자입력컴포넌트들에 대응되는 각 이미지가 포함된 원격제어영상을 생성하는 단계; 및
    사용자로부터 상기 원격제어영상에 상응하는 사용자인터페이스 화면을 통한 입력이 감지되면, 상기 컴퓨팅장치가 상기 입력에 상응하는 UI컴포넌트를 인식하여 입력 처리하도록, 상기 입력에 상응하는 핸들정보가 포함된 이벤트정보를 생성하여 상기 컴퓨팅장치로 전송하하는 단계를 포함하는 입력 처리 방법.
  9. 삭제
  10. 삭제
  11. 디지털 정보 처리 장치에 의해 판독 가능하며, 제 1항, 제 4항 내지 제 8항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 기록 매체.
KR1020110113221A 2011-11-02 2011-11-02 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체 KR101171165B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110113221A KR101171165B1 (ko) 2011-11-02 2011-11-02 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110113221A KR101171165B1 (ko) 2011-11-02 2011-11-02 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체

Publications (1)

Publication Number Publication Date
KR101171165B1 true KR101171165B1 (ko) 2012-08-06

Family

ID=46887001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110113221A KR101171165B1 (ko) 2011-11-02 2011-11-02 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (1) KR101171165B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908108B2 (en) 2012-11-01 2014-12-09 Kt Corporation User interface to control video content play
KR101783389B1 (ko) * 2013-04-23 2017-09-29 삼성전자주식회사 단말 장치의 동작을 제어하는 디스플레이 장치 및 제어 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908108B2 (en) 2012-11-01 2014-12-09 Kt Corporation User interface to control video content play
KR101472015B1 (ko) * 2012-11-01 2014-12-12 주식회사 케이티 컨텐츠의 재생을 제어하는 제어 장치 및 방법
KR101783389B1 (ko) * 2013-04-23 2017-09-29 삼성전자주식회사 단말 장치의 동작을 제어하는 디스플레이 장치 및 제어 방법

Similar Documents

Publication Publication Date Title
US8682248B2 (en) Method and system for reproducing contents, and computer-readable recording medium thereof
US10674219B2 (en) Method and system for reproducing contents, and computer-readable recording medium thereof
US10191616B2 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
US10080096B2 (en) Information transmission method and system, and device
EP3343412B1 (en) Method and system for reproducing contents, and computer-readable recording medium thereof
CN107636749B (zh) 图像显示设备及其操作方法
CN108886634B (zh) 显示装置及操作显示装置的方法
US10108392B2 (en) User terminal apparatus, display apparatus connected to user terminal apparatus, server, connected system, controller, and controlling method thereof
US11758213B2 (en) Display apparatus and control method thereof
US10110843B2 (en) Image display device and operating method of the same
KR20160087649A (ko) 사용자 단말 장치, 시스템 및 그 제어 방법
CN111656767B (zh) 电子装置及其操作方法
KR101171165B1 (ko) 외부 장치를 이용한 입력 처리 방법 및 그 방법을 수행하는 프로그램이 기록된 기록매체
US20150138077A1 (en) Display system and display controll device
EP2894866A1 (en) Display apparatus and display method thereof
KR20150113655A (ko) 음향 신호 기반 정보 공유 방법 및 그 장치
AU2017202560B2 (en) Method and system for reproducing contents, and computer-readable recording medium thereof
US20150026571A1 (en) Display apparatus and method for providing a user interface
US20220309095A1 (en) Display device

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150624

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee