KR101964192B1 - Smart table apparatus for simulation - Google Patents
Smart table apparatus for simulation Download PDFInfo
- Publication number
- KR101964192B1 KR101964192B1 KR1020160126496A KR20160126496A KR101964192B1 KR 101964192 B1 KR101964192 B1 KR 101964192B1 KR 1020160126496 A KR1020160126496 A KR 1020160126496A KR 20160126496 A KR20160126496 A KR 20160126496A KR 101964192 B1 KR101964192 B1 KR 101964192B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- model
- display unit
- plan
- gesture
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
- A47B37/00—Tables adapted for other particular purposes
- A47B37/02—Tables specially adapted to be used with domestic photographic projectors, e.g. tables with levelling arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은, 테이블의 측면에 설치되는 제1 디스플레이부, 상기 테이블의 상면 상에 설치되고, 모델하우스 광고물에 대한 터치 스크린 인터페이스를 가지는 제2 디스플레이부, 상기 제1, 2 디스플레이 사이에 설치되고, 사용자 제스쳐에 대응하는 제스쳐 영상을 촬영하는 카메라부, 상기 모델하우스 광고물에 대한 터치 스크린 인터페이스의 터치 입력에 대응하는 모델 타입 리스트를 상기 제1, 2 디스플레이부 중 적어도 하나에 제공하고, 사용자로부터 상기 모델 타입 리스트 중 모델 항목을 입력 받으면 상기 모델 항목에 따른 평면도 또는 상기 평면도를 시점변환 평면도로 시점 변환하여 상기 제1 디스플레이부에 제공하는 제1 제어부 및 상기 제1 디스플레이부에 제공된 상기 평면도에 따라 상기 카메라부로부터 촬영된 상기 제스쳐 영상을 기반으로, 상기 평면도를 3D 영상으로 변환하여 상기 제2 디스플레이부에 제공하는 제2 제어부를 포함하는 스마트 테이블 장치를 제공한다.The present invention provides a display device comprising a first display portion provided on a side surface of a table, a second display portion provided on an upper surface of the table and having a touch screen interface to a model house advertisement, A camera unit for photographing a gesture image corresponding to a user gesture, a model type list corresponding to a touch input of a touch screen interface to the model house advertisement on at least one of the first and second display units, A first controller for performing a viewpoint conversion of the plan view or the plan view according to the model item when the model item is input from the model type list to the viewpoint conversion plan view and providing the same to the first display unit; Based on the gesture image photographed from the camera section, It converts a plan view of a 3D image provides a smart table device including a second control unit provided in the second display portion.
Description
본 발명은 시뮬레이션용 스마트 테이블 장치에 관한 것으로서, 더욱 상세하게는 아파트 등의 모델하우스 광고물에 따른 사용자 제스쳐를 인식하여 3D 영상을 제공하는 시뮬레이션용 스마트 테이블 장치에 관한 것이다.The present invention relates to a smart table apparatus for simulation, and more particularly, to a smart table apparatus for a simulation for recognizing a user gesture according to a model house advertisement such as an apartment to provide a 3D image.
국제적 기술발전의 기조가 인간 생활의 편리함과 문화적 풍성함을 위한 방향으로 발전하고 있고, 이를 위한 인식기술, 활용기술, 서비스 기술 등에 대한 수요가 증가하는 추세에 있다.The trend of international technological development is developing toward the convenience of human life and the richness of culture, and the demand for recognition technology, utilization technology and service technology for this is increasing.
그러나 이와 관련하여 현재까지 소개된 종래 기술에 따르면, 실감성 부족, 정보전달 수단의 제약 등으로 인해 2D 영상들의 만족도가 높지 않다.However, according to the related art described up to now, the satisfaction of the 2D images is not high due to the lack of actual sensibility and the restriction of the information transmission means.
즉, 현재의 기술은 아파트 등의 모델하우스에 대한 2D 영상들에 대하여, 사용자가 실제적인 공간을 확인하기에 어려움을 느끼고 있다.That is, the present technology feels difficult for a user to confirm an actual space for 2D images of a model house of an apartment or the like.
최근들어, 모델하우스에서 제공되는 2D 영상들에 대하여 사용자 터치 및 제스쳐에 따라 3D 영상을 디스플레이할 수 있는 연구가 진행 중에 있다.2. Description of the Related Art In recent years, research is being conducted to display 3D images according to a user's touch and a gesture with respect to 2D images provided in a model house.
본 발명의 목적은, 아파트 등의 모델하우스 광고물에 따른 사용자 제스쳐를 인식하여 3D 영상을 제공하는 시뮬레이션용 스마트 테이블 장치를 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a smart table device for simulation that recognizes a user gesture according to a model house advertisement of an apartment or the like to provide a 3D image.
본 발명에 따른 시뮬레이션용 스마트 테이블 장치는, 테이블의 측면에 설치되는 제1 디스플레이부, 상기 테이블의 상면 상에 설치되고, 모델하우스 광고물에 대한 터치 스크린 인터페이스를 가지는 제2 디스플레이부, 상기 제1, 2 디스플레이 사이에 설치되고, 사용자 제스쳐에 대응하는 제스쳐 영상을 촬영하는 카메라부, 상기 모델하우스 광고물에 대한 터치 스크린 인터페이스의 터치 입력에 대응하는 모델 타입 리스트를 상기 제1, 2 디스플레이부 중 적어도 하나에 제공하고, 사용자로부터 상기 모델 타입 리스트 중 모델 항목을 입력 받으면 상기 모델 항목에 따른 평면도 또는 상기 평면도를 시점변환 평면도로 시점 변환하여 상기 제1 디스플레이부에 제공하는 제1 제어부 및 상기 제1 디스플레이부에 제공된 상기 평면도에 따라 상기 카메라부로부터 촬영된 상기 제스쳐 영상을 기반으로, 상기 평면도를 3D 영상으로 변환하여 상기 제2 디스플레이부에 제공하는 제2 제어부를 포함할 수 있다.A smart table device for simulation according to the present invention comprises a first display portion provided on a side surface of a table, a second display portion provided on an upper surface of the table and having a touch screen interface to a model house advertisement, A camera unit installed between the two displays for photographing a gesture image corresponding to the user gesture, a model type list corresponding to a touch input of the touch screen interface to the model house advertisement, A first control unit for performing a viewpoint conversion of the plan view or the plan view according to the model item to the viewpoint conversion plane and providing the same to the first display unit when receiving a model item from the model type list from a user, In accordance with the above-described plan view provided in the camera unit And a second controller for converting the plan view into a 3D image based on the photographed gesture image and providing the converted 3D image to the second display unit.
상기 제2 제어부는, 상기 제2 디스플레이부에 상기 3D 영상을 제공하면, 상기 제1 제어부로 상기 평면도 또는 상기 시점변환 평면도의 제공을 오프하도록 제어할 수 있다.The second control unit may control the first control unit to turn off the providing of the plan view or the viewpoint conversion plan when providing the 3D image to the second display unit.
상기 제2 제어부는, 상기 제1 디스플레이부에 패턴 태그가 부착된 물리객체가 위치 또는 이동 시 해당 위치의 3D 영상이 상기 제2 디스플레이부에 출력되게 하는 인터페이스를 제공할 수 있다.The second control unit may provide an interface for allowing a physical object having a pattern tag attached to the first display unit to output a 3D image of the corresponding position when the physical object is moved or moved.
상기 제2 제어부는, 상기 사용자 제스쳐 중 손가락 모양 및 상기 손가락의 움직임 중 적어도 하나를 검출하여, 상기 3D 영상 또는 상기 시점변환 평면도를 생성할 수 있다.The second control unit may detect at least one of the finger shape and the finger movement of the user gesture to generate the 3D image or the viewpoint conversion plan view.
상기 시점변환 평면도는, 상기 손가락 모양 및 상기 손가락의 움직임에 따라 확대, 축소 및 회전 중 적어도 하나로 상기 평면도가 시점 변환된 평면도일 수 있다.The viewpoint conversion plan view may be a plan view in which the plan view is viewpoint-converted by at least one of the finger shape and the movement of the finger.
본 발명에 따른 시뮬레이션용 스마트 테이블 장치는, 아파트 등의 모델 하우스에 소비자가 방문하지 않고, 모델 하우스의 조감도와 다양한 내부 모습을 다양한 시점으로 체감할 수 있는 이점이 있다.The smart table device for simulation according to the present invention is advantageous in that the user can feel the bird's-eye view of the model house and various internal views at various points of time without visiting the model house of an apartment or the like.
또한, 본 발명에 따른 시뮬레이션용 스마트 테이블 장치는, 사용자 제스쳐를 인식하여 사용자 제스쳐에 대응하는 3D 영상을 디스플레이함으로써, 사용자의 인지 능력을 향상시킬 수 있는 이점이 있다.In addition, the smart table device for simulation according to the present invention has an advantage that the user's cognitive ability can be improved by recognizing the user gesture and displaying the 3D image corresponding to the user gesture.
또한, 본 발명에 따른 시뮬레이션용 스마트 테이블 장치는, 실시간 동영상, 이미지, 텍스트, 사운드 등의 공유를 통해 보다 다양한 형태의 자료를 쉽게 활용하여 효과적인 상호 소통이 가능케 하고, 인간의 감각적 인지 시스템을 최대한 지원하는 실감형 원격 협업 환경 구축으로 정보 전달의 효율성을 높일 수 있는 이점이 있다.In addition, the smart table device for simulation according to the present invention can utilize various types of data easily by sharing real-time moving images, images, texts, sounds, etc. to enable effective mutual communication and maximize human sensory cognition system It is advantageous to increase the efficiency of information transmission by constructing realistic remote collaboration environment.
도 1은 본 발명에 따른 시뮬레이션용 스마트 테이블 장치를 나타낸 사시도이다.
도 2는 본 발명에 따른 시뮬레이션용 스마트 테이블 장치의 제어구성을 나타낸 제어블록도이다.
도 3은 본 발명의 따른 시뮬레이션용 스마트 테이블 장치의 테이블 상면 평면도이다.
도 4는 본 발명에 따른 시뮬레이션용 스마트 테이블 장치의 동작을 간략하게 나타낸 동작도이다.
도 5는 본 발명에 따른 시뮬레이션용 스마트 테이블 장치의 사용자 제스쳐에 따른 동작을 간략하게 나타낸 도이다.
도 6은 본 발명에 따른 시뮬레이션용 스마트 테이블 장치의 동작방법을 나타낸 순서도이다.1 is a perspective view showing a smart table apparatus for simulation according to the present invention.
2 is a control block diagram showing a control configuration of a smart table device for simulation according to the present invention.
3 is a top plan view of a table of a smart table apparatus for simulation according to the present invention.
4 is an operation diagram briefly showing the operation of the smart table device for simulation according to the present invention.
FIG. 5 is a diagram briefly illustrating operations according to a user gesture of a smart table apparatus for simulation according to the present invention.
6 is a flowchart illustrating an operation method of a smart table device for simulation according to the present invention.
이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한 네트워크 상의 제1 구성요소와 제2 구성요소가 연결되어 있거나 접속되어 있다는 것은, 유선 또는 무선으로 제1 구성요소와 제2 구성요소 사이에 데이터를 주고 받을 수 있음을 의미한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Also, the fact that the first component and the second component on the network are connected or connected means that data can be exchanged between the first component and the second component by wire or wirelessly.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.In addition, suffixes "module" and " part "for the components used in the following description are given merely for convenience of description, and do not give special significance or role in themselves. Accordingly, the terms "module" and "part" may be used interchangeably.
이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 도면 전체를 통하여 동일하거나 유사한 구성요소에 대해서는 동일한 도면 부호를 부여하였고, 동일한 도면 부호를 가지는 구성요소에 대한 자세한 설명은 전술한 구성요소에 대한 설명으로 대체되어 생략될 수 있다.When such components are implemented in practical applications, two or more components may be combined into one component, or one component may be divided into two or more components as necessary. The same reference numerals are given to the same or similar components throughout the drawings, and detailed descriptions of components having the same reference numerals can be omitted and replaced with descriptions of the above-described components.
도 1은 본 발명에 따른 시뮬레이션용 스마트 테이블 장치를 나타낸 사시도이다.1 is a perspective view showing a smart table apparatus for simulation according to the present invention.
도 1을 참조하면, 시뮬레이션용 스마트 테이블 장치는 테이블(10), 프레임(20), 카메라부(30), 제1 디스플레이부(40) 및 제2 디스플레이부(50)을 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.Referring to FIG. 1, the smart table device for simulation may include a table 10, a
테이블(10)은 프레임(20), 카메라부(30), 제1 디스플레이부(40) 및 제2 디스플레이부(50)을 지지하며, 하부에 바퀴가 설치되어 장소의 이동이 가능할 수 있다.The table 10 supports the
프레임(20)는 카메라부(30) 및 제2 디스플레이부(50)가 설치되는 제1 프레임(21) 및 제1 프레임(21)의 외곽 둘레에 연결되어 안정성을 확보하기 위한 제2 프레임(22)을 포함할 수 있다.The
카메라부(30)는 웹 카메라로써, 사용자 제스쳐를 인식하기 위한 모션 인식 카메라일 수 있으며, 상기 사용자 제스쳐에 대응하는 제스쳐 영상(zm)을 내부의 제어부(미도시)로 전달할 수 있다.The
카메라부(30)는 제1 프레임(21)에 설치될 수 있으며, 제2 프레임(22)에도 설치될 수 있으며, 이에 한정을 두지 않는다. The
카메라부(30)는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 제1, 2 디스플레이부(40, 50) 중 적어도 하나에 표시할 수 있다.The
카메라부(30)는 테이블(10) 상면을 촬영하여 제스쳐 영상(zm)을 획득할 수 있다. The
제1 디스플레이부(40)는 사용자 터치 입력이 가능한 터치 스크린으로 구성될 수 있으며, 터치스크린 패널 및 터치스크린 패널 제어기 등을 포함할 수 있다. 이 경우, 터치스크린 패널은 외부에 부착되는 투명한 패널로서, 접촉 결과를 주시하고 있다가, 터치입력이 있는 경우 대응하는 신호들을 터치스크린 패널 제어기로 보낼 수 있다. 터치스크린 패널 제어기는 그 신호들을 처리한 다음 대응하는 데이터를 상기 제어부로 전송하여, 상기 제어부가 터치입력이 있었는지 여부와 터치스크린의 어느 영역이 터치 되었는지 여부를 알 수 있도록 한다. The
제1 디스플레이부(40)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 2차원 디스플레이(2D display) 중에서 적어도 하나를 포함할 수도 있다.The
제1 디스플레이부(40)는 아파트 등의 모델하우스 광고물에 대한 터치 스크린 인터페이스, 즉 상술한 터치스크린 패널 및 터치스크린 패널 제어기를 통해 입력된 사용자 터치 입력이 가능하도록 모델 타입 리스트 및 상기 모델 타입 리스트 중 상기 사용자 터치 입력에 대응하는 모델 항목에 따른 평면도를 제공할 수 있다.The
상기 평면도는 2D 영상으로써, 상기 모델하우스의 전체 평면도를 나타낼 수 있으며, 시점변환 평면도일 수 있으며, 이에 한정을 두지 않는다.The plan view is a 2D image, which may represent an entire plan view of the model house, and may be a viewpoint conversion plan view, but is not limited thereto.
제2 디스플레이부(50)는 상기 제어부에 의해 제어되며, 제1 디스플레이부(40)에서 사용자 터치 입력 후, 상기 사용자 제스쳐에 대한 3D 형상을 제공할 수 있다.The
제2 디스플레이부(50)는 커브스 디스플레이 장치, 및 3차원 디스플레이 장치일 수 있으며, 이에 한정을 두지 않는다.The
도 2는 본 발명에 따른 시뮬레이션용 스마트 테이블 장치의 제어구성을 나타낸 제어블록도이다.2 is a control block diagram showing a control configuration of a smart table device for simulation according to the present invention.
도 2를 참조하면, 시뮬레이션용 스마트 테이블 장치는 카메라부(30), 제1, 2 디스플레이부(40, 50) 및 제어부(60)를 포함할 수 있다.Referring to FIG. 2, the smart table device for simulation may include a
실시 예에서, 시뮬레이션용 스마트 테이블 장치는 통신부, 스피커, 메모리 및 인터페이스가 설치될 수 있으며, 이에 한정을 두지 않는다.In an embodiment, the smart table device for simulation may include, but is not limited to, a communication unit, a speaker, a memory, and an interface.
카메라부(30)는 도 1에서 상술한 바와 같이 사용자 제스쳐에 대응하는 제스쳐 영상(zm)을 촬영하여 제어부(60)로 전달할 수 있다.The
카메라부(30)는 단순히 제스쳐 영상(zm)을 제어부(60)로 전달하는 것으로 설명하지만, 제스쳐 영상(zm)에서 상기 사용자 제스쳐를 인식하여, 인식한 결과를 제어부(60)로 전달할 수 있으며, 이에 한정을 두지 않는다.The
카메라부(30)는 적어도 하나의 카메라를 포함할 수 있으며, 이에 한정을 두지 않는다.The
제1 디스플레이부(40)는 아파트 등의 모델하우스 광고물에 대한 터치 스크린 인터페이스, 즉 상술한 터치스크린 패널 및 터치스크린 패널 제어기를 통해 입력된 사용자 터치 입력이 가능하도록 모델 타입 리스트 및 상기 모델 타입 리스트 중 상기 사용자 터치 입력에 대응하는 모델 항목에 따른 평면도를 제공할 수 있다.The
이때, 제1 디스플레이부(40)는 제어부(60)의 제어에 따라 상기 사용자 터치 입력에 대응하는 2D 영상인 상기 평면도를 제공할 수 있다.At this time, the
제2 디스플레이부(50)는 제1 디스플레이부(40)에 제공된 상기 평면도에서 상기 사용자 제스쳐에 대응하는 3D 영상을 제어부(60)의 제어에 의해 제공할 수 있다.The
제어부(60)는 제1, 2 제어부(62, 64)를 포함할 수 있다.The control unit 60 may include first and second control units 62 and 64.
제1 제어부(62)는 제1 디스플레이부(40)에 상기 목록 리스트에 대한 모델 타입 리스트 및 상기 모델 타입 리스트 중 상기 사용자 터치 입력에 대응하는 모델 항목에 따른 상기 평면도가 제공되게 제어할 수 있다.The first control unit 62 can control the
제1 제어부(62)는 사용자의 터치 입력, 예를 들면 상기 사용자 제스쳐 중 손가락 모양 및 상기 손가락의 움직임에 따라 상기 평면도를 확대, 축소 및 시각축 중 적어도 하나가 변환된 시점 변환 평면도를 제공할 수 있으며, 이에 한정을 두지 않는다.The first control unit 62 may provide a viewpoint conversion plan view in which at least one of the enlargement, reduction and the time axis is transformed according to the touch input of the user, for example, the finger shape and the finger movement of the user gesture There is no limitation.
제2 제어부(64)는 제1 디스플레이부(40)에 상기 평면도 제공 이후, 카메라부(30)로부터 제스쳐 영상(zm)이 입력되면, 제스쳐 영상(zm)에서 상기 사용자 제스쳐를 인식하고, 상기 사용자 제스쳐에 대응하여 설정된 3D 영상을 제2 디스플레이부(50)에 제공되게 제어할 수 있다.The second control unit 64 recognizes the user gesture in the gesture image zm when the gesture image zm is inputted from the
실시 예에서, 제2 제어부(64)는 사용자 이외에, 패턴 태그가 부착된 물리객체, 예를 들면 사람모형, 카메라 모형 등일 수 있으며, 물리객체의 위치 또는 이동시 해당 위치의 3D 영상이 출력되어 행동에 따른 직관적인 인터페이스를 제공할 수 있다.In the embodiment, the second control unit 64 may be a physical object to which a pattern tag is attached, for example, a human model, a camera model, etc. in addition to a user, and when a physical object is moved or moved, It is possible to provide an intuitive interface according to the present invention.
제2 제어부(64)는 제2 디스플레이부(50)에 상기 3D 영상을 제공하면, 제1 제어부(62)로 제1 디스플레이부(40)에 제공하는 상기 평면도 또는 상기 시점변환 평면도의 제공을 오프하도록 제어할 수 있다.The second control unit 64 may provide the 3D image to the
이와 같이, 제어부(60)는 제1 디스플레이부(40)로부터 입력된 사용자 터치 입력에 따라 평면도를 시점 변환 평면도로 변환할 수 있으며, 제2 디스플레이부(50)에 사용자 제스쳐에 대응하여 상기 평면도를 변환한 3D 영상을 제공할 수 있다.In this way, the control unit 60 can convert the plan view into the viewpoint conversion plan view according to the user's touch input inputted from the
실시 예에 따른 시뮬레이션용 스마트 테이블 장치는 2D 영상 및 3D 영상을 각각 제1, 2 디스플레이부(40, 50)에 제공함으로써, 사용자가 아파트 등의 구조를 실제와 같이 확인할 수 있도록 시뮬레이현하여 편의성을 증대시킬 수 있는 이점이 있다.The smart table device for simulation according to the embodiment provides a 2D image and a 3D image to the first and
도 3은 본 발명의 따른 시뮬레이션용 스마트 테이블 장치의 테이블 상면 평면도이다.3 is a top plan view of a table of a smart table apparatus for simulation according to the present invention.
도 3을 참조하면, 모델하우스 광고물은 테이블(10) 상면에 배치된 광고물 배치부(12)에 놓여질 수 있다.Referring to FIG. 3, the model house advertisement may be placed in the
광고물 배치부(12)는 테이블의 상면에 제1 디스플레이부(40)와 별도로 마련된 공간에 배치되거나, 제1 디스플레이부(40)의 일부로 구현될 수 있다. 광고물 배치부(12)는 내부에 센싱부(미도시)의 RF 태그 인식 모듈을 구비할 수 있다. 이 경우, 광고물 배치부(12)는 모델하우스 광고물 속에 배치된 또는 별도의 RF 태그를 인식하여, RF 태그의 데이터를 제어부(60)로 전송할 수 있다. 제어부(60)는 RE 태그 데이터로부터 아파트 식별자를 추출할 수 있다.The
제어부(60)는 카메라부(30)가 모델하우스 광고물을 촬영한 이미지로부터 아파트 식별자를 추출할 수도 있으며, 사용자 제스쳐에 대응하는 제스쳐 영상(zm)을 출력할 수 잇다.The control unit 60 may extract the apartment identifier from the image of the
도 4는 본 발명에 따른 시뮬레이션용 스마트 테이블 장치의 동작을 간략하게 나타낸 동작도이다.4 is an operation diagram briefly showing the operation of the smart table device for simulation according to the present invention.
도 4의 (a)를 참조하면, 제2 제어부(64)는 사용자로부터 상기 모델 타입 리스트 중 모델 항목을 제1 디스플레이부(40)에 의해 터치 입력받고, 카메라부(30)로부터 사용자 제스쳐에 대한 제스쳐 영상(zm)을 입력받을 수 있다.4 (a), the second control unit 64 receives a touch input of a model item in the model type list from the user by the
이때, 제1 제어부(62)는 제1 디스플레이부(40)에서 사용자가 선택한 모델 항목에 따른 평면도가 디스플레이되도록 제2 제어부(62)를 제어할 수 있다.At this time, the first controller 62 may control the second controller 62 so that the top view according to the model item selected by the user is displayed on the
도 4의 (b)를 참조하면, 제2 제어부(64)는 제1 디스플레이부(40)가 모델 항목에 따른 평면도를 제공하면, 모델 항목에 따른 평면도에 연관된 3D 영상이 제2 디스플레이부(50)에 제공되게 제어할 수 있다.Referring to FIG. 4B, when the
스마트 테이블 장치가 모델하우스 시뮬레이션용으로 사용되는 경우, 모델하우스의 조감도를 원격지의 다른 스마트 테이블 장치로부터 원격지의 실제 모형을 스캔하여 조감도 화상 데이터를 취득할 수 있다. 이 때, 원격지의 스마트 테이블 장치를 이용하여 원격지의 모형으로부터 3차원 조감도 데이터를 취득하거나, 별도의 3차원 스캔 장치를 통해 데이터를 취득할 수 있다.When the smart table device is used for model house simulation, the bird's-eye view of the model house can be obtained by scanning the actual model of the remote location from another smart table device at the remote site. At this time, it is possible to acquire the three-dimensional bird's-eye view data from the model of the remote place using the remote smart table apparatus, or to acquire the data through the separate three-dimensional scanning apparatus.
도 5는 본 발명에 따른 시뮬레이션용 스마트 테이블 장치의 사용자 제스쳐에 따른 동작을 간략하게 나타낸 도이다.FIG. 5 is a diagram briefly illustrating operations according to a user gesture of a smart table apparatus for simulation according to the present invention.
도 5를 참조하면, 시뮬레이션용 스마트 테이블 장치는 제1 디스플레이부(40)에 디스플레이된 2D 영상에 대하여 사용자 터치 입력에 따라 제1 디스플레이부(40)에서 제공되는 2D 영상을 나타낸다.Referring to FIG. 5, the smart table device for simulation represents a 2D image provided from the
즉, 도 5의 ①은 제1 디스플레이부(40)에 제공된 2D 영상에 대하여 터치 후 좌, 우로 이동하여 멀어지는 경우, 확대된 2D 영상을 제공할 수 있다.In other words, if the 2D image provided on the
이때, 카메라부(30)는 사용자 터치 입력된 후 사용자 손의 움직임을 촬영하여, 제어부(60)로 전달하고, 제어부(60)가 이에 대응하여 설정된 동작으로 동작하여 확대된 2D 영상을 제1 디스플레이부(40)에 제공할 수 있다.At this time, the
또한, 도 5의 ②는 도 5의 ①과 반대되는 동작으로 사용자 터치 입력 후 사용자 손의 움직임이 좌, 우로 이동하여 가까워지는 경우, 축소된 2D 영상을 제공할 수 있다.5 shows the 2D image of FIG. 5 when the movement of the user's hand moves left or right after the user's touch input by moving in the opposite direction of FIG. 5 (1).
도 5의 ③은 제1 디스플레이부(40)에 제공된 2D 영상에 포함되는 메뉴에 대하여 사용자 터치 후, 중앙으로 이동하는 경우, 메뉴에 대한 2D 영상을 제공할 수 있다.5 may provide a 2D image for the menu when the user moves to the center after the user touches the menu included in the 2D image provided on the
도 5의 ④는 제1 디스플레이부(40)에 모델하우스에 대한 책이 제공되는 경우, 책의 현재 페이지에서 이전 페이지로 돌아가는 2D 영상을 나타낼 수 있으며, 도 5의 ⑤은 도 5의 ④와 반대의 동작을 나타낸다.5, the ④ of FIG. 5 may represent a 2D image that returns to the previous page from the current page of the book when the book for the model house is provided on the
도 6은 본 발명에 따른 시뮬레이션용 스마트 테이블 장치의 동작방법을 나타낸 순서도이다.6 is a flowchart illustrating an operation method of a smart table device for simulation according to the present invention.
도 6을 참조하면, 시뮬레이션용 스마트 테이블 장치는 제1 디스플레이부(40)에 아파트 등의 모델하우스 광고물을 제공할 수 있다(S110).Referring to FIG. 6, the smart table device for simulation may provide a model house advertisement such as an apartment to the first display unit 40 (S110).
실시 예에서, 모델하우스 광고물은 2D 영상의 광고책일 수 있으며, 모델하우스 광고물에 대한 모델 타입 리스트일 수 있으며, 이에 한정을 두지 않는다.In an embodiment, the model house advertisement may be an advertisement book of a 2D image, and may be a model type list for the model house advertisement, but is not limited thereto.
이후, 시뮬레이션용 스마트 테이블 장치는 제1 디스플레이부(40)에 제공된 상기 모델하우스 광고물의 사용자 터치 입력 유무를 판단할 수 있으며, 상기 사용자 터치 입력이 존재하지 않으면, (S110) 단계로 리턴한다(S120).Thereafter, the smart table device for simulation can determine the presence or absence of a user touch input of the model house advertisement provided in the
시뮬레이션용 스마트 테이블 장치는 사용자 터치 입력이 존재하면, 제1 디스플레이부(40)에 상기 사용자 터치 입력에 대응하는 2D 영상을 제공할 수 있다(S130).If there is a user touch input, the smart table device for simulation may provide the 2D image corresponding to the user touch input to the first display unit 40 (S130).
또한, 시뮬레이션용 스마트 테이블 장치는 사용자 터치 입력 후 카메라부(30)를 통하여 사용자 제스쳐에 대응하는 제스쳐 영상(zm)이 전달되면, 상기 사용자 제스쳐에 대응하는 3D 영상을 제2 디스플레이부(50)에 제공할 수 있다(S140).When the gesture image (zm) corresponding to the user gesture is transmitted through the
즉, 상술한 동작방법을 자세히 설명하면 다음과 같다.That is, the operation method described above will be described in detail as follows.
시뮬레이션용 스마트 테이블 장치의 제1 제어부(62)는 제1 디스플레이부(40)에 상기 목록 리스트에 대한 모델 타입 리스트 및 상기 모델 타입 리스트 중 상기 사용자 터치 입력에 대응하는 모델 항목에 따른 상기 평면도가 제공되게 제어할 수 있다.The first control unit 62 of the smart table device for simulation provides the
제1 제어부(62)는 사용자의 터치 입력에 따라 상기 평면도를 확대, 축소 및 시각축 중 적어도 하나가 변환된 시점 변환 평면도를 제공할 수 있으며, 이에 한정을 두지 않는다.The first controller 62 may provide a viewpoint transformation plan view in which at least one of enlargement, reduction, and a time axis of the plan view is transformed according to a touch input of the user, but the present invention is not limited thereto.
제2 제어부(64)는 제1 디스플레이부(40)에 상기 평면도 제공 이후, 카메라부(30)로부터 제스쳐 영상(zm)이 입력되면, 제스쳐 영상(zm)에서 상기 사용자 제스쳐를 인식하고, 상기 사용자 제스쳐에 대응하여 설정된 3D 영상을 제2 디스플레이부(50)에 제공되게 제어할 수 있다.The second control unit 64 recognizes the user gesture in the gesture image zm when the gesture image zm is inputted from the
또한, 제2 제어부(64)는 제2 디스플레이부(50)에 상기 3D 영상을 제공하면, 제1 제어부(62)로 제1 디스플레이부(40)에 제공하는 상기 평면도 또는 상기 시점변환 평면도의 제공을 오프하도록 제어할 수 있다.When the second control unit 64 provides the 3D image to the
이와 같이, 제어부(60)는 제1 디스플레이부(40)로부터 입력된 사용자 터치 입력에 따라 평면도를 시점 변환 평면도로 변환할 수 있으며, 제2 디스플레이부(50)에 사용자 제스쳐에 대응하여 상기 평면도를 변환한 3D 영상을 제공할 수 있다.In this way, the control unit 60 can convert the plan view into the viewpoint conversion plan view according to the user's touch input inputted from the
실시 예에 따른 시뮬레이션용 스마트 테이블 장치는 2D 영상 및 3D 영상을 r각각 제1, 2 디스플레이부(40, 50)에 제공함으로써, 사용자가 아파트 등의 구조를 실제와 같이 확인할 수 있도록 시뮬레이현하여 편의성을 증대시킬 수 있는 이점이 있다.The smart table device for simulation according to the embodiment provides a 2D image and a 3D image to the first and
상기 본 발명은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 상기 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The present invention can be implemented in hardware or software. The present invention can also be embodied as computer readable code on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes and modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.
Claims (5)
상기 테이블의 상면 상에 설치되고, 모델하우스 광고물에 대한 터치 스크린 인터페이스를 가지는 제2 디스플레이부;
상기 제1 및 제2 디스플레이부 사이에 설치되고, 사용자 제스쳐에 대응하는 제스쳐 영상을 촬영하는 카메라부; 및
제1 및 제2 제어부를 구비하며, 사용자 제스쳐에 대응하는 제스쳐 영상을 출력하는 제어부를 포함하고,
상기 제1 제어부는, 상기 모델하우스 광고물에 대한 터치 스크린 인터페이스의 터치 입력에 대응하는 모델 타입 리스트를 상기 제1 디스플레이부에 제공하고, 사용자로부터 상기 모델 타입 리스트 중 모델 항목을 입력 받으면 상기 모델 항목에 따른 평면도 또는 상기 평면도를 시점변환 평면도로 시점 변환하여 상기 제1 디스플레이부에 제공하고,
상기 제2 제어부는, 상기 제1 디스플레이부에 제공된 상기 평면도에 따라 상기 카메라부로부터 촬영된 상기 제스쳐 영상을 기반으로, 상기 평면도를 3D 영상으로 변환하여 상기 제2 디스플레이부에 제공하고,
상기 테이블 상면에 배치되어 상기 제1 디스플레이의 일부이고, 내부에 RF 태그 인식 모듈을 구비하는 센싱부를 구비하고, 상기 모델하우스 광고물 속에 배치된 RF 태그의 데이터를 상기 제어부로 전송하는 광고물 배치부를 더 포함하고,
상기 제어부는 상기 RF 태그 데이터로부터 아파트 식별자를 추출하고,
상기 제2 제어부는, 상기 제1 디스플레이부에 패턴 태그가 부착된 물리객체가 위치 또는 이동 시 해당 위치의 3D 영상이 상기 제2 디스플레이부에 출력되게 하는 인터페이스를 제공하는, 스마트 테이블 장치.A first display unit installed on a side surface of the table;
A second display unit installed on the upper surface of the table and having a touch screen interface with the model house advertisement;
A camera unit installed between the first and second display units for photographing a gesture image corresponding to a user gesture; And
And a controller for outputting a gesture image corresponding to the user gesture,
Wherein the first controller provides the model type list corresponding to the touch input of the touch screen interface to the model house advertisement to the first display unit and when receiving the model item from the model type list, Or the planar view according to the first embodiment of the present invention,
Wherein the second control unit converts the plan view into a 3D image based on the gesture image photographed from the camera unit according to the plan view provided on the first display unit and provides the 3D image to the second display unit,
And a sensing unit disposed on the upper surface of the table and being part of the first display and having an RF tag recognition module therein and configured to transmit the data of the RF tag disposed in the model house advertisement to the control unit Further included,
The control unit extracts an apartment identifier from the RF tag data,
Wherein the second control unit provides an interface for allowing a physical object having a pattern tag attached thereto to output a 3D image of a corresponding position when the physical object is moved or moved.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160126496A KR101964192B1 (en) | 2016-09-30 | 2016-09-30 | Smart table apparatus for simulation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160126496A KR101964192B1 (en) | 2016-09-30 | 2016-09-30 | Smart table apparatus for simulation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180036205A KR20180036205A (en) | 2018-04-09 |
KR101964192B1 true KR101964192B1 (en) | 2019-04-02 |
Family
ID=61978220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160126496A KR101964192B1 (en) | 2016-09-30 | 2016-09-30 | Smart table apparatus for simulation |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101964192B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2591722A (en) * | 2019-10-12 | 2021-08-11 | Isaac Julia Martinez | Interactive table |
KR102320229B1 (en) | 2020-05-13 | 2021-11-02 | 주식회사 인터포름 | Smart tables for MR learning content and how to provide them |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102540715B1 (en) * | 2021-04-21 | 2023-06-08 | 주식회사 비놀로지 | Smart desk with scan function |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271992A (en) * | 2002-03-13 | 2003-09-26 | Fukui Computer Kk | Virtual model house experience system, method and program, and computer-readable storage medium storing virtual model house experience program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8933912B2 (en) * | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
KR20140122054A (en) * | 2013-04-09 | 2014-10-17 | 삼성전자주식회사 | converting device for converting 2-dimensional image to 3-dimensional image and method for controlling thereof |
-
2016
- 2016-09-30 KR KR1020160126496A patent/KR101964192B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271992A (en) * | 2002-03-13 | 2003-09-26 | Fukui Computer Kk | Virtual model house experience system, method and program, and computer-readable storage medium storing virtual model house experience program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2591722A (en) * | 2019-10-12 | 2021-08-11 | Isaac Julia Martinez | Interactive table |
KR102320229B1 (en) | 2020-05-13 | 2021-11-02 | 주식회사 인터포름 | Smart tables for MR learning content and how to provide them |
Also Published As
Publication number | Publication date |
---|---|
KR20180036205A (en) | 2018-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887312B2 (en) | Fiducial marker patterns, their automatic detection in images, and applications thereof | |
CN102693047B (en) | The method of numerical information and image is shown in cooperative surroundings | |
EP2919104B1 (en) | Information processing device, information processing method, and computer-readable recording medium | |
CN102541256A (en) | Position aware gestures with visual feedback as input method | |
CN105493023A (en) | Manipulation of content on a surface | |
KR20100030404A (en) | User information input method by recognizing a context-aware on screens | |
CN111344663B (en) | Rendering device and rendering method | |
CN104067204A (en) | Stylus computing environment | |
US20130229342A1 (en) | Information providing system, information providing method, information processing apparatus, method of controlling the same, and control program | |
CN102681870A (en) | Automatically performing an action upon a login | |
KR102546510B1 (en) | Method for providing information mapped between plurality inputs and electronic device supporting the same | |
KR101964192B1 (en) | Smart table apparatus for simulation | |
JPWO2019069575A1 (en) | Information processing equipment, information processing methods and programs | |
CN103502910B (en) | Method for operating laser diode | |
JP2005275439A (en) | Ui design evaluation method and apparatus | |
CN112711335A (en) | Virtual environment picture display method, device, equipment and storage medium | |
KR102079033B1 (en) | Mobile terminal and method for controlling place recognition | |
JPH1153111A (en) | Information input/output device | |
TW201351308A (en) | Non-contact medical navigation system and control method therefof | |
KR101491648B1 (en) | System and Method for remote control using camera | |
TWI525587B (en) | Virtual interactive-learning somatosensory device | |
KR101486488B1 (en) | multi-user recognition multi-touch interface method | |
Kano et al. | Hand waving in command spaces: a framework for operating home appliances | |
CN112954480B (en) | Data transmission progress display method and data transmission progress display device | |
KR102612430B1 (en) | System for deep learning-based user hand gesture recognition using transfer learning and providing virtual reality contents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |