KR20140126529A - Physical Movement of Object on Reality-Augmented Reality Interaction System and Implementation Method for Electronic book - Google Patents
Physical Movement of Object on Reality-Augmented Reality Interaction System and Implementation Method for Electronic book Download PDFInfo
- Publication number
- KR20140126529A KR20140126529A KR1020130044798A KR20130044798A KR20140126529A KR 20140126529 A KR20140126529 A KR 20140126529A KR 1020130044798 A KR1020130044798 A KR 1020130044798A KR 20130044798 A KR20130044798 A KR 20130044798A KR 20140126529 A KR20140126529 A KR 20140126529A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- electronic book
- unit
- physical operation
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 물리적 공간(physical space) 현실에서의 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법에 관한 것으로, 사용자가 제공하는 객체의 물리적 동작과 전자책이 표상하는 객체의 정보를 종합적으로 분석하고, 분석된 결과에 대응되는 가상 객체를 포함하는 증강 현실을 제공하는, 사용자의 참여를 유도하고 직관적인 방법으로 사용 가능한 전자책 시스템 및 구현 방법에 관한 것이다.The present invention relates to a physical operation-augmented reality interactive type electronic book system and an implementation method of an object in a physical space reality. The system includes a physical operation of an object provided by a user, The present invention relates to an e-book system and an implementation method that can be used in an intuitive manner by inducing participation of users by providing an augmented reality including a virtual object corresponding to an analyzed result.
최근 무선 통신망의 발달과 모바일 기기의 보급에 따라 종이책에 대한 수요는 감소하는 반면, 전자책(e-book)에 대한 수요는 급속도로 증가하고 있다(노준석, "세계 전자책(e-book) 시장의 현황과 이슈 분석", 12호(통권 60호), 한국 콘텐츠 진흥원, 2012). 미국 시장의 경우, 종이책에 비해 전자책 시장의 성장률이 높게 나타나며, 특히 어린이/청소년을 위한 전자책의 시장은 매우 높은 성장률을 나타내고 있다(S. Andi, "Publishing industry has strong January revenue growth in print books and ebooks for all audience", Association of American Publishers, 2010). 이에 따라 교육 콘텐츠 업계의 전자책에 대한 관심이 점점 커지고 있으며, 아이들을 위한 전자책 콘텐츠의 연구 개발에 대한 필요성 또한 더욱 증대되고 있는 상황이다.Recently, the demand for e-books has been rapidly increasing due to the development of wireless communication networks and the spread of mobile devices (Rho, Analysis of market situation and issues ", No. 12 (60th edition), Korea Creative Content Agency, 2012). In the US market, the growth rate of e-book market is higher than that of paper books. Especially, the market of e-books for children / young people shows a very high growth rate (S. Andi, books and ebooks for all audience ", Association of American Publishers, 2010). As a result, interest in e-books in the educational content industry is growing, and the need for research and development of e-book contents for children is also increasing.
한편, 컴퓨터 그래픽 기술을 기반으로 하는 증강 현실에 관한 기술이 발전함에 따라, 증강 현실 시스템과 전자책 콘텐츠를 결합한 다양한 전자책 제작이 시도되었다. 주로 전자책에 특수한 형태를 가지는 마커를 삽입하거나, 그림의 특징(feature)을 이용하여 전자책의 그림을 인식한 후, 대응되는 가상 객체를 현실 영상에 중첩하여 디스플레이 장치를 통해 보여주는 방식이 사용되었다. On the other hand, with the development of augmented reality technology based on computer graphics technology, a variety of e-book combinations combining an augmented reality system and electronic book contents have been attempted. A method of inserting a marker having a specific shape into an electronic book or recognizing a picture of an electronic book using features of a picture and then superimposing the corresponding virtual object on a real image and displaying it through a display device .
그러나 기존의 증강 현실 시스템과 융합된 전자책 콘텐츠를 살펴보면, '브루즈 시리즈', '신데렐라'와 같이 사용자와의 상호작용에 있어 단순히 태블릿 PC를 터치하는 방법이 사용되거나, 사용자가 모바일 기기의 카메라를 통해 책을 비추면 움직이는 그림이나 비디오가 재생되는 방법이 사용되어, 사용자에게 직관적인 입력 환경을 제공할 수 없으며, 특히 사용자의 참여가 중요한 요소인 어린이/청소년용 콘텐츠에 있어 효과적인 사용자의 참여를 이끌어낼 수 없다는 문제점이 제기되어 왔다.However, if we look at e-book contents that are merged with existing augmented reality systems, it is possible to use a method of simply touching a tablet PC in interaction with a user such as 'Bruce series' or 'Cinderella' , It is not possible to provide users with an intuitive input environment by using a moving picture or video playback method, and in particular, it is important that users' participation in content for children / The problem has been raised that it can not be drawn.
상기와 같은 문제점을 해결하기 위하여 본 발명은, 사용자의 참여를 유도할 수 있고, 직관적인 방법으로 사용 가능한 전자책 시스템 및 구현 방법을 제공하는 것을 그 목적으로 한다.In order to solve the above problems, it is an object of the present invention to provide an electronic book system and an implementation method that can induce user participation and can be used in an intuitive manner.
상기 목적을 달성하기 위해 본 발명은, 물리적으로 동작할 수 있는 현실 객체와 전자책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득부; According to an aspect of the present invention, there is provided an image processing apparatus including an image acquiring unit acquiring an image of a real environment including a physical object and an electronic book capable of physically operating;
상기 영상 획득부에서 획득된 상기 영상으로부터 상기 현실 객체의 물리적 동작 정보를 추출하는 물리적 동작 정보 추출부;A physical operation information extracting unit for extracting physical operation information of the real object from the image acquired by the image acquiring unit;
상기 영상 획득부에서 획득된 상기 영상으로부터 상기 전자책 정보를 추출하는 전자책 정보 추출부;An electronic book information extracting unit for extracting the electronic book information from the image acquired by the image acquiring unit;
상기 물리적 동작 정보 추출부에서 추출된 상기 물리적 동작 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책 정보를 종합한 후, 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환하는 증강 현실 제공부; 및The physical operation information extracted by the physical operation information extracting unit and the e-book information extracted by the e-book information extracting unit are integrated, and then the corresponding virtual object is superimposed on the actual environment and converted into a displayable signal Reality offering; And
상기 증강 현실 제공부로부터 상기 신호를 전송받아 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 전자책 시스템을 제공한다.And a display unit for receiving and displaying the signal from the augmented reality providing unit.
본 발명의 일실시예에 따르면, 상기 영상 획득부는 RGB-D 카메라 센서를 이용한 영상 획득 장치를 통해 영상을 획득하는 것을 특징으로 한다.According to an embodiment of the present invention, the image acquiring unit acquires an image through an image acquiring apparatus using an RGB-D camera sensor.
본 발명의 일실시예에 따르면, 상기 물리적 동작 정보 추출부는 현실 객체가 존재하지 않았을 때의 배경 영상과 현실 객체가 존재하는 상황에서의 영상의 디지털 신호의 차이를 통해, 배경 영상으로부터 현실 객체의 영상 정보를 분리(segmentation)하고, 분리된 현실 객체의 영상 정보에 대응되는 객체 정보를 추출하는 것을 특징으로 한다. According to an embodiment of the present invention, the physical operation information extracting unit extracts the physical object information from the background image and the image of the real object through the difference between the background image when the real object does not exist and the digital signal of the image when the real object exists. Information is segmented, and object information corresponding to the image information of the separated real object is extracted.
이때, 상기 물리적 동작 정보 추출부는 영상 획득부로부터 전달받은 영상으로부터 현실 객체가 포함된 영역을 분리하는 전처리 단계를 더 포함할 수 있다.In this case, the physical operation information extracting unit may further include a preprocessing step of separating an area including the real object from the image received from the image obtaining unit.
또한, 상기 객체 정보는 객체의 움직임에 관한 정보를 더 포함할 수 있다.In addition, the object information may further include information on motion of the object.
상기 객체 정보를 추출하는 방법으로는 상기 분리된 현실 객체의 바운더리(boundary) 정보가 사용될 수 있다.As a method of extracting the object information, boundary information of the separated real object can be used.
본 발명의 일실시예에 따르면, 상기 전자책 정보 추출부는 상기 영상 획득부로부터 전달받은 영상으로부터 전자책이 포함된 영역을 분리한 후, 상기 전자책에 대응되는 객체 정보를 추출하는 것을 특징으로 한다.According to an embodiment of the present invention, the electronic book information extracting unit is configured to extract the object information corresponding to the electronic book after separating the area including the electronic book from the image received from the image obtaining unit .
이때, 상기 객체 정보를 추출하는 방법으로는 마커 인식 방법 또는 프레임 매칭 방법이 사용될 수 있다.At this time, as a method of extracting the object information, a marker recognition method or a frame matching method can be used.
본 발명의 일실시예에 따르면, 상기 증강 현실 제공부는 상기 물리적 동작 정보 추출부에서 추출된 상기 물리적 동작 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책 정보를 비교한 후, 대응되는 가상 객체가 동일한 경우 상기 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 영상 신호로 변환하는 것을 특징으로 한다.According to an embodiment of the present invention, the augmented reality providing unit compares the physical operation information extracted by the physical operation information extracting unit and the e-book information extracted by the e-book information extracting unit, The corresponding virtual object is superimposed on the real environment and converted into a displayable video signal.
본 발명의 일실시예에 따르면, 상기 디스플레이부는 시각 디스플레이 장치 및 청각 디스플레이 장치 중 어느 하나 이상의 장치를 포함하는 것을 특징으로 한다. According to an embodiment of the present invention, the display unit includes at least one of a visual display device and an auditory display device.
본 발명의 일실시예에 따르면, 상기 시각 디스플레이 장치는 실제 환경에 3차원 가상 객체가 증강된 영상을 출력하는 것을 특징으로 한다.According to an embodiment of the present invention, the visual display device outputs an enhanced image of a three-dimensional virtual object in a real environment.
본 발명의 일실시예에 따르면, 상기 전자책 시스템은 상기 현실 객체가 움직임을 가지는 경우 상기 현실 객체의 움직임에 관한 정보를 상기 대응되는 가상 객체에 실시간으로 반영시키는 것을 특징으로 한다. According to an embodiment of the present invention, the e-book system may reflect information about the motion of the real object to the corresponding virtual object in real time when the real object has motion.
본 발명의 일실시예에 따르면, 상기 전자책 시스템은 상기 물리적 동작 정보 추출 과정과 상기 전자책 정보 추출 과정이 2 개의 쓰레드(thread)를 통해 동시에 이루어지는 것을 특징으로 한다.According to an embodiment of the present invention, in the electronic book system, the process of extracting the physical operation information and the process of extracting the electronic book information are simultaneously performed through two threads.
또한 상기 목적을 달성하기 위해 본 발명은, 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 구현 방법에 있어서, According to another aspect of the present invention, there is provided a method for realizing an interaction type e-
물리적으로 동작할 수 있는 현실 객체와 전자책을 포함한 실제 환경에 대한 영상을 획득하는 단계; Acquiring an image of a real environment including a physical object capable of physically operating and an electronic book;
상기 획득된 영상으로부터 상기 현실 객체의 물리적 동작 정보를 추출하는 단계;Extracting physical operation information of the real object from the obtained image;
상기 획득된 영상으로부터 상기 전자책 정보를 추출하는 단계;Extracting the electronic book information from the acquired image;
상기 물리적 동작 정보와 상기 전자책 정보를 종합한 후, 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환하는 단계; 및Synthesizing the physical operation information and the electronic book information, and then converting the virtual object into a displayable signal by superposing a corresponding virtual object on the real environment; And
상기 신호를 전송받아 디스플레이하는 단계를 포함하는 것을 특징으로 하는 전자책 구현 방법을 제공한다. And receiving and displaying the received signal.
본 발명에 따른 전자책 시스템 및 구현 방법은, 사용자가 제공하는 현실 객체의 물리적 동작을 분석하고, 분석된 정보에 대응되는 가상 객체를 포함하는 증강 현실을 제공함으로써, 사용자의 참여를 유도하고 직관적인 방법으로 사용 가능하게 하여, 사용자의 편의를 극대화시키는 효과가 있다. 또한, 사용자 행위에 즉각적으로 대응한다는 측면에서 어린이/청소년 사용자들의 흥미를 유발하고, 높은 몰입갑을 제공함으로써 인지적 능력을 향상시키는 긍정적 교육 효과를 가진다.The e-book system and method according to the present invention can analyze a physical operation of a real object provided by a user and provide an augmented reality including a virtual object corresponding to the analyzed information, Method, thereby maximizing convenience for the user. In addition, it has a positive educational effect that enhances the cognitive ability by inducing interest of children / youth users in terms of instantly responding to user's actions and providing a high immersion game.
도 1은 본 발명의 일실시예에 따른 전자책 시스템의 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템을 나타낸 사진이다.
도 3은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템의 동작 방식을 나타낸 흐름도이다.
도 4는 본 발명의 일실시예에 따른 현실 객체의 물리적 동작 정보 추출 방식을 나타낸 그림이다.
도 5는 본 발명의 일실시예에 따른 디스플레이부의 디스플레이 장면을 나타낸 사진이다.
도 6은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 구현 방법의 동작 방식을 나타낸 흐름도이다.
도 7은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작 정보 추출 단계의 구체적인 동작 방식을 나타낸 흐름도이다.1 is a block diagram schematically showing a configuration of an electronic book system according to an embodiment of the present invention.
2 is a photograph showing a physical operation-augmented reality interactive e-book system of a real object according to an embodiment of the present invention.
FIG. 3 is a flowchart illustrating an operation method of a physical operation-augmented reality interactive e-book system of a real object according to an embodiment of the present invention.
4 is a diagram illustrating a method of extracting physical operation information of a real object according to an embodiment of the present invention.
5 is a photograph showing a display screen of a display unit according to an embodiment of the present invention.
6 is a flowchart illustrating an operation method of a method for implementing a physical operation-augmented reality interactive e-book of a real object according to an embodiment of the present invention.
7 is a flowchart illustrating a concrete operation method of extracting physical operation information of a real object according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법을 상세하게 설명한다.
Hereinafter, a physical operation-augmented reality interactive e-book system and an implementation method of an object of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 전자책 시스템의 구성을 개략적으로 나타낸 구성도이다. 상기 구성도를 참조하면, 본 발명의 일실시예에 따른 전자책 시스템은, 영상 획득부(110), 물리적 동작 정보 추출부(120), 전자책 정보 추출부(130), 증강 현실 제공부(140) 및 디스플레이부(150)를 포함한다. 1 is a block diagram schematically showing a configuration of an electronic book system according to an embodiment of the present invention. The electronic book system according to an embodiment of the present invention includes an
영상 획득부(110)는 물리적으로 동작할 수 있는 현실 객체(112)와 전자책(114)을 포함한 실제 환경(116)에 대한 영상을 획득한다. 이때, 상기 현실 객체(112)에는 구체적인 형태를 지닌 유형물로 움직임을 표현할 수 있는 것이라면 모두 포함되는 것으로, 예를 들어 사물이나 사람의 손이 포함될 수 있으며, 특정 사물의 모습을 묘사하거나 움직임을 표현하는 방식으로 사용될 수 있다. 다만, 상기 현실 객체(112)는 사물과 사람을 모두 포함할 수 있는 것으로, 전술한 바에 한정되는 것은 아니다.The
상기 전자책(114)은 인쇄 매체 또는 전자 매체일 수 있다. 상기 인쇄 매체에는 2차원 또는 3차원으로 표현된 도안이 포함될 수 있으며, 상기 전자 매체에는 타블렛 PC 등의 2차원 또는 3차원으로 도안을 표현할 수 있는 전자 기기가 포함될 수 있다. 이때, 전자책(114)의 상기 도안에는 가상 객체를 표상하는 마커가 구비되어 있을 수 있다. 상기 마커는 가상 객체를 표상하기 위하여 전자책(114)에 구비되는 것으로, 2차원 도안으로 표현된 2차원 마커, 2차원 이미지, 3차원 이미지, 비가시적 마커(Invisible Marker) 중 어느 하나일 수 있다. 다만, 전자책(114)의 도안을 인식하는 방법으로, 마커를 사용하지 않고 도안의 프레임 매칭을 통해 도안이 표상하는 가상 객체를 인식하는 방법이 사용될 수 있으므로, 상기 마커가 반드시 포함되는 것은 아니다. The
상기 영상 획득은 영상 획득 장치(118)를 통해 이루어지며, 상기 영상 획득 장치(118)는 물리적으로 동작할 수 있는 현실 객체(112)와 전자책(114)을 포함한 실제 환경(116)에 대한 영상을 획득하여 물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)로 전달하는 기능을 수행한다. 상기 영상 획득 장치(118)로는, 카메라 또는 캠코더가 사용될 수 있으며, 예를 들어 영상의 RGB값을 측정하는 외에도 깊이(Depth) 값을 측정할 수 있는 RGB-D 센서를 이용한 카메라가 사용될 수 있다. 상기 영상 획득 장치(118)로는, 실제 환경(116)의 영상을 전자 신호로 변환할 수 있는 장비라면 어떤 장비라도 사용될 수 있으므로 전술한 바에 한정되는 것은 아니다. The image acquisition is performed through an
물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)는 상기 영상 획득부(110)로부터 전달받은 영상 정보로부터 현실 객체(112)의 물리적 동작에 관한 정보와 전자책(114)의 도안에 관한 정보를 분리하여, 증강 현실 제공부(140)로 전달한다. 이때, 상기 물리적 동작 정보 추출부(120)의 물리적 동작 정보 추출 과정와 전자책 정보 추출부(130)의 전자책 정보 추출 과정은, 1 개의 쓰레드(thread)를 이용하여 순차적으로 이루어질 수 있으며, 2 개의 쓰레드(thread)를 이용하여 동시에 이루어질 수도 있다. 상기 쓰레드(thread)는 컴퓨터 프로그램 수행 시 프로세스 내부에 존재하는 수행 경로를 의미하는 것으로, 2 개의 쓰레드(thread)가 하나의 운영 체제 내에서 동시에 수행될 수 있다.The physical operation
물리적 동작 정보 추출부(120)가 상기 영상 정보로부터 현실 객체(112)의 물리적 동작에 관한 정보를 추출하기 위한 방법으로는, 영상 정보로부터 현실 객체(112)가 포함된 영역을 분리한 후, 현실 객체가(112) 존재하지 않았을 때의 영상 정보와 현실 객체가(112)가 존재하는 상황에서의 영상 정보의 디지털 신호의 차이를 통해, 해당 영역의 영상 정보로부터 현실 객체(112)에 대한 영상 정보를 분리(segmentation)하는 방법이 사용될 수 있다. 이때, 영상 정보로부터 현실 객체(112)가 포함된 영역을 분리하는 방법으로는, 사용자가 미리 영상의 일정 부분을 현실 객체(112)가 포함된 영역으로 설정해 둔 후, 해당되는 영역을 분리하는 방법이 사용되거나, 전체 영상 정보로부터 현실 객체(112)가 존재하는 영역을 인식한 후, 현실 객체(112)를 포함하는 주변 영역을 자동으로 분리하는 방법이 사용될 수 있으나, 이에 제한되는 것은 아니다.The physical operation
상기 영상 정보를 분리(segmentation)한 후에는, 해당 영상 정보로부터 특징(feature) 값을 추출(extraction)하는 과정이 더 포함될 수 있다. 상기 특징(feature) 값으로는, 추출된 분리된 현실 객체(112)에 대한 영상의 바운더리(boundary) 정보가 사용될 수 있는데, 구체적으로는 바운더리(boundary) 정보의 꼭지점 개수가 사용될 수 있으며, 예를 들어 Convex Hull Algorithm을 이용하여 구해진 껍질(hull)의 개수와 결점(defect)의 개수가 사용될 수 있다. 이때, 상기 물리적 동작 정보 추출부(120)가 추출하는 상기 물리적 동작 정보는, 상기 추출(extraction)된 특징(feature) 값에 대응하는 객체 정보와, 객체의 움직임에 대한 정보를 포함할 수 있으며, 상기 움직임에 대한 정보는 상기 분리된 현실 객체(112)가 포함된 영역에서의 분리된 현실 객체(112)의 상대적 위치 정보일 수 있다. 다만, 상기 Convex Hull Algorithm은 빠른 속도로 현실 객체(112)의 특징(feature) 값을 추출하기 위하여 선택된 하나의 알고리즘에 불과한 것으로, 상기 물리적 동작 정보를 추출하는 방법으로는 현실 객체(112)의 특징(feature)을 나타내는 방법이라면 어떤 방법이라도 사용될 수 있으며, 따라서 전술한 바에 한정되는 것은 아니다.After the image information is segmented, a process of extracting a feature value from the image information may be further included. As the feature value, the boundary information of the image for the extracted separated
전자책 정보 추출부(130)는 인쇄 매체 또는 전자 매체의 도안에 대한 정보를 추출한다. 만약 상기 도안에 가상 객체를 표상하는 마커가 구비되어 있다면, 마커 인식 방법이 사용될 수 있으며, 마커 인식 방법은 상기 마커에 직접적으로 대응되는 객체 정보를 데이터베이스로부터 찾아내는 방식으로 수행될 수 있다. 마커가 구비되어 있지 않을 경우에는, 도안의 프레임 매칭 방법을 통해 대응되는 객체 정보를 찾아낼 수 있다. 상기 프레임 매칭을 하는 방법으로는, SIFT(Scale Invariant Feature Transform) 알고리즘을 사용하여 도안의 특징(feature) 값을 추출(extraction)한 후 특징(feature) 값을 데이터베이스에 저장되어 있는 것과 비교한 후, 가장 높은 상관관계를 가지는 객체를 탐색하는 방법이 사용될 수 있다. 상기 마커 또는 프레임 매칭을 통해 도안에 대응하는 객체 탐색이 완료되면, 해당 객체의 정보를 증강 현실 제공부(140)로 전달할 수 있다. 따라서 상기 전자책 정보 추출부(130)에 의해 추출되는 도안에 대한 정보는, 상기 마커 또는 프레임 매칭 결과에 대응하는 객체 정보와, 도안의 상대적 위치 정보를 포함할 수 있다. 다만, 상기 SIFT(Scale Invariant Feature Transform) 알고리즘은 현실 객체(112)의 특징(feature) 값을 추출하기 위하여 선택된 하나의 알고리즘에 불과한 것으로, 그 외에도 SURF(Speeded Up Robust Feature) 알고리즘, PCA-SIFT(Principal Component Analysis based SIFT) 알고리즘, FAST(Feature from Accelerated Segment Test) 알고리즘 등이 사용될 수 있는 것으로, 전술한 바에 한정되는 것은 아니다.The electronic book
증강 현실 제공부(140)는 상기 물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)로부터 전달받은 정보를 종합하여 표상하는 가상 객체를 찾아낸 후, 가상 객체를 상기 실제 환경(116)에 중첩하여 디스플레이 가능한 신호로 변환하여 디스플레이부(150)로 전달하는 기능을 수행한다.The augmented
상기 증강 현실 제공부(140)가 상기 물리적 동작 정보 추출부(120)로부터 전달 받는 정보에는, 현실 객체(112)에 대응되는 객체 정보와 현실 객체의 위치 정보가 포함될 수 있으며, 상기 증강 현실 제공부(140)가 상기 전자책 정보 추출부(130)로부터 전달받은 정보에는 전자책(114)의 도안에 대응되는 객체 정보와 도안의 위치 정보가 포함될 수 있다. The information received from the augmented
상기 증강 현실 제공부(140)는 상기 물리적 동작 정보 추출부(120)에서 전달받은 객체 정보와, 상기 전자책 정보 추출부(130)에서 전달받은 객체 정보를 비교한 후, 양 객체 정보가 동일한 경우에만 해당 객체 정보가 표상하는 가상 객체를 상기 실제 환경(116)에 중첩하여 디스플레이 가능한 신호로 변환하여 디스플레이부(150)로 전달할 수 있다. 이때, 상기 가상 객체는, 상기 증강 현실 제공부(140)가 전달받은 현실 객체(112)의 위치 정보 또는 전자책(114)의 위치 정보에 대응하는 위치에 중첩될 수 있으나, 사용자가 원하는 어느 위치에도 중첩될 수 있는 것으로 이에 제한되는 것은 아니다. 만약 양 객체 정보가 동일하지 않거나, 상기 물리적 동작 정보 추출부(120) 또는 상기 전자책 정보 추출부(130)로부터 대응하는 객체 정보를 전달받지 못하여 표상하는 가상 객체를 찾을 수 없는 경우에는, 가상 객체를 중첩시키지 않은 실제 환경(116)에 대한 영상 정보만 디스플레이 가능한 신호로 변환하여 디스플레이부(150)로 전달할 수 있다. The augmented
상기 물리적 동작 정보 추출부(120), 전자책 정보 추출부(130), 증강 현실 제공부(140)는 기능에 따라 구분한 것이고, 각 구성은 하나의 소프트웨어의 모듈로 구현 가능하나, 이에 제한되는 것은 아니다.The physical operation
디스플레이부(150)는 시각 디스플레이 장치(152) 및 청각 디스플레이 장치(154) 중 적어도 어느 하나를 포함한다. 상기 시각 디스플레이 장치(152)로는 상기 영상 획득부(110)에서 획득된 실제 환경(116)에, 상기 증강 현실 제공부(140)에 의하여 제공되는 2차원 또는 3차원 이미지, 홀로그램(hologram), 혹은 동영상 형태의 가상 객체가 증강되어 출력된다. 상기 시각 디스플레이 장치(152)는 예를 들어 LCD 모니터이거나, 빔 프로젝터와 스크린일 수 있으며, 가상 객체를 시각적으로 표현할 수 있는 장치라면 모두 포함되는 것으로, 전술한 바에 한정되는 것은 아니다. 현실 객체(112)가 움직이는 경우, 상기 가상 객체는 현실 객체(112)의 움직임에 따라 다른 위치에서 증강되어 출력될 수 있다. 상기 청각 디스플레이 장치(154)로는 가상 객체 또는 그 움직임에 대응하는 청각적 음향 효과가 출력될 수 있다. The
도 2는 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템을 나타낸 사진이다. 2 is a photograph showing a physical operation-augmented reality interactive e-book system of a real object according to an embodiment of the present invention.
이하에서는, 설명의 편의를 위해 현실 객체(112)의 동작이 손 동작인 경우로 가정하여 설명한다. 그러나 본 발명의 현실 객체(112)가 손인 경우로 한정되는 것은 아니다. Hereinafter, for convenience of explanation, it is assumed that the operation of the
본 발명의 일실시예에 따르면, 상기 현실 객체(112)로서 사람의 손 동작(210)이 사용될 수 있으며, 상기 전자책(114)으로는 타블렛 PC의 전자책 콘텐츠(220)가 사용될 수 있다. 상기 사람의 손 동작(210)과 타블렛 PC의 전자책 콘텐츠(220)는 영상 획득 장치인 Kinect RGB-D 카메라(230)에 의해 촬영될 수 있으며, 상기 물리적 동작 정보 추출부(120) 및 전자책 정보 추출부(130)에서 상기 촬영된 영상으로부터 객체 정보를 추출한 후, 여러 사람이 볼 수 있는 디스플레이 장치(240)를 통해 상기 추출된 객체가 표상하는 3차원 객체를 중첩하여 디스플레이 하는 방식으로 작동될 수 있다.According to an embodiment of the present invention, a
도 3은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템의 동작 방식을 나타낸 흐름도이다. FIG. 3 is a flowchart illustrating an operation method of a physical operation-augmented reality interactive e-book system of a real object according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 전자책 시스템은 객체를 증강하는 과정(310)과, 물리적 동작과 상호작용하는 과정(320)을 포함할 수 있다. As shown in FIG. 3, an electronic book system according to an embodiment of the present invention may include a
본 발명의 일실시예에 따르면, 영상 획득부(110)로부터 획득되는 실제 환경(116)의 현실 객체(112)는 사람의 손일 수 있으며, 따라서 영상 획득부(110)는 사람의 손 동작과 전자책이 포함된 영상을 획득하여 물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)로 전송할 수 있다(310a). According to an embodiment of the present invention, the
물리적 동작 정보 추출부(120)는 상기 영상 획득부(110)로부터 획득된 영상으로부터 손 동작이 포함된 영역을 분리한 후, 손 동작에 대한 정보를 추출할 수 있으며(310b), 손 동작에 대응되는 특정 객체가 존재할 경우, 물리적 동작 정보 추출부(120)는 해당 객체에 대한 정보를 증강 현실 제공부(140)로 전달할 수 있다(310c). 만일, 손 동작이 특정 객체와 매칭이 되지 않을 경우, 특정 객체가 매칭 될 수 있는 손 동작이 존재할 때까지, 상기 영상 획득부(110)로부터 영상을 전송받고, 손 동작에 대한 정보를 추출한 후, 특정 객체와 대응지는지 여부를 확인하는 과정을 반복할 수 있다(310d).The physical operation
한편, 전자책 정보 추출부(130)는 상기 영상 획득부(110)로부터 획득된 영상으로부터 전자책이 포함된 영역을 분리한 후, 전자책에 대한 정보를 추출할 수 있으며(210e), 전자책 도안에 대응되는 특정 객체가 존재할 경우, 전자책 추출부(130)는 해당 객체에 대한 정보를 증강 현실 제공부(140)로 전달할 수 있다(310f). 만일 상기 영상 획득부(110)로부터 인식된 전자책의 도안이 특정 객채와 매칭이 되지 않을 경우, 특정 객체와 매칭될 때까지, 상기 영상 획득부(110)로부터 영상을 전송받고, 전자책 도안에 대한 정보를 추출한 후, 특정 객체와 대응되는지 여부를 확인하는 과정을 반복할 수 있다(310g).Meanwhile, the e-book
증강 현실 제공부(140)는 물리적 동작 정보 추출부(120)와 전자책 정보 추출부(130)로부터 전달받은 객체의 정보를 비교한 후(210h), 양 정보가 표상하는 객체가 동일한 경우에만 3차원 가상 객체를 상기 실제 환경(116)에 중첩시켜 증강하는 방식으로 작동될 수 있다(310i). The augmented
상기 물리적 동작 정보 추출부(320)는 손 동작에 대응되는 객체 정보 외에도, 손 동작의 동적 움직임에 대한 정보를 추가적으로 추출할 수 있으며(320a), 손 동작의 동적 움직임이 인식되는 경우 객체의 색상을 변화시키거나(320b), 상기 3차원 가상 객체의 위치를 변화시키는 방식으로 작동될 수 있다(320c). 이때, 상기 가상 객체의 위치 변화는, 손 동작의 동적 움직임이 적어도 5회 이상 인식되는 경우에 한하여 표현되는 방식으로 수행될 수 있다. In addition to the object information corresponding to the hand motion, the physical motion
도 4는 본 발명의 일실시예에 따른 물리적 동작 정보 추출부(120)의 현실 객체(112)의 물리적 동작 정보 추출 방식을 나타낸 그림이다. 4 is a diagram illustrating a method of extracting physical operation information of a
본 발명의 일실시예에 따르면, 손 동작으로 특정 객체가 표현된 경우, 손 동작을 포함한 영상을 분리시킨 후, 미리 확보해 둔 손 동작이 존재하지 않는 실제 환경(116)에 대한 배경 영상과, 손 동작이 존재하였을 때의 영상의 디지털 신호 값의 차이를 통해 손 동작이 포함된 영상으로부터 정확한 손 동작의 위치를 구분해낼 수 있다. 손이 존재하는 부분의 바운더리(boundary)로부터 Convex Hull Algorithm을 이용하여 구해진 껍질(hull)의 개수와 결점(defect)의 개수는, 손 동작의 특징(feature) 값으로 사용될 수 있다. According to an embodiment of the present invention, when a specific object is represented by a hand operation, a background image of a
예컨대, 도 4의 첫 번째 열의 그림들의 경우, 달팽이 형태의 손 동작이 표현된 경우로, 검정색으로 표현되는 손 부분의 바운더리 정보로부터 8개의 껍질(hull)과 3 개의 결점(defect)이 도출되며, 해당 정보가 손 동작의 특징(feature)으로 사용되는 경우를 나타낸 그림이다. 이 경우, 물리적 동작 정보 추출부(220)는 데이터베이스로부터 8개의 껍질(hull)과 3개의 결점(defect)이라는 특징(feature)에 대응되는 객체 정보를 탐색한 후, '달팽이' 라는 객체 정보에 대응될 수 있음을 찾아내게 되며, 증강 현실 제공부(140)로 이를 전달한다. 도 4의 두 번째 열의 그림들의 경우, 객체 정보로 '새'가 탐색된 경우이며, 도 4의 세 번째 열의 그림들의 경우 객체 정보로 '늑대'가 탐색된 경우이다. 이때, 상기 특징(feature)에 대응되는 객체 정보를 탐색하는 방법으로는, 정확한 껍질(hull)과 결점(defect)에 대응되는 객체 정보를 탐색하는 방법이 사용될 수 있으며, 손 동작이 정확한 형태로만 구현될 수 없음을 고려하여 폭넓은 오차 범위를 허용하여 탐색하는 방법이 사용될 수 있다. 이러한 특징(feature) 값을 추출하기 위해서 openCV library를 사용할 수 있다.For example, in the case of the pictures in the first column of FIG. 4, when the snail-shaped hand movements are expressed, eight shells and three defects are derived from the boundary information of the hand portion expressed in black, And the information is used as a feature of the hand movement. In this case, the physical operation
도 5는 본 발명의 일실시예에 따른 디스플레이부(150)의 디스플레이 장면을 나타낸 사진이다. 5 is a photograph showing a display scene of the
본 발명의 일실시예에 따르면, 상기 디스플레이부(150)는 시각 디스플레이 장치(152)인 LCD 모니터일 수 있으며, 상기 영상 획득부(110)에서 획득된 실제 환경(116)에, 상기 증강 현실 제공부(140)에 의하여 제공되는 3차원 객체 이미지가 증강되어 출력될 수 있다. 예컨대, 도 5의 첫 번째 사진은 새가, 두 번째 사진은 달팽이가, 세 번째 사진은 늑대가 증강되어 나타낸 디스플레이부(150)의 디스플레이 사진이다. 상기 증강된 3차원 객체는 실제 환경(116)의 현실 객체(112)를 움직이거나, 그 형태를 변화시킴으로써, 색상을 변하게 하거나 움직임을 가질 수 있다. According to an embodiment of the present invention, the
도 6은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 구현 방법의 동작 방식을 나타낸 흐름도이다. 6 is a flowchart illustrating an operation method of a method for implementing a physical operation-augmented reality interactive e-book of a real object according to an embodiment of the present invention.
본 발명의 일실시예에 따른 전자책 구현 방법은, 영상 획득 단계(S610), 현실 객체의 물리적 동작 정보 추출 단계(S620), 전자책 정보 추출 단계(S630), 증강 현실 제공 단계(S640), 디스플레이 단계(S650)을 포함할 수 있으며, 종료여부 판단(S660) 단계를 추가적으로 포함할 수 있다.The method of implementing an e-book according to an embodiment of the present invention includes an image acquisition step S610, a physical operation information extraction step S620, an e-book information extraction step S630, an augmented reality providing step S640, A display step S650, and a step S660.
영상 획득 단계(S610)는, 물리적으로 동작할 수 있는 현실 객체(112)와 전자책(114)을 포함한 실제 환경(116)에 대한 영상을 획득하는 단계를 포함하며, 현실 객체의 물리적 동작 정보 추출 단계(S620)와 전자책 정보 추출 단계(S630)는, 상기 영상 획득 단계(S610)로부터 획득된 영상으로부터 현실 객체(112)의 물리적 동작 정보와 전자책(114)의 도안에 관한 정보를 분리하여, 증강 현실 제공 단계(S640)으로 전달한다. 이때, 상기 도안에 관한 정보는 현실 객체(112)의 위치 정보를 포함할 수 있다. The image acquisition step S610 includes acquiring an image of the
증강 현실 제공 단계(S640)는 상기 가상 객체의 물리적 동작 정보 추출 단계(S620)와 전자책 정보 추출 단계(S630)에서 전달된 정보를 종합하여 표상하는 가상 객체를 찾아낸 후, 가상 객체를 상기 실제 환경(116)에 중첩하여 디스플레이 가능한 신호로 변환하여 디스플레이 단계(S650)로 전달하는 기능을 수행한다. 이때, 상기 증강 현실 제공 단계(S640)는 상기 현실 객체의 물리적 동작 정보 추출 단계(S620)에서 전달받은 객체 정보와, 상기 전자책 정보 추출 단계(S630)에서 전달받은 객체 정보를 비교한 후, 양 객체 정보가 동일한 경우에만 해당 객체 정보가 표상하는 가상 객체를 상기 실제 환경(116)에 중첩하여 디스플레이 가능한 신호로 변환하여 디스플레이 단계(S650)로 전달할 수 있다. In the augmented reality providing step S640, a virtual object to be represented is searched by collecting the information transmitted in the step S620 of extracting the physical operation information of the virtual object and the step S630 of extracting the e-book information, Converts the signal into a displayable signal superimposed on the
상기 가상 객체는 종료 여부 판단(S660) 단계를 통해, 종료 신호가 발생하기 전까지 상기 영상 획득 단계(S610), 현실 객체의 물리적 동작 정보 추출 단계(S620), 전자책 정보 추출 단계(S63), 증강 현실 제공 단계(S640), 디스플레이 단계(S650)을 반복할 수 있다. 종료 신호가 발생하면 각 프로세스를 종료한다. 이때, 종료 신호는 사용자가 종료 시기를 사전에 지정해 두는 형태로 구현될 수 있으며, 특정 신호를 종료 신호로 인식하도록 설정해 두거나, 외부 장치 입력을 통해 발생시킬 수도 있으나, 이에 제한되는 것은 아니다.In step S660, it is determined whether the virtual object is to be terminated (step S660), until the end signal is generated, the image acquisition step S610, the physical object motion information extraction step S620, the electronic book information extraction step S63, The reality provision step S640, and the display step S650 may be repeated. When a termination signal is generated, each process is terminated. At this time, the end signal may be implemented in a form in which the user designates a termination timing in advance, or may be set to recognize a specific signal as a termination signal or may be generated through an external device input, but the present invention is not limited thereto.
도 7은 본 발명의 일실시예에 따른 현실 객체의 물리적 동작 정보 추출 단계(S620)의 구체적인 동작 방식을 나타낸 흐름도이다.7 is a flowchart illustrating a specific operation method of the physical operation information extracting step S620 according to an embodiment of the present invention.
도 7의 현실 객체의 물리적 동작 정보 추출 단계(S620)는, 영상 정보로부터 현실 객체(112)가 포함된 영역을 분리하는 단계(S710), 현실 객체가(112) 존재하지 않았을 때의 영상 정보와 현실 객체가(112)가 존재하는 상황에서의 영상 정보의 디지털 신호의 차이를 통해, 해당 영역의 영상 정보로부터 현실 객체(112)에 대한 영상 정보를 분리(segmentation)하는 단계(S720), 상기 영상 정보를 분리(segmentation)한 후, 해당 영상 정보로부터 특징(feature) 값을 추출(extraction)하는 단계(S730)를 포함할 수 있다. The step S620 of extracting the physical operation information of the real object in FIG. 7 includes a step S710 of separating a region including the
상기 영상 획득 단계(S610), 현실 객체의 물리적 동작 정보 추출 단계(S620), 전자책 정보 추출 단계(S630), 증강 현실 제공 단계(S640), 디스플레이 단계(S650)는, 각각 상기 영상 획득부(110), 물리적 동작 정보 추출부(120), 전자책 정보 추출부(130), 증강 현실 제공부(140) 및 디스플레이부(150)의 기능을 수행하는 단계를 포함할 수 있으나, 이에 제한되는 것은 아니다.
In step S610, the physical object information extraction step S620, the e-book information extraction step S630, the augmented reality providing step S640, and the display step S650 are performed by the image acquiring unit And performing the functions of the physical operation
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The foregoing description is merely illustrative of the technical idea of the present invention and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. It should be noted that the embodiments disclosed in the present invention are not intended to limit the scope of the present invention and are not intended to limit the scope of the present invention. Therefore, the scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of the same shall be construed as being included in the scope of the present invention.
Claims (14)
물리적으로 동작할 수 있는 현실 객체와 전자책을 포함한 실제 환경에 대한 영상을 획득하는 영상 획득부;
상기 영상 획득부에서 획득된 상기 영상으로부터 상기 현실 객체의 물리적 동작 정보를 추출하는 물리적 동작 정보 추출부;
상기 영상 획득부에서 획득된 상기 영상으로부터 상기 전자책 정보를 추출하는 전자책 정보 추출부;
상기 물리적 동작 정보 추출부에서 추출된 상기 물리적 동작 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책 정보를 종합한 후, 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환하는 증강 현실 제공부; 및
상기 증강 현실 제공부로부터 상기 신호를 전송받아 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 전자책 시스템.A physical operation-augmented reality interactive e-book system of a real object,
An image acquisition unit for acquiring an image of a real environment including a physical object and an electronic book that can physically operate;
A physical operation information extracting unit for extracting physical operation information of the real object from the image acquired by the image acquiring unit;
An electronic book information extracting unit for extracting the electronic book information from the image acquired by the image acquiring unit;
The physical operation information extracted by the physical operation information extracting unit and the e-book information extracted by the e-book information extracting unit are integrated, and then the corresponding virtual object is superimposed on the actual environment and converted into a displayable signal Reality offering; And
And a display unit for receiving and displaying the signal from the augmented reality providing unit.
상기 영상 획득부는, RGB-D 카메라 센서를 이용한 영상 획득 장치를 통해 영상을 획득하는 것을 특징으로 하는 전자책 시스템. The method according to claim 1,
Wherein the image acquiring unit acquires an image through an image acquiring device using an RGB-D camera sensor.
상기 물리적 동작 정보 추출부는, 현실 객체가 존재하지 않았을 때의 배경 영상과 현실 객체가 존재하는 상황에서의 영상의 디지털 신호의 차이를 통해, 배경 영상으로부터 현실 객체의 영상 정보를 분리(segmentation)하고, 분리된 현실 객체의 영상 정보에 대응되는 객체 정보를 추출하는 것을 특징으로 하는 전자책 시스템. The method according to claim 1,
The physical operation information extracting unit segments the image information of the real object from the background image through the difference between the background image when the real object does not exist and the digital signal of the image when the real object exists, And extracts object information corresponding to the image information of the separated real object.
상기 물리적 동작 정보 추출부는, 영상 획득부로부터 전달받은 영상으로부터 현실 객체가 포함된 영역을 분리하는 전처리 단계를 더 포함하는 것을 특징으로 하는 전자책 시스템. The method of claim 3,
Wherein the physical operation information extracting unit further includes a preprocessing step of separating an area including a real object from the image received from the image acquiring unit.
상기 객체 정보는, 객체의 움직임에 관한 정보를 포함하는 것을 특징으로 하는 전자책 시스템.The method of claim 3,
Wherein the object information includes information about movement of the object.
상기 객체 정보를 추출하는 방법으로는, 상기 분리된 현실 객체의 바운더리(boundary) 정보가 사용되는 것을 특징으로 하는 전자책 시스템.The method of claim 3,
Wherein the boundary information of the separated real object is used as a method of extracting the object information.
상기 전자책 정보 추출부는, 상기 영상 획득부로부터 전달받은 영상으로부터 전자책이 포함된 영역을 분리한 후, 상기 전자책에 대응되는 객체 정보를 추출하는 것을 특징으로 하는 전자책 시스템. The method according to claim 1,
Wherein the electronic book information extraction unit extracts object information corresponding to the electronic book after separating an area including the electronic book from the image received from the image acquisition unit.
상기 객체 정보를 추출하는 방법으로는, 마커 인식 방법 또는 프레임 매칭 방법이 사용되는 것을 특징으로 하는 전자책 시스템.8. The method of claim 7,
Wherein the object information is extracted by using a marker recognition method or a frame matching method.
상기 증강 현실 제공부는, 상기 물리적 동작 정보 추출부에서 추출된 상기 물리적 동작 정보와 상기 전자책 정보 추출부에서 추출된 상기 전자책 정보를 비교한 후, 대응되는 가상 객체가 동일한 경우 상기 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 영상 신호로 변환하는 것을 특징으로 하는 전자책 시스템.The method according to claim 1,
Wherein the augmented reality providing unit compares the physical operation information extracted by the physical operation information extracting unit and the e-book information extracted by the e-book information extracting unit, and if the corresponding virtual objects are identical, Is converted into a displayable video signal superimposed on the actual environment.
상기 디스플레이부는, 시각 디스플레이 장치 및 청각 디스플레이 장치 중 어느 하나 이상의 장치를 포함하는 것을 특징으로 하는 전자책 시스템. The method according to claim 1,
Wherein the display unit includes at least one of a visual display device and an auditory display device.
상기 시각 디스플레이 장치는, 실제 환경에 3차원 가상 객체가 증강된 영상을 출력하는 것을 특징으로 하는 전자책 시스템.11. The method of claim 10,
Wherein the visual display device outputs an enhanced image of a three-dimensional virtual object in an actual environment.
상기 전자책 시스템은, 상기 현실 객체가 움직임을 가지는 경우 상기 현실 객체의 움직임에 관한 정보를 상기 대응되는 가상 객체에 실시간으로 반영시키는 것을 특징으로 하는 전자책 시스템.The method according to claim 1,
Wherein the e-book system reflects information on the motion of the real object in real time to the corresponding virtual object when the real object has motion.
상기 전자책 시스템은, 상기 물리적 동작 정보 추출 과정과 상기 전자책 정보 추출 과정이 2 개의 쓰레드(thread)를 통해 동시에 이루어지는 것을 특징으로 하는 전자책 시스템.The method according to claim 1,
Wherein the electronic book system is configured such that the process of extracting the physical operation information and the process of extracting the electronic book information are simultaneously performed through two threads.
물리적으로 동작할 수 있는 현실 객체와 전자책을 포함한 실제 환경에 대한 영상을 획득하는 단계;
상기 획득된 영상으로부터 상기 현실 객체의 물리적 동작 정보를 추출하는 단계;
상기 획득된 영상으로부터 상기 전자책 정보를 추출하는 단계;
상기 물리적 동작 정보와 상기 전자책 정보를 종합한 후, 대응되는 가상 객체를 상기 실제 환경에 중첩하여 디스플레이 가능한 신호로 변환하는 단계; 및
상기 신호를 전송받아 디스플레이하는 단계를 포함하는 것을 특징으로 하는 전자책 구현 방법.
1. A method for implementing a physical operation-augmented reality interactive e-book of a real object,
Acquiring an image of a real environment including a physical object capable of physically operating and an electronic book;
Extracting physical operation information of the real object from the obtained image;
Extracting the electronic book information from the acquired image;
Synthesizing the physical operation information and the electronic book information, and then converting the virtual object to a displayable signal by superimposing the corresponding virtual object on the real environment; And
And receiving and displaying the signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130044798A KR101543287B1 (en) | 2013-04-23 | 2013-04-23 | Physical Movement of Object on Reality-Augmented Reality Interaction System and Implementation Method for Electronic book |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130044798A KR101543287B1 (en) | 2013-04-23 | 2013-04-23 | Physical Movement of Object on Reality-Augmented Reality Interaction System and Implementation Method for Electronic book |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140126529A true KR20140126529A (en) | 2014-10-31 |
KR101543287B1 KR101543287B1 (en) | 2015-08-11 |
Family
ID=51995768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130044798A KR101543287B1 (en) | 2013-04-23 | 2013-04-23 | Physical Movement of Object on Reality-Augmented Reality Interaction System and Implementation Method for Electronic book |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101543287B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106485956A (en) * | 2016-09-29 | 2017-03-08 | 珠海格力电器股份有限公司 | Method and device for demonstrating functions of electronic equipment and intelligent terminal |
WO2018048054A1 (en) * | 2016-09-12 | 2018-03-15 | 주식회사 딥픽셀 | Method for producing virtual reality interface on the basis of single-camera 3d image analysis, and device for producing virtual reality interface on the basis of single-camera 3d image analysis |
CN108648538A (en) * | 2018-05-04 | 2018-10-12 | 早上六点(北京)教育科技有限公司 | A kind of portable intelligent interaction instrument and its application method |
KR20220119180A (en) * | 2016-12-26 | 2022-08-26 | 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 | Device and method for generating dynamic virtual contents in mixed reality |
KR102520445B1 (en) * | 2022-08-18 | 2023-04-11 | 주식회사 에스오씨 | Apparatus and method for real-time streaming display of mapping content linked to a single printed photo image |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101002785B1 (en) * | 2009-02-06 | 2010-12-21 | 광주과학기술원 | Method and System for Spatial Interaction in Augmented Reality System |
KR101211178B1 (en) * | 2010-10-20 | 2012-12-12 | 에스케이플래닛 주식회사 | System and method for playing contents of augmented reality |
-
2013
- 2013-04-23 KR KR1020130044798A patent/KR101543287B1/en active IP Right Grant
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018048054A1 (en) * | 2016-09-12 | 2018-03-15 | 주식회사 딥픽셀 | Method for producing virtual reality interface on the basis of single-camera 3d image analysis, and device for producing virtual reality interface on the basis of single-camera 3d image analysis |
US10664983B2 (en) | 2016-09-12 | 2020-05-26 | Deepixel Inc. | Method for providing virtual reality interface by analyzing image acquired by single camera and apparatus for the same |
CN106485956A (en) * | 2016-09-29 | 2017-03-08 | 珠海格力电器股份有限公司 | Method and device for demonstrating functions of electronic equipment and intelligent terminal |
KR20220119180A (en) * | 2016-12-26 | 2022-08-26 | 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 | Device and method for generating dynamic virtual contents in mixed reality |
CN108648538A (en) * | 2018-05-04 | 2018-10-12 | 早上六点(北京)教育科技有限公司 | A kind of portable intelligent interaction instrument and its application method |
KR102520445B1 (en) * | 2022-08-18 | 2023-04-11 | 주식회사 에스오씨 | Apparatus and method for real-time streaming display of mapping content linked to a single printed photo image |
Also Published As
Publication number | Publication date |
---|---|
KR101543287B1 (en) | 2015-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109618222B (en) | A kind of splicing video generation method, device, terminal device and storage medium | |
CN106355153B (en) | A kind of virtual objects display methods, device and system based on augmented reality | |
CN113395542B (en) | Video generation method and device based on artificial intelligence, computer equipment and medium | |
EP2496196B1 (en) | Representing visual images by alternative senses | |
US20180232953A1 (en) | System and Method for Defining an Augmented Reality View in a Specific Location | |
CN110716645A (en) | Augmented reality data presentation method and device, electronic equipment and storage medium | |
CN113822977A (en) | Image rendering method, device, equipment and storage medium | |
WO2021213067A1 (en) | Object display method and apparatus, device and storage medium | |
CN107909022B (en) | Video processing method and device, terminal equipment and storage medium | |
KR101543287B1 (en) | Physical Movement of Object on Reality-Augmented Reality Interaction System and Implementation Method for Electronic book | |
KR20130099317A (en) | System for implementing interactive augmented reality and method for the same | |
CN106464773B (en) | Augmented reality device and method | |
CN106325509A (en) | Three-dimensional gesture recognition method and system | |
KR20140082610A (en) | Method and apaaratus for augmented exhibition contents in portable terminal | |
KR20160057867A (en) | Display apparatus and image processing method thereby | |
CN111491187A (en) | Video recommendation method, device, equipment and storage medium | |
CN111738769B (en) | Video processing method and device | |
CN103777757A (en) | System for placing virtual object in augmented reality by combining with significance detection | |
CN112232260A (en) | Subtitle region identification method, device, equipment and storage medium | |
KR20180032059A (en) | 3-Dimensional Contents Providing System, Method and Computer Readable Recoding Medium | |
WO2022040574A1 (en) | Integrating overlaid digital content into displayed data via graphics processing circuitry | |
CN106293099A (en) | Gesture identification method and system | |
CN117333645A (en) | Annular holographic interaction system and equipment thereof | |
CN112991555B (en) | Data display method, device, equipment and storage medium | |
CN112288876A (en) | Long-distance AR identification server and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180725 Year of fee payment: 4 |