KR101005599B1 - 인터랙티브 영상처리 시스템 및 방법, 그리고 인터랙티브 영상처리장치 - Google Patents
인터랙티브 영상처리 시스템 및 방법, 그리고 인터랙티브 영상처리장치 Download PDFInfo
- Publication number
- KR101005599B1 KR101005599B1 KR1020100007279A KR20100007279A KR101005599B1 KR 101005599 B1 KR101005599 B1 KR 101005599B1 KR 1020100007279 A KR1020100007279 A KR 1020100007279A KR 20100007279 A KR20100007279 A KR 20100007279A KR 101005599 B1 KR101005599 B1 KR 101005599B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- interactive
- real object
- coordinate value
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 인터랙티브 영상처리 시스템 및 방법, 그리고 인터랙티브 영상처리장치에 관한 것이다. 본 발명의 하나의 모습에 따라, 인식영역 내의 실제 객체를 포함하는 영상을 인식하는 영상인식장치와; 영상인식장치로부터 영상신호를 전송받아 처리하고 처리된 영상신호 중의 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체를 포함하는 영상과 처리된 영상신호를 병합하여 상호작용되는 영상신호를 생성시키는 영상처리장치로서, 전송받은 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하고 외곽을 갖는 실제 객체 영상의 움직임을 판단하여 검출하는 실제 객체 검출부와, 미리 프로그램된 알고리즘에 따라, 인터랙티브 객체의 영상을 생성하며 실제 객체 영상의 움직임이 판단된 경우에 실제 객체 검출부로부터 얻어진 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 인터랙티브영상 생성부와, 실제 객체 검출부에서 처리된 영상신호와 인터랙티브영상 생성부에서 생성된 인터랙티브영상을 병합처리하는 영상병합처리부를 포함하여 이루어지는 영상처리장치와; 영상처리장치로부터 병합처리된 영상을 전송받아 스크린 상으로 디스플레이시키는 디스플레이장치; 를 포함하여 이루어지는 인터랙티브 영상처리 시스템이 제안된다.
Description
본 발명은 인터랙티브 영상처리 시스템 및 방법, 그리고 인터랙티브 영상처리장치에 관한 것이다.
최근 영상기술과 컴퓨터 그래픽기술의 발달에 따라, 비선형적이고 예측되지 않은 반응을 나타내는 다양한 영상이 사람들로 하여금 관심을 끌고 그러한 영상에 대한 수요가 높아지고 있다.
인터랙티브 영상처리는 각종 전시회, 프리젠테이션, 광고, 오락, 교육 등을 위한 용도로 사용될 수 있는 것으로, 객체의 움직임에 반응하는 비선형적인 영상처리에 관한 것으로, 사람이나 물체의 움직임과 위치를 영상인식장치를 통해 얻고, 이를 디지털신호처리와 컴퓨터 프로세싱을 통해 객체의 동작에 따라 반응하는 영상을 재생하는 시스템 내지 방법의 일종이다.
인터랙티브 영상처리는 사용자와 의사소통을 하면서, 상황에 따라 달라지는 영상 결과를 보여 주기 때문에, 호기심, 신비감과 함께 즐거움을 줄 수 있는 수단이 된다.
종래의 인터랙티브 영상 관련 기술로 대한민국 공개특허 제2005-52676은 사용자 동작에 반응하는 실시간 유체효과 동영상 구현 장치를 개시하고 있으며, 대한민국 공개특허 제2004-88166호는 그림자를 이용한 인터액티브 동영상 시스템을 개시하고 있다.
언급된 종래의 특허문헌들은 터치스크린 방식의 감지센서를 이용하거나 객체의 그림자를 인식하고 인터랙티브하게 영상을 반응시키는 것이나, 실제 객체의 영상을 인터랙티브 객체 영상과 직접 병합시켜 나타내고 있지 않다.
본 발명은 실제 객체의 영상과 그에 반응하는 인터랙티브 객체 영상을 병합시켜 디스플레이하는 인터랙티브 영상을 제공하고자 한다.
특히, 하나의 실시예에 따라, 실제 객체 영상 위로 인터랙티브 객체가 합체, 안착 또는 침투된 상태를 유지하며 추가적인 인터랙티브 객체가 반응하는 인터랙티브 영상을 제공함으로써, 보다 생동감있는 인터랙티브 영상을 구현하고자 한다.
전술한 목적을 달성하기 위하여, 본 발명의 하나의 모습에 따라, 인식영역 내의 실제 객체를 포함하는 영상을 인식하는 영상인식장치와; 영상인식장치로부터 영상신호를 전송받아 처리하고 처리된 영상신호 중의 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체를 포함하는 영상과 처리된 영상신호를 병합하여 상호작용되는 영상신호를 생성시키는 영상처리장치로서, 전송받은 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하고 외곽을 갖는 실제 객체 영상의 움직임을 판단하여 검출하는 실제 객체 검출부와, 미리 프로그램된 알고리즘에 따라, 인터랙티브 객체의 영상을 생성하며 실제 객체 영상의 움직임이 판단된 경우에 실제 객체 검출부로부터 얻어진 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 인터랙티브영상 생성부와, 실제 객체 검출부에서 처리된 영상신호와 인터랙티브영상 생성부에서 생성된 인터랙티브영상을 병합처리하는 영상병합처리부를 포함하여 이루어지는 영상처리장치와; 영상처리장치로부터 병합처리된 영상을 전송받아 스크린 상으로 디스플레이시키는 디스플레이장치; 를 포함하여 이루어지는 인터랙티브 영상처리 시스템을 제안한다.
바람직하게는, 영상인식장치는 인식된 영상신호를 디지털 영상신호로 변환시켜 전송하고, 인터랙티브영상 생성부는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출한다. 나아가, 전술한 영상처리장치는, 영상인식장치로부터 디지털 영상신호를 입력받아 영상 시퀀스로 실제 객체 검출부로 전송하되 인터랙티브영상 생성부에서 추출된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 실제 객체 검출부로 전송되는 영상 시퀀스의 실제 객체 영상 위에 병합시켜 전송하는 영상 라이브러리를 더 포함한다. 그리고, 실제 객체 검출부는 영상 라이브러리로부터 전송받은 영상 시퀀스의 실제 객체 영상에 병합된 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리한다.
또 바람직하게는, 본 발명의 또 하나의 실시예에서, 인터랙티브영상 생성부는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고, 추출된 좌표값을 상기 실제 객체 검출부로 피드백한다. 게다가, 실제 객체 검출부는 피드백된 실제 객체 영상의 외곽 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출한다. 나아가, 인터랙티브영상 생성부는 실제 객체 검출부에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 피드백 전에 상기 합체, 안착 또는 침투되어 반응된 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응되는 영상을 더 포함하는 인터랙티브영상을 생성하도록 한다.
또한, 본 발명의 또 하나의 실시예에서, 바람직하게는, 실제 객체 검출부는 실제 객체 영상의 외곽 영역 내에서 움직이는 일부분의 경계 좌표값 또는/및 경계 라인을 검출하고, 외곽을 갖는 실제 객체 영상의 움직임 및 외곽 영역 내의 경계를 갖는 일부분의 움직임을 판단한다. 그리고, 인터랙티브영상 생성부는 실제 객체 영상의 외곽 또는 외곽영역 내의 일부분의 움직임이 판단되는 경우에 인터랙티브 객체가 실제 객체 검출부에서 검출된 실제 객체 영상 중 움직이는 외곽에 대하여 그리고 정지된 외곽을 지나 움직임 있는 일부분의 경계에 대하여 상호작용적으로 반응하는 인터랙티브영상을 생성한다.
바람직하게는, 영상인식장치는 인식된 영상신호를 디지털 영상신호로 변환시켜 전송하고, 인터랙티브영상 생성부는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출한다. 나아가, 전술한 영상처리장치는, 영상인식장치로부터 디지털 영상신호를 입력받아 영상 시퀀스로 실제 객체 검출부로 전송하되 인터랙티브영상 생성부에서 추출된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 실제 객체 검출부로 전송되는 영상 시퀀스의 실제 객체 영상 위에 병합시켜 전송하는 영상 라이브러리를 더 포함한다. 그리고, 실제 객체 검출부는 영상 라이브러리로부터 전송받은 영상 시퀀스의 실제 객체 영상에 병합된 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리한다.
또 바람직하게는, 본 발명의 또 하나의 실시예에서, 인터랙티브영상 생성부는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고, 추출된 좌표값을 상기 실제 객체 검출부로 피드백한다. 게다가, 실제 객체 검출부는 피드백된 실제 객체 영상의 외곽 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출한다. 나아가, 인터랙티브영상 생성부는 실제 객체 검출부에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 피드백 전에 상기 합체, 안착 또는 침투되어 반응된 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응되는 영상을 더 포함하는 인터랙티브영상을 생성하도록 한다.
또한, 본 발명의 또 하나의 실시예에서, 바람직하게는, 실제 객체 검출부는 실제 객체 영상의 외곽 영역 내에서 움직이는 일부분의 경계 좌표값 또는/및 경계 라인을 검출하고, 외곽을 갖는 실제 객체 영상의 움직임 및 외곽 영역 내의 경계를 갖는 일부분의 움직임을 판단한다. 그리고, 인터랙티브영상 생성부는 실제 객체 영상의 외곽 또는 외곽영역 내의 일부분의 움직임이 판단되는 경우에 인터랙티브 객체가 실제 객체 검출부에서 검출된 실제 객체 영상 중 움직이는 외곽에 대하여 그리고 정지된 외곽을 지나 움직임 있는 일부분의 경계에 대하여 상호작용적으로 반응하는 인터랙티브영상을 생성한다.
바람직하게는 또 하나의 모습에 따른 실시예에서, 전술한 실제 객체는 적어도 상기 인식영역 내에 진입하는 초기에 움직이는 행동자로서, 사용자, 사물 또는 그들의 결합을 포함한다. 그리고, 전술한 인터랙티브 객체의 상호작용적인 반응은 미리 프로그램된 알고리즘에 따른 실제 객체 영상의 외곽 또는 움직이는 외곽에 대한 회피, 반사, 굴절, 합체, 안착 또는 침투, 혹은 실제 객체 영상의 외곽 또는 움직이는 외곽과의 충돌 또는 접촉에 의한 파괴, 분할 또는 분산, 혹은 실제 객체 영상의 외곽 또는 움직이는 외곽으로의 가속 또는 감속, 혹은 실제 객체 영상의 정지된 외곽부로 감속 또는 안착과 움직이는 외곽으로부터 회피 또는 이탈, 혹은 실제 객체 영상의 움직이는 외곽과의 충돌 또는 접촉에 의한 인터랙티브 객체의 동작, 혹은 실제 객체 영상의 접근 또는 멀어짐에 의한 인터랙티브 객체의 크기, 모양 또는 크기와 모양의 변화, 혹은 적어도 그들 중 두 가지 이상의 결합이다.
바람직하게는 또한, 하나의 모습에 따른 또 하나의 실시예에서, 전술한 영상처리장치는 인터랙티브영상의 배경이 되는 배경영상들이 저장된 배경영상 저장부를 더 포함하고, 전술한 실제 객체 검출부는 구분된 실제 객체 영상을 배경과 분리하여 추출하고, 전술한 영상병합처리부는 배경영상 저장부에 저장된 배경영상들 중 선택된 배경영상과 실제 객체 검출부에서 추출된 실제 객체 영상과 인터랙티브영상 생성부에서 생성된 인터랙티브영상을 병합처리한다.
또한 바람직하게는, 또 하나의 모습에 따른 실시예에서, 전술한 영상인식장치는 입체영상을 인식하는 입체영상인식장치이고, 실제 객체 검출부는 영상인식장치로부터 전송받은 입체 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 입체의 실제 객체 영상을 입체 전경으로 하여 배경과 구분하여 입체의 실제 객체 영상의 외곽 라인 또는/및 외곽 좌표값을 검출하며 입체 외곽을 갖는 실제 객체 영상의 움직임을 판단하여 검출한다.
그리고, 인터랙티브영상 생성부는, 미리 프로그램된 알고리즘에 따라, 입체의 인터랙티브 객체의 영상을 생성하며 입체의 실제 객체 영상의 움직임이 판단된 경우에 실제 객체 영상의 입체 외곽 라인 또는 외곽 좌표값에 대하여 입체의 인터랙티브 객체가 상호작용적으로 반응하는 입체의 인터랙티브영상을 생성하고, 영상병합처리부는 실제 객체 검출부에서 처리된 입체의 영상신호와 인터랙티브영상 생성부에서 생성된 입체의 인터랙티브영상을 병합처리한다.
삭제
삭제
삭제
삭제
전술한 목적을 달성하기 위하여, 본 발명의 다른 하나의 모습에 따라, 인식영역 내의 실제 객체를 포함하는 영상을 인식한 영상인식장치로부터 인식된 영상신호를 영상처리장치에서 전송받는 제1 단계; 제1 단계에서 전송받은 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하며 외곽을 갖는 실제 객체 영상의 움직임을 판단하는 제2 단계; 영상처리장치에서, 미리 프로그램된 알고리즘에 따라, 적어도 1개 이상 인터랙티브 객체를 포함하는 영상을 생성하며 실제 객체 영상의 움직임이 판단된 경우에 제2 단계로부터 얻어진 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 제3 단계; 제2 단계에서 처리된 영상신호와 제3 단계에서 생성된 인터랙티브영상을 병합처리하는 제4 단계; 및 제4 단계에서 병합처리된 영상을 스크린 상에 디스플레이시키기 위해 전송하는 제5 단계; 를 포함하여 이루어지는 인터랙티브 영상처리 방법이 제안된다.
바람직하게는 또 하나의 모습에 따른 실시예에서, 전술한 제3 단계에서는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출하고, 전술한 제1 단계는, 영상인식장치로부터 디지털신호로 변환된 영상신호를 입력받아 영상 시퀀스로 영상처리장치로 전송하되 전술한 제3 단계에서 추출된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 영상처리장치로 전송되는 영상 시퀀스의 실제 객체 영상 위에 병합시켜 전송하는 피드백 병합단계를 더 포함하고, 피드백 후 제2 단계에서는 피드백 병합단계로부터 전송받은 영상 시퀀스의 실제 객체 영상에 병합된 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리한다.
또한 바람직하게는, 본 발명의 또 하나의 실시예에서, 제3 단계는, 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고 추출된 좌표값을 제2 단계로 피드백하는 피드백 단계를 더 포함한다.
게다가 본 실시예에 따른 영상처리 방법은: 전술한 피드백 단계에서 피드백된 실제 객체 영상의 외곽 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하는 제2' 단계; 및 제2' 단계에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 피드백 전에 합체, 안착 또는 침투되어 반응된 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응되는 영상을 더 포함하는 인터랙티브영상을 생성하는 제3' 단계; 를 더 포함하여 이루어진다.
전술한 목적을 달성하기 위하여, 본 발명의 또 다른 모습에 따라, 인터랙티브 영상처리 시스템 또는 인터랙티브 영상처리 방법에 사용되는 영상처리장치로서, 인식영역 내의 실제 객체를 포함하는 영상을 인식하는 영상인식장치로부터 전송받은 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 실제 객체 영상의 외곽 라인 또는/및 외곽 좌표값을 검출하고 외곽을 갖는 실제 객체 영상의 움직임을 판단하여 검출하는 실제 객체 검출부; 미리 프로그램된 알고리즘에 따라, 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체의 영상을 생성하며 실제 객체 영상의 움직임이 판단된 경우에 실제 객체 검출부로부터 얻어진 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 인터랙티브영상 생성부; 및 실제 객체 검출부에서 처리된 영상신호와 인터랙티브영상 생성부에서 생성된 인터랙티브영상을 병합처리하는 영상병합처리부;를 포함하여 이루어지는 인터랙티브 영상처리장치가 제안된다.
바람직하게는, 인터랙티브영상 생성부는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출한다. 나아가, 영상처리장치는, 영상인식장치로부터 디지털 영상신호를 입력받아 영상 시퀀스로 실제 객체 검출부로 전송하되 인터랙티브영상 생성부에서 추출된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 실제 객체 검출부로 전송되는 영상 시퀀스의 실제 객체 영상 위에 병합시켜 전송하는 영상 라이브러리를 더 포함한다. 그리고, 실제 객체 검출부는 영상 라이브러리로부터 전송받은 영상 시퀀스의 실제 객체 영상에 병합된 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리한다.
또 바람직하게는, 하나의 실시예에서, 인터랙티브영상 생성부는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고, 추출된 좌표값을 상기 실제 객체 검출부로 피드백한다. 게다가, 실제 객체 검출부는 피드백된 실제 객체 영상의 외곽 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출한다. 나아가, 인터랙티브영상 생성부는 실제 객체 검출부에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 피드백 전에 상기 합체, 안착 또는 침투되어 반응된 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응되는 영상을 더 포함하는 인터랙티브영상을 생성하도록 한다.
바람직하게는, 인터랙티브영상 생성부는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출한다. 나아가, 영상처리장치는, 영상인식장치로부터 디지털 영상신호를 입력받아 영상 시퀀스로 실제 객체 검출부로 전송하되 인터랙티브영상 생성부에서 추출된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 실제 객체 검출부로 전송되는 영상 시퀀스의 실제 객체 영상 위에 병합시켜 전송하는 영상 라이브러리를 더 포함한다. 그리고, 실제 객체 검출부는 영상 라이브러리로부터 전송받은 영상 시퀀스의 실제 객체 영상에 병합된 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리한다.
또 바람직하게는, 하나의 실시예에서, 인터랙티브영상 생성부는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고, 추출된 좌표값을 상기 실제 객체 검출부로 피드백한다. 게다가, 실제 객체 검출부는 피드백된 실제 객체 영상의 외곽 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출한다. 나아가, 인터랙티브영상 생성부는 실제 객체 검출부에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 피드백 전에 상기 합체, 안착 또는 침투되어 반응된 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응되는 영상을 더 포함하는 인터랙티브영상을 생성하도록 한다.
본 발명의 바람직한 하나의 모습으로 비록 명시적으로 언급되지 않았으나, 앞서 언급된 기술적 특징의 가능한 다양한 조합에 따른 실시예들이 구현 가능함은 자명하다.
본 발명의 모습에 따라, 실제 객체의 영상과 그에 반응하는 인터랙티브 객체 영상을 병합시켜 디스플레이하는 인터랙티브 영상을 얻을 수 있게 되었다.
특히, 본 발명의 하나의 실시예에 따라, 실제 객체 영상 위로 인터랙티브 객체가 합체, 안착 또는 침투된 상태를 유지하며 추가적인 인터랙티브 객체가 반응하는 인터랙티브 영상을 얻으므로써, 보다 생동감있는 인터랙티브 영상을 구현할 수 있게 되었다.
본 발명의 다양한 실시예에 따라 직접적으로 언급되지 않은 다양한 효과들이 본 발명의 실시예들에 따른 다양한 구성들로부터 당해 기술분야에서 통상의 지식을 지닌 자에 의해 도출될 수 있음은 자명하다.
도 1은 본 발명의 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 개략적인 블럭도이다.
도 2는 본 발명의 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치의 개략적인 블럭도이다.
도 3은 본 발명의 또 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치의 다른 하나의 개략적인 블럭도이다.
도 4는 본 발명의 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타내다.
도 5는 본 발명의 다른 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타낸다.
도 6은 본 발명의 또 다른 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타낸다.
도 2는 본 발명의 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치의 개략적인 블럭도이다.
도 3은 본 발명의 또 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치의 다른 하나의 개략적인 블럭도이다.
도 4는 본 발명의 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타내다.
도 5는 본 발명의 다른 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타낸다.
도 6은 본 발명의 또 다른 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타낸다.
전술한 과제를 달성하기 위한 본 발명의 실시예들이 첨부된 도면을 참조하여 설명된다. 본 실시예들을 설명함에 있어서, 동일부호는 동일한 구성을 의미하고, 중복되거나 발명의 의미를 한정적으로 해석되게 할 수 있는 부가적인 설명은 본 발명의 실시예들을 설명함에 있어서 생략될 수 있다.
먼저, 본 발명의 하나인 인터랙티브 영상처리 시스템을 도면을 참조하여 구체적으로 살펴본다.
도 1은 본 발명의 하나의 실시예인 인터랙티브 영상처리 시스템의 개략적인 블럭도이고, 도 2는 본 발명의 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치의 개략적인 블럭도이고, 도 3은 본 발명의 또 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치의 다른 하나의 개략적인 블럭도이다.
도 1을 참조하면, 인터랙티브 영상처리 시스템의 하나의 실시예는 영상인식장치(200), 영상처리장치(100) 및 디스플레이장치(300)를 포함하여 이루어진다.
인터랙티브 영상처리 시스템의 영상인식장치(200)는 인식영역 내의 실제 객체를 포함하는 영상을 인식한다. 영상인식장치(200)는 바람직하게는 카메라, 캠코드 등의 아날로그 또는 디지털 촬영장치를 포함하여 이루어진다. 아날로그 촬영장치의 경우 획득된 아날로그 신호를 별도의 AD컨버터를 이용하여 디지털 신호로 변환시켜서 영상처리장치(100)로 전송하거나 아날로그 신호를 영상처리장치(100)로 전송하여 영상처리장치(100)에서 디지털 신호로 변환하게 되고, 디지털 촬영장치인 경우 그 기기 내에서 입력되는 아날로그 정보가 디지털 신호로 변환되어 저장되거나 변환된 디지털 신호를 영상처리장치(100)로 전송하게 된다.
하나의 실시예에서, 영상인식장치(200)는 인식된 영상신호를 디지털 영상신호로 변환시켜 전송한다.
또한 인식영역이라 함은 영상인식장치(200)에 의해 인식되는 영역을 의미하고, 예컨대 카메라 또는 캠코더에 의해 촬영되는 경우 촬영되는 영상의 프레임 영역에 상응하는 영역을 의미한다.
바람직한 하나의 실시예에 따르면, 영상인식장치(200)에서 인식되는 실제 객체는 적어도 인식영역 내에 진입하는 초기에 움직이는 행동자이고, 사용자, 사물 또는 그들의 결합체를 포함한다. 즉, 사람이나 움직이거나 움직여지는 사물 뿐만 아니라 사물을 착용하거나 갖춘 사람일 수 있다.
또한 바람직하게는, 또 하나의 실시예에서, 영상인식장치(200)는 입체영상을 인식하는 입체영상인식장치이다. 바람직하게는, 실제 객체 영상을 입체적으로 인식하기 위하여, 서로 다른 위치에 배치되는 적어도 2대 이상의 디지털 영상카메라(도시되지 않음)를 포함하여 이루어진다. 적어도 2대의 디지털 영상카메라의 배치는 다양하게 변경될 수 있으며, 예컨대 실제 객체의 전방에 이격되게 모두 배치되거나 실제 객체의 전방과 상부에 배치될 수 있다. 또한 입체영상을 인식하기 위하여, 적어도 1대의 디지털 영상카메라(도시되지 않음)와 거리감지센서(도시되지 않음)를 포함하여 구성하는 것도 가능하며, 이 경우 거리감지센서는 실제 객체의 거리를 감지할 수 있는 센서이면 족하고, 예컨대 초음파, 적외선 등을 이용한 센서일 수 있고, 바람직하게는 적외선 센서일 수 있다.
본 실시예의 영상처리장치(100, 100', 100")는 영상인식장치(200)로부터 영상신호를 전송받아 처리하고 처리된 영상신호 중의 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체를 포함하는 영상과 처리된 영상신호를 병합하여 상호작용되는 영상신호를 생성시킨다. 영상처리장치(100, 100', 100")에서 전송받은 영상신호를 처리한다고 함은 전송받은 영상에서 실제 객체의 영상과 배경을 구분하는 것을 말하고, 나아가 구분된 실제 객체 영상의 외곽을 검출하는 것을 말한다. 바람직하게는, 영상처리장치(100, 100', 100")에서의 전송받은 영상의 처리는 실제 객체 영상의 외곽 검출과 아울러 배경을 제거하여 전경인 실제 객체 영상을 추출하는 것을 포함할 수 있고, 또는 배경의 제거없이 실제 객체 영상의 외곽을 검출하는 것일 수 있다.
본 발명에서 인터랙티브 객체란 실제 객체의 움직임에 대하여 반응하여 작용함으로써 상호작용하게 되는 가상 객체를 의미하고, 인터랙티브 영상이란 인터랙티브 객체가 실제 객체의 움직임에 대하여 반응하여 동작하는 영상을 의미한다. 적어도 1개 이상의 인터랙티브 객체를 포함하는 영상이라 함은 배경없는 영상일 수 있고, 또는 배경을 포함한 영상일 수 있다. 배경을 포함하는 경우 배경영상 자체도 실제 객체의 움직임에 따라 인터랙티브하게 반응할 수 있다. 예컨대, 배경영상이 좌우로 회전하거나 가까워지거나 멀어지거나 상하로 회전하거나, 배경영상이 점차 작아지거나 커지거나 등의 인터랙티브한 반응을 나타낼 수 있다. 또한 바람직하게는 배경이 없는 영상으로서, 추후에 배경영상과 병합될 수도 있다.
도 1을 참조하면, 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치(100)는 실제 객체 검출부(110), 인터랙티브 영상 생성부(130) 및 영상병합처리부(150)를 포함하여 이루어진다. 도 2를 참조하면, 바람직하게는 또한 하나의 실시예에 따라 배경영상 저장부(170)를 더 포함할 수 있고, 또 바람직하게는 도 3을 참조하면, 영상라이브러리(190)를 더 포함할 수 있다. 또한 도시되지 않았으나, 바람직하게는 메인 제어부(도시되지 않음)를 통해 실제 객체 검출부(110), 인터랙티브 영상 생성부(130) 및 영상병합처리부(150), 바람직하게는 게다가 영상라이브러리(190), 배경영상 저장부(170)를 통합 제어하게 된다.
도 1 내지 3을 참조하면, 실제 객체 검출부(110)는 전송받은 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 실제 객체 영상의 외곽 라인 또는/및 외곽 좌표값을 검출하고 외곽을 갖는 실제 객체 영상의 움직임을 판단하여 검출한다. 외곽을 갖는 실제 객체 영상의 검출은, 바람직하게는, 배경의 제거없이 실제 객체 영상의 외곽을 검출하거나 혹은 배경을 제거하여 전경인 실제 객체 영상을 추출하는 것일 수 있다.
배경과 전경의 구분은, 예컨대 입력된 움직이는 실제 객체 영상이 갖는 색수차 또는 색과 콘트라스트의 변화를 기준으로 구분하거나 입력되는 영상의 이웃하는 프레임간의 픽셀값의 비트변화를 파악함으로써, 배경으로부터 실제 객체 영상을 전경으로 구분할 수 있다. 배경으로부터 실제 객체 영상을 구분하는 것은 상술한 방법을 포함한 다양한 방법으로 얻어질 수 있다. 예컨대, 입력된 영상의 색수차 또는 색과 콘트라스트의 변화를 기준으로 또는 이웃 프레임간의 픽셀값에서의 비트변화를 기준으로 배경으로부터 전경을 구분하는 것은 당해 기술분야에서 이미 널리 알려져 있다.
바람직한 하나의 실시예에서, 영상인식장치(200)가 실제객체의 입체영상을 인식하는 경우에, 실제 객체 검출부(110)는 영상인식장치(200)로부터 전송받은 입체 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 입체의 실제 객체 영상을 입체 전경으로 하여 배경과 구분하여 구분되는 입체의 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하며 입체 외곽을 갖는 실제 객체 영상의 움직임을 판단하여 검출한다. 입체 외곽을 갖는 실제 객체 영상의 검출 역시, 바람직하게는, 배경의 제거없이 실제 객체 영상의 입체 외곽을 검출하거나 혹은 배경을 제거하여 전경인 입체 외곽을 갖는 실제 객체 영상을 추출하는 것일 수 있다. 여기에서 입체영상 또는 입체 외곽 또는 입체의 의미는 예컨대 평면 좌표값 이외에 평면에 수직한 z축의 좌표값을 갖는 것을 의미한다. z축 좌표값은 영상깊이 또는 영상거리로 이해된다.
도 1 내지 3을 참조하면, 영상처리장치(100, 100', 100")의 인터랙티브 영상 생성부(130)는 미리 프로그램된 알고리즘에 따라, 인터랙티브 객체의 영상을 생성하며 실제 객체 영상의 움직임이 판단된 경우에 실제 객체 검출부(110)로부터 얻어진 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 인터랙티브 객체가 상호작용적으로 반응하도록 제어하며 인터랙티브영상을 생성한다. 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 인터랙티브 객체가 상호작용적으로 반응하는 것은, 실질적으로 실제 객체 영상의 외곽 라인 또는 외곽 좌표값을 인터랙티브 객체 영상의 영역 내로 매칭시켜 얻어진 좌표값들 또는 외곽 라인에 대하여 인터랙티브 객체가 반응하는 것이다. 실제 객체 영상의 외곽 라인에 대하여 반응하는 경우에, 인터랙티브 영상 생성부(130)에 의해 생성되는 인터랙티브영상은 외곽라인 및 인터랙티브 객체를 포함하는 영상일 수 있고, 실제 객체 영상의 외곽 좌표값에 대하여 반응하는 경우에는, 인터랙티브 객체 자체의 영상이다.
바람직한 하나의 실시예들에 따라, 인터랙티브 객체의 상호작용적인 반응은 미리 프로그램된 알고리즘에 따른 실제 객체 영상의 외곽 또는 움직이는 외곽에 대한 회피, 반사, 굴절, 합체, 안착 또는 침투일 수 있고, 또는 실제 객체 영상의 외곽 또는 움직이는 외곽과의 충돌 또는 접촉에 의한 파괴, 분할 또는 분산일 수 있고, 또는 실제 객체 영상의 외곽 또는 움직이는 외곽으로의 가속 또는 감속일 수 있고, 또는 실제 객체 영상의 정지된 외곽부로 감속 또는 안착과 움직이는 외곽으로부터 회피 또는 이탈일 수 있고, 또는 실제 객체 영상의 움직이는 외곽과의 충돌 또는 접촉에 의한 인터랙티브 객체의 동작일 수 있고, 또는 실제 객체 영상의 접근 또는 멀어짐에 의한 인터랙티브 객체의 크기, 모양 또는 크기와 모양의 변화일 수 있다. 또는 적어도 그들 중 두 가지 이상의 결합에 의한 반응일 수 있다.
여기서, 인터랙티브 객체의 상호작용적 반응은 실제 객체 영상의 외곽 라인 또는 외곽 좌표값을 인터랙티브 객체 영상의 영역 내로 매칭시켜 얻어진 좌표값들 또는 외곽 라인에 대한 인터랙티브 객체의 반응을 의미한다.
또한 바람직한 하나의 실시예에 따르면, 실제 객체의 입체영상을 인식하고 입체적으로 반응하는 인터랙티브영상을 얻는 경우에, 인터랙티브영상 생성부(130)는, 미리 프로그램된 알고리즘에 따라, 입체의 인터랙티브 객체의 영상을 생성하며 입체의 실제 객체 영상의 움직임이 판단된 경우에 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 입체의 인터랙티브 객체가 입체의 상호작용적으로 반응하는 입체의 인터랙티브영상을 생성한다.
도 1 내지 3에 따르면, 영상병합처리부(150)는 실제 객체 검출부(110)에서 처리된 영상신호와 인터랙티브영상 생성부(130)에서 생성된 인터랙티브영상을 병합처리한다. 실제 객체 검출부(110)에서 영상신호 처리는 실제 객체 영상의 외곽의 검출을 말하므로, 앞서 설명된 바와 같이, 검출된 실제 객체 영상은 바람직하게 배경 제거없는 실제 객체 영상이거나 혹은 배경이 제거된 실제 객체 영상일 수 있다. 실제 객체 검출부(110)에서 검출된 실제 객체 영상이 배경 제거되지 않은 영상인 경우 영상병합처리부(150)에서 생성된 인터랙티브영상만이 실제 객체 검출부(110)에서 처리되어 검출된 영상 위로 병합되게 된다. 인터랙티브영상 생성부(130)에서 생성된 인터랙티브영상이 실제 객체 영상의 외곽 라인에 대하여 반응하는 것인 경우에는, 외곽라인 및 인터랙티브 객체를 포함하는 인터랙티브영상이 실제 객체 검출부(110)에서 처리된 영상 위로 병합된다. 한편, 인터랙티브영상 생성부(130)에서 생성된 인터랙티브영상이 실제 객체 영상의 외곽 좌표값에 대하여 반응하는 경우에는, 인터랙티브 객체 자체의 영상이 실제 객체 검출부(110)에서 처리된 영상 위로 병합되는데, 이때 실제 객체 검출부(110)에서 처리된 영상은 그 처리과정에서 실제 객체 영상의 외곽 라인까지 검출한 경우에는 그때 검출된 외곽 라인도 포함하는 영상일 수 있다.
본 구성에 따라, 스크린에서 인터랙티브 객체 뿐만 아니라 실제 객체 영상도 함께 디스플레이되는 것이 가능하게 된다.
바람직한 하나의 실시예에 따르면, 영상인식장치(200)가 입체영상을 인식하고 실제 객체 검출부(110)에서 실제 객체의 입체 외곽을 검출하고 입체적으로 반응하는 인터랙티브 영상을 생성하는 경우, 영상병합처리부(150)는 실제 객체 검출부(110)에서 처리된 입체의 영상신호와 인터랙티브영상 생성부(130)에서 생성된 입체의 인터랙티브영상을 병합처리한다.
도 1을 참조하면, 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 디스플레이장치(300)는 영상처리장치(100)로부터 병합처리된 영상을 전송받아 스크린 상으로 디스플레이시킨다. 바람직하게는 디스플레이장치(300)는 프로젝터(도시되지 않음)이고, 스크린은 영상이 표시되는 것을 말하고, 예컨대 막이나 벽체, 또는 바닥이나 천정 등일 수 있다. 또한 바람직하게는 스크린은 LCD, PDP, OLED 등의 디스플레이화면이고, 디스플레이장치(300)는 이러한 디스플레이화면으로 영상을 재현시키는 영상장치일 수 있다. 바람직하게는 입체영상재현의 경우에는 디스플레이장치(300)가 좌우측 프로젝터이거나 LCD 디스플레이 화면의 경우에 좌우측 영상투사장치로 이루어져 디스플레이화면 상으로 스테레오 영상을 디스플레이시키게 된다.
도 2는 본 발명의 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치의 개략적인 블럭도이다.
도 2를 참조하면, 바람직하게는 또한, 하나의 실시예에서, 영상처리장치(100')는 인터랙티브영상의 배경이 되는 배경영상들이 저장된 배경영상 저장부(170)를 더 포함한다. 게다가 실제 객체 검출부(110)는 구분된 실제 객체 영상을 배경과 분리하여 추출한다. 즉, 본 실시예에서는 실제 객체 검출부(110)에서 배경이 제거되고 실제 객체 영상이 추출되게 된다.
또한, 본 실시예에서, 영상병합처리부(150)는 배경영상 저장부(170)에 저장된 배경영상들 중 선택된 배경영상과 실제 객체 검출부(110)에서 추출된 실제 객체 영상과 인터랙티브영상 생성부(130)에서 생성된 인터랙티브영상을 병합처리한다.
도 3은 본 발명의 또 하나의 실시예에 따른 인터랙티브 영상처리 시스템의 영상처리장치의 다른 하나의 개략적인 블럭도이다.
도 3을 참조하면, 본 발명의 또 하나의 실시예에서, 바람직하게는, 인터랙티브영상 생성부(130)는 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출한다. 여기서, 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 영상이란 실제 객체 영상의 외곽에 대하여 상호작용적 반응된 인터랙티브 객체 영상이고, 실질적으로는 실제 객체 영상의 외곽 라인 또는 외곽 좌표값을 인터랙티브 객체 영상의 영역 내로 매칭시켜 얻어진 좌표값들 또는 외곽 라인에 대하여 합체, 안착 또는 침투 등의 반응을 나타내는 인터랙티브 객체의 영상을 의미한다. 바람직하게는, 이때 인터랙티브 객체 영상의 중심 또는 외곽 좌표값은 공통되는 기본 좌표값뿐만 아니라 실제 객체 검출부(110)에서 검출된 실제 객체 영상의 외곽을 기준으로 결정되는 좌표값을 포함하고 있다.
도 3을 참조하면, 영상처리장치(100")는 영상 라이브러리(190)를 더 포함하여 이루어진다. 또한 바람직하게는 도 3에 도시되지 않았으나 도 2의 배경영상 저장부(170)를 더 포함하여 이루어질 수 있다. 도 3에서 영상라이브러리(190)는 영상인식장치(200)로부터 디지털 영상신호를 입력받아 영상 시퀀스로 실제 객체 검출부(110)로 전송하되 인터랙티브영상 생성부(130)에서 추출된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 실제 객체 검출부(110)로 전송되는 영상 시퀀스의 실제 객체 영상 위에 병합시켜 전송한다.
그리고, 실제 객체 검출부(110)는 영상 라이브러리(190)로부터 전송받은 영상 시퀀스의 실제 객체 영상에 병합된 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리한다. 인터랙티브 객체 영상을 실제 객체 영상의 일부로 처리한다고 함은 실제 객체 영상에 병합된 인터랙티브 객체 영상까지도 실제 객체의 영상의 외곽 영역 내에 포함시키고 실제 객체 영상과 함께 전경이 되도록 하여 배경과 구분되게 처리하는 것이다.
영상병합 처리부(150)는 인터랙티브 객체 영상을 실제 객체 영상의 일부로 처리된 영상신호와 인터랙티브영상 생성부(130)에서 다시 생성되는 인터랙티브 영상을 병합하여 처리하게 된다.
본 실시예 따라, 실제 객체 영상 위로 인터랙티브 객체가 합체, 안착 또는 침투된 상태를 유지하며 추가적인 인터랙티브 객체가 반응하는 인터랙티브 영상을 얻을 수 있다.
또한 바람직하게는 도시되지 않았으나, 하나의 실시예에서, 인터랙티브영상 생성부(130)는 인터랙티브영상 중 실제 객체 영상의 외곽에 대하여, 실질적으로는 인터랙티브 객체 영영 내로 매칭된 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 합체, 안착 혹은 침투되어 반응된 인터랙티브 객체의 중심 혹은 외곽 좌표값, 또는/및 합체, 안착 혹은 침투되는 지점 또는/및 그 부분의 실제 객체 영상의 외곽 좌표값을 추출한다. 인터랙티브영상 생성부(130)에서 추출된 합체, 안착 혹은 침투되어 반응된 인터랙티브 객체의 중심 혹은 외곽 좌표값, 또는/및 합체, 안착 또는 침투 반응된 지점 또는/및 그 부분의 실제 객체 영상의 외곽 좌표값은 실제 객체 검출부(110)로 피드백된다.
그리고, 실제 객체 검출부(110)에서는 피드백된 실제 객체 영상의 외곽 좌표값과 영상인식장치(200)로부터 새로 수신된 영상에서의 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출한다. 또는 피드백된 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상 좌표값과 영상인식장치(200)로부터 새로 수신된 영상에서의 그에 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출한다. 이러한 차이는 실제 객체 영상의 외곽의 회전, 이동, 확대, 축소, 다른 객체와의 결합, 또는 이들의 결합 등에 의해 나타난다.
그리고 인터랙티브영상 생성부(130)에서는, 실제 객체 검출부(110)에서 산출된 새로 수신된 영상에서의 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 피드백 전에 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 합체, 안착 또는 침투되어 반응된 인터랙티브 객체를 2차적으로 모양, 형상 또는 음영의 변화를 생성하도록 반응되는 인터랙티브객체를 더 포함하는 영상을 생성하도록 제어한다.
본 실시예 따라, 실제 객체 영상 위로 인터랙티브 객체가 합체, 안착 또는 침투된 상태가 실제 객체 영상의 움직임에 따라 변화되며, 추가적인 인터랙티브 객체가 반응하는 인터랙티브 영상을 얻을 수 있다.
또한, 본 발명의 또 하나의 실시예에서, 바람직하게는, 실제 객체 검출부(110)는 실제 객체 영상의 외곽 영역 내에서 움직이는 일부분의 경계 좌표값 또는 경계 라인을 검출하고, 외곽을 갖는 실제 객체 영상의 움직임 및 외곽 영역 내의 경계를 갖는 일부분의 움직임을 판단한다.
그리고, 본 실시예에서 인터랙티브영상 생성부(130)는 실제 객체 영상의 외곽 또는 외곽영역 내의 일부분의 움직임이 판단되는 경우에 인터랙티브 객체가 실제 객체 검출부(110)에서 검출된 실제 객체 영상 중 움직이는 외곽에 대하여 그리고 정지된 외곽을 지나 움직임 있는 일부분의 경계에 대하여 상호작용적으로 반응하는 인터랙티브영상을 생성한다.
도 2 또는 3는 본 발명의 하나의 실시예에 따른 인터랙티브 영상처리 시스템에서의 영상처리장치(100', 100")이자, 동시에 본 발명의 또 다른 하나의 실시예에 따른 인터랙티브 영상처리장치(100', 100")를 나타낸다. 게다가, 도 1에서의 도면번호 100 또한 본 발명의 또 다른 하나의 실시예에 따른 인터랙티브 영상처리장치를 나타낸다.
도 1 내지 3을 참조하면, 본 발명의 또 다른 모습에 따른 인터랙티브 영상처리장치(100, 100', 100")는 본 발명의 하나인 전술한 인터랙티브 영상처리 시스템 또는 후술하는 인터랙티브 영상처리 방법의 실시에 사용되는 영상처리장치(100)로서, 실제 객체 검출부(110), 인터랙티브영상 생성부(130) 및 영상병합 처리부(150)를 포함하여 이루어진다. 도 2를 참조하면, 바람직하게는 또한 하나의 실시예에 따라 배경영상 저장부(170)를 더 포함할 수 있고, 또 바람직하게는 도 3을 참조하면, 영상라이브러리(190)를 더 포함할 수 있다. 또한 도시되지 않았으나, 바람직하게는 메인 제어부를 더 포함할 수 있다. 앞서 본 발명의 하나인 인터랙티브 영상처리 시스템의 실시예들에서 설명된 영상처리장치(100, 100', 100")의 다양한 실시예들이 본 발명의 다른 하나인 인터랙티브 영상처리장치(100, 100', 100")의 실시예로서 직접 설명되지 않더라도 인터랙티브 영상처리 시스템의 실시예들의 설명을 참조하여 이해될 수 있으므로, 중복적인 설명을 가급적 생략하기로 한다.
도 1 내지 3을 참조하면, 실제 객체 검출부(110)는 영상인식장치(200)로부터 전송받은 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하고 외곽을 갖는 실제 객체 영상의 움직임을 판단하여 검출한다.
도 1 내지 3을 참조하면, 인터랙티브영상 생성부(130)는 미리 프로그램된 알고리즘에 따라, 인터랙티브 객체의 영상을 생성하며 실제 객체 영상의 움직임이 판단된 경우에 실제 객체 검출부(110)로부터 얻어진 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성한다.
도 1 내지 3을 참조하면, 영상병합처리부(150)는 실제 객체 검출부(110)에서 처리된 영상신호와 인터랙티브영상 생성부(130)에서 생성된 인터랙티브영상을 병합처리한다.
본 발명의 하나인 인터랙티브 입체 영상처리장치의 다양한 실시예들은 비록 직접적으로 설명되지 않더라도, 앞서 설명한 인터랙티브 입체영상 처리시스템의 실시예들에서의 영상처리장치로서 설명되고 이해될 수 있음은 자명하다.
다음으로 본 발명의 다른 하나의 모습에 따른 인터랙티브영상 처리방법을 도면을 참조하여 구체적으로 살펴본다. 본 발명의 하나의 모습에 따른 인터랙티브영상 처리방법은 앞서 언급된 실시예에 따른 인터랙티브영상 처리시스템에서 구현될 수 있으므로, 본 방법의 구체적인 설명은 인터랙티브영상 처리시스템의 실시예를 참조하기로 하고, 언급되지 않은 중복될 설명부분 또한 인터랙티브영상 처리시스템의 실시예에 대한 설명을 참조하기로 한다.
도 4는 본 발명의 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타내고, 도 5는 본 발명의 다른 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타낸다.
도 4를 참조하면, 본 발명의 다른 하나의 실시예에 따른 인터랙티브영상 처리방법은 다음의 제1 내지 제5 단계(S100 내지 S500)를 포함하여 이루어진다.
제1 단계(S100)에서는, 인식영역 내의 실제 객체를 포함하는 영상을 인식한 영상인식장치(200)로부터 인식된 영상신호를 영상처리장치(100)에서 전송받는다.
제2 단계(S200)에서는, 제1 단계(S100)에서 전송받은 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하며 외곽을 갖는 실제 객체 영상의 움직임을 판단하고 검출한다. 외곽을 갖는 실제 객체 영상의 검출은, 바람직하게는, 배경의 제거없이 실제 객체 영상의 외곽을 검출하거나 혹은 배경을 제거하여 전경인 실제 객체 영상을 추출하는 것일 수 있다.
제3 단계(S300)에서는, 영상처리장치(100)에서, 미리 프로그램된 알고리즘에 따라, 적어도 1개 이상 인터랙티브 객체를 포함하는 영상을 생성하며 실제 객체 영상의 움직임이 판단된 경우에 제2 단계(S200)로부터 얻어진 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성한다.
제4 단계(S400)에서는 제2 단계(S200)에서 처리된 영상신호와 제3 단계(S300)에서 생성된 인터랙티브영상을 병합처리한다.
바람직하게는 또 하나의 실시예에 따라 전술한 인터랙티브영상의 배경이 되는 미리 저장된 배경영상들 중 선택된 배경영상과 제2 단계(S200)에서 추출된 실제 객체 영상과 제3 단계(S300)에서 생성된 인터랙티브영상을 병합처리한다.
제5 단계(S500)에서는 제4 단계(S400)에서 병합처리된 영상을 스크린 상에 디스플레이시키기 위해 전송한다.
도 5는 본 발명의 다른 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타낸다.
도 5를 참조하면, 하나의 실시예에서, 전술한 제3 단계(S300')에서는 인터랙티브영상 중 실제 객체 영상의 외곽에 대하여, 실질적으로는 인터랙티브 객체 영영 내로 매칭된 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출한다(S330).
도 5를 참조하면 제1 단계(S100')는, 영상인식장치(200)로부터 디지털신호로 변환된 영상신호를 입력받아 영상 시퀀스로 영상처리장치(100)로 전송하되 전술한 제3 단계(S330)에서 추출된 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 영상처리장치(100, 100', 100")로 전송되는 영상 시퀀스의 실제 객체 영상 위에 병합시켜 전송하는 피드백 병합단계(S130)를 더 포함한다.
또한 도 5를 참조하면 피드백 후의 제2 단계(S200)에서는 피드백 병합단계로부터 전송받은 영상 시퀀스의 실제 객체 영상에 병합된 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리한다.
도 6은 본 발명의 또 다른 하나의 실시예에 따른 인터랙티브영상 처리방법의 개략적인 흐름도를 나타낸다.
도 6을 참조하면, 본 발명의 또 하나의 실시예에서, 제3 단계는, 인터랙티브영상 중 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고 추출된 좌표값을 제2 단계로 피드백하는 피드백 단계(S350)를 더 포함한다.
게다가 도 6을 참조하면, 본 실시예에 따른 영상처리 방법은: 전술한 피드백 단계(S350)에서 피드백된 실제 객체 영상의 외곽 좌표값과 영상인식장치(200)로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 영상인식장치(200)로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하는 제2' 단계(S1200)를 더 포함한다.
나아가 도 6을 참조하면, 제2' 단계(S1200)에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 피드백 전에 합체, 안착 또는 침투되어 반응된 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응되는 영상을 더 포함하는 인터랙티브영상을 생성하는 제3' 단계(S1300)를 더 포함하여 이루어진다.
본 발명의 하나인 인터랙티브영상 처리방법에 대한 구체적인 실시예들이 직접적으로 개시되지 않더라도, 앞서 설명된 본 발명의 인터랙티브영상 처리시스템의 구현의 과정들은 본 발명인 인터랙티브영상 처리방법의 실시예들의 하나로서 설명되며 이해될 수 있다.
이상에서, 본 발명은 첨부된 도면을 참조하여 바람직한 실시예들을 중심으로 설명되었다. 첨부된 도면 및 전술한 실시예들은 본 발명에 대한 당해 기술분야에서 통상의 지식을 가진 자의 이해를 돕기 위해 예시적으로 설명된 것이다. 그러므로, 본 발명의 다양한 실시예는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있고, 전술한 실시예들은 제한적인 것이 아닌 예시적인 것으로 여겨져야 한다. 따라서, 본 발명의 범위는 전술한 실시예들이 아니라 첨부된 특허청구범위에 기재된 발명에 따라 해석되어야 하며, 당해 기술분야에서 통상의 지식을 가진 자에 의한 다양한 변경, 대안, 균등물들이 전술한 발명의 범위에 포함되어 있음은 자명하다.
100, 100', 100" : 영상처리장치 또는 인터랙티브 영상처리장치
110 : 실제 객체 검출부 130 : 인터랙티브영상 생성부
150 : 영상병합 처리부 170 : 배경영상 저장부
190 : 영상 라이브러리 200 : 영상인식장치
300 : 디스플레이장치
110 : 실제 객체 검출부 130 : 인터랙티브영상 생성부
150 : 영상병합 처리부 170 : 배경영상 저장부
190 : 영상 라이브러리 200 : 영상인식장치
300 : 디스플레이장치
Claims (11)
- 인식영역 내의 실제 객체를 포함하는 영상을 인식하고, 인식된 영상신호를 디지털 영상신호로 변환시켜 전송하는 영상인식장치와;
상기 영상인식장치로부터 영상신호를 전송받아 처리하고 처리된 영상신호 중의 상기 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체를 포함하는 영상과 상기 영상신호를 병합하여 상호작용되는 영상신호를 생성시키는 영상처리장치로서,
상기 전송받은 영상신호의 영상 시퀀스에서 상기 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하고 외곽을 갖는 상기 실제 객체 영상의 움직임을 판단하여 검출하는 실제 객체 검출부,
미리 프로그램된 알고리즘에 따라, 상기 인터랙티브 객체의 영상을 생성하며 상기 실제 객체 영상의 움직임이 판단된 경우에 상기 실제 객체 검출부로부터 얻어진 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 상기 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 인터랙티브영상 생성부, 및
상기 실제 객체 검출부에서 처리된 상기 영상신호와 상기 인터랙티브영상 생성부에서 생성된 상기 인터랙티브영상을 병합처리하는 영상병합처리부를 포함하여 이루어지는 상기 영상처리장치와;
상기 영상처리장치로부터 상기 병합처리된 영상을 전송받아 스크린 상으로 디스플레이시키는 디스플레이장치; 를 포함하여 이루어지고,
상기에서, 상기 인터랙티브영상 생성부는 상기 인터랙티브영상 중 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출하고,
상기 영상처리장치는, 상기 영상인식장치로부터 상기 디지털 영상신호를 입력받아 영상 시퀀스로 상기 실제 객체 검출부로 전송하되 상기 인터랙티브영상 생성부에서 추출된 상기 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 상기 실제 객체 검출부로 전송되는 영상 시퀀스의 상기 실제 객체 영상 위에 병합시켜 전송하는 영상 라이브러리를 더 포함하고,
상기 실제 객체 검출부는 상기 영상 라이브러리로부터 전송받은 영상 시퀀스의 상기 실제 객체 영상에 병합된 상기 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리하는 것을 특징으로 하는 인터랙티브 영상처리 시스템.
- 인식영역 내의 실제 객체를 포함하는 영상을 인식하는 영상인식장치와;
상기 영상인식장치로부터 영상신호를 전송받아 처리하고 처리된 영상신호 중의 상기 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체를 포함하는 영상과 상기 영상신호를 병합하여 상호작용되는 영상신호를 생성시키는 영상처리장치로서,
상기 전송받은 영상신호의 영상 시퀀스에서 상기 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하고 외곽을 갖는 상기 실제 객체 영상의 움직임을 판단하여 검출하는 실제 객체 검출부,
미리 프로그램된 알고리즘에 따라, 상기 인터랙티브 객체의 영상을 생성하며 상기 실제 객체 영상의 움직임이 판단된 경우에 상기 실제 객체 검출부로부터 얻어진 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 상기 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 인터랙티브영상 생성부, 및
상기 실제 객체 검출부에서 처리된 상기 영상신호와 상기 인터랙티브영상 생성부에서 생성된 상기 인터랙티브영상을 병합처리하는 영상병합처리부를 포함하여 이루어지는 상기 영상처리장치와;
상기 영상처리장치로부터 상기 병합처리된 영상을 전송받아 스크린 상으로 디스플레이시키는 디스플레이장치; 를 포함하여 이루어지고,
상기에서, 상기 인터랙티브영상 생성부는 상기 인터랙티브영상 중 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고, 추출된 좌표값을 상기 실제 객체 검출부로 피드백 하고,
상기 실제 객체 검출부는 피드백된 상기 실제 객체 영상의 외곽 좌표값과 상기 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 상기 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 상기 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하고,
그리고 상기 인터랙티브영상 생성부는 상기 실제 객체 검출부에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 상기 피드백 전에 상기 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응하는 영상을 더 포함하는 인터랙티브영상을 생성하도록 하는 것을 특징으로 하는 인터랙티브 영상처리 시스템.
- 인식영역 내의 실제 객체를 포함하는 영상을 인식하는 영상인식장치와;
상기 영상인식장치로부터 영상신호를 전송받아 처리하고 처리된 영상신호 중의 상기 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체를 포함하는 영상과 상기 영상신호를 병합하여 상호작용되는 영상신호를 생성시키는 영상처리장치로서,
상기 전송받은 영상신호의 영상 시퀀스에서 상기 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하고 외곽을 갖는 상기 실제 객체 영상의 움직임을 판단하여 검출하는 실제 객체 검출부,
미리 프로그램된 알고리즘에 따라, 상기 인터랙티브 객체의 영상을 생성하며 상기 실제 객체 영상의 움직임이 판단된 경우에 상기 실제 객체 검출부로부터 얻어진 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 상기 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 인터랙티브영상 생성부, 및
상기 실제 객체 검출부에서 처리된 상기 영상신호와 상기 인터랙티브영상 생성부에서 생성된 상기 인터랙티브영상을 병합처리하는 영상병합처리부를 포함하여 이루어지는 상기 영상처리장치와;
상기 영상처리장치로부터 상기 병합처리된 영상을 전송받아 스크린 상으로 디스플레이시키는 디스플레이장치; 를 포함하여 이루어지고,
상기에서, 상기 실제 객체 검출부는 상기 실제 객체 영상의 외곽 영역 내에서 움직이는 일부분의 경계 좌표값 또는 경계 라인을 검출하고, 외곽을 갖는 상기 실제 객체 영상의 움직임 및 상기 외곽 영역 내의 경계를 갖는 일부분의 움직임을 판단하고,
상기 인터랙티브영상 생성부는 상기 실제 객체 영상의 외곽 또는 외곽영역 내의 일부분의 움직임이 판단되는 경우에 상기 인터랙티브 객체가 상기 실제 객체 검출부에서 검출된 상기 실제 객체 영상 중 움직이는 외곽에 대하여 그리고 정지된 외곽을 지나 움직임 있는 일부분의 경계에 대하여 상호작용적으로 반응하는 인터랙티브영상을 생성하는 것을 특징으로 하는 인터랙티브 영상처리 시스템.
- 청구항 1 내지 3 중의 어느 하나의 청구항에 있어서,
상기 실제 객체는 적어도 상기 인식영역 내에 진입하는 초기에 움직이는 행동자로서, 사용자, 사물 또는 그들의 결합을 포함하며,
상기 인터랙티브 객체의 상호작용적인 반응은 미리 프로그램된 알고리즘에 따른 상기 실제 객체 영상의 외곽 또는 움직이는 외곽에 대한 회피, 반사, 굴절, 합체, 안착 또는 침투, 상기 실제 객체 영상의 외곽 또는 움직이는 외곽과의 충돌 또는 접촉에 의한 파괴, 분할 또는 분산, 상기 실제 객체 영상의 외곽 또는 움직이는 외곽으로의 가속 또는 감속, 상기 실제 객체 영상의 정지된 외곽부로 감속 또는 안착과 움직이는 외곽으로부터 회피 또는 이탈, 상기 실제 객체 영상의 움직이는 외곽과의 충돌 또는 접촉에 의한 상기 인터랙티브 객체의 동작, 상기 실제 객체 영상의 접근 또는 멀어짐에 의한 상기 인터랙티브 객체의 크기, 모양 또는 크기와 모양의 변화, 혹은 적어도 그들 중 두 가지 이상의 결합인 것을 특징으로 하는 인터랙티브 영상처리 시스템.
- 청구항 1 내지 3 중의 어느 하나의 청구항에 있어서,
상기 영상처리장치는 상기 인터랙티브영상의 배경이 되는 배경영상들이 저장된 배경영상 저장부를 더 포함하고,
상기 실제 객체 검출부는 상기 구분된 실제 객체 영상을 배경과 분리하여 추출하고,
상기 영상병합처리부는 상기 배경영상 저장부에 저장된 배경영상들 중 선택된 배경영상과 상기 실제 객체 검출부에서 추출된 상기 실제 객체 영상과 상기 인터랙티브영상 생성부에서 생성된 상기 인터랙티브영상을 병합처리하는 것을 특징으로 하는 인터랙티브 영상처리 시스템.
- 청구항 1 내지 3 중의 어느 하나의 청구항에 있어서,
상기 영상인식장치는 입체영상을 인식하는 입체영상인식장치이고,
상기 실제 객체 검출부는 상기 영상인식장치로부터 전송받은 입체 영상신호의 영상 시퀀스에서 상기 실제 객체의 움직임을 기초로 입체의 실제 객체 영상을 입체 전경으로 하여 배경과 구분하여 입체의 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하며 입체 외곽을 갖는 실제 객체 영상의 움직임을 판단하여 검출하고,
상기 인터랙티브영상 생성부는, 미리 프로그램된 알고리즘에 따라, 입체의 인터랙티브 객체의 영상을 생성하며 입체의 실제 객체 영상의 움직임이 판단된 경우에 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 입체의 상기 인터랙티브 객체가 입체의 상호작용적으로 반응하는 입체의 인터랙티브영상을 생성하고,
상기 영상병합처리부는 상기 실제 객체 검출부에서 처리된 입체의 상기 영상신호와 상기 인터랙티브영상 생성부에서 생성된 상기 입체의 인터랙티브영상을 병합처리하는 것을 특징으로 하는 인터랙티브 영상처리 시스템.
- 삭제
- 인식영역 내의 실제 객체를 포함하는 영상을 인식한 영상인식장치로부터 인식된 영상신호를 영상처리장치에서 전송받는 제1 단계;
제1 단계에서 전송받은 영상신호의 영상 시퀀스에서 상기 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하며 외곽을 갖는 상기 실제 객체 영상의 움직임을 판단하는 제2 단계;
상기 영상처리장치에서, 미리 프로그램된 알고리즘에 따라, 적어도 1개 이상 인터랙티브 객체를 포함하는 영상을 생성하며 상기 실제 객체 영상의 움직임이 판단된 경우에 상기 제2 단계로부터 얻어진 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 상기 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 제3 단계;
상기 제2 단계에서 처리된 상기 영상신호와 상기 제3 단계에서 생성된 상기 인터랙티브영상을 병합처리하는 제4 단계; 및
상기 제4 단계에서 병합처리된 영상을 스크린 상에 디스플레이시키기 위해 전송하는 제5 단계; 를 포함하여 이루어지고,
상기에서, 상기 제3 단계에서는 상기 인터랙티브영상 중 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출하고,
상기 제1 단계는, 상기 영상인식장치로부터 디지털신호로 변환된 영상신호를 입력받아 영상 시퀀스로 상기 영상처리장치로 전송하되 상기 제3 단계에서 추출된 상기 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 상기 영상처리장치로 전송되는 영상 시퀀스의 상기 실제 객체 영상 위에 병합시켜 전송하는 피드백 병합단계를 더 포함하고,
상기 피드백 후 상기 제2 단계에서는 상기 피드백 병합단계로부터 전송받은 영상 시퀀스의 상기 실제 객체 영상에 병합된 상기 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리하는 것을 특징으로 하는 인터랙티브 영상처리 방법.
- 인식영역 내의 실제 객체를 포함하는 영상을 인식한 영상인식장치로부터 인식된 영상신호를 영상처리장치에서 전송받는 제1 단계;
제1 단계에서 전송받은 영상신호의 영상 시퀀스에서 상기 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하며 외곽을 갖는 상기 실제 객체 영상의 움직임을 판단하는 제2 단계;
상기 영상처리장치에서, 미리 프로그램된 알고리즘에 따라, 적어도 1개 이상 인터랙티브 객체를 포함하는 영상을 생성하며 상기 실제 객체 영상의 움직임이 판단된 경우에 상기 제2 단계로부터 얻어진 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 상기 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 제3 단계;
상기 제2 단계에서 처리된 상기 영상신호와 상기 제3 단계에서 생성된 상기 인터랙티브영상을 병합처리하는 제4 단계; 및
상기 제4 단계에서 병합처리된 영상을 스크린 상에 디스플레이시키기 위해 전송하는 제5 단계; 를 포함하여 이루어지고,
상기에서, 상기 제3 단계는, 상기 인터랙티브영상 중 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고 추출된 좌표값을 상기 제2 단계로 피드백하는 피드백 단계를 더 포함하고,
상기 영상처리 방법은:
상기 피드백 단계에서 피드백된 상기 실제 객체 영상의 외곽 좌표값과 상기 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 상기 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 상기 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하는 제2' 단계; 및
상기 제2' 단계에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 상기 피드백 전에 상기 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응하는 영상을 더 포함하는 인터랙티브영상을 생성하는 제3' 단계; 를 더 포함하여 이루어지는 것을 특징으로 하는 인터랙티브 영상처리 방법.
- 인터랙티브 영상처리 시스템 또는 인터랙티브 영상처리 방법에 사용되는 영상처리장치로서,
인식영역 내의 실제 객체를 포함하는 영상을 인식하는 영상인식장치로부터 전송받은 영상신호의 영상 시퀀스에서 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하고 외곽을 갖는 상기 실제 객체 영상의 움직임을 판단하여 검출하는 실제 객체 검출부;
미리 프로그램된 알고리즘에 따라, 상기 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체의 영상을 생성하며 상기 실제 객체 영상의 움직임이 판단된 경우에 상기 실제 객체 검출부로부터 얻어진 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 상기 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 인터랙티브영상 생성부; 및
상기 실제 객체 검출부에서 처리된 영상신호와 상기 인터랙티브영상 생성부에서 생성된 상기 인터랙티브영상을 병합처리하는 영상병합처리부;를 포함하여 이루어지고,
상기 인터랙티브영상 생성부는 상기 인터랙티브영상 중 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 추출하고,
상기 영상인식장치로부터 디지털 영상신호를 입력받아 영상 시퀀스로 상기 실제 객체 검출부로 전송하되 상기 인터랙티브영상 생성부에서 추출된 상기 인터랙티브 객체 영상 및 그의 중심 또는 외곽 좌표값을 피드백받아 상기 실제 객체 검출부로 전송되는 영상 시퀀스의 상기 실제 객체 영상 위에 병합시켜 전송하는 영상 라이브러리를 더 포함하고,
상기 실제 객체 검출부는 상기 영상 라이브러리로부터 전송받은 영상 시퀀스의 상기 실제 객체 영상에 병합된 상기 인터랙티브 객체 영상을 실제 객체 영상의 일부로서 처리하는 것을 특징으로 하는 인터랙티브 영상처리장치.
- 인터랙티브 영상처리 시스템 또는 인터랙티브 영상처리 방법에 사용되는 영상처리장치로서,
인식영역 내의 실제 객체를 포함하는 영상을 인식하는 영상인식장치로부터 전송받은 영상신호의 영상 시퀀스에서 상기 실제 객체의 움직임을 기초로 실제 객체 영상을 전경으로 하여 배경과 구분하여 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값 또는 외곽 라인 및 좌표값을 검출하고 외곽을 갖는 상기 실제 객체 영상의 움직임을 판단하여 검출하는 실제 객체 검출부;
미리 프로그램된 알고리즘에 따라, 상기 실제 객체의 영상에 반응하는 적어도 1개 이상의 인터랙티브 객체의 영상을 생성하며 상기 실제 객체 영상의 움직임이 판단된 경우에 상기 실제 객체 검출부로부터 얻어진 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대하여 상기 인터랙티브 객체가 상호작용적으로 반응하는 인터랙티브영상을 생성하는 인터랙티브영상 생성부; 및
상기 실제 객체 검출부에서 처리된 상기 영상신호와 상기 인터랙티브영상 생성부에서 생성된 상기 인터랙티브영상을 병합처리하는 영상병합처리부;를 포함하여 이루어지고,
상기 인터랙티브영상 생성부는 상기 인터랙티브영상 중 상기 실제 객체 영상의 외곽 라인 또는 외곽 좌표값에 대한 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체 및 그의 중심 또는 외곽 좌표값, 또는 합체, 안착 혹은 침투 반응된 지점 또는 그 부분의 실제 객체 영상의 외곽 좌표값을 추출하고, 추출된 좌표값을 상기 실제 객체 검출부로 피드백 하고,
상기 실제 객체 검출부는 피드백된 상기 실제 객체 영상의 외곽 좌표값과 상기 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하거나 또는 피드백된 상기 인터랙티브 객체 영상의 외곽 좌표값에 대응하는 실제 객체 영상의 좌표값과 상기 영상인식장치로부터 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이를 산출하고,
그리고 상기 인터랙티브영상 생성부는 상기 실제 객체 검출부에서 산출된 새로 수신된 영상에서 상응하는 부분의 실제 객체 영상의 외곽과의 차이에 따라, 상기 피드백 전에 상기 합체, 안착 또는 침투되어 반응된 상기 인터랙티브 객체가 2차적으로 모양, 색 또는 음영의 변화를 생성하도록 반응하는 영상을 더 포함하는 인터랙티브영상을 생성하도록 하는 것을 특징으로 하는 인터랙티브 영상처리장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100007279A KR101005599B1 (ko) | 2010-01-27 | 2010-01-27 | 인터랙티브 영상처리 시스템 및 방법, 그리고 인터랙티브 영상처리장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100007279A KR101005599B1 (ko) | 2010-01-27 | 2010-01-27 | 인터랙티브 영상처리 시스템 및 방법, 그리고 인터랙티브 영상처리장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101005599B1 true KR101005599B1 (ko) | 2011-01-05 |
Family
ID=43615756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100007279A Active KR101005599B1 (ko) | 2010-01-27 | 2010-01-27 | 인터랙티브 영상처리 시스템 및 방법, 그리고 인터랙티브 영상처리장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101005599B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101489262B1 (ko) * | 2012-07-12 | 2015-02-04 | 씨제이씨지브이 주식회사 | 메인 영상의 시각적 요소를 확장시키는 다면 상영 시스템 |
| KR20230158701A (ko) | 2022-05-12 | 2023-11-21 | 정혜주 | 인터랙티브 전시 시스템 및 그 처리 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| KR20040029998A (ko) * | 2001-06-05 | 2004-04-08 | 리액트릭스 시스템스, 인크. | 대화형 비디오 디스플레이 시스템 |
| KR20080052338A (ko) * | 2006-12-05 | 2008-06-11 | 한국전자통신연구원 | 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법 |
| JP2009104249A (ja) | 2007-10-19 | 2009-05-14 | Canon Inc | 画像処理装置、画像処理方法 |
-
2010
- 2010-01-27 KR KR1020100007279A patent/KR101005599B1/ko active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| KR20040029998A (ko) * | 2001-06-05 | 2004-04-08 | 리액트릭스 시스템스, 인크. | 대화형 비디오 디스플레이 시스템 |
| KR20080052338A (ko) * | 2006-12-05 | 2008-06-11 | 한국전자통신연구원 | 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법 |
| JP2009104249A (ja) | 2007-10-19 | 2009-05-14 | Canon Inc | 画像処理装置、画像処理方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101489262B1 (ko) * | 2012-07-12 | 2015-02-04 | 씨제이씨지브이 주식회사 | 메인 영상의 시각적 요소를 확장시키는 다면 상영 시스템 |
| US9436076B2 (en) | 2012-07-12 | 2016-09-06 | Cj Cgv Co., Ltd. | Multi-projection system for extending visual element of main image |
| KR20230158701A (ko) | 2022-05-12 | 2023-11-21 | 정혜주 | 인터랙티브 전시 시스템 및 그 처리 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11968479B2 (en) | Method of tracking a mobile device and method of generating a geometrical model of a real environment using a camera of a mobile device | |
| US12294685B2 (en) | Image processing apparatus, image generating method, and storage medium | |
| US20180341823A1 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| US10762386B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
| KR101397712B1 (ko) | 증강 현실 객체 인식 가이드 제공 장치 및 방법 | |
| KR101371893B1 (ko) | 차량 주변의 영상을 이용한 입체물 검출 장치 및 방법 | |
| WO2017033853A1 (ja) | 情報処理装置および情報処理方法 | |
| CN108280401B (zh) | 一种路面检测方法、装置、云端服务器及计算机程序产品 | |
| EP3906527B1 (en) | Image bounding shape using 3d environment representation | |
| Sáez et al. | Aerial obstacle detection with 3-D mobile devices | |
| CN105814611A (zh) | 信息处理设备、信息处理方法、以及程序 | |
| JP6171593B2 (ja) | 視差図からの対象追跡方法及びシステム | |
| US20250133196A1 (en) | Image processing apparatus, image generating method, and storage medium | |
| EP2476999B1 (en) | Method for measuring displacement, device for measuring displacement, and program for measuring displacement | |
| JP2018156408A (ja) | 画像認識撮像装置 | |
| CN111801725A (zh) | 图像显示控制装置及图像显示控制用程序 | |
| CN117751393A (zh) | 利用视觉辅助装置检测障碍元素的方法和系统 | |
| KR101005599B1 (ko) | 인터랙티브 영상처리 시스템 및 방법, 그리고 인터랙티브 영상처리장치 | |
| TWI486054B (zh) | A portrait processing device, a three-dimensional image display device, a method and a program | |
| US20230171300A1 (en) | Securing image data from unintended disclosure at a videoconferencing endpoint | |
| CN104065949A (zh) | 一种电视虚拟触控方法及系统 | |
| US10019635B2 (en) | Vehicle-mounted recognition device | |
| KR100845274B1 (ko) | 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치 | |
| WO2021137349A1 (ko) | 환경 기반 실-가상 정합 사물 배치를 위한 3차원 공간인식과 2차원 인지적 영역분할의 결합 방법 및 시스템 | |
| KR101734729B1 (ko) | 디지털 그림자부 생성 및 상호작용 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20100127 |
|
| PA0201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20100223 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| A302 | Request for accelerated examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20100325 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20100127 Patent event code: PA03021R01I Comment text: Patent Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20100526 Patent event code: PE09021S01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20100909 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20101117 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20101227 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20101227 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20131010 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20131010 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20141010 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20141010 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20151224 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20151224 Start annual number: 6 End annual number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20161226 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20161226 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20171226 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20171226 Start annual number: 8 End annual number: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20181227 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20181227 Start annual number: 9 End annual number: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20191125 Year of fee payment: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20191125 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20201228 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20211206 Start annual number: 12 End annual number: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20221205 Start annual number: 13 End annual number: 13 |
|
| PR1001 | Payment of annual fee |
Payment date: 20231227 Start annual number: 14 End annual number: 14 |