KR100813936B1 - Method for extracting subject and image synthesizing in moving picture - Google Patents
Method for extracting subject and image synthesizing in moving picture Download PDFInfo
- Publication number
- KR100813936B1 KR100813936B1 KR1020060081539A KR20060081539A KR100813936B1 KR 100813936 B1 KR100813936 B1 KR 100813936B1 KR 1020060081539 A KR1020060081539 A KR 1020060081539A KR 20060081539 A KR20060081539 A KR 20060081539A KR 100813936 B1 KR100813936 B1 KR 100813936B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- interest
- background
- region
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
Abstract
본 발명은 동영상의 동적 피사체 추출 및 영상합성 서비스 방법에 관한 것으로, 웹을 통해 전송되는 사용자의 동영상에서 움직이는 사용자 피사체를 감지해 추출하고 주변 배경 영상을 투명화 처리하여 해당 사용자 단독 영상을 생성하고 이러한 사용자 단독 영상에 다양한 배경 영상을 합성하여 웹을 통해 사용자에게 제공함으로써 사용자에게 자신의 영상에 다양한 배경 영상을 합성할 수 있도록 하여 흥미로운 배경 영상 속의 역동적인 사용자 모습을 통해 사용자에게 흥미와 재미를 동시에 줄 수 있게 되는 것을 특징으로 한다. The present invention relates to a method of extracting a dynamic subject of a video and a service for synthesizing a video. The present invention detects and extracts a moving user's subject from a user's video transmitted through a web, and transparently processes a surrounding background image to generate a corresponding user's single image. By synthesizing various background images in a single video and providing them to the user through the web, users can compose various background images in their own images and give users interesting and fun at the same time through the dynamic user appearance in interesting background images. It is characterized by being.
동영상, 투명 Video, transparent
Description
도 1은 본 발명의 동영상의 동적 피사체 추출 및 영상합성 서비스 방법이 적용되는 시스템을 나타내는 일예시도.1 is an exemplary view illustrating a system to which a method for extracting dynamic subjects and a video synthesis service of a video of the present invention is applied.
도 2는 본 발명에 따른 동영상의 동적 피사체 추출 과정을 설명하기 위한 예시도.Figure 2 is an exemplary view for explaining a dynamic subject extraction process of a video according to the present invention.
도 3은 본 발명에 따른 이미지내 관심구역 지정의 예를 설명하기 위한 예시도. 3 is an exemplary diagram for explaining an example of designating a region of interest within an image according to the present invention;
도 4는 본 발명의 실시예에 따른 동영상의 동적 피사체 추출 및 영상합성 서비스 방법을 나타내는 전체적인 흐름도.Figure 4 is a flow diagram illustrating a dynamic subject extraction and image synthesis service method of a video according to an embodiment of the present invention.
본 발명은 동영상의 동적 피사체 추출 및 영상합성 서비스 방법에 관한 것으로, 보다 상세하게는 웹을 통해 전송되는 사용자의 동영상에서 움직이는 사용자 피사체를 감지해 추출하고 주변 배경 영상을 투명화 처리하여 해당 사용자 단독 영상을 생성하고 이러한 사용자 단독 영상에 다양한 배경 영상을 합성하여 웹을 통해 사용자에게 제공함으로써 사용자에게 자신의 영상에 다양한 배경 영상을 합성할 수 있도록 하여 흥미로운 배경 영상 속의 역동적인 사용자 모습을 통해 사용자에게 흥미와 재미를 동시에 줄 수 있는 동영상의 동적 피사체 추출 및 영상합성 서비스 방법에 관한 것이다. The present invention relates to a dynamic subject extraction and image synthesis service method of a video, and more particularly, to detect and extract a moving user subject from a user's video transmitted through a web, and to process the surrounding background image by transparently processing the user's single image. By creating and synthesizing various background images on the user's sole video and providing them to the user through the web, users can compose various background images on their own images to make the user interesting and fun through the dynamic user image in the interesting background image. The present invention relates to a dynamic subject extraction and a video synthesis service method capable of simultaneously giving an image.
일반적으로, 최근 다양한 분야에서 각광받고 있는 이미지 프로세싱 기술이란 이미지 장치(예컨데, 디지탈 카메라, 스케너, 피씨 카메라)로 부터 이미지 데이터를 입력 받아 해당 이미지 데이터를 처리하는 일련의 과정을 의미한다. In general, image processing technology, which has recently been spotlighted in various fields, refers to a series of processes that receive image data from an image device (eg, a digital camera, a scanner, a PC camera) and process the image data.
대표적으로, 이러한 이미지 프로세싱 기술에는 실영상 이미지를 인공 영상의 이미지와 결합시키거나 변형시켜 컴퓨터 예술이나 광고, 오락 등의 분야에 광범위하게 사용되고 있는 이미지 합성(Image Synthesis) 기술과, 영상 이미지 속에 나타나는 객체를 식별하는 일련의 작업을 일컫는 이미지 분석(Image Analysis) 기술과 그리고 영상 이미지로 주어진 문자나 사람의 지문, 얼굴과 같은 객체를 파악하여 인식하는 작업을 일컫는 이미지 패턴 인식(Image Pattern Recognition) 기술 등이 있다. Typically, such image processing techniques include image synthesis techniques that are widely used in fields such as computer art, advertising, and entertainment by combining or transforming real image images with images of artificial images, and objects appearing in image images. Image Analysis technology, which refers to a series of tasks to identify the image, and Image Pattern Recognition technology, which refers to the task of identifying and recognizing objects such as a character, a human fingerprint, and a face given as an image image. have.
본 발명의 목적은, 웹을 통해 전송되는 사용자의 동영상에서 움직이는 사용자 피사체를 감지해 추출하고 주변 배경 영상을 투명화 처리하여 해당 사용자 단독 영상을 생성하고 이러한 사용자 단독 영상에 다양한 배경 영상을 합성하여 웹을 통해 사용자에게 제공함으로써 사용자에게 자신의 영상에 다양한 배경 영상을 합성할 수 있도록 하는 동영상의 동적 피사체 추출 및 영상합성 서비스 방법을 제공하는 것이다. An object of the present invention is to detect and extract a moving user's subject from a user's video transmitted through the web, and to process the surrounding background image to generate the corresponding user's single image, and to synthesize the various background images to the user's single image. By providing to the user through the user to provide a dynamic subject extraction and image synthesis service method for the video that allows the user to synthesize a variety of background images to his image.
본 발명의 또다른 목적은, 웹을 통해 진행되는 동적 피사체 추출에 있어서 고속의 투명화 처리를 가능하게 하고 연산 과부하를 방지할 수 있는 동영상의 동적 피사체 추출 및 영상합성 서비스 방법을 제공하는 것이다. Another object of the present invention is to provide a method for extracting dynamic subjects and an image synthesis service of a moving image which enables high-speed transparency processing and prevents computational overload in extracting dynamic subjects performed through the web.
상기 목적을 달성하기 위한 본 발명의 일측면에 따른 동영상의 동적 피사체 추출 및 영상합성 서비스 방법은, (a) 운영관리 서버가 정보 통신망을 통해 접속된 사용자 컴퓨터로부터 동적 피사체가 배제된 초기 사용자제외 배경 이미지를 수신하는 단계; (b) 상기 운영관리 서버가 수신된 상기 초기 사용자제외 배경 이미지에 대한 다수의 관심구역을 지정하고, 해당 관심구역들에 대한 위치 좌표값 및 색상값을 저장하는 단계; (c) 상기 운영관리 서버가 상기 사용자 컴퓨터로부터 해당 초기 사용자제외 배경 이미지를 배경으로 하면서 동적 피사체가 포함된 피사체 영상의 이미지 프레임들을 수신하는 단계; (d) 상기 운영관리 서버가 상기 초기 사용자제외 배경 이미지에 대하여 기지정된 관심구역들에 관한 이미지내 위치 좌표값과 색상값을 추출하고, 해당 관심구역들의 좌표값 및 색상값을 상기 수신된 피사체 영상의 이미지 프레임에 대입하여 각각의 관심구역에 대한 색상값을 비교해 색상값의 변화 여부를 판별하는 단계; (e) 상기 운영관리 서버가 상기 이미지 프레임에 대하여 기존의 초기 사용자제외 배경 이미지를 기반한 색상값에서 변화가 없는 관심구역과 기존의 색상값에서 변화가 발생한 관심구역을 분류하는 단계; (f) 상기 운영관리 서버가 초기 사용자제외 배경 이미지와 비교하여 색상값의 변화가 없는 관심 구역을 색상 비변화 영역으로 확정하고, 해당 이미지 프레임에서 색상 비변화 영역을 삭제시켜 색상 비변화 영역을 투명화처리하여 피사체 단독 이미지를 추출하는 단계; 및 (g) 상기 운영관리 서버가 상기 순차적으로 수신되는 각각의 영상 이미지 프레임들에 따라 적재되는 피사체 단독 이미지들을 시간순으로 결합하여 사용자 단독 영상레이어를 생성하는 단계; 를 포함하는 것을 특징으로 한다. According to an aspect of the present invention, a dynamic subject extraction and image synthesis service method according to an aspect of the present invention includes (a) an initial user exclusion background from which a dynamic subject is excluded from a user computer connected to an operation management server through an information communication network; Receiving an image; (b) designating, by the operations management server, a plurality of ROIs for the received initial user-excluded background image, and storing position coordinate values and color values for the ROIs; (c) receiving, by the operations management server, image frames of a subject image including a dynamic subject while setting a background image of the initial non-user background from the user computer; (d) the operation management server extracts a location coordinate value and a color value in the image of the regions of interest defined for the background image excluding the initial user, and calculates the coordinate values and the color values of the regions of interest. Determining whether the color value is changed by comparing the color values of the ROIs by substituting the image frames of the image frames; (e) the operation management server classifying the region of interest for which there is no change in the color value based on the existing initial user-excluded background image with respect to the image frame and the region of interest for which the change in the existing color value occurs; (f) The operation management server confirms the region of interest that does not change color value as the color unchanged area compared to the initial user excluded background image, and clears the color unchanged area by deleting the color unchanged area from the corresponding image frame. Processing to extract a subject-only image; And (g) generating, by the operation management server, a user-only image layer by combining the subject-only images loaded according to the respective image image frames sequentially received in chronological order. Characterized in that it comprises a.
바람직하게는, 상기 (b) 단계에서, 상기 관심구역들은 전체 초기 사용자제외 배경 이미지내에서 서로 소정 간격 이격되어 격자무늬형으로 지정되는 것을 특징으로 한다. Preferably, in the step (b), the ROIs are designated as a grid pattern spaced apart from each other by a predetermined interval in the entire initial user excluded background image.
더욱 바람직하게는, 상기 (b) 단계는, 상기 관심구역들에 대한 지정시, 서로 소정 간격 이격되어 격자무늬형으로 상기 관심구역들을 중앙 관심구역들로 지정하는 동시에 각각의 중앙 관심구역들에 대하여 인접한 소정 갯수의 주변 관심구역을 지정하고, 중앙 관심구역과 주변 관심구역간의 색상값의 차이를 수치화하고 각 중앙 관심구역 및 그 주변 관심구역들간의 각각의 색상값 차이를 합산해 해당 합산값을 저장하는 단계; 를 더 포함하는 것을 특징으로 한다. More preferably, in step (b), when designating the regions of interest, the regions of interest are designated as central regions of interest in a grid pattern spaced apart from each other at a predetermined interval and at the same time for each of the central regions of interest. Designate a predetermined number of neighboring neighboring interest zones, quantify the difference in color values between the central interest zone and the neighboring interest zones, sum the difference of the respective color values between each central interest zone and its surrounding interest zones, and store the corresponding sum. Making; It characterized in that it further comprises.
더욱 바람직하게는, 상기 (d) 단계 이후에, 초기 사용자제외 배경 이미지에 대하여 기저장된 중앙 관심구역 및 그 주변 관심구역들간의 각각의 색상값 차이의 전체 합산값과 해당 수신된 이미지 프레임에서의 대응되는 중앙 관심구역 및 그 주변 관심구역들간의 각각의 색상값 차이의 전체 합산값을 비교하여 소정 기준치를 넘는 합산값의 차이가 있으면 해당 중앙 관심구역을 피사체에 의해 점유된 것으로 결정하는 단계; 를 더 포함하는 것을 특징으로 한다. More preferably, after step (d), the total sum of respective color value differences between the pre-stored central region of interest and its surrounding regions of interest for the initial user-excluded background image and the correspondence in the corresponding received image frame. Comparing the total sum of the respective color value differences between the central ROI and the neighboring ROIs, and determining that the central ROI is occupied by the subject if there is a difference in the sum of the sums exceeding a predetermined reference value; It characterized in that it further comprises.
더욱 바람직하게는, 상기 운영관리 서버가 상기 사용자 컴퓨터에서 촬영되는 동영상의 프레임 이미지에서 동적 피사체 여부를 판별하는 관심구역에 대한 피사체 감지 민감도를 설정하는 단계; 를 더 포함하는 것을 특징으로 한다. More preferably, the operation management server to set the object detection sensitivity for the region of interest to determine whether the dynamic subject in the frame image of the video captured by the user computer; It characterized in that it further comprises.
더욱 바람직하게는, 상기 관심구역은 이미지에서 하나의 픽셀 또는 소정 개수의 픽셀 집합체인 것을 특징으로 한다. More preferably, the region of interest is one pixel or a predetermined number of pixel aggregates in the image.
더욱 바람직하게는, 상기 (g) 단계 이후에, (h) 사용자 컴퓨터로부터 배경 영상의 추가 요청신호가 수신된 경우, 상기 운영관리 서버가 상기 생성된 사용자 단독 영상레이어에 소정 배경 영상을 합성하여 제공하는 단계; 를 더 포함하는 것을 특징으로 한다. More preferably, after the step (g), when (h) the request signal for adding the background image is received from the user computer, the operation management server synthesizes and provides a predetermined background image to the generated user single image layer. Making; It characterized in that it further comprises.
더욱 바람직하게는, (i) 사용자 컴퓨터로부터 배경음의 추가 요청신호가 수신된 경우, 상기 운영관리 서버가 상기 생성된 사용자 단독 영상레이어에 소정 배경음을 합성하여 제공하는 단계; 를 더 포함하는 것을 특징으로 한다. More preferably, (i) when the additional request signal of the background sound is received from the user computer, the operation management server synthesizes and provides a predetermined background sound to the generated user-only image layer; It characterized in that it further comprises.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
이하에서 본 발명은 웹을 통해 전송되는 사용자의 동영상에서 움직이는 사용자 피사체를 감지해 추출하고 주변 배경 영상을 투명화 처리하여 해당 사용자 단독 영상을 생성하고 이러한 사용자 단독 영상에 다양한 배경 영상을 합성하여 웹을 통해 사용자에게 제공함으로써 사용자에게 자신의 영상에 다양한 배경 영상을 합성할 수 있도록 하여 흥미로운 배경 영상 속의 역동적인 사용자 모습을 통해 사용자에게 흥미와 재미를 동시에 줄 수 있는 동영상의 동적 피사체 추출 및 영상합성 서비스 방법을 바람직한 실시예로 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, the present invention detects and extracts a moving user's subject from a user's video transmitted through the web, transparently processes the surrounding background image to generate a corresponding user's single image, and synthesizes various background images on the user's single image through the web. By providing the user with a variety of background images to the user's own video to create a dynamic subject extraction and video synthesis service method that can give the user interesting and fun at the same time through the dynamic user image in the interesting background image Although it will be described as a preferred embodiment, the technical idea of the present invention is not limited to this, but can be variously modified and implemented by those skilled in the art.
도 1은 본 발명의 동영상의 동적 피사체 추출 및 영상합성 서비스 방법이 적용되는 시스템을 나타내는 일예시도이다. 1 is an exemplary view illustrating a system to which a method for extracting dynamic subjects and a video synthesis service of a video of the present invention is applied.
본 발명의 동영상의 동적 피사체 추출 및 영상합성 서비스 방법이 적용되는 시스템은 사용자의 영상을 촬영하여 웹을 통해 운영관리 서버(200)로 전송하는 사용자 컴퓨터(100)와 웹을 통해 상기 사용자 컴퓨터(100)로부터 수신되는 사용자의 영상 이미지 프레임에서 동적 움직임을 갖는 사용자 외의 배경을 인식하고 삭제해 투명화시키고 해당 배경이 투명화 처리된 사용자 단독의 영상에 다양한 배경 영상을 합성하여 제공하는 운영관리 서버(200)로 구성된다. The system to which the dynamic subject extraction and image synthesis service method of a video of the present invention is applied is a
도 1을 참조하여 본 발명의 실시예에 따른 동영상의 동적 피사체 추출 및 영상합성 서비스 방법에 대해 좀더 상세하게 설명하면, Referring to Figure 1 in more detail with respect to the dynamic subject extraction and video synthesis service method of a video according to an embodiment of the present invention,
상기 사용자 컴퓨터(100)는 TCP/IP 프로토콜의 유선 인터넷망과 WAP 프로토콜 등의 무선 인터넷망을 포함하는 정보 통신망을 통하여 상기 운영관리 서버(200)에 접속하여 해당 운영관리 서버(200)에서 운영되는 영상합성 서비스를 실행해 해당 사용자 컴퓨터(100)의 사용자에 대한 동영상을 촬영해 운영관리 서버(200)로 전송하게 되는 바, 이러한 상기 사용자 컴퓨터(100)는 통신 가능한 컴퓨터 장치로서 웹 내용을 디스플레이 할 수 있는 인터넷 브라우저를 가지고 있고, 데스크 탑 컴퓨터, 노트북 컴퓨터 등과 같은 개인용 컴퓨터뿐만 아니라 무선 인터넷 통신이 가능한 이동 전화, PDA(Personal Digital Assistant) 및 IMT2000 그리고 유선 전화 등 을 포함하며, 도면에 도시되지 않은 디스플레이 장치, 적어도 Pentium 급 이상의 중앙처리장치, 데이터 저장장치, 64Mb 이상의 메모리 장치, Windows 98 이상의 운영체제를 포함하고 있다. The
즉, 상기 사용자 컴퓨터(100)는 해당 사용자 컴퓨터(100)를 통해 사용자의 동영상 이미지를 촬영해 상기 정보 통신망을 통해 운영관리 서버(200)로 실시간 전송하게 되는 바, 사용자의 이미지 영상을 촬영하는 카메라 모듈(110)을 포함한다. That is, the
이때, 이러한 사용자 컴퓨터(100)는 일반적인 PC에서 별도의 하드웨어적인 기술 없이 즉시 채용 가능한 웹캠(WebCam)(혹은 PC 카메라나 USB 카메라)인 것이 바람직하지만, 촬영된 영상 이미지를 디지털화해 소정 인터페이스를 통해 컴퓨터로 전송하는 일반적인 디지털 카메라이면 관계없다. In this case, the
한편, 상기 운영관리 서버(200)는 상기 사용자 컴퓨터(100)로부터 전송되는 사용자의 영상 이미지 프레임을 수신하고 해당 영상 이미지에서 사용자 외의 배경을 투명화 처리함으로써 사용자 단독 이미지를 추출하여 해당 사용자 단독 이미지를 이용하여 각종 배경 영상을 합성해 해당 사용자 컴퓨터(100)로 제공하게 되는 바, 도 1에 도시된 바와 같이 주제어부(210), 데이터 저장장치(220), 외부 인터페이스(230), 센서 설정부(240), 이미지 처리부(250) 및 영상 합성부(260)를 포함한다. Meanwhile, the operation management server 200 receives a video image frame of the user transmitted from the
상기 데이터 저장장치(220)는 사용자들로부터 전송되는 원본 영상에서 배경이 투명화 처리된 사용자 단독 영상을 저장하는 사용자 영상 DB 와, 상기 사용자 단독 영상과 합성하기 위한 다양한 배경 영상을 저장하는 배경 영상 DB 와, 상기 사용자 단독 영상과 합성하기 위한 다양한 배경 음향을 저장하는 배경 음향 DB 와, 사용자에게 서비스하기 위해 상기 사용자 단독 영상에 배경 영상 및 배경 음향이 합성된 합성 영상을 저장하는 합성 영상 DB 로 구성된다. The data storage device 220 includes a user image DB for storing a user-only image whose background is transparent from an original image transmitted from users, and a background image DB for storing various background images for synthesis with the user-only image; And a background sound DB for storing various background sounds for synthesizing with the user only image, and a synthesized image DB for storing a synthesized image obtained by synthesizing a background image and a background sound in the user only image for service to a user.
이때, 상기 배경 영상이라 함은 레이어로 처리되는 사용자 단독 영상에 대하여 뒷배경으로 합성되는 뒷배경 영상(예컨데, 뮤직 비디오, 바닷가 영상, 휴양림 영상, 스튜디오 촬영장 영상 등)과 사용자 단독 영상에 대하여 앞배경으로 합성되는 앞배경 영상(예컨데, 액자 영상, 테두리 영상)을 포함하며, 사용자 단독 영상의 앞 또는 뒷 배경으로 추가 합성되는 악세사리 영상(예컨데, 새, 꽃, 나비, 벌 등)도 포함된다. In this case, the background image refers to a background image (eg, a music video, a beach image, a recreational forest image, a studio photographing field image, etc.) synthesized as a back background with respect to a user sole image processed as a layer, and a front background for a user sole image. It includes a front background image (for example, a frame image, a border image) to be synthesized, and an accessory image (for example, a bird, a flower, a butterfly, a bee, etc.) that is additionally synthesized as a front or back background of a user alone image.
상기 악세사리 영상은 별도의 영상레이어로 처리되어 영상내에서 동적인 움직임이 가능하다.The accessory image is processed as a separate image layer to enable dynamic movement in the image.
그리고, 상기 배경 음향이라 함은 합성 가능한 각종 배경음(예컨데, 파도소리, 기차소리, 음악 등)을 의미한다. In addition, the background sound refers to various background sounds (for example, waves, train sounds, music, etc.) that can be synthesized.
상기 외부 인터페이스(230)는 상기 정보통신망을 통하여 접속되는 상기 사용자 컴퓨터(100)와의 접속 인터페이스를 구성하며, 해당 사용자 컴퓨터(100)로부터 실시간 전송되는 영상 이미지 프레임을 수신하게 된다. The
상기 센서 설정부(240)는 상기 사용자 컴퓨터(100)로부터 촬영되어 수신되는 초기 사용자제외 배경 이미지를 저장하고 해당 초기 사용자제외 배경 이미지에서 평면적으로 다수의 관심구역을 지정해 해당 관심구역의 위치 좌표값 및 색상값을 저장해 관리하게 되는 바, 초기배경 저장부(241), 관심구역 지정부(242), 관심구역 저장부(243)을 포함한다. The sensor setting unit 240 stores the initial user-excluded background image photographed and received from the
상기 초기배경 저장부(241)는 상기 외부 인터페이스(210)를 통해 사용자 컴퓨터(100)로부터 수신된 초기 사용자제외 배경 이미지를 저장하게 된다. The initial background storage unit 241 stores the initial user excluding background image received from the
이때, 상기 초기 사용자제외 배경 이미지라 함은 도 2a에 도시된 바와 같이 동적 피사체인 사용자가 포함되지 않은 정적인 배경 이미지를 의미한다. In this case, the initial user-excluded background image refers to a static background image that does not include a user who is a dynamic subject as illustrated in FIG. 2A.
상기 관심구역 지정부(242)는 상기 초기 사용자제외 배경 이미지에서 해당 사용자가 동일한 배경 이미지에서 동적으로 움직이는 경우 해당 움직임을 체크하기 위한 다수의 관심구역을 지정하게 된다. The region of interest designator 242 may designate a plurality of regions of interest for checking the movement when the user dynamically moves in the same background image in the initial user excluded background image.
이때, 도 2b에 도시된 바와 같이 해당 관심구역은 초기 사용자제외 배경 이미지에서 차후 사용자의 동적 움직임을 감지하기 위한 센서의 위치로, 이러한 하나의 관심구역은 하나의 픽셀 또는 소정 개수의 픽셀 집합체로서 지정될 수 있다. In this case, as shown in FIG. 2B, the region of interest is a position of a sensor for detecting a dynamic movement of a user in a background image excluding the initial user, and this one region of interest is designated as one pixel or a predetermined number of pixels. Can be.
그리고, 상기 관심구역 저장부(243)는 상기 관심구역 지정부(242)에서 해당 초기 사용자제외 배경 이미지에 대하여 지정한 이러한 관심구역들에 대한 배경 이미지내 위치 좌표값과 색상값을 저장한다. The ROI storage unit 243 stores position coordinates and color values in the background images of the ROIs designated by the ROI designator 242 for the initial user-excluded background image.
여기에서, 이러한 관심구역은 차후 해당 배경 이미지를 배경으로 하여 동적 피사체인 사용자의 움직임이 추가된 영상 이미지 프레임에서 해당 관심구역의 색상값의 변화 여부를 통해 동적 피사체의 움직임을 인식할 수 있는 지표가 되게 되지만, 이러한 감지점인 관심구역은 실시간 이미지 처리의 원활한 연산진행을 위하여 최소화하여야 한다. Here, the region of interest is an index for recognizing the movement of the dynamic subject through the change of the color value of the region of interest in the image image frame to which the movement of the user, which is the dynamic subject, is added, based on the background image. This area of interest, however, should be minimized for smooth computation of real-time image processing.
따라서, 해당 관심구역은 도 3a 에 도시된 바와 같이 전체 초기 사용자제외 배경 이미지내에서 격자무늬형으로 지정되어, 전체 픽셀이 아닌 소정 갯수의 관심구역만을 감시해 해당 관심구역의 색상 변화 여부로 사용자의 움직임을 파악할 수 있게 된다. Therefore, the region of interest is designated as a lattice pattern in the background image excluding the entire initial user, as shown in FIG. 3A, so that only a predetermined number of regions of interest are monitored instead of all pixels, and the color of the region of interest is changed. You can see the movement.
하지만, 이러한 격자무늬형의 관심구역 지정시, 실시간 이미지 처리를 위한 연산의 과부하를 방지하기 위해 해당 격자무늬명의 관심구역은 그 수가 제한되게 된다. However, when specifying the grid-shaped region of interest, the number of regions of interest in the grid-patterned name is limited in order to prevent the overload of computation for real-time image processing.
이에 따라, 해당 관심구역은 도 3b 에 도시된 바와 같이 전체 초기 사용자제외 배경 이미지내에서 격자무늬형으로 다수의 중앙 관심구역들을 지정하고 또한 각각의 중앙 관심구역들에 대하여 8방위 방향으로 인접한 8개의 주변 관심구역을 지정할 수 있다. Accordingly, the region of interest specifies a plurality of central regions of interest in a lattice pattern within the entire initial user-excluded background image as shown in FIG. 3b and also includes eight adjacent regions in eight directions for each of the central regions of interest. You can specify a region of interest around you.
이러한 경우 관심구역 지정시, 해당 중앙 관심구역과 8개의 주변 관심구역들의 색상값을 각각 계산하고, 그 중앙 관심구역과 8개의 주변 관심구역간의 색상값의 차이를 8개 구하여 이러한 8개의 차이값을 합산해 그 합산치를 상기 관심구역 저장부(24)에 저장하여 둔다. 그리고, 차후 사용자의 움직임 체크시에는 해당 중앙 관심구역과 그 주변 관심구역 색상값 차이의 합산치와 기저장된 색상값 차이의 합산치를 비교함으로써 일정 임계치를 넘어서는 경우 이를 중앙 관심구역이 동적 피사체에 의해 점유된 것으로 결정하게 된다. In this case, when the region of interest is designated, the color values of the corresponding center region of interest and the eight surrounding regions of interest are respectively calculated, and the eight color differences between the center region of interest and the eight surrounding regions of interest are calculated to obtain these eight differences. The sum is stored and stored in the ROI storage unit 24. In the future, when the user's movement is checked, the center ROI is occupied by the dynamic subject when the center ROI is over the predetermined threshold by comparing the sum of the color difference between the corresponding center ROI and the neighboring ROI and the previously stored color difference. It is decided that it is.
즉, 하나의 중앙 관심구역이 동적 피사체에 의해 점유되었는지 여부를 보다 정확하게 판별하기 위해 1차적으로 해당 중앙 관심구역의 색상값을 기저장된 초기 사용자제외 배경 이미지에서의 색상값과 비교함으로써 그 관심구역의 피사체 점유 여부를 판별하고, 또한 2차적으로 해당 중앙 관심구역과 그 주변 관심구역 색상값 차이의 합산치와 기저장된 초기 사용자제외 배경 이미지에서의 색상값 차이의 합산치를 비교함으로써 그 중앙 관심구역의 피사체 점유 여부를 판별하게 되는 것이다. That is, in order to more accurately determine whether a central region of interest is occupied by a dynamic subject, the color value of the central region of interest is primarily compared with the color value in the pre-stored initial user-excluded background image. Determines whether the subject is occupied, and secondarily compares the sum of the difference in color values of the corresponding center interest area and the surrounding interest area with the sum of the difference in color values in the pre-stored background image except for the initial user. It will determine whether or not it is occupied.
이러한 방식으로 인해, 전체적인 관심구역 즉 감지 구역의 지정 수가 적더라도 보다 정확한 피사체 점유 여부에 대한 판별이 가능하게 되는 것이다. In this way, it is possible to more accurately determine whether the subject occupies even if the number of designated areas of interest, that is, the detection zone, is small.
여기에서, 해당 관심구역은 도 3c 에 도시된 바와 같이 전체 초기 사용자제외 배경 이미지내에서 각각의 중앙 관심구역들에 대하여 4방위 방향으로 인접한 4개의 주변 관심구역으로 지정될 수도 있다. Here, the region of interest may be designated as four neighboring regions of interest in the four-direction direction with respect to each of the central regions of interest in the entire initial user excluded background image, as shown in FIG. 3C.
이때, 상기 색상값이라 함은 각 픽셀의 RGB 값을 의미한다. In this case, the color value means an RGB value of each pixel.
이러한 관심구역에 대한 피사체 점유 여부에 대한 판별 과정은 이하의 설명을 통하여 보다 잘 이해될 수 있을 것이다. The process of determining whether the subject occupies the region of interest may be better understood through the following description.
한편, 상기 이미지 처리부(250)는 상기 사용자 컴퓨터(100)로부터 촬영되어 수신되는 사용자가 포함된 동영상의 이미지 프레임들을 실시간으로 수신하여 저장하고, 각 이미지 프레임에 대하여 상기 관심구역에 대한 색상 변화 즉 RGB 값의 변화 여부를 통해 동적 피사체를 이미지내에서 인식해 해당 동적 피사체의 이미지를 프레임별로 추출하게 되는 바, 이미지 프레임 저장부(251), 관심구역 비교부(252), 이미지 영역 분류부(253) 및 피사체 추출부(254)를 포함한다. Meanwhile, the image processor 250 receives and stores image frames of a video including a user captured and received from the
상기 이미지 프레임 저장부(251)는 상기 사용자 컴퓨터(100)로부터 전송되는 영상의 이미지 프레임을 순차적으로 수신하여 저장한다. The image frame storage unit 251 sequentially receives and stores image frames of an image transmitted from the
그리고, 상기 관심구역 비교부(252)는 상기 관심구역 저장부(243)에서 초기 사용자제외 배경 이미지에 대하여 기지정된 관심구역에 관한 이미지내 위치 좌표값과 색상값을 가져와 상기 이미지 프레임 저장부(251)에 저장되는 이미지 프레임에 대입하여 해당 각각의 관심구역에 대한 색상값을 비교해, 이러한 관심구역이 기존 배경인지 혹은 동적 피사체인지 여부를 판별하는 관심구역의 색상값 변화 여부를 판단하게 된다. In addition, the ROI comparison unit 252 obtains the location coordinate value and the color value in the image of the ROI predetermined for the background image excluding the initial user from the ROI storage unit 243 and the image frame storage unit 251. By comparing the color values of the respective ROIs by substituting the image frames stored in), it is determined whether the color values of the ROIs that determine whether the ROIs are existing backgrounds or dynamic objects are changed.
또한 이러한 관심구역 비교부(252)는 상술한 바와 같이 보다 정확한 동적 피사체의 추출을 위하여, 추가적으로 중앙 관심구역과 각각의 주변 관심구역간의 색상값 차이의 합산치와 기저장된 초기 사용자제외 배경 이미지에서의 중앙 관심구역과 각각의 주변 관심구역간의 색상값 차이의 합산치를 비교함으로써 그 중앙 관심구역의 피사체 점유 여부를 판별할 수도 있다. In addition, the region of interest comparison unit 252 further extracts the sum of the color value differences between the central region of interest and each of the surrounding regions of interest and the previously stored initial user exclusion background image to extract the dynamic subject more accurately as described above. It is also possible to determine whether the subject occupies the center region of interest by comparing the sum of the color value differences between the central region of interest and each surrounding region of interest.
일반적으로 실제영상에서는 광선의 변화, 그림자, 카메라의 자동색상조정 등으로 인해 오차가 발생할 수 있으므로 피사체인지 여부를 판별하는 색상값 변화 정도에 대한 기준이 필요하며, 이러한 기준은 사용자 또는 시스템에서 설정하게 된다. In general, an error may occur due to a change in light rays, a shadow, or automatic color adjustment of a camera in a real image. Therefore, a reference for the degree of change in color values for determining whether a subject is a target is required. do.
상기 이미지영역 분류부(253)는 상기 관심구역 비교부(252)의 판단결과에 따라 기존의 색상값에서 변화가 없는 관심구역과 기존의 색상값에서 변화가 발생한 관심구역을 분류하여 각각의 영역을 확정한다. The image region classifying unit 253 classifies each region by classifying the region of interest having no change in the existing color value and the region of interest in which the change has occurred in the existing color value according to the determination result of the region of interest comparison unit 252. Confirm.
이때, 기존의 배경 색상값에서 변화가 발생하지 않은 관심구역 즉 배경의 관심구역들에 대하여는, 각각의 관심구역별로 자신의 색상값을 기준으로 소정 임계치내의 RGB 색상의 범위 안에 속하는 타 관심구역까지 영역을 확장시켜 각각의 색상 별 배경 영역들을 확정하게 된다. 그리고 이러한 각각의 배경 영역은 전체 투명 영역으로 합산된다. At this time, for the ROIs that do not change from the existing background color value, that is, the ROIs of the background, the area up to the other ROI within the range of RGB color within a predetermined threshold based on its own color value for each ROI. Expand to determine the background areas for each color. Each of these background areas is then summed into the entire transparent area.
상기 피사체 추출부(254)는 상기 이미지영역 분류부(253)에 의하여 분류되어 영역 확정된 전체 배경 영역을 삭제함으로써 해당 배경 영역을 투명화해 동적 피사체 이미지만을 추출하게 된다. The subject extracting unit 254 erases the entire background region classified by the image region classifying unit 253 to determine the region, thereby extracting only the dynamic subject image by making the background region transparent.
이러한 과정을 수신되는 이미지 프레임별로 반복하여 적재함으로써 동적 피사체인 사용자의 단독 이미지 레이어가 생성되게 된다. By repeatedly loading this process for each received image frame, a single image layer of a user, which is a dynamic subject, is generated.
상기 영상 합성부(260)는 이러한 사용자 단독 이미지 레이어에 대하여 사용자의 요청에 따라 상기 배경 영상 DB 에 저장된 각종 배경(앞배경, 뒷배경, 악세사리 영상)을 합성하여 별도의 영상을 합성하게 된다. The image synthesizing unit 260 synthesizes a separate image by synthesizing various backgrounds (front background, back background, accessory images) stored in the background image DB according to a user's request for the user's single image layer.
본 발명의 전체적인 흐름을 도 4를 참조하여 설명하면 다음과 같다. The overall flow of the present invention will be described with reference to FIG. 4 as follows.
우선, 상기 운영관리 서버(200)의 주제어부(210)는 상기 사용자 컴퓨터(100)에서 촬영되는 동영상의 프레임 이미지에서 동적 피사체 즉 사용자인지 여부를 판별하는 관심구역에 대한 피사체 감지 민감도에 대한 설정을 수행한다(S11). First, the main control unit 210 of the operation management server 200 sets a setting for a subject detection sensitivity of a region of interest for determining whether a user is a dynamic subject or a user in a frame image of a video photographed by the
이때, 상기 피사체 감지 민감도는 상기 관심구역 비교부(252)가 이미지 프레임 저장부(251)에 저장되는 프레임 이미지의 관심구역을 기존에 저장된 초기 사용자제외 배경 이미지의 관심구역과 비교하여 각각의 관심구역에 대한 피사체의 점유 여부를 판별할 수 있는 기준이 되는 정보로서, 본 실시예에서 이러한 피사체 감지 민감도는 픽셀값 즉, RGB 값이 될 수 있다. 따라서 이러한 관심구역의 픽셀값의 색상변화 허용폭을 설정하게 됨으로써 해당 허용폭을 넘어서는 픽셀값의 변화가 발생 하면 이를 해당 관심구역 비교부(252)가 피사체의 관심구역 점유로 인식하게 된다. In this case, the object detection sensitivity is that each region of interest by comparing the region of interest of the frame image stored in the image frame storage unit 252 with the region of interest of the background image excluding the initial user is stored previously. In this embodiment, the sensitivity of the subject detection may be a pixel value, that is, an RGB value. Therefore, by setting the color change allowable width of the pixel value of the region of interest, if a change in the pixel value exceeding the allowable width occurs, the region of interest comparison unit 252 recognizes that the region of interest of the subject occupies the region of interest.
이후, 상기 주제어부(210)는 정보 통신망을 통해 접속된 사용자 컴퓨터(100)에게 동적 피사체인 사용자가 배제된 초기 사용자제외 배경 이미지의 촬영을 요청하고 해당 사용자 컴퓨터(100)로부터 촬영된 초기 사용자제외 배경 이미지를 수신해 초기 배경 저장부(241)에 저장하게 된다(S12). Subsequently, the main controller 210 requests the
이러한 초기 사용자제외 배경 이미지는 도 2a에 도시된 바와 같이 움직이는 동적 피사체인 사용자가 포함되지 않은 배경에 대하여 촬영된 이미지를 의미하며, 차후 사용자는 자신의 모습만이 추출되는 동적 피사체 추출시 해당 배경에서만 움직이게 됨은 물론이다. The background image excluding the initial user means an image photographed against a background that does not include a user, which is a moving dynamic subject, as shown in FIG. 2A. Of course it moves.
상기 주제어부(210)는 상기 관심구역 지정부(242)를 통하여, 초기 배경 저장부(241)에 저장된 초기 사용자제외 배경 이미지를 추출해 해당 초기 사용자제외 배경 이미지에 대한 다수의 관심구역을 지정하고(도 2b 참조), 이러한 관심구역들에 대한 위치 좌표값 및 색상값을 상기 관심구역 저장부(243)에 등록시키게 된다(S13). The main control unit 210 extracts an initial user excluding background image stored in the initial background storage unit 241 through the ROI designation unit 242, and designates a plurality of ROIs for the corresponding initial user excluded background image; 2B), the location coordinate values and the color values of the ROIs are registered in the ROI storage unit 243 (S13).
이때, 상기 관심구역들은 이미 상술한 바와 같이, 전체 초기 사용자제외 배경 이미지내에서 격자무늬형으로 지정될 수 있다(도 3a 참조). In this case, the ROIs may be designated as a grid pattern in the entire initial user excluded background image, as described above (see FIG. 3A).
또한, 피사체 감지의 정확도를 높이기 위해 전체 초기 사용자제외 배경 이미지내에서 격자무늬형으로 다수의 중앙 관심구역들을 지정하고 또한 추가적으로 각각의 중앙 관심구역들에 대하여 8방위 방향으로 인접한 8개의 주변 관심구역을 지정할 수도 있다(도 3b 참조). In addition, in order to increase the accuracy of object detection, a plurality of central points of interest are designated in a grid pattern within the entire initial user-excluded background image, and additionally, eight adjacent points of interest are adjacent to each of the center points of interest in eight directions. It may also be specified (see Figure 3b).
이후, 상기 주제어부(210)는 접속된 상기 사용자 컴퓨터(100)로 상기 초기 사용자제외 배경에서 해당 사용자가 포함된 영상 즉 초기 사용자제외 배경에서 동적 피사체가 포함된 영상의 촬영을 요청한다(S14). Thereafter, the main controller 210 requests the connected
이때, 이러한 배경은 시스템의 과부하와 연산의 시간지연을 방지하기 위해 복잡도가 최소화된 배경이 선택되는 것이 바람직하다. In this case, it is preferable that a background having a minimum complexity is selected in order to prevent an overload of a system and a time delay of an operation.
이후, 상기 주제어부(210)는 상기 사용자 컴퓨터(100)로부터 촬영되어 전송되는 영상의 이미지 프레임(도 2c 참조)들을 수신하여 상기 이미지 프레임 저장부(251)에 저장하는(S15) 한편, 상기 관심구역 비교부(252)를 통하여 초기 사용자제외 배경 이미지에 대하여 기지정된 관심구역에 관한 이미지내 위치 좌표값과 색상값을 가져와 상기 이미지 저장부(241)에 저장되는 이미지 프레임에 대입하여 해당 각각의 관심구역에 대한 색상값을 비교해, 이러한 각각의 관심구역들이 기존 배경인지 혹은 동적 피사체인지 여부를 판별한다(S16). Subsequently, the main controller 210 receives image frames (see FIG. 2C) of images captured and transmitted from the
이러한 각각의 관심구역들에 대한 동적 피사체 여부 판별의 결과가 도 2d 에 도시되어 있다. The result of the determination of whether or not the dynamic object of each of the ROIs is shown in FIG. 2D.
이때, 상기 제 S16 단계에서는 피사체 감지의 정확도를 높이기 위해, 중앙 관심구역과 각각의 주변 관심구역간의 색상값 차이의 합산치와 기저장된 초기 사용자제외 배경 이미지에서의 중앙 관심구역과 각각의 주변 관심구역간의 색상값 차이의 합산치를 비교함으로써 그 중앙 관심구역의 피사체 점유 여부를 판별하는 단계를 추가적으로 진행할 수 있다. In this case, in step S16, in order to increase the accuracy of object detection, the central interest zone and each peripheral interest zone in the pre-stored initial user-excluded background image and the sum of the color value differences between the central interest zone and each peripheral interest zone are stored. The step of determining whether the subject occupies the center ROI may be further performed by comparing the sum of the color value differences between the two.
그리고 상기 주제어부(210)는 상기 제 S16 단계의 판별결과에 따라 상기 이미지영역 분류부(253)를 통하여 기존의 초기 사용자제외 배경 이미지를 기반한 색상값에서 변화가 없는 관심구역과 기존의 색상값에서 변화가 발생한 관심구역을 분류하여 도 2e 에 도시된 바와 같이 각각의 영역을 색상 변화 영역과 색상 비변화 영역으로 확정한다(S17). In addition, the main control unit 210 is configured to generate a region of interest and an existing color value that are not changed in the color value based on the existing initial user-excluded background image through the image region classifier 253 according to the determination result of step S16. The region of interest in which the change has occurred is classified, and each region is determined as a color change region and a color non-change region as shown in FIG. 2E (S17).
이러한 색상변화 영역과 색상 비변화 영역에 대한 확정시, 기존의 배경 색상값에서 변화가 발생하지 않은 관심구역 즉 배경의 관심구역들에 대하여는, 각각의 관심구역별로 자신의 색상값을 기준으로 소정 임계치내의 RGB 색상의 범위 안에 속하는 타 관심구역까지 영역을 확장시켜 각각의 색상별 배경 영역들을 확정하게 된다. When the color change area and the color non-change area are determined, for a region of interest in which no change has occurred in the existing background color value, that is, a region of interest in the background, a predetermined threshold value is determined based on its own color value for each region of interest. The background areas for each color are determined by extending the area to other regions of interest within the RGB color range.
이후, 상기 주제어부(210)는 상기 제 S17 단계의 색상 변화 영역과 색상 비변화 영역에 대한 분류에 따라, 피사체 추출부(254)를 통하여 해당 촬영 이미지 프레임에서 색상 비변화 영역을 삭제시킴으로써 해당 색상 비변화 영역을 투명화 처리시켜 도 2f 에 도시된 바와 같이 피사체 즉 사용자만의 단독 이미지만을 선택해 추출해내게 된다(S18). Subsequently, the main control unit 210 deletes the color non-change region from the corresponding captured image frame through the subject extracting unit 254 according to the classification of the color change region and the color non-change region of step S17. The non-variable region is made transparent so that only a single image of a subject, that is, a user, is selected and extracted as shown in FIG. 2F (S18).
이렇게 사용자 컴퓨터(100)에서 순차적으로 전송되는 각각의 영상 이미지 프레임들에 대하여 상술한 S15 단계 내지 S18 단계를 진행시킴으로써 순차적으로 사용자만의 단독 이미지들이 적재되게 되고 이렇게 순차적으로 적재된 사용자 단독 이미지들을 시간순으로 결합하여 사용자 단독 영상레이어를 생성해 상기 데이터 저장장치(220)의 사용자 영상 DB 에 저장하게 된다(S19). As described above, steps S15 to S18 are performed on the respective image image frames sequentially transmitted from the
이후, 상기 주제어부(210)는 해당 사용자 컴퓨터(100)로부터 상술한 과정을 거쳐 생성된 사용자 단독 영상레이어에 대하여 배경 영상의 추가나 악세사리 영상의 추가 또는 배경음의 추가를 요청하는 사용자 테마 추가 요청신호가 수신되었는지 여부를 판단하고(S20), 사용자의 테마 추가 요청이 있는 경우 다음의 다양한 테마 추가 과정을 진행한다. Subsequently, the main controller 210 receives a user theme addition request signal for requesting the addition of a background image, the addition of an accessory image, or the addition of a background sound to the user-only image layer generated through the above-described process from the
해당 사용자 컴퓨터(100)로부터 배경 영상의 추가 요청신호가 수신된 경우, 상기 운영관리 서버(200)의 주제어부(210)는 해당 사용자 단독 영상레이어에 대하여 뒷배경으로 합성되는 뒷배경 영상 리스트 또는 사용자 단독 영상레이어에 대하여 앞배경으로 합성되는 앞배경 영상 리스트를 전송하여 사용자의 추가적인 테마 영상의 선택을 요청하게 된다(S21). When a request signal for adding a background image is received from the
여기에서, 상기 뒷배경 영상은 레이어로 처리되는 사용자 단독 영상에 대하여 뒷배경으로 합성되는 뒷배경 영상(예컨데, 뮤직 비디오, 바닷가 영상, 휴양림 영상, 스튜디오 촬영장 영상 등)을 의미하며, 상기 앞배경 영상은 해당 사용자 단독 영상에 대하여 앞배경으로 합성되는 앞배경 영상(예컨데, 액자 영상, 테두리 영상)을 의미한다. Here, the back background image refers to a back background image (eg, a music video, a beach image, a recreational forest image, a studio photographing field image, etc.) synthesized as a back background with respect to a user-only image processed as a layer. Means a front background image (for example, a frame image and a border image) synthesized with the front background with respect to the user's single image.
이후 해당 주제어부(210)는 사용자로부터 선택된 뒷배경 영상을 상기 영상 합성부(260)를 통하여 상기 생성된 사용자 단독 영상레이어에 대하여 표시순위가 높은 언더뷰로 설정하여 합성(도 2g 참조)하거나, 사용자로부터 선택된 앞배경 영상을 상기 영상 합성부(260)를 통하여 상기 생성된 사용자 단독 영상레이어에 대하여 표시순위가 낮은 오버뷰로 설정하여 합성(도 2h 참조)함으로써, 해당 사용자 단독 영상레이어와 배경 영상을 합성하게 된다(S22). Subsequently, the main control unit 210 sets the background image selected by the user to the underview having a high display order with respect to the generated user single image layer through the image synthesizing unit 260 (see FIG. 2G), or the user. Synthesizes the background image selected from the user's sole image layer with the low-order overview of the generated user's single image layer through the image synthesis unit 260 (see FIG. 2H), thereby synthesizing the user's single image layer and the background image. It is made (S22).
이때, 이러한 사용자 단독 영상레이어에 대하여 뒷배경 영상과 앞배경 영상이 동시에 추가합성되는 것도 가능함은 물론이다. At this time, it is also possible that the back background image and the front background image may be simultaneously synthesized with respect to the user's single image layer.
한편, 해당 사용자 컴퓨터(100)로부터 악세사리 영상의 추가 요청신호가 수신된 경우, 상기 운영관리 서버(200)의 주제어부(210)는 해당 사용자 단독 영상레이어에 대하여 앞배경 또는 뒷배경으로 합성되는 악세사리 영상 리스트를 전송하여 사용자의 추가적인 테마 영상의 선택을 요청하게 된다(S23). On the other hand, when the additional request signal of the accessory image is received from the
여기에서, 상기 악세사리 영상이라 함은 사용자 단독 영상의 앞 또는 뒷 배경으로 추가 합성되는 악세사리 영상(예컨데, 새, 꽃, 나비, 벌 등)을 포함한다. Here, the accessory image includes an accessory image (for example, a bird, a flower, a butterfly, a bee, etc.) that is additionally synthesized as the front or back background of the user alone image.
이러한 상기 악세사리 영상은 별도의 영상레이어로 처리되어 영상내에서 동적인 움직임이 가능하다.The accessory image is processed as a separate image layer to enable dynamic movement in the image.
이후 해당 주제어부(210)는 사용자로부터 선택된 악세사리 영상을 상기 영상 합성부(260)를 통하여 상기 생성된 사용자 단독 영상레이어에 대하여 표시순위가 높은 언더뷰 또는 사용자 단독 영상레이어에 대하여 표시순위가 낮은 오버뷰로 설정하여 합성(도 2i 참조)함으로써, 해당 사용자 단독 영상레이어와 악세사리 영상을 합성하게 된다(S24). Subsequently, the main control unit 210 displays the accessory image selected by the user through the image synthesizing unit 260 with an underview having a high display rank with respect to the generated user sole image layer or with a low display rank with respect to the user sole image layer. By synthesizing by setting (see FIG. 2I), the user's single image layer and the accessory image are synthesized (S24).
이때, 이러한 사용자 단독 영상레이어에 대하여 뒷배경 영상과 앞배경 영상 그리고 상기 악세사리 영상이 동시에 추가합성되는 것도 가능함은 물론이다. At this time, it is also possible that the background image, the front background image, and the accessory image may be simultaneously synthesized with respect to the user's single image layer.
한편, 해당 사용자 컴퓨터(100)로부터 배경음 테마의 추가 요청신호가 수신된 경우, 상기 운영관리 서버(200)의 주제어부(210)는 해당 사용자 단독 영상레이어에 대하여 배경음으로 합성되는 배경음 리스트를 전송하여 사용자의 추가적인 테 마 배경음의 선택을 요청하게 된다(S25). On the other hand, when the additional request signal of the background sound theme is received from the
여기에서 상기 배경 음향이라 함은 합성 가능한 각종 배경음(예컨데, 파도소리, 기차소리, 음악 등)을 의미한다. Here, the background sound refers to various background sounds (eg, waves, train sounds, music, etc.) that can be synthesized.
이후 해당 주제어부(210)는 사용자로부터 선택된 배경음을 상기 영상 합성부(260)를 통하여 상기 생성된 사용자 단독 영상레이어의 재생 배경음으로 설정시킴으로써, 해당 사용자 단독 영상레이어와 해당 배경음을 합성하게 된다(S26). Subsequently, the main controller 210 synthesizes the background sound selected from the user as the playback background sound of the generated user single image layer through the image synthesizing unit 260, thereby synthesizing the background sound with the corresponding user single image layer (S26). ).
이때, 이러한 사용자 단독 영상레이어에 대하여 뒷배경 영상과 앞배경 영상과 상기 악세사리 영상 그리고 배경음이 동시에 추가합성되는 것도 가능함은 물론이다. At this time, it is also possible that the background image, the front background image, the accessory image, and the background sound can be simultaneously synthesized with respect to the user single image layer.
상기 운영관리 서버(200)의 주제어부(210)는 상술한 바와 같이 사용자 단독 영상 레이어에 대하여 사용자의 선택에 의한 테마 추가 과정을 거쳐 합성 멀티레이어 영상으로 변환된 결과물 영상을 해당 사용자 컴퓨터(100)로 제공하여 주게 된다(S27). As described above, the main control unit 210 of the operation management server 200 converts the resultant image converted into a composite multilayer image by adding a theme to the user's single image layer by the user's selection. Will be provided as (S27).
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다. The present invention described above is capable of various substitutions, modifications, and changes without departing from the spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited to drawing.
이상에서 살펴본 바와 같이, 본 발명에 나타난 동영상의 동적 피사체 추출 및 영상합성 서비스 방법은, 웹을 통해 전송되는 사용자의 동영상에서 움직이는 사 용자 피사체를 감지해 추출하고 주변 배경 영상을 투명화 처리하여 해당 사용자 단독 영상을 생성하고 이러한 사용자 단독 영상에 다양한 배경 영상을 합성하여 웹을 통해 사용자에게 제공함으로써 사용자에게 자신의 영상에 다양한 배경 영상을 합성할 수 있도록 하여 흥미로운 배경 영상 속의 역동적인 사용자 모습을 통해 사용자에게 흥미와 재미를 동시에 줄 수 있게 되는 효과가 있다. As described above, in the dynamic subject extraction and image synthesis service method of the present invention, a moving user's subject is detected and extracted from the user's video transmitted through the web, and the surrounding background image is transparently processed so that the user alone. By creating images and synthesizing various background images on the user's sole image and providing them to the user through the web, users can compose various background images on their own images to interest the user through the dynamic user image in the interesting background image. And fun at the same time has the effect.
또한, 웹을 통해 진행되는 동적 피사체 추출에 있어서 색상 변화를 감지하는 관심구역의 지정시 전체 이미지 픽셀을 그 대상으로 하지 않고 이미지 내에서 소정 픽셀 간격을 가진 격자형으로 관심구역을 배치하거나, 배경 이미지내에서 격자무늬형으로 다수의 중앙 관심구역들을 지정하고 또한 추가적으로 각각의 중앙 관심구역들에 대하여 8방위 방향으로 인접한 8개의 주변 관심구역을 지정함으로써 실시간의 고속 투명화 처리를 가능하게 하고 연산 과부하를 방지할 수 있으며, 전체적인 피사체 감지의 정확도를 높일 수 있게 되는 효과도 있다. In addition, when designating a region of interest that detects a color change in dynamic subject extraction through a web, the region of interest is arranged in a grid shape with a predetermined pixel interval in the image instead of the entire image pixel, or a background image. Designate multiple central points of interest in a grid pattern within the grid and additionally specify eight adjacent points of interest in eight directions for each central point of interest, enabling high-speed transparent processing in real time and preventing computational overload. In addition, there is an effect that can increase the accuracy of the overall object detection.
Claims (8)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20060034273 | 2006-04-14 | ||
KR1020060034273 | 2006-04-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070102360A KR20070102360A (en) | 2007-10-18 |
KR100813936B1 true KR100813936B1 (en) | 2008-03-14 |
Family
ID=38817389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060081539A KR100813936B1 (en) | 2006-04-14 | 2006-08-28 | Method for extracting subject and image synthesizing in moving picture |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100813936B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101410985B1 (en) | 2013-11-27 | 2014-07-04 | 주식회사 휴먼시스템 | monitoring system and monitoring apparatus using security camera and monitoring method thereof |
KR101656642B1 (en) * | 2016-03-10 | 2016-09-09 | (주)디지탈라인 | Group action analysis method by image |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070263865A1 (en) * | 2005-07-01 | 2007-11-15 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Authorization rights for substitute media content |
US9426387B2 (en) | 2005-07-01 | 2016-08-23 | Invention Science Fund I, Llc | Image anonymization |
KR100956768B1 (en) * | 2008-07-15 | 2010-05-11 | 김승숙 | Apparatus and method for generating composed moving picture |
KR101804848B1 (en) | 2011-04-22 | 2017-12-06 | 삼성전자주식회사 | Video Object Detecting Apparatus, Video Object Deforming Apparatus and Method thereof |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR960028480A (en) * | 1994-12-29 | 1996-07-22 | 배순훈 | Foreground / background image selection device with region division coding |
KR20000065050A (en) * | 1996-04-30 | 2000-11-06 | 파울 비릭키 | Apparatus and method for producing synthetic images |
KR20010081411A (en) * | 2000-02-14 | 2001-08-29 | 김효근 | Method and apparatus for generating digital moving pictures |
KR20020067285A (en) * | 2001-02-16 | 2002-08-22 | 주식회사 이스턴정보통신 | Method for background setup in object-based compression moving-image |
KR20030026528A (en) * | 2001-09-26 | 2003-04-03 | 엘지전자 주식회사 | Video telecommunication system |
JP2005005960A (en) | 2003-06-11 | 2005-01-06 | Fuji Photo Film Co Ltd | Apparatus, system, and method for image processing |
-
2006
- 2006-08-28 KR KR1020060081539A patent/KR100813936B1/en not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR960028480A (en) * | 1994-12-29 | 1996-07-22 | 배순훈 | Foreground / background image selection device with region division coding |
KR20000065050A (en) * | 1996-04-30 | 2000-11-06 | 파울 비릭키 | Apparatus and method for producing synthetic images |
KR20010081411A (en) * | 2000-02-14 | 2001-08-29 | 김효근 | Method and apparatus for generating digital moving pictures |
KR20020067285A (en) * | 2001-02-16 | 2002-08-22 | 주식회사 이스턴정보통신 | Method for background setup in object-based compression moving-image |
KR20030026528A (en) * | 2001-09-26 | 2003-04-03 | 엘지전자 주식회사 | Video telecommunication system |
JP2005005960A (en) | 2003-06-11 | 2005-01-06 | Fuji Photo Film Co Ltd | Apparatus, system, and method for image processing |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101410985B1 (en) | 2013-11-27 | 2014-07-04 | 주식회사 휴먼시스템 | monitoring system and monitoring apparatus using security camera and monitoring method thereof |
KR101656642B1 (en) * | 2016-03-10 | 2016-09-09 | (주)디지탈라인 | Group action analysis method by image |
Also Published As
Publication number | Publication date |
---|---|
KR20070102360A (en) | 2007-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091576B (en) | Image segmentation method, device, equipment and storage medium | |
CN108764091B (en) | Living body detection method and apparatus, electronic device, and storage medium | |
US9082235B2 (en) | Using facial data for device authentication or subject identification | |
TWI766201B (en) | Methods and devices for biological testing and storage medium thereof | |
CN111079576B (en) | Living body detection method, living body detection device, living body detection equipment and storage medium | |
US9456131B2 (en) | Video processing systems and methods | |
KR102354692B1 (en) | Rule-based video importance analysis | |
CN102906745B (en) | Determine that key video snippet forms video summary using selection criterion | |
CN116018616A (en) | Maintaining a fixed size of a target object in a frame | |
JP6587435B2 (en) | Image processing apparatus, information processing method, and program | |
US20140300758A1 (en) | Video processing systems and methods | |
CN109565551A (en) | It is aligned in reference frame composograph | |
JP4597391B2 (en) | Facial region detection apparatus and method, and computer-readable recording medium | |
KR100813936B1 (en) | Method for extracting subject and image synthesizing in moving picture | |
KR20090087670A (en) | Method and system for extracting the photographing information | |
KR20160057867A (en) | Display apparatus and image processing method thereby | |
JP2019049978A (en) | Communication terminal, communication system, image processing method, and program | |
CN114387548A (en) | Video and liveness detection method, system, device, storage medium and program product | |
KR101176743B1 (en) | Apparatus and method for recognizing object, information content providing apparatus and information content managing server | |
JP7084795B2 (en) | Image processing equipment, image providing equipment, their control methods and programs | |
CN110266953B (en) | Image processing method, image processing apparatus, server, and storage medium | |
CN109785439B (en) | Face sketch image generation method and related products | |
KR102309453B1 (en) | Social network service system based on unidentified video and method therefor | |
CN109816628A (en) | Face evaluation method and Related product | |
JP2011090410A (en) | Image processing apparatus, image processing system, and control method of image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |