KR20170011065A - A system and method for composing real-time image and animation Image of subject - Google Patents
A system and method for composing real-time image and animation Image of subject Download PDFInfo
- Publication number
- KR20170011065A KR20170011065A KR1020150102996A KR20150102996A KR20170011065A KR 20170011065 A KR20170011065 A KR 20170011065A KR 1020150102996 A KR1020150102996 A KR 1020150102996A KR 20150102996 A KR20150102996 A KR 20150102996A KR 20170011065 A KR20170011065 A KR 20170011065A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- animation
- file
- real
- phone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 57
- 238000004519 manufacturing process Methods 0.000 claims abstract description 35
- 230000015572 biosynthetic process Effects 0.000 claims description 101
- 238000003786 synthesis reaction Methods 0.000 claims description 101
- 239000002131 composite material Substances 0.000 claims description 76
- 230000010365 information processing Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 8
- 238000010295 mobile communication Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000035558 fertility Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 실시간영상과 애니메이션 피사체영상의 합성 제작시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 웹 및 이동 단말에서 재생할 수 있는 실시간영상과 애니메이션 피사체영상을 합성 제작하는데, 애니메이션 기법을 이용한 특정 동영상을 활용하여 애니메이션 피사체영상과 실시간영상을 자동으로 합성한 영상을 유투브 또는 UCC에 활용할 수 있는 효과가 있다. The present invention relates to a system and method for producing a real-time image and an animated subject image, and more particularly, to a real-time image and an animated subject image reproducible on a web and a mobile terminal, It is possible to utilize an image obtained by automatically synthesizing an animated subject image and a real-time image in YouTube or UCC.
Description
본 발명은 웹 및 이동 단말에서 재생할 수 있는 실시간영상과 애니메이션 피사체영상을 합성 제작하는데, 애니메이션 기법을 이용한 특정 동영상을 활용하여 애니메이션 피사체영상과 실시간영상을 자동으로 합성한 영상을 유투브 또는 UCC에 활용할 수 있는 실시간영상과 애니메이션 피사체영상의 합성 제작시스템 및 그 방법에 관한 기술이다.The present invention synthesizes a real-time image and an animated object image that can be played back on the web and a mobile terminal, and can utilize a video that is an automatic synthesis of an animated subject image and a real-time image by utilizing a specific video using an animation technique in YouTube or UCC A system for synthesizing a real-time image and an animated object image, and a technique for the method.
동영상 제작을 위한 이미지 프로세싱 기술로는 실제 영상 이미지를 인공 영상의 합성 이미지와 결합시키거나 변형시켜 컴퓨터 예술이나 광고, 오락 등의 분야에 광범위하게 사용되고 있는 이미지 합성(Image Synthesis) 기술과, 영상 이미지 속에 나타나는 객체를 식별하는 일련의 작업을 일컫는 이미지 분석(Image Analysis) 기술 및 영상 이미지로 주어진 문자나 사람의 지문, 얼굴과 같은 객체를 파악하여 인식하는 작업을 일컫는 이미지 패턴인식(Image Pattern Recognition) 기술 등이 있다.Image processing techniques for video production include image synthesis techniques that are widely used in the fields of computer art, advertising, and entertainment by combining or modifying actual image images with composite images of artificial images, Image Analysis technology that refers to a series of tasks that identify the objects that appear and Image Pattern Recognition technology that refers to recognizing and recognizing objects such as characters, .
저출산, 가구당 자녀수 감소 등과 같은 부모의 양육형태 변화로 조기 교육 확대에 따른 유아 애니메이션의 교육적 효과를 활용한 학습의 우수성이 검증되면서 교육 콘텐츠로서 애니메이션 영역이 확대되었다. 또한, 인터넷과 같은 뉴미디어가 발달하면서 스마트폰, 스마트 패드, 스마트TV 등 새롭게 등장하는 스마트미디어는 스마트폰을 중심으로 한 애니메이션은 큰 성장세를 보이고 있고 방송에서도 한 편당 5분~10분 내의 짧은 분량의 유아·어린이용 애니메이션을 제작하고 편성하고 있다. 애니메이션은 OSMU(One Source Multi Use)로 완구 시장으로 확대되었으며 캐릭터의 인기도에 따라 완구 품귀현상까지 나타나고 있다. As a result of the change of parenting style such as low fertility rate and the decrease of the number of children per household, the animation area was expanded as the contents of education as the excellence of the learning using the educational effects of early childhood animation was confirmed. In addition, as the new media such as the Internet develops, new emerging smart media such as smart phones, smart pads, and smart TVs are showing great growth in the animation centering on smart phones and also in broadcasting, We are producing and organizing animation for children and children. Animation has been extended to the toy market with OSMU (One Source Multi Use), and the phenomenon of toy scarcity is also appearing according to the popularity of characters.
따라서, 아이들에게 애니메이션 내용을 전달할 때, 내용을 인상깊게 기억하고 또한 잠재적인 교훈을 얻을 수 있고, 자연스럽게 몰입할 수 있도록 아이들의 재미와 흥미를 이끌어 낼 수 있는 기술이 요구되고 있다.Therefore, when delivering animation contents to children, there is a demand for a technique that can draw children's impressions and potential lessons, and bring out the fun and interest of children so that they can naturally immerse themselves.
그러므로 실시간영상과 애니메이션 피사체영상을 합성 제작시, 애니메이션 기법을 이용한 영상을 촬영한 특정 동영상을 활용하여 애니메이션 피사체영상과 실시간영상을 자동으로 합성한 영상을 유투브 또는 UCC에 활용할 수 있는 실시간영상과 애니메이션 피사체영상의 합성 제작시스템 및 그 방법의 개발이 절실한 실정이다.Therefore, in the case of composing real-time image and animated object image, it is possible to use real-time image and animated object that can be used for YouTube or UCC by automatically synthesizing an animated object image and a real-time image by using a specific moving- It is inevitable to develop a system for synthesizing images and a method thereof.
이에 본 발명은 상기 문제점들을 해결하기 위하여 착상된 것으로서, 애니메이션 기법을 이용한 특정 동영상을 활용하여 애니메이션 피사체영상과 실시간영상을 자동으로 합성한 영상을 유투브 또는 UCC에 활용할 수 있는 실시간영상과 애니메이션 피사체영상의 합성 제작시스템 및 그 방법을 제공하는데 있다.Accordingly, the present invention is conceived to solve the above-mentioned problems, and it is an object of the present invention to provide a real-time image and an animation object image that can be utilized for YouTube or UCC by automatically synthesizing an animated subject image and a real- A composite manufacturing system and a method thereof.
상기 목적을 달성하기 위한 본 발명의 바람직한 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템은 애니메이션영상합성제작서버에 저장되어 있는 애니메이션 피사체영상을 요청하고 획득하는 기능과, 사용자가 합성하려는 상기 애니메이션 피사체영상을 지정하고, 실제카메라모듈을 이용하여 녹화한 상기 실시간영상을 합성하는 기능과, 상기 애니메이션 피사체영상의 크기가 큰 경우에 상기 애니메이션영상합성제작서버에 영상 합성을 요청하는 기능과, 상기 애니메이션영상합성제작서버에서 사용자가 선택한 애니메이션 피사체영상과, 실시간영상을 합성한 합성영상을 상기 이동 단말에 수신하고 획득한 상기 합성영상을 재생모듈을 통하여 사용자에게 제공하는 기능을 갖는 이동 단말(또는 사용자PC)와; 상기 이동 단말(또는 사용자PC)과 애니메이션영상합성제작서버를 연결하는 인터넷/이동통신망과; 상기 인터넷/이동통신망과 연결되어 있으며, 실시간영상과, 애니메이션 피사체영상을 합성 제작하도록 제어부와, 인터페이스부와, 데이터베이스와, 애니메이션영상처리부와, 영상합성부가 내장되어 있고, 상기 인터페이스부와, 데이터베이스와, 애니메이션영상처리부와, 영상합성부는 각각 제어부의 신호에 의해 동작되어 합성 영상을 제작하는 기능을 갖는 애니메이션영상합성제작서버와; 원본 애니메이션영상 파일을 원본애니메이션영상DB에 저장한 후 애니메이션 편집기를 통하여 애니메이션 피사체영상을 화면에서 확인하고 필요한 동영상 구간을 편집하는 기능을 갖는 관리자PC; 을 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided a system for synthesizing a real-time image and an animated object image according to an embodiment of the present invention includes a function of requesting and acquiring an animated object image stored in an animation image synthesis server, A function of designating the animation subject image and synthesizing the real time image recorded using an actual camera module; a function of requesting the animation image synthesis production server to perform image synthesis when the size of the animation subject image is large; A mobile terminal (or a mobile terminal having a function of receiving the synthesized image obtained by combining the animated object image selected by the user and the real time image with the mobile terminal and providing the obtained synthesized image to the user through the playback module) User PC); An Internet / mobile communication network for connecting the mobile terminal (or a user PC) to an animation image synthesis / production server; An interface unit, a database, an animation image processing unit, and an image synthesizing unit, which are connected to the Internet / mobile communication network and synthesize and produce a real-time image and an animated object image, An animation image processing unit, and an image synthesizing unit, each of which is operated by a signal of a control unit to produce a synthesized image; A manager PC having a function of storing an original animation image file in an original animation image DB and confirming an animated object image on a screen through an animation editor and editing a necessary animation section; .
상기 본 발명에 있어서, 상기 이동 단말은 무선통신을 수행하기 위해 처리하는 무선통신부와; 상기 이동 단말의 각 구성 모듈들을 구동 및 제어하는 제어부와; 상기 이동 단말의 입력을 제어하는 입력부와; 상기 이동 단말의 처리 상태를 나타내는 출력부와; 실제 카메라의 렌즈를 통해 들어오는 실사 뷰를 획득하여 화면상에 표시하는 실제카메라모듈과; 상기 이동 단말에서 사용자가 녹화버튼을 누르면 실제카메라모듈에 대응하여 실행되는 어플리케이션 모듈로서 폰데이터베이스에 저장된 애니메이션 피사체영상과 실제카메라모듈에서 획득한 실사 뷰를 화면상에 제공하는 가상카메라모듈과; 각종 애니메이션 피사체영상 및 실시간영상, 합성영상을 폰데이터베이스에 저장되게 하는 저장모듈과; 상기 저장모듈에 의해 하나 이상의 애니메이션 피사체 영상 데이터를 저장하는 폰애니메이션피사체영상DB와, 하나 이상의 실시간 영상 데이터를 저장하는 폰실사영상DB와, 하나 이상의 합성 영상 데이터를 저장하는 폰애니메이션합성영상DB로 구성되는 폰데이터베이스와; 상기 폰데이터베이스에 저장된 합성영상을 읽어와 재생한 후 화면에 제공하는 재생모듈과; 상기 제어부의 제어에 의해 폰애니메이션피사체영상DB로부터 저장된 애니메이션 피사체영상 파일을 불러오게 오는 폰영상파일처리모듈과, 애니메이션 피사체영상과 이동 단말에서 실제카메라모듈에서 촬영한 실시간영상을 폰실사영상DB에 저장하고, 애니메이션 피사체영상과 실시간영상을 합성하여 폰애니메이션합성영상DB에 저장하는 폰애니메이션영상합성모듈과, 폰애니메이션합성영상DB로부터 저장된 합성영상을 읽어와 가상카메라모듈을 통해 화면상에 제공할 수 있는 처리하는 합성정보처리모듈로 구성되는 폰영상합성부; 를 포함함을 특징으로 한다. In the present invention, the mobile terminal may include a wireless communication unit for performing wireless communication; A controller for driving and controlling each of the configuration modules of the mobile terminal; An input unit for controlling an input of the mobile terminal; An output unit indicating a processing state of the mobile terminal; An actual camera module for acquiring an actual view coming through a lens of an actual camera and displaying the acquired real view on a screen; A virtual camera module for providing an animated subject image stored in a phone database and an actual view acquired from an actual camera module as an application module executed in response to an actual camera module when a user presses a record button on the mobile terminal; A storage module for storing various animation subject images, real-time images, and composite images in a phone database; A phone animation image DB storing one or more animation subject image data by the storage module, a phone real image DB storing one or more real time image data, and a phone animation composite image DB storing one or more composite image data A phone database; A playback module for reading and playing back a composite image stored in the phone database and providing the combined image to a screen; A phone image file processing module for receiving an animation object image file stored from the phone animation subject image DB under the control of the control unit, and an animation object image and a real time image taken by the actual camera module in the mobile terminal, A phone animation image synthesis module for synthesizing an animation subject image and a real time image and storing the synthesized image in a phone animation synthesis image DB, a synthesized image read from a phone animation synthesis image database, and a virtual camera module, A synthesizing unit for synthesizing a phone image; .
상기 본 발명에 있어서, 상기 애니메이션영상합성제작서버는 인터페이스부와, 데이터베이스와, 애니메이션영상처리부와, 영상합성부에 포함되는 각 모듈들을 작동하게 하는 제어부와; 실시간영상과 애니메이션 피사체영상 제작에 필요한 입력, 출력 및 진행 사항을 모니터에서 제공하기 위한 그래픽 유저 인터페이스이며, 키보드 및 마우스 등의 조작을 통해 관리자가 손쉽게 영상을 제작할 수 있도록 지원하는 인터페이스부와; 하나 이상의 원본 애니메이션영상 데이터를 저장하는 원본애니메이션영상DB와, 하나 이상의 애니메이션 피사체영상 데이터를 저장하는 애니메이션피사체영상DB와, 하나 이상의 실시간영상 데이터를 저장하는 실시간영상DB와, 하나 이상의 합성영상 데이터를 저장하는 애니메이션합성영상DB와, 하나 이상의 사용자정보 데이터를 저장하는 사용자정보DB로 구성되는 데이터베이스와; 프로그램 상의 명령에 의해 제작할 원본 애니메이션영상 파일을 불러오게 되며, 프로그램에 의해 제작된 애니메이션 피사체 영상을 애니메이션피사체영상DB에 저장 및 임시저장하며 특히 저장할 파일명 및 경로 설정을 하는 파일처리모듈과, 원본 애니메이션영상 파일에서 애니메이션 피사체영상 추출시와, 영상 합성시에 처리속도를 빠르게 하고 애니메이션 피사체의 테두리 경계를 선명하게 하기 위해 애니메이션 배경색을 변경하는 애니메이션배경색변경모듈과, 상기 파일처리모듈에 의해 불러들인 원본 애니메이션영상 파일에서 애니메이션 배경 영역을 삭제하여 애니메이션 피사체영상을 생성하며 파일처리모듈에 의해 상기 애니메이션피사체영상DB에 저장하는 애니메이션추출모듈로 구성되는 애니메이션영상처리부와; 상기 제어부의 제어에 의해 애니메이션피사체영상DB로부터 저장된 애니메이션 피사체영상 파일을 불러오게 오는 영상파일처리모듈과, 애니메이션 피사체영상과 실시간영상DB로부터 저장된 실시간영상 파일을 불러와서 애니메이션 피사체영상과 실시간영상을 합성하여 합성영상 파일을 애니메이션합성영상DB에 저장하는 애니메이션영상합성모듈과, 애니메이션 피사체영상의 배경과 피사체의 경계를 매끄럽게 하기 위하여 테두리 두께를 처리하는 애니메이션테두리처리모듈과, 애니메이션합성영상DB로부터 저장된 합성영상 파일을 불러와 제어부가 제어하여 합성영상을 인터페이스부를 통하여 이동 단말에 전송하여 이동 단말에서 가상카메라모듈을 통해 화면상에 제공할 수 있도록 처리하는 합성정보처리모듈로 구성되는 영상합성부; 를 포함함을 특징으로 한다. In the present invention, the animation image synthesis and production server includes an interface unit, a database, an animation image processing unit, a control unit for operating each module included in the image synthesis unit, An interface unit for allowing a manager to easily produce an image through operation of a keyboard and a mouse, a graphic user interface for providing input, output, and progress necessary for real time image and animation subject image production on a monitor; An original animation image DB storing one or more original animation image data, an animation object image DB storing one or more animation object image data, a real time image DB storing one or more real time image data, And a user information DB for storing at least one user information data; A file processing module for storing an animation object image produced by the program and storing the animation object image in an animation object image DB and setting a file name and a path to be stored, An animation background color changing module for changing an animation background color in order to extract an animation object image from a file, to speed up processing speed at the time of image synthesis, and to sharpen a border boundary of an animated object, and an original animation image An animation image processor configured to generate an animated object image by deleting an animation background area from the file and to store the animation object image in the animation object image DB by a file processing module; An image file processing module for loading an animation object image file stored from the animation object image DB under the control of the control unit, and a real-time image file stored from the animation object image and the real-time image DB, An animation frame synthesis module for storing the synthesized image file in the animation synthesis image DB, an animation frame processing module for processing the frame thickness to smooth the boundary between the background and the subject of the animation object image, And a composite information processing module configured to transmit the combined image to the mobile terminal through the interface and control the mobile terminal to provide the composite image on the screen through the virtual camera module by controlling the controller. .
또한, 상기 목적을 달성하기 위한 본 발명의 바람직한 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작방법은 실시간영상과 애니메이션 피사체영상을 합성할 수 있도록 애니메이션 편집기에서 원본애니메이션영상DB로부터 원본 애니메이션영상 파일을 관리하는 원본 애니메이션영상 파일관리 단계(a)와; 상기 원본 애니메이션영상 파일관리를 수행한 후, 원본 애니메이션영상 파일에서 애니메이션 피사체영상을 추출하는 애니메이션 피사체영상처리 단계(b)와; 애니메이션 피사체영상처리를 수행한 후, 이동 단말에서 실시간영상을 촬영하고, 사용자가 선택한 애니메이션 피사체영상의 크기가 작은 경우에 이동 단말에서 애니메이션 피사체 영상과 실시간 영상을 합성처리하고 크기가 큰 경우에는 이동 단말에서 영상을 합성하지 않고 애니메이션영상합성제작서버에 전송하여 애니메이션영상합성제작서버에서 애니메이션영상합성처리 할 수 있도록 전송하는 실시간영상관리 단계(c)와; 상기 실시간영상관리를 수행한 후, 실시간영상과 애니메이션 피사체영상을 합성하는 애니메이션영상합성처리 단계(d)와; 상기 애니메이션영상합성처리를 수행한 후, 제작된 실시간영상과 애니메이션 피사체영상을 합성한 파일로 저장하게 되는 애니메이션합성영상 파일저장 단계(e)와; 상기 애니메이션합성영상 파일저장을 수행한 후, 생성된 파일을 애니메이션영상합성제작서버 상에 업로드 하여 사용자들이 사용자PC 또는 이동 단말을 통해 합성영상을 조회하는 애니메이션합성영상 파일요청 단계(f); 을 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided a method of synthesizing a real-time image and an animated object image, comprising the steps of: generating an original animation image from an original animation image database in an animation editor, An original animation image file management step (a) for managing a file; An animation object image processing step (b) of extracting an animation object image from the original animation image file after performing the management of the original animation image file; The mobile terminal captures a real time image after the animation object image processing, and when the size of the animation object image selected by the user is small, the mobile terminal synthesizes the animation object image and the real time image, (C) a real-time image management step of transmitting the synthesized image to an animation image synthesis server without being synthesized and transmitting the synthesized animation image to the animation image synthesis server; (D) an animation image synthesis processing step of synthesizing the real-time image and the animated object image after performing the real-time image management; An animation synthesis image file storing step (e) of storing the synthesized real image and the animated object image as a synthesized file after performing the animation image synthesis processing; An animation composite image file requesting step (f) of uploading the created animation file to the animation image synthesis production server to store the animation synthetic image file and inquiring the synthesized image through a user PC or a mobile terminal; .
상기 본 발명에 있어서, 상기 애니메이션 피사체영상처리 단계(b)는 애니메이션영상처리부의 파일처리모듈이 프로그램 상의 명령에 의해 애니메이션 편집기에서 원본애니메이션영상DB로부터 원본 애니메이션영상 파일을 불러오는 애니메이션 파일처리 단계와, 상기 애니메이션영상처리부의 애니메이션추출모듈이 프로그램 상의 명령에 의해 애니메이션 편집기에서 원본 애니메이션영상에서 애니메이션 피사체영상을 애니메이션 추출 단계와, 상기 애니메이션 추출 단계에서 배경색 처리를 하게 되면, 영상 합성시에 처리속도를 빠르게 하고 애니메이션 피사체의 테두리 경계를 선명하게 하기 위해 애니메이션 배경색을 변경하는 배경색변경과 상기 애니메이션 추출 단계에서 배경색 처리 하지 않으면, 애니메이션 피사체영상 저장하는 단계; 를 포함함을 특징으로 한다. 상기 본 발명에 있어서, 상기 실시간영상관리 단계(c)는 이동 단말의 영상파일처리모듈이 프로그램 상의 명령에 의해 폰애니메이션피사체영상DB로부터 애니메이션 피사체영상 파일을 불러와서 이동 단말 화면에 제공하고 사용자가 합성하고자 하는 영상을 선택하는 폰애니메이션피사체영상 선택 단계와; 상기 선택한 상기 애니메이션 피사체영상 파일과, 상기 이동 단말의 실제카메라모듈을 이용하여 실시간영상(101)을 녹화하는 폰실시간영상 녹화 단계와; 상기 폰실시간영상 녹화 단계에서 사용자가 선택한 애니메이션 피사체영상의 크기에 따라 이동 단말에서 폰 영상 합성 여부를 결정하는 단계와; 상기 폰 영상 합성 여부를 결정하는 단계에서 선택한 상기 애니메이션 피사체영상의 크기가 작은 경우에는 폰영상합성부의 폰애니메이션영상합성모듈에서 상기 애니메이션 피사체영상과, 상기 실시간영상을 합성하는 폰애니메이션영상합성처리 단계와; 상기 폰애니메이션영상합성처리를 수행한 후, 상기 실시간영상과, 상기 애니메이션 피사체영상을 합성한 합성영상을 폰영상파일처리모듈에서 저장모듈을 이용하여 폰애니메이션합성영상DB에 합성영상을 저장하는 폰애니메이션합성영상 파일저장 단계와; 상기 폰 영상 합성 여부를 결정하는 단계에서 선택한 상기 애니메이션 피사체영상의 크기가 큰 경우에는 이동 단말에서 영상을 합성하지 않고 제어부가 제어하여 상기 실시간영상을 무선통신부를 통하여 애니메이션영상합성제작서버에 전송하는 폰실시간영상 파일송신 단계와; 상기 폰실시간영상 파일송신 단계를 수행한 후, 애니메이션영상합성제작서버에서 상기 애니메이션 피사체영상과, 상기 실시간영상을 합성한 합성파일을 이동 단말에 수신하고 폰영상파일처리모듈에서 저장모듈을 이용하여 폰애니메이션합성영상DB에 합성영상을 저장하는 폰애니메이션합성영상 파일수신 단계와; 상기 폰애니메이션합성영상 파일저장 단계 및 상기 폰애니메이션합성영상 파일수신 단계를 수행한 후, 생성된 합성파일을 상기 이동 단말 상에 업로드 하여 합성영상을 조회하면 이동 단말의 폰애니메이션합성영상DB에서 합성영상을 불러와서 재생모듈을 이용하여 가상카메라모듈을 통해 화면에 제공하는 폰애니메이션합성영상 파일요청 단계; 를 포함함을 특징으로 한다.In the present invention, the animation object image processing step (b) includes an animation file processing step of loading an original animation image file from an original animation image DB in an animation editor by a file processing module of the animation image processing unit according to a command on a program, An animation extraction module of an animation image processing unit extracts an animation object image from an original animation image in an animation editor in response to a command in a program; and, when the background color process is performed in the animation extraction step, Changing a background color to change an animation background color to sharpen a border of a subject and storing an animation subject image if the background color is not processed in the animation extraction step; . In the present invention, in the real-time image management step (c), the image file processing module of the mobile terminal loads the animation object image file from the phone animation object image DB by the command on the program, A phone animation subject image selection step of selecting a desired image; A phone real time image recording step of recording a real time image (101) by using the selected animation object image file and an actual camera module of the mobile terminal; Determining whether to synthesize a phone image in a mobile terminal according to a size of an animation subject image selected by the user in the phone real time image recording step; If the size of the animation subject image selected in the step of determining whether or not the phone image is synthesized is small, a phone animation image synthesis process for synthesizing the animation subject image and the real time image in the phone animation image synthesis module of the phone image synthesis unit ; The phone animation image synthesizing process is performed, and then the synthesized image obtained by synthesizing the real-time image and the animation subject image is stored in a phone animation file synthesizing image database using a storage module in a phone image file processing module, A composite image file storing step; When the size of the animation object image selected in the step of determining whether or not the phone image is synthesized is large, the controller controls the mobile terminal without synthesizing the image to transmit the real time image to the animation image synthesis / production server through the wireless communication unit A real-time image file transmission step; The mobile phone receives the synthesized file obtained by synthesizing the animated object image and the real time image in the animation image synthesis and production server and transmits the synthesized file to the mobile terminal through the storage module in the phone image file processing module, A phone animation composite image file reception step of storing the composite image in the animation composite image DB; The phone animation composite image file storage step and the phone animation composite image file reception step are performed and then the created composite file is uploaded on the mobile terminal to inquire the composite image, A phone animated composite image file requesting step of bringing a phone animated image to a screen through a virtual camera module using a playback module; .
상기 본 발명에 있어서, 상기 애니메이션영상합성처리 단계(d)는 영상합성부의 영상파일처리모듈이 프로그램 상의 명령에 의해 원본애니메이션영상DB로부터 원본 애니메이션영상 파일을 불러오고 실시간영상DB로부터 실시간영상 파일을 불러오는 애니메이션영상파일처리 단계와; 상기 애니메이션영상파일처리 단계를 수행한 후, 테두리 처리를 하게 되면, 애니메이션테두리처리모듈이 애니메이션테두리처리 단계를 수행하게 되고, 테두리 처리를 하지 않으면, 애니메이션영상합성모듈이 애니메이션합성영상DB에서 합성영상을 불러오는 애니메이션영상합성처리 단계와; 상기 애니메이션영상합성처리 단계을 수행한 후, 합성정보처리모듈에서 합성정보처리 단계; 를 포함함을 특징으로 한다.In the present invention, the animation image synthesis processing step (d) includes a step of, when the image file processing module of the image synthesis unit reads an original animation image file from the original animation image DB by a command on a program, An animation image file processing step; If the frame processing is performed after the animation image file processing step is performed, the animation frame processing module performs the animation frame processing step. If the frame processing is not performed, the animation image composition module displays the synthesized image An animation image synthesis processing step of importing; After the animation image synthesis processing step is performed, a synthesis information processing step in a synthesis information processing module; .
본 발명에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템 및 그 방법은 다음과 같은 효과를 가진다.The system and method for composing a real-time image and an animated object image according to the present invention have the following effects.
본 발명은 애니메이션 기법을 이용한 특정 동영상을 활용하여 애니메이션 피사체영상과 실시간영상을 자동으로 합성한 영상을 유투브 또는 UCC에 활용할 수 있다. The present invention can utilize an image obtained by automatically synthesizing an animated object image and a real-time image using a specific animation using an animation technique for YouTube or UCC.
도 1은 본 발명의 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템의 구성을 나타내는 도면.
도 2는 본 발명의 일실시예에 따른 애니메이션 피사체영상 화면의 예시도를 나타내는 도면.
도 3은 본 발명의 일실시예에 따른 애니메이션 피사체영상 추출 화면의 예시도를 나타내는 도면.
도 4는 본 발명의 일실시예에 따른 실시간영상 화면의 예시도를 나타내는 도면.
도 5는 본 발명의 일실시예에 따른 애니메이션 피사체영상과 실시간영상 합성 화면의 예시도를 나타내는 도면.
도 6은 본 발명의 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템에서 이동 단말의 구성을 나타내는 도면.
도 7은 본 발명의 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템에서 애니메이션영상합성제작서버의 구성을 나타내는 도면.
도 8은 본 발명의 일실시예에 따른 실시간영상과 애니메이션 피사체영상 합성제작방법의 전체 순서도를 나타내는 도면.
도 9는 본 발명의 일실시예에 따른 도 8의 애니메이션 피사체영상처리 단계의 세부 순서도를 나타내는 도면.
도 10는 본 발명의 일실시예에 따른 도 8의 실시간영상관리 단계의 세부 순서도를 나타내는 도면
도 11는 본 발명의 일실시예에 따른 도 8의 애니메이션영상합성처리 단계의 세부 순서도를 나타내는 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing a configuration of a system for producing a composite image of a real-time image and an animated object image according to an embodiment of the present invention. FIG.
BACKGROUND OF THE INVENTION Field of the Invention [0001]
3 is a view illustrating an example of an animation object image extraction screen according to an embodiment of the present invention.
4 is a view showing an example of a real-time image screen according to an embodiment of the present invention;
5 is a diagram illustrating an example of an animated subject image and a real-time image composition screen according to an embodiment of the present invention.
6 is a diagram illustrating a configuration of a mobile terminal in a composite production system of a real-time image and an animated object image according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a configuration of an animation image synthesis server in a system for producing a composite image of a real-time image and an animated object image according to an embodiment of the present invention; FIG.
FIG. 8 is an overall flowchart of a real-time image and an animation object image synthesis method according to an embodiment of the present invention; FIG.
FIG. 9 is a detailed flowchart of an animation subject image processing step of FIG. 8 according to an embodiment of the present invention; FIG.
10 is a detailed flowchart of the real-time image management step of FIG. 8 according to an embodiment of the present invention; FIG.
11 is a view showing a detailed flowchart of an animation image synthesis processing step of FIG. 8 according to an embodiment of the present invention;
이하 첨부된 도면과 함께 본 발명의 바람직한 실시 예를 살펴보면 다음과 같은데, 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이며, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있으므로, 그 정의는 본 발명인 실시간영상과 애니메이션 피사체영상의 합성 제작시스템 및 그 방법을 설명하는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, when it is determined that a detailed description of related art or configuration may unnecessarily obscure the gist of the present invention, Description will be omitted and terms described below are defined in consideration of the functions of the present invention and this may vary depending on the intention or custom of the user or the operator. And should be based on the description of the system and method throughout the specification.
이하, 본 발명의 바람직한 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템을 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, a system for composing a real-time image and an animated object image according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템의 구성을 나타내는 도면이다.FIG. 1 is a block diagram illustrating a system for composing a real-time image and an animated object image according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명인 실시간영상과 애니메이션 피사체영상의 합성 제작시스템은 이동 단말(100), 사용자PC(110), 인터넷/이동통신망(200), 애니메이션영상합성제작서버(300), 관리자PC(120)로 구성된다. 1, the system for synthesizing a real-time image and an animated object image according to the present invention includes a
상기 이동 단말(100)은 인터넷/이동통신망(200)을 통하여 일방 또는 쌍방 통신할 수 있도록 서로 연결되어 있으며, 적어도 카메라, GPS모듈, 센서모듈을 구비한 단말기로서, 일예로 스마트 폰이나 위 모듈을 연동한 사용자PC로 구성할 수 있다.The
도 2는 본 발명의 일실시예에 따른 애니메이션 피사체영상 화면의 예시도를 나타내는 도면이고, 도 3은 본 발명의 일실시예에 따른 애니메이션 피사체영상 추출 화면의 예시도를 나타내는 도면이다.FIG. 2 is a view illustrating an example of an animated subject image screen according to an embodiment of the present invention, and FIG. 3 is a diagram illustrating an example of an animation subject image extracting screen according to an embodiment of the present invention.
도 2와 도 3에 도시한 바와 같이, 실시간영상과 애니메이션 피사체영상의 합성 제작시스템은 상기 애니메이션 기법으로 촬영한 동영상을 관리자PC(120)에서 원본 애니메이션영상(122) 파일을 원본애니메이션영상DB(331)에 저장한 후 애니메이션 편집기(121)를 통하여 애니메이션 피사체영상(123)을 화면에서 확인하고 필요한 동영상 구간을 편집할 수 있다. As shown in FIGS. 2 and 3, the system for synthesizing a real-time image and an animated object image includes an
또한, 실시간영상과 애니메이션 피사체영상의 합성 제작시스템은 애니메이션 편집기(121)를 이용하여 원본 애니메이션영상(122) 파일에서 애니메이션 피사체영상(123)을 추출할 수 있으며, 실시간영상과 애니메이션 피사체영상의 합성 제작시스템은 추출한 애니메이션 피사체영상(123)을 애니메이션피사체영상DB(332)에 저장한다.In addition, the system for synthesizing the real-time image and the animated object image can extract the
도 4는 본 발명의 일실시예에 따른 실시간영상 화면의 예시도를 나타내는 도면이고, 도 5는 본 발명의 일실시예에 따른 애니메이션 피사체영상과 실시간영상 합성 화면의 예시도를 나타내는 도면이다.FIG. 4 is a view illustrating an example of a real-time image screen according to an embodiment of the present invention, and FIG. 5 is a diagram illustrating an example of an animated object image and a real-time image synthesizing screen according to an embodiment of the present invention.
도 4와 도 5에 도시한 바와 같이, 본 발명인 실시간영상과 애니메이션 피사체영상의 합성 제작시스템에서, 이동 단말(100)은 실시간영상(101), 애니메이션피사체영상 불러오기(104), 녹화하기(105)로 구성된다. 4 and 5, in the present invention, the
상기 실시간영상(101)은 이동 단말(100)에서 카메라를 구동하여 사진을 찍거나 영상을 촬영하는 경우에 카메라를 통하여 보여지는 실제 모습이다. The real-
상기 애니메이션피사체영상 불러오기(104)는 상기 애니메이션영상합성제작시스템에서 관리되는 상기 애니메이션 피사체영상(123)을 조회할 수 있다. The animation object
상기 녹화하기(105)는 합성하고자 하는 상기 애니메이션 피사체영상(123)과 상기 실시간영상(101)을 녹화하는 버튼이다. The recording (105) is a button for recording the animation object image (123) to be synthesized and the real-time image (101).
실시간영상과 애니메이션 피사체영상의 합성 제작시스템은 상기 애니메이션피사체영상 불러오기(104)를 이용하여 폰애니메이션피사체영상DB(151)로부터 저장된 애니메이션 피사체영상(123)을 읽어서 상기 애니메이션 피사체영상(123)과 실시간영상(101)을 합성하여 상기 이동 단말의 화면상에 표시할 수 있다.The system for synthesizing a real-time image and an animated object image reads the stored
도 6은 본 발명의 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템에서 이동 단말의 구성을 나타내는 도면이다.6 is a diagram illustrating a configuration of a mobile terminal in a composite production system of a real-time image and an animated object image according to an embodiment of the present invention.
도 6에 도시한 바와 같이, 본 발명인 실시간영상과 애니메이션 피사체영상의 합성 제작시스템에서, 이동 단말(100)은 무선통신부(131), 제어부(132), 입력부(133), 출력부(134), 실제카메라모듈(135), 가상카메라모듈(136), 저장모듈(137), 재생모듈(138), 폰데이터베이스(150), 폰영상합성부(160)으로 구성된다.6, the
상기 이동 단말(100)은 애니메이션영상합성제작서버(300)에 저장되어 있는 애니메이션 피사체영상(123)을 요청하고 획득하는 기능과, 사용자가 합성하려는 상기 애니메이션 피사체영상(123)을 지정하고, 실제카메라모듈(135)를 이용하여 녹화한 상기 실시간영상(101)을 합성하는 기능과, 상기 애니메이션 피사체영상(123)의 크기가 큰 경우에 상기 애니메이션영상합성제작서버(300)에 영상 합성을 요청하는 기능과, 상기 애니메이션영상합성제작서버(300)에서 사용자가 선택한 애니메이션 피사체영상(123)과, 실시간영상(101)을 합성한 애니메이션합성영상(106)을 상기 이동 단말(100)에 수신하고 획득한 상기 애니메이션합성영상(106)을 재생모듈(138)을 통하여 사용자에게 제공하는 기능을 갖는 것이다.The
여기서, 상기 이동 단말(100)는 무선통신을 수행하기 위해 처리하는 무선통신부(131)와, 상기 이동 단말(100)의 각 구성 모듈들을 구동 및 제어하는 제어부(132)와, 이동 단말(100)의 입력을 제어하는 입력부(133)와, 이동 단말(100)의 처리상태를 나타내는 출력부(134)와, 저장모듈(137)을 이용하여 각종 애니메이션 피사체영상(123) 및 실시간영상(101), 애니메이션합성영상(106)을 저장하는 폰데이터베이스(150)와, 실제 카메라의 렌즈를 통해 들어오는 실사 뷰를 획득하여 화면상에 표시하는 실제카메라모듈(135)과, 상기 이동 단말(100)에서 사용자가 녹화버튼을 누르면 실제카메라모듈(135)에 대응하여 실행되는 어플리케이션 모듈로서 폰데이터베이스(150)에 저장된 애니메이션 피사체영상(123)과 실제카메라모듈(135)에서 획득한 실사 뷰를 화면상에 제공하는 가상카메라모듈(136)과, 저장된 애니메이션합성영상(106)을 읽어와 재생한 후 화면에 제공하는 재생모듈(138)을 포함하는 것이다.The
상기 폰데이터베이스(150)는 사용자가 선택한 애니메이션 피사체 영상과, 실시간 영상 및 합성 영상을 저장하는 역할을 한다. 즉, 폰데이터베이스(150)는 폰애니메이션피사체영상DB(151), 폰실사영상DB(152), 폰애니메이션합성영상DB(153)으로 구성되어 있다.The
상기 폰애니메이션피사체영상DB(151)은 하나 이상의 애니메이션 피사체 영상 데이터를 저장하는 폰데이터베이스(150)이다.The phone animation subject image DB 151 is a
상기 폰실사영상DB(152)는 하나 이상의 실시간 영상 데이터를 저장하는 폰데이터베이스(150)이다.The phone real image DB 152 is a
상기 폰애니메이션합성영상DB(153)는 하나 이상의 합성 영상 데이터를 저장하는 폰데이터베이스(150)이다.The phone animation composite image DB 153 is a
상기 폰영상합성부(160)은 사용자가 선택한 애니메이션 피사체영상의 크기가 작은 경우에 애니메이션 피사체 영상과 실시간 영상을 합성처리하는 역할을 한다. 일 예로 애니메이션 피사체 영상의 크기가 작은 경우라 함은 영상 플레이 시간이 30초, 1분 등 특정 시간 내에 제공하는 짧은 영상을 말한다.The
상기 애니메이션 피사체영상의 크기가 큰 경우에는 이동 단말(100)에서 영상을 합성하지 않고 제어부(132)가 제어하여 실시간영상(101)을 무선통신부(131)를 통하여 애니메이션영상합성제작서버(300)에 전송하여 애니메이션영상합성제작서버(300)에서 애니메이션영상합성처리 할 수 있도록 한다.If the size of the animation object image is large, the
즉, 상기 폰영상합성부(160)는 폰영상파일처리모듈(161)과, 폰애니메이션영상합성모듈(162), 폰합성정보처리모듈(163)로 구성되어 있다.That is, the phone
상기 폰영상파일처리모듈(161)은 제어부(132)의 제어에 의해 폰애니메이션피사체영상DB(151)로부터 저장된 애니메이션 피사체영상 파일을 불러오게 오는 역할을 한다.The phone image
상기 폰 애니메이션영상합성모듈(162)는 애니메이션 피사체영상과 이동 단말(100)에서 실제카메라모듈(135)에서 촬영한 실시간영상을 폰실사영상DB(152)에 저장하고, 애니메이션 피사체영상과 실시간영상을 합성하여 폰애니메이션합성영상DB(153)에 저장하는 역할을 한다.The phone animation
상기 폰합성정보처리모듈(163)은 폰애니메이션합성영상DB(153)로부터 저장된 합성영상을 읽어와 가상카메라모듈(136)을 통해 화면상에 제공할 수 있는 처리를 한다. The phone composition
도 7은 본 발명의 일실시예에 따른 실시간영상과 애니메이션 피사체영상의 합성 제작시스템 애니메이션영상합성제작서버의 구성을 나타내는 도면이다.FIG. 7 is a view showing a configuration of a composite production system animation image composite production server of a real-time image and an animated object image according to an embodiment of the present invention.
도 7에 도시한 바와 같이, 본 발명인 실시간영상과 애니메이션 피사체영상의 합성 제작시스템에서, 애니메이션영상합성제작서버(300)는 제어부(310), 인터페이스부(320), 데이터베이스(330), 애니메이션영상처리부(340), 영상합성부(350)로 구성된다. 7, in the present invention, the animation
상기 제어부(310)는 프로그램상의 각 구성 모듈들을 구동 및 제어하도록 애니메이션영상합성제작서버(300) 내부에 위치하여 데이터 처리하며, 생성된 파일을 데이터베이스(330)에 저장하거나 저장되어 있는 파일을 불러오도록 명령한다.The control unit 310 is located in the animation image synthesis /
즉, 상기 애니메이션영상합성제작서버(300)는 본 발명의 실시간영상(101)과 애니메이션 피사체영상 합성 제작하도록 관련 프로그램이 내장되어 있으며, 상기 프로그램의 각 모듈들은 제어부(310)에 의해 작동하게 된다. That is, the animation image synthesis and
상기 인터페이스부(320)는 실시간영상과 애니메이션 피사체영상 제작에 필요한 입 출력 및 진행 사항을 모니터에서 제공하기 위한 그래픽 유저 인터페이스이며, 키보드 및 마우스 등의 조작을 통해 관리자가 손쉽게 영상을 제작할 수 있도록 지원한다.The interface unit 320 is a graphical user interface for providing input / output and progress information required for real-time image and animation subject image production on a monitor, and supports an administrator to easily produce an image through operation of a keyboard and a mouse .
상기 이동 단말(100)에서 애니메이션 피사체영상(123)의 크기가 큰 경우에, 폰영상합성부(160)에서 처리하지 않고 애니메이션영상합성제작서버(300)에 전송한 실시간영상(101)을 제어부(310)의 제어에 따라 인터페이스부(320)를 통하여 전달 받아 실시간영상DB(333)에 저장하고 이동 단말(100)과 사용자 정보를 사용자정보DB(335)에 저장한다.If the size of the
상기 데이터베이스(330)는 원본애니메이션영상과 애니메이션 피사체영상, 실시간영상, 합성영상, 사용자정보를 저장하는 역할을 한다.The
즉, 데이터베이스(330)는 원본애니메이션영상DB(331)와, 애니메이션피사체영상DB(332), 실시간영상DB(333), 애니메이션합성영상DB(334), 사용자정보DB(335)로 구성되어 있다.That is, the
상기 원본애니메이션영상DB(331)는 하나 이상의 원본 애니메이션영상(122) 데이터를 저장하는 데이터베이스(330)이다.The original
상기 애니메이션피사체영상DB(332)는 하나 이상의 애니메이션 피사체영상(123) 데이터를 저장하는 데이터베이스(330)이다.The animation
상기 실시간영상DB(333)은 하나 이상의 실시간영상(101) 데이터를 저장하는 데이터베이스(330)이다.The real-
상기 애니메이션합성영상DB(334)은 하나 이상의 애니메이션합성영상(106) 데이터를 저장하는 데이터베이스(330)이다.The animation
상기 사용자정보DB(335)은 하나 이상의 사용자정보 데이터를 저장하는 데이터베이스(330)이다.The
상기 애니메이션영상처리부(340)는 관리자PC(120)에서 애니메이션 편집기(121)를 이용하여 파일처리모듈(341)은 상기 원본애니메이션영상DB(331)로부터 상기 원본 애니메이션영상(122) 파일을 불러들여 작업하며, 제작된 애니메이션 피사체영상(332) 파일을 불러오거나 영상 합성시에 처리속도를 빠르게 하고 애니메이션 피사체의 테두리 경계를 선명하게 하기위해 애니메이션 배경색을 변경하고 애니메이션 피사체영상을 추출한 후 특정 디렉토리에 저장 및 임시 저장하는 역할을 한다.The
즉, 상기 애니메이션영상처리부(340)는 파일처리모듈(341)과, 애니메이션배경색변경모듈(342), 애니메이션추출모듈(343)로 구성되어 있다.That is, the animation
상기 파일처리모듈(341)은 프로그램 상의 명령에 의해 제작할 원본 애니메이션영상(122) 파일을 불러오게 되며, 프로그램에 의해 제작된 애니메이션 피사체 영상을 애니메이션피사체영상DB(332)에 저장 및 임시저장하며 특히 저장할 파일명 및 경로 설정을 하게 된다.The
상기 애니메이션배경색변경모듈(342)은 원본 애니메이션영상(122) 파일에서 애니메이션 피사체영상 추출시와, 영상 합성시에 처리속도를 빠르게 하고 애니메이션 피사체의 테두리 경계를 선명하게 하기위해 애니메이션 배경색을 변경하는 역할을 한다.The animation background
상기 애니메이션추출모듈(343)은 상기 파일처리모듈(341)에 의해 불러들인 원본 애니메이션영상(122) 파일에서 애니메이션 배경 영역을 삭제하여 애니메이션 피사체영상(123)을 생성하며 파일처리모듈(341)에 의해 상기 애니메이션피사체영상DB(332)에 저장하는 역할을 한다.The
상기 영상합성부(350)는 애니메이션피사체영상DB(332)로부터 저장된 애니메이션 피사체영상(123) 파일을 불러 오고 애니메이션 피사체영상(123)의 배경과 피사체의 경계를 매끄럽게 하기 위하여 테두리 두께 등을 처리하며 애니메이션 피사체영상(123)과 실시간영상(101)을 합성하여 합성영상 파일을 제작하며 이동 단말(100)에 전송하는 역할을 한다.The
즉, 상기 영상합성부(350)는 영상파일처리모듈(351)과, 애니메이션영상합성모듈(352), 애니메이션테두리처리모듈(353), 합성정보처리모듈(354)로 구성되어 있다.That is, the
상기 영상파일처리모듈(351)은 제어부(310)의 제어에 의해 애니메이션피사체영상DB(332)로부터 저장된 애니메이션 피사체영상(123) 파일을 불러오게 오는 역할을 한다.The image
상기 애니메이션영상합성모듈(352)는 애니메이션 피사체영상(123)과 실시간영상DB(333)로부터 저장된 실시간영상(101) 파일을 불러와서 애니메이션 피사체영상(123)과 실시간영상(101)을 합성하여 합성영상 파일을 애니메이션합성영상DB(334)에 저장하는 역할을 한다.The animation
상기 애니메이션테두리처리모듈(353)은 애니메이션 피사체영상(123)의 배경과 피사체의 경계를 매끄럽게 하기 위하여 테두리 두께 등을 처리하는 역할을 한다.The animation
상기 합성정보처리모듈(354)은 폰애니메이션합성영상DB(153)로부터 저장된 합성영상 파일을 불러와 제어부(310)가 제어하여 합성영상을 인터페이스부(320)를 통하여 이동 단말(100)에 전송하여 이동 단말(100)에서 가상카메라모듈(136)을 통해 화면상에 제공할 수 있도록 처리를 한다. The composite
도 8은 본 발명의 일실시예에 따른 실시간영상과 애니메이션 피사체영상 합성제작방법의 전체 순서도를 나타내는 도면이고, 도 9는 본 발명의 일실시예에 따른 도 8의 애니메이션 피사체영상처리 단계의 세부 순서도를 나타내는 도면이며, 도 10은 본 발명의 일실시예에 따른 도 8의 실시간영상관리 단계의 세부 순서도를 나타내는 도면이고, 도 11은 본 발명의 일실시예에 따른 도 8의 애니메이션영상합성처리 단계의 세부 순서도를 나타내는 도면이다.FIG. 8 is a flowchart showing an overall flowchart of a real-time image and an animation object image synthesis method according to an embodiment of the present invention. FIG. 9 is a detailed flowchart of the animation object image processing step of FIG. 8 according to an embodiment of the present invention. FIG. 10 is a detailed flowchart of the real-time image management step of FIG. 8 according to an embodiment of the present invention, and FIG. 11 is a flowchart illustrating an animation image synthesizing step of FIG. 8 according to an embodiment of the present invention Fig.
도 8 내지 도 11에 도시한 바와 같이, 우선, 실시간영상과 애니메이션 피사체영상을 합성할 수 있도록 원본애니메이션영상DB(331)로부터 원본 애니메이션영상(122) 파일을 관리하는 원본 애니메이션영상 파일관리 단계(S100)를 수행하게 된다.8 to 11, an original animation image file management step (S100) for managing the
상기 원본 애니메이션영상 파일관리 단계(S100)를 수행한 후, 원본 애니메이션영상(122) 파일에서 애니메이션 피사체영상(123)을 추출하는 애니메이션 피사체영상처리 단계(S200)를 수행하게 된다.An animation object image processing step S200 of performing the original animation image file management step S100 and then extracting the
이를 위해 도 9에 도시한 바와 같이, 우선, 상기 애니메이션영상처리부(340)의 파일처리모듈(341)이 프로그램 상의 명령에 의해 애니메이션 편집기(121)에서 원본애니메이션영상DB(331)로부터 원본 애니메이션영상(122) 파일을 불러오는 애니메이션 파일처리 단계(S210)를 수행하게 된다.9, the
상기 원본 애니메이션영상(122) 파일은 애니메이션영상합성제작서버(300)에 저장되어 있어 파일이 저장되어 있는 디렉토리를 탐색하여 열도록 한다.The
다음으로 상기 애니메이션영상처리부(340)의 애니메이션추출모듈(342)이 프로그램 상의 명령에 의해 애니메이션 편집기(121)에서 원본 애니메이션영상(122)에서 애니메이션 피사체영상(123)을 애니메이션 추출 단계(S220)를 수행하게 된다.Next, the
상기 단계에서 배경색 처리(S230)를 하게 되면 영상합성시에 처리속도를 빠르게 하고 애니메이션 피사체의 테두리 경계를 선명하게 하기위해 애니메이션 배경색을 변경하는 애니메이션배경색변경(S240)을 수행하게 된다.If the background color process S230 is performed in the step S230, the animation background color is changed to change the animation background color in order to speed up the processing speed and to sharpen the boundaries of the boundaries of the animated object.
상기 단계에서 배경색 처리(S230)를 하지 않으면 애니메이션 피사체영상 저장 단계(S250)을 수행하게 된다.If the background color process (S230) is not performed in the above step, the animation object image storage step S250 is performed.
상기 애니메이션배경색변경(S240)을 수행한 후, 애니메이션 피사체영상(123)을 애니메이션피사체영상DB(332)에 저장하는 애니메이션 피사체영상 저장 단계(S250)을 수행함으로써 상기 애니메이션 피사체영상처리 단계(S200)의 전 과정을 모두 수행하게 되며 수행한 결과를 데이터베이스(330)의 애니메이션피사체영상DB(332)에 저장한다.After the animation background color change S240 is performed, an animation object image storage step S250 of storing the
상기 애니메이션 피사체영상처리 단계(S200)를 수행한 후, 이동 단말(100)에서 실시간영상(101)을 촬영하고 상기 사용자가 선택한 애니메이션 피사체영상(123)의 크기가 작은 경우에 이동 단말(100)에서 애니메이션 피사체 영상과 실시간 영상을 합성처리하고 크기가 큰 경우에는 이동 단말(100)에서 영상을 합성하지 않고 애니메이션영상합성제작서버(300)에 전송하여 애니메이션영상합성제작서버(300)에서 애니메이션영상합성처리 할 수 있도록 전송하는 실시간영상관리 단계(S300)를 수행하게 된다.After the animation object image processing step S200 is performed, when the
이를 위해 도 10에 도시한 바와 같이, 우선, 상기 이동 단말(100)의 영상파일처리모듈(161)이 프로그램 상의 명령에 의해 폰애니메이션피사체영상DB(151)로부터 애니메이션 피사체영상(123) 파일을 불러와서 이동 단말(100) 화면에 제공하고 사용자가 합성하고자 하는 영상을 선택하는 폰애니메이션피사체영상 선택 단계(S310)를 수행하게 된다.10, first, the image
다음으로 선택한 상기 애니메이션 피사체영상(123) 파일과 상기 이동 단말(100)의 실제카메라모듈(135)를 이용하여 실시간영상(101)을 녹화하는 폰실시간영상 녹화 단계(S320)를 수행하게 된다.A phone real time image recording step S320 of recording the
상기 단계에서 사용자가 선택한 애니메이션 피사체영상(123)의 크기에 따라 이동 단말(100)에서 폰 영상 합성(S330) 여부를 결정한다.In step S310, the
선택한 상기 애니메이션 피사체영상(123)의 크기가 작은 경우에는 영상합성부(160)의 애니메이션영상합성모듈(162)에서 상기 애니메이션 피사체영상(123)과 상기 실시간영상(101)을 합성하는 폰애니메이션영상합성처리 단계(S340)를 수행한다.When the size of the selected
상기 폰애니메이션영상합성처리 단계(S340)를 수행한 후, 상기 실시간영상(101)과 상기 애니메이션 피사체영상을 합성한 합성영상을 영상파일처리모듈(161)에서 저장모듈(137)를 이용하여 폰애니메이션합성영상DB(153)에 합성영상을 저장하는 폰애니메이션합성영상 파일저장 단계(S350)를 수행하게 된다.The synthesized image obtained by synthesizing the real-
상기 단계에서 선택한 상기 애니메이션 피사체영상(123)의 크기가 큰 경우에는 이동 단말(100)에서 영상을 합성하지 않고 제어부(132)가 제어하여 상기 실시간영상(101)을 무선통신부(131)를 통하여 애니메이션영상합성제작서버(300)에 전송하는 폰실시간영상 파일송신 단계(S370)를 수행하게 된다. When the size of the
상기 폰실시간영상 파일송신 단계(S370)에서 상기 애니메이션 피사체영상(123)은 애니메이션영상합성제작서버(300)의 애니메이션피사체영상DB(332)에서 관리되고 있기 때문에 사용자 정보와 실시간영상(101) 정보만 애니메이션영상합성제작서버(300)에 전송한다.Since the
상기 폰실시간영상 파일송신 단계(S370)를 수행한 후, 애니메이션영상합성제작서버(300)에서 상기 애니메이션 피사체영상(123)과 상기 실시간영상(101)을 합성한 합성파일을 이동 단말(101)에 수신하고 영상파일처리모듈(161)에서 저장모듈(137)을 이용하여 폰애니메이션합성영상DB(153)에 합성영상을 저장하는 폰애니메이션합성영상 파일수신 단계(S380)를 수행하게 된다. The
상기 폰애니메이션합성영상 파일저장 단계(S350) 및 상기 폰애니메이션합성영상 파일수신 단계(S380)를 수행한 후, 생성된 합성파일을 상기 이동 단말(100) 상에 업로드 하여 합성영상을 조회하면 도 6에서 보는 바와 같이, 이동 단말(100)의 폰애니메이션합성영상DB(153)에서 합성영상을 불러와서 재생모듈(138)을 이용하여 가상카메라모듈(136)를 통해 화면에 제공하는 폰애니메이션합성영상 파일요청 단계(S360)을 수행하게 된다.After the phone animation composite image file storage step S350 and the phone animation composite image file reception step S380 are performed, the created composite file is uploaded to the
상기 실시간영상관리 단계(S300)를 수행한 후, 실시간영상과 애니메이션 피사체영상을 합성하는 애니메이션영상합성처리 단계(S400)를 수행하게 된다.After performing the real-time image management step (S300), an animation image synthesis processing step (S400) of synthesizing the real-time image and the animation object image is performed.
이를 위해 도 11에 도시한 바와 같이, 우선, 상기 영상합성부(350)의 영상파일처리모듈(351)이 프로그램 상의 명령에 의해 원본애니메이션영상DB(331)로부터 원본 애니메이션영상(122) 파일을 불러오고 실시간영상DB(333)로부터 실시간영상(101) 파일을 불러오는 애니메이션영상파일처리 단계(S410)를 수행하게 된다.11, the image
상기 애니메이션영상파일처리 단계(S410)를 수행한 후, 테두리 처리(S420)를 하게 되면, 애니메이션테두리처리모듈(353)이 애니메이션테두리처리 단계(S430)를 수행하게 된다.After the animation image file processing step S410 is performed and the border processing S420 is performed, the animation
상기 단계에서 테두리 처리(S420)를 하지 않으면, 애니메이션영상합성모듈(352)이 애니메이션합성영상DB(334)에서 합성영상을 불러오는 애니메이션영상합성처리 단계(S440)을 수행하게 된다.If the border processing (S420) is not performed in the above step, the animation
상기 애니메이션영상합성처리 단계(S440)을 수행한 후, 합성정보처리모듈(354)에서 애니메이션합성정보처리 단계(S450)을 수행하게 된다.After performing the animation image synthesis processing step S440, the synthesis
상기의 애니메이션영상합성처리 단계(S400)를 모두 수행한 후, 제작된 실시간영상과 애니메이션 피사체영상을 합성한 파일로 저장하게 되는 애니메이션합성영상 파일저장 단계(S500)를 수행하게 된다.After completing all of the animation image synthesis processing step (S400), an animation synthesis image file storing step (S500) for storing the produced real time image and the animation object image as a combined file is performed.
상기 단계에서는 상기 영상파일처리모듈(351)이 실시간영상과 애니메이션 피사체영상을 합성한 파일로 저장하게 되며 이는 관리자의 컴퓨터, 애니메이션영상합성제작서버 등에 임시 저장하는 단계이다.In this step, the image
상기 애니메이션합성영상 파일저장 단계(S500)를 통해 임시 저장되어 있는 실시간영상과 애니메이션 피사체영상을 합성한 합성영상 파일은 언제든지 열람 혹은 수정이 가능하게 된다.The synthetic image file obtained by synthesizing the temporarily stored real-time image and the animated object image through the animation synthetic image file storing step (S500) can be viewed or modified at any time.
상기 애니메이션합성영상 파일저장 단계(S500)를 수행한 후, 생성된 파일을 애니메이션영상합성제작서버 상에 업로드 하여 사용자들이 사용자PC(110) 또는 이동 단말(100)를 통해 합성영상을 조회하면 도 8에 도시한 바와 같이, 애니메이션합성영상 파일요청 단계(S600)를 수행하므로 본 발명의 실시간영상과 애니메이션 피사체영상의 합성 제작방법의 전 과정을 완료하게 된다.After the animation synthesis image file storage step S500 is performed, the generated file is uploaded to the animation image synthesis production server, and when the users query the synthesized image through the
상술한 바와 같은, 본 발명인 실시간영상과 애니메이션 피사체영상의 합성 제작시스템 및 그 방법은 영상 합성 분야에 적용될 수 있는 것이다. As described above, the system and method for producing a real-time image and an animated object image according to the present invention can be applied to the field of image synthesis.
본 발명은 상기 실시예에 한정되지 않고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 수정 및 변경 실시할 수 있음은 이 기술 분야에서 통상의 지식을 가진 자라면 누구나 이해할 수 있을 것이다. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims.
100 : 이동단말 110 : 사용자PC
120 : 관리자PC 131 : 무선통신부
132 : 제어부 133 : 입력부
134 : 출력부 135 : 실제카메라모듈
136 : 가상카메라모듈 137 : 저장모듈
138 : 재생모듈 150 : 폰데이터베이스
151 : 폰애니메이션피사체영상DB 152 : 폰실사영상DB
153 : 폰애니메이션합성영상DB 160 : 폰영상합성부
161 : 폰영상파일처리모듈 162 : 폰애니메이션영상합성모듈
163 : 폰합성정보처리모듈 200 : 인터넷망 및 이동통신망
300 : 애니메이션영상합성제작서버 310 : 제어부
320 : 인터페이스부 330 : 데이터베이스
331 : 원본애니메이션영상DB 332 : 애니메이션피사체영상DB
333 : 실시간영상DB 334 : 애니메이션합성영상DB
335 : 사용자정보DB 340 : 애니메이션영상처리부
341 : 파일처리모듈 342 : 애니메이션배경색변경모듈
343 : 애니메이션추출모듈 350 : 영상합성부
351 : 영상파일처리모듈 352 : 애니메이션영상합성모듈
353 : 애니메이션테두리처리모듈 354 : 합성정보처리모듈100: mobile terminal 110: user PC
120: administrator PC 131: wireless communication unit
132: control unit 133: input unit
134: output section 135: actual camera module
136: Virtual camera module 137: Storage module
138: playback module 150: phone database
151: Phone animation subject image DB 152: Phone real image DB
153: phone animation composite image DB 160: phone image composition unit
161: phone image file processing module 162: phone animation image synthesis module
163: Phone composition information processing module 200: Internet network and mobile communication network
300: animation image synthesis production server 310:
320: interface unit 330: database
331: original animation image DB 332: animation object image DB
333: Real-time image DB 334: Animation composite image DB
335: user information DB 340: animation image processor
341: file processing module 342: animation background color changing module
343: animation extraction module 350:
351: image file processing module 352: animation image synthesis module
353: animation frame processing module 354: synthesis information processing module
Claims (7)
애니메이션영상합성제작서버에 저장되어 있는 애니메이션 피사체영상을 요청하고 획득하는 기능과, 사용자가 합성하려는 상기 애니메이션 피사체영상을 지정하고, 실제카메라모듈을 이용하여 녹화한 상기 실시간영상을 합성하는 기능과, 상기 애니메이션 피사체영상의 크기가 큰 경우에 상기 애니메이션영상합성제작서버에 영상 합성을 요청하는 기능과, 상기 애니메이션영상합성제작서버에서 사용자가 선택한 애니메이션 피사체영상과, 실시간영상을 합성한 합성영상을 상기 이동 단말에 수신하고 획득한 상기 합성영상을 재생모듈을 통하여 사용자에게 제공하는 기능을 갖는 이동 단말(또는 사용자PC)와;
상기 이동 단말(또는 사용자PC)과 애니메이션영상합성제작서버를 연결하는 인터넷/이동통신망과;
상기 인터넷/이동통신망과 연결되어 있으며, 실시간영상과, 애니메이션 피사체영상을 합성 제작하도록 제어부와, 인터페이스부와, 데이터베이스와, 애니메이션영상처리부와, 영상합성부가 내장되어 있고, 상기 인터페이스부와, 데이터베이스와, 애니메이션영상처리부와, 영상합성부는 각각 제어부의 신호에 의해 동작되어 합성 영상을 제작하는 기능을 갖는 애니메이션영상합성제작서버와;
원본 애니메이션영상 파일을 원본애니메이션영상DB에 저장한 후 애니메이션 편집기를 통하여 애니메이션 피사체영상을 화면에서 확인하고 필요한 동영상 구간을 편집하는 기능을 갖는 관리자PC; 을 포함함을 특징으로 하는 실시간영상과 애니메이션 피사체영상의 합성 제작시스템.A system for composing a real-time image and an animated object image,
A function of requesting and acquiring an animation object image stored in an animation image synthesis production server, a function of designating the animation object image to be synthesized by a user, synthesizing the real time image recorded using an actual camera module, A function of requesting the animation image synthesis server to request the image synthesis when the size of the animation object image is large; a synthesized image obtained by synthesizing the animation object image selected by the user in the animation image synthesis server and the real- A mobile terminal (or a user PC) having a function of providing the synthesized image received and obtained to a user through a playback module;
An Internet / mobile communication network for connecting the mobile terminal (or a user PC) to an animation image synthesis / production server;
An interface unit, a database, an animation image processing unit, and an image synthesizing unit, which are connected to the Internet / mobile communication network and synthesize and produce a real-time image and an animated object image, An animation image processing unit, and an image synthesizing unit, each of which is operated by a signal of a control unit to produce a synthesized image;
A manager PC having a function of storing an original animation image file in an original animation image DB and confirming an animated object image on a screen through an animation editor and editing a necessary animation section; And generating a composite image of the real-time image and the animated object image.
상기 이동 단말은 무선통신을 수행하기 위해 처리하는 무선통신부와; 상기 이동 단말의 각 구성 모듈들을 구동 및 제어하는 제어부와; 상기 이동 단말의 입력을 제어하는 입력부와; 상기 이동 단말의 처리 상태를 나타내는 출력부와; 실제 카메라의 렌즈를 통해 들어오는 실사 뷰를 획득하여 화면상에 표시하는 실제카메라모듈과; 상기 이동 단말에서 사용자가 녹화버튼을 누르면 실제카메라모듈에 대응하여 실행되는 어플리케이션 모듈로서 폰데이터베이스에 저장된 애니메이션 피사체영상과 실제카메라모듈에서 획득한 실사 뷰를 화면상에 제공하는 가상카메라모듈과; 각종 애니메이션 피사체영상 및 실시간영상, 합성영상을 폰데이터베이스에 저장되게 하는 저장모듈과; 상기 저장모듈에 의해 하나 이상의 애니메이션 피사체 영상 데이터를 저장하는 폰애니메이션피사체영상DB와, 하나 이상의 실시간 영상 데이터를 저장하는 폰실사영상DB와, 하나 이상의 합성 영상 데이터를 저장하는 폰애니메이션합성영상DB로 구성되는 폰데이터베이스와; 상기 폰데이터베이스에 저장된 합성영상을 읽어와 재생한 후 화면에 제공하는 재생모듈과; 상기 제어부의 제어에 의해 폰애니메이션피사체영상DB로부터 저장된 애니메이션 피사체영상 파일을 불러오게 오는 폰영상파일처리모듈과, 애니메이션 피사체영상과 이동 단말에서 실제카메라모듈에서 촬영한 실시간영상을 폰실사영상DB에 저장하고, 애니메이션 피사체영상과 실시간영상을 합성하여 폰애니메이션합성영상DB에 저장하는 폰애니메이션영상합성모듈과, 폰애니메이션합성영상DB로부터 저장된 합성영상을 읽어와 가상카메라모듈을 통해 화면상에 제공할 수 있는 처리하는 폰합성정보처리모듈로 구성되는 폰영상합성부; 를 포함함을 특징으로 하는 실시간영상과 애니메이션 피사체영상의 합성 제작시스템.The method according to claim 1,
The mobile terminal comprises: a wireless communication unit for processing for performing wireless communication; A controller for driving and controlling each of the configuration modules of the mobile terminal; An input unit for controlling an input of the mobile terminal; An output unit indicating a processing state of the mobile terminal; An actual camera module for acquiring an actual view coming through a lens of an actual camera and displaying the acquired real view on a screen; A virtual camera module for providing an animated subject image stored in a phone database and an actual view acquired from an actual camera module as an application module executed in response to an actual camera module when a user presses a record button on the mobile terminal; A storage module for storing various animation subject images, real-time images, and composite images in a phone database; A phone animation image DB storing one or more animation subject image data by the storage module, a phone real image DB storing one or more real time image data, and a phone animation composite image DB storing one or more composite image data A phone database; A playback module for reading and playing back a composite image stored in the phone database and providing the combined image to a screen; A phone image file processing module for receiving an animation object image file stored from the phone animation subject image DB under the control of the control unit, and an animation object image and a real time image taken by the actual camera module in the mobile terminal, A phone animation image synthesis module for synthesizing an animation subject image and a real time image and storing the synthesized image in a phone animation synthesis image DB, a synthesized image read from a phone animation synthesis image database, and a virtual camera module, A phone image synthesizing unit configured by a phone composition information processing module for processing the phone image; And generating a composite image of a real-time image and an animated object image.
상기 애니메이션영상합성제작서버는 인터페이스부와, 데이터베이스와, 애니메이션영상처리부와, 영상합성부에 포함되는 각 모듈들을 작동하게 하는 제어부와; 실시간영상과 애니메이션 피사체영상 제작에 필요한 입력, 출력 및 진행 사항을 모니터에서 제공하기 위한 그래픽 유저 인터페이스이며, 키보드 및 마우스 등의 조작을 통해 관리자가 손쉽게 영상을 제작할 수 있도록 지원하는 인터페이스부와; 하나 이상의 원본 애니메이션영상 데이터를 저장하는 원본애니메이션영상DB와, 하나 이상의 애니메이션 피사체영상 데이터를 저장하는 애니메이션피사체영상DB와, 하나 이상의 실시간영상 데이터를 저장하는 실시간영상DB와, 하나 이상의 합성영상 데이터를 저장하는 애니메이션합성영상DB와, 하나 이상의 사용자정보 데이터를 저장하는 사용자정보DB로 구성되는 데이터베이스와; 프로그램 상의 명령에 의해 제작할 원본 애니메이션영상 파일을 불러오게 되며, 프로그램에 의해 제작된 애니메이션 피사체 영상을 애니메이션피사체영상DB에 저장 및 임시저장하며 특히 저장할 파일명 및 경로 설정을 하는 파일처리모듈과, 원본 애니메이션영상 파일에서 애니메이션 피사체영상 추출시와, 영상 합성시에 처리속도를 빠르게 하고 애니메이션 피사체의 테두리 경계를 선명하게 하기위해 애니메이션 배경색을 변경하는 애니메이션배경색변경모듈과, 상기 파일처리모듈에 의해 불러들인 원본 애니메이션영상 파일에서 애니메이션 배경 영역을 삭제하여 애니메이션 피사체영상을 생성하며 파일처리모듈에 의해 상기 애니메이션피사체영상DB에 저장하는 애니메이션추출모듈로 구성되는 애니메이션영상처리부와; 상기 제어부의 제어에 의해 애니메이션피사체영상DB로부터 저장된 애니메이션 피사체영상 파일을 불러오게 오는 영상파일처리모듈과, 애니메이션 피사체영상과 실시간영상DB로부터 저장된 실시간영상 파일을 불러와서 애니메이션 피사체영상과 실시간영상을 합성하여 합성영상 파일을 애니메이션합성영상DB에 저장하는 애니메이션영상합성모듈과, 애니메이션 피사체영상의 배경과 피사체의 경계를 매끄럽게 하기 위하여 테두리 두께를 처리하는 애니메이션테두리처리모듈과, 폰애니메이션합성영상DB로부터 저장된 합성영상 파일을 불러와 제어부가 제어하여 합성영상을 인터페이스부를 통하여 이동 단말에 전송하여 이동 단말에서 가상카메라모듈을 통해 화면상에 제공할 수 있도록 처리하는 합성정보처리모듈로 구성되는 영상합성부; 를 포함함을 특징으로 하는 실시간영상과 애니메이션 피사체영상의 합성 제작시스템.The method according to claim 1,
The animation image synthesis and production server includes an interface unit, a database, an animation image processing unit, a control unit for operating each module included in the image synthesis unit, An interface unit for allowing a manager to easily produce an image through operation of a keyboard and a mouse, a graphic user interface for providing input, output, and progress necessary for real time image and animation subject image production on a monitor; An original animation image DB storing one or more original animation image data, an animation object image DB storing one or more animation object image data, a real time image DB storing one or more real time image data, And a user information DB for storing at least one user information data; A file processing module for storing an animation object image produced by the program and storing the animation object image in an animation object image DB and setting a file name and a path to be stored, An animation background color changing module for changing an animation background color in order to extract an animation object image from a file, to speed up processing speed at the time of image synthesis, and to sharpen a border boundary of an animated object, and an original animation image An animation image processor configured to generate an animated object image by deleting an animation background area from the file and to store the animation object image in the animation object image DB by a file processing module; An image file processing module for loading an animation object image file stored from the animation object image DB under the control of the control unit, and a real-time image file stored from the animation object image and the real-time image DB, An animation frame synthesis module for storing the synthesized image file in the animation synthesis image DB, an animation frame processing module for processing the frame thickness to smooth the background of the object and the boundary of the object image, A synthesizing information processing module configured to call a file and control the control unit to transmit the synthesized image to the mobile terminal through the interface unit and provide the synthesized image to the mobile terminal through the virtual camera module on the screen; And generating a composite image of a real-time image and an animated object image.
시간영상과 애니메이션 피사체영상을 합성할 수 있도록 원본애니메이션영상DB로부터 원본 애니메이션영상 파일을 관리하는 원본 애니메이션영상 파일관리 단계(a)와;
상기 원본 애니메이션영상 파일관리를 수행한 후, 원본 애니메이션영상 파일에서 애니메이션 피사체영상을 추출하는 애니메이션 피사체영상처리 단계(b)와;
상기 애니메이션 피사체영상처리를 수행한 후, 이동 단말에서 실시간영상을 촬영하고, 사용자가 선택한 애니메이션 피사체영상의 크기가 작은 경우에 이동 단말에서 애니메이션 피사체 영상과 실시간 영상을 합성처리하고 크기가 큰 경우에는 이동 단말에서 영상을 합성하지 않고 애니메이션영상합성제작서버에 전송하여 애니메이션영상합성제작서버에서 애니메이션영상합성처리 할 수 있도록 전송하는 실시간영상관리 단계(c)와;
상기 실시간영상관리를 수행한 후, 실시간영상과 애니메이션 피사체영상을 합성하는 애니메이션영상합성처리 단계(d)와;
상기 애니메이션영상합성처리를 수행한 후, 제작된 실시간영상과 애니메이션 피사체영상을 합성한 파일로 저장하게 되는 애니메이션합성영상 파일저장 단계(e)와;
상기 애니메이션합성영상 파일저장을 수행한 후, 생성된 파일을 애니메이션영상합성제작서버 상에 업로드 하여 사용자들이 사용자PC 또는 이동 단말을 통해 합성영상을 조회하여 애니메이션합성영상 파일요청 단계(f); 를 포함함을 특징으로 하는 실시간영상과 애니메이션 피사체영상의 합성 제작방법.A method for composing a real-time image and an animated object image,
An original animation image file management step (a) of managing an original animation image file from an original animation image DB so that a time image and an animation subject image can be synthesized;
An animation object image processing step (b) of extracting an animation object image from the original animation image file after performing the management of the original animation image file;
After the animation object image processing, the mobile terminal captures a real time image, and if the size of the animation object image selected by the user is small, the mobile terminal synthesizes the animation object image and the real time image, (C) a real-time image management step of transmitting an image from the terminal to the animation image synthesis server without being synthesized and transmitting the animation image to the animation image synthesis server;
(D) an animation image synthesis processing step of synthesizing the real-time image and the animated object image after performing the real-time image management;
An animation synthesis image file storing step (e) of storing the synthesized real image and the animated object image as a synthesized file after performing the animation image synthesis processing;
Storing the animation composite image file, uploading the created file to the animation image synthesis production server, inquiring the synthesized image through the user PC or the mobile terminal, and requesting the animation synthetic image file; And generating a composite image of a real-time image and an animated object image.
상기 애니메이션 피사체영상처리 단계(b)는 애니메이션영상처리부의 파일처리모듈이 프로그램 상의 명령에 의해 애니메이션 편집기에서 원본애니메이션영상DB로부터 원본 애니메이션영상 파일을 불러오는 애니메이션 파일처리 단계와, 상기 애니메이션영상처리부의 애니메이션추출모듈이 프로그램 상의 명령에 의해 애니메이션 편집기에서 원본 애니메이션영상에서 애니메이션 피사체영상을 애니메이션 추출 단계와, 상기 애니메이션 추출 단계에서 배경색 처리를 하게 되면, 영상 합성시에 처리속도를 빠르게 하고 애니메이션 피사체의 테두리 경계를 선명하게 하기 위해 애니메이션 배경색을 변경하는 배경색변경하고, 상기 애니메이션 추출 단계에서 배경색 처리 하지 않으면, 애니메이션 피사체영상 저장하는 단계; 를 포함함을 특징으로 하는 실시간영상과 애니메이션 피사체영상의 합성 제작방법. 5. The method of claim 4,
The animation object image processing step (b) includes an animation file processing step of loading an original animation image file from an original animation image DB in an animation editor by a command on a program in a file processing module of the animation image processing unit, A module extracting an animation object image from an original animation image in an animation editor by a command in a program; and a processing step of, when the background color processing is performed in the animation extraction step, Changing the background color to change the animation background color and storing the animation object image if the background color is not processed in the animation extraction step; And generating a composite image of a real-time image and an animated object image.
상기 실시간영상관리 단계(c)는 이동 단말의 폰영상파일처리모듈이 프로그램 상의 명령에 의해 폰애니메이션피사체영상DB로부터 애니메이션 피사체영상 파일을 불러와서 이동 단말 화면에 제공하고 사용자가 합성하고자 하는 영상을 선택하는 폰애니메이션피사체영상 선택 단계와; 상기 선택한 상기 애니메이션 피사체영상 파일과, 상기 이동 단말의 실제카메라모듈을 이용하여 실시간영상(101)을 녹화하는 폰실시간영상 녹화 단계와; 상기 폰실시간영상 녹화 단계에서 사용자가 선택한 애니메이션 피사체영상의 크기에 따라 이동 단말에서 폰 영상 합성 여부를 결정하는 단계와; 상기 폰 영상 합성 여부를 결정하는 단계에서 선택한 상기 애니메이션 피사체영상의 크기가 작은 경우에는 영상합성부의 폰애니메이션영상합성모듈에서 상기 애니메이션 피사체영상과, 상기 실시간영상을 합성하는 폰애니메이션영상합성처리 단계와; 상기 폰애니메이션영상합성처리를 수행한 후, 상기 실시간영상과, 상기 애니메이션 피사체영상을 합성한 합성영상을 폰영상파일처리모듈에서 저장모듈을 이용하여 폰애니메이션합성영상DB에 합성영상을 저장하는 폰애니메이션합성영상 파일저장 단계와; 상기 폰 영상 합성 여부를 결정하는 단계에서 선택한 상기 애니메이션 피사체영상의 크기가 큰 경우에는 이동 단말에서 영상을 합성하지 않고 제어부가 제어하여 상기 실시간영상을 무선통신부를 통하여 애니메이션영상합성제작서버에 전송하는 폰실시간영상 파일송신 단계와; 상기 폰실시간영상 파일송신 단계를 수행한 후, 애니메이션영상합성제작서버에서 상기 애니메이션 피사체영상과, 상기 실시간영상을 합성한 합성파일을 이동 단말에 수신하고 영상파일처리모듈에서 저장모듈을 이용하여 폰애니메이션합성영상DB에 합성영상을 저장하는 폰애니메이션합성영상 파일수신 단계와; 상기 폰애니메이션합성영상 파일저장 단계 및 상기 폰애니메이션합성영상 파일수신 단계를 수행한 후, 생성된 합성파일을 상기 이동 단말 상에 업로드 하여 합성영상을 조회하면 이동 단말의 폰애니메이션합성영상DB에서 합성영상을 불러와서 재생모듈을 이용하여 가상카메라모듈을 통해 화면에 제공하는 폰애니메이션합성영상 파일요청 단계; 를 포함함을 특징으로 하는 실시간영상과 애니메이션 피사체영상의 합성 제작방법. 5. The method of claim 4,
In the real-time image management step (c), the phone image file processing module of the mobile terminal loads the animation object image file from the phone animation object image DB by the command on the program and provides the animation object image file to the mobile terminal screen, A phone animation object image selection step of selecting a phone animation object image; A phone real time image recording step of recording a real time image (101) by using the selected animation object image file and an actual camera module of the mobile terminal; Determining whether to synthesize a phone image in a mobile terminal according to a size of an animation subject image selected by the user in the phone real time image recording step; A phone animation image synthesis processing step of synthesizing the animation object image and the real time image in the phone animation image synthesis module of the image synthesis unit when the size of the animation object image selected in the step of determining whether the phone image is synthesized is small; The phone animation image synthesizing process is performed, and then the synthesized image obtained by synthesizing the real-time image and the animation subject image is stored in a phone animation file synthesizing image database using a storage module in a phone image file processing module, A composite image file storing step; When the size of the animation object image selected in the step of determining whether or not the phone image is synthesized is large, the controller controls the mobile terminal without synthesizing the image to transmit the real time image to the animation image synthesis / production server through the wireless communication unit A real-time image file transmission step; The mobile terminal receives the synthesized file obtained by synthesizing the animated object image and the real time image in the animation image synthesis server and transmits the generated synthesized file to the mobile terminal using the storage module in the image file processing module, A phone animation composite image file reception step of storing a composite image in a composite image DB; The phone animation composite image file storage step and the phone animation composite image file reception step are performed and then the created composite file is uploaded on the mobile terminal to inquire the composite image, A phone animated composite image file requesting step of bringing a phone animated image to a screen through a virtual camera module using a playback module; And generating a composite image of a real-time image and an animated object image.
상기 애니메이션영상합성처리 단계(d)는 영상합성부의 영상파일처리모듈이 프로그램 상의 명령에 의해 원본애니메이션영상DB로부터 원본 애니메이션영상 파일을 불러오고 실시간영상DB로부터 실시간영상 파일을 불러오는 애니메이션영상파일처리 단계와; 상기 애니메이션영상파일처리 단계를 수행한 후, 테두리 처리를 하게 되면, 애니메이션테두리처리모듈이 애니메이션테두리처리 단계를 수행하게 되고, 테두리 처리를 하지 않으면, 애니메이션영상합성모듈이 애니메이션합성영상DB에서 합성영상을 불러오는 애니메이션영상합성처리 단계와; 상기 애니메이션영상합성처리 단계을 수행한 후, 합성정보처리모듈에서 합성정보처리 단계; 를 포함함을 특징으로 하는 실시간영상과 애니메이션 피사체영상의 합성 제작방법. 5. The method of claim 4,
The animation image synthesis processing step (d) includes an animation image file processing step of loading an original animation image file from the original animation image DB by a command on a program and loading a real-time image file from the real-time image DB, ; If the frame processing is performed after the animation image file processing step is performed, the animation frame processing module performs the animation frame processing step. If the frame processing is not performed, the animation image composition module displays the synthesized image An animation image synthesis processing step of importing; After the animation image synthesis processing step is performed, a synthesis information processing step in a synthesis information processing module; And generating a composite image of a real-time image and an animated object image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150102996A KR20170011065A (en) | 2015-07-21 | 2015-07-21 | A system and method for composing real-time image and animation Image of subject |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150102996A KR20170011065A (en) | 2015-07-21 | 2015-07-21 | A system and method for composing real-time image and animation Image of subject |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170011065A true KR20170011065A (en) | 2017-02-02 |
Family
ID=58154067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150102996A Withdrawn KR20170011065A (en) | 2015-07-21 | 2015-07-21 | A system and method for composing real-time image and animation Image of subject |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20170011065A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598775A (en) * | 2017-09-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | A kind of dynamic image synthetic method, device, terminal and storage medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101153952B1 (en) | 2011-12-22 | 2012-08-07 | 한국가상현실 (주) | Animation action experience contents service system and method |
-
2015
- 2015-07-21 KR KR1020150102996A patent/KR20170011065A/en not_active Withdrawn
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101153952B1 (en) | 2011-12-22 | 2012-08-07 | 한국가상현실 (주) | Animation action experience contents service system and method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598775A (en) * | 2017-09-30 | 2019-04-09 | 腾讯科技（深圳）有限公司 | A kind of dynamic image synthetic method, device, terminal and storage medium |
| US11308674B2 (en) | 2017-09-30 | 2022-04-19 | Tencent Technology (Shenzhen) Company Limited | Dynamic image compositing method and apparatus, terminal and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110286773B (en) | Information providing method, device, equipment and storage medium based on augmented reality | |
| CN106170101B (en) | Contents providing system, information processing equipment and content reproducing method | |
| CN108140263B (en) | AR display system and method applied to image or video | |
| CN109495684A (en) | A kind of image pickup method of video, device, electronic equipment and readable medium | |
| CN113542624A (en) | Method and device for generating commodity object explanation video | |
| CN103403765B (en) | Content processing unit (plant) and integrated circuit, method | |
| CN112118397B (en) | Video synthesis method, related device, equipment and storage medium | |
| KR20170011065A (en) | A system and method for composing real-time image and animation Image of subject | |
| KR101695209B1 (en) | A system and method for composing real-time image and chroma-key Image of subject | |
| KR20240162355A (en) | Content providing method and electronic device | |
| CN114245193B (en) | Display control method, device and electronic device | |
| CN115315960B (en) | Content correction device, content distribution server, content correction method, and recording medium | |
| CN112911351B (en) | Video tutorial display method, device, system and storage medium | |
| CN112053420B (en) | Method and system for generating dynamic editing viewpoint animation report | |
| CN116225234A (en) | Interaction method and cloud server | |
| CN114237800A (en) | Document processing method, document processing device, electronic device, and medium | |
| WO2022262560A1 (en) | Image display method and apparatus, device, and storage medium | |
| KR20090095330A (en) | Apparatus and method of creative image using a plural of source-file | |
| CN111614912A (en) | Video generation method, device, equipment and storage medium | |
| US10714146B2 (en) | Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device | |
| US12190456B1 (en) | Personalized augmented reality | |
| KR20240112700A (en) | A system and method for composing real-time image and chroma-key Image of subject | |
| KR20170011062A (en) | A system and method for composing real-time image and hologram Image of subject | |
| US20250150660A1 (en) | Automatic post-production for product videos | |
| HK40035397A (en) | Method and related device for synthesizing video, apparatus and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20150721 |
|
| PG1501 | Laying open of application | ||
| PC1203 | Withdrawal of no request for examination |