[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2017065503A1 - 분산형 멀티미디어 편집 시스템 및 편집방법 - Google Patents

분산형 멀티미디어 편집 시스템 및 편집방법 Download PDF

Info

Publication number
WO2017065503A1
WO2017065503A1 PCT/KR2016/011455 KR2016011455W WO2017065503A1 WO 2017065503 A1 WO2017065503 A1 WO 2017065503A1 KR 2016011455 W KR2016011455 W KR 2016011455W WO 2017065503 A1 WO2017065503 A1 WO 2017065503A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
video
editing
post
audio
Prior art date
Application number
PCT/KR2016/011455
Other languages
English (en)
French (fr)
Inventor
천솔지
Original Assignee
(주)노바빈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160132123A external-priority patent/KR20170044590A/ko
Application filed by (주)노바빈 filed Critical (주)노바빈
Publication of WO2017065503A1 publication Critical patent/WO2017065503A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present invention relates to a distributed multimedia editing system and a method for editing, and to a distributed multimedia editing system and a method for providing a multimedia production environment through a systematic collaboration of a plurality of participants through a communication network.
  • video content requires a lot of cost and effort for video shooting, video editing, and video content distribution.
  • video content was typically produced by professional filming equipment, professional cinematography, professional editing equipment, film studios with professional cinematography and professional editorial staff, TV stations, and broadcast content production.
  • pre-production process to determine the concept of shooting such as content planning, scenario writing, script production, production meeting, outdoor shooting, indoor shooting, and set shooting.
  • the content production process can be subdivided into post-production that performs post-production such as actual production process, video editing, color correction, background synthesis, audio editing, etc.
  • Each process requires a lot of professional manpower and specialized equipment.
  • UGC generally does not use professional photographing equipment, and the image composition is poor due to the photographer's lack of shooting skills, the image is unstable, and the subject is not highlighted due to inappropriate lighting.
  • a mono-angle monotonous video is often boringly continually due to post-production processes such as image editing or non-professional editing techniques.
  • UGC's image quality is generally inferior to PGC due to unprofessional shooting and unprofessional editing.
  • UGC also demands higher video quality because a large number of UGCs are produced competitively, and existing PGC providers also provide content selection criteria for content consumers in an environment that provides content through video sharing services such as YouTube. do.
  • existing PGC providers also provide content selection criteria for content consumers in an environment that provides content through video sharing services such as YouTube. do.
  • video sharing services such as YouTube. do.
  • high quality UGC that can appeal to general content consumers. Production is required.
  • U.S. Patent No. 6,392,694 entitled “Method and Apparatus for an automatic Camera Selection System” by Telcordia Technologies, Inc, and U.S. Patent No. 7,349,008, "Automated Camera Management System and Method for Capturing Presentations Using Videography Rules," by Microsoft Corporation, Disclosed is an automated camera selection system for capturing a presentation.
  • the pre-production process, the production process, and the post-production process are performed because the system automatically selects images and generates multimedia files according to predefined video rules in a multi-camera production environment.
  • -production It has the advantage of securing proper image quality while reducing the cost of producing video contents by automating the process.
  • Japanese Patent No. 5111422 “Contents Production System and Contents Production Program” of NIPPON HOSO KYOKAI, discloses a distributed production system for video content composed of 3D animation.
  • a plurality of terminals may divide and perform a production work by dividing a production work for one video content.
  • this distributed production system is applied to a content production environment based on 3D animation.
  • the system distributes TVML program commands that define the acting of the virtual character and program commands that define the virtual camera viewpoint that shows the acting of the virtual character.
  • This is a distributed editing system for the pre-production process where there is no post-production process due to the characteristics of 3D animation, and it is composed of 3D animations rather than video or audio editing based on live video.
  • Japanese Patent No. 5152458 "Contents Base, Communication System,” of MEGA CHIPS CORP, discloses a content production system in which several participants participate. According to such a system, multiple users can participate through a communication network to create a single content.
  • the system according to the related art produces a content according to the scenario data by providing contents owned by the plurality of users through the communication network according to the scenario data, and is an editorial expert through the communication network in a post-production process. There is a limit not to consider about improving the quality of video content by participating.
  • US Patent Publication No. 2009-0196570 “System and Methods for Online Collaborative Video Creation” of EYESPOT CORPORATION discloses a distributed editing system in a post-production process through a communication network. According to such a system, a user with editing technology can edit video content through a communication network, thereby reducing the effort and cost of editing.
  • the distributed editing system according to the related art firstly has a problem of considering only a post-production process with editing of video content that has already been photographed. For example, if the quality of the image itself is lowered due to inexperienced shooting, there is a limit to improving the quality of video content by only post-production.
  • the video content includes visual video data and audio data
  • video editing and audio editing belong to different professional areas
  • the cited invention simply composes video content through a communication network. By only starting, there is a limit that does not consider the problem of efficient data transmission and data access right distribution between each video editing terminal and audio editing terminal.
  • Patent Document 1 US4283766 A
  • Patent Document 2 US6392694 B1
  • Patent Document 3 US7349008 B2
  • Patent Document 4 JP5111422 B2
  • Patent Document 5 JP5152458 B2
  • Patent Document 6 US2009-0196570 A1
  • the present invention is to solve the above problems, the distributed multimedia editing system and the editing method according to the present invention, the pre-production process, video source data and Perform a post-production process that produces audio production data, real-time edit video data, real-time edit audio data, post-edit video data, and post-edit audio data through a single system
  • the purpose of the present invention is to reduce the production cost and production time of multimedia contents and to increase production efficiency and content quality.
  • the real-time edit video data is first generated through the video source data and provided to the post-audio editing terminal device, so that post-audio editing is performed even before the post-video editing operation of the post-video editing terminal device. Allows the editing terminal device to edit the audio synchronized with the real-time editing video data, and generates the real-time editing audio data first through the audio source data and provides it to the post-video editing terminal device. It is another object of the post-video editing terminal to edit a video synchronized with the post-audio editing terminal by referring to real-time editing audio data even before the post-audio editing operation.
  • the distributed multimedia editing system and editing method allows a multimedia editing server to selectively access video source data to a post video editing terminal and to selectively access source audio data to a post audio editing terminal.
  • a multimedia editing server to selectively access video source data to a post video editing terminal and to selectively access source audio data to a post audio editing terminal.
  • an optional access rights management module to prevent arbitrary audio editing and audio source data access by the post video editing terminal device, and prevents arbitrary video editing and video source data access by the post audio editing terminal device.
  • Another aim is to provide systematic data management in a distributed editing environment.
  • the distributed multimedia editing system and method for editing according to the present invention provide post-editing terminal equipment which is responsible for post-video editing, and provide real-time edited audio data or post-edited audio data having a smaller size than audio source data, and post-audio.
  • the editing terminal device can participate in distributed editing even when the storage capacity and processor performance of the terminal device connected through the communication network are low.
  • Another object of the present invention is to reduce the computational load of the multimedia editing server by minimizing the amount of data transmission to the terminal device.
  • the camera may further generate pre-control data through the post-video editing terminal device or further generate pre-control data through the post-audio editing terminal device. Another goal is to streamline the production of multimedia content by distributing pre-production as well as post-production processes across the network.
  • the background video data is further included in the video source data generated by the cameras to generate real-time editing video data, thereby performing editing operations such as chroma key synthesis.
  • the post audio editing terminal apparatus performs post-editing of audio corresponding to the image by referring to the real-time edited video data whose background is synthesized to be similar to the final result.
  • the distributed multimedia editing system and the editing method when the multimedia editing server generates post-editing data and post-editing data by a post-video editing terminal device or a post-audio editing terminal device, through a communication network. It is another object to further include a data change notification module for notifying other post-editing terminal devices, so that a plurality of post-editing terminal devices connected through a communication network can quickly grasp changes in the editing collaboration process.
  • the distributed multimedia editing system and the editing method according to the embodiment of the present invention further include an editing task distribution module which allows the multimedia editing server to allocate the editing sequence of the post video editing terminal and the post audio editing terminal in time. It is another object of the present invention to improve the efficiency of multimedia editing by designating the editing order between post-editing terminal devices distributed through a communication network and performing editing.
  • the multimedia editing server changes the high-quality video source data captured by the cameras in post-video editing to a smaller capacity proxy media.
  • the distributed multimedia editing system comprises a first camera that receives first video source data of a performer's performance by controlling the first camera module through first camera pre-control data.
  • Control module A second camera control module for controlling the second camera module through second camera pre-control data to receive second video source data photographing the performance of the performer;
  • a microphone module for generating recorded audio source data recording the performance of the performer.
  • a video source storage module for storing the first video source data and the second video source data;
  • An audio source storage module for storing background audio source data defined by the recorded audio source data and audio preset control data;
  • a single real-time edited video data having a data size smaller than the sum of the data size of the first video source data and the data size of the second video source data based on the first video source data and the second video source data.
  • a real time video editing module for generating; And real time generating a single real time edit audio data having a data size smaller than a sum of the data size of the recorded audio source data and the data size of the background audio source data based on the recorded audio source data and the background audio source data.
  • An audio editing module a multimedia editing server configured to include; Access to the multimedia editing server through a communication network; and based on the first video source data and the second video source data through video editing, the data size of the first video source data and the data size of the second video source data.
  • a post-video editing terminal for generating a single post-editing video data having a data size smaller than the sum and transmitting the single post-editing video data to the multimedia editing server; And a data size of the recorded audio source data and a data size of the background audio source data based on the recorded audio source data and the background audio source data through audio editing.
  • a post-audio editing terminal device for generating a single post-editing audio data having a small data size and transmitting the single post-editing audio data to the multimedia editing server, wherein the multimedia editing server comprises the first video to the post-video editing terminal device.
  • Selective access for selectively granting access to the source data and the second video source data, and selectively granting access to the recorded audio source data and the background audio source data to the post audio editing terminal device.
  • Root authority management module Selectively transmitting the real-time editing audio data or the post-editing audio data to the post-video editing terminal device and selectively transmitting the real-time editing video data or the post-editing video data to the post-audio editing terminal device.
  • module And a multimedia file generation module for generating a single multimedia file data according to video editing applied to the post-editing video data and audio editing applied to the post-editing audio data.
  • the post video editing terminal apparatus further generates the first camera pre-control data.
  • the post audio editing terminal apparatus further generates the audio pre-control data.
  • the real-time video editing module is defined by the performer's object image and video pre-control data of the first video source data and the second video source data. And synthesizing first background video source data to generate the real-time video editing data.
  • the post-video editing terminal device is configured to display the performer's object image and the second background video source data of the first video source data and the second video source data. Synthesizing and generating the post-edited video data.
  • the multimedia editing server may be configured to perform the post-editing video data generation event or the post-editing video data modification event in the post-video editing terminal device.
  • a data change notification module for notifying an audio editing terminal device and notifying the post-video editing terminal device when the post-audio editing terminal device generates a post-editing audio data or a post-editing audio data modification event. It characterized in that it further comprises.
  • the multimedia editing server may be configured such that the post-audio editing terminal apparatus is provided only when a generation event of the post-editing video data is generated by the post-video editing terminal apparatus.
  • an editing task distribution module for controlling post-editing audio data to be generated.
  • the post video editing terminal apparatus uses the post media editing video data by using the proxy media of the first video source data and the proxy media of the second video source data. It characterized in that to generate.
  • the distributed multimedia editing method comprises the steps of: controlling, by a studio control server, a first camera module through first camera pre-control data to receive first video source data photographing a performer's performance; Receiving, by the studio control server, second video source data of photographing the performance of the performer by controlling a second camera module through second camera pre-control data; Receiving, by the studio control server, recorded audio source data recording the performance of the performer through a microphone module; Storing, by the multimedia editing server, the first video source data and the second video source data; Storing, by the multimedia editing server, background audio source data defined by the recorded audio source data and audio pre-control data; The multimedia editing server having a data size less than the sum of the data size of the first video source data and the data size of the second video source data based on the first video source data and the second video source data.
  • the multimedia editing server has a single real time edit audio having a data size less than the sum of the data size of the recorded audio source data and the data size of the background audio source data based on the recorded audio source data and the background audio source data.
  • the multimedia editing server selectively grants the post video editing terminal apparatus access rights to the first video source data and the second video source data, and provides the post audio editing terminal apparatus with the recorded audio source data and the Selectively granting access to background audio source data; Selectively transmitting, by the multimedia editing server, the real time edit audio data to the post video editing terminal device, and selectively transmitting the real time edit video data to the post audio editing terminal device;
  • the post video editing terminal apparatus is connected to the multimedia editing server through a communication network, and the data size and the data size of the first video source data based on the first video source data and the second video source data through video editing.
  • the post audio editing terminal is connected to the multimedia editing server through a communication network, and the data size of the recorded audio source data and the background audio source are based on the recorded audio source data and the background audio source data through audio editing.
  • the distributed multimedia editing method may further include: generating, by the post-video editing terminal device, the first camera pre-control data before receiving the first video source data. Characterized in that.
  • the distributed multimedia editing method may further include generating, by the post audio editing terminal device, the audio pre-control data before receiving the recorded audio source data. It is done.
  • the generating of the real-time video editing data may include: performing, by the multimedia editing server, an object of the performer of the first video source data and the second video source data;
  • the real-time video editing data is generated by synthesizing the first background video source data defined by the image and the video pre-control data.
  • the generating of the post-edited video data may include: performing, by the post-video editing terminal apparatus, the performer of the first video source data and the second video source data. And post-editing video data by synthesizing the object image and the second background video source data.
  • the post-editing video data generating event or post-editing video data modification event occurs in the post-editing terminal device. Notifying an audio editing terminal device, and notifying the post-video editing terminal device when the post-editing audio data generation event or the post-editing audio data modification event occurs in the post-audio editing terminal device. It is characterized by including.
  • the generating of the post-editing audio data may include: generating the post-editing video data by the post-video editing terminal device only when a generation event of the post-editing video data occurs.
  • the editing terminal generates the post-editing audio data.
  • the generating of the post-edited video data may include generating, by the post-video editing terminal device, proxy media of the first video source data and the second video source data. And generate post-edit video data using the proxy media.
  • the distributed multimedia editing system and the editing method according to the present invention the actual receiving the pre-production process, video source data and audio source data through the camera pre-control data and audio pre-control data Cost and production of multimedia content by performing a post-production process that produces the production process, real-time edit video data, real-time edit audio data, post-edit video data, and post-edit audio data through a single system. It reduces the time required and increases the production efficiency and content quality.
  • the real-time edit video data is first generated through the video source data and provided to the post-audio editing terminal device, so that post-audio editing is performed even before the post-video editing operation of the post-video editing terminal device. Allows the editing terminal device to edit the audio synchronized with the real-time editing video data, and generates the real-time editing audio data first through the audio source data and provides it to the post-video editing terminal device. Even after the post audio editing operation, the post video editing terminal may refer to real-time editing audio data to edit a video synchronized with the post video editing terminal.
  • the distributed multimedia editing system and editing method allows a multimedia editing server to selectively access video source data to a post video editing terminal and to selectively access source audio data to a post audio editing terminal.
  • a multimedia editing server to selectively access video source data to a post video editing terminal and to selectively access source audio data to a post audio editing terminal.
  • an optional access rights management module to prevent arbitrary audio editing and audio source data access by the post video editing terminal device, and prevents arbitrary video editing and video source data access by the post audio editing terminal device. It provides the effect of providing systematic data management in distributed editing environment.
  • the distributed multimedia editing system and method for editing according to the present invention provide post-editing terminal equipment which is responsible for post-video editing, and provide real-time edited audio data or post-edited audio data having a smaller size than audio source data, and post-audio.
  • the editing terminal device can participate in distributed editing even when the storage capacity and processor performance of the terminal device connected through the communication network are low.
  • the operation processing burden of the multimedia editing server can be reduced.
  • the camera may further generate pre-control data through the post-video editing terminal device or further generate pre-control data through the post-audio editing terminal device.
  • Distributing the pre-production stage as well as the post-production process through the communication network provides the effect of streamlining the production of multimedia contents.
  • the background video data is further included in the video source data generated by the cameras to generate real-time editing video data, thereby performing editing operations such as chroma key synthesis.
  • the post audio editing terminal provides post-editing of audio corresponding to the image by referring to the real-time edited video data whose background is synthesized to be similar to the final result.
  • the distributed multimedia editing system and the editing method when the multimedia editing server generates post-editing data and post-editing data by a post-video editing terminal device or a post-audio editing terminal device, through a communication network.
  • a data change notification module for notifying other post-editing terminal devices
  • a plurality of post-editing terminal devices connected through a communication network may provide an effect of quickly detecting a change in an editing collaboration process.
  • the distributed multimedia editing system and the editing method according to the embodiment of the present invention further include an editing task distribution module which allows the multimedia editing server to allocate the editing sequence of the post video editing terminal and the post audio editing terminal in time.
  • an editing task distribution module which allows the multimedia editing server to allocate the editing sequence of the post video editing terminal and the post audio editing terminal in time.
  • it provides an effect of improving the efficiency of multimedia editing by designating the editing order between post-editing terminal devices distributed through a communication network to perform editing.
  • the multimedia editing server changes the high-quality video source data captured by the cameras in post-video editing to a smaller capacity proxy media.
  • FIG. 1 is a block diagram illustrating a distributed multimedia editing system according to an embodiment of the present invention.
  • FIG. 2 is an exemplary view showing a configuration of studio devices according to an embodiment of the present invention.
  • FIG 3 illustrates an editing interface of first camera pre-control data according to an embodiment of the present invention.
  • FIG. 4 is an exemplary configuration diagram of a studio control server according to an exemplary embodiment of the present invention.
  • FIG. 5 is an exemplary diagram illustrating an editing interface of lighting preset control data according to an embodiment of the present invention.
  • FIG. 6 is an exemplary editing interface of audio dictionary control data according to an embodiment of the present invention.
  • FIG. 7 illustrates an editing interface of video pre-control data specifying first background video source data according to an embodiment of the present invention.
  • FIG. 8 is an exemplary video editing interface in a post-video editing terminal device according to an embodiment of the present invention.
  • FIG 9 illustrates an audio editing interface in a post audio editing terminal device according to an exemplary embodiment of the present invention.
  • FIG. 10 is a process flow diagram showing a distributed multimedia editing method according to an embodiment of the present invention.
  • Second Camera Control Module 120
  • Second camera module 121 microphone module: 130
  • Multimedia Editing Server 200 Video Source Storage Modules: 210
  • Audio source storage module 211 Real-time video editing module: 220
  • Optional access control module 230
  • Optional edit data transfer module 240
  • Post video editing terminal 300
  • Post audio editing terminal 400
  • the description that a part “includes” an element means that the element may further include other elements, except for the absence of a special objection thereto.
  • the terms “.. module”, “.. unit” and “.. system” described in the specification mean a unit that processes at least one function or operation, which is hardware or software or a combination of hardware and software. It may be implemented, and may be included in one device or each other device.
  • multimedia file data refers to video data in which visual information (video data) that changes during a playback section and audio information (audio data) that change during a playback section are synchronously combined.
  • Video data means data composed only of visual information that changes during the playback section
  • audio data means data composed only of audio information that changes during the playback period.
  • the distributed multimedia editing system of the present invention includes a studio control server 100, a multimedia editing server 200, a post video editing terminal device 300, and a post audio editing terminal device 400.
  • the studio control server 100 controls the equipment of the studio including the camera modules 111 and 121 and the microphone module 130, and includes a first camera control module 110 and a second camera control module 120. And a microphone module 130.
  • 2 exemplarily shows a studio in which studio equipments are installed.
  • the studio may include, for example, a space for shooting and a stage accessory, photographing equipment such as a camera and a microphone, and additional equipment such as lighting and a monitor.
  • the studio is preferably configured to provide an environment optimized for video shooting, and does not necessarily need to be a confined space.
  • the shooting background of the studio may be changed according to the type of the multimedia content to be photographed, and when the background is synthesized through chroma key synthesis, a single color background such as green or blue may be used.
  • the first camera control module 110 controls the first camera module 111 through the first camera pre-control data (data_control_pre_camera_1) to receive first video source data (data_video_source_1) photographing the performance of the performer. do.
  • the second camera control module 120 controls the second camera module 121 through the second camera pre-control data (data_control_pre_camera_2) to receive the second video source data (data_video_source_2) photographing the performance of the performer. do.
  • the camera modules 111 and 121 may be camcorders capable of capturing video, broadcast cameras, camera modules of smartphones, and the like.
  • the camera control modules 110 and 120 may control a camera to start shooting or control a zoom function of the camera.
  • the camera module In order to improve the quality of the multimedia contents, the camera module should be photographed in a stable state.
  • a video camera with a chroma key background or a video camera with depth-sensing function is used. It is desirable to. Depth measurement method of image is realized through commercially available multi-camera method, time-of-flight or infrared pattern recognition method through Kinnect and Intel RealSense Camera of Microsoft, or Micro Lens Array commercialized by Lytro. Light field method can be exemplified. Through such a depth measurement technique of the subject, the background and the foreground may be easily separated without the chroma key background, and the foreground image photographed through the camera modules 111 and 121 and the prepared background image may be synthesized.
  • the distributed multimedia editing system is configured to include at least two camera modules 111 and 121. According to an embodiment, three or more camera modules may be configured. In the present invention, video editing is necessary because at least two camera modules 111 and 121 generate a plurality of video source data for a single subject.
  • the first camera control module 110 and the second camera control module 120 that control the camera modules 111 and 121 may be implemented as a single control device. Can be.
  • the first camera pre-control data data_control_pre_camera_1 and the second camera pre-control data data_control_pre_camera_2 are each composed of a set of control signals that define the operation of the camera module at the time of shooting.
  • 3 illustrates an edit screen for generating first camera precontrol data (data_control_pre_camera_1). As illustrated, if you define the X-axis movement, Y-axis movement, zoom, pan, tilt, etc. of the camera at a specific shooting point through an application or a web browser, the 3D modeled subject is configured to render what is displayed on the screen. You can configure the results to anticipate in advance.
  • the editing of the camera pre-control data is preferably configured to be easily edited even by a non-expert user through a screen composed of an intuitive user interface as shown in FIG. 3.
  • the first camera pre-control data (data_control_pre_camera_1) and the second camera pre-control data (data_control_pre_camera_2) are connected to the studio control server 100 or the multimedia editing server 200 through a communication network, for example, a terminal device or a post-video of the requester. It may be configured to be edited by the editing terminal device 300.
  • the first camera pre-control data (data_control_pre_camera_1) and the second camera pre-control data (data_control_pre_camera_2) used in the creation of other multimedia files having similar characteristics may be used as they are or modified. This can reduce the effort and cost required to create a multimedia file.
  • first video source data data_video_source_1
  • second video source data data_video_source_2
  • first video source data data_video_source_1
  • second video source data data_video_source_2
  • the microphone module 130 generates a recording audio source data (data_audio_source_recording) recording a performer's performance.
  • the microphone module 130 may be a professional microphone capable of recording sound or voice, a microphone module 130 added to a camcorder or a broadcasting camera, a microphone module 130 of a smartphone, or the like.
  • a plurality of microphone modules 130 may be used so that multimedia files can reproduce stereoscopic sound. In this case, a plurality of recorded audio source data (data_audio_source_recordings) are generated.
  • the studio control server 100 may further include a lighting module and a lighting control module for controlling the blinking of the light source, the brightness of the light source, the color of the light source, the color temperature of the light source, or the direction of the light source, according to an embodiment.
  • have. 5 illustrates an edit screen for generating lighting pre-control data (data_control_pre_lighting) according to an embodiment of the present invention.
  • the lighting control module may be configured to control the lighting module through lighting pre-control data (data_control_pre_lighting), and the lighting pre-control data (data_control_pre_lighting) may be configured to set the lighting of the lighting module for each shooting time.
  • the multimedia editing server 200 may include a video source storage module 210, an audio source storage module 211, a real time audio editing module 221, an optional access right management module 230, an optional edit data transmission module 240, and It is configured to include a multimedia file generation module 250.
  • the multimedia editing server 200 uses the first video source data (data_video_source_1), the second video source data (data_video_source_2), and the recorded audio source data (data_audio_source_recording) generated by the studio control server 100 to transmit the multimedia file data (data_multimedia_file). Performs the function of generating it.
  • the multimedia editing server 200 may be configured to be physically separated from the studio control server 100 and connected through a communication network, or may be configured as a single server.
  • the video source storage module 210 stores the first video source data data_video_source_1 and the second video source data data_video_source_2.
  • the audio source storage module 211 stores the background audio source data data_audio_source_BG defined by the recording audio source data data_audio_source_recording and the audio pre-control data data_control_pre_audio.
  • the audio pre-control data data_control_pre_audio may be additional audio data or sound effects defined in advance.
  • the audio pre-control data data_control_pre_audio is data specifying sound effects, background sounds, etc. to be included in the multimedia before shooting, and functions as data for setting audio editing in advance in the pre-production stage.
  • the audio pre-control data data_control_pre_audio may include sound source data for background music and sound source data for effect sounds, or may include sound source data storage location information such as URL information for the corresponding sound source data.
  • the effect sound may further include time stamp information, which is information on a playback time at which the sound effect is to be played.
  • the audio pre-control data data_control_pre_audio may further include equalizer parameter information or sound effect parameter information using a digital sound filter.
  • the sound effects may be exemplified by, for example, reverb, echo, chorus chorus, doubler, hard tune, and the like.
  • the background audio source data data_audio_source_BG may be background music included in the multimedia content or data of accompaniment music in the case of music video content.
  • audio pre-control data data_control_pre_audio may be generated by the creator of the multimedia content, an audio editing expert, or a general person who is talented in audio editing, and may be pre-edited by the post audio editing terminal device 400. As illustrated in FIG. 6, audio pre-control data data_control_pre_audio may be generated and edited through an application or a web browser.
  • the real time video editing module 220 may perform data size of the first video source data data_video_source_1 and data of the second video source data data_video_source_2 based on the first video source data data_video_source_1 and the second video source data data_video_source_2. A function of generating a single real-time edited video data (data_video_edited_RT) having a data size smaller than the sum of the sizes is performed.
  • the real time video editing module 220 automatically performs video editing according to a given editing rule without depending on video editing personnel.
  • the real-time video editing module 220 may automatically perform various real-time video editing according to the embodiment.
  • the real-time video editing module 220 may simply edit the real-time editing video data (data_video_edited_RT) for the purpose of referring to audio editing in the post audio editing terminal device 400, or may edit the quality at a quality close to the final result.
  • the real time edit video data data_video_edited_RT may be generated using only the first video source data data_video_source_1, and the first video source data data_video_source_1 and the second video source data data_video_source_2 are displayed on the screen.
  • Real-time edited video data may be generated to be divided and displayed at the same time, or real-time edited video data (data_video_edited_RT) may be generated so that camera switching is performed at any time. If you want to auto edit with a quality close to the final result, you can preconfigure the camera transition point through video pre-control data (data_control_pre_video) and configure the background image and composite object to be pre-composited in the video.
  • the real-time video editing module 220 may be configured to performer object images and video pre-control data (data_control_pre_video) of the first video source data (data_video_source_1) and the second video source data (data_video_source_2).
  • the first background video source data (data_video_source_BG_1) defined by the synthesizer is configured to generate real-time video editing data.
  • FIG. 7 illustrates an interface for editing video pre-control data data_control_pre_video by specifying first background video source data data_video_source_BG_1.
  • the first background video source data (data_video_source_BG_1) which is predefined according to the generation of the video source data is added, thereby providing an effect of reducing the time and cost required for video editing.
  • the video pre-control data data_control_pre_video may be composed of data that predefines caption information, image filter information, color correction information, and the like, similar to the above-described audio pre-control data data_control_pre_audio.
  • the first background video source data (data_video_source_BG_1) is implemented as a virtual background modeled in three dimensions instead of a planar image.
  • the first background video source data (data_video_source_BG_1) is displayed in the camera view according to the photographing position of the camera modules 111 and 121 or the movement of the camera modules 111 and 121. It may be adaptively rendered and synthesized into the first video source data data_video_source_1 and the second video source data data_video_source_2.
  • Real-time edited video data (data_video_edited_RT) consists of video files that can be played back through software such as a video player.
  • the original video data is not a video file that is directly edited, but a reference video file that is referenced for audio editing during post-audio editing.
  • the first video source data (data_video_source_1) and the second video source data (data_video_source_2) are generated as a single file separately.
  • the resolution of the real-time edited video data may be adaptively changed according to a network environment, arithmetic processing capability, remaining storage space, etc. of the post audio editing terminal device 400.
  • the data size of the real-time edited video data does not exceed the sum of the data size of the first video source data (data_video_source_1) and the data size of the second video source data (data_video_source_2). It is possible to prevent unnecessary excessive transmission of video data during audio editing and to reduce unnecessary computational burden due to video data during audio editing.
  • the real time audio editing module 221 is based on the recording audio source data (data_audio_source_recording) and the background audio source data (data_audio_source_BG) based on the data size of the recording audio source data (data_audio_source_recording) and the data size of the background audio source data (data_audio_source_BG). This function generates a single real-time edited audio data (data_audio_edited_RT) having a small data size.
  • the real-time audio editing module 221 automatically performs audio editing according to a given editing rule without depending on audio editing personnel.
  • the real time audio editing module 221 may automatically perform various audio editing according to the embodiment.
  • the real-time audio editing module 221 may simply edit the real-time editing audio data (data_audio_edited_RT) for the purpose of referring to video editing in the post-video editing terminal device 300, or may edit the quality to be close to the final result.
  • the real time edit audio data data_audio_edited_RT can be generated by simply mixing the recorded audio source data data_audio_source_recording and the background audio source data data_audio_source_BG, and the aforementioned audio pre-control data (data_control_pre_audio) can be generated.
  • the high quality real-time edited audio data data_audio_edited_RT may be generated by adding an effect sound or a sound effect defined in the recording audio source data data_audio_source_recording or the background audio source data data_audio_source_BG.
  • the real-time edited audio data (data_audio_edited_RT) is preferably generated by the real-time edited audio data (data_audio_edited_RT) by a method such as high compression rate compression storage so that the data size is as small as possible. By doing so, it is possible to prevent transmission of excessively large audio data during video editing of the post-video editing terminal device 300 and to reduce unnecessary computational burden due to excessive audio data during video editing.
  • Real-time edited video data (data_video_edited_RT) and real-time edited audio data (data_audio_edited_RT) are the first video source data (data_video_source_1), second video source data (data_video_source_2), recording audio source data (data_audio_source_recording) generated by professional studio equipment Since it is generated based on the automated editing process based on the predefined editing rules, it has the effect of making the general user have higher quality than the UGC produced by the general user. Nevertheless, there is a need to produce higher quality multimedia files through video editing and audio editing by professional editors. To this end, in the present invention, after further performing video editing and audio editing through a communication network, high quality multimedia contents can be efficiently generated.
  • the real-time edit audio data data_audio_edited_RT and the real-time edit video data data_video_edited_RT are input, the first video source data data_video_source_1, the second video source data data_video_source_2, and the recording audio source data_audio_source_recording generated by shooting are input.
  • the generation of the real-time edited video data (data_video_edited_RT) and the real-time edited audio data (data_audio_edited_RT) is started.
  • the distributed multimedia editing system of the present invention may further include a multimedia content server for uploading the generated multimedia content to a general user.
  • the multimedia content server further comprises the identification information of the user in charge of video editing of the multimedia content and the identification information of the user in charge of audio editing to provide the multimedia content, the user who views the multimedia content
  • the user who views the multimedia content When creating a new multimedia content of the user can be configured to request the user to edit the video or audio of the multimedia content production through the communication network through the identification information of the user participating in the editing work.
  • This allows end users who are gifted with video or audio editing to participate in editing multimedia content.
  • it is possible to voluntarily establish a multimedia contents production environment for general users, and provide an effect of re-matching a new client and an editor through the multimedia contents as the edited result.
  • the post video editing terminal device 300 accesses the multimedia editing server 200 through a communication network, and based on the first video source data data_video_source_1 and the second video source data data_video_source_2, the first video source data data_video_source_1.
  • a single post-edit video data (data_video_edited_post) having a data size smaller than the sum of the data size and the data size of the second video source data (data_video_source_2) is generated and transmitted to the multimedia editing server 200.
  • the post video editing terminal 300 may be implemented as an information terminal such as a PC, a smart phone, a tablet PC, and the like, and for example, a function of remotely performing an application or video editing that provides a video editing interface as shown in FIG. 8.
  • the selective edit data transmission module 240 may include real-time edited audio data (data_audio_edited_RT) or post-edited audio data (data_audio_edited_post) (post-audio edit terminal) having a small data size.
  • Device 400 is provided with post-edited audio data (data_audio_edited_post).
  • Post-editing video data is, for example, the video editing according to the selective playback time of the first video source data (data_video_source_1) and the second video source data (data_video_source_2), the application of post-added video effects, the addition of additional video and The same video editing is applied and created.
  • Post-edit video data (data_video_edited_post) is composed of a video file that can be played back through software such as a video player, and is not a video file to be directly edited, and is referred to audio editing in the post-audio editing terminal device 400 when editing post-audio.
  • the reference video file is a reference video file
  • the first video source data (data_video_source_1) and the second video source data (data_video_source_2) which are original video data, are generated in a single file form.
  • the resolution of the post-editing video data (data_video_edited_RT) may be adaptively changed according to a network environment, arithmetic processing capability, storage space, and the like of the post-audio editing terminal device 400.
  • the data size of the post-editing video data does not exceed the sum of the data size of the first video source data (data_video_source_1) and the data size of the second video source data (data_video_source_2). It is possible to prevent the transmission of unnecessary excessive size video data during audio editing of 400, and to reduce the computational burden caused by the video file during audio editing.
  • the multimedia editing server may be configured to generate post-editing video data (data_video_edited_post) according to video editing of the post-video editing terminal device 300.
  • the post video editing terminal 300 may be configured to generate post edit video data data_video_edited_post using the proxy media of the first video source data data_video_source_1 and the proxy media of the second video source data data_video_source_2. have.
  • the post video editing terminal device 300 may be configured to further generate the first camera pre-control data data_control_pre_camera_1 through the editing interface as shown in FIG. 3.
  • the background image is different from the first background video source data (data_video_source_BG_1) synthesized by the post-video editing terminal device 300 or synthesized by the real-time video editing module 220.
  • the post-editing terminal generates a post-editing video data (data_video_edited_post) by synthesizing the performer object image of the first video source data (data_video_source_1) and the second video source data (data_video_source_2) and the second background video source data (data_video_source_BG_2). It is preferable to configure so that.
  • the post audio editing terminal 400 is connected to the multimedia editing server 200 through a communication network, and the data size of the recording audio source data data_audio_source_recording is based on the recording audio source data data_audio_source_recording and the background audio source data data_audio_source_BG. And generates a single post-edited audio data (data_audio_edited_post) having a data size smaller than the sum of the data sizes of the background audio source data (data_audio_source_BG) and transmits it to the multimedia editing server 200.
  • the post audio editing terminal device 400 may be implemented as an information terminal such as a PC, a smart phone, a tablet PC, and the like, and for example, a function of remotely performing an audio editing or an application providing an audio editing interface as shown in FIG. 9. It is configured to include a web browser that can access a web page providing a. Since the post-audio editing terminal device 400 is only responsible for audio editing, access rights to the first video source data data_video_source_1 and the second video source data data_video_source_2 are not granted by the selective access right management module 230. Access rights for the recording audio source data (data_audio_source_recording) and the background audio source data (data_audio_source_BG) are selectively granted.
  • the selective edit data transmission module 240 may perform real-time edit video data (data_video_edited_RT) or post-edit video data (data_video_edited_post) (post-video edit terminal) having a small data size.
  • Device 300 is provided with post-edited video data (data_video_edited_post).
  • Post-edited audio data (data_audio_edited_post) is generated by applying audio editing such as application of post-added sound effects.
  • Post-edit audio data (data_audio_edited_post) is composed of an audio file that can be played back through software such as an audio player, and is not an audio file to be directly edited, and is referred to video editing in the post-video editing terminal device 300 when editing post-video.
  • the reference audio file is generated as a single file separately from the recording audio source data (data_audio_source_recording) and the background audio source data (data_audio_source_BG) which are the original audio data.
  • post-edited audio data data_audio_edited_post
  • compression storage or the like having a high compression ratio to have the smallest data size possible.
  • the multimedia editing server may be configured to generate post-edited audio data (data_audio_edited_post) according to audio editing of the post-audio editing terminal device 400.
  • the post audio editing terminal 400 may be configured to further generate audio pre-control data (data_control_pre_audio) through an editing interface as shown in FIG. 6.
  • the selective access right management module 230 of the multimedia editing server 200 provides the post video editing terminal device 300 with access rights to the first video source data data_video_source_1 and the second video source data data_video_source_2. And selectively grant access rights to the recorded audio source data (data_audio_source_recording) and the background audio source data (data_audio_source_BG) to the post audio editing terminal device 400.
  • the selective edit data transmission module 240 selectively transmits real-time edited audio data (data_audio_edited_RT) or post-edited audio data (data_audio_edited_post) to the post-video editing terminal device 300 and the real-time edited video to the post-audio editing terminal device 400.
  • Data (data_video_edited_RT) or post-edited video data (data_video_edited_post) are selectively transmitted.
  • the optional edit data transmission module 240 is a post video editing terminal. After the real-time edited audio data (data_audio_edited_RT) is transmitted to the device 300 and the post-audio edited terminal device 400 generates the post-edited audio data (data_audio_edited_post), the post-video edited terminal device 300 starts video editing.
  • the selective edited data transmission module 240 transmits post-edited audio data (data_audio_edited_post) to the post-video editing terminal device 300. If the post-audio editing terminal 400 generates post-edited audio data (data_audio_edited_post) several times, the post-edited audio data (data_audio_edited_post) most recently generated is provided to the post-video editing terminal 300.
  • the optional edit data transmission module 240 may post-audio editing terminal. After the real-time edited video data (data_video_edited_RT) is transmitted to the device 400 and the post-video edit terminal 300 generates the post-edited video data (data_video_edited_post), the post-audio edit terminal 400 starts audio editing. In this case, the selective edited data transmission module 240 transmits post-edited video data (data_video_edited_post) to the post-audio editing terminal device 400.
  • the post-video editing terminal 300 If the post-video editing terminal 300 generates post-edited video data (data_video_edited_post) several times, the most recently generated post-edited video data (data_video_edited_post) is provided to the post-audio editing terminal 400.
  • the multimedia file generation module 250 generates a single multimedia file data (data_multimedia_file) according to the video edit applied to the post-edited video data (data_video_edited_post) and the audio edit applied to the post-edited audio data (data_audio_edited_post).
  • the post video editing terminal device 300 generates a video editing job as post video editing data and transmits it to the multimedia editing server 200, and the post audio editing terminal device 400 edits the post audio editing job for this purpose.
  • the multimedia file generation module 250 generates the multimedia file by applying the post video edit data and the post audio edit data to the video source data and the audio source data.
  • the post video edit data is not actually edited video data, unlike post edit video data (data_video_edited_post), but includes information on video editing.
  • the information and background of the selected video source data at each play time applied by the video editor may include information on the selected background source data, information on an image effect applied to each reproduction time, and the like.
  • Post-audio editing data is not actually edited audio data, unlike post-editing audio data (data_audio_edited_post), but includes information on audio editing.
  • information about audio source data selected at each playing time applied by an audio editor, audio When the mixing is performed, information about the plurality of mixed audio source data and sound effects applied to each reproduction time may be included.
  • the post video editing terminal 300 or the post audio editing terminal 300 having completed the last editing operation may generate the multimedia file data (data_multimedeia_file) and transmit it to the multimedia editing server 200. .
  • the multimedia file data (data_multimedia_file) is a final product, it is desirable to be generated with high quality.
  • the generated multimedia file data may be configured to be uploaded to the multimedia content server in a form that can be provided by a streaming method or a download method through a communication network.
  • the multimedia file data (data_multimedia_file) may be provided to be associated with the user identifier of the user who participated in the video editing and the user identifier of the user who participated in the audio editing.
  • the multimedia editing server 200 may generate a post-editing video data (data_video_edited_post) or a post-editing video data (data_video_edited_post) when an event occurs in the post-video editing terminal 300. If the post-audio editing terminal device 400 generates a post-editing audio data (data_audio_edited_post) event or a post-editing audio data (data_audio_edited_post) modification event occurs, the post-audio editing terminal device 300 notifies the user of the post-audio editing terminal device 300.
  • the data change notification module 260 may be further included.
  • the multimedia editing server 200 may use the post-audio editing terminal device 400 to post-edit audio data (data_audio_edited_post) only when a generation event of the post-editing video data (data_video_edited_post) occurs by the post-video editing terminal device 300. It may further include an editing task distribution module 270 for controlling to generate a. In this case, when there is a request for audio editing according to the modification of video editing, the post video editing terminal 300 may be configured to transmit the request to the post audio editing terminal 400 through a communication network. .
  • the studio control server 100 receives the first video source data (data_video_source_1) photographing the performance of the performer by controlling the first camera module 111 through the first camera pre-control data (data_control_pre_camera_1) (s11). ). And controlling, by the studio control server 100, the second camera module 121 through the second camera pre-control data (data_control_pre_camera_2) to receive second video source data (data_video_source_2) photographing the performance of the performer ( s12) and the studio control server 100 receives the recording audio source data (data_audio_source_recording) recording the performance of the performer through the microphone module 130 (s13).
  • the first video source data data_video_source_1, the second video source data data_video_source_2, and the recorded audio source data_audio_source_recording are generated through the performance of the same performer, and the above steps s11, s12, and s13 are performed simultaneously.
  • the first video source data (data_video_source_1), the second video source data (data_video_source_2), and the recorded audio source data (data_audio_source_recording) are original data that are subject to video editing and audio editing, and are generated with high quality video data and audio data. desirable.
  • the multimedia editing server 200 stores the first video source data data_video_source_1 and the second video source data data_video_source_2 (s21), and the multimedia editing server 200 performs the recording audio source data ( In operation S22, the background audio source data data_audio_source_BG defined by the data_audio_source_recording and the audio pre-control data data_control_pre_audio are stored.
  • the two steps s21 and s22 may be performed simultaneously with each other.
  • the multimedia editing server 200 based on the first video source data (data_video_source_1) and the second video source data (data_video_source_2), the data size of the first video source data (data_video_source_1) and the second video source data (data_video_source_2).
  • a step S31 of generating a single real-time edited video data (data_video_edited_RT) having a data size smaller than the sum of the data sizes is performed.
  • Real-time edited video data (data_video_edited_RT) is video data that is referred to when editing audio in the post-audio editing terminal device 400 and is not directly used for video editing. For example, in the form of a video file encoded at a high compression ratio, a small size, and a low resolution. Can be generated.
  • the generating of the real-time video editing data (s31) may include the first and second video source data (data_video_source_1) and the second video source data being generated by the multimedia editing server 200.
  • the first background video source data (data_video_source_BG_1) defined by the performer object image of (data_video_source_2) and the video pre-control data may be synthesized to generate real-time edited video data (data_video_edited_RT).
  • the multimedia editing server 200 may determine the data size of the recording audio source data data_audio_source_recording and the data size of the background audio source data data_audio_source_BG based on the recording audio source data data_audio_source_recording and the background audio source data data_audio_source_BG.
  • a step S32 of generating single real-time edited audio data data_audio_edited_RT having a data size smaller than the sum is performed.
  • the real-time edited audio data may be generated in the form of an audio file encoded at a high compression rate because the real-time edited audio data (data_audio_edited_RT) is audio data that is referred to in video editing by the post-video editing terminal 300 and is not directly used for audio editing.
  • Generation s31 of generating real-time edited video data data_video_edited_RT and generation s32 of generating real-time edited audio data data_audio_edited_RT may be performed at the same time.
  • the multimedia editing server 200 selectively grants access rights to the first video source data data_video_source_1 and the second video source data data_video_source_2 to the post video editing terminal device 300, and post audio editing terminal.
  • the device 400 selectively grants access to the recorded audio source data data_audio_source_recording and the background audio source data data_audio_source_BG. By granting such selective access rights, it prevents misediting of the source audio data by the post-video editing terminal device 300 during video editing and mis-editing of the source video data by the post-audio editing terminal device 400 during audio editing. Can be prevented.
  • the multimedia editing server 200 selectively transmits real-time edited audio data (data_audio_edited_RT) to the post-video editing terminal device 300 and selectively transmits real-time edited video data (data_video_edited_RT) to the post-audio editing terminal device 400.
  • the step S50 is performed.
  • the multimedia editing server 200 post-editing video data (data_video_edited_RT) rather than real-time editing video data (data_video_edited_RT) post-audio editing terminal
  • the multimedia editing server 200 may not post-editing audio data (data_audio_edited_RT). data_audio_edited_post) may be provided to the post-video editing terminal device 300.
  • the post video editing terminal device 300 accesses the multimedia editing server 200 through a communication network, and based on the first video source data data_video_source_1 and the second video source data data_video_source_2 through video editing. Generate a single post-edit video data (data_video_edited_post) having a data size smaller than the sum of the data size of the first video source data (data_video_source_1) and the data size of the second video source data (data_video_source_2) and send it to the multimedia editing server 200. Step s61 is performed.
  • the post video editing terminal 300 is configured to perform post video editing by referring to real-time edited audio data (data_audio_edited_RT).
  • the editing application of the post video editing terminal device 300 may refer to the audio data in the video editing operation by reproducing the real time editing audio data (data_audio_edited_RT) of the corresponding playing time through the speaker when editing the video of the specific playing time. have.
  • the post-edited video data may be generated in the form of a video file encoded at a high compression rate because the post-edited video data (data_video_edited_post) is not directly used for video editing as video data referred to in audio editing in the post-audio editing terminal device 400.
  • the post video editing terminal 300 before the step S11 of receiving the first video source data data_video_source_1, the post video editing terminal 300 ) May further generate the first camera pre-control data (data_control_pre_camera_1).
  • the step (s61) of generating post edited video data may include post-video editing terminal device 300. May be configured to synthesize the performer object image of the first video source data data_video_source_1 and the second video source data data_video_source_2 and the second background video source data data_video_source_BG_2 to generate post-edited video data data_video_edited_post.
  • the step (s61) of generating the post-editing video data (data_video_edited_post), the post-video editing terminal The device 300 may be configured to generate post-edited video data data_video_edited_post using the proxy media of the first video source data data_video_source_1 and the proxy media of the second video source data data_video_source_2.
  • the post-audio editing terminal device 400 accesses the multimedia editing server 200 through a communication network, and records audio sources based on recording audio source data (data_audio_source_recording) and background audio source data (data_audio_source_BG) through audio editing. Generating a single post-edited audio data (data_audio_edited_post) having a data size smaller than the sum of the data size of the data (data_audio_source_recording) and the data size of the background audio source data (data_audio_source_BG) and transmitting it to the multimedia editing server 200 (S62). ).
  • the post audio editing terminal device 400 is configured to perform post audio editing by referring to real-time edit video data (data_video_edited_RT).
  • the editing application of the post-audio editing terminal device 400 may refer to the video data in the audio editing by playing the real-time editing video data (data_video_edited_RT) of the corresponding playing time through the video player when editing the audio of the specific playing time. Can be.
  • the post-edited audio data may be generated in the form of an audio file encoded at a high compression rate because the post-edited audio data (data_audio_edited_post) is audio data that is referred to when editing the video in the post video editing terminal 300 and is not directly used for audio editing.
  • the post audio editing terminal 400 Before the step S13 of receiving the recording audio source data data_audio_source_recording, the post audio editing terminal 400 May be further configured to generate audio pre-control data (data_control_pre_audio).
  • the multimedia editing server 200 generates a single multimedia file data data_multimedia_file according to the video editing applied to the post-editing video data data_video_edited_post and the audio editing applied to the post-editing audio data data_audio_edited_post (S70).
  • the multimedia file data (data_multimedia_file) is configured to be generated through video source data and audio source data to have high quality as a final result.
  • the distributed multimedia editing method the multimedia editing server 200 post-editing in the post-video editing terminal device 300
  • the post-audio editing terminal device 400 is notified of this, and the post-audio editing terminal device 400 post-editing audio data
  • the post-video editing terminal 300 may be configured to further notify the post-event.
  • the step S62 of generating post-editing audio data may include post-editing video data by the post-video editing terminal device 300. Only when a generation event of (data_video_edited_post) occurs, the post audio editing terminal device 400 may be configured to generate post edited audio data (data_audio_edited_post).

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 따른 분산형 멀티미디어 편집 시스템은, 비디오 소스 데이터 및 오디오 소스 데이터를 생성하는 스튜디오 제어 서버, 멀티미디어 편집 서버, 사후 비디오 편집 단말장치 및 사후 오디오 편집 단말장치를 포함하여 구성되고, 스튜디오 제어 서버는 비디오 소스 데이터 및 오디오 소스 데이터를 생성하고, 멀티미디어 편집 서버는 사후 비디오 편집 단말장치에게 실시간 편집 오디오 데이터를 생성하여 선택적으로 전송하고, 비디오 소스 데이터에 대한 접근권한을 선택적으로 부여하고, 사후 오디오 편집 단말장치에게 실시간 편집 비디오 데이터를 생성하여 선택적으로 전송하고, 오디오 소스 데이터에 대한 접근권한을 선택적으로 부여하는 것을 특징으로 한다.

Description

분산형 멀티미디어 편집 시스템 및 편집방법
본 발명은 분산형 멀티미디어 편집 시스템 및 편집방법에 관한 것으로 통신망을 통해 다수의 참여자들의 체계적인 협업을 통한 멀티미디어 제작환경을 제공할 수 있는 분산형 멀티미디어 편집 시스템 및 편집방법에 관한 것이다.
비디오 컨텐츠는 동영상 촬영, 동영상 편집, 동영상 컨텐츠 유통 등에 많은 비용과 노력이 소요되는 것이 일반적이다. 따라서 비디오 컨텐츠는 전문 촬영장비, 전문 촬영인력, 전문 편집장비와 전문 촬영인력 및 전문 편집인력을 갖춘 영화사, TV 방송국, 방송 컨텐츠 프로덕션 등에서 제작하는 PGC(Professionally Generated Content)가 일반적이었다. 보다 구체적으로 영화, TV 프로그램 등의 PGC 제작 공정에 있어서 컨텐츠 기획, 시나리오 작성, 촬영대본 제작, 제작회의 등의 촬영컨셉을 확정하는 사전제작(pre-production) 공정, 야외촬영, 실내촬영, 세트촬영 등을 통해 실제 영상을 촬영하는 실제제작(production) 공정, 비디오 편집, 색보정, 배경합성, 오디오 편집 등의 사후편집을 수행하는 사후제작(post-production)으로 컨텐츠 제작 공정을 세분화할 수 있으며 각 공정별로 많은 전문인력과 전문장비를 필요로 한다. 물론 컴퓨터를 이용한 디지털 비선형 비디오 편집(digital non-linear video editing)의 실현은 과거 필름 또는 비디오테이프를 이용한 과거의 아날로그 선형 비디오 편집(analog linear video editing)과 비교하여 편집에 소요되는 비용 및 인력을 효과적으로 저감하였지만, 영상기술 및 음향기술의 발전에 따라 3D 모델링, 영상합성 등 새로운 비디오 효과의 개발 및 멀티미디어 파일에 포함되는 오디오 채널의 증가 등으로 인해 여전히 사후제작 공정에 많은 비용 및 인력이 요구되고 있다.
한편, 비디오의 촬영에 있어서 비디오 촬영이 가능한 스마트폰, 태블릿 PC, 디지털 카메라 등이 보급되었고, 전문적인 기술이 없는 일반인도 기초적인 비디오 편집이 가능한 동영상 편집 애플리케이션 등이 개발되었고, 사용자 동영상을 업로드하여 다른 사용자들과 공유하는 동영상 공유 서비스가 인터넷을 통해 제공되고 있다. 이로 인해 일반 사용자들이 직접 촬영, 편집, 유통하는 UGC(User Generated Content)가 증가하고, UGC에 광고를 부가하는 방법으로 일반 사용자들이 UGC 유통에 따른 수익을 창출하는 비즈니스의 규모도 증가하고 있다.
그런데, UGC는 전문적인 촬영장비를 이용하지 않고 촬영자의 촬영기술 부족으로 인해 영상구도가 엉성하고, 영상이 불안정하고, 부적절한 조명으로 인해 피사체가 부각되지 않는 것이 일반적이다. 또한 영상편집 등의 사후제작(post production) 공정을 거치지 않거나 비전문적인 편집기술로 인해 단일 앵글의 단조로운 영상이 지루하게 연속되는 경우가 많다. 즉 비전문적인 촬영과 비전문적인 편집으로 인해 PGC와 비교할 수 없을 정도로 UGC의 영상품질은 떨어지는 것이 일반적이다.
하지만 많은 수의 UGC들이 경쟁적으로 제작되고, 기존의 PGC 제공자들도 유튜브(YouTube)와 같은 동영상 공유 서비스를 통해 컨텐츠를 공급하는 환경에서 컨텐츠 소비자들의 컨텐츠 선택기준도 높아졌기 때문에 UGC 역시 높은 영상 품질이 요구된다. 더욱이 통신기술의 발달에 따라 브로드밴드 인터넷 서비스가 제공할 수 있는 비디오의 해상도도 증가하고, 디스플레이 기술의 발달에 따라 컨텐츠 이용자의 디스플레이의 품질도 증가하기 때문에 일반 컨텐츠 소비자들에게 어필할 수 있는 고품질의 UGC의 제작이 요구된다.
고품질의 비디오 컨텐츠를 제작하기 위해서는 종래의 PGC 제작과 동일하게 전문적인 조명, 카메라, 음향장비 등을 구비하는 스튜디오 장비와 전문 촬영인력을 통해 촬영하고, 전문 편집장비와 전문 편집인력을 통해 편집하는 방법을 고려할 수 있다. 하지만 영화관 및 TV 프로그램을 통한 배포와 컨텐츠 저작권 판매 등을 통해 높은 기대수익을 갖는 PGC와는 달리 UGC는 아주 예외적인 경우를 제외하고는 기대수익이 낮기 때문에 많은 비용을 투입하여 UGC를 생산하는 것은 타산성이 없는 문제가 있다.
다음으로, 촬영인력이 최소화되는 카메라 제어, 조명제어, 음향제어 등이 자동화된 스튜디오 장비를 구현하고, 자동화된 스튜디오 장비를 많은 UGC 제작자들에게 활용하게 함으로써 UGC 촬영의 소요비용을 최소화하면서 적절한 촬영조명 하에서 안정적인 카메라워크가 구현된 비디오 컨텐츠를 제작할 수 있다. Walt Disney Productions의 미국등록특허 제4,283,766호 “Automatic Camera Control for Creating Special Effects in Motion Picture Photography”는 카메라의 촬영위치를 사전에 정의된 제어명령에 따라 자동으로 제어하는 카메라 컨트롤 시스템을 개시한다. 이러한 자동화된 카메라 제어 시스템은 전문 촬영인력을 요구하지 않고 다수의 사용자들이 동일한 카메라 제어 시스템을 공유할 수 있기 때문에 적은 비용으로 비교적 높은 품질의 영상을 촬영할 수 있는 장점이 있다. 하지만, 이는 사전제작(pre-production) 공정 및 실제제작(production)공정에만 적용되는 것으로 비디오 컨텐츠의 품질에 많은 영향을 미치는 사후 편집 등의 사후제작(post-production) 공정에 대한 고려가 없는 문제가 있다. 더욱이 두 개 이상의 카메라로 구성되는 멀티 카메라 제작환경에서는 각 카메라에서 생산되는 비디오 소스 데이터를 편집하여 단일의 멀티미디어 파일을 생성하는 방법을 개시하지 못하는 문제가 있다.
Telcordia Technologies, Inc의 미국등록특허 제6,392,694호 “Method and Apparatus for an automatic Camera Selection System” 및 Microsoft Corporation의 미국등록특허 제7,349,008호 “Automated Camera Management System and Method for Capturing Presentations Using Videography Rules”는 강의 등의 프리젠테이션의 촬영을 위한 자동화된 카메라 선택 시스템을 개시한다. 이러한 시스템에 따르면 멀티 카메라 제작환경에서 사전 정의된 비디오 룰에 따라 시스템이 자동으로 영상을 선택하여 멀티미디어 파일을 생성하기 때문에 사전제작(pre-production) 공정, 실제제작(production) 공정, 사후제작(post-production) 공정을 자동화하여 비디오 컨텐츠 생산에 소요되는 비용을 저감하면서 적절한 영상품질을 확보할 수 있는 장점이 있다. 그러나 이러한 자동편집 시스템은 종래기술에 기재된 것과 같이 고정적인 촬영 포맷으로 이루어지는 동영상 강의 컨텐츠와 같은 정보전달형 비디오 컨텐츠에는 적합하지만 예컨대 사용자의 가창 등의 퍼포먼스를 촬영하는 뮤직비디오와 같은 역동적인 엔터테인먼트 비디오 컨텐츠에 적용하기에는 한계가 있다. 엔터테인먼트 비디오 컨텐츠는 속성상 다양하고 역동적인 편집기법을 통해 시청자의 관심을 계속 유지하게 하는 것이 중요한데, 미리 설정된 편집 룰에 따른 단조롭고 기계적인 자동화 편집으로는 이러한 감각적인 편집이 가미된 고품질의 비디오 컨텐츠를 생산하기 어려운 문제가 있다. 또한 엔터테인먼트 컨텐츠의 경우 비디오 뿐 아니라 다양한 악기들로 구성되는 배경음악의 편집 및 리버브(reverb), 딜레이(delay), 피치 시프팅(pitch shifting) 등의 음향효과의 부가 등의 오디오 편집도 중요한데 전술한 종래기술은 오디오 편집을 고려하지 않은 한계가 있다.
특히 엔터테인먼트 컨텐츠 등에 있어서 자동편집의 한계를 극복하기 위해서는 사후제작(post-production) 공정에서 편집 전문인력을 통한 창의적인 비디오 편집 및 오디오 편집이 필요하다. 하지만 편집 전문인력을 정기적으로 유지하는 방법은 전술한 바와 같이 결국 컨텐츠 생산 비용을 증가시키는 문제가 있다. 이를 해결하기 위해서 편집기술을 보유한 일반 사용자가 통신망을 통해 접속하여 편집을 수행하는 분산편집 시스템이 제안된 바 있다.
NIPPON HOSO KYOKAI의 일본등록특허 제5111422호 “컨텐츠 제작 시스템 및 컨텐츠 제작 프로그램”은 3D 애니메이션으로 구성되는 비디오 컨텐츠에 대한 분산제작 시스템을 개시한다. 이러한 분산 제작 시스템에 따르면 하나의 비디오 컨텐츠에 대한 제작 작업을 분할하여 복수의 단말기가 제작 작업을 나누어 수행할 수 있는 장점이 있다. 그러나 이러한 분산제작 시스템은 3D 애니메이션을 전제한 컨텐츠 생산환경에 적용되는 것으로서 가상 캐릭터의 연기를 정의하는 TVML 프로그램 명령어 및 가상 캐릭터의 연기를 보여주는 가상 카메라 시점을 정의하는 프로그램 명령어를 분량적으로 분배하는 시스템이기 때문에 3D 애니메이션의 특성상 사후제작(post-production) 공정이 존재하지 않는 사전제작(pre-production) 공정에 대한 분산편집 시스템으로서, 실사영상을 기반으로 한 비디오 편집 또는 오디오 편집이 아닌 3D 애니메이션으로 구성되는 프로그램 편집에만 적용할 수 있는 한계가 있다.
MEGA CHIPS CORP의 일본등록특허 제5152458호 “컨텐츠 베이스, 커뮤니케이션 시스템”은 여러 참가자들이 참여하는 컨텐츠 생산 시스템을 개시한다. 이러한 시스템에 따르면 통신망을 통해 여러 사용자들이 참여하여 단일의 컨텐츠를 만들 수 있는 장점이 있다. 하지만 본 종래기술에 따른 시스템은 복수의 사용자들이 시나리오 데이터에 따라 각자가 보유한 컨텐츠를 통신망을 통해 제공하여 시나리오 데이터에 따른 컨텐츠를 생산하는 것으로, 사후제작(post-production) 공정에서 통신망을 통해 편집 전문가가 참여함으로써 비디오 컨텐츠의 품질을 향상하는 것에 대해 고려하지 않은 한계가 있다.
EYESPOT CORPORATION의 미국공개특허 제2009-0196570호 “System and Methods for Online Collaborative Video Creation”은 통신망을 통한 사후제작(post-production) 공정에서의 분산편집 시스템을 개시한다. 이러한 시스템에 따르면 편집기술을 보유한 사용자가 통신망을 통해 비디오 컨텐츠를 편집함으로써 편집에 소요되는 노력 및 비용을 저감할 수 있는 장점이 있다. 그러나 본 종래기술에 따른 분산편집 시스템은 첫째, 이미 촬영이 완료된 비디오 컨텐츠에 대한 편집으로 사후제작(post-production) 공정만 고려한 문제가 있다. 예컨대 미숙한 촬영으로 인해 영상자체의 품질이 떨어지는 경우 사후적인 편집만으로 비디오 컨텐츠의 품질을 높이는 것에는 한계가 있다. 한편 비디오 컨텐츠는 시각적인 비디오 데이터와 청각적인 오디오 데이터를 포함하여 구성되고, 비디오 편집과 오디오 편집은 서로 다른 전문적인 영역에 속하는 것에 불구하고, 해당 인용발명은 단순히 통신망을 통해 비디오 컨텐츠를 편집하는 구성만 개시함으로써 각 비디오 편집 단말장치와 오디오 편집 단말장치 간 효율적인 데이터 전송 및 데이터 접근권한 배분에 관한 문제를 고려하지 않은 한계가 있다.
선행기술문헌
(특허문헌 1) US4283766 A
(특허문헌 2) US6392694 B1
(특허문헌 3) US7349008 B2
(특허문헌 4) JP5111422 B2
(특허문헌 5) JP5152458 B2
(특허문헌 6) US2009-0196570 A1
본 발명은 상기의 문제점을 해결하기 위한 것으로, 본 발명에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 카메라 사전 제어 데이터 및 오디오 사전 제어 데이터를 통해 사전제작(pre-production) 공정, 비디오 소스 데이터 및 오디오 소스 데이터를 수신하는 실제제작(production) 공정, 실시간 편집 비디오 데이터, 실시간 편집 오디오 데이터, 사후 편집 비디오 데이터 및 사후 편집 오디오 데이터를 생산하는 사후제작(post-production) 공정을 단일의 시스템을 통해 수행함으로써 멀티미디어 컨텐츠 제작비용 및 제작소요시간을 저감하고, 제작효율 및 컨텐츠 품질을 증가시키는 것을 목적으로 한다.
본 발명에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 비디오 소스 데이터들을 통해 우선적으로 실시간 편집 비디오 데이터를 생성하여 사후 오디오 편집 단말장치에게 제공함으로써 사후 비디오 편집 단말장치의 사후 비디오 편집 작업 전이라도 사후 오디오 편집 단말장치가 실시간 편집 비디오 데이터를 참조하여 이와 동기화된 오디오를 편집할 수 있도록 하고, 오디오 소스 데이터들을 통해 우선적으로 실시간 편집 오디오 데이터를 생성하여 사후 비디오 편집 단말장치에게 제공함으로써 사후 오디오 편집 단말장치의 사후 오디오 편집 작업 전이라도 사후 비디오 편집 단말장치가 실시간 편집 오디오 데이터를 참조하여 이와 동기화된 비디오를 편집할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 멀티미디어 편집 서버가 사후 비디오 편집 단말장치에게 선택적으로 비디오 소스 데이터들에 접근하게 하고, 사후 오디오 편집 단말장치에게 선택적으로 소스 오디오 데이터들에 접근하게 하는 선택적 접근권한 관리모듈을 포함함으로써, 사후 비디오 편집 단말장치에 의한 임의적인 오디오 편집 및 오디오 소스 데이터 접근을 방지하고, 사후 오디오 편집 단말장치에 의한 임의적인 비디오 편집 및 비디오 소스 데이터 접근을 방지함으로써 통신망을 통한 분산편집 환경에서 체계적인 데이터 관리를 제공하는 것을 다른 목적으로 한다.
본 발명에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 사후 비디오 편집을 담당하는 사후 비디오 편집 단말장치에는 오디오 소스 데이터들 보다 작은 크기를 갖는 실시간 편집 오디오 데이터 또는 사후 편집 오디오 데이터를 제공하고, 사후 오디오 편집 단말장치에는 비디오 소스 데이터들 보다 작은 크기를 갖는 실시간 편집 오디오 데이터 또는 사후 편집 오디오 데이터를 제공함으로써, 통신망을 통해 접속하는 단말장치의 저장 용량 및 프로세서 성능이 떨어지는 경우에도 분산편집에 참여할 수 있도록 하고 단말장치로의 데이터 전송량을 최소화하여 멀티미디어 편집 서버의 연산처리 부담을 경감하는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 사후 비디오 편집 단말장치를 통해 카메라 사전 제어 데이터를 더 생성하거나, 사후 오디오 편집 단말장치를 통해 오디오 사전 제어 데이터를 더 생성함으로써, 사후제작(post-production) 공정 뿐 아니라 사전제작(pre-production) 단계를 통신망을 통해 분산함으로써 멀티미디어 컨텐츠 제작을 효율화하는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 카메라들에서 생성된 비디오 소스 데이터들에 배경 비디오 데이터를 더 포함시켜 실시간 편집 비디오 데이터를 생성함으로써, 크로마키 합성과 같은 편집작업을 실시간으로 수행함과 동시에 사후 오디오 편집 단말장치는 최종 결과물과 유사하도록 배경이 합성된 실시간 편집 비디오 데이터를 참조하여 영상과 부합하는 오디오를 사후 편집하도록 하는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 멀티미디어 편집 서버가 사후 비디오 편집 단말장치 또는 사후 오디오 편집 단말장치에 의한 사후 편집 데이터의 생성 이벤트 및 수정 이벤트가 발생하는 경우 통신망을 통해 다른 사후 편집 단말장치에게 통보하는 데이터 변경 알림모듈을 더 포함함으로써, 통신망을 통해 접속된 복수의 사후 편집 단말장치들이 편집 협업과정의 변화를 신속하게 파악할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 멀티미디어 편집 서버가 사후 비디오 편집 단말장치 및 사후 오디오 편집 단말장치의 편집순서를 시간적으로 할당할 수 있는 편집작업 분배모듈을 더 포함함으로써, 통신망을 통해 분산되어 편집작업을 수행하는 사후 편집 단말장치들 간의 편집순서를 지정함으로써 멀티미디어 편집작업의 효율성을 제고하는 것을 다른 목적으로 한다.
마지막으로, 본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 멀티미디어 편집 서버가 사후 비디오 편집에 있어서 카메라들에서 촬영된 고품질의 비디오 소스 데이터들을 보다 작은 용량의 프록시 미디어로 변경하여 사후 비디오 편집 단말장치에 제공함으로써, 데이터 전송량을 저감하고, 사후 비디오 소스 데이터의 편집에 소요되는 연산부담을 저감하는 것을 다른 목적으로 한다.
상기의 목적을 달성하기 위해 본 발명에 따른 분산형 멀티미디어 편집 시스템은, 제 1 카메라 사전 제어 데이터를 통해 제 1 카메라 모듈을 제어하여 공연자의 퍼포먼스를 촬영한 제 1 비디오 소스 데이터를 수신하는 제 1 카메라 제어모듈; 제 2 카메라 사전 제어 데이터를 통해 제 2 카메라 모듈을 제어하여 상기 공연자의 상기 퍼포먼스를 촬영한 제 2 비디오 소스 데이터를 수신하는 제 2 카메라 제어모듈; 및 상기 공연자의 상기 퍼포먼스를 녹음한 녹음 오디오 소스 데이터를 생성하는 마이크 모듈;을 포함하여 구성되는 스튜디오 제어 서버; 상기 제 1 비디오 소스 데이터와 상기 제 2 비디오 소스 데이터를 저장하는 비디오 소스 저장모듈; 상기 녹음 오디오 소스 데이터 및 오디오 사전 제어 데이터에 의해 정의된 배경 오디오 소스 데이터를 저장하는 오디오 소스 저장모듈; 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터에 기반하여 상기 제 1 비디오 소스 데이터의 데이터 크기 및 상기 제 2 비디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 비디오 데이터를 생성하는 실시간 비디오 편집모듈; 및 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터에 기반하여 상기 녹음 오디오 소스 데이터의 데이터 크기 및 상기 배경 오디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 오디오 데이터를 생성하는 실시간 오디오 편집모듈;을 포함하여 구성되는 멀티미디어 편집 서버; 통신망을 통해 상기 멀티미디어 편집 서버에 접속하고, 비디오 편집을 통해 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터를 기반으로 상기 제 1 비디오 소스 데이터의 데이터 크기 및 상기 제 2 비디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 비디오 데이터를 생성하여 상기 멀티미디어 편집 서버에게 전송하는 사후 비디오 편집 단말장치; 및 통신망을 통해 상기 멀티미디어 편집 서버에 접속하고, 오디오 편집을 통해 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터를 기반으로 상기 녹음 오디오 소스 데이터의 데이터 크기 및 상기 배경 오디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 오디오 데이터를 생성하여 상기 멀티미디어 편집 서버에게 전송하는 사후 오디오 편집 단말장치;를 포함하여 구성되고, 상기 멀티미디어 편집 서버는, 상기 사후 비디오 편집 단말장치에게 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터에 대한 접근권한을 선택적으로 부여하고, 상기 사후 오디오 편집 단말장치에게 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터에 대한 접근권한을 선택적으로 부여하는 선택적 접근권한 관리모듈; 상기 사후 비디오 편집 단말장치에게 상기 실시간 편집 오디오 데이터 또는 상기 사후 편집 오디오 데이터를 선택적으로 전송하고 상기 사후 오디오 편집 단말장치에게 상기 실시간 편집 비디오 데이터 또는 상기 사후 편집 비디오 데이터를 선택적으로 전송하는 선택적 편집 데이터 전송모듈; 및 상기 사후 편집 비디오 데이터에 적용된 비디오 편집 및 상기 사후 편집 오디오 데이터에 적용된 오디오 편집에 따라 단일의 멀티미디어 파일 데이터를 생성하는 멀티미디어 파일 생성모듈;을 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템에 있어서, 상기 사후 비디오 편집 단말장치는, 상기 제 1 카메라 사전 제어 데이터를 더 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템에 있어서, 상기 사후 오디오 편집 단말장치는, 상기 오디오 사전 제어 데이터를 더 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템에 있어서, 상기 실시간 비디오 편집 모듈은, 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터의 상기 공연자의 객체영상과 비디오 사전 제어 데이터에 의해 정의된 제 1 배경 비디오 소스 데이터를 합성하여 상기 실시간 비디오 편집 데이터를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템에 있어서, 상기 사후 비디오 편집 단말장치는, 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터의 상기 공연자의 객체영상과 제 2 배경 비디오 소스 데이터를 합성하여 상기 사후 편집 비디오 데이터를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템에 있어서, 상기 멀티미디어 편집 서버는, 상기 사후 비디오 편집 단말장치에서 상기 사후 편집 비디오 데이터의 생성 이벤트 또는 사후 편집 비디오 데이터의 수정 이벤트가 발생하는 경우 상기 사후 오디오 편집 단말장치에 이를 통보하고, 상기 사후 오디오 편집 단말장치에서 상기 사후 편집 오디오 데이터의 생성 이벤트 또는 사후 편집 오디오 데이터의 수정 이벤트가 발생하는 경우 상기 사후 비디오 편집 단말장치에 이를 통보하는 데이터 변경 알림모듈;을 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템에 있어서, 상기 멀티미디어 편집 서버는, 상기 사후 비디오 편집 단말장치에 의한 상기 사후 편집 비디오 데이터의 생성 이벤트가 발생한 경우에 한해 상기 사후 오디오 편집 단말장치가 상기 사후 편집 오디오 데이터를 생성할 수 있도록 제어하는 편집작업 분배모듈;을 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템에 있어서, 상기 사후 비디오 편집 단말장치는, 상기 제 1 비디오 소스 데이터의 프록시 미디어 및 상기 제 2 비디오 소스 데이터의 프록시 미디어를 이용하여 상기 사후 편집 비디오 데이터를 생성하는 것을 특징으로 한다.
본 발명에 따른 분산형 멀티미디어 편집방법은, 스튜디오 제어 서버가, 제 1 카메라 사전 제어 데이터를 통해 제 1 카메라 모듈을 제어하여 공연자의 퍼포먼스를 촬영한 제 1 비디오 소스 데이터를 수신하는 단계; 상기 스튜디오 제어 서버가, 제 2 카메라 사전 제어 데이터를 통해 제 2 카메라 모듈을 제어하여 상기 공연자의 상기 퍼포먼스를 촬영한 제 2 비디오 소스 데이터를 수신하는 단계; 상기 스튜디오 제어 서버가, 마이크 모듈을 통해 상기 공연자의 상기 퍼포먼스를 녹음한 녹음 오디오 소스 데이터를 수신하는 단계; 멀티미디어 편집 서버가, 상기 제 1 비디오 소스 데이터와 상기 제 2 비디오 소스 데이터를 저장하는 단계; 상기 멀티미디어 편집 서버가, 상기 녹음 오디오 소스 데이터 및 오디오 사전 제어 데이터에 의해 정의된 배경 오디오 소스 데이터를 저장하는 단계; 상기 멀티미디어 편집 서버가, 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터에 기반하여 상기 제 1 비디오 소스 데이터의 데이터 크기 및 상기 제 2 비디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 비디오 데이터를 생성하는 단계; 상기 멀티미디어 편집 서버가, 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터에 기반하여 상기 녹음 오디오 소스 데이터의 데이터 크기 및 상기 배경 오디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 오디오 데이터를 생성하는 단계; 상기 멀티미디어 편집 서버가, 상기 사후 비디오 편집 단말장치에게 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터에 대한 접근권한을 선택적으로 부여하고, 상기 사후 오디오 편집 단말장치에게 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터에 대한 접근권한을 선택적으로 부여하는 단계; 상기 멀티미디어 편집 서버가, 상기 사후 비디오 편집 단말장치에게 상기 실시간 편집 오디오 데이터를 선택적으로 전송하고, 상기 사후 오디오 편집 단말장치에게 상기 실시간 편집 비디오 데이터를 선택적으로 전송하는 단계; 상기 사후 비디오 편집 단말장치가, 통신망을 통해 상기 멀티미디어 편집 서버에 접속하고, 비디오 편집을 통해 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터를 기반으로 상기 제 1 비디오 소스 데이터의 데이터 크기 및 상기 제 2 비디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 비디오 데이터를 생성하여 상기 멀티미디어 편집 서버에게 전송하는 단계; 상기 사후 오디오 편집 단말장치가, 통신망을 통해 상기 멀티미디어 편집 서버에 접속하고, 오디오 편집을 통해 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터를 기반으로 상기 녹음 오디오 소스 데이터의 데이터 크기 및 상기 배경 오디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 오디오 데이터를 생성하여 상기 멀티미디어 편집 서버에게 전송하는 단계; 및 상기 멀티미디어 편집 서버가, 상기 사후 편집 비디오 데이터에 적용된 비디오 편집 및 상기 사후 편집 오디오 데이터에 적용된 오디오 편집에 따라 단일의 멀티미디어 파일 데이터를 생성하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 상기 분산형 멀티미디어 편집방법은, 상기 제 1 비디오 소스 데이터를 수신하는 단계 이전에, 상기 사후 비디오 편집 단말장치가 상기 제 1 카메라 사전 제어 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 상기 분산형 멀티미디어 편집방법은, 상기 녹음 오디오 소스 데이터를 수신하는 단계 이전에, 상기 사후 오디오 편집 단말장치가 상기 오디오 사전 제어 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집방법에 있어서, 상기 실시간 비디오 편집 데이터를 생성하는 단계는, 상기 멀티미디어 편집 서버가, 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터의 상기 공연자의 객체영상과 비디오 사전 제어 데이터에 의해 정의된 제 1 배경 비디오 소스 데이터를 합성하여 상기 실시간 비디오 편집 데이터를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집방법에 있어서, 상기 사후 편집 비디오 데이터를 생성하는 단계는, 상기 사후 비디오 편집 단말장치가, 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터의 상기 공연자의 객체영상과 제 2 배경 비디오 소스 데이터를 합성하여 상기 사후 편집 비디오 데이터를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 상기 분산형 멀티미디어 편집방법은, 상기 멀티미디어 편집 서버가, 상기 사후 비디오 편집 단말장치에서 상기 사후 편집 비디오 데이터의 생성 이벤트 또는 사후 편집 비디오 데이터의 수정 이벤트가 발생하는 경우 상기 사후 오디오 편집 단말장치에 이를 통보하고, 상기 사후 오디오 편집 단말장치에서 상기 사후 편집 오디오 데이터의 생성 이벤트 또는 사후 편집 오디오 데이터의 수정 이벤트가 발생하는 경우 상기 사후 비디오 편집 단말장치에 이를 통보하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집방법에 있어서, 상기 사후 편집 오디오 데이터를 생성하는 단계는, 상기 사후 비디오 편집 단말장치에 의한 상기 사후 편집 비디오 데이터의 생성 이벤트가 발생한 경우에 한해 상기 사후 오디오 편집 단말장치가 상기 사후 편집 오디오 데이터를 생성하는 것을 특징으로 한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집방법에 있어서, 상기 사후 편집 비디오 데이터를 생성하는 단계는, 상기 사후 비디오 편집 단말장치가, 상기 제 1 비디오 소스 데이터의 프록시 미디어 및 상기 제 2 비디오 소스 데이터의 프록시 미디어를 이용하여 상기 사후 편집 비디오 데이터를 생성하는 것을 특징으로 한다.
상기의 구성에 따라 본 발명에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 카메라 사전 제어 데이터 및 오디오 사전 제어 데이터를 통해 사전제작(pre-production) 공정, 비디오 소스 데이터 및 오디오 소스 데이터를 수신하는 실제제작(production) 공정, 실시간 편집 비디오 데이터, 실시간 편집 오디오 데이터, 사후 편집 비디오 데이터 및 사후 편집 오디오 데이터를 생산하는 사후제작(post-production) 공정을 단일의 시스템을 통해 수행함으로써 멀티미디어 컨텐츠 제작비용 및 제작소요시간을 저감하고, 제작효율 및 컨텐츠 품질을 증가시키는 효과를 제공한다.
본 발명에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 비디오 소스 데이터들을 통해 우선적으로 실시간 편집 비디오 데이터를 생성하여 사후 오디오 편집 단말장치에게 제공함으로써 사후 비디오 편집 단말장치의 사후 비디오 편집 작업 전이라도 사후 오디오 편집 단말장치가 실시간 편집 비디오 데이터를 참조하여 이와 동기화된 오디오를 편집할 수 있도록 하고, 오디오 소스 데이터들을 통해 우선적으로 실시간 편집 오디오 데이터를 생성하여 사후 비디오 편집 단말장치에게 제공함으로써 사후 오디오 편집 단말장치의 사후 오디오 편집 작업 전이라도 사후 비디오 편집 단말장치가 실시간 편집 오디오 데이터를 참조하여 이와 동기화된 비디오를 편집할 수 있도록 하는 효과를 제공한다.
본 발명에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 멀티미디어 편집 서버가 사후 비디오 편집 단말장치에게 선택적으로 비디오 소스 데이터들에 접근하게 하고, 사후 오디오 편집 단말장치에게 선택적으로 소스 오디오 데이터들에 접근하게 하는 선택적 접근권한 관리모듈을 포함함으로써, 사후 비디오 편집 단말장치에 의한 임의적인 오디오 편집 및 오디오 소스 데이터 접근을 방지하고, 사후 오디오 편집 단말장치에 의한 임의적인 비디오 편집 및 비디오 소스 데이터 접근을 방지함으로써 통신망을 통한 분산편집 환경에서 체계적인 데이터 관리를 제공하는 효과를 제공한다.
본 발명에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 사후 비디오 편집을 담당하는 사후 비디오 편집 단말장치에는 오디오 소스 데이터들 보다 작은 크기를 갖는 실시간 편집 오디오 데이터 또는 사후 편집 오디오 데이터를 제공하고, 사후 오디오 편집 단말장치에는 비디오 소스 데이터들 보다 작은 크기를 갖는 실시간 편집 오디오 데이터 또는 사후 편집 오디오 데이터를 제공함으로써, 통신망을 통해 접속하는 단말장치의 저장 용량 및 프로세서 성능이 떨어지는 경우에도 분산편집에 참여할 수 있도록 하고 단말장치로의 데이터 전송량을 최소화하여 멀티미디어 편집 서버의 연산처리 부담을 경감하는 효과를 제공한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 사후 비디오 편집 단말장치를 통해 카메라 사전 제어 데이터를 더 생성하거나, 사후 오디오 편집 단말장치를 통해 오디오 사전 제어 데이터를 더 생성함으로써, 사후제작(post-production) 공정 뿐 아니라 사전제작(pre-production) 단계를 통신망을 통해 분산함으로써 멀티미디어 컨텐츠 제작을 효율화하는 효과를 제공한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 카메라들에서 생성된 비디오 소스 데이터들에 배경 비디오 데이터를 더 포함시켜 실시간 편집 비디오 데이터를 생성함으로써, 크로마키 합성과 같은 편집작업을 실시간으로 수행함과 동시에 사후 오디오 편집 단말장치는 최종 결과물과 유사하도록 배경이 합성된 실시간 편집 비디오 데이터를 참조하여 영상과 부합하는 오디오를 사후 편집하도록 하는 효과를 제공한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 멀티미디어 편집 서버가 사후 비디오 편집 단말장치 또는 사후 오디오 편집 단말장치에 의한 사후 편집 데이터의 생성 이벤트 및 수정 이벤트가 발생하는 경우 통신망을 통해 다른 사후 편집 단말장치에게 통보하는 데이터 변경 알림모듈을 더 포함함으로써, 통신망을 통해 접속된 복수의 사후 편집 단말장치들이 편집 협업과정의 변화를 신속하게 파악할 수 있도록 하는 효과를 제공한다.
본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 멀티미디어 편집 서버가 사후 비디오 편집 단말장치 및 사후 오디오 편집 단말장치의 편집순서를 시간적으로 할당할 수 있는 편집작업 분배모듈을 더 포함함으로써, 통신망을 통해 분산되어 편집작업을 수행하는 사후 편집 단말장치들 간의 편집순서를 지정함으로써 멀티미디어 편집작업의 효율성을 제고하는 효과를 제공한다.
마지막으로, 본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템 및 편집방법은, 멀티미디어 편집 서버가 사후 비디오 편집에 있어서 카메라들에서 촬영된 고품질의 비디오 소스 데이터들을 보다 작은 용량의 프록시 미디어로 변경하여 사후 비디오 편집 단말장치에 제공함으로써, 데이터 전송량을 저감하고, 사후 비디오 소스 데이터의 편집에 소요되는 연산부담을 저감하는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템을 도시하는 구성도.
도 2는 본 발명의 실시예에 따른 스튜디오 장치들의 구성을 도시하는 예시도.
도 3은 본 발명의 실시예에 따른 제 1 카메라 사전 제어 데이터의 편집 인터페이스 예시도.
도 4는 본 발명의 실시예에 따른 스튜디오 제어 서버의 구성 예시도.
도 5는 본 발명의 실시예에 따른 조명 사전 제어 데이터의 편집 인터페이스 예시도.
도 6은 본 발명의 실시예에 따른 오디오 사전 제어 데이터의 편집 인터페이스 예시도.
도 7은 본 발명의 실시예에 따른 제 1 배경 비디오 소스 데이터를 지정한 비디오 사전 제어 데이터의 편집 인터페이스 예시도.
도 8은 본 발명의 실시예에 따른 사후 비디오 편집 단말장치에서의 비디오 편집 인터페이스 예시도.
도 9는 본 발명의 실시예에 따른 사후 오디오 편집 단말장치에서의 오디오 편집 인터페이스 예시도.
도 10은 본 발명의 실시예에 따른 분산형 멀티미디어 편집방법을 도시하는 처리 흐름도.
스튜디오 제어서버 : 100 제 1 카메라 제어모듈 : 110
제 1 카메라 모듈 : 111 제 2 카메라 제어모듈 : 120
제 2 카메라 모듈 : 121 마이크 모듈 : 130
멀티미디어 편집 서버 : 200 비디오 소스 저장모듈 : 210
오디오 소스 저장모듈 : 211 실시간 비디오 편집모듈 : 220
실시간 오디오 편집모듈 : 221 멀티미디어 파일 생성모듈 : 250
선택적 접근권한 관리모듈 : 230 선택적 편집 데이터 전송모듈 : 240
사후 비디오 편집 단말장치 : 300 사후 오디오 편집 단말장치 : 400
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어서는 안 되며, 자신의 발명을 최선의 방법으로 설명하기 위해 발명자가 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형예가 있을 수 있다.
명세서 전반에서 어떠한 부분이 어떤 구성요소를 “포함”한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 “..모듈”, “..부”, “..시스템” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다.
본 발명에서 사용되는 용어 중 “멀티미디어 파일 데이터”는 재생구간 동안 변화하는 시각적인 정보(비디오 데이터)와 재생구간 동안 변화하는 청각적인 정보(오디오 데이터)가 동기적으로 결합된 동영상 데이터를 의미하고, “비디오 데이터”는 재생구간 동안 변화하는 시각적인 정보로만 구성된 데이터를 의미하고, “오디오 데이터”는 재생구간 동안 변화하는 청각적인 정보로만 구성된 데이터를 의미한다.
도 1은 본 발명의 실시예에 따른 분산형 멀티미디어 편집 시스템을 도시한다. 본 발명의 분산형 멀티미디어 편집 시스템은 스튜디오 제어 서버(100), 멀티미디어 편집 서버(200), 사후 비디오 편집 단말장치(300), 및 사후 오디오 편집 단말장치(400)를 포함하여 구성된다.
스튜디오 제어 서버(100)는 카메라 모듈(111,121)및 마이크 모듈(130)를 포함하는 스튜디오의 장비들을 제어하는 기능을 수행하며, 제 1 카메라 제어모듈(110), 제 2 카메라 제어모듈(120), 및 마이크 모듈(130)을 포함하여 구성된다. 도 2는 스튜디오 장비들이 설치된 스튜디오를 예시적으로 도시한다. 스튜디오는 예컨대 촬영을 위한 공간과 무대소품, 카메라, 마이크 등의 촬영장비, 조명, 모니터 등의 부가장비들로 구성될 수 있다. 스튜디오는 동영상 촬영에 최적화된 환경을 제공하도록 구성되는 것이 바람직하며, 반드시 밀폐된 공간일 필요는 없다. 스튜디오의 촬영 배경은 촬영되는 멀티미디어 컨텐츠의 종류에 따라 변경될 수 있고, 크로마키 합성을 통해 배경을 합성하는 경우 녹색 또는 파란색 등의 단일색상의 배경을 사용할 수도 있다.
제 1 카메라 제어모듈(110)은 제 1 카메라 사전 제어 데이터(data_control_pre_camera_1)를 통해 제 1 카메라 모듈(111)을 제어하여 공연자의 퍼포먼스를 촬영한 제 1 비디오 소스 데이터(data_video_source_1)를 수신하는 기능을 수행한다. 제 2 카메라 제어모듈(120)은 제 2 카메라 사전 제어 데이터(data_control_pre_camera_2)를 통해 제 2 카메라 모듈(121)을 제어하여 공연자의 퍼포먼스를 촬영한 제 2 비디오 소스 데이터(data_video_source_2)를 수신하는 기능을 수행한다.
카메라 모듈(111,121)은 비디오 촬영이 가능한 캠코더, 방송용 카메라, 스마트폰의 카메라 모듈 등일 수 있고, 카메라 제어모듈(110,120)은 카메라의 촬영 시작을 제어하거나, 카메라의 줌 기능을 제어할 수 있다. 또한 기계적인 카메라 마운팅 장치에 의해 카메라의 패닝(panning), 카메라의 틸트(tilt), 카메라의 위치이동을 제어하는 것이 바람직하다.
멀티미디어 컨텐츠의 품질을 향상시키기 위해서는 카메라 모듈은 안정적으로 고정된 상태에서 촬영하는 것이 바람직하고, 배경을 합성하기 위해 크로마키 배경에서 비디오 촬영을 하거나 깊이 측정(depth-sensing) 기능이 있는 비디오카메라를 사용하는 것이 바람직하다. 영상의 깊이 측정방식은 Microsoft사의 Kinnect 및 Intel사의 RealSense Camera를 통해 상용화된 멀티 카메라 방식, ToF(Time-of-Flight) 방식 또는 적외선 패턴 인식 방식을 통해 구현하거나 Lytro사에 의해 상용화된 Micro Lens Array를 통한 Light Field 방식을 예시할 수 있다. 이러한 피사체의 깊이 측정 기술을 통해 크로마키 배경이 없이도 배경과 전경을 용이하게 분리하여 카메라 모듈(111,121)을 통해 촬영된 전경영상과 준비된 배경영상을 합성할 수 있다.
또한 하나의 피사체를 여러 개의 카메라를 통해 촬영한 후 적절하게 카메라 시점을 변경하는 편집을 하는 방법을 통해 동영상의 역동성과 품질을 높일 수 있다. 이를 위해서 본 발명에 따른 분산형 멀티미디어 편집 시스템은 적어도 두 개의 카메라 모듈(111,121)을 포함하도록 구성한다. 실시예에 따라서는 세 개 이상의 카메라 모듈로 구성할 수도 있다. 본 발명에서는 적어도 두 개의 카메라 모듈(111,121)들을 통해 단일의 피사체에 대한 복수의 비디오 소스 데이터를 생성하기 때문에 비디오 편집을 반드시 필요로 한다.
다른 위치에 복수 개 설치되는 카메라 모듈들(111,121)과는 달리 카메라 모듈들(111,121)을 제어하는 제 1 카메라 제어모듈(110) 및 제 2 카메라 제어모듈(120)은 단일의 제어장치로 구현될 수 있다.
제 1 카메라 사전 제어 데이터(data_control_pre_camera_1) 및 제 2 카메라 사전 제어 데이터(data_control_pre_camera_2)는 각각 촬영시점에서 카메라 모듈의 동작을 정의하는 제어신호들의 집합으로 구성된다. 도 3은 제 1 카메라 사전 제어 데이터(data_control_pre_camera_1)를 생성하는 편집화면을 예시한다. 예시된 바와 같이 애플리케이션 또는 웹브라우저를 통해 특정 촬영시점에서의 카메라의 X축 이동, Y축 이동, 줌, 팬, 틸트 등을 정의하면 3D 모델링된 피사체가 화면상에 보이는 모습을 랜더링하도록 구성함으로써 촬영결과를 사전에 예상할 수 있도록 구성할 수 있다. 이러한 카메라 사전 제어 데이터의 편집은 도 3에 도시된 바와 같이 직관적인 사용자 인터페이스로 구성되는 화면을 통해 비전문가인 사용자도 손쉽게 편집할 수 있도록 구성하는 것이 바람직하다.
제 1 카메라 사전 제어 데이터(data_control_pre_camera_1) 및 제 2 카메라 사전 제어 데이터(data_control_pre_camera_2)는 예컨대 통신망을 통해 스튜디오 제어 서버(100) 또는 멀티미디어 편집 서버(200)와 연결되는 멀티미디어 파일 제작 요청자의 단말장치 또는 사후 비디오 편집 단말장치(300)에 의해 편집되도록 구성할 수 있다. 또한 실시예에 따라서는 유사한 성격의 다른 멀티미디어 파일 생성에서 사용하였던 제 1 카메라 사전 제어 데이터(data_control_pre_camera_1) 및 제 2 카메라 사전 제어 데이터(data_control_pre_camera_2)를 새로운 멀티미디어 파일 생성에 그대로 사용하거나 이를 수정하여 사용하는 방법으로 멀티미디어 파일 생성에 소요되는 노력 및 비용을 저감할 수 있다.
제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)는 원본 촬영 데이터이기 때문에 다양한 해상도를 지원할 수 있도록 높은 해상도로 생성되고, 화질의 손실을 방지하기 위해 비압축 방식 또는 낮은 압축률의 압축 방식으로 생성되는 것이 바람직하다.
마이크 모듈(130)은 공연자의 퍼포먼스를 녹음한 녹음 오디오 소스 데이터(data_audio_source_recording)를 생성하는 기능을 수행한다. 마이크 모듈(130)은 음향 또는 음성의 녹음이 가능한 전문가용 마이크, 캠코더 또는 방송용 카메라에 부가된 마이크 모듈(130), 스마트폰의 마이크 모듈(130) 등일 수 있다. 또한 멀티미디어 파일이 입체적인 음향을 재생할 수 있도록 복수의 마이크 모듈(130)을 사용할 수도 있다. 이 경우 복수의 녹음 오디오 소스 데이터(data_audio_source_recording)들이 생성된다.
도 4는 스튜디오 제어 서버(100)의 구성예를 도시한다. 도시된 바와 같이 스튜디오 제어 서버(100)는 실시예에 따라서 광원의 점멸, 광원의 밝기, 광원의 색상, 광원의 색온도 또는 광원의 방향이 제어되는 조명모듈 및 조명 제어모듈을 더 포함하여 구성될 수 있다. 도 5는 본 발명의 실시예에 따른 조명 사전 제어 데이터(data_control_pre_lighting)를 생성하는 편집화면을 예시한다. 조명 제어모듈은 조명 사전 제어 데이터(data_control_pre_lighting)를 통해 조명모듈을 제어하도록 구성되며, 조명 사전 제어 데이터(data_control_pre_lighting)는 촬영시간별로 조명모듈의 조명을 설정하도록 구성될 수 있다.
멀티미디어 편집 서버(200)는 비디오 소스 저장모듈(210), 오디오 소스 저장모듈(211), 실시간 오디오 편집모듈(221), 선택적 접근권한 관리모듈(230), 선택적 편집 데이터 전송모듈(240), 및 멀티미디어 파일 생성모듈(250)을 포함하여 구성된다.
멀티미디어 편집 서버(200)는 스튜디오 제어 서버(100)에서 생성된 제 1 비디오 소스 데이터(data_video_source_1), 제 2 비디오 소스 데이터(data_video_source_2), 녹음 오디오 소스 데이터(data_audio_source_recording)를 이용하여 멀티미디어 파일 데이터(data_multimedia_file)를 생성하는 기능을 수행한다. 멀티미디어 편집 서버(200)는 스튜디오 제어 서버(100)와 물리적으로 분리되어 통신망을 통해 연결되도록 구성할 수도 있고, 단일의 서버로 구성될 수 있다.
비디오 소스 저장모듈(210)은 제 1 비디오 소스 데이터(data_video_source_1)와 제 2 비디오 소스 데이터(data_video_source_2)를 서로 저장하는 기능을 수행한다.
오디오 소스 저장모듈(211)은 녹음 오디오 소스 데이터(data_audio_source_recording) 및 오디오 사전 제어 데이터(data_control_pre_audio)에 의해 정의된 배경 오디오 소스 데이터(data_audio_source_BG)를 저장하는 기능을 수행한다.
오디오 사전 제어 데이터(data_control_pre_audio)는 사전에 정의되는 추가 오디오 데이터 또는 사운드 이펙트일 수 있다. 오디오 사전 제어 데이터(data_control_pre_audio)는 촬영 전에 미리 멀티미디어에 포함될 음향효과, 배경음향 등을 지정하는 데이터로서 사전제작(pre-production) 단계에서의 미리 오디오 편집을 설정하는 데이터로서 기능한다. 오디오 사전 제어 데이터(data_control_pre_audio)는 배경음악에 대한 음원 데이터 및 효과음에 대한 음원 데이터를 포함하거나, 해당 음원 데이터에 대한 URL 정보와 같은 음원 데이터 저장위치 정보를 포함하여 구성될 수 있다. 또한 특정 멀티미디어 파일의 특정 재생지점에 부가된 효과음의 경우 해당 효과음이 재생될 재생시간 정보인 타임스탬프 정보를 더 포함할 수 있다. 오디오 사전 제어 데이터(data_control_pre_audio)는 또한 디지털 음향필터 등을 이용한 이퀄라이저 파라미터 정보 또는 음향효과 파라미터 정보를 더 포함할 수 있다. 음향효과는 예컨대 잔향 효과(reverb), 메아리 효과(delay), 코러스 합창 효과(harmony), 동음합창 효과(doubler), 기계음 변조 효과(hard tune) 등을 예시할 수 있다. 배경 오디오 소스 데이터(data_audio_source_BG)는 멀티미디어 컨텐츠에 포함되는 배경음악이거나 뮤직비디오 컨텐츠의 경우 반주음악의 데이터일 수 있다.
도 6은 오디오 사전 제어 데이터(data_control_pre_audio)를 편집하는 화면을 예시한다. 오디오 사전 제어 데이터(data_control_pre_audio)는 멀티미디어 컨텐츠의 제작자, 오디오 편집 전문가, 또는 오디오 편집에 재능있는 일반인에 의해 생성될 수 있으며, 사후 오디오 편집 단말장치(400)에 의해 미리 편집될 수도 있다. 도 6에 예시된 바와 같이 애플리케이션 또는 웹브라우저를 통해 오디오 사전 제어 데이터(data_control_pre_audio)를 생성 및 편집할 수 있다.
실시간 비디오 편집모듈(220)은 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)에 기반하여 제 1 비디오 소스 데이터(data_video_source_1)의 데이터 크기 및 제 2 비디오 소스 데이터(data_video_source_2)의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 비디오 데이터(data_video_edited_RT)를 생성하는 기능을 수행한다. 실시간 비디오 편집모듈(220)은 비디오 편집 인력에 의존하지 않고 주어진 편집 룰에 따라 자동으로 비디오 편집을 수행한다. 실시간 비디오 편집모듈(220)은 실시예에 따라 다양하게 실시간 비디오 편집을 자동으로 수행할 수 있다. 예컨대 실시간 비디오 편집모듈(220)은 실시간 편집 비디오 데이터(data_video_edited_RT)를 사후 오디오 편집 단말장치(400)에서 오디오 편집에 참고하기 위한 용도로 간단하게 편집할 수도 있고, 최종 결과물에 가까운 품질로 편집할 수도 있다. 예컨대 오디오 편집 참고용으로 제작하는 경우 제 1 비디오 소스 데이터(data_video_source_1)만으로 실시간 편집 비디오 데이터(data_video_edited_RT)를 생성할 수도 있고, 제 1 비디오 소스 데이터(data_video_source_1)와 제 2 비디오 소스 데이터(data_video_source_2)가 화면에 분할되어 동시에 표시되도록 실시간 편집 비디오 데이터(data_video_edited_RT)를 생성할 수도 있고, 임의의 시점에서 카메라 전환이 이루어지도록 실시간 편집 비디오 데이터(data_video_edited_RT)를 생성할 수도 있다. 최종 결과물에 가까운 품질로 자동편집을 하고자 하는 경우 비디오 사전 제어 데이터(data_control_pre_video)를 통해 카메라 전환지점을 미리 설정하고, 동영상에 미리 합성될 배경화면 및 합성 오브젝트를 지정하도록 구성할 수도 있다.
배경화면을 자동으로 합성하는 실시예에 따르면, 실시간 비디오 편집모듈(220)은 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)의 공연자 객체영상과 비디오 사전 제어 데이터(data_control_pre_video)에 의해 정의된 제 1 배경 비디오 소스 데이터(data_video_source_BG_1)를 합성하여 실시간 비디오 편집 데이터를 생성하도록 구성한다. 도 7은 제 1 배경 비디오 소스 데이터(data_video_source_BG_1)를 지정하여 비디오 사전 제어 데이터(data_control_pre_video)를 편집하는 인터페이스를 예시한다. 이러한 실시예에 따르면 비디오 소스 데이터들의 생성에 따라 미리 지정한 제 1 배경 비디오 소스 데이터(data_video_source_BG_1)를 추가함으로써 비디오 편집에 소요되는 시간 및 비용을 저감할 수 있는 효과를 제공한다. 비디오 사전 제어 데이터(data_control_pre_video)는 전술한 오디오 사전 제어 데이터(data_control_pre_audio)와 유사하게 자막정보, 영상필터 정보, 색보정 정보 등을 사전에 정의하는 데이터들로 구성될 수 있으며, 제 1 배경 비디오 소스 데이터(data_video_source_BG_1)를 포함하거나 제 1 배경 비디오 소스 데이터(data_video_source_BG_1)에 대한 URL 정보와 같은 저장위치 정보를 포함하여 구성될 수 있다. 실시예에 따라서는 제 1 배경 비디오 소스 데이터(data_video_source_BG_1)는 평면 영상이 아닌 3차원으로 모델링된 가상배경으로 구현되며 카메라 모듈(111,121)의 촬영위치 또는 카메라 모듈(111,121)의 이동에 따라 카메라 뷰에 적응적으로 랜더링되어 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)에 합성될 수 있다.
실시간 편집 비디오 데이터(data_video_edited_RT)는 동영상 플레이어와 같은 소프트웨어를 통해 재생 가능한 비디오 파일로 구성되며, 직접 편집의 대상이 되는 비디오 파일이 아니고 사후 오디오 편집 시 오디오 편집에 참고되는 참고 비디오 파일이기 때문에 원본 비디오 데이터인 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)와 별도로 단일의 파일 형태로 생성된다. 또한 가능한 작은 데이터 크기를 갖도록 작은 화면 크기로의 리사이즈, 낮은 해상도로 해상도 변경, 높은 압축률로의 압축저장 등의 방법으로 실시간 편집 비디오 데이터(data_video_edited_RT)를 생성하는 것이 바람직하다. 또한 사후 오디오 편집 단말장치(400)의 네트워크 환경, 연산처리 능력, 잔여 저장공간 등에 따라 적응적으로 실시간 편집 비디오 데이터(data_video_edited_RT)의 해상도를 변경하도록 구성할 수도 있다. 하지만 어느 경우에도 실시간 편집 비디오 데이터(data_video_edited_RT)의 데이터 크기는 제 1 비디오 소스 데이터(data_video_source_1)의 데이터 크기 및 제 2 비디오 소스 데이터(data_video_source_2)의 데이터 크기의 합을 넘지 않도록 함으로써 사후 오디오 편집 단말장치(400)의 오디오 편집 시 불필요한 과도한 크기의 비디오 데이터의 전송을 방지하고, 오디오 편집 시 비디오 데이터로 인한 불필요한 연산부담을 저감할 수 있다.
실시간 오디오 편집모듈(221)은 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)에 기반하여 녹음 오디오 소스 데이터(data_audio_source_recording)의 데이터 크기 및 배경 오디오 소스 데이터(data_audio_source_BG)의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 오디오 데이터(data_audio_edited_RT)를 생성하는 기능을 수행한다. 실시간 오디오 편집모듈(221)은 오디오 편집 인력에 의존하지 않고 주어진 편집 룰에 따라 자동으로 오디오 편집을 수행한다. 실시간 오디오 편집모듈(221)은 실시예에 따라 다양하게 오디오 편집을 자동으로 수행할 수 있다. 예컨대 실시간 오디오 편집모듈(221)은 실시간 편집 오디오 데이터(data_audio_edited_RT)를 사후 비디오 편집 단말장치(300)에서 비디오 편집에 참고하는 용도로 간단하게 편집할 수도 있고, 최종 결과물에 가까운 품질로 편집할 수도 있다. 예컨대 비디오 편집 참고용으로 제작하는 경우 녹음 오디오 소스 데이터(data_audio_source_recording)와 배경 오디오 소스 데이터(data_audio_source_BG)를 단순히 믹싱하여 실시간 편집 오디오 데이터(data_audio_edited_RT)를 생성할 수 있고, 전술한 오디오 사전 제어 데이터(data_control_pre_audio)에 정의된 효과음 또는 음향효과를 녹음 오디오 소스 데이터(data_audio_source_recording) 또는 배경 오디오 소스 데이터(data_audio_source_BG)에 추가하는 방법으로 높은 품질의 실시간 편집 오디오 데이터(data_audio_edited_RT)가 생성될 수 있다.
실시간 편집 오디오 데이터(data_audio_edited_RT)는 가능한 작은 데이터 크기를 갖도록 높은 압축률의 압축저장 등의 방법으로 실시간 편집 오디오 데이터(data_audio_edited_RT)를 생성하는 것이 바람직하다. 이를 통해 사후 비디오 편집 단말장치(300)의 비디오 편집 시 과도한 크기의 오디오 데이터의 전송을 방지하고, 비디오 편집 시 과도한 오디오 데이터로 인한 불필요한 연산부담을 저감할 수 있다.
실시간 편집 비디오 데이터(data_video_edited_RT)와 실시간 편집 오디오 데이터(data_audio_edited_RT)는 전문적인 스튜디오 장비를 통해 생성된 제 1 비디오 소스 데이터(data_video_source_1), 제 2 비디오 소스 데이터(data_video_source_2), 녹음 오디오 소스 데이터(data_audio_source_recording)를 기반으로 생성되고 미리 정의된 편집 룰에 따라 자동화된 편집 프로세스를 통해 생성되기 때문에 일반적인 사용자가 자체적으로 제작하는 UGC에 비해 높은 품질을 갖도록 하는 효과가 있다. 그럼에도 불구하고 전문 편집인력에 의한 비디오 편집 및 오디오 편집을 통해 보다 높은 품질의 멀티미디어 파일을 제작할 필요가 있다. 이를 위해 본 발명에서는 통신망을 통해 사후적으로 비디오 편집 및 오디오 편집을 더 수행함으로써 높은 품질의 멀티미디어 컨텐츠를 효율적으로 생성할 수 있도록 한다. 실시간 편집 오디오 데이터(data_audio_edited_RT)와 실시간 편집 비디오 데이터(data_video_edited_RT)는 촬영에 의해 생성된 제 1 비디오 소스 데이터(data_video_source_1), 제 2 비디오 소스 데이터(data_video_source_2), 및 녹음 오디오 소스 데이터(data_audio_source_recording)가 입력되면 실시간 편집 비디오 데이터(data_video_edited_RT) 및 실시간 편집 오디오 데이터(data_audio_edited_RT)의 생성이 시작되도록 구성한다.
실시예에 따라서는 본 발명의 분산형 멀티미디어 편집 시스템은 생성된 멀티미디어 컨텐츠를 업로드하여 일반 사용자에게 제공하는 멀티미디어 컨텐츠 서버를 더 포함하여 구성될 수 있다. 이때 멀티미디어 컨텐츠 서버는 해당 멀티미디어 컨텐츠의 비디오 편집을 담당한 사용자의 식별정보 및 오디오 편집을 담당한 사용자의 식별정보를 더 포함하여 해당 멀티미디어 컨텐츠를 제공하도록 구성하고, 해당 멀티미디어 컨텐츠를 관람한 사용자는 자신의 새로운 멀티미디어 컨텐츠 제작시 해당 편집작업 참여 사용자의 식별정보를 통해 자신의 멀티미디어 컨텐츠 제작의 비디오 편집 또는 오디오 편집을 통신망으로 해당 사용자에게 의뢰하도록 구성할 수 있다. 이를 통해 비디오 편집 또는 오디오 편집에 재능이 있는 일반 사용자가 멀티미디어 컨텐츠 편집작업에 참여하도록 구성할 수 있다. 이러한 실시예에 따르면 멀티미디어 컨텐츠 제작 환경을 일반 사용자들이 자발적으로 구축할 수 있도록 하고, 편집 결과물인 멀티미디어 컨텐츠를 통해 새로운 의뢰자와 편집자를 다시 매칭하도록 하는 효과를 제공한다.
사후 비디오 편집 단말장치(300)는 통신망을 통해 멀티미디어 편집 서버(200)에 접속하고, 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)를 기반으로 제 1 비디오 소스 데이터(data_video_source_1)의 데이터 크기 및 제 2 비디오 소스 데이터(data_video_source_2)의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 비디오 데이터(data_video_edited_post)를 생성하여 멀티미디어 편집 서버(200)에게 전송하는 기능을 수행한다. 사후 비디오 편집 단말장치(300)는 PC, 스마트폰, 태블릿 PC 등과 같은 정보 단말기로 구현될 수 있으며, 예컨대 도 8에 도시된 바와 같은 비디오 편집 인터페이스를 제공하는 애플리케이션 또는 비디오 편집을 원격으로 수행하는 기능을 제공하는 웹페이지에 접속할 수 있는 웹브라우저를 포함하여 구성된다. 사후 비디오 편집 단말장치(300)는 비디오 편집만 담당하기 때문에 선택적 접근권한 관리모듈(230)에 의해 오디오 편집에 필요한 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)에 대한 접근권한을 부여받지 못하고, 비디오 편집에 필요한 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)에 대한 접근권한을 선택적으로 부여받는다. 한편 비디오 편집을 위해서는 해당 재생시간에서의 음향정보를 참조하여야 하기 때문에 선택적 편집 데이터 전송모듈(240)은 데이터 크기가 작은 실시간 편집 오디오 데이터(data_audio_edited_RT) 또는 사후 편집 오디오 데이터(data_audio_edited_post)(사후 오디오 편집 단말장치(400)가 사후 편집 오디오 데이터(data_audio_edited_post)를 생성한 경우)를 제공받는다.
사후 편집 비디오 데이터(data_video_edited_post)는 예컨대 제 1 비디오 소스 데이터(data_video_source_1)와 제 2 비디오 소스 데이터(data_video_source_2)의 선택적 재생시점에 따른 영상편집, 사후적으로 부가된 영상효과의 적용, 추가적인 영상의 부가와 같은 비디오 편집이 적용되어 생성된다. 사후 편집 비디오 데이터(data_video_edited_post)는 동영상 플레이어와 같은 소프트웨어를 통해 재생 가능한 비디오 파일로 구성되며, 직접 편집의 대상이 되는 비디오 파일이 아니고 사후 오디오 편집 시 사후 오디오 편집 단말장치(400)에서 오디오 편집에 참고되는 참고 비디오 파일이기 때문에 원본 비디오 데이터인 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)와 별도의 단일 파일 형태로 생성된다. 또한 가능한 작은 데이터 크기를 갖도록 작은 화면 크기로의 리사이즈, 낮은 해상도로 해상도 변경, 높은 압축률로 압축저장 등의 방법으로 사후 편집 비디오 데이터(data_video_edited_post)를 생성하는 것이 바람직하다. 또한 사후 오디오 편집 단말장치(400)의 네트워크 환경, 연산처리 능력, 저장공간 등에 따라 적응적으로 사후 편집 비디오 데이터(data_video_edited_RT)의 해상도를 변경하도록 구성할 수도 있다. 하지만 어느 경우에도 사후 편집 비디오 데이터(data_video_edited_post)의 데이터 크기는 제 1 비디오 소스 데이터(data_video_source_1)의 데이터 크기 및 제 2 비디오 소스 데이터(data_video_source_2)의 데이터 크기의 합을 넘지 않도록 함으로써 사후 오디오 편집 단말장치(400)의 오디오 편집 시 불필요한 과도한 크기의 비디오 데이터의 전송을 방지하고, 오디오 편집 시 비디오 파일에 의한 연산부담을 저감할 수 있다.
실시예에 따라서는 사후 비디오 편집 단말장치(300)의 비디오 편집에 따라 멀티미디어 편집서버가 사후 편집 비디오 데이터(data_video_edited_post)를 생성하도록 구성할 수 있다.
데이터 크기가 큰 소스 비디오 파일을 편집하기 위해서는 높은 연산처리속도 및 데이터 처리속도가 요구된다. 따라서 비디오 편집 중에는 비디오 소스 데이터 보다 작은 데이터 크기로 인코딩된 프록시 미디어를 사용하고, 비디오 편집 후 비디오 편집에 적용된 룰에 따라 비디오 소스 데이터를 편집하여 최종 결과물을 생성하는 것이 바람직하다. 이를 위해 사후 비디오 편집 단말장치(300)는 제 1 비디오 소스 데이터(data_video_source_1)의 프록시 미디어 및 제 2 비디오 소스 데이터(data_video_source_2)의 프록시 미디어를 이용하여 사후 편집 비디오 데이터(data_video_edited_post)를 생성하도록 구성할 수 있다.
사후 비디오 편집 단말장치(300)의 사용자는 사후제작(post-production) 공정 뿐 아니라 사전제작(pre-production) 공정부터 관여하는 것이 보다 바람직하다. 이를 위해 사후 비디오 편집 단말장치(300)는 도 3에 도시된 바와 같은 편집 인터페이스를 통해 제 1 카메라 사전 제어 데이터(data_control_pre_camera_1)를 더 생성하도록 구성하는 것이 바람직하다.
또한 배경화면을 합성하는 실시예에 있어서, 사후 비디오 편집 단말장치(300)에 의해 새로운 배경화면을 합성하거나 실시간 비디오 편집모듈(220)이 합성한 제 1 배경 비디오 소스 데이터(data_video_source_BG_1)와 다른 배경화면을 합성하도록 함으로써 보다 다양한 비디오 편집이 가능하다. 이를 위해 사후 편집 단말장치는 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)의 공연자 객체영상과 제 2 배경 비디오 소스 데이터(data_video_source_BG_2)를 합성하여 사후 편집 비디오 데이터(data_video_edited_post)를 생성하도록 구성하는 것이 바람직하다.
사후 오디오 편집 단말장치(400)는 통신망을 통해 멀티미디어 편집 서버(200)에 접속하고, 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)를 기반으로 녹음 오디오 소스 데이터(data_audio_source_recording)의 데이터 크기 및 배경 오디오 소스 데이터(data_audio_source_BG)의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 오디오 데이터(data_audio_edited_post)를 생성하여 멀티미디어 편집 서버(200)에게 전송하는 기능을 수행한다. 사후 오디오 편집 단말장치(400)는 PC, 스마트폰, 태블릿 PC 등과 같은 정보 단말기로 구현될 수 있으며, 예컨대 도 9에 도시된 바와 같은 오디오 편집 인터페이스를 제공하는 애플리케이션 또는 오디오 편집을 원격으로 수행하는 기능을 제공하는 웹페이지에 접속할 수 있는 웹브라우저를 포함하여 구성된다. 사후 오디오 편집 단말장치(400)는 오디오 편집만 담당하기 때문에 선택적 접근권한 관리모듈(230)에 의해 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)에 대한 접근권한을 부여받지 못하고, 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)에 대한 접근권한을 선택적으로 부여받는다. 한편 오디오 편집을 위해서는 해당 재생시간에서의 영상정보를 참조하여야 하기 때문에 선택적 편집 데이터 전송모듈(240)은 데이터 크기가 작은 실시간 편집 비디오 데이터(data_video_edited_RT) 또는 사후 편집 비디오 데이터(data_video_edited_post)(사후 비디오 편집 단말장치(300)가 사후 편집 비디오 데이터(data_video_edited_post)를 생성한 경우)를 제공받는다.
사후 편집 오디오 데이터(data_audio_edited_post)는 예컨대 사후적으로 부가된 음향효과의 적용 등의 오디오 편집이 적용되어 생성된다. 사후 편집 오디오 데이터(data_audio_edited_post)는 오디오 플레이어와 같은 소프트웨어를 통해 재생 가능한 오디오 파일로 구성되며, 직접 편집의 대상이 되는 오디오 파일이 아니고 사후 비디오 편집 시 사후 비디오 편집 단말장치(300)에서 비디오 편집에 참고되는 참고 오디오 파일이기 때문에 원본 오디오 데이터인 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)와 별도로 단일의 파일 형태로 생성된다. 또한 가능한 작은 데이터 크기를 갖도록 높은 압축률을 갖는 압축저장 등의 방법으로 사후 편집 오디오 데이터(data_audio_edited_post)를 생성하는 것이 바람직하다. 이를 통해 사후 비디오 편집 단말장치(300)의 비디오 편집 시 불필요한 과도한 크기의 오디오 데이터의 전송을 방지하고, 비디오 편집 시 오디오 파일에 의한 연산부담을 저감할 수 있다.
실시예에 따라서는 사후 오디오 편집 단말장치(400)의 오디오 편집에 따라 멀티미디어 편집서버가 사후 편집 오디오 데이터(data_audio_edited_post)를 생성하도록 구성할 수 있다.
사후 오디오 편집 단말장치(400)의 사용자는 사후제작(post-production) 공정 뿐 아니라 사전제작(pre-production) 공정부터 관여하는 것이 보다 바람직하다. 이를 위해 사후 오디오 편집 단말장치(400)는 도 6에 도시된 바와 같은 편집 인터페이스를 통해 오디오 사전 제어 데이터(data_control_pre_audio)를 더 생성하도록 구성하는 것이 바람직하다.
멀티미디어 편집 서버(200)의 선택적 접근권한 관리모듈(230)은 전술한 바와 같이 사후 비디오 편집 단말장치(300)에게 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)에 대한 접근권한을 선택적으로 부여하고, 사후 오디오 편집 단말장치(400)에게 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)에 대한 접근권한을 선택적으로 부여한다. 선택적 편집 데이터 전송모듈(240)은 사후 비디오 편집 단말장치(300)에게 실시간 편집 오디오 데이터(data_audio_edited_RT) 또는 사후 편집 오디오 데이터(data_audio_edited_post)를 선택적으로 전송하고 사후 오디오 편집 단말장치(400)에게 실시간 편집 비디오 데이터(data_video_edited_RT) 또는 사후 편집 비디오 데이터(data_video_edited_post)를 선택적으로 전송한다. 예컨대 사후 오디오 편집 단말장치(400)가 사후 편집 오디오 데이터(data_audio_edited_post)를 생성하기 전에 사후 비디오 편집 단말장치(300)가 비디오 편집을 먼저 시작하는 경우 선택적 편집 데이터 전송모듈(240)은 사후 비디오 편집 단말장치(300)에게 실시간 편집 오디오 데이터(data_audio_edited_RT)를 전송하고, 사후 오디오 편집 단말장치(400)가 사후 편집 오디오 데이터(data_audio_edited_post)를 생성한 후에 사후 비디오 편집 단말장치(300)가 비디오 편집을 시작하는 경우 선택적 편집 데이터 전송모듈(240)은 사후 비디오 편집 단말장치(300)에게 사후 편집 오디오 데이터(data_audio_edited_post)를 전송한다. 만일 사후 오디오 편집 단말장치(400)가 수차례 사후 편집 오디오 데이터(data_audio_edited_post)를 생성한 경우라면 가장 최근에 생성된 사후 편집 오디오 데이터(data_audio_edited_post)를 사후 비디오 편집 단말장치(300)에게 제공한다.
반대로 사후 비디오 편집 단말장치(300)가 사후 편집 비디오 데이터(data_video_edited_post)를 생성하기 전에 사후 오디오 편집 단말장치(400)가 오디오 편집을 먼저 시작하는 경우 선택적 편집 데이터 전송모듈(240)은 사후 오디오 편집 단말장치(400)에게 실시간 편집 비디오 데이터(data_video_edited_RT)를 전송하고, 사후 비디오 편집 단말장치(300)가 사후 편집 비디오 데이터(data_video_edited_post)를 생성한 후에 사후 오디오 편집 단말장치(400)가 오디오 편집을 시작하는 경우 선택적 편집 데이터 전송모듈(240)은 사후 오디오 편집 단말장치(400)에게 사후 편집 비디오 데이터(data_video_edited_post)를 전송한다. 만일 사후 비디오 편집 단말장치(300)가 수차례 사후 편집 비디오 데이터(data_video_edited_post)를 생성한 경우라면 가장 최근에 생성된 사후 편집 비디오 데이터(data_video_edited_post)를 사후 오디오 편집 단말장치(400)에게 제공한다.
멀티미디어 파일 생성모듈(250)은 사후 편집 비디오 데이터(data_video_edited_post)에 적용된 비디오 편집 및 사후 편집 오디오 데이터(data_audio_edited_post)에 적용된 오디오 편집에 따라 단일의 멀티미디어 파일 데이터(data_multimedia_file)를 생성한다. 사후 비디오 편집 단말장치(300)는 이를 위해 비디오 편집작업을 사후 비디오 편집 데이터로서 생성하여 멀티미디어 편집 서버(200)에게 전송하고, 사후 오디오 편집 단말장치(400)는 이를 위해 오디오 편집작업을 사후 오디오 편집 데이터로서 생성하여 멀티미디어 편집 서버(200)에게 전송하고, 멀티미디어 파일 생성모듈(250)은 사후 비디오 편집 데이터 및 사후 오디오 편집 데이터를 비디오 소스 데이터 및 오디오 소스 데이터에 적용하여 멀티미디어 파일을 생성한다. 사후 비디오 편집 데이터는 사후 편집 비디오 데이터(data_video_edited_post)와는 달리 실제 편집된 비디오 데이터가 아니고, 비디오 편집에 대한 정보들을 포함하여 구성되며 예컨대 비디오 편집자가 적용한 각 재생시간에서 선택된 비디오 소스 데이터에 대한 정보, 배경을 합성하는 경우 선택된 배경 소스 데이터에 대한 정보, 각 재생시간에 적용된 영상효과에 대한 정보 등을 포함하여 구성될 수 있다. 사후 오디오 편집 데이터는 사후 편집 오디오 데이터(data_audio_edited_post)와는 달리 실제 편집된 오디오 데이터가 아니고, 오디오 편집에 대한 정보들을 포함하여 구성되며 예컨대 오디오 편집자가 적용한 각 재생시간에서 선택된 오디오 소스 데이터에 대한 정보, 오디오 믹싱을 수행한 경우 믹싱된 복수의 오디오 소스 데이터들에 대한 정보, 각 재생시간에 적용된 음향효과에 대한 정보를 포함하여 구성될 수 있다. 한편, 실시예에 따라서는 마지막 편집 작업을 완료한 사후 비디오 편집 단말장치(300) 또는 사후 오디오 편집 단말장치(300)가 멀티미디어 파일 데이터(data_multimedeia_file)을 생성하여 멀티미디어 편집 서버(200)로 전송할 수도 있다.
멀티미디어 파일 데이터(data_multimedia_file)는 최종적인 생산물이기 때문에 높은 품질로 생성되는 것이 바람직하다. 전술한 멀티미디어 컨텐츠 서버를 더 포함하는 실시예의 경우 생성된 멀티미디어 파일 데이터(data_multimedia_file)는 통신망을 통해 스트리밍 방식 또는 다운로드 방식으로 제공될 수 있는 형태로 멀티미디어 컨텐츠 서버에 업로드되도록 구성할 수 있다. 이때 실시예에 따라서는 비디오 편집에 참여한 사용자의 사용자 식별자와 오디오 편집에 참여한 사용자의 사용자 식별자와 연관되도록 멀티미디어 파일 데이터(data_multimedia_file)가 제공되는 것이 바람직하다.
한편 오디오 편집과 비디오 편집은 서로 연관되어 수행되는 것이 바람직하다. 이를 위해 멀티미디어 편집 서버(200)는 사후 비디오 편집 단말장치(300)에서 사후 편집 비디오 데이터(data_video_edited_post)의 생성 이벤트 또는 사후 편집 비디오 데이터(data_video_edited_post)의 수정 이벤트가 발생하는 경우 사후 오디오 편집 단말장치(400)에 이를 통보하고, 사후 오디오 편집 단말장치(400)에서 사후 편집 오디오 데이터(data_audio_edited_post)의 생성 이벤트 또는 사후 편집 오디오 데이터(data_audio_edited_post)의 수정 이벤트가 발생하는 경우 사후 비디오 편집 단말장치(300)에 이를 통보하는 데이터 변경 알림모듈(260)을 더 포함할 수 있다.
경우에 따라서는 비디오 편집이 오디오 편집에 선행되어야 하는 경우가 있다. 예컨대 부가적인 인트로 영상을 비디오 편집을 통해 추가한다면 오디오 트랙을 추가된 재생시간에 맞추어 늘려야 할 수 있고, 부가적인 영상효과를 추가하였을 때 이에 부합하는 음향효과가 들어가야 하는 경우가 있다. 이를 위해 멀티미디어 편집 서버(200)는 사후 비디오 편집 단말장치(300)에 의한 사후 편집 비디오 데이터(data_video_edited_post)의 생성 이벤트가 발생한 경우에 한해 사후 오디오 편집 단말장치(400)가 사후 편집 오디오 데이터(data_audio_edited_post)를 생성할 수 있도록 제어하는 편집작업 분배모듈(270)을 더 포함할 수 있다. 이때 비디오 편집의 수정사항에 따른 오디오 편집에 대한 요청사항이 있는 경우 사후 비디오 편집 단말장치(300)는 통신망을 통해 해당 요청사항을 사후 오디오 편집 단말장치(400)에게 전송할 수 있도록 구성하는 것이 바람직하다.
이하에서는, 도 10을 참조하여 본 발명에 따른 분산형 멀티미디어 편집방법을 설명한다.
먼저, 스튜디오 제어 서버(100)가 제 1 카메라 사전 제어 데이터(data_control_pre_camera_1)를 통해 제 1 카메라 모듈(111)을 제어하여 공연자의 퍼포먼스를 촬영한 제 1 비디오 소스 데이터(data_video_source_1)를 수신하는 단계(s11)를 수행한다. 그리고 상기 스튜디오 제어 서버(100)가 제 2 카메라 사전 제어 데이터(data_control_pre_camera_2)를 통해 제 2 카메라 모듈(121)을 제어하여 상기 공연자의 퍼포먼스를 촬영한 제 2 비디오 소스 데이터(data_video_source_2)를 수신하는 단계(s12) 및 스튜디오 제어 서버(100)가 마이크 모듈(130)을 통해 공연자의 퍼포먼스를 녹음한 녹음 오디오 소스 데이터(data_audio_source_recording)를 수신하는 단계(s13)를 수행한다.
제 1 비디오 소스 데이터(data_video_source_1), 제 2 비디오 소스 데이터(data_video_source_2) 및 녹음 오디오 소스 데이터(data_audio_source_recording)는 동일한 공연자의 퍼포먼스를 통해 생성되고, 위 단계들(s11, s12, s13)은 동시에 이루어진다. 제 1 비디오 소스 데이터(data_video_source_1), 제 2 비디오 소스 데이터(data_video_source_2) 및 녹음 오디오 소스 데이터(data_audio_source_recording)는 비디오 편집 및 오디오 편집의 대상이 되는 원본 데이터로서 높은 품질의 비디오 데이터 및 오디오 데이터로 생성되는 것이 바람직하다.
다음으로, 멀티미디어 편집 서버(200)가 제 1 비디오 소스 데이터(data_video_source_1)와 제 2 비디오 소스 데이터(data_video_source_2)를 저장하는 단계(s21)를 수행하고, 멀티미디어 편집 서버(200)가 녹음 오디오 소스 데이터(data_audio_source_recording) 및 오디오 사전 제어 데이터(data_control_pre_audio)에 의해 정의된 배경 오디오 소스 데이터(data_audio_source_BG)를 저장하는 단계(s22)를 수행한다. 두 단계(s21,s22)는 서로 동시에 이루어질 수 있다.
다음으로, 멀티미디어 편집 서버(200)가 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)에 기반하여 제 1 비디오 소스 데이터(data_video_source_1)의 데이터 크기 및 제 2 비디오 소스 데이터(data_video_source_2)의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 비디오 데이터(data_video_edited_RT)를 생성하는 단계(s31)를 수행한다. 실시간 편집 비디오 데이터(data_video_edited_RT)는 사후 오디오 편집 단말장치(400)에서 오디오 편집 시 참고하는 비디오 데이터로서 비디오 편집에 직접 사용되지 않기 때문에 예컨대 높은 압축률, 작은 크기, 낮은 해상도로 인코딩된 비디오 파일의 형태로 생성될 수 있다.
사전 정의된 배경화면과 촬영영상을 합성하는 실시예에 따르면, 실시간 비디오 편집 데이터를 생성하는 단계(s31)는, 멀티미디어 편집 서버(200)가 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)의 공연자 객체영상과 비디오 사전 제어 데이터에 의해 정의된 제 1 배경 비디오 소스 데이터(data_video_source_BG_1)를 합성하여 실시간 편집 비디오 데이터(data_video_edited_RT)를 생성하도록 구성할 수 있다.
다음으로, 멀티미디어 편집 서버(200)가 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)에 기반하여 녹음 오디오 소스 데이터(data_audio_source_recording)의 데이터 크기 및 배경 오디오 소스 데이터(data_audio_source_BG)의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 오디오 데이터(data_audio_edited_RT)를 생성하는 단계(s32)를 수행한다. 실시간 편집 오디오 데이터(data_audio_edited_RT)는 사후 비디오 편집 단말장치(300)에서 비디오 편집 시 참고하는 오디오 데이터로서 오디오 편집에 직접 사용되지 않기 때문에 예컨대 높은 압축률로 인코딩된 오디오 파일의 형태로 생성될 수 있다. 실시간 편집 비디오 데이터(data_video_edited_RT)를 생성하는 단계(s31)와 실시간 편집 오디오 데이터(data_audio_edited_RT)를 생성하는 단계(s32)는 동시에 이루어질 수 있다.
다음으로, 멀티미디어 편집 서버(200)가 사후 비디오 편집 단말장치(300)에게 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)에 대한 접근권한을 선택적으로 부여하고, 사후 오디오 편집 단말장치(400)에게 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)에 대한 접근권한을 선택적으로 부여하는 단계(s40)를 수행한다. 이러한 선택적 접근권한 부여를 통해 비디오 편집 시 사후 비디오 편집 단말장치(300)에 의한 소스 오디오 데이터에 대한 오편집을 방지하고 오디오 편집 시 사후 오디오 편집 단말장치(400)에 의한 소스 비디오 데이터에 대한 오편집을 방지할 수 있다.
다음으로, 멀티미디어 편집 서버(200)가 사후 비디오 편집 단말장치(300)에게 실시간 편집 오디오 데이터(data_audio_edited_RT)를 선택적으로 전송하고, 사후 오디오 편집 단말장치(400)에게 실시간 편집 비디오 데이터(data_video_edited_RT)를 선택적으로 전송하는 단계(s50)를 수행한다. 이러한 구성을 통해 사후 비디오 편집 단말장치(300)가 과도한 크기의 오디오 소스 데이터를 수신하거나 사후 오디오 편집 단말장치(400)가 과도한 크기의 비디오 소스 데이터를 수신하는 것을 방지할 수 있고, 각 편집 단말장치에서의 편집 시 불필요한 데이터로 인해 발생할 수 있는 편집작업의 연산처리 부담을 저감할 수 있다. 한편 사후 비디오 편집 단말장치(300)에 의해 사후 편집 비디오 데이터(data_video_edited_post)가 생성된 경우 멀티미디어 편집 서버(200)는 실시간 편집 비디오 데이터(data_video_edited_RT)가 아닌 사후 편집 비디오 데이터(data_video_edited_post)를 사후 오디오 편집 단말장치(400)에게 제공하고, 사후 오디오 편집 단말장치(400)에 의해 사후 편집 오디오 데이터(data_audio_edited_post)가 생성된 경우 멀티미디어 편집 서버(200)는 실시간 편집 오디오 데이터(data_audio_edited_RT)가 아닌 사후 편집 오디오 데이터(data_audio_edited_post)를 사후 비디오 편집 단말장치(300)에게 제공하도록 구성할 수 있다.
다음으로, 사후 비디오 편집 단말장치(300)가 통신망을 통해 멀티미디어 편집 서버(200)에 접속하고, 비디오 편집을 통해 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)를 기반으로 제 1 비디오 소스 데이터(data_video_source_1)의 데이터 크기 및 제 2 비디오 소스 데이터(data_video_source_2)의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 비디오 데이터(data_video_edited_post)를 생성하여 멀티미디어 편집 서버(200)에게 전송하는 단계(s61)를 수행한다. 이때 사후 비디오 편집 단말장치(300)는 실시간 편집 오디오 데이터(data_audio_edited_RT)를 참조하여 사후 비디오 편집작업을 수행하도록 구성한다. 예컨대 사후 비디오 편집 단말장치(300)의 편집 애플리케이션은 특정 재생시간의 비디오를 편집하는 경우 스피커를 통해 해당 재생시간의 실시간 편집 오디오 데이터(data_audio_edited_RT)를 재생하는 방법으로 비디오 편집작업에 오디오 데이터를 참고할 수 있다.
사후 편집 비디오 데이터(data_video_edited_post)는 사후 오디오 편집 단말장치(400)에서 오디오 편집 시 참고하는 비디오 데이터로서 비디오 편집에 직접 사용되지 않기 때문에 예컨대 높은 압축률로 인코딩된 비디오 파일의 형태로 생성될 수 있다.
사후 비디오 편집 단말장치(300)가 사전제작(pre-production) 공정에 참여하는 실시예에 따르면, 제 1 비디오 소스 데이터(data_video_source_1)를 수신하는 단계(s11) 이전에, 사후 비디오 편집 단말장치(300)가 제 1 카메라 사전 제어 데이터(data_control_pre_camera_1)를 생성하는 단계를 더 수행하도록 구성할 수 있다.
사후 비디오 편집 단말장치(300)가 사후 비디오 편집과정에서 배경영상을 추가하거나 변경하는 실시예에 따르면, 사후 편집 비디오 데이터(data_video_edited_post)를 생성하는 단계(s61)는, 사후 비디오 편집 단말장치(300)가 제 1 비디오 소스 데이터(data_video_source_1) 및 제 2 비디오 소스 데이터(data_video_source_2)의 공연자 객체영상과 제 2 배경 비디오 소스 데이터(data_video_source_BG_2)를 합성하여 사후 편집 비디오 데이터(data_video_edited_post)를 생성하도록 구성할 수 있다.
한편, 사후 비디오 편집 단말장치(300)의 비디오 편집 시 연산부담을 저감하기 위해 프록시 미디어를 사용하는 실시예에 따르면, 사후 편집 비디오 데이터(data_video_edited_post)를 생성하는 단계(s61)는, 사후 비디오 편집 단말장치(300)가 제 1 비디오 소스 데이터(data_video_source_1)의 프록시 미디어 및 제 2 비디오 소스 데이터(data_video_source_2)의 프록시 미디어를 이용하여 사후 편집 비디오 데이터(data_video_edited_post)를 생성하도록 구성할 수 있다.
다음으로, 사후 오디오 편집 단말장치(400)가 통신망을 통해 멀티미디어 편집 서버(200)에 접속하고, 오디오 편집을 통해 녹음 오디오 소스 데이터(data_audio_source_recording) 및 배경 오디오 소스 데이터(data_audio_source_BG)를 기반으로 녹음 오디오 소스 데이터(data_audio_source_recording)의 데이터 크기 및 배경 오디오 소스 데이터(data_audio_source_BG)의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 오디오 데이터(data_audio_edited_post)를 생성하여 멀티미디어 편집 서버(200)에게 전송하는 단계(S62)를 수행한다. 이때 사후 오디오 편집 단말장치(400)는 실시간 편집 비디오 데이터(data_video_edited_RT)를 참조하여 사후 오디오 편집작업을 수행하도록 구성한다. 예컨대 사후 오디오 편집 단말장치(400)의 편집 애플리케이션은 특정 재생시간의 오디오를 편집하는 경우 비디오 플레이어를 통해 해당 재생시간의 실시간 편집 비디오 데이터(data_video_edited_RT)를 재생하는 방법으로 오디오 편집작업에 비디오 데이터를 참고할 수 있다.
사후 편집 오디오 데이터(data_audio_edited_post)는 사후 비디오 편집 단말장치(300)에서 비디오 편집 시 참고하는 오디오 데이터로서 오디오 편집에 직접 사용되지 않기 때문에 예컨대 높은 압축률로 인코딩된 오디오 파일의 형태로 생성될 수 있다.
사후 오디오 편집 단말장치(400)가 사전제작(pre-production) 공정에 참여하는 실시예에 따르면, 녹음 오디오 소스 데이터(data_audio_source_recording)를 수신하는 단계(S13) 이전에, 사후 오디오 편집 단말장치(400)가 오디오 사전 제어 데이터(data_control_pre_audio)를 생성하는 단계를 더 수행하도록 구성할 수 있다.
마지막으로, 멀티미디어 편집 서버(200)가 사후 편집 비디오 데이터(data_video_edited_post)에 적용된 비디오 편집 및 사후 편집 오디오 데이터(data_audio_edited_post)에 적용된 오디오 편집에 따라 단일의 멀티미디어 파일 데이터(data_multimedia_file)를 생성하는 단계(S70)를 수행한다. 멀티미디어 파일 데이터(data_multimedia_file)는 최종 결과물로서 높은 품질을 갖도록 비디오 소스 데이터 및 오디오 소스 데이터를 통해 생성되도록 구성한다.
한편, 사후 비디오 편집 이벤트 발생시 또는 사후 오디오 편집 이벤트 발생시 다른 단말장치에게 이를 통보하는 실시예에 따르면, 분산형 멀티미디어 편집방법은, 멀티미디어 편집 서버(200)가 사후 비디오 편집 단말장치(300)에서 사후 편집 비디오 데이터(data_video_edited_post)의 생성 이벤트 또는 사후 편집 비디오 데이터(data_video_edited_post)의 수정 이벤트가 발생하는 경우 사후 오디오 편집 단말장치(400)에 이를 통보하고, 사후 오디오 편집 단말장치(400)에서 사후 편집 오디오 데이터(data_audio_edited_post)의 생성 이벤트 또는 사후 편집 오디오 데이터(data_audio_edited_post)의 수정 이벤트가 발생하는 경우 사후 비디오 편집 단말장치(300)에 이를 통보하는 단계를 더 포함하도록 구성할 수 있다.
사후 비디오 편집작업의 수행 후 사후 오디오 편집작업을 수행하도록 하는 실시예에 따르면, 사후 편집 오디오 데이터(data_audio_edited_post)를 생성하는 단계(S62)는, 사후 비디오 편집 단말장치(300)에 의한 사후 편집 비디오 데이터(data_video_edited_post)의 생성 이벤트가 발생한 경우에 한해 사후 오디오 편집 단말장치(400)가 사후 편집 오디오 데이터(data_audio_edited_post)를 생성하도록 구성할 수 있다.
본 명세서에서의 발명의 상세한 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다.

Claims (16)

  1. 제 1 카메라 사전 제어 데이터를 통해 제 1 카메라 모듈을 제어하여 공연자의 퍼포먼스를 촬영한 제 1 비디오 소스 데이터를 수신하는 제 1 카메라 제어모듈; 제 2 카메라 사전 제어 데이터를 통해 제 2 카메라 모듈을 제어하여 상기 공연자의 상기 퍼포먼스를 촬영한 제 2 비디오 소스 데이터를 수신하는 제 2 카메라 제어모듈; 및 상기 공연자의 상기 퍼포먼스를 녹음한 녹음 오디오 소스 데이터를 생성하는 마이크 모듈;을 포함하여 구성되는 스튜디오 제어 서버;
    상기 제 1 비디오 소스 데이터와 상기 제 2 비디오 소스 데이터를 저장하는 비디오 소스 저장모듈; 상기 녹음 오디오 소스 데이터 및 오디오 사전 제어 데이터에 의해 정의된 배경 오디오 소스 데이터를 저장하는 오디오 소스 저장모듈; 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터에 기반하여 상기 제 1 비디오 소스 데이터의 데이터 크기 및 상기 제 2 비디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 비디오 데이터를 생성하는 실시간 비디오 편집모듈; 및 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터에 기반하여 상기 녹음 오디오 소스 데이터의 데이터 크기 및 상기 배경 오디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 오디오 데이터를 생성하는 실시간 오디오 편집모듈;을 포함하여 구성되는 멀티미디어 편집 서버;
    통신망을 통해 상기 멀티미디어 편집 서버에 접속하고, 비디오 편집을 통해 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터를 기반으로 상기 제 1 비디오 소스 데이터의 데이터 크기 및 상기 제 2 비디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 비디오 데이터를 생성하여 상기 멀티미디어 편집 서버에게 전송하는 사후 비디오 편집 단말장치; 및
    통신망을 통해 상기 멀티미디어 편집 서버에 접속하고, 오디오 편집을 통해 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터를 기반으로 상기 녹음 오디오 소스 데이터의 데이터 크기 및 상기 배경 오디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 오디오 데이터를 생성하여 상기 멀티미디어 편집 서버에게 전송하는 사후 오디오 편집 단말장치;를 포함하여 구성되고,
    상기 멀티미디어 편집 서버는, 상기 사후 비디오 편집 단말장치에게 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터에 대한 접근권한을 선택적으로 부여하고, 상기 사후 오디오 편집 단말장치에게 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터에 대한 접근권한을 선택적으로 부여하는 선택적 접근권한 관리모듈; 상기 사후 비디오 편집 단말장치에게 상기 실시간 편집 오디오 데이터 또는 상기 사후 편집 오디오 데이터를 선택적으로 전송하고 상기 사후 오디오 편집 단말장치에게 상기 실시간 편집 비디오 데이터 또는 상기 사후 편집 비디오 데이터를 선택적으로 전송하는 선택적 편집 데이터 전송모듈; 및 상기 사후 편집 비디오 데이터에 적용된 비디오 편집 및 상기 사후 편집 오디오 데이터에 적용된 오디오 편집에 따라 단일의 멀티미디어 파일 데이터를 생성하는 멀티미디어 파일 생성모듈;을 더 포함하는 것을 특징으로 하는 분산형 멀티미디어 편집 시스템.
  2. 제 1 항에 있어서, 상기 사후 비디오 편집 단말장치는,
    상기 제 1 카메라 사전 제어 데이터를 더 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집 시스템.
  3. 제 1 항에 있어서, 상기 사후 오디오 편집 단말장치는,
    상기 오디오 사전 제어 데이터를 더 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집 시스템.
  4. 제 1 항에 있어서, 상기 실시간 비디오 편집 모듈은,
    상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터의 상기 공연자의 객체영상과 비디오 사전 제어 데이터에 의해 정의된 제 1 배경 비디오 소스 데이터를 합성하여 상기 실시간 비디오 편집 데이터를 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집 시스템.
  5. 제 4 항에 있어서, 상기 사후 비디오 편집 단말장치는,
    상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터의 상기 공연자의 객체영상과 제 2 배경 비디오 소스 데이터를 합성하여 상기 사후 편집 비디오 데이터를 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집 시스템.
  6. 제 1 항에 있어서, 상기 멀티미디어 편집 서버는,
    상기 사후 비디오 편집 단말장치에서 상기 사후 편집 비디오 데이터의 생성 이벤트 또는 사후 편집 비디오 데이터의 수정 이벤트가 발생하는 경우 상기 사후 오디오 편집 단말장치에 이를 통보하고, 상기 사후 오디오 편집 단말장치에서 상기 사후 편집 오디오 데이터의 생성 이벤트 또는 사후 편집 오디오 데이터의 수정 이벤트가 발생하는 경우 상기 사후 비디오 편집 단말장치에 이를 통보하는 데이터 변경 알림모듈;을 더 포함하는 것을 특징으로 하는 분산형 멀티미디어 편집 시스템.
  7. 제 1 항에 있어서, 상기 멀티미디어 편집 서버는,
    상기 사후 비디오 편집 단말장치에 의한 상기 사후 편집 비디오 데이터의 생성 이벤트가 발생한 경우에 한해 상기 사후 오디오 편집 단말장치가 상기 사후 편집 오디오 데이터를 생성할 수 있도록 제어하는 편집작업 분배모듈;을 더 포함하는 것을 특징으로 하는 분산형 멀티미디어 편집 시스템.
  8. 제 1 항에 있어서, 상기 사후 비디오 편집 단말장치는,
    상기 제 1 비디오 소스 데이터의 프록시 미디어 및 상기 제 2 비디오 소스 데이터의 프록시 미디어를 이용하여 상기 사후 편집 비디오 데이터를 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집 시스템.
  9. 스튜디오 제어 서버가, 제 1 카메라 사전 제어 데이터를 통해 제 1 카메라 모듈을 제어하여 공연자의 퍼포먼스를 촬영한 제 1 비디오 소스 데이터를 수신하는 단계;
    상기 스튜디오 제어 서버가, 제 2 카메라 사전 제어 데이터를 통해 제 2 카메라 모듈을 제어하여 상기 공연자의 상기 퍼포먼스를 촬영한 제 2 비디오 소스 데이터를 수신하는 단계;
    상기 스튜디오 제어 서버가, 마이크 모듈을 통해 상기 공연자의 상기 퍼포먼스를 녹음한 녹음 오디오 소스 데이터를 수신하는 단계;
    멀티미디어 편집 서버가, 상기 제 1 비디오 소스 데이터와 상기 제 2 비디오 소스 데이터를 저장하는 단계;
    상기 멀티미디어 편집 서버가, 상기 녹음 오디오 소스 데이터 및 오디오 사전 제어 데이터에 의해 정의된 배경 오디오 소스 데이터를 저장하는 단계;
    상기 멀티미디어 편집 서버가, 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터에 기반하여 상기 제 1 비디오 소스 데이터의 데이터 크기 및 상기 제 2 비디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 비디오 데이터를 생성하는 단계;
    상기 멀티미디어 편집 서버가, 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터에 기반하여 상기 녹음 오디오 소스 데이터의 데이터 크기 및 상기 배경 오디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 실시간 편집 오디오 데이터를 생성하는 단계;
    상기 멀티미디어 편집 서버가, 상기 사후 비디오 편집 단말장치에게 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터에 대한 접근권한을 선택적으로 부여하고, 상기 사후 오디오 편집 단말장치에게 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터에 대한 접근권한을 선택적으로 부여하는 단계;
    상기 멀티미디어 편집 서버가, 상기 사후 비디오 편집 단말장치에게 상기 실시간 편집 오디오 데이터를 선택적으로 전송하고, 상기 사후 오디오 편집 단말장치에게 상기 실시간 편집 비디오 데이터를 선택적으로 전송하는 단계;
    상기 사후 비디오 편집 단말장치가, 통신망을 통해 상기 멀티미디어 편집 서버에 접속하고, 비디오 편집을 통해 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터를 기반으로 상기 제 1 비디오 소스 데이터의 데이터 크기 및 상기 제 2 비디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 비디오 데이터를 생성하여 상기 멀티미디어 편집 서버에게 전송하는 단계;
    상기 사후 오디오 편집 단말장치가, 통신망을 통해 상기 멀티미디어 편집 서버에 접속하고, 오디오 편집을 통해 상기 녹음 오디오 소스 데이터 및 상기 배경 오디오 소스 데이터를 기반으로 상기 녹음 오디오 소스 데이터의 데이터 크기 및 상기 배경 오디오 소스 데이터의 데이터 크기의 합 보다 작은 데이터 크기를 갖는 단일의 사후 편집 오디오 데이터를 생성하여 상기 멀티미디어 편집 서버에게 전송하는 단계; 및
    상기 멀티미디어 편집 서버가, 상기 사후 편집 비디오 데이터에 적용된 비디오 편집 및 상기 사후 편집 오디오 데이터에 적용된 오디오 편집에 따라 단일의 멀티미디어 파일 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 분산형 멀티미디어 편집방법.
  10. 제 9 항에 있어서, 상기 분산형 멀티미디어 편집방법은,
    상기 제 1 비디오 소스 데이터를 수신하는 단계 이전에, 상기 사후 비디오 편집 단말장치가 상기 제 1 카메라 사전 제어 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 분산형 멀티미디어 편집방법.
  11. 제 9 항에 있어서, 상기 분산형 멀티미디어 편집방법은,
    상기 녹음 오디오 소스 데이터를 수신하는 단계 이전에, 상기 사후 오디오 편집 단말장치가 상기 오디오 사전 제어 데이터를 생성하는 단계;를 더 포함하는 것을 특징으로 하는 분산형 멀티미디어 편집방법.
  12. 제 9 항에 있어서, 상기 실시간 비디오 편집 데이터를 생성하는 단계는,
    상기 멀티미디어 편집 서버가, 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터의 상기 공연자의 객체영상과 비디오 사전 제어 데이터에 의해 정의된 제 1 배경 비디오 소스 데이터를 합성하여 상기 실시간 비디오 편집 데이터를 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집방법.
  13. 제 12 항에 있어서, 상기 사후 편집 비디오 데이터를 생성하는 단계는,
    상기 사후 비디오 편집 단말장치가, 상기 제 1 비디오 소스 데이터 및 상기 제 2 비디오 소스 데이터의 상기 공연자의 객체영상과 제 2 배경 비디오 소스 데이터를 합성하여 상기 사후 편집 비디오 데이터를 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집방법.
  14. 제 9 항에 있어서, 상기 분산형 멀티미디어 편집방법은,
    상기 멀티미디어 편집 서버가, 상기 사후 비디오 편집 단말장치에서 상기 사후 편집 비디오 데이터의 생성 이벤트 또는 사후 편집 비디오 데이터의 수정 이벤트가 발생하는 경우 상기 사후 오디오 편집 단말장치에 이를 통보하고, 상기 사후 오디오 편집 단말장치에서 상기 사후 편집 오디오 데이터의 생성 이벤트 또는 사후 편집 오디오 데이터의 수정 이벤트가 발생하는 경우 상기 사후 비디오 편집 단말장치에 이를 통보하는 단계;를 더 포함하는 것을 특징으로 하는 분산형 멀티미디어 편집방법.
  15. 제 9 항에 있어서, 상기 사후 편집 오디오 데이터를 생성하는 단계는,
    상기 사후 비디오 편집 단말장치에 의한 상기 사후 편집 비디오 데이터의 생성 이벤트가 발생한 경우에 한해 상기 사후 오디오 편집 단말장치가 상기 사후 편집 오디오 데이터를 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집방법.
  16. 제 9 항에 있어서, 상기 사후 편집 비디오 데이터를 생성하는 단계는,
    상기 사후 비디오 편집 단말장치가, 상기 제 1 비디오 소스 데이터의 프록시 미디어 및 상기 제 2 비디오 소스 데이터의 프록시 미디어를 이용하여 상기 사후 편집 비디오 데이터를 생성하는 것을 특징으로 하는 분산형 멀티미디어 편집방법.
PCT/KR2016/011455 2015-10-15 2016-10-13 분산형 멀티미디어 편집 시스템 및 편집방법 WO2017065503A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20150144384 2015-10-15
KR10-2015-0144384 2015-10-15
KR10-2016-0132123 2016-10-12
KR1020160132123A KR20170044590A (ko) 2015-10-15 2016-10-12 분산형 멀티미디어 편집 시스템 및 편집방법

Publications (1)

Publication Number Publication Date
WO2017065503A1 true WO2017065503A1 (ko) 2017-04-20

Family

ID=58517398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/011455 WO2017065503A1 (ko) 2015-10-15 2016-10-13 분산형 멀티미디어 편집 시스템 및 편집방법

Country Status (1)

Country Link
WO (1) WO2017065503A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691860A (zh) * 2021-07-19 2021-11-23 北京全景声信息科技有限公司 一种ugc媒体内容的生成方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392694B1 (en) * 1998-11-03 2002-05-21 Telcordia Technologies, Inc. Method and apparatus for an automatic camera selection system
KR20080001545A (ko) * 2006-06-29 2008-01-03 주식회사 골든오일 멀티미디어 컨텐츠 제공 시스템
US20090196570A1 (en) * 2006-01-05 2009-08-06 Eyesopt Corporation System and methods for online collaborative video creation
JP2010050760A (ja) * 2008-08-22 2010-03-04 Hitachi Ltd コンテンツ保護装置、および、コンテンツ利用装置
KR20130123820A (ko) * 2012-05-04 2013-11-13 주식회사 자우영상 실시간 영상합성 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392694B1 (en) * 1998-11-03 2002-05-21 Telcordia Technologies, Inc. Method and apparatus for an automatic camera selection system
US20090196570A1 (en) * 2006-01-05 2009-08-06 Eyesopt Corporation System and methods for online collaborative video creation
KR20080001545A (ko) * 2006-06-29 2008-01-03 주식회사 골든오일 멀티미디어 컨텐츠 제공 시스템
JP2010050760A (ja) * 2008-08-22 2010-03-04 Hitachi Ltd コンテンツ保護装置、および、コンテンツ利用装置
KR20130123820A (ko) * 2012-05-04 2013-11-13 주식회사 자우영상 실시간 영상합성 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691860A (zh) * 2021-07-19 2021-11-23 北京全景声信息科技有限公司 一种ugc媒体内容的生成方法、装置、设备和存储介质
CN113691860B (zh) * 2021-07-19 2023-12-08 北京全景声信息科技有限公司 一种ugc媒体内容的生成方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
Zettl Television production handbook
US10123070B2 (en) Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
JP5094739B2 (ja) 連続的なカラーグレーディングの方法
WO2015076537A1 (ko) 동영상 제공 방법 및 동영상 제공 시스템
WO2018124794A1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
KR101879166B1 (ko) 가상 스튜디오의 제어를 이용하여 컨텐츠를 제작할 수 있는 실세계 스튜디오 시스템 및 운영방법
US11528307B2 (en) Near real-time collaboration for media production
WO2017065503A1 (ko) 분산형 멀티미디어 편집 시스템 및 편집방법
Luzuriaga et al. Software-based video–audio production mixer via an IP network
KR102472801B1 (ko) 분산형 멀티미디어 편집 시스템 및 편집방법
WO2017217787A1 (ko) 스튜디오 장비 제어 시퀀스 공유 서비스 제공 시스템 및 제공방법
EP2920957B1 (en) Method of operating a video processing apparatus
WO2015064855A1 (ko) 멀티앵글영상촬영을 위한 사용자인터페이스 메뉴 제공방법 및 사용자 인터페이스메뉴 제공장치
WO2015037761A1 (ko) 멀티앵글영상서비스 제공 방법 및 시스템
US8307284B2 (en) Method and system for automated control of audio and video sources and a final composite output thereof through a video switcher
Rowe et al. Capturing conference presentations
Svanberg The EDCF guide to digital cinema production
WO2022054474A1 (ja) 情報処理システム、情報処理方法、情報処理プログラム
KR20170044590A (ko) 분산형 멀티미디어 편집 시스템 및 편집방법
Schreer et al. Media production, delivery and interaction for platform independent systems: format-agnostic media
KR20180001541A (ko) 스튜디오 장비 제어 시퀀스 공유 서비스 제공 시스템 및 제공방법
WO2017217789A1 (ko) 복수의 공연객체들의 협업을 이용한 동영상 컨텐츠 생성 시스템 및 방법
WO2024232451A1 (ko) 영상 제공 장치 및 방법
WO2023128491A1 (ko) 다채널 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
KR20020064646A (ko) 사이버 대학 강의 컨텐츠 제작을 위한 실시간 편집 시스템및 스튜디오

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16855720

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16855720

Country of ref document: EP

Kind code of ref document: A1