[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016099651A - Video processing device, template generation method, and computer program - Google Patents

Video processing device, template generation method, and computer program Download PDF

Info

Publication number
JP2016099651A
JP2016099651A JP2014233559A JP2014233559A JP2016099651A JP 2016099651 A JP2016099651 A JP 2016099651A JP 2014233559 A JP2014233559 A JP 2014233559A JP 2014233559 A JP2014233559 A JP 2014233559A JP 2016099651 A JP2016099651 A JP 2016099651A
Authority
JP
Japan
Prior art keywords
display frame
feature data
selection condition
video
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014233559A
Other languages
Japanese (ja)
Inventor
大己 近藤
Daiki Kondo
大己 近藤
菊地 徹
Toru Kikuchi
徹 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014233559A priority Critical patent/JP2016099651A/en
Publication of JP2016099651A publication Critical patent/JP2016099651A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video processing device for creating a template optimal for content creation from the existing content.SOLUTION: The video processing device includes a display frame analysis part 402 for analyzing a display frame for displaying material videos from content configured by combining the material videos to acquire display frame data about the display frame, a feature data acquisition part 403 for acquiring feature data representing a feature of a displayed material video in each display frame, a selection condition generation part 406 for generating a selection condition for selecting a material video displayable in one display frame and a selection condition for selecting material videos displayable in other display frames on the basis of feature data of the one display frame and feature data of the other display frames, and a template generation part 407 for generating a template of content including the display frame data and the selection conditions.SELECTED DRAWING: Figure 4

Description

本発明は、素材映像を組み合わせて生成されるコンテンツから、素材映像の選択条件や表示位置等の情報を含むテンプレートを生成する映像処理装置に関する。   The present invention relates to a video processing apparatus that generates a template including information such as a selection condition and a display position of a material video from content generated by combining the material video.

高性能なパーソナルコンピュータの普及により、静止画や動画等の映像素材を編集してアルバムや映像等のコンテンツを作成することが容易になっている。しかし映像編集に不慣れなユーザにとって、素材映像からのシーンの選択、シーンの構成、エフェクトやトランジションの指定等の作業は困難である。   With the spread of high-performance personal computers, it has become easy to create content such as albums and videos by editing video materials such as still images and moving images. However, it is difficult for a user who is unfamiliar with video editing to select a scene from a material video, configure the scene, and specify an effect or a transition.

そのために、素材映像を自動的に編集してコンテンツを作成するツールが開発されている。このツールは、例えば、編集対象となる素材映像及びユーザが指定するテンプレートに基づいてコンテンツを生成する。例えば特許文献1は、使用可能な素材映像の条件、順序、及び付与するエフェクト・トランジションの情報を含むテンプレートを用いたツールを開示する。素材映像のメタデータがテンプレートに含まれる使用可能な素材映像の条件に一致する場合に、当該素材映像を用いたコンテンツが作成される。このツールの使い勝手を向上するには、テンプレートの充実が必要不可欠である。   For this purpose, tools for automatically editing material video and creating content have been developed. This tool generates content based on, for example, a material video to be edited and a template specified by the user. For example, Patent Document 1 discloses a tool using a template including information on conditions and order of usable material images and effect transitions to be applied. When the metadata of the material video matches the conditions of the usable material video included in the template, content using the material video is created. To improve the usability of this tool, it is essential to enhance the template.

特許文献2は、原稿台上に配置した複数の画像を一度に読み取り、そのときの配置に類似した配置のレイアウトデータ(テンプレート)を選択して、コンテンツを生成する画像処理装置を開示する。   Patent Document 2 discloses an image processing apparatus that reads a plurality of images arranged on a platen at a time, selects layout data (template) having an arrangement similar to the arrangement at that time, and generates content.

特開2009−055152号公報JP 2009-055152 A 特開2011−40971号公報JP 2011-40971 A

特許文献1、2は、既に作成されているテンプレートを用いたコンテンツの作成についての技術を開示するが、テンプレートの作成については触れられていない。テンプレートは、手動で作成される他に、既存のアルバム等のコンテンツに含まれる素材映像の表示位置やメタデータを、コンテンツ作成のための素材映像の選択条件にして作成される。手動でテンプレートを作成する場合、コンテンツ内で素材映像を表示する表示枠の位置や大きさ、素材映像の選択条件を表示枠毎に設定する必要があり、煩雑で手間のかかる作業となる。既存のコンテンツを用いてテンプレートを作成する場合、メタデータがそのまま素材映像の選択条件に用いられる。この場合、メタデータの種類が少なければ必要な選択条件が設定されないことがある。逆に、メタデータの種類が多ければ、考慮する必要の無い選択条件が設定されてしまうことがある。そのために、テンプレートの基になる既存のコンテンツに応じて最適なテンプレートが作成されない場合がある。   Patent Documents 1 and 2 disclose a technique for creating content using a template that has already been created, but does not mention the creation of a template. In addition to being created manually, the template is created using the display position and metadata of the material video included in the content such as an existing album as the selection condition of the material video for content creation. When creating a template manually, it is necessary to set the position and size of the display frame for displaying the material video in the content and the selection condition of the material video for each display frame, which is a complicated and troublesome work. When a template is created using existing content, the metadata is used as it is for the selection condition of the material video. In this case, if there are few types of metadata, a necessary selection condition may not be set. Conversely, if there are many types of metadata, selection conditions that do not need to be considered may be set. For this reason, an optimal template may not be created according to the existing content on which the template is based.

本発明は、上記の問題を解決するために、コンテンツ作成のための最適なテンプレートを既存のコンテンツから作成する映像処理装置を提供することを主たる課題とする。   The main object of the present invention is to provide a video processing apparatus that creates an optimal template for content creation from existing content in order to solve the above problems.

上記課題を解決する本発明の映像処理装置は、素材映像を組み合わせて構成されるコンテンツから、前記素材映像が表示される表示枠を解析して、前記表示枠に関する表示枠データを取得する表示枠解析手段と、前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段と、一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段と、前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段と、を備えることを特徴とする。   The video processing apparatus of the present invention that solves the above-described problem is a display frame that analyzes display frames in which the material video is displayed from content configured by combining material videos and acquires display frame data related to the display frames. Based on the analysis means, the feature data acquisition means for acquiring the feature data representing the feature of the material video to be displayed for each display frame, the feature data of one display frame and the feature data of another display frame Selection condition generating means for generating a selection condition for selecting a material video that can be displayed in the one display frame and a selection condition for selecting a material video that can be displayed in the other display frame; and the display frame Template generating means for generating a template of the content including data and the selection condition.

本発明によれば、選択条件を一の表示枠の特徴データと他の表示枠の特徴データとに基づいて生成するために、コンテンツ作成に最適なテンプレートを容易に生成することが可能となる。   According to the present invention, since the selection condition is generated based on the feature data of one display frame and the feature data of another display frame, it is possible to easily generate a template optimal for content creation.

映像処理装置の構成図。The block diagram of a video processing apparatus. コンテンツの例示図。FIG. テンプレートの例示図。FIG. 映像処理装置によりテンプレートを作成するための機能ブロック図。The functional block diagram for producing a template with a video processing apparatus. 表示枠データテーブルの例示図。The illustration figure of a display frame data table. 特徴データテーブルの例示図。FIG. 4 is an exemplary diagram of a feature data table. (a)はスコアテーブルの例示図、(b)は関連スコアテーブルの例示図。(A) is an illustration figure of a score table, (b) is an illustration figure of a related score table. テンプレート生成処理を表すフローチャート。The flowchart showing a template production | generation process. 関連スコアの算出処理を表すフローチャート。The flowchart showing the calculation process of a related score. 選択表示枠の選択処理を表すフローチャート。The flowchart showing the selection process of a selection display frame. 選択条件の生成処理を表すフローチャート。The flowchart showing the production | generation process of selection conditions. 選択条件の生成処理を表すフローチャート。The flowchart showing the production | generation process of selection conditions. 動画のコンテンツの例示図。FIG. 3 is a view showing an example of video content. テンプレートの例示図。FIG. 表示枠データテーブルの例示図。The illustration figure of a display frame data table. 特徴データテーブルの例示図。FIG. 4 is an exemplary diagram of a feature data table. 関連スコアの算出処理を表すフローチャート。The flowchart showing the calculation process of a related score. 選択条件の生成処理を表すフローチャート。The flowchart showing the production | generation process of selection conditions.

以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。   Hereinafter, embodiments will be described in detail with reference to the drawings. However, the components described in the present embodiment are merely examples, and are not intended to limit the scope of the present invention only to them.

[第1実施形態]
図1は、本実施形態の映像処理装置の構成図である。映像処理装置は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、及びRAM(Random
Access Memory)103により各種の処理を実行する。映像処理装置は、この他に、記録媒体104、入力部105、及び出力部106を備える。
[First Embodiment]
FIG. 1 is a configuration diagram of a video processing apparatus according to the present embodiment. The video processing apparatus includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, and a RAM (Random).
Access Memory) 103 executes various processes. In addition, the video processing apparatus includes a recording medium 104, an input unit 105, and an output unit 106.

CPU101は、ROM102が記憶する所定のコンピュータプログラムを読み込み、RAM103を作業領域に用いて実行することで、各種の処理を実行する。記録媒体104は、コンテンツ、素材映像、テンプレート等を記録する。記録媒体104は、ハードディスク、メモリカード、SSD(Solid State Drive)、USB(Universal Serial Bus)フラッシュドライブ等の補助記憶装置により実現される。入力部105は、キーボード、マウス、タッチパッド等の入力デバイスである。出力部106は、LCD(Liquid
Crystal Display)等で構成され、画像や文字等の表示を行う表示装置である。入力部105と出力部106とを一体に構成して、タッチパネルを実現してもよい。
The CPU 101 executes various processes by reading a predetermined computer program stored in the ROM 102 and executing it using the RAM 103 as a work area. The recording medium 104 records content, material video, templates, and the like. The recording medium 104 is realized by an auxiliary storage device such as a hard disk, a memory card, an SSD (Solid State Drive), or a USB (Universal Serial Bus) flash drive. The input unit 105 is an input device such as a keyboard, a mouse, or a touch pad. The output unit 106 is an LCD (Liquid
A display device configured to display images, characters, and the like. The input unit 105 and the output unit 106 may be integrally configured to realize a touch panel.

このような映像処理装置は、パーソナルコンピュータ、カメラ、複写機、ファクシミリ装置、MFP(Multifunction Peripheral)等の情報処理装置により実現される。また映像処理装置は、複数の機器(例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムで実現されてもよい。   Such a video processing apparatus is realized by an information processing apparatus such as a personal computer, a camera, a copying machine, a facsimile apparatus, and an MFP (Multifunction Peripheral). The video processing apparatus may be realized by a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.).

映像処理装置は、コンテンツの作成及びコンテンツ作成に用いられるテンプレートの作成に用いられる。テンプレートは、既存のコンテンツに基づいて作成される。図2は、コンテンツの例示図である。このコンテンツは、アルバムの1ページを矩形領域201により表している。矩形領域201は、5つの矩形領域で表される表示枠202〜206を含む。各表示枠202〜206は、識別情報として表示枠IDが割り振られる。   The video processing apparatus is used to create content and a template used for content creation. A template is created based on existing content. FIG. 2 is a diagram illustrating content. In this content, one page of the album is represented by a rectangular area 201. The rectangular area 201 includes display frames 202 to 206 represented by five rectangular areas. Each of the display frames 202 to 206 is assigned a display frame ID as identification information.

表示枠202〜206には、各々に素材映像が表示される。表示枠202には、「A」〜「D」で表される人物の映像が表示される。表示枠203には、「A」で表される人物の映像が表示される。表示枠204には、「B」で表される人物の映像が表示される。表示枠205には、「C」で表される人物の映像が表示される。表示枠206には、「D」で表される人物の映像が表示される。   In the display frames 202 to 206, the material video is displayed on each. In the display frame 202, images of persons represented by “A” to “D” are displayed. In the display frame 203, an image of a person represented by “A” is displayed. In the display frame 204, an image of a person represented by “B” is displayed. In the display frame 205, an image of a person represented by “C” is displayed. In the display frame 206, an image of a person represented by “D” is displayed.

本実施形態では、図2のコンテンツに基づいてテンプレートを作成する例について説明する。図3は、図2のコンテンツに基づいて映像処理装置により作成されるテンプレートの例示図である。   In the present embodiment, an example of creating a template based on the content of FIG. 2 will be described. FIG. 3 is a view showing an example of a template created by the video processing apparatus based on the content shown in FIG.

表示枠ID301は、図2の各表示枠202〜206に対応する。表示枠ID301の「ID0」は、表示枠202を表す。表示枠ID301の「ID1」は、表示枠203を表す。表示枠ID301の「ID2」は、表示枠204を表す。表示枠ID301の「ID3」は、表示枠205を表す。表示枠ID301の「ID4」は、表示枠206を表す。表示位置302は、表示枠ID301の対応する表示枠202〜206の矩形領域201内(コンテンツ内)の位置をxy座標系により表す。表示サイズ303は、表示枠ID301の対応する表示枠202〜206の矩形領域201内の大きさを表す。   A display frame ID 301 corresponds to each of the display frames 202 to 206 in FIG. “ID0” of the display frame ID 301 represents the display frame 202. “ID1” of the display frame ID 301 represents the display frame 203. “ID2” of the display frame ID 301 represents the display frame 204. “ID3” of the display frame ID 301 represents the display frame 205. “ID4” of the display frame ID 301 represents the display frame 206. The display position 302 represents the position in the rectangular area 201 (in the content) of the display frames 202 to 206 corresponding to the display frame ID 301 in the xy coordinate system. The display size 303 represents the size in the rectangular area 201 of the display frames 202 to 206 corresponding to the display frame ID 301.

選択条件304は、表示枠202〜206の各々に表示可能な素材映像を選択するための条件を表す。選択条件304は、表示可能な素材映像の特徴を表す特徴データに応じて設定される。特徴データの詳細については後述する。図3の例では、表示枠202は、「A」〜「D」の人物が映ることが素材映像を選択するための条件となる。表示枠203は、「A」の人物が映ることが素材映像を選択するための条件となる。表示枠204は、「B」の人物が映ることが素材映像を選択するための条件となる。表示枠205は、「C」の人物が映ることが素材映像を選択するための条件となる。表示枠206は、「D」の人物が映ることが素材映像を選択するための条件となる。   The selection condition 304 represents a condition for selecting a material video that can be displayed in each of the display frames 202 to 206. The selection condition 304 is set according to the feature data representing the features of the material video that can be displayed. Details of the feature data will be described later. In the example of FIG. 3, the display frame 202 is a condition for selecting a material video when the persons “A” to “D” are shown. The display frame 203 is a condition for selecting a material video when the person “A” is shown. In the display frame 204, the condition for selecting the material video is that the person “B” is reflected. In the display frame 205, the condition for selecting the material video is that the person “C” is shown. In the display frame 206, the condition for selecting the material video is that the person “D” is shown.

図4は、映像処理装置によりコンテンツからテンプレートを作成するための機能ブロック図である。各機能ブロックは、CPU101がROM102からコンピュータプログラムを読み出して実行することで実現されるが、ハードウェアとして構成されてもよい。   FIG. 4 is a functional block diagram for creating a template from content by the video processing apparatus. Each functional block is realized by the CPU 101 reading a computer program from the ROM 102 and executing it, but may be configured as hardware.

映像処理装置は、記録部401、表示枠解析部402、特徴データ取得部403、関連スコア算出部404、表示枠選択部405、選択条件生成部406、及びテンプレート生成部407を備える。記録部401は、CPU101及び記録媒体104の協働により実現される。表示枠解析部402、特徴データ取得部403、関連スコア算出部404、表示枠選択部405、選択条件生成部406、及びテンプレート生成部407は、CPU101により実現される。   The video processing apparatus includes a recording unit 401, a display frame analysis unit 402, a feature data acquisition unit 403, a related score calculation unit 404, a display frame selection unit 405, a selection condition generation unit 406, and a template generation unit 407. The recording unit 401 is realized by the cooperation of the CPU 101 and the recording medium 104. The display frame analysis unit 402, the feature data acquisition unit 403, the related score calculation unit 404, the display frame selection unit 405, the selection condition generation unit 406, and the template generation unit 407 are realized by the CPU 101.

記録部401は、コンテンツ408及びテンプレート409を記録する。コンテンツ408は、テンプレート409の作成に用いられるものの他に、新たに作成されたものも含まれる。テンプレート409は、コンテンツ408に基づいて生成され、新たなコンテンツの生成に用いられる。   The recording unit 401 records the content 408 and the template 409. The content 408 includes a newly created content in addition to the content used for creating the template 409. The template 409 is generated based on the content 408 and used for generating new content.

表示枠解析部402は、コンテンツ408を解析して表示枠の位置及び大きさ等の情報を含む表示枠データを取得する。コンテンツ408がアルバムの場合、表示枠解析部402は、例えばハフ変換を用いて検出した矩形領域を表示枠として、位置及び大きさを取得する。表示枠解析部402は、表示枠の領域をユーザによる入力部105からの入力により受け付けて、位置及び大きさを取得してもよい。表示枠解析部402は、例えば図2のコンテンツから表示枠202〜206の各々の位置及び大きさを取得して表示枠データテーブルを作成し、RAM103に記憶する。   The display frame analysis unit 402 analyzes the content 408 and acquires display frame data including information such as the position and size of the display frame. When the content 408 is an album, the display frame analysis unit 402 acquires the position and size using, for example, a rectangular area detected using Hough transform as a display frame. The display frame analysis unit 402 may receive the region of the display frame by an input from the input unit 105 by the user, and acquire the position and size. For example, the display frame analysis unit 402 acquires the positions and sizes of the display frames 202 to 206 from the content shown in FIG. 2, creates a display frame data table, and stores it in the RAM 103.

図5は、図2のコンテンツに基づいて作成された表示枠データテーブルの例示図である。表示枠データテーブルは、表示枠ID501に対応して、表示枠202〜206毎の位置(X座標502、Y座標503)、大きさ(幅504、高さ505)が書き込まれる。図5の例では、矩形領域201の左上の頂点を原点として、各表示枠202〜206の位置がxy座標で表される。各表示枠202〜206の位置は、表示枠の左上の頂点の位置で表される。なお、位置は、表示枠202〜206の4つの頂点や中心点で表されてもよい。   FIG. 5 is an exemplary diagram of a display frame data table created based on the content of FIG. In the display frame data table, the position (X coordinate 502, Y coordinate 503) and size (width 504, height 505) for each of the display frames 202 to 206 are written in correspondence with the display frame ID 501. In the example of FIG. 5, the positions of the display frames 202 to 206 are represented by xy coordinates with the upper left vertex of the rectangular area 201 as the origin. The positions of the display frames 202 to 206 are represented by the position of the top left vertex of the display frame. Note that the position may be represented by four vertices or center points of the display frames 202 to 206.

特徴データ取得部403は、各表示枠202〜206に表示される素材映像の特徴を表す特徴データを取得する。特徴データは、例えば素材映像に付加されるメタデータや、既知の顔認識やシーン検出による結果の少なくとも一つである。特徴データ取得部403は、例えば図2のコンテンツから表示枠202〜206の各々に表示される素材映像の特徴データを取得して特徴データテーブルを作成し、RAM103に記憶する。   The feature data acquisition unit 403 acquires feature data representing the features of the material video displayed in the display frames 202 to 206. The feature data is, for example, at least one of metadata added to the material video and a result of known face recognition or scene detection. The feature data acquisition unit 403 acquires the feature data of the material video displayed in each of the display frames 202 to 206 from the content of FIG. 2, for example, creates a feature data table, and stores it in the RAM 103.

図6は、図2のコンテンツに基づいて作成された特徴データテーブルの例示図である。特徴データテーブルは、表示枠202〜206毎に、特徴データが、対応する表示枠ID701の特徴データ種別702毎の値703として分けて記憶する。図6の例では、特徴データ種別702は、顔認識の結果や素材映像のショットサイズ、撮影日時等である。顔認識の結果は、値703に、認識した人物の画像や特徴点として書き込まれる。ショットサイズは、例えば顔の領域が素材映像に占める割合により決められる。ショットサイズには、例えばクローズアップ、ミドルショット、ロングショットがある。   FIG. 6 is an exemplary diagram of a feature data table created based on the content of FIG. The feature data table stores the feature data separately for each display frame 202 to 206 as a value 703 for each feature data type 702 of the corresponding display frame ID 701. In the example of FIG. 6, the feature data type 702 includes a face recognition result, a material video shot size, a shooting date and time, and the like. The result of the face recognition is written in the value 703 as a recognized person image or feature point. The shot size is determined by, for example, the ratio of the face area to the material video. For example, the shot size includes a close-up shot, a middle shot, and a long shot.

関連スコア算出部404は、すべての表示枠202〜206について、一の表示枠と他の表示枠との関連度合いを表す関連スコアを算出する。図7(a)は、関連スコアの算出に用いられる特徴データ間の関係と関連スコアとを対応づけたスコアテーブルの例示図、図7(b)は、表示枠202〜206毎の関連スコアを表す関連スコアテーブルの例示図である。スコアテーブル及び関連スコアテーブルは、RAM103に記憶される。関連スコア算出部404は、一の表示枠の特徴データ(特徴データA)と他の表示枠の特徴データ(特徴データB)とに応じた関連スコアをスコアテーブルから読み出す。関連スコア算出部404は、読み出した関連スコアの合計を、関連スコアテーブルに、当該一の表示枠に対応する表示枠ID1005の関連スコア1006として記憶する。図7(a)のスコアテーブルでは、特徴データA1002と特徴データB1003とが同値のものを関連のあるものとしているが、これに限るものではない。例えば、大きく値が異なるものを関連があるとしてもよい。この場合、後述の選択表示枠に選ばれる画像とその他の画像にメリハリがつく。また、同種の特徴データのものを関連があるとしてもよい。   The related score calculation unit 404 calculates a related score representing the degree of association between one display frame and another display frame for all the display frames 202 to 206. FIG. 7A is an exemplary diagram of a score table in which the relationship between the feature data used for calculating the related score and the related score are associated with each other. FIG. 7B shows the related score for each of the display frames 202 to 206. It is an illustration figure of the related score table to represent. The score table and the related score table are stored in the RAM 103. The related score calculation unit 404 reads a related score according to the feature data (feature data A) of one display frame and the feature data (feature data B) of another display frame from the score table. The related score calculation unit 404 stores the total of the read related scores in the related score table as the related score 1006 of the display frame ID 1005 corresponding to the one display frame. In the score table of FIG. 7A, the feature data A1002 and the feature data B1003 are related to each other in the same value, but the present invention is not limited to this. For example, it may be related to a large difference in value. In this case, the image selected for the selection display frame described later and other images are sharpened. Moreover, the same kind of characteristic data may be related.

表示枠選択部405は、関連スコアテーブルに基づいて、少なくとも一つの表示枠を選択表示枠として選択する。選択条件生成部406は、表示枠選択部405で選択された選択表示枠と特徴データ取得部403で作成された特徴データテーブルとから、表示枠202〜206毎に、表示可能な素材映像を選択するための選択条件を生成する。テンプレート生成部407は、表示枠解析部402で作成された表示枠データテーブルと選択条件生成部で生成された選択条件とに基づいてテンプレート409を生成して、記録部401に書き込む。テンプレート409には、この他に、選択表示枠に関する情報を含めてもよい。選択表示枠に関する情報を含む場合、例えばユーザの強調表示したい素材映像を選択することで、容易に選択された素材映像を強調するテンプレートを選ぶことが可能になる。ユーザは、テンプレート409を用いることで、容易にコンテンツを作成することが可能となる。   The display frame selection unit 405 selects at least one display frame as a selection display frame based on the related score table. The selection condition generation unit 406 selects a displayable material image for each of the display frames 202 to 206 from the selection display frame selected by the display frame selection unit 405 and the feature data table created by the feature data acquisition unit 403. Generate a selection condition for The template generation unit 407 generates a template 409 based on the display frame data table generated by the display frame analysis unit 402 and the selection condition generated by the selection condition generation unit, and writes the template 409 in the recording unit 401. In addition to this, the template 409 may include information on the selection display frame. When the information about the selection display frame is included, for example, by selecting a material video that the user wants to highlight, it is possible to easily select a template that emphasizes the selected material video. By using the template 409, the user can easily create content.

図8は、このような構成の映像処理装置によるテンプレート生成処理を表すフローチャートである。   FIG. 8 is a flowchart showing template generation processing by the video processing apparatus having the above configuration.

CPU101は、所定のアプリケーションの起動、あるいはユーザ操作に応じてテンプレート生成処理を開始すると、記録部401からコンテンツ408を取得する(S801)。表示枠解析部402は、取得したコンテンツを解析して、表示枠データテーブルを生成する(S802)。特徴データ取得部403は、取得したコンテンツから、各表示枠に表示される素材映像の特徴データを取得して、特徴データテーブルを生成する(S803)。   When the CPU 101 starts template generation processing in response to activation of a predetermined application or user operation, the CPU 101 acquires content 408 from the recording unit 401 (S801). The display frame analysis unit 402 analyzes the acquired content and generates a display frame data table (S802). The feature data acquisition unit 403 acquires feature data of the material video displayed in each display frame from the acquired content, and generates a feature data table (S803).

関連スコア算出部404は、コンテンツに含まれるすべての表示枠について、特徴データテーブル及びスコアテーブルにより関連スコアを算出する(S804)。関連スコア算出部404は、算出した関連スコアにより関連スコアテーブルを生成する。表示枠選択部405は、関連スコア算出部404で生成された関連スコアテーブルに基づいて、選択表示枠を選択する(S805)。選択条件生成部406は、選択表示枠の特徴データと他の表示枠の特徴データとの関連に基づいて、選択条件を生成する(S806)。テンプレート生成部407は、表示枠データテーブル及び生成された選択条件により、テンプレートを生成して記録部401に記録する(S807)。以上の処理により、テンプレートが生成される。   The related score calculation unit 404 calculates a related score for all display frames included in the content using the feature data table and the score table (S804). The related score calculation unit 404 generates a related score table based on the calculated related score. The display frame selection unit 405 selects a selection display frame based on the related score table generated by the related score calculation unit 404 (S805). The selection condition generation unit 406 generates a selection condition based on the relationship between the feature data of the selected display frame and the feature data of other display frames (S806). The template generation unit 407 generates a template based on the display frame data table and the generated selection condition, and records the template in the recording unit 401 (S807). A template is generated by the above processing.

図9は、ステップS804の関連スコアの算出処理を表すフローチャートである。関連スコアの算出に際し、CPU101は、変数M、N(M、Nは整数)を設定する。変数M、Nは、コンテンツ内の表示枠を指定するための値である。関連スコア算出部404は、変数Mで指定される表示枠の特徴データと変数(M+N)で指定される表示枠の特徴データとから、各表示枠の関連スコアを算出する。   FIG. 9 is a flowchart showing the related score calculation processing in step S804. In calculating the related score, the CPU 101 sets variables M and N (M and N are integers). Variables M and N are values for designating a display frame in the content. The related score calculation unit 404 calculates the related score of each display frame from the feature data of the display frame specified by the variable M and the feature data of the display frame specified by the variable (M + N).

関連スコア算出部404は、変数Mを「0」に設定する(S901)。関連スコア算出部404は、変数Mに応じた表示枠ID701の特徴データを特徴データテーブル(図6参照)から取得する(S902)。ここで取得した特徴データが図7(a)の「特徴データA1002」となる。関連スコア算出部404は、変数Nを「1」に設定する(S903)。関連スコア算出部404は、変数(M+N)に応じた表示枠ID701の特徴データを特徴データテーブル(図6参照)から取得する(S904)。ここで取得した特徴データが図7(a)の「特徴データB1003」となる。   The related score calculation unit 404 sets the variable M to “0” (S901). The related score calculation unit 404 acquires the feature data of the display frame ID 701 corresponding to the variable M from the feature data table (see FIG. 6) (S902). The feature data acquired here is “feature data A1002” in FIG. The related score calculation unit 404 sets the variable N to “1” (S903). The related score calculation unit 404 acquires the feature data of the display frame ID 701 corresponding to the variable (M + N) from the feature data table (see FIG. 6) (S904). The feature data acquired here is “feature data B1003” in FIG.

関連スコア算出部404は、スコアテーブル(図7(a)参照)に基づいて、ステップS902、S904で取得した特徴データにより関連スコアを導出する。関連スコア算出部404は、導出した関連スコアを、図7(b)の関連スコアテーブルの変数Mに応じた表示枠ID1005の関連スコア1006及び変数(M+N)に応じた表示枠ID1005の関連スコア1006に加算する(S905)。   The related score calculation unit 404 derives a related score from the feature data acquired in steps S902 and S904 based on the score table (see FIG. 7A). The related score calculation unit 404 uses the derived related score as the related score 1006 of the display frame ID 1005 corresponding to the variable M in the related score table of FIG. 7B and the related score 1006 of the display frame ID 1005 corresponding to the variable (M + N). (S905).

関連スコア算出部404は、関連スコアの算出後に、変数Nに「1」加算して(S906)、変数Mと変数Nの和がコンテンツに含まれる表示枠の数より大きいか否かを判断する(S907)。変数Mと変数Nの和が表示枠の数以下の場合(S907:N)、関連スコア算出部404は、ステップS904〜S907の処理を繰り返し行う。ステップS904〜S907の処理を繰り返すことで、変数Mに応じた表示枠の、他のすべての表示枠に対する関連スコアの合計が算出される。   After calculating the related score, the related score calculation unit 404 adds “1” to the variable N (S906), and determines whether the sum of the variable M and the variable N is larger than the number of display frames included in the content. (S907). When the sum of the variable M and the variable N is equal to or less than the number of display frames (S907: N), the related score calculation unit 404 repeatedly performs the processes of steps S904 to S907. By repeating the processing of steps S904 to S907, the sum of the related scores for all other display frames of the display frame corresponding to the variable M is calculated.

変数Mと変数Nの和が表示枠の数より大きい場合(S907:Y)、関連スコア算出部404は、変数Mに「1」加算して(S908)、変数Mがコンテンツに含まれる表示枠の数以上か否かを判断する(S909)。変数Mが表示枠の数未満の場合(S909:N)、関連スコア算出部404は、ステップS902〜S909の処理を繰り返し行う。変数Mが表示枠の数以上の場合(S909:Y)、関連スコア算出部404は、関連スコアの算出処理を終了する。   When the sum of the variable M and the variable N is larger than the number of display frames (S907: Y), the related score calculation unit 404 adds “1” to the variable M (S908), and the display frame in which the variable M is included in the content It is determined whether or not the number is greater than or equal to (S909). When the variable M is less than the number of display frames (S909: N), the related score calculation unit 404 repeatedly performs the processing of steps S902 to S909. When the variable M is equal to or greater than the number of display frames (S909: Y), the related score calculation unit 404 ends the related score calculation process.

なお、ステップS905の関連スコアの算出時に、他のすべての表示枠を対象とせず、近傍の表示枠のみを対象にして関連スコアを算出してもよい。また、予め定められたスコアテーブルに基づいて関連スコアを算出する他に、例えば、一の表示枠と他の表示枠との距離を算出し、その距離に応じて、関連スコアを決定してもよい。また、近傍の表示枠の数に応じて、関連スコアを決定してもよい。関連スコアは、スコアテーブルに設定された値をそのまま用いる他に、表示枠の大きさや位置に応じて値を変更して、関連スコアとしてもよい。   Note that when calculating the related score in step S905, the related score may be calculated only for the nearby display frames without targeting all other display frames. In addition to calculating the related score based on a predetermined score table, for example, the distance between one display frame and another display frame is calculated, and the related score is determined according to the distance. Good. Further, the related score may be determined according to the number of display frames in the vicinity. In addition to using the value set in the score table as it is, the related score may be changed to a related score by changing the value according to the size or position of the display frame.

図10は、ステップS805の選択表示枠の選択処理を表すフローチャートである。本実施形態では、表示枠選択部405は、関連スコアが最も高い表示枠を選択表示枠に選択する。選択表示枠の選択に際し、CPU101は、変数M、tmp、id(M、tmp、idは整数)を設定する。変数Mは、コンテンツ内の表示枠を指定するための値である。tmpは、その時点における関連スコアの最高値を表す。idは、その時点における関連スコアの最高値が設定されている表示枠の表示枠IDを表す。   FIG. 10 is a flowchart showing the selection display frame selection processing in step S805. In the present embodiment, the display frame selection unit 405 selects the display frame having the highest related score as the selection display frame. When selecting the selection display frame, the CPU 101 sets variables M, tmp, and id (M, tmp, and id are integers). The variable M is a value for designating a display frame in the content. tmp represents the highest value of the relevant score at that time. id represents the display frame ID of the display frame in which the highest value of the related score at that time is set.

表示枠選択部405は、変数M、tmp、idに「0」を設定する(S1101)。表示枠選択部405は、関連スコアテーブルから、変数Mに応じた表示枠ID1105の関連スコアを関連スコアテーブル(図7(b)参照)から取得する(S1102)。   The display frame selection unit 405 sets “0” in the variables M, tmp, and id (S1101). The display frame selection unit 405 acquires the related score of the display frame ID 1105 corresponding to the variable M from the related score table (see FIG. 7B) from the related score table (S1102).

表示枠選択部405は、変数tmpが、取得した関連スコア以上であるか否かを判断する(S1103)。変数tmpが関連スコア以上の場合(S1103:Y)、表示枠選択部405は、変数Mに「1」加算する(S1105)。変数tmpが関連スコアより小さい場合(S1103:N)、表示枠選択部405は、変数tmpにステップS1102で取得した関連スコアを設定し、変数idに変数Mを設定した後に(S1104)、変数Mに「1」加算する(S1105)。   The display frame selection unit 405 determines whether or not the variable tmp is greater than or equal to the acquired related score (S1103). When the variable tmp is greater than or equal to the related score (S1103: Y), the display frame selection unit 405 adds “1” to the variable M (S1105). When the variable tmp is smaller than the related score (S1103: N), the display frame selection unit 405 sets the related score acquired in step S1102 for the variable tmp, sets the variable M for the variable id (S1104), and then sets the variable M "1" is added to (S1105).

変数Mを更新した後に表示枠選択部405は、変数Mがコンテンツに含まれる表示枠の数より大きいか否かを判断する(S1106)。変数Mが表示枠の数以下の場合(S1106:N)、表示枠選択部405は、ステップS1102〜S1106の処理を繰り返し行う。変数Mが表示枠の数より大きい場合(S1106:Y)、表示枠選択部405は、変数idに応じた表示枠ID1105に対応する表示枠を選択表示枠に決定する(S1107)。   After updating the variable M, the display frame selection unit 405 determines whether the variable M is larger than the number of display frames included in the content (S1106). When the variable M is equal to or less than the number of display frames (S1106: N), the display frame selection unit 405 repeats the processes of steps S1102 to S1106. When the variable M is larger than the number of display frames (S1106: Y), the display frame selection unit 405 determines the display frame corresponding to the display frame ID 1105 corresponding to the variable id as the selection display frame (S1107).

以上により、選択表示枠の選択処理が終了する。なお、選択表示枠は、関連スコアが最大値になる表示枠の他に、例えば、関連スコアが予め定められた閾値以上であれば、複数の表示枠を選択表示枠として選択してもよい。   Thus, the selection display frame selection process ends. In addition to the display frame in which the related score is the maximum value, for example, a plurality of display frames may be selected as the selection display frame if the related score is equal to or greater than a predetermined threshold.

図11は、ステップS806の選択条件の生成処理を表すフローチャートである。選択条件生成に際し、CPU101は、変数M(Mは整数)を設定する。変数Mは、コンテンツ内の表示枠を指定するための値である。選択条件生成部406は、表示枠毎の選択条件を生成する。   FIG. 11 is a flowchart showing the selection condition generation processing in step S806. When generating the selection condition, the CPU 101 sets a variable M (M is an integer). The variable M is a value for designating a display frame in the content. The selection condition generation unit 406 generates a selection condition for each display frame.

選択条件生成部406は、特徴データテーブル(図6)から、ステップS805で選択した選択表示枠の特徴データを取得する(S1201)。選択条件生成部406は、変数Mに「0」を設定する(S1202)。選択条件生成部406は、変数Mに応じた表示枠ID701の表示枠が選択表示枠であるか否かを判断する(S1203)。   The selection condition generation unit 406 acquires feature data of the selected display frame selected in step S805 from the feature data table (FIG. 6) (S1201). The selection condition generation unit 406 sets “0” to the variable M (S1202). The selection condition generation unit 406 determines whether or not the display frame with the display frame ID 701 corresponding to the variable M is the selection display frame (S1203).

選択表示枠ではない場合(S1203:N)、選択条件生成部406は、特徴データテーブルから、変数Mに応じた表示枠ID701の特徴データを取得する(S1204)。選択条件生成部406は、スコアテーブル(図7参照)に基づいて、取得した特徴データと選択表示枠の特徴データとに関連があるか否かを判断する(S1205)。この場合、単に関連スコア1004が設定されているか否か以外に、関連スコア1004が予め定められた閾値以上であるか否かを条件に含めてもよい。関連がある場合(S1205:Y)、選択条件生成部406は、関連のある特徴データを、選択表示枠及び変数Mに応じた表示枠ID701の表示枠の各々の選択条件に追加する(S1206)。   When it is not the selection display frame (S1203: N), the selection condition generation unit 406 acquires the feature data of the display frame ID 701 corresponding to the variable M from the feature data table (S1204). Based on the score table (see FIG. 7), the selection condition generation unit 406 determines whether or not the acquired feature data and the feature data of the selection display frame are related (S1205). In this case, in addition to whether or not the related score 1004 is simply set, whether or not the related score 1004 is equal to or greater than a predetermined threshold may be included in the condition. When there is a relationship (S1205: Y), the selection condition generation unit 406 adds the related feature data to each selection condition of the display frame with the display frame ID 701 corresponding to the selected display frame and the variable M (S1206). .

変数Mに応じた表示枠ID701の表示枠が選択表示枠である場合(S1203:Y)、特徴データに関連がない場合(S1205:N)、或いは選択条件の追加後に、選択条件生成部406は、変数Mに「1」加算する(S1207)。変数Mを更新した後に選択条件生成部406は、変数Mがコンテンツに含まれる表示枠の数より大きいか否かを判断する(S1208)。変数Mが表示枠の数以下の場合(S1208:N)、表示枠選択部405は、ステップS1203〜S1208の処理を繰り返し行う。変数Mが表示枠の数より大きい場合(S1208:Y)、選択条件生成部406は、選択条件の生成処理を終了する。   When the display frame with the display frame ID 701 corresponding to the variable M is the selection display frame (S1203: Y), when the feature data is not related (S1205: N), or after the selection condition is added, the selection condition generation unit 406 Then, “1” is added to the variable M (S1207). After updating the variable M, the selection condition generating unit 406 determines whether the variable M is larger than the number of display frames included in the content (S1208). When the variable M is equal to or less than the number of display frames (S1208: N), the display frame selection unit 405 repeats the processes of steps S1203 to S1208. When the variable M is larger than the number of display frames (S1208: Y), the selection condition generation unit 406 ends the selection condition generation process.

なお、ステップS1205において特徴データに関連がない場合に、選択条件生成部406は、例えば、選択表示枠の特徴データが含まれないということを選択条件に追加してもよい。   When the feature data is not related in step S1205, the selection condition generation unit 406 may add to the selection condition that the feature data of the selection display frame is not included, for example.

テンプレート生成部407は、以上のようにして生成された選択条件と図5の表示枠データテーブルとから、図3のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツ(図2参照)と同様の構成のコンテンツを作成可能になる。   The template generation unit 407 generates the template of FIG. 3 from the selection conditions generated as described above and the display frame data table of FIG. With this template, the user can easily create content having the same configuration as the base content (see FIG. 2).

[第2実施形態]
第2実施形態では、選択条件の生成処理が第1実施形態とは異なる。映像処理装置の構成及び選択条件の生成処理以外の処理は、第1実施形態と同様であるので、ここでは説明を省略する。
図12は、第2実施形態の選択条件の生成処理を表すフローチャートである。図11に示す第1実施形態の選択条件の生成処理と同じ処理には、同じステップ番号が割り振られている。同じ処理については説明を省略する。
[Second Embodiment]
In the second embodiment, the selection condition generation process is different from that of the first embodiment. Processes other than the configuration of the video processing apparatus and the selection condition generation process are the same as those in the first embodiment, and thus description thereof is omitted here.
FIG. 12 is a flowchart showing selection condition generation processing according to the second embodiment. The same step number is assigned to the same process as the selection condition generation process of the first embodiment shown in FIG. Description of the same processing is omitted.

特徴データテーブルから変数Mに応じた表示枠ID701の特徴データを取得した選択条件生成部406は、取得した特徴データと選択表示枠の特徴データとが同じ特徴データ種別702を保持しているか否かを判断する(S1301)。同じ特徴データ種別702を保持している場合(S1301:Y)、選択条件生成部406は、変数Mに応じた表示枠ID701の特徴データの同種と判断された値703を選択表示枠の同種の特徴データの値703から見た相対値に変換する。選択条件生成部406は、変換した値を変数Mに応じた表示枠ID701の表示枠の選択条件に追加する(S1302)。例えば、ショットサイズが選択表示枠のショットサイズより大きい等である。
選択条件生成部406は、選択表示枠の選択条件に、同種と判断された特徴データが含まれることを追加する(S1303)。なお、ステップS1301で同種の特徴データ種別702を保持していない場合(S1301:N)、又は選択条件の追加後に、選択条件生成部406は、変数Mに「1」加算する(S1207)。
The selection condition generation unit 406 that has acquired the feature data of the display frame ID 701 corresponding to the variable M from the feature data table determines whether or not the acquired feature data and the feature data of the selected display frame have the same feature data type 702. Is determined (S1301). When the same feature data type 702 is held (S1301: Y), the selection condition generation unit 406 selects the value 703 determined to be the same type of feature data of the display frame ID 701 corresponding to the variable M as the same type of the selection display frame. The characteristic data value 703 is converted into a relative value. The selection condition generation unit 406 adds the converted value to the display frame selection condition of the display frame ID 701 corresponding to the variable M (S1302). For example, the shot size is larger than the shot size of the selection display frame.
The selection condition generation unit 406 adds that the feature data determined to be the same type is included in the selection condition of the selection display frame (S1303). If the same type of feature data type 702 is not held in step S1301 (S1301: N), or after the selection condition is added, the selection condition generation unit 406 adds “1” to the variable M (S1207).

以上のように生成された選択条件を用いて、テンプレート生成部407は、図3のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツと同様の構成のコンテンツを作成可能になる。   Using the selection conditions generated as described above, the template generation unit 407 generates the template of FIG. With this template, the user can easily create content having the same configuration as the base content.

[第3実施形態]
第3実施形態では、映像処理装置が、動画のコンテンツに基づくテンプレートを作成する。図13は、第3実施形態のテンプレートの基となる動画のコンテンツの例示図である。この動画のコンテンツは、表示枠としてシーン1401〜1404を含む。シーン1401は「A」〜「C」で表される人物のグループの映像が表示される。シーン1402は「A」で表される人物の映像が表示される。シーン1403は「B」で表される人物の映像が表示される。シーン1404は「C」で表される人物の映像が表示される。各シーン1401〜1404は、それぞれ所定の時間長の動画である。
[Third Embodiment]
In the third embodiment, the video processing apparatus creates a template based on moving image content. FIG. 13 is a view showing an example of the content of a moving image that is the basis of the template of the third embodiment. This moving image content includes scenes 1401 to 1404 as display frames. The scene 1401 displays a video of a group of persons represented by “A” to “C”. A scene 1402 displays a video of a person represented by “A”. A scene 1403 displays a video of a person represented by “B”. The scene 1404 displays a video of a person represented by “C”. Each of the scenes 1401 to 1404 is a moving image having a predetermined time length.

第3実施形態の映像処理装置の構成は、第1、第2実施形態と同様であるが、機能に若干の相違がある。表示枠解析部402は、コンテンツ中のシーン1401〜1404の解析を行い、各シーン1401〜1404の開始時刻、再生時間等を表示枠データとして取得する。特徴データ取得部403は、シーン1401〜1404毎に特徴データを取得する。取得する特徴データは、第1、第2実施形態と同様である。関連スコア算出部404は、すべてのシーン1401〜1404について、一つのシーンと他のシーンとの関連度合いを表す関連スコアを算出する。表示枠選択部405はコンテンツ中からシーンを選択する。   The configuration of the video processing apparatus of the third embodiment is the same as that of the first and second embodiments, but there are some differences in function. The display frame analysis unit 402 analyzes the scenes 1401 to 1404 in the content, and acquires the start time, playback time, and the like of each scene 1401 to 1404 as display frame data. The feature data acquisition unit 403 acquires feature data for each of the scenes 1401 to 1404. The feature data to be acquired is the same as in the first and second embodiments. The related score calculation unit 404 calculates a related score representing the degree of association between one scene and another scene for all the scenes 1401 to 1404. A display frame selection unit 405 selects a scene from the content.

図14は、図13のコンテンツに基づいて作成されるテンプレートの例示図である。シーンID1501は、図13の各シーン1401〜1404を識別するための識別情報である。シーンID1501の「ID0」は、シーン1401に対応する。シーンID1501の「ID1」は、シーン1402に対応する。シーンID1501の「ID2」は、シーン1403に対応する。シーンID1501の「ID3」は、シーン1404に対応する。開始時刻1502は、対応するシーンの開始時刻(前のシーンの終了時刻)を表す。選択条件1503は、シーン1401〜1404の各々に表示可能な素材映像を選択するための条件を表す。   FIG. 14 is a view showing an example of a template created based on the content shown in FIG. The scene ID 1501 is identification information for identifying each of the scenes 1401 to 1404 in FIG. “ID0” of the scene ID 1501 corresponds to the scene 1401. “ID1” of the scene ID 1501 corresponds to the scene 1402. “ID2” of the scene ID 1501 corresponds to the scene 1403. “ID3” of the scene ID 1501 corresponds to the scene 1404. The start time 1502 represents the start time of the corresponding scene (end time of the previous scene). A selection condition 1503 represents a condition for selecting a material video that can be displayed in each of the scenes 1401 to 1404.

選択条件1503は、各シーン1401〜1404の特徴データに応じて設定される。本実施形態では、シーン1401〜1404の選択条件1503は、映像に含まれる人物が設定される。図14の例では、シーン1401は、「A」〜「C」の人物が映ることが素材映像を選択するための条件となる。シーン1402は、「A」の人物が映ることが素材映像を選択するための条件となる。シーン1403は、「B」の人物が映ることが素材映像を選択するための条件となる。シーン1404は、「C」の人物が映ることが素材映像を選択するための条件となる。   The selection condition 1503 is set according to the feature data of each scene 1401-1404. In the present embodiment, a person included in the video is set as the selection condition 1503 for the scenes 1401 to 1404. In the example of FIG. 14, the scene 1401 is a condition for selecting a material video when the persons “A” to “C” are shown. In the scene 1402, the condition for selecting the material video is that the person “A” is reflected. In the scene 1403, the condition for selecting the material video is that the person “B” is reflected. In the scene 1404, the condition for selecting the material video is that the person “C” is reflected.

図15は、表示枠解析部402により図13のコンテンツに基づいて作成された表示枠データテーブルの例示図である。表示枠データテーブルは、シーンID601に対応して、シーン1401〜1404毎の開始時刻602及び再生時間603が書き込まれる。表示枠データテーブルに書き込まれる項目は、再生時間603の代わりに終了時刻であってもよい。シーンの検出は、例えば動画のフレーム間の類似度により映像が切り替わるシーンを検出する方法のように、公知の検出方法により行うことができる。   FIG. 15 is an exemplary diagram of a display frame data table created by the display frame analysis unit 402 based on the content of FIG. In the display frame data table, the start time 602 and the playback time 603 for each of the scenes 1401 to 1404 are written corresponding to the scene ID 601. The item written in the display frame data table may be the end time instead of the playback time 603. A scene can be detected by a known detection method, such as a method for detecting a scene in which a video changes depending on the similarity between frames of a moving image.

図16は、図13のコンテンツに基づいて作成された特徴データテーブルの例示図である。特徴データテーブルは、シーン1401〜1404毎に、特徴データが、対応するシーンID1601の特徴データ種別1602毎の値1603、各値1603の開始時刻1604及び終了時刻1605として書き込まれる。図16の例では、特徴データ種別1602は、顔認識の結果や素材映像のショットサイズ、撮影日時等である。顔認識の結果は、値1603に、認識した人物の画像や特徴点として書き込まれる。ショットサイズは、例えば顔の領域が素材映像に占める割合により決められる。ショットサイズには、例えばクローズアップ、ミドルショット、ロングショットがある。   FIG. 16 is an exemplary diagram of a feature data table created based on the content of FIG. In the feature data table, for each scene 1401 to 1404, feature data is written as a value 1603 for each feature data type 1602 of the corresponding scene ID 1601, and a start time 1604 and end time 1605 of each value 1603. In the example of FIG. 16, the feature data type 1602 is the result of face recognition, the shot size of the material video, the shooting date and time, and the like. The result of face recognition is written in the value 1603 as an image or feature point of the recognized person. The shot size is determined by, for example, the ratio of the face area to the material video. For example, the shot size includes a close-up shot, a middle shot, and a long shot.

終了時刻1605は、表示枠データテーブルの開始時刻602及び再生時間603から算出される。なお、特徴データ取得部403は、開始時刻1604及び終了時刻1605で区切られる検出区間(再生時間)と対応づけられる他に、例えば予め定められた時間以上の検出区間の特徴データのみを取得の対象としてもよい。   The end time 1605 is calculated from the start time 602 and the playback time 603 of the display frame data table. Note that the feature data acquisition unit 403 obtains only feature data of a detection section that is equal to or more than a predetermined time, for example, in addition to being associated with a detection section (reproduction time) that is delimited by a start time 1604 and an end time 1605 It is good.

第3実施形態においてもテンプレートの生成は、第1実施形態の図8の手順で行われる。第3実施形態は、第1実施形態とは、ステップS804の関連スコアの算出処理及びステップS806の選択条件の生成処理が異なる。ここでは、異なる処理について説明し、同様の処理についての説明は省略する。   Also in the third embodiment, the template is generated according to the procedure of FIG. 8 of the first embodiment. The third embodiment is different from the first embodiment in the related score calculation process in step S804 and the selection condition generation process in step S806. Here, different processes will be described, and description of similar processes will be omitted.

図17は、図8のステップS804の関連スコアの算出処理を表すフローチャートである。   FIG. 17 is a flowchart showing the related score calculation processing in step S804 of FIG.

関連スコア算出部404は、変数Mに応じたシーンID1601の特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを特徴データテーブル(図16参照)から取得する(S1701)。ここで取得した特徴データが図7(a)の「特徴データA1002」となる。
また、関連スコア算出部404は、変数(M+N)に応じたシーンID1601の特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを特徴データテーブル(図16参照)から取得する(S1702)。ここで取得した特徴データが図7(a)の「特徴データB1003」となる。
The related score calculation unit 404 acquires, from the feature data table (see FIG. 16), feature data having a detection section that is equal to or longer than a predetermined time among the feature data of the scene ID 1601 corresponding to the variable M (S1701). The feature data acquired here is “feature data A1002” in FIG.
In addition, the related score calculation unit 404 acquires feature data having a detection section of a predetermined time or more from the feature data table (see FIG. 16) from the feature data of the scene ID 1601 corresponding to the variable (M + N) (see FIG. 16). S1702). The feature data acquired here is “feature data B1003” in FIG.

関連スコア算出部404は、取得した特徴データA及び特徴データBにより、スコアテーブル(図7(a)参照)に基づいて関連スコアを導出する。関連スコア算出部404は、導出した関連スコアを、関連スコアテーブルの変数Mに応じたシーンIDの関連スコア及び変数(M+N)に応じたシーンIDの関連スコアに加算する(S905)。   The related score calculation unit 404 derives a related score from the acquired feature data A and feature data B based on the score table (see FIG. 7A). The related score calculation unit 404 adds the derived related score to the related score of the scene ID corresponding to the variable M in the related score table and the related score of the scene ID corresponding to the variable (M + N) (S905).

関連スコア算出部404は、すべてのシーンに対して、以上のような処理を行い、関連スコアを算出する。なお、関連スコア算出部404は、検出区間の条件を設けずに、すべての特徴データを取得するようにしてもよい。   The related score calculation unit 404 performs the above processing on all scenes and calculates a related score. Note that the related score calculation unit 404 may acquire all the feature data without providing the condition for the detection section.

図18は、図8のステップS806の選択条件の生成処理を表すフローチャートである。なお、第3実施形態では、図8のステップS805において、表示枠に代えてシーンを選択する。選択されたシーンは、選択シーンとなる。   FIG. 18 is a flowchart showing the selection condition generation processing in step S806 of FIG. In the third embodiment, a scene is selected instead of the display frame in step S805 of FIG. The selected scene becomes the selected scene.

選択条件生成部406は、選択シーンの特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを取得する(S1801)。また、選択条件生成部406は、特徴データテーブルから、変数Mに応じたシーンIDのシーンの特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを取得する(S1802)。選択条件生成部406は、取得した特徴データにより、関連のある特徴データを選択条件に追加する。選択条件生成部406は、すべてのシーンに対して以上のような処理を行い、選択条件を生成する。   The selection condition generation unit 406 acquires feature data having a detection section that is longer than a predetermined time from the feature data of the selected scene (S1801). In addition, the selection condition generation unit 406 acquires feature data having a detection interval of a predetermined time or longer from the feature data of the scene with the scene ID corresponding to the variable M from the feature data table (S1802). The selection condition generation unit 406 adds related feature data to the selection condition based on the acquired feature data. The selection condition generation unit 406 performs the above processing on all scenes and generates selection conditions.

なお、選択条件生成部406は、検出区間の条件を設けずに、すべての特徴データを取得するようにしてもよい。また、選択条件生成部406は、ステップS1206において特徴データのみを選択条件に追加しているが、この他に、例えば、検出区間となる時間も選択条件として加えてもよい。   Note that the selection condition generation unit 406 may acquire all the feature data without providing the detection section condition. In addition, the selection condition generation unit 406 adds only the feature data to the selection condition in step S1206. In addition to this, for example, a time that is a detection interval may be added as the selection condition.

テンプレート生成部407は、以上のようにして生成された選択条件と図15の表示枠データテーブルとから、図14のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツ(図13参照)と同様の構成のコンテンツを作成可能になる。   The template generation unit 407 generates the template shown in FIG. 14 from the selection conditions generated as described above and the display frame data table shown in FIG. With this template, the user can easily create content having the same configuration as the base content (see FIG. 13).

以上の各実施形態では、人物認識の特徴データを例に説明したが、これに限るものではない。   In each of the above embodiments, the feature data of person recognition has been described as an example, but the present invention is not limited to this.

[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPU、MPU等)がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

101…CPU、102…ROM、103…RAM、104…記録媒体、105…入力部、106…出力部、401…記録部、402…表示枠解析部、403…特徴データ取得部、404…関連スコア算出部、405…表示枠選択部、406…選択条件生成部、407…テンプレート生成部   101 ... CPU, 102 ... ROM, 103 ... RAM, 104 ... recording medium, 105 ... input unit, 106 ... output unit, 401 ... recording unit, 402 ... display frame analysis unit, 403 ... feature data acquisition unit, 404 ... related score Calculation unit, 405 ... display frame selection unit, 406 ... selection condition generation unit, 407 ... template generation unit

Claims (13)

素材映像を組み合わせて構成されるコンテンツから、前記素材映像が表示される表示枠を解析して、前記表示枠に関する表示枠データを取得する表示枠解析手段と、
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段と、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段と、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段と、を備えることを特徴とする、
映像処理装置。
Display frame analysis means for analyzing a display frame in which the material video is displayed from content configured by combining material video, and obtaining display frame data related to the display frame;
For each display frame, feature data acquisition means for acquiring feature data representing the characteristics of the material video to be displayed;
Based on feature data of one display frame and feature data of another display frame, a selection condition for selecting a material video that can be displayed in the one display frame and a material video that can be displayed in the other display frame Selection condition generating means for generating a selection condition for selecting
Template generating means for generating a template of the content including the display frame data and the selection condition,
Video processing device.
前記表示枠毎に、各々の前記特徴データに基づいて、他の表示枠との関連度合いを表す関連スコアを算出する関連スコア算出手段と、
前記関連スコアに基づいて少なくとも一つの表示枠を選択する表示枠選択手段と、を備え、
前記選択条件生成手段は、前記表示枠選択手段で選択された表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記選択された表示枠に表示する素材映像の選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成することを特徴とする、
請求項1記載の映像処理装置。
For each display frame, based on each feature data, a related score calculation unit that calculates a related score representing a degree of association with another display frame;
Display frame selection means for selecting at least one display frame based on the related score,
The selection condition generating means is based on the feature data of the display frame selected by the display frame selection means and the feature data of other display frames, and the selection condition of the material video to be displayed in the selected display frame, and Generating a selection condition for selecting a material video that can be displayed in another display frame;
The video processing apparatus according to claim 1.
前記表示枠解析手段は、前記表示枠の位置及び大きさを前記表示枠データとして取得することを特徴とする、
請求項1又は2記載の映像処理装置。
The display frame analysis means acquires the position and size of the display frame as the display frame data,
The video processing apparatus according to claim 1 or 2.
前記表示枠解析手段は、前記表示枠に表示される素材映像の開始時刻及び再生時間を前記表示枠データとして取得することを特徴とする、
請求項1又は2記載の映像処理装置。
The display frame analysis means acquires the start time and playback time of the material video displayed in the display frame as the display frame data,
The video processing apparatus according to claim 1 or 2.
前記特徴データ取得手段は、前記再生時間が予め定められた時間以上の素材映像の特徴データを取得することを特徴とする、
請求項4記載の映像処理装置。
The feature data acquisition means acquires the feature data of a material video that is longer than a predetermined time for the playback time,
The video processing apparatus according to claim 4.
前記選択条件生成手段は、前記一の表示枠の前記再生時間が予め定められた時間以上の素材映像の特徴データと、前記他の表示枠の前記再生時間が予め定められた時間以上の素材映像の特徴データとに基づいて、前記一の表示枠の選択条件及び前記他の表示枠の選択条件を生成することを特徴とする、
請求項5記載の映像処理装置。
The selection condition generating means includes feature data of a material video whose playback time of the one display frame is longer than a predetermined time, and a material video whose playback time of the other display frame is longer than a predetermined time Generating the selection condition for the one display frame and the selection condition for the other display frame based on the feature data of
The video processing apparatus according to claim 5.
前記選択条件生成手段は、予め定められる特徴データ間の関係に基づいて前記一の表示枠の特徴データと前記他の表示枠の特徴データとの関連を判断し、その結果に応じて前記一の表示枠の選択条件及び前記他の表示枠の選択条件を生成することを特徴とする、
請求項1〜6のいずれか1項記載の映像処理装置。
The selection condition generation means determines a relationship between the feature data of the one display frame and the feature data of the other display frame based on a predetermined relationship between the feature data, and the one of the one display frame according to the result. Generating a selection condition for the display frame and a selection condition for the other display frame,
The video processing apparatus of any one of Claims 1-6.
前記選択条件生成手段は、前記一の表示枠の特徴データと前記他の表示枠の特徴データとが同種であるときに、前記他の表示枠の特徴データを前記一の表示枠の選択条件とすることを特徴とする、
請求項7記載の映像処理装置。
When the feature data of the one display frame and the feature data of the other display frame are of the same type, the selection condition generating means uses the feature data of the other display frame as the selection condition of the one display frame. It is characterized by
The video processing apparatus according to claim 7.
前記選択条件生成手段は、前記一の表示枠の特徴データと前記他の表示枠の特徴データとが同じであるときに、前記他の表示枠の特徴データを前記一の表示枠の選択条件とすることを特徴とする、
請求項7記載の映像処理装置。
The selection condition generation means, when the feature data of the one display frame and the feature data of the other display frame are the same, the feature data of the other display frame as the selection condition of the one display frame. It is characterized by
The video processing apparatus according to claim 7.
前記選択条件生成手段は、前記一の表示枠の特徴データと前記他の表示枠の特徴データとが異なるときに、前記他の表示枠の特徴データを前記一の表示枠の選択条件とすることを特徴とする、
請求項7記載の映像処理装置。
The selection condition generating means sets the feature data of the other display frame as the selection condition of the one display frame when the feature data of the one display frame is different from the feature data of the other display frame. Characterized by the
The video processing apparatus according to claim 7.
前記特徴データ取得手段は、前記素材映像に付加されるメタデータ、前記素材映像の顔認識の結果、及び前記素材映像のシーン検出の結果の少なくとも一つを前記特徴データとして取得することを特徴とする、
請求項1〜10のいずれか1項記載の映像処理装置。
The feature data acquisition means acquires at least one of metadata added to the material video, a face recognition result of the material video, and a scene detection result of the material video as the feature data. To
The video processing apparatus of any one of Claims 1-10.
素材映像を組み合わせて構成されるコンテンツを記録する記録手段を備えた情報処理装置により実行される方法であって、
前記記録手段から前記コンテンツを取得して、当該コンテンツから、前記素材映像が表示される表示枠を解析し、前記表示枠に関する表示枠データを取得するステップと、
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得するステップと、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成するステップと、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するステップと、を含むことを特徴とする、
テンプレート生成方法。
A method executed by an information processing apparatus having a recording means for recording content configured by combining material videos,
Acquiring the content from the recording means, analyzing a display frame in which the material video is displayed from the content, and obtaining display frame data related to the display frame;
Obtaining feature data representing features of the displayed material video for each display frame;
Based on feature data of one display frame and feature data of another display frame, a selection condition for selecting a material video that can be displayed in the one display frame and a material video that can be displayed in the other display frame Generating a selection condition for selecting
Generating a template for the content including the display frame data and the selection condition,
Template generation method.
素材映像を組み合わせて構成されるコンテンツを記録する記録手段を備えたコンピュータを、
前記記録手段から前記コンテンツを取得して、当該コンテンツから、前記素材映像が表示される表示枠を解析し、前記表示枠に関する表示枠データを取得する表示枠解析手段、
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段、
として機能させるためのコンピュータプログラム。
A computer equipped with a recording means for recording content configured by combining material images,
Display frame analysis means for acquiring the content from the recording means, analyzing a display frame in which the material video is displayed from the content, and acquiring display frame data relating to the display frame;
Feature data acquisition means for acquiring feature data representing the characteristics of the displayed material video for each display frame;
Based on feature data of one display frame and feature data of another display frame, a selection condition for selecting a material video that can be displayed in the one display frame and a material video that can be displayed in the other display frame Selection condition generating means for generating a selection condition for selecting
A template generating means for generating a template of the content including the display frame data and the selection condition;
Computer program to function as.
JP2014233559A 2014-11-18 2014-11-18 Video processing device, template generation method, and computer program Pending JP2016099651A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014233559A JP2016099651A (en) 2014-11-18 2014-11-18 Video processing device, template generation method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014233559A JP2016099651A (en) 2014-11-18 2014-11-18 Video processing device, template generation method, and computer program

Publications (1)

Publication Number Publication Date
JP2016099651A true JP2016099651A (en) 2016-05-30

Family

ID=56076125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014233559A Pending JP2016099651A (en) 2014-11-18 2014-11-18 Video processing device, template generation method, and computer program

Country Status (1)

Country Link
JP (1) JP2016099651A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227431A1 (en) * 2018-05-31 2019-12-05 优视科技新加坡有限公司 Template sharing method used for generating multimedia content, apparatus and terminal device
CN117009574A (en) * 2023-07-20 2023-11-07 天翼爱音乐文化科技有限公司 Hot spot video template generation method, system, equipment and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227431A1 (en) * 2018-05-31 2019-12-05 优视科技新加坡有限公司 Template sharing method used for generating multimedia content, apparatus and terminal device
CN117009574A (en) * 2023-07-20 2023-11-07 天翼爱音乐文化科技有限公司 Hot spot video template generation method, system, equipment and storage medium
CN117009574B (en) * 2023-07-20 2024-05-28 天翼爱音乐文化科技有限公司 Hot spot video template generation method, system, equipment and storage medium

Similar Documents

Publication Publication Date Title
TW201119368A (en) Image processing device, image processing method, and computer program
JP2013033453A (en) Image processor, image processing method, and image processing program
JP2013246633A (en) Electronic apparatus, handwriting document creation method, and handwriting document creation program
JP2017162434A (en) Method, program and device for generating web-based copy of document
US20140351718A1 (en) Information processing device, information processing method, and computer-readable medium
JP6841519B2 (en) Methods and Electronic Devices for Creating Digital Signatures
US20160316081A1 (en) Augmented reality operation system, and non-transitory computer-readable recording medium storing augmented reality operation program
US11163503B2 (en) Control method, image processing apparatus, and non-transitory computer-readable storage medium
US20160124634A1 (en) Electronic blackboard apparatus and controlling method thereof
JP2014149634A (en) Input/output device
JP2012038286A (en) Content analyzing apparatus, method and program
JP2016099651A (en) Video processing device, template generation method, and computer program
JP2015095066A (en) Information processing apparatus and information processing program
JP2014067148A (en) Handwritten document processor and handwritten document processing method and program
JP2018055256A (en) Information processing apparatus, information processing method, and program
JP2017084304A (en) Image display device and image display method
US20130251334A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium storing information processing program
US9912834B2 (en) Document camera device and cutout assistance method
JP6683925B2 (en) Sticking device, sticking method, and sticking processing program
US20130104014A1 (en) Viewer unit, server unit, display control method, digital comic editing method and non-transitory computer-readable medium
JP2019148649A (en) Image processing apparatus, control method, and program
JP2015203933A (en) content extraction device and content extraction method
JP2020149581A (en) Information processor, information processing method, program and storage medium
US9477879B2 (en) Information processing apparatus, information processing method, and storage medium for obtaining a relationship between pieces of contents from use history information about the contents
JP6142744B2 (en) Terminal device, print system, selection method, and control program