JP2016099651A - Video processing device, template generation method, and computer program - Google Patents
Video processing device, template generation method, and computer program Download PDFInfo
- Publication number
- JP2016099651A JP2016099651A JP2014233559A JP2014233559A JP2016099651A JP 2016099651 A JP2016099651 A JP 2016099651A JP 2014233559 A JP2014233559 A JP 2014233559A JP 2014233559 A JP2014233559 A JP 2014233559A JP 2016099651 A JP2016099651 A JP 2016099651A
- Authority
- JP
- Japan
- Prior art keywords
- display frame
- feature data
- selection condition
- video
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、素材映像を組み合わせて生成されるコンテンツから、素材映像の選択条件や表示位置等の情報を含むテンプレートを生成する映像処理装置に関する。 The present invention relates to a video processing apparatus that generates a template including information such as a selection condition and a display position of a material video from content generated by combining the material video.
高性能なパーソナルコンピュータの普及により、静止画や動画等の映像素材を編集してアルバムや映像等のコンテンツを作成することが容易になっている。しかし映像編集に不慣れなユーザにとって、素材映像からのシーンの選択、シーンの構成、エフェクトやトランジションの指定等の作業は困難である。 With the spread of high-performance personal computers, it has become easy to create content such as albums and videos by editing video materials such as still images and moving images. However, it is difficult for a user who is unfamiliar with video editing to select a scene from a material video, configure the scene, and specify an effect or a transition.
そのために、素材映像を自動的に編集してコンテンツを作成するツールが開発されている。このツールは、例えば、編集対象となる素材映像及びユーザが指定するテンプレートに基づいてコンテンツを生成する。例えば特許文献1は、使用可能な素材映像の条件、順序、及び付与するエフェクト・トランジションの情報を含むテンプレートを用いたツールを開示する。素材映像のメタデータがテンプレートに含まれる使用可能な素材映像の条件に一致する場合に、当該素材映像を用いたコンテンツが作成される。このツールの使い勝手を向上するには、テンプレートの充実が必要不可欠である。
For this purpose, tools for automatically editing material video and creating content have been developed. This tool generates content based on, for example, a material video to be edited and a template specified by the user. For example,
特許文献2は、原稿台上に配置した複数の画像を一度に読み取り、そのときの配置に類似した配置のレイアウトデータ(テンプレート)を選択して、コンテンツを生成する画像処理装置を開示する。
特許文献1、2は、既に作成されているテンプレートを用いたコンテンツの作成についての技術を開示するが、テンプレートの作成については触れられていない。テンプレートは、手動で作成される他に、既存のアルバム等のコンテンツに含まれる素材映像の表示位置やメタデータを、コンテンツ作成のための素材映像の選択条件にして作成される。手動でテンプレートを作成する場合、コンテンツ内で素材映像を表示する表示枠の位置や大きさ、素材映像の選択条件を表示枠毎に設定する必要があり、煩雑で手間のかかる作業となる。既存のコンテンツを用いてテンプレートを作成する場合、メタデータがそのまま素材映像の選択条件に用いられる。この場合、メタデータの種類が少なければ必要な選択条件が設定されないことがある。逆に、メタデータの種類が多ければ、考慮する必要の無い選択条件が設定されてしまうことがある。そのために、テンプレートの基になる既存のコンテンツに応じて最適なテンプレートが作成されない場合がある。
本発明は、上記の問題を解決するために、コンテンツ作成のための最適なテンプレートを既存のコンテンツから作成する映像処理装置を提供することを主たる課題とする。 The main object of the present invention is to provide a video processing apparatus that creates an optimal template for content creation from existing content in order to solve the above problems.
上記課題を解決する本発明の映像処理装置は、素材映像を組み合わせて構成されるコンテンツから、前記素材映像が表示される表示枠を解析して、前記表示枠に関する表示枠データを取得する表示枠解析手段と、前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段と、一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段と、前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段と、を備えることを特徴とする。 The video processing apparatus of the present invention that solves the above-described problem is a display frame that analyzes display frames in which the material video is displayed from content configured by combining material videos and acquires display frame data related to the display frames. Based on the analysis means, the feature data acquisition means for acquiring the feature data representing the feature of the material video to be displayed for each display frame, the feature data of one display frame and the feature data of another display frame Selection condition generating means for generating a selection condition for selecting a material video that can be displayed in the one display frame and a selection condition for selecting a material video that can be displayed in the other display frame; and the display frame Template generating means for generating a template of the content including data and the selection condition.
本発明によれば、選択条件を一の表示枠の特徴データと他の表示枠の特徴データとに基づいて生成するために、コンテンツ作成に最適なテンプレートを容易に生成することが可能となる。 According to the present invention, since the selection condition is generated based on the feature data of one display frame and the feature data of another display frame, it is possible to easily generate a template optimal for content creation.
以下、図面を参照して実施形態を詳細に説明する。ただし、本実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, embodiments will be described in detail with reference to the drawings. However, the components described in the present embodiment are merely examples, and are not intended to limit the scope of the present invention only to them.
[第1実施形態]
図1は、本実施形態の映像処理装置の構成図である。映像処理装置は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、及びRAM(Random
Access Memory)103により各種の処理を実行する。映像処理装置は、この他に、記録媒体104、入力部105、及び出力部106を備える。
[First Embodiment]
FIG. 1 is a configuration diagram of a video processing apparatus according to the present embodiment. The video processing apparatus includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, and a RAM (Random).
Access Memory) 103 executes various processes. In addition, the video processing apparatus includes a
CPU101は、ROM102が記憶する所定のコンピュータプログラムを読み込み、RAM103を作業領域に用いて実行することで、各種の処理を実行する。記録媒体104は、コンテンツ、素材映像、テンプレート等を記録する。記録媒体104は、ハードディスク、メモリカード、SSD(Solid State Drive)、USB(Universal Serial Bus)フラッシュドライブ等の補助記憶装置により実現される。入力部105は、キーボード、マウス、タッチパッド等の入力デバイスである。出力部106は、LCD(Liquid
Crystal Display)等で構成され、画像や文字等の表示を行う表示装置である。入力部105と出力部106とを一体に構成して、タッチパネルを実現してもよい。
The
A display device configured to display images, characters, and the like. The
このような映像処理装置は、パーソナルコンピュータ、カメラ、複写機、ファクシミリ装置、MFP(Multifunction Peripheral)等の情報処理装置により実現される。また映像処理装置は、複数の機器(例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムで実現されてもよい。 Such a video processing apparatus is realized by an information processing apparatus such as a personal computer, a camera, a copying machine, a facsimile apparatus, and an MFP (Multifunction Peripheral). The video processing apparatus may be realized by a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.).
映像処理装置は、コンテンツの作成及びコンテンツ作成に用いられるテンプレートの作成に用いられる。テンプレートは、既存のコンテンツに基づいて作成される。図2は、コンテンツの例示図である。このコンテンツは、アルバムの1ページを矩形領域201により表している。矩形領域201は、5つの矩形領域で表される表示枠202〜206を含む。各表示枠202〜206は、識別情報として表示枠IDが割り振られる。
The video processing apparatus is used to create content and a template used for content creation. A template is created based on existing content. FIG. 2 is a diagram illustrating content. In this content, one page of the album is represented by a
表示枠202〜206には、各々に素材映像が表示される。表示枠202には、「A」〜「D」で表される人物の映像が表示される。表示枠203には、「A」で表される人物の映像が表示される。表示枠204には、「B」で表される人物の映像が表示される。表示枠205には、「C」で表される人物の映像が表示される。表示枠206には、「D」で表される人物の映像が表示される。
In the
本実施形態では、図2のコンテンツに基づいてテンプレートを作成する例について説明する。図3は、図2のコンテンツに基づいて映像処理装置により作成されるテンプレートの例示図である。 In the present embodiment, an example of creating a template based on the content of FIG. 2 will be described. FIG. 3 is a view showing an example of a template created by the video processing apparatus based on the content shown in FIG.
表示枠ID301は、図2の各表示枠202〜206に対応する。表示枠ID301の「ID0」は、表示枠202を表す。表示枠ID301の「ID1」は、表示枠203を表す。表示枠ID301の「ID2」は、表示枠204を表す。表示枠ID301の「ID3」は、表示枠205を表す。表示枠ID301の「ID4」は、表示枠206を表す。表示位置302は、表示枠ID301の対応する表示枠202〜206の矩形領域201内(コンテンツ内)の位置をxy座標系により表す。表示サイズ303は、表示枠ID301の対応する表示枠202〜206の矩形領域201内の大きさを表す。
A
選択条件304は、表示枠202〜206の各々に表示可能な素材映像を選択するための条件を表す。選択条件304は、表示可能な素材映像の特徴を表す特徴データに応じて設定される。特徴データの詳細については後述する。図3の例では、表示枠202は、「A」〜「D」の人物が映ることが素材映像を選択するための条件となる。表示枠203は、「A」の人物が映ることが素材映像を選択するための条件となる。表示枠204は、「B」の人物が映ることが素材映像を選択するための条件となる。表示枠205は、「C」の人物が映ることが素材映像を選択するための条件となる。表示枠206は、「D」の人物が映ることが素材映像を選択するための条件となる。
The
図4は、映像処理装置によりコンテンツからテンプレートを作成するための機能ブロック図である。各機能ブロックは、CPU101がROM102からコンピュータプログラムを読み出して実行することで実現されるが、ハードウェアとして構成されてもよい。
FIG. 4 is a functional block diagram for creating a template from content by the video processing apparatus. Each functional block is realized by the
映像処理装置は、記録部401、表示枠解析部402、特徴データ取得部403、関連スコア算出部404、表示枠選択部405、選択条件生成部406、及びテンプレート生成部407を備える。記録部401は、CPU101及び記録媒体104の協働により実現される。表示枠解析部402、特徴データ取得部403、関連スコア算出部404、表示枠選択部405、選択条件生成部406、及びテンプレート生成部407は、CPU101により実現される。
The video processing apparatus includes a
記録部401は、コンテンツ408及びテンプレート409を記録する。コンテンツ408は、テンプレート409の作成に用いられるものの他に、新たに作成されたものも含まれる。テンプレート409は、コンテンツ408に基づいて生成され、新たなコンテンツの生成に用いられる。
The
表示枠解析部402は、コンテンツ408を解析して表示枠の位置及び大きさ等の情報を含む表示枠データを取得する。コンテンツ408がアルバムの場合、表示枠解析部402は、例えばハフ変換を用いて検出した矩形領域を表示枠として、位置及び大きさを取得する。表示枠解析部402は、表示枠の領域をユーザによる入力部105からの入力により受け付けて、位置及び大きさを取得してもよい。表示枠解析部402は、例えば図2のコンテンツから表示枠202〜206の各々の位置及び大きさを取得して表示枠データテーブルを作成し、RAM103に記憶する。
The display
図5は、図2のコンテンツに基づいて作成された表示枠データテーブルの例示図である。表示枠データテーブルは、表示枠ID501に対応して、表示枠202〜206毎の位置(X座標502、Y座標503)、大きさ(幅504、高さ505)が書き込まれる。図5の例では、矩形領域201の左上の頂点を原点として、各表示枠202〜206の位置がxy座標で表される。各表示枠202〜206の位置は、表示枠の左上の頂点の位置で表される。なお、位置は、表示枠202〜206の4つの頂点や中心点で表されてもよい。
FIG. 5 is an exemplary diagram of a display frame data table created based on the content of FIG. In the display frame data table, the position (X coordinate 502, Y coordinate 503) and size (
特徴データ取得部403は、各表示枠202〜206に表示される素材映像の特徴を表す特徴データを取得する。特徴データは、例えば素材映像に付加されるメタデータや、既知の顔認識やシーン検出による結果の少なくとも一つである。特徴データ取得部403は、例えば図2のコンテンツから表示枠202〜206の各々に表示される素材映像の特徴データを取得して特徴データテーブルを作成し、RAM103に記憶する。
The feature
図6は、図2のコンテンツに基づいて作成された特徴データテーブルの例示図である。特徴データテーブルは、表示枠202〜206毎に、特徴データが、対応する表示枠ID701の特徴データ種別702毎の値703として分けて記憶する。図6の例では、特徴データ種別702は、顔認識の結果や素材映像のショットサイズ、撮影日時等である。顔認識の結果は、値703に、認識した人物の画像や特徴点として書き込まれる。ショットサイズは、例えば顔の領域が素材映像に占める割合により決められる。ショットサイズには、例えばクローズアップ、ミドルショット、ロングショットがある。
FIG. 6 is an exemplary diagram of a feature data table created based on the content of FIG. The feature data table stores the feature data separately for each
関連スコア算出部404は、すべての表示枠202〜206について、一の表示枠と他の表示枠との関連度合いを表す関連スコアを算出する。図7(a)は、関連スコアの算出に用いられる特徴データ間の関係と関連スコアとを対応づけたスコアテーブルの例示図、図7(b)は、表示枠202〜206毎の関連スコアを表す関連スコアテーブルの例示図である。スコアテーブル及び関連スコアテーブルは、RAM103に記憶される。関連スコア算出部404は、一の表示枠の特徴データ(特徴データA)と他の表示枠の特徴データ(特徴データB)とに応じた関連スコアをスコアテーブルから読み出す。関連スコア算出部404は、読み出した関連スコアの合計を、関連スコアテーブルに、当該一の表示枠に対応する表示枠ID1005の関連スコア1006として記憶する。図7(a)のスコアテーブルでは、特徴データA1002と特徴データB1003とが同値のものを関連のあるものとしているが、これに限るものではない。例えば、大きく値が異なるものを関連があるとしてもよい。この場合、後述の選択表示枠に選ばれる画像とその他の画像にメリハリがつく。また、同種の特徴データのものを関連があるとしてもよい。
The related
表示枠選択部405は、関連スコアテーブルに基づいて、少なくとも一つの表示枠を選択表示枠として選択する。選択条件生成部406は、表示枠選択部405で選択された選択表示枠と特徴データ取得部403で作成された特徴データテーブルとから、表示枠202〜206毎に、表示可能な素材映像を選択するための選択条件を生成する。テンプレート生成部407は、表示枠解析部402で作成された表示枠データテーブルと選択条件生成部で生成された選択条件とに基づいてテンプレート409を生成して、記録部401に書き込む。テンプレート409には、この他に、選択表示枠に関する情報を含めてもよい。選択表示枠に関する情報を含む場合、例えばユーザの強調表示したい素材映像を選択することで、容易に選択された素材映像を強調するテンプレートを選ぶことが可能になる。ユーザは、テンプレート409を用いることで、容易にコンテンツを作成することが可能となる。
The display
図8は、このような構成の映像処理装置によるテンプレート生成処理を表すフローチャートである。 FIG. 8 is a flowchart showing template generation processing by the video processing apparatus having the above configuration.
CPU101は、所定のアプリケーションの起動、あるいはユーザ操作に応じてテンプレート生成処理を開始すると、記録部401からコンテンツ408を取得する(S801)。表示枠解析部402は、取得したコンテンツを解析して、表示枠データテーブルを生成する(S802)。特徴データ取得部403は、取得したコンテンツから、各表示枠に表示される素材映像の特徴データを取得して、特徴データテーブルを生成する(S803)。
When the
関連スコア算出部404は、コンテンツに含まれるすべての表示枠について、特徴データテーブル及びスコアテーブルにより関連スコアを算出する(S804)。関連スコア算出部404は、算出した関連スコアにより関連スコアテーブルを生成する。表示枠選択部405は、関連スコア算出部404で生成された関連スコアテーブルに基づいて、選択表示枠を選択する(S805)。選択条件生成部406は、選択表示枠の特徴データと他の表示枠の特徴データとの関連に基づいて、選択条件を生成する(S806)。テンプレート生成部407は、表示枠データテーブル及び生成された選択条件により、テンプレートを生成して記録部401に記録する(S807)。以上の処理により、テンプレートが生成される。
The related
図9は、ステップS804の関連スコアの算出処理を表すフローチャートである。関連スコアの算出に際し、CPU101は、変数M、N(M、Nは整数)を設定する。変数M、Nは、コンテンツ内の表示枠を指定するための値である。関連スコア算出部404は、変数Mで指定される表示枠の特徴データと変数(M+N)で指定される表示枠の特徴データとから、各表示枠の関連スコアを算出する。
FIG. 9 is a flowchart showing the related score calculation processing in step S804. In calculating the related score, the
関連スコア算出部404は、変数Mを「0」に設定する(S901)。関連スコア算出部404は、変数Mに応じた表示枠ID701の特徴データを特徴データテーブル(図6参照)から取得する(S902)。ここで取得した特徴データが図7(a)の「特徴データA1002」となる。関連スコア算出部404は、変数Nを「1」に設定する(S903)。関連スコア算出部404は、変数(M+N)に応じた表示枠ID701の特徴データを特徴データテーブル(図6参照)から取得する(S904)。ここで取得した特徴データが図7(a)の「特徴データB1003」となる。
The related
関連スコア算出部404は、スコアテーブル(図7(a)参照)に基づいて、ステップS902、S904で取得した特徴データにより関連スコアを導出する。関連スコア算出部404は、導出した関連スコアを、図7(b)の関連スコアテーブルの変数Mに応じた表示枠ID1005の関連スコア1006及び変数(M+N)に応じた表示枠ID1005の関連スコア1006に加算する(S905)。
The related
関連スコア算出部404は、関連スコアの算出後に、変数Nに「1」加算して(S906)、変数Mと変数Nの和がコンテンツに含まれる表示枠の数より大きいか否かを判断する(S907)。変数Mと変数Nの和が表示枠の数以下の場合(S907:N)、関連スコア算出部404は、ステップS904〜S907の処理を繰り返し行う。ステップS904〜S907の処理を繰り返すことで、変数Mに応じた表示枠の、他のすべての表示枠に対する関連スコアの合計が算出される。
After calculating the related score, the related
変数Mと変数Nの和が表示枠の数より大きい場合(S907:Y)、関連スコア算出部404は、変数Mに「1」加算して(S908)、変数Mがコンテンツに含まれる表示枠の数以上か否かを判断する(S909)。変数Mが表示枠の数未満の場合(S909:N)、関連スコア算出部404は、ステップS902〜S909の処理を繰り返し行う。変数Mが表示枠の数以上の場合(S909:Y)、関連スコア算出部404は、関連スコアの算出処理を終了する。
When the sum of the variable M and the variable N is larger than the number of display frames (S907: Y), the related
なお、ステップS905の関連スコアの算出時に、他のすべての表示枠を対象とせず、近傍の表示枠のみを対象にして関連スコアを算出してもよい。また、予め定められたスコアテーブルに基づいて関連スコアを算出する他に、例えば、一の表示枠と他の表示枠との距離を算出し、その距離に応じて、関連スコアを決定してもよい。また、近傍の表示枠の数に応じて、関連スコアを決定してもよい。関連スコアは、スコアテーブルに設定された値をそのまま用いる他に、表示枠の大きさや位置に応じて値を変更して、関連スコアとしてもよい。 Note that when calculating the related score in step S905, the related score may be calculated only for the nearby display frames without targeting all other display frames. In addition to calculating the related score based on a predetermined score table, for example, the distance between one display frame and another display frame is calculated, and the related score is determined according to the distance. Good. Further, the related score may be determined according to the number of display frames in the vicinity. In addition to using the value set in the score table as it is, the related score may be changed to a related score by changing the value according to the size or position of the display frame.
図10は、ステップS805の選択表示枠の選択処理を表すフローチャートである。本実施形態では、表示枠選択部405は、関連スコアが最も高い表示枠を選択表示枠に選択する。選択表示枠の選択に際し、CPU101は、変数M、tmp、id(M、tmp、idは整数)を設定する。変数Mは、コンテンツ内の表示枠を指定するための値である。tmpは、その時点における関連スコアの最高値を表す。idは、その時点における関連スコアの最高値が設定されている表示枠の表示枠IDを表す。
FIG. 10 is a flowchart showing the selection display frame selection processing in step S805. In the present embodiment, the display
表示枠選択部405は、変数M、tmp、idに「0」を設定する(S1101)。表示枠選択部405は、関連スコアテーブルから、変数Mに応じた表示枠ID1105の関連スコアを関連スコアテーブル(図7(b)参照)から取得する(S1102)。
The display
表示枠選択部405は、変数tmpが、取得した関連スコア以上であるか否かを判断する(S1103)。変数tmpが関連スコア以上の場合(S1103:Y)、表示枠選択部405は、変数Mに「1」加算する(S1105)。変数tmpが関連スコアより小さい場合(S1103:N)、表示枠選択部405は、変数tmpにステップS1102で取得した関連スコアを設定し、変数idに変数Mを設定した後に(S1104)、変数Mに「1」加算する(S1105)。
The display
変数Mを更新した後に表示枠選択部405は、変数Mがコンテンツに含まれる表示枠の数より大きいか否かを判断する(S1106)。変数Mが表示枠の数以下の場合(S1106:N)、表示枠選択部405は、ステップS1102〜S1106の処理を繰り返し行う。変数Mが表示枠の数より大きい場合(S1106:Y)、表示枠選択部405は、変数idに応じた表示枠ID1105に対応する表示枠を選択表示枠に決定する(S1107)。
After updating the variable M, the display
以上により、選択表示枠の選択処理が終了する。なお、選択表示枠は、関連スコアが最大値になる表示枠の他に、例えば、関連スコアが予め定められた閾値以上であれば、複数の表示枠を選択表示枠として選択してもよい。 Thus, the selection display frame selection process ends. In addition to the display frame in which the related score is the maximum value, for example, a plurality of display frames may be selected as the selection display frame if the related score is equal to or greater than a predetermined threshold.
図11は、ステップS806の選択条件の生成処理を表すフローチャートである。選択条件生成に際し、CPU101は、変数M(Mは整数)を設定する。変数Mは、コンテンツ内の表示枠を指定するための値である。選択条件生成部406は、表示枠毎の選択条件を生成する。
FIG. 11 is a flowchart showing the selection condition generation processing in step S806. When generating the selection condition, the
選択条件生成部406は、特徴データテーブル(図6)から、ステップS805で選択した選択表示枠の特徴データを取得する(S1201)。選択条件生成部406は、変数Mに「0」を設定する(S1202)。選択条件生成部406は、変数Mに応じた表示枠ID701の表示枠が選択表示枠であるか否かを判断する(S1203)。
The selection
選択表示枠ではない場合(S1203:N)、選択条件生成部406は、特徴データテーブルから、変数Mに応じた表示枠ID701の特徴データを取得する(S1204)。選択条件生成部406は、スコアテーブル(図7参照)に基づいて、取得した特徴データと選択表示枠の特徴データとに関連があるか否かを判断する(S1205)。この場合、単に関連スコア1004が設定されているか否か以外に、関連スコア1004が予め定められた閾値以上であるか否かを条件に含めてもよい。関連がある場合(S1205:Y)、選択条件生成部406は、関連のある特徴データを、選択表示枠及び変数Mに応じた表示枠ID701の表示枠の各々の選択条件に追加する(S1206)。
When it is not the selection display frame (S1203: N), the selection
変数Mに応じた表示枠ID701の表示枠が選択表示枠である場合(S1203:Y)、特徴データに関連がない場合(S1205:N)、或いは選択条件の追加後に、選択条件生成部406は、変数Mに「1」加算する(S1207)。変数Mを更新した後に選択条件生成部406は、変数Mがコンテンツに含まれる表示枠の数より大きいか否かを判断する(S1208)。変数Mが表示枠の数以下の場合(S1208:N)、表示枠選択部405は、ステップS1203〜S1208の処理を繰り返し行う。変数Mが表示枠の数より大きい場合(S1208:Y)、選択条件生成部406は、選択条件の生成処理を終了する。
When the display frame with the
なお、ステップS1205において特徴データに関連がない場合に、選択条件生成部406は、例えば、選択表示枠の特徴データが含まれないということを選択条件に追加してもよい。
When the feature data is not related in step S1205, the selection
テンプレート生成部407は、以上のようにして生成された選択条件と図5の表示枠データテーブルとから、図3のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツ(図2参照)と同様の構成のコンテンツを作成可能になる。
The
[第2実施形態]
第2実施形態では、選択条件の生成処理が第1実施形態とは異なる。映像処理装置の構成及び選択条件の生成処理以外の処理は、第1実施形態と同様であるので、ここでは説明を省略する。
図12は、第2実施形態の選択条件の生成処理を表すフローチャートである。図11に示す第1実施形態の選択条件の生成処理と同じ処理には、同じステップ番号が割り振られている。同じ処理については説明を省略する。
[Second Embodiment]
In the second embodiment, the selection condition generation process is different from that of the first embodiment. Processes other than the configuration of the video processing apparatus and the selection condition generation process are the same as those in the first embodiment, and thus description thereof is omitted here.
FIG. 12 is a flowchart showing selection condition generation processing according to the second embodiment. The same step number is assigned to the same process as the selection condition generation process of the first embodiment shown in FIG. Description of the same processing is omitted.
特徴データテーブルから変数Mに応じた表示枠ID701の特徴データを取得した選択条件生成部406は、取得した特徴データと選択表示枠の特徴データとが同じ特徴データ種別702を保持しているか否かを判断する(S1301)。同じ特徴データ種別702を保持している場合(S1301:Y)、選択条件生成部406は、変数Mに応じた表示枠ID701の特徴データの同種と判断された値703を選択表示枠の同種の特徴データの値703から見た相対値に変換する。選択条件生成部406は、変換した値を変数Mに応じた表示枠ID701の表示枠の選択条件に追加する(S1302)。例えば、ショットサイズが選択表示枠のショットサイズより大きい等である。
選択条件生成部406は、選択表示枠の選択条件に、同種と判断された特徴データが含まれることを追加する(S1303)。なお、ステップS1301で同種の特徴データ種別702を保持していない場合(S1301:N)、又は選択条件の追加後に、選択条件生成部406は、変数Mに「1」加算する(S1207)。
The selection
The selection
以上のように生成された選択条件を用いて、テンプレート生成部407は、図3のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツと同様の構成のコンテンツを作成可能になる。
Using the selection conditions generated as described above, the
[第3実施形態]
第3実施形態では、映像処理装置が、動画のコンテンツに基づくテンプレートを作成する。図13は、第3実施形態のテンプレートの基となる動画のコンテンツの例示図である。この動画のコンテンツは、表示枠としてシーン1401〜1404を含む。シーン1401は「A」〜「C」で表される人物のグループの映像が表示される。シーン1402は「A」で表される人物の映像が表示される。シーン1403は「B」で表される人物の映像が表示される。シーン1404は「C」で表される人物の映像が表示される。各シーン1401〜1404は、それぞれ所定の時間長の動画である。
[Third Embodiment]
In the third embodiment, the video processing apparatus creates a template based on moving image content. FIG. 13 is a view showing an example of the content of a moving image that is the basis of the template of the third embodiment. This moving image content includes
第3実施形態の映像処理装置の構成は、第1、第2実施形態と同様であるが、機能に若干の相違がある。表示枠解析部402は、コンテンツ中のシーン1401〜1404の解析を行い、各シーン1401〜1404の開始時刻、再生時間等を表示枠データとして取得する。特徴データ取得部403は、シーン1401〜1404毎に特徴データを取得する。取得する特徴データは、第1、第2実施形態と同様である。関連スコア算出部404は、すべてのシーン1401〜1404について、一つのシーンと他のシーンとの関連度合いを表す関連スコアを算出する。表示枠選択部405はコンテンツ中からシーンを選択する。
The configuration of the video processing apparatus of the third embodiment is the same as that of the first and second embodiments, but there are some differences in function. The display
図14は、図13のコンテンツに基づいて作成されるテンプレートの例示図である。シーンID1501は、図13の各シーン1401〜1404を識別するための識別情報である。シーンID1501の「ID0」は、シーン1401に対応する。シーンID1501の「ID1」は、シーン1402に対応する。シーンID1501の「ID2」は、シーン1403に対応する。シーンID1501の「ID3」は、シーン1404に対応する。開始時刻1502は、対応するシーンの開始時刻(前のシーンの終了時刻)を表す。選択条件1503は、シーン1401〜1404の各々に表示可能な素材映像を選択するための条件を表す。
FIG. 14 is a view showing an example of a template created based on the content shown in FIG. The
選択条件1503は、各シーン1401〜1404の特徴データに応じて設定される。本実施形態では、シーン1401〜1404の選択条件1503は、映像に含まれる人物が設定される。図14の例では、シーン1401は、「A」〜「C」の人物が映ることが素材映像を選択するための条件となる。シーン1402は、「A」の人物が映ることが素材映像を選択するための条件となる。シーン1403は、「B」の人物が映ることが素材映像を選択するための条件となる。シーン1404は、「C」の人物が映ることが素材映像を選択するための条件となる。
The
図15は、表示枠解析部402により図13のコンテンツに基づいて作成された表示枠データテーブルの例示図である。表示枠データテーブルは、シーンID601に対応して、シーン1401〜1404毎の開始時刻602及び再生時間603が書き込まれる。表示枠データテーブルに書き込まれる項目は、再生時間603の代わりに終了時刻であってもよい。シーンの検出は、例えば動画のフレーム間の類似度により映像が切り替わるシーンを検出する方法のように、公知の検出方法により行うことができる。
FIG. 15 is an exemplary diagram of a display frame data table created by the display
図16は、図13のコンテンツに基づいて作成された特徴データテーブルの例示図である。特徴データテーブルは、シーン1401〜1404毎に、特徴データが、対応するシーンID1601の特徴データ種別1602毎の値1603、各値1603の開始時刻1604及び終了時刻1605として書き込まれる。図16の例では、特徴データ種別1602は、顔認識の結果や素材映像のショットサイズ、撮影日時等である。顔認識の結果は、値1603に、認識した人物の画像や特徴点として書き込まれる。ショットサイズは、例えば顔の領域が素材映像に占める割合により決められる。ショットサイズには、例えばクローズアップ、ミドルショット、ロングショットがある。
FIG. 16 is an exemplary diagram of a feature data table created based on the content of FIG. In the feature data table, for each
終了時刻1605は、表示枠データテーブルの開始時刻602及び再生時間603から算出される。なお、特徴データ取得部403は、開始時刻1604及び終了時刻1605で区切られる検出区間(再生時間)と対応づけられる他に、例えば予め定められた時間以上の検出区間の特徴データのみを取得の対象としてもよい。
The
第3実施形態においてもテンプレートの生成は、第1実施形態の図8の手順で行われる。第3実施形態は、第1実施形態とは、ステップS804の関連スコアの算出処理及びステップS806の選択条件の生成処理が異なる。ここでは、異なる処理について説明し、同様の処理についての説明は省略する。 Also in the third embodiment, the template is generated according to the procedure of FIG. 8 of the first embodiment. The third embodiment is different from the first embodiment in the related score calculation process in step S804 and the selection condition generation process in step S806. Here, different processes will be described, and description of similar processes will be omitted.
図17は、図8のステップS804の関連スコアの算出処理を表すフローチャートである。 FIG. 17 is a flowchart showing the related score calculation processing in step S804 of FIG.
関連スコア算出部404は、変数Mに応じたシーンID1601の特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを特徴データテーブル(図16参照)から取得する(S1701)。ここで取得した特徴データが図7(a)の「特徴データA1002」となる。
また、関連スコア算出部404は、変数(M+N)に応じたシーンID1601の特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを特徴データテーブル(図16参照)から取得する(S1702)。ここで取得した特徴データが図7(a)の「特徴データB1003」となる。
The related
In addition, the related
関連スコア算出部404は、取得した特徴データA及び特徴データBにより、スコアテーブル(図7(a)参照)に基づいて関連スコアを導出する。関連スコア算出部404は、導出した関連スコアを、関連スコアテーブルの変数Mに応じたシーンIDの関連スコア及び変数(M+N)に応じたシーンIDの関連スコアに加算する(S905)。
The related
関連スコア算出部404は、すべてのシーンに対して、以上のような処理を行い、関連スコアを算出する。なお、関連スコア算出部404は、検出区間の条件を設けずに、すべての特徴データを取得するようにしてもよい。
The related
図18は、図8のステップS806の選択条件の生成処理を表すフローチャートである。なお、第3実施形態では、図8のステップS805において、表示枠に代えてシーンを選択する。選択されたシーンは、選択シーンとなる。 FIG. 18 is a flowchart showing the selection condition generation processing in step S806 of FIG. In the third embodiment, a scene is selected instead of the display frame in step S805 of FIG. The selected scene becomes the selected scene.
選択条件生成部406は、選択シーンの特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを取得する(S1801)。また、選択条件生成部406は、特徴データテーブルから、変数Mに応じたシーンIDのシーンの特徴データの内、予め定められた時間以上の検出区間を持つ特徴データを取得する(S1802)。選択条件生成部406は、取得した特徴データにより、関連のある特徴データを選択条件に追加する。選択条件生成部406は、すべてのシーンに対して以上のような処理を行い、選択条件を生成する。
The selection
なお、選択条件生成部406は、検出区間の条件を設けずに、すべての特徴データを取得するようにしてもよい。また、選択条件生成部406は、ステップS1206において特徴データのみを選択条件に追加しているが、この他に、例えば、検出区間となる時間も選択条件として加えてもよい。
Note that the selection
テンプレート生成部407は、以上のようにして生成された選択条件と図15の表示枠データテーブルとから、図14のテンプレートを生成する。このテンプレートにより、ユーザは、容易に基となったコンテンツ(図13参照)と同様の構成のコンテンツを作成可能になる。
The
以上の各実施形態では、人物認識の特徴データを例に説明したが、これに限るものではない。 In each of the above embodiments, the feature data of person recognition has been described as an example, but the present invention is not limited to this.
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPU、MPU等)がプログラムを読み出して実行する処理である。
[Other Embodiments]
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
101…CPU、102…ROM、103…RAM、104…記録媒体、105…入力部、106…出力部、401…記録部、402…表示枠解析部、403…特徴データ取得部、404…関連スコア算出部、405…表示枠選択部、406…選択条件生成部、407…テンプレート生成部 101 ... CPU, 102 ... ROM, 103 ... RAM, 104 ... recording medium, 105 ... input unit, 106 ... output unit, 401 ... recording unit, 402 ... display frame analysis unit, 403 ... feature data acquisition unit, 404 ... related score Calculation unit, 405 ... display frame selection unit, 406 ... selection condition generation unit, 407 ... template generation unit
Claims (13)
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段と、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段と、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段と、を備えることを特徴とする、
映像処理装置。 Display frame analysis means for analyzing a display frame in which the material video is displayed from content configured by combining material video, and obtaining display frame data related to the display frame;
For each display frame, feature data acquisition means for acquiring feature data representing the characteristics of the material video to be displayed;
Based on feature data of one display frame and feature data of another display frame, a selection condition for selecting a material video that can be displayed in the one display frame and a material video that can be displayed in the other display frame Selection condition generating means for generating a selection condition for selecting
Template generating means for generating a template of the content including the display frame data and the selection condition,
Video processing device.
前記関連スコアに基づいて少なくとも一つの表示枠を選択する表示枠選択手段と、を備え、
前記選択条件生成手段は、前記表示枠選択手段で選択された表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記選択された表示枠に表示する素材映像の選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成することを特徴とする、
請求項1記載の映像処理装置。 For each display frame, based on each feature data, a related score calculation unit that calculates a related score representing a degree of association with another display frame;
Display frame selection means for selecting at least one display frame based on the related score,
The selection condition generating means is based on the feature data of the display frame selected by the display frame selection means and the feature data of other display frames, and the selection condition of the material video to be displayed in the selected display frame, and Generating a selection condition for selecting a material video that can be displayed in another display frame;
The video processing apparatus according to claim 1.
請求項1又は2記載の映像処理装置。 The display frame analysis means acquires the position and size of the display frame as the display frame data,
The video processing apparatus according to claim 1 or 2.
請求項1又は2記載の映像処理装置。 The display frame analysis means acquires the start time and playback time of the material video displayed in the display frame as the display frame data,
The video processing apparatus according to claim 1 or 2.
請求項4記載の映像処理装置。 The feature data acquisition means acquires the feature data of a material video that is longer than a predetermined time for the playback time,
The video processing apparatus according to claim 4.
請求項5記載の映像処理装置。 The selection condition generating means includes feature data of a material video whose playback time of the one display frame is longer than a predetermined time, and a material video whose playback time of the other display frame is longer than a predetermined time Generating the selection condition for the one display frame and the selection condition for the other display frame based on the feature data of
The video processing apparatus according to claim 5.
請求項1〜6のいずれか1項記載の映像処理装置。 The selection condition generation means determines a relationship between the feature data of the one display frame and the feature data of the other display frame based on a predetermined relationship between the feature data, and the one of the one display frame according to the result. Generating a selection condition for the display frame and a selection condition for the other display frame,
The video processing apparatus of any one of Claims 1-6.
請求項7記載の映像処理装置。 When the feature data of the one display frame and the feature data of the other display frame are of the same type, the selection condition generating means uses the feature data of the other display frame as the selection condition of the one display frame. It is characterized by
The video processing apparatus according to claim 7.
請求項7記載の映像処理装置。 The selection condition generation means, when the feature data of the one display frame and the feature data of the other display frame are the same, the feature data of the other display frame as the selection condition of the one display frame. It is characterized by
The video processing apparatus according to claim 7.
請求項7記載の映像処理装置。 The selection condition generating means sets the feature data of the other display frame as the selection condition of the one display frame when the feature data of the one display frame is different from the feature data of the other display frame. Characterized by the
The video processing apparatus according to claim 7.
請求項1〜10のいずれか1項記載の映像処理装置。 The feature data acquisition means acquires at least one of metadata added to the material video, a face recognition result of the material video, and a scene detection result of the material video as the feature data. To
The video processing apparatus of any one of Claims 1-10.
前記記録手段から前記コンテンツを取得して、当該コンテンツから、前記素材映像が表示される表示枠を解析し、前記表示枠に関する表示枠データを取得するステップと、
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得するステップと、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成するステップと、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するステップと、を含むことを特徴とする、
テンプレート生成方法。 A method executed by an information processing apparatus having a recording means for recording content configured by combining material videos,
Acquiring the content from the recording means, analyzing a display frame in which the material video is displayed from the content, and obtaining display frame data related to the display frame;
Obtaining feature data representing features of the displayed material video for each display frame;
Based on feature data of one display frame and feature data of another display frame, a selection condition for selecting a material video that can be displayed in the one display frame and a material video that can be displayed in the other display frame Generating a selection condition for selecting
Generating a template for the content including the display frame data and the selection condition,
Template generation method.
前記記録手段から前記コンテンツを取得して、当該コンテンツから、前記素材映像が表示される表示枠を解析し、前記表示枠に関する表示枠データを取得する表示枠解析手段、
前記表示枠毎に、表示される前記素材映像の特徴を表す特徴データを取得する特徴データ取得手段、
一の表示枠の特徴データと他の表示枠の特徴データとに基づいて、前記一の表示枠に表示可能な素材映像を選択するための選択条件及び前記他の表示枠に表示可能な素材映像を選択するための選択条件を生成する選択条件生成手段、
前記表示枠データ及び前記選択条件を含む前記コンテンツのテンプレートを生成するテンプレート生成手段、
として機能させるためのコンピュータプログラム。 A computer equipped with a recording means for recording content configured by combining material images,
Display frame analysis means for acquiring the content from the recording means, analyzing a display frame in which the material video is displayed from the content, and acquiring display frame data relating to the display frame;
Feature data acquisition means for acquiring feature data representing the characteristics of the displayed material video for each display frame;
Based on feature data of one display frame and feature data of another display frame, a selection condition for selecting a material video that can be displayed in the one display frame and a material video that can be displayed in the other display frame Selection condition generating means for generating a selection condition for selecting
A template generating means for generating a template of the content including the display frame data and the selection condition;
Computer program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014233559A JP2016099651A (en) | 2014-11-18 | 2014-11-18 | Video processing device, template generation method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014233559A JP2016099651A (en) | 2014-11-18 | 2014-11-18 | Video processing device, template generation method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016099651A true JP2016099651A (en) | 2016-05-30 |
Family
ID=56076125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014233559A Pending JP2016099651A (en) | 2014-11-18 | 2014-11-18 | Video processing device, template generation method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016099651A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019227431A1 (en) * | 2018-05-31 | 2019-12-05 | 优视科技新加坡有限公司 | Template sharing method used for generating multimedia content, apparatus and terminal device |
CN117009574A (en) * | 2023-07-20 | 2023-11-07 | 天翼爱音乐文化科技有限公司 | Hot spot video template generation method, system, equipment and storage medium |
-
2014
- 2014-11-18 JP JP2014233559A patent/JP2016099651A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019227431A1 (en) * | 2018-05-31 | 2019-12-05 | 优视科技新加坡有限公司 | Template sharing method used for generating multimedia content, apparatus and terminal device |
CN117009574A (en) * | 2023-07-20 | 2023-11-07 | 天翼爱音乐文化科技有限公司 | Hot spot video template generation method, system, equipment and storage medium |
CN117009574B (en) * | 2023-07-20 | 2024-05-28 | 天翼爱音乐文化科技有限公司 | Hot spot video template generation method, system, equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW201119368A (en) | Image processing device, image processing method, and computer program | |
JP2013033453A (en) | Image processor, image processing method, and image processing program | |
JP2013246633A (en) | Electronic apparatus, handwriting document creation method, and handwriting document creation program | |
JP2017162434A (en) | Method, program and device for generating web-based copy of document | |
US20140351718A1 (en) | Information processing device, information processing method, and computer-readable medium | |
JP6841519B2 (en) | Methods and Electronic Devices for Creating Digital Signatures | |
US20160316081A1 (en) | Augmented reality operation system, and non-transitory computer-readable recording medium storing augmented reality operation program | |
US11163503B2 (en) | Control method, image processing apparatus, and non-transitory computer-readable storage medium | |
US20160124634A1 (en) | Electronic blackboard apparatus and controlling method thereof | |
JP2014149634A (en) | Input/output device | |
JP2012038286A (en) | Content analyzing apparatus, method and program | |
JP2016099651A (en) | Video processing device, template generation method, and computer program | |
JP2015095066A (en) | Information processing apparatus and information processing program | |
JP2014067148A (en) | Handwritten document processor and handwritten document processing method and program | |
JP2018055256A (en) | Information processing apparatus, information processing method, and program | |
JP2017084304A (en) | Image display device and image display method | |
US20130251334A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium storing information processing program | |
US9912834B2 (en) | Document camera device and cutout assistance method | |
JP6683925B2 (en) | Sticking device, sticking method, and sticking processing program | |
US20130104014A1 (en) | Viewer unit, server unit, display control method, digital comic editing method and non-transitory computer-readable medium | |
JP2019148649A (en) | Image processing apparatus, control method, and program | |
JP2015203933A (en) | content extraction device and content extraction method | |
JP2020149581A (en) | Information processor, information processing method, program and storage medium | |
US9477879B2 (en) | Information processing apparatus, information processing method, and storage medium for obtaining a relationship between pieces of contents from use history information about the contents | |
JP6142744B2 (en) | Terminal device, print system, selection method, and control program |