JP6019647B2 - Information processing apparatus, still image frame extraction method, and program - Google Patents
Information processing apparatus, still image frame extraction method, and program Download PDFInfo
- Publication number
- JP6019647B2 JP6019647B2 JP2012064523A JP2012064523A JP6019647B2 JP 6019647 B2 JP6019647 B2 JP 6019647B2 JP 2012064523 A JP2012064523 A JP 2012064523A JP 2012064523 A JP2012064523 A JP 2012064523A JP 6019647 B2 JP6019647 B2 JP 6019647B2
- Authority
- JP
- Japan
- Prior art keywords
- still image
- extraction
- image frames
- frames
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
本発明は、複数枚の連続した静止画フレームを含む動画から動きの大きな所定枚数の静止画フレームを抽出する情報処理装置、静止画フレーム抽出方法及びプログラムに関する。 The present invention relates to an information processing apparatus, a still image frame extraction method, and a program for extracting a predetermined number of still image frames with large motion from a moving image including a plurality of continuous still image frames.
デジタル技術の発展に伴い撮像した画像をデジタルデータで管理する近年では、撮像した画像を加工する機能が組み込まれた撮像装置が知られており、例えば、モーションプリント(登録商標)機能を有するデジタルスチルカメラが知られている。なお、モーションプリント機能とは、所定のフレームレートで撮像した動画から1又は複数の静止画フレームを抽出して1枚の静止画の画像データを生成する機能である。 In recent years, digital images are used to manage captured images with the development of digital technology. In recent years, imaging devices incorporating functions for processing captured images are known. For example, digital stills having a motion print (registered trademark) function are known. The camera is known. Note that the motion print function is a function for extracting one or a plurality of still image frames from a moving image captured at a predetermined frame rate and generating image data of one still image.
動画から複数の静止画フレームを抽出する方法としては、例えば、動画を構成する複数の静止画フレームを時間的に等間隔で抽出する方法が知られている。しかしながら、このような方法では、動きの少ない時間帯の多い動画では同じような静止画フレームばかり抽出されてしまう。 As a method of extracting a plurality of still image frames from a moving image, for example, a method of extracting a plurality of still image frames constituting a moving image at equal intervals in time is known. However, in such a method, only a similar still image frame is extracted for a moving image with a small amount of movement and a long time zone.
そのため、近年では、隣接する静止画フレーム間で動き(変化)の大きい静止画フレームを抽出する方法も知られている(特許文献1,2)。
ここで、動画を構成する複数の静止画フレームの中に動きの大きい静止画フレームが多く含まれると、想定よりも多くの静止画フレームが抽出されてしまう。そのため、特許文献1,2には、抽出する静止画フレームの数を調整する機能も開示されている。例えば、特許文献1には、抽出した静止画フレームのうち似通った静止画フレームを1つにまとめ、抽出数を減らすことが開示され、特許文献2には、動きの大きい順に所定枚数(20枚)の静止画フレームを抽出することが開示されている。
Therefore, in recent years, a method of extracting a still image frame having a large motion (change) between adjacent still image frames is also known (
Here, if a large number of still image frames with large motion are included in a plurality of still image frames constituting a moving image, more still image frames than expected are extracted. For this reason,
しかしながら、特許文献1のように似通った静止画フレームを1つにまとめる場合、抽出した多くの静止画フレームの中に似通った静止画フレームが含まれない限り、抽出数を減らすことができない。更に、特許文献1の方法では、似通った静止画フレームを特定するといった画像認識を行わなければならず、複雑な処理が必要になり、装置の高額化や反応速度の低下につながる。
また、特許文献2のように動きの大きい順に所定枚数抽出する場合、動きの大きい時間帯に偏りのある動画、例えば60分間の動画で最後の5分間だけ動きの大きい動画では、抽出される静止画フレームの動画中の位置が偏ってしまい、動画全体を表す静止画フレームを適切に抽出できない可能性がある。
However, when similar still image frames are combined into one as in
In addition, when extracting a predetermined number of images in descending order of movement as in Patent Document 2, a still picture that is extracted in a moving picture that is biased in a time zone in which movement is large, for example, a moving picture that is 60 minutes and has a large movement for the last 5 minutes. There is a possibility that the position of the image frame in the moving image is biased and the still image frame representing the entire moving image cannot be extracted properly.
本発明は、このような状況に鑑みてなされたものであり、複雑な処理を必要とすることなく動画全体を代表するより適切な静止画フレームを抽出する情報処理装置、静止画フレーム抽出方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such a situation, and an information processing apparatus, a still image frame extraction method, and a method for extracting a more appropriate still image frame that represents the entire moving image without requiring complicated processing. The purpose is to provide a program.
本発明に係る端末制御システムは、複数枚の連続した静止画フレームを含む動画から動きの大きな所定枚数の静止画フレームを抽出する情報処理装置において、
隣接する静止画フレームを比較することで、静止画フレームごとに動きの量を算出するベクトル算出手段と、
前記ベクトル算出手段が算出した前記動きの量が所定の閾値を超える静止画フレームを抽出候補の静止画フレームとして選択する画像選択手段と、
前記画像選択手段により選択された前記抽出候補の静止画フレームの総数が前記所定枚数を超えることを条件に、前記動画中の前記抽出候補が密集して存在する区間は該動画中の他の区間よりも大きい抽出間隔を設定する抽出間隔設定手段と、
前記動画における前記抽出候補の静止画フレームから、前記抽出間隔設定手段が設定した抽出間隔に従い、前記所定枚数の静止画フレームを抽出する抽出手段と、
を備えることを特徴とする。
A terminal control system according to the present invention is an information processing apparatus that extracts a predetermined number of still image frames with a large movement from a moving image including a plurality of continuous still image frames.
A vector calculation means for calculating the amount of movement for each still image frame by comparing adjacent still image frames;
Image selection means for selecting still image frames in which the amount of motion calculated by the vector calculation means exceeds a predetermined threshold as extraction candidate still image frames;
On the condition that the total number of still image frames of the extraction candidates selected by the image selection means exceeds the predetermined number, a section where the extraction candidates in the moving image are densely present is another section in the moving image. Extraction interval setting means for setting a larger extraction interval,
Extracting means for extracting the predetermined number of still image frames from the extraction candidate still image frames in the moving image according to the extraction interval set by the extraction interval setting means;
It is characterized by providing.
本発明によれば、複雑な処理を必要とすることなく動画全体を代表するより適切な静止画フレームを抽出することができる。 According to the present invention, it is possible to extract a more appropriate still image frame that represents the entire moving image without requiring complicated processing.
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の一実施形態に係る情報処理装置1のハードウェアの構成を示すブロック図である。情報処理装置1は、例えばデジタルスチルカメラとして構成される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a hardware configuration of an
情報処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、表示部16と、入力部17と、撮像部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
The
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムにしたがって各種の処理を実行する。
The
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、表示部16、入力部17、撮像部18、記憶部19、通信部20及びドライブ21が接続されている。
The
表示部16は、ディスプレイにより構成され、撮像部18により撮像された画像や動画等を表示する。
入力部17は、ユーザの指示操作に応じて各種情報を入力する。
The
The
撮像部18は、撮像素子やAFE(Analog Front End)等から構成される光学式のカメラである。
撮像素子は、本実施形態ではCMOS(Complementary Metal Oxide Semiconductor)センサ型の光電変換素子から構成される。撮像素子には、ベイヤ配列等の色フィルタが装着されている。撮像素子は、一定時間ごとに、その間に入射されて蓄積された被写体像の光信号を光電変換(撮像)して、その結果得られるアナログの電気信号をAFEに順次供給する。AFEは、当該アナログの電気信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部18の出力信号として出力する。
ここで、本実施形態における撮像部18は、静止画に加え、所定のフレームレートの動画を撮像可能に構成される。以下、静止画を表すデジタル信号を「画像データ」と呼び、動画を表すデジタル信号を「動画データ」と呼ぶ。なお、動画データには、動画を構成するフレーム単位の静止画の画像データ(以下、「静止画フレーム」と呼ぶ)が含まれるものとする。撮像部18から出力された画像データや動画データは、自動的に又はユーザの指示に応じて記憶部19に記憶され、CPU11等により適宜読み出される。
The
In the present embodiment, the imaging element is configured by a CMOS (Complementary Metal Oxide Semiconductor) sensor type photoelectric conversion element. The image sensor is provided with a color filter such as a Bayer array. The image sensor photoelectrically converts (captures) an optical signal of a subject image incident and accumulated during a certain time interval, and sequentially supplies an analog electric signal obtained as a result to the AFE. The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog electric signal, and outputs the resulting digital signal as an output signal of the
Here, the
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種の画像データの他、アプリケーションプログラム等の各種プログラム等を記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The
The
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア41が適宜装着される。ドライブ21によってリムーバブルメディア41から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア41は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
A
図2は、このような情報処理装置1の機能的構成のうちモーションプリント処理、即ち所定のフレームレートで撮像した動画から1又は複数の静止画フレームを抽出して1枚の静止画の画像データを生成する処理、を実行するための機能的構成を示す機能ブロック図である。なお、本実施形態では、モーションプリント処理において、動画から9枚の静止画フレームを抽出して1枚の静止画の画像データを生成することとしている。以下において、モーションプリント処理において生成された1枚の静止画の画像データを「モーションプリント画像」と呼ぶことがある。
FIG. 2 shows a motion print process of the functional configuration of the
CPU11においては、モーションプリント処理の実行が制御される場合、動画取得部111と、ベクトル算出部112と、画像選択部113と、閾値調整部114と、設定部115と、抽出間隔設定部116と、抽出部117と、が機能する。
In the
動画取得部111は、動画データを記憶する記憶部19やリムーバブルメディア41から、動画データを取得する。動画取得部111が取得した動画データは、モーションプリント処理の対象として、ベクトル算出部112乃至抽出部117に供給される。
The moving
ベクトル算出部112は、動画データを構成する静止画フレームを抽出し、隣接する静止画フレームを比較することで、静止画フレームごとに動きの量(以下、「ベクトル」と呼ぶ)を算出する。なお、隣接する静止画フレームとは、動画を構成する連続的な静止画フレームのうちのn枚目(nは1以上の整数値)の静止画フレームと、n−1(又はn+1)枚目の静止画フレームとをいう。
静止画フレームのベクトルを算出する方法は、これまで公知の方法を採用することができ、例えば、処理対象(n枚目)の静止画フレームを所定数の領域に分割した上で当該領域ごとに特徴点を算出し、隣接する静止画フレームにおいて当該特徴点がどの様に移動したかを算出することで行う。即ち、n枚目の静止画フレームの中から複数の特徴点を検出すると、検出したn枚目の静止画フレームの特徴点の中からn−1枚目の静止画フレームの特徴点と対応する対応点を特定し、n−1枚目の静止画フレームの特徴点からn枚目の静止画フレームの対応点までのベクトルを算出することで行う。
The
As a method for calculating a vector of still image frames, a publicly known method can be employed. For example, after dividing a still image frame to be processed (nth image) into a predetermined number of regions, This is done by calculating feature points and calculating how the feature points have moved in adjacent still image frames. That is, when a plurality of feature points are detected from the nth still image frame, the feature points correspond to the feature points of the n−1th still image frame among the detected feature points of the nth still image frame. The corresponding point is specified, and a vector from the feature point of the (n-1) th still image frame to the corresponding point of the nth still image frame is calculated.
画像選択部113は、ベクトル算出部112が算出したベクトルが所定の閾値を超える静止画フレームを抽出候補の静止画フレーム(以下「マーキングフレーム」と呼ぶ。)として選択する。即ち、画像選択部113は、動画データを構成する静止画フレームのうち、動きの大きい静止画フレームをマーキングフレームとして選択する。
ところで、動画中の静止画フレームの動きは動画の種別によって異なり、動きの小さな動画もあれば、動きの大きな動画もある。例えば、定点カメラによる風景動画等は動きの小さな動画であり、スポーツ中継等の動画は動きの大きな動画である。そのため、様々な種別の動画に対応すべく、動きの大きさを判別する所定の閾値は適宜調整可能とすることが好ましい。
The
By the way, the motion of a still image frame in a moving image varies depending on the type of the moving image, and there is a moving image with a small movement and a moving image with a large movement. For example, a landscape video or the like by a fixed-point camera is a video with a small motion, and a video such as a sports broadcast is a video with a large motion. For this reason, it is preferable that the predetermined threshold value for determining the magnitude of the motion can be adjusted as appropriate in order to support various types of moving images.
閾値調整部114は、この所定の閾値を適宜調整する。一例として、閾値調整部114は、画像選択部113により選択されたマーキングフレームの数が少なすぎる場合には閾値を下げ、より多くの静止画フレームがマーキングフレームとして選択されるように所定の閾値の調整を行う。他方、閾値調整部114は、画像選択部113により選択されたマーキングフレームの数が多すぎる場合には閾値を上げ、選択されるマーキングフレームを絞り込むように所定の閾値の調整を行う。言い換えると、閾値調整部114は、マーキングフレーム数がMin値(最小値)未満である場合に閾値を下げ、マーキングフレーム数がMax値(最大値)を超える場合に閾値を上げる。
閾値調整部114が閾値の調整を行うと、画像選択部113は、調整された所定の閾値に基づいてマーキングフレームの選択を再度行う。
ところで、所定の閾値に基づいてマーキングフレームを選択する構成では、選択されるマーキングフレーム数は、動画の長さに略比例する。例えば、同じスポーツを撮像した30分の動画と60分の動画とを比較すると、60分の動画からは30分の動画の約2倍の数のマーキングフレームが選択されることになる。その結果、動画が長いほど閾値の調整やマーキングフレームの選択が繰り返されることになり、処理負担が増大する。
The
When the
By the way, in the configuration in which marking frames are selected based on a predetermined threshold, the number of marking frames to be selected is approximately proportional to the length of the moving image. For example, when comparing a 30-minute moving image and a 60-minute moving image capturing the same sport, marking frames that are approximately twice as many as the 30-minute moving image are selected from the 60-minute moving image. As a result, the adjustment of the threshold value and the selection of the marking frame are repeated as the moving image becomes longer, and the processing load increases.
そこで、設定部115は、動画の全長に応じて、マーキングフレームとして選択可能な静止画フレームの許可数(Min値及びMax値)を設定することとしてもよい。具体的には、設定部115は、動画の全長が短い場合にはMin値及びMax値を低く設定し、動画の全長が長い場合にはMin値及びMax値を高く設定する。なお、動画の全長とは、動画の時間的な長さであってもよく、また、動画を構成する総フレーム数であってもよい。また、本実施形態では、最終的に9枚の静止画フレームを抽出することから、Min値は9以上であることが好ましい。
このように、動画の全長に応じてMin値及びMax値を設定することで、閾値の調整やマーキングフレームの選択の繰り返しを低減することができる。
Therefore, the
As described above, by setting the Min value and the Max value according to the entire length of the moving image, it is possible to reduce repetition of adjustment of the threshold and selection of the marking frame.
抽出間隔設定部116は、画像選択部113により選択されたマーキングフレームから最終的に抽出する9枚の静止画フレームを抽出するための抽出条件を設定する。ここで、本実施形態では、抽出条件として、マーキングフレームから9枚の静止画フレームを抽出する間隔(以下、「スキップ数」と呼ぶ)を設定することとしている。なお、抽出間隔設定部116によるスキップ数の設定の詳細は、図4で後述する。
The extraction
抽出部117は、抽出間隔設定部116が設定したスキップ数に基づいて、画像選択部113により選択されたマーキングフレームから9枚の静止画フレームを抽出する。例えば、スキップ数「2」マーキングフレーム数「18」とした場合、抽出部117は、18枚のマーキングフレームの動画における出現順序に応じて9枚の静止画フレームを2枚間隔で抽出する。即ち、1番目や3番目等の奇数番目に出現するマーキングフレームを抽出せず、2番目や4番目等の偶数番目に出現するマーキングフレームを抽出することで9枚の静止画フレームを抽出する。もちろん、奇数番目に出現するマーキングフレームを抽出し、偶数番目に出現するマーキングフレームを抽出しないこととしてもよい。
抽出部117により抽出された9枚の静止画フレームは、記憶部19に記憶され、CPU11等の制御のもと表示部16に適宜表示される。
The
The nine still image frames extracted by the
続いて、モーションプリント処理の実行機能について、図3及び図4を参照して具体的に説明する。図3は、画像選択部113の機能を説明するための図であり、図4は、抽出間隔設定部116の機能を説明するための図である。
Next, the execution function of the motion print process will be specifically described with reference to FIGS. FIG. 3 is a diagram for explaining the function of the
マーキングフレームを選択する画像選択部113には、ベクトル算出部112から静止画フレームのベクトルが供給される。一例として、画像選択部113には、図3(A)に示すような静止画フレームの領域ごとの特徴点のベクトルが供給される。
図3(B)を参照して、画像選択部113は、特徴点のベクトルの大きさを領域ごとに判定し、所定値以上の大きさのベクトルが算出された領域の数を特定する。
続いて、図3(C)を参照して、画像選択部113は、特定した領域の数が判定値を超えるものである否かを判定する。このとき、画像選択部113は、判定値を超える場合に当該静止画フレームをマーキングフレームとして選択し、判定値以下である場合に当該静止画フレームをマーキングフレームとして選択しない。
A vector of a still image frame is supplied from the
Referring to FIG. 3B, the
Subsequently, with reference to FIG. 3C, the
以上のように、画像選択部113は、ベクトルの大きさが所定値以上である領域の数に基づいて、マーキングフレームを選択する。そのため、画像選択部113がマーキングフレームを選択する基準となる所定の閾値は、領域ごとのベクトルの大きさ(所定値)を用いることとしてもよく、また、領域の数(判定値)を用いることとしてもよく、また、両者を用いることとしてもよい。
なお、図3に示すマーキングフレームの選択は、一例に過ぎずその他の任意の方法により選択することを妨げるものではない。即ち、例えば、領域ごとのベクトルから静止画フレーム全体のベクトルを算出し、当該全体のベクトルの大きさに基づいてマーキングフレームを選択することとしてもよい。
As described above, the
Note that the selection of the marking frame shown in FIG. 3 is merely an example and does not preclude selection by any other method. That is, for example, the vector of the entire still image frame may be calculated from the vector for each region, and the marking frame may be selected based on the size of the entire vector.
続いて、図4を参照して、抽出間隔設定部116によるスキップ数の設定について説明する。本実施形態における抽出間隔設定部116は、略均等間隔のスキップ数(図4(A))や、マーキングフレームの動画中の密集度合いに応じたスキップ数(図4(B))や、動画中の出現位置に応じたスキップ数(図4(C))を設定する。
Next, setting of the number of skips by the extraction
図4(A)を参照して、略均等間隔のスキップ数を設定する場合、抽出間隔設定部116は、画像選択部113が選択したマーキングフレーム数を最終的に抽出する静止画フレームの数(以下、「抽出数」と呼ぶ)で除算した値をスキップ数として設定する。このように設定されたスキップ数を用いてマーキングフレームから9枚の静止画フレームを抽出することで、動きの大きな静止画フレームを動画全体から抽出することができる。
ところで、図4(A)(a)のようにスキップ数が整数値である場合には均等間隔で静止画フレームを抽出することができるものの、マーキングフレーム数によっては図4(A)(b)のようにスキップ数に端数が生じる場合がある。このような場合には、抽出部117は、略均等間隔になるように適宜スキップ数m(mは整数値で、m<スキップ数<m+1の関係を満たす)とスキップ数m+1とを用いて静止画フレームを抽出する。
Referring to FIG. 4A, when setting the number of skips at substantially equal intervals, the extraction
By the way, when the number of skips is an integer value as shown in FIGS. 4A and 4A, still image frames can be extracted at equal intervals, but depending on the number of marking frames, FIGS. In some cases, a fraction is generated in the skip number. In such a case, the
図4(B)を参照して、マーキングフレームの密集度合いに応じてスキップ数を設定する場合、図4(B)(a)に示すように抽出間隔設定部116は、初めに、動画中にマーキングフレームの密集部分があるか否かを判定し、その位置を特定する。密集部分の特定は、任意の方法により行うことができ、例えば、抽出間隔設定部116は、任意の時間内の総フレーム数に対してマーキングフレーム数が所定割合以上である時間帯を密集部分として特定する。
抽出間隔設定部116は、密集部分を特定すると図4(B)(b)に示すように、密集度合いに応じてスキップ数を設定する。ここで、図4(B)(b)では、密集部分のみに略均等間隔のスキップ数を設定することとしている。即ち、密集部分以外に6枚のマーキングフレームがあることから、密集部分から3枚の静止画フレームを抽出するようにスキップ数を6と設定している。その結果、抽出部117は、密集部分以外からは1枚間隔で静止画フレームを抽出し、密集部分からは6枚間隔で静止画フレームを抽出する。このように密集度合いに応じてスキップ数を設定することで、動画中の一連の場面(シーン)から多数の静止画フレームを抽出することがないため、動画全体を代表する適切な静止画フレームを抽出することができる。
なお、図4(B)(b)では、密集部分以外のマーキングフレームを全て抽出することとしているがこれに限られるものではない。密集部分のマーキングフレームよりも密集部分以外のマーキングフレームを抽出し易ければ足り、密集部分以外について1を超えるスキップ数を設定することとしてもよい。即ち、密集部分に応じたスキップ数とは、密集部分ほど大きな間隔のスキップ数を設定することを意味し、密集部分のみにスキップ数を設定することではない。
Referring to FIG. 4B, when setting the number of skips according to the density of marking frames, as shown in FIGS. 4B and 4A, the extraction
The extraction
In FIGS. 4B and 4B, all marking frames other than the dense part are extracted. However, the present invention is not limited to this. It is sufficient to extract marking frames other than the dense part than the dense frames, and it is also possible to set the number of skips exceeding 1 for other parts than the dense part. That is, the number of skips corresponding to a dense part means that the number of skips with a larger interval is set for a dense part, not the number of skips only for a dense part.
図4(C)を参照して、動画中の出現位置に応じたスキップ数を設定する場合、図4(C)(a)に示すように、抽出間隔設定部116は、初めに、動画を所定範囲に区分けし、マーキングフレームの動画中の出現位置に基づいて当該所定範囲内に属するマーキングフレームを特定する。動画の区分けは、任意に設定することができ、例えば、前後半のように動画を時間的に区分けすることとしてもよく、また、動画の場面(シーン)に応じて区分けすることとしてもよい。なお、図4(C)(a)では、時間的に動画の前半、中盤、後半の3つに区分けすることとしている。
抽出間隔設定部116は、区分けした所定範囲に属するマーキングフレームを特定すると図4(C)(b)に示すように、属するマーキングフレーム数に応じて所定範囲ごとにスキップ数を設定する。図4(C)のように動画を3つの所定範囲に区分けする場合には、例えば、夫々の所定範囲から3枚の静止画フレームを抽出するスキップ数を設定する。図4(C)(b)では、6枚のマーキングフレームが属する前半部分にはスキップ数として2を設定し、9枚のマーキングフレームが属する中盤部分にはスキップ数として3を設定し、3枚のマーキングフレームが属する後半部分にはスキップ数として1を設定している。このように、動画中の出現位置に応じたスキップ数を設定することで、動画全体から動きの大きな静止画フレームを適切に抽出することができる。
なお、図4(C)(b)では、所定範囲から抽出する静止画フレームを全て同じ(3枚ずつ)としているが、これに限られるものではなく、動画を区分けした所定範囲に応じて抽出する静止画フレームの数を異ならせることとしてもよい。
Referring to FIG. 4C, when setting the number of skips according to the appearance position in the moving image, as shown in FIGS. 4C and 4A, the extraction
The extraction
In FIGS. 4C and 4B, all the still image frames extracted from the predetermined range are the same (three frames each). However, the present invention is not limited to this, and extraction is performed according to the predetermined range into which the moving images are divided. The number of still image frames to be performed may be varied.
以上、モーションプリント処理を実行する際のCPU11の機能について説明した。続いて、図2の機能的構成の情報処理装置1(CPU11)が実行するモーションプリント処理について説明する。
図5及び図6は、図2の機能的構成を有する図1の情報処理装置1が実行するモーションプリント処理の流れを説明するフローチャートである。情報処理装置1によりモーションプリント処理が実行されると、CPU11において図2の各機能ブロックが機能して、次のような処理が行われる。即ち、以下の各ステップの処理の動作主体は、ハードウェアではCPU11が該当する。但し、本発明の理解を容易なものとすべく、CPU11において機能する各機能ブロックが動作主体であるものとして、以下の各ステップの処理の説明をする。
The function of the
5 and 6 are flowcharts for explaining the flow of motion print processing executed by the
モーションプリント処理は、入力部17を介してユーザから開始指示を受け付けることを契機に開始される。
初めに、ステップS1において、動画取得部111は、記憶部19から動画データを取得する。続いて、ステップS2において、設定部115は、取得した動画データの全長に応じて、マーキングフレーム数のMin値及びMax値を設定する。
The motion print process is started when a start instruction is received from the user via the
First, in step S <b> 1, the moving
続いて、ステップS3において、ベクトル算出部112は、ステップS1で取得した動画データを構成する静止画フレームを処理対象として読み込み、続いて、ステップS4において、ベクトル算出部112は、1枚前の静止画フレームがあるか否か、即ち、読み込んだ静止画フレームが2枚目以降であるか否かを判定する。このとき、1枚前の静止画フレームがない場合には、ステップS4においてNOと判定されて、処理はステップS3に戻され、次の静止画フレームが読み込まれる。他方、1枚前の静止画フレームがある場合には、ベクトル算出部112は、続いて、ステップS3で読み込んだ静止画フレームと1枚前の静止画フレームとを比較し、ベクトルを算出する(ステップS5)。
Subsequently, in step S3, the
続いて、ステップS6において、画像選択部113は、ステップS3で読み込んだ静止画フレームが動きのあるフレームであるか否かを判定する。即ち、画像選択部113は、ステップS5で算出したベクトルの大きさや数が所定の閾値を超えるか否かを判定する。このとき、画像選択部113は、所定の閾値を超える静止画フレームについては、マーキングフレームとして選択し、マーキングフレーム数を1加算する。他方、所定の閾値以下である静止画フレームについては、画像選択部113は、マーキングフレームとして選択することなく、処理をステップS8に移す。
Subsequently, in step S6, the
ステップS8において、画像選択部113は、次の静止画フレームがあるか否かを判定する。即ち、動画データを構成する静止画フレームの全てについて、ステップS3〜ステップS7の処理を行ったか否かを判定する。このとき、画像選択部113は、次の静止画フレームがある場合には処理をステップS3に移し、次の静止画フレームがない場合には処理をステップS9に移す。
In step S8, the
ステップS9において、閾値調整部114は、ステップS7で選択されたマーキングフレームの数がステップS2で設定したMin値以上Max値以下であるか否かを判定する。このとき、マーキングフレーム数がMin値以上Max値以下である場合には、閾値調整部114は、処理を図6のステップS14に移し、マーキングフレーム数がMin値以上Max値以下でない場合には、閾値調整部114は、処理をステップS10に移す。
In step S9, the
ステップS10において、閾値調整部114は、マーキングフレーム数がMin値未満であるか否かを判定する。このとき、マーキングフレーム数がMin値未満である場合には、閾値調整部114は、処理をステップS11に移し、マーキングフレーム数がMin値未満でない、即ちマーキングフレーム数がMax値を超える場合には、閾値調整部114は、処理をステップS12に移す。
In step S10, the
マーキングフレーム数がMin値未満である場合、ステップS11において、閾値調整部114は、より多くの静止画フレームがマーキングフレームとして選択されるように所定の閾値を低く調整する。他方、マーキングフレーム数がMax値を超える場合、ステップS12において、閾値調整部114は、マーキングフレームとして選択される静止画フレームを絞るように所定の閾値を高く調整する。ステップS11又はステップS12に続いて、閾値調整部114は、マーキングフレーム数をクリアし(ステップS13)、処理をステップS3に移す。これにより、画像選択部113は、調整した閾値に基づいて再度マーキングフレームを選択する。なお、静止画フレームごとのベクトルは既に算出されていることから、ステップS13からステップS3に移った場合には、ベクトルを算出するステップS4,S5の処理を省略することとしてもよい。
When the number of marking frames is less than the Min value, in step S11, the
続いて、図6を参照して、マーキングフレーム数がMin値以上Max値以下である場合、ステップS14において、抽出間隔設定部116は、スキップ数の設定を行う。なお、抽出間隔設定部116によるスキップ数の設定は、図4で上述した通りである。
Subsequently, referring to FIG. 6, when the number of marking frames is not less than the Min value and not more than the Max value, in step S14, the extraction
続いて、ステップS15では、抽出部117は、ステップS7で画像選択部113が選択したマーキングフレームを読み込む。ここで、抽出部117は、動画における出現順序に沿ってマーキングフレームを読み込む。続いて、ステップS16において、抽出部117は、ステップS15で読み込んだマーキングフレームがスキップ対象のマーキングフレームであるか否かを判定する。このとき、スキップ対象のマーキングフレームである場合には、抽出部117は、当該マーキングフレームを抽出することなく、処理をステップS19に移す。
Subsequently, in step S15, the
他方、スキップ対象のマーキングフレームでない場合には、抽出部117は、当該マーキングフレームをモーションプリント画像に用いる静止画フレームとして抽出する(ステップS17)。続いて、ステップS18において、抽出部117は、抽出したマーキングフレームを、モーションプリント画像の規定位置に貼り付け、処理をステップS19に移す。
ここで、図7は、モーションプリント処理によって生成されるモーションプリント画像の一例である。図7に示すように、モーションプリント画像は、9枚の静止画フレームにより構成される。抽出部117により抽出された静止画フレームは、モーションプリント画像の左上から順に貼り付けられる。即ち、最初に抽出された静止画フレームは、左上に貼り付けられ、2番目に抽出された静止画フレームは、その右隣に貼り付けられる。その後、4番目に抽出された静止画フレームが右上に貼り付けられると、5番目に抽出された静止画フレームは、中央部分に貼り付けられる。そして、6番目から9番目に抽出された静止画フレームは、左下から順に貼り付けられる。なお、中央部分に貼り付けられる静止画フレームは、他の静止画フレームよりも大きくすることとしてもよい。
On the other hand, if the marking frame is not a skip target marking frame, the
Here, FIG. 7 is an example of a motion print image generated by the motion print process. As shown in FIG. 7, the motion print image is composed of nine still image frames. The still image frames extracted by the
図6に戻り、ステップS19において、抽出部117は、次のマーキングフレームがあるか否かを判定する。即ち、抽出部117は、ステップS7で画像選択部113が選択したマーキングフレームの全てに対して、ステップS15〜ステップS18の処理を行ったか否かを判定する。このとき、抽出部117は、次のマーキングフレームがある場合には、処理をステップS15に移し、次のマーキングフレームがない場合には、モーションプリント処理を終了する。
Returning to FIG. 6, in step S19, the
以上説明したように、本実施形態の情報処理装置1は、動きの大きい静止画フレームをマーキングフレームとして選択しておき、選択したマーキングフレームがモーションプリント画像の生成に必要となる9枚よりも多い場合に、不要なマーキングフレームをスキップする(抽出しない)こととしている。これにより、動きのある静止画フレームを抽出することができ、同じような静止画フレームばかり抽出されてしまうことを防止できる。
このとき、本実施形態の情報処理装置1では、マーキングフレーム数と抽出数とに基づいて、静止画フレームを抽出する間隔(スキップ数)を設定することとしている。これにより、モーションプリント画像の生成に必要となる静止画フレームを、動画全体から所定の間隔で抽出することになるため、抽出される静止画フレームの動画中の出現位置が偏ることがなく、また、画像認識のような複雑な処理を行う必要がない。その結果、本実施形態の情報処理装置1によれば、動画全体を代表するより適切な静止画フレームを抽出することができる。
As described above, the
At this time, in the
なお、静止画フレームを抽出する間隔は、略均等間隔としてもよく、また、マーキングフレームの動画中の密集度合いに応じた間隔としてもよく、また、動画中の出現位置に応じた間隔としてもよい。このような様々な間隔を用いて静止画フレームを抽出することで、多種多様な動画から適切な静止画フレームを抽出することができる。 Note that the intervals at which the still image frames are extracted may be approximately equal intervals, may be intervals according to the degree of density of the marking frame in the moving image, or may be intervals according to the appearance position in the moving image. . By extracting still image frames using such various intervals, appropriate still image frames can be extracted from a wide variety of moving images.
このとき、情報処理装置1では、マーキングフレームを選択する基準となる所定の閾値(即ち静止画フレームの動きの大きさ)を、選択されたマーキングフレームの数に応じて適宜調整することとしている。これにより、動画の種別に関わらず、即ち風景動画等のような動きの小さな動画であってもスポーツ中継等のような動きの大きな動画であっても、当該動画を代表する静止画フレームを適切に抽出することができる。
At this time, the
また、情報処理装置1では、所定の閾値を調整する契機となるマーキングフレームの数を、動画の全長に応じて設定することとしている。即ち、動画の全長が長い場合には、選択されるマーキングフレームの数も多くなることから、閾値調整のマーキングフレームの数を多く設定する一方で、動画の全長が短い場合には、選択されるマーキングフレームの数が少なくなることから、閾値調整のマーキングフレームの数を少なく設定する。これにより、閾値の調整やマーキングフレームの選択が繰り返されることを防止でき、処理負担の軽減を図ることができる。
Further, in the
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。 In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.
上述の実施形態では、本発明が適用される情報処理装置1は、デジタルスチルカメラを例として説明したが、特にこれに限定されない。例えば、本発明は、動画データを加工する機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、デジタルビデオカメラ、テレビジョン受像機、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア41により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア41は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
The recording medium including such a program is not only configured by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
複数枚の連続した静止画フレームを含む動画から動きの大きな所定枚数の静止画フレームを抽出する情報処理装置において、
隣接する静止画フレームを比較することで、静止画フレームごとに動きの量を算出するベクトル算出手段と、
前記ベクトル算出手段が算出した前記動きの量が所定の閾値を超える静止画フレームを抽出候補の静止画フレームとして選択する画像選択手段と、
前記画像選択手段により選択された前記抽出候補の静止画フレームの総数が前記所定枚数を超えることを条件に、前記総数及び前記所定枚数に基づいて抽出間隔を設定する抽出間隔設定手段と、
前記動画における出現順序に応じて並べられた前記抽出候補の静止画フレームから、前記抽出間隔設定手段が設定した抽出間隔に従い、前記所定枚数の静止画フレームを抽出する抽出手段と、
を備えることを特徴とする情報処理装置。
[付記2]
前記抽出間隔設定手段は、前記総数を前記所定枚数で除算した値を前記抽出間隔として設定する、
ことを特徴とする付記1に記載の情報処理装置。
[付記3]
前記抽出間隔設定手段は、前記動画における前記抽出候補の静止画フレームの出現位置の密集度合いに応じて異なる抽出間隔を設定する、
ことを特徴とする付記1に記載の情報処理装置。
[付記4]
前記抽出間隔設定手段は、前記動画における出現位置の所定範囲ごと前記抽出間隔を設定し、
前記抽出手段は、前記所定範囲に属する前記抽出候補の静止画フレームから、当該範囲に応じた抽出間隔で静止画フレームを抽出する、
ことを特徴とする付記1に記載の情報処理装置。
[付記5]
前記画像選択手段により選択された前記抽出候補の静止画フレームの総数に応じて前記所定の閾値を調整する閾値調整手段、を更に備え、
前記画像選択手段は、前記閾値調整手段により前記所定の閾値の調整が行われることを条件に、抽出候補の静止画フレームを再度選択する、
ことを特徴とする付記1乃至4の何れか1つに記載の情報処理装置。
[付記6]
前記動画の全長に応じて、前記抽出候補の静止画フレームとして選択可能な静止画フレームの許可数を設定する設定手段、を更に備え、
前記閾値調整手段は、前記抽出候補の静止画フレームの総数が前記許可数を満たさないことを条件に、前記所定の閾値を調整する、
ことを特徴とする付記5に記載に情報処理装置。
[付記7]
前記設定手段は、前記許可数として前記抽出候補の静止画フレームとして選択可能な静止画フレームの最大値を設定し、
前記閾値調整手段は、前記抽出候補の静止画フレームの総数が前記最大値を超えることを条件に、前記所定の閾値を高く調整する、
ことを特徴とする付記6に記載の情報処理装置。
[付記8]
前記設定手段は、前記許可数として前記抽出候補の静止画フレームとして選択可能な静止画フレームの最小値を設定し、
前記閾値調整手段は、前記抽出候補の静止画フレームの総数が前記最小値未満であることを条件に、前記所定の閾値を低く調整する、
ことを特徴とする付記6又は7に記載の情報処理装置。
[付記9]
情報処理装置が、複数枚の連続した静止画フレームを含む動画から動きの大きな所定枚数の静止画フレームを抽出する静止画フレーム抽出方法において、
隣接する静止画フレームを比較することで、静止画フレームごとに動きの量を算出するベクトル算出ステップと、
前記ベクトル算出ステップで算出した前記動きの量が所定の閾値を超える静止画フレームを抽出候補の静止画フレームとして選択する画像選択ステップと、
前記画像選択ステップで選択された前記抽出候補の静止画フレームの総数が前記所定枚数を超えることを条件に、前記総数及び前記所定枚数に基づいて抽出間隔を設定する抽出間隔設定ステップと、
前記動画における出現順序に応じて並べられた前記抽出候補の静止画フレームから、前記抽出間隔設定ステップで設定した抽出間隔に従い、前記所定枚数の静止画フレームを抽出する抽出ステップと、
を含むことを特徴とする静止画フレーム抽出方法。
[付記10]
コンピュータを、
動画を構成する複数枚の連続した静止画フレームの隣接する静止画フレームを比較することで、静止画フレームごとに動きの量を算出するベクトル算出手段、
前記ベクトル算出手段が算出した前記動きの量が所定の閾値を超える静止画フレームを抽出候補の静止画フレームとして選択する画像選択手段、
前記画像選択手段により選択された前記抽出候補の静止画フレームの総数が所定枚数を超えることを条件に、前記総数及び前記所定枚数に基づいて抽出間隔を設定する抽出間隔設定手段、
前記動画における出現順序に応じて並べられた前記抽出候補の静止画フレームから、前記抽出間隔設定手段が設定した抽出間隔に従い、前記所定枚数の静止画フレームを抽出する抽出手段、
として機能させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
In an information processing apparatus for extracting a predetermined number of still image frames with a large movement from a moving image including a plurality of continuous still image frames,
A vector calculation means for calculating the amount of movement for each still image frame by comparing adjacent still image frames;
Image selection means for selecting still image frames in which the amount of motion calculated by the vector calculation means exceeds a predetermined threshold as extraction candidate still image frames;
Extraction interval setting means for setting an extraction interval based on the total number and the predetermined number of sheets, on the condition that the total number of still image frames of the extraction candidates selected by the image selection unit exceeds the predetermined number;
Extraction means for extracting the predetermined number of still image frames in accordance with the extraction interval set by the extraction interval setting means from the extraction candidate still image frames arranged according to the appearance order in the moving image;
An information processing apparatus comprising:
[Appendix 2]
The extraction interval setting means sets a value obtained by dividing the total number by the predetermined number as the extraction interval.
The information processing apparatus according to
[Appendix 3]
The extraction interval setting means sets different extraction intervals according to the density of appearance positions of the still image frames of the extraction candidates in the moving image;
The information processing apparatus according to
[Appendix 4]
The extraction interval setting means sets the extraction interval for each predetermined range of appearance positions in the video,
The extraction means extracts still image frames from the extraction candidate still image frames belonging to the predetermined range at an extraction interval corresponding to the range.
The information processing apparatus according to
[Appendix 5]
Threshold adjustment means for adjusting the predetermined threshold according to the total number of still image frames of the extraction candidates selected by the image selection means;
The image selection unit reselects a still image frame as an extraction candidate on condition that the predetermined threshold is adjusted by the threshold adjustment unit.
The information processing apparatus according to any one of
[Appendix 6]
A setting means for setting a permitted number of still image frames that can be selected as the still image frame of the extraction candidate according to the total length of the moving image;
The threshold adjustment means adjusts the predetermined threshold on the condition that the total number of still image frames of the extraction candidates does not satisfy the permitted number;
The information processing apparatus according to appendix 5, wherein the information processing apparatus is provided.
[Appendix 7]
The setting means sets a maximum value of still image frames that can be selected as the extraction candidate still image frame as the permitted number,
The threshold adjustment means adjusts the predetermined threshold to be high on the condition that the total number of still image frames of the extraction candidates exceeds the maximum value.
The information processing apparatus according to appendix 6, wherein:
[Appendix 8]
The setting means sets a minimum value of still image frames that can be selected as the extraction candidate still image frame as the permitted number,
The threshold adjustment means adjusts the predetermined threshold low on condition that the total number of still image frames of the extraction candidates is less than the minimum value;
The information processing apparatus according to appendix 6 or 7, characterized by the above.
[Appendix 9]
In the still image frame extraction method, the information processing apparatus extracts a predetermined number of still image frames with a large movement from a moving image including a plurality of continuous still image frames.
A vector calculation step of calculating the amount of movement for each still image frame by comparing adjacent still image frames;
An image selection step of selecting, as an extraction candidate still image frame, a still image frame in which the amount of motion calculated in the vector calculation step exceeds a predetermined threshold;
An extraction interval setting step for setting an extraction interval based on the total number and the predetermined number on the condition that the total number of still image frames of the extraction candidates selected in the image selection step exceeds the predetermined number;
An extraction step of extracting the predetermined number of still image frames from the extraction candidate still image frames arranged according to the appearance order in the moving image, according to the extraction interval set in the extraction interval setting step;
A still image frame extracting method.
[Appendix 10]
Computer
A vector calculating means for calculating the amount of motion for each still image frame by comparing adjacent still image frames of a plurality of continuous still image frames constituting a moving image;
Image selecting means for selecting, as a candidate still image frame, a still image frame in which the amount of motion calculated by the vector calculating means exceeds a predetermined threshold;
An extraction interval setting means for setting an extraction interval based on the total number and the predetermined number on the condition that the total number of still image frames of the extraction candidates selected by the image selection unit exceeds a predetermined number;
Extraction means for extracting the predetermined number of still image frames according to the extraction interval set by the extraction interval setting means from the extraction candidate still image frames arranged according to the appearance order in the moving image;
A program characterized by functioning as
1・・・情報処理装置、11・・・CPU、12・・・ROM、13・・・RAM、14・・・バス、15・・・入出力インターフェース、16・・・表示部、17・・・入力部、18・・・撮像部、19・・・記憶部、20・・・通信部、21・・・ドライブ、41・・・リムーバブルメディア、111・・・動画取得部、112・・・ベクトル算出部、113・・・画像選択部、114・・・閾値調整部、115・・・設定部、116・・・抽出間隔設定部、117・・・抽出部
DESCRIPTION OF
Claims (10)
隣接する静止画フレームを比較することで、静止画フレームごとに動きの量を算出するベクトル算出手段と、
前記ベクトル算出手段が算出した前記動きの量が所定の閾値を超える静止画フレームを抽出候補の静止画フレームとして選択する画像選択手段と、
前記画像選択手段により選択された前記抽出候補の静止画フレームの総数が前記所定枚数を超えることを条件に、前記動画中の前記抽出候補が密集して存在する区間は該動画中の他の区間よりも大きい抽出間隔を設定する抽出間隔設定手段と、
前記動画における前記抽出候補の静止画フレームから、前記抽出間隔設定手段が設定した抽出間隔に従い、前記所定枚数の静止画フレームを抽出する抽出手段と、
を備えることを特徴とする情報処理装置。 In an information processing apparatus for extracting a predetermined number of still image frames with a large movement from a moving image including a plurality of continuous still image frames,
A vector calculation means for calculating the amount of movement for each still image frame by comparing adjacent still image frames;
Image selection means for selecting still image frames in which the amount of motion calculated by the vector calculation means exceeds a predetermined threshold as extraction candidate still image frames;
On the condition that the total number of still image frames of the extraction candidates selected by the image selection means exceeds the predetermined number, a section where the extraction candidates in the moving image are densely present is another section in the moving image. Extraction interval setting means for setting a larger extraction interval,
Extracting means for extracting the predetermined number of still image frames from the extraction candidate still image frames in the moving image according to the extraction interval set by the extraction interval setting means;
An information processing apparatus comprising:
ことを特徴とする請求項1に記載の情報処理装置。 The extraction interval setting means sets an extraction interval based on the total number and the predetermined number;
The information processing apparatus according to claim 1.
前記抽出手段は、前記所定範囲に属する前記抽出候補の静止画フレームから、当該範囲に応じた抽出間隔で静止画フレームを抽出する、
ことを特徴とする請求項1または2に記載の情報処理装置。 The extraction interval setting means sets the extraction interval for each predetermined range of appearance positions in the video,
The extraction means extracts still image frames from the extraction candidate still image frames belonging to the predetermined range at an extraction interval corresponding to the range.
The information processing apparatus according to claim 1 or 2, characterized in that.
ことを特徴とする請求項1から3の何れか1項に記載の情報処理装置。 The extraction unit extracts the predetermined number of still image frames from the extraction candidate still image frames arranged according to the appearance order in the moving image according to the extraction interval set by the extraction interval setting unit;
The information processing apparatus according to any one of claims 1 to 3, characterized in that.
前記画像選択手段は、前記閾値調整手段により前記所定の閾値の調整が行われることを条件に、抽出候補の静止画フレームを再度選択する、
ことを特徴とする請求項1から4の何れか1項に記載の情報処理装置。 Threshold adjustment means for adjusting the predetermined threshold according to the total number of still image frames of the extraction candidates selected by the image selection means;
The image selection unit reselects a still image frame as an extraction candidate on condition that the predetermined threshold is adjusted by the threshold adjustment unit.
The information processing apparatus according to claim 1, any one of 4, characterized in that.
前記閾値調整手段は、前記抽出候補の静止画フレームの総数が前記許可数を満たさないことを条件に、前記所定の閾値を調整する、
ことを特徴とする請求項5に記載に情報処理装置。 A setting means for setting a permitted number of still image frames that can be selected as the still image frame of the extraction candidate according to the total length of the moving image;
The threshold adjustment means adjusts the predetermined threshold on the condition that the total number of still image frames of the extraction candidates does not satisfy the permitted number;
The information processing apparatus according to claim 5 .
前記閾値調整手段は、前記抽出候補の静止画フレームの総数が前記最大値を超えることを条件に、前記所定の閾値を高く調整する、
ことを特徴とする請求項6に記載の情報処理装置。 The setting means sets a maximum value of still image frames that can be selected as the extraction candidate still image frame as the permitted number,
The threshold adjustment means adjusts the predetermined threshold to be high on the condition that the total number of still image frames of the extraction candidates exceeds the maximum value.
The information processing apparatus according to claim 6 .
前記閾値調整手段は、前記抽出候補の静止画フレームの総数が前記最小値未満であることを条件に、前記所定の閾値を低く調整する、
ことを特徴とする請求項6又は7に記載の情報処理装置。 The setting means sets a minimum value of still image frames that can be selected as the extraction candidate still image frame as the permitted number,
The threshold adjustment means adjusts the predetermined threshold low on condition that the total number of still image frames of the extraction candidates is less than the minimum value;
The information processing apparatus according to claim 6 or 7, characterized in that.
隣接する静止画フレームを比較することで、静止画フレームごとに動きの量を算出するベクトル算出ステップと、
前記ベクトル算出ステップで算出した前記動きの量が所定の閾値を超える静止画フレームを抽出候補の静止画フレームとして選択する画像選択ステップと、
前記画像選択ステップで選択された前記抽出候補の静止画フレームの総数が前記所定枚数を超えることを条件に、前記動画中の前記抽出候補が密集して存在する区間は該動画中の他の区間よりも大きい抽出間隔を設定する抽出間隔設定ステップと、
前記動画における前記抽出候補の静止画フレームから、前記抽出間隔設定ステップで設定した抽出間隔に従い、前記所定枚数の静止画フレームを抽出する抽出ステップと、
を含むことを特徴とする静止画フレーム抽出方法。 In the still image frame extraction method, the information processing apparatus extracts a predetermined number of still image frames with a large movement from a moving image including a plurality of continuous still image frames.
A vector calculation step of calculating the amount of movement for each still image frame by comparing adjacent still image frames;
An image selection step of selecting, as an extraction candidate still image frame, a still image frame in which the amount of motion calculated in the vector calculation step exceeds a predetermined threshold;
On the condition that the total number of still image frames of the extraction candidates selected in the image selection step exceeds the predetermined number, a section where the extraction candidates in the moving image are densely present is another section in the moving image. An extraction interval setting step for setting a larger extraction interval,
An extraction step of extracting the predetermined number of still image frames from the extraction candidate still image frames in the moving image according to the extraction interval set in the extraction interval setting step;
A still image frame extracting method.
動画を構成する複数枚の連続した静止画フレームの隣接する静止画フレームを比較することで、静止画フレームごとに動きの量を算出するベクトル算出手段、
前記ベクトル算出手段が算出した前記動きの量が所定の閾値を超える静止画フレームを抽出候補の静止画フレームとして選択する画像選択手段、
前記画像選択手段により選択された前記抽出候補の静止画フレームの総数が所定枚数を超えることを条件に、前記動画中の前記抽出候補が密集して存在する区間は該動画中の他の区間よりも大きい抽出間隔を設定する抽出間隔設定手段、
前記動画における前記抽出候補の静止画フレームから、前記抽出間隔設定手段が設定した抽出間隔に従い、前記所定枚数の静止画フレームを抽出する抽出手段、
として機能させることを特徴とするプログラム。 Computer
A vector calculating means for calculating the amount of motion for each still image frame by comparing adjacent still image frames of a plurality of continuous still image frames constituting a moving image;
Image selecting means for selecting, as a candidate still image frame, a still image frame in which the amount of motion calculated by the vector calculating means exceeds a predetermined threshold;
On the condition that the total number of still image frames of the extraction candidates selected by the image selection means exceeds a predetermined number, the interval where the extraction candidates in the moving image are densely present is more than the other intervals in the moving image. Extraction interval setting means for setting a larger extraction interval,
Extraction means for extracting the predetermined number of still image frames from the extraction candidate still image frames in the moving image according to the extraction interval set by the extraction interval setting means;
A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012064523A JP6019647B2 (en) | 2012-03-21 | 2012-03-21 | Information processing apparatus, still image frame extraction method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012064523A JP6019647B2 (en) | 2012-03-21 | 2012-03-21 | Information processing apparatus, still image frame extraction method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013198012A JP2013198012A (en) | 2013-09-30 |
JP2013198012A5 JP2013198012A5 (en) | 2015-04-23 |
JP6019647B2 true JP6019647B2 (en) | 2016-11-02 |
Family
ID=49396401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012064523A Active JP6019647B2 (en) | 2012-03-21 | 2012-03-21 | Information processing apparatus, still image frame extraction method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6019647B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7569559B2 (en) | 2021-06-22 | 2024-10-18 | 株式会社ユニオン | Door opening and closing device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2016231661A1 (en) * | 2016-09-27 | 2018-04-12 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting a video frame |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004235889A (en) * | 2003-01-29 | 2004-08-19 | Canon Inc | Image processor |
JP4536402B2 (en) * | 2004-03-05 | 2010-09-01 | ソニー株式会社 | Video playback device, video playback method, and program for causing computer to execute the method |
JP5209521B2 (en) * | 2009-02-02 | 2013-06-12 | オリンパスイメージング株式会社 | Imaging apparatus and imaging method |
-
2012
- 2012-03-21 JP JP2012064523A patent/JP6019647B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7569559B2 (en) | 2021-06-22 | 2024-10-18 | 株式会社ユニオン | Door opening and closing device |
Also Published As
Publication number | Publication date |
---|---|
JP2013198012A (en) | 2013-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9842420B2 (en) | Image processing device and method for creating a reproduction effect by separating an image into a foreground image and a background image | |
US20100265353A1 (en) | Image Processing Device, Image Sensing Device And Image Reproduction Device | |
EP2308236B1 (en) | Improved image formation using different resolution images | |
US8009337B2 (en) | Image display apparatus, method, and program | |
CN102611865B (en) | Apparatus and method for processing moving image data | |
CN103428427A (en) | Image resizing method and image resizing apparatus | |
US20110043639A1 (en) | Image Sensing Apparatus And Image Processing Apparatus | |
US8768072B2 (en) | Apparatus and methods to compress still images | |
US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
JP2012099876A (en) | Image processing device, imaging device, image processing method, and program | |
JP2012119761A (en) | Electronic apparatus, image processing method and program | |
JP6019647B2 (en) | Information processing apparatus, still image frame extraction method, and program | |
JP5092536B2 (en) | Image processing apparatus and program thereof | |
US10348957B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images | |
JP6673333B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP2015061236A (en) | Image processing apparatus, image processing method and program | |
JP4157003B2 (en) | Image processing device | |
JP2008172395A (en) | Imaging apparatus and image processing apparatus, method, and program | |
JP6332864B2 (en) | Image processing apparatus, image processing method, and program | |
CN100592778C (en) | Recording and playback apparatus, and recording and playback method, recording apparatus and recording method, playback apparatus and playback method | |
JP6512208B2 (en) | Image processing apparatus, image processing method and program | |
JP4987800B2 (en) | Imaging device | |
JP6632385B2 (en) | Image processing device, imaging device, image processing method, and program | |
JP7244661B2 (en) | Imaging device and image processing method | |
JP5741062B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150304 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160405 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6019647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |