JP4307910B2 - 動画像切り出し装置および方法並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像からサンプリングされた複数のフレームのそれぞれに含まれる動体を、１つのフレーム上に合成して、動体の移動軌跡を含む合成画像を得る動画像切り出し装置および方法並びに動画像切り出し方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年、デジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となってきており、さらに、撮像した動画像をパソコンに取り込んで、編集や加工を自由に行うことができるようになっている。また、１枚の静止画像中に移動する物体すなわち動体の移動軌跡が現れるように、動画像からサンプリングされたフレームを加工することも提案されている（特許文献１参照）。
【０００３】
特許文献１に記載された方法は、基準となる信号（基準信号）と複数の入力信号との差分信号をそれぞれ算出し、算出された差分信号を時系列順に基準信号に加算することにより合成信号を生成するものである。このような合成信号を得る際に、動体が重なり合うと信号値のレベルが映像信号のレベルの上限値を超えてしまうことを防止するために、差信号の信号値を１／２にした後に基準信号に加算するようにしている。
【０００４】
【特許文献１】
特開平５−３１６４１８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記特許文献１に記載された方法では、合成に用いられる信号は背景のない動体のみを含む信号であるため、日常的な撮影により得られる背景および動体の双方を含む複数のフレームに上記特許文献１に記載された方法を適用した場合、動体のみをフレームから抽出することができず、その結果、動体の移動軌跡を含む合成信号を得ることができないという問題がある。また、上記特許文献１に記載された方法は、差信号の信号値を１／２にした後に基準信号に加算しているため、合成信号を再生することにより得られる合成画像における動体の領域が背景と重なってしまい、動体のコントラストが低下してしまうという問題がある。
【０００６】
本発明は上記事情に鑑みなされたものであり、背景を含む動画像であっても、動体の移動軌跡を含む合成画像を得ることができるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
本発明による動画像切り出し装置は、動体を含む動画像から連続する複数のフレームをサンプリングするサンプリング手段と、
該複数のフレームのそれぞれにおける前記動体の位置を特定するマスク領域を含むマスクフレームを前記複数のフレームのそれぞれに対応付けて算出するマスクフレーム算出手段と、
前記複数のフレームの全部または一部を対応するマスクフレームによりマスク処理して、該複数のフレームの全部または一部から前記動体に対応する動体領域を切り出す領域切り出し手段とを備えたことを特徴とするものである。
【０００８】
なお、本発明による動画像切り出し装置においては、前記マスクフレーム算出手段を、前記複数のフレームのうち基準となる１つの基準フレームと該基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出し、該絶対値を第１のしきい値に基づいて二値化処理して前記他のフレームのそれぞれにおける前記動体の位置を特定するマスク領域を含む他のマスクフレームを前記他のフレームのそれぞれに対応付けて算出する手段とし、
前記領域切り出し手段を、前記他のフレームのそれぞれを対応する他のマスクフレームによりマスク処理して、該他のフレームのそれぞれから前記動体に対応する動体領域を切り出す手段としてもよい。
【０００９】
この場合、前記マスクフレーム算出手段を、前記差分値の絶対値に対してノイズを除去するフィルタリング処理を施し、該フィルタリング処理が施された前記絶対値を前記二値化処理する手段としてもよい。
【００１０】
またこの場合、前記複数のフレームのそれぞれについて画素値のレベルを表す前記画素値の代表値を算出し、該代表値に基づいて前記第１のしきい値を前記差分値の絶対値毎に補正するしきい値補正手段をさらに備えるものとし、
前記マスクフレーム算出手段を、前記差分値の絶対値毎に補正された前記第１のしきい値に基づいて前記二値化処理を行う手段としてもよい。
【００１１】
また、本発明による動画像切り出し装置においては、前記マスクフレーム算出手段を、前記複数のフレームのうち基準となる１つの基準フレームと該基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出し、該絶対値を第１のしきい値に基づいて二値化処理して前記他のフレームのそれぞれにおける前記動体の位置を特定するマスク領域を含む他のマスクフレームを前記他のフレームのそれぞれに対応付けて算出する第１のマスクフレーム算出手段と、
前記複数の他のマスクフレームの情報に基づいて、前記基準フレームにおける前記動体の位置を特定するマスク領域を含む基準マスクフレームを算出する第２のマスクフレーム算出手段とを備えるものとし、
前記領域切り出し手段を、前記基準フレームを前記基準マスクフレームによりマスク処理して、該基準フレームから前記動体に対応する動体領域を切り出す手段としてもよい。
【００１２】
また、本発明による動画像切り出し装置においては、前記マスクフレーム算出手段を、前記複数のフレームのうち基準となる１つの基準フレームと該基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出し、該絶対値を第１のしきい値に基づいて二値化処理して前記他のフレームのそれぞれにおける前記動体の位置を特定するマスク領域を含む他のマスクフレームを前記他のフレームのそれぞれに対応付けて算出する第１のマスクフレーム算出手段と、
前記複数の他のマスクフレームの情報に基づいて、前記基準フレームにおける前記動体の位置を特定するマスク領域を含む基準マスクフレームを算出する第２のマスクフレーム算出手段とを備えるものとし、
前記領域切り出し手段を、前記他のフレームのそれぞれを対応する他のマスクフレームによりマスク処理するとともに、前記基準フレームを前記基準マスクフレームによりマスク処理して、該複数のフレームのそれぞれから前記動体に対応する動体領域を切り出す手段としてもよい。
【００１３】
この場合、前記第１のマスクフレーム算出手段を、前記差分値の絶対値に対してノイズを除去するフィルタリング処理を施し、該フィルタリング処理が施された前記絶対値を前記二値化処理する手段としてもよい。
【００１４】
「フィルタリング処理」に用いられるフィルタとしては、ノイズを除去するフィルタであれば、ローパスフィルタ、メディアンフィルタ、最大値フィルタまたは最小値フィルタ等、種々のフィルタを用いることができる。
【００１５】
またこの場合、前記複数のフレームのそれぞれについて画素値のレベルを表す前記画素値の代表値を算出し、該代表値に基づいて前記第１のしきい値を前記差分値の絶対値毎に補正するしきい値補正手段をさらに備えるものとし、
前記第１のマスクフレーム算出手段を、前記差分値の絶対値毎に補正された前記第１のしきい値に基づいて前記二値化処理を行う手段としてもよい。
【００１６】
また、第２のマスクフレーム算出手段を備えた場合、前記第２のマスクフレーム算出手段を、前記複数の他のマスクフレームから選択された選択マスクフレームの相対応する画素同士を累積または加重累積し、該累積された選択マスクフレームを第２のしきい値によりさらに二値化処理して、前記基準マスクフレームを算出する手段としてもよい。
【００１７】
また、動体の移動速度が遅く、他のマスクフレームおよび基準マスクフレームにおいてマスク領域が非常に小さくなる場合には、動体領域を切り出すことができない場合がある。このため、本発明による動画像切り出し装置においては、第２のマスクフレーム算出手段を備えた場合、前記他のマスクフレームのそれぞれにおける前記マスク領域のサイズを第３のしきい値と比較し、該マスク領域のサイズが前記第３のしきい値を越えた他のマスクフレームを前記選択マスクフレームとして選択する選択手段をさらに備えるものとしてもよい。
【００１８】
また、前記第２のマスクフレーム算出手段を、前記累積された選択マスクフレームに対してノイズを除去するフィルタリング処理を施し、該フィルタリング処理が施された前記累積された選択マスクフレームを前記二値化処理する手段としてもよい。
【００１９】
「フィルタリング処理」に用いられるフィルタとしては、ノイズを除去するフィルタであれば、ローパスフィルタ、メディアンフィルタ、最大値フィルタまたは最小値フィルタ等、種々のフィルタを用いることができる。
【００２０】
なお、サンプリング手段がサンプリングしたフレームが２つのみである場合や、動体の移動速度が遅く、累積された選択マスクフレームにおいて動体同士が重なる領域が多い場合等には、マスクフレームおよび基準マスクフレームによっても動体領域を切り出すことができない場合がある。
【００２１】
このため、本発明による動画像切り出し装置においては、第２のマスクフレーム算出手段を備えた場合、前記第２のマスクフレーム算出手段を、前記基準マスクフレームのマスク領域に対応する前記基準フレーム上の領域の色情報を算出し、該色情報に近似する色情報を有する領域に対応する前記累積された選択マスクフレーム上の領域を重み付けし、該重み付けされた累積された選択マスクフレームを前記第２のしきい値により二値化処理して、前記基準マスクフレームを再算出する手段としてもよい。
【００２２】
また、本発明による動画像切り出し装置においては、前記複数の他のフレームを重ねた場合において、前記基準フレームにおける前記動体に対応する領域と重ならない前記動体に対応する領域を有する前記他のフレームの数を表す第１のフレーム数、前記基準フレームにおける前記動体に対応する領域と重なる前記動体に対応する領域を有する前記他のフレームの数を表す第２のフレーム数、および前記動体に対応する領域同士が重なる前記他のフレームの数を表す第３のフレーム数の入力を受け付ける入力手段と、
該入力された第１のフレーム数、第２のフレーム数および第３のフレーム数の間に、第１のフレーム数＞第２のフレーム数＞第３のフレーム数の関係があるか否かを判定し、該関係がある場合にのみ前記領域切り出し手段に前記動体領域の切り出しを実行させる判定手段とをさらに備えるものであってもよい。
【００２３】
また、本発明による動画像切り出し装置においては、前記複数のフレームにおける前記動体領域以外の背景領域の位置合せを行う位置合せ手段をさらに備え、前記マスクフレーム算出手段を、前記位置合せ後の前記複数のフレームから前記マスクフレームを算出する手段としてもよい。
【００２４】
また、本発明による動画像切り出し装置においては、前記複数のフレームのそれぞれについて画素値のレベルを表す前記画素値の平均値、メディアン値、ヒストグラムの最大頻度値等の代表値を算出し、該代表値が略一致するように前記複数のフレームの画素値を補正するフレーム補正手段をさらに備え、
前記マスクフレーム算出手段を、前記補正後の前記複数のフレームから前記マスクフレームを算出する手段としてもよい。
【００２５】
また、本発明による動画像切り出し装置においては、前記領域切り出し手段が前記複数のフレームのそれぞれから切り出した動体領域を、前記複数のフレームのうちの一のフレームにおける該動体領域のそれぞれが対応する位置に時系列順に上書きすることにより、前記複数のフレームの合成画像を得る合成手段をさらに備えるものとしてもよい。
【００２６】
本発明による動画像切り出し方法は、動体を含む動画像から連続する複数のフレームをサンプリングし、
該複数のフレームのそれぞれにおける前記動体の位置を特定するマスク領域を含むマスクフレームを前記複数のフレームのそれぞれに対応付けて算出し、
前記複数のフレームの全部または一部を対応するマスクフレームによりマスク処理して、該複数のフレームの全部または一部から前記動体に対応する動体領域を切り出すことを特徴とするものである。
【００２７】
なお、本発明による動画像切り出し方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２８】
【発明の効果】
本発明によれば、サンプリング手段が動画像から連続する複数のフレームをサンプリングし、マスクフレーム算出手段が、複数のフレームのそれぞれにおける動体の位置を特定するマスク領域を含むマスクフレームを、複数のフレームのそれぞれに対応付けて算出する。ここで、マスク領域は各フレームにおける動体領域に対応するものとなる。そして、領域切り出し手段が、複数のフレームの全部または一部を対応するマスクフレームによりマスク処理して、複数のフレームの全部または一部から動体に対応する動体領域を切り出す。
【００２９】
これにより、動画像が背景および動体の双方を含んでいても、各フレームから適切に動体領域を切り出すことができる。したがって、切り出した動体領域を用いて、動体の移動軌跡を含む合成画像を容易に得ることができる。
【００３０】
また、マスクフレーム算出手段は複数のフレームのマスク領域を含むマスクフレームの算出、領域切り出し手段はマスク処理という比較的単純な処理を行っているため、フレームから簡易に動体領域を切り出すことができる。
【００３１】
なお、本発明による動画像切り出し装置を、請求項２のように、マスクフレーム算出手段が、複数のフレームのうち基準となる１つの基準フレームとこの基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出し、絶対値を第１のしきい値に基づいて二値化処理して他のフレームのそれぞれにおける動体の位置を特定するマスク領域を含む他のマスクフレームを、他のフレームのそれぞれに対応付けて算出し、領域切り出し手段が、他のフレームのそれぞれを対応する他のマスクフレームによりマスク処理して、他のフレームのそれぞれから動体に対応する動体領域を切り出すものとしてもよい。
【００３２】
これにより、動画像が背景および動体の双方を含んでいても、他のフレームから適切に動体領域を切り出すことができる。したがって、切り出した動体領域を用いて、動体の移動軌跡を含む合成画像を容易に得ることができる。
【００３３】
また、マスクフレーム算出手段は差分値の絶対値の算出および二値化処理、領域切り出し手段はマスク処理という比較的単純な処理を行っているため、他のフレームから簡易に動体領域を切り出すことができる。
【００３４】
なお、請求項３の動画像切り出し装置によれば、マスクフレーム算出手段は、差分値の絶対値に対してノイズを除去するフィルタリング処理を施し、フィルタリング処理が施された絶対値を二値化処理する。ここで、絶対値が比較的大きい値となる領域は、本来であれば基準フレームおよび他のフレームに含まれる動体に対応する領域であるが、各フレームには撮影時のノイズや、動体の動きに起因するノイズが含まれるため、絶対値が比較的大きくなる領域に絶対値が小さくなる小領域が含まれる場合がある。逆に絶対値が小さくなる領域に絶対値が比較的大きくなる小領域が含まれる場合もある。このため、差分値の絶対値に対してノイズを除去するフィルタリング処理を施すことにより、このような小領域に起因するノイズを絶対値から除去することができる。したがって、ノイズの影響を低減して精度よく他のマスクフレームを算出することができる。
【００３５】
また、本発明による動画像切り出し装置を、請求項５のように、第１のマスクフレーム算出手段が、複数のフレームのうち基準となる１つの基準フレームとこの基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出し、絶対値を第１のしきい値に基づいて二値化処理して他のフレームのそれぞれにおける動体の位置を特定するマスク領域を含む他のマスクフレームを、他のフレームのそれぞれに対応付けて算出し、第２のマスクフレーム算出手段が、複数の他のマスクフレームの情報に基づいて基準マスクフレームを算出し、領域切り出し手段が、基準フレームを基準フレームによりマスク処理して、基準フレームから動体に対応する動体領域を切り出すものとしてもよい。
【００３６】
これにより、動画像が背景および動体の双方を含んでいても、基準フレームから適切に動体領域を切り出すことができる。したがって、切り出した動体領域を用いて、動体の移動軌跡を含む合成画像を容易に得ることができる。
【００３７】
また、第１のマスクフレーム算出手段は差分値の絶対値の算出および二値化処理、第２のマスクフレーム算出手段は累積および二値化処理、領域切り出し手段はマスク処理という比較的単純な処理を行っているため、基準フレームから簡易に動体領域を切り出すことができる。
【００３８】
また、本発明による動画像切り出し装置を、請求項６のように、マスクフレーム算出手段を、複数のフレームのうち基準となる１つの基準フレームとこの基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出し、この絶対値を第１のしきい値に基づいて二値化処理して他のフレームのそれぞれにおける動体の位置を特定するマスク領域を含む他のマスクフレームを、他のフレームのそれぞれに対応付けて算出する第１のマスクフレーム算出手段、および複数のマスクフレームの情報に基づいて、基準フレームにおける動体の位置を特定するマスク領域を含む基準マスクフレームを算出する第２のマスクフレーム算出手段を備えるものとすることにより、差分値の絶対値の算出および二値化処理という簡易な処理により他のマスクフレームを算出することができる。
【００３９】
なお、請求項７の動画像切り出し装置によれば、第１のマスクフレーム算出手段は、差分値の絶対値に対してノイズを除去するフィルタリング処理を施し、フィルタリング処理が施された絶対値を二値化処理する。ここで、絶対値が比較的大きい値となる領域は、本来であれば基準フレームおよび他のフレームに含まれる動体に対応する領域であるが、各フレームには撮影時のノイズや、動体の動きに起因するノイズが含まれるため、絶対値が比較的大きくなる領域に絶対値が小さくなる小領域が含まれる場合がある。逆に絶対値が小さくなる領域に絶対値が比較的大きくなる小領域が含まれる場合もある。このため、差分値の絶対値に対してノイズを除去するフィルタリング処理を施すことにより、このような小領域に起因するノイズを絶対値から除去することができる。したがって、ノイズの影響を低減して精度よく他のマスクフレームを算出することができる。
【００４０】
また、請求項４，８の動画像切り出し装置によれば、しきい値補正手段が、複数のフレームのそれぞれについて画素値のレベルを表す画素値の代表値を算出し、代表値に基づいて差分値の絶対値毎に第１のしきい値を補正する。そして、マスクフレーム算出手段または第１のマスクフレーム算出手段は、差分値の絶対値毎に補正された第１のしきい値に基づいて二値化処理を行う。ここで、動画像を撮影するビデオカメラの明るさ調整機能がうまく作用しなかったり、晴天時における屋外での撮影中に突然曇ってきた場合には、サンプリングされたフレーム間において全体の明るさが異なるものとなる。したがって、マスクフレーム算出手段または第１のマスクフレーム算出手段がこのようなフレームを用いて基準フレームと他のフレームのそれぞれとの相対応する画素間において差分値の絶対値を算出すると、動体に対応しない背景領域においても絶対値が比較的大きな値を有することとなるため、二値化処理により動体にのみ対応するマスク領域を有するマスクフレームを適切に算出することができない。
【００４１】
このため、請求項４，８の動画像切り出し装置のように、差分値の絶対値毎に第１のしきい値を補正して二値化処理を行うことにより、絶対値が比較的大きな値を有していても、動体にのみ対応するマスク領域を有するマスクフレームを適切に算出することができる。
【００４２】
また、第２のマスクフレーム算出手段を備えた場合、第２のマスクフレーム算出手段を、複数の他のマスクフレームから選択された選択マスクフレームの相対応する画素同士を累積し、累積された選択マスクフレームを第２のしきい値によりさらに二値化処理して基準マスクフレームを算出する手段とすることにより、累積および二値化処理という簡易な処理により基準マスクフレームを算出することができる。
【００４３】
また、動体の動きが遅く、他のマスクフレームのそれぞれにおけるマスク領域があまりに小さいと、基準マスクフレームにおけるマスク領域がフレームに含まれる動体領域に対応しなくなる場合がある。このため、請求項１０の動画像切り出し装置のように、選択手段が他のマスクフレームのそれぞれにおけるマスク領域のサイズを第３のしきい値と比較し、マスク領域のサイズが第３のしきい値を越えた他のマスクフレームを選択マスクフレームとして選択することにより、動体領域に対応するマスク領域を含む基準マスクフレームを算出することができる。
【００４４】
また、請求項１１の動画像切り出し装置によれば、第２のマスクフレーム算出手段は、累積された選択マスクフレームに対してノイズを除去するフィルタリング処理を施し、フィルタリング処理が施された選択マスクフレームを二値化処理する。ここで、累積された選択マスクフレームの値が比較的大きい値となる領域は、本来であれば基準フレームおよび他のフレームに含まれる動体に対応する領域であるが、各フレームには撮影時のノイズや、動体の動きに起因するノイズが含まれるため、累積された選択マスクフレームの値が比較的大きくなる領域に累積された選択マスクフレームの値が小さくなる小領域が含まれる場合がある。逆に累積された選択マスクフレームの値が小さくなる領域に累積された選択マスクフレームの値が比較的大きくなる小領域が含まれる場合もある。このため、累積された選択マスクフレームに対してノイズを除去するフィルタリング処理を施すことにより、このような小領域に起因するノイズを累積された選択マスクフレームから除去することができる。したがって、ノイズの影響を低減して精度よく基準マスクフレームを算出することができる。
【００４５】
また、請求項１２のように基準マスクフレームのマスク領域に対応する基準フレーム上の領域の色情報を算出し、この色情報に近似する色情報を有する領域に対応する、累積された選択マスクフレーム上の領域を重み付けし、重み付けされた累積された選択マスクフレームを第２のしきい値により二値化処理して基準マスクフレームを再算出することにより、基準フレームから動体に対応する動体領域を確実に切り出すことができる。
【００４６】
なお、複数のフレームを重ねた場合において、基準フレームにおける動体に対応する領域と重ならない動体に対応する領域を有する他のフレームの数を第１のフレーム数、基準フレームにおける動体に対応する領域と重なる動体に対応する領域を有する他のフレームの数を第２のフレーム数、および動体に対応する領域同士が重なる他のフレームの数を第３のフレーム数とした場合において、第１のフレーム数＞第２のフレーム数＞第３のフレーム数の関係を満たす場合にのみ、全てのフレームから動体領域を切り出すことができる。したがって、請求項１３の動画像切り出し装置のように、入力手段が第１から第３のフレーム数の入力を受け付け、判定手段が第１のフレーム数＞第２のフレーム数＞第３のフレーム数の関係があるか否かを判定し、その関係がある場合にのみ領域切り出し手段に動体領域の切り出しを実行させるようにすれば、各フレームから確実に動体に対応する動体領域を切り出すことができる。
【００４７】
また、請求項１４の動画像切り出し装置によれば、位置合せ手段が複数のフレームにおける背景領域の位置合せを行い、マスクフレーム算出手段を位置合せ後の複数のフレームからマスクフレームを算出する手段とすることにより、撮影時における手ぶれ等に起因する背景領域の動きの影響をフレームから除去することができる。したがって、背景領域の動きの影響を無くして、各フレームから正確に動体領域を切り出すことができる。
【００４８】
また、請求項１５の動画像切り出し装置によれば、フレーム補正手段が、複数のフレームのそれぞれについて画素値のレベルを表す画素値の代表値を算出し、代表値が略一致するように複数のフレームの画素値を補正する。そして、マスクフレーム算出手段は、補正後のフレームからマスクフレームを算出する。ここで、動画像を撮影するビデオカメラの明るさ調整機能がうまく作用しなかったり、晴天時における屋外での撮影中に突然曇ってきた場合には、サンプリングされたフレーム間において全体の明るさが異なるものとなる。したがって、マスクフレーム算出手段がこのようなフレームを用いて基準フレームと他のフレームのそれぞれとの相対応する画素間において差分値の絶対値を算出すると、動体に対応しない背景領域においても絶対値が比較的大きな値を有することとなるため、動体にのみ対応するマスク領域を有するマスクフレームを適切に算出することができない。
【００４９】
このため、請求項１５の動画像切り出し装置のように、複数のフレームの画素値を補正することにより、各フレームにおける全体の明るさを略同一とすることができるため、動体に対応しない背景領域においては絶対値がそれほど大きな値を有することがなくなり、これにより、動体にのみ対応するマスク領域を有するマスクフレームを適切に算出することができる。
【００５０】
また、請求項１６の動画像切り出し装置によれば、合成手段が、領域切り出し手段により切り出された複数のフレームの全部または一部に対応する動体領域を、複数のフレームのうちの一のフレームにおける動体領域のそれぞれが対応する位置に時系列順に上書きする。このため、動体と背景とのコントラストを低減させることなく、動体の移動軌跡を含む合成画像を得ることができる。
【００５１】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態による動画像合成装置は、サンプリング手段１と、第１のマスクフレーム算出手段２と、第２のマスクフレーム算出手段３と、領域切り出し手段４と、合成手段５とを備える。
【００５２】
サンプリング手段１は、入力された動画像データＤ０から複数のフレームＦｒｉ（ｉ＝１〜Ｎ）をサンプリングする。第１の実施形態においては、円形の動体Ｘ０が移動している動画像を表す動画像データＤ０から、図２に示すように４つのフレームＦｒ１〜Ｆｒ４をサンプリングするものとする。なお、フレームＦｒｉは時間が経過するほどｉの値が大きくなるものとする。
【００５３】
第１のマスクフレーム算出手段２は、差分手段２Ａと二値化手段２Ｂとを備える。
【００５４】
差分手段２Ａは、下記の式（１）により、複数のフレームＦｒ１〜Ｆｒ４のうち、基準となる１つの基準フレーム（第１の実施形態においては、フレームＦｒ４）と基準フレームＦｒ４以外の他のフレームＦｒ１〜Ｆｒ３との相対応する画素間における差分値の絶対値｜ｄｉ（ｘ，ｙ）｜（ｉ＝１〜３）を算出する。
｜ｄｉ（ｘ，ｙ）｜＝｜Ｆｒｉ（ｘ，ｙ）−Ｆｒ４（ｘ，ｙ）｜ （１）
但し、（ｘ，ｙ）はフレームＦｒｉとＦｒ４との相対応する画素の座標位置
【００５５】
なお、動画像データＤ０ひいてはフレームＦｒ１〜Ｆｒ４は、ＲＧＢの色データまたはＹＣＣ輝度色差データからなる。このため、ＲＧＢまたはＹＣＣの各成分について基準フレームＦｒ４と他のフレームＦｒ１〜Ｆｒ３との差分値の絶対値を算出し、各成分に対して重み付けを行った後に各成分のユークリッド距離を求め、これを差分値の絶対値として用いてもよい。例えば、フレームＦｒ１〜Ｆｒ４がＹＣＣ輝度色差データからなり、輝度Ｙ、色差Ｃｂ，Ｃｒについて算出された差分値の絶対値をそれぞれＹｄ、Ｃｂｄ、Ｃｒｄとした場合、下記の式（２）により各画素位置における差分値の絶対値｜ｄｉ（ｘ，ｙ）｜を算出すればよい。

【００５６】
二値化手段２Ｂは、差分値の絶対値｜ｄｉ（ｘ，ｙ）｜をしきい値Ｔｈ１に基づいて二値化処理する。すなわち、差分値の絶対値｜ｄｉ（ｘ，ｙ）｜がしきい値Ｔｈ１より大きい画素については１を、しきい値Ｔｈ１以下の画素については０の値を付与して、値が１となる画素をマスク領域とする他のフレームＦｒ１〜Ｆｒ３のそれぞれに対応するマスクフレームＭ１〜Ｍ３を算出する。このようにして算出されたマスクフレームＭ１〜Ｍ３を図３に示す。なお、図３においては、斜線部分がマスク領域を表す。すなわち、マスクフレームＭ１はマスク領域Ｒ１Ａ，Ｒ１Ｂを有し、マスクフレームＭ２はマスク領域Ｒ２Ａ，Ｒ２Ｂを有し、マスクフレームＭ３はマスク領域Ｒ３Ａ，Ｒ３Ｂを有する。ここで、マスクフレームＭ１〜Ｍ３において、マスク領域Ｒ１Ａ，Ｒ２Ａ，Ｒ３Ａは、各フレームＦｒ１〜Ｆｒ３における動体Ｘ０の領域に対応し、マスク領域Ｒ１Ｂ，Ｒ２Ｂ，Ｒ３Ｂは、基準フレームＦｒ４における動体Ｘ０の領域に対応する。
【００５７】
第２のマスクフレーム算出手段３は、累積手段３Ａと二値化手段３Ｂとを備える。
【００５８】
累積手段３Ａは、下記の式（３）により、マスクフレームＭ１〜Ｍ３の全てについて相対応する画素同士を累積して累積フレームＦｒｃを算出する。なお、第１の実施形態においては、マスクフレームＭ１〜Ｍ３の全てが後述する基準マスクフレームＦｒｃ１の算出のために選択されるものとする。
Ｆｒｃ（ｘ，ｙ）＝ΣＭｉ（ｘ，ｙ）（ｉ＝１〜３）
【００５９】
なお、マスクフレームＭ１〜Ｍ３を加重累積して基準マスクフレームＦｒｃ１を算出してもよい。
【００６０】
図４は累積フレームＦｒｃを示す図である。図４に示すように、累積フレームＦｒｃにおいては、マスクフレームＭ１のマスク領域Ｒ１Ａにのみ対応する領域は１、マスクフレームＭ２のマスク領域Ｒ２Ａにのみ対応する領域は１、マスクフレームＭ３のマスク領域Ｒ３Ａにのみ対応する領域は１、マスクフレームＭ１のマスク領域Ｒ１ＢおよびマスクフレームＭ２のマスク領域Ｒ２Ｂに対応する領域（すなわち、マスクフレームＭ３においてマスク領域Ｒ３ＡとＲ３Ｂとが重なって値が０となっている領域）は２、マスクフレームＭ１のマスク領域Ｒ１Ｂ、マスクフレームＭ２のマスク領域Ｒ２ＢおよびマスクフレームＭ３のマスク領域Ｒ３Ｂに対応する領域は３の値を有するものとなる。
【００６１】
二値化手段３Ｂは、累積フレームＦｒｃをしきい値Ｔｈ２に基づいて二値化処理する。ここで、しきい値Ｔｈ２としては例えば１（総フレーム数−ｋ、ｋ＝３とした場合）の値を使用し、累積フレームＦｒｃにおいて画素値がしきい値Ｔｈ２より大きい画素値については１を、しきい値Ｔｈ１以下の画素については０の値を付与して、値が１となる画素をマスク領域とする基準マスクフレームＦｒｃ１を算出する。このようにして算出された基準マスクフレームＦｒｃ１を図５に示す。なお、図５においては、斜線部分の領域Ｒ４Ａがマスク領域を表す。なお、基準マスクフレームＦｒｃ１におけるマスク領域は、基準フレームＦｒ４における動体Ｘ０の領域に対応する。
【００６２】
領域切り出し手段４は、フレームＦｒ１〜Ｆｒ３のそれぞれを対応するマスクフレームＭ１〜Ｍ３によりマスク処理するとともに、基準フレームＦｒ４を基準マスクフレームＦｒｃ１によりマスク処理して、複数のフレームＦｒ１〜Ｆｒ４のそれぞれから動体Ｘ０に対応する動体領域を切り出す。すなわち、フレームＦｒ１については、マスクフレームＭ１における画素値が１となるマスク領域Ｒ１Ａ，Ｒ１Ｂに対応する領域を動体領域Ａ１Ａ，Ａ１Ｂ（以下Ａ１で代表させることもある）として切り出す。フレームＦｒ２については、マスクフレームＭ２における値が１となるマスク領域Ｒ２Ａ，Ｒ２Ｂに対応する領域を動体領域Ａ２Ａ，Ａ２Ｂ（以下Ａ２で代表させることもある）として切り出す。フレームＦｒ３については、マスクフレームＭ３における値が１となるマスク領域Ｒ３Ａ，Ｒ３Ｂに対応する領域を動体領域Ａ３Ａ，Ａ３Ｂ（以下Ａ３で代表させることもある）として切り出す。
【００６３】
なお、動体領域Ａ１Ｂ，Ａ２Ｂ，Ａ３Ｂは、フレームＦｒ１〜Ｆｒ３においては、動体Ｘ０の領域ではなく背景の領域に対応する。このため、切り出された動体領域Ａ１Ｂ，Ａ２Ｂ，Ａ３Ｂは、略同一の画像を表すものとなる。
【００６４】
一方、基準フレームＦｒ４については、基準マスクフレームＦｒｃ１における値が１となるマスク領域Ｒ４Ａに対応する領域を動体領域Ａ４Ａ（以下Ａ４で代表させることもある）として切り出す。
【００６５】
合成手段５は、動体領域Ａ１〜Ａ４を、フレームＦｒ１〜Ｆｒ４のうちの一のフレーム（ここではＦｒ１とする）における動体領域Ａ１〜Ａ４のそれぞれが対応する位置に時系列順に上書きして、複数のフレームＦｒ１〜Ｆｒ４の合成画像Ｇ０を得る。
【００６６】
次いで、第１の実施形態において行われる処理について説明する。図６は、第１の実施形態において行われる処理を示すフローチャート、図７は第１の実施形態において行われる処理をフレームを用いて説明した図である。まず、サンプリング手段１が動画像データＤ０から４つのフレームＦｒ１〜Ｆｒ４をサンプリングする（ステップＳ１）。次いで、第１のマスクフレーム算出手段２の差分手段２が複数のフレームＦｒ１〜Ｆｒ４のうち、基準フレームＦｒ４と基準フレームＦｒ４以外の他のフレームＦｒ１〜Ｆｒ３との相対応する画素間における差分値の絶対値｜ｄｉ（ｘ，ｙ）｜を算出する（ステップＳ２）。そして、二値化手段２Ｂが差分値の絶対値をしきい値Ｔｈ１に基づいて二値化処理してマスクフレームＭ１〜Ｍ３を算出する（ステップＳ３）。
【００６７】
次いで、第２のマスクフレーム算出手段３の累積手段３Ａが、マスクフレームＭ１〜Ｍ３の全てについて相対応する画素同士を累積して累積フレームＦｒｃを算出する（ステップＳ４）。そして、二値化手段３Ｂが累積フレームＦｒｃをしきい値Ｔｈ２に基づいて二値化処理して基準マスクフレームＦｒｃ１を算出する（ステップＳ５）。
【００６８】
続いて、領域切り出し手段４が、フレームＦｒ１〜Ｆｒ３のそれぞれを対応するマスクフレームＭ１〜Ｍ３によりマスク処理するとともに、基準フレームＦｒ４を基準マスクフレームＦｒｃ１によりマスク処理して、複数のフレームＦｒ１〜Ｆｒ４のそれぞれから動体Ｘ０に対応する動体領域Ａ１〜Ａ４を切り出す（ステップＳ６）。
【００６９】
そして、合成手段５が、動体領域Ａ１〜Ａ４を、フレームＦｒ１〜Ｆｒ４のうちの一のフレームＦｒ１における動体領域Ａ１〜Ａ４のそれぞれが対応する位置に、時系列順に上書きして複数のフレームＦｒ１〜Ｆｒ４の合成画像Ｇ０を得（ステップＳ７）、処理を終了する。
【００７０】
具体的には、図７の最下段に示すように、フレームＦｒ１にフレームＦｒ１から切り出した動体領域Ａ１Ａ，Ａ１Ｂを上書きして第１の合成画像ＧＦｒ１を得る。なお、第１の実施形態においては、フレームＦｒ１に動体領域Ａ１〜Ａ４を上書きするため、フレームＦｒ１に対する動体領域Ａ１Ａ，Ａ１Ｂの上書きは省略することができる。なお、フレームＦｒ１においては動体領域Ａ１Ａが動体Ｘ０の領域に対応し、動体領域Ａ１ＢがフレームＦｒ４における動体Ｘ０の領域に対応する。
【００７１】
次いで、第１の合成画像ＧＦｒ１に、フレームＦｒ２から切り出した動体領域Ａ２Ａ，Ａ２Ｂを上書きして第２の合成画像ＧＦｒ１＋２を得る。なお、フレームＦｒ２においては動体領域Ａ２Ａが動体Ｘ０の領域に対応し、動体領域Ａ２ＢがフレームＦｒ４における動体Ｘ０の領域に対応する。このため、合成画像ＧＦｒ１における動体領域Ａ１Ｂは動体領域Ａ２Ｂにより上書きされるが、動体領域Ａ１Ｂと動体領域Ａ２Ｂとは略同一の画像を表すため、実質的に合成画像ＧＦｒ１における動体領域Ａ１Ｂの部分の画像は変更されない。
【００７２】
次いで、第２の合成画像ＧＦｒ１＋２に、フレームＦｒ３から切り出した動体領域Ａ３Ａ，Ａ３Ｂを上書きして第３の合成画像ＧＦｒ１＋２＋３を得る。なお、フレームＦｒ３においては動体領域Ａ３Ａが動体Ｘ０の領域に対応し、動体領域Ａ３ＢがフレームＦｒ４における動体Ｘ０の領域に対応する。このため、合成画像ＧＦｒ１＋２における動体領域Ａ２Ｂは動体領域Ａ３Ｂによりその一部が上書きされるが、動体領域Ａ２Ｂと動体領域Ａ３Ｂとは略同一の画像を表すため、実質的に合成画像ＧＦｒ１＋２における動体領域Ａ２Ｂの部分の画像は変更されない。
【００７３】
最後に、第３の合成画像ＧＦｒ１＋２＋３に、フレームＦｒ４から切り出した動体領域Ａ４Ａを上書きして第４の合成画像ＧＦｒ１＋２＋３＋４すなわち最終的な合成画像Ｇ０を得る。なお、フレームＦｒ４においては動体領域Ａ４Ａが動体Ｘ０の領域に対応する。このため、合成画像ＧＦｒ３における動体領域Ａ３Ｂおよび動体領域Ａ３Ａの円形の欠けに対応する領域は動体領域Ａ４Ａにより上書きされる。これにより、合成画像Ｇ０には動体Ｘ０の移動軌跡が現れる。
【００７４】
このように、第１の実施形態において算出されるマスクフレームＭ１〜Ｍ３のマスク領域は、各フレームＦｒ１〜Ｆｒ３に含まれる動体Ｘ０の領域を、基準マスクフレームＦｒｃ１は基準フレームＦｒ４に含まれる動体Ｘ０の領域をそれぞれ表すものとなる。このため、マスクフレームＭ１〜Ｍ３によりフレームＦｒ１〜Ｆｒ３を、および基準マスクフレームＦｒｃ１により基準フレームＦｒ４をそれぞれマスク処理することにより、動画像データＤ０が背景および動体Ｘ０の双方を含んでいても、各フレームＦｒ１〜Ｆｒ４から適切に動体領域Ａ１〜Ａ４を切り出すことができる。したがって、切り出した動体領域Ａ１〜Ａ４を用いて、動体Ｘ０の移動軌跡を含む合成画像Ｇ０を容易に得ることができる。
【００７５】
また、第１のマスクフレーム算出手段２は差分値の絶対値の算出および二値化処理、第２のマスクフレーム算出手段３は累積および二値化処理、領域切り出し手段４はマスク処理という比較的単純な処理を行っているため、フレームＦｒ１〜Ｆｒ４から簡易に動体領域Ａ１〜Ａ４を切り出すことができる。
【００７６】
次いで、本発明の第２の実施形態について説明する。図８は本発明の第２の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００７７】
第２の実施形態による動画像合成装置は、複数のフレームＦｒ１〜Ｆｒ４を重ねた場合において、基準フレームＦｒ４における動体Ｘ０に対応する領域と重ならない動体Ｘ０に対応する領域を有する他のフレームの数を表す第１のフレーム数Ｃ１、基準フレームＦｒ４における動体Ｘ０に対応する領域と重なる動体Ｘ０に対応する領域を有する他のフレームの数を表す第２のフレーム数Ｃ２、および動体Ｘ０に対応する領域同士が重なる他のフレームの数を表す第３のフレーム数Ｃ３の入力を受け付ける入力手段６と、入力された第１のフレーム数Ｃ１、第２のフレーム数Ｃ２および第３のフレーム数Ｃ３の間に、Ｃ１＞Ｃ２＞Ｃ３の関係があるか否かを判定し、この関係がある場合にのみ領域切り出し手段４による動体領域の切り出しを実行する判定手段７と、基準マスクフレームＦｒｃ１を得る際に得られる累積フレームＦｒｃを表示するモニタ８とをさらに備えた点が第１の実施形態と異なる。
【００７８】
入力手段６からは第２の実施形態による動画像合成装置を操作するオペレータがモニタ８に表示された累積フレームＦｒｃを観察することにより得た、基準フレームＦｒ４における動体Ｘ０に対応する領域と重ならない動体Ｘ０に対応する領域を有する他のフレームの数を表す第１のフレーム数Ｃ１、基準フレームＦｒ４における動体Ｘ０に対応する領域と重なる動体Ｘ０に対応する領域を有する他のフレームの数を表す第２のフレーム数Ｃ２、および動体Ｘ０に対応する領域同士が重なる他のフレームの数を表す第３のフレーム数Ｃ３のオペレータによる入力を受け付ける。なお、モニタ８には累積フレームＦｒｃのみならず、フレームＦｒ１〜Ｆｒ４を重ね合わせた画像を表示してもよい。
【００７９】
ここで、上記第１の実施形態においては、４つのフレームＦｒ１〜Ｆｒ４から合成画像Ｇ０を求めており、基準フレームＦｒ４における動体Ｘ０に対応する領域と重ならない動体Ｘ０に対応する領域を有する他のフレームの数を表す第１のフレーム数Ｃ１は２、基準フレームＦｒ４における動体Ｘ０に対応する領域と重なる動体Ｘ０に対応する領域を有する他のフレームの数を表す第２のフレーム数Ｃ２は１、動体Ｘ０に対応する領域同士が重なる他のフレームの数を表す第３のフレーム数Ｃ３は０であり、Ｃ１＞Ｃ２＞Ｃ３の関係は２＞１＞０となり成立する。したがって、第２の実施形態において、オペレータが入力手段６からＣ１＝２、Ｃ２＝１、Ｃ３＝０の値を入力すると、判定手段７がＣ１＞Ｃ２＞Ｃ３の関係を満たすと判定し、領域切り出し手段４に動体領域の切り出しを実行させる。
【００８０】
一方、６つのフレームＦｒ１〜Ｆｒ６から得られた累積フレームＦｒｃの例を図９に示す。なお、図９に示す累積フレームＦｒｃにおいて、基準フレームは時系列順で最も新しい時間のフレームＦｒ６とし、動体Ｘ０は図面上左から右に移動しているものとする。また、累積フレームＦｒｃ中の数字は累積値を示す。図９に示す例においては、第１のフレーム数Ｃ１は３、第２のフレーム数Ｃ２は２、第３のフレーム数Ｃ３は１となり、Ｃ１＞Ｃ２＞Ｃ３の関係が成立する。したがって、オペレータが入力手段６からＣ１＝３、Ｃ２＝２、Ｃ３＝１の値を入力すると、判定手段７がＣ１＞Ｃ２＞Ｃ３の関係を満たすと判定し、領域切り出し手段４に動体領域の切り出しを実行させる。
【００８１】
また、３つのフレームＦｒ１〜Ｆｒ３から得られた累積フレームＦｒｃの例を図１０（ａ）に、２つのフレームＦｒ１〜Ｆｒ２から得られた累積フレームＦｒｃの例を図１０（ｂ）に示す。図１０（ａ）、（ｂ）に示す累積フレームＦｒｃにおいて、基準フレームは時系列順で最も新しい時間のフレームＦｒ３，Ｆｒ２とし、動体Ｘ０は図面上左から右に移動しているものとする。
【００８２】
図１０（ａ）に示す例においては、第１のフレーム数Ｃ１は１、第２のフレーム数Ｃ２は１、第３のフレーム数Ｃ３は１となり、Ｃ１＞Ｃ２＞Ｃ３の関係は成立しない。したがって、オペレータが入力手段６からＣ１＝１、Ｃ２＝１、Ｃ３＝１の値を入力すると、判定手段７がＣ１＞Ｃ２＞Ｃ３の関係を満たさないと判定し、領域切り出し手段４には動体領域の切り出しを実行させない。また、図１０（ｂ）に示す例においては、第１のフレーム数Ｃ１は０、第２のフレーム数Ｃ２は１、第３のフレーム数Ｃ３は０となり、Ｃ１＞Ｃ２＞Ｃ３の関係は成立しない。したがって、オペレータが入力手段６からＣ１＝０、Ｃ２＝１、Ｃ３＝０の値を入力すると、判定手段７がＣ１＞Ｃ２＞Ｃ３の関係を満たさないと判定し、領域切り出し手段４には動体領域の切り出しを実行させない。
【００８３】
このように、第２の実施形態においては、入力手段６が第１〜第３のフレーム数Ｃ１〜Ｃ３の入力を受け付け、判定手段７がＣ１＞Ｃ２＞Ｃ３の関係があるか否かを判定し、Ｃ１＞Ｃ２＞Ｃ３の関係がある場合にのみ領域切り出し手段４に動体領域の切り出しを実行させるようにしているため、各フレームから確実に動体Ｘ０に対応する動体領域を切り出すことができる。
【００８４】
次いで、本発明の第３の実施形態について説明する。図１１は本発明の第３の実施形態による動画像合成装置の構成を示す概略ブロック図である。なお、第３の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００８５】
第３の実施形態による動画像合成装置は、第１の実施形態による動画像合成装置に加えて、マスクフレームのそれぞれにおけるマスク領域のサイズを第３のしきい値Ｔｈ３と比較し、マスク領域のサイズが第３のしきい値Ｔｈ３を越えたマスクフレームを選択する選択手段９をさらに備え、選択手段９が選択したマスクフレームのみ用いて第２のマスクフレーム算出手段３が基準マスクフレームＦｒｃ１を算出するようにした点が第１の実施形態と異なる。
【００８６】
ここで、図１２に示すような５つのフレームＦｒ１〜Ｆｒ５を用いて合成画像Ｇ０を求めることを考える。基準フレームをフレームＦｒ５とすると、フレームＦｒ１〜Ｆｒ４に対応するマスクフレームＭ１〜Ｍ４は図１３に示すものとなる。一方、累積フレームＦｒｃは図１４（ａ）に示すものとなり、累積フレームＦｒｃをしきい値Ｔｈ２＝２により二値化することにより得られる基準マスクフレームＦｒｃ１は図１４（ｂ）に示すものとなる。
【００８７】
このようにして得られたマスクフレームＭ１〜Ｍ４および基準マスクフレームＦｒｃ１による合成画像Ｇ０の算出を図１５を用いて説明する。フレームＦｒ１にフレームＦｒ１から切り出した動体領域Ａ１Ａ，Ａ１Ｂを上書きして第１の合成画像ＧＦｒ１を得る。なお、フレームＦｒ１においては動体領域Ａ１Ａが動体Ｘ０の領域に対応し、動体領域Ａ１ＢがフレームＦｒ５における動体Ｘ０の領域に対応する。
【００８８】
次いで、第１の合成画像ＧＦｒ１に、フレームＦｒ２から切り出した動体領域Ａ２Ａ，Ａ２Ｂを上書きして第２の合成画像ＧＦｒ１＋２を得る。なお、フレームＦｒ２においては動体領域Ａ２Ａが動体Ｘ０の領域に対応し、動体領域Ａ２ＢがフレームＦｒ５における動体Ｘ０の領域に対応する。このため、合成画像ＧＦｒ１における動体領域Ａ１Ｂは動体領域Ａ２Ｂにより上書きされる。
【００８９】
次いで、第２の合成画像ＧＦｒ１＋２に、フレームＦｒ３から切り出した動体領域Ａ３Ａ，Ａ３Ｂを上書きして第３の合成画像ＧＦｒ１＋２＋３を得る。なお、フレームＦｒ３においては動体領域Ａ３Ａが動体Ｘ０の領域に対応し、動体領域Ａ３ＢがフレームＦｒ５における動体Ｘ０の領域に対応する。このため、合成画像ＧＦｒ１＋２における動体領域Ａ２Ｂはその一部が動体領域Ａ３Ｂにより上書きされる。
【００９０】
さらに、第３の合成画像ＧＦｒ１＋２＋３に、フレームＦｒ４から切り出した動体領域Ａ４Ａ，Ａ４Ｂを上書きして第４の合成画像ＧＦｒ１＋２＋３＋４を得る。なお、フレームＦｒ４においては動体領域Ａ３Ａが動体Ｘ０の一部の領域に対応し、動体領域Ａ４ＢがフレームＦｒ５における動体Ｘ０の一部の領域に対応する。このため、合成画像ＧＦｒ１＋２＋３における動体領域Ａ２Ｂはその一部が動体領域Ａ３Ｂにより上書きされる。
【００９１】
最後に、第４の合成画像ＧＦｒ１＋２＋３＋４に、フレームＦｒ５から切り出した動体領域Ａ５Ａを上書きして第５の合成画像ＧＦｒ１＋２＋３＋４＋５すなわち最終的な合成画像Ｇ０を得る。
【００９２】
ここで、このようにして得られた合成画像Ｇ０においては、基準マスクフレームＦｒｃ１において円形の動体Ｘ０の一部が欠けているため、動体領域Ａ３Ａ，Ａ４Ａ，Ａ５Ａが互いに重なり合う部分において動体Ｘ０が存在しない領域Ｋ０が現れてしまう。
【００９３】
このため、第３の実施形態においては、選択手段９がマスクフレームＭ１〜Ｍ４におけるマスク領域のサイズをしきい値Ｔｈ３と比較し、マスク領域のサイズがしきい値Ｔｈ３以下となるマスクフレームを基準マスクフレームＦｒｃ１の算出から除外して、マスク領域のサイズがしきい値Ｔｈ３を越えるマスクフレームのみを基準マスクフレームＦｒｃ１の算出に用いるために選択する。
【００９４】
ここで、図１３に示すマスクフレームＭ１〜Ｍ４のそれぞれにおいて、マスク領域のサイズをみると、マスクフレームＭ４のマスク領域が最も小さい。したがって、しきい値Ｔｈ３の値を適切な値（例えばマスクフレームＭ１〜Ｍ４における個々のマスク領域の面積の最大値／２）に設定しておくことにより、選択手段９はマスクフレームＭ４以外のマスクフレームＭ１〜Ｍ３を基準マスクフレームＦｒｃ１の算出のためマスクフレームとして選択する。
【００９５】
そして、第２のマスクフレーム算出手段３は、選択されたマスクフレームＭ１〜Ｍ３を累積して累積フレームＦｒｃを算出する。マスクフレームＭ１〜Ｍ３から得られた累積フレームＦｒｃを図１６（ａ）に示す。そして、図１６（ａ）に示す累積フレームＦｒｃをしきい値Ｔｈ２＝１により二値化することにより得られる基準マスクフレームＦｒｃ１は図１６（ｂ）に示すものとなる。
【００９６】
このようにして算出された基準マスクフレームＦｒｃ１によりフレームＦｒ５から動体領域Ａ５Ａを切り出すと、フレームＦｒ５に含まれる動体Ｘ０が欠けることなく動体領域Ａ５Ａを切り出すことができる。したがって、第４の合成画像ＧＦｒ１＋２＋３＋４に、フレームＦｒ５から切り出した動体領域Ａ５Ａを上書きして得られる第５の合成画像ＧＦｒ１＋２＋３＋４＋５すなわち最終的な合成画像Ｇ０は、図１７に示すように最後のフレームＦｒ５における動体Ｘ０が欠けることがないものとなる。したがって、動体Ｘ０の欠けがないように、動体Ｘ０の移動軌跡を含む合成画像Ｇ０を得ることができる。
【００９７】
なお、上記第３の実施形態においては、さらに上記第２の実施形態のように入力手段６、判定手段７およびモニタ８を備えるものとし、第１のフレーム数Ｃ１、第２のフレーム数Ｃ２および第３のフレーム数Ｃ３の入力を受け付けて、Ｃ１＞Ｃ２＞Ｃ３の関係を満たす場合にのみ領域切り出し手段４において各フレームから動体領域を切り出すようにしてもよい。
【００９８】
次いで、本発明の第４の実施形態について説明する。図１８は本発明の第４の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図である。なお、第４の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００９９】
第４の実施形態による動画像合成装置は、第１の実施形態による動画像合成装置に加えて、基準マスクフレームＦｒｃ１のマスク領域に対応する基準フレーム上の領域の色情報を算出し、算出した色情報に近似する色情報を有する領域に対応する累積フレームＦｒｃ上の領域を重み付けする色情報算出手段２０をさらに備え、重み付けされた累積フレームＦｒｃをしきい値Ｔｈ２に基づいて二値化処理して基準マスクフレームＦｒｃ１を再算出するようにした点が第１の実施形態と異なる。
【０１００】
ここで、上記第３の実施形態と同様に、図１２に示すような５つのフレームＦｒ１〜Ｆｒ５を用いて合成画像Ｇ０を求めることを考えた場合、基準フレームをフレームＦｒ５とすると、フレームＦｒ１〜Ｆｒ４に対応するマスクフレームＭ１〜Ｍ４は図１３に示すものとなる。一方、累積フレームＦｒｃは図１４（ａ）に示すものとなり、累積フレームＦｒｃをしきい値Ｔｈ２（ここではＴｈ＝２とする）により二値化することにより得られる基準マスクフレームＦｒｃ１は図１４（ｂ）に示すものとなる。
【０１０１】
したがって、この基準マスクフレームＦｒｃ１を用いて得られた合成画像Ｇ０においては、基準マスクフレームＦｒｃ１において円形の動体Ｘ０の一部が欠けているため、上述したように動体領域Ａ３Ａ，Ａ４Ａ，Ａ５Ａが互いに重なり合う部分において動体Ｘ０が存在しない領域Ｋ０が現れてしまう。
【０１０２】
このため、第４の実施形態においては、動体Ｘ０が略同一の色を有するという前提において、色情報算出手段２０が、一旦算出された基準マスクフレームＦｒｃ１により基準フレームＦｒ５から動体領域Ａ５Ａを切り出し、動体領域Ａ５Ａの色情報を算出し、この色情報を用いて基準マスクフレームＦｒｃ１を再算出するようにしたものである。
【０１０３】
具体的には、色情報算出手段２０は、切り出した動体領域Ａ５Ａのヒストグラムを求め、このヒストグラムのメディアン値により表される色を動体領域Ａ５Ａの色情報として算出する。なお、動画像データＤ０ひいてはフレームＦｒ１〜Ｆｒ５は、ＲＧＢの色データまたはＹＣＣ輝度色差データからなる。このため、ＲＧＢの各成分またはＹＣＣのうちの色差成分を用いてヒストグラムのメディアン値を算出し、各成分のメディアン値からなる色を色情報として算出する。なお、ヒストグラムのメディアン値に代えて、ヒストグラムの平均値や、ヒストグラムにおいて所定値以上の頻度を有する色を算出してもよい。
【０１０４】
次いで、色情報算出手段２０は、基準フレームＦｒ５上における、算出した色情報に近似する色を有する色領域を求める。具体的には色空間上において算出した色情報を中心とする所定の色空間範囲に含まれる色を有する領域を色領域として求める。ここで、図１４（ｂ）に示す基準マスクフレームＦｒｃ１により基準フレームＦｒ５から切り出した動体領域Ａ５Ａは、円形の動体Ｘ０の一部が欠けたものとなる。しかしながら、動体領域Ａ５Ａの色情報は動体Ｘ０の色を表すものであるため、算出された色情報により求められた色領域は、図１９に示すように円形の物体Ｘ０に対応するものとなる。
【０１０５】
続いて、色情報算出手段２０は、累積フレームＦｒｃ上における色領域に対応する領域に累積値を加算することにより累積フレームＦｒｃを重み付けする。なお、ここでは累積値として１を加算するものとする。累積値が加算された累積フレームＦｒｃを図２０（ａ）に示す。そして、図２０（ａ）に示す累積フレームＦｒｃをしきい値Ｔｈ２＝２により二値化することにより得られる基準マスクフレームＦｒｃ１は図２０（ｂ）に示すものとなる。
【０１０６】
このようにして再算出された基準マスクフレームＦｒｃ１によりフレームＦｒ５から動体領域Ａ５Ａを切り出すと、フレームＦｒ５に含まれる動体Ｘ０が欠けることなく動体領域Ａ５Ａを切り出すことができる。したがって、第４の合成画像ＧＦｒ１＋２＋３＋４に、フレームＦｒ５から切り出した動体領域Ａ５Ａを上書きして得られる第５の合成画像ＧＦｒ１＋２＋３＋４＋５すなわち最終的な合成画像Ｇ０は、図１７に示すように最後のフレームＦｒ５における動体Ｘ０が欠けることがないものとなる。したがって、動体Ｘ０の欠けがないように、動体Ｘ０の移動軌跡を含む合成画像Ｇ０を得ることができる。
【０１０７】
なお、上記第４の実施形態においては、さらに上記第２の実施形態のように入力手段６、判定手段７およびモニタ８を備えるものとし、第１のフレーム数Ｃ１、第２のフレーム数Ｃ２および第３のフレーム数Ｃ３の入力を受け付けて、Ｃ１＞Ｃ２＞Ｃ３の関係を満たす場合にのみ領域切り出し手段４において各フレームから動体領域を切り出すようにしてもよい。
【０１０８】
次いで、本発明の第５の実施形態について説明する。図２１は本発明の第５の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図である。なお、第５の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【０１０９】
第５の実施形態による動画像合成装置は、第１の実施形態による動画像合成装置に加えて、サンプリング手段１がサンプリングした複数のフレームＦｒｉの位置合せを行う位置合せ手段１０と、位置合せされた複数のフレームＦｒｉの画素値のレベルを補正するフレーム補正手段１１とを備え、さらに第１のマスクフレーム算出手段２が差分手段２Ａが算出した差分値の絶対値｜ｄｉ（ｘ，ｙ）｜にフィルタリング処理を施すフィルタリング手段２Ｃを備えた点が第１の実施形態と異なる。
【０１１０】
なお、以降の説明においては、第１の実施形態と同様に４つのフレームＦｒ１〜Ｆｒ４がサンプリングされたものとして説明するが、これに限定されるものではない。
【０１１１】
位置合せ手段１０は、基準フレームＦｒ４以外の他のフレームＦｒ１〜Ｆｒ３を基準フレームＦｒ４に位置合せする。図２２は位置合せ手段１０における位置合せを説明するための図である。なお、ここではフレームＦｒ１とフレームＦｒ４との位置合せについて説明する。図２２に示すように、フレームＦｒ１，Ｆｒ４には、円形の動体Ｘ０および直方体の背景Ｂ０が含まれている。撮影時においては背景Ｂ０を移動しないようにしているが、実際には手ぶれ等により動体Ｘ０のみならず背景Ｂ０もフレームＦｒ１，Ｆｒ４間において移動する。しかしながら、背景Ｂ０の移動量は動体Ｘ０の移動量とは異なる。一方、動体Ｘ０の移動量と背景Ｂ０の移動量とが一致していれば、動体Ｘ０は静止していることとなる。なお、図２２においては、説明を容易にするため、背景Ｂ０の移動量を誇張して示している。
【０１１２】
位置合せ手段１０は、フレームＦｒ１をフレームＦｒ４に対して平行移動し、フレームＦｒ１の各画素Ｆｒ１（ｘ，ｙ）とフレームＦｒ４の各画素Ｆｒ４（ｘ，ｙ）の画素値の相関が最も高くなったときのフレームＦｒ４の移動量および移動方向を、フレームＦｒ１についての動ベクトルＶ１として算出する。そして、動ベクトルＶ１とは逆の移動方向すなわち動ベクトル−Ｖ１の方向にフレームＦｒ１を平行移動してフレームＦｒ１をフレームＦｒ４に位置合せする。ここで、動体Ｘ０は背景Ｂ０と比較して領域が小さいため、相関値に影響を与えるのは動体Ｘ０よりも背景Ｂ０である。したがって、位置合せ手段１０により、フレームＦｒ１とフレームＦｒ４との背景領域のみが位置合せされることとなる。
【０１１３】
なお、位置合せ手段１０は、フレームＦｒ１，Ｆｒ４間の画素値の差の２乗の累積和または絶対値の累積和が最小となったときに最も相関が高いものと判断する。
【０１１４】
なお、ここでは、動ベクトルＶ１を算出してフレームＦｒ１を平行移動してフレームＦｒ１，Ｆｒ４の位置合せを行っているが、アフィン変換や特願２００２−２４９２１２号に記載された方法等の他の手法によりフレームＦｒ１，Ｆｒ４の位置合せを行ってもよい。特願２００２−２４９２１２号に記載された方法とは、基準フレーム（すなわちフレームＦｒ４）上に１または複数の矩形領域からなる基準パッチを配置し、この基準パッチと同様のパッチを他のフレーム（すなわちフレームＦｒ１）上に配置し、パッチ内の画像が基準パッチ内の画像と一致するように、パッチをフレームＦｒ１上において移動および／または変形し、移動および／または変形後のパッチおよび基準パッチに基づいて、フレームＦｒ１上のパッチ内の画素とフレームＦｒ４上の基準パッチ内の画素との対応関係を推定し、この対応関係に基づいて位置合せを行う方法である。
【０１１５】
また、フレームＦｒ１〜Ｆｒ４がＹＣＣ輝度色差成分からなる場合には、全ての成分についてのみならず、Ｙ成分についてのみ位置合せを行い、他の成分についてはＹ成分と同様に位置合せを行うようにしてもよい。また、フレームＦｒ１〜Ｆｒ４がＲＧＢ成分からなる場合には、全ての成分についてのみならず、ＲＧＢのうちの１つの成分についてのみ位置合せを行い、他の成分については位置合せを行った成分と同様に位置合せを行うようにしてもよい。
【０１１６】
なお、位置合せにより、位置合せ後のフレームＦｒ１〜Ｆｒ３には、画素が信号値を有さない領域（例えば図２２の位置合せ後のフレームＦｒ１における斜線部の領域）が現れる。このため、位置合せ手段１０の後段のフレーム補正手段１１、第１のマスクフレーム算出手段２および第２のマスクフレーム算出手段３は、画素が信号値を有する領域についてのみフレーム補正、マスクフレームの算出および基準マスクフレームの算出を行うものとする。
【０１１７】
フレーム補正手段１１は、位置合せ前または後のフレームＦｒ１〜Ｆｒ３および基準フレームＦｒ４のそれぞれについて画素値のレベルを表す画素値の平均値を算出し、平均値が略一致するように複数のフレームＦｒ１〜Ｆｒ４の画素値を補正する。
【０１１８】
具体的には、下記の式（４）により、フレームＦｒ１〜Ｆｒ３（位置合せ後のもの）および基準フレームＦｒ４について、全画素値の平均値ＦｒＭ１〜ＦｒＭ４を算出する。
ＦｒＭｉ＝ΣＦｒｉ（ｘ，ｙ）／（ｍ×ｎ） （４）
但し、ｍ×ｎは位置合せ前または後のフレームＦｒｉにおいて画素値を有する全画素数
【０１１９】
そして、フレームＦｒ１〜Ｆｒ３について、全画素値の平均値ＦｒＭｉが基準フレームの全画素値の平均値ＦｒＭ４に一致するように、フレームＦｒ１〜Ｆｒ３の画素値を下記の式（５）により補正する。

但し、ＦｒｉＨ（ｘ，ｙ）は補正されたフレームの画素値、ｉ＝１〜３
【０１２０】
なお、フレームＦｒ１〜Ｆｒ４がＹＣＣ輝度色差成分からなる場合には、全ての成分についてのみならず、Ｙ成分についてのみ補正を行うようにしてもよい。
【０１２１】
また、平均値に代えて、全画素のメディアン値、ヒストグラムの最大頻度値等、フレームＦｒ１〜Ｆｒ３の全画素を代表する値であればいかなる値を用いてもよい。
【０１２２】
フィルタリング手段２Ｃは、差分手段２Ａが算出した基準フレームＦｒ４と基準フレームＦｒ４以外の他のフレームＦｒ１〜Ｆｒ３（位置合せ済み、画素値の補正済みのもの）との相対応する画素間における差分値の絶対値に対して、フィルタリング処理を施す。図２３はフィルタリング手段２Ｃが用いるフィルタの例を示す図である。図２３に示すフィルタＦ１は、自身を含め隣接する８つの画素の画素値の平均値を自身の画素値とするローパスフィルタである。
【０１２３】
ここで、絶対値が比較的大きい値となる領域は本来であれば基準フレームＦｒ４および他のフレームＦｒ１〜Ｆｒ３に含まれる動体Ｘ０に対応する領域であるが、各フレームＦｒ１〜Ｆｒ４には撮影時のノイズや、動体Ｘ０の動きに起因するノイズが含まれるため、絶対値が比較的大きくなる領域に絶対値が小さくなる小領域が含まれる場合がある。逆に絶対値が小さくなる領域に絶対値が比較的大きくなる小領域が含まれる場合もある。このため、差分値の絶対値に対して図２３に示すようなフィルタＦ１によりフィルタリング処理を施すことにより、このような小領域に起因するノイズを絶対値から除去することができる。したがって、ノイズの影響を低減して精度よくマスクフレームＭ１〜Ｍ３を算出することができる。
【０１２４】
なお、ここでは３×３のローパスフィルタを用いるものとしたが、５×５あるいはそれ以上のサイズのローパスフィルタを用いてもよい。また、メディアンフィルタ、最大値フィルタまたは最小値フィルタを用いてもよい。
【０１２５】
次いで、第５の実施形態において行われる処理について説明する。図２４は、第５の実施形態において行われる処理を示すフローチャートである。なお、ここでは第１の実施形態と同様に４つのフレームＦｒ１〜Ｆｒ４がサンプリングされたものとして説明する。
【０１２６】
まず、サンプリング手段１が動画像データＤ０から４つのフレームＦｒ１〜Ｆｒ４をサンプリングする（ステップＳ１１）。次いで、位置合せ手段１０が、フレームＦｒ１〜Ｆｒ３を基準フレームＦｒ４に位置合せする（ステップＳ１２）。そして、フレーム補正手段１１が、位置合せ後（位置合せ前でもよい）のフレームＦｒ１〜Ｆｒ４の画素値を補正する（ステップＳ１３）。
【０１２７】
次いで、第１のマスクフレーム算出手段２の差分手段２が位置合せおよび補正がなされた複数のフレームＦｒ１〜Ｆｒ４のうち、基準フレームＦｒ４と基準フレームＦｒ４以外の他のフレームＦｒ１〜Ｆｒ３との相対応する画素間における差分値の絶対値｜ｄｉ（ｘ，ｙ）｜を算出する（ステップＳ１４）。次いで、フィルタリング手段２Ｃが、差分値の絶対値に対して図２３に示すフィルタＦ１によりフィルタリング処理を施し（ステップＳ１５）、二値化手段２Ｂがフィルタリング処理後の差分値の絶対値をしきい値Ｔｈ１に基づいて二値化処理してマスクフレームＭ１〜Ｍ３を算出する（ステップＳ１６）。
【０１２８】
次いで、第２のマスクフレーム算出手段３の累積手段３Ａが、マスクフレームＭ１〜Ｍ３の全てについて相対応する画素同士を累積して累積フレームＦｒｃを算出する（ステップＳ１７）。そして、二値化手段３Ｂが累積フレームＦｒｃをしきい値Ｔｈ２に基づいて二値化処理して基準マスクフレームＦｒｃ１を算出する（ステップＳ１８）。
【０１２９】
続いて、領域切り出し手段４が、フレームＦｒ１〜Ｆｒ３のそれぞれを対応するマスクフレームＭ１〜Ｍ３によりマスク処理するとともに、基準フレームＦｒ４を基準マスクフレームＦｒｃ１によりマスク処理して、複数のフレームＦｒ１〜Ｆｒ４のそれぞれから動体Ｘ０に対応する動体領域Ａ１〜Ａ４を切り出す（ステップＳ１９）。
【０１３０】
そして、合成手段５が、動体領域Ａ１〜Ａ４を、フレームＦｒ１〜Ｆｒ４のうちの一のフレームＦｒ１における動体領域Ａ１〜Ａ４のそれぞれが対応する位置に、時系列順に上書きして複数のフレームＦｒ１〜Ｆｒ４の合成画像Ｇ０を得（ステップＳ２０）、処理を終了する。
【０１３１】
このように、第５の実施形態においては、位置合せ手段１０が複数のフレームＦｒ１〜Ｆｒ４における背景領域の位置合せを行っているため、撮影時における手ぶれ等に起因するフレーム全体の動きの影響をフレームＦｒ１〜Ｆｒ４から除去することができる。したがって、フレーム全体の動きの影響を無くして、各フレームから正確に動体領域を切り出すことができる。
【０１３２】
ここで、動画像を撮影するビデオカメラの明るさ調整機能がうまく作用しなかったり、晴天時における屋外での撮影中に突然曇ってきた場合には、サンプリングされたフレーム間において全体の明るさが異なるものとなる。したがって、第１のマスクフレーム算出手段２がこのようなフレームを用いて基準フレームＦｒ４と他のフレームＦｒ１〜Ｆｒ４とのそれぞれとの相対応する画素間において差分値の絶対値｜ｄｉ（ｘ，ｙ）｜を算出すると、動体Ｘ０に対応しない背景領域においても絶対値｜ｄｉ（ｘ，ｙ）｜が比較的大きな値を有することとなるため、動体Ｘ０にのみ対応するマスク領域を有するマスクフレームＭ１〜Ｍ３を適切に算出することができない。
【０１３３】
このため、フレーム補正手段１１により、フレームＦｒ１〜Ｆｒ４の画素値を補正することにより、各フレームにおける全体の明るさを略同一とすることができるため、動体Ｘ０に対応しない背景領域においては絶対値｜ｄｉ（ｘ，ｙ）｜がそれほど大きな値を有することがなくなり、これにより、動体Ｘ０にのみ対応するマスク領域を有するマスクフレームＭ１〜Ｍ３を適切に算出することができる。
【０１３４】
また、第１のマスクフレーム算出手段２のフィルタリング手段２Ｃが、差分値の絶対値｜ｄｉ（ｘ，ｙ）｜に対してノイズを除去するフィルタリング処理を行っているため、絶対値｜ｄｉ（ｘ，ｙ）｜からノイズを除去することができ、これにより、ノイズの影響を低減して精度よくマスクフレームＭ１〜Ｍ３を算出することができる。
【０１３５】
なお、上記第５の実施形態において、図２５に示す第６の実施形態のように、入力手段６、判定手段７およびモニタ８を備えるものとしてもよい。
【０１３６】
また、上記第５の実施形態において、図２６に示す第７の実施形態のように、第２のマスクフレーム算出手段３に、累積手段３Ａが算出した累積フレームＦｒｃに対して、図２３に示すフィルタＦ１によりフィルタリング処理を施すフィルタリング手段３Ｃを設けてもよい。
【０１３７】
これにより、累積フレームＦｒｃから撮影時のノイズや、動体Ｘ０の動きに起因するノイズを除去することができる。したがって、ノイズの影響を低減して精度よく基準マスクフレームＦｒｃ１を算出することができる。
【０１３８】
また、上記第５の実施形態においては、位置合せ手段１０において、フレーム間の動ベクトルＶ１を算出してフレームの位置合せを行っているが、この際、フレームに含まれる動体Ｘ０と背景Ｂ０とを分離し、背景Ｂ０のみにより動ベクトルを算出してもよい。以下、位置合せ手段１０において、フレームから動体Ｘ０と背景Ｂ０とを分離して位置合せを行う場合の処理について第８の実施形態として説明する。なお、ここでは図２２に示すようにフレームＦｒ１とフレームＦｒ４との位置合せについて説明する。
【０１３９】
まず、位置合せ手段１０は、フレームＦｒ１とフレームＦｒ４との相対応する画素間における差分値の絶対値を算出して差分フレームＦｒｓを求める。この差分値の絶対値の算出は、上記式（１）により行えばよい。
【０１４０】
図２７（ａ）は差分フレームＦｒｓを示す図である。図２７（ａ）の斜線部分に示すように差分フレームＦｒｓにおいては、フレームＦｒ１，Ｆｒ４間において動きがあった部分に大きな値を有するものとなっている。具体的には、動体Ｘ０に対応する領域および直方体の背景Ｂ０に対応する領域の移動量を表す部分に大きな値を有するものとなっている。
【０１４１】
次いで、位置合せ手段１０は、差分フレームＦｒｓに対してモフォロジー処理を施す。以下、モフォロジー処理について説明する。
【０１４２】
モフォロジー処理は、とくに乳癌における特徴的形態である微小石灰化像を検出するのに有効な手法として研究されているが、対象画像としてはこのようなマンモグラムにおける微小石灰化像に限るものではなく、検出しようとする特定の画像部分（異常陰影、ノイズ等）の大きさや形状が予めある程度分かっているものについては、いかなる画像に対しても適用することができる（特開平８−２７２９６１号公報、同９−２４８２９１号公報、同９−９１４２１号公報等）。このモフォロジー処理を、濃淡画像を例にして以下に簡単に説明する。
【０１４３】
モフォロジー処理は、所定のオフセット値を有する原点について対象な所定サイズを有するモフォロジーエレメントを使用して、対象となる画像を操作する処理であり、ダイレーション処理、イロージョン処理、オープニング処理およびクロージング処理がある。
【０１４４】
ダイレーション処理は、注目画素を中心とした、±ｍ（モフォロジーエレメントに応じて決定される値であって、モフォロジーエレメントのサイズに相当する）の幅の範囲内の最大値を探索する処理であり、ダイレーション処理により画像内の明るい領域が拡大され、暗い領域が縮小される。
【０１４５】
イロージョン処理は、注目画素を中心とした、±ｍの幅の範囲内の最小値を探索する処理であり、イロージョン処理により画像内の明るい領域が縮小され、暗い領域が拡大される。
【０１４６】
オープニング処理はイロージョン処理後にダイレーション処理を行う処理、すなわち最小値の探索の後に最大値を探索する処理であり、オープニング処理により画像内の余分な明るい細部、細い線および微小領域が除去される。
【０１４７】
クロージング処理は、ダイレーション処理後にイロージョン処理を行う処理、すなわち最大値の探索の後に最小値を探索する処理であり、クロージング処理により画像内の余分な暗い細部、細い線および微少領域が除去される。
【０１４８】
第８の実施形態においては、差分フレームＦｒｓに対してオープニング処理を施すことにより、差分フレームＦｒｓ内の明るい細部、細い線および微小領域を除去する。ここで、フレームＦｒ１，Ｆｒ４に含まれる動体Ｘ０は移動量が大きいため、図２７（ａ）に示すように、差分フレームＦｒｓ内においてはその円形の形状を確認することができるが、直方体の背景Ｂ０は移動量が小さいため、差分フレームＦｒｓ内においてその形状を確認することはできず、直方体の輪郭に沿って狭小な領域Ｂ１が存在するのみである。したがって、差分フレームＦｒｓに対してオープニング処理を施すことにより、処理後の差分フレームＦｒｓ０には、図２７（ｂ）に示すように、差分フレームＦｒｓに含まれた狭小な領域Ｂ１が除去され、動体Ｘ０に対応する領域Ｘ１，Ｘ２のみが存在することとなる。
【０１４９】
次いで、位置合せ手段１０は、図２８に示すように、フレームＦｒ１，Ｆｒ４のそれぞれから、処理後の差分フレームＦｒｓ０における動体Ｘ０に対応する領域Ｘ１，Ｘ２を除去し、領域Ｘ１，Ｘ２を除去した後のフレームＦｒ１をフレームＦｒ４に対して平行移動して、上記と同様にフレームＦｒ１についての動ベクトルＶ１を算出し、動ベクトル−Ｖ１の方向にフレームＦｒ１を平行移動してフレームＦｒ１をフレームＦｒ４に位置合せする。
【０１５０】
このように、フレームＦｒ１，Ｆｒ４から動体Ｘ０に対応する領域Ｘ１，Ｘ２を除去してフレームＦｒ１，Ｆｒ４の位置合せを行うことにより、背景Ｂ０よりも動きの大きい動体Ｘ０の影響を除去して、動ベクトルＶ１を正確に求めることができ、これによりフレームＦｒ１，Ｆｒ４の位置合せを正確に行うことができる。
【０１５１】
なお、上記各実施形態においては、基準フレーム以外のフレームを用いてのマスクフレームを算出するために、差分手段２Ａにおいて、各フレームと基準フレームとの差分値の絶対値を算出しているが、時間的に隣接するフレーム間の差分値の絶対値を算出してマスクフレームを算出してもよい。以下、これを第９の実施形態として説明する。
【０１５２】
図２９は第９の実施形態において行われる処理をフレームを用いて説明した図である。なお、第９の実施形態においては、第１の実施形態と同様に、４つのフレームＦｒ１〜Ｆｒ４を用いた処理について説明する。第９の実施形態においては、図２９に示すようにフレームＦｒ１とフレームＦｒ２との差分値の絶対値、フレームＦｒ２とフレームＦｒ３との差分値の絶対値およびフレームＦｒ３とフレームＦｒ４との差分値の絶対値を算出した後に二値化処理を行って、マスクフレームＭ１′〜Ｍ３′を算出する。マスクフレームＭ１′はマスク領域Ｒ１Ａ′，Ｒ１Ｂ′を有し、マスクフレームＭ２′はマスク領域Ｒ２Ａ′，Ｒ２Ｂ′を有し、マスクフレームＭ３′はマスク領域Ｒ３Ａ′，Ｒ３Ｂ′を有する。ここで、マスクフレームＭ１′〜Ｍ３′において、マスク領域Ｒ１Ａ′，Ｒ２Ａ′，Ｒ３Ａ′は、各フレームＦｒ１〜Ｆｒ３における動体Ｘ０の領域に対応し、マスク領域Ｒ１Ｂ′，Ｒ２Ｂ′，Ｒ３Ｂ′は、それぞれ隣接するフレームにおける動体Ｘ０の領域に対応する。
【０１５３】
そして、フレームＦｒ１〜Ｆｒ３のそれぞれを対応するマスクフレームＭ１′〜Ｍ３′によりマスク処理するとともに、基準フレームＦｒ４を基準マスクフレームＦｒｃ１によりマスク処理して、複数のフレームＦｒ１〜Ｆｒ４のそれぞれから動体Ｘ０に対応する動体領域を切り出す。すなわち、フレームＦｒ１については、マスクフレームＭ１′における画素値が１となるマスク領域Ｒ１Ａ′，Ｒ１Ｂ′に対応する領域を動体領域Ａ１Ａ′，Ａ１Ｂ′（以下Ａ１′で代表させることもある）として切り出す。フレームＦｒ２については、マスクフレームＭ２′における値が１となるマスク領域Ｒ２Ａ′，Ｒ２Ｂ′に対応する領域を動体領域Ａ２Ａ′，Ａ２Ｂ′（以下Ａ２′で代表させることもある）として切り出す。フレームＦｒ３については、マスクフレームＭ３′における値が１となるマスク領域Ｒ３Ａ′，Ｒ３Ｂ′に対応する領域を動体領域Ａ３Ａ′，Ａ３Ｂ′（以下Ａ３′で代表させることもある）として切り出す。
【０１５４】
一方、基準フレームＦｒ４については、基準マスクフレームＦｒｃ１における値が１となるマスク領域Ｒ４Ａ′に対応する領域を動体領域Ａ４Ａ′（以下Ａ４′で代表させることもある）として切り出す。
【０１５５】
ここで、基準マスクフレームＦｒｃ１は、上記第１の実施形態と同様にして、各フレームと基準フレームとの差分値の絶対値に基づいて算出されたマスクフレームＭ１〜Ｍ３の累積フレームＦｒｃ算出し、これを二値化処理することにより算出する。
【０１５６】
そして、動体領域Ａ１′〜Ａ４′を、フレームＦｒ１〜Ｆｒ４のうちの一のフレーム（ここではＦｒ１とする）における動体領域Ａ１′〜Ａ４′のそれぞれが対応する位置に時系列順に上書きして、複数のフレームＦｒ１〜Ｆｒ４の合成画像Ｇ０′を得る。
【０１５７】
なお、上記第５の実施形態においてはフレーム補正手段１１により複数のフレームＦｒ１〜Ｆｒ４のそれぞれについて画素値のレベルを表す画素値の平均値を算出し、この平均値が略一致するように複数のフレームＦｒ１〜Ｆｒ４の画素値を補正することにより、各フレームにおける全体の明るさを略同一として、動体Ｘ０に対応しない背景領域においては絶対値｜ｄｉ（ｘ，ｙ）｜がそれほど大きな値を有することをなくして、動体Ｘ０にのみ対応するマスク領域を有するマスクフレームＭ１〜Ｍ３を適切に算出するようにしているが、第１のマスクフレーム算出手段２の二値化手段２Ｂにおいて二値化処理に用いられるしきい値Ｔｈ１を補正することによっても同様の効果が得られる。以下、しきい値Ｔｈ１を補正する実施形態を第１０の実施形態として説明する。
【０１５８】
図３０は本発明の第１０の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図である。なお、第１０の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【０１５９】
第１０の実施形態による動画像合成装置は、第１のマスクフレーム算出手段２に二値化手段２Ｂにおいて用いられる二値化処理のしきい値Ｔｈ１を差分値の絶対値｜ｄｉ（ｘ，ｙ）｜毎に補正するしきい値補正手段２Ｄを設けた点が第１の実施形態と異なる。以下、しきい値Ｔｈ１の補正について説明する。なお、第１０の実施形態においても、動画像データＤ０から４つのフレームＦｒ１〜Ｆｒ４をサンプリングするものとする。
【０１６０】
まず、しきい値補正手段２Ｄは、上記式（４）により、フレームＦｒ１〜Ｆｒ３および基準フレームＦｒ４について、全画素値の平均値ＦｒＭ１〜ＦｒＭ４を算出する。そして、基準フレームＦｒ４についての平均値ＦｒＭ４と基準フレームＦｒ４以外の他のフレームＦｒ１〜Ｆｒ４についての平均値ＦｒＭ１〜ＦｒＭ３のそれぞれとの差分値の絶対値を補正係数αｉ（ｉ＝１〜３）として下記の式（６）により算出する。
αｉ＝｜ＦｒＭ４−ＦｒＭｉ｜ （６）
【０１６１】
ここで、二値化手段２Ｂにおいては、上記式（１）または（２）により算出された差分値の絶対値｜ｄｉ（ｘ，ｙ）｜をしきい値Ｔｈ１に基づいて二値化処理しているが、第１０の実施形態においては差分値の絶対値｜ｄｉ（ｘ，ｙ）｜毎にしきい値Ｔｈ１を補正して補正しきい値Ｔｈ１′ｉ（ｉ＝１〜３）を求め、補正しきい値Ｔｈ１′ｉにより二値化処理を行う。補正しきい値Ｔｈ１′ｉは下記の式（７）により算出する。
Ｔｈ１′ｉ＝Ｔｈ１＋αｉ （７）
【０１６２】
二値化手段２Ｂは、差分値の絶対値｜ｄｉ（ｘ，ｙ）｜を補正しきい値Ｔｈ１′ｉにより二値化処理する。すなわち、差分値の絶対値｜ｄｉ（ｘ，ｙ）｜が補正しきい値Ｔｈ１′ｉより大きい画素については１を、補正しきい値Ｔｈ１′ｉ以下の画素については０の値を付与して、値が１となる画素をマスク領域とする他のフレームＦｒ１〜Ｆｒ３のそれぞれに対応するマスクフレームＭ１〜Ｍ３を算出する。
【０１６３】
具体的には、フレームＦｒ１と基準フレームＦｒ４とから算出した差分値の絶対値｜ｄ１（ｘ，ｙ）｜については、平均値ＦｒＭ４と平均値ＦｒＭ１とから求めた補正係数α１によりしきい値Ｔｈ１を補正することに算出された補正しきい値Ｔｈ１′１により二値化処理を行い、フレームＦｒ２と基準フレームＦｒ４とから算出した差分値の絶対値｜ｄ２（ｘ，ｙ）｜については、平均値ＦｒＭ４と平均値ＦｒＭ２とから求めた補正係数α２によりしきい値Ｔｈ１を補正することに算出された補正しきい値Ｔｈ１′２により二値化処理を行い、フレームＦｒ３と基準フレームＦｒ４とから算出した差分値の絶対値｜ｄ３（ｘ，ｙ）｜については、平均値ＦｒＭ３と平均値ＦｒＭ１とから求めた補正係数α３によりしきい値Ｔｈ１を補正することに算出された補正しきい値Ｔｈ１′３により二値化処理を行う。
【０１６４】
なお、第１０の実施形態においては、補正係数αｉを求める際に各フレームＦｒ１〜Ｆｒ４の平均値を算出しているが、平均値に代えて、全画素のメディアン値、ヒストグラムの最大頻度値等、フレームＦｒ１〜Ｆｒ４の全画素を代表する値であればいかなる値を用いてもよい。
【０１６５】
また、第１０の実施形態においては、フレームＦｒ１〜Ｆｒ４がＹＣＣ輝度色差成分からなる場合には、全ての成分についてのみならず、Ｙ成分についてのみ補正係数αｉを算出してしきい値Ｔｈ１の補正を行うようにしてもよい。
【０１６６】
なお、上記第１から第３、第５、第６、第８および第９の実施形態において、位置合せ手段１０、フレーム補正手段１１およびフィルタリング手段２Ｃのうちの少なくとも１つの手段を備えるようにしてもよい。
【０１６７】
また、上記第１０の実施形態において、位置合せ手段１０およびフィルタリング手段２Ｃのうちのいずれかの手段を備えるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図
【図２】サンプリングされたフレームの例を示す図
【図３】マスクフレームを示す図
【図４】累積フレームを示す図
【図５】基準マスクフレームを示す図
【図６】第１の実施形態において行われる処理を示すフローチャート
【図７】第１の実施形態において行われる処理をフレームを用いて説明した図
【図８】本発明の第２の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図
【図９】６つのフレームから得られた累積フレームの例を示す図
【図１０】（ａ）は３つのフレームから得られた累積フレームの例を示す図、（ｂ）は２つのフレームから得られた累積フレームの例を示す図
【図１１】本発明の第３の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図
【図１２】サンプリングされたフレームの例を示す図
【図１３】マスクフレームを示す図
【図１４】（ａ）は累積フレームを示す図、（ｂ）は基準マスクフレームを示す図
【図１５】合成画像の算出を説明するための図
【図１６】（ａ）は累積フレームを示す図、（ｂ）は基準マスクフレームを示す図
【図１７】合成画像の算出を説明するための図
【図１８】本発明の第４の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図
【図１９】第４の実施形態において求められる色領域を示す図
【図２０】（ａ）は累積フレームを示す図、（ｂ）は基準マスクフレームを示す図
【図２１】本発明の第５の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図
【図２２】位置合せ手段における位置合せを説明するための図
【図２３】フィルタリング手段が用いるフィルタの例を示す図
【図２４】第５の実施形態において行われる処理を示すフローチャート
【図２５】本発明の第６の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図
【図２６】本発明の第７の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図
【図２７】（ａ）は差分フレームを示す図、（ｂ）はオープニング処理後の差分フレームを示す図
【図２８】第８の実施形態において位置合せ手段における位置合せを説明するための図
【図２９】第９の実施形態において行われる処理をフレームを用いて説明した図
【図３０】本発明の第１０の実施形態による動画像切り出し装置を備えた動画像合成装置の構成を示す概略ブロック図
【符号の説明】
１ サンプリング手段
２ 第１のマスクフレーム算出手段
２Ａ 差分手段
２Ｂ 二値化手段
２Ｃ フィルタリング手段
２Ｄ しきい値補正手段
３ 第２のマスクフレーム算出手段
３Ａ 累積手段
３Ｂ 二値化手段
３Ｃ フィルタリング手段
４ 領域切り出し手段
５ 合成手段
６ 入力手段
７ 判定手段
８ モニタ
９ 選択手段
１０ 位置合せ手段
１１ フレーム補正手段
２０ 色情報算出手段

Claims (13)

1. 動体を含む動画像から連続する３以上の複数のフレームをサンプリングするサンプリング手段と、
   前記複数のフレームのうち基準となる１つの基準フレームと該基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出し、該絶対値を第１のしきい値に基づいて二値化処理して、前記他のフレームのそれぞれにおける前記動体の位置を特定するマスク領域を含む他のマスクフレームを前記他のフレームのそれぞれに対応付けて算出する第１のマスクフレーム算出手段と、
   前記複数の他のマスクフレームから選択された選択マスクフレームの相対応する画素同士を累積または加重累積し、該累積された選択マスクフレームを第２のしきい値によりさらに二値化処理して、前記基準フレームにおける前記動体の位置を特定するマスク領域を含む基準マスクフレームを算出する第２のマスクフレーム算出手段とを備えたことを特徴とする動画像切り出し装置。
2. 前記他のフレームのそれぞれを対応する他のマスクフレームによりマスク処理して該他のフレームから前記動体に対応する動体領域を切り出し、前記基準フレームを前記基準マスクフレームによりマスク処理して、該基準フレームから前記動体に対応する動体領域を切り出す領域切り出し手段をさらに備えたことを特徴とする請求項１記載の動画像切り出し装置。
3. 前記第１のマスクフレーム算出手段は、前記差分値の絶対値に対してノイズを除去するフィルタリング処理を施し、該フィルタリング処理が施された前記絶対値を前記二値化処理する手段であることを特徴とする請求項１または２記載の動画像切り出し装置。
4. 前記複数のフレームのそれぞれについて画素値のレベルを表す前記画素値の代表値を算出し、該代表値に基づいて前記第１のしきい値を前記差分値の絶対値毎に補正するしきい値補正手段をさらに備え、
   前記第１のマスクフレーム算出手段は、前記差分値の絶対値毎に補正された前記第１のしきい値に基づいて前記二値化処理を行う手段であることを特徴とする特徴とする請求項１から３のいずれか１項記載の動画像切り出し装置。
5. 前記他のマスクフレームのそれぞれにおける前記マスク領域のサイズを第３のしきい値と比較し、該マスク領域のサイズが前記第３のしきい値を越えた他のマスクフレームを前記選択マスクフレームとして選択する選択手段をさらに備えたことを特徴とする請求項１から４のいずれか１項記載の動画像切り出し装置。
6. 前記第２のマスクフレーム算出手段は、前記累積された選択マスクフレームに対してノイズを除去するフィルタリング処理を施し、該フィルタリング処理が施された前記累積された選択マスクフレームを前記二値化処理する手段であることを特徴とする請求項１から５のいずれか１項記載の動画像切り出し装置。
7. 前記第２のマスクフレーム算出手段が、前記基準マスクフレームのマスク領域に対応する前記基準フレーム上の領域の色情報を算出し、該色情報に近似する色情報を有する領域に対応する前記累積された選択マスクフレーム上の領域を重み付けし、該重み付けされた累積された選択マスクフレームを前記第２のしきい値により二値化処理して、前記基準マスクフレームを再算出する手段であることを特徴とする請求項１から６のいずれか１項記載の動画像切り出し装置。
8. 前記複数の他のフレームを重ねた場合において、前記基準フレームにおける前記動体に対応する領域と重ならない前記動体に対応する領域を有する前記他のフレームの数を表す第１のフレーム数、前記基準フレームにおける前記動体に対応する領域と重なる前記動体に対応する領域を有する前記他のフレームの数を表す第２のフレーム数、および前記動体に対応する領域同士が重なる前記他のフレームの数を表す第３のフレーム数の入力を受け付ける入力手段と、
   該入力された第１のフレーム数、第２のフレーム数および第３のフレーム数の間に、第１のフレーム数＞第２のフレーム数＞第３のフレーム数の関係があるか否かを判定し、該関係がある場合にのみ前記領域切り出し手段に前記動体領域の切り出しを実行させる判定手段とをさらに備えたことを特徴とする請求項１から７のいずれか１項記載の動画像切り出し装置。
9. 前記複数のフレームにおける前記動体領域以外の背景領域の位置合せを行う位置合せ手段をさらに備え、
   前記マスクフレーム算出手段は、前記位置合せ後の前記複数のフレームから前記マスクフレームを算出する手段であることを特徴とする請求項１から８のいずれか１項記載の動画像切り出し装置。
10. 前記複数のフレームのそれぞれについて画素値のレベルを表す前記画素値の代表値を算出し、該代表値が略一致するように前記複数のフレームの画素値を補正するフレーム補正手段をさらに備え、
    前記第１のマスクフレーム算出手段は、前記補正後の前記複数のフレームから前記他のマスクフレームを算出する手段であることを特徴とする請求項１から３、５から９のいずれか１項記載の動画像切り出し装置。
11. 前記領域切り出し手段が前記複数のフレームの全部または一部から切り出した動体領域を、前記複数のフレームのうちの一のフレームにおける該動体領域のそれぞれが対応する位置に時系列順に上書きすることにより、前記複数のフレームの合成画像を得る合成手段をさらに備えたことを特徴とする請求項１から１０のいずれか１項記載の動画像切り出し装置。
12. 動体を含む動画像から３以上の連続する複数のフレームをサンプリングし、
    前記複数のフレームのうち基準となる１つの基準フレームと該基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出し、
    該絶対値を第１のしきい値に基づいて二値化処理して、前記他のフレームのそれぞれにおける前記動体の位置を特定するマスク領域を含む他のマスクフレームを前記他のフレームのそれぞれに対応付けて算出し、
    前記複数の他のマスクフレームから選択された選択マスクフレームの相対応する画素同士を累積または加重累積し、
    該累積された選択マスクフレームを第２のしきい値によりさらに二値化処理して、前記基準フレームにおける前記動体の位置を特定するマスク領域を含む基準マスクフレームを算出することを特徴とする動画像切り出し方法。
13. 動体を含む動画像から３以上の連続する複数のフレームをサンプリングする手順と、
    前記複数のフレームのうち基準となる１つの基準フレームと該基準フレーム以外の他のフレームのそれぞれとの相対応する画素間における差分値の絶対値を算出する手順と、
    該絶対値を第１のしきい値に基づいて二値化処理して、前記他のフレームのそれぞれにおける前記動体の位置を特定するマスク領域を含む他のマスクフレームを前記他のフレームのそれぞれに対応付けて算出する手順と、
    前記複数の他のマスクフレームから選択された選択マスクフレームの相対応する画素同士を累積または加重累積する手順と、
    該累積された選択マスクフレームを第２のしきい値によりさらに二値化処理して、前記基準フレームにおける前記動体の位置を特定するマスク領域を含む基準マスクフレームを算出する手順とを有することを特徴とする動画像切り出し方法をコンピュータに実行させるためのプログラム。

Images