JP5799815B2 - 画像処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画像処理プログラムおよび画像処理装置に関する。

従来より、動画の中の対象物にモザイク、ぼかし等を施し、その対象物の移動に追従してモザイクも移動するような画像処理が多く提案されている。例えば、特許文献１には、動画を構成するすべてのフレームに対して、次のような画像処理を行うことが開示されている。すなわち、各フレームに対象物が写っているか否かを検出し、写っている場合には、その対象物の大きさや形状に適したモザイクを決定し、これを対象物に対して施す。このような画像処理をすべてのフレームに対して行っている。

特開２０１１−９７２３８号公報

しかしながら、上記のように、動画のすべてのフレームに対して移動対象物を検出した上で、対象物に適したモザイクを施すといった画像処理を行うのは多大な時間を要し、コンピュータの負担も大きい。また、動画中の対象物を追従するという画像処理は、モザイクを施して動画中の対象物を隠すという目的以外にも用いられており、例えば、矢印等の図形、または文字などを動画中の対象物に付して、これを追従するために用いるといった画像処理も行われている。しかしながら、このような画像処理も、すべてのフレームに対して適用すると、モザイクを施す場合と同様に負担が大きいという問題がある。本発明は、上記問題を解決するためになされたものであり、動画内で移動する対象物を指し示す標識を、容易に動画に表すことができる画像処理プログラムおよび画像処理装置を提供することを目的とする。

本発明に係る画像処理プログラムは、１のタイムライン上の画像群の中から第１の画像、及び当該第１の画像との間に少なくとも一つの中間画像が存在する第２の画像、をユーザから受け付けるステップと、前記第１の画像上への第１の標識の書き込みをユーザから受け付けるとともに、前記第１の標識の前記タイムラインの画像上での絶対位置である第１の絶対位置を記憶するステップと、前記第２の画像上への第２の標識の書き込みをユーザから受け付けるとともに、前記第２の標識の前記タイムラインの画像上での絶対位置である第２の絶対位置を記憶するステップと、前記第１の絶対位置と前記第２の絶対位置とを結ぶ直線上に、前記中間画像の数と同じ数の中間絶対位置を所定間隔で割り付けて前記各中間画像とそれぞれ対応づけるとともに、前記各中間画像上の対応する中間絶対位置に中間標識をそれぞれ書き込むステップと、をコンピュータに実行させる。

この構成によれば、１のタイムライン上の画像群の中から、２つの画像を選択し、各画像に標識を書き込むとともに、各標識の絶対位置を記憶する。そして、両絶対位置を結ぶ直線上に、選択した画像の間にある中間画像と同じ数の中間絶対位置を割り付け、各中間画像の中間絶対位置に中間標識を書き込んでいる。すなわち、動画を構成する画像の中で、対象物等を考慮して標識を書き込むのは、最初と最後の２つの画像だけであり、残りの中間画像は、最初と最後の画像の各標識の間の直線上にあると仮定して、中間標識を書き込んでいる。したがって、中間画像については、対象物を考慮せずに中間標識を書き込むため、画像処理にかかる時間を短縮でき、処理を軽減することができる。

なお、本発明でいう絶対位置とは、タイムライン上のすべての画像に共通する位置であり、異なる画像であっても絶対位置が同じであれば、タイムライン上の画像では同じ位置を示すことになる。絶対位置としては、例えば、画像上に規定された座標を用いることができ、座標として表された絶対位置を絶対座標と称することがある。また、タイムライン上の画像群から第１の画像と第２の画像を選択するステップは、個別に行われてもよいが、同時に行うこともできる。例えば、複数の連続して並ぶ画像群を一括で選択したときに、その先頭に配置される画像を第１の画像にするとともに、最後尾に配置される画像を第２の画像とすることができる。

第１の画像、及び第２の画像をユーザから受け付けるステップは、これら２つの画像を別個に受け付けてもよいし、一度に受け付けてもよい。例えば、タイムライン上の画像群の中から連続する３以上の画像の選択をユーザから受け付け、これら３以上の画像のうち、先頭の画像を第１の画像、最後尾の画像を第２の画像として受け付けることもできる。

上記標識は、図形、文字など、種々の態様にすることができ、第１の標識、第２の標識、及び各中間標識が、同じ種類の図形または文字であることが好ましい。

中間絶対位置を規定するには、例えば、以下のようにすることができる。すなわち、第１絶対位置及び第２絶対位置に、各標識上にある少なくとも一つの規定点の絶対位置を含めておき、中間絶対位置を、第１の標識における各規定点の第１絶対位置と第２の標識における各規定点の第２絶対位置との直線上にそれぞれ設けることができる。したがって、規定点の絶対位置は、例えば、画像における座標として規定することができる。なお、規定点は、各標識の近傍に設けることもできる。

あるいは、第１絶対位置及び第２絶対位置に、前記各標識において最も離れた第１規定点及び第２規定点の絶対位置を含めておき、中間絶対位置を、第１規定点の第１絶対位置と第２絶対位置との直線上、及び第２規定点の第１絶対位置と第２絶対位置との直線上にそれぞれ設けることもできる。例えば、第１の標識、第２の標識、及び各中間標識が矩形状の図形である場合には、第１規定点及び第２規定点が、それぞれ、当該図形の対角線上で対向する２点とすることができる。

第１の標識、第２の標識、及び各中間標識が閉じた図形である場合には、当該図形の内部または外部に、画像の視認を抑制する画像処理を施すことができる。画像の視認を抑制する画像処理とは、例えば、モザイク、ぼかし、着色などが該当するが、標識として、対象物を囲むように図形を設定した場合、その対象物にモザイク等を付することができるほか、その対象物以外の領域にモザイク等を付することもできる。

また、第１の標識、第２の標識、及び各中間標識が文字の場合、当該文字は、時刻とすることができる。これにより、対象物の移動に伴う時間の経過を視認することができる。なお、ここでいう「時刻」とは、例えば、実際に撮影された時刻のほか、タイムライン上での時刻とすることもできる。タイムライン上の時刻としては、タイムラインの先頭のフレームからの経過時間のほか、任意のフレームからの経過時間など種々の設定が可能である。また、標識としての文字を、各画像のファイル名とすることもできる。

本発明に係る画像処理装置は、１のタイムライン上の画像群の中から第１の画像と、当該第１の画像との間に少なくとも一つの中間画像が存在する第２の画像と、をユーザから受け付ける画像選択部と、前記第１の画像上への第１の標識の書き込みをユーザから受け付けるとともに、前記第１の標識の前記タイムラインの画像上での絶対位置である第１の絶対位置を記憶し、且つ前記第２の画像上への第２の標識の書き込みをユーザから受け付けるとともに、前記第２の標識の前記タイムラインの画像上での絶対位置である第２の絶対位置を記憶する標識設定部と、前記第１の絶対位置と前記第２の絶対位置とを結ぶ直線上に、前記中間画像の数と同じ数の中間絶対位置を所定間隔に割り付けて前記各中間画像とそれぞれ対応づけるとともに、前記各中間画像上の対応する中間絶対位置に中間標識をそれぞれ書き込む画像処理部と、を備えている。

本発明によれば、動画内で移動する対象物を指し示す標識を、容易に動画に書き込むことができる。

本発明の一実施形態に係る画像処理装置のブロック図である。 画像データが取り込まれる前の基本画面の図である。 画像データが取り込まれた後の基本画面の図である。 標識選択ダイアログボックスを示す図である。 モザイク設定用ダイアログボックスを示す図である。 選択フレーム群の先頭フレームを示す図である。 図６の先頭フレームにモザイクを施す画像処理を行った例を示す図である。 選択フレーム群の最後尾フレームを示す図である。 図８の最後尾フレームにモザイクを施した画像処理を行った例を示す図である。 仮想的に先頭フレームの移動対象物と最後尾フレームの移動対象物とを同一のフレームに表した例を示す図である。 中間フレームにおいてモザイクを施す画像処理を行うべき選択フレームの設定を説明する図である。 移動対象物を追従するモザイクを施した画像処理の例である。 矢印設定用ダイアログボックスを示す図である。 図６の先頭フレームに矢印を描画する画像処理を施した例を示す図である。 図８の最後尾フレームに矢印を描画する画像処理を施した例を示す図である。 中間フレームにおいて矢印を描画する画像処理を行うべき選択フレームの設定を説明する図である。 移動対象物を追従する矢印を描画した画像処理の例である。 文字設定用ダイアログボックスを示す図である。 図６の先頭フレームに文字を描画した画像処理を施した例を示す図である。 中間フレームにおいて文字を描画する画像処理を行うべき選択フレームの設定を説明する図である。 移動対象物を追従する文字を描画した画像処理の例である。

以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラムおよび画像処理装置について説明する。本実施形態に係る画像処理プログラム及び画像処理装置は、動画の中で移動する対象物に対し、これを追従する標識を付する画像処理を行うものである。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。この画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２がインストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアであり、画像処理装置１に後述する動作に含まれるステップを実行させる。

画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有し、これらは、相互に通信可能となるようにバス線５で接続されている。本実施形態では、ディスプレイ１０は、液晶ディスプレイであり、後述する画面等をユーザに対し表示する。入力部２０は、マウスおよびキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。また、記憶部３０は、不揮発性のハードディスク等から構成され、制御部４０は、ＣＰＵ、ＲＯＭおよび揮発性のＲＡＭ等から構成される。

記憶部３０内には、画像処理プログラム２、ソフトウェア管理領域５０が確保されている。このソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。また、ソフトウェア管理領域５０内には、オリジナル画像領域５１、選択フレーム群領域５２、標識設定領域５３、処理後画像領域５４が確保されている。各領域５１〜５４の役割については、後述する。

制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に画像選択部４１、標識設定部４２、及び画像処理部４３として動作する。各部４１〜４３の動作については、後述する。

＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、制御部４０は、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。

＜２−１．画像データの取り込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。

静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された１の静止画ファイル又は指定された１のフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。

一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。制御部４０は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルの全タイムラインのうち、任意の長さのタイムラインの選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して任意の長さのタイムラインの選択を行ったことを検知すると、その選択に対応する静止画ファイル群を生成する。この静止画ファイル群は、ユーザの選択に係るタイムラインの動画に含まれるフレーム群に１対１で対応する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。

したがって、本実施形態では、後述する画像処理の対象は、動画ファイルではなく、静止画ファイルである。静止画ファイルは、オリジナル画像領域５１へファイル単位、フォルダ単位、あるいは動画ファイルの全部又は一部のタイムライン単位で取り込まれる。

＜２−２．静止画ファイル群の再生＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、制御部４０は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１への静止画ファイル群の取り込み動作の数だけ、表示される。

表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームに対応する静止画ファイル）が表示される。なお、制御部４０は、静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群に含まれる静止画ファイルをタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。

後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。制御部４０は、表示ウィンドウＷ２内に現在表示されているフレームの識別情報を、表示フレーム領域５４内でリアルタイムに管理する。

制御部４０は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応する静止画ファイル群を、動画として再生可能である。図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５が配置されている。

表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。選択部４６は、ウィンドウ選択プルダウンメニューＴ１を介し、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応する静止画ファイル群を、アクティブファイル群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。

再生ボタンＴ２は、アクティブファイル群の動画としての再生の命令をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブファイル群のフレームをタイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。制御部４０は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。

コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブファイル群のタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。

タイムラインバーＴ５は、アクティブファイル群のタイムラインを図式的に表す。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブファイル群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブファイル群のタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。

図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブファイル群のタイムライン上で現在選択されていない区間に対応するフレーム群である。本実施形態では、領域Ａ１は、薄いトーンの色で表示され、領域Ａ２は、濃いトーンの色で表示される。画像選択部４１は、タイムラインバーＴ５を介し、アクティブファイル群のタイムライン上の任意の区間の選択をユーザから受け付ける。例えば、タイムラインバーＴ５でマウスをドラッグすることで、任意の区間を選択することができる。そして、後述するように、この選択フレーム群に対して画像処理が行われる。

＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。ここでは、動画の中で移動する対象物が存在する場合、その対象物に追従して移動する標識を付する画像処理を行う。上述した画像選択部４１、標識設定部４２、および画像処理部４３は、このような標識を付する画像処理モジュールを実行可能である。そして、画像処理モジュールは、画像処理プログラム２に組み込まれている。

ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、タイムラインの中で画像処理の対象となるフレーム群を選択する。この決定を行うには、タイムライン上で画像処理の対象、つまり、移動体が写っているフレーム群を確認した上で、画像処理を行うべきフレーム群を選択するが、このフレーム群が上述した選択フレーム群となる。画像選択部４１は、ユーザが選択フレーム群の選択を行う操作を検知すると、いずれのフレームが選択されたかを、選択フレーム領域５１に記憶する。こうして、選択フレーム群が選択された状態で、ユーザは画像処理を開始する。例えば、本実施形態においては、画像上に、文字、矢印、及びモザイクの３種類の標識を付することができ、標識設定部４２は、以下に示すような標識の設定を行う。標識設定部４２は、基本ウィンドウＷ１のプルダウンメニューなどから標識設定の画像処理が選択されたことを検知すると、図４のような標識選択ダイアログボックスＤ１を表示し、ユーザに、この標識選択ダイアログボックスＤ１の中から、文字、矢印、及びモザイクのいずれかを選択させる。まず、モザイクを施す場合について説明する。

（１）モザイク
モザイクを選択した場合、図５に示すようなモザイク設定用ダイアログボックスＤ２が表示され、詳細な設定が可能となる。ここでは、「モザイク」という処理名が付されているが、モザイク以外の画像処理も選択可能であり、例えば、黒着色、ぼかし、階調反転など、画像の視認を抑制する処理を選択することができる。すなわち、ある領域を選択してその領域の内部又は外部に画像処理を施すことで標識を作成することを示す処理として、代表例のモザイクという処理名を付している。したがって、以下では、「モザイク」という文言を、ぼかしなどの他の処理を含む総称として用いることもある。このダイアログボックスＤ２が現れると、動画に付する画像処理の種類の設定を行うほか、処理を行う先頭フレームまたは最後尾フレームの選択を行うことができる。

画像処理の選択について、このダイアログボックスＤ２では、モザイクが選択されているが、上述した黒着色など、他の画像処理も選択できる。また、選択した領域内に画像処理を施すことができるほか、選択した領域外に画像処理を施すこともできる。この場合には、ダイアログボックスＤ２にある「選択領域以外」のボックスにチェックを入れる。また、モザイクやぼかしを選択した場合、これらのサイズを選択可能となっている。例えば、モザイクの場合にはブロックサイズを選択することができ、ぼかしの場合にはσ値を選択することができる。

これと平行して、選択フレーム群の先頭にあるフレーム画像（第１の画像）に対し、画像処理を施すための選択領域を設定する。このダイアログボックスＤ２の下端部には、始点フレーム及び終点フレームのいずれかを選択できるラジオボタンが配置されており、図５のダイアログボックスＤ２では、始点フレームにチェックが入っているため、先頭フレームにおいて選択領域の設定ができるようになっている。この状態で、図６に示すように、表示ウィンドウＷ２には先頭フレームが表示されており、ユーザはモザイクを施すべき選択領域を設定する。

この方法には種々の方法があるが、例えば、キーボードのCtrlボタンを押しながらマウスをドラッグすることで、画像上で矩形状の領域を選択することができる。このとき、対象となる移動体を選択領域で囲むようにする。画像処理部４３は、選択領域の設定操作を検知すると、図７に示すように、設定された選択領域Ｓを基準としてモザイクを付す画像処理を施す。図７の例では、上述した「選択領域以外」のボックスにチェックを入れた状態で、画像の右側にある車を矩形状の領域で囲んでいるので、この囲まれた領域外にモザイクが付されている。このとき、標識設定部４２は、選択領域Ｓの対角線上の２つの頂点（領域の左上の頂点ＳＡ（規定点）と右下の頂点ＳＢ（規定点））の座標ＳＡ（ｘ_１１，ｙ_１１）、ＳＢ（ｘ_１２，ｙ_１２）を標識設定領域５３に記憶し、ダイアログボックスにもその座標を表示する。この例では、開始点、及び終了点の座標が表示されているが、開始点とはマウスでドラッグするときの始点であり、終了点はドラッグが完了するときの終点であり、それぞれ上記頂点ＳＡ，ＳＢに該当する。選択領域の設定は、マウスで行うほか、座標を直接入力することでも行うことができる。なお、標識設定領域５３には、ダイアログボックスＤ２で設定したモザイクの種類なども記憶される。

こうして、先頭フレームにおける標識の設定が完了すると、最後尾フレームにおける標識の設定を行う。まず、モザイク設定用ダイアログボックスＤ２で終点フレームのラジオボタンをチェックすると、図８に示すように、表示ウィンドウＷ２には最後尾フレームが表示される。この状態で、先頭フレームと同様に、マウスをドラッグしながら、モザイクを施す矩形状の選択領域Ｆを設定する。これにより、図９に示すように、選択領域Ｆの外側にモザイクが施されるとともに、この領域Ｆの対角線上の２つの頂点（領域の左上の頂点ＦＡ（規定点）と右下の頂点ＦＢ（規定点））の座標ＦＡ（ｘ_２１，ｙ_２１）、ＦＢ（ｘ_２２，ｙ_２２）が標識設定領域５３に記憶され、ダイアログボックスＤ２にもその座標が表示される。こうして、すべての設定が終了し、ダイアログボックスのＯＫボタンをクリックすると、画像処理部４３が、先頭フレームと最後尾フレームの間に配置されている中間フレームに対して画像処理が行う。詳細は、以下の通りである。

上述したように、先頭フレーム及び最後尾のフレームで選択領域が設定されると、標識設定領域５３には、各選択領域Ｓ，Ｆの２つの座標が記憶される。この座標は、先頭フレーム及び最後尾フレームにおける座標ではあるが、タイムラインにあるすべての画像に共通の座標となる。すなわち、一つのタイムラインの中では同じ大きさの画像が使用されるため、画像の中の位置を示すためには、すべての画像において共通の座標系を使用することができる。これを絶対座標（絶対位置）と称することとする。ここで、図１０に示すように、先頭フレームで設定された選択領域Ｓと最後尾フレームで設定された選択領域Ｆを同じ画像上で仮想的に表す。ここで示されている座標ＳＡ、ＳＢ、及び座標ＦＡ、ＦＢは、いずれもタイムラインの中のすべての画像を通して共通する絶対座標であるので、上述した先頭フレーム及び最後尾フレームで設定した座標をそのまま利用できる。このような絶対座標が標識設定領域５３に記憶されている。

続いて、画像処理部４３は、先頭フレームと最後尾フレームの間にある中間フレーム（中間画像）に対し、画像処理を施すべき領域を設定する。この点について、図１１を参照しつつ説明する。図１１は中間フレームへの標識の設定の例を示す概略図である。まず、上記のように設定された先頭フレームの選択領域Ｓの座標ＳＡと最後尾フレームの選択領域Ｆの座標ＦＡとを結ぶ直線Ｌ１上に、中間フレームと同じ数の中間点を設定する。この例は、３つの中間画像、つまり第１，第２及び第３中間画像が存在する場合であり、直線Ｌ１を４等分する３つの中間点を設定する。これらの中間点を第１，第２，第３左上中間点ＭＡ１，ＭＡ２，ＭＡ３とする。同様にして、先頭フレームの選択領域Ｓの座標ＳＢと最後尾フレームの選択領域Ｆの座標ＦＢとを結ぶ直線Ｌ２上に中間画像と同じ数の中間点を設定する。これらの中間点を第１，第２，第３右下中間点ＭＢ１，ＭＢ２，ＭＢ３とする。

こうして、例えば、第１左上中間点ＭＡ１と第１右下中間点ＭＢ１が決まると、これらを対角線の両端の頂点とする矩形状の領域が決まる。この領域Ｍ１を第１中間画像における選択領域Ｍ１として、第１中間画像に設定し、設定された選択領域Ｍ１の外側にモザイクを施す。すなわち、標識設定部４２は、上記各中間点の座標を、対応する中間画像と関連づけて標識設定領域５３に記憶し、画像処理部４３は、各中間画像に対し、記憶された中間点の座標を頂点とする矩形状の選択領域を設定し、その外側にモザイクを施す画像処理を行う。同様にして、第２、第３中間画像にそれぞれ選択領域Ｍ２，Ｍ３を設定し、各中間フレームにおいて、選択領域の外側にモザイクを施す画像処理を行う。処理が施されたフレーム群Ａ１は、選択されていないフレーム群Ａ２とともに、一つのタイムラインを構成する静止画ファイル群として処理後画像領域５４に記憶される。

こうして画像処理が完了した後、図３に示す基本ウィンドウＷ１の再生ボタンＴ２をクリックすると、処理後画像領域５４から取り込んだ静止画ファイル群が、動画として再生される。そして、画像処理を施した選択フレーム群の再生が始まると、上述したように、モザイクが施された画像が再生される。図１２は、その結果を示したものであり、図１２（ａ）〜図１２（ｃ）は、それぞれ、選択フレーム群Ａ１の先頭フレーム、第２中間画像、及び最後尾フレームを示している。この結果より、直接モザイクの設定をしていない第２中間画像においても、移動体の周囲を囲むように選択領域が設定されており、移動体を追従できていることが分かる。なお、上述した頂点ＭＡ１〜ＭＡ３，ＭＢ１〜ＭＢ３が本発明における中間絶対位置に相当し、これを基準に設定された選択領域Ｍ１〜Ｍ３に基づいて描画されたモザイクが本発明の中間標識に相当する。

（２）矢印
対象物を指し示す標識としては「矢印」を用いることもできる。図４の標識選択ダイアログボックスＤ１で「矢印」を選択すると、図１３に示すような矢印設定用ダイアログボックスＤ３が現れる。これにより、例えば、矢印の先端の矢の形状、矢の有無、線のサイズ（太さ）、及び矢印の色の選択が可能である。そして、モザイクの設定時と同じく、先頭フレーム及び最後尾フレームにおいて、矢印を付する領域を設定する。図１３のダイアログボックスＤ３では、下端部のラジオボタンで、始点フレームがチェックされているので、表示ウィンドウＷ２には、選択フレーム群の先頭フレームが表示される。そして、この先頭フレームに対して、矢印を描画する。すなわち、モザイクの設定と同様に、キーボードのCtrlボタンを押しながらマウスをドラッグすることで、画像処理部４３は、図１４に示すように、画像上に矢印を描画する。このとき、マウスでドラッグするときの始点から終点の間に矢印が描画され、終点に矢印の矢が描画される。そして、標識設定部４２は、矢印の始点と終点の座標を標識設定領域５３に記憶し、ダイアログボックスＤ３にもその座標を表示する。なお、矢印の描画は、マウスで行うほか、座標を直接入力することでも行うことができる。また、標識設定領域５３には、ダイアログボックスＤ３で設定した矢印の種類、色なども記憶される。

これに続いて、最後尾フレームにおける矢印の描画を行う。モザイク設定時と同様に、ダイアログボックスＤ３で終点フレームをチェックし、表示ウィンドウＷ２に最後尾フレームを表示させる。この状態で、先頭フレームと同様に、マウスをドラッグすると、図１５に示すように、表示ウィンドウＷ２上に矢印が描画されるとともに、矢印の始点と終点の座標が記憶される。こうして、すべての設定が終了し、ダイアログボックスＤ３のＯＫボタンをクリックすると、先頭フレームと最後尾フレームの間に配置されている中間フレームに対して画像処理が行われ、フレーム群は処理後画像領域５４に記憶される。この画像処理はモザイクの設定と同じである。すなわち、モザイクの設定時に選択領域Ｓ，Ｆの２つの頂点が用いられたのと同様に、矢印における画像処理では、矢印の始点と終点の座標が利用される。

例えば、図１６に示すように、先頭フレームの矢印Ｓと最後尾フレームの矢印Ｆにおける始点同士ＳＡ，ＦＡを直線Ｌ１で結び、その直線Ｌ１に中間フレーム（第１〜第３中間フレーム）と同じ数の中間点ＭＡ１〜ＭＡ３を等分となるように設定する。同様に、先頭フレームと最後尾フレームにおける矢印Ｓ，Ｆの終点同士ＳＢ，ＦＢを直線Ｌ２で結び、その直線Ｌ２に中間フレームと同じ数の中間点ＭＢ１〜ＭＢ３を等分となるように設定する。こうして設定された中間点同士を結ぶと、各中間フレームに描画される矢印Ｍ１〜Ｍ３が設定される。したがって、標識設定部４２は、上記各中間点の座標を、対応する中間フレームと関連づけて標識設定領域５３に記憶するとともに、矢印の種類なども記憶する。そして、画像処理部４３は、記憶された矢印の種類などに基づいて、各中間フレームに対し、記憶された中間点の座標を頂点とする矢印を描画する画像処理を行う。これにより、図１７に示すような画像が生成される。

（３）文字
対象物を指し示す標識としては「文字」を用いることもできる。図４のダイアログボックスで「文字」を選択すると、図１８に示すような文字設定用ダイアログボックスＤ４が現れる。このダイアログボックスＤ４の中では、任意の文字を入力できるほか、各フレームのファイル名や時刻を設定することができる。この点は後述する。時刻とは、タイムライン上での各フレームの時刻であり、各フレームの画像ファイルとともに組み込まれている。また、文字の大きさ、文字の色、文字が付される領域の背景色も選択可能である。そして、モザイク、矢印の設定時と同じく、先頭フレーム及び最後尾フレームにおいて、文字を付する領域を設定する。図１８のダイアログボックスＤ４では、下端部のラジオボタンで、始点フレームがチェックされているので、表示ウィンドウＷ２には、選択フレーム群の先頭フレームが表示される。そして、この先頭フレームに対して、文字を付する位置を選択する。ここでは、モザイクや矢印の設定とは異なり、文字を付する位置のみを選択する。すなわち、文字列の先頭を配置すべき位置を画像上でマウスによりクリックすると、画像処理部４３は、図１９に示すように、画像上の選択位置に文字列を表示させる。この例では、タイムライン上での時刻を表示させている。この場合、画像処理部４３は、オリジナル画像領域５１及び選択フレーム群領域５２の少なくとも一方を参照し、先頭フレームの時刻を読み出して描画を行う。そして、標識設定領域５３には、文字列の先頭の座標が記憶され、ダイアログボックスＤ４にもその座標が表示される。なお、文字列の表示は、マウスで行うほか、座標を直接入力することでも行うことができる。また、標識設定領域５３には、ダイアログボックスＤ４で設定した文字の種類なども記憶される。

これに続いて、最後尾フレームにおける文字列の表示位置の設定を行う。モザイク設定時と同様に、ダイアログボックスＤ４で終点フレームをチェックし、表示ウィンドウＷ２に最後尾フレームを表示させる。この状態で、先頭フレームと同様に、表示ウィンドウＷ２上でマウスをクリックし、文字列の表示位置を設定すると、最後尾フレームに、文字列が表示されるとともに、標識設定領域５３に文字列の先頭の座標が記憶される。こうして、すべての設定が終了し、ダイアログボックスのＯＫボタンをクリックすると、先頭フレームと最後尾フレームの間に配置されている中間フレームに対して画像処理が行われる。すなわち、図２０に示すように、先頭フレームの文字列Ｓの先頭と、最後尾フレームの文字列Ｆの先頭とを結ぶ直線Ｌに、中間フレームと同じ数の中間点を等分となるように設定する。この例は、中間フレームが一つの場合を示している。こうして設定された中間フレームの中間点ＭＡに、先頭フレーム及び最後尾フレームと同じ種類の文字列を描画する画像処理を行う。このとき、文字列として時刻を選択した場合には、同図に示すように、各中間フレームにおける時刻が選択画像領域またはオリジナル画像領域の少なくとも一方から読み出されて描画されることになる。また、文字設定用ダイアログボックスＤ４に任意の文字列を入力していた場合には、その文字が画像処理が付されたすべてのフレームに描画される。こうして、図２１に示すような画像が生成される。

なお、上記説明では、文字として、時刻、任意の文字を用いたが、時刻のほかに、タイムライン上の任意のフレームからの経過時間、または選択フレーム群の中での経過時間を計算して表示させることもできる。このほか、ファイル名、通し番号などを用いることができる。例えば、防犯カメラで撮影された動画から静止画ファイル群を生成すると、ファイル名が撮影時刻になっている場合があり、これをそのまま用いる方が、後に撮影時刻やＦＰＳ(Frames Per Second)から計算された時刻を描画することよりも正確であることが多い。このようなファイル名を表示する場合、拡張子とともに表示してもよいし、拡張子を省いたファイル名を表示することもできる。

＜４．特徴＞
以上のように、本実施形態によれば、１のタイムライン上の画像群の中から、２つの画像を選択し、各画像に標識を書き込むとともに、各標識の絶対座標を記憶する。そして、両絶対座標を結ぶ直線上に、選択した画像の間にある中間フレームと同じ数の中間絶対座標を割り付け、各中間フレームの中間絶対座標を基準としてモザイク、矢印、文字などの標識を描画する画像処理を行っている。すなわち、動画を構成するフレームの中で、対象物等を考慮して標識を書き込むのは、最初と最後の２つのフレームだけであり、残りの中間フレームは、最初と最後のフレームの各標識の間の直線上にあると仮定して、標識を書き込んでいる。したがって、中間フレームについては、対象物を考慮せずに標識を書き込むため、画像処理にかかる時間を短縮でき、処理を軽減することができる。なお、上述した標識であるモザイク、矢印、文字は、単独で用いる以外に、一つのフレーム画像の中にこれらのうちの２以上を描画することもできる。例えば、フレーム画像の中に矢印を２つ表示させたり、あるいはモザイクと矢印と文字を表示させることもできる。

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。

＜５−１＞
上記実施形態では、モザイク、矢印、文字を標識として用いているが、これ以外の図形などを採用することもできる。例えば、円形、楕円形、多角形状の図形、アイコンなど、種々の標識を用いることができる。モザイク等を設ける場合にも、同様に、矩形状の領域にモザイクを設定する以外に、円形、楕円形、多角形状などの領域を設定し、この領域の内側または外側にモザイクなどを設定することができる。また、中間フレームの標識を設定するための規定点の数は、上記実施形態では１または２を採用したが、この数は特には限定されず、３以上であってもよい。すなわち、標識を決定するための最小限の規定点の数が設定されればよい。例えば、円形、楕円形の場合には、少なくとも２つの規定点が設定されていればよい。

＜５−２＞
文字を標識とする場合、文字のみを表示する以外に、例えば、吹き出しなどのアイコンと合わせて表示し、その中に文字を表示することもできる。また、文字のフォントの大きさ、矢印の長さ、太さなどを先頭フレームと最後尾フレームとで異なるものを使用した場合、これらが、中間フレームで徐々に変化するように構成することもできる。

＜５−３＞
上記実施形態では、選択フレーム群の設定に伴って、先頭フレームと最後尾フレームとを選択しているが、これらのフレームを個別に選択することもできる。また、先頭フレームの選択、先頭フレームへの標識の設定、最後尾フレームの選択、及び最後尾フレームへの標識の設定の順序は、特には限定されず、先に先頭フレームの選択と，このフレームへの標識の設定を行った後に、最後尾フレームの選択と，このフレームへの標識の設定を行ってもよい。

＜５−４＞
また、中間フレームの選択領域の絶対座標を設定するときは、先頭フレームの規定点と、最後尾フレームの規定点とを直線で結び、これを等分して絶対座標を割り付けているが、これに限定されるものではなく、フレームのコマ割りにしたがって微調整することもできる。

１ 画像処理装置（コンピュータ）
２ 画像処理プログラム
４１ 画像選択部
４２ 標識設定部
４３ 画像処理部

Claims (7)

1. １のタイムライン上の画像群の中から第１の画像、及び当該第１の画像との間に少なくとも一つの中間画像が存在する第２の画像、をユーザから受け付けるステップと、
   前記第１の画像上への第１の標識の位置をユーザから受け付けるとともに、前記第１の標識の前記タイムラインの画像上での絶対位置である第１の絶対位置を記憶するステップと、
   前記第２の画像上への第２の標識の位置をユーザから受け付けるとともに、前記第２の標識の前記タイムラインの画像上での絶対位置である第２の絶対位置を記憶するステップと、
   前記第１の絶対位置と前記第２の絶対位置とを結ぶ直線上に、前記中間画像の数と同じ数の中間標識用の中間絶対位置を所定間隔で割り付けて前記各中間画像とそれぞれ対応づけるステップと、
   前記第１の画像における第１の絶対位置、前記第２の画像における第２の絶対位置、及び前記中間画像における中間絶対位置に、それぞれ、前記各画像を特定するための文字を前記各標識として表示させるステップと、
   をコンピュータに実行させる、画像処理プログラム。
2. 前記第１の画像及び第２の画像をユーザから受け付けるステップは、
   前記タイムライン上の画像群の中から連続する３以上の画像の選択をユーザから受け付け、前記３以上の画像のうち、先頭の画像を前記第１の画像、最後尾の画像を前記第２の画像として受け付ける、請求項１に記載の画像処理プログラム。
3. 前記第１絶対位置及び第２絶対位置は、前記各標識上にある少なくとも一つの規定点の絶対位置を含み、
   前記中間絶対位置は、前記第１の標識における各規定点の第１絶対位置と前記第２標識における各規定点の第２絶対位置との直線上にそれぞれ設けられる、請求項１または２に記載の画像処理プログラム。
4. 前記第１絶対位置及び第２絶対位置は、前記各標識において最も離れた第１規定点及び第２規定点の絶対位置を含み、
   前記中間絶対位置は、前記第１規定点の第１絶対位置と第２絶対位置との直線上、及び前記第２規定点の第１絶対位置と第２絶対位置との直線上にそれぞれ設けられる、請求項１または２に記載の画像処理プログラム。
5. 前記文字が、前記各画像に対応する時間表示である、請求項１から４のいずれかに記載の画像処理プログラム。
6. 前記文字が、前記各画像のファイル名である、請求項１から４のいずれかに記載の画像処理プログラム。
7. １のタイムライン上の画像群の中から第１の画像と、当該第１の画像との間に少なくとも一つの中間画像が存在する第２の画像と、をユーザから受け付ける画像選択部と、
   前記第１の画像上への第１の標識の位置をユーザから受け付けるとともに、前記第１の標識の前記タイムラインの画像上での絶対位置である第１の絶対位置を記憶し、且つ前記第２の画像上への第２の標識の位置をユーザから受け付けるとともに、前記第２の標識の前記タイムラインの画像上での絶対位置である第２の絶対位置を記憶する標識設定部と、
   前記第１の絶対位置と前記第２の絶対位置とを結ぶ直線上に、前記中間画像の数と同じ数の中間標識用の中間絶対位置を所定間隔に割り付けて前記各中間画像とそれぞれ対応づけるとともに、前記第１の画像における第１の絶対位置、前記第２の画像における第２の絶対位置、及び前記中間画像における中間絶対位置に、それぞれ、前記各画像を特定するための文字を前記各標識として表示させる、画像処理部と、
   を備えている、画像処理装置。