JP5235770B2 - 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体 - Google Patents

Description

本発明は、顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体に関する。特に、本発明は、人間の視覚特性を利用した信号処理によって顕著領域（物体領域）、背景領域（非顕著領域）に関する事前情報を算出し、算出した事前情報を利用して、入力映像から顕著領域と非顕著領域とを高精度に分割する、顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体に関する。

画像や映像から、人物・動物・物体など興味の対象である領域（以下、「物体領域」という）を、背景などの物体領域以外の領域（以下、「背景領域」という）と区別して抽出する領域分割技術は、クロマキーなどを利用しない自由な画像映像合成、背景領域の変動に頑健な物体認識・画像映像検索、領域の重要性に応じてビットレートを調整可能な画像映像符号化など、応用範囲の広い重要な技術である。領域分割技術として、画像領域分割をある種の統計モデルに対する事後確率最大化問題として定式化し、事後確率最大化問題を統計モデルと等価なグラフの最小カットを求めることによって解決する方法が知られている（例えば、非特許文献１参照）。また、非特許文献１に記載の方法を映像信号に拡張し、映像信号の時間的な連続性を利用してグラフの最小カットを効率的に求めることで高速に映像の領域分割を実現する方法も知られている（例えば、非特許文献２参照）。

Y.Boykov and G.F.Lea,"Graph cuts and efficient N-D image segmentation," International Journal of Computer Vision,Vol.70,No.2,pp.109-131,2006. P.Kohli and P. Torr,"Dynamic graph cuts for efficient inference in Markov random fields,"IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.29,No.12,pp.2079-2088,2007.

領域分割技術の応用では、物体領域や背景領域に関する事前情報（手がかり）が与えられない状況においても正しく物体領域と背景領域とを分割できる手法、換言すれば、人手を介せず領域分割を含めて全ての手順を自動で実行できる手法が望まれている。領域分割技術の応用範囲が拡大するからである。しかしながら、非特許文献１、２に記載の方法は、物体領域・背景領域に関する事前情報が部分的に手動で与えられることを想定しているため、物体領域・背景領域に関する事前情報が全く与えられない場合には利用することができないという問題がある。即ち、領域分割技術の応用範囲を著しく制限しているという問題がある。

本発明は、上述した課題に鑑みてなされたものであって、物体領域、背景領域に関する事前情報が全く与えられない場合においても領域分割を可能にするための技術を提供することを目的とする。

上記問題を解決するために、本発明の一態様である顕著領域映像生成方法は、入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出過程と、入力映像を構成する各フレームである入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出過程と、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出過程と、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出部と、前記各入力画像に対し、前記注目度映像抽出過程、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程および前記顕著領域画像抽出過程を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成過程とを有し、前記顕著領域事前確率画像抽出過程は、一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出過程によって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、前記特徴量尤度算出過程は、前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出することを特徴とする。

上記顕著領域映像生成方法において、前記注目度映像抽出過程は、前記入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程とを有し、前記視線位置確率密度画像抽出過程は、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新過程によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新過程と、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新過程と、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前記代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数更新過程から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出過程と、前記代表視線位置更新過程によって更新された代表視線位置集合と、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程とを有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出するようにしてもよい。

上記顕著領域映像生成方法において、前記顕著領域事前確率画像抽出過程は、前記注目度画像のみを用いて前記顕著領域事前確率画像を生成する顕著領域事前確率画像生成過程と、前記顕著領域画像を用いて前記顕著領域事前確率画像生成過程によって生成された前記顕著領域事前確率画像を更新する顕著領域事前確率画像更新過程とから構成されるようにしてもよい。

上記顕著領域映像生成方法において、前記特徴量尤度算出過程は、顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する顕著領域特徴量尤度算出過程と、顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する非顕著領域特徴量尤度算出過程と、前記顕著領域特徴量尤度および前記非顕著領域特徴量尤度を加算して特徴量尤度として出力する特徴量尤度出力過程とから構成されるようにしてもよい。

上記顕著領域映像生成方法において、前記顕著領域特徴量尤度算出過程は、前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記顕著領域特徴量尤度を生成する顕著領域特徴量尤度生成過程と、前記顕著領域特徴量尤度生成過程によって生成された前記顕著領域特徴量尤度を更新する顕著領域特徴量尤度更新過程とから構成され、非顕著領域特徴量尤度算出過程は、前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記非顕著領域特徴量尤度を生成する非顕著領域特徴量尤度生成過程と、前記非顕著領域特徴量尤度生成過程によって生成された前記非顕著領域特徴量尤度を更新する非顕著領域特徴量尤度更新過程とから構成され、前記顕著領域特徴量尤度更新過程は、前記入力画像、前記顕著領域画像および前回迄に更新した更新後の前記顕著領域特徴量尤度のうち少なくとも１つに基づいて前記顕著領域特徴量尤度を更新し、前記非顕著領域特徴量尤度更新過程は、前記入力画像、非顕著領域画像および前回迄に更新した更新後の前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて前記非顕著領域特徴量尤度を更新するようにしてもよい。

上記顕著領域映像生成方法は、前記入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する平滑化画像群生成過程と、前記平準化画像群に対し、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程、前記顕著領域画像抽出過程を実行し、前記入力画像の前記顕著領域画像を確定する顕著領域画像確定過程とを更に有し、前記特徴量尤度算出過程および顕著領域画像抽出過程は、前記入力画像に代えて前記平滑化画像を用い、前記顕著領域映像生成過程は、前記各入力画像に対し、前記注目度映像抽出過程、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程、前記顕著領域画像抽出過程、前記平滑化画像群生成過程および顕著領域画像確定過程を実行して得られる前記顕著領域画像から前記顕著領域映像を生成するようにしてもよい。

上記問題を解決するために、本発明の他の態様である顕著領域映像生成装置は、入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出部と、入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出部と、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出部と、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出部と、前記各入力画像に対し、前記注目度映像抽出部、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部および前記顕著領域画像抽出部を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成部とを備え、前記顕著領域事前確率画像抽出部は、一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出部によって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、前記特徴量尤度算出部は、前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出することを特徴とする。

上記顕著領域映像生成装置において、前記注目度映像抽出部は、前記入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記視線位置確率密度画像抽出部とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部とを備え、前記視線位置確率密度画像抽出部は、視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新部によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新部と、視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新部と、それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前記代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数更新部から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出部と、前記代表視線位置更新部によって更新された代表視線位置集合と、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力部とを有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出するようにしてもよい。

上記顕著領域映像生成装置において、前記顕著領域事前確率画像抽出部は、前記注目度画像のみを用いて前記顕著領域事前確率画像を生成する顕著領域事前確率画像生成部と、 前記顕著領域画像を用いて前記顕著領域事前確率画像生成部によって生成された前記顕著領域事前確率画像を更新する顕著領域事前確率画像更新部とから構成されるようにしてもよい。

上記顕著領域映像生成装置において、前記特徴量尤度算出部は、顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する顕著領域特徴量尤度算出部と、顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する非顕著領域特徴量尤度算出部と、前記顕著領域特徴量尤度および前記非顕著領域特徴量尤度を加算して特徴量尤度として出力する特徴量尤度出力部とから構成されるようにしてもよい。

上記顕著領域映像生成装置において、前記顕著領域特徴量尤度算出部は、前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記顕著領域特徴量尤度を生成する顕著領域特徴量尤度生成部と、前記顕著領域特徴量尤度生成部によって生成された前記顕著領域特徴量尤度を更新する顕著領域特徴量尤度更新部とから構成され、前記非顕著領域特徴量尤度算出部は、前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記非顕著領域特徴量尤度を生成する非顕著領域特徴量尤度生成部と、前記非顕著領域特徴量尤度生成部によって生成された前記非顕著領域特徴量尤度を更新する非顕著領域特徴量尤度更新部とから構成され、前記顕著領域特徴量尤度更新部は、前記入力画像、前記顕著領域画像および前回迄に更新した更新後の前記顕著領域特徴量尤度のうち少なくとも１つに基づいて前記顕著領域特徴量尤度を更新し、前記非顕著領域特徴量尤度更新部は、前記入力画像、非顕著領域画像および前回迄に更新した更新後の前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて前記非顕著領域特徴量尤度を更新するようにしてもよい。

上記顕著領域映像生成装置は、前記入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する平滑化画像群生成部と、前記平準化画像群に対し、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部、前記顕著領域画像抽出部の処理を実行し、前記入力画像の前記顕著領域画像を確定する顕著領域画像確定部とを更に備え、前記特徴量尤度算出部および顕著領域画像抽出部は、前記入力画像に代えて前記平滑化画像を用い、前記顕著領域映像生成部は、前記各入力画像に対し、前記注目度映像抽出部、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部、前記顕著領域画像抽出部、前記平滑化画像群生成部および前記顕著領域画像確定部の各処理を実行して得られる前記顕著領域画像から前記顕著領域映像を生成するようにしてもよい。

上記問題を解決するために、本発明の他の態様であるプログラムは、入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出ステップと、入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出ステップと、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出ステップと、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出ステップと、前記各入力画像に対し、前記注目度映像抽出ステップ、前記顕著領域事前確率画像抽出ステップ、前記特徴量尤度算出ステップおよび前記顕著領域画像抽出ステップを実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成ステップとをコンピュータに実行させるプログラムであって、前記顕著領域事前確率画像抽出ステップは、一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出ステップによって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、前記特徴量尤度算出ステップは、前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出することを特徴とする。

上記問題を解決するために、本発明の他の態様である記録媒体は、入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出ステップと、入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出ステップと、前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出ステップと、前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出ステップと、前記各入力画像に対し、前記注目度映像抽出ステップ、前記顕著領域事前確率画像抽出ステップ、前記特徴量尤度算出ステップおよび前記顕著領域画像抽出ステップを実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録憶媒体であって、前記顕著領域事前確率画像抽出ステップは、一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出ステップによって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、前記特徴量尤度算出ステップは、前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出することを特徴とする。

本発明によれば、物体領域・背景領域に関する事前情報が全く与えられない場合においても領域分割が可能になる。従って、物体領域・背景領域に関する事前知識がない場合でも、精度良く物体領域と背景領域を分割して、注目している領域（物体領域）を抽出することができるようになる。

本発明の第１の実施形態に係る顕著領域映像生成装置１０００による顕著領域事前確率画像の算出過程の模式図である。 顕著領域映像生成装置１０００の機能ブロック図の一例である。 注目度映像抽出部１の機能ブロック図である。 顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域画像抽出部４の機能ブロック図である。 特徴量尤度の算出過程の模式図である。 顕著領域抽出グラフの例である。 顕著領域映像生成装置１１００の機能ブロック図の一例である。 顕著領域抽出の例である。 顕著領域抽出の比較である

（第１の実施形態）
以下、本発明の第１の実施形態に係る顕著領域映像生成装置１０００について図面を参照して説明する。なお、本実施形態（後述する第２の実施形態も同様）においては、領域分割を映像顕著性に基づいて実現するため、以下、「顕著領域抽出」と「領域分割」とを同義で用いる。同様に、「顕著領域」と「物体領域」とを同義で用い、「非顕著領域」と「背景領域」とを同義で用いる。また、以下の説明において、式中の文字上部に￣が付いた文字は、文中において文字の前に￣を記載して示す。例えば、式中の文字（下記式１）は文中において￣ｘと記載して示す。

また、式中の文字上部に〜が付いた文字は、文中において文字の前に〜を記載して示す。例えば、式中の文字（下記式２）は文中において〜ηと記載して示し、式中の文字（下記式３）は文中において〜Σと記載して示す。

なお、式中の文字（下記式４）と文中のｇは同じである。

顕著領域映像生成装置１０００は、図１に示すように、外部から入力映像を取得し、当該入力映像を構成する各入力フレーム（各入力画像）からそれぞれの顕著領域を抽出した各顕著領域フレーム（各顕著領域画像）から構成される顕著領域映像を生成し、外部に出力する。

顕著領域映像生成装置１０００は、図２に示すように、注目度映像抽出部１、顕著領域事前確率画像抽出部２、特徴量尤度算出部３、顕著領域画像抽出部４および顕著領域映像生成部５を備える。注目度映像抽出部１は、図３に示すように、基礎注目度画像抽出部１１、確率的基礎注目度画像抽出部１２、確率的基礎注目度母数逐次推定部１３、視線位置確率密度画像抽出部１４、視線位置確率密度映像出力部１５を備える。視線位置確率密度画像抽出部１４は、視線移動状態変数更新部１４１、代表視線位置更新部１４２、代表視線位置重み係数算出部１４３、視線位置確率密度画像出力部１４４、代表視線位置集合再構成部１４５を備える。顕著領域事前確率画像抽出部２は、図４（ａ）に示すように、顕著領域事前確率画像生成部２１および顕著領域事前確率画像更新部２２を備える。特徴量尤度算出部３は、顕著領域特徴量尤度算出部３１、図４（ｂ）に示すように、非顕著領域特徴量尤度算出部３２および特徴量尤度出力部３３を備える。顕著領域特徴量尤度算出部３１は、顕著領域特徴量尤度生成部３１１および顕著領域特徴量尤度更新部３１２を備える。非顕著領域特徴量尤度算出部３２は、非顕著領域特徴量尤度生成部３２１および非顕著領域特徴量尤度更新部３２２を備える。顕著領域画像抽出部４は、図４（ｃ）に示すように、顕著領域抽出グラフ生成部４１および顕著領域抽出グラフ分割部４２を備える。

注目度映像抽出部１は、入力映像を取得する。注目度映像抽出部１は、入力映像の各フレームの中で人間が注意を向けやすい度合いである注目度を示す映像である注目度映像を抽出する。注目度映像抽出部１は、抽出した注目度映像を顕著領域事前確率画像抽出部２に出力（供給）する。

具体的には、注目度映像抽出部１は、視線位置推定の対象となる入力映像、視線位置推定に必要となる第１の母数である確率的基礎注目度母数Θ_ｓ（ｔ）、及び視線位置推定に必要となる第２の母数である視線位置確率密度母数Θ_ｘ（ｔ）が入力され、入力映像に含まれる時系列の各入力画像（各フレーム）内の各位置において、人間が視線を向ける確率を示した視線位置確率密度画像Ｘ（ｔ）を算出する。更に、視線位置推定装置１００は、算出した視線位置確率密度画像Ｘ（ｔ）の時系列の映像である視線位置確率密度映像を出力する。

基礎注目度画像抽出部１１は、入力された入力映像から視線位置推定を行う入力画像（フレーム）を取り出す。また、基礎注目度画像抽出部１１は、取り出した入力画像の中で顕著な特性を持つ空間領域を示した画像である基礎注目度画像を抽出する。そして、抽出した基礎注目度画像を確率的基礎注目度画像抽出部１２及び確率的基礎注目度母数逐次推定部１３に出力する。

基礎注目度画像抽出部１１における基礎注目度画像の抽出処理は、特許文献１に記載されている基礎注目度画像抽出部１１の処理と同様であるため、処理内容の詳細な説明は省略する。ただし、本実施形態では、時刻ｉの入力画像から算出する基礎注目度画像を下記式（５）（以下、「基礎注目度画像￣Ｓ（ｉ）」と表す）とする。

確率的基礎注目度画像抽出部１２は、現在の入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像Ｓ（ｔ）を抽出する。なお、確率的基礎注目度画像抽出部１２による確率的基礎注目度画像Ｓ（ｔ）の抽出は、基礎注目度画像抽出部１１から入力された基礎注目度画像￣Ｓ（ｉ）、該確率的基礎注目度画像抽出部１２が算出したこれまでの確率的基礎注目度画像Ｓ（ｔ）、及び確率的基礎注目度母数Θ_ｓ（ｔ）に基づいて行われる。
また、確率的基礎注目度画像抽出部１２によって抽出される確率的基礎注目度画像Ｓ（ｔ）は、各位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の期待値である下記式（６）（以下、「期待値＾ｓ（ｔ，ｙ｜ｔ）」と表す）及び標準偏差σｓ（ｔ，ｙ｜ｔ）を保持する画像である。

また、確率的基礎注目度画像抽出部１２は、抽出した確率的基礎注目度画像Ｓ（ｔ）を視線位置確率密度画像抽出部１４及び確率的基礎注目度母数逐次推定部１３に出力する。
なお、確率的基礎注目度画像抽出部１２には、確率的基礎注目度母数逐次推定部１３によって更新された確率的基礎注目度母数Θ_ｓ（ｔ＋１）が入力される。

確率的基礎注目度画像抽出部１２における確率的基礎注目度画像Ｓ（ｔ）の抽出は、非特許文献１、２に記載されている手法によって算出することができる。また、確率的基礎注目度画像抽出部１２における確率的基礎注目度画像Ｓ（ｔ）の抽出方法は、特に限定されるものではないが、一例として、カルマンフィルタを用いた推定方法について述べる。

まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像である下記式（７）（以下、「基礎注目度画像￣Ｓ（ｔ）」と表す）の位置ｙにおける画素値である下記式（８）（以下、「画素値￣ｓ（ｔ，ｙ）」と表す）、及び１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）について、下記式（９）、（１０）のような関係式を満たしているものとする。

ここで、確率的基礎注目度母数Θ_ｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下記式（１１）のように与えられているものとする。

また、上記式（９）、（１０）において、ｐ（ａ｜ｂ）は、ｂが与えられたときのａの確率密度を示す。また、下記式（１２）は期待値が下記式（１３）で標準偏差がσである正規分布に従うｓの確率密度を示し、下記式（１４）のように表される。

以降の説明においては、画素値￣ｓ（ｔ，ｙ）を位置ｙにおける基礎注目度と呼ぶこととする。また、同様に、確率的基礎注目度ｓ（ｔ，ｙ）を位置ｙにおける確率的基礎注目度と呼ぶこととする。また、特に必要な場合を除いて、位置ｙを省略するものとする。例えば、ｓ（ｔ，ｙ）をｓ（ｔ）と表す。

続いて、１時点前の確率的基礎注目度ｓ（ｔ−１）が、これまでの確率的基礎注目度画像抽出部１２の処理により、下記式（１５）のような確率密度を用いた表現にて抽出されているものとする。

上記式（１５）において、下記式（１６）は、時刻ｔ_１から時刻ｔ_２までの基礎注目度の系列、下記式（１７）は時刻１から時刻ｔ_２までの基礎注目度である下記式（１８）が与えられているときの時刻ｔ_１の確率的基礎注目度ｓ（ｔ_１）の期待値、σ_ｓ（ｔ_１｜ｔ_２）は、この時の標準偏差を示す。

このとき、確率的基礎注目度画像抽出部１２は、現在の確率的基礎注目度ｓ（ｔ）の下記式（１９）に示す確率密度における期待値である下記式（２０）（以下、「期待値＾ｓ（ｔ｜ｔ）」と表す）及び標準偏差σ_ｓ（ｔ｜ｔ）を、下記式（２１）、（２２）のようにして更新する。

なお、上述の確率的基礎注目度画像抽出部１２における期待値＾ｓ（ｔ｜ｔ）及び標準偏差σ_ｓ（ｔ｜ｔ）の更新は、画像中の各位置で独立して実行することができる。

また、上記式（１０）に替えて、下記式（２３）のような関係式を用いることによって、入力画像の各位置における動き成分を考慮した実施形態とすることも可能である。

上記式（２３）において、Δｙ（ｔ）は時刻ｔ、位置ｙにおけるオプティカルフローであり、例えば、特許文献１に記載されている運動特徴画像抽出部１１５と同様の方法を用いる。

上記に述べたカルマンフィルタを用いた推定方法では、各位置の確率的基礎注目度ｓ（ｔ，ｙ）が空間方向で独立に抽出されていたが、確率的基礎注目度の空間的な連続性を導入することもできる。以下、動的マルコフ確率場と呼ばれる統計モデルに基づく確率的基礎注目度の記述を行い、平均場近似と呼ばれる統計解析手法により確率的基礎注目度ｓ（ｔ，ｙ）を解析的に導出する場合について述べる。

まず、現在（時刻ｔ）の確率的基礎注目度画像Ｓ（ｔ）（確率変数）の位置ｙにおける画素値ｓ（ｔ，ｙ）（確率変数）が、現在の基礎注目度画像￣Ｓ（ｔ）の位置ｙにおける画素値￣ｓ（ｔ，ｙ）、１時点前（時刻ｔ−１）の確率的基礎注目度画像Ｓ（ｔ−１）の位置ｙにおける画素値ｓ（ｔ−１，ｙ）、及び位置ｙの近傍Ｄ（ｙ）に含まれる各位置である下記式（２４）における現在の確率的基礎注目度画像Ｓ（ｔ）の画素値である下記式（２５）について、下記式（２６）〜（３０）のような関係式を満たしているものとする。

ここで、確率的基礎注目度母数Θ_ｓ（ｔ）は、時刻ｔ及び位置ｙに依存する形で下記式（３１）のように再定義されているものとする。

近傍Ｄ（ｙ）の決定方法としては、例えば、位置ｙの上下左右の４点、もしくはさらに斜め位置４点を加えた８点、などが考えられる。

続いて、上述したカルマンフィルタを用いた推定方法と同様に、１時点前の確率的基礎注目度ｓ（ｔ−１，ｙ）が、これまでの確率的基礎注目度画像抽出部１２の処理により、下記式（３２）のような確率密度を用いた表現にて抽出されているものとする。

上記式（３２）において、下記式（３３）は、時刻ｔ_２までの基礎注目度画像である下記式（３４）が与えられているときの時刻ｔ_１・位置ｙの確率的基礎注目度ｓ（ｔ_１，ｙ）の期待値、σ_ｓ（ｔ_１，ｙ｜ｔ_２）は、この時の標準偏差を示す。

このとき、確率的基礎注目度画像抽出部１２は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の下記式（３５）に示す確率密度における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σ_ｓ（ｔ，ｙ｜ｔ）を更新することが目的となる。

また、確率的基礎注目度画像抽出部１２による更新は、繰り返し計算を用いた下記式（３６）〜（４１）の方法によって行われる。

上記式（３６）〜（４１）において、｜Ｄ（ｙ）｜は集合Ｄ（ｙ）の要素数を示す。また、上記式（３６）〜（４１）を用いた計算において、上記式（３９）に示すような無限ステップの繰り返しは不可能であるため、実際には、第ｌ＋１ステップの出力である下記式（４２）と第ｌステップの出力である下記式（４３）との差が十分小さくなった時点で繰り返し計算を打ち切ることとする。

また、ステップに関するインデックスｌを固定したとき、上記式（３８）に示す更新は、画像の各位置において独立に算出することができる。また、それ以外の更新式については、時刻ｔを固定することによって、同様に画像の各位置において独立に算出することができる。
このことによって、上述の確率的基礎注目度画像抽出部１２における期待値＾ｓ（ｔ，ｙ｜ｔ）及び標準偏差σ_ｓ（ｔ，ｙ｜ｔ）の更新は、上述したカルマンフィルタを用いた推定方法と同様に、画像中の各位置で独立して実行することができ、これらの更新処理を容易に並列化できる。

確率的基礎注目度母数逐次推定部１３は、基礎注目度画像抽出部１１から入力された基礎注目度画像￣Ｓ（ｉ）、確率的基礎注目度画像抽出部１２から入力された確率的基礎注目度画像Ｓ（ｔ）、及び事前に与えられた母数である確率的基礎注目度母数Θ_ｓ（ｔ）に基づいて、確率的基礎注目度母数Θ_ｓ（ｔ）を逐次的に更新する。
また、確率的基礎注目度母数逐次推定部１３は、更新した確率的基礎注目度母数Θ_ｓ（ｔ＋１）を確率的基礎注目度画像抽出部１２に出力する。

なお、確率的基礎注目度母数逐次推定部１３は、確率的基礎注目度母数Θ_ｓ（ｔ）を更新していない場合は、事前に与えられた母数である確率的基礎注目度母数Θ_ｓ（ｔ）を確率的基礎注目度母数Θ_ｓ（ｔ＋１）として確率的基礎注目度画像抽出部１２に出力する。即ち、確率的基礎注目度画像抽出部１２から確率的基礎注目度画像Ｓ（ｔ）が入力されていない初期段階では、確率的基礎注目度母数Θ_ｓ（ｔ）の更新ができないため、入力された確率的基礎注目度母数Θ_ｓ（ｔ）をそのまま確率的基礎注目度画像抽出部１２に出力する。

確率的基礎注目度母数逐次推定部１３における確率的基礎注目度母数Θ_ｓ（ｔ＋１）の推定方法は特に限定されるものではないが、本実施形態においては、適応カルマンフィルタを用いた推定方法について述べる。

確率的基礎注目度母数逐次推定部１３において、次の時刻ｔ＋１で用いられる確率的基礎注目度母数Θ_ｓ（ｔ＋１）を、下記式（４４）に示す。

確率的基礎注目度母数逐次推定部１３は、既に基礎注目度画像抽出部１１によって算出されている基礎注目度画像￣Ｓ（ｉ）、及び確率的基礎注目度画像抽出部１２によって算出されている確率的基礎注目度画像Ｓ（ｔ）を構成する確率的基礎注目度の期待値及び標準偏差を用いて、下記式（４５）〜（５２）のように計算する。

上記式（４５）〜（５２）において、下記式（５３）（以下、「￣σ_ｓ１」と表す）及び下記式（５４）（以下、「￣σ_ｓ２」と表す）は基本確率的基礎注目度母数であり、予め定めておく、もしくは事前に学習によって算出しておくものである。

また、λ_ｓ１及びλ_ｓ２は予め定められた母数の混合比であり、これらの数値を適切に定めることで、逐次更新で獲得した母数である下記式（５５），下記式（５６）と、予め定めておいた母数￣σ_ｓ１，￣σ_ｓ２とのバランスを制御することができる。

なお、λ_ｓ１＝λ_ｓ２＝０とすることにより、確率的基礎注目度母数逐次推定部１３による確率的基礎注目度母数Θ_ｓ（ｔ＋１）の推定処理を行わないことと等価になる。また、Ｎ_ｓは過去の情報を保持するバッファの時間長である。

視線位置確率密度画像抽出部１４は、視線移動状態変数更新部１４１、代表視線位置更新部１４２、代表視線位置重み係数算出部１４３、視線位置確率密度画像出力部１４４、代表視線位置集合再構成部１４５から構成される。
視線位置確率密度画像抽出部１４は、視線位置確率密度映像を構成するフレームである視線位置確率密度画像Ｘ（ｔ）を抽出する。なお、視線位置確率密度画像抽出部１４による視線位置確率密度画像Ｘ（ｔ）の抽出は、確率的基礎注目度画像抽出部１２から入力された確率的基礎注目度画像Ｓ（ｔ）、該視線位置確率密度画像抽出部１４が抽出したこれまでの視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θ_ｘ（ｔ）に基づいて行われる。
また、視線位置確率密度画像抽出部１４は、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。

視線移動状態変数更新部１４１は、代表視線位置集合再構成部１４５から出力されたこれまでの出力である視線位置確率密度画像Ｘ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θ_ｘ（ｔ）に基づいて、これまでの視線位置確率密度画像Ｘ（ｔ）に含まれている視線移動の大きさを制御する確率変数である視線移動状態変数ｕ（ｔ）を更新する。
また、視線移動状態変数更新部１４１は、更新した視線移動状態変数ｕ（ｔ）の集合である視線移動状態変数集合Ｕ（ｔ）を代表視線位置更新部１４２及び代表視線位置集合再構成部１４５に出力する。

視線移動状態変数更新部１４１における視線移動状態確率変数集合Ｕ（ｔ）の更新方法は特に限定されるものではないが、本実施形態による方法について述べる。

まず、代表視線位置集合再構成部１４５の出力の一部として、１時点前（時刻ｔ−１）の視線移動状態変数集合Ｕ（ｔ−１）が、下記式（５７）のように与えられているものとする。

上記式（５７）において、Ｎ_ｕは視線移動状態変数集合の要素数、即ち、視線移動状態変数のサンプル数を示す。また、各視線移動状態変数はｍ_ｕ通りの値（１，２，・・・，ｍ_ｕ）のいずれかを取るものとする。

このとき、各視線移動状態変数のサンプルｕ_ｎ（ｔ−１）から、視線位置確率密度母数Θ_ｘ（ｔ）の１つである視線移動遷移確率行列Φ＝｛φ_{（ｉ，ｊ）}｝_{（ｉ，ｊ）}に基づいて、現在の視線移動状態変数のサンプルｕ_ｎ（ｔ）をランダムに生成する。視線移動遷移確率行列はｍ_ｕ行ｍ_ｕ列の行列によって表現され、ｉ行ｊ列の要素φ_{（ｉ，ｊ）}によって、状態ｊから状態ｉへ遷移する確率を表現している。よって、Φは下記式（５８）に示すような性質を満たす。

即ち、上述のようにして生成した視線移動状態変数のサンプルｕ_ｎ（ｔ）の集合である下記式（５９）が、現在の視線移動状態変数集合Ｕ（ｔ）となる。
なお、現在の視線移動状態変数集合Ｕ（ｔ）に含まれる視線移動状態変数のサンプルｕ_ｎ（ｔ）の経験確率分布が、視線移動状態変数の生起確率の近似となっている。

別の実施形態として、視線移動状態変数更新部１４１では何の処理もしないことも可能である。しかし、これは、前述の視線移動状態変数更新部１４１における視線移動状態確率変数集合Ｕ（ｔ）の更新処理において、ｍ_ｕ＝１、即ち、視線移動状態が１通りしかないことと等価である。

代表視線位置更新部１４２は、代表視線位置集合再構成部１４５から出力されたこれまでの出力である視線位置確率密度画像Ｘ（ｔ）、視線移動状態変数更新部１４１から入力された視線移動状態変数集合Ｕ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θ_ｘ（ｔ）に基づいて、視線移動状態変数ｕ（ｔ）によって制御される視線移動を考慮し、これまでの視線位置確率密度画像Ｘ（ｔ）に含まれている代表的な視線位置を表現する代表視線位置の集合である代表視線位置集合Ｖ（ｔ）を更新する。
また、代表視線位置更新部１４２は、更新した代表視線位置集合Ｖ（ｔ）を代表視線位置重み係数算出部１４３、視線位置確率密度画像出力部１４４、及び代表視線位置集合再構成部１４５に出力する。

代表視線位置更新部１４２における代表視線位置集合Ｖ（ｔ）の更新方法は特に限定されるものではないが、本実施形態による方法について述べる。

まず、視線移動状態変数ｕ（ｔ）によって視線位置ｘ（ｔ）が制御されるモデルとして、以下の２通りのモデルについて述べる。

（モデル１）：１時点前（時刻ｔ−１）における視線位置が、視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）における視線位置ｘ（ｔ）の生起確率を、現在の視線移動状態変数ｕ（ｔ）に依存する形で、下記式（６０）のように与える。

上記式（６０）において、γ_ｘｉ及びσ_ｘｉ（ｉ＝０，１，・・・，ｍ_ｕ−１）はそれぞれ視線位置確率密度母数Θ_ｘ（ｔ）を構成する定数、下記式（６１）（以下、「確率密度Ｑ（ｘ；￣ｘ，γ，σ）」と表す）は中心が下記式（６２）、最頻距離がγ、最頻距離からの標準偏差に相当する母数をσとする下記式（６３）に示す確率密度関数を表す。

上記式（６３）において、‖ｘ‖はベクトルｘのノルム、Ｚ_Ｌは確率密度Ｑ（ｘ；￣ｘ，γ，σ）の全定義域における積分値を１にするための下記式（６４）で表される正規化定数を示す。

（モデル２）：１時点前（時刻ｔ−１）における視線位置が、視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）における視線位置ｘ（ｔ）の生起確率として、ベータ分布を用いる。なお、１次元変量ｘに対するベータ分布は、定義域を下記式（６５）とする下記式（６６）によって定義される。

上記式（６６）において、ａ，ｂはそれぞれベータ分布を特徴付ける母数を示す。また、Ｂ（ａ，ｂ）はベータ関数と呼ばれ、ベータ分布の全定義域における積分値を１にするための下記式（６７）に示す正規化定数を表す。

なお、本実施形態においては、正規化定数の変量として位置ｘと、予め定められた原点ｘとの距離を用い、定義域を下記式（６８）とするベータ分布である下記式（６９）を用いる。

即ち、上述のベータ分布である下記式（７０）は、下記式（７１）によって与えられる。

上記式（７１）のように正規化されたベータ分布を用いることにより、１時点前（時刻ｔ−１）の視線位置が視線位置ｘ（ｔ−１）として与えられているときの、現在（時刻ｔ）の視線位置ｘ（ｔ）の生起確率は、現在の視線移動状態変数ｕ（ｔ）に依存する形で、下記式（７２）のように与えられる。

上記式（７２）において、ａ_ｘｉ及びｂ_ｘｉ（ｉ＝０，１，ｍ_ｕ−１）は、それぞれ視線位置確率密度母数Θ_ｘ（ｔ）を構成する定数を表す。

代表視線位置更新部１４２は、上述したモデルのいずれかを用いる方法によって、次に述べるように、代表視線位置集合Ｖ（ｔ）を更新する。

まず、代表視線位置集合再構成部１４５の出力の一部として、１時点前（時刻ｔ−１）の代表視線位置集合Ｖ（ｔ−１）が、下記式（７３）のように与えられているものとする。

上記式（７３）において、Ｎ_ｘは代表視線位置集合Ｖ（ｔ）の要素数、即ち、代表視線位置のサンプル数を示す。なお、一般的な実施形態においては、代表視線位置集合Ｖ（ｔ）の要素数Ｎ_ｘを、視線移動状態変数集合Ｕ（ｔ）の要素数Ｎ_ｕと同一にしておく。

また、代表視線位置更新部１４２は、１時点前（時刻ｔ−１）における代表視線位置の各サンプルｘ_ｎ（ｔ−１）から、上述したいずれかのモデルによって下記式（７４）のように示す確率密度関数を用いて、現時点（時刻ｔ）における代表視線位置のサンプルｘ_ｎ（ｔ）をランダムに生成する。

なお、上記式（７４）のように示す確率密度関数を用いてランダムにサンプルを生成する方法は、サンプル生成に用いる確率密度関数が複雑である。このため、直接的な方法によってランダムなサンプルを生成することは困難である。しかし、上述のようなランダムのサンプル生成は、例えば、マルコフ連鎖モンテカルロ法に基づいたサンプル生成の方法を用いることができる。

次に、一般にＭｅｔｒｏｐｏｌｉｓ−Ｈａｓｔｉｎｇｓアルゴリズムと呼ばれるマルコフ連鎖モンテカルロ法に基づいたサンプル生成の詳細な方法について述べる。

まず、代表視線位置更新部１４２は、代表視線位置の仮のサンプルの初期値である下記式（７５）として、１時点前（時刻ｔ−１）における代表視線位置のサンプルを下記式（７６）のように与える。

次に、原点対称な確率密度関数を用いて、２次元ベクトルである下記式（７７）を生成し、この２次元ベクトルである下記式（７８）を、第ｋ−１ステップの代表視線位置の仮のサンプルである下記式（７９）に加えることによって、第ｋステップの代表視線位置の仮のサンプルである下記式（８０）を下記式（８１）のように生成する。

この原点対称な確率密度関数は、原点に対する対称性を満足しているのみで良く、例えば、原点を中心とする２次元正規分布、原点を中心とする各要素±δ_ｘの範囲内の一様分布、などが考えられる。

そして、第ｋステップの仮の代表視線位置のサンプルである上記式（８０）の生起確率と第ｋ−１ステップの代表視線位置の仮のサンプルである上記式（７９）の生起確率との比である下記式（８２）を下記式（８３）に基づいて計算する。

最後に、下記式（８４）の一様乱数である下記式（８５）を発生させ、下記式（８６）の場合のみ、第ｋステップの代表視線位置の仮のサンプルである上述の数式（８０）を棄却して第ｋ−１ステップの代表視線位置の仮のサンプルである上述の数式（７９）に置き換える。

その後、上述の仮のサンプルの生成ステップをあらかじめ定められた回数（Ｋ_ｘ回）繰り返し、第Ｋ_ｘステップの仮のサンプルである下記式（８７）を下記式（８８）に示すような時刻ｔの代表視線位置のサンプルとする。

上記に述べたとおり、マルコフ連鎖モンテカルロ法に基づいて、サンプルを生成する。この生成したサンプルの集合である下記式（８９）が、即ち、現時点の代表視線位置集合Ｖ（ｔ）となる。また、現時点の代表視線位置集合Ｖ（ｔ）に含まれる代表視線位置サンプルの経験確率分布が、視線位置の生起確率の近似となっている。

代表視線位置重み係数算出部１４３は、確率的基礎注目度画像抽出部１２から入力された確率的基礎注目度画像Ｓ（ｔ）、代表視線位置更新部１４２から入力された代表視線位置集合Ｖ（ｔ）、及び事前に与えられた母数である視線位置確率密度母数Θ_ｘ（ｔ）に基づいて、各代表視線位置に関連付けられた重みである代表視線位置重み係数を算出する。
また、代表視線位置重み係数算出部１４３は、算出した代表視線位置重み係数の集合である代表視線位置重み係数集合である下記式（９０）を視線位置確率密度画像出力部１４４及び代表視線位置集合再構成部１４５に出力する。

代表視線位置重み係数算出部１４３における代表視線位置重み係数集合Ｗ（ｔ）の抽出方法は特に限定されるものではないが、本実施形態においては、信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法について述べる。

代表視線位置のサンプルｘ_ｎ（ｔ）（ｎ＝１，２，・・・，Ｎ_ｘ）に関連付けられる代表視線位置重み係数ｗ_ｎ（ｔ）は、下記式（９１）及び下記式（９２）によって算出される。なお、下記式（９１）及び下記式（９２）は、位置ｘ_ｎ（ｔ）における確率的基礎注目度ｓ（ｔ，ｙ）の実現値が、ある位置集合Ｄ_ｘ（ｘ_ｎ（ｔ））以外の位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の実現値以上となる確率を算出するものである。

なお、上記式（９１）および上記式（９２）においてのみｓ＝ｓ（ｔ，ｘ_ｎ（ｔ））の表記を用いている。また、上記式（９１）および上記式（９２）において、下記式（９３）は、位置ｙにおける現在の確率的基礎注目度ｓ（ｔ，ｙ）の確率分布関数を示し、位置ｙにおける現在の確率密度ｐ（ｓ（ｔ，ｘ））に対応して、下記式（９４）のように定義される。

ある位置集合Ｄ_ｘ（ｘ）の与え方は種々の方法が考えられるが、例えば、位置ｘ以外の任意位置の集合、位置ｘ以外で基礎注目度である下記式（９５）が局所的に最大となる位置ｙの集合、位置ｘ以外で確率的基礎注目度ｓ（ｔ，ｙ）の期待値である下記式（９６）が局所的に最大となる位置ｙの集合、などが考えられる。

上記に述べた信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法では、サンプリングにより代表視線位置集合Ｖ（ｔ）及び代表視線位置重み係数集合Ｗ（ｔ）を抽出していたが、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出することもできる。以下、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法について述べる。

サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置更新部１４２による代表視線位置集合Ｖ（ｔ）の更新と、代表視線位置重み係数算出部１４３による代表視線位置重み係数集合Ｗ（ｔ）の抽出とが同時に行われる。

まず、上述した信号検出理論に基づいた代表視線位置重み係数集合Ｗ（ｔ）の抽出方法と同様に下記式（９７）によって、位置ｘ（ｔ）における確率的基礎注目度ｓ（ｔ，ｙ）の実現値が、ある位置集合Ｄ_ｘ（ｘ（ｔ））以外の位置ｙにおける確率的基礎注目度ｓ（ｔ，ｙ）の実現値以上になる確率を、入力画像中の各位置において算出する。

続いて、この上記式（９７）によって算出した確率分布を、下記式（９８）〜（１０２）に示すようなＥＭアルゴリズムを用いて混合ガウス分布でモデル化する。即ち、混合ガウス分布の各パラメータであるガウス分布の混合比π_ｎ（ｔ）（ｎ＝１，２，・・・，Ｍ_ｙ）、各ガウス分布の平均ベクトルである下記式（１０３）、及び共分散行列Ｓ_ｎ（ｔ）を、下記式（９８）〜（１０２）によるモデル化のステップをｋ＝１，２，・・・について各パラメータが収束するまで繰り返すことによって混合ガウス分布のモデルを導出する。なお、混合ガウス分布のモデル導出の際、位置ｘがどのガウス分布に所属するものであるかを表現する確率変数ｚを導入する。

上記式（９８）〜（１０２）において、α_ｎ（ｎ＝１，２，・・・，Ｍ_ｙ）は、下記式（１０４）を満たすようにあらかじめ定められた定数を示す。

なお、ガウス分布の混合比π_ｎ（ｔ）が予め定められた定数よりも小さいガウス分布については、ガウス分布の混合比π_ｎ（ｔ）に対する寄与が小さいものとして除去し、最終的に残ったＮ_ｘ個のガウス分布によって混合ガウス分布を構成する。そして、この混合ガウス分布の各平均位置である上記式（１０３）（ｎ＝１，２，・・・，Ｎ_ｘ）を、現時点（時刻ｔ）の代表視線位置ｖ_ｎ（ｔ）（ｎ＝１，２，・・・，Ｎ_ｘ）として決定する。
このことから、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置集合Ｖ（ｔ）の要素数Ｎ_ｘは、予め与えられるものではなく、入力画像によって異なることがわかる。

一方、代表視線位置重み係数ｗ_ｎ（ｔ）（ｎ＝１，２，・・・，Ｎ_ｘ）については、１時点前（時刻ｔ−１）の代表視線位置集合である下記式（１０５）、１時点前（時刻ｔ−１）の代表視線位置重み係数集合である下記式（１０６）及び上記の混合ガウス分布の混合比π_ｎ（ｔ）に基づいて、下記式（１０７）のようにして算出する。

これは、即ち、１時点前の代表視線位置集合Ｖ（ｔ）及び代表視線位置重み係数ｗ_ｎ（ｔ）から構成される混合ガウス分布を、上記式（９８）〜（１０２）によってモデル化した混合ガウス分布に、視線移動に関する確率密度ｐ（ｓ（ｔ，ｘ））を考慮して遷移させたものである。

上記に述べたとおり、サンプリングを用いずに代表視線位置重み係数集合Ｗ（ｔ）を抽出する方法では、代表視線位置更新部１４２及び代表視線位置重み係数算出部１４３は、代表視線位置集合である下記式（１０８）及び代表視線位置重み係数集合である上記式（９０）を抽出し、視線位置確率密度画像出力部１４４に出力する。

視線位置確率密度画像出力部１４４は、代表視線位置更新部１４２から入力された代表視線位置集合Ｖ（ｔ）、及び代表視線位置重み係数算出部１４３から入力された代表視線位置重み係数集合Ｗ（ｔ）に基づいて、代表視線位置確率密度画像Ｈ（ｔ）を抽出する。
また、視線位置確率密度画像出力部１４４は、抽出した代表視線位置確率密度画像Ｈ（ｔ）を代表視線位置集合再構成部１４５に出力する。

視線位置確率密度画像出力部１４４による代表視線位置確率密度画像Ｈ（ｔ）の算出方法は特に限定されるものではないが、本実施形態による方法について述べる。

視線位置確率密度画像出力部１４４は、現時点（時刻ｔ）の代表視線位置確率密度画像Ｈ（ｔ）の位置ｘ（ｔ）における画素値を、代表視線位置集合Ｖ（ｔ）及び代表視線位置重み集合Ｗ（ｔ）に基づいて、下記式（１０９）のように算出する。

上記式（１０９）において、ｆ（・）は予め定められた関数であり、例えば、下記式（１１０）に示すデルタ関数や、下記式（１１１）に示す２次元正規分布などが考えられる。

代表視線位置集合再構成部１４５は、代表視線位置更新部１４２から入力された代表視線位置集合Ｖ（ｔ）、視線移動状態変数更新部１４１から入力された視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数算出部１４３から入力された代表視線位置重み係数集合Ｗ（ｔ）に基づいて、代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）を、代表視線位置重み係数集合Ｗ（ｔ）の示す重み配分に従って再構成する。
また、代表視線位置集合再構成部１４５は、代表視線位置重み係数集合Ｗ（ｔ）を再構成する。
また、代表視線位置集合再構成部１４５は、再構成された代表視線位置集合Ｖ^＊（ｔ）、視線移動状態変数集合Ｕ^＊（ｔ）、及び代表視線位置重み係数集合Ｗ^＊（ｔ）に基づいた、視線位置確率密度画像Ｘ（ｔ）を視線位置確率密度映像出力部５に出力する。
また、代表視線位置集合再構成部１４５は、視線位置確率密度画像Ｘ（ｔ）を視線移動状態変数更新部１４１及び代表視線位置更新部１４２に出力する。

代表視線位置集合再構成部１４５における代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）の再構成方法は特に限定されるものではないが、本実施形態による方法について述べる。

まず、代表視線位置重み係数ｗ_ｎ（ｔ）（ｎ＝１，２，・・・，Ｎ_ｘ）の累積和ｃ_ｎ（ｔ）を下記式（１１２）によって算出する。なお、累積和ｃ_ｎ（ｔ）を算出する際に必要に応じて、代表視線位置重み係数ｗ_ｎ（ｔ）の大きい順に代表視線位置ｖ_ｎ（ｔ）、視線移動状態変数ｕ（ｔ）及び代表視線位置重み係数ｗ_ｎ（ｔ）の並べ替えを行う。

以降の処理のため、ｃ_０（ｔ）＝０と定める。

次に、ある数κ_１を下記式（１１３）の範囲でランダムに定め、以降、ｎ＝２，３，・・・，Ｎ_ｘについて、κ_ｎを下記式（１１４）のように定める。

そして、ｎ＝１，２，・・・，Ｎ_ｘのそれぞれについて、下記式（１１５）の条件を満たす整数ｎ^＊を求める。

そして、新しい代表視線位置である下記式（１１６）を下記式（１１７）のように定める。

また、新しい視線移動状態変数である下記式（１１８）を下記式（１１９）のように定める。

なお、新しい代表視線位置重み係数である下記式（１２０）は、全て１／Ｎ_ｘとする。

なお、上述した代表視線位置集合Ｖ（ｔ）及び視線移動状態変数集合Ｕ（ｔ）の再構成は、必ずしも全ての時刻において実施する必要はなく、例えば、ある一定時間間隔を置いて実施することや、全く実施しないこともできる。
また、例えば、下記式（１２１）に示す代表視線位置重み係数の偏りに関する条件を満たさないときのみ実施することもできる。

上記式（１２１）において、Ｎ_ｅｆｆは下記式（１２２）を満たすように予め定められた定数である。

また、代表視線位置集合再構成部１４５は、上記に述べた代表視線位置集合Ｖ（ｔ）、視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数集合Ｗ（ｔ）の再構成方法によって再構成した新しい代表視線位置集合である下記式（１２３）、新しい視線移動状態変数集合である下記式（１２４）、及び新しい代表視線位置重み係数集合である下記式（１２５）に基づいて、視線位置確率密度画像出力部１４４から入力された代表視線位置確率密度画像Ｈ（ｔ）を再構成した視線位置確率密度画像Ｘ（ｔ）を、視線位置確率密度画像抽出部１４の出力として視線位置確率密度映像出力部５に出力する。

なお、代表視線位置集合再構成部１４５による代表視線位置集合Ｖ（ｔ）、視線移動状態変数集合Ｕ（ｔ）、及び代表視線位置重み係数集合Ｗ（ｔ）の再構成を全く実施しない場合は、視線位置確率密度画像出力部１４４から入力された代表視線位置確率密度画像Ｈ（ｔ）を視線位置確率密度画像抽出部１４の出力である視線位置確率密度画像Ｘ（ｔ）として視線位置確率密度映像出力部５に出力する。

視線位置確率密度映像出力部５は、入力映像に含まれる時系列の各入力画像から、基礎注目度画像抽出部１１、確率的基礎注目度画像抽出部１２、確率的基礎注目度母数逐次推定部１３、及び視線位置確率密度画像抽出部１４の処理によって抽出される視線位置確率密度画像Ｘ（ｔ）の時系列である視線位置確率密度映像を抽出して、出力する。

上記に述べたとおり、第１の実施形態によれば、視線位置推定の対象となる入力映像、確率的基礎注目度母数Θ_ｓ（ｔ）、及び視線位置確率密度母数Θ_ｘ（ｔ）に基づいて、視線位置確率密度映像を出力する場合に、確率的基礎注目度母数Θ_ｓ（ｔ）を逐次更新することができる。

また、第１の実施形態によれば、確率的基礎注目度画像抽出部１２における期待値及び標準偏差の更新を、入力画像中の各位置で独立して実行することができる。その結果、確率的基礎注目度画像抽出部１２による期待値及び標準偏差の更新処理を、複数コアを持つ計算機やＧｒａｐｈｉｃ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ（ＧＰＵ）などの並列処理が可能な計算機上で容易に並列化することができ、処理を高速化することができる。

なお、注目度映像抽出部１は、確率的基礎注目度画像抽出部１２、確率的基礎注目度母数逐次推定部１３、視線位置確率密度画像抽出部１４、視線位置確率密度映像出力部１５による上述の手法に代えて、下記非特許文献３、４に記載の手法でも、注目度映像を抽出することもできる。但し、確率的基礎注目度画像抽出部１２、確率的基礎注目度母数逐次推定部１３、視線位置確率密度画像抽出部１４、視線位置確率密度映像出力部１５による手法は、上述の如く並列処理に適しているため、非特許文献３、４に記載の手法に比べ、高速に計算（高速に注目度映像を抽出）することができる。

（非特許文献３）Derek Pang,Akisato Kimura,Tatsuto Takeuchi,Junji Yamato and Kunio Kashino,”A stochastic model of selective visual attention with a dynamic Bayesian network,”Proc.International Conference on Multimedia and Expo (ICME2008),pp.1073−1076, Hannover,Germany,June 2008.
（非特許文献４）Akisato Kimura,Derek Pang,Tatsuto Takeuchi, Junji Yamato and Kunio Kashino,”Dynamic Markov random fields for stochastic modeling of visual attention,”Proc.International Conference on Pattern Recognition (ICPR2008), Mo.BT8.35,Tampa, Florida,USA,December 2008.

顕著領域事前確率画像抽出部２は、入力映像を構成する各フレームである入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する。具体的には、顕著領域事前確率画像抽出部２は、注目度映像の一のフレームである注目度画像および顕著領域画像抽出部４によって抽出された顕著領域画像から、入力映像中の対応するフレームである入力画像の各位置が顕著領域である確率を表示する顕著領域事前確率画像を抽出する。換言すれば、顕著領域事前確率画像抽出部２は、一の入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、注目度映像抽出部１によって抽出された注目度映像内の当該入力画像に対応する画像である注目度画像および顕著領域画像抽出部４によって抽出された当該入力画像に対応する顕著領域画像に基づいて抽出する。顕著領域事前確率画像抽出部２は、抽出した顕著領域事前確率画像を特徴量尤度算出部３および顕著領域画像抽出部４に出力する。顕著領域事前確率画像抽出部２が顕著領域事前確率画像を抽出する方法は特に限定しないが、本実施形態においては、顕著領域事前確率画像生成部２１と顕著領域事前確率画像更新部２２とによって抽出する方法について説明する。

顕著領域事前確率画像生成部２１は、注目度画像を入力し、注目度画像のみから顕著領域事前確率画像を生成する。顕著領域事前確率画像生成部２１が注目度画像から顕著領域事前確率画像を生成する方法は特に限定しないが、本実施形態においては、ガウス混合分布モデルを利用した方法について説明する。

顕著領域事前確率画像生成部２１は、まず、時刻ｔの注目度画像（即ち、基礎注目度画像￣Ｓ（ｔ）若しくは視線位置確率密度画像Ｘ（ｔ））が、それぞれ中心位置〜ｘ_ｊ（ｔ）・共分散行列〜Σ_ｓ，ｊ（ｔ）（ｊ＝１，２，・・・，Ｍ_ｓ）を持ち、混合比が〜η_ｓ，ｊ（ｔ）であるＭ_ｓ個のガウス分布の混合によって構成されていると仮定し、そのモデルパラメータ（即ち、Ｍ_ｓ個の中心位置、共分散行列、混合比）を注目度画像（ｂ）から推定する。推定方法の具体例は、以下の２つである。

（推定方法１）
ＥＭアルゴリズムを用いて導出する。このとき、ＥＭアルゴリズムに与える各サンプルは注目度画像（ｂ）のある特定の位置ｘに対応し、位置ｘにおける画素値と等しい値の重みを持つことに注意する。ＥＭアルゴリズムによるガウス混合分布パラメータの推定は、下記式（１２６）〜下記式（１２９）をｋ＝１，２，・・・で繰り返すことによって行われ、各パラメータが収束した時点で手順を打ち切り、パラメータを固定する。

ここで、ｇ（ｘ；〜ｘ，Σ）は多次元正規分布であり、次元数がＤとするときには下記式（１３０）で定義される。

また、視線位置確率密度画像Ｘ（ｔ）の位置ｘにおける画素値を、位置ｘをＥＭアルゴリズムのサンプルとみなしたときの重みとして利用していることから、ここではｗ_ｘ（ｔ）と表現している。

（推定方法２）
注目度画像の画素値の極大値をＭ_ｓ個検出し、極大値となる位置を中心位置〜ｘ_ｊ（ｔ）（ｊ＝１，２，・・・，Ｍ_ｓ）として定め、その位置の注目度画像の画素値を混合比〜η_ｓ，ｊ（ｔ）とする。共分散行列〜Σ_ｓ，ｊ（ｔ）については、第１の推定方法と同様にして求めるか、予め定めておいた値を利用する。

以上のようにして、顕著領域事前確率画像生成部２１は、注目度画像からガウス混合分布のモデルパラメータを推定し、顕著領域事前確率画像を生成する。具体的には、顕著領域事前確率画像生成部２１は、モデルパラメータの１つである混合比を、その最大値が１と等しくなるように正規化し、その後に各位置におけるガウス混合分布の確率を計算して、当該位置の顕著領域事前確率画像￣Ξ_１（ｔ）の画素値ξ_１（ｘ，ｔ）とする（下記式（１３１））。

上記の実施形態では、全ての位置においてガウス混合分布を用いた方法によって顕著領域事前確率画像を生成しているが、顕著領域が画像の中心位置に存在しやすいことを考慮した後述する第２の実施形態も可能である。即ち、この場合には、顕著領域事前確率画像を第１の実施形態と同様に生成した後、画像の左右両端もしくは上下左右の端の一定領域のピクセル値を強制的に０とする。当該方法は、画像の端に顕著領域が存在する可能性を排除することを意味している。若しくは、顕著領域事前確率画像を第１の実施形態と同様に生成した後、画像の中心位置からの距離に比例する重みを顕著領域事前確率画像に掛け合わせ、その出力を新たに顕著領域事前確率とする実施形態も考えられる。上記の通り、顕著領域事前確率画像生成部２１は、顕著領域事前確率画像￣Ξ_１（ｔ）を生成し出力する。

顕著領域事前確率画像更新部２２は、顕著領域画像を用いて顕著領域事前確率画像生成部２１によって生成された顕著領域事前確率画像を更新する。即ち、顕著領域事前確率画像更新部２２は、顕著領域事前確率画像生成部２１によって生成された顕著領域事前確率画像、および、顕著領域画像抽出部４によって抽出された顕著領域画像を入力し、顕著領域画像を用いて顕著領域事前確率画像を更新する。顕著領域事前確率画像更新部２２が顕著領域事前確率画像を更新する方法は特に限定しないが、本実施形態においては、カルマンフィルタの原理を利用する方法について説明する。

現時点（時刻ｔ）の顕著領域事前確率画像Ξ_１（ｔ）（確率変数）の位置ｘにおける画素値ξ_１（ｘ，ｔ）（確率変数）が、現時点の更新前顕著領域事前確率画像￣Ξ１（ｔ）の位置ｘにおける画素値￣ξ１（ｘ，ｔ）、および、１時点前（時刻ｔ−１）の顕著領域画像Ａ（ｔ−１）の位置ｘにおける画素値ａ（ｘ，ｔ−１）について、下記式（１３２）（１３３）を満たしているものとする。

ここで、θ＝（σ_１，σ_２）はあらかじめ与えられるパラメータである。またｆ（・） は、顕著領域画像の画素値を実数値に変換する関数であり、例えば、下記式（１３４）（１３５のように設定する。

このとき、顕著領域事前確率画像更新部２２は、現時点の顕著領域事前確率画像Ξ_１（ｔ）の位置ｘにおける画素値ξ_１（ｘ，ｔ）を、カルマンフィルタの原理を利用することにより、下記式（１３６）（１３７）によって更新する。

上記の実施形態では、各時刻の顕著領域事前確率を保持しているが、この分散を次の時刻での更新の際に利用しなくてもよい。即ち、上記式（１３６）（１３７）に、下記式（１３８）を追加してもよい。

上記の通り、顕著領域事前確率画像更新部２２は、顕著領域事前確率画像￣Ξ_１（ｔ） をΞ_１（ｔ）に更新し、更新後の顕著領域事前確率画像Ξ１（ｔ）を出力する。

上記の通り、顕著領域事前確率画像抽出部２は、図５に示すように、顕著領域事前確率画像Ξ１（ｔ）を抽出（生成、更新）し、出力する。

特徴量尤度算出部３は、入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する。具体的には、特徴量尤度算出部３は、特徴量尤度を、入力画像、注目度画像、顕著領域事前確率画像抽出部２によって抽出された顕著領域事前確率画像、顕著領域画像抽出部４によって抽出された顕著領域画像および前回迄に算出した特徴量尤度の少なくとも１つに基づいて算出する。例えば、特徴量尤度算出部３は、入力画像、顕著領域事前確率画像、顕著領域画像および前回迄に算出した特徴量尤度から、特徴量尤度を算出する。特徴量尤度算出部３は、算出した特徴量尤度を顕著領域画像抽出部４に出力する。特徴量尤度算出部３が徴量尤度を算出する方法は特に限定しないが、本実施形態においては、顕著領域特徴量尤度算出部３１と非顕著領域特徴量尤度算出部３２と特徴量尤度出力部３３とによって算出する方法について説明する。

顕著領域特徴量尤度算出部３１は、顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、入力画像、顕著領域事前確率画像、顕著領域画像および前回迄に算出した顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する。顕著領域特徴量尤度算出部３１が顕著領域特徴量尤度を算出する方法は特に限定しないが、本実施形態においては、顕著領域特徴量尤度生成部３１１と顕著領域特徴量尤度更新部３１２とによって算出する方法について説明する。

顕著領域特徴量尤度生成部３１１は、入力画像、顕著領域事前確率画像および顕著領域画像に基づいて顕著領域特徴量尤度を新たに生成（算出）し、出力する。顕著領域特徴量尤度生成部３１１が顕著領域特徴量尤度を生成する方法は、特に限定しないが、本実施形態においては、ガウス混合分布モデルを利用した方法について説明する。

顕著領域特徴量尤度生成部３１１は、まず、時刻ｔにおいて、顕著領域に特有の特徴量の確率分布である顕著領域特徴量確率が、それぞれ平均〜ｃ_ｊ（ｔ）・共分散行列〜Σ_ｆ，ｊ（ｔ）（ｊ＝ １，２，・・・，Ｍ_ｆ）を持ち、混合比が〜η_ｆ，ｊ（ｔ）であるＭ_ｆ個のガウス分布の混合によって構成されていると仮定し、これらのモデルパラメータを、顕著領域事前確率画像の画素値で重み付けした入力画像の画素値から推定する。モデルパラメータの推定には、例えばＥＭアルゴリズムを用いる。具体的には、下記式（１３９）〜下記式（１４２）をｋ＝１，２，・・・ で繰り返すことによって行われ、各パラメータが収束した時点で手順を打ち切り、パラメータを固定する。

ここで、入力画像の位置ｘにおける画素値は、ＲＧＢの３次元ベクトルとしてｃ（ｘ， ｔ）で表現される。上記のようにして、顕著領域特徴量尤度生成部３１１は、推定したガウス混合分布のモデルパラメータから、顕著領域特徴量尤度を算出する。具体的には、推定したモデルパラメータで特徴付けられるガウス混合分布を尤度とする下記式（１４３）によって算出する。

上記の通り、顕著領域特徴量尤度生成部３１１は、顕著領域特徴量尤度￣ψ_１（ｃ， ｔ）を生成（算出）し、出力する。

顕著領域特徴量尤度更新部３１２は、顕著領域特徴量尤度生成部３１１によって生成された顕著領域特徴量尤度を更新する。具体的には、顕著領域特徴量尤度更新部３１２は、入力画像、顕著領域画像および前回迄に更新した更新後の顕著領域特徴量尤度のうち少なくとも１つに基づいて、顕著領域特徴量尤度生成部３１１によって生成された顕著領域特徴量尤度を更新する。顕著領域特徴量尤度更新部３１２が顕著領域特徴量尤度（ｅ１）を更新する方法は特に限定しないが、本実施形態においては、以下の２通りの方法を説明する。

（更新方法１）
２種類の顕著領域特徴量尤度を混合することによって更新する。具体的には、求めるべき現時点（時刻ｔ）の顕著領域特徴量尤度ψ_１（ｃ，ｔ）を、顕著領域特徴量尤度生成部３１１から出力された更新前の顕著領域特徴量尤度ψ１（ｃ，ｔ）、および、１時点前（時刻ｔ−１）の顕著領域特徴量尤度￣ψ_１（ｃ，ｔ−１）を、あらかじめ定められた混合比λ_ｃにて混合する下記式（１４４）によって計算する。

（更新方法２）
１時点前（時刻ｔ−１）の顕著領域画像Ａ（ｔ−１）に基づいて、１時点前の顕著領域特徴量尤度ψ_１（ｃ，ｔ−１）を更新した上で第１の実施形態と同様の方法を実施する。具体的には、１時点前の顕著領域画像Ａ（ｔ−１）において顕著領域であるとされた領域（下記式（１４５）によって示される顕著領域Ａ_ｏｂｊ（ｔ））を取り出し、顕著領域Ａ_ｏｂｊ（ｔ）にある入力画像中の画素値から、顕著領域特徴量尤度生成部３１１に示した方法と同様の方法で顕著領域特徴量尤度ψ_１（ｃ，ｔ−１）を再学習する。但し、本実施形態では、重みとして、顕著領域事前確率画像に代えて顕著領域画像を用いるものとする。１時点前の顕著領域特徴量尤度ψ１（ｃ，ｔ−１）を再学習した後、第１の実施形態と同様の方法により、現在の顕著領域特徴量尤度ψ_１（ｃ，ｔ）を生成する。

上記の通り、顕著領域特徴量尤度更新部３１２は、顕著領域特徴量尤度￣ψ_１（ｃ，ｔ）をψ_１（ｃ，ｔ）に更新し、出力する。上記の通り、顕著領域特徴量尤度算出部３１は、顕著領域特徴量尤度ψ_１（ｃ，ｔ） を算出し、出力する。

非顕著領域特徴量尤度算出部３２は、顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、入力画像、顕著領域事前確率画像、顕著領域画像および前回迄に算出した非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する。非顕著領域特徴量尤度算出部３２が非顕著領域特徴量尤度を算出する方法は特に限定しないが、本実施形態においては、非顕著領域特徴量尤度生成部３２１と非顕著領域特徴量尤度更新部３２２とによって算出する方法について説明する。

非顕著領域特徴量尤度生成部３２１は、入力画像、顕著領域事前確率画像および顕著領域画像に基づいて非顕著領域特徴量尤度を新たに生成（算出）し、出力する。非顕著領域特徴量尤度生成部３２１が非顕著領域特徴量尤度を生成する方法は特に限定しないが、本実施形態においては、ガウス混合分布モデルを利用した方法について説明する。当該方法は、前述の顕著領域特徴量尤度生成部３１１の方法とほぼ同様であるが、顕著領域事前確率画像に代えて、顕著領域事前確率画像Ξ_１（ｔ）の各画素値ξ_１（ｘ，ｔ）をある規則に従って変換して生成した画像である非顕著領域事前確率画像Ξ_２（ｔ）を用いるものとする。当該変換規則として、例えば以下の２つの方法が考えられる。

（方法１）
非顕著領域事前確率画像（ｆ）の位置ｘにおける画素値ξ_２（ｘ，ｔ）を、１−ξ_１（ｘ，ｔ）に変換する。
（方法２）
ξ_１（ｘ，ｔ）＝０である位置ｘのみ、その位置の非顕著領域事前確率画像（ｆ）の画素値を１とする。それ以外の位置は、画素値を０とする。

上記の通り、非顕著領域特徴量尤度生成部３２１は、非顕著領域特徴量尤度￣ψ_２（ｃ，ｔ）を生成（算出）し、出力する。

非顕著領域特徴量尤度更新部３２２は、非顕著領域特徴量尤度生成部３２１によって生成された非顕著領域特徴量尤度を更新する。具体的には、非顕著領域特徴量尤度更新部３２２は、入力画像、非顕著領域画像および前回迄に更新した更新後の非顕著領域特徴量尤度のうち少なくとも１つに基づいて、非顕著領域特徴量尤度生成部３２１によって生成された非顕著領域特徴量尤度を更新する。なお、非顕著領域画像は、顕著領域事前確率画像抽出部２によって抽出される顕著領域外の領域に係る画像である。非顕著領域特徴量尤度更新部３２２が非顕著領域特徴量尤度を更新する方法は、顕著領域特徴量尤度更新部３１２の方法と同様である。但し、顕著領域事前確率画像に代えて非顕著領域事前確率画像を、顕著領域特徴量尤度に代えて非顕著領域特徴量尤度を、顕著領域に代えて非顕著領域（下記式（１４６）によって示される顕著領域Ａ_ｂｋｇ（ｔ））を用いる。

上記の通り、非顕著領域特徴量尤度更新部３２２は、非顕著領域特徴量尤度ψ_２（ｃ，ｔ）を更新し、更新後の非顕著領域特徴量尤度を出力する。上記の通り、非顕著領域特徴量尤度算出部３２は、非顕著領域特徴量尤度ψ_２（ｃ，ｔ）を抽出し、出力する。

特徴量尤度出力部３３は、顕著領域特徴量尤度および非顕著領域特徴量尤度を加算して特徴量尤度として出力する。

顕著領域画像抽出部４は、入力画像、顕著領域事前確率画像および特徴量尤度から、入力画像の顕著領域を示す顕著領域画像を抽出する。顕著領域画像抽出部４は、抽出した顕著領域画像を顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域映像生成部５に出力する。顕著領域画像抽出部４が顕著領域画像を抽出する方法は特に限定しないが、本実施形態においては、非特許文献１に記載の方法を基礎としたグラフカットを用いる方法について説明する。当該方法は、顕著領域抽出グラフ生成部４１と、顕著領域抽出グラフ分割部４２とによって顕著領域画像を抽出する。

顕著領域抽出グラフ生成部４１は、入力画像、顕著領域事前確率画像および特徴量尤度を入力し、顕著領域画像を抽出するためのグラフである顕著領域抽出グラフを生成し、出力する。

具体的には、顕著領域抽出グラフ生成部４１は、まず、時刻ｔの顕著領域抽出グラフＧ（ｔ）の頂点として、入力画像の各位置ｘ∈Ｉに対応する頂点と、顕著領域・非顕著領域のラベルにそれぞれ対応する頂点の２種類の頂点を用意する。即ち、頂点は総計画素数＋２個となる。以降、簡単のため、各位置ｘに対応する頂点をｖ_ｘ、顕著領域のラベルに対応する頂点をＳＯＵＲＣＥＳ、非顕著領域のラベルに対応する頂点をＳＩＮＫＴとして、それぞれ表現する。また、顕著領域抽出グラフの辺として、近傍位置に対応する頂点の間相互に配置される有向辺であるｎ−ｌｉｎｋと、ＳＯＵＲＣＥから各頂点・各頂点からＳＩＮＫにそれぞれ配置される有向辺であるｔ−ｌｉｎｋの２種類の辺を用意する。近傍としては、例えば上下左右の４近傍、若しくはさらに斜め方向を加えた８近傍を考える。このようにして、顕著領域抽出グラフは有向グラフとして、例えば図６に示すような形で構成される。

次に、顕著領域抽出グラフ生成部４１は、顕著領域抽出グラフの各辺にコストを与える。ｔ−ｌｉｎｋのコストは、顕著領域事前確率画像および特徴量尤度から算出される。具体的には、ＳＯＵＲＣＥＳから頂点ｖ_ｘへのｔ−ｌｉｎｋのコストＣ（Ｓ，ｖ_ｘ；ｔ）は対応する非顕著領域事前確率と非顕著領域特徴量尤度の和で、頂点ｖ_ｘからＳＩＮＫＴへのｔ−ｌｉｎｋのコストＣ（Ｔ，ｖ_ｘ；ｔ）は、対応する顕著領域事前確率と顕著領域特徴量尤度を用いて、下記式（１４７）（１４８）のように与えられる。

一方、ｎ−ｌｉｎｋのコストは、近接画素間の輝度値の類似性に基づいて算出される。具体的には、ある２点ｖ_ｘとｖ_ｙとの間のｎ−ｌｉｎｋのコストＣ（ｖ_ｘ，ｖ_ｙ）は、下記式（１４９）で与えられる。

顕著領域抽出グラフ分割部４２は、顕著領域抽出グラフを入力し、顕著領域抽出グラフを分割することで顕著領域画像を生成し、出力する。

具体的には、顕著領域抽出グラフ分割部４２は、まず、顕著領域抽出グラフに含まれる頂点を、ＳＯＵＲＣＥを含む部分集合とＳＩＮＫを含む部分集合に分割することを考える。このとき、ＳＯＵＲＣＥ側の頂点の部分集合からＳＩＮＫ側の頂点の部分集合へまたがる辺のコストが最も小さくなるように分割する。逆向き、即ち、ＳＩＮＫ側の頂点の部分集合からＳＯＵＲＣＥ側の頂点の部分集合へまたがる辺のコストは考慮しないことに注意する。このような問題は、グラフの最小カット問題と呼ばれ、グラフの最大フロー問題と等価であることが知られている。この最大フロー問題を解く方法として、非特許文献１の他、下記非特許文献５に記載の「Ford-Fulkerson algorithm」、下記非特許文献６に記載の「Goldberg-Tarjan algorithm」などが一般に広く知られている。

（非特許文献５）L.R.Ford,D.R.Fulkerson:“Maximal flow through a network,”Canadial Journal of Mathematics,Vol.8,pp.399-404,1956.
（非特許文献６）A.V.Goldberg,R.E.Tarjan:“A new approach to the maximum-flow problem,”Journal of the ACM,Vol.35,pp.921-940,1988.

上記の方法で顕著領域抽出グラフを分割した結果、ＳＯＵＲＣＥを含む部分グラフに属した頂点に対応する画素位置を顕著領域Ａ_ｏｂｊ（ｔ）に、ＳＩＮＫを含む部分グラフに属した頂点に対応する画素位置を非顕著領域Ａ_ｂｋｇ（ｔ）に所属させる。顕著領域画像は、下記式（１５０）に示すように、顕著領域に属する位置の画素値を１、非顕著領域に属する位置の画素値を０とする画像である。

上記の通り、顕著領域抽出グラフ分割部４２は、顕著領域画像Ａ（ｘ，ｔ） を抽出し、出力する。つまり、顕著領域画像抽出部４は、顕著領域画像Ａ（ｘ，ｔ）を抽出し、この顕著領域画像を出力する。

顕著領域映像生成部５は、各入力画像に対し、注目度映像抽出部１、顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域画像抽出部４を実行して得られる各顕著領域画像から顕著領域映像を生成する。換言すれば、顕著領域映像生成部５は、注目度映像抽出部１、顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域画像抽出部４を順に各入力画像に対して繰り返し実行することにより抽出された顕著領域画像の集合を入力し、集合内の顕著領域画像から構成される顕著領域映像を生成する（集合内の顕著領域画像を時系列に並べて顕著領域映像を生成する）。顕著領域映像生成部５は、生成した顕著領域映像を外部に出力する。

（第２の実施形態）
以下、本発明の第２の実施形態に係る顕著領域映像生成装置１１００について図面を参照して説明する。顕著領域映像生成装置１１００は、外部から入力映像を取得し、当該入力映像を構成する各入力フレーム（各入力画像）からそれぞれの顕著領域を抽出した各顕著領域フレーム（各顕著領域画像）から構成される顕著領域映像を生成し、外部に出力する。

顕著領域映像生成装置１１００は、図７に示すように、注目度映像抽出部１、顕著領域事前確率画像抽出部２、特徴量尤度算出部３、顕著領域画像抽出部４、顕著領域映像生成部５、平滑化画像群生成部６、顕著領域画像確定部７を備える。注目度映像抽出部１、顕著領域画像抽出部４および顕著領域映像生成部５は、第１の実施形態と同様であるため説明を省略する。

平滑化画像群生成部６は、入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する。つまり、平滑化画像群生成部６は、入力画像を入力し、当該入力画像を異なる解像度によってそれぞれ平滑化した平滑化画像群を生成する。平滑化画像群生成部６は、生成した平滑化画像群を特徴量尤度算出部３、顕著領域画像抽出部４および顕著領域画像確定部７に出力する。平滑化画像群生成部６が平滑化画像群を生成する方法は特に限定しないが、本実施形態では、入力画像に対し平滑化と縮小とを繰り返す方法について説明する。

平滑化画像群生成部６は、時刻ｔの平滑化画像の初期値Ｈ_０（ｔ）とし、ある整数ｋについて平滑化画像Ｈ_ｋ−１（ｔ）が与えられているとき、入力画像を所定の標準偏差パラメータσ_ｇを有するガウス平滑化フィルタを用いて平滑化する。平滑化画像群生成部６は、ガウス平滑化フィルタを用いて平滑化した画像を、下記式（１５１）を満たす所定の倍率ａ_ｇを用いて縮小し、平滑化画像Ｈ_ｋ（ｔ）を生成する。

整数ｋが平滑化画像における平滑化の度合いと対応していることから、以下、整数ｋを平滑化係数と呼ぶ。上記の過程をｋ＝１，２，・・・，ｎ_ｇ−２で繰り返すことにより、平滑化画像群を形成する（下記式（１５２））。

このとき、特にσ_ｇ＝０，ａ_ｇ＝１とすると、各平滑化画像が全て入力画像と同一となる。以上のように、平滑化画像群生成部６は、平滑化画像群を抽出し、出力する。

顕著領域事前確率画像抽出部２は、注目度映像の一のフレームである注目度画像および顕著領域画から、入力映像中の対応するフレームである入力画像の各位置が顕著領域である確率を表示する顕著領域事前確率画像を抽出する。顕著領域事前確率画像抽出部２が顕著領域事前確率画像を抽出する方法は特に限定しないが、本実施形態においては、顕著領域事前確率画像生成部２１と、顕著領域事前確率画像更新部２２とによって抽出する方法について説明する。

顕著領域事前確率画像生成部２１は、第１の実施形態と同様であるため説明を省略する。顕著領域事前確率画像更新部２２も、第１の実施形態とほぼ同様である。但し、以下の点が第１の実施形態と異なる。

１.ある時刻ｔにおいて本処理を初めて実行する際、即ち、以降の特徴量尤度算出部３および顕著領域画像抽出部４において、平滑化係数最大の平滑化画像（下記式（１５３））が用いられる場合には、第１の実施形態と同様の方法で顕著領域事前確率画像（ｄ）を更新する。

２．ある時刻ｔにおいて本処理を再度実行する際、即ち、以降の特徴量尤度算出部３および顕著領域画像抽出部４において平滑化画像Ｈ_ｋ（ｔ）（ｋ＝ｎ_ｇ−２，ｎ_ｇ−３，・・・・，０）が用いる場合には、以下の変更を行った上で第１の実施形態と同様の処理を行う。
（１）第１の実施形態に記載の更新式のパラメータの一つであるσ_１、および、１時点前（時刻ｔ−１）顕著領域事前確率の分散（下記式（１５４））を強制的に０に置き換える。

（２）１時点前（時刻ｔ−１）の顕著領域画像Ａ（ｔ−１）に代えて、平滑化係数が１つ大きい平滑化画像Ｈ_ｋ＋１（ｔ）を用いて生成された顕著領域画像Ａ（ｔ；ｋ＋１）を用いる。
（３）顕著領域事前確率の分散（下記式（１５５））を更新せずに、平均ξ_１（ｘ，ｔ）のみを第１の実施形態と同様の方法で更新する。

３．入力として平滑化係数ｋの平滑化画像Ｈ_ｋ（ｔ）を用いたことを明確にするため、出力である顕著領域事前確率画像をΞ_１（ｔ；ｋ）と表記する。

特徴量尤度算出部３も、第１の実施形態とほぼ同様である。但し、以下の点が第１の実施形態と異なる。
１．入力画像に代えて平滑化画像Ｈ_ｋ（ｔ）（ｋ＝ｎ_ｇ−１，ｎ_ｇ−２，・・・，０） のうち１つを用いてもよい。このとき、時刻ｔにおいて本処理をｊ（ｊ＝１，２，・・・，ｎ_ｇ）回目に実行するときには、平滑化係数ｋ＝ｎ_ｇ−ｊの平滑化画像（下記式１５６）が用いられる。このことは、平滑化係数が大きい平滑化画像から順に用いられることを意味する。

２．ある時刻ｔにおいて本処理を初めて実行する際、即ち、平滑化係数ｎ_ｇ−１の平滑化画像Ｈ_ｎｇ−１（ｔ）が入力として用いられる場合には、第１項目以外は第１の実施形態と同様である。
３．ある時刻ｔにおいて本処理を再度実行する際、即ち、平滑化係数ｋ（ｋ＝ｎ_ｇ−２，ｎ_ｇ−１，・・・，０）の平滑化画像Ｈ_ｋ（ｔ）が入力として用いられる場合には、以下を用いる。
（１）１時点前（時刻ｔ−１）の顕著領域画像Ａ（ｔ−１）に代えて、現時点（時刻ｔ）で平滑化係数が１つ大きい平滑化画像Ｈ_ｋ＋１（ｔ）を用いて生成された顕著領域画像Ａ（ｔ；ｋ＋１）を用いる。
（２）１時点前の顕著領域特徴量尤度ψ_１（ｃ，ｔ−１）に代えて、現時点で平滑化係数が１つ大きい平滑化画像Ｈ_ｋ＋１（ｔ）を用いて生成された顕著領域特徴量尤度ψ_１（ｃ，ｔ；ｋ＋１）を用いる。
（３）１時点前の非顕著領域特徴量尤度ψ_２（ｃ，ｔ−１）に代えて、現時点で平滑化係数が１つ大きい平滑化画像Ｈ_ｋ＋１（ｔ）を用いて生成された非顕著領域特徴量尤度ψ_２（ｃ，ｔ；ｋ＋１）を用いる。
４．入力として平滑化係数ｋの平滑化画像Ｈ_ｋ（ｔ）を用いたことを明確にするため、出力である顕著領域特徴量尤度をψ_１（ｔ；ｋ）、非顕著領域特徴量尤度をψ_２（ｔ；ｋ）と表記する。

顕著領域画像確定部７は、平準化画像群に対し、顕著領域事前確率画像抽出部２、特徴量尤度算出部３、顕著領域画像抽出部４の処理を実行し、入力画像の顕著領域画像を確定する。即ち、顕著領域画像確定部７は、平滑化係数ｋの平滑化画像Ｈ_ｋ（ｔ）に対し、顕著領域事前確率画像抽出部２、特徴量尤度算出部３および顕著領域画像抽出部４を順に実行し、抽出された顕著領域画像Ａ（ｔ；ｋ）を入力し、１つ前のステップで抽出された顕著領域画像Ａ（ｔ；ｋ＋１）からの変化がない場合には、現時点（時刻ｔ）の入力画像に対しての最終的な顕著領域画像を確定し、この顕著領域画像Ａ（ｔ）＝ Ａ（ｔ；ｋ）を出力し、変化がある場合には、ｋを１つ小さくして、再度顕著領域事前確率画像抽出部２に戻る。

図８は、顕著領域映像生成装置１０００による顕著領域映像の生成結果（顕著領域の抽出結果）である。なお、入力映像は、６４０×４８０ピクセル、３０〜９０秒、各パラメータの数値は、σ_１＝０．０．３１、σ_２＝０．０３７、Ｍ_ｆ＝５、λ_ｃ＝０．２５、λ_ｉ＝１００、σ＝０、１である。図８において、第１行および第３行は入力映像、第２行は第１行に対応する顕著領域の抽出結果、第４行は第３行に対応する顕著領域の抽出結果である。図８に示すように、顕著領域映像生成装置１０００によれば、適切に顕著領域が抽出され、その境界もほぼ完全である。

図９は、顕著領域映像生成装置１０００による方法と、顕著領域映像生成装置１０００から顕著領域事前確率画像更新部２２、顕著領域特徴量尤度更新部３１２および非顕著領域特徴量尤度更新部３２２を取り除いた方法、即ち、顕著領域事前確率画像および特徴量尤度を逐次的に更新しない方法との比較である。図９に示すように、顕著領域事前確率画像および特徴量尤度を逐次的に更新しない方法では分割結果がフレームによって大きく異なるが、顕著領域映像生成装置１０００による方法では安定して画像分割ができる。

以上の説明したように、本発明では、主に以下の２点により、上記の映像顕著領域抽出方法を実現している。

（１）注目度映像抽出部１による、人間の視覚機構を模擬したモデルに基づく映像顕著性の算出、並びに、顕著領域事前確率画像生成部２１および顕著領域特徴量尤度算出部３１による、映像顕著性に基づく顕著領域、非顕著領域に関する事前情報の生成
（２）顕著領域事前確率画像更新部２２および非顕著領域特徴量尤度算出部３２による、顕著領域、非顕著領域に関する事前情報の逐次更新
物体領域・背景領域に関する事前情報が全く与えられない場合においても領域分割が可能になる。従って、物体領域、背景領域に関する事前知識がない場合でも、精度良く物体領域と背景領域を分割して、注目している領域（物体領域）を抽出することができるようになる。

これにより、物体領域・背景領域に関する事前情報が全く与えられない場合においても領域分割が可能になる。従って、物体領域・背景領域に関する事前知識がない場合でも、精度良く物体領域と背景領域を分割して、注目している領域（物体領域）を抽出することができるようになる。

なお、顕著領域映像生成装置１０００、１１００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、顕著領域映像生成装置１０００、１１００に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 注目度映像抽出部 ２ 顕著領域事前確率画像抽出部 ３ 特徴量尤度算出部 ４顕著領域画像抽出部 ５ 顕著領域映像生成部 ６ 平滑化画像群生成部 ７ 顕著領域画像確定部 １１ 基礎注目度画像抽出部 １２ 確率的基礎注目度画像抽出部 １３ 確率的基礎注目度母数逐次推定部 １４ 視線位置確率密度画像抽出部 １５ 視線位置確率密度映像出力部 ２１ 顕著領域事前確率画像生成部 ２２ 顕著領域事前確率画像更新部 ３１ 顕著領域特徴量尤度算出部 ３２ 非顕著領域特徴量尤度算出部 ３３ 特徴量尤度出力部 ４１ 顕著領域抽出グラフ生成部 ４２ 顕著領域抽出グラフ分割部 １４１ 視線移動状態変数更新部 １４２ 代表視線位置更新部 １４３ 代表視線位置重み係数算出部 １４４ 視線位置確率密度画像出力部 １４５代表視線位置集合再構成部 ３１１ 顕著領域特徴量尤度生成部 ３１２ 顕著領域特徴量尤度更新部 ３２１ 非顕著領域特徴量尤度生成部 ３２２ 非顕著領域特徴量尤度更新部 １０００、１１００ 顕著領域映像生成装置

Claims (14)

1. 入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出過程と、
   入力映像を構成する各フレームである入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出過程と、
   前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出過程と、
   前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出過程と、
   前記各入力画像に対し、前記注目度映像抽出過程、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程および前記顕著領域画像抽出過程を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成過程と
   を有し、
   前記顕著領域事前確率画像抽出過程は、
   一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出過程によって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、
   前記特徴量尤度算出過程は、
   前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出する
   ことを特徴とする顕著領域映像生成方法。
2. 前記注目度映像抽出過程は、
   前記入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出過程と、
   現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出過程によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出過程によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出過程と、
   現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出過程と、
   前記基礎注目度画像抽出過程と、前記確率的基礎注目度画像抽出過程と、前記視線位置確率密度画像抽出過程とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力過程と
   を有し、
   前記視線位置確率密度画像抽出過程は、
   視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出過程によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新過程によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新過程と、
   視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新過程と、
   それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出過程によって算出された確率的基礎注目度画像と、前記代表視線位置更新過程によって更新された代表視線位置集合と、前記視線移動状態変数更新過程から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出過程と、
   前記代表視線位置更新過程によって更新された代表視線位置集合と、代表視線位置重み係数算出過程によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力過程と
   を有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する
   ことを特徴とする請求項１に記載の顕著領域映像生成方法。
3. 前記顕著領域事前確率画像抽出過程は、
   前記注目度画像のみを用いて前記顕著領域事前確率画像を生成する顕著領域事前確率画像生成過程と、
   前記顕著領域画像を用いて前記顕著領域事前確率画像生成過程によって生成された前記顕著領域事前確率画像を更新する顕著領域事前確率画像更新過程と
   から構成されることを特徴とする請求項１または請求項２の何れか１項に記載の顕著領域映像生成方法。
4. 前記特徴量尤度算出過程は、
   顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する顕著領域特徴量尤度算出過程と、
   顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する非顕著領域特徴量尤度算出過程と、
   前記顕著領域特徴量尤度および前記非顕著領域特徴量尤度を加算して特徴量尤度として出力する特徴量尤度出力過程と
   から構成されることを特徴とする請求項１から請求項３の何れか１項に記載の顕著領域映像生成方法。
5. 前記顕著領域特徴量尤度算出過程は、
   前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記顕著領域特徴量尤度を生成する顕著領域特徴量尤度生成過程と、
   前記顕著領域特徴量尤度生成過程によって生成された前記顕著領域特徴量尤度を更新する顕著領域特徴量尤度更新過程と
   から構成され、
   前記非顕著領域特徴量尤度算出過程は、
   前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記非顕著領域特徴量尤度を生成する非顕著領域特徴量尤度生成過程と、
   前記非顕著領域特徴量尤度生成過程によって生成された前記非顕著領域特徴量尤度を更新する非顕著領域特徴量尤度更新過程と
   から構成され、
   前記顕著領域特徴量尤度更新過程は、
   前記入力画像、前記顕著領域画像および前回迄に更新した更新後の前記顕著領域特徴量尤度のうち少なくとも１つに基づいて前記顕著領域特徴量尤度を更新し、
   前記非顕著領域特徴量尤度更新過程は、
   前記入力画像、非顕著領域画像および前回迄に更新した更新後の前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて前記非顕著領域特徴量尤度を更新する
   ことを特徴とする請求項４に記載の顕著領域映像生成方法。
6. 前記入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する平滑化画像群生成過程と、
   前記平準化画像群に対し、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程、前記顕著領域画像抽出過程を実行し、前記入力画像の前記顕著領域画像を確定する顕著領域画像確定過程と
   を更に有し、
   前記特徴量尤度算出過程および顕著領域画像抽出過程は、
   前記入力画像に代えて前記平滑化画像を用い、
   前記顕著領域映像生成過程は、
   前記各入力画像に対し、前記注目度映像抽出過程、前記顕著領域事前確率画像抽出過程、前記特徴量尤度算出過程、前記顕著領域画像抽出過程、前記平滑化画像群生成過程および前記顕著領域画像確定過程を実行して得られる前記顕著領域画像から前記顕著領域映像を生成する
   ことを特徴とする請求項１から請求項５の何れか１項に記載の顕著領域映像生成方法。
7. 入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出部と、
   入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出部と、
   前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出部と、
   前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出部と、
   前記各入力画像に対し、前記注目度映像抽出部、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部および前記顕著領域画像抽出部を実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成部と
   を備え、
   前記顕著領域事前確率画像抽出部は、
   一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出部によって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、
   前記特徴量尤度算出部は、
   前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出する
   ことを特徴とする顕著領域映像生成装置。
8. 前記注目度映像抽出部は、
   前記入力画像に基づいて、該入力画像の中で顕著な特性を持つ空間領域を表示した画像である基礎注目度画像を算出する基礎注目度画像抽出部と、
   現在の前記入力画像の各位置における顕著性を確率的な表現を用いて表示した画像である確率的基礎注目度画像を、前記基礎注目度画像抽出部によって算出された基礎注目度画像と、前回の前記入力画像から該確率的基礎注目度画像抽出部によって算出された前記確率的基礎注目度画像と、逐次更新され、視線位置推定に用いる第１の母数である確率的基礎注目度母数とに基づいて算出する確率的基礎注目度画像抽出部と、
   現在の前記入力画像における前記視線位置確率密度映像のフレームである視線位置確率密度画像を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、逐次更新され、視線位置推定に用いる第２の母数である視線位置確率密度母数とに基づいて算出する視線位置確率密度画像抽出部と、
   前記基礎注目度画像抽出部と、前記確率的基礎注目度画像抽出部と、前記視線位置確率密度画像抽出部とを、それぞれの前記入力画像に対して順に繰り返し行うことにより算出される時系列の前記視線位置確率密度画像を前記視線位置確率密度映像として出力する視線位置確率密度映像出力部と
   を備え、
   前記視線位置確率密度画像抽出部は、
   視線移動の大きさを制御する確率変数である視線移動状態変数を、前回の前記入力画像から該視線位置確率密度画像抽出部によって算出された前記視線位置確率密度画像と、前回の前記入力画像から該視線移動状態変数更新部によって算出された視線移動状態変数と、前記視線位置確率密度母数とに基づいて更新し、該視線移動状態変数の集合である視線移動状態変数集合を出力する視線移動状態変数更新部と、
   視線移動を考慮した代表的な視線位置を示す代表視線位置の集合である代表視線位置集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前回の前記入力画像から該代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて更新する代表視線位置更新部と、
   それぞれの前記代表視線位置に関連付けられた重みからなる代表視線位置重み係数の集合である代表視線位置重み係数集合を、前記確率的基礎注目度画像抽出部によって算出された確率的基礎注目度画像と、前記代表視線位置更新部によって更新された代表視線位置集合と、前記視線移動状態変数更新部から出力された視線移動状態変数集合と、前記視線位置確率密度母数とに基づいて算出する代表視線位置重み係数算出部と、
   前記代表視線位置更新部によって更新された代表視線位置集合と、代表視線位置重み係数算出部によって算出された代表視線位置重み係数集合とに基づいて、前記視線位置確率密度画像を算出する視線位置確率密度画像出力部と
   を有し、前記代表視線位置集合と、前記代表視線位置重み係数集合とを含む前記視線位置確率密度画像を算出する
   ことを特徴とする請求項７に記載の顕著領域映像生成装置。
9. 前記顕著領域事前確率画像抽出部は、
   前記注目度画像のみを用いて前記顕著領域事前確率画像を生成する顕著領域事前確率画像生成部と、
   前記顕著領域画像を用いて前記顕著領域事前確率画像生成部によって生成された前記顕著領域事前確率画像を更新する顕著領域事前確率画像更新部と
   から構成されることを特徴とする請求項７または請求項８の何れか１項に記載の顕著領域映像生成装置。
10. 前記特徴量尤度算出部は、
    顕著領域に含まれる画像特徴量の尤度を示す顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する顕著領域特徴量尤度算出部と、
    顕著領域外の領域に含まれる画像特徴量の尤度を示す非顕著領域特徴量尤度を、前記入力画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて算出する非顕著領域特徴量尤度算出部と、
    前記顕著領域特徴量尤度および前記非顕著領域特徴量尤度を加算して特徴量尤度として出力する特徴量尤度出力部と
    から構成されることを特徴とする請求項７から請求項９の何れか１項に記載の顕著領域映像生成装置。
11. 前記顕著領域特徴量尤度算出部は、
    前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記顕著領域特徴量尤度を生成する顕著領域特徴量尤度生成部と、
    前記顕著領域特徴量尤度生成部によって生成された前記顕著領域特徴量尤度を更新する顕著領域特徴量尤度更新部と
    から構成され、
    前記非顕著領域特徴量尤度算出部は、
    前記入力画像、前記顕著領域事前確率画像および前記顕著領域画像に基づいて、前記非顕著領域特徴量尤度を生成する非顕著領域特徴量尤度生成部と、
    前記非顕著領域特徴量尤度生成部によって生成された前記非顕著領域特徴量尤度を更新する非顕著領域特徴量尤度更新部と
    から構成され、
    前記顕著領域特徴量尤度更新部は、
    前記入力画像、前記顕著領域画像および前回迄に更新した更新後の前記顕著領域特徴量尤度のうち少なくとも１つに基づいて前記顕著領域特徴量尤度を更新し、
    前記非顕著領域特徴量尤度更新部は、
    前記入力画像、非顕著領域画像および前回迄に更新した更新後の前記非顕著領域特徴量尤度のうち少なくとも１つに基づいて前記非顕著領域特徴量尤度を更新する
    ことを特徴とする請求項１０に記載の顕著領域映像生成装置。
12. 前記入力画像を異なる解像度によってそれぞれ平滑化した複数の平滑化画像からなる平滑化画像群を生成する平滑化画像群生成部と、
    前記平準化画像群に対し、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部、前記顕著領域画像抽出部の処理を実行し、前記入力画像の前記顕著領域画像を確定する顕著領域画像確定部と
    を更に備え、
    前記特徴量尤度算出部および顕著領域画像抽出部は、
    前記入力画像に代えて前記平滑化画像を用い、
    前記顕著領域映像生成部は、
    前記各入力画像に対し、前記注目度映像抽出部、前記顕著領域事前確率画像抽出部、前記特徴量尤度算出部、前記顕著領域画像抽出部、前記平滑化画像群生成部および前記顕著領域画像確定部の各処理を実行して得られる前記顕著領域画像から前記顕著領域映像を生成する
    ことを特徴とする請求項７から請求項１１の何れか１項に記載の顕著領域映像生成装置。
13. 入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出ステップと、
    入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出ステップと、
    前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出ステップと、
    前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出ステップと、
    前記各入力画像に対し、前記注目度映像抽出ステップ、前記顕著領域事前確率画像抽出ステップ、前記特徴量尤度算出ステップおよび前記顕著領域画像抽出ステップを実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成ステップと
    をコンピュータに実行させるプログラムであって、
    前記顕著領域事前確率画像抽出ステップは、
    一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出ステップによって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、
    前記特徴量尤度算出ステップは、
    前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出する
    ことを特徴とするプログラム。
14. 入力映像から、人間が注意を向けやすい度合いである注目度を示す注目度映像を抽出する注目度映像抽出ステップと、
    入力映像を構成する各フレームである前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を抽出する顕著領域事前確率画像抽出ステップと、
    前記入力画像の顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度を算出する特徴量尤度算出ステップと、
    前記入力画像、前記顕著領域事前確率画像および前記特徴量尤度から、前記入力画像の顕著領域を示す顕著領域画像を抽出する顕著領域画像抽出ステップと、
    前記各入力画像に対し、前記注目度映像抽出ステップ、前記顕著領域事前確率画像抽出ステップ、前記特徴量尤度算出ステップおよび前記顕著領域画像抽出ステップを実行して得られる前記各顕著領域画像から前記顕著領域映像を生成する顕著領域映像生成ステップと
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録憶媒体であって、
    前記顕著領域事前確率画像抽出ステップは、
    一の前記入力画像の各位置が顕著領域である確率を示す顕著領域事前確率画像を、前記注目度映像抽出ステップによって抽出された前記注目度映像内の前記入力画像に対応する画像である注目度画像および前記顕著領域画像に基づいて抽出し、
    前記特徴量尤度算出ステップは、
    前記特徴量尤度を、前記入力画像、前記注目度画像、前記顕著領域事前確率画像、前記顕著領域画像および前回迄に算出した前記特徴量尤度の少なくとも１つに基づいて算出する
    ことを特徴とする記録媒体。