JP2004046647A - 動画像データに基づく移動物体追跡方法及び装置 - Google Patents

Abstract

【課題】広域動画像内を移動する選手等を高精度に抽出・追跡する。
【解決手段】過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める。今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する。前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる。このようにすると、スポーツ動画像などの屋外環境を想定した広い範囲における選手の抽出・追跡を高精度に行うことができるようになる。
【選択図】　　　　図８

Description

【０００１】
【発明の属する技術分野】
この発明は、動画像内を移動する移動物体を自動的に抽出し追跡する動画像データに基づく移動物体追跡方法及び装置に関する。特に、屋外環境を想定した広い範囲で行われたスポーツ競技を撮影した広域動画像内を移動する選手やボール等の移動物体を高精度に抽出・追跡することのできるようにした動画像データに基づく移動物体追跡方法及び装置に関するものである。
【０００２】
【従来の技術】
ビデオカメラ等で撮影した動画像内を移動する人物を自動的に抽出して追跡することのできる動画像データに基づく移動物体追跡装置は、従来から知られている。こうした移動物体追跡装置において動画像内を移動する人物を抽出して追跡する方法としては、以下に示すようないくつかの方法が用いられている。例えば、予め人物の存在しない「背景画像」を取得しておき、入力画像と前記「背景画像」との差分処理結果から人物を抽出する背景差分法、一定周期のＮフレーム（Ｎは１以上の整数）のインタバル時間を隔てて撮影された二つの画像間における差分処理によって人物を抽出するフレーム間差分法、予め移動物体の特徴をテンプレートとして登録しておき、この特徴（テンプレート）を用いて二つの画像間でマッチングを行うことにより人物を抽出するテンプレートマッチング法、画像中の各点の明るさ（つまり輝度）の空間的及び時間的な勾配の間の関係（これをオプティカルフローと呼ぶ）を用いて人物を抽出するオプティカルフロー法、画像中におけるエッジを抽出することにより人物を抽出するエッジ抽出法などの方法が用いられている。
【０００３】
【発明が解決しようとする課題】
ところで、最近では、スポーツ動画像などの屋外環境を想定した広い範囲における人物の抽出・追跡を行う移動物体追跡装置の実現が望まれている。とりわけ、サッカーゲームなどに代表されるフォーメーションを用いる集団で行われるスポーツ競技においては、フォーメーションの確認や戦術解析などを行うために選手（つまり人物）の動きを自動的に解析することが望まれている。しかし、上述したような各種方法を用いた従来の移動物体追跡装置においては、こうした屋外環境で行われるスポーツ動画像などを想定した広い範囲の動画像から自動的に選手を抽出して追跡することは非常に難しい、という問題点があった。すなわち、背景差分法ではサッカーゲームの開始に先だって予め背景画像を撮影しておくことは困難であり、またサッカーゲームなどが行われる場所の気象条件や施設の照明などの影響によって背景画像が時間的に変化すると選手の抽出が難しくなる。フレーム間差分法では、選手がゆっくり歩いていたり静止しているときの選手の抽出が難しい。テンプレートマッチング法では選手が移動して画像上で見かけが変わってしまうと選手の抽出が困難となるし、また新たな選手が追加されるたびに新しいテンプレートを作成しなければならずユーザの負担が大きく面倒でもある。オプティカルフロー法では前記フレーム間差分法と同様に選手がゆっくり歩いていたり静止しているときの選手の抽出が難しく、またオプティカルフローの計算は非常に計算量が多いことからリアルタイムで選手の抽出・追跡を実行させるためには特殊なハードウエアが必要となるので不都合である。エッジ抽出法では、選手の他にグラウンド上に描かれた白線やゴールなども選手として抽出してしまい都合が悪い。
【０００４】
さらに、サッカーゲームなどのようなボールを用いるスポーツ競技（つまり球技）においては、選手（人物）だけでなく該スポーツ競技で使用されているボールを抽出し追跡することも重要である。しかし、ボールを高精度に抽出して追跡することは選手の抽出・追跡に比べて非常に難しい。すなわち、ボールは非常に小さいので抽出がしにくい。また、ボールは空中に浮くことがあって移動速度が速い。さらに、ボールは選手によって隠蔽（こうした状態をオクルージョン状態と呼ぶ）されることがあり、このオクルージョン状態においてボールの位置を特定することは非常に難しい。こうしたことから、上記したような各種方法を用いた従来の移動物体追跡装置においては正確にボールを抽出して追跡することは非常に難しい、という問題点があった。
【０００５】
本発明は上述の点に鑑みてなされたもので、スポーツ動画像などの屋外環境を想定した広い範囲における人物の抽出・追跡を高精度に行うことができるようにした動画像データに基づく移動物体追跡方法及び装置を提供しようとするものである。また、サッカーゲームなどのようなボールを用いるスポーツ競技を撮影したスポーツ動画像から、選手（人物）だけでなく該スポーツ競技で使用されているボールを高精度に抽出し追跡することが可能な動画像データに基づく移動物体追跡方法及び装置を提供しようとするものである。
【０００６】
【課題を解決するための手段】
本発明の請求項１に係る移動物体追跡方法は、動画像データに基づき画像中における所定の特徴を持つ物体を追跡物体としてその動きを追跡する方法であって、過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める第１ステップと、今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する第２ステップと、前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる第３ステップとを具える。
【０００７】
本発明の請求項５に係る移動物体追跡方法は、動画像データに基づき画像中における所定の特徴を持つ物体の動きを順次追跡する追跡ステップと、前記動画像データに基づく画像中において前記所定の特徴を持つ物体と推定される所定の動きをする等価物を探索する探索ステップと、前記追跡ステップで追跡された前記物体と前記探索ステップで探索した該物体の等価物の少なくとも一方を前記物体の追跡情報として選択する選択ステップとを具備する。
【０００８】
本発明の請求項７に係る移動物体追跡方法は、少なくとも２つ以上のグループに分類される人物を撮影した動画像上において人物追跡を行う移動物体追跡方法であって、所定のサイクルで入力される複数フレーム画像から背景画像を自動的に作成する第１ステップと、前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた抽出物に対して予め設定済みの人物モデルを適用することで人物の抽出を行う第２ステップと、各フレームの画像毎に最適色パラメータを取得し、該取得した最適色パラメータに基づき前記抽出した人物のグループ判定を行う第３ステップと、前記グループ判定に従って人物同定を行う第４ステップとを具備する。
【０００９】
本発明の請求項１２に係る移動物体追跡方法は、少なくとも動画像上のボールを追跡する移動物体追跡方法であって、所定のサイクルで入力される複数フレーム画像から１枚の背景画像を自動的に作成するステップと、前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた人物領域以外の抽出物に対して予め設定済みのボールモデルを適用することでボールを抽出するステップと、少なくとも過去２フレームにおけるボールの位置情報に基づいて現在のフレームにおけるボールを予測位置を求めることによってボールの追跡を行うステップと、ボールの軌道上を複数フレームにわたって連続的に動くボール候補を全画像中から探索するステップとを具備する。
【００１０】
本発明は、方法の発明として構成し、実施することができるのみならず、装置の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。
【００１１】
【発明の実施の形態】
以下、添付図面を参照してこの発明の実施の形態を詳細に説明する。
【００１２】
図１は、この発明に係る移動物体追跡装置を適用したトラッキングシステムの一実施例の全体構成を示すブロック図である。この実施例に示したトラッキングシステムは屋外で行われるサッカーゲーム等の、フォーメーションを用いた戦術性の高いスポーツ競技における選手やボール等の抽出・追跡に最も有用である。そこで、以下では特にサッカーゲームにおける選手及びサッカーボールの抽出・追跡を行う場合を例に説明する。
【００１３】
図１に示すように、この実施例に示すトラッキングシステムは、サッカーゲームが実際に行われるサッカーグラウンド（以下、フィールドと呼ぶ）全体を撮影する２台の撮影用ビデオカメラＣと、移動物体追跡装置Ａとにより構成される。２台の撮影用ビデオカメラＣはフィールド全体を各々分担して撮影するためのものであり、センターサークルを含んだ中央部は２台の撮影用ビデオカメラＣが重複して撮影できるようにする。したがって、各撮影用ビデオカメラＣはそれぞれフィールド左側の撮影範囲「シーン１」とフィールド右側の撮影範囲「シーン２」とを別々に撮影するが、各撮影用ビデオカメラＣで撮影されるシーン１とシーン２とを比べると中央部が重複するようにして撮影されている（こうした撮影範囲を重複領域と呼ぶ）。ここでいう「シーン」とは、単一の撮影用ビデオカメラＣによる撮影範囲である。こうした２台の撮影用ビデオカメラＣはそれぞれがフィールドの奥行きを十分に撮影できるようにするために、実際にはフィールド全体を見渡せるスタジアムの高い位置などに予め配置されている。勿論、撮影用ビデオカメラＣは２台のみを配置することに限られず、フィールド全体を撮影できるように撮影用ビデオカメラＣを複数台配置してよいことは言うまでもない。
【００１４】
移動物体追跡装置Ａはカメラキャリブレーション（つまり、ワールド座標空間と画像座標空間との対応付け）された撮影用ビデオカメラＣからの入力映像を分析して選手やボール等の抽出・追跡を行う処理装置であって、シーン内追跡部１と、シーン間人物同定部２と、位置情報の取得・補正部３とから構成される。なお、ワールド座標とはサッカーグラウンドにおける絶対位置座標である。この実施例に示された移動物体追跡装置Ａはパソコン等のコンピュータを用いて構成されており、そこにおいて、選手やボール等の抽出・追跡は、コンピュータがこの発明に係る移動物体追跡処理を実現する所定の制御プログラムを含むソフトウエアを実行することにより実施される。シーン内追跡部１では、個々の撮影用ビデオカメラＣからの入力映像（シーン１又はシーン２）を分析して当該シーン内における選手やボール等の抽出・追跡を行う。すなわち、各シーン内追跡部１では独立にシーン内での選手やボール等の抽出・追跡を行う。シーン間人物同定部２は複数シーン間（ここではシーン１とシーン２の２つのシーン間）の同期をとり、独立に動いているシーン内追跡部１からのデータを統合してトラッキングシステム全体としての個々の選手やボール等の個別キャラクタの抽出・追跡を実行する。すなわち、各撮影用ビデオカメラＣで撮影された複数のシーンの追跡情報を統合し、フィールド全体での追跡を行う。特に、隣接するシーンはそれぞれ重複領域を含むため、この重複領域における隣接シーン間で人物同定（マッチング）を行わなければならない。位置情報の取得・補正部３では、トラッキングシステム全体としての選手やボール等の抽出・追跡に従い、ワールド座標での選手やボール等の位置情報を取得し、必要に応じて補正する。
【００１５】
なお、上述したような選手やボール等の抽出・追跡を行うための移動物体追跡装置Ａはコンピュータソフトウエアの形態に限らず、ＤＳＰ（ディジタルシグナルプロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、また、この種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用ハードウエア装置の形態で実施してもよいことは言うまでもない。
【００１６】
次に、上述したトラッキングシステムにおけるシーン内追跡部１の処理概要について、図２を用いて説明する。図２は、シーン内追跡部１の処理概要を示すブロック図である。この図２から理解できるように、個々のシーン内追跡部１は、学習部１ａと、抽出部１ｂと、追跡部１ｃとから構成される。学習部１ａでは背景画像の作成と色情報・人間サイズの学習とを行うことによって、選手やボールの抽出・追跡に必要な補助データを作成する。本発明に係る移動物体追跡装置Ａでは、選手やボール等の抽出に背景差分法を用いる。しかしながら、サッカーゲームのような屋外のスポーツ競技においては予め背景画像を撮影しておくことが困難である。また、フィールドのある場所の気象条件や施設の照明などの影響により、背景画像が時間的に変化する。そこで、本発明に係る移動物体追跡装置Ａでは、学習部１ａにおいて定期的に背景画像（補助データ）を自動作成することにより、背景画像が時間的に変化した場合であったとしても背景差分法を用いて有効に選手やボール等を抽出できるようにしている。色情報・人間サイズの学習は、人物モデルとの比較による選手の抽出を高精度に行うために用いる人間サイズ（補助データ）や、抽出された選手をチーム分類して個々の選手の追跡を精度よく行うために用いる色情報（補助データ）を更新する。学習部１ａでは抽出部１ｂ及び追跡部１ｃで得られた結果のフィードバックを受けることで定期的に前記各補助データを更新し、抽出部１ｂ及び追跡部１ｃに常に最新の補助データを提供することによって選手やボール等の抽出・追跡を高精度に行うことができるようにしている。
【００１７】
ここで、上記した学習部１ａにおける背景画像の作成処理及び色情報・人間サイズの学習処理について説明する。まず、背景画像の作成処理について図３を用いて説明する。図３は、背景画像の作成処理の一実施例を示すフローチャートである。
ステップＳ１では、ビデオ撮影されたサッカー動画像中の各フレームにおいて人物候補領域を特定し、該人物候補領域以外の領域を背景利用可能領域（背景として利用できる領域）とする。人物候補領域は、まず各フレームにおいて前（過去）フレームとのフレーム間差分処理を行う。一般的に各サッカー選手は移動しているので、フレーム間の差分をとることによって人物領域付近でオブジェクト抽出が行われる。ここでは、各選手の微少な移動を検出できるようにするため、数フレーム過去のフレームとのフレーム間処理を行う。こうして抽出されたオブジェクト領域に対して膨張処理を行うことによって人物候補領域を得、該得られた人物候補領域以外の領域をそのフレームにおける背景利用可能領域とする。ステップＳ２では、背景利用可能領域を複数フレームにおいて求める。すなわち、選手はフレーム間で移動しているため、それぞれのフレームにおける背景利用可能領域は少しずつ異なっていることから、複数フレームそれぞれの背景利用可能領域を求める。ステップＳ３では、ステップＳ２で求めた複数フレームの背景利用可能領域を補完し平均値を求めることで、１枚の背景画像を作成する。すなわち、画像中の各ピクセル（ｘ，ｙ）に対し、複数のフレーム１〜フレームＮ（Ｎは２以上の整数）の中でそのピクセル（ｘ，ｙ）が背景利用可能領域と判定されたピクセルの値ｐ（ｘ，ｙ）を取得し、それらの値ｐ（ｘ，ｙ）の平均値を求め、それを作成背景画像のそのピクセル（Ｘ，Ｙ）における値とする。この処理を画像中の全ピクセルに対して行い、１枚の背景画像を作成する。
【００１８】
次に、学習部１ａにおける色情報・人間サイズの学習のうち、特に色情報の学習処理について図４を用いて説明する。図４は、色情報の学習処理の一実施例を示すフローチャートである。この実施例に示すトラッキングシステムにおいて、人物の特徴量としてユニフォームの色情報（色パラメータ）を取得し、これに基づき選手のチーム分類を行う。こうしたチーム分類における最適な色パラメータ（例えば、ＨＳＹ表色空間におけるＨ（色相）、Ｓ（彩度）、Ｙ（輝度）やＬａｂ表色空間におけるＬ^＊、ａ^＊、ｂ^＊など）は映像によって異なり、毎回どの映像でも同じ色パラメータを用いてチーム分類を行うことはできない。そのため、学習部１ａでは映像毎にチーム分類に最適な色パラメータＰ及びその色パラメータの各チームの代表値ｐ１、ｐ２を学習する。なお、ユニフォームの色情報を取得するためには、抽出人物内でのユニフォーム領域を特定する必要がある。そこで、ここでは抽出された人物領域に対して上から６分の１〜２分の１の領域をシャツ領域、上から２分の１〜４分の３の領域をズボン領域とする。勿論、これに限られない。
【００１９】
ステップＳ１１では、各色パラメータに対して、各チームＮ人（Ｎは１以上の整数）のサンプルの色情報を取得する。シャツとズボンが同色（つまりユニフォーム色が１色）の場合は、シャツ領域とズボン領域の色情報を合わせて１つの値を取得する。シャツとズボンで別色の場合は、シャツ領域とズボン領域の色情報を別々に取得する。各サンプルは、複数フレームからユニフォームの色情報を取得し、平均値を求める。これにより、各色パラメータともＮ人×２チームのサンプルに対して、その色パラメータの平均値が求まる。ステップＳ１２では、各色パラメータに対してチーム分離度Ｄを計算する。
【数１】

ステップＳ１３では、ステップＳ１２で求めたチーム分離度Ｄのうち一番大きい値を最適色パラメータＰとし、各チームの代表値ｐ１、ｐ２を取得する。こうして学習によって求めた最適色パラメータＰを用いてチーム判定は行われる（後述する図６参照）。
【００２０】
図２に示したシーン内追跡部１の説明に戻って、抽出部１ｂでは人物の抽出及びボールの抽出、特徴量の取得、チーム判定が行われる。人物の抽出又はボールの抽出では学習部１ａで自動作成される背景画像をもとに選手（人物）やボール等の抽出を行うが、特に選手を抽出する際には２つの閾値を用いて２段階での背景差分を行う（詳しくは後述する）。特徴量の取得及びチーム判定では、特徴量を取得すると共に所定の特徴量に従って選手のチーム判定を行う。特徴量とは各選手やボール、つまり個別キャラクタの追跡に必要な各選手又はボール毎に（各キャラクタ毎に）固有のパラメータであり、ここでは特徴量として、位置情報とチーム分類に必要な色情報（上述した最適色パラメータＰ）とを取得する。取得された色情報をもとに選手のチーム判定を行い、位置情報とあわせて追跡部１ｃでの追跡処理（時系列的な個別人物同定）に用いる。追跡部１ｃでは、フレーム間人物同定及びボール追跡と位置情報の取得とを行う。
【００２１】
ここで、上述した抽出部１ｂ及び追跡部１ｃで実行する選手及びボールの抽出・追跡処理について説明する。ただし、説明を理解し易くするために、選手の抽出・追跡とボールの抽出・追跡とをそれぞれ分けて説明する。まず、選手の抽出・追跡について図５〜図９までを用いて説明し、その後ボールの抽出・追跡について図１０及び図１１を用いて説明する。図５は、抽出部１ｂで行われる人物抽出処理の一実施例を示すフローチャートである。
【００２２】
ステップＳ２１では、２段階閾値の設定を行う。すなわち、背景差分処理を行う際、人物抽出に最適な閾値はその抽出人物や背景画像の様子によって大きくなることが多い。そのため、閾値を一意に設けると個別人物抽出の精度にばらつきが多くなる。そこで、閾値を２つ設け、２段階によって背景差分処理を行う。上記ステップＳ２１では、そのための閾値を設定する。ステップＳ２２では、作成された背景画像をもとに各フレームにおいて背景差分処理を行う。ステップＳ２３では、背景差分によって得られたオブジェクトに対し人物モデルを適用して、人物を抽出する。まず、高いほうの閾値で背景差分処理を行う。ここで抽出された全オブジェクトに対して、あらかじめ設定済みである所定の大きさに定義された人物モデルとの照らし合わせを行い、該人物モデルにあてはまる（例えば、人物モデルの横幅、縦幅ともに＋２０％〜−２０％以内の抽出）オブジェクトに対して、それを人物領域であると判定する。次に、人物領域と判定された領域以外の領域に対して、低いほうの閾値で再度背景差分処理を行う。そして、ここでも同様の人物領域の判定を行い、人物抽出を行う。
【００２３】
ステップＳ２４では、色情報による人物の影領域の消去を行う。すなわち、上記背景差分処理のみを行った場合においては人物の影領域も同時に抽出されてしまうことがあり、こうした影領域が一緒に抽出されてしまうと位置情報や色情報を正確に取得することができず、それに伴って正確な追跡を行うことができなくなる。そこで、人物の影領域を消去する。例えば、抽出された人物領域の横幅が人物モデルの横幅と比較して＋２０％以上の抽出である場合にはその領域に人物の影領域を含んでいることから、当該影領域を特定し消去する。この影領域消去の手順を簡単に説明する。まず、抽出オブジェクト内から、背景画像に比べて輝度Ｙが低く、背景画像の色相Ｈとほぼ同じ色相である影候補のピクセルを抽出する。抽出した影候補ピクセルの２値画像に対して膨張収縮処理を行い、抽出された領域にラべリング処理を行う。これらの領域を影領域候補とする。各影候補領域に対して所定の条件（例えば、人物の影領域はある程度の大きさをもっており縦横比で横のほうが長い、人物の影領域は抽出された人物枠の下のほうにあるなどの各種条件）に従って、最終的な影領域を特定する。こうして最終的に特定された影領域をもとの抽出画像から消去し、人物領域を囲い直す。
【００２４】
ステップＳ２５では、ヒストグラムを使った人物領域の補正を行う。すなわち、色情報による人物の影領域消去を行った後においても、雑音の影響や影領域が完全に消去されなかったなどの影響によって、人物の抽出枠の横幅が人物モデルの横幅よりも＋２０％以上大きくなってしまうことがある。この場合、位置情報が正確に取得できないことから、追跡の精度が落ちてしまう。そこで、領域内のピクセル数のヒストグラムを利用した人物領域の補正を行う。こうした人物領域補正の手順を簡単に説明する。抽出枠の内部において、抽出オブジェクトの縦方向におけるピクセル数のヒストグラムを取る。この縦方向のピクセル数のヒストグラムにおいて、抽出枠の両端からピクセル数の検索を行う。もしも連続して縦方向のピクセル数が少ない場合は、その抽出領域は人物領域でなく非人物領域と判定し、抽出人物からその領域を消去する。こうして人物領域を補正する。
【００２５】
抽出部１ｂで行われるチーム判定について、図６を用いて説明する。図６は、チーム判定処理の一実施例を示すフローチャートである。当該処理では、色情報の学習によって求められたチーム分類に最適な色パラメータＰを用いて抽出された選手のチーム判定を行う。
【００２６】
ステップＳ３１では、各フレームでのチーム判定を行う。すなわち、抽出された人物領域における最適色パラメータＰの値ｐを取得し、各チームの代表値ｐ_ｔｅａｍとの距離ｄｉｓｔ_ｔｅａｍを求める。
【数２】

ただし、上記数２において、シャツとズボンとが別色である場合には分離度Ｄの重み付けをしてｄｉｓｔ_ｔｅａｍを求める。
【数３】

この距離ｄｉｓｔ_ｔｅａｍが小さい方のチームをそのフレームにおけるチームと判定する。
【００２７】
こうした各フレーム毎でのチーム判定は、完全に信頼を置けるものではない。すなわち、抽出誤差などの影響によって、該チーム判定が誤っている可能性もある。そこで、各フレームにおけるチーム判定の信頼度Ｖ_ｔｅａｍを設ける。このチーム判定信頼度Ｖ_ｔｅａｍはそのフレームにおけるその選手のチーム判定がどれだけ信頼できるかということを示したパラメータ値であり、以下のようにして求める。まず、最適色パラメータ値ｐの値が判定されたチームの色の代表値ｐに近いほどチーム判定の信頼度は高くなるために、代表値からの距離に依存した信頼度Ｖ_{ｃｏｌｏｒ}を数４から求める。
【数４】

【００２８】
次に、人物モデルに近い抽出がされているほど色情報を正確に取得できるため、チーム判定の信頼度は高くなる。具体的には、抽出された人物の縦幅によって人物モデル信頼度Ｖ_{ｈｅｉｇｈｔ}は高くなる。そこで、この人物モデル信頼度Ｖ_{ｈｅｉｇｈｔ}によるフィルタリングを行う。こうした人物モデル信頼度Ｖ_{ｈｅｉｇｈｔ}の一実施例を図７に示す。この図７に示した人物モデル信頼度Ｖ_{ｈｅｉｇｈｔ}は、理想的な人間の縦横比Ｎ：１（図の横軸に示す）に対して、例えば＋２０％〜−２０％以内の抽出である場合には正確な人物抽出ができたとして「人物モデル信頼度Ｖ_{ｈｅｉｇｈｔ}＝１」（図の縦軸に示す）とし、＋４０％以上あるいは−４０％以下の抽出である場合には正確な人物抽出ができずに色情報の取得が不正確であるとして「人物モデル信頼度Ｖ_{ｈｅｉｇｈｔ}＝０」としている。また、抽出された人物が人物モデルの高さに近いほど人物モデル信頼度は高くなる。こうした代表値からの距離に依存した信頼度Ｖ_{ｃｏｌｏｒ}と人物モデル信頼度Ｖ_{ｈｅｉｇｈｔ}とにより、最終的にチーム判定の信頼度Ｖ_ｔｅａｍを数５から求める。
【数５】

このチーム判定の信頼度Ｖ_ｔｅａｍを各フレームにおいて各選手に対して求める。
【００２９】
ステップＳ３２では、複数フレームでのチーム判定を行う。すなわち、上記したような各フレームにおけるチーム判定は完全に信頼できるものではない。そこで、追跡情報を用い、複数フレームを利用してチーム判定を確実なものにする。該複数フレームでのチーム判定は、各フレームにおけるチーム判定の信頼度Ｖの総和によって求める。つまり、各選手に対してチーム１と判定された信頼度Ｖ_{（ｔｅａｍ＝１）}の総和ΣＶ_{（ｔｅａｍ＝１）}とチーム２と判定された信頼度Ｖ_{（ｔｅａｍ＝２）}の総和ΣＶ_{（ｔｅａｍ＝２）}を求め、該求めた総和ΣＶ_{（ｔｅａｍ＝１）}と総和ΣＶ_{（ｔｅａｍ＝２）}のうち、値が大きいほうのチームを複数フレームでのチームと判定する。
また、複数フレームでのチーム判定の信頼度の評価基準としてＶ_ｄｉｆｆを求める。
【数６】

複数フレームでのチーム判定を行う場合に、上記Ｖ_ｄｉｆｆが所定の閾値以上になったら、そのチーム判定が十分信頼できるものとしてチーム判定を確定する。
【００３０】
次に、追跡部１ｃで行われるフレーム間の人物同定（人物追跡）について、図８を用いて説明する。図８（ａ）は、フレーム間の人物同定処理の一実施例を示すフローチャートである。以下の説明では、過去のフレームにおいて追跡されてきた（つまり人物同定されてきた）追跡人物をＴｒｋ（Ｔｒｋ_１〜Ｔｒｋ_Ｍ）で表わす。各追跡人物Ｔｒｋ_ｉは人物同定済みであるから、過去の位置情報（画像情報）とチーム情報とを保持している。また、現フレームにおける抽出人物をＥｘｔ（Ｅｘｔ_１〜Ｅｘｔ_Ｍ）で表わす（ただし、抽出人物Ｅｘｔ_ｊは複数の人物が１つのＥｘｔとして認識されている場合もある。例えば、複数人物が重なった位置で撮影された場合など。）。各抽出人物Ｅｘｔ_ｊは位置情報（画像情報）とチーム判定及びチーム判定信頼度Ｖ_ｔｅａｍとを保持しているが、追跡人物との対応づけ、つまりフレーム間での人物同定はまだなされていない。フレーム間で人物同定を行う場合、利用する特徴量は位置情報（画像情報）とチーム情報となる。
【００３１】
ステップＳ４１では、各追跡人物Ｔｒｋ_１〜Ｔｒｋ_Ｍに対し、候補となる抽出人物Ｅｘｔを複数取得する。まず、各追跡人物Ｔｒｋ_ｉにおいて過去１乃至複数フレームにおける位置情報から線形的に予測位置（画像座標情報）を求め、予測位置とある閾値以内の距離に存在する全抽出人物Ｅｘｔを候補として順に保存していく。好ましくは、図８（ｂ）に示すように各選手毎に若しくは各追跡人物毎に、すべてのフレームにおける位置情報を記憶しており、この記憶に基づき次のフレームにおける予測位置を線形的に予測する。なお、保存の際には、各候補Ｅｘｔは挿入Ｓｏｒｔｉｎｇ（つまり並び替え）によってより近いもの順にＳｏｒｔｉｎｇしていく。この挿入Ｓｏｒｔｉｎｇの際に用いる評価関数としてのマッチング信頼度Ｍ_{（ｉ，ｊ）}を数７に示す。
【数７】

このマッチング信頼度Ｍ_{（ｉ，ｊ）}は追跡人物Ｔｒｋ_ｉと抽出人物Ｅｘｔ_ｊとをマッチングした場合、その同定がどの程度あり得るかということを数値化したものである。Ｍ_ｐｏｓは位置情報（画像座標情報）によるマッチング信頼度関数であり、これを模式図にて示すと図８（ｃ）のように、追跡人物Ｔｒｋ_ｉの予測位置（画像座標情報）に基づき求められる人物モデルの大きさに開いた予測位置枠Ｗ１と、抽出人物Ｅｘｔ_ｊの人物モデル大の枠Ｗ２との重複領域Ｗ３（図中における斜線を施した領域）の大きさが枠Ｗ１及び枠Ｗ２の集合全体（図中における太線枠内の領域）に占める割合として求められる。一方、Ｍ_ｔｅａｍはチーム情報によるマッチング信頼度関数であり、数８から求める。
【数８】

（ただし、追跡人物Ｔｒｋ_ｉと抽出人物Ｅｘｔ_ｊとが同一チーム判定ならｒ＝１、異なるチーム判定ならｒ＝−１）
上記数７において、αとβで示す重み付け値は、比較している２つの候補Ｅｘｔの状態によって動的に変化する。例えば、２つの候補Ｅｘｔが共に同じチームである場合にはＭ_ｔｅａｍで評価する必要がないためにα＝１、β＝０とする。他方、２つの候補Ｅｘｔが異なるチームであり、Ｍ_ｐｏｓの値が非常に近い場合にはα＝０、β＝１とする。上記した数７を評価関数とした挿入Ｓｏｒｔｉｎｇによって、各追跡人物Ｔｒｋ_ｉは近いものから順に抽出候補Ｅｘｔを複数得る。
【００３２】
ステップＳ４２では、各追跡人物に抽出人物を割り当てる。例えば、１番目の追跡人物Ｔｒｋ_１から順に、その第１候補の抽出人物Ｅｘｔを取得する。ｉ番目の追跡人物Ｔｒｋ_ｉにおいてその第１候補Ｅｘｔ_ｊがすでに別の追跡人物Ｔｒｋ_ｎに獲得されている場合には、上記数７の評価関数によって比較判定し、より近い方の追跡人物Ｔｒｋ_ｉ又はＴｒｋ_ｎが第１候補Ｅｘｔ_ｊを獲得する。そうした場合、他方の追跡人物Ｔｒｋ_ｉ又はＴｒｋ_ｎは第２候補の抽出人物Ｅｘｔを取得する。こうした処理を行うことで、各追跡人物Ｔｒｋは各々に最適の抽出人物Ｅｘｔを獲得することになる。
ステップＳ４３では、抽出人物Ｅｘｔの割り当てのない追跡人物Ｔｒｋ_ｘの判定を行う。すなわち、当該追跡人物Ｔｒｋ_ｘのどの候補Ｅｘｔもが他の追跡人物Ｔｒｋによって獲得されてしまい、最終的にどの抽出人物Ｅｘｔも獲得できなかった当該追跡人物Ｔｒｋ_ｘは、その第１候補Ｅｘｔが当該追跡人物Ｔｒｋ_ｘに対してある閾値以内の距離にある場合は、その追跡人物Ｔｒｋ_ｘは他の追跡人物Ｔｒｋ_ｎと１つの抽出人物Ｅｘｔとして抽出されたものとして、その抽出人物Ｅｘｔは２人（又は複数）の追跡人物Ｔｒｋ_ｎ、Ｔｒｋ_ｘが対処していると判定する。すなわち、どの抽出人物も獲得できなかった追跡人物Ｔｒｋ_ｘの第１候補Ｅｘｔが所定閾値以内で近似しているならば、その第１候補Ｅｘｔと同じ抽出人物Ｅｘｔを獲得した他の追跡人物Ｔｒｋ_ｎと該追跡人物Ｔｒｋ_ｘとが丁度重なってすれ違っている最中であると判定する。これをすれ違い状態と呼ぶ。なお、この場合、第１候補Ｅｘｔが追跡人物Ｔｒｋ_ｘに対してある閾値以内にない場合には抽出ミスであると判定する。反対に、どの追跡人物Ｔｒｋ_ｉからも取得されなかった抽出人物Ｅｘｔは、新規の追跡人物であると判定する。
【００３３】
ステップＳ４４では、すれ違い後の人物同定を行う。上述したように、すれ違い状態においては、複数の追跡人物が１つの抽出人物として認識されてしまう。こうした場合、チーム情報や正確な位置情報を取得することができなくなり、正確な追跡を行うことができなくなる。そこで、すれ違い前とすれ違い後の人物間で人物同定（マッチング）を行うことによって、追跡を続行する。このすれ違いの前後において人物同定を行う場合、すれ違いの時間が長ければ長いほど、位置情報によるマッチングの信頼度は低くなる。そのため、異なるチームの選手がすれ違いを起こした場合にはチーム情報をもとに人物同定を行い、同じチームの選手がすれ違いを起こした場合には位置情報（画像情報）による人物同定（すれ違い前の状態からの予測位置）を行う。また、３人以上の選手がすれ違いを起こした場合には、まずチーム情報によってマッチングを行い、その上で位置情報によるマッチングを行えばよい。
【００３４】
図８（ｂ）は、図８（ａ）に示したような「フレーム間人物同定」処理に基づいて、個々の選手（ｐｌａｙｅｒ）毎に作成される選手追跡ファイルの一例を示す。この図８（ｂ）には、「Ｐｌａｙｅｒ１」という特定の一人の選手（つまりキャラクタ）の追跡ファイル例が示されている。一人の選手の追跡ファイルは、「追跡人物Ｔｒｋ」と「すれ違い」のシーケンスからなる第１階層と、各フレーム毎の「抽出人物Ｅｘｔ」のシーケンスからなる第２階層とで構成される。「Ｔｒｋ_１」は、「Ｐｌａｙｅｒ１」についての最初の「追跡人物」の追跡サブファイルを示し、順次の各フレーム毎の抽出人物Ｅｘｔ_１１〜Ｅｘｔ_１Ｎのシーケンスからなる。例えば、試合開始時（キックオフ時）の各選手のグランド上の所定ポジションから、最初のフレームにおける各抽出人物Ｅｘｔが、具体的にどの選手にそれぞれ該当するかが判明する。図８（ｂ）の例では、最初のフレームにおける特定の抽出人物Ｅｘｔ_１１が、特定の「Ｐｌａｙｅｒ１」に該当し、この抽出人物Ｅｘｔ_１１が「Ｐｌａｙｅｒ１」の追跡人物Ｔｒｋ_１として割り当てられる。以後、各フレーム毎にこの追跡人物Ｔｒｋ_１に該当する抽出人物Ｅｘｔ_１２〜Ｅｘｔ_１Ｎを順次特定してゆく（割り当ててゆく）ことで、「Ｐｌａｙｅｒ１」についての「追跡人物Ｔｒｋ_１」のサブファイルが作成される。この特定の「追跡人物Ｔｒｋ_１」が他の追跡人物とすれ違ったとき、この特定の「追跡人物Ｔｒｋ_１」のサブファイルが終了し、「すれ違い１」のサブファイルが挿入される。この「すれ違い１」のサブファイルは、この特定の「追跡人物Ｔｒｋ_１」が他の追跡人物とで共有する「抽出人物Ｅｘｔ_１Ｐ」を特定する１又は複数フレーム分の抽出人物データからなる。この「すれ違い１」が終了すると、当該「Ｐｌａｙｅｒ１」についての２番目の「追跡人物Ｔｒｋ_２」のサブファイルが作成され、かつ、前記ステップＳ４４による「すれ違い後の人物同定」処理によって、すれ違い前の当該「追跡人物Ｔｒｋ_１」に該当する「抽出人物Ｅｘｔ_２１」が特定され、この特定された「抽出人物Ｅｘｔ_２１」が当該「Ｐｌａｙｅｒ１」についての２番目の「追跡人物Ｔｒｋ_２」の最初のフレームの該当人物として割り当てられる。以後、各フレーム毎にこの追跡人物Ｔｒｋ_２に該当する抽出人物Ｅｘｔ_２２〜Ｅｘｔ_２Ｎを順次特定してゆく（割り当ててゆく）ことで、「Ｐｌａｙｅｒ１」についての２番目「追跡人物Ｔｒｋ_２」のサブファイルが作成される。以後、当該追跡人物について「すれ違い」が起こる毎に、当該「追跡人物」のサブファイルが終了し、「すれ違い」のサブファイルが挿入され、更に当該「すれ違い」の後、当該「Ｐｌａｙｅｒ１」についての次の「追跡人物」のサブファイルが作成される。こうして、試合開始から終了まで（若しくは退場まで）、当該特定の選手（例えばＰｌａｙｅｒ１）についての追跡ファイルが、「追跡人物」と「すれ違い」のサブファイルの次々の組合せからなるシーケンスで、作成される。
【００３５】
次に、図１に示したシーン間人物同定について、図９を用いて説明する。図９（ａ）は環境マップを説明するための概要図であり、図９（ｂ）はシーン間の人物同定処理の一実施例を示すフローチャートである。人物については、シーン間での人物同定を行う。すなわち、隣接するシーンはそれぞれの撮影領域において重複領域を含むため、この重複領域における隣接シーン間で人物同定（マッチング）を行う必要がある。そこで、図９（ａ）に示すような環境マップを予め設定しておく。環境マップは、各撮影用ビデオカメラＣで撮影可能な範囲であるシーン１とシーン２とが重なる重複領域（図中において斜線を施した範囲）を定義したものであり、該環境マップにおいて重複領域内での人物同定を行う場合にのみ、シーン間の人物同定処理が行われる。
【００３６】
図９（ｂ）に示したフローチャートに従って、シーン間人物同定処理について簡単に説明する。ステップＳ５１では、選手の分類を行う。すなわち、各シーン内において、チーム１の選手とチーム２の選手に分類する。シーン間人物同定を行う際には、隣接シーン間で同じチーム同士の追跡人物の間でマッチングを行えばよい。ステップＳ５２では、位置情報（ただし、ここでは画像情報でなくワールド座標）を利用し、隣接シーン間で或る閾値半径以内に存在する追跡人物を、マッチング候補として保存する。ステップＳ５３では、保存したマッチング候補との距離の総和がより小さい候補と最終的にマッチングを行う。
【００３７】
次に、ボール抽出・追跡処理について、図１０及び図１１を用いて説明する。まず、抽出部１ｂで行われるボール抽出について図１０を用いて説明する。図１０は、ボールの抽出処理の一実施例を示すフローチャートである。該ボール抽出処理は、人物抽出を行った後に行われる処理である。
【００３８】
ステップＳ６１では、ボール候補を抽出する。ステップＳ６２では、色による絞り込みを行う。このボール候補の抽出では、人物抽出された領域はボールではないと判定し当該人物領域を除外した範囲においてボール領域の検索を行う。すなわち、上述した人物抽出処理によって抽出された人物領域以外の領域に対してのみ、ボール領域（ボール候補）の検索を行う。このボール領域の検索は、ボールが持つ特徴に従って行われる。例えば、ボールの大きさは直径２２ｃｍ（センチメートル）であることから、動画像中におけるボールの大きさを割り出し、それに基づいて理想的な大きさを持つボールモデルを作成する。そして、動画中で該ボールモデルに近い大きさの抽出物があれば、それをボールの候補とする。また、ボールは基本的に白色であることから、前記ボール候補の中から色による絞込みを行う。すなわち、ボール領域は背景領域に比べて輝度Ｙが高く彩度Ｓが低くなる特徴があることから、得られた抽出物の輝度Ｙが所定の閾値以上で、かつ彩度Ｓが所定の閾値以下である場合に当該抽出物をボールの候補とする。
【００３９】
次に、追跡部１ｃで行われるボール追跡について、図１１を用いて説明する。図１１（ａ）はメイン動作であるボール追跡処理の一実施例を示すフローチャートであり、図１１（ｂ）はサブ動作であるボール探索処理の一実施例を示すフローチャートである。ボール追跡処理は、上述したボール抽出処理により抽出された複数のボール候補の中からボールを１つだけ特定し追跡する処理である。一方、ボール探索処理はボール追跡処理と常に並行して動作している処理（つまり裏処理）であって、メイン処理による追跡（ステップＳ７１）においてボールの追跡に失敗、つまりボールを見失った又は選手がボールを保持している際に適宜に参照される処理である。
【００４０】
まず、メイン動作であるボール追跡処理について説明する。ステップＳ７１では、メイン処理による追跡を実行する。このメイン処理による追跡では、過去２フレームにおけるボール位置情報を用いる。すなわち、２つ前（過去）のフレームにおいて抽出されたボールの中心座標の位置情報と、１つ前（過去）のフレームにおいて抽出されたボールの中心座標の位置情報とから、現在処理しているフレームでのボールの予測点を算出する。こうした予測点算出の一例としては、数９に示すような過去２フレームのボールの位置情報の線形予測に従って算出する。
【数９】

ここで、Ｘ_０とＹ_０は現在のフレームでの予測点のＸ座標とＹ座標であり、Ｘ_−ｉとＹ_−ｉはｉフレーム前でのボールの中心のＸ座標とＹ座標である。
ステップＳ７２では、上記算出した予測点の周りにボール候補が有るか否かを判定する。予測点の周りにボール候補が有ると判定された場合には（ステップＳ７２のＹＥＳ）、ステップＳ７１の処理に戻ってメイン処理による追跡を続行する。すなわち、メイン処理による追跡では予測点の周りにボール候補があるか否かを調べ、予測点の周りにボール候補がある場合には該ボールを追跡対象としてボールの追跡を続行する。このように、ボールの位置情報に基づいて予測通りにボールが動いているような場合には、該メイン処理による追跡だけでボール追跡を行う。
【００４１】
一方、予測点の周りにボール候補がない場合、つまり選手がボールを隠蔽している状態（オクルージョン状態）が生じた場合や一旦フィールド外にボールが飛び出したことによるボールの追跡ミスが生じたような場合には、上記したようなメイン処理による追跡（ステップＳ７１参照）によってはボールの追跡を続行することができない。そこで、予測点の周りにボール候補がないと判定された場合には（ステップＳ７２のＮＯ）、まず選手がボールを隠蔽している状態（オクルージョン状態）であるか否か、つまり算出した予測点が人物抽出された範囲内にあるか否かを判定する（ステップＳ７３）。予測点が人物抽出された範囲内にない場合、つまり選手がボールを隠蔽している状態でないと判定された場合には（ステップＳ７３のＮＯ）、当該処理と並行動作しているボール探索処理に対して問い合わせを行うことによって全画像中からボールを探索する。そして、ボール探索の結果として新たにボールが見つかった場合には（ステップＳ７４のＹＥＳ）、ステップＳ７１の処理に戻って該見つけたボールを対象としてボール追跡を続行する。こうしたボール探索処理への問い合わせによるボール探索は、ボールが見つかるまで繰り返し行われる（ステップＳ７４のＮＯ）。このように、予測点が人物抽出された範囲内にない場合にはボール追跡に失敗してボールを見失っている状態であることから、当該処理から裏処理であるボール探索処理に対して問い合わせる。そして、複数フレームにわたっての全画像中のボール候補の軌道情報に基づいて追跡対象とするボールを新たに見つけ出し、該見つけたボールを対象として再度メイン処理による追跡を行う。こうすることにより、ボールを見失った場合においてもボール追跡を再開することができる。
【００４２】
他方、予測点が人物抽出された範囲内にある場合、つまり選手がボールを隠蔽している状態であると判定された場合には（ステップＳ７３のＹＥＳ）、当該処理と並行動作しているボール探索処理に対して問い合わせを行うことによって予測点を含む人物抽出された範囲（つまり選手）の周りで新たにボールが見つかったか否かを判定する（ステップＳ７５）。すなわち、ボールを隠蔽している状態の選手からボールが出てきたか否かを判定する。このボール探索処理への問い合わせに従いボールを隠蔽している状態の選手の周りで新たにボールが見つかった場合、つまり選手からボールが出てきた場合には（ステップＳ７５のＹＥＳ）、ステップＳ７１の処理に戻って該見つけたボールを対象としてボール追跡を続行する。ボールを隠蔽している選手の周りで新たにボールが見つからなかった場合には（ステップＳ７５のＹＥＳ）、ボールを隠蔽している選手の近くに他の選手がいるか否かを判定する（ステップＳ７６）。近くに他の選手がいると判定された場合には（ステップＳ７６のＹＥＳ）、その周りにおいてボールを探索する対象の選手を増やして（ステップＳ７７）、ステップＳ７５の処理へ戻る。すなわち、選手が密集しているような場合にはボールを探索する範囲を選手毎に順次に広げていき、その探索範囲において新たにボールが見つかったか否かを判定する。近くに他の選手がいないと判定された場合には（ステップＳ７６のＮＯ）、上記ステップＳ７７の処理を行うことなくステップＳ７５の処理へ戻り、ボールを隠蔽している状態の当該選手の周りでのみ新たにボールが見つかるまでボール探索を続ける。
【００４３】
以上のように、予測点が人物抽出された範囲内にあり選手がボールを隠蔽している状態である場合には、オクルージョン状態が頻繁におこることや、当該選手からボールがいつでてくるかを予測することは困難であることから、メイン処理による追跡（ステップＳ７１参照）を行うことができない。そこで、当該処理と並行動作しているボール探索処理に対して問い合わせを行うことによって、ボールを隠蔽しているとされる選手の周りについてボールが見つかるまでボールを探索する。ところで、こうしたボール探索を行っているときに当該選手に対して他の選手が近づいてきたような場合には、近づいた選手がボールを奪っている可能性が高くなることや、その選手によるオクルージョン状態の発生の可能性がある。そこで、現在ボールを隠蔽している状態の選手に近づいてきた選手全てを含むその周りについてボール探索を行う。上記のようなボール探索の結果としてボールが見つかった場合には、見つけたボールを再度メイン処理による追跡を行う。こうすることによって、オクルージョン状態になった場合においてもボール追跡を再開することができる。
【００４４】
ここで、上述したボール追跡処理から問い合わせされるサブ動作であるボール探索処理について説明する。このボール探索処理は複数フレームにおける全画像中の情報から、ボールらしい軌道を描いて動いているボール候補の抽出物を見つけるための処理である。ボール探索処理では、直線的（又は放物線的）に動的な複数のボール候補又はその等価物の動きを全画像中から検出する処理を行う（ステップＳ８１）。具体的に説明する。まず、現在のフレームにおけるある１つのボール候補１において、該ボール候補１から直線的な軌道を描くボール候補を後のフレームにおけるボール候補１があった位置から所定の閾値の範囲内で探す。前記範囲内にボール候補がある場合には、それをボール候補２とする。こうしたボール候補２は多数存在するために、そこからさらにボールを絞り込む。そこで、ボールの軌道である直線上のボール候補１とボール候補２とにより算出した予測点から所定の範囲内にあるボール候補３を見つける。ボール候補３が得られたら、今度はボール候補２とボール候補３とにより算出した予測点から所定の範囲内を探索する。こうした処理をボール候補が得られなくなるまで繰り返し行うことによって、ボールの軌道を描くボール候補の連続抽出回数を求める。こうしたボールの軌道を描くボール候補を複数見つけるために、当該処理を全画像中で行い、複数のボールの軌道を描くボール候補の連続抽出回数を求める。次に、ボール候補の動きベクトルの標準偏差と速度の情報を求める。速度とは、見つかったボール候補の１フレーム間に移動する移動平均距離の平均値である。標準偏差とはボール候補の方向ベクトルのばらつき具合を表わすものであり、数１０により求まる。
【数１０】

このように、ボール探索処理では複数フレームにわたって画像全体を調べ、直線的に動くボール候補を見つけて、その連続抽出回数、標準偏差、速度等を用いてボールを見つけ出す。
【００４５】
こうしたボール探索処理の際に選手によるオクルージョン状態が生じた場合には、上記連続抽出回数が正しく求められない。そこで、例えば２つ先のフレームにおいて選手によるオクルージョン状態が生じているような場合には、１つ先のフレームでのボール候補の中心座標と２つ先のフレームでの予測点をもとに３つ先のフレームでの予測点を上記した数９によって算出し、その周りを探すようにする。こうすると、もし後のフレームで同じ軌道を描くボール候補が見つかったときでも連続抽出回数をカウントすることができるようになることから、ボール候補の選手によるオクルージョン状態が生じた場合に対応することができるようになる。また、選手がボールを隠蔽している場合には、ボールを隠蔽している選手の周りについてボール探索を行うことは上述した。この場合には、ある閾値以内の範囲において選手の周りを探索する。選手の周りにおいてボール候補が得られた場合、何フレームかを先読みして得られたボール候補のその後の動きをボール探索処理により調べる。このボール探索処理によって求められる選手の周りで見つかったボール候補の連続抽出回数、速度、標準偏差のそれぞれが所定の閾値を満たすものをボールと特定する。さらに、ボールを見失っている場合には、複数フレームにおいて全画像を調べてボールらしい軌道を描いているものを見つけることは上述した。ボールを見失った時点でボール探索処理を全画像に対して行うことにより、複数のボール候補の連続抽出回数、速度、標準偏差を求めることができることから、これらに対する所定の閾値を設けておき、この条件を満たすものをボールとする。
【００４６】
以上のような選手及びボールの自動追跡システムは、スポーツゲームの指導やスポーツ中継あるいは試合データ提供サービスへ適用するのが特に有効である。すなわち、サッカーに代表される集団競技における試合のフォーメーション確認や戦術解析が自動化されて、ゲーム指導に適用することができる。スポーツ中継中にフィールド全体における選手の動きを自動的に解析し、試合の解説などに利用することができる。スポーツ試合における両チームの得点や選手の動きは試合の情報として最も重要であり価値のあるデータであることから、試合中の選手の動きを自動解析することは非常に有効である。
【００４７】
【発明の効果】
この発明によれば、自動作成される背景画像を用いて２段階に分けて人物領域の特定を行うと共に、色情報に従って取得されるチーム情報を人物の追跡処理に適応するようにしたことによって、スポーツ動画像などの屋外環境を想定した広い範囲における人物の抽出・追跡を高精度に行うことができるようになる、という効果を得る。
また、ボール追跡を行うメイン処理とボール探索を行うボール探索処理の２つの処理を用いてボール追跡を行うようにしたことから、スポーツ競技での選手（人物）だけでなくボールをも高精度に抽出し追跡することができる、という効果を得る。
【図面の簡単な説明】
【図１】この発明に係る移動物体追跡装置を適用したトラッキングシステムの一実施例の全体構成を示すブロック図である。
【図２】シーン内追跡部の処理概要を示すブロック図である。
【図３】背景画像の作成処理の一実施例を示すフローチャートである。
【図４】色情報の学習処理の一実施例を示すフローチャートである。
【図５】人物抽出処理の一実施例を示すフローチャートである。
【図６】チーム判定処理の一実施例を示すフローチャートである。
【図７】人物モデル信頼度の一実施例を示す概要図である。
【図８】フレーム間の人物同定処理について説明するための図である。
【図９】シーン間人物同定について説明するための図であって、図９（ａ）は環境マップを説明するための概要図、図９（ｂ）はシーン間の人物同定処理の一実施例を示すフローチャートである。
【図１０】ボールの抽出処理の一実施例を示すフローチャートである。
【図１１】ボール追跡処理の一実施例を示すフローチャートである。
【符号の説明】
Ａ…移動物体追跡装置、Ｃ…撮影用ビデオカメラ、１…シーン内追跡部、１ａ…学習部、１ｂ…抽出部、１ｃ…追跡部、２…シーン間人物同定部、３…位置情報の取得・補正部

Claims (18)

1. 動画像データに基づき画像中における所定の特徴を持つ物体を追跡物体としてその動きを追跡する方法であって、
   過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める第１ステップと、
   今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する第２ステップと、
   前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる第３ステップと
   を具備する移動物体追跡方法。
2. 追跡対象たる前記追跡物体が複数存在し、
   前記第１ステップでは、各追跡物体毎の前記予測位置を求め、
   前記第２ステップでは、前記画像データから得られる複数の候補物体の位置情報に基づき、各追跡物体毎に、それぞれの前記予測位置に近い１又は複数の候補物体を順位づけて抽出し、
   前記第３ステップでは、各追跡物体毎に、前記予測位置により近い前記抽出された候補物体を当該追跡物体として割り当て、その際、共通する候補物体が複数の追跡物体に割り当てられようとするとき、そのうち１つの追跡物体に対して該候補物体を割り当て、他の追跡物体には次の順位の候補物体を割り当てるようにすることを特徴とする請求項１に記載の移動物体追跡方法。
3. 前記第３ステップでは、前記他の追跡物体に対して割り当てるべき前記次の順位の候補物体がない場合、前記共通する候補物体を前記複数の追跡物体に対して割り当てることを特徴とする請求項２に記載の移動物体追跡方法。
4. 追跡対象たる前記追跡物体が複数存在し、これら複数の追跡物体はユニフォーム等で視覚的に区別可能な複数のグループに分類されており、
   前記第１ステップでは、各追跡物体毎の前記予測位置を求め、更に、各追跡物体毎にその所属グループを示すグループ情報を記憶し、
   前記第２ステップでは、前記画像データから得られる複数の候補物体の位置情報とグループ情報とに基づき、各追跡物体毎に、前記予測位置により近い候補物体を選択するための位置マッチング信頼度と同一グループを選択するためのグループマッチング信頼度との組合せからなるマッチング信頼度関数を用いて、１又は複数の候補物体を抽出し、
   前記第３ステップでは、各追跡物体毎に、前記マッチング信頼度関数の値に基づいて、いずれかの前記候補物体を割り当てる
   ことを特徴とする請求項１乃至３のいずれかに記載の移動物体追跡方法。
5. 動画像データに基づき画像中における所定の特徴を持つ物体の動きを順次追跡する追跡ステップと、
   前記動画像データに基づく画像中において前記所定の特徴を持つ物体と推定される所定の動きをする等価物を探索する探索ステップと、
   前記追跡ステップで追跡された前記物体と前記探索ステップで探索した該物体の等価物の少なくとも一方を前記物体の追跡情報として選択する選択ステップとを具備する移動物体追跡方法。
6. 前記選択ステップは、前記追跡ステップで前記物体が追跡不能な状態となったとき前記探索ステップで探索した該物体の等価物を前記物体の追跡情報として選択するものであり、該選択された追跡情報を基にして前記追跡ステップで前記物体の追跡を再開させるようにしたことを特徴とする請求項５に記載の移動物体追跡方法。
7. 少なくとも２つ以上のグループに分類される人物を撮影した動画像上において人物追跡を行う移動物体追跡方法であって、
   所定のサイクルで入力される複数フレーム画像から背景画像を自動的に作成する第１ステップと、
   前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた抽出物に対して予め設定済みの人物モデルを適用することで人物の抽出を行う第２ステップと、
   各フレームの画像毎に最適色パラメータを取得し、該取得した最適色パラメータに基づき前記抽出した人物のグループ判定を行う第３ステップと、
   前記グループ判定に従って人物同定を行う第４ステップと
   を具える移動物体追跡方法。
8. 前記第１ステップは、所定のサイクルで入力される複数フレームの画像を少なくとも人物候補領域と背景利用可能領域とに分離し、各フレームの背景利用可能領域を補完し平均値をとることで１枚の背景画像を自動作成することを特徴とする請求項７に記載の移動物体追跡方法。
9. 背景差分を行う際に用いられる人物抽出に最適な閾値を少なくとも高低２つ設定する設定ステップを具えてなり、
   前記第２ステップは、前記設定ステップにより設定された少なくとも高低２つの閾値に従い段階的に背景差分することによって人物抽出を行うことを特徴とする請求項７に記載の移動物体追跡方法。
10. 前記第３ステップは、各色パラメータに対して複数フレームの画像から所定数サンプルの色情報を取得して平均値を求め、各色パラメータに対して異なるグループ間の平均値の分散を同グループ内の値の分散で除算してグループ分類度を算出し、該グループ分類度が一番大きい色パラメータを最適色パラメータとすることを特徴とする請求項７に記載の移動物体追跡方法。
11. 前記第３ステップは、各グループの色の代表値からの距離によって求めた信頼度と人物モデルの照らし合わせによって求めた信頼度とに従いグループ判定信頼度を算出し、該算出したグループ判定信頼度に従って抽出した人物に対するグループ判定を確定することを特徴とする請求項７に記載の移動物体追跡方法。
12. 少なくとも動画像上のボールを追跡する移動物体追跡方法であって、
    所定のサイクルで入力される複数フレーム画像から１枚の背景画像を自動的に作成するステップと、
    前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた人物領域以外の抽出物に対して予め設定済みのボールモデルを適用することでボールを抽出するステップと、
    少なくとも過去２フレームにおけるボールの位置情報に基づいて現在のフレームにおけるボールを予測位置を求めることによってボールの追跡を行うステップと、
    ボールの軌道上を複数フレームにわたって連続的に動くボール候補を全画像中から探索するステップと
    を具える移動物体追跡方法。
13. 前記ボールを抽出するステップは、大きさだけでなく彩度や明度などの色情報を含むボールモデルを適用してボールを抽出することを特徴とする請求項１２に記載の移動物体追跡方法。
14. 請求項１乃至１３のいずれかに記載の方法をコンピュータに実行させるための命令群からなるコンピュータプログラム。
15. 動画像データに基づき画像中における所定の特徴を持つ物体を追跡物体としてその動きを追跡する装置であって、
    過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める手段と、
    今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する手段と、
    前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる手段と
    を具備する移動物体追跡装置。
16. 動画像データに基づき画像中における所定の特徴を持つ物体の動きを順次追跡する追跡手段と、
    前記動画像データに基づく画像中において前記所定の特徴を持つ物体と推定される所定の動きをする等価物を探索する探索手段と、
    前記追跡手段で追跡された前記物体と前記探索手段で探索した該物体の等価物の少なくとも一方を前記物体の追跡情報として選択する選択手段と
    を具備する移動物体追跡装置。
17. 少なくとも２つ以上のグループに分類される人物を撮影した動画像上において人物追跡を行う移動物体追跡装置であって、
    所定のサイクルで入力される複数フレーム画像から背景画像を自動的に作成する背景作成手段と、
    前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた抽出物に対して予め設定済みの人物モデルを適用することで人物の抽出を行う人物抽出手段と、
    各フレームの画像毎に最適色パラメータを取得し、該取得した最適色パラメータに基づき前記抽出した人物のグループ判定を行うグループ判定手段と、
    前記グループ判定に従って人物同定を行う人物同定手段と
    を具える移動物体追跡装置。
18. 少なくとも動画像上のボールを追跡する移動物体追跡装置であって、
    所定のサイクルで入力される複数フレーム画像から１枚の背景画像を自動的に作成する背景作成手段と、
    前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた人物領域以外の抽出物に対して予め設定済みのボールモデルを適用することでボールを抽出するボール抽出手段と、
    少なくとも過去２フレームにおけるボールの位置情報に基づいて現在のフレームにおけるボールを予測位置を求めることによってボールの追跡を行うボール追跡手段と、
    ボールの軌道上を複数フレームにわたって連続的に動くボール候補を全画像中から探索するボール探索手段と
    を具える移動物体追跡装置。

Images