JP6983049B2 - オブジェクト追跡装置及びそのプログラム - Google Patents

Description

本発明は、赤外画像及び可視画像を用いて、オブジェクトを追跡するオブジェクト追跡装置及びそのプログラムに関する。

近年、映像解析技術の進展に伴い、カメラを用いた様々なアプリケーションが提案されている。この技術の発展は、特にスポーツシーンの映像解析において顕著である。例えば、ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラの映像を用いてテニスボールを３次元的に追跡し、ＩＮ／ＯＵＴの判定を行っている。また２０１４年のＦＩＦＡワールドカップでは、ゴールラインテクノロジーと称して、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。さらにサッカースタジアムに多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するＴＲＡＣＡＢシステムも知られている。

これら映像解析技術は、時間解像度が３０フレーム／秒(ｆｐｓ)のカメラで撮影した映像を利用する前提であることが多い。例えば、フェンシングの剣先、バドミントンのシャトル等、目視が困難なほどの高速で移動するオブジェクトを撮影すると、映像上では、そのオブジェクトに極度のモーションブラーが発生する（図８の符号α）。このため、映像のみからオブジェクト位置を正確に計測することが極めて困難である。高速で移動するオブジェクトを撮影する場合、３０ｆｐｓを超えるハイスピートカメラを利用したり、シャッター速度を高速化することで、モーションブラーを軽減できる。その一方、ハイスピードカメラは高価であり、シャッター速度を高速化すると映像の輝度が低下するという問題がある。

そこで、オブジェクトにセンサを装着し、その動きを解析する技術が提案されている。例えば、特許文献１，２に記載の発明は、選手のウェアやリストバンドに装着した加速度センサから、そのプレー内容を機械学習で識別するものである。この従来技術によれば、テニスでのサーブやボレー等のプレー内容を自動判定することができる。しかし、特許文献１，２に記載の発明では、選手に装着したセンサが競技の妨げとなることが多く、実際の試合でセンサを用いることは現実的でない。

従って、オブジェクトにセンサを付けない技術も提案されている。例えば、特許文献３に記載の発明は、フェンシングの剣先に反射テープを貼り付け、その反射テープに赤外光を照射し、その反射光を赤外画像から検出することで、正確（頑健）にオブジェクトを追跡するものである。

特開２０１４−１８７４８１公報 特開２０１６−９７２２８号公報 特開２０１７−１５６７９６号公報

しかし、特許文献３に記載の発明では、オブジェクトが高速に移動した場合や反射テープがカメラに正対していない場合、反射テープからの反射光が微弱なため、赤外画像でのオブジェクト検出が困難となり、検出位置の欠落が生じてしまう。再び反射光が十分な光量となり追跡を再開できても、検出位置の欠落区間が長時間にわたると不自然な軌跡となり、オブジェクトの正確な軌道を表現することが困難である。

そこで、本発明は、検出位置が欠落した場合でも正確にオブジェクトを追跡できるオブジェクト追跡装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係るオブジェクト追跡装置は、赤外光マーカを付けて移動する１以上のオブジェクトを赤外光で撮影した赤外画像と、前記オブジェクトを可視光で撮影した可視画像とを用いて、前記オブジェクトを追跡するオブジェクト追跡装置であって、赤外光検出部と、位置データ生成部と、欠落区間特定部と、特徴点検出部と、位置データ補間部と、オブジェクト追跡部と、を備える構成とした。

かかる構成によれば、オブジェクト追跡装置は、赤外光検出部によって、前記赤外画像から前記赤外光マーカの領域を赤外光領域として検出する。
また、オブジェクト追跡装置は、位置データ生成部によって、前記赤外光領域を検出できたときは当該赤外光領域の検出位置又は前記赤外光領域を検出できないときは前記検出位置の欠落と、当該赤外光領域の検出対象となった赤外画像の時刻情報とが含まれる位置データを生成する。

また、オブジェクト追跡装置は、欠落区間特定部によって、前記位置データの欠落区間を特定し、特定した前記欠落区間の開始時刻から終了時刻までの時間長が予め設定した閾値以上であるか否かを判定する。

ここで、開始時刻直前及び終了時刻直後の赤外画像では、オブジェクトに付けた赤外光マーカの検出が成功している。従って、開始時刻及び終了時刻の可視画像では、それら赤外画像での検出位置周辺にオブジェクトが存在する可能性が高い。

そこで、オブジェクト追跡装置は、特徴点検出部によって、前記欠落区間の時間長が前記閾値以上の場合、前記開始時刻直前及び前記終了時刻直後の位置データから前記検出位置を取得し、取得した前記検出位置に基づいて画像領域を前記開始時刻及び前記終了時刻の可視画像に設定し、設定した前記画像領域から特徴点を検出する。

また、オブジェクト追跡装置は、位置データ補間部によって、前記開始時刻及び前記終了時刻の位置データを前記特徴点の検出位置で補間し、補間した前記位置データを前記欠落区間特定部に出力する。
また、オブジェクト追跡装置は、オブジェクト追跡部によって、前記欠落区間の時間長が前記閾値未満の場合、前記位置データに基づいて前記オブジェクトを追跡する。
そして、オブジェクト追跡装置は、前記欠落区間特定部によって、前記位置データ補間部から入力された位置データの欠落区間を特定する。

このように、オブジェクト追跡装置は、時刻順に特徴点を検出する訳でなく、オブジェクトが存在する可能性の高い開始時刻及び終了時刻の可視画像から特徴点を検出し、その特徴点の検出位置で位置データを補間する。そして、オブジェクト追跡装置は、位置データの欠落区間を両端から狭めるように前記処理を繰り返す。

本発明によれば、以下のような優れた効果を奏する。
本発明に係るオブジェクト追跡装置は、オブジェクトが存在する可能性の高い開始時刻及び終了時刻の可視画像から特徴点を検出し、その特徴点の検出位置で位置データを補間する。これにより、オブジェクト追跡装置は、検出位置が欠落した場合でも正確にオブジェクトを追跡することができる。

本発明の実施形態に係るオブジェクト追跡システムの概略構成図である。 剣先の拡大図である。 図１のオブジェクト追跡装置の構成を示すブロック図である。 （ａ）及び（ｂ）は位置データを説明する説明図である。 （ａ）及び（ｂ）はＦＡＳＴ特徴量を説明する説明図である。 軌跡合成画像の一例を説明する説明図である。 図３のオブジェクト追跡装置の動作を示すフローチャートである。 フェンシングの映像におけるモーションブラーを説明する説明図である。

［オブジェクト追跡システムの概略］
図１を参照し、本発明の実施形態に係るオブジェクト追跡システム１の概略について説明する。
以後の実施形態では、フェンシングにおいて、選手が持つ剣先（オブジェクト）を追跡対象として説明する。フェンシングの最中、両選手の剣先は、高速で移動することが多い。

オブジェクト追跡システム１は、可視光及び赤外光を同光軸で撮影可能な可視・赤外同光軸カメラ２０を利用して、高速で移動する２本の剣先位置を追跡し、その軌跡Ｃ（Ｃ_１，Ｃ_２）を描画するものである。図１に示すように、オブジェクト追跡システム１は、赤外光投光器１０と、可視・赤外同光軸カメラ２０と、オブジェクト追跡装置３０と、を備える。

赤外光投光器１０は、赤外光を投光する一般的な投光器である。
図２に示すように、この赤外光投光器１０が投光した赤外光は、両選手の剣先９０に付けた反射テープ（赤外光マーカ）９１で反射され、後記する可視・赤外同光軸カメラ２０で撮影される。

反射テープ９１は、赤外光投光器１０からの赤外線を反射するものである。この反射テープ９１は、剣先９０に１枚以上付ければよく、その大きさや枚数に特に制限はない。図２の例では、剣先９０は、その側面に矩形状の反射テープ９１を１枚付けている。ここで、剣先９０は、側面反対側に反射テープ９１を１枚追加してもよく、その側面を一周するように帯状の反射テープ９１を巻いてもよい（不図示）。

可視・赤外同光軸カメラ２０は、可視光と赤外光を同一光軸で撮影し、同一画素数の可視画像Ｉ及び赤外画像Ｈを生成するものである。本実施形態では、可視・赤外同光軸カメラ２０は、フェンシングの競技を撮影した可視画像Ｉと、剣先９０の反射テープ９１を撮影した赤外画像Ｈと、を生成する。ここで、可視画像Ｉの剣先９０と、赤外画像Ｈの反射テープ９１との画像座標が対応するため、３次元空間での視点変換を行うことなく軌跡Ｃを描画できる。

オブジェクト追跡装置３０は、可視・赤外同光軸カメラ２０から入力された赤外画像Ｈと可視画像Ｉとを用いて、両選手の剣先９０を追跡するものである。そして、オブジェクト追跡装置３０は、追跡した両選手の剣先９０の軌跡Ｃ_１，Ｃ_２を異なる色で描画し、描画した軌跡Ｃ_１，Ｃ_２を可視画像Ｉに合成することで、軌跡合成画像Ｆを生成する。
なお、図１では、左側の選手が持つ剣先９０の軌跡Ｃ_１を破線で図示し、右側の選手が持つ剣先９０の軌跡Ｃ_２を一点鎖線で図示した。

［オブジェクト追跡装置の構成］
図３を参照し、オブジェクト追跡装置３０の構成について説明する。
図３に示すように、オブジェクト追跡装置３０は、赤外光検出手段３１と、可視画像解析手段３３と、タイムコード連動型ＣＧ合成手段３５と、を備える。以下、タイムコード連動型ＣＧ合成手段３５をＴＣ連動型ＣＧ合成手段３５と略記する。

ここで、オブジェクト追跡装置３０は、時間方向に連続するフレーム１，…，ｔ−１，ｔ，…の赤外画像Ｈ及び可視画像Ｉが入力され、入力された赤外画像Ｈ及び可視画像Ｉに順次処理を施すこととする。以後、現在のフレーム（現フレーム）をｔとし、現フレームｔの赤外画像Ｈ及び可視画像Ｉを赤外画像Ｈ_ｔ及び可視画像Ｉ_ｔとする。この添え字ｔは、各画像や位置情報の時刻情報（例えば、タイムコードを表す）。

赤外光検出手段３１は、現フレームｔの赤外画像Ｈ_ｔから剣先９０を検出し、剣先９０の位置データを生成するものである。本実施形態では、赤外光検出手段３１は、赤外画像Ｈ_ｔに含まれる２つの剣先９０を検出し、剣先９０毎に位置データを生成する。この赤外光検出手段３１は、赤外光検出部３１１と、位置データ生成部３１３と、を備える。

赤外光検出部３１１は、可視・赤外同光軸カメラ２０より入力された赤外画像Ｈ_ｔから赤外光マーカの領域を赤外光領域として検出するものである。この赤外光検出部３１１は、任意の手法で赤外光領域を検出できる。以下、赤外光検出部３１１における赤外光領域の検出手法の一例を説明する。

本実施形態では、赤外画像Ｈ_ｔから反射テープ９１の領域を候補ブロブとして抽出する。そして、赤外光検出部３１１は、予め設定した面積及び形状特徴量の範囲内の候補ブロブを、予め設定したオブジェクト上限数だけ候補ブロブの面積が広い順に検出ブロブとして検出する。本実施形態では、オブジェクト上限数は、剣先９０と同数の‘２’に設定する。

まず、赤外光検出部３１１は、下記の式（１）を用いて、赤外画像Ｈ_ｔと、１つ前のフレームの赤外画像Ｈ_ｔ−１との２値赤外差分画像を生成することで、動オブジェクトの領域Ｑ_ｔのみを抽出する。つまり、赤外光検出部３１１は、赤外画像Ｈ_ｔの画素（ｘ_ｔ，ｙ_ｔ）の輝度値Ｈ^ｘｙ _ｔと、赤外画像Ｈ_ｔ−１の画素（ｘ_ｔ−１，ｙ_ｔ−１）の輝度値Ｈ^ｘｙ _ｔ−１との差分を求める。そして、赤外光検出部３１１は、求めた差分が予め設定した閾値Ｒ_ｂｒｉ２を超える動オブジェクトの領域Ｑ^ｘｙ _ｔを、候補ブロブとして抽出する。

ここで、ｘ，ｙは、水平及び垂直の画像座標を表す。また、閾値Ｒ_ｂｒｉ２は、任意の値で予め設定する。また、式（１）の‘０’、‘２５５’は、各画素の輝度値を表す。
なお、赤外光検出部３１１は、静止しているノイズブロブの発生を抑えるために２値赤外差分画像Ｑ^ｘｙ _ｔを生成したが、赤外画像Ｈ_ｔで輝度が高い領域を候補ブロブとして抽出してもよい。

次に、赤外光検出部３１１は、抽出した候補ブロブにモルフォロジ処理（オープニングモルフォロジ処理）を施し、小領域のノイズブロブを消去する。このモルフォロジ処理とは、画像をいくつかの方向に画素単位でずらした画像群と、もとの画像との画像間演算によって、小領域のノイズブロブを消去する処理である。

次に、赤外光検出部３１１は、モルフォロジ処理で残った候補ブロブにラベリング処理を施す。このラベリング処理とは、候補ブロブにラベル（番号）を割り当てる処理である。

次に、赤外光検出部３１１は、ラベリング処理を施した候補ブロブの位置、面積及び形状特徴量を求める。ここで、候補ブロブの位置は、候補ブロブの中心位置又は重心位置である。また、候補ブロブの形状特徴量は、円形度や外接矩形のアスペクト比とする。

そして、赤外光検出部３１１は、予め設定した最小面積から最大面積までの範囲内にない候補ブロブを消去する。さらに、赤外光検出部３１１は、形状特徴量が予め設定した範囲内にない候補ブロブを消去する。さらに、赤外光検出部３１１は、候補ブロブの数がオブジェクト上限数を超えている場合、面積が大きい２個の候補ブロブを検出ブロブとして残し、他の候補ブロブを消去する。

赤外光領域を検出できた場合（検出ブロブが残った場合）、赤外光検出部３１１は、赤外画像Ｈ_ｔの時刻情報に対応付けて、検出ブロブの位置を赤外光領域の検出位置として位置データ生成部３１３に出力する。
一方、赤外光領域を検出できない場合（検出ブロブが残らない場合）、赤外光検出部３１１は、赤外画像Ｈ_ｔの時刻情報と共に、赤外光領域が検出できないことを位置データ生成部３１３に通知する（検出失敗通知）。

位置データ生成部３１３は、赤外光検出部３１１から入力された赤外光領域の検出位置又は検出失敗通知と、赤外画像Ｈ_ｔの時刻情報とに基づいて、位置データＰ_ｔを生成するものである。そして、位置データ生成部３１３は、生成した位置データＰを欠落区間特定部３３１に出力する。

＜位置データ＞
以下、位置データを詳細に説明する。
この位置データＰ_ｔは、赤外光領域の位置情報と、赤外光領域の検出対象となった赤外画像Ｈ_ｔの時刻情報（タイムコード）とを対応付けた情報である。
本実施形態では、赤外光領域の位置情報は、剣先９０の検出位置を表す。ここで、赤外光領域の位置情報は、赤外光検出部３１１から赤外光領域の検出位置が入力された場合、その赤外光領域の画像座標（ｘ_ｔ，ｙ_ｔ）となる。一方、赤外光領域の位置情報は、赤外光検出部３１１から検出失敗通知が入力された場合、検出位置の欠落を示す画像座標（−１，−１）となる。

図４（ａ）に示すように、位置データＰの各行が、赤外画像Ｈ_ｔのタイムコードと、その赤外画像Ｈ_ｔに含まれる赤外光領域の位置情報とを表している。図４（ａ）の位置データＰでは、１行目〜４行目及び１０行目〜１１行目が赤外光領域の検出位置を表し、５行目〜９行目が検出位置の欠落を表す。

例えば、位置データＰの１行目は、赤外画像Ｈのタイムコードが「１０：２５：３０．２５」であり、赤外光領域の画像座標が（１２５０，３５０）である。また、位置データＰの５行目は、赤外画像Ｈのタイムコードが「１０：２５：３０．２９」であり、赤外光領域の画像座標が（−１，−１）なので、検出位置の欠落を表す。

なお、位置データＰは、オブジェクト毎に生成することとする。本実施形態では剣先９０が２つのため、図４の位置データＰが左側選手の剣先９０に対応し、右側選手の剣先９０に対応する位置データＰも別に生成する。

図３に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
可視画像解析手段３３は、位置データＰに含まれる欠落区間を特定し、欠落区間両端の可視画像から特徴点を検出し、位置データＰを補間するものである。この可視画像解析手段３３は、欠落区間特定部３３１と、特徴点検出部３３３と、位置データ補間部３３５と、を備える。

欠落区間特定部３３１は、位置データ生成部３１３又は位置データ補間部３３５から入力された位置データＰの欠落区間を特定し、特定した欠落区間の時間長ｄが閾値ｍ以上であるか否かを判定するものである。

まず、欠落区間特定部３３１は、位置データＰの各行を参照し、位置情報が連続して欠落している欠落区間を特定する。本実施形態では、欠落区間特定部３３１は、位置データＰで画像座標（−１，−１）が含まれる行を特定する。

次に、欠落区間特定部３３１は、画像座標（−１，−１）が連続する欠落区間のうち、最も先の時刻を欠落区間の開始時刻Ｔ_ＳＴとし、最も遅い時刻を欠落区間の終了時刻Ｔ_ＥＤとして求める。そして、欠落区間特定部３３１は、特定した欠落区間の開始時刻Ｔ_ＳＴから終了時刻Ｔ_ＥＤまでの時間長ｄを求める。

次に、欠落区間特定部３３１は、求めた欠落区間の時間長ｄが閾値ｍ以上であるか否かを判定する。この閾値ｍは、任意の値で予め設定されている（例えば、‘３’フレーム）。
時間長ｄが閾値ｍ以上の場合、欠落区間特定部３３１は、位置データＰと共に、求めた欠落区間の開始時刻Ｔ_ＳＴ及び終了時刻Ｔ_ＥＤを特徴点検出部３３３に出力する。
一方、時間長ｄが閾値ｍ未満の場合、欠落区間特定部３３１は、位置データＰを位置データ蓄積部３５１に書き込む。

特徴点検出部３３３は、欠落区間の時間長ｄが閾値ｍ以上の場合、位置データＰから開始時刻直前及び終了時刻直後の検出位置を取得し、取得した検出位置に基づいて、開始時刻及び終了時刻の可視画像Ｉ_ｔに画像領域を設定し、設定した画像領域から特徴点を検出するものである。この特徴点検出部３３３は、特徴点検出部３３３は、欠落区間特定部３３１から位置データＰが入力され、可視・赤外同光軸カメラ２０から可視画像Ｉ_ｔが入力される。

まず、特徴点検出部３３３は、欠落区間の開始時刻Ｔ_ＳＴから開始直前時刻Ｔ_ＳＴ−１を求める。この開始直前時刻Ｔ_ＳＴ−１は、開始時刻Ｔ_ＳＴの１つ前の時刻（タイムコード）を表す。また、特徴点検出部３３３は、欠落区間の終了時刻Ｔ_ＥＤから終了直後時刻Ｔ_ＥＤ＋１を求める。この終了直後時刻Ｔ_ＥＤ＋１は、終了時刻Ｔ_ＥＤの１つ後の時刻（タイムコード）を表す。

ここで、開始直前時刻Ｔ_ＳＴ−１及び終了直後時刻Ｔ_ＥＤ＋１の赤外画像Ｈでは、剣先９０の検出に成功している。このため、開始時刻Ｔ_ＳＴの可視画像Ｉ_ＳＴにおいて、開始直前時刻Ｔ_ＳＴ−１の検出位置（ｘ_ＳＴ-１，ｙ_ＳＴ-１）の周辺に剣先９０が存在する可能性が高い。これと同様、終了時刻Ｔ_ＥＤの可視画像Ｉ_ＥＤにおいても、終了直後時刻Ｔ_ＥＤ＋１の検出位置（ｘ_ＥＤ＋１，ｙ_ＥＤ＋１）の周辺に剣先９０が存在する可能性が高い。

そこで、特徴点検出部３３３は、開始直前時刻Ｔ_ＳＴ−１の位置データＰ_ＳＴ−１から検出位置（ｘ_ＳＴ-１，ｙ_ＳＴ-１）を取得し、その検出位置（ｘ_ＳＴ-１，ｙ_ＳＴ-１）を基準とした画像領域（探索領域）を可視画像Ｉ_ＳＴに設定する。この画像領域は、検出位置を中心として任意の形状及びサイズで設定可能であり、例えば、縦１６０画素×横１６０画素の矩形領域である。
また、特徴点検出部３３３は、終了直後時刻Ｔ_ＥＤ＋１の位置データＰ_ＥＤ＋１から検出位置（ｘ_ＥＤ＋１，ｙ_ＥＤ＋１）を取得し、その検出位置（ｘ_ＥＤ＋１，ｙ_ＥＤ＋１）を基準とした画像領域を可視画像Ｉ_ＥＤに設定する。

次に、特徴点検出部３３３は、この画像領域において、下記の式（２）を用いて、可視画像Ｉ_ｔと、１つ前のフレームの可視画像Ｉ_ｔ−１との差分画像Ｓ_ｔを生成する。つまり、特徴点検出部３３３は、可視画像Ｉ_ｔの画素（ｘ_ｔ，ｙ_ｔ）の輝度値Ｉ^ｘｙ _ｔと、可視画像Ｉ_ｔ−１の画素（ｘ_ｔ−１，ｙ_ｔ−１）の輝度値Ｉ^ｘｙ _ｔ−１との差分が、予め設定した閾値Ｒ_ｂｒｉを超える差分画像Ｓ^ｘｙ _ｔを抽出する。

なお、式（２）を可視画像Ｉ_ＳＴに適用する際はｔ＝ＳＴとし、式（２）を可視画像Ｉ_ＥＤに適用する際はｔ＝ＥＤとする。また、閾値Ｒ_ｂｒｉは、任意の値で予め設定する。
また、特徴点検出部３３３は、赤外光検出部３１１と同様、差分画像Ｓ_ｔにオープニングモルフォロジ処理を施し、小領域のノイズブロブを除去してもよい。

特徴点を差分画像Ｓ_ｔから検出することで、固定カメラ映像の場合、静止したノイズブロブの発生を抑制することができる。動カメラ映像の場合、カメラの動きによる差分が生じるため、差分画像Ｓ_ｔを利用する効果が低減する。その場合、特徴点検出部３３３は、エッジ画像を作成し、エッジ値の高い画像領域から特徴点を検出してもよい。さらに、特徴点検出部３３３は、２値化を行わず、差分値、エッジ値又は輝度値をそのまま利用して特徴点を検出してもよい。

次に、特徴点検出部３３３は、可視画像Ｉ_ＳＴに設定した差分画像Ｓ^ｘｙ _ＳＴから特徴点を検出し、検出した特徴点の中から、開始直前時刻Ｔ_ＳＴ−１における赤外光領域の検出位置（ｘ_ＳＴ-１，ｙ_ＳＴ-１）に最も近い特徴点を、開始時刻Ｔ_ＳＴの特徴点として取得する。
さらに、特徴点検出部３３３は、可視画像Ｉ_ＥＤに設定した差分画像Ｓ^ｘｙ _ＥＤから特徴点を検出し、検出した特徴点の中から、終了直後時刻Ｔ_ＥＤ＋１における赤外光領域の検出位置（ｘ_ＥＤ＋１，ｙ_ＥＤ＋１）に最も近い特徴点を、終了時刻Ｔ_ＥＤの特徴点として取得する。
その後、特徴点検出部３３３は、取得した開始時刻Ｔ_ＳＴ及び終了時刻Ｔ_ＥＤの特徴点の位置を位置データ補間部３３５に出力する。

前記した特徴点の検出手法としては、ＳＩＦＴ（Scale Invariant Feature Transform）やＳＵＲＦ（Speeded Up Robust Features）等が代表的であるが、特徴点検出部３３３は、どのような特徴点の検出手法を用いてもよい。本実施形態では、以下の参考文献に記載のＦＡＳＴ（Features from Accelerated Segment Test）特徴量を用いることとする。

参考文献：Edward Rosten and Tom Drummond，”Machine learning for high-speed corner detection,” In Proc. of European Conference on Computer Vision (ECCV2006)，pp.430-443，2006．

＜ＦＡＳＴ特徴量＞
このＦＡＳＴ特徴量は、コーナーのみを特徴点の対象とし、決定木により高速かつ効率的に特徴点を検出する。ここでは、図５（ａ）の可視画像ＩからＦＡＳＴ特徴量を検出することとして説明する。ＦＡＳＴ特徴量では、図５（ｂ）に示すように、注目画素ｐの周囲１６箇所の画素を観測する。そして、ＦＡＳＴ特徴量では、注目画素ｐの画素値と比較して、１６個の観測画素のうち、連続してｎ個以上の画素値が閾値ｔ以上明るくなる又は暗くなる場合、その注目画素ｐをコーナーとして検出する（但し、ｎは１以上の自然数）。
なお、図５（ｂ）では、可視画像Ｉの注目画素をｐ、観測画素を１〜１６の数値で図示した。

ＦＡＳＴ特徴量では、再現性の高い特徴点を高速かつ効率的に検出するために決定木を用いる。下記の式（３）に示すように、１６個の観測画素を明るい(brighter)、類似(similar)、又は、暗い(darker)の３値に分類する。
なお、式（３）では、Ｉ_ｐが注目画素ｐの輝度値、ｘが観測画素の位置、Ｉ_ｐ→ｘが観測画素の輝度値、ｔが閾値を表す。

３値に分類した観測画素を特徴ベクトルとし、観測画素の画素値が連続してｎ個以上、明るい(brighter)又は暗い(darker)のという条件を満たすとき、コーナーとして検出する。一方、この条件を満たさないとき、非コーナーとして扱う。このように決定木を構築し、コーナー及び非コーナーを最適に分類できる円上の観測画素を分岐ノードとして選択する処理を再帰的に行い、全体の木構造を得る。

多くの特徴点検出手法では、特徴点らしさを表すレスポンス値の局所最大値を抽出することで、隣接して検出される特徴点の中で有効な画素のみを検出する。しかし、ＦＡＳＴ特徴量では、レスポンス値を抽出しないため、以下の式（４）でレスポンス値Ｖを算出する。隣接して検出されたコーナー点の中で、最もレスポンス値Ｖが高い画素をコーナー点とすることで、互いに離れたコーナー点を検出できる。

図３に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
位置データ補間部３３５は、開始時刻Ｔ_ＳＴ及び終了時刻Ｔ_ＥＤの位置データＰを、特徴点検出部３３３から入力された特徴点の検出位置で補間するものである。つまり、検出位置が欠落している位置データＰを、特徴点検出部３３３が検出した特徴点の位置で更新する。

続いて、位置データ補間部３３５は、補間した位置データＰを欠落区間特定部３３１に出力する。
すると、欠落区間特定部３３１は、位置データ補間部３３５より入力された位置データＰから欠落区間を再び特定する。その後、可視画像解析手段３３は、前記した処理を繰り返す。

＜位置データの補間＞
図４を参照し、可視画像解析手段３３による位置データの補間を具体例に説明する（適宜図３参照）。
ここでは、図４（ａ）の位置データＰが入力され、閾値ｍが‘３’フレームであることとする。

まず、図４（ａ）の位置データＰにおける１回目の補間を説明する。
欠落区間特定部３３１は、この位置データＰの各行を参照し、画像座標（−１，−１）が連続している５行目〜９行目を欠落区間として特定する。そして、欠落区間特定部３３１は、５行目〜９行目の欠落区間のうち、最も先の時刻「１０：２５：３０．２９」を開始時刻Ｔ_ＳＴとし、最も遅い時刻「１０：２５：３１．０３」を終了時刻Ｔ_ＥＤとして求める。

次に、欠落区間特定部３３１は、欠落区間の開始時刻Ｔ_ＳＴ「１０：２５：３０．２９」から終了時刻Ｔ_ＥＤ「１０：２５：３１．０３」までの時間長ｄを‘５’フレームと算出し、欠落区間の時間長ｄと閾値ｍとの閾値判定を行う。ここで、欠落区間特定部３３１は、時間長ｄ＝‘５’が閾値ｍ＝‘３’以上なので、位置データＰと、開始時刻Ｔ_ＳＴ「１０：２５：３０．２９」及び終了時刻Ｔ_ＥＤ「１０：２５：３１．０３」とを特徴点検出部３３３に出力する。

特徴点検出部３３３は、開始時刻Ｔ_ＳＴ「１０：２５：３０．２９」の１フレーム前である開始直前時刻Ｔ_ＳＴ−１「１０：２５：３０．２８」を算出する。また、特徴点検出部３３３は、終了時刻Ｔ_ＥＤ「１０：２５：３１．０３」の１フレーム後である終了直後時刻Ｔ_ＥＤ＋１「１０：２５：３１．０４」を算出する。そして、特徴点検出部３３３は、開始直前時刻Ｔ_ＳＴ−１の位置データＰから画像座標（１２５５，３４４）を取得し、終了直後時刻Ｔ_ＥＤ＋１の位置データＰから画像座標（１２６５，３３１）を取得する。

次に、特徴点検出部３３３は、開始時刻Ｔ_ＳＴの可視画像Ｉ_ＳＴに画像座標（１２５５，３４４）を中心とした画像領域を設定し、この画像領域から特徴点を検出する。さらに、特徴点検出部３３３は、終了時刻Ｔ_ＥＤの可視画像Ｉ_ＥＤに画像座標（１２６５，３３１）を中心とした画像領域を設定し、この画像領域から特徴点を検出する。

位置データ補間部３３５は、図４（ａ）の位置データＰにおいて、開始時刻Ｔ_ＳＴの画像座標（−１，−１）を特徴点の画像座標（１２５６，３４３）で更新する。また、位置データ補間部３３５は、終了時刻Ｔ_ＥＤの画像座標（−１，−１）を特徴点の画像座標（１２６４，３３１）で更新する。

続いて、図４（ｂ）の位置データＰにおける２回目の補間を説明する。
欠落区間特定部３３１は、この位置データＰの各行を参照し、画像座標（−１，−１）が連続している６行目〜８行目を欠落区間として特定し、開始時刻Ｔ_ＳＴ「１０：２５：３１．００」及び終了時刻Ｔ_ＥＤ「１０：２５：３１．０２」を求める。

次に、欠落区間特定部３３１は、欠落区間の時間長ｄ＝‘３’が閾値ｍ＝‘３’以上なので、位置データＰと、開始時刻Ｔ_ＳＴ「１０：２５：３１．００」及び終了時刻Ｔ_ＥＤ「１０：２５：３１．０２」とを特徴点検出部３３３に出力する。

特徴点検出部３３３は、開始直前時刻Ｔ_ＳＴ−１「１０：２５：３０．２９」及び終了直後時刻Ｔ_ＥＤ＋１「１０：２５：３１．０３」を算出する。そして、特徴点検出部３３３は、開始直前時刻Ｔ_ＳＴ−１の位置データＰから画像座標（１２５６，３４３）を取得し、終了直後時刻Ｔ_ＥＤ＋１の位置データＰから画像座標（１２６４，３３１）を取得する。

次に、特徴点検出部３３３は、開始時刻Ｔ_ＳＴの可視画像Ｉ_ＳＴに画像座標（１２５６，３４３）を中心とした画像領域を設定し、この画像領域から特徴点を検出する。さらに、特徴点検出部３３３は、終了時刻Ｔ_ＥＤの可視画像Ｉ_ＥＤに画像座標（１２６４，３３１）を中心とした画像領域を設定し、この画像領域から特徴点を検出する。

位置データ補間部３３５は、図４（ｂ）の位置データＰにおいて、開始時刻Ｔ_ＳＴ及び終了時刻Ｔ_ＥＤの画像座標（−１，−１）を、特徴点検出部３３３が検出した特徴点の画像座標で更新する。

このように、可視画像解析手段３３は、オブジェクトを高確率で検出可能な開始時刻Ｔ_ＳＴの可視画像Ｉ_ＳＴ及び終了時刻Ｔ_ＥＤの可視画像Ｉ_ＥＤからオブジェクトを検出し、徐々に位置データＰの欠落区間を狭めていくことで、正確な位置データＰを生成することができる。

なお、図４の位置データＰでは欠落区間が１つであることとして説明したが、位置データＰに複数の欠落区間が含まれる場合もある。この場合、可視画像解析手段３３は、前記した処理をそれぞれの欠落区間に適用すればよい。
また、位置データは、図４の例に限定されないことは言うまでもない。

図３に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
ＴＣ連動型ＣＧ合成手段３５は、可視・赤外同光軸カメラ２０から入力された可視画像Ｉ_ｔのタイムコードＴ_ｔをトリガとして、蓄積した位置データＰからオブジェクトの位置座標を取得して軌跡を描画し、描画した軌跡を可視画像Ｉ_ｔに合成するものである。

通常、プレイバックのスローＶＴＲは、生映像やリアルタイムで生成したＣＧ映像をＶＴＲに収録し、使用するタイミングで巻き戻してから再生する。しかし、ＣＧ映像をリアルタイムで生成できない場合、位置データＰを補間した後、ＶＴＲに収録した可視画像Ｉを再生して軌跡を描画する必要がある。この場合、一定の作業時間が必要となり効率が損なわれる。そのため、ＶＴＲに収録した映像の再生に同期したタイミングで軌跡を描画し、その場でＣＧを合成することが好ましい。

図３に示すように、ＴＣ連動型ＣＧ合成手段３５は、位置データ蓄積部３５１と、軌跡描画部（オブジェクト追跡部）３５３と、を備える。
位置データ蓄積部３５１は、位置データＰを蓄積するＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリ等の記憶装置である。この位置データＰは、欠落区間特定部３３１によって書き込まれ、軌跡描画部３５３によって参照される。

軌跡描画部３５３は、可視・赤外同光軸カメラ２０から入力された可視画像Ｉ_ｔの時刻情報に対応する位置データＰ_ｔを位置データ蓄積部３５１から読み出す。そして、軌跡描画部３５３は、読み出した位置データＰ_ｔの画素（ｘ_ｔ，ｙ_ｔ）に剣先９０の軌跡を描画し、描画した軌跡及び可視画像Ｉ_ｔを合成した軌跡合成画像Ｆ_ｔを外部に出力するものである。

例えば、軌跡描画部３５３は、両選手の剣先９０の軌跡Ｃ_１，Ｃ_２を異なる色で描画し、描画した軌跡Ｃ_１，Ｃ_２を可視画像Ｉ_ｔに合成することで、軌跡合成画像Ｆ_ｔを生成する。ここで、左側選手の剣先９０の検出に失敗している場合でも位置データＰが補間されるので、軌跡描画部３５３は、図６に示すように、左側選手の剣先９０の軌跡Ｃ_１を描画できる。
なお、図６では矩形βは特徴点検出部３３３が設定した画像領域を表し、円γは赤外光検出部３１１が検出した剣先９０を表す。

［オブジェクト追跡装置の動作］
図７を参照し、オブジェクト追跡装置３０の動作について説明する（適宜図３参照）。
図７に示すように、赤外光検出部３１１は、２値赤外差分画像を生成し、抽出した候補ブロブにモルフォロジ処理を施す（ステップＳ１）。

赤外光検出部３１１は、モルフォロジ処理で残った候補ブロブにラベリング処理を施し、候補ブロブの位置、面積及び形状特徴量を求める。そして、赤外光検出手段３１は、面積及び形状特徴量を基準にフィルタリングし、検出ブロブ（赤外光領域）を検出する（ステップＳ２）。
位置データ生成部３１３は、赤外光領域の検出位置と、赤外画像の時刻情報とを対応付けた位置データを生成する（ステップＳ３）。

欠落区間特定部３３１は、位置データから欠落区間の開始時刻Ｔ_ＳＴ及び終了時刻Ｔ_ＥＤを取得し、その開始時刻Ｔ_ＳＴから終了時刻Ｔ_ＥＤまでの時間長ｄを求める（ステップＳ４）。
欠落区間特定部３３１は、欠落区間の時間長ｄが閾値ｍ以上であるか否かを判定する（ステップＳ５）。

時間長ｄが閾値ｍ以上の場合（ステップＳ５でＹｅｓ）、特徴点検出部３３３は、位置データから、開始直前時刻Ｔ_ＳＴ−１及び終了直後時刻Ｔ_ＥＤ＋１の検出位置を取得する（ステップＳ６）。
特徴点検出部３３３は、可視画像に、開始直前時刻Ｔ_ＳＴ−１及び終了直後時刻Ｔ_ＥＤ＋１の検出位置を基準とした画像領域を設定する（ステップＳ７）。

特徴点検出部３３３は、可視画像に設定した画像領域内の特徴点を検出する（ステップＳ８）。
位置データ補間部３３５は、過去の検出位置に最も近い特徴点で位置データを補間し（ステップＳ９）、ステップＳ４の処理に戻る。

時間長ｄが閾値ｍ未満の場合（ステップＳ５でＮｏ）、欠落区間特定部３３１は、位置データを位置データ蓄積部３５１に書き込む。
軌跡描画部３５３は、可視・赤外同光軸カメラ２０から入力された可視画像の時刻情報に対応する位置データを位置データ蓄積部３５１から読み出す（ステップＳ１０）。
軌跡描画部３５３は、読み出した位置データの検出位置に応じて、オブジェクトの軌跡を描画し、描画した軌跡を可視画像に合成する（ステップＳ１１）。

［作用・効果］
本発明の実施形態に係るオブジェクト追跡装置３０は、剣先９０が存在する可能性の高い開始時刻Ｔ_ＳＴ及び終了時刻Ｔ_ＥＤの可視画像から特徴点を検出し、その特徴点の検出位置で位置データを補間する。これにより、オブジェクト追跡装置３０は、検出位置が欠落する場合でも正確に剣先９０の軌跡を描画することができる。

さらに、オブジェクト追跡装置３０は、剣先９０にセンサを付けることなく、高速で移動する剣先９０を確実に追跡し、正確な軌跡を描画することができる。つまり、オブジェクト追跡装置３０は、肉眼や通常のカメラ映像上での視認が難しい高速移動オブジェクトの動きを可視化することが可能である。このオブジェクト追跡装置３０は、肉眼では確認できないほど高速で移動するフェンシングの剣先９０について、その動きを映像で表現できる。これにより、オブジェクト追跡装置３０は、フェンシングにおける剣先９０の軌跡描画が可能になると共に、軌跡描画の品質を向上させることができる。

以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
オブジェクト追跡装置で補間した位置データは、その利用方法が特に制限されず、軌跡の描画以外にも利用することができる。

前記した実施形態では、オブジェクト追跡装置は、可視・赤外同光軸カメラから可視画像及び赤外画像が入力されることとして説明したが、これに限定されない。つまり、オブジェクト追跡装置は、他の画像処理装置の後段に配置され、他の画像処理装置で追跡に失敗した可視画像及び赤外画像が入力されてもよい。

前記した実施形態では、フェンシングを一例として説明したが、オブジェクト追跡装置の適用対象は、これに限定されない。つまり、オブジェクト追跡装置は、テニス、バドミントン、バレーボール等のスポーツにも適用することができる。

さらに、オブジェクト追跡装置は、軌跡を異なる色で描かない場合、選手の位置が入れ換わるスポーツにも適用することができる。例えば、オブジェクト追跡装置は、バドミントンのシャトルを追跡し、その軌跡を描画することができる。この他、オブジェクト追跡装置は、オーケストラにおける指揮棒の軌跡や、ドラマや映画における刀等の軌跡を描画することができる。

オブジェクト追跡装置は、追跡対象となるオブジェクトの移動速度が特に制限されず、特に、モーションブラーが発生する移動速度でも確実に追跡可能である。この移動速度は、可視・近赤外同光軸カメラとオブジェクトとの距離、可視・近赤外同光軸カメラの撮影画角及び感度、ノイズ量に大きく依存する。例えば、時間解像度が３０フレーム／秒の場合、移動速度が１００ｋｍ／ｈを超えたあたりで、モーションブラーが多くなる。

前記した実施形態では、オブジェクト追跡装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、オブジェクト追跡装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるオブジェクト追跡プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本発明は、フェンシング等のスポーツシーンの映像解析に利用することができる。また、本発明は、映画、ゲームやドラマの制作にも利用することができる。さらに、本発明は、工業やセキュリティシステムにも利用することができる。

１ オブジェクト追跡システム
１０ 赤外光投光器
２０ 可視・赤外同光軸カメラ
３０ オブジェクト追跡装置
３１ 赤外光検出手段
３１１ 赤外光検出部
３１３ 位置データ生成部
３３ 可視画像解析手段
３３１ 欠落区間特定部
３３３ 特徴点検出部
３３５ 位置データ補間部
３５ タイムコード連動型ＣＧ合成手段（ＴＣ連動型ＣＧ合成手段）
３５１ 位置データ蓄積部
３５３ 軌跡描画部（オブジェクト追跡部）
９０ 剣先
９１ 反射テープ（赤外光マーカ）

Claims (4)

1. 赤外光マーカを付けて移動する１以上のオブジェクトを赤外光で撮影した赤外画像と、前記オブジェクトを可視光で撮影した可視画像とを用いて、前記オブジェクトを追跡するオブジェクト追跡装置であって、
   前記赤外画像から前記赤外光マーカの領域を赤外光領域として検出する赤外光検出部と、
   前記赤外光領域を検出できたときは当該赤外光領域の検出位置又は前記赤外光領域を検出できないときは前記検出位置の欠落と、当該赤外光領域の検出対象となった赤外画像の時刻情報とが含まれる位置データを生成する位置データ生成部と、
   前記位置データの欠落区間を特定し、特定した前記欠落区間の開始時刻から終了時刻までの時間長が予め設定した閾値以上であるか否かを判定する欠落区間特定部と、
   前記欠落区間の時間長が前記閾値以上の場合、前記開始時刻直前及び前記終了時刻直後の位置データから前記検出位置を取得し、取得した前記検出位置に基づいて画像領域を前記開始時刻及び前記終了時刻の可視画像に設定し、設定した前記画像領域から特徴点を検出する特徴点検出部と、
   前記開始時刻及び前記終了時刻の位置データを前記特徴点の検出位置で補間し、補間した前記位置データを前記欠落区間特定部に出力する位置データ補間部と、
   前記欠落区間の時間長が前記閾値未満の場合、前記位置データに基づいて前記オブジェクトを追跡するオブジェクト追跡部と、を備え、
   前記欠落区間特定部は、前記位置データ補間部から入力された位置データの欠落区間を特定することを特徴とするオブジェクト追跡装置。
2. 前記位置データを蓄積する位置データ蓄積部、をさらに備え、
   前記欠落区間特定部は、前記欠落区間の時間長が前記閾値未満の場合、前記位置データを前記位置データ蓄積部に書き込み、
   前記オブジェクト追跡部として、前記可視画像の時刻情報に対応する位置データを前記位置データ蓄積部から取得し、取得した前記位置データの検出位置に基づいて前記オブジェクトの軌跡を描画し、描画した前記軌跡を前記可視画像に合成する軌跡描画部、を備えることを特徴とする請求項１に記載のオブジェクト追跡装置。
3. 前記特徴点検出部は、前記画像領域からＦＡＳＴ特徴量を検出することを特徴とする請求項１又は請求項２に記載のオブジェクト追跡装置。
4. コンピュータを、請求項１から請求項３の何れか一項に記載のオブジェクト追跡装置として機能させるためのオブジェクト追跡プログラム。

Images