JP6822906B2

JP6822906B2 - 変換行列算出装置、位置推定装置、変換行列算出方法および位置推定方法

Info

Publication number: JP6822906B2
Application number: JP2017122846A
Authority: JP
Inventors: 小林　大祐; 大祐小林; 俊信中洲; 梓帆美高橋; 一成大内
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2017-06-23
Filing date: 2017-06-23
Publication date: 2021-01-27
Anticipated expiration: 2037-06-23
Also published as: US10657658B2; EP3417919A1; US20180374222A1; JP2019008507A; EP3417919B1

Description

本発明の実施形態は、変換行列算出装置、位置推定装置、変換行列算出方法および位置推定方法に関する。

カメラで撮影された映像を解析し、映像中の移動体を追跡してその動きを分析する技術がある。例えば、スポーツ映像解析においては、サッカーやラグビーなどの試合の様子を撮影した映像を用いて選手やボールの動きを分析し、試合におけるシーンの解析や、チーム強化のための情報として利用したりすることが行われている。

移動体の動きを正しく分析するためには、移動体の時刻ごとの位置を精度良く推定することが重要となる。しかし、カメラで撮影された映像では、隠蔽（オクルージョン）によって追跡する移動体を検出できない時間帯があったり、移動体がカメラの撮影範囲外に移動して映像から検出できない時間帯があったりする。このため、カメラで撮影された映像のみを用いて移動体の時刻ごとの位置を精度良く推定することが難しく、改善が求められている。

特開２０１６−９９９４１号公報特開２０１３−２５１８００号公報

相澤将吾，橋本敦史，飯山将晃，野中敬介，三功浩嗣，美濃導彦、"選手の移動軌跡の類似性を利用したサッカー映像における隠蔽区間補間の検討"、信学技法（ＭＶＥ）vol.115，no.495、pp.241-242、2016

本発明が解決しようとする課題は、移動体の時刻ごとの位置を精度良く推定できる変換行列算出装置、位置推定装置、変換行列算出方法および位置推定方法を提供することである。

実施形態の変換行列算出装置は、第１軌跡生成部と、第２軌跡生成部と、軌跡照合部と、算出部と、を備える。第１軌跡生成部は、映像から検出された移動体の第１座標系における移動軌跡である第１軌跡を生成する。第２軌跡生成部は、位置センサが出力する位置情報の時系列データから、当該位置センサを保持する移動体の第２座標系における移動軌跡である第２軌跡を生成する。軌跡照合部は、前記第１軌跡と前記第２軌跡の類似度に基づいて、同一の移動体の移動軌跡と推定される前記第１軌跡と前記第２軌跡とを対応付ける。算出部は、対応付けられた前記第１軌跡と前記第２軌跡とを用いて、前記第２座標系を前記第１座標系に変換する変換行列を算出する。前記位置センサを保持する移動体を識別する固有情報が前記位置センサに対応付けられている。前記軌跡照合部は、映像から移動体とともに当該移動体の固有情報が検出された場合は、当該移動体の前記第１軌跡と、当該移動体の固有情報に対応付く前記位置センサが出力する位置情報の時系列データから生成された前記第２軌跡とを対応付ける。

実施形態の位置推定装置の構成例を示すブロック図。映像から選手が検出された様子を示す図。射影変換行列の算出方法の一例を説明する図。映像から検出された選手の位置をフィールド座標系にマッピングした様子を示す図。第１軌跡の一例を示す図。第２軌跡の一例を示す図。２つの第１軌跡の間の軌跡が途切れている時間帯を第２軌跡で補間する例を説明する図。２つの第１軌跡の間の軌跡が途切れている時間帯を第２軌跡で補間する例を説明する図。タイムスタンプの時刻差を算出する様子を示す図。実施形態の位置推定装置の動作例を示すフローチャート。

以下に添付図面を参照して、実施形態の変換行列算出装置、位置推定装置、変換行列算出方法および位置推定方法について詳しく説明する。以下では、スポーツ映像解析への適用例を想定し、試合中の選手（「移動体」の一例）のフィールド座標系（「第１座標系」の一例）における時刻ごとの位置を推定する例を説明する。フィールド座標系とは、試合が行われるフィールドの所定の位置（例えば、サイドラインとエンドラインの交点のうちの１つなど）を原点とし、この原点からのｘ方向（例えば、サイドラインに平行な方向）およびｙ方向（例えば、エンドラインに平行な方向）の距離（例えば、メートル単位での距離）により、フィールド上の各位置を表す座標系である。

試合の様子は、例えば１台のカメラにより撮影されている。このカメラの撮影範囲は、試合が行われるフィールド全体よりも小さい。また、試合に出場する選手のうち少なくとも一部の選手には、地理座標系（「第２座標系」の一例）における位置を示す位置情報を一定間隔で出力するＧＰＳ（Global Positioning System）センサなどの位置センサが装着されているものとする。地理座標系は、緯度・経度により位置を表す座標系である。

本実施形態では、試合終了後に位置推定装置による後述の処理が行われるものとする。すなわち、カメラにより撮影された試合中の映像や、試合中に位置センサが出力した位置情報の時系列データは、例えば本実施形態の位置推定装置の外部にある外部装置に格納される。そして、本実施形態の位置推定装置が後述の処理を実行する際に、カメラにより撮影された試合の映像や位置センサが出力する位置情報の時系列データを外部装置から取得するものとする。なお、本実施形態の位置推定装置が、カメラや位置センサから試合の映像や位置情報の時系列データを直接取得する構成であってもよい。この場合、位置推定装置の内部の記憶回路に映像や位置情報の時系列データを一旦格納し、試合終了後に後述の処理を行ってもよいし、試合中にリアルタイムで後述の処理を行うことも可能である。

図１は、本実施形態の位置推定装置１の構成例を示すブロック図である。この位置推定装置１は、例えば専用または汎用コンピュータを用いて構成され、図１に示すように、処理回路１０、記憶回路２０、通信部３０、各部を接続するバス４０を備える。この位置推定装置１には、入力装置５０やディスプレイ６０などが有線または無線により接続されている。また、位置推定装置１は、通信部３０を介して外部装置７０に接続されている。

処理回路１０は、検出機能１１と、第１軌跡生成機能１２と、第２軌跡生成機能１３と、軌跡照合機能１４と、算出機能１５と、推定機能１６とを有する。これらの各処理機能の具体的な内容については後述する。なお、図１では、本実施形態に関わる主要な処理機能を例示しているが、これらの処理機能に加えて他の処理機能を処理回路１０がさらに有する構成であってもよい。

位置推定装置１において実行される各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路２０に記憶されている。処理回路１０は、記憶回路２０からプログラムを読み出して実行することで、各プログラムに対応する処理機能を実現するプロセッサである。各プログラムを読み出した状態の処理回路１０は、図１に示した各処理機能を有することになる。

なお、図１では、単一の処理回路１０により検出機能１１、第１軌跡生成機能１２、第２軌跡生成機能１３、軌跡照合機能１４、算出機能１５および推定機能１６の各処理機能が実現されるものとして図示しているが、複数の独立したプロセッサを組み合わせて処理回路１０を構成しても構わない。この場合、各処理機能がプログラムとして構成されてもよいし、特定の機能が専用の独立したプログラム実行回路に実装されてもよい。

上述の「プロセッサ」は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphical Processing Unit）などの汎用プロセッサ、あるいは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））などの回路を意味する。プロセッサは記憶回路２０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路２０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

記憶回路２０は、処理回路１０の各処理機能に伴うデータなどを必要に応じて記憶する。本実施形態の記憶回路２０は、処理回路１０の各処理機能を実現するためのプログラムと、通信部３０を介して外部装置７０から取得された試合中の映像や位置情報の時系列データなどを記憶する。例えば、記憶回路２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどである。また、記憶回路２０は、位置推定装置１の外部の記憶装置で代替されてもよい。記憶回路２０は、ＬＡＮ（Local Area Network）やインターネットなどにより伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体であってもよい。また、記憶媒体は１つに限らず、複数の媒体から構成されてもよい。

通信部３０は、有線または無線で接続された外部装置７０から、カメラにより撮影された試合中の映像や、選手に装着された位置センサがその試合中に出力した位置情報の時系列データなどを取得し、記憶回路２０に格納する。通信部３０は、ネットワークに接続して外部装置７０と通信を行い、これら映像や位置情報の時系列データなどを取得する構成であってもよい。

入力装置５０は、操作者からの各種指示や情報入力を受け付ける。入力装置５０は、例えば、マウスやトラックボールなどのポインティングデバイス、あるいはキーボードなどの入力デバイスである。

ディスプレイ６０は、例えば液晶表示器などの表示デバイスであり、各種の情報を表示する。本実施形態では、カメラにより撮影された試合中の映像やその映像を加工した映像などを表示することができる。

次に、処理回路１０が有する各処理機能について説明する。処理回路１０は、例えば入力装置５０を用いた操作者の指示に応じて記憶回路２０から試合中の映像および位置情報の時系列データと各プログラムとを読み出し、以下で説明する検出機能１１、第１軌跡生成機能１２、第２軌跡生成機能１３、軌跡照合機能１４、算出機能１５および推定機能１６の各処理機能による処理を順次実行する。なお、以下で説明する各処理機能による一連の処理は、試合が行われた全ての時間帯を所定の単位時間（例えば１分間）で区切った上で、単位時間ごとに行われるものとする。

検出機能１１は、カメラにより撮影された試合中の映像から移動体である選手を検出する。検出機能１１は、画像処理技術として既知の物体検出アルゴリズムを用いて、試合中の映像から選手を検出すればよい。検出機能１１により映像から選手が検出された様子を図２に示す。図中の矩形で示す領域が物体検出領域であり、映像から試合中の選手が検出されていることが分かる。検出機能１１は、映像の各フレームあるいはフレーム間の動き量が基準値を超えるたびに、映像から選手を検出する処理を繰り返す。

第１軌跡生成機能１２は、検出機能１１により映像から検出された選手のフィールド座標系における移動軌跡である第１軌跡を生成する。第１軌跡生成機能１２は、まず、映像中の特徴点とフィールド上の特徴点との対応付けにより、映像の座標系をフィールド座標系に射影変換するための射影変換行列を算出する。図３は、射影変換行列の算出方法の一例を説明する図である。図３の例では、フィールド上の特定のラインで囲まれた長方形の４つの角を特徴点とし、映像上の４つの角Ｐ１，Ｐ２，Ｐ３，Ｐ４の座標をそれぞれフィールド座標系における４つの角Ｐ１’，Ｐ２’，Ｐ３’，Ｐ４’の座標に変換する射影変換行列を算出する例を示している。なお、フィールド座標系のハッチングを付した領域は、カメラの撮影範囲外の撮影されない領域を示している。

次に、第１軌跡生成機能１２は、検出機能１１により映像から検出された選手の位置を、射影変換行列を用いてフィールド座標系にマッピングすることにより、フィールド座標系における選手の位置を推定する。図４は、映像から検出された選手の位置をフィールド座標系にマッピングした様子を示す図であり、図２に示した選手の映像上の位置をフィールド座標系にマッピングした様子を示している。

第１軌跡生成機能１２は、検出機能１１により映像から選手が検出されるたびに、射影変換行列を用いたマッピングによりその選手のフィールド座標系における位置を推定する処理を繰り返す。そして、フィールド座標系における選手の位置および画像特徴（検出領域の色やテスクチャ）の類似度を用いて、例えば動的計画法による最適化により選手のトラックレットを生成し、これをフィールド座標系における選手の移動軌跡である第１軌跡とする。図５に第１軌跡Ｌ１の一例を示す。第１軌跡Ｌ１は、映像から検出された選手ごとに生成され、それぞれフィールド座標系における選手の時系列の動きを表している。なお、ここではフィールド座標系でトラックレットを生成する例を説明したが、映像の座標系でトラックレットを生成し、射影変換行列を用いてトラックレットをフィールド座標系にマッピングすることにより第１軌跡Ｌ１を生成する構成であってもよい。

第２軌跡生成機能１３は、選手に装着された位置センサが試合中に出力した位置情報の時系列データから、その位置センサを装着した選手の地理座標系における移動軌跡である第２軌跡を生成する。図６に第２軌跡Ｌ２の一例を示す。第２軌跡Ｌ２は、センサを装着した選手ごとに生成され、それぞれ地理座標系における選手の時系列の動きを表している。センサを装着していない選手がいる場合は、その選手に対応する第２軌跡Ｌ２は生成されない。一方、センサを装着した選手に対応する第２軌跡Ｌ２は、その選手がオクルージョンの影響やカメラの撮影範囲外に移動したことによりカメラの映像に映らない時間帯であっても生成される。

軌跡照合機能１４は、第１軌跡生成機能１２により生成された第１軌跡Ｌ１と第２軌跡生成機能１３により生成された第２軌跡Ｌ２の形状の類似度に基づいて、同じ選手の移動軌跡と推定される第１軌跡Ｌ１と第２軌跡Ｌ２とを対応付ける。第１軌跡Ｌ１と第２軌跡Ｌ２の形状の類似度は、例えば、高次局所自己相関（ＨＬＡＣ：Higher-order Local AutoCorrelation）特徴を用いて判定することができる。すなわち、第１軌跡Ｌ１から抽出されたＨＬＡＣ特徴と第２軌跡Ｌ２から抽出されたＨＬＡＣ特徴との差分が所定の閾値以下である場合、これら第１軌跡Ｌ１と第２軌跡Ｌ２は同一の選手の移動軌跡を示していると推定できる。例えば、図５に例示した第１軌跡Ｌ１と図６に例示した第２軌跡Ｌ２は、形状の類似度が高いため、同一の選手の移動軌跡を示していると推定されて対応付けられる。

なお、選手が装着する位置センサに対してその選手を識別する背番号などの固有情報が事前に対応付けられており、位置センサが出力する位置情報の時系列データにその固有情報が付加されている場合は、第１軌跡Ｌ１と第２軌跡Ｌ２との対応付けをより簡易的に行うことも可能である。すなわち、カメラにより撮影された試合中の映像から選手とともにその選手の背番号などの固有情報が検出された場合に、その選手のフィールド座標系における時系列の動きを示す第１軌跡Ｌ１と、その選手の背番号などの固有情報が付加された位置情報の時系列データをもとに生成された第２軌跡Ｌ２とを対応付ければよい。

算出機能１５は、軌跡照合機能１４によって対応付けられた第１軌跡Ｌ１と第２軌跡Ｌ２とを用いて、位置センサの座標系である地理座標系をフィールド座標系に変換する変換行列Ｍを算出する。例えば算出機能１５は、第２軌跡Ｌ２を構成する各時刻の地理座標系における位置をフィールド座標系における位置に変換したときに、第１軌跡Ｌ１を構成する各時刻のフィールド座標系における位置との誤差が最小となるように、地理座標系をフィールド座標系に変換する変換行列Ｍを算出する。なお、変換行列Ｍを算出するために用いる第１軌跡Ｌ１と第２軌跡Ｌ２のペアは少なくとも１つあればよいが、多数のペアを用いることでより正確な変換行列Ｍを算出することができる。

推定機能１６は、変換行列Ｍを用いて第２軌跡L２をフィールド座標系にマッピングすることにより、フィールド座標系における各選手の位置を推定する。例えば推定部は、第１軌跡Ｌ１と変換行列Ｍを用いてフィールド座標系にマッピングされた第２軌跡Ｌ２とを選手ごとに統合し、統合した各選手の移動軌跡に基づいてフィールド座標系における各選手の時刻ごとの位置を推定する。すなわち、推定機能１６は、まず、第２軌跡生成機能１３により生成された全ての第２軌跡Ｌ２を、算出機能１５により算出された変換行列Ｍを用いてフィールド座標系にマッピングする。そして、推定機能１６は、第１軌跡生成機能１２により生成された全ての第１軌跡Ｌ１と、フィールド座標系にマッピングされた全ての第２軌跡Ｌ２とを、フィールド座標系での重なりや連続性をもとにグルーピングすることにより、同じ選手の移動軌跡を示すと推定される第１軌跡Ｌ１と第２軌跡Ｌ２とを統合する。

例えば、位置センサを装着した選手がカメラで撮影された映像に映っている時間帯においては、その選手の地理座標系における時系列の動きを表す第２軌跡Ｌ２が、その選手のフィールド座標系における動きを表す第１軌跡Ｌ１と概ね重なるようにマッピングされる。したがって、推定機能１６は、これら第１軌跡Ｌ１とフィールド座標系にマッピングされた第２軌跡Ｌ２とを、１人の選手のフィールド座標系における移動軌跡として統合する。

また、位置センサを装着した選手がオクルージョンによって一時的にカメラで撮影された映像に映っていない時間帯がある場合、例えば図７に示すように、フィールド座標系にマッピングされた１つの第２軌跡Ｌ２＿１に対し、２つの第１軌跡Ｌ１＿１，Ｌ１＿２の重なり度合いが高く、これら２つの第１軌跡Ｌ１＿１，Ｌ１＿２が第２軌跡Ｌ２＿１を介して連続性を持つ。このような場合、推定機能１６は、これら２つの第１軌跡Ｌ１＿１，Ｌ１＿２と第２軌跡Ｌ２＿１とを、１人の選手のフィールド座標系における移動軌跡として統合する。これにより、その選手の移動軌跡を示す２つの第１軌跡Ｌ１＿１，Ｌ１＿２の間の軌跡が途切れている時間帯、つまり、オクルージョンにより映像からその選手が検出されずに第１軌跡Ｌ１が生成されない時間帯におけるその選手の移動軌跡を、フィールド座標系にマッピングされた第２軌跡Ｌ２＿１を用いて補間することができる。

また、位置センサを装着した選手が一時的にカメラの撮影範囲外に移動することにより映像に映っていない時間帯がある場合、例えば図８に示すように、フィールド座標系にマッピングされた１つの第２軌跡Ｌ２＿２に対し、２つの第１軌跡Ｌ１＿３，Ｌ１＿４の重なり度合いが高く、これら２つの第１軌跡Ｌ１＿３，Ｌ１＿４が第２軌跡Ｌ２＿２を介して連続性を持つこともある。このような場合、推定機能１６は、これら２つの第１軌跡Ｌ１＿３，Ｌ１＿４と第２軌跡Ｌ２＿２とを、１人の選手のフィールド座標系における移動軌跡として統合する。これにより、その選手の移動軌跡を示す２つの第１軌跡Ｌ１＿３，Ｌ１＿４の間の軌跡が途切れている時間帯、つまり、その選手がカメラの撮影範囲外に移動したために第１軌跡Ｌ１が生成されない時間帯におけるその選手の移動軌跡を、フィールド座標系にマッピングされた第２軌跡Ｌ２＿２を用いて補間することができる。

推定機能１６は、以上のようにフィールド座標系において第１軌跡Ｌ１と第２軌跡Ｌ２とを統合することにより、フィールド座標系における各選手の移動軌跡を推定して各選手の時刻ごとの位置を推定する。ここで、位置センサが装着された選手について、同一時刻における第１軌跡Ｌ１上の位置とフィールド座標系にマッピングされた第２軌跡Ｌ２上の位置とが異なる場合、つまり、同じ選手の移動軌跡として統合された第１軌跡Ｌ１と第２軌跡Ｌ２が重ならない時刻においては、推定機能１６は、所定の基準に従って、その選手の位置を推定する。例えば推定機能１６は、その時刻における第１軌跡Ｌ１上の位置と第２軌跡Ｌ２上の位置との中間点を、その時刻における選手の位置と推定する。あるいは推定機能１６は、その時刻における第１軌跡Ｌ１上の位置と第２軌跡Ｌ２上の位置のうち、選手の移動軌跡が滑らかになるいずれか一方の位置を、その時刻における選手の位置と推定してもよい。あるいは推定機能１６は、選手の移動軌跡を滑らかにする新たな位置、つまり第１軌跡Ｌ１上でも第２軌跡Ｌ２上でもない新たな位置を求めて、この位置をその時刻における選手の位置と推定してもよい。

また、推定機能１６は、１人の選手のフィールド座標系における移動軌跡として統合する第１軌跡Ｌ１と第２軌跡Ｌ２とから、再重み付け最小二乗法により滑らかな近似曲線を算出し、これをフィールド座標系における選手の移動軌跡とすることで、各時刻における選手の位置を一意に推定できるようにしてもよい。

また、推定機能１６は、フィールド系にマッピングされた第２軌跡Ｌ２のいずれにも統合されない第１軌跡Ｌ１がある場合、この第１軌跡Ｌ１を、位置センサが装着されていない選手の移動軌跡と推定する。そして、推定機能１６は、この選手のフィールド座標系における時刻ごとの位置を、この第１軌跡Ｌ１のみから推定する。

なお、以上の説明は、カメラにより撮影された映像のタイムスタンプと、選手に装着された位置センサが出力する位置情報のタイムスタンプとが一致していることを前提としている。しかし、両者のタイムスタンプが一致している保証はなく、両者のタイムスタンプがずれている場合は、上述の変換行列Ｍが正しく算出されずに位置推定精度が低下する懸念がある。

そこで、このような場合に上述の算出機能１５は、軌跡照合機能１４によって対応付けられた第１軌跡Ｌ１と第２軌跡Ｌ２との間の距離が最小となるように、これら第１軌跡Ｌ１と第２軌跡Ｌ２の一方を時間軸方向に移動しながら上述の変換行列Ｍを算出する。そして、算出機能１５は、これら第１軌跡Ｌ１と第２軌跡Ｌ２との間の距離が最小となるようにいずれかを移動したときの移動量に基づいて、カメラにより撮影された映像のタイムスタンプと、位置センサが出力する位置情報のタイムスタンプとの時刻差をさらに算出する。

図９は、タイムスタンプの時刻差を算出する様子を示す図であり、横軸が時間、縦軸は各時刻における位置を仮想的に１次元で表している。この図９に示す例では、第１軌跡Ｌ１または第２軌跡Ｌ２を時間軸方向に移動量Ｓだけ移動させると、これら第１軌跡Ｌ１と第２軌跡Ｌ２との間の距離が最小となる。この場合、算出機能１５は、移動量Ｓに相当する時刻差を、カメラにより撮影された映像のタイムスタンプと、位置センサが出力する位置情報のタイムスタンプとの時刻差として算出する。

算出機能１５によって以上のようなタイムスタンプの時刻差が算出された場合、推定機能１６は、第１軌跡Ｌ１とフィールド座標系にマッピングされた第２軌跡Ｌ２とのいずれか一方を、算出機能１５により算出された時刻差に基づいて時間軸方向に移動した後に、上述の方法によって同じ選手の移動軌跡を示すと推定される第１軌跡Ｌ１と第２軌跡Ｌ２とを統合する。そして、フィールド座標系における各選手の移動軌跡を推定して各選手の時刻ごとの位置を推定する。これにより、カメラにより撮影された映像のタイムスタンプと、位置センサが出力する位置情報のタイムスタンプとにずれが生じていたとしても、フィールド座標系における各選手の時刻ごとの位置を精度良く推定することができる。

図１０は、以上説明した本実施形態の位置推定装置１（処理回路１０）の動作例を示すフローチャートである。なお、図１０の各ステップの具体的な内容は上述した通りであるので、詳細な説明は適宜省略する。

まず、処理回路１０の検出機能１１が、カメラにより撮影された試合中の映像から選手を検出する（ステップＳ１０１）。次に、処理回路１０の第１軌跡生成機能１２が、ステップＳ１０１で映像から検出された選手のフィールド座標系における移動軌跡である第１軌跡Ｌ１を生成する（ステップＳ１０２）。次に、処理回路１０の第２軌跡生成機能１３が、選手に装着された位置センサが試合中に出力した位置情報の時系列データから、その位置センサを装着した選手の地理座標系における移動軌跡である第２軌跡Ｌ２を生成する（ステップＳ１０３）。なお、ステップＳ１０３の処理は、ステップＳ１０１およびステップＳ１０２の処理よりも前に実施されてもよい。

次に、処理回路１０の軌跡照合機能１４が、ステップＳ１０２で生成された第１軌跡Ｌ１とステップＳ１０３で生成された第２軌跡Ｌ２を照合し、これら第１軌跡Ｌ１と第２軌跡Ｌ２の形状の類似度をもとに、同じ選手の移動軌跡と推定される第１軌跡Ｌ１と第２軌跡Ｌ２とを対応付ける（ステップＳ１０４）。そして、処理回路１０の算出機能１５が、ステップＳ１０４で対応付けられた第１軌跡Ｌ１と第２軌跡Ｌ２との間の距離が最小となるように、地理座標系をフィールド座標系に変換する変換行列Ｍを算出する（ステップＳ１０５）。

次に、処理回路１０の推定機能１６が、ステップＳ１０５で算出された変換行列Ｍを用いてステップＳ１０３で生成された全ての第２軌跡Ｌ２をフィールド座標系にマッピングする（ステップＳ１０６）。そして、処理回路１０の推定機能１６は、ステップＳ１０２で生成された第１軌跡Ｌ１とステップＳ１０６でマッピングされた第２軌跡Ｌ２とを統合し、統合された移動経路に基づいて、フィールド座標系における各選手の時刻ごとの位置を推定する（ステップＳ１０７）。

以上説明したように、本実施形態の位置推定装置１は、カメラにより撮影された映像から検出された選手のフィールド座標系における移動軌跡である第１軌跡と、位置センサが出力する位置情報の時系列データから生成された選手の地理座標系における移動軌跡である第２軌跡との形状の類似度に基づいて、同じ選手の移動軌跡と推定される第１軌跡と第２軌跡とを対応付ける。そして、対応付けられた第１軌跡と第２軌跡との間の距離が最小となるように、位置センサが出力する位置情報の座標系である地理座標系をフィールド座標系に変換する変換行列を算出し、この変換行列を用いて第２軌跡をフィールド座標系にマッピングする。そして、第１軌跡とフィールド座標系にマッピングされた第２軌跡とを統合して、フィールド座標系における選手の時刻ごとの位置を推定するようにしている。したがって、本実施形態の位置推定装置１によれば、フィールド座標系における試合中の選手の時刻ごとの位置を精度良く推定することができる。

例えば、本実施形態の位置推定装置１によれば、オクルージョンによって映像に映らない選手やカメラの撮影範囲外に移動したことにより映像に映らない選手の軌跡を第２軌跡で補間することで、映像に映らない時間帯であっても選手の位置を推定できる。また、同じ選手の動きを示す２つの軌跡を用いて時刻ごとの位置を推定することにより、ノイズに対して頑強に位置の推定を行うことができる。

なお、上述の実施形態においては、軌跡照合機能１４がフィールド座標系における第１軌跡Ｌ１と地理座標系における第２軌跡Ｌ２とを照合し、第１軌跡Ｌ１と第２軌跡Ｌ２の形状の類似度をもとに同じ選手の移動軌跡と推定される第１軌跡Ｌ１と第２軌跡Ｌ２とを対応付ける例を説明したが、軌跡照合機能１４は、第１軌跡Ｌ１と第２軌跡Ｌ２をそれぞれ共通の座標系に射影した上で照合し、両者の形状の類似度を判定するようにしてもよい。この場合、第１軌跡Ｌ１と第２軌跡Ｌ２との形状の類似度をより正確に判定することができる。

また、上述の実施形態においては、地理座標系における選手の動きの時系列を示す第２軌跡Ｌ２をフィールド座標系にマッピングしたが、この第２軌跡Ｌ２をさらにカメラの座標系に変換し、カメラにより撮影された映像に射影してディスプレイ６０に表示させてもよい。これにより、映像を閲覧するユーザに対し、映像に映る選手の動きを過去に遡って把握させることができる。

また、上述の実施形態はスポーツ映像解析への適用例であるが、本実施形態の位置推定装置１は、スポーツ映像解析に限らず、映像解析を通じて移動体の位置を推定する様々な用途に適用できる。

なお、本実施形態の位置推定装置１の上述の処理機能は、上述したように、例えばコンピュータを用いて構成される位置推定装置１がプログラムを実行することにより実現される。この場合、本実施形態の位置推定装置１で実行されるプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、本実施形態の位置推定装置１で実行されるプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。さらに、本実施形態の位置推定装置１で実行されるプログラムを、ＲＯＭなどの不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１位置推定装置
１０処理回路
１１検出機能
１２第１軌跡生成機能
１３第２軌跡生成機能
１４軌跡照合機能
１５算出機能
１６推定機能

Claims

映像から検出された移動体の第１座標系における移動軌跡である第１軌跡を生成する第１軌跡生成部と、
位置センサが出力する位置情報の時系列データから、当該位置センサを保持する移動体の第２座標系における移動軌跡である第２軌跡を生成する第２軌跡生成部と、
前記第１軌跡と前記第２軌跡の類似度に基づいて、同一の移動体の移動軌跡と推定される前記第１軌跡と前記第２軌跡とを対応付ける軌跡照合部と、
対応付けられた前記第１軌跡と前記第２軌跡とを用いて、前記第２座標系を前記第１座標系に変換する変換行列を算出する算出部と、を備え、
前記位置センサを保持する移動体を識別する固有情報が前記位置センサに対応付けられており、
前記軌跡照合部は、映像から移動体とともに当該移動体の固有情報が検出された場合は、当該移動体の前記第１軌跡と、当該移動体の固有情報に対応付く前記位置センサが出力する位置情報の時系列データから生成された前記第２軌跡とを対応付ける、
変換行列算出装置。
前記軌跡照合部は、前記第１軌跡と前記第２軌跡とを共通の座標系に射影して前記類似度を判定する、
請求項１に記載の変換行列算出装置。
前記第２軌跡を前記映像に射影して表示する映像表示部をさらに備える、
請求項１又は２に記載の変換行列算出装置。
請求項１乃至３のいずれか一項に記載の変換行列算出装置と、
前記変換行列を用いて前記第２軌跡を前記第１座標系にマッピングすることにより、前記第１座標系における移動体の位置を推定する推定部と、
を備える位置推定装置。
前記推定部は、前記第１軌跡と前記第１座標系にマッピングされた前記第２軌跡とを移動体ごとに統合し、統合した各移動体の移動軌跡に基づいて前記第１座標系における各移動体の時刻ごとの位置を推定する、
請求項４に記載の位置推定装置。
前記算出部は、さらに、対応付けられた前記第１軌跡と前記第２軌跡との間の距離が最小となるように前記第１軌跡または前記第２軌跡を時間軸方向に移動したときの移動量に基づいて、カメラにより撮影された映像のタイムスタンプと、前記位置センサが出力する位置情報のタイムスタンプとの時刻差を算出し、
前記推定部は、前記第１軌跡と前記第１座標系にマッピングされた前記第２軌跡とのいずれか一方を前記時刻差に基づいて時間軸方向に移動した後、前記第１軌跡と前記第１座標系にマッピングされた前記第２軌跡とを移動体ごとに統合する、
請求項５に記載の位置推定装置。
前記推定部は、前記位置センサを保持する移動体について、前記映像から当該移動体が検出されずに前記第１軌跡が生成されない時間帯における当該移動体の移動軌跡を、前記第１座標系にマッピングされた前記第２軌跡を用いて補間する、
請求項５または６に記載の位置推定装置。
前記推定部は、前記位置センサを保持する移動体について、当該移動体の同一時刻における前記第１軌跡上の位置と前記第１座標系にマッピングされた前記第２軌跡上の位置とが異なる場合に、これらの位置の中間点、または、移動体の移動軌跡が滑らかになるいずれか一方の位置、また、移動体の移動軌跡を滑らかにする新たな位置、のいずれかを当該移動体の位置として推定する、
請求項５乃至７のいずれか一項に記載の位置推定装置。
前記推定部は、前記第１座標系にマッピングされた前記第２軌跡のいずれにも統合されない前記第１軌跡がある場合、当該第１軌跡を、前記位置センサを保持しない移動体の移動軌跡と推定し、当該移動体の前記第１座標系における位置を前記第１軌跡のみから推定する、
請求項５乃至８のいずれか一項に記載の位置推定装置。
変換行列算出装置が、映像から検出された移動体の第１座標系における移動軌跡である第１軌跡を生成するステップと、
前記変換行列算出装置が、位置センサが出力する位置情報の時系列データから、当該位置センサを保持する移動体の第２座標系における移動軌跡である第２軌跡を生成するステップと、
前記変換行列算出装置が、前記第１軌跡と前記第２軌跡の類似度に基づいて、同一の移動体の移動軌跡と推定される前記第１軌跡と前記第２軌跡とを対応付けるステップと、
前記変換行列算出装置が、対応付けられた前記第１軌跡と前記第２軌跡とを用いて、前記第２座標系を前記第１座標系に変換する変換行列を算出するステップと、を含み、
前記位置センサを保持する移動体を識別する固有情報が前記位置センサに対応付けられており、
前記対応付けるステップは、映像から移動体とともに当該移動体の固有情報が検出された場合は、当該移動体の前記第１軌跡と、当該移動体の固有情報に対応付く前記位置センサが出力する位置情報の時系列データから生成された前記第２軌跡とを対応付ける、
変換行列算出方法。
位置推定装置が、映像から検出された移動体の第１座標系における移動軌跡である第１軌跡を生成するステップと、
前記位置推定装置が、位置センサが出力する位置情報の時系列データから、当該位置センサを保持する移動体の第２座標系における移動軌跡である第２軌跡を生成するステップと、
前記位置推定装置が、前記第１軌跡と前記第２軌跡の類似度に基づいて、同一の移動体の移動軌跡と推定される前記第１軌跡と前記第２軌跡とを対応付けるステップと、
前記位置推定装置が、対応付けられた前記第１軌跡と前記第２軌跡とを用いて、前記第２座標系を前記第１座標系に変換する変換行列を算出するステップと、
前記位置推定装置が、前記変換行列を用いて前記第２軌跡を前記第１座標系にマッピングすることにより、前記第１座標系における移動体の位置を推定するステップと、を含み、
前記位置センサを保持する移動体を識別する固有情報が前記位置センサに対応付けられており、
前記対応付けるステップは、映像から移動体とともに当該移動体の固有情報が検出された場合は、当該移動体の前記第１軌跡と、当該移動体の固有情報に対応付く前記位置センサが出力する位置情報の時系列データから生成された前記第２軌跡とを対応付ける、
位置推定方法。