JPWO2019043928A1 - 練習支援プログラム、練習支援方法および練習支援システム - Google Patents

Abstract

練習支援装置（１００）は、第一の技の演技中に計測された第一のセンシングデータから、第一の技を構成する複数の要素それぞれを代表する複数の第一のフレームを特定する。練習支援装置（１００）は、第一の技の他の演技中に計測された第二のセンシングデータから、第一の技を構成する複数の要素それぞれを代表する複数の第二のフレームを特定する。練習支援装置（１００）は、複数の要素の少なくとも一つについて、複数の第一のフレームと、複数の第二のフレームとを対応づけて、表示する。

Description

本発明は、練習支援プログラム等に関する。

体操競技として、男子は床運動、あん馬、つり輪、跳馬、平行棒、鉄棒の６種目、女子は跳馬、段違い平行棒、平均台、床運動の４種目が行われている。男女とも複数の技を連続して行うことで、１つの演技が構成される。

なお、体操競技の演技には、技を構成する複数の要素（scene）が含まれる。図２９は、技を構成する複数の要素の一例を説明するための図である。図２９に示す例では、技「伸身ユルチェンコ３回ひねり」を構成する要素の一例を示している。たとえば、技「伸身ユルチェンコ３回ひねり」は、局面１ａと局面１ｂとからなる。局面１ａには、要素「踏み切り」、「両手指示」が含まれる。局面１ｂには、「突き放し」、「回転」、「ひねり」、「着地」が含まれる。

演技のスコアは、Ｄ（Difficulty）スコアとＥ（Execution）スコアとの合計で算出される。Ｄスコアは、演技を構成する技の難度に応じて算出されるスコアである。Ｅスコアは、演技の技術、技の各要素における身体の姿勢に関する減点法により算出されるスコアである。たとえば、図２９に示す例では、要素「両手支持」の時点において、選手の身体が直線になっていない場合には、Ｅスコアからスコアが減点される。

ここで、演技の練習の目的は、自身の実施する技と、難易度表に記載されている技との差がなくなるようにすることである。この目標を達成するために、選手は、たとえば、自分の演技をビデオで撮影して失敗した技の映像と、成功した技の映像とを見くらべたり、コーチからのアドバイスを聞いて、繰り返し練習を行っている。

特開２０１７−０３８４０７号公報 特開２０１０−２６４０８８号公報

しかしながら、上述した従来技術では、比較対象となる複数の要素に対応する各姿勢を比較可能な態様で表示することができないという問題がある。

たとえば、体操などのように、複数の要素から一つの技が構成される複雑な技（演技）では、別々に行った同一の技について、各要素に対応する各選手の姿勢を比較することが有用である。しかし、技を行う選手の身体は３次元的に複雑な動きをしているため、一方向から撮影されたカメラの映像を参照しても、３次元的な動きを把握することが難しく、練習に反映することができない。また、同一の選手が同一の技を複数回行い、各技の映像を参照しても、映像間で、各要素が同期しているわけではないので、各要素に対応する各選手の姿勢を比較することは、難しい。

１つの側面では、本発明は、比較対象となる複数の要素に対応する各姿勢を比較可能な態様で表示することができる練習支援プログラム、練習支援方法および練習支援システムを提供することを目的とする。

第１の案では、コンピュータに、下記の処理を実行させる。コンピュータは、第一の技の演技中に計測された第一のセンシングデータから、第一の技を構成する複数の要素それぞれを代表する複数の第一のフレームを特定する。コンピュータは、第一の技の他の演技中に計測された第二のセンシングデータから、第一の技を構成する複数の要素それぞれを代表する複数の第二のフレームを特定する。コンピュータは、複数の要素の少なくとも一つについて、複数の第一のフレームと、複数の第二のフレームとを対応づけて、表示する。

複数の要素に対応する姿勢を比較可能な態様で表示することができる。

図１は、本実施例１に係る練習支援システムの一例を示す図である。 図２は、センシングデータを説明するための図である。 図３は、映像データを説明するための図である。 図４は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（１）である。 図５は、本実施例１に係る練習支援装置の構成を示す機能ブロック図である。 図６は、本実施例１に係るセンシングＤＢのデータ構造の一例を示す図である。 図７は、本実施例１に係る技認識ＤＢのデータ構造の一例を示す図である。 図８は、本実施例１に係る映像ＤＢのデータ構造の一例を示す図である。 図９は、本実施例１に係る関節定義データの一例を示す図である。 図１０は、本実施例１に係る関節位置ＤＢのデータ構造の一例を示す図である。 図１１は、本実施例１に係る３ＤモデルＤＢのデータ構造の一例を示す図である。 図１２は、本実施例１に係る追加表示箇所選択画面の一例を示す図である。 図１３は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（２）である。 図１４は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（３）である。 図１５は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（４）である。 図１６は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（５）である。 図１７は、本実施例１に係る練習支援装置の処理手順を示すフローチャート（１）である。 図１８は、本実施例１に係る練習支援装置の処理手順を示すフローチャート（２）である。 図１９は、本実施例１に係る練習支援装置の処理手順を示すフローチャート（３）である。 図２０は、本実施例２に係る練習支援システムの一例を示す図である。 図２１は、本実施例２に係る練習支援装置が表示する表示画面の一例を示す図である。 図２２は、本実施例２に係る練習支援装置の構成を示す機能ブロック図である。 図２３は、本実施例２に係る練習支援装置の処理手順を示すフローチャートである。 図２４は、本実施例３に係る練習支援システムの一例を示す図である。 図２５は、本実施例３に係る練習支援装置が表示する表示画面の一例を示す図である。 図２６は、本実施例３に係る練習支援装置の構成を示す機能ブロック図である。 図２７は、本実施例３に係る練習支援装置の処理手順を示すフローチャートである。 図２８は、練習支援装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図２９は、技を構成する複数の要素の一例を説明するための図である。

以下に、本願の開示する練習支援プログラム、練習支援方法および練習支援システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例１に係る練習支援システムの一例を示す図である。図１に示すように、この練習支援システムは、３Ｄ（3 dimension）レーザセンサ５０と、カメラ６０と、技認識装置７０と、練習支援装置１００とを有する。練習支援装置１００は、３Ｄレーザセンサ５０、カメラ６０、技認識装置７０に接続される。

本実施例１では一例として、選手１０は、第一の技の演技を行った後に、再度、第一の技の演技を行うものとする。選手１０は、演技者の一例である。一回目の演技を、「第一の演技」と表記し、二回目の演技を、「第二の演技」と表記する。第一の演技および第二の演技ともに、選手１０は、同一の「第一の技」の演技を行う。また、本実施例１では一例として、選手１０が、体操演技を行う場合について説明するが、他の採点競技に関しても同様に適用することが可能である。

たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。

３Ｄレーザセンサ５０は、選手１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ５０は、センシング結果となるセンシングデータを、技認識装置７０および練習支援装置１００に出力する。なお、３Ｄレーザセンサ５０は、選手１０までの距離を計測可能な距離画像センサの一例である。

図２は、センシングデータを説明するための図である。センシングデータには、複数のフレームが含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。図２に示すセンシングデータでは、古いフレームから順番に、フレーム番号ｎ、ｎ＋１、・・・、ｎ＋１５、・・・、ｎ＋３０のフレームを示す。ｎは自然数に対応する。たとえば、各フレームには、３Ｄレーザセンサ５０から、選手１０上の各点までの距離情報が含まれる。センシングデータを用いることで、各フレームにおける選手１０の各関節の３次元位置を推定し、選手１０の３Ｄモデルを生成することができる。

３Ｄレーザセンサ５０がセンシングを行う場合のフレームレートを、３０ｆｐｓ（frames per second）とした場合、フレーム番号ｎのフレームから、フレーム番号ｎ＋１までの時間間隔は、０．３３秒となる。センシングデータでは、前後のフレームを基に補間することで、フレーム間に相当する、フレームを生成することもできる。たとえば、フレーム番号ｎのフレームと、フレーム番号ｎ＋１のフレームとを補間することで、ｎ＋０．５のフレームを生成することができる。

カメラ６０は、選手１０の映像データを撮影する装置である。カメラ６０は、映像データを、練習支援装置１００に出力する。映像データには、選手１０の画像に相当する複数のフレームが含まれ、各フレームには、フレーム番号が割り振られる。図３は、映像データを説明するための図である。図３に示す映像データでは、古いフレームから順番に、フレーム番号ｎ、ｎ＋１、・・・のフレームを示す。映像データのフレーム番号と、センシングデータのフレーム番号とは、同期しているものとする。また、下記の説明では、適宜、センシングデータに含まれるフレームを、「センシングフレーム」と表記し、映像データのフレームを「映像フレーム」と表記する。

技認識装置７０は、３Ｄレーザセンサ５０がセンシングしたセンシングデータを基にして、技の局面、技を構成する各要素を認識する装置である。技認識装置７０は、センシングデータの各フレーム番号と、各認識結果とをそれぞれ対応づけた認識結果データを生成する。技認識装置７０は、認識結果データを、練習支援装置１００に出力する。局面とは、一つの技を便宜的に区切る単位であって、要素は一つの技を構成する動きの単位である。局面は複数の要素からなる。なお、種目や競技によっては、局面は設定されずに、動きの単位を示す要素だけが設定されることもある。

たとえば、技認識装置７０は、技の特徴を定義した技認識テーブル（図示略）と、センシングデータとを比較することで、各センシングフレームに対応する、技の局面および技を構成する要素を認識する。技認識装置７０は、他の技術を用いて、各センシングフレームに対応する、技の局面および技を構成する要素を認識してもよい。

練習支援装置１００は、第一の演技中のセンシングデータから、第一の技を構成する複数の要素に対応する複数の第一のセンシングフレームを特定する。練習支援装置１００は、第二の演技中のセンシングデータから、第一の技を構成する複数の要素に対応する複数の第二のセンシングフレームを特定する。練習支援装置１００は、複数の各要素の各々について、第一のセンシングフレームと、第二のセンシングフレームとを対応づけて、時系列に、表示する。

なお、練習支援装置１００は、センシングデータを基にして、選手１０の関節位置、骨格位置を推定し、選手１０の３Ｄモデルデータを生成する。練習支援装置１００は、第一のセンシングフレームに対応する３次元モデルと、第二のセンシングフレームに対応する３次元モデルとを、対応づけて表示する。

図４は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（１）である。図４に示すように、この表示画面８０では、表示領域８０ａと、表示領域８０ｂが含まれる。たとえば、第一の技には、第一の要素、第二の要素、・・・第ｍの要素、第ｍ＋ｎの要素が含まれるものとする。表示領域８０ａには、第ｍの要素に対応する第一のセンシングフレームの３Ｄモデルが表示される。表示領域８０ｂには、第ｍの要素に対応する第二のセンシングフレームの３Ｄモデルが表示される。すなわち、練習支援装置１００は、表示領域８０ａに表示される３Ｄモデルに対応する技の要素と、表示領域８０ｂに表示される３Ｄモデルに対応する技の要素とを同期させて、表示する。

練習支援装置１００は、図４に示すような表示画面８０を表示させることで、比較対象となる複数の要素に対応する選手１０の各姿勢を比較可能な態様で表示することができる。

続いて、図１に示した練習支援装置１００の構成の一例について説明する。図５は、本実施例１に係る練習支援装置の構成を示す機能ブロック図である。図５に示すように、この練習支援装置１００は、インタフェース部１１０、通信部１２０、入力部１３０、表示部１４０、記憶部１５０、制御部１６０を有する。表示部１４０、出力部１６５は、表示部の一例である。

インタフェース部１１０は、３Ｄレーザセンサ５０、カメラ６０、技認識装置７０と接続し、３Ｄレーザセンサ５０、カメラ６０、技認識装置７０からデータを取得する装置である。インタフェース部１１０は、取得したデータを、制御部１６０に出力する。たとえば、インタフェース部１１０は、３Ｄレーザセンサ５０から、センシングデータを取得する。インタフェース部１１０は、カメラ６０から映像データを取得する。インタフェース部１１０は、技認識装置７０から、認識結果データを取得する。

通信部１２０は、ネットワークを介して、他の装置とデータ通信を行う装置である。通信部１２０は、通信装置に対応する。練習支援装置１００は、ネットワークを介して、３Ｄレーザセンサ５０、カメラ６０、技認識装置７０に接続されてもよい。この場合には、通信部１２０は、ネットワークを介して、３Ｄレーザセンサ５０、カメラ６０、技認識装置７０からデータを取得する。

入力部１３０は、練習支援装置１００に各種の情報を入力するための入力装置である。入力部１３０は、キーボード、マウス、タッチパネル等に対応する。たとえば、ユーザは、入力部１３０を操作して、第一の演技中のセンシングデータ、第二の演技中のセンシングデータを指定する。ユーザは、入力部１３０を操作して、技を構成する複数の要素のうち、参照したい要素を指定する。ユーザは、選手１０であっても良いし、コーチ等、他のユーザであってもよい。

表示部１４０は、制御部１６０から出力される表示画面の情報を表示する表示装置である。たとえば、表示部１４０は、図４で説明した表示画面８０等を表示する。表示部１４０は、液晶ディスプレイ、タッチパネル等に対応する。

記憶部１５０は、センシングＤＢ（Data Base）１５１、技認識ＤＢ１５２、映像ＤＢ１５３、関節定義データ１５４、関節位置ＤＢ１５５、３ＤモデルＤＢ１５６を有する。記憶部１５０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

センシングＤＢ１５１は、３Ｄレーザセンサ５０から取得するセンシングデータを格納するデータベースである。図６は、本実施例１に係るセンシングＤＢのデータ構造の一例を示す図である。図６に示すように、このセンシングＤＢ１５１は、演技識別番号と、フレーム番号と、センシングフレームとを対応づける。演技識別番号は、別々に行われた演技を一意に識別する番号である。同一の演技であっても、３Ｄレーザセンサ５０にセンシングされたタイミングが異なる場合には、異なる演技識別番号が付与される。たとえば、第一の演技と、第二の演技とは、別の演技識別番号が割り振られる。

図６において、フレーム番号は、同一の演技識別番号に対応する各センシングフレームを、一意に識別する番号である。センシングフレームは、３Ｄレーザセンサ５０にセンシングされたセンシングフレームである。

技認識ＤＢ１５２は、技認識装置７０から取得する認識結果データを格納するデータベースである。図７は、本実施例１に係る技認識ＤＢのデータ構造の一例を示す図である。図７に示すように、この技認識ＤＢ１５２は、演技識別番号と、フレーム番号と、技認識結果データとを対応づける。演技識別番号に関する説明は、センシングＤＢ１５１で行った説明と同様である。

図７において、フレーム番号は、同一の演技識別番号に対応する各センシングフレームを、一意に識別する番号である。たとえば、同一の演技識別番号に対応する各フレーム番号について、図７のフレーム番号と、図６のフレーム番号とは同期しているものとする。

図７において、技認識結果データは、技認識装置７０に認識されたセンシングフレームの認識結果を示す情報である。技認識結果データには、技の局面、技の要素が含まれる。たとえば、演技識別番号「Ｐ１０１」のフレーム番号「２」に対応するセンシングフレームが、図２９で説明した要素「踏み切り」のフレームである場合には、演技識別番号「Ｐ１０１」のフレーム番号「２」に対応する技認識結果データに「局面＝局面１ａ、要素＝踏み切り」が格納される。

本実施例１では一例として、技認識結果データには、技を構成する要素のうち、技を代表する要素が設定される。たとえば、フレームが、技を構成する「要素Ａ」に対応するフレームである場合には、技認識結果データには、「要素＝要素Ａ」が格納される。一方、フレームが、技を構成する要素に対応するフレームでない場合には、技認識結果データには、「要素＝ＮＵＬＬ」が格納される。

映像ＤＢ１５３は、カメラ６０から取得する映像データを格納するデータベースである。図８は、本実施例１に係る映像ＤＢのデータ構造の一例を示す図である。図８に示すように、この映像ＤＢ１５３は、演技識別番号と、フレーム番号と、映像フレームとを対応づける。演技識別番号に関する説明は、センシングＤＢ１５１で行った説明と同様である。

図８において、フレーム番号は、同一の演技識別番号に対応する各映像フレームを、一意に識別する番号である。なお、映像フレームのフレーム番号は、センシングフレームのフレーム番号と同期しているものとする。映像フレームは、カメラ６０に撮影された映像フレームである。

関節定義データ１５４は、演技者（選手１０）の各関節位置を定義するものである。図９は、本実施例１に係る関節定義データの一例を示す図である。図９に示すように、関節定義データ１５４は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図９に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、実施例１では、８番の右肩関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。

関節位置ＤＢ１５４は、３Ｄレーザセンサ５０のセンシングデータを基に生成される選手１０の各関節の位置データである。図１０は、本実施例１に係る関節位置ＤＢのデータ構造の一例を示す図である。図１０に示すように、この関節位置ＤＢ１５５は、演技識別番号と、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」を対応づける。演技識別番号に関する説明は、センシングＤＢ１５１で行った説明と同様である。

図１０において、フレーム番号は、同一の演技識別番号に対応する各センシングフレームを一意に識別する番号である。図１０に示すフレーム番号と、図６に示すフレーム番号は、同期しているものとする。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図９に示す０番号の関節の３次元座標である。

図１０は、演技識別番号「Ｐ１０１」のセンシングデータにおける各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」であることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。

３ＤモデルＤＢ１５６は、センシングデータを基に生成される選手１０の３Ｄモデルの情報を格納するデータベースである。図１１は、本実施例１に係る３ＤモデルＤＢのデータ構造の一例を示す図である。図１１に示すように、３ＤモデルＤＢ１５６は、演技識別番号と、フレーム番号と、骨格データと、３Ｄモデルデータとを対応づける。演技識別番号、フレーム番号に関する説明は、センシングＤＢ１５１で行った説明と同様である。

骨格データは、各関節位置を接続することで推定される選手１０の骨格を示すデータである。３Ｄモデルデータは、センシングデータから得られる情報と、骨格データとを基にして推定される選手１０の３Ｄモデルのデータである。

図５の説明に戻る。制御部１６０は、登録部１６１、３Ｄモデル生成部１６２、受付部１６３、特定部１６４、出力部１６５を有する。制御部１６０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１６０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

登録部１６１は、３Ｄレーザセンサ５０からセンシングデータを取得し、取得したセンシングデータを、センシングＤＢ１５１に登録する。登録部１６１は、センシングデータ（フレーム番号、センシングフレーム）をセンシングＤＢ１５１に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部１３０等を介して、ユーザに指定されるものとする。

登録部１６１は、技認識装置７０から認識結果データを取得し、取得した認識結果データを、技認識ＤＢ１５２に登録する。登録部１６１は、技認識結果データ（フレーム番号、技認識結果データ）を技認識ＤＢ１５２に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部１３０等を介して、ユーザに指定されるものとする。

登録部１６１は、カメラ６０から映像データを取得し、取得した映像データを、映像ＤＢ１５３に登録する。登録部１６１は、映像データ（フレーム番号、映像フレーム）を映像ＤＢ１５３に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部１３０等を介して、ユーザに指定されるものとする。

３Ｄモデル生成部１６２は、センシングＤＢ１５１を基にして、各演技識別番号の各フレーム番号に対応する３Ｄモデルデータを生成する処理部である。以下において、３Ｄモデル生成部１６２の処理の一例について説明する。３Ｄモデル生成部１６２は、センシングＤＢ１５１のセンシングフレームと、関節定義データ１５４に定義された各関節の位置関係とを比較して、センシングフレームに含まれる各関節の種別および関節の３次元座標を特定する。３Ｄモデル生成部１６２は、各演技識別番号のフレーム番号毎に上記処理を繰り返し実行することで、関節位置ＤＢ１５５を生成する。

３Ｄモデル生成部１６２は、関節位置ＤＢ１５５に格納された各関節の３次元座標を、関節定義データ１５４に定義された接続関係を基にしてつなぎ合わせることで、骨格データを生成する。また、３Ｄモデル生成部１６２は、推定した骨格データを、選手１０の体格に合わせた骨格モデルに当てはめることで、３Ｄモデルデータを生成する。３Ｄモデル生成部１６２は、各演技識別番号のフレーム番号毎に上記処理を繰り返し実行することで、３ＤモデルＤＢ１５６を生成する。

受付部１６３は、入力部１３０等から、ユーザが比較したい２つの演技に対応する２種類の演技識別番号を受け付ける処理部である。受付部１６３は、受け付けた２種類の演技識別番号の情報を、特定部１６４に出力する。たとえば、ユーザが比較したい２つの演技を、「第一の演技」および「第二の演技」とする。第一の演技に対応する演技識別番号を「第一の演技識別番号」とし、第二の演技に対応する演技識別番号を「第二の演技識別番号」とする。

たとえば、第一の演技と第二の演技との関係は、指導前の演技、指導後の演技に対応する。または、第一の演技と第二の演技との関係は、失敗した演技と、成功した演技に対応する。または、第一の演技と第二の演技との関係は、単に、過去のある演技と、最新の演技であってもよい。また、第一の演技と第二の演技の演技者（選手１０）は同一人物であっても、異なる人物であっても良い。

更に、受付部１６３は、追加表示箇所に関する情報を受け付ける。追加表示箇所に関する情報は、ユーザが表示を望む、技の要素と複数の関節を識別する情報を含む。受付部１６３は、追加表示箇所に関する情報を、出力部１６５に出力する。

たとえば、受付部１６３は、追加表示箇所を選択するための追加表示箇所選択画面を、表示部１４０に表示させ、追加表示箇所に関する情報を受け付ける。

図１２は、本実施例１に係る追加表示箇所選択画面の一例を示す図である。図１２に示す例では、追加表示箇所選択画面８１には、表示箇所となる関節を選択する選択フォーム８１ａと、要素を入力する入力フォーム８１ｂとを有する。ユーザは、入力部１３０を操作して、追加表示箇所に関する情報を入力する。図１２に示す例では、追加表示箇所として、関節７，８，９が選択され、要素Ｅが入力されている。なお、要素の選択においては、ある技が指定され、指定された技を構成する要素の中から特定の要素Ｅが選択される態様であってもよい。

また、受付部１６３は、入力部１３０等から、３Ｄモデルを参照する場合の仮想視点の位置および方向の情報を受け付ける。以下の説明では、仮想視点の位置および方向の情報を、「仮想視線データ」と表記する。受付部１６３は、仮想視線データを、出力部１６５に出力する。

特定部１６４は、受付部１６３から、第一の演技識別番号と、第二の演技識別番号とを取得する。たとえば、特定部１６４は、技認識ＤＢ１５２について、第一の演技識別番号に対応する各フレーム番号の技認識結果データを参照し、第一の演技の技を構成する複数の要素それぞれを代表するフレーム番号（以下、第一のフレーム番号）を特定する。特定部１６４は、第一の演技識別番号と、特定した複数の第一のフレーム番号とを、出力部１６５に出力する。なお、ある要素を構成するフレームが単数である場合には、当該フレームが、ある要素を代表するフレームとなる。一方で、ある要素を構成するフレームが複数である場合には、所定のフレームが、ある要素を代表するフレームとなる。たとえば、所定のフレームとして、ある要素を構成する複数のフレームのうち、はじめのフレーム、真ん中のフレーム、最後のフレームなどである。

特定部１６４は、技認識ＤＢ１５２について、第二の演技識別番号に対応する各フレーム番号の技認識結果データを参照し、第二の演技の技を構成する複数の要素それぞれを代表するフレーム番号（以下、第二のフレーム番号）を特定する。特定部１６４は、第二の演技識別番号と、特定した複数の第二のフレーム番号とを、出力部１６５に出力する。

以下の説明では、第一の演技識別番号の複数の第一のフレーム番号に対応する複数のセンシングフレームを複数の「第一のセンシングフレーム」と表記する。第二の演技識別番号の複数の第二のフレーム番号に対応する複数のセンシングフレームを複数の「第二のセンシングフレーム」と表記する。

出力部１６５は、複数の要素の各々について、複数の第一のセンシングフレームと、複数の第二のセンシングフレームとを対応づけて、時系列に、表示部１４０に表示させる処理部である。以下において、出力部１６５の処理１〜５の一例についてそれぞれ説明する。

出力部１６５が実行する「処理１」について説明する。出力部１６５の処理１は、図４で説明した表示画面８０の情報を生成して、表示部１４０に出力する処理である。たとえば、第一の演技および第二の演技を構成する要素が「要素Ａ、要素Ｂ、要素Ｃ、・・・」を含むものとする。

出力部１６５は、複数の第一のセンシングフレームのうち、要素Ａに対応する第一のセンシングフレームのフレーム番号をキーにして、対応する第一の３Ｄモデルデータを３ＤモデルＤＢ１５６から検出する。出力部１６５は、仮想視線データを基準として、仮想視線から見える第一の３Ｄモデルデータの画像を生成し、表示領域８０ａに設置する。

出力部１６５は、複数の第二のセンシングフレームのうち、要素Ａに対応する第二のセンシングフレームのフレーム番号をキーにして、対応する第二の３Ｄモデルデータを３ＤモデルＤＢ１５６から検出する。出力部１６５は、仮想視線データを基準として、仮想視線から見える第二の３Ｄモデルデータの画像を生成し、表示領域８０ｂに設置する。

出力部１６５は、他の要素「要素Ｂ、要素Ｃ、・・・」についても、上記処理を繰り返し実行することで、表示領域８０ａには、「要素Ｂ、要素Ｃ、・・・」に対応する第一の３Ｄモデルデータを表示する。また、表示領域８０ｂには、「要素Ｂ、要素Ｃ、・・・」に対応する第二の３Ｄモデルデータを表示する。出力部１６５は、表示領域８０ａに表示させる第一の３Ｄモデルデータの要素と、表示領域８０ｂに表示させる第二の３Ｄモデルデータの要素とを同期させるものとする。

練習支援装置１００は、図４に示すような表示画面８０を表示させることで、比較対象となる複数の要素に対応する選手１０の各姿勢を比較可能な態様で表示することができる。

出力部１６５が実行する「処理２」について説明する。出力部１６５が実行する処理２は、図１３に示す表示画面８２の情報を生成して、表示部１４０に出力する処理である。図１３は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（２）である。

出力部１６５は、処理１と同様にして、第一の３Ｄモデルデータの画像と、第二の３Ｄモデルデータの画像とを生成する。出力部１６５は、第一のモデルデータの画像と、第二の３Ｄモデルデータの画像とを重畳して、表示領域８２ａに表示する。表示領域８２ａに表示される第一の３Ｄモデルデータの要素と、第二の３Ｄモデルデータの要素は、同一であるとする。つまり、ある局面におけるある要素に対応する、第一の３Ｄモデルデータと第二の３Ｄモデルデータとが、重畳された状態で、表示領域８２ａに表示される。

出力部１６５には、要素毎に、選手１０の姿勢を把握しやすい仮想視線データ（以下、設定視線データと表記する）が予め設定されているものとする。出力部１６５は、表示領域８２ａに現在表示している第一の３Ｄモデルデータおよび第二の３Ｄモデルデータの要素に対応する設定視線データを基にして、表示領域８２ｂ、８２ｃの画像を生成する。

出力部１６５は、設定視線データを基準として、仮想視線から見える第一の３Ｄモデルデータの画像を生成し、表示領域８２ｂに設定する。出力部１６５は、３Ｄモデルデータの所定の関節を通る直線８２ｄと、水平線８２ｅとのなす角度を合わせて表示してもよい。

出力部１６５は、設定視線データを基準として、仮想視線から見える第二の３Ｄモデルデータの画像を生成し、表示領域８２ｃに設定する。出力部１６５は、３Ｄモデルデータの所定の関節を通る直線８２ｆと、水平線８２ｇとのなす角度を合わせて表示してもよい。

練習支援装置１００は、図１３に示すような表示画面８２を表示させることで、比較対象となる複数の要素に対応する選手１０の各姿勢を比較可能な態様で表示することができる。また、各要素について、複数の仮想視線から見た第一の演技、第二の演技に関する３Ｄモデルの映像を同時に参照することができる。

出力部１６５が実行する「処理３」について説明する。出力部１６５が実行する処理３は、図１４に示す表示画面８３の情報を生成して、表示部１４０に出力する処理である。図１４は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（３）である。

出力部１６５は、処理１と同様にして、各要素に対応する各第一の３Ｄモデルデータと、各要素に対応する各第二の３Ｄモデルデータとを特定する。たとえば、出力部１６５は、仮想視線データを基準として、仮想視線から見える各要素Ａ〜Ｆの各第一の３Ｄモデルデータの画像８４ａ〜８４ｆを生成し、表示領域８４に時系列に、設置する。画像８４ａ〜８４ｆに示す数字は、フレーム番号を示す。たとえば、要素Ａに対応する画像８４ａのフレーム番号は「４０」である。

出力部１６５は、仮想視線データを基準として、仮想視線から見える各要素Ａ〜Ｆの各第二の３Ｄモデルデータの画像８５ａ〜８５ｆを生成し、表示領域８５に時系列に、設置する。画像８５ａ〜８５ｆに示す数字は、フレーム番号を示す。たとえば、要素Ａに対応する画像８５ａのフレーム番号は「５０」である。

出力部１６５は、画像８４ａ〜８４ｆを表示領域８４に配置し、画像８５ａ〜８５ｆを表示領域８５に配置する場合には、上下の画像の要素が同一となるように画像の配置を行う。

練習支援装置１００は、図１４に示すような表示画面８３を表示させることで、比較対象となる各要素に対応する選手１０の各姿勢を時系列で、比較可能な態様で表示することができる。また、フレーム番号を表示することで、第一の演技における、ある要素とそれに続く要素との間に要した時間と、第二の演技における、ある要素とそれに続く要素との間に要した時間とを、ユーザは把握することができる。たとえば、ユーザが、ある要素からそれに続く要素へ移行するまでの時間が、第一の演技に比べ第二の演技の方が短いまたは長いことを把握することで、演技のスピードを意識して、練習を行うことができる。

出力部１６５が実行する「処理４」について説明する。出力部１６５が実行する処理４は、図１５に示す表示画面８６の情報を生成して、表示部１４０に出力する処理である。図１５は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（４）である。

出力部１６５は、処理３と同様にして、仮想視線データを基準として、仮想視線から見える各要素Ａ〜Ｆの各第一の３Ｄモデルデータの画像８７ａ〜８７ｆを生成し、表示領域８７に時系列に設置する。出力部１６５は、仮想視線データを基準として、仮想視線から見える各要素Ａ〜Ｆの各第一の３Ｄモデルデータの画像８８ａ〜８８ｆを生成し、表示領域８８に時系列に、設置する。

出力部１６５は、受付部１６３から、追加表示箇所に関する情報を取得する。ここでは説明の便宜上、追加表示箇所に関する情報には、関節７，８，９、要素Ｅが含まれているものとする。出力部１６５は、複数の第一のセンシングフレームのうち、要素Ｅに対応する第一のセンシングフレームのフレーム番号と、関節位置ＤＢ１５５とを基にして関節７，８，９の位置を特定する。出力部１６５は、関節位置７，８，９を通る線分８９ａを、要素Ｅに対応する画像８７ｅに表示させる。

出力部１６５は、複数の第二のセンシングフレームのうち、要素Ｅに対応する第二のセンシングフレームのフレーム番号と、関節位置ＤＢ１５５とを基にして関節７，８，９の位置を特定する。出力部１６５は、関節位置７，８，９を通る線分８９ｂを、要素Ｅに対応する画像８８ｅに表示させる。また、出力部１６５は、画像８８ｅに、線分８９ａと、線分８９ｂとを重畳表示させてもよい。

練習支援装置１００は、図１５に示すような表示画面８６を表示部１４０に表示させることで、追加表示箇所に関する関節位置の変化（改善具合）を容易に把握することが可能となる。たとえば、コーチから「手首の角度に気をつけて」と指導された時には、手首の角度を見やすい視線で、指導前後の演技（たとえば、第一の演技、第二の演技）を並べることが有効である。このため、ユーザは、追加表示箇所に関する関節位置として、手首付近の関節（たとえば、関節７，８，９）を指定し、仮想視線データを指定することで、手首付近に関して、見やすい方向から、指導前後の演技を容易に比較できる。

また、コーチから「腰からつま先を伸ばして」と指導された時には、腰からつま先を見やすい視線で、指導前後の演技を並べることが有効である。このため、ユーザは、追加表示箇所に関する関節位置として、腰からつま先に関連する関節（たとえば、関節１４，１５，１６，１７）を指定し、仮想視線データを指定することで、腰からつま先に関して、見やすい方向から、指導前後の演技を容易に比較できる。

従来の映像比較では、ユーザの所望する方向からの映像を参照する場合には、その都度、カメラの位置を変え、撮影を行っている。これに対して、練習支援装置１００で用いる３Ｄレーザセンサ５０で計測したセンシングデータは、３Ｄ情報を有している。このため、仮想視線データを指定すれば、指定された仮想視線から見た３Ｄモデルデータを生成して、各要素の姿勢を比較可能に表示することが可能になる。

出力部１６５が実行する「処理５」について説明する。出力部１６５が実行する処理５は、図１６に示す表示画面９０の情報を生成して、表示部１４０に出力する処理である。図１６は、本実施例１に係る練習支援装置が表示する表示画面の一例を示す図（５）である。

出力部１６５は、処理３と同様にして、仮想視線データを基準として、仮想視線から見える各要素Ａ，Ｂ，Ｃの各第一の３Ｄモデルデータの画像９１ａ，９１ｂ，９１ｃを生成し、表示領域９１に時系列に配置する。出力部１６５は、仮想視線データを基準として、仮想視線から見える各要素Ａ，Ｂ，Ｃの各第二の３Ｄモデルデータの画像９２ａ，９２ｂ，９２ｃを生成し、表示領域９２に時系列に配置する。

また、出力部１６５は、各要素間のフレームの数に基づき、時間間隔を把握可能な態様で表示する。たとえば、出力部１６５は、各要素間のフレームの数に基づき、１０フレーム毎に「四角」を表示する。出力部１６５は、各要素に対応するセンシングフレームのフレーム番号と、センシングＤＢ１５１とを比較することで、各要素間のフレームの数を計数する。

たとえば、出力部１６５は、要素Ａに対応する第一のセンシングフレームと、要素Ｂに対応する第一のセンシングフレームとの間のフレーム数が、２０フレームである場合には、２つの「四角」を、画像９１ａと、画像９１ｂとの間に表示させる。出力部１６５は、要素Ｂに対応する第一のセンシングフレームと、要素Ｃに対応する第一のセンシングフレームとの間のフレーム数が、３０フレームである場合には、３つの「四角」を、画像９１ｂと、画像９１ｃとの間に表示させる。

出力部１６５は、要素Ａに対応する第二のセンシングフレームと、要素Ｂに対応する第二のセンシングフレームとの間のフレーム数が、１０フレームである場合には、１つの「四角」を、画像９２ａと、画像９２ｂとの間に表示させる。出力部１６５は、要素Ｂに対応する第二のセンシングフレームと、要素Ｃに対応する第二のセンシングフレームとの間のフレーム数が、２０フレームである場合には、２つの「四角」を、画像９２ｂと、画像９２ｃとの間に表示させる。

練習支援装置１００は、図１６に示すような表示画面９０を表示部１４０に表示させることで、ユーザは、要素間のフレーム数を視覚的に把握しやすくなる。また、選手１０が演技した際の技の実施速度を容易に把握しやすくなり、タイミングの差を比較することが可能となる。たとえば、第一の演技と、第二の演技とを比較すると、各画像間における、第一の演技の四角の数が、第二の演技の四角の数より多いため、第一の演技よりも、第二の演技の方がタイミングが早いことを容易に把握可能である。

次に、本実施例１に係る練習支援装置１００の処理手順の一例について説明する。図１７は、本実施例１に係る練習支援装置の処理手順を示すフローチャート（１）である。図１７に示すように、練習支援装置１００の受付部１６３は、比較対象となる第一の演技識別番号、第二の演技識別番号を受け付ける（ステップＳ１０１）。

練習支援装置１００の特定部１６４は、第一の演技中（第一の演技識別番号に対応する第一の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第一のセンシングフレームを特定する（ステップＳ１０２）。

特定部１６４は、第二の演技中（第二の演技識別番号に対応する第二の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第二のセンシングフレームを特定する（ステップＳ１０３）。

練習支援装置１００の出力部１６８は、複数の要素の各々について、複数の第一のセンシングフレームと、複数の第二のセンシングフレームとを対応づける（ステップＳ１０４）。受付部１６３は、仮想視線データを受け付け、出力部１６５は、仮想視線からみた、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を生成する（ステップＳ１０５）。出力部１６３は、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を対応づけて、時系列に表示させる（ステップＳ１０６）。

図１８は、本実施例１に係る練習支援装置の処理手順を示すフローチャート（２）である。図１８に示すように、練習支援装置１００の受付部１６３は、比較対象となる第一の演技識別番号、第二の演技識別番号を受け付ける（ステップＳ２０１）。

練習支援装置１００の特定部１６４は、第一の演技中（第一の演技識別番号に対応する第一の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第一のセンシングフレームを特定する（ステップＳ２０２）。

特定部１６４は、第二の演技中（第二の演技識別番号に対応する第二の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第二のセンシングフレームを特定する（ステップＳ２０３）。

練習支援装置１００の出力部１６５は、複数の要素の各々について、複数の第一のセンシングフレームと、複数の第二のセンシングフレームとを対応づける（ステップＳ２０４）。受付部１６３は、仮想視線データを受け付け、出力部１６５は、仮想視線からみた、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を生成する（ステップＳ２０５）。

受付部１６３は、追加表示箇所に関する情報の入力を受け付ける（ステップＳ２０６）。出力部１６５は、第一のセンシングフレームにおいて追加表示箇所に対応する箇所を特定し、第一の３Ｄモデルの画像上に第一線分を表示する（ステップＳ２０７）。たとえば、第一線分は、図１５の線分８９ａに対応する。

出力部１６５は、第二のセンシングフレームにおいて追加表示箇所に対応する箇所を特定し、第二の３Ｄモデルの画像上に第二線分を表示する（ステップＳ２０８）。たとえば、第二線分は、図１５の線分８９ｂに対応する。

出力部１６５は、第二の３Ｄモデルの画像上に、第一線分および第二線分を重畳表示する（ステップＳ２０９）。出力部１６５は、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を対応づけて、時系列に表示する（ステップＳ２１０）。

図１９は、本実施例１に係る練習支援装置の処理手順を示すフローチャート（３）である。図１９に示すように、練習支援装置１００の受付部１６３は、比較対象となる第一の演技識別番号、第二の演技識別番号を受け付ける（ステップＳ３０１）。

練習支援装置１００の特定部１６４は、第一の演技中（第一の演技識別番号に対応する第一の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第一のセンシングフレームを特定する（ステップＳ３０２）。

特定部１６４は、第二の演技中（第二の演技識別番号に対応する第二の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第二のセンシングフレームを特定する（ステップＳ３０３）。

練習支援装置１００の出力部１６５は、複数の要素の各々について、複数の第一のセンシングフレームと、複数の第二のセンシングフレームとを対応づける（ステップＳ３０４）。受付部１６３は、仮想視線データを受け付け、出力部１６５は、仮想視線からみた、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を生成する（ステップＳ３０５）。出力部１６５は、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を対応づけて、時系列に表示させる（ステップＳ３０６）。

出力部１６５は、第一の演技、第二の演技に対して、要素間のフレーム数を計数する（ステップＳ３０７）。出力部１６５は、要素間のフレーム数に応じて、四角の数を算出する（ステップＳ３０８）。出力部１６５は、四角の数に対応する図を、要素間に表示させる（ステップＳ３０９）。

次に、本実施例１に係る練習支援装置１００の効果について説明する。練習支援装置１００は、第一の演技中のセンシングデータから、第一の技を構成する複数の要素に対応する複数の第一のセンシングフレームを特定する。練習支援装置１００は、第二の演技中のセンシングデータから、第一の技を構成する複数の要素に対応する複数の第二のセンシングフレームを特定する。練習支援装置１００は、複数の各要素の各々について、第一のセンシングフレームと、第二のセンシングフレームとを対応づけて、時系列に、表示する。これにより、練習支援装置１００によれば、比較対象となる複数の要素に対応する選手１０の各姿勢を比較可能な態様で表示することができる。

なお、図４に示した表示画面８０、図１３〜図１６に示した表示画面８２〜９０では図示を省略したが、出力部１６５は、下記の処理を行ってもよい。たとえば、出力部１６５は、表示画面８０、８２〜９０で表示しているセンシングフレームのフレーム番号と同期させて、表示画面８０、８２〜９０の所定領域に、映像ＤＢ１５３の映像フレームを表示させてもよい。

図２０は、本実施例２に係る練習支援システムの一例を示す図である。図２０に示すように、この練習支援システムは、３Ｄレーザセンサ５０と、カメラ６０と、技認識装置７０と、練習支援装置２００とを有する。このうち、３Ｄレーザセンサ５０、カメラ６０、技認識装置７０に関する説明は、図１で説明したものと同様である。

本実施例２では一例として、選手１０は、第一の技の演技を行った後に、再度、第一の技の演技を行うものとする。一回目の演技を、「第一の演技」と表記し、二回目の演技を、「第二の演技」と表記する。第一の演技および第二の演技ともに、選手１０は、同一の第一の技の演技を行う。また、本実施例２では一例として、選手１０が、体操演技を行う場合について説明するが、他の採点競技（フィギアスケートなど）に関しても同様に適用することが可能である。

練習支援装置２００は、第一のセンシングデータに対応する第一の骨格データの推移と、第二のセンシングデータに対応する第二の骨格データの推移とを比較することで、複数の要素のうち、第一の骨格データの推移と第二の骨格データの推移との差分が所定値以上となる要素を特定する。たとえば、この差分が所定値以上となる要素は、複数の要素のうち、選手１０が技を失敗した要素に対応する。練習支援装置２００は、この特定した要素のタイミングが把握可能な態様で、表示画面を生成し、表示する。

図２１は、本実施例２に係る練習支援装置が表示する表示画面の一例を示す図である。図２１に示すように、この表示画面９３には、表示領域９３ａと、表示領域９３ｂと、表示領域９３ｃとが含まれる。

たとえば、第一の技には、第一の要素、第二の要素、・・・第ｍの要素が含まれるものとする。なお、第一の要素〜第ｍの要素に対応するセンシングフレームのフレーム番号を、フレーム番号１〜ｍとする。表示領域９３ａには、第一の要素〜第ｍの要素に対応する第一のセンシングフレームの３Ｄモデル（仮想視線から見た３Ｄモデルデータの画像）がそれぞれ表示される。表示領域９３ｂには、第一の要素〜第ｍの要素に対応する第二のセンシングフレームの３Ｄモデルがそれぞれ表示される。

第一の要素〜第ｍの要素の内、第一の骨格データの推移と、第二の骨格データの推移との差分が閾値以上となる要素を、フレーム番号８〜１２の要素（第八の要素〜第十二の要素）とする。この場合には、練習支援装置２００は、表示領域９３ａのフレーム番号８〜１２の３Ｄモデルの画像を強調表示する。

表示領域９３ｃには、第一の骨格データの推移と、第二の骨格データの推移とがグラフで表示される。ここでは一例として、骨格データの推移を、選手１０の右足首の旋回速度とする。表示領域９３ｃのグラフの横軸はフレーム番号に対応し、縦軸は、選手１０の右足首の旋回速度に対応する。線分９４ａは、第一の骨格データに対応する、選手１０の右足首の旋回速度と、フレーム番号との関係を示す線分である。線分９４ｂは、第二の骨格データに対応する、選手１０の右足首の旋回速度と、フレーム番号との関係を示す線分である。線分９４ａは、線分９４ｂと比較して、フレーム番号８以降、速度の差分が閾値以上となり、第一の演技が失敗していることが分かる。

練習支援装置２００が、図２１に示す表示画面９３を表示することで、ユーザは、失敗した３Ｄモデルの画像と、成功した３Ｄモデルの画像とを容易に比較することができる。また、強調表示により、第一の技を構成する複数の要素のうち、失敗した要素の３Ｄモデルの画像を容易に参照することも可能となる。

続いて、図２０に示した練習支援装置２００の構成の一例について説明する。図２２は、本実施例２に係る練習支援装置の構成を示す機能ブロック図である。図２２に示すように、この練習支援装置２００は、インタフェース部２１０、通信部２２０、入力部２３０、表示部２４０、記憶部２５０、制御部２６０を有する。このうち、インタフェース部２１０、通信部２２０、入力部２３０、表示部２４０に関する説明は、図５で説明した、インタフェース部１１０、通信部１２０、入力部１３０、表示部１４０に関する説明と同様である。

記憶部２５０は、センシングＤＢ２５１、技認識ＤＢ２５２、映像ＤＢ２５３、関節定義データ２５４、関節位置ＤＢ２５５、３ＤモデルＤＢ２５６を有する。記憶部２５０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

このうち、センシングＤＢ２５１、技認識ＤＢ２５２、映像ＤＢ２５３、関節定義データ２５４、関節位置ＤＢ２５５、３ＤモデルＤＢ２５６に関する説明は、図５で説明した、センシングＤＢ（Data Base）１５１、技認識ＤＢ１５２、映像ＤＢ１５３、関節定義データ１５４、関節位置ＤＢ１５５、３ＤモデルＤＢ１５６に関する説明と同様である。

制御部２６０は、登録部２６１、３Ｄモデル生成部２６２、受付部２６３、特定部２６４、出力部２６５を有する。制御部２６０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２６０は、ＡＳＩＣなどのハードワイヤードロジックによっても実現できる。

登録部２６１は、３Ｄレーザセンサ５０からセンシングデータを取得し、取得したセンシングデータを、センシングＤＢ２５１に登録する。登録部２６１は、センシングデータ（フレーム番号、センシングフレーム）をセンシングＤＢ２５１に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部２３０等を介して、ユーザに指定されるものとする。演技識別番号は、選手１０が行った演技を一意に識別するデータである。

登録部２６１は、技認識装置７０から認識結果データを取得し、取得した認識結果データを、技認識ＤＢ２５２に登録する。登録部２６１は、技認識結果データ（フレーム番号、技認識結果データ）を技認識ＤＢ２５２に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部２３０等を介して、ユーザに指定されるものとする。

登録部２６１は、カメラ６０から映像データを取得し、取得した映像データを、映像ＤＢ２５３に登録する。登録部２６１は、映像データ（フレーム番号、映像フレーム）を映像ＤＢ２５３に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部２３０等を介して、ユーザに指定されるものとする。

３Ｄモデル生成部２６２は、センシングＤＢ２５１を基にして、各演技識別番号の各フレーム番号に対応する３Ｄモデルデータを生成する処理部である。３Ｄモデル生成部２６２は、生成した３Ｄモデルデータを、３ＤモデルＤＢ２５６に登録する。３Ｄモデル生成部２６２が３Ｄモデルデータを生成する処理は、図５に示した３Ｄモデル生成部１６２の処理と同様である。

受付部２６３は、入力部２３０等から、ユーザが比較したい２つの演技に対応する２種類の演技識別番号を受け付ける処理部である。受付部２６３は、受け付けた２種類の演技識別番号の情報を、特定部２６４に出力する。たとえば、ユーザが比較したい２つの演技を、「第一の演技」および「第二の演技」とする。第一の演技に対応する演技識別番号を「第一の演技識別番号」とし、第二の演技に対応する演技識別番号を「第二の演技識別番号」とする。

特定部２６４は、受付部２６３から、第一の演技識別番号と、第二の演技識別番号とを取得する。たとえば、特定部２６４は、技認識ＤＢ２５２について、第一の演技識別番号に対応する各フレーム番号の技認識結果データを参照し、第一の演技の技（第一の技）を構成する複数の要素それぞれを代表するフレーム番号（以下、第一のフレーム番号）を特定する。特定部２６４は、第一の演技識別番号と、特定した複数の第一のフレーム番号とを、出力部２６５に出力する。

特定部２６４は、技認識ＤＢ２５２について、第二の演技識別番号に対応する各フレーム番号の技認識結果データを参照し、第二の演技の技（第一の技）を構成する複数の要素それぞれを代表するフレーム番号（以下、第二のフレーム番号）を特定する。特定部２６４は、第二の演技識別番号と、特定した複数の第二のフレーム番号とを、出力部２６５に出力する。

第一の演技識別番号の複数の第一のフレーム番号に対応する複数のセンシングフレームを複数の「第一のセンシングフレーム」と表記する。第二の演技識別番号の複数の第二のフレーム番号に対応する複数のセンシングフレームを複数の「第二のセンシングフレーム」と表記する。

更に、特定部２６４は、特定した各第一のフレーム番号に対応する各骨格データ（第一の骨格データ）を、３ＤモデルＤＢ２５６から取得する。特定部２６４は、所定数のフレーム毎に、第一の骨格データの推移を算出する。たとえば、第一の骨格データの推移は、第一の骨格データに含まれる複数の関節のうち、所定の関節の位置の移動速度に対応する。

特定部２６４は、特定した各第二のフレーム番号に対応する各骨格データ（第二の骨格データ）を、３ＤモデルＤＢ２５６から取得する。特定部２６４は、所定数のフレーム毎に、第二の骨格データの推移を算出する。たとえば、第二の骨格データの推移は、第二の骨格データに含まれる複数の関節のうち、所定の関節の位置の移動速度に対応する。

特定部２６４は、第一の骨格データの推移と、第二の骨格データの推移とを比較して、複数の要素のうち、第一の骨格データの推移と、第二の骨格データの推移との差が、閾値以上となる要素を、第一の技を構成する複数の要素から特定する。以下の説明では、第一の技を構成する複数の要素のうち、第一の骨格データの推移と、第二の骨格データの推移との差が、閾値以上となる要素を、「特定要素」と表記する。特定部２６４は、特定要素の情報を、出力部２６５に出力する。

特定部２６４は、第一の骨格データの推移の情報と、第二の骨格データの推移の情報を、出力部２６５に出力する。たとえば、骨格データの推移の情報は、フレーム番号と、フレーム番号に対応する骨格データに含まれる所定の関節の移動速度とを含む。

なお、特定部２６４は、比較を行う場合に、推移の算出の基準となる関節の種別に応じて、閾値を調整してもよい。たとえば、特定部２６４は、指先の関節位置に対応する閾値の大きさを、膝の関節に対応する閾値の大きさよりも大きく設定する。

出力部２６５は、複数の要素の各々について、複数の第一のセンシングフレームと、複数の第二のセンシングフレームとを対応づけて、時系列に、表示部２４０に表示させる処理部である。また、出力部２６５は、複数の第一のセンシングフレームまたは複数の第二のセンシングフレームのうち、特定要素に対応するセンシングフレームを強調表示する。また、出力部２６５は、第一の骨格データの推移の情報と、第二の骨格データの推移の情報とを示すグラフを生成して、表示部２４０に表示させる。

たとえば、出力部２６５は、図２１で説明した表示画面９３を生成し、表示部２４０に表示させる。

すなわち、出力部２６５は、複数の第一のセンシングフレームのうち、各要素に対応する第一のセンシングフレームのフレーム番号をキーにして、対応する第一の３Ｄモデルデータを３ＤモデルＤＢ２５６から検出する。出力部２６５は、仮想視線データを基準として、仮想視線から見える第一の３Ｄモデルデータの画像を生成し、表示領域９３ａに設置する。また、出力部２６５は、各３Ｄモデルの画像のうち、特定要素に対応する３Ｄモデルの画像を強調表示する。

出力部２６５は、複数の第二のセンシングフレームのうち、各要素に対応する第二のセンシングフレームのフレーム番号をキーにして、対応する第二の３Ｄモデルデータを３ＤモデルＤＢ２５６から検出する。出力部２６５は、仮想視線データを基準として、仮想視線から見える第二の３Ｄモデルデータの画像を生成し、表示領域９３ｂに設置する。

出力部２６５は、横軸をフレーム番号、縦軸を速度とするグラフに対して、第一の骨格データの推移および第二の骨格データの推移をプロットし、表示領域９３ｃに表示させる。

次に、本実施例２に係る練習支援装置２００の処理手順の一例について説明する。図２３は、本実施例２に係る練習支援装置の処理手順を示すフローチャートである。図２３に示すように、練習支援装置２００の受付部２６３は、比較対象となる第一の演技識別番号、第二の演技識別番号を受け付ける（ステップＳ４０１）。

練習支援装置２００の特定部２６４は、第一の演技中（第一の演技識別番号に対応する第一の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第一のセンシングフレームを特定する（ステップＳ４０２）。

特定部２６４は、第二の演技中（第二の演技識別番号に対応する第二の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第二のセンシングフレームを特定する（ステップＳ４０３）。

練習支援装置１００の出力部２６５は、複数の要素の各々について、複数の第一のセンシングフレームと、複数の第二のセンシングフレームとを対応づける（ステップＳ４０４）。受付部２６３は、仮想視線データを受け付け、出力部２６５は、仮想視線からみた、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を生成する（ステップＳ４０５）。出力部２６５は、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を対応づけて、時系列に表示させる（ステップＳ４０６）。

特定部２６４は、第一の骨格データの推移と、第二の骨格データの推移との差が閾値以上となる要素を特定する（ステップＳ４０７）。出力部２６５は、特定要素に対応する３Ｄモデルの画像を強調表示する（ステップＳ４０８）。出力部２６５は、第一の骨格データの推移、第二の骨格データの推移をグラフで表示する（ステップＳ４０９）。

次に、本実施例２に係る練習支援装置２００の効果について説明する。練習支援装置２００は、第一のセンシングデータに対応する第一の骨格データの推移と、第二のセンシングデータに対応する第二の骨格データの推移とを比較することで、複数の要素のうち、差分が所定値以上となる要素を特定する。たとえば、この差分が所定値以上となる要素は、複数の要素のうち、選手１０が技を失敗した要素に対応する。練習支援装置２００は、この特定した要素のタイミングが把握可能な態様で、表示画面を生成し、表示する。これにより、ユーザは、失敗した３Ｄモデルの画像と、成功した３Ｄモデルの画像とを容易に比較することができる。また、図２１の表示画面９３のような強調表示、グラフ表示により、第一の技を構成する複数の要素のうち、失敗した要素の３Ｄモデルの画像、失敗に至る骨格の推移等を容易に参照することも可能となる。

図２４は、本実施例３に係る練習支援システムの一例を示す図である。図２４に示すように、この練習支援システムは、３Ｄレーザセンサ５０と、カメラ６０と、技認識装置７０と、練習支援装置３００とを有する。このうち、３Ｄレーザセンサ５０、カメラ６０、技認識装置７０に関する説明は、図１で説明したものと同様である。

本実施例３では一例として、選手１０ａが、第一の技の演技を行った後に、選手１０ａとは体格の異なる他の選手１０ｂが、第一の技の演技を行うものとする。選手１０ａが行った演技を、「第一の演技」と表記し、選手１０ｂが行った演技を、「第二の演技」と表記する。第一の演技および第二の演技ともに、各選手１０ａ，１０ｂは、同一の第一の技の演技を行う。また、本実施例３では一例として、選手１０ａ，１０ｂが、体操演技を行う場合について説明するが、他の採点競技（フィギアスケートなど）に関しても同様に適用することが可能である。

練習支援装置３００は、実施例１で説明した練習支援装置１００と同様にして、複数の各要素の各々について、選手１０ａが行った演技の第一のセンシングフレーム（第一の３Ｄモデル）と、選手１０ｂが行った演技の第二のセンシングフレーム（第二の３Ｄモデル）とを対応づけて、時系列に、表示する。ここで、練習支援装置３００は、選手１０ａの大きさと、選手１０ｂの大きさとの差分に応じて、第一の３Ｄモデルに対する、第二の３Ｄモデルの大きさを決定し、決定した大きさで、第一の３Ｄモデルと、第二の３Ｄモデルを表示する。

図２５は、本実施例３に係る練習支援装置が表示する表示画面の一例を示す図である。図２５に示すように、この表示画面９５では、表示領域９５ａと、表示領域９５ｂとが含まれる。たとえば、第一の技には、第一の要素、第二の要素、・・・第ｍの要素、第ｍ＋ｎの要素が含まれるものとする。表示領域９５ａには、第ｍの要素に対応する第一のセンシングフレームの３Ｄモデルが表示される。表示領域９５ｂには、第ｍの要素に対応する第二のセンシングフレームの３Ｄモデルが表示される。ここで、表示領域９５ｂに表示される選手１０ｂの３Ｄモデルの大きさは、選手１０ａと選手１０ｂとの大きさの差分に応じた大きさに調整される。たとえば、練習支援装置３００は、表示領域９５ａの３Ｄモデルのスケールと、表示領域９５ｂの３Ｄモデルのスケールとを合わせる。

このように、練習支援装置３００は、表示領域９５ａの３Ｄモデルのスケールと、表示領域９５ｂの３Ｄモデルのスケールとを合わせて表示するため、選手１０ａと選手１０ｂとの体格差の違いによらず、直感的な演技の比較を行うことができる。

続いて、図２４に示した練習支援装置３００の構成の一例について説明する。図２６は、本実施例３に係る練習支援装置の構成を示す機能ブロック図である。図２６に示すように、この練習支援装置３００は、インタフェース部３１０、通信部３２０、入力部３３０、表示部３４０、記憶部３５０、制御部３６０を有する。このうち、インタフェース部３１０、通信部３２０、入力部３３０、表示部３４０に関する説明は、図５で説明した、インタフェース部１１０、通信部１２０、入力部１３０、表示部１４０に関する説明と同様である。

記憶部３５０は、センシングＤＢ３５１、技認識ＤＢ３５２、映像ＤＢ３５３、関節定義データ３５４、関節位置ＤＢ３５５、３ＤモデルＤＢ３５６を有する。記憶部３５０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

このうち、センシングＤＢ３５１、技認識ＤＢ３５２、映像ＤＢ３５３、関節定義データ３５４、関節位置ＤＢ３５５、３ＤモデルＤＢ３５６に関する説明は、図５で説明した、センシングＤＢ（Data Base）１５１、技認識ＤＢ１５２、映像ＤＢ１５３、関節定義データ１５４、関節位置ＤＢ１５５、３ＤモデルＤＢ１５６に関する説明と同様である。

制御部３６０は、登録部３６１、３Ｄモデル生成部３６２、受付部３６３、特定部３６４、出力部３６５を有する。制御部３６０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部３６０は、ＡＳＩＣなどのハードワイヤードロジックによっても実現できる。

登録部３６１は、３Ｄレーザセンサ５０からセンシングデータを取得し、取得したセンシングデータを、センシングＤＢ３５１に登録する。登録部３６１は、センシングデータ（フレーム番号、センシングフレーム）をセンシングＤＢ３５１に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部３３０等を介して、ユーザに指定されるものとする。演技識別番号は、選手１０ａまたは選手１０ｂが行った演技を一意に識別するデータである。

登録部３６１は、技認識装置７０から認識結果データを取得し、取得した認識結果データを、技認識ＤＢ３５２に登録する。登録部３６１は、技認識結果データ（フレーム番号、技認識結果データ）を技認識ＤＢ３５２に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部３３０等を介して、ユーザに指定されるものとする。

登録部３６１は、カメラ６０から映像データを取得し、取得した映像データを、映像ＤＢ３５３に登録する。登録部３６１は、映像データ（フレーム番号、映像フレーム）を映像ＤＢ３５３に登録する際に、演技識別番号を対応づける。演技識別番号は、入力部３３０等を介して、ユーザに指定されるものとする。

３Ｄモデル生成部３６２は、センシングＤＢ３５１を基にして、各演技識別番号の各フレーム番号に対応する３Ｄモデルデータを生成する処理部である。３Ｄモデル生成部３６２は、生成した３Ｄモデルデータを、３ＤモデルＤＢ３５６に登録する。３Ｄモデル生成部３６２が３Ｄモデルデータを生成する処理は、図５に示した３Ｄモデル生成部１６２の処理と同様である。

なお、３Ｄモデル生成部３６２は、３Ｄモデル生成部１６２の処理に加えて下記の処理を更に実行する。３Ｄモデル生成部３６２は、入力部３３０等を介して、選手１０ａの体型情報と、選手１０ｂの体型情報とを取得する。たとえば、選手の体型情報には、演技識別番号と、選手の識別情報と、選手の身長、スリーサイズ（たとえば、チェストサイズ、ウエストサイズ、ヒップサイズ）の情報が含まれる。なお、３Ｄモデル生成部３６２は、選手の身長、スリーサイズの情報を、３Ｄレーザセンサ５０のセンシングデータを基にして、生成してもよい。

３Ｄモデル生成部３６２は、選手１０ａの大きさと、選手１０ｂの大きさとの差分を算出し、算出した差分に応じて、選手１０ｂの３Ｄモデルデータの大きさを補正する。たとえば、３Ｄモデル生成部３６２は、式（１）に基づいて、差分値を算出する。式（１）のα、β、γ、εは、予め設定される重み係数である。

差分値＝α｜（選手１０ｂの身長−選手１０ａの身長）×｜β｜（選手１０ｂのチェストサイズ−選手１０ａのチェストサイズ）×｜γ｜（選手１０ｂのウエストサイズ−選手１０ａのウエストサイズ）×｜ε｜（選手１０ｂのヒップサイズ−選手１０ａのヒップサイズ）｜・・・（１）

３Ｄモデル生成部３６２は、選手１０ｂの体型情報に含まれる演技識別番号をキーとして、３ＤモデルＤＢ３５６から、選手１０ｂの各フレーム番号の各骨格データを特定する。３Ｄモデル生成部３６２は、差分値を基にして、各骨格データを補正する。たとえば、３Ｄモデル生成部３６２は、骨格データに含まれる各関節間の長さを、式（２）に基づいて補正する。式（２）において、選手１０ｂの体格が、選手１０ａの体格よりも大きい場合には、補正値Ｘは、差分値の値が大きいほど、小さくなる値である。一方、選手１０ｂの体格が、選手１０ａの体格よりも小さい場合には、補正値Ｘは、差分値の値が大きいほど、大きくなる値である。なお、３Ｄモデル生成部３６２は、関節の組毎に、補正値Ｘを変更してもよい。
補正後の関節間の長さ＝補正前の関節間の長さ×補正値Ｘ・・・（２）

３Ｄモデル生成部３６２は、上記処理により、選手１０ｂに対応する各骨格データを補正した後に、補正した各骨格データを基にして、再度、３Ｄモデルデータを生成し、生成した３Ｄモデルデータによって、選手１０ｂに対応する３Ｄモデルデータを更新する。

受付部３６３は、入力部３３０等から、ユーザが比較したい２つの演技に対応する２種類の演技識別番号を受け付ける処理部である。受付部３６３は、受け付けた２種類の演技識別番号の情報を、特定部３６４に出力する。たとえば、ユーザが比較したい選手１０ａの演技を「第一の演技」とし、選手１０ｂの演技を「第二の演技」とする。第一の演技に対応する演技識別番号を「第一の演技識別番号」とし、第二の演技に対応する演技識別番号を「第二の演技識別番号」とする。

特定部３６４は、受付部３６３から、第一の演技識別番号と、第二の演技識別番号とを取得する。たとえば、特定部３６４は、技認識ＤＢ３５２について、第一の演技識別番号に対応する各フレーム番号の技認識結果データを参照し、第一の演技の技（第一の技）を構成する複数の要素それぞれを代表するフレーム番号（以下、第一のフレーム番号）を特定する。特定部３６４は、第一の演技識別番号と、特定した複数の第一のフレーム番号とを、出力部３６５に出力する。

特定部３６４は、技認識ＤＢ３５２について、第二の演技識別番号に対応する各フレーム番号の技認識結果データを参照し、第二の演技の技（第一の技）を構成する複数の要素それぞれを代表するフレーム番号（以下、第二のフレーム番号）を特定する。特定部３６４は、第二の演技識別番号と、特定した複数の第二のフレーム番号とを、出力部３６５に出力する。

第一の演技識別番号の複数の第一のフレーム番号に対応する複数のセンシングフレームを複数の「第一のセンシングフレーム」と表記する。第二の演技識別番号の複数の第二のフレーム番号に対応する複数のセンシングフレームを複数の「第二のセンシングフレーム」と表記する。

出力部３６５は、複数の要素の各々について、複数の第一のセンシングフレームと、複数の第二のセンシングフレームとを対応づけて、時系列に、表示部３４０に表示させる処理部である。

出力部３６５は、図２５で説明した表示画面９５の情報を生成して、表示部３４０に出力する。たとえば、第一の演技および第二の演技を構成する要素が「要素Ａ、要素Ｂ、要素Ｃ、・・・」を含むものとする。

出力部３６５は、複数の第一のセンシングフレームのうち、要素Ａに対応する第一のセンシングフレームのフレーム番号をキーにして、対応する第一の３Ｄモデルデータを３ＤモデルＤＢ３５６から検出する。出力部３６５は、仮想視線データを基準として、仮想視線から見える第一の３Ｄモデルデータの画像を生成し、表示領域９５ａに設置する。たとえば、表示領域９５ａの第一の３Ｄモデルデータは、選手１０ａに対応するものである。

出力部３６５は、複数の第二のセンシングフレームのうち、要素Ａに対応する第二のセンシングフレームのフレーム番号をキーにして、対応する第二の３Ｄモデルデータを３ＤモデルＤＢ３５６から検出する。出力部３６５は、仮想視線データを基準として、仮想視線から見える第二の３Ｄモデルデータの画像を生成し、表示領域９５ｂに設置する。たとえば、表示領域９５ｂの第二の３Ｄモデルデータは、選手１０ｂに対応するものである。

表示領域９５ｂの第二の３Ｄモデルデータの大きさは、選手１０ａの大きさと、選手１０ｂの大きさとの差分に基づいて、補正されており、図２５に示す例では、各３Ｄモデルの大きさが略同一となっている。

出力部３６５は、他の要素「要素Ｂ、要素Ｃ、・・・」についても、上記処理を繰り返し実行することで、表示領域９５ａには、「要素Ｂ、要素Ｃ、・・・」に対応する第一の３Ｄモデルデータを表示する。また、表示領域９５ｂには、「要素Ｂ、要素Ｃ、・・・」に対応する第二の３Ｄモデルデータを表示する。出力部３６５は、表示領域９５ａに表示させる第一の３Ｄモデルデータの要素と、表示領域９５ｂに表示させる第二の３Ｄモデルデータの要素とを同期させるものとする。

次に、本実施例３に係る練習支援装置３００の処理手順の一例について説明する。図２７は、本実施例３に係る練習支援装置の処理手順を示すフローチャートである。図２７に示すように、練習支援装置３００の受付部３６３は、比較対象となる第一の演技識別番号、第二の演技識別番号を受け付ける（ステップＳ５０１）。

練習支援装置３００の特定部３６４は、第一の演技中（第一の演技識別番号に対応する第一の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第一のセンシングフレームを特定する（ステップＳ５０２）。

特定部３６４は、第二の演技中（第二の演技識別番号に対応する第二の演技中）に計測されたセンシングデータから第一の技を構成する複数の要素をそれぞれ代表する複数の第二のセンシングフレームを特定する（ステップＳ５０３）。

練習支援装置３００の出力部３６５は、複数の要素の各々について、複数の第一のセンシングフレームと、複数の第二のセンシングフレームとを対応づける（ステップＳ５０４）。

練習支援装置３００の３Ｄモデル生成部３６２は、第一の選手の３Ｄモデルデータと、第二の選手の３Ｄモデルデータとを生成する（ステップＳ５０５）。たとえば、第一の選手を選手１０ａとし、第二の選手を選手１０ｂとする。３Ｄモデル生成部３６２は、第一の選手の大きさと、第二の選手の大きさとの差分を算出する（ステップＳ５０６）。３Ｄモデル生成部３６２は、差分を基にして、第二の選手に対応する３Ｄモデルデータの大きさを補正する（ステップＳ５０７）。

受付部３６３は、仮想視線データを受け付け、出力部３６５は、仮想視線からみた、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を生成する（ステップＳ５０８）。出力部３６５は、第一の３Ｄモデルの画像および第二の３Ｄモデルの画像を対応づけて、時系列に表示させる（ステップＳ５０９）。

次に、本実施例３に係る練習支援装置３００の効果について説明する。練習支援装置３００は、実施例１で説明した練習支援装置１００と同様にして、複数の各要素の各々について、選手１０ａが行った演技の第一のセンシングフレーム（第一の３Ｄモデル）と、選手１０ｂが行った演技の第二のセンシングフレーム（第二の３Ｄモデル）とを対応づけて、時系列に、表示する。ここで、練習支援装置３００は、選手１０ａの大きさと、選手１０ｂの大きさとの差分に応じて、第一の３Ｄモデルに対する、第二の３Ｄモデルの大きさを決定し、決定した大きさで、第一の３Ｄモデルと、第二の３Ｄモデルとを表示する。たとえば、練習支援装置３００は、図２５で説明した、表示領域９５ａの３Ｄモデルのスケールと、表示領域９５ｂの３Ｄモデルのスケールとを合わせて表示するため、選手１０ａと選手１０ｂとの体格差の違いによらず、直感的な演技の比較を行うことができる。

なお、上記実施例１〜３では、一例として、選手１０，１０ａ，１０ｂが、体操種目のあん馬を行う場合について説明したが、練習支援装置１００，２００，３００は、床運動、吊り輪、平行棒、鉄棒、跳馬、段違い平行棒、平均台等に対しても、同様に処理を実行することができる。

ここで、本実施例で説明した練習支援装置１００（２００、３００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２８は、練習支援装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図２８に示すように、コンピュータ４００は、各種演算処理を実行するプロセッサー（たとえば、ＣＰＵ４０１）と、ユーザからのデータの入力を受け付ける入力装置４０２と、ディスプレイ４０３とを有する。また、コンピュータ４００は、記憶媒体からプログラム等を読み取る読み取り装置４０４と、無線ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置４０５とを有する。また、コンピュータ４００は、各種情報を一時記憶するＲＡＭ４０６と、ハードディスク装置４０７とを有する。そして、各装置４０１〜４０７は、バス４０８に接続される。

ハードディスク装置４０７は、３Ｄモデル生成プログラム４０７ａ、受付プログラム４０７ｂ、特定プログラム４０７ｃ、出力プログラム４０７ｄを有する。ＣＰＵ４０１は、３Ｄモデル生成プログラム４０７ａ、受付プログラム４０７ｂ、特定プログラム４０７ｃ、出力プログラム４０７ｄを読み出してＲＡＭ４０６に展開する。

３Ｄモデル生成プログラム４０７ａは、３Ｄモデル生成プロセス４０６ａとして機能する。受付プログラム４０７ｂは、受付プロセス４０６ｂとして機能する。特定プログラム４０７ｃは、特定プロセス４０６ｃとして機能する。出力プログラム４０７ｄは、出力プロセス４０６ｄとして機能する。

３Ｄモデル生成プロセス４０６ａの処理は、３Ｄモデル生成部１６２，２６２，３６２の処理に対応する。受付プロセス４０６ａの処理は、受付部１６３，２６３，３６３の処理に対応する。特定プロセス４０６ｃの処理は、特定部１６４，２６４，３６４の処理に対応する。出力プロセス４０６ｄの処理は、出力部１６５，２６５，３６５の処理に対応する。

なお、各プログラム４０７ａ〜４０７ｄについては、必ずしも最初からハードディスク装置４０７に記憶させておかなくても良い。例えば、コンピュータ４００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ４００が各プログラム４０７ａ〜４０７ｄを読み出して実行するようにしても良い。

１００，２００，３００ 練習支援装置
１６２，２６２，３６２ ３Ｄモデル生成部
１６３，２６３，３６３ 受付部
１６４，２６４，３６４ 特定部
１６５，２６５，３６５ 出力部

Claims (13)

1. コンピュータに、
   第一の技の演技中に計測された第一のセンシングデータから、前記第一の技を構成する複数の要素それぞれを代表する複数の第一のフレームを特定し、
   前記第一の技の他の演技中に計測された第二のセンシングデータから、前記第一の技を構成する前記複数の要素それぞれを代表する複数の第二のフレームを特定し、
   前記複数の要素の少なくとも一つについて、前記複数の第一のフレームと、前記複数の第二のフレームとを対応づけて、表示する
   処理を実行させることを特徴とする練習支援プログラム。
2. 前記第一のセンシングデータおよび前記第二のセンシングデータは、距離画像センサから得られた被写体の３次元情報を有するデータであって、前記表示する処理は、指定された仮想視線から見た、前記複数の要素の少なくとも一つについて、前記複数の第一のフレームと前記複数の第二のフレームとを対応づけて、表示することを特徴とする請求項１に記載の練習支援プログラム。
3. 前記表示する処理は、前記複数の要素のうちの特定の要素に対応する、前記複数の第一のフレームのうちの第一のフレームと、前記複数の第二のフレームのうちの第二のフレームとについて、各々に対応する骨格データに基づき、姿勢の差分を把握可能な態様で表示することを特徴とする請求項２に記載の練習支援プログラム。
4. 前記第一のセンシングデータは、指導前の前記第一の技の演技に関するデータであって、前記第二のセンシングデータは、指導後の前記第一の技の演技に関するデータであることを特徴とする請求項３に記載の練習支援プログラム。
5. 前記複数の第一のフレームのうちの第一のフレームに対して追加表示する箇所についての入力を受け付け、前記複数の第二のフレームのうちの前記第一のフレームに対応するフレームである第二のフレームを特定し、前記第一のフレームにおいて受け付けた追加表示する箇所に対応する、前記第二のフレームにおける箇所を特定する処理を更に実行させ、前記表示する処理は、特定された前記第二のフレームにおける箇所に、追加表示を重畳して表示することを特徴とする請求項３に記載の練習支援プログラム。
6. 前記第一のセンシングデータに対応する第一の骨格データの推移と、前記第二のセンシングデータに対応する第二の骨格データの推移とに基づき、前記複数の要素のうち、前記第一の骨格データと前記第二の骨格データとの差分が所定値以上となる要素を特定する処理を更に実行させ、前記表示する処理は、特定された前記要素のタイミングが把握可能な態様で、表示することを特徴とする請求項２に記載の練習支援プログラム。
7. 前記表示する処理は、前記第一の骨格データの推移と、前記第二の骨格データの推移とを、一つのグラフで合わせて表示することを特徴とする請求項６に記載の練習支援プログラム。
8. 前記表示する処理は、前記複数の要素における第一の要素と、前記第一の要素の次の第二の要素について、前記第一の要素に対応する前記複数の第一のフレームのうちのフレームと、前記第二の要素に対応する前記複数の第一のフレームのうちのフレームとの間のフレーム数に基づき、前記第一の要素と前記第二の要素との間の時間間隔を把握可能な様態で、表示することを特徴とする請求項２に記載の練習支援プログラム。
9. 前記第一のセンシングデータにかかる第一の演技者の大きさと、前記第二のセンシングデータにかかる第二の演技者の大きさとの差分に応じて、前記第一の演技者の３次元モデルに対する、前記複数の第二のフレームのそれぞれにおける前記第二の演技者の３次元モデルの大きさを決定する処理を更に実行させ、前記表示する処理は、決定された大きさで、前記第一の演技者の３次元モデルと前記第二の演技者の３次元モデルとを表示することを特徴とする請求項２に記載の練習支援プログラム。
10. 前記第一の演技者と前記第二の演技者とは、別の演技者であることを特徴とする請求項９に記載の練習支援プログラム。
11. 前記複数の要素各々について、前記複数の第一のフレームと、前記複数の第二のフレームとを対応づけて、時系列に、表示することを特徴とする請求項１ないし１０のいずれか１項に記載の練習支援プログラム。
12. コンピュータが実行する練習支援方法であって、
    第一の技の演技中に計測された第一のセンシングデータから、前記第一の技を構成する複数の要素それぞれを代表する複数の第一のフレームを特定し、
    前記第一の技の他の演技中に計測された第二のセンシングデータから、前記第一の技を構成する前記複数の要素それぞれを代表する複数の第二のフレームを特定し、
    前記複数の要素の少なくとも一つについて、前記複数の第一のフレームと、前記複数の第二のフレームとを対応づけて、表示する
    処理を実行することを特徴とする練習支援方法。
13. センサと練習支援装置とを有する練習支援システムであって、
    前記センサによって、第一の技の演技中に計測された第一のセンシングデータから、前記第一の技を構成する複数の要素それぞれを代表する複数の第一のフレームを特定し、前記センサによって、前記第一の技の他の演技中に計測された第二のセンシングデータから、前記第一の技を構成する前記複数の要素それぞれを代表する複数の第二のフレームを特定する特定部と、
    前記複数の要素の少なくとも一つについて、前記複数の第一のフレームと、前記複数の第二のフレームとを対応づけて、表示する表示部と
    を有することを特徴とする練習支援システム。

Images