JP6915701B2 - 抽出プログラム、抽出方法および情報処理装置 - Google Patents

Description

本発明は、抽出プログラム等に関する。

一連の映像から一部分の映像を抽出する従来技術として、ダイジェスト映像を生成する技術がある。この従来技術では、スポーツの試合の映像のうち、得点が入った場面を中心とする一部分の映像を、ダイジェスト映像として生成する。

また、他の従来技術では、映像に付与された各種のインデックス情報を利用して、特定の場面の映像を抽出するものがある。たとえば、各種のインデクス情報は、映像シーンの区切りを示すインデックス、選手の攻撃動作のタイミングを示すインデックス、得点に関連するような動作のタイミングを示すインデックスを含む。従来技術は、各インデックスの組み合わせから、特定の場面の映像を特定し、特定した映像を抽出する。

特開２００５−２６８３７号公報 特開２００１−２５１５８１号公報

しかしながら、上述した従来技術では、採点競技に関する一連の映像から、採点を基準とした映像を抽出するものではないという問題がある。

たとえば、従来技術は、一連の映像から一部分の映像を抽出する場合において、特定のプレーの部分映像を抽出するものであり、採点競技において、採点を基準とした映像を抽出するものではない。

１つの側面では、本発明は、採点競技に関する一連の映像から、採点を基準とした映像を抽出することができる抽出プログラム、抽出方法および情報処理装置を提供することを目的とする。

第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、競技者による一連の演技の３Ｄセンシングデータに基づく、演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を取得する。コンピュータは、成立不成立の判定結果および完成度の判定結果の少なくとも一方に基づいて、複数の技から、成立不成立を判定する第１の基準から所定範囲内となる第１の技、または、完成度を判定する第２の基準から所定範囲内となる第２の技を抽出する。コンピュータは、第１の技、または、第２の技に対応する箇所を、一連の演技の３Ｄセンシングデータから生成される競技者の３Ｄモデル動画、または、演技を撮影した映像から抽出する。コンピュータは、抽出した箇所の３Ｄモデル動画、または、抽出した箇所の映像を出力する。

採点競技に関する一連の映像から、採点を基準とした映像を抽出することができる。

図１は、本実施例１に係るシステムの一例を示す図である。 図２は、静止姿勢の一例を示す図である。 図３は、運動姿勢の一例を示す図である。 図４は、つり輪の演技の一例を示す図である。 図５は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。 図６は、本実施例１に係るセンシングＤＢのデータ構造の一例を示す図である。 図７は、本実施例１に係る映像ＤＢのデータ構造の一例を示す図である。 図８は、本実施例１に係る関節定義データの一例を示す図である。 図９は、本実施例１に係る関節位置ＤＢのデータ構造の一例を示す図である。 図１０は、本実施例１に係る３ＤモデルＤＢのデータ構造の一例を示す図である。 図１１は、本実施例１に係る技認識ＤＢのデータ構造の一例を示す図である。 図１２は、本実施例１に係る技認識テーブルのデータ構造の一例を示す図である。 図１３は、成立条件テーブルのデータ構造の一例を示す図である。 図１４は、静止姿勢名と静止姿勢成立条件との関係の一例を説明するための図である。 図１５は、運動姿勢名と運動姿勢成立条件との関係の一例を示す図である。 図１６は、運動姿勢成立条件を補足説明するための図である。 図１７は、静止姿勢の評価項目の減点の点数を説明するための図である。 図１８は、運動姿勢の評価項目の減点の点数を説明するための図である。 図１９は、第１の技として抽出される姿勢と抽出されない姿勢との一例を示す図である。 図２０は、第２の技として抽出される姿勢と抽出されない姿勢との一例を示す図である。 図２１は、本実施例１に係るダイジェスト映像ＤＢのデータ構造の一例を示す図である。 図２２は、本実施例１に係る表示画面の一例を示す図である。 図２３は、本実施例１に係る情報処理装置の処理手順を示すフローチャート（１）である。 図２４は、本実施例１に係る情報処理装置の処理手順を示すフローチャート（２）である。 図２５は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。 図２６は、本実施例２に係る技認識ＤＢのデータ構造の一例を示す図である。 図２７は、本実施例２に係る情報処理装置の処理手順を示すフローチャート（１）である。 図２８は、本実施例２に係る情報処理装置の処理手順を示すフローチャート（２）である。 図２９は、本実施例３に係る表示画面の一例を示す図（１）である。 図３０は、本実施例３に係る表示画面の一例を示す図（２）である。 図３１は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する抽出プログラム、抽出方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、このシステムは、３Ｄ（3 dimension）レーザセンサ２０ａと、カメラ２０ｂと、情報処理装置１００とを有する。情報処理装置１００は、３Ｄレーザセンサ２０ａおよびカメラ２０ｂに接続される。

３Ｄレーザセンサ２０ａは、競技者１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ２０ａは、センシング結果となるセンサデータを、情報処理装置１００に出力する。

たとえば、センサデータには、複数のフレームが含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。センサデータは、３Ｄセンシングデータの一例である。各フレームには、３Ｄレーザセンサ２０ａから、競技者１０上の各点までの距離情報が含まれる。センサデータを用いることで、各フレームにおける競技者１０の各関節の３次元位置を推定し、競技者１０の３Ｄモデルを生成することができる。

カメラ２０ｂは、競技者１０の映像を撮影するカメラである。カメラ２０ｂは、撮影した映像データを、情報処理装置１００に出力する。たとえば、映像データには、複数のフレームが含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。各フレームには、各タイミングでカメラ２０ｂに撮影された静止画像の情報が含まれる。

以下の説明では、適宜、センサデータに含まれるフレームを、「センサフレーム」と表記する。映像データに含まれるフレームを、「映像フレーム」と表記する。

競技者１０は、３Ｄレーザセンサ２０ａおよびカメラ２０ｂの前方で、採点対象となる所定の演技を行う。競技者１０は、競技者の一例である。本実施例１では一例として、競技者１０が、体操演技を行う場合について説明するが、他の採点競技に関しても同様に適用することが可能である。

たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィン、一部が採点になっている、スキージャンプ、モーグルのエアー・ターンを含む。また、クラシックバレエ、社交ダンス、野球、バスケットボールの姿勢の判定等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの対戦競技での決まり手の判定に適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。

体操は、連続する運動であるが、連続する運動の中には複数の技が連続して存在する。また、体操の始めや間には、技には該当しない「つなぎ」の動きが存在する場合がある。体操の演技の中で、技や技を構成する基本運動の姿勢、技の切れ目の姿勢を見ることで、審判員は、技の成立、不成立や、技の完成度を判断し、評価を行う。

ここで、「姿勢」とは、頭部、体幹、四肢の相対的位置関係を示すものである。本実施例では一例として、技の切れ目等において静止状態を保持すべき姿勢を「静止姿勢」と表記する。動きのある姿勢を「運動姿勢」と表記する。たとえば、「静止姿勢」の種別と「運動姿勢」の種別との組あわせにより、技が確定する。

図２は、静止姿勢の一例を示す図である。静止姿勢は、技の切れ目に、競技者１０が行う姿勢である。たとえば、静止姿勢には、懸垂、支持、逆懸垂、水平支持、倒立、十字倒立等が含まれる。図２に示す静止姿勢は一例であり、他にも静止姿勢は存在する。

図３は、運動姿勢の一例を示す図である。たとえば、つり輪の運動姿勢（一部）１には、振動（前半）１−１、振動（後半）１−２が含まれる。跳馬の運動姿勢２には、第１局面２−１と、第２局面２−２とが含まれる。

図４は、つり輪の演技の一例を示す図である。図４に示すように、つり輪の演技３には、運動姿勢３−１〜３−１０が含まれる。

運動姿勢３−１は、技「後ろ振り上がり水平支持（２秒）」に対応する。運動姿勢３−１の技の切れ目には、静止姿勢３−（１）が含まれる。

運動姿勢３−２は、技「ほん転逆上がり中水平支持（２秒）」に対応する。運動姿勢３−２の技の切れ目には、静止姿勢３−（２）が含まれる。

運動姿勢３−３は、技「後ろ振り上がり十字倒立」に対応する。運動姿勢３−３の技の切れ目には、静止姿勢３−（３）が含まれる。

運動姿勢３−４は、技「屈伸ヤマワキ」に対応する。運動姿勢３−４の技の切れ目には、静止姿勢３−（４）が含まれる。

運動姿勢３−５は、技「後ろ振り上がり中水平支持（２秒）」に対応する。運動姿勢３−５の技の切れ目には、静止姿勢３−（５）が含まれる。

運動姿勢３−６は、技「後ろ振り上がり上水平支持（２秒）」に対応する。運動姿勢３−６の技の切れ目には、静止姿勢３−（６）が含まれる。

運動姿勢３−７は、技「アザリアン」に対応する。運動姿勢３−７の技の切れ目には、静止姿勢３−（７）が含まれる。

運動姿勢３−８は、技「ほん転倒立（２秒）」に対応する。運動姿勢３−８の技の切れ目には、静止姿勢３−（８）が含まれる。

運動姿勢３−９は、技「振り上がり倒立（２秒）」に対応する。運動姿勢３−９の技の切れ目には、静止姿勢３−（９）が含まれる。

運動姿勢３−１０は、技「後方かかえこみ２回宙返り２回ひねり下り」に対応する。運動姿勢３−１０の技の切れ目には、静止姿勢３−（１０）が含まれる。

図１の説明に戻る。情報処理装置１００は、３Ｄレーザセンサ２０ａから取得するセンサデータを基にして、３Ｄモデルデータを生成し、競技者１０が行う演技のＤ（Difficulty）スコアおよびＥ（Execution）スコアを採点する。Ｄスコアは、技の成立不成立に基づいて算出されるスコアである。Ｅスコアは、技の完成度に応じて、減点法に応じて算出されるスコアである。

ここで、情報処理装置１００は、３Ｄレーザセンサ２０ａから取得するセンサフレームまたは、カメラ２０ｂから取得する映像フレームを基にして、Ｄスコアに関連する技の成立不成立を判定するための基準を満たすか否かが曖昧な場面の映像を生成し、出力する。また、情報処理装置１００は、Ｅスコアに関連する技の完成度を判定するための基準を満たすか否かが曖昧な場面の映像を生成し、出力する。

図５は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図５に示すように、この情報処理装置１００は、インタフェース部１１０、通信部１２０、入力部１３０、表示部１４０、記憶部１５０、制御部１６０を有する。

インタフェース部１１０は、３Ｄレーザセンサ２０ａおよびカメラ２０ｂに接続される。インタフェース部１１０は、３Ｄレーザセンサ２０ａからセンサデータを取得し、取得したセンサデータを、制御部１６０に出力する。インタフェース部１１０は、カメラ２０ｂから映像データを取得し、取得した映像データを制御部１６０に出力する。

通信部１２０は、ネットワークを介して、他の装置とデータ通信を行う装置である。通信部１２０は、通信装置に対応する。情報処理装置１００は、ネットワークを介して、３Ｄレーザセンサ２０ａ、カメラ２０ｂに接続されてもよい。この場合には、通信部１２０は、ネットワークを介して、３Ｄレーザセンサ２０ａからセンサデータを取得し、カメラ２０ｂから映像データを取得する。

入力部１３０は、情報処理装置１００に各種の情報を入力するための入力装置である。入力部１３０は、キーボード、マウス、タッチパネル等に対応する。

表示部１４０は、制御部１６０から出力される表示画面の情報を表示する表示装置である。表示部１４０は、液晶ディスプレイ、タッチパネル等に対応する。

記憶部１５０は、センシングＤＢ（Data Base）１５１、映像ＤＢ１５２、関節定義データ１５３、関節位置ＤＢ１５４、３ＤモデルＤＢ１５５、技認識ＤＢ１５６、ダイジェスト映像ＤＢ１５７を有する。記憶部１５０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

センシングＤＢ１５１は、３Ｄレーザセンサ２０ａから取得するセンサデータを格納するＤＢである。図６は、本実施例１に係るセンシングＤＢのデータ構造の一例を示す図である。このセンシングＤＢ１５１は、記録ＩＤと、フレーム番号と、センサフレームとを対応づける。記録ＩＤ（Identification）は、競技者１０が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の記録ＩＤに対応する各フレーム（センサフレーム）を一意に識別する番号である。センサフレームは、３Ｄレーザセンサ２０ａにセンシングされたセンサデータに含まれるセンサフレームである。

映像ＤＢ１５２は、カメラ２０ｂから取得する映像データを格納するＤＢである。図７は、本実施例１に係る映像ＤＢのデータ構造の一例を示す図である。この映像ＤＢ１５２は、記録ＩＤと、フレーム番号と、映像フレームとを対応付ける。記録ＩＤは、競技者１０が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の記録ＩＤに対応する各フレーム（映像フレーム）を一意に識別する番号である。映像フレームは、カメラ２０ｂに撮影された映像データに含まれる映像フレームである。

関節定義データ１５３は、競技者（競技者１０）の各関節位置を定義するものである。図８は、本実施例１に係る関節定義データの一例を示す図である。図８に示すように、関節定義データ１５３は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図８に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、本実施例１では、８番の右肘関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。

関節位置ＤＢ１５４は、３Ｄレーザセンサ２０ａのセンサデータを基に生成される競技者１０の各関節の位置データである。図９は、本実施例１に係る関節位置ＤＢのデータ構造の一例を示す図である。図９に示すように、この関節位置ＤＢ１５４は、記録ＩＤと、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」を対応づける。記録ＩＤに関する説明は、センシングＤＢ１５１で行った説明と同様である。

図９において、フレーム番号は、同一の記録ＩＤに対応する各センシングフレームを一意に識別する番号である。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図８に示す０番号の関節の３次元座標である。

図９は、記録ＩＤ「Ｐ１０１」のセンサデータにおける各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」あることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。

３ＤモデルＤＢ１５５は、センサデータを基に生成される競技者１０の３Ｄモデルの情報を格納するデータベースである。図１０は、本実施例１に係る３ＤモデルＤＢのデータ構造の一例を示す図である。図１０に示すように、３ＤモデルＤＢ１５５は、記録ＩＤと、フレーム番号と、骨格データと、３Ｄモデルデータとを対応づける。記録ＩＤ、フレーム番号に関する説明は、センシングＤＢ１５１で行った説明と同様である。

骨格データは、各関節位置を接続することで推定される競技者１０の骨格を示すデータである。３Ｄモデルデータは、センサデータから得られる情報と、骨格データとを基にして推定される競技者１０の３Ｄモデルのデータである。

技認識ＤＢ１５６は、競技者１０が行う演技に含まれる技（静止姿勢、運動姿勢）を認識する場合に用いられるＤＢである。図１１は、本実施例１に係る技認識ＤＢのデータ構造の一例を示す図である。図１１に示すように、技認識ＤＢ１５６は、技認識テーブル１５６ａと、成立条件テーブル１５６ｂと、スコアテーブル１５６ｃとを有する。

技認識テーブル１５６ａは、技を認識するための各種の情報を保持するテーブルである。図１２は、本実施例１に係る技認識テーブルのデータ構造の一例を示す図である。図１２に示すように、この技認識テーブル１５６ａは、技名と、グループと、難度と、スコアと、成立条件とを対応付ける。技名は、技を一意に識別する技の名称である。グループは、技名に対応する技が属するグループを示すものである。難度は、技名に対応する技の難度を示すものである。たとえば、難度「Ａ」が最も難度が低く、難度Ａ，Ｂ，Ｃ，Ｄ，Ｅの順に難度が高くなる。

スコアは、技名に対応する点数であり、Ｄスコアを算出する場合に用いられる。難度が高い技ほど、スコアは高くなる。たとえば、技名「懸垂からゆっくりと肩転位」は、グループ「Ｇ１」に属し、難度は「Ａ」となる。成立条件は、技が成立する静止姿勢名および運動姿勢名を示すものである。静止姿勢および運動姿勢の成立条件は、成立条件テーブル１５６ｂにより定義される。また、静止姿勢および運動姿勢が成立する条件は複数の項目毎に設定されており、各項目を適宜「評価項目」と表記する。

図１３は、成立条件テーブルのデータ構造の一例を示す図である。成立条件テーブル１５６ｂは、テーブル１７０ａおよびテーブル１７０ｂを有する。テーブル１７０ａは、静止姿勢名と静止姿勢成立条件とを対応付ける。静止姿勢名は、静止姿勢を一意に特定する名称を示す。静止姿勢成立条件は、静止姿勢が成立する条件を示すものである。以下において、静止姿勢名と、静止姿勢成立条件との関係の一例について説明する。

図１４は、静止姿勢名と静止姿勢成立条件との関係の一例を説明するための図である。たとえば、静止姿勢名「十字懸垂」は、静止姿勢成立条件「背骨アングル」、「ヒップアングル」、「アームアングル」、「エルボーアングル」、「ニーアングル」、「ニー間隔アングル」、「ショルダーアングル」と対応づけられる。「背骨アングル」、「ヒップアングル」、「アームアングル」、「エルボーアングル」、「ニーアングル」、「ニー間隔アングル」、「ショルダーアングル」を、図８を用いて説明する。

背骨アングル（Spine_Angle of an incline）は、関節０番および２番を通る線分と、Ｚ軸とのなす角度である。たとえば、背骨アングルが「θ_Ａ１以下」である場合には、競技者の体の中心が鉛直上方向であることを示す。

ヒップアングル（Hip_Angle between body）は、関節０番および１番を通る線分と、関節１０番および関節１１番を通る線分とのなす角度である。または、ヒップアングルは、関節０番および１番を通る線分と、関節１４番および関節１５番を通る線分とのなす角度である。たとえば、ヒップアングルが「θ_Ａ２以上」である場合には、競技者の腰が伸びていることを示す。

アームアングル（Arm_Angle between body）は、関節１番および関節２番を通る線分と、関節４番および関節５番を通る線分とのなす角度である。また、アームアングルは、関節１番および関節２番を通る線分と、関節７番および関節８番を通る線分とのなす角度である。たとえば、アームアングルが「θ_Ａ３１〜θ_Ａ３２」である場合には、競技者の手が横に伸びていることを示す。

エルボーアングル（Elbow_Angle）は、関節４番および５番を通る線分と、関節５番と６番とを通る線分とのなす角度である。また、エルボーアングルは、関節７番および８番を通る線分と、関節８番と９番とを通る線分とのなす角度である。たとえば、エルボーアングルが「θ_Ａ４以上」である場合には、競技者の肘が伸びていることを示す。

ニーアングルは（Knee_Angle）は、関節１０番および１１番を通る線分と、関節１１番および関節１２番を通る線分とのなす角度である。また、ニーアングルは、関節１４番および１５番を通る線分と、関節１５番および関節１６番を通る線分とのなす角度である。たとえば、ニーアングルが「θ_Ａ５以上」である場合には、競技者の膝が伸びていることを示す。

ニー間隔アングル（Knees_sep. Angle）は、関節１０番および１１番を通る線分と、関節１４番および１５番を通る直線とのなす角度である。たとえば、ニー間隔アングルが「θ_Ａ６」である場合には、競技者の足が開いていないことを示す。

ショルダーアングルは、関節７番および９番を通る線分と水平基準とのなす角θ_Ｒと、関節４番および６番を通る線分と水平基準となす各θ_Ｌとのうち、大きい方のアングルを示す。たとえば、ショルダーアングルが０°である場合には、競技者の腕が水平にのびていることを示す。

たとえば、図１４に示す例では、背骨アングルが「θ_Ａ１以下」、ヒップアングルが「θ_Ａ２以上」、アームアングルが「θ_Ａ３１〜θ_Ａ３２」、エルボーアングルが「θ_Ａ５以上」、ニーアングルが「θ_Ａ５以上」、ニー間隔アングルが「θ_Ａ６以下」、ショルダーアングルが「θ_Ａ７以下」という各成立条件を全て満たす場合に、静止姿勢名「十字懸垂」の技が成立したことになる。

テーブル１７０ｂは、運動姿勢名と、運動姿勢成立条件とを対応付ける。運動姿勢名は、運動姿勢を一意に特定する名称を示す。運動姿勢成立条件は、運動姿勢が成立する条件を示すものである。

図１５は、運動姿勢名と運動姿勢成立条件との関係の一例を示す。たとえば、運動姿勢成立条件は、対応する運動姿勢が成立するための各関節位置の推移および各関節位置に基づく角度の推移と、成立条件との関係を定義する。

図１６は、運動姿勢成立条件を補足説明するための図である。図１６では、一例として、振動から力静止技に至る肩角度を用いて、運動姿勢成立条件を定義した場合について説明する。たとえば、肩角度は、関節４番および関節６番を通る直線と、水平基準（水平面）とのなす角度である。たとえば、技名「後ろ振り上がり中水平支持（２秒）」に含まれる運動姿勢に関する運動姿勢成立条件では、振動が終了したタイミングＴ_１以降において、肩角度の最大値θ_Ｍａｘが、４５°以下という条件が設定される。

すなわち、肩角度の最大値θ_Ｍａｘが、４５°以下である場合には、技名「後ろ振り上がり中水平支持（２秒）」の運動姿勢成立条件を満たすことを意味する。なお、図１６で説明した肩角度の運動姿勢成立条件のみを満たせば、「後ろ振り上がり中水平支持（２秒）」が成立したと判定されるわけではない。「後ろ振り上がり中水平支持（２秒）」に対応付けられた他の静止姿勢成立条件、他の運動姿勢成立条件を満たして場合に、「後ろ振り上がり中水平支持（２秒）」が成立したと判定される。たとえば、運動姿勢成立条件には、肩角度の他にも、水平支持の水平角度、腰角度、膝角度、肘角度等がある。

スコアテーブル１５６ａは、技の完成度に関するＥスコアで用いる点数を定義するテーブルである。Ｅスコアは、所定の点数（たとえば、１０点）からの減点方式により採点され、技の完成度が低いほど、減点の数が大きくなる。スコアテーブル１５６ａでは、各静止姿勢の評価項目毎に減点の点数が定義される。また、スコアテーブル１５６ａでは、各運動姿勢の評価項目毎に、減点の点数が定義される。

図１７は、静止姿勢の評価項目の減点の点数を説明するための図である。図１７では一例として、静止姿勢名「十字懸垂」、評価項目「ショルダーアングル」に関する減点の点数を示す。評価項目「ショルダーアングル」は、図１４の静止姿勢成立条件のショルダーアングルに対応するものである。

図１７に示すように、ショルダーアングルが「０°≦θ＜６°」の場合には、「減点なし」となる。ショルダーアングルが「６°≦θ＜１６°」の場合には、減点「０．１（小欠点）」となる。ショルダーアングルが「１６°≦θ＜３１°」の場合には、減点「０．３（中欠点）」となる。ショルダーアングルが「３１°≦θ＜４６°」の場合には、減点「０．５（大欠点）」となる。ショルダーアングルが「４６°≦θ」の場合には、「技不成立」となる。

図１８は、運動姿勢の評価項目の減点の点数を説明するための図である。図１８では一例として、運動姿勢名「運動姿勢Ｂ１」、評価項目「肩角度」に関する減点の点数を示す。評価項目「肩角度」は、図１６の運動姿勢成立条件で説明した肩角度に対応するものである。

図１８に示すように、肩角度が「０°≦θ＜６°」の場合には、「減点なし」となる。肩角度が「６°≦θ＜１６°」の場合には、減点「０．１（小欠点）」となる。肩角度が「１６°≦θ＜３１°」の場合には、減点「０．３（中欠点）」となる。肩角度が「３１°≦θ＜４６°」の場合には、減点「０．５（大欠点）」となる。肩角度が「４６°≦θ」の場合には、「技不成立」となる。

ダイジェスト映像ＤＢ１５７は、技の成立不成立または技の完成度を判定するための基準を満たすか否かが曖昧な技のダイジェスト映像を保持するテーブルである。

制御部１６０は、登録部１６１と、第１抽出部１６２と、第２抽出部１６３と、出力部１６４とを有する。制御部１６０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

登録部１６１は、３Ｄレーザセンサ２０ａからセンサデータを取得し、取得したセンサデータを、センシングＤＢ１５１に登録する。登録部１６１は、センサデータ（フレーム番号、センサフレーム）をセンシングＤＢ１５１に登録する際に、記録ＩＤを対応づける。記録ＩＤは、たとえば、センサデータに付加されている。ユーザは、入力部１３０を操作して、センサデータに対応する記録ＩＤを入力してもよい。

登録部１６１は、カメラ２０ｂから映像データを取得し、取得した映像データを、映像ＤＢ１５２に登録する。登録部１６１は、映像データ（フレーム番号、センサフレーム）を映像ＤＢ１５２に登楼する際に、記録ＩＤを対応付ける。記録ＩＤは、たとえば、映像データに付加されている。ユーザは、入力部１３０を操作して、映像データに対応する記録ＩＤを入力してもよい。

第１抽出部１６２は、センシングＤＢ１５１を基にして、技（静止姿勢または運動姿勢）の成立不成立の基準から所定範囲内となる技を抽出する。また、第１抽出部１６２は、センシングＤＢ１５１を基にして、技の完成度を決める基準から所定範囲内となる技（静止姿勢または運動姿勢）を抽出する。以下の説明では適宜、成立不成立の基準から所定範囲内となる技を「第１の技」と表記する。完成度を決める基準から所定範囲内となる技を「第２の技」と表記する。

第１抽出部１６２は、競技者１０の各関節の各位置データを時系列に抽出する処理、３Ｄモデルデータを生成する処理、スコアを評価する処理、第１の技、第２の技を抽出する処理を実行する。

まず、第１抽出部１６２が、競技者１０の各関節の各位置データを時系列に抽出する処理の一例について説明する。第１抽出部１６２は、センシングＤＢ１５１のセンシングフレームと、関節定義データ１５３とを比較して、フレームに含まれる各関節の種別および関節の３次元座標を特定する。第１抽出部１６２は、記録ＩＤ、フレーム番号、各関節の種別の３次元座標を対応付けた情報を、関節位置ＤＢ１５４に登録する。第１抽出部１６２は、フレーム番号毎に上記の処理を繰り返し実行する。

続いて、第１抽出部１６２が、３次元モデルＤＢ１５５を生成する処理の一例について説明する。第１抽出部１６２は、関節位置ＤＢ１５４を基にして、各フレーム番号に対応する３Ｄモデルデータを生成する。第１抽出部１６２は、生成した３Ｄモデルデータを、記録ＩＤ、フレーム番号と対応付けて、３ＤモデルＤＢ１５５に格納する。

たとえば、第１抽出部１６２は、関節位置ＤＢ１５４に格納された各関節の３次元座標を、関節定義データ１５３に定義された接続関係を基にしてつなぎ合わせることで、骨格データを生成する。また、第１抽出部１６２は、推定した骨格データを、競技者１０の体格に合わせた骨格モデルに当てはめることで、３Ｄモデルデータを生成する。第１抽出部１６２は、各記録ＩＤのフレーム番号毎に上記処理を繰り返し実行し、記録ＩＤ、フレーム番号、骨格データ、３Ｄモデルデータを対応付けて、３ＤモデルＤＢ１５５に格納する。

続いて、第１抽出部１６２が、スコアを評価する処理の一例について説明する。第１抽出部１６２は、関節位置ＤＢ１５４に格納された一連の関節の動きと、技認識ＤＢ１５６を基にして、競技者１０の各姿勢（静止姿勢、運動姿勢）を特定し、ＤスコアおよびＥスコアを評価する。Ｄスコアは、競技者１０の演技中での技の成立不成立に基づくスコアである。Ｅスコアは、競技者１０の演技中での技の完成度に基づくスコアである。

まず、第１抽出部１６２が、競技者１０の各姿勢を特定する処理の一例について説明する。第１抽出部１６２は、技認識ＤＢ１５６の成立条件テーブル１５６ｂ（テーブル１７０ａ）の静止姿勢成立条件と、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値が、静止姿勢成立条件を満たす場合に、該当するフレーム番号において、該当する静止姿勢が成立したと判定する。

たとえば、関節位置に基づく値は、図１４で説明した背骨アングル、ヒップアングル、アームアングル、エルボーアングル、ニーアングル、ニー間隔アングル等に対応する。

フレーム番号ｎに関して、背骨アングルが「θ_Ａ１以下」、ヒップアングルが「θ_Ａ２以上」であるとする。更に、フレーム番号ｎに関して、アームアングルが「θ_Ａ３１〜θ_Ａ３２以下」、エルボーアングルが「θ_Ａ４以上」、ニーアングルが「θ_Ａ５以上」、ニー間隔アングルが「θ_Ａ６以下」で有るとする。この場合には、出力部１６４は、フレーム番号ｎにおいて、静止姿勢成立条件を満たすため、静止姿勢名「十字懸垂」の静止姿勢が成立したと判定する。

ここでは、静止姿勢名「十字懸垂」について説明したが、これに限定されるものではない。第１抽出部１６２は、他の静止姿勢についても、技認識ＤＢ１５６の成立条件テーブル１５６ｂの静止姿勢成立条件と、フレーム番号毎の各関節位置とを比較することで、静止姿勢名の成立不成立を判定する。

また、第１抽出部１６２は、技認識ＤＢ１５６の成立条件テーブル１５６ｂ（テーブル１７０ｂ）の運動姿勢成立条件と、各フレーム番号の各関節位置の推移とを比較し、関節位置に基づく値が、運動姿勢成立条件を満たす場合に、該当する各フレーム番号において、該当する運動姿勢が成立したと判定する。

たとえば、各関節位置に基づく値は、図１６で説明した肩角度の最大値θ_Ｍａｘに対応する。第１抽出部１６２は、フレーム番号ｎ〜ｎ＋ｍについて、肩角度の最大値θ_Ｍａｘが、４５°以下である場合に、技名「後ろ振り上がり中水平支持（２秒）」の運動姿勢成立条件が成立したと判定する。

ここでは、「後ろ振り上がり中水平支持（２秒）」の運動姿勢成立条件について説明したが、これに限定されるものではない。第１抽出部１６２は、他の運動姿勢についても、技認識ＤＢ１５６の成立条件テーブル１５６ｂの運動姿勢成立条件と、各フレーム番号の各関節位置の推移とを比較することで、運動姿勢名の成立不成立を判定する。

第１抽出部１６２が、Ｄスコアを評価する処理の一例について説明する。第１抽出部１６２は、上記の成立条件テーブル１５６ｂとの比較により、各フレーム番号において成立した静止姿勢および運動姿勢の組と、技認識テーブル１５６ａの成立条件とを比較することで、成立した技名を特定し、特定した技名に対応するスコアを特定する。第１抽出部１６２は、各フレーム番号について、上記処理を繰り返し実行し、特定したスコアを合計することで、Ｄスコアを算出する。

第１抽出部１６２が、Ｅスコアを評価する処理の一例について説明する。第１抽出部１６２は、上記の成立条件テーブル１５６ｂとの比較により、成立したと判定した静止姿勢の評価項目について、関節位置に基づく値と、各閾値との比較により、減点の値を特定する。

図１７を用いて、評価項目をショルダーアングルとし、Ｅスコアの減点について説明する。第１抽出部１６２は、ショルダーアングルが「０°≦θ＜６°」の場合には、「減点なし」とする。第１抽出部１６２は、ショルダーアングルが「６°≦θ＜１６°」の場合には、減点「０．１（小欠点）」とする。第１抽出部１６２は、ショルダーアングルが「１６°≦θ＜３１°」の場合には、減点「０．３（中欠点）」とする。第１抽出部１６２は、ショルダーアングルが「３１°≦θ＜４６°」の場合には、減点「０．５（大欠点）」とする。第１抽出部１６２は、他の評価項目についても同様に、減点の値を特定する。

また、第１抽出部１６２は、上記の成立条件テーブル１５６ｂとの比較により、成立したと判定した運動姿勢の評価項目について、関節位置に基づく値と、各閾値との比較により、減点の値を特定する。

図１８を用いて、評価項目を、肩角度の最大値とし、Ｅスコアの減点について説明する。第１抽出部１６２は、一連の関節位置の推移に基づき、肩角度の最大値を算出する。第１抽出部１６２は、肩角度の最大値が、「０°≦θ＜６°」の場合には、「減点なし」とする。第１抽出部１６２は、肩角度の最大値が「６°≦θ＜１６°」の場合には、減点「０．１（小欠点）」とする。第１抽出部１６２は、肩角度の最大値が「１６°≦θ＜３１°」の場合には、減点「０．３（中欠点）」とする。第１抽出部１６２は、肩角度の最大値が「３１°≦θ＜４６°」の場合には、減点「０．５（大欠点）」とする。

第１抽出部１６２は、特定した各減点の値を合計した減点合計値を算出し、予め指定された値から、減点合計値を減算することで、Ｅスコアを算出する。

続いて、第１抽出部１６２が、「第１の技」を抽出する処理の一例について説明する。第１抽出部１６２は、技の成立不成立の基準から所定範囲内となる静止姿勢または運動姿勢を、第１の技として抽出する。技の成立不成立の基準は、第１の基準に対応するものである。たとえば、後述するように、静止姿勢成立となるリミットの値が、第１の基準となる。

第１抽出部１６２は、技認識ＤＢ１５６の成立条件テーブル１５６ｂ（テーブル１７０ａ）の静止姿勢成立条件と、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値が、静止姿勢成立となるリミットを基準とした所定範囲内に含まれるか否かを判定する。

評価項目をショルダーアングルとし、第１の技を抽出する処理を説明する。図１７で説明したように、評価項目を、ショルダーアングルとすると、静止姿勢成立となるリミットは「４５°」である。また、誤差範囲を±５°とすると、成立不成立の基準に基づく所定範囲は「４０°〜５０°」の範囲となる。第１抽出部１６２は、フレーム番号ｎの各関節位置に基づくショルダーアングルの値が、４０°〜５０°の範囲に含まれる場合に、フレーム番号ｎの静止姿勢（技）を、第１の技として抽出する。

第１抽出部１６２は、他の評価項目についても、成立不成立を基準とした所定範囲を設け、フレーム番号ｎの各関節位置に基づく値が、所定範囲に含まれる場合に、フレーム番号ｎの静止姿勢（技）を、第１の技として抽出する。

図１９は、第１の技として抽出される姿勢と抽出されない姿勢との一例を示す図である。図１９では、複数の静止姿勢「十字懸垂」４０ａ，４０ｂ，４０ｃと、複数の静止姿勢「十字倒立」４１ａ，４１ｂを示す。たとえば、静止姿勢「十字懸垂」の評価項目を「ショルダーアングル」とし、成立不成立の基準に基づく所定範囲を「４０°〜５０°」とする。また、静止姿勢「十字倒立」の評価項目を「ショルダーアングル」とし、成立不成立の基準に基づく所定範囲を「４０°〜５０°」とする。

第１抽出部１６２は、静止姿勢「十字懸垂」４０ａのショルダーアングルが０°であるため、第１の技として抽出しない。第１抽出１６２は、静止姿勢「十字懸垂」４０ｂ，４０ｃについて、ショルダーアングルθ４１ｂが、「４０°〜５０°」に含まれる場合には、静止姿勢「十字懸垂」４０ｂ，４０ｃを、第１の技として抽出する。

第１抽出部１６２は、静止姿勢「十字倒立」４１ａのショルダーアングルが０°であるため、第１の技として抽出しない。第１抽出１６２は、静止姿勢「十字倒立」４１ｂのショルダーアングルθ４１ｂが、「４０°〜５０°」に含まれる場合には、静止姿勢「十字倒立」４１ｂを、第１の技として抽出する。

第１抽出部１６２は、技認識ＤＢ１５６の成立条件テーブル１５６ｂ（テーブル１７０ｂ）の運動姿勢成立条件と、フレーム番号ｎ〜ｎ＋ｍの各関節位置とを比較し、関節位置に基づく値が、運動姿勢成立となるリミットを基準とした所定範囲内に含まれるか否かを判定する。

評価項目を肩角度（一連の関節位置の動きから特定される肩角度の最大値）とし、第１の技を抽出する処理を説明する。評価項目を、肩角度とすると、運動姿勢成立となるリミットは、４５°である。また、誤差範囲を±５°とすると、成立不成立の基準に基づく所定範囲は「４０°〜５０°」の範囲となる。第１抽出部１６２は、フレーム番号ｎ〜ｎ＋ｍの各関節位置に基づく肩角度の最大値が、４０°〜５０°の範囲に含まれる場合には、フレーム番号ｎ〜ｎ＋ｍの運動姿勢（技）を、第１の技として抽出する。なお、第１抽出部１６２は、肩角度が、４０°〜５０°の範囲に含まれるタイミングの姿勢を、第１の技として抽出してもよい。

第１抽出部１６２は、他の評価項目についても、成立不成立を基準とした所定範囲を設け、フレーム番号ｎ〜ｎ＋ｍの各関節位置に基づく値が、所定範囲に含まれる場合に、フレーム番号ｎ〜ｎ＋ｍの運動姿勢（技）を、第１の技として抽出する。

第１抽出部１６２は、第１の技を抽出したタイミングのフレーム番号の情報を、第２抽出部１６３に出力する。また、第１抽出部１６２は、第１の技と判定した際の成立不成立を基準とした所定範囲に含まれる評価項目の情報を、第２抽出部１６３に出力する。たとえば、評価項目「ショルダーアングル」の値が所定範囲に含まれることにより、第１の技と判定した場合には、評価項目「ショルダーアングル」を、第１の技を抽出したタイミングのフレーム番号の情報と対応付けて、第２抽出部１６３に出力する。

続いて、第１抽出部１６２が、「第２の技」を抽出する処理の一例について説明する。第１抽出部１６２は、技の完成度を判定する基準から所定範囲内となる静止姿勢または運動姿勢を、第２の技として抽出する。技の完成度を判定する基準は、第２の基準に対応するものである。第２の基準は、体操において複数存在する。たとえば、第２の基準には、減点なしの基準、０．１減点の基準、０．３減点の基準、０．５減点の基準等がある。

たとえば、第１抽出部１６２は、技認識ＤＢ１５６のスコアテーブル１５６ｃと、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値により特定される減点されないリミットを基準とした所定範囲内に含まれるか否かを判定する。

評価項目をショルダーアングルとし、図１７を用いて、第２の技を抽出する処理を説明する。評価項目をショルダーアングルとすると、減点されないリミットは「６°」である。また、誤差範囲を±５°とすると、完成度を評価する基準に基づく所定範囲は「１°〜１１°」の範囲となる。第１抽出部１６２は、フレーム番号ｎの各関節位置に基づくショルダーアングルの値が、「１°〜１１°」の範囲に含まれる場合に、フレーム番号ｎの静止姿勢（技）を、第２の技として抽出する。

評価項目を肩角度（一連の関節位置の動きから特定される肩角度の最大値）とし、図１８を用いて、第２の技を抽出する処理を説明する。評価項目を、肩角度とすると、減点されないリミットは「６°」である。また、誤差範囲を±５°とすると、完成度を評価する基準に基づく所定範囲は「１°〜１１°」の範囲となる。第１抽出部１６２は、フレーム番号ｎ〜ｎ＋ｍの各関節位置に基づく肩角度が「１°〜１１°」の範囲に含まれる場合に、フレーム番号ｎ〜ｎ＋ｍの運動姿勢（技）を、第２の技として抽出する。

図２０は、第２の技として抽出される姿勢と抽出されない姿勢との一例を示す図である。図２０の姿勢は、フレーム番号ｎ〜ｎ＋ｍの運動姿勢のうち、あるフレーム番号に対応する姿勢の一例を示すものである。３Ｄモデルデータで示した各フレーム４２ａ〜４２ｄは、同一の姿勢に関して、異なる評価項目に基づく、減点を説明するものである。

フレーム４２ａは、評価項目を水平支持の肩角度とした場合の減点を説明するものである。肩角度は、図１６で説明した、肩角度に対応する。たとえば、運動姿勢に含まれる中水平支持は、輪の高さで静止が求められ、肩角度０°からの逸脱度に応じて、減点の値が増える。フレーム４２ａに示す姿勢の肩角度を４０°とすると、図１８に示すように、フレーム４２ａの姿勢の減点は「大欠点」となり、完成度を評価する基準に基づく所定範囲には含まれない。

フレーム４２ｂは、評価項目を水平支持の水平角度とした場合の減点を説明するものである。水平角度は、たとえば、関節０番および２番を通る直線と、水平基準とのなす角度である。運動姿勢に含まれる水平支持では、肩位置の高さで身体が水平となることが求められ、水平角度０°からの逸脱度に応じて、減点の値が増える。フレーム４２ｂにおける水平角度を１７°とし、係る角度の減点が「中欠点」と定義されているものとする。この場合には、完成度を評価する基準に基づく所定範囲には含まれない。

フレーム４２ｃは、評価項目を水平支持の腰角度とした場合の減点を説明するものである。腰角度は、関節０番、２番、４番、７番、１０番、１１番、１４番、１５番等に基づいて算出される競技者１０の腰の角度である。運動姿勢に含まれる水平支持は伸身姿勢となることが求められ、腰角度１８０°からの逸脱度に応じて、減点の値が増える。フレーム４２ｃにおける腰角度を１７７°とし、係る角度の減点が「減点なし」と定義されているものとする。フレーム４２ｃに示すものは、理想的な腰角度１８０°からの逸脱度は、３°であり、完成度を評価する基準に基づく所定範囲（１７５°〜１８５°）に含まれる。

フレーム４２ｄは、水平支持の膝角度を示す。膝角度は、関節番号１０、１１、１２、１４、１５、１６等に基づいて算出される競技者１０の膝の角度である。運動姿勢に含まれる水平支持は伸身姿勢となることが求められ、膝角度１８０°からの逸脱度に応じて、減点数が増える。フレーム４２ｄにおける膝角度を１７９°とし、係る角度の減点が「減点なし」と定義されているものとする。フレーム４２ｄに示すものは、理想的な腰角度１８０°からの逸脱度は、１°であり、完成度を評価する基準に基づく所定範囲（１７５°〜１８５°）に含まれる。

第１抽出部１６２は、フレーム番号ｎ〜ｎ＋ｍの運動姿勢のうち、あるフレーム番号に対応する姿勢を異なる評価項目について、いずれかの評価項目の値が、完成度を評価する基準に基づく所定範囲に含まれる場合には、フレーム番号ｎ〜ｎ＋ｍの運動姿勢を、第２の技として抽出する。図２０で説明した例では、評価項目「水平支持の腰角度」、「水平支持の膝角度」の値が、完成度を評価する基準に基づく所定範囲に含まれる。このため、第１抽出部１６２は、フレーム番号ｎ〜ｎ＋ｍの運動姿勢を、第２の技として抽出する。

第１抽出部１６２は、第２の技を抽出したタイミングのフレーム番号の情報を、第２抽出部１６３に出力する。また、第１抽出部１６２は、第２の技と判定した際の完成度を基準とした所定範囲に含まれる評価項目の情報を、第２抽出部１６３に出力する。たとえば、評価項目「ショルダーアングル」の値が所定範囲に含まれることにより、第２の技と判定した場合には、評価項目「ショルダーアングル」を、第２の技を抽出したタイミングのフレーム番号の情報と対応付けて、第２抽出部１６３に出力する。

上述した例では、減点なしの基準を、第２の基準として説明を行ったが、第１抽出部１６２は、複数の基準のうち、ユーザに選択された基準を、第２の基準として設定し、第２の技を抽出してもよい。たとえば、第１抽出部１６２は、減点なしの基準、０．１減点の基準、０．３減点の基準、０．５減点の基準のうち、いずれかの基準の選択を受け付け、受け付けた基準を、第２の基準として設定する。たとえば、０．１減点の基準を選択された場合の、第１抽出部１６２の処理について説明する。

評価項目をショルダーアングルとし、図１７を用いて、第２の技を抽出する処理を説明する。評価項目をショルダーアングルとすると、０．１減点されないリミットは「６°」および「１６°」である。また、誤差範囲を±５°とすると、完成度を評価する基準に基づく所定範囲は「１°〜１１°」および「１１°〜２１°」の範囲となる。第１抽出部１６２は、フレーム番号ｎの各関節位置に基づくショルダーアングルの値が、「１°〜１１°」の範囲に含まれる場合に、フレーム番号ｎの静止姿勢（技）を、第２の技として抽出する。また、第１抽出部１６２は、フレーム番号ｎの各関節位置に基づくショルダーアングルの値が、「１１°〜２１°」の範囲に含まれる場合に、フレーム番号ｎの静止姿勢（技）を、第２の技として抽出する。

図５の説明に戻る。第２抽出部１６３は、第１の技、または、第２の技に対応する箇所のダイジェスト映像を抽出する処理部である。第２抽出部１６３は、抽出したダイジェスト映像の情報を、ダイジェスト映像ＤＢ１５７に登録する。

第２抽出部１６３は、第１の技（静止姿勢）を抽出したタイミングのフレーム番号ｎの情報を受け付けた場合には、受け付けたフレーム番号ｎを基準とする前後Ｎ個の映像フレームを、映像ＤＢ１５２から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第２抽出部１６３は、受け付けたフレーム番号ｎを基準とする前後Ｎ個の３Ｄモデルデータを、３ＤモデルＤＢ１５５から取得し、取得した各３Ｄモデルデータをダイジェスト映像として生成する。

第２抽出部１６３は、第１の技（運動姿勢）を抽出したタイミングのフレーム番号ｎ〜ｎ＋ｍの情報を受け付けた場合には、受け付けたフレーム番号ｎ〜ｎ＋ｍに対応する映像フレームを、映像ＤＢ１５２から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第２抽出部１６３は、受け付けたフレーム番号ｎ＋ｍに対応する３Ｄモデルデータを、３ＤモデルＤＢ１５５から取得し、取得した各３Ｄモデルデータをダイジェスト映像として生成する。

または、第２抽出部１６３は、第１の技（運動姿勢）の開始のタイミングから、この第１の技の切れ目までの各フレーム番号に対応する、映像フレーム、３Ｄモデルデータを、ダイジェスト映像として生成してもよい。第２抽出部１６３は、第１の輪亜の開始のタイミングから、一定秒数後までの各フレーム番号に対応する、映像フレーム、３Ｄモデルデータを、ダイジェスト映像として生成してもよい。

第２抽出部１６３は、第１の技名と、第１の技名を抽出した根拠となる評価項目と、ダイジェスト映像とを対応付けた情報を、ダイジェスト映像ＤＢ１５７に登録する。

第２抽出部１６３は、第２の技（静止姿勢）を抽出したタイミングのフレーム番号ｎの情報を受け付けた場合には、受け付けたフレーム番号ｎを基準とする前後Ｎ個の映像フレームを、映像ＤＢ１５２から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第２抽出部１６３は、受け付けたフレーム番号ｎを基準とする前後Ｎ個の３Ｄモデルデータを、３ＤモデルＤＢ１５５から取得し、取得した各３Ｄモデルデータをダイジェスト映像として生成する。

第２抽出部１６３は、第２の技（運動姿勢）を抽出したタイミングのフレーム番号ｎ〜ｎ＋ｍの情報を受け付けた場合には、受け付けたフレーム番号ｎ〜ｎ＋ｍに対応する映像フレームを、映像ＤＢ１５２から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第２抽出部１６３は、受け付けたフレーム番号ｎ＋ｍに対応する３Ｄモデルデータを、３ＤモデルＤＢ１５５から取得し、取得した各３Ｄモデルデータをダイジェスト映像として生成する。

第２抽出部１６３は、第２の技名と、第２の技名を抽出した根拠となる評価項目と、ダイジェスト映像とを対応付けた情報を、ダイジェスト映像ＤＢ１５７に登録する。

図２１は、本実施例１に係るダイジェスト映像ＤＢのデータ構造の一例を示す図である。図２１に示すように、このダイジェスト映像ＤＢ１５７は、技名と、評価項目と、第１ダイジェスト映像と、第２ダイジェスト映像とを対応付ける。技名は、第１の技、第２の技に対応する静止姿勢、運動姿勢の名称を示す。評価項目は、第１の技、第２の技として抽出する際の根拠となる評価項目を示す。第１ダイジェスト映像は、映像ＤＢ１５２の映像フレームから生成されるダイジェスト映像である。第２ダイジェスト映像は、３ＤモデルＤＢ１５５の３Ｄモデルデータから生成されるダイジェスト映像である。

出力部１６４は、ダイジェスト映像ＤＢ１５７を基にして、第１の技または第２の技に対応する箇所の映像を表示部１４０に出力して表示させる処理部である。たとえば、出力部１６４は、ダイジェスト映像ＤＢ１５７を基にして、表示画面の情報を生成し、生成した表示画面の情報を、表示部１４０に出力する。

図２２は、本実施例１に係る表示画面の一例を示す図である。図２２に示すように、表示画面４５は、表示領域４５ａと、表示領域４５ｂとを有する。表示領域４５ａは、映像フレームから生成される第１ダイジェスト映像を表示する領域である。表示領域４５ｂは、第２ダイジェスト映像に含まれる３Ｄモデルデータに対して、所定の視点（仮想視点）から撮影した映像を表示する領域である。

出力部１６４は、表示領域４５ｂに第２ダイジェスト映像を表示する場合には、成立不成立を判定する基準、完成度を判定する基準に対応する競技者の３Ｄモデルの箇所を視聴可能な方向から撮影した映像を生成し、表示領域４５ｂに表示させる。たとえば、出力部１６４は、ダイジェスト映像ＤＢ１５７に格納された、第１の技、第２の技として抽出する際の根拠となる評価項目と、この評価項目に対応する競技者の３Ｄモデルの箇所を表示する際の最適な視点および方向を対応付けたテーブルを保持しておくものとする。出力部１６４は、保持したテーブルと、第２ダイジェスト映像に対応付けられた評価項目とを比較して、視点および方向を特定し、特定した視点および方向により、第２ダイジェスト映像の３Ｄモデルデータを撮影した映像を、表示領域４５ｂに表示させる。

ここで、情報処理装置１００の各処理部１６１〜１６４は、３Ｄレーザセンサ２０ａから、センサデータを受け付けた際に、リアルタイムで処理を行う。これにより、競技者１０が試合会場で演技を行った際に、審判員等は、実際に採点する前に、採点の揺れそうな箇所をリアルタイムで確認することができる。また、採点結果が出る前に、視聴者に採点が揺れそうな箇所を見せたり、実況者側に解説すべき箇所を提案することができる。

次に、本実施例１に係る情報処理装置１００の処理手順の一例について説明する。図２３は、本実施例１に係る情報処理装置の処理手順を示すフローチャート（１）である。図２３に示すように、情報処理装置１００の登録部１６１は、３Ｄレーザセンサ２０ａから、センサデータを取得する（ステップＳ１０１）。情報処理装置１００の第１抽出部１６２は、センサデータを解析し、競技者１０の関節の位置データを抽出する（ステップＳ１０２）。

第１抽出部１６２は、関節の位置データを基にして、骨格データおよび３Ｄモデルデータを生成する（ステップＳ１０３）。第１抽出部１６２は、各フレームの骨格データ（関節位置）に基づいて、静止姿勢および運動姿勢を認識する（ステップＳ１０４）。

第１抽出部１６２は、認識した静止姿勢および運動姿勢に対応する評価項目および関節位置の値を基にして、技の成立不成立を判定する（ステップＳ１０５）。第１抽出部１６２は、技の成立不成立を判定する基準から所定範囲内となる第１の技を抽出する（ステップＳ１０６）。

情報処理装置１００の第２抽出部１６３は、第１の技に対応する第１ダイジェスト映像を生成する（ステップＳ１０７）。情報処理装置１００の出力部１６４は、第１の技として抽出された根拠となる評価項目の３Ｄモデル上の箇所を視覚可能な視点、方向から撮影した第２ダイジェスト映像を生成する（ステップＳ１０８）。

出力部１６４は、表示画面の情報を生成し（ステップＳ１０９）、表示画面の情報を表示部１４０に出力する（ステップＳ１１０）。

図２４は、本実施例１に係る情報処理装置の処理手順を示すフローチャート（２）である。図２４に示すように、情報処理装置１００の登録部１６１は、３Ｄレーザセンサ２０ａから、センサデータを取得する（ステップＳ２０１）。情報処理装置１００の第１抽出部１６２は、センサデータを解析し、競技者１０の関節の位置データを抽出する（ステップＳ２０２）。

第１抽出部１６２は、関節の位置データを基にして、骨格データおよび３Ｄモデルデータを生成する（ステップＳ２０３）。第１抽出部１６２は、各フレームの骨格データ（関節位置）に基づいて、静止姿勢および運動姿勢を認識する（ステップＳ２０４）。

第１抽出部１６２は、認識した静止姿勢および運動姿勢に対応する評価項目および関節位置の値を基にして、技の完成度を判定する（ステップＳ２０５）。第１抽出部１６２は、技の完成度を判定する基準から所定範囲内となる第２の技を抽出する（ステップＳ２０６）。

情報処理装置１００の第２抽出部１６３は、第２の技に対応する第１ダイジェスト映像を生成する（ステップＳ２０７）。情報処理装置１００の出力部１６４は、第２の技として抽出された根拠となる評価項目の３Ｄモデル上の箇所を視覚可能な視点、方向から撮影した第２ダイジェスト映像を生成する（ステップＳ２０８）。

出力部１６４は、表示画面の情報を生成し（ステップＳ２０９）、表示画面の情報を表示部１４０に出力する（ステップＳ２１０）。

図２３、図２４では一例として、第１の技および第２の技を抽出する処理を別々に説明したがこれに限定されるものではない。情報処理装置１００は、第１の技および第２の技を抽出する処理を、平行して実行してもよい。また、情報処理装置１００は、第１の技を抽出した後に、第２の技を抽出してもよいし、第２の技を抽出した後に、第１の技を抽出してもよい。

次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、競技者１０が実行した技が、技の成立不成立または完成度を判定するための基準を満たすか否かが曖昧な場合に、係る技の映像を抽出して出力する処理を実行する。これにより、採点競技に関する一連の演技の映像から、採点を基準とした映像を抽出することができる。

たとえば、採点競技の審判による採点支援において、採点が揺れそうな箇所を抽出して、審判に重点的に判定するように促すことが有効であると考えられる。また、採点競技の練習においては、本番で採点が揺れないように、競技者１０ははっきりとした演技に改善する必要があるため、練習時点から採点が揺れそうな箇所を抽出して、練習に役立てることが有効であると考えられる。また、採点競技の視聴者は、採点結果が出るまでのリプレイ映像として、採点が揺れそうな箇所のリプレイ映像を見ながら、解説を聞くことで、より採点競技の資料を楽しむことができる。

これに対して、従来技術は、一連の映像から一部の映像を抽出する際には、特定のプレーを切り出すことはできても、採点競技において、リアルタイム採点の結果を反映して、一連の映像から、採点が揺れそうな部分を抽出することはできていない。

たとえば、テレビ中継における解説時の利用シーンでは、情報処理装置１００から出力されるダイジェスト映像を参照することで、解説者は、採点が揺れそうな部分を何度も確認することができ、係る採点が揺れそうな部分を重点的に解説することができる。これにより、採点競技の視聴者は、採点結果が出るまでのリプレイ映像として、採点が揺れそうな箇所のリプレイ映像を見ながら、解説を聞くことで、より採点競技の資料を楽しむことができる。

練習での利用シーンでは、競技者１０は、情報処理装置１００から出力されるダイジェスト映像を参照することで、現状の演技に関して採点が揺れそうなところを把握できる。これにより、競技者１０は、練習時点から採点が揺れそうな箇所を抽出して、練習に役立てることができる。

審判員による補助システムでの利用シーンでは、情報処理装置１００は、スコアに密接に関連する（採点が揺れそうな）箇所のダイジェスト映像を審判員に通知でき、審判に重点的に判定するように促したり、上級審判に採点が割れそうな部分だけ判断をあおぐようにすることができる。

また、本実施例１に係る情報処理装置１００は、採点が揺れそうな箇所となる部分（評価項目に対応する箇所）をわかりやすい視点、角度から撮影したダイジェスト映像を生成し、表示する。これにより、審判員等は、採点が揺れそうな部分をよく観察することができるので、より適切な採点を行うことができる。

なお、本実施例１に係る情報処理装置１００の第１抽出部１６２は、第２の技を抽出する場合に、技の完成度を判定する基準から所定範囲内となる静止姿勢または運動姿勢を、第２の技として抽出していたが、これに限定されるものではない。

たとえば、情報処理装置１００の第１抽出部１６２は、技の完成度を判定する複数の基準の内、所定の基準以上となる技を、第２の技として抽出しても良い。具体的に、第１抽出部１６２は、技認識ＤＢ１５６のスコアテーブル１５６ｃと、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値により特定される減点の値が、所定の値より大きいか否かを判定する。たとえば、所定の値を、減点「０．５（大欠点）」とする、第１抽出部１６２は、関節位置に基づく値により特定される減点の値が、減点「０．５」以上となる静止姿勢または運動姿勢を、第２の技として抽出する。

また、第１抽出部１６２は、減点「０．５（大欠点）」以上となる静止姿勢または運動姿勢の数（第２の技の数）が所定数未満である場合には、減点「０．３（中欠点）」以上となる静止姿勢または運動姿勢を、第２の技として抽出する。これにより、Ｅスコアを採点する際に参考となるダイジェスト映像を一定数以上、表示することができ、大欠点等に限らず、審判員自身の判断が適切か否かを確認することが可能となる。

次に、本実施例２に係る情報処理装置について説明する。図２５は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図示を省略するが、情報処理装置２００は、実施例１の情報処理装置１００と同様にして、３Ｄレーザセンサ２０ａ、カメラ２０ｂに接続される。３Ｄレーザセンサ２０ａ、カメラ２０ｂに関する説明は、実施例１で説明したものと同様である。

図２５に示すように、情報処理装置２００は、インタフェース部２１０、通信部２２０、入力部２３０、表示部２４０、記憶部２５０、制御部２６０を有する。

インタフェース部２１０、通信部２２０、入力部２３０、表示部２４０に関する説明は、図５で説明したインタフェース部１１０、通信部１２０、入力部１３０、表示部１４０に関する説明と同様である。

記憶部２５０は、センシングＤＢ２５１、映像ＤＢ２５２、関節定義データ２５３、関節位置ＤＢ２５４、３ＤモデルＤＢ２５５、技認識ＤＢ２５６、ダイジェスト映像ＤＢ２５７を有する。記憶部２５０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

センシングＤＢ２５１は、３Ｄレーザセンサ２０ａから取得するセンサデータを格納するＤＢである。センシングＤＢ２５１のデータ構造は、図６で説明した、センシングＤＢ１５１のデータ構造と同様である。

映像ＤＢ２５２は、カメラ２０ｂから取得する映像データを格納するＤＢである。映像ＤＢ２５２のデータ構造は、図７で説明した、映像ＤＢ１５２のデータ構造と同様である。

関節定義データ２５３は、競技者（競技者１０）の各関節位置を定義するものである。関節位置データ２５３に関する説明は、図８で説明した、関節位置データ１５３に関する説明と同様である。

関節位置ＤＢ２５４は、３Ｄレーザセンサ２０ａのセンサデータを基に生成される競技者１０の各関節の位置データである。関節位置ＤＢ２５４のデータ構造は、図９で説明した、関節位置ＤＢ１５４のデータ構造に関する説明と同様である。

３ＤモデルＤＢ２５５は、センサデータを基に生成される競技者１０の３Ｄモデルの情報を格納するデータベースである。３ＤモデルＤＢ２５５のデータ構造に関する説明は、図１０で説明した、３ＤモデルＤＢ１５５のデータ構造に関する説明と同様である。

技認識ＤＢ２５６は、競技者１０が行う演技に含まれる技（静止姿勢、運動姿勢）を認識する場合に用いられるデータベースである。図２６は、本実施例２に係る技認識ＤＢのデータ構造の一例を示す図である。図２６に示すように、技認識ＤＢ２５６は、技認識テーブル２５６ａと、成立条件テーブル２５６ｂと、スコアテーブル２５６ｃとを有する。

技認識テーブル２５６ａは、技を認識するための各種の情報を保持するテーブルである。技認識テーブル２５６ａのデータ構造に関する説明は、図１２で説明した、技認識テーブル１５６ａのデータ構造に関する説明と同様である。

成立条件テーブル２５６ｂは、実施例１の図１３で説明した成立条件テーブル１５６ｂと同様にして、テーブル１７０ａおよびテーブル１７０ｂを有する。テーブル１７０ａは、静止姿勢名と静止姿勢成立条件とを対応付ける。静止姿勢名は、静止姿勢を一意に特定する名称を示す。静止姿勢成立条件は、静止姿勢が成立する条件を示すものである。テーブル１７０ｂは、運動姿勢名と、運動姿勢成立条件とを対応付ける。運動姿勢名は、運動姿勢を一意に特定する名称を示す。運動姿勢成立条件は、運動姿勢が成立する条件を示すものである。

スコアテーブル２５６ｃは、技の完成度に関するＥスコアで用いる点数を定義するテーブルである。Ｅスコアは、所定の点数（たとえば、１０点）からの減点方式により採点され、技の完成度が低いほど、減点の数が大きくなる。スコアテーブル２５６ｃでは、各静止姿勢の評価項目毎に減点の点数が定義される。また、スコアテーブル２５６ｃでは、各運動姿勢の評価項目毎に、減点の点数が定義される。

ダイジェスト映像ＤＢ２５７は、技の成立不成立または技の完成度を判定するための基準を満たすか否かが曖昧な技のダイジェスト映像を保持するテーブルである。

制御部２６０は、登録部２６１と、第１抽出部２６２と、第２抽出部２６３と、出力部２６４とを有する。制御部２６０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２６０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

登録部２６１は、３Ｄレーザセンサ２０ａからセンサデータを取得し、取得したセンサデータを、センシングＤＢ２５１に登録する。登録部２６１は、センサデータ（フレーム番号、センサフレーム）をセンシングＤＢ２５１に登録する際に、記録ＩＤを対応づける。記録ＩＤは、たとえば、センサデータに付加されている。ユーザは、入力部２３０を操作して、センサデータに対応する記録ＩＤを入力してもよい。

登録部２６１は、カメラ２０ｂから映像データを取得し、取得した映像データを、映像ＤＢ２５２に登録する。登録部２６１は、映像データ（フレーム番号、センサフレーム）を映像ＤＢ２５２に登録する際に、記録ＩＤを対応付ける。記録ＩＤは、たとえば、映像データに付加されている。ユーザは、入力部２３０を操作して、映像データに対応する記録ＩＤを入力してもよい。

第１抽出部２６２は、センシングＤＢ２５１を基にして、所定難度以上の技に含まれる静止姿勢または運動姿勢であって、かつ、成立不成立の判定結果が成立を示す技（静止姿勢または運動姿勢）を抽出する。以下の説明では、所定難度以上の技に含まれる静止姿勢または運動姿勢であって、かつ、成立不成立の判定結果が成立を示す技（静止姿勢または運動姿勢）を「第３の技」と表記する。

第２抽出部２６３は、センシングＤＢ２５１を基にして、所定難度以上の技に含まれる静止姿勢または運動姿勢であって、かつ、完成度の判定結果において、減点が閾値よりも大きい技（静止姿勢または運動姿勢）を抽出する。以下の説明では、所定難度以上の技に含まれる静止姿勢または運動姿勢であって、かつ、完成度の判定結果において、減点が閾値よりも大きい技（静止姿勢または運動姿勢）を「第４の技」と表記する。

第１抽出部２６２は、競技者１０の各関節の各位置データを時系列に抽出する処理、３Ｄモデルデータを生成する処理、スコアを評価する処理、第３の技、第４の技を抽出する処理を実行する。ここで、第１抽出部２６２が、競技者１０の各関節の各位置データを時系列に抽出する処理、３Ｄモデルデータを生成する処理、スコアを評価する処理は、実施例１で説明した、第１抽出部１６２が行う処理と同様である。

第１抽出部２６２が「第３の技」を抽出する処理の一例について説明する。第１抽出部２６２は、スコアを評価する処理を実行する。第１抽出部２６２は、各フレーム番号において成立した静止姿勢および運動姿勢の組と、技認識テーブル２５６ａの成立条件とを比較することで、成立した技名および技の難度を特定する。第１抽出部２６２は、特定した技の難度が閾値以上である場合に、成立した技に含まれる静止姿勢および運動姿勢を、第３の技として抽出する。

たとえば、難度の閾値を「Ｄ」とすると、第１抽出部２６２は、成立した技の難度が難度「Ｄ」以上の場合に、成立した技に含まれる静止姿勢および運動姿勢を、第３の技として抽出する。たとえば、図１２を用いて、第１抽出部２６２の処理を説明する。ここでは一例として、フレーム番号ｎ〜ｎ＋ｍにおいて、技名「懸垂からゆっくりと肩転位」の技が成立したものとする。また、フレーム番号ｎ＋ｍ〜ｎ＋ｌにおいて、技名「後ろ上がり中水平支持（２秒）」の技が成立したものとする。

ここで、技名「懸垂からゆっくりと肩転位」の技の難度は「Ａ」であり、閾値「Ｄ」より低い。このため、第１抽出部２６２は、技名「懸垂からゆっくりと肩転位」の技に対応し、フレーム番号ｎ〜ｎ＋ｍに含まれる静止生成および運動姿勢を、第３の技として抽出することを抑止する。

一方、技名「後ろ上がり中水平支持（２秒）」の技の難度は「Ｅ」であり、閾値「Ｄ」よりも高い。このため、第１抽出部２６２は、技名「後ろ上がり中水平支持（２秒）」の技に対応し、フレーム番号ｎ〜ｎ＋ｍに含まれる静止生成および運動姿勢を、第３の技として抽出する。

第１抽出部２６２は、第３の技を抽出したタイミングのフレーム番号の情報を、第２抽出部２６３に出力する。

続いて、第１抽出部２６２が「第４の技」を抽出する処理の一例について説明する。第１抽出部２６２は、実施例１の第１抽出部１６２と同様にして、スコアを評価する処理を実行する。第１抽出部２６２は、各フレーム番号において成立した静止姿勢または運動姿勢の組と、技認識テーブル２５６ａの成立条件とを比較することで、成立した技名および技の難度を特定する。第１抽出部２６２は、特定した技の難度が閾値以上である場合に、成立した技に含まれる静止姿勢および運動姿勢について、技（静止姿勢および運動姿勢）に関する減点が、閾値以上である技を、第４の技として抽出する。

第１抽出部２６２が、成立した技名および技のうち、難度が閾値以上となる技を特定する処理は、第３の技を抽出する処理で説明したものと同様である。

第１抽出部２６２が、難度が閾値以上となる技に含まれる、フレーム番号ｎの静止姿勢の評価項目を「ショルダーアングル」とし、図１７を用いて、第４の技を抽出する処理について説明する。たとえば、フレーム番号ｎの静止姿勢の評価項目「ショルダーアングル」に対して、関節位置に基づく値が「３１°〜４５°」に含まれる場合には、減点「０．５（大欠点）」となり、閾値以上となる。この場合には、第１抽出部２６２は、フレーム番号ｎに含まれる静止姿勢を、第４の技として抽出する。

一方、フレーム番号ｎの静止姿勢の評価項目「ショルダーアングル」に対して、関節位置に基づく値が「３１°」未満である場合には、減点「０．３（中欠点）」が閾値未満となる。この場合には、第１抽出部２６２は、フレーム番号ｎに含まれる静止姿勢を、第４の技として抽出することを抑止する。

第１抽出部２６２が、難度が閾値以上となる技に含まれる、フレーム番号ｎ〜ｎ＋ｍの運動姿勢の評価項目を「肩角度」とし、図１８を用いて、第４の技を抽出する処理について説明する。たとえば、フレーム番号ｎ〜ｎ＋ｍの運動姿勢の評価項目「肩角度」に対して、関節位置に基づく値が「３１°〜４５°」に含まれる場合には、減点「０．５（大欠点）」となり、閾値以上となる。この場合には、第１抽出部２６２は、フレーム番号ｎ〜ｎ＋ｍに含まれる運動姿勢を、第４の技として抽出する。

一方、フレーム番号ｎ〜ｎ＋ｍの運動姿勢の評価項目「肩角度」について、関節位置に基づく値が「３１°」未満である場合には、減点「０．３（中欠点）」が閾値未満となる。この場合には、第１抽出部２６２は、フレーム番号ｎ〜ｎ＋ｍに含まれる運動姿勢を、第４の技として抽出することを抑止する。

第１抽出部２６２は、第４の技を抽出したタイミングのフレーム番号の情報を、第２抽出部２６３に出力する。また、第１抽出部２６２は、第４の技と判定した際の、減点の値が閾値以上となる評価項目の情報を、第２抽出部２６３に出力する。たとえば、評価項目「ショルダーアングル」に関する減点が、閾値以上となり、第４の技と判定した場合には、評価項目「ショルダーアングル」を、第４の技を抽出したタイミングのフレーム番号の情報と対応付けて、第２抽出部２６３に出力する。

図２５の説明に戻る。第２抽出部２６３は、第３の技、または、第４の技に対応する箇所のダイジェスト映像を抽出する処理部である。第２抽出部２６３は、抽出したダイジェスト映像の情報を、ダイジェスト映像ＤＢ２５７に登録する。

第２抽出部２６３は、第３の技（静止姿勢）を抽出したタイミングのフレーム番号ｎの情報を受け付けた場合には、受け付けたフレーム番号ｎを基準とする前後Ｎ個の映像フレームを、映像ＤＢ２５２から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第２抽出部２６３は、受け付けたフレーム番号ｎを基準とする前後Ｎ個の３Ｄモデルデータを、３ＤモデルＤＢ２５５から取得し、取得した各３Ｄモデルデータをダイジェスト映像として生成する。

第２抽出部２６３は、第３の技（運動姿勢）を抽出したタイミングのフレーム番号ｎ〜ｎ＋ｍの情報を受け付けた場合には、受け付けたフレーム番号ｎ〜ｎ＋ｍに対応する映像フレームを、映像ＤＢ２５２から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第２抽出部２６３は、受け付けたフレーム番号ｎ〜ｎ＋ｍに対応する３Ｄモデルデータを、３ＤモデルＤＢ２５５から取得し、取得した各３Ｄモデルデータをダイジェスト映像として生成する。

第２抽出部２６３は、第４の技（静止姿勢）を抽出したタイミングのフレーム番号ｎの情報を受け付けた場合には、受け付けたフレーム番号ｎを基準とする前後Ｎ個の映像フレームを、映像ＤＢ２５２から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第２抽出部２６３は、受け付けたフレーム番号ｎを基準とする前後Ｎ個の３Ｄモデルデータを、３ＤモデルＤＢ２５５から取得し、取得した各３Ｄモデルデータをダイジェスト映像として生成する。

第２抽出部２６３は、第４の技（運動姿勢）を抽出したタイミングのフレーム番号ｎ〜ｎ＋ｍの情報を受け付けた場合には、受け付けたフレーム番号ｎ〜ｎ＋ｍに対応する映像フレームを、映像ＤＢ２５２から取得し、取得した各映像フレームをダイジェスト映像として生成する。または、第２抽出部２６３は、受け付けたフレーム番号ｎ〜ｎ＋ｍに対応する３Ｄモデルデータを、３ＤモデルＤＢ２５５から取得し、取得した各３Ｄモデルデータをダイジェスト映像として生成する。

第２抽出部２６３は、第２の技名と、第２の技名を抽出した根拠となる評価項目と、ダイジェスト映像とを対応付けた情報を、ダイジェスト映像ＤＢ２５７に登録する。

出力部２６４は、ダイジェスト映像ＤＢ２５７を基にして、第３の技または第４の技に対応する箇所の映像を表示部２４０に出力して表示させる処理部である。たとえば、出力部２６４は、ダイジェスト映像ＤＢ２５７を基にして、表示画面の情報を生成し、生成した表示画面の情報を、表示部２４０に出力する。出力部２６４が生成する表示画面は、たとえば、実施例１の図２２で説明した、表示画面４５に対応する。以下の説明では、実施例１と同様にして、映像ＤＢ２５２の映像フレームから生成されるダイジェスト映像を、第１ダイジェスト映像と表記する。３ＤモデルＤＢ２５５の３Ｄモデルデータから生成されるダイジェスト映像を、第２ダイジェスト映像と表記する。

また、出力部２６４は、表示領域４５ｂに第４の技に対する第２ダイジェスト映像を表示する場合には、次の処理を行う。出力部２６４は、完成度の判定結果において、減点が閾値よりも大きい評価項目に対応する競技者の３Ｄモデルの箇所を視聴可能な方向から撮影した映像を生成し、表示領域４５ｂに表示させる。

出力部２６４は、表示領域４５ｂに第３の技に対応する第２ダイジェスト映像を表示する場合には、静止動作または運動動作の種別に応じて予め定められた方向から３Ｄモデルを撮影した映像を生成し、表示領域４５ｂに表示させる。

ここで、情報処理装置２００の各処理部２６１〜２６４は、３Ｄレーザセンサ２０ａから、センサデータを受け付けた際に、センサデータをセンシングＤＢ２５１に格納しておき、所定時間後に処理を実行する。たとえば、競技者１０が演技を行い、審判員等が実際に採点した後に、情報処理装置２００が、上記処理を実行して、第１、２ダイジェスト映像を生成し、表示することで、ダイジェスト映像と、採点結果と照らし合わせることができる。

また、情報処理装置２００の各処理部２６１〜２６４は、３Ｄレーザセンサ２０ａから、センサデータを受け付けた際に、リアルタイムで処理を行ってもよい。これにより、試合中の採点待ち時間に、大技に成功した箇所や、大欠点となった箇所のダイジェスト映像を参照することができる。

次に、本実施例２に係る情報処理装置２００の処理手順の一例について説明する。図２７は、本実施例２に係る情報処理装置の処理手順を示すフローチャート（１）である。図２７に示すように、情報処理装置２００の登録部２６１は、３Ｄレーザセンサ２０ａから、センサデータを取得する（ステップＳ３０１）。情報処理装置２００の第１抽出部２６２は、センサデータを解析し、競技者１０の関節の位置データを抽出する（ステップＳ３０２）。

第１抽出部２６２は、関節の位置データを基にして、骨格データおよび３Ｄモデルデータを生成する（ステップＳ３０３）。第１抽出部２６２は、各フレームの骨格データ（関節位置）に基づいて、静止姿勢および運動姿勢を認識する（ステップＳ３０４）。

第１抽出部２６２は、認識した静止姿勢および運動姿勢に対応する評価項目および関節位置の値を基にして、技の成立不成立を判定する（ステップＳ３０５）。第１抽出部２６２は、成立した技のうち、所定の難度以上となる技に含まれる静止姿勢、運動姿勢を第３の技として抽出する（ステップＳ３０６）。

情報処理装置２００の第２抽出部２６３は、第３の技に対応する第１ダイジェスト映像を生成する（ステップＳ３０７）。情報処理装置２００の出力部２６４は、第３の技に対応する視点、方向から撮影した３Ｄモデルデータを第２ダイジェスト映像として生成する（ステップＳ３０８）。

出力部２６４は、表示画面の情報を生成し（ステップＳ３０９）、表示画面の情報を表示部２４０に出力する（ステップＳ３１０）。

図２８は、本実施例２に係る情報処理装置の処理手順を示すフローチャート（２）である。図２８に示すように、情報処理装置２００の登録部２６１は、３Ｄレーザセンサ２０ａから、センサデータを取得する（ステップＳ４０１）。情報処理装置２００の第１抽出部２６２は、センサデータを解析し、競技者１０の関節の位置データを抽出する（ステップＳ４０２）。

第１抽出部２６２は、関節の位置データを基にして、骨格データおよび３Ｄモデルデータを生成する（ステップＳ４０３）。第１抽出部２６２は、各フレームの骨格データ（関節位置）に基づいて、静止姿勢および運動姿勢を認識する（ステップＳ４０４）。

第１抽出部２６２は、認識した静止姿勢および運動姿勢に対応する評価項目および関節位置の値を基にして、技の成立不成立を判定する（ステップＳ４０５）。第１抽出部２６２は、認識した静止姿勢および運動姿勢に対する評価項目および関節位置の値を基にして、技の完成度を判定する（ステップＳ４０６）。

第１抽出部２６２は、成立した所定の難度以上の技に含まれる、減点が閾値よりも大きい静止姿勢、運動姿勢を第４の技として抽出する（ステップＳ４０７）。情報処理装置２００の第２抽出部２６３は、第４の技に対応する第１ダイジェスト映像を生成する（ステップＳ４０８）。

第２抽出部２６３は、第４の技として抽出された根拠となる評価項目の３Ｄモデル上の箇所を視覚可能な視点、方向から撮影した第２ダイジェスト映像を生成する（ステップＳ４０９）。

出力部２６４は、表示画面の情報を生成し（ステップＳ４１０）、表示画面の情報を表示部２４０に出力する（ステップＳ４１１）。

図２７、図２８では一例として、第３の技および第４の技を抽出する処理を別々に説明したがこれに限定されるものではない。情報処理装置２００は、第３の技および第４の技を抽出する処理を、平行して実行してもよい。また、情報処理装置２００は、第３の技を抽出した後に、第４の技を抽出してもよいし、第４の技を抽出した後に、第３の技を抽出してもよい。

次に、本実施例２に係る情報処理装置２００の効果について説明する。たとえば、採点競技における映像抽出においては、技の難度が高い演技の映像を抽出することが望まれる。さらには、難度が高い技の成功、不成功、または、減点の幅など、種々のファクターを考慮した、映像抽出が好ましい。従来技術では、一連の映像から一部の映像を抽出する際には、特定のプレーを切り出すことはできても、採点競技において、技の難易、および、難度が高い技の成功、不成功、または、減点の幅など、種々のファクターを考慮した、映像を抽出することができていない。

これに対して、情報処理装置２００は、競技者１０による成立した技のうち、所定難度以上である第３の技を抽出して、第３の技に対応するダイジェスト映像を生成して、表示する。これにより、採点競技に関する一連の演技の映像から、所定難度以上の成功した技の映像を表示することができる。

また、情報処理装置２００は、競技者１０が行った技の難度が閾値以上である場合に、技に含まれる静止姿勢および運動姿勢について、技（静止姿勢および運動姿勢）に関する減点が、閾値以上である技を、第４の技として抽出する。情報処理装置２００は、抽出した第４の技に対応するダイジェスト映像を生成して、表示する。これにより、採点競技に関する一連の演技の映像から、所定の難度以上であり、かつ、減点の大きい技の映像を表示することができる。

たとえば、第３、４の技に対応するダイジェスト映像を、スポーツニュースの視聴者により興味深いダイジェスト映像として提供できるだけでなく、競技者の練習用映像の切り出しや、審判員の教育用データの切り出しにも有効である。

上述した実施例１、２に示した情報処理装置１００，２００の処理は一例である。ここでは、図５で説明した情報処理装置１００の機能ブロック図を用いて、その他の処理（１）、（２）について説明する。

情報処理装置１００が行うその他の処理（１）について説明する。競技者１０は、同一の大会において、複数の演技を行う場合や、複数の大会で同一の演技を行う場合がある。このため、情報処理装置１００は、競技者１０が行った各演技のセンサデータをセンシングＤＢ１５１に格納しておく。ここで、情報処理装置１００は、同一の競技者１０が行った各演技をそれぞれ識別可能な記録ＩＤと、センサデータとを対応付けて、センシングＤＢ１５１に格納する。情報処理装置１００は、各記録ＩＤに対応付けられたセンサデータを基にして、上記の第１の技、第２の技を抽出する処理を行う。情報処理装置１００は、各演技の第１の技、第２の技のダイジェスト映像を生成し、各演技のダイジェスト映像を比較可能にして表示してもよい。たとえば、情報処理装置１００は、図２９に示す表示画面４６を生成して、表示する。

図２９は、本実施例３に係る表示画面の一例を示す図（１）である。図２９に示す例では、表示画面４６は、表示領域４６ａ，４６ｂ，４６ｃを有する。表示領域４６ａは、大会Ａで測定された競技者１０のセンサデータを基にして生成される第２ダイジェスト映像を表示する領域である。表示領域４６ｂは、大会Ｂで測定された競技者１０のセンサデータを基にして生成される第２ダイジェスト映像を表示する領域である。表示領域４６ｃは、大会Ｃで測定された競技者１０のセンサデータを基にして生成される第２ダイジェスト映像を表示する領域である。

たとえば、競技者１０は、表示画面４６を参照することで、各大会で演技した結果を、採点を基準として抽出された各ダイジェスト映像で確認することが可能となる。また、図２９では一例として、第１の技、第２の技に対応するダイジェスト映像を抽出する場合について説明したがこれに限定されるものではない。情報処理装置１００は、実施例２で説明した、第３の技、第４の技に対応するダイジェスト映像を生成して、表示してもよい。

情報処理装置１００が行うその他の処理（２）について説明する。上述した実施例１、２では一例として、同一の競技者１０のセンサデータを計測し、第１〜４の技を抽出して、第１〜４の技に対応するダイジェスト映像を生成していたがこれに限定されるものではない。情報処理装置１００は、複数の異なる競技者（たとえば、競技者１０ａ〜１０ｃ；図示略）についても同様にして、各競技者１０ａ〜１０ｃから、第１〜４の技を抽出して、第１〜４の技に対応するダイジェスト映像を生成してもよい。

情報処理装置１００は、各競技者１０ａ〜１０ｃが行った演技をそれぞれ識別可能な記録ＩＤと、センサデータと対応付けて、センシングＤＢ１５１に格納する。情報処理装置１００は、各記録ＩＤに対応付けられたセンサデータを基にして、各競技者１０ａ〜１０ｃが行った技のうち、成立した技を判定する。また、情報処理装置１００は、各競技者１０ａ〜１０ｃが行った、成立した技のうち、同一のグループに属する技の情報を抽出する。

たとえば、競技者１０ａが、グループＧ１の技Ａ１を成立させ、競技者１０ｂが、グループＧ１の技Ａ２を成立させ、競技者１０ｃが、グループＧ１の技Ａ３を成立させたものとする。この場合は、競技者１０ａ〜１０ｃが、共通するグループＧ１の技を成立させているため、情報処理装置１００は、競技者１０ａが成立させた技Ａ１に対するスコアの評価結果、競技者１０ｂが成立させた技Ａ２のスコアの評価結果、競技者１０ｃが成立させたＡ３のスコアの評価結果を取得する。

たとえば、情報処理装置１００は、実施例１で説明したスコアを評価する処理を実行することで、競技者１０ａの技Ａ１の静止姿勢に対する減点の値、競技者１０ｂの技Ａ２の静止姿勢に対する減点の値、競技者１０ｂの技Ａ３の静止姿勢に対する減点の値を得る。

情報処理装置１００は、競技者１０ａの技Ａ１の静止姿勢に対する減点の値、競技者１０ｂの技Ａ２の静止姿勢に対する減点の値、競技者１０ｂの技Ａ３の静止姿勢に対する減点の値がそれぞれ異なっているか否かを判定する。情報処理装置１００は、各減点の値が異なっている場合には、技Ａ１の静止姿勢、技Ａ２の静止姿勢、技Ａ３の静止姿勢が、他の選手と差のついた技であると判定する。たとえば、競技者１０ａが技Ａ１の静止姿勢を行ったフレーム番号をフレーム番号ｎ１とし、競技者１０ｂが技Ａ２の静止姿勢を行ったフレーム番号をフレーム番号ｎ２とし、競技者１０ｃが技Ａ３の静止姿勢を行ったフレーム番号をフレーム番号ｎ３とする。また、評価項目をボディアングルとする。ボディアングルは、関節０番および関節７番を結ぶ直線と、水平基準とのなす角である。

なお、情報処理装置１００は、各競技者について、同一のグループに属する技の減点の差を比較し、減点の差が閾値以上となる技を、他の選手と差のついた技であると判定しても良い。ここで、減点の差とは、各競技者の減点の値の平均値と、各競技者の減点の差の値であってもよいし、各競技者の減点の値の中央値と、各競技者の減点の差の値であってもよい。

情報処理装置１００は、他の選手と差のついた技に関する情報を表示するための表示画面を生成し、表示部１４０に表示させる。図３０は、本実施例３に係る表示画面の一例を示す図（２）である。図３０に示す表示画面４７は、表示領域４７ａ，４７ｂ，４７ｃ，４７ｄと、表示領域４８ａ，４８ｂ，４８ｃ，４８ｄと、表示領域４９ａ，４９ｂ，４９ｃ，４９ｄとを有する。

表示領域４７ａは、競技者１０ａの映像データを基にして生成される第１ダイジェスト映像を表示する領域である。たとえば、情報処理装置１００は、フレーム番号ｎ１を基準とする前後Ｎ個の競技者１０ａの映像フレームを、第１ダイジェスト映像として生成し、表示領域４７ａに表示させる。

表示領域４７ｂ，４７ｃは、競技者１０ａの３Ｄモデルデータを基にして生成される第２ダイジェスト映像を表示する領域である。なお、表示領域４７ｂでは、３Ｄモデルデータを、前方から撮影した映像を表示し、表示領域４７ｃでは、３Ｄモデルデータを、横方向から撮影した映像を表示する。たとえば、情報処理装置１００は、フレーム番号ｎ１を基準とする前後Ｎ個の競技者１０ａの３Ｄモデルデータを所定の方向から撮影して映像を、第２ダイジェスト映像として生成し、表示領域４７ｂ，４７ｃに表示させる。

表示領域４７ｄは、評価項目（たとえば、競技者１０ａのボディアングル）に対応する値を表示する領域である。情報処理装置１００は、表示領域４７ｄに、評価項目を表示させると共に、競技者１０ａのボディアングルに関する減点の値を合わせて表示させてもよい。

表示領域４８ａは、競技者１０ｂの映像データを基にして生成される第１ダイジェスト映像を表示する領域である。たとえば、情報処理装置１００は、フレーム番号ｎ２を基準とする前後Ｎ個の競技者１０ｂの映像フレームを、第１ダイジェスト映像として生成し、表示領域４８ａに表示させる。

表示領域４８ｂ，４８ｃは、競技者１０ｂの３Ｄモデルデータを基にして生成される第２ダイジェスト映像を表示する領域である。なお、表示領域４８ｂでは、３Ｄモデルデータを、前方から撮影した映像を表示し、表示領域４８ｃでは、３Ｄモデルデータを、横方向から撮影した映像を表示する。たとえば、情報処理装置１００は、フレーム番号ｎ２を基準とする前後Ｎ個の競技者１０ｂの３Ｄモデルデータを所定の方向から撮影して映像を、第２ダイジェスト映像として生成し、表示領域４８ｂ，４８ｃに表示させる。

表示領域４８ｄは、評価項目（たとえば、競技者１０ｂのボディアングル）に対応する値を表示する領域である。情報処理装置１００は、表示領域４８ｄに、評価項目を表示させると共に、競技者１０ｂのボディアングルに関する減点の値を合わせて表示させてもよい。

表示領域４９ａは、競技者１０ｃの映像データを基にして生成される第１ダイジェスト映像を表示する領域である。たとえば、情報処理装置１００は、フレーム番号ｎ３を基準とする前後Ｎ個の競技者１０ｃの映像フレームを、第１ダイジェスト映像として生成し、表示領域４９ａに表示させる。

表示領域４９ｂ，４９ｃは、競技者１０ｃの３Ｄモデルデータを基にして生成される第２ダイジェスト映像を表示する領域である。なお、表示領域４９ｂでは、３Ｄモデルデータを、前方から撮影した映像を表示し、表示領域４９ｃでは、３Ｄモデルデータを、横方向から撮影した映像を表示する。たとえば、情報処理装置１００は、フレーム番号ｎ３を基準とする前後Ｎ個の競技者１０ｃの３Ｄモデルデータを所定の方向から撮影して映像を、第２ダイジェスト映像として生成し、表示領域４９ｂ，４９ｃに表示させる。

表示領域４９ｄは、評価項目（たとえば、競技者１０ｃのボディアングル）に対応する値を表示する領域である。情報処理装置１００は、表示領域４９ｄに、評価項目を表示させると共に、競技者１０ｃのボディアングルに関する減点の値を合わせて表示させてもよい。

図３０で説明した例では、情報処理装置１００が、静止姿勢に対応する第１ダイジェスト映像、第２ダイジェスト映像、評価項目の値を、各表示領域に表示する場合について説明したがこれに限定されるものではない。情報処理装置１００は、同じグループに属する技に関して、減点の差が大きいものであれば、運動姿勢についても同様にして、各表示領域に表示されてもよい。

図３０で説明したように、情報処理装置１００は、同じグループに属する技に関して、各選手の減点の差が大きい場合に、表示画面４７を生成して、表示部１４０に表示させることで、競技者は、他の選手と差のついた技に関する映像の箇所を参照することができる。

次に、本実施例で説明した情報処理装置１００（２００）と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図３１は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図３１に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、無線ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、第１抽出プログラム３０７ａ、第２抽出プログラム３０７ｂ、出力プログラム３０７ｃを有する。ＣＰＵ３０１は、第１抽出プログラム３０７ａ、第２抽出プログラム３０７ｂ、出力プログラム３０７ｃを読み出してＲＡＭ３０６に展開する。

第１抽出プログラム３０７ａは、第１抽出プロセス３０６ａとして機能する。第２抽出プログラム３０７ｂは、第２抽出プロセス３０６ｂとして機能する。出力プログラム３０７ｃは、出力プロセス３０６ｃとして機能する。

第１抽出プロセス３０６ａの処理は、第１抽出部１６２，２６２の処理に対応する。第２抽出プロセス３０６ｂの処理は、第２抽出部１６３，２６３の処理に対応する。出力プロセス３０６ｃの処理は、出力部１６４，２６４の処理に対応する。

なお、各プログラム３０７ａ〜３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ〜３０７ｄを読み出して実行するようにしても良い。

１００，２００ 情報処理装置
１１０，２１０ インタフェース部
１２０，２２０ 通信部
１３０，２３０ 入力部
１４０，２４０ 表示部
１５０，２５０ 記憶部
１５１，２５１ センシングＤＢ
１５２，２５２ 映像ＤＢ
１５３，２５３ 関節定義データ
１５４，２５４ 関節位置ＤＢ
１５５，２５５ ３ＤモデルＤＢ
１５６，２５６ 技認識ＤＢ
１５７，２５７ ダイジェスト映像ＤＢ
１６０，２６０ 制御部
１６１，２６１ 登録部
１６２，２６２ 第１抽出部
１６３，２６３ 第２抽出部
１６４，２６４ 出力部

Claims (11)

1. コンピュータに、
   競技者による一連の演技の３Ｄセンシングデータに基づく、前記演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を、取得し、
   前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方に基づいて、前記複数の技から、前記成立不成立を判定する第１の基準から所定範囲内となる第１の技、または、前記完成度を判定する第２の基準から所定範囲内となる第２の技を抽出し、
   前記第１の技、または、前記第２の技に対応する箇所を、前記一連の演技の３Ｄセンシングデータから生成される前記競技者の３Ｄモデル動画、または、前記演技を撮影した映像から抽出し、
   抽出した箇所の３Ｄモデル動画、または、抽出した箇所の映像を出力する
   処理を実行させることを特徴とする抽出プログラム。
2. 前記出力する処理は、前記３Ｄモデル動画を出力する場合に、前記第１の基準に対応する前記競技者の３Ｄモデルの位置または前記第２の基準に対応する前記競技者の３Ｄモデルの箇所を視覚可能な方向から前記３Ｄモデルを撮像した３Ｄモデル動画を出力することを特徴とする請求項１に記載の抽出プログラム。
3. 前記第２の技を抽出する処理は、前記完成度に対応する減点の値が、所定の閾値以上となる技を、前記複数の技から抽出することを特徴とする請求項１または２に記載の抽出プログラム。
4. 前記取得する処理は、競技者が異なるタイミングで行われた複数の一連の演技の３Ｄセンシングデータに基づく、前記演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を、取得し、前記抽出する処理は、異なるタイミングで行われた演技に対する前記第１の技および前記第２の技に対応する箇所を、前記一連の演技の３Ｄセンシングデータから生成される前記競技者の３Ｄモデル動画、または、前記演技を撮影した映像から抽出することを特徴とする請求項１または２に記載の抽出プログラム。
5. 前記取得する処理は、異なる競技者による一連の演技の３Ｄセンシングデータに基づく、前記演技を構成する複数の技それぞれについての完成度の判定結果を取得し、前記抽出する処理は、異なる競技者による演技の完成度に対応する減点に差の生じる箇所を、前記一連の演技の３Ｄセンシングデータから生成される前記競技者の３Ｄモデル動画、または、前記演技を撮影した映像から抽出することを特徴とする請求項１または２に記載の抽出プログラム。
6. 前記完成度を判定する前記第２の基準が複数である場合、該複数の第２の基準のうち、指定された第２の基準に応じて、前記指定された第２の基準から所定範囲内となる前記第２の技を抽出することを特徴とする請求項１または２に記載の抽出プログラム。
7. コンピュータに、
   競技者による一連の演技の３Ｄセンシングデータに基づく、前記演技を構成する複数の技の認識結果と、前記複数の技それぞれの成立不成立の判定結果および完成度の判定結果の少なくとも一方とを、取得し、
   前記認識結果と、前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方とに基づき、前記複数の技から、前記認識結果が所定難度以上の技で、かつ、前記成立不成立の判定結果が成立を示す技を示す第１の技、または、前記認識結果が所定難度以上の技で、かつ、前記完成度を判定する基準から所定範囲内となる第２の技を抽出し、
   抽出された前記第１の技、または、前記第２の技に対応する箇所を、前記一連の演技の３Ｄセンシングデータから生成される前記競技者の３Ｄモデル動画、または、前記演技を撮影した映像から、抽出し、
   抽出した箇所の３Ｄモデル動画、または、抽出した箇所の映像を、出力する
   処理を実行させることを特徴とする抽出プログラム。
8. コンピュータが実行する抽出方法であって、
   競技者による一連の演技の３Ｄセンシングデータに基づく、前記演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を、取得し、
   前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方に基づいて、前記複数の技から、前記成立不成立を判定する第１の基準から所定範囲内となる第１の技、または、前記完成度を判定する第２の基準から所定範囲内となる第２の技を抽出し、
   前記第１の技、または、前記第２の技に対応する箇所を、前記一連の演技の３Ｄセンシングデータから生成される前記競技者の３Ｄモデル動画、または、前記演技を撮影した映像から抽出し、
   抽出した箇所の３Ｄモデル動画、または、抽出した箇所の映像を出力する
   処理を実行することを特徴とする抽出方法。
9. コンピューが実行する抽出方法であって、
   競技者による一連の演技の３Ｄセンシングデータに基づく、前記演技を構成する複数の技の認識結果と、前記複数の技それぞれの成立不成立の判定結果および完成度の判定結果の少なくとも一方とを、取得し、
   前記認識結果と、前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方とに基づき、前記複数の技から、前記認識結果が所定難度以上の技で、かつ、前記成立不成立の判定結果が成立を示す技を示す第１の技、または、前記認識結果が所定難度以上の技で、かつ、前記完成度を判定する基準から所定範囲内となる第２の技を抽出し、
   抽出された前記第１の技、または、前記第２の技に対応する箇所を、前記一連の演技の３Ｄセンシングデータから生成される前記競技者の３Ｄモデル動画、または、前記演技を撮影した映像から、抽出し、
   抽出した箇所の３Ｄモデル動画、または、抽出した箇所の映像を、出力する
   処理を実行することを特徴とする抽出方法。
10. 競技者による一連の演技の３Ｄセンシングデータに基づく、前記演技を構成する複数の技それぞれについての成立不成立の判定結果および完成度の判定結果の少なくとも一方を、取得し、前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方に基づいて、前記複数の技から、前記成立不成立を判定する第１の基準から所定範囲内となる第１の技、または、前記完成度を判定する第２の基準から所定範囲内となる第２の技を抽出する第１抽出部と、
    前記第１の技、または、前記第２の技に対応する箇所を、前記一連の演技の３Ｄセンシングデータから生成される前記競技者の３Ｄモデル動画、または、前記演技を撮影した映像から抽出する第２抽出部と、
    抽出した箇所の３Ｄモデル動画、または、抽出した箇所の映像を出力する出力部と、
    を有することを特徴とする情報処理装置。
11. 競技者による一連の演技の３Ｄセンシングデータに基づく、前記演技を構成する複数の技の認識結果と、前記複数の技それぞれの成立不成立の判定結果および完成度の判定結果の少なくとも一方とを、取得し、前記認識結果と、前記成立不成立の判定結果および前記完成度の判定結果の少なくとも一方とに基づき、前記複数の技から、前記認識結果が所定難度以上の技で、かつ、前記成立不成立の判定結果が成立を示す技を示す第１の技、または、前記認識結果が所定難度以上の技で、かつ、前記完成度を判定する基準から所定範囲内となる第２の技を抽出する第１抽出部と、
    抽出された前記第１の技、または、前記第２の技に対応する箇所を、前記一連の演技の３Ｄセンシングデータから生成される前記競技者の３Ｄモデル動画、または、前記演技を撮影した映像から、抽出する第２抽出部と、
    抽出した箇所の３Ｄモデル動画、または、抽出した箇所の映像を、出力する出力部と
    を有することを特徴とする情報処理装置。

Images