JP6677319B2 - Sports motion analysis support system, method and program - Google Patents
Sports motion analysis support system, method and program Download PDFInfo
- Publication number
- JP6677319B2 JP6677319B2 JP2018558560A JP2018558560A JP6677319B2 JP 6677319 B2 JP6677319 B2 JP 6677319B2 JP 2018558560 A JP2018558560 A JP 2018558560A JP 2018558560 A JP2018558560 A JP 2018558560A JP 6677319 B2 JP6677319 B2 JP 6677319B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- model
- data
- image data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims description 97
- 238000000034 method Methods 0.000 title claims description 25
- 238000011156 evaluation Methods 0.000 claims description 50
- 238000013500 data storage Methods 0.000 claims description 47
- 230000009471 action Effects 0.000 claims description 30
- 230000006872 improvement Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 11
- 238000012854 evaluation process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Description
本発明は、スポーツにおける動作解析を支援するスポーツ動作解析支援システム、スポーツ動作解析支援方法およびスポーツ動作解析支援プログラムに関する。 The present invention relates to a sports motion analysis support system, a sports motion analysis support method, and a sports motion analysis support program that support motion analysis in sports.
スポーツにおける動作の解析に利用可能な技術として、モーションキャプチャが知られている。 Motion capture is known as a technique that can be used for analyzing motion in sports.
また、スポーツをしている人を撮像して得られた動画に基づいて、身体の特定の部位(例えば、足首)等の軌跡を表示するアプリケーションソフトウェアが存在する。また、手本となるフォームと、スポーツをしている人のフォームとの差を表示するアプリケーションソフトウェアが存在する。 In addition, there is application software that displays a trajectory of a specific part of a body (for example, an ankle) based on a moving image obtained by imaging a person playing sports. In addition, there is application software that displays a difference between a model form and a sports form.
また、特許文献1には、画像のフレーム差分の測定値から、ルールベースモデルを使用して、ゴルフのスウィング段階および主要な位置を特定することが記載されている。さらに特許文献1には、この場合に、隠れマルコフモデル、状態空間モデル、有限状態マシン、回帰法、サポートベクトルマシン、ニューラルネットワークおよびファジー理論等が使用されてもよいことが記載されている。
また、特許文献2には、10試行の動作画像データを収集し、そのうちの5試行を学習用データとして使用し隠れマルコフモデルのパラメータを推定し、残りの5試行をテストデータとして認識実験を行ったことが記載されている。そして、特許文献2には、比較的低周波成分の離散コサイン変換係数が人物動作の画像認識のための特徴量として有効であることが分かったと記載されている。
In
上記の種々のアプリケーションソフトウェアによって、スポーツをする人は、自分や他人のフォームを解析することができる。 With the various application software described above, a sporter can analyze his or her own form.
ここで、フォームと、そのフォームを含む動作の結果とが、完全に対応しているとは限らない。例えば、ある人のフォームがよくても、その人のコンディションがよくなかったために、よい成績が出なかったということが生じ得る。また、例えば、ある人のフォームがよくても、雨や風等の外的要因により、よい成績が出なかったということが生じ得る。 Here, the form and the result of the operation including the form do not always correspond completely. For example, even if a person's form is good, the condition may not be good and the person may not have performed well. Also, for example, even if a person's form is good, it may happen that good results are not obtained due to external factors such as rain and wind.
しかし、統計的には、このようなフォームであればよい成績が出やすいという傾向や、このようなフォームであればボールが特定の方向に飛びやすい等といった傾向は存在する。 However, statistically, there is a tendency that a good result is easily obtained with such a form, and a tendency that a ball is likely to fly in a specific direction with such a form.
また、人が動作を行っている時間の中のある時間帯のフォームが、結果に対して大きな影響を与える重要なフォームであると言えると、本願発明の発明者は考えた。 In addition, the inventor of the present invention considered that a form in a certain time period during which a person is performing an operation is an important form that has a great influence on the result.
なお、結果の例として、スポーツの成績を示す数値が挙げられる。成績を示す数値以外の結果の例として、事象が挙げられる。事象の具体例として、例えば、サッカーのPK(penalty kick)後にボールがどちらの方向に飛んだかという事項のような、スポーツで用いる用具の動きに関する事項等が挙げられる。 It should be noted that an example of the result is a numerical value indicating a performance of a sport. An example of a result other than the numerical value indicating the performance is an event. Specific examples of the event include, for example, items relating to the movement of equipment used in sports, such as items in which direction the ball flew after penalty kick (PK) in soccer.
本発明は、スポーツにおける一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握できるようにユーザを支援することができるスポーツ動作解析支援システム、スポーツ動作解析支援方法およびスポーツ動作解析支援プログラムを提供することを目的とする。 The present invention provides a sports motion analysis support system and a sports motion analysis support method capable of supporting a user to grasp a time zone in which a form has a great effect on a result among times when a series of motions in a sport are performed. And a sports motion analysis support program.
本発明によるスポーツ動作解析支援システムは、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価部とを備えることを特徴とする。 A sports motion analysis support system according to the present invention includes a data storage unit that stores a plurality of data in which image data of a moving image representing a series of motions in a sport and the results of the motions are associated with each other. A learning unit that learns a model representing a relationship between an operation in the time section and a result corresponding to the operation for each of a plurality of time sections determined based on the time point representing the action, An evaluation unit that calculates the prediction accuracy of the predicted result for each time section.
また、本発明によるスポーツ動作解析支援システムは、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定部とを備えることを特徴とする。 Further, the sports motion analysis support system according to the present invention uses a data storage unit that stores a plurality of data in which image data of a moving image representing a series of motions in a sport and a result of the motion are associated with each other, A learning unit that learns a model representing a relationship between an operation in a time section and a result corresponding to the operation for each of a plurality of time sections determined based on a time point representing a predetermined operation; And a specifying unit that specifies a time zone capable of specifying a time zone in which the degree of improvement in the prediction accuracy of the result predicted by using the time zone is large.
また、本発明によるスポーツ動作解析支援方法は、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、モデルを用いて予測された結果の予測精度を、時間区分毎に算出することを特徴とする。 Further, the sports motion analysis support method according to the present invention includes a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and the results of the motions are associated with each other. Using, for each of a plurality of time segments determined based on the time point representing a predetermined operation, learning a model representing the relationship between the operation in the time segment and the result corresponding to the operation, learning the model It is characterized in that the prediction accuracy of the result predicted by using the above is calculated for each time section.
また、本発明によるスポーツ動作解析支援方法は、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定することを特徴とする。 Further, the sports motion analysis support method according to the present invention includes a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and the results of the motions are associated with each other. Using, for each of a plurality of time segments determined based on the time point representing a predetermined operation, learning a model representing the relationship between the operation in the time segment and the result corresponding to the operation, learning the model It is characterized in that a time section in which a time zone in which the degree of improvement in the prediction accuracy of a result predicted using the prediction result is large is specified is specified.
また、本発明によるスポーツ動作解析支援プログラムは、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、コンピュータに、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価処理を実行させることを特徴とする。 Further, the sports operation analysis support program according to the present invention is a sports operation analysis program installed in a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of operations in sports are associated with the results of the operations. An analysis support program that, for a computer, uses a plurality of data to correspond to an operation in a time section and the operation in each of a plurality of time sections defined based on a time point representing a predetermined operation. A learning process for learning a model representing a relationship with a result to be performed, and an evaluation process for calculating prediction accuracy of a result predicted by using the model for each time section.
また、本発明によるスポーツ動作解析支援プログラムは、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、コンピュータに、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定処理を実行させることを特徴とする。 Further, the sports operation analysis support program according to the present invention is a sports operation analysis program installed in a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of operations in sports are associated with the results of the operations. An analysis support program that, for a computer, uses a plurality of data to correspond to an operation in a time section and the operation in each of a plurality of time sections defined based on a time point representing a predetermined operation. To perform a learning process of learning a model representing a relationship with a result to be performed, and a specifying process of specifying a time zone capable of specifying a time zone in which a degree of improvement in prediction accuracy of a result predicted using the model is large. It is characterized by.
本発明によれば、スポーツにおける一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握できるようにユーザを支援することができる。 ADVANTAGE OF THE INVENTION According to this invention, a user can be assisted so that the time zone which a form has a big influence on a result among the time which performs a series of operation | movements in a sport can be grasped.
以下、スポーツとして、走り幅跳びを例にして説明する。ただし、本発明は、走り幅跳び以外のスポーツにも適用可能である。また、以下の説明では、走り幅跳びの動作の結果が、成績(本例では、跳躍距離)である場合を例にして説明する。この例では、結果は数値で表される。 Hereinafter, a long jump is described as an example of sports. However, the present invention is also applicable to sports other than long jump. In the following description, an example will be described in which the result of the long jump operation is a result (jump distance in this example). In this example, the result is represented numerically.
ただし、前述のように、スポーツにおける動作の結果は、ボールがどちらの方向に飛んだか等のような事象であってもよい。動作の結果が事象である場合を本発明に適用する際には、結果を事象の内容に応じた値(例えば、“0”と“1”の二値等)で表す。動作の結果が事象である場合については、後述する。 However, as described above, the result of the action in the sport may be an event such as in which direction the ball flew. When the case where the result of the operation is an event is applied to the present invention, the result is represented by a value (for example, a binary value of “0” and “1”) according to the content of the event. The case where the result of the operation is an event will be described later.
実施形態1.
図1は、本発明の第1の実施形態のスポーツ動作解析支援システムの例を示すブロック図である。本発明の第1の実施形態のスポーツ動作解析支援システム1は、データ記憶部2と、時間区分画像抽出部3と、学習部4と、予測部5と、評価部6と、表示部7とを備える。
FIG. 1 is a block diagram showing an example of a sports motion analysis support system according to the first embodiment of the present invention. The sports motion
データ記憶部2は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数記憶する記憶装置である。本例では、各データにおいて、走り幅跳びを行う人の一連の動作を表す動画の画像データと、その動作の結果として得られた成績(跳躍距離)とが対応付けられている。データ記憶部2は、そのようなデータを複数記憶する。
The
画像データと成績との対応付けの態様は、特に限定されない。例えば、成績が画像データとは別のデータとして存在し、画像データと成績とが対応付けられていてもよい。また、例えば、画像データの動画に成績が内包される態様(換言すれば、成績が動画上に表される態様)で、画像データと成績とが対応付けられていてもよい。この点は、後述の実施形態でも同様である。 The manner of associating the image data with the results is not particularly limited. For example, the result may exist as data different from the image data, and the image data and the result may be associated with each other. Further, for example, the image data and the result may be associated with each other in such a manner that the result is included in the moving image of the image data (in other words, the result is displayed on the moving image). This is the same in the embodiment described later.
図2は、走り幅跳びを行う人(以下、選手と記す。)の一連の動作を示す模式図である。なお、図2では、図面を簡単にするために、例えば、助走しているときの選手の姿勢として、同一の姿勢を図示しているが、実際の選手は、手足等を動かしながら、一連の動作を行う。この点は、図3に示す模式図に関しても同様である。選手は、助走をして、踏切板11で跳躍し、その後、着地する。この一連の動作をビデオカメラで撮像することによって、一連の動作を表す動画の画像データを得ることができる。そして、その画像データと、その時の成績とを対応付けたデータが1つのデータとなる。データ記憶部2は、予め、そのようなデータを複数記憶する。
FIG. 2 is a schematic diagram showing a series of actions of a person performing a long jump (hereinafter, referred to as a player). In FIG. 2, for simplicity of the drawing, for example, the same posture is shown as the posture of the athlete during the run, but the actual athlete performs a series of operations while moving his limbs and the like. Perform the operation. This is the same for the schematic diagram shown in FIG. The athlete makes a run, jumps at the crossing board 11, and then lands. By capturing the series of operations with a video camera, moving image data representing the series of operations can be obtained. Then, data associating the image data with the result at that time becomes one data. The
なお、特定の選手を対象にして解析を行う場合には、その特定の選手の練習時や競技時に撮像を行って得られた動画の画像データとその時の成績とを対応付けたデータを、データ記憶部2に複数、記憶させておけばよい。以下、データ記憶部2が、特定の選手に関するデータを複数記憶している場合を例にして説明する。また、この特定の選手は、本発明のスポーツ動作解析支援システム1を利用する選手自身、または、スポーツ動作解析支援システム1を利用するコーチ等によって指導される選手であってもよい。あるいは、上記の特定の選手は、本発明のスポーツ動作解析支援システム1を利用するユーザにとって、競争相手となる選手であってもよい。この点は、後述の他の実施形態においても同様である。
When performing analysis for a specific player, data that associates the image data of a moving image obtained by imaging during the practice or competition of the specific player with the performance at that time is used as the data. What is necessary is just to store a plurality of them in the
動画は、選手の一連の動作を表しているので、その動画は、その選手の各時点でのフォームも表している。 Since the animation represents a series of actions of the player, the animation also represents the form of the player at each point in time.
ここで、本発明における時間区分について説明する。本発明における時間区分は、動画が選手の特定の動作を表している時点を基準として定められた時間の区分である。走り幅跳びの例では、動画が踏切動作を表している時点を基準とし、この基準の時刻を0とする。また、基準(時刻0)よりも前の時刻を負で表し、基準よりも後の時刻を正で表すこととする。時間区分は、動画が踏切動作を表している時点を基準の時刻を0として、開始時刻および終了時刻を定めることによって、定めることができる。また、時間区分は、予め複数定められている。また、時間区分の長さはそれぞれ異なっていてもよく、また、複数の時間区分が、共通の時間帯を含んでいてもよい。 Here, the time division in the present invention will be described. The time section in the present invention is a time section determined based on the time point at which the moving image represents a specific action of the player. In the example of the long jump, the time at which the moving image represents the level crossing operation is set as a reference, and the reference time is set to 0. Also, a time before the reference (time 0) is represented by a negative value, and a time after the reference is represented by a positive value. The time section can be determined by defining the start time and the end time with the time at which the moving image represents the level crossing operation as 0 as a reference time. Also, a plurality of time sections are determined in advance. Further, the lengths of the time sections may be different from each other, and a plurality of time sections may include a common time zone.
図3は、複数の時間区分の例を示す模式図である。図3に示す例では、複数の時間区分a〜gを示している。図3に例示する“a”〜“g”は、時間区分の識別情報である。図3に示す例では、時間区分aは、時刻“−2.5”から時刻“−2.0”までの範囲である(図3参照)。また、時間区分bは、時刻“−2.5”から時刻“−1.5”までの範囲である(図3参照)。他の時間区分c,d,e,・・・も同様に、開始時刻および終了時刻が定められている。また、図3に示す例では、各時間区分の開始時刻をいずれも“−2.5”としているが、各時間区分の開始時刻“−2.5”は例示である。各時間区分の開始時刻は、“−2.5”より早い時刻であっても、“−2.5”より遅い時刻であってもよい。また、図3に示す例では、各時間区分の開始時刻を共通としているが、各時間区分の開始時刻が共通でなくてもよい。 FIG. 3 is a schematic diagram illustrating an example of a plurality of time segments. In the example shown in FIG. 3, a plurality of time segments a to g are shown. “A” to “g” illustrated in FIG. 3 are identification information of time segments. In the example shown in FIG. 3, the time segment a is in the range from time “−2.5” to time “−2.0” (see FIG. 3). The time section b is a range from the time “−2.5” to the time “−1.5” (see FIG. 3). Similarly, the start time and the end time are determined for the other time segments c, d, e,. Further, in the example illustrated in FIG. 3, the start time of each time section is set to “−2.5”, but the start time of each time section is “−2.5”. The start time of each time segment may be a time earlier than “−2.5” or a time later than “−2.5”. Further, in the example illustrated in FIG. 3, the start times of the time segments are common, but the start times of the time segments do not have to be common.
また、それぞれの時間区分は、他の時間区分と共通の時間帯を含まないように連続して定められていてもよい。例えば、時刻“−2.5”から時刻“−2.0”までを時間区分aとし、時刻“−2.0”から時刻“−1.5”までを時間区分bとし、時刻“−1.5”から時刻“−1.0”までを時間区分cとするというように、各時間区分を定めてもよい。 Further, each time section may be continuously determined so as not to include a common time zone with other time sections. For example, the time segment “a” from time “−2.5” to time “−2.0” is defined as time segment “a”, the time segment from time “−2.0” to time “−1.5” is defined as time segment “b”, and the time segment “−1”. .5 "to time" -1.0 "may be defined as the time section c.
また、終了時刻を共通として、開始時刻が異なるように、各時間区分が定められていてもよい。このとき、基準となる時刻“0”が共通の終了時刻として定められていてもよい。 Further, each time section may be determined such that the end time is common and the start time is different. At this time, the reference time “0” may be determined as a common end time.
また、複数の時間区分は、時刻に基づいて順序付けられるように定められることが好ましい。図3に示す例では、各時間区分の開始時刻が共通であり、終了時刻が異なっている。従って、図3に示す時間区分は、終了時刻順に、a,b,c,d,e,f,gの順に順序付けることができる。以下、時間区分が、時刻に基づいて順序付けられるように定められている場合を例にして説明する。 Preferably, the plurality of time segments are determined so as to be ordered based on the time. In the example shown in FIG. 3, the start time of each time segment is common, and the end time is different. Accordingly, the time segments shown in FIG. 3 can be ordered in the order of end time, a, b, c, d, e, f, and g. Hereinafter, a case will be described as an example where the time segments are determined so as to be ordered based on the time.
時間区分画像抽出部3は、データ記憶部2に記憶されている画像データ毎に、予め定められている複数の時間区分のそれぞれに該当する範囲を特定する。そして、時間区分画像抽出部3は、画像データ毎に、それぞれの時間区分に該当する範囲から静止画を抽出し、個々の画像データの個々の時間区分毎に、静止画の集合を生成する。
The time-segmented
例えば、1番目の画像データを画像データ#1とし、任意のn番目の画像データを画像データ#nとする。時間区分画像抽出部3は、画像データ#1において、時間区分に該当する範囲を、時間区分毎に特定する。すなわち、時間区分画像抽出部3は、画像データ#1において、時間区分aに該当する範囲、時間区分bに該当する範囲等をそれぞれ特定する。そして、時間区分画像抽出部3は、画像データ#1における時間区分aに該当する範囲から、静止画を抽出し、画像データ#1における時間区分aに対応する静止画の集合を生成する。時間区分画像抽出部3は、動画の画像データから静止画を抽出する場合、所定時間毎に静止画を抽出すればよい。例えば、時間区分画像抽出部3は、画像データ#1における時間区分aに対応する静止画を抽出する場合、時間区分aに該当する範囲から0.1秒毎に静止画を抽出すればよい。ここでは、上述の所定時間の例として0.1秒を例示したが、上述の所定時間は0.1秒に限定されない。
For example, assume that the first image data is
同様に、時間区分画像抽出部3は、画像データ#1における各時間区分に該当する範囲から、それぞれ静止画を抽出し、時間区分毎に静止画の集合を生成する。
Similarly, the time-segmented
時間区分画像抽出部3は、画像データ#1以外のそれぞれの画像データに対しても同様の処理を行い、各画像データにおける時間区分毎に、静止画の集合を生成する。
The time-segmented
各画像データにおける時間区分毎に得られた静止画の集合は、対応する時間区分における選手の動作およびフォームを表している。 A set of still images obtained for each time section in each image data represents the movement and form of the player in the corresponding time section.
以下、便宜的に、各画像データにおける時間区分毎に得られた静止画の集合を、その集合の識別情報で表すこととする。任意の画像データにおける任意の時間区分に対応する静止画の集合の識別情報は、その画像データの識別情報と、その時間区分の識別情報を並べた符号で表すこととする。図4は、各画像データにおける時間区分毎に得られた静止画の集合の識別情報を示す説明図である。例えば、画像データ#1における時間区分aから抽出された静止画の集合を“#1,a”と表す(図4参照)。他の静止画の集合の識別情報も、同様の規則で表される。また、図4では、各画像データに対応する成績も示している。
Hereinafter, for convenience, a set of still images obtained for each time section in each image data is represented by identification information of the set. The identification information of a set of still images corresponding to an arbitrary time section in arbitrary image data is represented by a code in which the identification information of the image data and the identification information of the time section are arranged. FIG. 4 is an explanatory diagram showing identification information of a set of still images obtained for each time section in each image data. For example, a set of still images extracted from the time section a in the
学習部4は、複数の時間区分のそれぞれに対して、時間区分における動作と、その動作に対応する成績(跳躍距離)との関係を表すモデルを、機械学習によって学習する(換言すれば、生成する)。
The
このモデルは、より具体的には、時間区分におけるフォーム(時間区分に対応する静止画の集合が表わしているフォーム)と、成績との関係を示すモデルである。また、学習部4は、このモデルとして、フォームを表している静止画の集合を説明変数とし、成績を目的変数とするモデルを学習する。従って、学習によって得られたモデルと、静止画の集合とを用いて、成績の予測値を算出することが可能である。
More specifically, this model is a model showing a relationship between a form in a time section (a form representing a set of still images corresponding to the time section) and a grade. In addition, the
1つの時間区分に着目した場合、画像データ毎に、その時間区分に対応する静止画の集合が得られていて、また、画像データ毎に、対応する成績がデータ記憶部2に記憶されている。学習部4は、画像データ毎に、着目している時間区分に対応する静止画の集合と成績の組み合わせを定め、画像データ毎に定めた組み合わせを学習用データとして用いて、着目している時間区分に対応するモデルを、機械学習によって学習すればよい。機械学習のアルゴリズムは、上記のように成績の予測値を算出するモデルを学習可能なアルゴリズムであればよい。
When focusing on one time section, a set of still images corresponding to the time section is obtained for each image data, and the corresponding result is stored in the
以下、図4を参照して説明する。例えば、学習部4が、時間区分aに対応するモデルを学習するとする。この場合、学習部4は、静止画の集合“#1,a”と成績“5.8m”との組み合わせ、静止画の集合“#2,a”と成績“6.5m”との組み合わせ、静止画の集合“#3,a”と成績“7.1m”との組み合わせ、静止画の集合“#4,a”と成績“6.2m”との組み合わせ等(図4参照)を、画像データ毎に定め、それらの組み合わせを学習用データとして用いて、時間区分aにおけるフォーム(時間区分aに対応する静止画の集合)と、成績との関係を示すモデルを学習する。
Hereinafter, description will be made with reference to FIG. For example, it is assumed that the
学習部4が、他の時間区分b,c,d,・・・に関しても同様に、それぞれの時間区分に対応するモデルを学習する。
Similarly, the
学習部4の処理によって、時間区分毎にモデルが得られる。
By the processing of the
予測部5は、個々の画像データに関して、それぞれの時間区分に対応するモデルを用いて、成績の予測値を算出する。
The
例えば、予測部5は、画像データ#1に関して、時間区分aに対応するモデルを用いて成績の予測値を算出する。この場合、予測部5は、画像データ#1における時間区分aに対応する静止画の集合“#1,a”を、時間区分aに対応するモデルに適用することによって、成績の予測値を算出する。予測部5は、画像データ#1に関して、他の各時間区分に対応するモデルに基づく成績の予測値もそれぞれ同様に算出する。すなわち、予測部5は、画像データ#1に関して、それぞれの時間区分に対応するモデル毎に、成績の予測値を算出する。
For example, the
従って、予測部5は、1つの画像データに関して、時間区分の個数だけ、成績の予測値を算出する。
Therefore, the
予測部5は、画像データ#1以外のそれぞれの画像データに関しても同様に、時間区分の個数だけ、成績の予測値を算出する。
The
画像データの個数をN個とすると、予測部5によって、時間区分aに対応する予測値がN個算出される。同様に、他の各時間区分に対応する予測値も、それぞれN個算出される。
Assuming that the number of image data is N, the
評価部6は、時間区分毎に、時間区分に対応する複数の予測値(画像データの個数分の予測値)と、成績の真値とを用いて、予測値の予測精度を算出する。評価部6は、時間区分毎に、モデルの予測精度を評価しているということができる。
The
成績の真値は、画像データに対応付けられて、データ記憶部2に記憶されている成績の値である。
The true value of the score is a score value stored in the
例えば、評価部6は、時間区分毎に、成績の予測値を成績の真値で除算した値の平均値を算出してもよい。この値は、予測精度を表す値であると言える。例えば、評価部6は、画像データ#1の時間区分aに基づいて算出された予測値を、画像データ#1に対応付けられている成績の値(真値)で除算する。評価部6は、他の各画像データに関しても、時間区分aに基づいて算出された予測値を、着目している画像データに対応付けられている成績の値(真値)で除算する。評価部6は、画像データ毎に得られた除算結果の平均値を、時間区分aに対応する予測精度(より具体的には、時間区分aに対応するモデルの予測精度)として算出する。評価部6は、他のそれぞれの時間区分に関しても同様に、時間区分に対応する予測精度を算出する。
For example, the
予測精度の算出方法は、上記の例に限定されない。例えば、評価部6は、時間区分毎に、成績の予測値と成績の真値との差の絶対値をその真値で除算した値の平均値を算出してもよい。この値も、予測精度を表す値であると言える。
The calculation method of the prediction accuracy is not limited to the above example. For example, the
表示部7は、時間区分と、時間区分に対応する予測精度(より具体的には、時間区分に対応するモデルの予測精度)との関係を表示する。表示部7は、例えば、時間区分と、時間区分に対応するモデルの予測精度とを対応付けて、テキスト情報として表示してもよい。ただし、表示された情報を見る者にとっての分かりやすさの観点から、表示部7は、時間区分と、時間区分に対応するモデルの予測精度との関係をグラフで表示することが特に好ましい。
The
図5は、表示部7が表示するグラフの例を示す説明図であり、時間区分と、時間区分に対応するモデルの予測精度との関係を示すグラフを例示している。図5に示すグラフの縦軸は、モデルの予測精度を表している。また、グラフの横軸は、時間区分を表している。本例では、各時間区分の開始時刻が共通であり、終了時刻が異なっている。そのため、各時間区分を、終了時刻順に順序付けることができる。本例では、表示部7は、各時間区分を終了時刻順に順序付け、その順番に、横軸に沿って各時間区分の識別情報を表示する(図5参照)。そして、表示部7は、各時間区分に対応する予測精度の変化を示すグラフを、例えば、図5に例示するように表示する。
FIG. 5 is an explanatory diagram illustrating an example of a graph displayed by the
時間区分画像抽出部3、学習部4、予測部5、評価部6および表示部7は、例えば、ディスプレイ装置(図1において図示略)を有するコンピュータのCPU(Central Processing Unit )によって実現される。この場合、CPUは、コンピュータのプログラム記憶装置(図1において図示略)等のプログラム記録媒体からスポーツ動作解析支援プログラムを読み込み、そのスポーツ動作解析支援プログラムに従って、時間区分画像抽出部3、学習部4、予測部5、評価部6および表示部7として動作すればよい。表示部7のうち、表示内容(例えば、グラフ)を定め、その表示内容をディスプレイ装置に表示させる部分が、CPUによって実現させる。表示部7のうち、実際に表示を行う部分は、ディスプレイ装置によって実現される。また、上記のコンピュータは、パーソナルコンピュータであってもよく、あるいは、スマートフォン等の携帯型のコンピュータであってもよい。これらの点は、後述の他の実施形態においても同様である。
The time segmented
また、スポーツ動作解析支援システム1は、2つ以上の物理的に分離した装置が有線または無線で接続されている構成であってもよい。例えば、スポーツ動作解析支援システム1は、スマートフォン等の携帯型のコンピュータとサーバとが連携したシステムとして実現されてもよい。この点も、後述の他の実施形態において同様である。
The sports motion
次に、処理経過について説明する。図6は、本発明の第1の実施形態の処理経過の例を示すフローチャートである。以下に示す各ステップの動作の詳細については、既に説明しているので、ここでは、詳細な説明を省略する。 Next, the processing progress will be described. FIG. 6 is a flowchart illustrating an example of the progress of processing according to the first embodiment of this invention. Since the details of the operation of each step described below have already been described, the detailed description is omitted here.
なお、データ記憶部2には、予め複数のデータが記憶されているものとする。
It is assumed that a plurality of data are stored in the
時間区分画像抽出部3は、データ記憶部2に記憶されている画像データ毎に、予め定められている複数の時間区分のそれぞれに該当する範囲を特定する。そして、時間区分画像抽出部3は、画像データ毎に、それぞれの時間区分に該当する範囲から静止画を抽出し、個々の画像データの個々の時間区分毎に、静止画の集合を生成する(ステップS1)。
The time-segmented
次に、学習部4は、複数の時間区分のそれぞれに対して、時間区分におけるフォームと成績との関係を表すモデルを、機械学習によって学習する(ステップS2)。
Next, the
次に、予測部5は、個々の画像データに関して、それぞれの時間区分に対応するモデルを用いて、成績の予測値を算出する(ステップS3)。
Next, the
次に、評価部6は、時間区分毎に、時間区分に対応する複数の予測値と、成績の真値とを用いて、時間区分に対応するモデルの予測精度を算出する(ステップS4)。
Next, for each time section, the
次に、表示部7は、時間区分と、時間区分に対応するモデルの予測精度との関係を表示する(ステップS5)。ステップS5において、表示部7は、時間区分と、時間区分に対応するモデルの予測精度とを対応付けて、テキスト情報として表示してもよい。ただし、表示部7は、時間区分と、時間区分に対応するモデルの予測精度との関係を、図5に例示するようなグラフで表示することが好ましい。
Next, the
本実施形態の効果について説明する。本実施形態では、前述のように、1つの時間区分に対応するモデルは、静止画の集合と成績との組み合わせを複数個用いて生成される。従って、このモデルによって成績の予測値を算出した場合、モデルの予測精度がよければ、その予測値は、フォームに応じた成績の傾向を統計的によく表しているということができる。そして、本実施形態によれば、評価部6が、時間区分毎に、時間区分に対応するモデルの予測精度を算出する。そして、表示部7が、時間区分と、時間区分に対応するモデルの予測精度との関係を表示する。従って、スポーツ動作解析支援システム1のユーザ(データ記憶部2に画像データおよび成績が記憶されている選手、あるいは、そのコーチ等)は、時刻に基づいて順序付けられている時間区分毎の予測精度を確認することができ、その予測精度の変化に基づいて、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を把握することができる。上記のように、モデルの予測精度がよければ、そのモデルを用いて得られた成績の予測値は、フォームに応じた成績の傾向を統計的によく表していると言える。従って、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を把握できるということは、フォームが結果に対して大きな影響を与える時間帯を把握できるということを意味する。よって、本実施形態によれば、スポーツ(本例では走り幅跳び)における一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯をユーザが把握できるように支援することができる。
The effect of the present embodiment will be described. In the present embodiment, as described above, a model corresponding to one time section is generated using a plurality of combinations of a set of still images and a grade. Therefore, when the predicted value of the performance is calculated by this model, if the prediction accuracy of the model is good, it can be said that the predicted value statistically expresses the tendency of the performance according to the form. Then, according to the present embodiment, the
例えば、図5に例示するグラフが表示されたとする。時間区分a,bに関しては、対応するモデルの予測精度は微増である。同様に、時間区分c〜gに関しても、対応するモデルの予測精度は微増である。一方、時間区分cに対応するモデルの予測精度は、時間区分bに対応するモデルの予測精度に比べて、向上の度合いが大きい。従って、ユーザは、時間区分cと時間区分bとの差に該当する時間帯(具体的には、時刻“−1.5”から時刻“−1.0”までの時間帯。図3参照。)が、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯であると認識することができる。従って、ユーザは、その時間帯が、走り幅跳びの一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯であると把握することができる。 For example, assume that a graph illustrated in FIG. 5 is displayed. For the time segments a and b, the prediction accuracy of the corresponding model is slightly increased. Similarly, for the time sections c to g, the prediction accuracy of the corresponding model is slightly increased. On the other hand, the degree of improvement in the prediction accuracy of the model corresponding to the time section c is greater than that of the model corresponding to the time section b. Therefore, the user can select a time zone corresponding to the difference between time segment c and time segment b (specifically, a time zone from time “−1.5” to time “−1.0”; see FIG. 3). ) Can be recognized as a time zone in which the degree of improvement in the prediction accuracy of the results predicted using the model is large. Therefore, the user can understand that the time zone is the time zone in which the form has a great influence on the result among the time period for performing a series of long jump operations.
そして、そのような時間帯(本例では、時刻“−1.5”から時刻“−1.0”までの時間帯)を把握することができれば、ユーザは、その時間帯のフォームを重点的に確認することによって、選手の成績の向上に寄与することができる。 If such a time zone (in this example, the time zone from time “−1.5” to time “−1.0”) can be grasped, the user focuses on the form of the time zone. This can contribute to improving the performance of the players.
実施形態2.
第1の実施形態のスポーツ動作解析支援システム1は、例えば、図5に例示するグラフを表示することによって、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯をユーザが把握できるようにした。本発明の第2の実施形態のスポーツ動作解析支援システムは、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定し、その時間区分を表示する。
The sports motion
本発明の第2の実施形態のスポーツ動作解析支援システムは、第1の実施形態のスポーツ動作解析支援システム1と同様に、図1に示すブロックで表すことができるので、図1を用いて第2の実施形態を説明する。第1の実施形態と同様の事項については、適宜説明を省略する。
The sports motion analysis support system according to the second embodiment of the present invention can be represented by the blocks shown in FIG. 1 similarly to the sports motion
データ記憶部2、時間区分画像抽出部3、学習部4および予測部5は、第1の実施形態のデータ記憶部2、時間区分画像抽出部3、学習部4および予測部5と同様であり、説明を省略する。
The
第2の実施形態の評価部6は、第1の実施形態の評価部6と同様の動作を行い、さらに、以下に述べる動作も行う。
The
評価部6は、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する。
The
例えば、評価部6は、時刻に基づいて時間区分を順序付け、順序が隣り合う2つの時間区分に対応するモデルの予測精度の差をそれぞれ算出する。この場合、評価部6は、時間区分bに対応するモデルの予測精度から、時間区分aに対応するモデルの予測精度を減算した値を算出する。評価部6は、時間区分b,cの組、時間区分c,dの組等、順序が隣り合う時間区分の他の組に関してもそれぞれ、順序が後の時間区分に対応するモデルの予測精度から、順序が先の時間区分に対応するモデルの予測精度を減算した値を算出する。
For example, the
そして、評価部6は、例えば、予測精度の差が最大となっている時間区分の組において、順序が後の時間区分を、予測精度の向上の度合いが大きい時間帯を特定可能な時間区分として特定すればよい。例えば、時間区分b,cの組における予測精度の差が、予測精度の差の中で最大であるとする。この場合、評価部6は、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分として、時間区分cを特定すればよい。
Then, for example, in the set of time segments in which the difference in prediction accuracy is maximum, the
また、例えば、予測精度の差が所定の閾値以上となっている時間区分の組において、順序が後の時間区分を、予測精度の向上の度合いが大きい時間帯を特定可能な時間区分として特定してもよい。例えば、時間区分b,cの組における予測精度の差が閾値以上であるとする。この場合、評価部6は、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分として、時間区分cを特定すればよい。なお、閾値は予め定めておけばよい。
Also, for example, in a set of time segments in which the difference in prediction accuracy is equal to or greater than a predetermined threshold, a time segment in a later order is specified as a time segment in which a time zone in which the degree of improvement in prediction accuracy is large can be specified. You may. For example, it is assumed that the difference in prediction accuracy between a set of time segments b and c is equal to or greater than a threshold. In this case, the
モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する方法は、上記の方法に限定されず、他の方法であってもよい。 A method of specifying a time section that can specify a time zone in which the degree of improvement in the prediction accuracy of a result predicted using a model is large is not limited to the above method, and may be another method.
表示部7は、評価部6によって特定された時間区分を表示する。
The
図7は、本発明の第2の実施形態の処理経過の例を示すフローチャートである。第2の実施形態におけるステップS1〜S4(図7参照)は、第1の実施形態におけるステップS1〜S4(図6参照)と同様であり、説明を省略する。 FIG. 7 is a flowchart illustrating an example of the progress of processing according to the second embodiment of this invention. Steps S1 to S4 (see FIG. 7) in the second embodiment are the same as steps S1 to S4 (see FIG. 6) in the first embodiment, and a description thereof will be omitted.
ステップS4の後、評価部6は、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する(ステップS11)。この評価部6の動作の例については、既に説明したので、ここでは説明を省略する。
After step S4, the
ステップS11の後、表示部7は、ステップS11で特定された時間区分(モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分)を表示する(ステップS12)。
After step S11, the
図8は、ステップS12における時間区分の表示態様の例を示す説明図である。ここでは、ステップS11において、時間区分cが特定されたものとして説明する。表示部7は、時間区分毎に、時間区分の識別情報を表すアイコン21を表示する。また、表示部7は、時間区分の開始時刻および終了時刻も表示する。そして、表示部7は、ステップS11で特定された時間区分のアイコン21(本例では、時間区分cのアイコン21)を、他の各時間区分のアイコン21とは異なる態様で表示する。図8に示す例では、時間区分cのアイコン21の枠線を、他の各アイコン21の枠線よりも太く表示する場合を例示している。すなわち、表示部7は、時間区分cのアイコン21の枠線を、他の各アイコン21の枠線よりも太く表示することによって、時間区分cがステップS11で特定された時間区分であることを表している。
FIG. 8 is an explanatory diagram illustrating an example of a display mode of the time section in step S12. Here, a description will be given assuming that the time section c is specified in step S11. The
図8は、ステップS12における表示態様の一例であり、ステップS12における表示態様は、図8に示す例に限定されない。 FIG. 8 is an example of the display mode in step S12, and the display mode in step S12 is not limited to the example illustrated in FIG.
本実施形態では、評価部6が、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する。そして、表示部7が、その時間区分を表示する。従って、ユーザは、第1の実施形態と同様に、走り幅跳びの一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握することができる。例えば、評価部6がステップS11で時間区分cを特定し、表示部7が時間分cを表示したとする。この場合、ユーザは、時間区分cと、その1つ前の時間区分bとの差に該当する時間帯(具体的には、時刻“−1.5”から時刻“−1.0”までの時間帯。図3、図8を参照。)が、モデルを用いて予測された成績の予測精度の向上の度合いが大きい時間帯であると認識することができる。従って、ユーザは、その時間帯が、走り幅跳びの一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯であると把握することができる。
In the present embodiment, the
次に、第2の実施形態の種々の変形例について説明する。 Next, various modifications of the second embodiment will be described.
表示部7は、ステップS12において、第1の実施形態におけるステップS5の動作を合わせて行ってもよい。すなわち、表示部7は、ステップS11で特定された時間区分を表示するとともに、時間区分と、時間区分に対応するモデルの予測精度との関係を表示してもよい。例えば、表示部7は、図8に例示する態様で時間区分cを表示するとともに、図5に例示するグラフを表示してもよい。
The
また、スポーツ動作解析支援システムは、外部(例えば、ユーザ)から時間区分を指定された場合、その時間区分に関する情報をさらに表示してもよい。図9は、第2の実施形態の一つの変形例を示すブロック図である。図9に示すスポーツ動作解析支援システム1は、図1に示す各構成要素に加えて、さらに、操作部8を備える。ステップS12までの動作は、第2の実施形態で説明した動作または、前述の変形例における動作と同様である。以下の説明では、表示部7が、ステップS12において、図8に例示する態様で各時間区分のアイコン21を表示する場合を例にして説明する。
In addition, when a time segment is designated from outside (for example, a user), the sports motion analysis support system may further display information on the time segment. FIG. 9 is a block diagram showing a modification of the second embodiment. The sports motion
操作部8は、ユーザが時間区分を指定するためのユーザインタフェースであり、例えば、マウス等によって実現される。ユーザは、操作部8を操作して、図8に例示するように表示されたアイコン21を指定する。表示部7は、その操作に応じて、時間区分の指定を受け付ける。
The operation unit 8 is a user interface for a user to specify a time section, and is realized by, for example, a mouse or the like. The user operates the operation unit 8 to specify the
ここでは、ステップS11で特定された時間区分が指定されたものとして説明する。例えば、図8に示す各アイコン21のうち、時間区分cのアイコン21に対して、クリック等の操作が行われたものとして説明する。
Here, a description will be given assuming that the time segment specified in step S11 is specified. For example, among the
表示部7は、外部から時間区分cの指定を受け付けると、その時間区分cに対応するモデルの予測精度を表示する。
When receiving the designation of the time section c from the outside, the
さらに、表示部7は、ステップS3においてそのモデル(時間区分cに対応するモデル)を用いて算出された成績の予測値が最大となっている画像データと、ステップS3においてそのモデルを用いて算出された成績の予測値が最小となっている画像データとを特定する。走り幅跳びの例では、成績(跳躍距離)の値が大きいほどより成績がよく、成績の値が小さいほど成績は悪い。スポーツの種類によっては、成績の値が大きいほど成績が悪く、成績の値が小さいほど成績がよいと言える場合もあり得る。いずれの場合であっても、表示部7は、指定された時間区分に対応するモデルを用いて算出された成績の予測値が最大となっている画像データと、そのモデルを用いて算出された成績の予測値が最小となっている画像データとを特定する。このように画像データを特定することによって、表示部7は、成績が最もよいと予測される画像データと、成績が最も悪いと予測される画像データとを特定することになる。なお、ここで、最大とは、指定された時間区分cに対応するモデルを用いて算出された予測値の中での最大を意味し、最小とは、指定された時間区分cに対応するモデルを用いて算出された予測値の中での最小を意味する。
Further, the
表示部7は、予測値が最大となっている画像データにおける、指定された時間区分cに該当する範囲の動画と、予測値が最小となっている画像データにおける、指定された時間区分cに該当する範囲の動画とをそれぞれ表示する。
The
図10は、ステップS12の後に時間区分が指定されたときに、表示部7が表示する画面の例を示す模式図である。予測精度表示欄31は、指定された時間区分に対応するモデルの予測精度を表示する欄である。第1の画像表示欄32は、予測値が最大となっている画像データにおける、指定された時間区分に該当する範囲の動画を表示する欄である。第2の画像表示欄32は、予測値が最小となっている画像データにおける、指定された時間区分に該当する範囲の動画を表示する欄である。
FIG. 10 is a schematic diagram showing an example of a screen displayed on the
表示部7は、時間区分が指定されると、図10に例示する画面を表示する。
When the time section is designated, the
本変形例では、表示部7が、予測値が最大となっている画像データと、予測値が最小となっている画像データとを特定する場合を説明した。表示部7は、指定された時間区分に対応するモデルを用いて算出された成績の予測値が上位1番目から上位所定番目までに該当している各画像データと、そのモデルを用いて算出された成績の予測値が下位1番目から下位所定番目までに該当している各画像データとを特定してもよい。そして、表示部7は、予測値が上位1番目から上位所定番目までに該当している各画像データにおける、指定された時間区分に該当する範囲の動画と、予測値が下位1番目から下位所定番目までに該当している各画像データにおける、指定された時間区分に該当する範囲の動画とを、それぞれ表示してもよい。上位所定番目および下位所定番目を表す値は、予め定められていてもよい。あるいは、上位所定番目および下位所定番目を表す値をユーザがスポーツ動作解析支援システム1に入力するための入力デバイス(ユーザインタフェース)がスポーツ動作解析支援システム1に設けられていてもよい。
In the present modified example, the case where the
本変形例によれば、成績が最もよいと予測される動画であって、フォームが結果に対して大きな影響を与える時間帯の動画を表示することができ、また、成績が最も悪いと予測される動画であって、フォームが結果に対して大きな影響を与える時間帯の動画を表示することができる。従って、それらの画像を解析したり、比較したりすることによって、フォームの改善、フォームの癖の発見等に利用することができる。 According to this modification, it is possible to display a video that is predicted to have the best performance, that is, a video during a time period when the form has a significant effect on the result, and that the performance is predicted to be the worst. Video that has a significant effect on the results. Therefore, by analyzing or comparing those images, the images can be used for improving the form, discovering the habit of the form, and the like.
なお、表示部7は、ステップS11で特定された時間区分が指定された場合にのみ、上記の表示動作を行ってもよい。また、表示部7は、任意の時間区分が指定された場合に、指定された時間区分に応じて、上記の表示動作を行ってもよい。
The
上記の第1の実施形態、並びに、第2の実施形態およびその変形例では、動作の結果が成績であり、数値で表される場合を例に説明した。スポーツにおける動作の結果が、事象であってもよい。以下、サッカーにおけるPK(penalty kick)の場面を本発明に適用する場合を例にして説明する。そして、PKの動作の結果が、「ボールが右に飛んだ。」、「ボールが左に飛んだ。」という二種類の事象のいずれかであるものとして説明する。上記の第1の実施形態、並びに、第2の実施形態およびその変形例と同様の事項については、説明を省略する。 In the first embodiment, the second embodiment, and the modifications thereof, the case where the result of the operation is a result and is represented by a numerical value has been described as an example. The result of the action in the sport may be an event. Hereinafter, a case where a PK (penalty kick) scene in soccer is applied to the present invention will be described as an example. The description will be made assuming that the result of the PK operation is one of two types of events: "the ball has flew to the right" and "the ball has flew to the left." The description of the same items as those in the first embodiment, the second embodiment, and the modifications thereof will be omitted.
「ボールが右に飛んだ。」という事象を“1”で表し、「ボールが左に飛んだ。」という事象を“0”で表すものとする。すなわち、PKの動作の結果(事象)を二値で表すものとする。 The event “the ball flew to the right” is represented by “1”, and the event “the ball flew to the left” is represented by “0”. That is, the result (event) of the PK operation is represented by a binary value.
データ記憶部2には、PKを行う人(以下、選手と記す。)の一連の動作を表す動画の画像データと、その動作の結果(事象“1”または事象“0”)とを対応付けたデータを、予め複数記憶させておく。この動作の結果は、例えば、名義尺度であるということができる。
The
また、本例では、動画が選手のキック動作を表している時点を基準として、複数の時間区分を定めておけばよい。 Further, in this example, a plurality of time sections may be determined based on the time point at which the moving image represents the kicking motion of the player.
本例では、学習部4は、複数の時間区分のそれぞれに対して、時間区分における動作と、事象“1”が生じる確率または事象“0”が生じる確率との関係を表すモデルを学習する。事象“1”が生じる確率または事象“0”が生じる確率は、1つの目的変数で表される。ここでは、この目的変数の取り得る範囲は0〜1であるものとする。目的変数の値が0.5よりも大きければ、その値は、事象“1” (すなわち、「ボールが右に飛ぶ。」という事象)が生じる確率を表わしていて、その値が1に近いほど、事象“1”が生じる確率が高く、その値が0.5に近いほど、事象“1”が生じる確率が低いということを表している。また、目的変数の値が0.5よりも小さければ、その値は、事象“0”(すなわち、「ボールが左に飛ぶ。」という事象)が生じる確率を表わしていて、その値が0に近いほど、事象“0”が生じる確率が高く、その値が0.5に近いほど、事象“0”が生じる確率が低いということを表している。このようなモデルを学習する場合、学習部4は、機械学習のアルゴリズムとして、例えば、ロジスティック回帰分析を用いればよい。
In this example, the
学習部4は、画像データ毎に、着目している時間区分に対応する静止画の集合と、結果(“1”または“0”)との組み合わせを定め、画像データ毎に定めた組み合わせを学習用データとして用いて、着目している時間区分に対応するモデルを、機械学習(例えば、ロジスティック回帰分析)によって学習すればよい。
The
また、学習部4は、時間区分毎に、モデルを学習する。
The
予測部5は、個々の画像データに関して、それぞれの時間区分に対応するモデルを用いて、結果の予測値を算出する。予測値は、目的変数の値であり、事象“1”が生じる確率または事象“0”が生じる確率を表している。予測部5によって算出される確率(目的変数の値)は、0〜1の範囲の値をとり得る連続値である。よって、予測部5によって算出される目的変数の値は、例えば、順序尺度であるということができる。
The
評価部6が、時間区分毎に、時間区分に対応するモデルの予測精度を算出する場合、評価部6は、以下の処理を行えばよい。なお、結果の真値は“1”または“0”であり、画像データに対応付けられて、データ記憶部2に記憶されている。
When the
ここでは、時間区分aに着目して、評価部6が、時間区分aに対応するモデルの予測精度を算出する場合を例にして説明する。予測部5は、時間区分aに対応するモデルを用いて、画像データ毎に予測値を算出しているものとする。時間区分aに関して算出されている予測値の数は、画像データの個数である。評価部6は、個々の予測値を“1”または“0”とみなす。すなわち、評価部6は、1つの予測値が0.5よりも大きければ、その予測値を“1”とみなし、その予測値が0.5よりも小さければ、その予測値を“0”とみなす。そして、評価部6は、“1”または“0”とみなした予測値と、結果の真値とが一致しているか否かを判定し、真値と一致している予測値の個数をカウントする。
Here, the case where the
例えば、時間区分aに対応するモデルを画像データ#1に適用して算出した予測値が“0.8”であったとする。また、画像データ#1に対応する結果の真値が“1”であったとする。0.8>0.5であるので、評価部6は、予測値“0.8”を“1”とみなし、真値“1”と一致すると判定する。この場合において、真値が“0”であったならば、評価部6は、予測値“0.8”を“1”とみなし、真値“0”と一致しないと判定すればよい。
For example, it is assumed that a prediction value calculated by applying the model corresponding to the time section a to the
また、例えば、時間区分aに対応するモデルを画像データ#2に適用して算出した予測値が“0.3”であったとする。また、画像データ#2に対応する結果の真値が“0”であったとする。0.3<0.5であるので、評価部6は、予測値“0.3”を“0”とみなし、真値“0”と一致すると判定する。この場合において、真値が“1”であったならば、評価部6は、予測値“0.3”を“0”とみなし、真値“1”と一致しないと判定すればよい。
Further, for example, it is assumed that a predicted value calculated by applying the model corresponding to the time section a to the
このように、評価部6は、画像データに対応する予測値毎に、予測値を“1”または“0”とみなし、その値と真値とが一致している予測値の個数をカウントする。そして、評価部6は、そのカウント値を、時間区分aに関して算出されている予測値の数で除算した値を、時間区分aに対応するモデルの予測精度とする。このように、上記のカウント値を予測値の数で除算した値は、一致率と称することもできる。
As described above, the
評価部6は、他の各時間区分に関してもそれぞれ、時間区分に対応するモデルの予測精度を算出する。
The
その他の点は、前述の第1の実施形態や第2の実施形態と同様である。よって、動作の結果が事象である場合も、第1の実施形態や第2の実施形態に適用可能である。そして、第1の実施形態や第2の実施形態と同様の効果を得ることができる。すなわち、ユーザは、PKの一連の動作を行う時間のうち、フォームが結果(本例では、ボールの進行方向)に対して大きな影響を与える時間帯を把握することができる。 The other points are the same as those of the above-described first embodiment and second embodiment. Therefore, even when the result of the operation is an event, the present invention can be applied to the first embodiment and the second embodiment. Then, the same effects as in the first embodiment and the second embodiment can be obtained. In other words, the user can grasp the time zone in which the form has a great effect on the result (in this example, the traveling direction of the ball) in the time period for performing a series of PK operations.
特に、本例では、競争相手(対戦チームの選手)に関するデータをデータ記憶部2に記憶させておけば、フォームが結果に対して大きな影響を与える時間帯を把握した上で、その時間帯のフォームを重点的に確認することができる。すると、キーパは、対戦チームの選手の癖等を見つけやすくなり、キーパのPK阻止率に寄与することができる。
In particular, in this example, if data relating to competitors (players of the opposing team) is stored in the
また、第2の実施形態の変形例の1つとして示したように、ステップS12の後、外部から時間区分の指定を受ける場合においても、動作の結果が事象であってもよい。例えば、ステップS12において、表示部7が、図8に例示する態様で各時間区分のアイコン21を表示し、その後、時間区分cが指定されたとする。この場合、表示部7は、その時間区分cに対応するモデルの予測精度を表示する。
Further, as shown as one of the modifications of the second embodiment, the operation result may be an event even when a time division is externally designated after step S12. For example, it is assumed that, in step S12, the
さらに、表示部7は、そのモデルを用いて算出された予測値が最大となっている画像データと、そのモデルを用いて算出された予測値が最小となっている画像データとを特定する。本例では、値が大きいほど、キック後にボールが右に飛ぶ確率が高く、値が小さいほど、キック後にボールが左に飛ぶ確率が高い。すなわち、表示部7は、キック後にボールが右に飛ぶ確率が最も高いと予測されるフォームの画像データと、キック後にボールが左に飛ぶ確率が最も高いと予測されるフォームの画像データとを特定していることになる。
Further, the
表示部7は、予測値が最大となっている画像データにおける、指定された時間区分cに該当する範囲の動画と、予測値が最小となっている画像データにおける、指定された時間区分cに該当する範囲の動画とをそれぞれ表示する。
The
時間区分が指定された場合に表示部7が表示する画面は、図10に例示する画面と同様でよい。なお、図10に示す「成績:良」、「成績:悪」等のテキスト情報はそれぞれ、「ボール進行方向:右」、「ボール進行方向:左」等として表示すればよい。
The screen displayed by the
この場合には、ボールが最も右に飛びやすいと予測される動画であって、フォームが結果に対して大きな影響を与える時間帯の動画を表示することができ、また、ボールが最も左に飛びやすいと予測される動画であって、フォームが結果に対して大きな影響を与える時間帯の動画を表示することができる。従って、それらの画像を解析したり、比較したりすることによって、フォームの改善、フォームの癖の発見等に利用することができる。 In this case, it is possible to display a video in which the ball is predicted to be most likely to fly to the right, and a video during a time when the form has a great influence on the result. It is possible to display a moving image that is expected to be easy and that is in a time zone in which the form has a great influence on the result. Therefore, by analyzing or comparing those images, the images can be used for improving the form, discovering the habit of the form, and the like.
また、本発明の各実施形態やその変形例において、スポーツ動作解析支援システム1は、データ記憶部2に記憶させるデータを外部から取得するデータ取得部を備えていてもよい。図11は、データ取得部を備える場合の構成例を示すブロック図である。データ記憶部2、時間区分画像抽出部3、学習部4、予測部5、評価部6および表示部7は、第1の実施形態におけるそれらの要素や、第2の実施形態やその変形例におけるそれらの要素と同様であり、説明を省略する。
In each embodiment of the present invention and its modifications, the sports motion
データ取得部9は、スポーツにおける一連の動作を表す動画の画像データと、その動作の結果とを対応付けたデータを複数取得し、データ記憶部2に記憶させる。
The data acquisition unit 9 acquires a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and the results of the actions are associated with each other, and stores the data in the
例えば、上記のデータが外部の装置(図示略)に複数記憶されているとする。この場合、データ取得部9は、その装置にアクセスして、その装置からデータを複数取得して、データ記憶部2に記憶させればよい。データ取得部9が複数のデータをデータ記憶部2に記憶させた後の処理は、第1の実施形態で説明した処理、または、第2の実施形態やその変形例で説明した処理と同様である。
For example, it is assumed that a plurality of the above data are stored in an external device (not shown). In this case, the data acquisition unit 9 may access the device, acquire a plurality of data from the device, and store the data in the
データ取得部9は、例えば、スポーツ動作解析支援プログラムに従って動作するコンピュータのCPUによって実現される。 The data acquisition unit 9 is realized by, for example, a CPU of a computer that operates according to a sports motion analysis support program.
以上の説明では、走り幅跳びやサッカーにおけるPKを例にして説明した。本発明が適用されるスポーツの動作は、これらに限定されない。例えば、ゴルフにおけるスイング動作の画像データと、成績(飛距離)とを対応付けたデータを、複数データ記憶部2に記憶させておいてもよい。この場合、ゴルフクラブでボールを打つ時点を基準の時刻とすればよい。また、例えば、バレーボールのセッターがトスする動作の画像データと、ボールが右に飛んだか、左に飛んだかを示す結果とを対応付けたデータを、複数データ記憶部2に記憶させておいてもよい。この場合、セッターがトスする時点を基準の時刻とすればよい。また、例えば、野球におけるピッチャーの投球動作、ラグビーのフォーメーション、または、アメリカンフットボールのフォーメーション等にも、本発明を適用可能である。このように、本発明は、種々のスポーツの動作に適用可能である。
In the above description, a long jump or PK in soccer has been described as an example. The sports operation to which the present invention is applied is not limited to these. For example, data in which image data of a swing operation in golf and results (flying distance) are associated with each other may be stored in the multiple
図12は、本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ1000は、CPU1001と、主記憶装置1002と、補助記憶装置1003と、インタフェース1004と、ディスプレイ装置1005と、入力デバイス1006とを備える。入力デバイス1006は、図9に示す操作部8に相当する。
FIG. 12 is a schematic block diagram illustrating a configuration example of a computer according to each embodiment of the present invention. The
本発明の各実施形態のスポーツ動作解析支援システム1は、コンピュータ1000に実装される。スポーツ動作解析支援システム1の動作は、プログラム(スポーツ動作解析支援プログラム)の形式で補助記憶装置1003に記憶されている。CPU1001は、プログラムを補助記憶装置1003から読み出して主記憶装置1002に展開し、そのプログラムに従って上記の処理を実行する。
The sports motion
補助記憶装置1003は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース1004を介して接続される磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ1000に配信される場合、配信を受けたコンピュータ1000がそのプログラムを主記憶装置1002に展開し、上記の処理を実行してもよい。
The
また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置1003に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。
Further, the program may be for realizing a part of the processing described above. Furthermore, the program may be a difference program that implements the above-described processing in combination with another program already stored in the
また、各構成要素の一部または全部は、汎用または専用の回路(circuitry )、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。 A part or all of the components may be realized by a general-purpose or dedicated circuit, a processor, or a combination thereof. These may be configured by a single chip, or may be configured by a plurality of chips connected via a bus. Some or all of the components may be realized by a combination of the above-described circuit and the like and a program.
各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。 When some or all of the components are realized by a plurality of information processing devices, circuits, and the like, the plurality of information processing devices, circuits, and the like may be centrally arranged or distributed. For example, the information processing device, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system or a cloud computing system.
次に、本発明の概要について説明する。図13は、本発明の概要を示すブロック図である。本発明のスポーツ動作解析支援システムは、データ記憶部2と、学習部4と、評価部6とを備える。
Next, the outline of the present invention will be described. FIG. 13 is a block diagram showing an outline of the present invention. The sports motion analysis support system of the present invention includes a
データ記憶部2は、スポーツにおける一連の動作を表す動画の画像データと、動作の結果とを対応付けたデータを複数記憶する。
The
学習部4は、複数のデータを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する。
The
評価部6は、モデルを用いて予測された結果の予測精度を、時間区分毎に算出する。
The
そのような構成によって、スポーツにおける一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握できるようにユーザを支援することができる。 With such a configuration, it is possible to assist the user so that the user can grasp the time zone in which the form has a great influence on the result among the time periods for performing a series of actions in the sport.
また、図14は、本発明の概要を示す他のブロック図である。本発明のスポーツ動作解析支援システムは、データ記憶部2と、学習部4と、特定部16とを備えていてもよい。
FIG. 14 is another block diagram showing an outline of the present invention. The sports motion analysis support system of the present invention may include the
データ記憶部2および学習部4は、図13に示すデータ記憶部2および学習部4と同様である。
The
特定部16(例えば、第2の実施形態における評価部6)は、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する。
The specifying unit 16 (for example, the
この場合にも、スポーツにおける一連の動作を行う時間のうち、フォームが結果に対して大きな影響を与える時間帯を把握できるようにユーザを支援することができる。 In this case as well, it is possible to assist the user so that the user can grasp the time zone in which the form has a great influence on the result among the time periods for performing a series of actions in the sport.
上記の各実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。 Each of the above embodiments may be described as the following supplementary notes, but is not limited thereto.
(付記1)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価部とを備える
ことを特徴とするスポーツ動作解析支援システム。(Appendix 1)
A data storage unit that stores a plurality of image data of moving images representing a series of actions in sports, and a plurality of data in which the results of the actions are associated
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. A learning unit to learn,
A sports motion analysis support system, comprising: an evaluation unit that calculates prediction accuracy of a result predicted using a model for each time section.
(付記2)
時間区分と、時間区分に対応するモデルの予測精度との関係を示すグラフを表示する表示部を備える
付記1に記載のスポーツ動作解析支援システム。(Appendix 2)
The sports motion analysis support system according to
(付記3)
評価部は、モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する
付記1または付記2に記載のスポーツ動作解析支援システム。(Appendix 3)
The sports motion analysis support system according to
(付記4)
表示部は、外部から指定された時間区分に対応するモデルの予測精度を表示するとともに、前記モデルを用いて予測された予測値に基づいて所定数の画像データを特定し、特定した各画像データにおける前記時間区分の動画を表示する
付記1から付記3のうちのいずれかに記載のスポーツ動作解析支援システム。(Appendix 4)
The display unit displays the prediction accuracy of the model corresponding to the time section specified from the outside, specifies a predetermined number of image data based on a predicted value predicted using the model, and specifies each specified image data. The sports motion analysis support system according to any one of
(付記5)
画像データに対応付けられる動作の結果は、成績を示す数値であり、
学習部は、時間区分毎に、時間区分における動作と、成績を示す数値との関係を表すモデルを学習する
付記1から付記4のうちのいずれかに記載のスポーツ動作解析支援システム。(Appendix 5)
The result of the operation associated with the image data is a numerical value indicating the grade,
The sports motion analysis support system according to any one of
(付記6)
画像データに対応付けられる動作の結果は、事象であり、
学習部は、時間区分毎に、時間区分における動作と、事象が生じる確率との関係を表すモデルを学習する
付記1から付記4のうちのいずれかに記載のスポーツ動作解析支援システム。(Appendix 6)
The result of the operation associated with the image data is an event,
The sports motion analysis support system according to any one of
(付記7)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部と、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定部とを備える
ことを特徴とするスポーツ動作解析支援システム。(Appendix 7)
A data storage unit that stores a plurality of image data of a moving image representing a series of operations in sports, and a plurality of data in which the results of the operations are associated with each other;
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. A learning unit to learn,
A sports motion analysis support system, comprising: a specification unit that specifies a time zone that can specify a time zone in which a degree of improvement in prediction accuracy of a result predicted using a model is large.
(付記8)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する
ことを特徴とするスポーツ動作解析支援方法。(Appendix 8)
A computer including a data storage unit that stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated with each other.
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learn,
A sports motion analysis support method, wherein a prediction accuracy of a result predicted using a model is calculated for each time section.
(付記9)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータが、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する
ことを特徴とするスポーツ動作解析支援方法。(Appendix 9)
A computer including a data storage unit that stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated with each other.
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation Learn,
A sports motion analysis support method characterized by identifying a time zone that can identify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.
(付記10)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、
前記コンピュータに、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価処理
を実行させるためのスポーツ動作解析支援プログラム。(Appendix 10)
A sports motion analysis support program mounted on a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and a result of the motion are associated with each other,
On the computer,
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learning process to learn, and
A sports motion analysis support program that executes an evaluation process that calculates the prediction accuracy of the results predicted using the model for each time interval.
(付記11)
スポーツにおける一連の動作を表す動画の画像データと、前記動作の結果とを対応付けたデータを複数記憶するデータ記憶部を備えるコンピュータに搭載されるスポーツ動作解析支援プログラムであって、
前記コンピュータに、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定処理
を実行させるためのスポーツ動作解析支援プログラム。(Appendix 11)
A sports motion analysis support program mounted on a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and a result of the motion are associated with each other,
On the computer,
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learning process to learn, and
A sports motion analysis support program for executing a specific process of specifying a time zone that can specify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 The present invention has been described with reference to the exemplary embodiments, but the present invention is not limited to the above exemplary embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
本発明は、スポーツにおける動作解析を支援するスポーツ動作解析支援システムに好適に適用可能である。 INDUSTRIAL APPLICABILITY The present invention is suitably applicable to a sports motion analysis support system that supports motion analysis in sports.
1 スポーツ動作解析支援システム
2 データ記憶部
3 時間区分画像抽出部
4 学習部
5 予測部
6 評価部
7 表示部
8 操作部
9 データ取得部
Claims (10)
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価部とを備える
ことを特徴とするスポーツ動作解析支援システム。 A data storage unit that stores a plurality of image data of a moving image representing a series of operations in sports, and a plurality of data in which the results of the operations are associated with each other;
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. A learning unit to learn,
A sports motion analysis support system, comprising: an evaluation unit that calculates prediction accuracy of a result predicted using a model for each time section.
請求項1に記載のスポーツ動作解析支援システム。 The sports motion analysis support system according to claim 1, further comprising a display unit that displays a graph indicating a relationship between a time section and a prediction accuracy of a model corresponding to the time section.
請求項1または請求項2に記載のスポーツ動作解析支援システム。 The sports motion analysis support system according to claim 1 or 2, wherein the evaluation unit specifies a time section that can specify a time zone in which the degree of improvement in prediction accuracy of a result predicted using the model is large.
請求項1から請求項3のうちのいずれか1項に記載のスポーツ動作解析支援システム。 The display unit displays the prediction accuracy of the model corresponding to the time section specified from the outside, specifies a predetermined number of image data based on a predicted value predicted using the model, and specifies each specified image data. The sports motion analysis support system according to any one of claims 1 to 3, wherein a moving image of the time section is displayed.
学習部は、時間区分毎に、時間区分における動作と、成績を示す数値との関係を表すモデルを学習する
請求項1から請求項4のうちのいずれか1項に記載のスポーツ動作解析支援システム。 The result of the operation associated with the image data is a numerical value indicating the grade,
The sports motion analysis support system according to any one of claims 1 to 4, wherein the learning unit learns, for each time interval, a model representing a relationship between the motion in the time interval and a numerical value indicating a score. .
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習部と、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定部とを備える
ことを特徴とするスポーツ動作解析支援システム。 A data storage unit that stores a plurality of image data of moving images representing a series of actions in sports, and a plurality of data in which the results of the actions are associated
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation A learning unit to learn,
A sports motion analysis support system, comprising: a specification unit that specifies a time zone that can specify a time zone in which a degree of improvement in prediction accuracy of a result predicted using a model is large.
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する
ことを特徴とするスポーツ動作解析支援方法。 A computer including a data storage unit that stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated with each other.
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learn,
A sports motion analysis support method, wherein a prediction accuracy of a result predicted using a model is calculated for each time section.
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習し、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する
ことを特徴とするスポーツ動作解析支援方法。 A computer including a data storage unit that stores a plurality of pieces of data in which image data of a moving image representing a series of actions in sports and results of the actions are associated with each other.
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learn,
A sports motion analysis support method characterized by identifying a time zone that can identify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.
前記コンピュータに、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、
モデルを用いて予測された結果の予測精度を、時間区分毎に算出する評価処理
を実行させるためのスポーツ動作解析支援プログラム。 A sports motion analysis support program mounted on a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and a result of the motion are associated with each other,
On the computer,
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learning process to learn, and
A sports motion analysis support program that executes an evaluation process that calculates the prediction accuracy of the results predicted using the model for each time interval.
前記コンピュータに、
複数の前記データを用いて、所定の動作を表している時点を基準として定められた複数の時間区分のそれぞれに対して、時間区分における動作と当該動作に対応する結果との関係を表すモデルを学習する学習処理、および、
モデルを用いて予測された結果の予測精度の向上の度合いが大きい時間帯を特定可能な時間区分を特定する特定処理
を実行させるためのスポーツ動作解析支援プログラム。 A sports motion analysis support program mounted on a computer including a data storage unit that stores a plurality of data in which moving image data representing a series of motions in a sport and a result of the motion are associated with each other,
On the computer,
Using a plurality of the data, for each of a plurality of time segments determined based on the time point representing a predetermined operation, a model representing the relationship between the operation in the time segment and the result corresponding to the operation. Learning process to learn, and
A sports motion analysis support program for executing a specific process of specifying a time zone that can specify a time zone in which the degree of improvement in prediction accuracy of a result predicted using a model is large.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/088884 WO2018122956A1 (en) | 2016-12-27 | 2016-12-27 | Sport motion analysis support system, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018122956A1 JPWO2018122956A1 (en) | 2019-03-28 |
JP6677319B2 true JP6677319B2 (en) | 2020-04-08 |
Family
ID=62707143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018558560A Active JP6677319B2 (en) | 2016-12-27 | 2016-12-27 | Sports motion analysis support system, method and program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6677319B2 (en) |
WO (1) | WO2018122956A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102284802B1 (en) * | 2020-10-06 | 2021-08-02 | 김세원 | Apparatus and method for providing condition information of player regarding sports game |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7344510B2 (en) | 2019-11-05 | 2023-09-14 | テンソル・コンサルティング株式会社 | Motion analysis system, motion analysis method, and motion analysis program |
JP7078667B2 (en) * | 2020-05-08 | 2022-05-31 | 株式会社電通 | Win / Loss Prediction System |
JP7393701B2 (en) * | 2020-09-03 | 2023-12-07 | 日本電信電話株式会社 | Learning device, estimation device, learning method, and learning program |
JP2022170184A (en) * | 2021-04-28 | 2022-11-10 | オムロン株式会社 | Motion improvement device, motion improvement method, motion improvement program, and motion improvement system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10360685B2 (en) * | 2007-05-24 | 2019-07-23 | Pillar Vision Corporation | Stereoscopic image capture with performance outcome prediction in sporting environments |
WO2015080063A1 (en) * | 2013-11-27 | 2015-06-04 | 株式会社ニコン | Electronic apparatus |
JP6332830B2 (en) * | 2013-12-24 | 2018-05-30 | カシオ計算機株式会社 | Exercise support system, exercise support method, and exercise support program |
-
2016
- 2016-12-27 JP JP2018558560A patent/JP6677319B2/en active Active
- 2016-12-27 WO PCT/JP2016/088884 patent/WO2018122956A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102284802B1 (en) * | 2020-10-06 | 2021-08-02 | 김세원 | Apparatus and method for providing condition information of player regarding sports game |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018122956A1 (en) | 2019-03-28 |
WO2018122956A1 (en) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755952B2 (en) | System and method for predictive sports analytics using body-pose information | |
JP6677319B2 (en) | Sports motion analysis support system, method and program | |
JP6733738B2 (en) | MOTION RECOGNITION DEVICE, MOTION RECOGNITION PROGRAM, AND MOTION RECOGNITION METHOD | |
JP6082101B2 (en) | Body motion scoring device, dance scoring device, karaoke device, and game device | |
US11839805B2 (en) | Computer vision and artificial intelligence applications in basketball | |
JP6915701B2 (en) | Extraction program, extraction method and information processing equipment | |
US11967086B2 (en) | Player trajectory generation via multiple camera player tracking | |
CN112154482B (en) | Ball game image analysis device and ball game image analysis method | |
JP6704606B2 (en) | Judgment system and judgment method | |
US11478681B2 (en) | Method of real time monitoring of a person during an event and event dynamics system thereof | |
CN105229666A (en) | Motion analysis in 3D rendering | |
JP6596804B1 (en) | Position tracking system and position tracking method | |
US20210170230A1 (en) | Systems and methods for training players in a sports contest using artificial intelligence | |
JP2021531057A (en) | Dynamic region determination | |
CN105848737B (en) | Analysis device, recording medium, and analysis method | |
JP6677320B2 (en) | Sports motion analysis support system, method and program | |
JP2019083968A (en) | Player analysis support system | |
JP6760610B2 (en) | Position measurement system and position measurement method | |
JP7074727B2 (en) | Sport behavior recognition devices, methods and programs | |
JP6653423B2 (en) | Play section extracting method and play section extracting apparatus | |
JP2020054747A (en) | Play analysis device and play analysis method | |
CN110314368B (en) | Auxiliary method, device, equipment and readable medium for billiard ball hitting | |
KR20230080954A (en) | Foul judgment system in badminton matches and method of operation of system | |
US20220343649A1 (en) | Machine learning for basketball rule violations and other actions | |
JP2023044410A (en) | Tactical analyzer and method for controlling the same, and control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6677319 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |