JP2011110074A - 動画再生装置、及び、プログラム - Google Patents

Abstract

【課題】 スポーツを行う被験者の動作が正しいものか否かを動画を再生しながら確認できるようにする。
【解決手段】 表示されている画像データが動画データの場合は、ラインデータメモリ１０１より上述のラインデータ１又は２を読み出し、既に表示されている動画データに重畳表示し、更に、ユーザ操作によりその位置や交差位置について修正指示が検出されたか否かを判断する。位置や交差位置について修正指示が検出された場合、ラインデータを赤と青からなる確定用の表示色から、黄色からなる仮定用の表示色に切り換え、且つ、これらのラインデータが交差する位置に環状の指標を表示し、ユーザ操作により、ラインデータ及び指標を、被験者の動作解析を補助する目的で最適となる位置にくるように修正される。そして、修正が完了すると、この修正されたガイドデータを重畳させたまま、動画を再生表示し、また、新たな動画ファイルとしてメモリーカードに記録する。
【選択図】 図５

Description

本発明は画像表示処理技術に関し、詳細には、撮影された動画に対し所定の加工を施し、再生、又は、記録する動画再生装置、及び、プログラムに関する。

従来より、スポーツをする人の動作を解析する技術として、カメラ等にて動画、若しくは連写撮影された画像を利用する技術が存在する。
より具体的には、被験者のゴルフのスイングフォームを解析する目的で、スイング動作を行った被験者の動画を取得する。そしてこの動画におけるフレーム間の差分画像を出力して特定動作点を判定し、それに対応するフレームを抽出することで、被験者のスイングフォームをチェックできる技術が開示されている（特許文献１参照）。

特開２００３−１１７０４５号公報

上記特許文献においては、被験者のスイングフォームについて特定動作点を閲覧することは可能である。
しかしながら、そのスイングフォームが正しいか否かについては、アマチュアが閲覧して判断できるものではなく、所謂レッスンプロの解説動画や図と比較しなければならないという問題があった。

本発明は、上述の問題点に鑑みてなされたものであり、スポーツを行う被験者の動作が正しいものか否かを動画を再生しながら確認できるようにすることを目的とする。

請求項１記載の発明は、被験者が画角内に含まれる動画の１フレームを表示する表示手段と、
この表示手段に表示された動画の１フレームに重畳させて、この動画に記録された前記被験者の動作解析を容易にするための補助線画像を複数表示するよう制御する表示制御手段と、
この表示制御手段によって表示された補助線画像の位置を保持し重畳表示させた状態で前記動画を再生する動画再生手段と、
を備えたことを特徴とする。

また、請求項２記載の発明は、上記請求項１において、前記表示制御手段による表示状態で、外部操作に基づいて複数の補助線同士の交点を移動させる移動手段と、
この移動手段による移動により、前記複数の補助線夫々を平行移動させるよう制御する移動制御手段と、
を更に備えたことを特徴とする。

さらに、請求項３記載の発明は、上記請求項１又は２において、前記動画再生手段によって再生された、前記複数の補助線が重畳表示された動画を新たな動画として格納する動画格納手段を更に備えたことを特徴とする。

請求項４記載の発明は、動画を記憶する記憶部と、この記憶部に記憶された動画を再生表示する表示部とを備えた電子機器が有するコンピュータを、
被験者が画角内に含まれる動画の１フレームを前記表示部に表示させる表示制御手段、
この表示制御手段によって表示された動画の１フレームに重畳させて、前記動画に記録された前記被験者の動作解析を容易にするための補助線画像を前記表示部に複数表示するよう制御する表示制御手段、
この表示制御手段によって表示された補助線画像の位置を保持し重畳表示させた状態で前記動画を再生する動画再生手段、
として機能させることを特徴とする。

本発明によれば、スポーツを行う被験者の動作が正しいものか否かを動画を再生しながら確認できる。

本発明の実施形態に係る撮像装置の回路構成図である。 本発明の実施形態におけるフローチャートを示す図である。 本発明の実施形態におけるフローチャートを示す図である。 （ａ）、（ｂ）とも、本発明の実施形態におけるフローチャートにおける表示例を示す図である。 （ａ）、（ｂ）とも、本発明の実施形態におけるフローチャートにおける表示例を示す図である。 本発明の実施形態におけるフローチャートにおける表示例を示す図である。 （ａ）、（ｂ）とも、本発明の実施形態におけるフローチャートにおける表示例を示す図である。 （ａ）、（ｂ）とも、本発明の実施形態におけるフローチャートにおける表示例を示す図である。

以下、本発明を実施する形態の一例として、本発明を撮像装置に適用した場合について詳述する。
図１は本発明の動画再生装置を実施した撮像装置１の回路構成を図示したものである。図示するように撮像装置１は、レンズ２、撮像部３、ＣＤＳ／ＡＤＣ４、制御部５、画像処理部６、ドライバ７、表示部８、ワークメモリ９、プログラムメモリ１０、コネクタ１１、入力部１２、及び、メモリーカード１３を備える。

レンズ２は、ズームレンズ群、フォーカスレンズ群を含み、図示しないレンズモータによりその位置が制御される。撮像部３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子を含む。撮像部３から出力されたＲＧＢ成分よりなる画像信号は、ＣＤＳ／ＡＤＣ４にてデジタルのＹＵＶ（輝度色差）情報からなる画像データに変換される。

制御部５は、プログラマブルなプロセッサを含む。制御部５は、撮像装置１全体を制御する。撮像装置１は、ＣＤＳ／ＡＤＣ４から出力された画像データを受け取り、表示部８で表示可能な形式に変換して、スルー画像として表示部８に出力するようドライバ７を駆動制御する。また、制御部５は、画像データの記録時にはこの画像データを画像処理部６に送る。画像処理部６はこの画像データに各種の画像処理や圧縮等を施してファイル化し、ファイル化された画像データはコネクタ１１に着脱可能に接続されたメモリーカード１３へ格納される。

また、再生モードにおいて、制御部１０は撮像及び圧縮符号化されメモリーカード１３に格納された静止画ファイル、及び、動画ファイルに含まれる静止画データ、及び、動画データを伸長復号化し、表示部８に再生表示させるようドライバ７を駆動制御する。この時、再生される動画については、入力部１２に含まれるユーザ操作による上下左右方向を検出し、各種再生制御を行う。
更に、制御部１０は、入力部１２に含まれるユーザ操作による上下左右方向を検出し、再生対象となる動画に重畳させて表示させる後述のラインデータの位置や交差位置を変更、設定する。
更にまた、制御部１０は、ラインデータを重畳して再生表示された動画を、その再生表示態様を保持した状態（すなわち、ラインデータが重畳表示された状態）で連続的にキャプチャーし、再度動画ファイルに圧縮符号化してメモリーカード１３に格納する。

ワークメモリ９は、撮像された画像データを一時的に記憶する。また、プログラムメモリ１０は、制御部５のプログラムや各種の設定等を記憶する。
また、プログラムメモリ１０には、ラインデータメモリ１０１が記憶されている。このラインデータとは、ゴルフスイングを行う被験者の体の動きについて、その解析を補助するためのデータであり、詳細には、動画再生される被験者に重畳して表示される複数のラインデータが、被験者をスイングする後方から撮影した場合（後述のラインデータ１）と、被験者を正面から撮影した場合（後述のラインデータ２）との２種類が格納されている。
これらのラインデータ及びそれらの交差位置については、確定用の表示色と仮定用の表示色の２種類が夫々用意される他、後述するようにユーザの設定操作により適宜重畳位置を変更することができる。

入力部１２は、シャッターボタンや上下左右カーソルキーのような各種の操作キーやスイッチを含み、再生モード時には、上記入力部１２のスイッチをユーザが操作することにより、再生対象の動画について、順送り再生、逆送り再生、一時停止、コマ送り、コマ戻し、順送りスローモーション再生、逆送りスローモーション再生等を指示するコマンドを発生し、制御部５に出力する。
また、動画に重畳して再生表示すべき複数のラインデータの交差位置座標や複数のラインデータの位置や回転角度を変更するコマンドも発生し、制御部５に出力する。尚、入力部１２は、表示部８上に設置された透明のタッチパネルであっても良い。
表示部８は液晶等のデバイスで構成されたディスプレイを含み、制御部５は、撮像部３で撮像された画像の縮小画像（ライブビュー画像）や、メモリーカード１３に格納された動画データを再生する。またこの再生においては、ラインデータを重畳させた状態で再生表示させることも可能である。

次に、本実施の形態における具体的な処理について図２〜図８を用いて説明する。
処理当初、制御部１０は、再生モードで動作しているものとする。この状態において、ユーザによる入力部１２への所定の操作を検出することにより、メモリーカードに記録されている画像を順次読み出して表示部８に表示させ（ステップＳ１）、この表示処理の期間に、ユーザ操作によりライン（ラインデータ）の表示指示が検出されたか否かを判断する（ステップＳ２）。
そして、ライン（ラインデータ）の表示指示が検出されたと判断すると（ステップＳ２→Ｙｅｓ）、その際に表示されている画像データが静止画データか動画データかを判断する（ステップＳ３）。
ライン（ラインデータ）の表示指示が検出されない場合（ステップＳ２→Ｎｏ）、また、ライン（ラインデータ）の表示指示が検出されても、その時に表示されている画像データが静止画データの場合は通常の画像データの表示として処理されるが（ステップＳ８）、ライン（ラインデータ）の表示指示が検出され（ステップＳ２→Ｙｅｓ）、且つ、その時に表示されている画像データが動画データの場合は（ステップＳ３→Ｙｅｓ）、ラインデータメモリ１０１より上述のラインデータ１を読み出し、既に表示されている動画データに重畳表示し（ステップＳ４）、ユーザ操作を検出することにより他のラインデータの表示指示を検出したか否かを判断する（ステップＳ５）。

ここで他のラインデータの表示指示を検出したと判断すると（ステップＳ５→Ｙｅｓ）、ラインデータメモリ１０１より上述のラインデータ２を読み出し、既に表示されている動画データに重畳表示し（ステップＳ６）、表示されているラインデータについて、ユーザ操作によりその位置や交差位置について修正指示が検出されたか否かを判断する（ステップＳ７）。
また、上記ステップＳ５にて、他のラインデータの表示指示を検出しなかったと判断しても（ステップＳ５→Ｎｏ）、ユーザ操作によりその位置や交差位置について修正指示が検出されたか否かを判断する（ステップＳ７）。
ここで、ユーザ操作によりその位置や交差位置について修正指示が検出されなかった場合（ステップＳ７→Ｎｏ）、図３のステップＳ２３の処理に移行するが、その位置や交差位置について修正指示が検出された場合（ステップＳ７→Ｙｅｓ）、現在表示されているラインデータが上述のラインデータ１か上述のラインデータ２かを判断する（ステップＳ９）。
表示されているラインデータがラインデータ１の場合、修正指示が検出されると、ラインデータを赤と青からなる確定用の表示色から、黄色からなる仮定用の表示色に切り換え、且つ、これらのラインデータが交差する位置に環状の指標を表示する（ステップＳ１０）。

図４（ａ）、及び、（ｂ）はこの時の表示部８の表示例を示すものであり、（ａ）はステップＳ４における表示例、（ｂ）はステップＳ１０における表示例を示す。
図４（ａ）において、表示されている動画にはスイングする後方が映し出された被験者８０１と、ラインデータ８０２、８０３が夫々確定用表示色の赤と青とで重畳表示されている。一方、図４（ｂ）において、表示されている動画には図４（ａ）同様に、スイングする後方が映し出された被験者８０１と、ラインデータ８０４、８０５が仮定用表示色の黄色で重畳表示されるとともに、環状の指標８０６も重畳表示されている。
尚、図４（ａ）において、ラインデータ８０２、８０３の位置は、デフォルトでラインデータメモリ１０１に記憶されている位置であるため、体の動きの解析を補助する目的としては相応しい位置に存在しない。
そこで、ラインデータについて被験者の表示位置に合わせて修正する必要があるため、ステップＳ１０以降の処理をユーザ操作に基づいて行う。

まず制御部１０は、ステップＳ１１にてユーザによる上下左右方向の移動指示を検出することにより指標８０６を移動させると、この指標８０６の移動に伴い、ラインデータ８０４、８０５を指標８０６の移動先が交差位置となるよう平行移動させる（ステップＳ１１）。
図５（ａ）はこの時の表示例を示すものであり、ユーザ操作を検出することにより指標８０６をデフォルト位置（図中において破線で描かれる箇所）から、交差の基準位置であるゴルフボールが存在する位置（図中において実線で描かれる箇所）に移動させると、この移動に伴いラインデータ８０４、８０５をデフォルト位置（図中において破線で描かれる箇所）から、ゴルフボールが存在する位置が交差位置となるよう平行移動する（図中において実線で描かれる箇所）。

その後、指標８０６についてその移動先で決定を検出したか否かを判断し（ステップＳ１２）、決定を検出しなかった場合は（ステップＳ１２→Ｎｏ）再度ステップＳ１１の処理に戻り、決定を検出した場合は（ステップＳ１２→Ｙｅｓ）ラインデータ８０４、８０５の角度を修正する処理に移行する。
次いで制御部１０は、ステップＳ１３にてユーザによる上下左右方向の移動指示を検出することによりラインデータ８０４、８０５の角度を指標８０６を回転軸として動作解析を補助するのに最適な角度になるように変更させる（ステップＳ１３）。
図５（ｂ）はこの時の表示例を示すものであり、ユーザ操作を検出することによりラインデータ８０４をシャフトラインのすぐ下にくるように変更するとともに、ラインデータ８０５を被験者８０１の首の付け根にくるように変更する。
すなわち、この位置からの被験者のゴルフスイングの動画再生の場合、ラインデータ８０４、８０５の間にシャフトが収まるようにゴルフクラブをスイングすることが良いスイングスタイルということになる。

この後、ラインデータ８０４、８０５についてその回転角度で決定を検出したか否かを判断し（ステップＳ１４）、決定を検出しなかった場合は（ステップＳ１４→Ｎｏ）再度ステップＳ１３の処理に戻り、決定を検出した場合は（ステップＳ１４→Ｙｅｓ）、この修正終了を検出したか否かを判断する（ステップＳ１５）。
そして、修正終了を検出しない場合は（ステップＳ１５→Ｎｏ）再度ステップＳ１１の処理に戻る一方、修正終了を検出した場合は（ステップＳ１５→Ｙｅｓ）、これで確定と判断し、ラインデータ８０４、８０５、及び、指標８０６を仮定用の表示色（黄色）から、指標８０６を消去し、ラインデータ８０２、８０３からなる、夫々が赤と青とからなる確定用の表示色に切り換える（ステップＳ１６）。

図６はこの時の表示例を示したものであり、図４（ａ）と比較すると、ラインデータ８０２、８０３の表示位置が変更されている。
このように、スイングする後方が映し出された被験者について、そのスイングの動作が良いか否かを解析するための補助線を、被験者の位置を見ながらユーザ操作により任意に設定することができる。
そしてこの後、ステップＳ２３の処理に移行する。

一方、ステップＳ９において、表示されているラインデータがラインデータ２の場合、修正指示が検出されると、まず制御部１０は、ステップＳ１７にてユーザによる上下左右方向の移動指示を検出することにより複数あるラインデータ同士の交点のうち所定の交点が修正候補として指定する（ステップＳ１７）。
図７（ａ）、及び、（ｂ）はこの時の表示部８の表示例を示すものであり、（ａ）はステップＳ６における表示例、（ｂ）はステップＳ１８における表示例を示す。
図７（ａ）において、表示されている動画にはスイングする正面が映し出された被験者８０１が表示されるとともに、ラインデータ８１１、８１２が確定用表示色の赤で、ラインデータ８１３、８１４が確定用表示色の青で重畳表示されている。
一方、図７（ｂ）において、表示されている動画には図７（ａ）同様に、スイングする正面が映し出された被験者８０１と、修正候補として指定された交点に相当する位置に環状の指標８０７と、この修正候補を交点とするラインデータ８１５、８１６が仮定用表示色の黄色のラインデータ８１８、８１９に切り替わり重畳表示される。

尚、図７（ａ）において、ラインデータ８１２、８１３の位置は、デフォルトでラインデータメモリ１０１に記憶されている位置であるため、体の動きの解析を補助する目的としては相応しい位置に存在しない。
そこで、ラインデータについて被験者の表示位置に合わせて修正する必要があるため、ステップＳ１７以降の処理をユーザ操作に基づいて行う。
まず制御部１０は、ステップＳ１８にてユーザによる上下左右方向の移動指示を検出することにより指標８１７を移動させると、この指標８１７の移動に伴い、この指標を交点とする２つのラインデータを指標８１７の移動先が交差位置となるよう平行移動させる（ステップＳ１９）。

図８（ａ）はこの時の表示例を示すものであり、ユーザ操作を検出することにより指標８１７をデフォルト位置（図中において破線で描かれる箇所）から、図８（ｂ）に移動させると、この移動に伴いこの指標８１７を交点とするラインデータ８１８、８１９をデフォルト位置（図中において破線で描かれる箇所）から、ラインデータ８１８については足の外側を基準位置として、ラインデータ８１９についてはボールのある位置を基準位置として平行移動する（図中において実線で描かれる箇所）。
そして、同様の処理を４回繰返すことにより、縦のラインデータを両足の外側に、横のラインデータを上は被験者８０１の頭頂部、下はボールの位置に夫々平行移動させ、その後、決定を検出したか否かを判断し（ステップＳ２０）、決定を検出しなかった場合は（ステップＳ２０→Ｎｏ）再度ステップＳ１９の処理に戻り、決定を検出した場合は（ステップＳ２０→Ｙｅｓ）、これで確定と判断し、ラインデータ、及び、指標を仮定用の表示色（黄色）から、指標８１７を消去し、ラインデータ８１１〜８１４からなる、縦が赤、横が青からなる確定用の表示色に切り換える（ステップＳ２１）。

そして修正が終了を検出したか否かを判断する（ステップＳ２２）。修正終了を検出しなかったならば、再度ステップＳ１７の処理に戻り、修正終了を検出したならば、ステップＳ２３に移行する。
図８（ｂ）は修正が終了した時の表示例を示すものであり、ユーザ操作を検出することによりラインデータ８１１を被験者８０１の右足の外側に、ラインデータ８１２を被験者８０１の左足の外側に、ラインデータ８１３を被験者８０１の頭頂部に、そして、ラインデータ８１４をボールのある位置にくるように変更する。

すなわち、この位置からの被験者のゴルフスイングの動画再生の場合、これらのラインデータに収まるようにゴルフクラブをスイングすることが良いスイングスタイルということになるので、スイングする正面が映し出された被験者について、そのスイングの動作が良いか否かを解析するための補助線を、被験者の位置を見ながらユーザ操作により任意に設定することができる。

ステップＳ７でＹｅｓ、ステップＳ１６、及び、ステップＳ２２でＹｅｓを検出するとラインデータを表示させたまま動画の１フレームを一時停止させた状態で表示部８に表示し（ステップＳ２３）、この状態でユーザ操作により再生指示を検出したか否かを判断する（ステップＳ２４）。
再生指示を検出しなかった場合は（ステップＳ２４→Ｎｏ）、ステップＳ２３の処理に戻るが、再生指示を検出した場合は（ステップＳ２４→Ｙｅｓ）、ラインデータを重畳表示させた状態で動画を再生し（ステップＳ２５）、再生終了したか否かを判定する（ステップＳ２６）。
そして、再生が終了していなければ（ステップＳ２６→Ｎｏ）、ステップＳ２５に戻るとともに、再生が終了すると（ステップＳ２６→Ｙｅｓ）、次いでユーザ操作を検出することにより記録指示を検出したか否かを判定する（ステップＳ２７）。

このとき、記録指示を検出していない場合は（ステップＳ２７→Ｎｏ）本処理を終了するが、記録指示を検出した場合は、動画再生された夫々のフレームについて、ラインデータが重畳表示させた状態をキャプチャーし、再度符号化圧縮処理して新たな動画ファイルを生成し（ステップＳ２８）、メモリーカード１３に記録する。
したがって、この新たに生成された動画ファイルは他の動画再生装置で再生させることができ、当該撮像装置を所持していなくても、他の動画再生装置で、被験者のゴルフスイングの解析を可能にすることができる。

尚、本実施の形態では本発明を撮像装置に適用させた場合について述べたが、これに限ることなく、撮像素子を備えた電子機器や、そのような電子機器を制御するコンピュータのプログラムとして記述されたものであっても良い。
また、上記説明において、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれると理解されるべきである。

１・・・・・撮像装置
３・・・・・撮像部
５・・・・・制御部
６・・・・・画像処理部
８・・・・・表示部
１０・・・・・プログラムメモリ
１２・・・・・入力部
１３・・・・・メモリカード
８０１・・・・・被験者
８０２、８０３、８１１、８１２、８１３、８１４・・・・・確定用ラインデータ
８０４、８０５、８１５、８１６・・・・・仮定用ラインデータ
８０６、８１７・・・・・指標

Claims (4)

1. 被験者が画角内に含まれる動画の１フレームを表示する表示手段と、
   この表示手段に表示された動画の１フレームに重畳させて、この動画に記録された前記被験者の動作解析を容易にするための補助線画像を複数表示するよう制御する表示制御手段と、
   この表示制御手段によって表示された補助線画像の位置を保持し重畳表示させた状態で前記動画を再生する動画再生手段と、
   を備えたことを特徴とする動画再生装置。
2. 前記表示制御手段による表示状態で、外部操作に基づいて複数の補助線同士の交点を移動させる移動手段と、
   この移動手段による移動により、前記複数の補助線夫々を平行移動させるよう制御する移動制御手段と、
   を更に備えたことを特徴とする請求項１記載の動画再生装置。
3. 前記動画再生手段によって再生された、前記複数の補助線が重畳表示された動画を新たな動画として格納する動画格納手段を更に備えたことを特徴とする請求項１又は２記載の動画再生装置。
4. 動画を記憶する記憶部と、この記憶部に記憶された動画を再生表示する表示部とを備えた電子機器が有するコンピュータを、
   被験者が画角内に含まれる動画の１フレームを前記表示部に表示させる表示制御手段、
   この表示制御手段によって表示された動画の１フレームに重畳させて、前記動画に記録された前記被験者の動作解析を容易にするための補助線画像を前記表示部に複数表示するよう制御する表示制御手段、
   この表示制御手段によって表示された補助線画像の位置を保持し重畳表示させた状態で前記動画を再生する動画再生手段、
   として機能させることを特徴とするプログラム。

Images