JPWO2017085914A1 - 歩行動作表示システム及びプログラム - Google Patents

Abstract

歩行動作表示システム（１）は、被験者（２）に取り付けられ、被験者（２）の歩行時の加速度データを測定する３軸加速度センサ（１０）と、歩行している被験者（２）を撮像することで、被験者（２）の歩行動作を示す映像データを取得する撮像部（２０）と、加速度データと映像データとを同期させて記録する記録部（３１）と、記録部（３１）が記録した加速度データを水平方向の変位データ及び垂直方向の変位データに変換し、水平方向の変位データ又は垂直方向の変位データに基づいて、歩行周期の中の代表的な動作に対応する画像を映像データの中から特定する特定部（３３）と、歩行周期の中の代表的な動作のイメージ図に、特定部（３３）によって特定された画像を併せて表示する表示部（３４）とを備える。

Description

本発明は、被験者の歩行動作を示す画像を表示する歩行動作表示システム及びプログラムに関する。

従来、介護又はリハビリテーションにおいて、被験者の歩行動作を被験者に提示して、正しい歩行動作を指導することが行われている。例えば、被験者の歩行動作を撮影した映像を観察者が見ながら所定の画像を切り出して表示するという方法が一般的には行われている。

また、特許文献１には、複数のマーカーを取り付けた被験者を複数のカメラで撮影して得られた動画データから各マーカーの座標位置を算出し、算出した座標位置に基づいて歩行動作を解析する三次元動作解析装置が開示されている。特許文献１に記載の三次元動作解析装置では、解析結果に基づいて姿勢図を表示する。

特開２００４−３４４４１８号公報

しかしながら、上記従来の観察者が画像を切り出す方法では、観察者への負担が大きいという問題がある。また、どの画像を切り出すかが観察者の経験及び技能に委ねられるので、優れた観察者が居ない場合には被験者への指導ができず、利便性が悪い。また、特許文献１に記載の三次元動作解析装置では、被験者に複数のマーカーを取り付けて、複数のカメラを用いて撮影を行うので、装置構成が複雑になる。

そこで、本発明は、簡易な構成で利便性の高い歩行動作表示システム及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る歩行動作表示システムは、被験者に取り付けられ、前記被験者の歩行時の加速度データを測定する３軸加速度センサと、歩行している前記被験者を撮像することで、前記被験者の歩行動作を示す映像データを取得する撮像部と、前記加速度データと前記映像データとを同期させて記録する記録部と、前記記録部が記録した前記加速度データを水平方向の変位データ及び垂直方向の変位データに変換し、前記水平方向の変位データ又は前記垂直方向の変位データに基づいて、歩行周期の中の代表的な動作に対応する代表画像を前記映像データの中から特定する特定部と、前記歩行周期の中の代表的な動作のイメージ図に、前記特定部によって特定された代表画像を併せて表示する表示部と、を備える。

また、本発明の一態様は、コンピュータを上記歩行動作表示システムとして機能させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することもできる。

本発明によれば、簡易な構成で利便性の高い歩行動作表示ステムを提供することができる。

図１は、実施の形態に係る歩行動作表示システムの構成を示す図である。 図２は、実施の形態に係る歩行動作表示システムの機能構成を示すブロック図である。 図３は、実施の形態に係る歩行動作表示システムの３軸加速度センサが被験者に取り付けられる様子を示す図である。 図４は、歩行周期の中の代表的な動作を示すイメージ図である。 図５は、実施の形態に係る歩行動作表示システムにおいて、水平方向及び垂直方向の変位データと歩行動作の中の代表的な動作との関係を示す図である。 図６は、実施の形態に係る歩行動作表示システムの表示部が表示する報告画面の一例を示す図である。 図７は、実施の形態に係る歩行動作表示システムにおいて、実際に３軸加速度センサによって測定された加速度データから変換された水平方向及び垂直方向の変位データを示す図である。 図８は、実施の形態に係る歩行動作表示システムの表示部が表示する報告画面の別の例を示す図である。

以下では、本発明の実施の形態に係る歩行動作表示システムについて、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

（実施の形態）
［歩行動作表示システム］
まず、本実施の形態に係る歩行動作表示システムの概要について、図１及び図２を用いて説明する。

図１は、本実施の形態に係る歩行動作表示システム１の具体的な構成を示す図である。図２は、本実施の形態に係る歩行動作表示システム１の機能構成を示すブロック図である。

図１に示すように、歩行動作表示システム１は、３軸加速度センサ１０と、撮像部２０と、歩行動作表示装置３０とを備える。図２に示すように、歩行動作表示装置３０は、記録部３１と、記憶部３２と、特定部３３と、表示部３４とを備える。

以下では、歩行動作表示システムの各構成要素について、図面を用いて詳細に説明する。

［３軸加速度センサ］
図３は、本実施の形態に係る３軸加速度センサ１０が被験者２に取り付けられる様子を示す図である。

３軸加速度センサ１０は、被験者２に取り付けられ、被験者２の歩行時の加速度データを測定する。具体的には、３軸加速度センサ１０は、取り付けられた被験者２の部位の加速度を所定の測定レートで測定する。測定レートは、単位時間当たりの加速度の測定回数である。３軸加速度センサ１０は、測定した加速度データを歩行動作表示装置３０の記録部３１に送信する。

本実施の形態では、３軸加速度センサ１０は、歩行動作表示装置３０と通信する。３軸加速度センサ１０は、例えば無線通信により、加速度データを歩行動作表示装置３０に送信する。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）又はＺｉｇＢｅｅ（登録商標）などの所定の無線通信規格に基づいて行われる。

３軸加速度センサ１０が測定した加速度データは、３次元の加速度ベクトルデータ、例えば、被験者２の前後方向、左右方向及び上下方向の各々の加速度データである。加速度データは、複数の測定点を含んでいる。複数の測定点の各々には、測定点を測定した時刻を示す時刻情報が対応付けられている。なお、複数の測定点の全てに時刻情報が対応付けられていなくてもよい。例えば、時刻情報が対応付けられていない測定点を測定した時刻は、複数の測定点のうち基準となる測定点（例えば、最初の測定点）の時刻情報と、加速度データの測定レートとに基づいて算出することができる。

本実施の形態では、３軸加速度センサ１０は、図３に示すように、被験者２の背面側の腰部に取り付けられる。図１に示すように、３軸加速度センサ１０は、装着具１１に固定されている。装着具１１は、被験者２に装着されることで、３軸加速度センサ１０を被験者２の所定の部位に取り付けることができる。

装着具１１は、例えば、被験者２の腰部に装着されるベルトである。装着具１１は、図１に示すように、ストラップ１２と、面ファスナー１３とを備える。面ファスナー１３のフック面とループ面とを適当な位置で結合させることで、ストラップ１２の長さを調整することができる。具体的には、ストラップ１２を被験者２の腰部に巻き付け、ストラップ１２の長さを適当に調整して締め付けることで、装着具１１が被験者２の腰部に装着される。なお、ストラップ１２の長さを調整する手段は、面ファスナー１３に限らず、バックルなどの留め具でもよい。

図３に示すように、装着具１１が被験者２の腰部に装着されることで、３軸加速度センサ１０が被験者２の腰部に取り付けられる。なお、３軸加速度センサ１０が取り付けられる被験者２の部位は、背面側の腰部に限らず、正面側の腰部でもよく、あるいは、頭部、胸部、脚部、腕部などでもよい。

また、装着具１１は、ベルトでなくてもよく、被験者２に着用される衣服でもよい。例えば、当該衣服に３軸加速度センサ１０が固定されていてもよく、あるいは、衣服のポケットに収容されていてもよい。３軸加速度センサ１０は、面ファスナー、安全ピン、クリップなどの取付具を備えており、当該取付具によって衣服に取り付けられてもよい。あるいは、３軸加速度センサ１０は、粘着性のシール材などによって被験者２の肌に直接取り付けられてもよい。

［撮像部］
撮像部２０は、歩行している被験者２を撮像することで、被験者２の歩行動作を示す映像データを取得する。撮像部２０は、取得した映像データを歩行動作表示装置３０の記録部３１に送信する。

撮像部２０は、例えば、図１に示すようなビデオカメラであるが、これに限定されない。スマートフォンなどの携帯端末又はパーソナルコンピュータ（ＰＣ）に設けられた小型カメラでもよい。

本実施の形態では、撮像部２０は、歩行動作表示装置３０と通信する。撮像部２０は、例えば無線通信により、映像データを歩行動作表示装置３０に送信する。無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）又はＺｉｇＢｅｅ（登録商標）などの所定の無線通信規格に基づいて行われる。なお、撮像部２０は、通信ケーブルによって歩行動作表示装置３０と接続されて、有線で通信してもよい。

撮像部２０が取得した映像データは、複数の画像（フレーム）を含んでいる。複数の画像の各々には、画像を取得した時刻を示す時刻情報が対応付けられている。なお、複数の画像の全てに時刻情報が対応付けられていなくてもよい。例えば、時刻情報が対応付けられていない画像を取得した時刻は、複数の画像のうち基準となる画像（例えば、最初のフレーム）の時刻情報と、映像データのフレームレートとに基づいて算出することができる。

［歩行動作表示装置］
歩行動作表示装置３０は、加速度データと映像データとに基づいて、被験者２の歩行動作を分析し、分析結果を表示する。具体的には、歩行動作表示装置３０は、分析結果として、歩行周期の中の代表的な動作のイメージ図と、撮影された被験者２の画像とを併せて表示する。

歩行動作表示装置３０は、例えば、図１に示すようなコンピュータ及びモニタから実現される。具体的には、歩行動作表示装置３０は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。プロセッサ及び各メモリなどが協働して、記録部３１、記憶部３２、特定部３３及び表示部３４などの機能を実行する。

［記録部］
記録部３１は、３軸加速度センサ１０が測定した加速度データと、撮像部２０が取得した映像データとを同期させて記録する。具体的には、記録部３１は、加速度データの複数の測定点の時刻情報と映像データの複数の画像の時刻情報とに基づいて、測定点と画像とを対応付けて記憶部３２に記録する。

例えば、記録部３１は、複数の測定点の各々について、一の測定点と、当該一の測定点の時刻情報が示す時刻に最も近い時刻を示す時刻情報が対応付けられた画像とを対応付ける。これにより、加速度データに含まれる複数の測定点は、当該測定点が測定された時刻と略同じ時刻に撮影された画像に対応付けられる。なお、加速度データの測定レートと映像データのフレームレートとが同じである場合は、記録部３１は、一の測定点と一の画像とを対応付けることで、残りの測定点と画像とは各々の取得順序に基づいて対応付けることができる。

なお、加速度データ及び映像データの少なくとも一方が時刻情報を含んでいない場合は、記録部３１は、３軸加速度センサ１０から加速度データを受信した時刻、又は、撮像部２０から映像データを受信した時刻を利用して、加速度データと映像データとを同期させて記録してもよい。記録部３１による加速度データと映像データとを同期させる手法は、特に限定されない。

［記憶部］
記憶部３２は、加速度データ及び映像データを記憶するためのメモリである。記憶部３２に記憶された加速度データと映像データとは同期している。具体的には、記憶部３２には、加速度データに含まれる複数の測定点と、当該測定点が測定された時刻と略同じ時刻に撮影された画像とが対応付けられて記憶される。

［特定部］
特定部３３は、記録部３１が記録した加速度データを水平方向の変位データ及び垂直方向の変位データに変換する。具体的には、特定部３３は、加速度データを２階積分することで、変位データを生成する。

本実施の形態では、記録部３１が記録した加速度データは、３軸加速度センサ１０によって測定された３次元の加速度ベクトルデータである。このため、特定部３３は、例えば、３次元の加速度ベクトルデータを３次元の変位データに変換した後、３次元の変位データを水平方向及び垂直方向の変位データに分離する。なお、特定部３３は、３次元の加速度ベクトルデータを水平方向の加速度データ及び垂直方向の加速度データに分離した後、各々を変位データに変換してもよい。

なお、３軸加速度センサ１０は、歩行周波数の半分以下の低周波成分として重力加速度の影響を受ける。このため、特定部３３は、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）によって当該低周波成分を加速度データから除去する。なお、歩行周波数は、被験者２が２歩（両足で１歩ずつ）進む期間（周期）の逆数である。また、特定部３３は、被験者２の進行による加速度成分を加速度データから除去することにより、被験者２の歩行動作による変位分のみを示す変位データを生成する。

特定部３３は、水平方向の変位データ又は垂直方向の変位データに基づいて、歩行周期中の代表的な動作に対応する代表画像を映像データの中から特定する。具体的には、特定部３３は、歩行周期の中の代表的な動作に対応する特徴点を水平方向の変位データ又は垂直方向の変位データから抽出し、抽出した特徴点の時刻に対応する画像を、代表画像として特定する。なお、歩行周期の中の代表的な動作については、図４を用いて後で説明する。

特徴点は、例えば、水平方向の変位データの極大値、極小値又はゼロクロス点である。あるいは、特徴点は、例えば、垂直方向の変位データの極大値、極小値又はゼロクロス点である。特徴点と代表的な動作との関係については、図５を用いて後で説明する。

本実施の形態では、特定部３３は、さらに、水平方向の変位データ又は垂直方向の変位データに基づいて、歩行時間と、所定の単位時間当たりの歩数とを算出する。歩行時間は、被験者２が歩行動作を行っている期間である。所定の単位時間当たりの歩数は、例えば、１分間当たりの歩数であり、歩行時間中における被験者２の歩数に基づいて算出される。

特定部３３は、さらに、水平方向の変位データ又は垂直方向の変位データに基づいて、左右の立脚期の割合を算出する。左右の立脚期の割合は、左足の立脚期の時間と右足の立脚期の時間との比率であり、例えば、左足の立脚期と右足の立脚期との合計期間に占める各々の割合で表される。左右の立脚期の割合は、被験者２の歩行動作における左右のバランスに相当する。

［表示部］
表示部３４は、歩行周期の中の代表的な動作のイメージ図に、特定部３３によって特定された代表画像を併せて表示する。具体的には、表示部３４は、イメージ図と代表画像とを含む報告画面を表示する。

表示部３４は、さらに、特定部３３が算出した歩行時間及び歩数を表示する。表示部３４は、さらに、特定部３３が算出した左右の立脚期の割合を表示する。表示部３４が表示する報告画面の一例については、図６を用いて後で説明する。

［歩行周期の中の代表的な動作］
ここで、歩行周期の中の代表的な動作について、図４を用いて説明する。図４は、歩行周期の中の代表的な動作を示すイメージ図である。

歩行周期は、歩行中の１つの動作から同じ動作に至るまでの繰り返しの周期である。例えば、図４に示すように、左足の踵が地面に接触してから、再び左足の踵が地面に接触するまでの期間が歩行周期の１期間である。

図４に示すように、歩行周期は、立脚期と遊脚期とを含んでいる。左足の立脚期は、左足の踵が地面に接触してから、左足のつま先が地面から離れるまでの期間である。左足の遊脚期は、左足のつま先が地面から離れてから、左足の踵が地面に接触するまでの期間である。右足についても同様である。通常の場合、左足の立脚期に右足の遊脚期が含まれ、右足の立脚期に左足の遊脚期が含まれる。

歩行周期の中の代表的な動作は、踵接地、足底接地、立脚中期、踵離地、足指離地及び遊脚中期の少なくとも１つを含んでいる。当該動作は、図４に示すように、左足及び右足の各々に対して行われる。以下では、左足に着目して歩行中の代表的な動作を示す。

踵接地は、図４の（ａ）に示すように、左足（又は右足）の踵が地面に接触する動作である。このとき、２本の足は大きく開いているために、被験者の姿勢は低くなる。具体的には、被験者の腰部（頭部及び胸部なども同様）は、最も低い位置になる。

足底接地は、図４の（ｂ）に示すように、左足（又は右足）の足底が地面に接触する動作である。

立脚中期は、図４の（ｃ）に示すように、左足（又は右足）の足底が地面に接触した状態で、２本の足が最も接近する動作である。このとき、地面に接触している左足がまっすぐに伸びているために、被験者の姿勢は高くなる。具体的には、被験者の腰部は、最も高い位置になる。

踵離地は、図４の（ｄ）に示すように、左足（又は右足）の踵が地面から離れる動作である。このとき、２本の足は大きく開いているために、被験者の姿勢は低くなる。具体的には、被験者の腰部は、最も低い位置になる。

足指離地は、図４の（ｅ）に示すように、左足（又は右足）のつま先が地面から離れる動作である。

遊脚中期は、図４の（ｆ）に示すように、左足（又は右足）が地面から離れた状態で、２本の脚が最も接近する動作である。このとき、地面に接触している右足がまっすぐに伸びているために、被験者の姿勢は高くなる。具体的には、被験者の腰部は、最も高い位置になる。

なお、右足についても同様である。本実施の形態では、左足の動作と右足の動作とはそれぞれ、以下のような対応関係を有する。すなわち、図４の（ａ）に示すように、左足の踵接地と右足の踵離地とが対応する。（ｂ）に示すように、左足の足底接地と右足の足指離地とが対応する。（ｃ）に示すように、左足の立脚中期と右足の遊脚中期とが対応する。（ｄ）に示すように、左足の踵離地と右足の踵接地とが対応する。（ｅ）に示すように、左足の足指離地と右足の足底接地とが対応する。（ｆ）に示すように、左足の遊脚中期と右足の立脚中期とが対応する。

ところで、左足の立脚期では、左足に被験者の重心がかかるため、被験者の姿勢は左寄りになる。具体的には、被験者の腰部は、直立時に比べて左寄りの位置になる。一方で、右足の立脚期では、右足に被験者の重心がかかるため、被験者の姿勢は右寄りになる。具体的には、被験者の腰部は、直立時に比べて右寄りの位置になる。

例えば、図４の（ｃ）に示す左足の立脚中期（右足の遊脚中期）において、重心が最も左足にかかるために、被験者の腰部が最も左寄りの位置になる。同様に、図４の（ｆ）に示す右足の立脚中期（左足の遊脚中期）において、重心が最も右足にかかるために、被験者の腰部が最も右寄りの位置になる。一方で、図４の（ａ）又は（ｄ）に示すように、一方の足の踵接地（他方の足の踵離地）において、被験者の姿勢が最も低く安定しており、重心も直立時と略同じになる。

［変位データと被験者の動作との関係］
次に、水平方向の変位データ及び垂直方向の変位データと被験者２の動作との関係について、図５を用いて説明する。

図５は、本実施の形態に係る歩行動作表示システム１において、水平方向及び垂直方向の変位データと、歩行動作の中の代表的な動作との関係を示す図である。なお、図５では、理想的な歩行動作に基づいた水平方向（左右方向）の変位データ及び垂直方向（上下方向）の変位データを示している。図５において、横軸は歩行時間を示し、縦軸は水平方向又は垂直方向への変位量を示している。

図５に示すように、水平方向の変位データ及び垂直方向の変位データはいずれも、正弦曲線に近似されたカーブを描く。このため、水平方向の変位データ及び垂直方向の変位データの各々には、交互に繰り返す極大値と極小値とが含まれる。極大値から極小値に至る途中、及び、極小値から極大値に至る途中において、ゼロクロス点が存在する。

［水平方向（左右方向）の変位データ］
水平方向の変位データは、３軸加速度センサ１０が取り付けられた部位（具体的には、被験者２の腰部）の変位であって、被験者２の左右方向への変位を示すデータである。水平方向の変位データは、例えば、被験者２の左方向への変位を正、右方向への変位を負として表される。

水平方向の変位データにおける極大値９１は、歩行周期の１期間において左方向への変位が最大である点である。具体的には、極大値９１は、被験者２の腰部が最も左寄りに位置する動作、すなわち、図４の（ｃ）に示す左足の立脚中期（右足の遊脚中期）に相当する。

水平方向の変位データにおける極小値９２は、歩行周期の１期間において右方向への変位が最大である点である。具体的には、極小値９２は、被験者２の腰部が最も右寄りに位置する動作、すなわち、図４の（ｆ）に示す右足の立脚中期（左足の遊脚中期）に相当する。

水平方向の変位データにおけるゼロクロス点９３は、被験者２の左右方向への変位がないことを示している。具体的には、ゼロクロス点９３は、被験者２の左足又は右足の踵接地（又は踵離地）に相当する。より具体的には、極小値９２から極大値９１に向かう途中のゼロクロス点９３ａは、図４の（ａ）に示す左足の踵接地（右足の踵離地）に相当する。極大値９１から極小値９２に向かう途中のゼロクロス点９３ｂは、図４の（ｄ）に示す右足の踵接地（左足の踵離地）に相当する。

ここで、ゼロクロス点９３ａから次のゼロクロス点９３ａまでの期間が、歩行周期の１期間である。ゼロクロス点９３ａからゼロクロス点９３ｂまでの期間が、左足の立脚期（すなわち、左足が地面に接触している期間）である。ゼロクロス点９３ｂからゼロクロス点９３ａまでの期間が、右足の立脚期（すなわち、右足が地面に接触している期間）である。

なお、ゼロクロス点９３は、水平方向の変位データとゼロ基準線９４との交点である。ゼロ基準線９４は、例えば、複数の極大値９１及び複数の極小値９２の平均値として定められる。

［垂直方向（上下方向）の変位データ］
垂直方向の変位データは、３軸加速度センサ１０が取り付けられた部位（具体的には、被験者２の腰部）の変位であって、被験者２の上下方向への変位を示すデータである。垂直方向の変位データは、例えば、被験者２の上方向への変位を正、下方向への変位を負として表される。

垂直方向の変位データにおける極大値９５は、歩行周期の１期間において上方向への変位が最大である点である。具体的には、極大値９５は、被験者２の腰部が最も高い位置になる動作、すなわち、立脚中期（又は遊脚中期）に相当する。

ここで、垂直方向の変位データのみでは、極大値９５が、左足の立脚中期であるか、右足の立脚中期であるかは不明である。このため、水平方向の変位データに基づいて、いずれの足の立脚中期であるかが判定される。具体的には、極大値９５ａは、左足の立脚期における極大値であるので、図４の（ｃ）に示す左足の立脚中期（右足の遊脚中期）に相当する。極大値９５ｂは、右足の立脚期における極大値であるので、図４の（ｆ）に示す右足の立脚中期（左足の遊脚中期）に相当する。

垂直方向の変位データにおける極小値９６は、歩行周期の１期間において下方向への変位が最大である点である。具体的には、極小値９６は、被験者２の腰部が最も低い位置になる動作、すなわち、踵接地（又は踵離地）に相当する。

極大値９５の場合と同様に、水平方向の変位データに基づいて、極小値９６が、右足及び左足のいずれの踵接地であるかが判定される。具体的には、極小値９６ａは、左足の立脚期の開始のタイミングであるので、図４の（ａ）に示す左足の踵接地（右足の踵離地）に相当する。極小値９６ｂは、右足の立脚期の開始のタイミングであるので、図４の（ｄ）に示す右足の踵接地（左足の踵離地）に相当する。

垂直方向の変位データにおけるゼロクロス点９７は、被験者２の上下方向への変位がないことを示している。具体的には、ゼロクロス点９７は、被験者２の足底接地（足指離地）に相当する。

極大値９５及び極小値９６の場合と同様に、水平方向の変位データに基づいて、ゼロクロス点９７が、右足及び左足のいずれの足底接地であるかが判定される。具体的には、ゼロクロス点９７ａは、左足の立脚期におけるゼロクロス点であるので、図４の（ｂ）に示す左足の足底接地（右足の足指離地）に相当する。ゼロクロス点９７ｂは、右足の立脚期におけるゼロクロス点であるので、図４の（ｅ）に示す右足の足底接地（左足の足指離地）に相当する。

なお、ゼロクロス点９７は、垂直方向の変位データとゼロ基準線９８との交点である。具体的には、ゼロクロス点９７は、極小値９６から極大値９５に向かう途中のゼロクロス点である。ゼロ基準線９８は、例えば、複数の極大値９５及び複数の極小値９６の平均値として定められる。

［報告画面］
続いて、表示部３４が表示する報告画面について、図６を用いて説明する。図６は、本実施の形態に係る歩行動作表示システム１の表示部３４が表示する報告画面１００の一例を示す図である。

報告画面１００は、特定部３３によって特定された代表画像を被験者２などに提示するために表示部３４が表示する画面である。報告画面１００は、特定部３３によって算出された歩行時間、単位時間当たりの歩数及び歩行の左右のバランスを示す情報も含まれる。具体的には、図６に示すように、報告画面１００には、複数のイメージ図１０１〜１０６と、複数の代表画像１１１〜１１６と、歩行時間情報１２１と、歩数情報１２２と、バランス情報１２３とが含まれる。

本実施の形態では、複数のイメージ図１０１〜１０６と、複数のイメージ図１０１〜１０６の各々に対応する代表画像１１１〜１１６とが並べて配置されている。具体的には、イメージ図と、対応する代表画像とは、一見して対応関係が把握しやすいように、横方向又は縦方向に並べて配置されている。なお、例えば、イメージ図と代表画像とは、重畳して表示されてもよい。

イメージ図１０１は、図４の（ｄ）に示す右足の踵接地を表すイメージ図である。代表画像１１１は、映像データに含まれる画像であって、右足の踵接地に対応する特徴点（具体的には、極小値９６ｂ）の時刻に対応する画像である。

イメージ図１０２は、図４の（ｅ）に示す右足の足底接地を表すイメージ図である。代表画像１１２は、映像データに含まれる画像であって、右足の足底接地に対応する特徴点（具体的には、ゼロクロス点９７ｂ）の時刻に対応する画像である。

イメージ図１０３は、図４の（ｆ）に示す右足の立脚中期を表すイメージ図である。代表画像１１３は、映像データに含まれる画像であって、右足の立脚中期に対応する特徴点（具体的には、極大値９５ｂ）の時刻に対応する画像である。

イメージ図１０４は、図４の（ａ）に示す左足の踵接地を表すイメージ図である。代表画像１１４は、映像データに含まれる画像であって、左足の踵接地に対応する特徴点（具体的には、極小値９６ａ）の時刻に対応する画像である。

イメージ図１０５は、図４の（ｂ）に示す左足の足底接地を表すイメージ図である。代表画像１１５は、映像データに含まれる画像であって、左足の足底接地に対応する特徴点（具体的には、ゼロクロス点９７ａ）の時刻に対応する画像である。

イメージ図１０６は、図４の（ｃ）に示す左足の立脚中期を表すイメージ図である。代表画像１１６は、映像データに含まれる画像であって、左足の立脚中期に対応する特徴点（具体的には、極大値９５ａ）の時刻に対応する画像である。

歩行時間情報１２１は、特定部３３によって算出された歩行時間を数値で示している。特定部３３は、被験者２の歩行動作が正しく撮影され、かつ、加速度の検出が行えた期間を歩行時間として算出する。具体的には、特定部３３は、記録部３１によって加速度データと映像データとが同期されて記録された期間を歩行時間として算出する。

歩数情報１２２は、特定部３３によって算出された単位時間当たりの歩数を示している。被験者２の一歩は、水平方向の変位データにおける極大値９１又は９２で示される。このため、特定部３３は、歩行時間における極大値９１と極小値９２とをカウントし、カウントした合計値（すなわち、歩数）を歩行時間で割ることで、単位時間当たりの歩数を算出する。

なお、特定部３３は、極大値９１と極小値９２との合計値の代わりに、ゼロクロス点９３の数をカウントしてもよい。あるいは、特定部３３は、垂直方向の変位データにおける極大値９５、極小値９６及びゼロクロス点９７のいずれかをカウントしてもよい。

バランス情報１２３は、特定部３３によって算出された左右の立脚期の割合を示している。本実施の形態では、特定部３３は、水平方向の変位データにおけるゼロクロス点９３を抽出することで、左右の立脚期の時間を算出する。左足の立脚期は、ゼロクロス点９３ａからゼロクロス点９３ｂまでの期間であり、右足の立脚期は、ゼロクロス点９３ｂからゼロクロス点９３ａまでの期間である。歩行時間には複数の立脚期が左足と右足との各々について含まれるので、特定部３３は、左足の立脚期の平均値又は中間値、及び、右足の立脚期の平均値又は中間値を算出する。特定部３３は、例えば、左足の立脚期の平均値と右足の立脚期の平均値との比率を左右の立脚期の割合として算出する。

［特定部の詳細な動作］
ここで、特定部３３の詳細な動作について説明する。具体的には、特定部３３によるイメージ図１０１〜１０６に対応する代表画像１１１〜１１６の特定方法について説明する。

本実施の形態では、特定部３３は、まず水平方向の変位データに基づいて、左足の立脚期と右足の立脚期とを特定する。さらに、特定部３３は、垂直方向の変位データから極大値９５、極小値９６及びゼロクロス点９７を特徴点として抽出し、抽出した特徴点の時刻に対応する画像を代表画像として特定する。

例えば、特定部３３は、踵接地に対応する特徴点として、垂直方向の変位データの極小値９６を抽出する。このとき、極小値９６が左足の立脚期に含まれる極小値９６ａである場合に、特定部３３は、極小値９６ａの時刻に対応する画像を代表画像１１４として特定する。これにより、表示部３４には、左足の踵接地のイメージ図１０４と代表画像１１４とが併せて表示される。極小値９６が右足の立脚期に含まれる極小値９６ｂである場合に、特定部３３は、極小値９６ｂの時刻に対応する画像を代表画像１１１として特定する。これにより、表示部３４には、右足の踵接地のイメージ図１０１と代表画像１１１とが併せて表示される。

なお、特定部３３は、踵接地に対応する特徴点として、水平方向の変位データのゼロクロス点９３を抽出してもよい。具体的には、特定部３３は、水平方向の変位データのゼロクロス点９３ａを、左足の踵接地に対応する特徴点として抽出してもよい。特定部３３は、水平方向のゼロクロス点９３ｂを、右足の踵接地に対応する特徴点として抽出してもよい。

また、特定部３３は、足底接地に対応する特徴点として、垂直方向の変位データのゼロクロス点９７を抽出する。このとき、ゼロクロス点９７が左足の立脚期に含まれるゼロクロス点９７ａである場合に、特定部３３は、ゼロクロス点９７ａの時刻に対応する画像を代表画像１１５として特定する。これにより、表示部３４には、左足の足底接地のイメージ図１０５と代表画像１１５とが併せて表示される。ゼロクロス点９７が右足の立脚期に含まれるゼロクロス点９７ｂである場合に、特定部３３は、ゼロクロス点９７ｂの時刻に対応する画像を代表画像１１２として特定する。これにより、表示部３４には、右足の足底接地のイメージ図１０２と代表画像１１２とが併せて表示される。

なお、特定部３３は、水平方向の変位データに基づいて代表画像１１２又は１１５を特定してもよい。具体的には、特定部３３は、水平方向の変位データにおける極小値９２とゼロクロス点９３ｂとの間の時刻（例えば、２点の中点に相当する時刻）に対応する画像を代表画像１１２として特定してもよい。特定部３３は、水平方向の変位データにおけるゼロクロス点９３ａと極大値９１との間の時刻（例えば、２点の中点に相当する時刻）に対応する画像を代表画像１１５として特定してもよい。

また、特定部３３は、立脚中期に対応する特徴点として、垂直方向の変位データの極大値９５を抽出する。このとき、極大値９５が左足の立脚期に含まれる極大値９５ａである場合に、特定部３３は、極大値９５ａの時刻に対応する画像を代表画像１１６として特定する。これにより、表示部３４には、左足の立脚中期のイメージ図１０６と代表画像１１６とが併せて表示される。極大値９５が右足の立脚期に含まれる極大値９５ｂである場合に、特定部３３は、極大値９５ｂの時刻に対応する画像を代表画像１１３として特定する。これにより、表示部３４には、右足の立脚中期のイメージ図１０５と代表画像１１５とが併せて表示される。

［実施例］
ここで、実際の人物を被験者２として３軸加速度センサ１０を取り付けて測定及び撮影を行った実施例について、図７及び図８を用いて説明する。なお、実施例では、歩行動作が適切ではない人物を被験者２として採用した。このため、表示部３４が表示する報告画面では、イメージ図が表す動作と、代表画像が表す動作とにずれが生じる。

図７は、本実施の形態に係る歩行動作表示システム１において、実際に３軸加速度センサ１０によって測定された加速度データから変換された水平方向及び垂直方向の変位データを示す図である。なお、図７は、横軸は歩行時間を示し、縦軸は水平方向又は垂直方向への変位量を示している。

図７に示すように、実際の変位データでは、極大値及び極小値を抽出するのが困難である場合が想定される。被験者２の歩行動作が正しくない場合には、重心の移動が歩行動作と合わなくなる。このため、水平方向の変位データと垂直方向の変位データとでは、歩行周期が大きく異なることが起こり得る。

例えば、図７に示す水平方向の変位データから、歩行周期の１期間が約３．３秒〜３．４秒であることが分かる。一方で、図７に示す垂直方向の変位データでは、極大値及び極小値の出現タイミングなどが安定せずに、歩行周期を特定することが困難である。例えば、１３．３秒〜１６．７秒の１期間において、垂直方向の変位データには、３つの極大値及び３つの極小値が含まれている。

このように、垂直方向の変位データから特徴点を抽出するのが難しい場合、特定部３３は、垂直方向の変位データを用いずに、水平方向の変位データに基づいて特徴点を抽出することができる。例えば、垂直方向の変位データの歩行周期の１期間の分散が所定の値より大きい場合に、特定部３３は、垂直方向の変位データから特徴点を抽出するのが難しいと判断し、水平方向の変位データに基づいて特徴点を抽出する。

例えば、特定部３３は、左足の踵接地に対応する特徴点として、水平方向の変位データからゼロクロス点（例えば、約１５．０秒時点のゼロクロス点）を抽出する。特定部３３は、抽出したゼロクロス点の時刻（１５．０秒）に対応する画像を、左足の踵接地のイメージ図１０４に併せて表示される代表画像１１４として特定する。

同様に、特定部３３は、左足の立脚中期に対応する特徴点として、水平方向の変位データから極大値（例えば、約１５．８秒時点の極大値）を抽出する。特定部３３は、抽出した極大値の時刻（１５．８秒）に対応する画像を、左足の立脚中期のイメージ図１０６に併せて表示される代表画像１１６として特定する。

図８は、本実施の形態に係る歩行動作表示システム１の表示部３４が表示する報告画面１００の例を示す図である。

図７に示したように、被験者２の歩行動作が正しくない場合は、重心の移動が歩行動作と合わなくなる。このため、水平方向の変位データ又は垂直方向の変位データに基づいて代表画像を特定した場合に、イメージ図が表す動作と、代表画像が表す動作とが一致しない。

例えば、図８に示す報告画面１００では、代表画像１１１〜１１６の各々が表す動作は、イメージ図１０１〜１０６の各々が表す動作とは一致していない。このため、被験者２及び指導者などは、報告画面１００を目視で確認することにより、歩行動作が適切に行われているか否か、適切に行われていない場合には、どの程度ずれているのかを判断することができる。このように、本実施の形態に係る歩行動作表示システム１によれば、適切な歩行動作を行うための指導を簡易な構成で援助することができる。

［効果など］
以上のように、本実施の形態に係る歩行動作表示システム１は、被験者２に取り付けられ、被験者２の歩行時の加速度データを測定する３軸加速度センサ１０と、歩行している被験者２を撮像することで、被験者２の歩行動作を示す映像データを取得する撮像部２０と、加速度データと映像データとを同期させて記録する記録部３１と、記録部３１が記録した加速度データを水平方向の変位データ及び垂直方向の変位データに変換し、水平方向の変位データ又は垂直方向の変位データに基づいて、歩行周期の中の代表的な動作に対応する代表画像を映像データの中から特定する特定部３３と、歩行周期の中の代表的な動作のイメージ図に、特定部３３によって特定された代表画像を併せて表示する表示部３４と、を備える。

このように、３軸加速度センサ１０と撮像部２０（ビデオカメラ）とを備える簡単な構成で利便性の高い歩行動作表示システム１が提供される。具体的には、３軸加速度センサ１０が測定した加速度データから変換された水平方向の変位データ又は垂直方向の変位データに基づいて代表画像を特定して、代表画像とイメージ図とを併せて表示するので、優れた観察者などが居なくても簡単に歩行動作の確認を行うことができる。

また、例えば、特定部３３は、歩行周期の中の代表的な動作に対応する特徴点を水平方向の変位データ又は垂直方向の変位データから抽出し、抽出した特徴点の時刻に対応する画像を、代表画像として特定する。

例えば、被験者２の３軸加速度センサ１０が取り付けられた部位は、被験者２の歩行動作に応じて周期的に変位する。このため、３軸加速度センサ１０が測定した加速度データから変換された水平方向の変位データ又は垂直方向の変位データは、歩行周期の中の代表的な動作に応じて周期的に変化する。変位データに含まれる特徴点は歩行周期の中の代表的な動作に対応しているので、変位データから特徴点を抽出することで、容易に代表画像を精度良く特定することができる。これにより、イメージ図と代表画像との対応関係を確認することで、被験者２の歩行動作が適切であるか否かを容易に判断することができ、歩行動作の指導を援助することができる。

また、例えば、特徴点は、水平方向の変位データ又は垂直方向の変位データの極大値、極小値又はゼロクロス点である。

このように、極大値、極小値又はゼロクロス点を特徴点として利用するので、特徴点を容易に抽出することができる。

また、例えば、歩行周期の中の代表的な動作は、立脚期と遊脚期との中から選択された、踵接地、足底接地、立脚中期、踵離地及び足指離地の少なくとも１つを含む。

これにより、踵接地などの歩行動作における特徴的な動作を表示部３４が表示するので、被験者２の歩行動作の指導をより容易にすることができる。例えば、イメージ図が表す動作と、当該イメージ図と併せて表示される代表画像が表す動作とが略同じであれば、歩行動作が正しく行われていることが分かる。イメージ図が表す動作と、当該イメージ図と併せて表示される代表画像が表す動作とが異なっていれば、正しい歩行動作とのずれ具合を被験者２に提示することができるので、正しい歩行動作になるように指導を援助することができる。

また、例えば、特定部３３は、さらに、水平方向の変位データ又は垂直方向の変位データに基づいて、歩行時間と、所定の単位時間当たりの歩数とを算出し、表示部３４は、さらに、特定部３３が算出した歩行時間及び歩数を表示する。

これにより、表示部３４が歩行時間と単位時間当たりの歩数とを表示するので、被験者２の歩行動作における歩行速度などの指導を援助することができる。

また、例えば、特定部３３は、さらに、水平方向の変位データ又は垂直方向の変位データに基づいて、左右の立脚期の割合を算出し、表示部３４は、さらに、特定部３３が算出した割合を表示する。

これにより、表示部３４が左右の立脚期の割合を表示するので、被験者２の歩行動作における左右のバランスの改善などの指導を援助することができる。

なお、本実施の形態における技術は、歩行動作表示システムとして実現できるだけでなく、コンピュータを、上述した歩行動作表示システムとして機能させるためのプログラムとして実現することもできる。あるいは、当該プログラムを記録したコンピュータ読み取り可能なＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記録媒体として実現することもできる。

つまり、上述した包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

（その他）
以上、本発明に係る歩行動作表示システムについて、上記実施の形態及びその変形例に基づいて説明したが、本発明は、上記の実施の形態に限定されるものではない。

例えば、上記の実施の形態では、特定部３３が水平方向の変位データ及び垂直方向の変位データの両方に基づいて代表画像を特定する例について示したが、これに限らない。特定部３３は、水平方向の変位データのみ又は垂直方向の変位データのみに基づいて代表画像を特定してもよい。

また、例えば、上記の実施の形態では、特定部３３が歩行時間、単位時間当たりの歩数及び立脚期の時間割合を算出し、これらを表示部３４が表示する例について示したが、これに限らない。例えば、表示部３４は、図６に示す歩行時間情報１２１、歩数情報１２２及びバランス情報１２３の少なくとも１つを表示しなくてもよい。また、バランス情報１２３は、左右の立脚期の時間割合を示したが、左右の遊脚期の時間割合を示してもよい。

また、例えば、上記の実施の形態では、表示部３４が図１に示すようなコンピュータのモニタである例について示したが、これに限定されない。表示部３４は、例えば、ビデオカメラ（撮像部２０）が備えるモニタでもよい。

また、上記の各実施の形態において、各構成要素は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

１ 歩行動作表示システム
２ 被験者
１０ ３軸加速度センサ
２０ 撮像部
３１ 記録部
３３ 特定部
３４ 表示部
９１、９５、９５ａ、９５ｂ 極大値
９２、９６、９６ａ、９６ｂ 極小値
９３、９３ａ、９３ｂ、９７、９７ａ、９７ｂ ゼロクロス点
１０１、１０２、１０３、１０４、１０５、１０６ イメージ図
１１１、１１２、１１３、１１４、１１５、１１６ 代表画像
１２１ 歩行時間情報
１２２ 歩数情報
１２３ バランス情報

Claims (7)

1. 被験者に取り付けられ、前記被験者の歩行時の加速度データを測定する３軸加速度センサと、
   歩行している前記被験者を撮像することで、前記被験者の歩行動作を示す映像データを取得する撮像部と、
   前記加速度データと前記映像データとを同期させて記録する記録部と、
   前記記録部が記録した前記加速度データを水平方向の変位データ及び垂直方向の変位データに変換し、前記水平方向の変位データ又は前記垂直方向の変位データに基づいて、歩行周期の中の代表的な動作に対応する代表画像を前記映像データの中から特定する特定部と、
   前記歩行周期の中の代表的な動作のイメージ図に、前記特定部によって特定された代表画像を併せて表示する表示部と、
   を備えた、
   歩行動作表示システム。
2. 前記特定部は、前記歩行周期の中の代表的な動作に対応する特徴点を前記水平方向の変位データ又は前記垂直方向の変位データから抽出し、抽出した特徴点の時刻に対応する画像を、前記代表画像として特定する、
   請求項１に記載の歩行動作表示システム。
3. 前記特徴点は、前記水平方向の変位データ又は前記垂直方向の変位データの極大値、極小値又はゼロクロス点である、
   請求項２に記載の歩行動作表示システム。
4. 前記歩行周期の中の代表的な動作は、立脚期と遊脚期との中から選択された、踵接地、足底接地、立脚中期、踵離地及び足指離地の少なくとも１つを含む、
   請求項１乃至３の何れか１項に記載の歩行動作表示システム。
5. 前記特定部は、さらに、前記水平方向の変位データ又は前記垂直方向の変位データに基づいて、歩行時間と、所定の単位時間当たりの歩数とを算出し、
   前記表示部は、さらに、前記特定部が算出した歩行時間及び歩数を表示する、
   請求項１乃至４の何れか１項に記載の歩行動作表示システム。
6. 前記特定部は、さらに、前記水平方向の変位データ又は前記垂直方向の変位データに基づいて、左右の立脚期の割合を算出し、
   前記表示部は、さらに、前記特定部が算出した割合を表示する、
   請求項１乃至５の何れか１項に記載の歩行動作表示システム。
7. コンピュータを、請求項１乃至６の何れか１項に記載の歩行動作表示システムとして機能させるためのプログラム。

Images