JP2011121152A - Motion assisting device - Google Patents
Motion assisting device Download PDFInfo
- Publication number
- JP2011121152A JP2011121152A JP2009282076A JP2009282076A JP2011121152A JP 2011121152 A JP2011121152 A JP 2011121152A JP 2009282076 A JP2009282076 A JP 2009282076A JP 2009282076 A JP2009282076 A JP 2009282076A JP 2011121152 A JP2011121152 A JP 2011121152A
- Authority
- JP
- Japan
- Prior art keywords
- series data
- time
- joint
- trajectory
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Rehabilitation Tools (AREA)
- Prostheses (AREA)
Abstract
Description
本発明は、人の関節にトルクを加えて人の動作を補助する動作補助装置に関する。 The present invention relates to a motion assisting device that assists human motion by applying torque to a human joint.
人の関節にトルクを加えて人の動作を補助する動作補助装置が研究されている。特許文献1に、そのような動作補助装置の一つが開示されている。特許文献1の動作補助装置は、人の関節にトルクを加えるアクチュエータを有する装具と、人の動作パターンを構成する複数の最小単位(フェーズ)を、予め定められた基準パラメータで分類したデータベースを備えている。基準パラメータには、例えば関節角が選ばれる。その動作補助装置は、基準パラメータに相当する物理量を計測し、計測結果を基準パラメータと比較することによって現在人が行っている動作のフェーズを推定する。即ち、動作補助装置は、計測結果に最も近い基準パラメータを有するフェーズを、人が行っている動作パターンの推定値として決定する。そして動作補助装置は、推定されたフェーズを実現するように人の関節にトルクを付与し、人の動作を補助する。 Research has been made on motion assist devices that apply torque to human joints to assist human motion. Patent Document 1 discloses one such operation assisting device. The motion assisting device of Patent Document 1 includes a device having an actuator that applies torque to a human joint, and a database in which a plurality of minimum units (phases) constituting a human motion pattern are classified according to predetermined reference parameters. ing. For example, a joint angle is selected as the reference parameter. The motion assisting device measures a physical quantity corresponding to the reference parameter and compares the measurement result with the reference parameter to estimate the phase of the motion currently being performed by the person. That is, the motion assisting device determines the phase having the reference parameter closest to the measurement result as the estimated value of the motion pattern performed by the person. The motion assisting device assists human motion by applying torque to the human joint so as to realize the estimated phase.
人の動作を補助する動作補助装置には、動作パターンごとに適切なトルクを人の関節に加えることが求められる。なお、特許文献1における「フェーズ」は、動作パターンを換言したものと考えられる。人の動作を適切に補助するためには、人が行っている動作のパターンを適切に推定することが必要である。本発明は、人が行っている動作のパターンを適切に推定し、推定した動作パターンに基づいて人の関節に適切なトルクを付与することのできる動作補助装置を提供する。 A motion assisting device that assists human motion is required to apply an appropriate torque to a human joint for each motion pattern. The “phase” in Patent Document 1 is considered to be an operation pattern. In order to appropriately assist human movements, it is necessary to appropriately estimate the patterns of movements performed by humans. The present invention provides a motion assisting device that can appropriately estimate a motion pattern performed by a person and apply an appropriate torque to a human joint based on the estimated motion pattern.
人の動作パターンは、関節の角度の軌道で定まる。ここで、「軌道」は、「時系列データ」或いは「経時的変化」と換言してもよい。従って、人の動作パターンを推定する方法として次の手順が考えられる。まず、人の予め定められた動作に伴って実現されるn個の関節の角度の軌道データ(既知軌道)を相互に異なる複数の動作について記憶しておく。次に、人が何等かの動作を行っている最中の関節角度をリアルタイムに計測する。計測された関節角度の軌道データ(計測軌道)に最も近い既知軌道を記憶されている既知軌道群から選択する。選択された既知軌道が表す動作パターンが、人が現在行っている動作パターンの推定値として決定される。 The human movement pattern is determined by the joint angle trajectory. Here, “trajectory” may be rephrased as “time-series data” or “change over time”. Therefore, the following procedure can be considered as a method of estimating a human motion pattern. First, n-joint angle trajectory data (known trajectory) realized in accordance with a predetermined motion of a person is stored for a plurality of different motions. Next, the joint angle during which a person is performing some motion is measured in real time. The known trajectory closest to the measured joint angle trajectory data (measured trajectory) is selected from the stored known trajectory group. The motion pattern represented by the selected known trajectory is determined as an estimated value of the motion pattern currently being performed by the person.
しかしながら上記の方法では必ずしも正確に動作パターンを推定できない。その主な要因は2つある。第1の要因は、動作補助装置が、自力では目的の動作パターンを完全には実現できない人が対象であることに起因する。補助を要する関節は、補助なしでは目的とする関節角軌道に沿って動かないことが起こり得る。即ち、センサによって検出した関節角群の軌道データ(計測軌道)は、本来一致すべき既知軌道に必ずしも一致するとは限らない。第2の要因は、人が行っている動作が繰り返す毎に微妙に異なることに起因する。例えば歩行動作では、関節の角度が描く軌道は歩行周期毎に僅かに異なる。歩行動作に限らず、同じ動作でも繰り返し毎に関節の角度の軌道が僅かに変動することはしばしば発生する。そのため、例えば、n個の関節の角度の軌道で構成されるn次元の計測軌道を、予め記憶されている複数のn次元の既知軌道の夫々と比較する場合、繰り返し毎の計測軌道の変動に起因して適切でない既知軌道が選択されてしまう虞がある。 However, the above method cannot always estimate the motion pattern accurately. There are two main factors. The first factor is due to the fact that the motion assisting device is intended for a person who cannot completely achieve the target motion pattern by himself. A joint that requires assistance may not move along the intended joint angular trajectory without assistance. That is, the trajectory data (measurement trajectory) of the joint angle group detected by the sensor does not necessarily coincide with the known trajectory that should be consistent. The second factor is due to the fact that each time an action performed by a person is repeated slightly changes. For example, in a walking motion, the trajectory drawn by the joint angle is slightly different for each walking cycle. Not only the walking motion but also the same motion often occurs that the trajectory of the joint angle slightly varies with each repetition. Therefore, for example, when an n-dimensional measurement trajectory composed of n joint angle trajectories is compared with each of a plurality of previously stored n-dimensional known trajectories, the measurement trajectory varies every repetition. Due to this, there is a possibility that a known known trajectory may be selected.
本明細書が開示する新規な技術は、動作パターンの適切な推定を阻害する上記2つの要因の影響を低減する。そのための技術の一つは、補助を要しない先行タイムスパンと補助を要する後続タイムスパンの2つのタイムスパンを含む既知軌道で一連の動作パターンを表し、先行タイムスパンの間で計測軌道に最も近い既知軌道を特定する。補助を要しない先行タイムスパンでは、計測軌道は、人が意図した動作パターンに対応する既知軌道に近くなるはずである。本明細書が開示する技術の一つは、補助を要しない先行タイムスパンにおいて計測軌道と既知軌道を比較することによって、適切な既知軌道を特定できる可能性を高める。即ち、そのような技術によって、前述した第1の要因の影響を低減する。 The novel technique disclosed in this specification reduces the influence of the above two factors that hinder proper estimation of motion patterns. One technique for this is to represent a series of motion patterns in a known trajectory that includes two time spans, a preceding time span that does not require assistance and a subsequent time span that requires assistance, and is closest to the measurement trajectory between the preceding time spans. Identify known trajectories. In a preceding time span that does not require assistance, the measured trajectory should be close to the known trajectory corresponding to the motion pattern intended by the person. One of the techniques disclosed in this specification increases the possibility of identifying an appropriate known trajectory by comparing a measured trajectory with a known trajectory in a preceding time span that does not require assistance. That is, the influence of the first factor described above is reduced by such a technique.
本明細書が開示する新規な技術の他の一つは、n次元の計測軌道に最も近い既知軌道を特定する際、主成分分析によってn次元よりも縮約(低次元化)した変数を採用する。主成分分析は、多変量解析ではよく知られた手法であり、n次元の説明変数によって表される特徴をできるだけ継承しながらnより小さいs次元の目的変数に変換する変換関数を与える。主成分分析による低次元化は、n次元の説明変数の局所的な変動の影響を抑制し、大局的な振舞いを良く表すs次元の目的変数ベクトルを与える。本明細書が開示する技術の一つは、そのような主成分分析の手法を動作補助装置に応用する。 Another one of the new technologies disclosed in this specification adopts a variable reduced (reduced in dimension) from n dimensions by principal component analysis when identifying a known orbit closest to an n-dimensional measurement orbit. To do. Principal component analysis is a well-known technique in multivariate analysis, and provides a conversion function that converts an s-dimensional objective variable smaller than n while inheriting features represented by n-dimensional explanatory variables as much as possible. The reduction in dimensions by principal component analysis suppresses the influence of local fluctuations in n-dimensional explanatory variables, and gives an s-dimensional objective variable vector that well represents the global behavior. One of the techniques disclosed in this specification applies such a principal component analysis technique to an operation assisting device.
本明細書が開示する動作補助装置の一実施形態は、記憶モジュール、センサ、装具、及びコントローラを備える。記憶モジュールは、人の予め定められた動作に伴って実現されるn個の人の関節の角度の第1タイミングから第2タイミングまでの既知軌道を複数の相互に異なる動作群の夫々について記憶している。さらに記憶モジュールは、後述する変換関数に、n次元の各既知軌道の各時刻における値を入力して得られるs次元の目的変数ベクトルの既知時系列データ群を記憶している。ここで、変換関数は、n個の関節の角度を説明変数として入力するとnより小さいs次元の目的変数ベクトルを出力する主成分分析に基づく関数である。変換関数は、実験や解析などによって予め決定されている。 One embodiment of the motion assist device disclosed in the present specification includes a storage module, a sensor, a brace, and a controller. The storage module stores the known trajectories from the first timing to the second timing of the angles of the n human joints realized in accordance with a predetermined motion of the human for each of a plurality of different motion groups. ing. Further, the storage module stores a known time-series data group of s-dimensional objective variable vectors obtained by inputting values at each time of n-dimensional known trajectories into a conversion function described later. Here, the conversion function is a function based on principal component analysis that outputs an s-dimensional objective variable vector smaller than n when n joint angles are input as explanatory variables. The conversion function is determined in advance by experiments or analysis.
センサは、n個の人の関節の角度を計測する。装具は、n個の人の関節の中の特定関節にトルクを加えるアクチュエータを有する。コントローラは、アクチュエータを制御する。そのコントローラは、計測軌道取得処理、計測時系列データ算出処理、最近既知時系列データ特定処理、追従制御処理を実行する。計測軌道取得処理ではコントローラは、先行タイムスパンの間に、特定関節にトルクを加えないようにアクチュエータを制御しながら、センサによって計測されるn個の関節の角度の時系列データによって構成されるn次元の計測軌道を取得する。ここで、先行タイムスパンは、第1タイミングと、第1タイミング以降であり第2タイミングよりも早いタイミングに設定されている中間タイミングとの間の期間を意味する。 The sensor measures the angle of n human joints. The brace has an actuator that applies torque to a specific joint among n human joints. The controller controls the actuator. The controller executes measurement trajectory acquisition processing, measurement time series data calculation processing, recently known time series data identification processing, and tracking control processing. In the measurement trajectory acquisition process, the controller controls n actuators so as not to apply torque to the specific joint during the preceding time span, and includes n-series angle time series data measured by the sensor. Get the measurement trajectory of a dimension. Here, the preceding time span means a period between the first timing and an intermediate timing set after the first timing and at a timing earlier than the second timing.
計測時系列データ算出処理ではコントローラは、変換関数に、n次元の計測軌道の各時刻における値を入力して得られる先行タイムスパンにおけるs次元の目的変数ベクトルの計測時系列データを算出する。最近既知時系列データ特定処理ではコントローラは、各既知時系列データの先行タイムスパンにおけるデータを計測時系列データと比較し、比較結果に基づいて計測時系列データに最も近い既知時系列データを特定する。追従制御処理ではコントローラは、中間タイミング以後に設定されている補助開始タイミング以降に、特定された既知時系列データに対応する既知軌道に含まれている特定関節の軌道に、特定関節の計測角度が追従するようにアクチュエータを追従制御する。なお、追従制御は、古典制御理論による制御則を採用してもよいし、現代制御理論による制御則を採用してもよい。ここで、補助開始タイミングは、中間タイミングにほぼ等しいことが好ましい。 In the measurement time series data calculation process, the controller calculates the measurement time series data of the s-dimensional objective variable vector in the preceding time span obtained by inputting the value at each time of the n-dimensional measurement trajectory to the conversion function. In the recently known time series data specifying process, the controller compares the data in the preceding time span of each known time series data with the measured time series data, and specifies the known time series data closest to the measured time series data based on the comparison result. . In the follow-up control process, after the auxiliary start timing set after the intermediate timing, the controller determines that the measurement angle of the specific joint is in the specific joint trajectory included in the known trajectory corresponding to the specified known time series data. The actuator is controlled so as to follow. The follow-up control may employ a control law based on classical control theory or a control law based on modern control theory. Here, the auxiliary start timing is preferably substantially equal to the intermediate timing.
本明細書が開示する新規な動作補助装置は、先行タイムスパンを予め設定し、その先行タイムスパンの間に人の関節にトルクを加えずにセンサによってn個の関節の角度の時系列データによって構成されるn次元計測軌道を取得する。計測軌道を取得している期間は、人の特定関節にトルクが加えられない。逆に言えば、先行タイムスパンは、人が装置の補助なしに目的の動作を継続することができる期間に予め設定される。そのため、先行タイムスパンの間は、動作補助がなくとも人はスムーズに動作を行うことができる。そのような構成によって、上記第1の要因を抑制する。 The novel motion assisting device disclosed in the present specification sets a preceding time span in advance, and by applying time series data of n joint angles by a sensor without applying torque to a human joint during the preceding time span. Obtain a configured n-dimensional measurement trajectory. During the period when the measurement trajectory is acquired, no torque is applied to the specific joint of the person. In other words, the preceding time span is set in advance to a period in which a person can continue the intended operation without assistance from the device. Therefore, during the preceding time span, a person can operate smoothly without assistance. With such a configuration, the first factor is suppressed.
さらに本明細書が開示する動作補助装置は、複数のn次元既知軌道ベクトルの中から計測軌道に最も近い既知軌道を特定する。特定の際、コントローラは、n次元の既知軌道とn次元の計測軌道を直接に比較するのではなく、既知軌道と計測軌道の夫々をn次元を低次元化したs(n>s)次元の目的変数ベクトルの時系列データ同士で比較する。 Furthermore, the motion assisting device disclosed in this specification specifies a known trajectory closest to the measurement trajectory from among a plurality of n-dimensional known trajectory vectors. At the time of identification, the controller does not directly compare the n-dimensional known trajectory and the n-dimensional measurement trajectory, but instead of each of the known trajectory and the measurement trajectory, the s (n> s) dimension obtained by reducing the n-dimensionality Compare the time series data of the objective variable vectors.
記憶された既知時系列データや計測時系列データは、動作パターンを表す関節の数nよりも低次元でありながら、n個の関節の全体の動きを反映している。従って、動作パターンの相違に応じて夫々の既知時系列データが描く軌跡が異なる。ここで、「既知時系列データが描く軌跡」とは、s次元空間においてs次元目的変数ベクトルの既知時系列データが時間の経過とともに描く軌跡である。 The stored known time-series data and measured time-series data reflect the overall movement of the n joints while having a lower dimension than the number n of joints representing the motion pattern. Therefore, the locus drawn by each known time-series data differs depending on the difference in operation pattern. Here, the “trajectory drawn by the known time series data” is a trajectory drawn by the known time series data of the s-dimensional objective variable vector over time in the s-dimensional space.
上記の動作補助装置によれば、低次元化された変数を用いて比較が行われるので、n個の関節の角度の時系列データの局所的な変動が比較結果に与える影響を抑制することができ、大局的な振る舞いが計測軌道に最も似ている既知軌道が選択される。そのような構成は、n次元の個々の関節角を比較する必要がなく、前述した第2の要因の影響を抑制することができる。 According to the motion assisting device described above, since the comparison is performed using the reduced-order variable, it is possible to suppress the influence of the local variation of the time series data of the n joint angles on the comparison result. A known trajectory is selected that has a global behavior that most closely resembles the measurement trajectory. In such a configuration, it is not necessary to compare individual joint angles of n dimensions, and the influence of the second factor described above can be suppressed.
コントローラは、計測時系列データと特定された既知時系列データとの差が閾値よりも大きい場合に、追従制御をキャンセルすることが好ましい。計測時系列データと特定された既知時系列データとの差が閾値よりも大きい場合とは、同じタイミングにおける既知軌道上の値と計測軌道上の値との差が大きいことを意味する。即ち、そのような構成は、特定関節の計測角度と既知軌道に含まれる特定関節の目標値が大きく異なる場合に特定関節が大きく動かされてしまうことを防止する。なお、計測角度とは、センサによって計測された関節角度を意味する。 The controller preferably cancels the follow-up control when the difference between the measured time series data and the identified known time series data is greater than a threshold value. The case where the difference between the measured time series data and the identified known time series data is larger than the threshold value means that the difference between the value on the known trajectory and the value on the measurement trajectory at the same timing is large. That is, such a configuration prevents the specific joint from being largely moved when the measurement angle of the specific joint and the target value of the specific joint included in the known trajectory are greatly different. The measurement angle means a joint angle measured by a sensor.
本発明によれば、人が行っている動作のパターンを適切に推定し、推定した動作パターンに基づいて人の関節に適切なトルクを付与することのできる動作補助装置を実現することができる。 ADVANTAGE OF THE INVENTION According to this invention, the operation | movement assistance apparatus which can estimate appropriately the pattern of the operation | movement which the person is performing, and can provide an appropriate torque to a human joint based on the estimated operation pattern is realizable.
図面を参照して実施例の動作補助装置100を説明する。本実施例では、ユーザは左膝関節を自由に動かすことができないと仮定する。本実施例の動作補助装置100は、ユーザの左膝関節に適切なトルクを加えてユーザの歩行動作を補助する装置である。以下では、動作補助装置100が補助の対象とする左膝関節を特定関節と称することがある。図1に、ユーザが装着した状態の動作補助装置100の模式図を示す。図1(A)は正面図を示し、図1(B)は側面図を示す。
An
動作補助装置100は、ユーザの左脚に沿って装着される脚装具12と、コントローラ40を備えている。脚装具12は、支持リンク30によってユーザの腰に固定されている。
The
脚装具12を詳しく説明する。脚装具12は、ユーザの大腿部から下腿部に沿って左脚の外側に装着される。脚装具12は、上部リンク14L、下部リンク16L、及び足底リンク18Lを有する多リンク機構を有する。上部リンク14Lの上端が腰ジョイント20aLを介して支持リンク30に揺動可能に連結されている。下部リンク16Lは、膝の外側に位置する膝ジョイント20bLによって、上部リンク14Lに揺動可能に連結されている。足底リンク18Lは、ユーザの足首の外側に位置する足首ジョイント20cLによって、下部リンク16Lに揺動可能に連結されている。上部リンク14Lは、ベルトでユーザの大腿部に固定される。下部リンク16Lは、ベルトでユーザの下腿部に固定される。足底リンク18Lは、ベルトでユーザの足底に固定される。足底リンク18Lを固定するベルトは、図示を省略している。支持リンク30は、ユーザの体幹(腰)に固定される。
The
ユーザが脚装具12を装着すると、腰ジョイント20aL、膝ジョイント20bL、及び、足首ジョイント20cLは夫々、ユーザの股関節のピッチ軸、膝関節のピッチ軸、及び、足首関節のピッチ軸と同軸に位置する。脚装具12Lの各リンクは、ユーザの左脚の動きに応じて揺動することができる。各ジョイントには、ジョイントの角度(リンク間の角度)を計測するためのエンコーダ21が取り付けられている。腰ジョイント20aLのエンコーダ21は、ユーザの左脚股関節の角度を計測する。膝ジョイント20bLのエンコーダ21は、ユーザの左膝関節の角度を計測する。足首ジョイント20cLのエンコーダ21は、ユーザの左足首関節の角度を計測する。以下では、各ジョイントに取り付けられているエンコーダ群21を脚センサ21と総称することがある。脚装具12が有する脚センサ21は、ユーザの関節の角度を計測するセンサに相当する。
When the user wears the
膝ジョイント20bLには、モータ32(アクチュエータ)が取り付けられている。モータ32は、ユーザの膝関節の外側に位置する。モータ32は、上部リンク14Lと下部リンク16Lを相対的に揺動させることができる。即ちモータ32は、ユーザの左膝関節にトルクを加えることができる。また、モータ32はクラッチ33を備えている。クラッチ33を解放すると、モータ32から左膝関節へのトルク伝達経路が遮断される。別言すると、クラッチ33を解放すると、膝ジョイント20bLは揺動自在となる。クラッチ33を解放すると、ユーザは左膝関節を自由に揺動させることができる。
A motor 32 (actuator) is attached to the knee joint 20bL. The
符号40は、モータ32を制御するコントローラを示している。図2にコントローラ40のブロック図を示す。コントローラ40の構造を概説する。コントローラ40は、記憶モジュール52を内蔵しており、そこに種々のデータを記憶している。コントローラ40は、推定モジュール54とサーボコントローラ56を備えている。コントローラ40はハードウエアとしてCPUを備えており、推定モジュール54とサーボコントローラ56の機能はソフトウエアとCPUで実現される。
記憶モジュール52には、相互に異なる複数の既知軌道が記憶されている。既知軌道は、人の予め定められた動作に伴って実現されるn個の人の関節の角度の時系列データの集合である。記憶モジュール52は、さらに、各既知軌道のデータを変換関数にて変換した目的変数ベクトルの時系列データ(既知時系列データ)を夫々の既知軌道に対応付けて記憶している。既知軌道と、既知時系列データについては後に詳しく説明する。
The
推定モジュール54は、エンコーダ21(脚センサ)によって計測された関節角度の時系列データ(計測軌道)を、記憶モジュール52に記憶された既知軌道群の夫々と比較し、計測軌道に最も近い既知軌道を選択する。なお、選択の具体的な方法については後述する。選択された既知軌道はサーボコントローラ56へ出力される。サーボコントローラ56は、ユーザの左膝関節の計測角度が、既知軌道に含まれている膝関節の軌道に追従するようにモータ32を制御する。推定モジュール54によって、ユーザが行っている動作が推定され、推定された動作を実現するための既知軌道が選択される。サーボコントローラ56によって、ユーザの膝関節の計測角度が推定された動作(推定された既知軌道)に追従するようにモータ32が制御される。こうして、動作補助装置100は、ユーザが行っている動作を推定し、推定された動作を補助するように膝関節にトルクを加える。
The
記憶モジュール52に記憶されている既知軌道について説明する。既知軌道は、人の予め定められた歩行動作に伴って実現される3個の人の関節(股関節、膝関節、及び足首関節)の角度の時系列データの集合である。図3に、一つの既知軌道の例を示す。本実施例の既知軌道は、歩行の一周期のタイムスパンTSにわたる左脚の股関節、膝関節、及び足首関節の時系列データで構成されている。タイムスパンTSの始点をタイミングtAで表し、タイムスパンTSの終点をタイミングtCで表す。
The known trajectory stored in the
図3中の符号θhrは、既知軌道に含まれる股関節の時系列データを示す。符号θkrは、既知軌道に含まれる膝関節の時系列データを示す。符号θarは、既知軌道に含まれる足首関節の時系列データを示す。図3のグラフはそれぞれの関節角θhr、θkr、及びθarの経時変化を模式的に示しおり、関節角の現実のグラフとは異なる。タイミングtAは、歩行の1周期の始点に相当し、タイミングtCは、歩行の1周期の終点に相当する。即ち、各既知軌道は、歩行の1周期の開始タイミングtAから終了タイミングtCまでのタイムスパンTSにわたるデータを含んでいる。 A symbol θhr in FIG. 3 indicates time series data of the hip joint included in the known trajectory. A symbol θkr indicates time series data of the knee joint included in the known trajectory. The symbol θar indicates time series data of the ankle joint included in the known trajectory. The graph of FIG. 3 schematically shows changes with time of the joint angles θhr, θkr, and θar, and is different from the actual graph of the joint angles. Timing tA corresponds to the start point of one cycle of walking, and timing tC corresponds to the end point of one cycle of walking. That is, each known trajectory includes data over a time span TS from the start timing tA to the end timing tC of one cycle of walking.
記憶モジュール52は、相互に異なる複数の動作群の夫々についての既知軌道を記憶している。例えば、一つの既知軌道は、図3の既知軌道よりも歩幅の大きな歩行動作に伴って実現される関節角の時系列データ群を表し、他の一つの既知軌道は、図3の既知軌道よりも歩幅の小さな歩行動作に伴って実現される関節角の時系列データ群を表す。既知軌道は、予め用意されている。本実施例の説明では3種の既知軌道を例示したが、既知軌道の数はいくつでもよい。
The
記憶モジュール52は、各既知軌道のデータを変換関数にて変換した目的変数ベクトルの時系列データ(既知時系列データ)を既知軌道に対応付けて記憶している。変換関数について説明する。本実施例で用いる変換関数は、n個の関節の角度を説明変数として入力するとnより小さいs次元の目的変数ベクトルを出力する関数である。本実施例では、n=3であり、s=2である。夫々の既知軌道のデータは、左脚の股関節、膝関節、及び足首関節の3個の関節の角度の時系列データ(θhr(t)、θkr(t)、及びθar(t))で構成されている。変換関数は、それら3個の時系列データの各タイミングにおける値を説明変数として入力すると、2次元の目的変数ベクトルの既知時系列データ(Ar(t)、Br(t))を出力する関数である。本実施例で用いる変換関数を(数1)に示す。
The
(数1)は、3個の関節の角度の時系列データ(θhr(t)、θkr(t)、及びθar(t))から、主成分分析法によって2個の主成分の時系列データ(Ar(t)、Br(t))を得る式である。即ち、(数1)の目的変数ベクトルの既知時系列データAr(t)、Br(t)が主成分に相当する。(数1)において、a1、a2、a3、b1、b2、及び、b3は、主成分に対する各関節の重み係数であり、予め与えられる係数である。この変換関数によって得られる2次元の目的変数ベクトルの既知時系列データ(Ar(t)、Br(t))は、2次元でありながら、3個の説明変数、即ち、既知軌道の時系列データ(θhr(t)、θkr(t)、及びθar(t))の全体が示す特徴をよく反映している。記憶モジュール52は、既知軌道毎に上記(数1)で得られる目的変数ベクトルの既知時系列データを記憶している。
(Equation 1) is obtained from the time series data (θhr (t), θkr (t), and θar (t)) of the angles of the three joints using the principal component analysis method. Ar (t), Br (t)) is obtained. That is, the known time series data Ar (t) and Br (t) of the objective variable vector of (Equation 1) correspond to the main components. In (Equation 1), a1, a2, a3, b1, b2, and b3 are weight coefficients of each joint with respect to the principal component, and are coefficients given in advance. The known time-series data (Ar (t), Br (t)) of the two-dimensional objective variable vector obtained by this conversion function is two-dimensional, but three explanatory variables, that is, time-series data of known trajectories. The characteristics indicated by the whole of (θhr (t), θkr (t), and θar (t)) are well reflected. The
図4にコントローラ40が実行する処理のフローチャートを示す。コントローラ40は、歩行の1周期が始まる毎に図4のフローチャートの処理を開始する。即ち、コントローラ40は、歩行1周期の既知軌道の開始タイミングtAと終了タイミングtCを記憶しているとともに、経過時間を計測するタイマを有している。また、コントローラ40は、予め設定されている中間タイミングtBも記憶している。中間タイミングtBは、開始タイミングtAと終了タイミングtCの間に設定されている。別言すれば、中間タイミングtBは、終了タイミングtCよりも早いタイミングに設定されている。中間タイミングtBの用法は後に説明する。なお、開始タイミングtAが第1タイミングに相当し、終了タイミングtCが第2タイミングに相当する。また、以下では、開始タイミングtAから中間タイミングtBまでのタイムスパンTAを先行タイムスパンTAと称し、中間タイミングtBから終了タイミングtCまでのタイムスパンTBを後続タイムスパンTBと称する。
FIG. 4 shows a flowchart of processing executed by the
コントローラ40は、開始タイミングtAで図4の処理を開始すると、まずクラッチ33を解放し、モータ32と膝ジョイント20bLの間の動力伝達経路を遮断する(S2)。クラッチ33を解放することで、膝ジョイント20bLは回転自在となる。コントローラ40は開始時刻tAから中間タイミングtBまでの先行タイムスパンTAの間、クラッチ33の開放を維持する。このクラッチ33を解放する処理は、別言すれば、コントローラ40が、先行タイムスパンTAの間、左膝関節(特定関節)にトルクを加えないようにモータ32を制御することに相当する。
When the process of FIG. 4 is started at the start timing tA, the
コントローラ40は、処理開始とともにタイマをスタートさせ、開始タイミングtAからの経過時間が先行タイムスパンTAに到達するまで、エンコーダ21が計測する各関節の角度を取得する(S4、S6:YES)。以下、股関節の計測角度を符号θhs(t)で表す。同様に、膝関節の計測角度を符号θks(t)で表し、足首関節の計測角度を符号θas(t)で表す。股関節、膝関節、及び足首関節の計測角θhs(t)、θks(t)、及び、θas(t)の時系列データが計測軌道に相当する。
The
開始タイミングtAからの経過時間が先行タイムスパンTAに到達すると(S6:NO)、コントローラ40は、(数1)に示した変換関数に計測角度θhs(t)、θks(t)、及びθas(t)を入力して2次元の目的変数ベクトルの時系列データを算出する(S8)。計測角度θhs(t)、θks(t)、及びθas(t)を代入した変換関数を(数2)に示す。
When the elapsed time from the start timing tA reaches the preceding time span TA (S6: NO), the
(数2)は(数1)と同様に、3個の関節の計測角度の時系列データ(θhs(t)、θks(t)、及びθas(t))から、主成分分析法によって2次元の主成分の時系列データ(As(t)、Bs(t))を得る式である。(数2)で得られる主成分の時系列データ(As(t)、Bs(t))が計測時系列データに相当する。即ち、コントローラ40は、変換関数を用いて計測軌道のデータから計測時系列データを算出する。なお、前述したように、コントローラ40は、先行タイムスパンTAの間、ユーザの膝関節(特定関節)にトルクを加えないようにアクチュエータ(クラッチ)を制御しながら、エンコーダ21によって計測される股関節、膝関節、及び足首関節の角度の時系列データによって構成される3次元の計測軌道を取得する。
Similar to (Equation 1), (Equation 2) is two-dimensional by principal component analysis from time series data (θhs (t), θks (t), and θas (t)) of measurement angles of three joints. This is an equation for obtaining time series data (As (t), Bs (t)) of the main components. The time series data (As (t), Bs (t)) of the main component obtained by (Equation 2) corresponds to the measurement time series data. That is, the
次にコントローラ40は、先行タイムスパンTAの期間に亘って、既知時系列データと計測時系列データの差分Dを算出する(S10)。差分Dの算出式を(数3)に示す。
Next, the
(数3)で表される差分Dは、既知時系列データと計測時系列データの平均自乗誤差に相当する。コントローラ40は、記憶されている複数の既知時系列データのそれぞれについて、差分Dを算出する。次いでコントローラ40は、複数の差分Dの中から最小の差分Dを特定する。コントローラ40は、最小差分Dminの大きさを予め定められた閾値と比較する(S12)。閾値は実験などによって予め定められている。最小差分Dminが閾値よりも小さい場合(ステップS12:YES)、コントローラ40は、最小差分Dminに対応する既知時系列データ(最近既知時系列データ)を特定し、その最近時系列データに対応する既知軌道(最近既知軌道)を特定する(S14)。ステップS4〜S14の処理は、推定モジュール54が実行する。推定モジュール54は、選択した最近既知軌道を、サーボコントローラ56へ出力する。最近既知時系列データは、記憶されている複数の既知時系列データのうち、計測時系列データに最も近い既知時系列データに相当する。最近既知軌道は、記憶されている既知軌道のうち、計測軌道に最も近い既知軌道に相当する。最近既知軌道に記述されている後続タイムスパンTB以降の各関節角軌道が、中間タイミングtB以後のユーザの歩行パターンの推定値に相当する。
The difference D represented by (Expression 3) corresponds to the mean square error between the known time series data and the measured time series data. The
ここで、既知時系列データ(Ar(t)、Br(t))は、1歩行周期分のタイムスパンTSに亘るデータであるが、差分Dを算出するには開始タイミングtAから中間タイミングtBまでの先行タイムスパンTAの間の既知時系列データのみを用いていることに留意されたい。即ち、コントローラ40は、記憶されている各既知時系列データの先行タイムスパンにおけるデータを計測時系列データと比較し、計測時系列データに最も近い最近既知時系列データを特定する。
Here, the known time-series data (Ar (t), Br (t)) is data over the time span TS for one walking cycle. To calculate the difference D, from the start timing tA to the intermediate timing tB. Note that only known time series data during the previous time span TA is used. That is, the
推定モジュール54は、中間タイミングtBで最近既知軌道を出力する。推定モジュール54が出力した最近既知軌道は、一歩行周期のタイムスパンTAの終端時刻tBまでの時系列データを含んでいる。出力された最近既知軌道における中間タイミングtBから終了タイミングtCまでの後続タイムスパンTBにおける各関節角の時系列データが、これからユーザが実行しようとしている動作の推定値に相当する。
The
最近既知軌道を受けたサーボコントローラ56は、追従制御を開始する。なお、追従制御を開始するタイミングは、中間タイミングtB以降となる。最も好ましいのは、中間タイミングで追従制御を開始することである。
The
サーボコントローラ56は、追従制御の開始をユーザに知らせるメッセージを出力する。メッセージとは、音(ブザー音)でよいし、或いはユーザが視認できる範囲に設けられたライトを点灯すること(即ち光)であってもよい。メッセージを出力することによって、制御開始をユーザに知らせることができる。
The
追従制御の開始に際してサーボコントローラ56はまず、クラッチ33を係合し、モータトルクがユーザの膝関節に伝達できるよう準備する(S16)。次いでサーボコントローラ56は、膝関節の計測角θks(t)が、推定モジュール54が出力した最近既知軌道に含まれている膝関節(特定関節)の角度の軌道(時系列データ)θkr(t)に追従するようにモータ32を追従制御する(S20)。より詳しくは、サーボコントローラ56は、膝関節の計測角θks(t)が、最近既知軌道の後続タイムスパンTBにおける膝関節角の時系列データθkr(t)に追従するように、モータ32を追従制御する。サーボコントローラ56が出力するモータ指令トルクT(t)の算出式を(数4)に示す。
At the start of the follow-up control, the
(数4)において、係数Pは比例ゲインを表している。モータ指令トルクT(t)によってモータ32が駆動されると、膝関節の計測角θks(t)が目標値θkr(t)に追従するようにユーザの膝関節にトルクが加えられる。なお、(数4)は極めてシンプルな制御則を表している。(数4)に代えて、PD制御、PID制御、或いは、他のいかなるフィードバック追従制御則を採用してもよい。
In (Equation 4), the coefficient P represents a proportional gain. When the
サーボコントローラ56は、後続タイムスパンTBの間、追従制御を継続する(S22:YES、S20)。終了タイミングtCに到達すると、即ち、制御開始からの経過時間が後続タイムスパンTBに到達すると(S22:NO)、コントローラ40は、次の歩行周期のための補助に備え、図4のフローチャートの処理を再び開始する。
The
他方、ステップS12において最小差分Dminが閾値よりも大きい場合(ステップS12:NO)、サーボコントローラ56は追従制御をキャンセルする(S24)。このとき、コントローラ40は、モータ32のクラッチ33を解放し、ユーザの膝関節を自由にする。
On the other hand, when the minimum difference Dmin is larger than the threshold value in step S12 (step S12: NO), the
動作補助装置100の利点と留意点を説明する。動作補助装置100は、一歩行周期TSの先行タイムスパンTAにおける計測時系列データを、記憶している既知時系列データ群の夫々と比較し、現在のユーザの動作に最も近い最近既知時系列データを特定する。特定された最近時系列データに対応する既知軌道が、ユーザが行なっている動作の推定値に相当する。本実施例の場合、先行タイムスパンTAは、補助対象の脚が浮いている遊脚期間に設定されている。遊脚期間では負荷が小さいので、補助トルクを膝関節に加える必要がない。動作補助装置100は、補助トルクを加えない先行タイムスパンTAにおいて、ユーザの動作パターンを推定する。
The advantages and points to be noted of the
計測軌道に最も近い既知軌道を選定する際、実施例の動作補助装置は、n個(3個)の関節の角度時系列データ群の代わりに主成分分析に基づいてnより小さいs(2)次元に低次元化した目的変数ベクトルの時系列データを用いる。目的変数ベクトルは、元の軌道の次元よりも低次元化しているが、元の軌道の大局的な振る舞いを良く表している。そのような低次元化された時系列データを用いることによって、n次元の生の軌道(関節角の軌道)を用いる際に生じる局所的な計測角度データの変動の影響を抑制し、計測時系列データに近い既知時系列データを複数の既知時系列データの中から適切に特定することができる。 When selecting the known trajectory closest to the measurement trajectory, the motion assisting device of the embodiment uses s (2) smaller than n based on principal component analysis instead of the angle time-series data group of n (three) joints. Use time-series data of objective variable vectors with reduced dimensions. The objective variable vector has a lower dimension than that of the original trajectory, but well represents the global behavior of the original trajectory. By using such reduced time series data, the influence of local measurement angle data fluctuations when using an n-dimensional raw orbit (joint angle orbit) is suppressed, and the measurement time series is reduced. Known time series data close to the data can be appropriately identified from a plurality of known time series data.
サーボコントローラ56は、人の膝関節(特定関節)の計測角度が、選択された既知時系列データに対応する既知軌道に含まれる特定関節の角度の経時的変化に追従するようにモータ32を制御する。前述したように、計測角度のタイミングと記憶されている角度時系列データ上のタイミングの位置関係が特定されているので、各制御タイミングにおける特定関節の目標値も特定される。
The
実施例の動作補助装置は、ユーザの歩行動作を補助する装置である。本明細書が開示する新規な技術は、歩行動作を補助する装置だけでなく、腕の動作を補助する動作補助装置に適用することも可能である。例えば、本明細書が開示する技術は、工場の作業員が行う繰り返し作業を補助する動作補助装置に適用することも好適である。 The motion assisting device of the embodiment is a device that assists the user's walking motion. The novel technique disclosed in the present specification can be applied not only to a device that assists walking, but also to a motion assist device that assists the movement of an arm. For example, the technology disclosed in the present specification is also preferably applied to an operation assisting device that assists repetitive work performed by factory workers.
以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。 Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above. The technical elements described in this specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology exemplified in this specification or the drawings can achieve a plurality of objects at the same time, and has technical usefulness by achieving one of the objects.
12、12L、12R:脚装具
21:エンコーダ(脚センサ)
32:モータ(アクチュエータ)
33:クラッチ
40:コントローラ
52:記憶モジュール
54:推定モジュール
56:サーボコントローラ
100:動作補助装置
12, 12L, 12R: Leg brace 21: Encoder (leg sensor)
32: Motor (actuator)
33: Clutch 40: Controller 52: Storage module 54: Estimation module 56: Servo controller 100: Operation assist device
Claims (2)
人の予め定められた動作に伴って実現されるn個の関節の角度の第1タイミングから第2タイミングまでの既知軌道を複数の相互に異なる動作群の夫々について記憶しているとともに、n個の関節の角度を説明変数として入力するとnより小さいs次元の目的変数ベクトルを出力する主成分分析に基づく変換関数に、n次元の既知軌道の各時刻における値を入力して得られるs次元の目的変数ベクトルの既知時系列データ群を記憶している記憶モジュールと、
n個の人の関節の角度を計測するセンサと、
n個の人の関節のうちの特定関節にトルクを加えるアクチュエータを有する装具と、
アクチュエータを制御するコントローラと、を備えており、
コントローラが、
第1タイミングと、第2タイミングよりも早いタイミングに設定されている中間タイミングとの間の先行タイムスパンに、特定関節にトルクを加えないようにアクチュエータを制御しながら、センサによって計測されるn個の関節の角度の時系列データによって構成されるn次元の計測軌道を取得し、
前記変換関数に、n次元の計測軌道の各時刻における値を入力して得られるs次元の目的変数ベクトルの計測時系列データを算出し、
各既知時系列データの先行タイムスパンにおけるデータを計測時系列データと比較し、計測時系列データに最も近い既知時系列データを特定し、
中間タイミング以後に設定されている補助開始タイミング以降に、特定された既知時系列データに対応する既知軌道に含まれている特定関節の軌道に、特定関節の計測角度が追従するようにアクチュエータを追従制御することを特徴とする動作補助装置。 It is a movement assist device that assists human movement by applying torque to human joints,
The known trajectories from the first timing to the second timing of the n joint angles realized in accordance with a predetermined motion of a person are stored for each of a plurality of mutually different motion groups, and n When the angle of the joint is input as an explanatory variable, a transformation function based on principal component analysis that outputs an s-dimensional objective variable vector smaller than n is input to a value at each time of an n-dimensional known trajectory. A storage module storing a known time series data group of objective variable vectors;
a sensor for measuring the angle of n human joints;
a brace having an actuator for applying torque to a specific joint of n human joints;
A controller for controlling the actuator,
The controller
N measured by the sensor while controlling the actuator so that torque is not applied to the specific joint in the preceding time span between the first timing and the intermediate timing set earlier than the second timing To obtain an n-dimensional measurement trajectory composed of time-series data of the joint angles of
Calculating measurement time series data of an s-dimensional objective variable vector obtained by inputting a value at each time of an n-dimensional measurement trajectory into the conversion function;
Compare the data in the previous time span of each known time series data with the measured time series data, identify the known time series data closest to the measured time series data,
After the auxiliary start timing set after the intermediate timing, the actuator follows the specific joint trajectory included in the known trajectory corresponding to the specified known time-series data so that the measurement angle of the specific joint follows. A motion assisting device characterized by controlling.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009282076A JP5400595B2 (en) | 2009-12-11 | 2009-12-11 | Operation assistance device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009282076A JP5400595B2 (en) | 2009-12-11 | 2009-12-11 | Operation assistance device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011121152A true JP2011121152A (en) | 2011-06-23 |
JP5400595B2 JP5400595B2 (en) | 2014-01-29 |
Family
ID=44285583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009282076A Expired - Fee Related JP5400595B2 (en) | 2009-12-11 | 2009-12-11 | Operation assistance device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5400595B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011120786A (en) * | 2009-12-11 | 2011-06-23 | Toyota Motor Corp | Action estimating unit and action assisting device |
JP2013111379A (en) * | 2011-11-30 | 2013-06-10 | Dainippon Printing Co Ltd | Motion-assist device and program for motion assist control |
JP2013111378A (en) * | 2011-11-30 | 2013-06-10 | Dainippon Printing Co Ltd | Motion-assist device and program for motion assist control |
CN116922396A (en) * | 2023-09-07 | 2023-10-24 | 贵州航天控制技术有限公司 | Assistance control method for exoskeleton system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005111654A (en) * | 2003-09-19 | 2005-04-28 | Sony Corp | Robot device and walking control method for robot device |
WO2005046942A1 (en) * | 2003-11-13 | 2005-05-26 | Japan Science And Technology Agency | Robot drive method |
JP2011078611A (en) * | 2009-10-08 | 2011-04-21 | Toyota Motor Corp | Movement assisting device |
-
2009
- 2009-12-11 JP JP2009282076A patent/JP5400595B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005111654A (en) * | 2003-09-19 | 2005-04-28 | Sony Corp | Robot device and walking control method for robot device |
WO2005046942A1 (en) * | 2003-11-13 | 2005-05-26 | Japan Science And Technology Agency | Robot drive method |
JP2011078611A (en) * | 2009-10-08 | 2011-04-21 | Toyota Motor Corp | Movement assisting device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011120786A (en) * | 2009-12-11 | 2011-06-23 | Toyota Motor Corp | Action estimating unit and action assisting device |
JP2013111379A (en) * | 2011-11-30 | 2013-06-10 | Dainippon Printing Co Ltd | Motion-assist device and program for motion assist control |
JP2013111378A (en) * | 2011-11-30 | 2013-06-10 | Dainippon Printing Co Ltd | Motion-assist device and program for motion assist control |
CN116922396A (en) * | 2023-09-07 | 2023-10-24 | 贵州航天控制技术有限公司 | Assistance control method for exoskeleton system |
CN116922396B (en) * | 2023-09-07 | 2023-11-17 | 贵州航天控制技术有限公司 | Assistance control method for exoskeleton system |
Also Published As
Publication number | Publication date |
---|---|
JP5400595B2 (en) | 2014-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Han et al. | Time-delay estimation based computed torque control with robust adaptive RBF neural network compensator for a rehabilitation exoskeleton | |
Liu et al. | Impedance-controlled variable stiffness actuator for lower limb robot applications | |
Haidegger et al. | Cascade control for telerobotic systems serving space medicine | |
US20130158712A1 (en) | Walking robot and control method thereof | |
JP5330138B2 (en) | Reinforcement learning system | |
WO2013094747A1 (en) | Movement assistance device, and synchrony based control method for movement assistance device | |
JP5400595B2 (en) | Operation assistance device | |
Kamioka et al. | Simultaneous optimization of ZMP and footsteps based on the analytical solution of divergent component of motion | |
Tu et al. | A data-driven reinforcement learning solution framework for optimal and adaptive personalization of a hip exoskeleton | |
JP6947613B2 (en) | Power assist device | |
JP7054130B2 (en) | Motor learning support device and motor learning support method | |
JP5479875B2 (en) | Operation assistance device | |
Galinski et al. | Optimal design of an alignment-free two-DOF rehabilitation robot for the shoulder complex | |
JP2017102624A (en) | Control device | |
JP5267413B2 (en) | Operation assistance device | |
Asl et al. | Neural network-based bounded control of robotic exoskeletons without velocity measurements | |
JP2024502726A (en) | How to move an exoskeleton | |
Jimenez-Fabian et al. | Online reconfiguration of a variable-stiffness actuator | |
Schäffer et al. | Soft wrist exosuit actuated by fabric pneumatic artificial muscles | |
Al-Shuka et al. | On low-level control strategies of lower extremity exoskeletons with power augmentation | |
Agarwal et al. | Study of toe joints to enhance locomotion of humanoid robots | |
JP2017046977A (en) | Synchronization control method of robotic wear using neural oscillator, computer program for synchronization control, and robotic wear | |
US20220305640A1 (en) | Motion data generation system, motion data generation method, and motion data generation program of robot | |
Hengst | runswift walk2014 report robocup standard platform league | |
Orhan et al. | ExoRecovery: Push recovery with a lower-limb exoskeleton based on stepping strategy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131025 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |