JP2006061222A - Motion detector - Google Patents
Motion detector Download PDFInfo
- Publication number
- JP2006061222A JP2006061222A JP2004244421A JP2004244421A JP2006061222A JP 2006061222 A JP2006061222 A JP 2006061222A JP 2004244421 A JP2004244421 A JP 2004244421A JP 2004244421 A JP2004244421 A JP 2004244421A JP 2006061222 A JP2006061222 A JP 2006061222A
- Authority
- JP
- Japan
- Prior art keywords
- movement
- bright spot
- person
- bright
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Closed-Circuit Television Systems (AREA)
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
Abstract
Description
本発明は、動き検出装置に関し、特に対象物の位置に感度が依存せず、対象物の動きを正確に把握することができる動き検出装置に関するものである。 The present invention relates to a motion detection device, and more particularly to a motion detection device capable of accurately grasping the motion of an object without depending on the sensitivity of the position of the object.
空間内、例えば風呂場やトイレ等での対象物、例えば人物の動きを検出する動き検出装置として、従来から、動き検出センサが提案されている。代表的な例としては、ベッド上の就寝者にパターンを投影し、投影されたパターンを連続的に撮像した画像からパターンの移動量を算出することで、就寝者の呼吸を監視する動き検出装置があった。この装置では、例えば呼吸の有無を検出するばかりでなく、呼吸運動の増減やその量を計測・モニタリングすることが可能である(例えば、特許文献1参照。)。
しかしながら、以上のような従来の装置によれば、例えば、パターン上の測定点を対象領域の画面全体に渡って一定の密度でとれない場合、動き検出の密度が対象物の位置に依存してしまう可能性があった。例えば、2次元回折格子を用いて多くのスポットを格子状に投影した場合、中心に近い領域では、スポットの密度(スポットの間隔)はほぼ一定と見なせるが、中心から離れるにしたがってスポットの間隔が広くなり、一定とみなしたときの誤差が大きくなる。さらに、例えば、基線長を長くするためパターンの投影器を対象物の中心から外して設置した場合、パターンの投影が斜めに行われることになり、対象物でのスポットの密度(スポットの間隔)の変化が一層大きくなり、例えば、対象物が呼吸する物である場合、対象物の位置への呼吸信号の感度の依存が無視できなくなり、対象物の動きを正確に把握しがたいことがあった。 However, according to the conventional apparatus as described above, for example, when the measurement points on the pattern cannot be obtained at a constant density over the entire screen of the target area, the density of motion detection depends on the position of the target object. There was a possibility. For example, when many spots are projected in a lattice pattern using a two-dimensional diffraction grating, the spot density (spot spacing) can be regarded as almost constant in the region close to the center, but the spot spacing increases as the distance from the center increases. It becomes wider and the error when it is considered constant increases. Furthermore, for example, when the pattern projector is installed off the center of the object to increase the baseline length, the pattern is projected obliquely, and the spot density (spot spacing) on the object For example, if the object is a breathing object, the dependence of the sensitivity of the breathing signal on the position of the object cannot be ignored, and it may be difficult to accurately grasp the movement of the object. It was.
そこで本発明は、対象物の位置に感度が依存せず、対象物の動きを正確に把握することができる動き検出装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a motion detection device that can accurately grasp the motion of an object without depending on the position of the object.
上記目的を達成するために、請求項1に係る発明による動き検出装置は、例えば図4、図13に示すように、対象領域に複数の輝点を投影する投影装置11と;複数の輝点が投影された対象領域を撮像する撮像装置12と;撮像された像上の複数の輝点の移動に基づいて、対象領域に存在する対象物の動きを測定する測定手段14と;対象領域内の平面上で複数の輝点の隣り合う輝点の各間隔が等しくない場合に、対象物の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段24、24aとを備えるように構成される。
In order to achieve the above object, a motion detection apparatus according to a first aspect of the present invention includes, for example, a
このように構成すると、補正手段は、対象領域内の平面上で複数の輝点の隣り合う輝点の各間隔が等しくない場合に、対象物の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正するので、対象物の位置に感度が依存せず、対象物の動きを正確に把握することができる動き検出装置を提供することができる。 When configured in this way, the correcting means determines that the movement of the object is the bright spot or the area including the bright spot when the intervals between adjacent bright spots of the plurality of bright spots are not equal on the plane in the target area. Therefore, it is possible to provide a motion detection device that can accurately grasp the motion of the object without depending on the sensitivity of the position of the object.
また請求項2に記載のように、請求項1に記載の動き検出装置では、補正は、当該補正を行う輝点と隣り合う輝点との間隔の、基準とする間隔に対する割合を用いて行うように構成してもよい。
Further, as described in
このように構成すると、補正手段は、当該補正を行う輝点と隣り合う輝点との間隔の、基準とする間隔に対する割合から、対象領域の位置に応じた輝点の密度を算出することができ、輝点の密度を用いて対象物の動きを補正することができる。 With this configuration, the correction unit can calculate the density of the bright spot according to the position of the target region from the ratio of the distance between the bright spot to be corrected and the adjacent bright spot to the reference interval. And the movement of the object can be corrected using the density of bright spots.
また請求項3に記載のように、請求項1又は請求項2に記載の動き検出装置では、補正は、当該補正を行う対象物の動きに関する量を、対象領域内の面上であって当該補正を行う輝点を含む部分領域内の単位面積あたりの輝点の数で除することで行うように構成してもよい。
Further, as described in
このように構成すると、補正手段は、部分領域内の単位面積あたりの輝点の数を実測して対象領域の位置に応じた輝点の密度を算出することができるので、計算量を少なくすることができる。また、対象領域の凹凸等による不測の輝点の消失等の影響も軽減することができる。 If comprised in this way, the correction | amendment means can calculate the density of the bright spot according to the position of an object area | region by measuring the number of the bright spots per unit area in a partial area, and reduces calculation amount be able to. Further, it is possible to reduce the influence of unexpected disappearance of bright spots due to unevenness of the target area.
また請求項4に記載のように、請求項1乃至請求項3のいずれか1項に記載の動き検出装置では、測定結果に基づいて、動きの変動情報を生成する変動情報生成手段22を備えるように構成してもよい。
According to a fourth aspect of the present invention, the motion detection device according to any one of the first to third aspects includes a variation
このように構成すると、補正後の対象物の動きの変動情報を例えば医師等の診断の参考にすることができる。 If comprised in this way, the fluctuation | variation information of the motion of the target object after correction | amendment can be referred to diagnosis, such as a doctor.
また請求項5に記載のように、請求項1乃至請求項4のいずれか1項に記載の動き検出装置では、対象物は呼吸をするものであり;変動情報に基づいて、対象物の呼吸の状態を判定する呼吸判定手段23を備えるように構成してもよい。
Further, as described in claim 5, in the motion detection device according to any one of
このように構成すると、対象物の呼吸の状態を容易に把握することができる。また、例えば、睡眠時無呼吸症候群(SAS)や、その他の呼吸器疾患の診断に情報を利用することができる。 If comprised in this way, the state of breathing of a subject can be grasped easily. For example, information can be used for diagnosis of sleep apnea syndrome (SAS) and other respiratory diseases.
以上のように本発明によれば、対象領域に複数の輝点を投影する投影装置と、複数の輝点が投影された対象領域を撮像する撮像装置と、撮像された像上の複数の輝点の移動に基づいて、対象領域に存在する対象物の動きを測定する測定手段と、対象領域内の平面上で複数の輝点の隣り合う輝点の各間隔が等しくない場合に、対象物の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段とを備えるので、対象物の位置に感度が依存せず、対象物の動きを正確に把握することができる動き検出装置を提供することができる。 As described above, according to the present invention, a projection apparatus that projects a plurality of bright spots on a target area, an imaging apparatus that captures a target area on which a plurality of bright spots are projected, and a plurality of bright spots on the captured image. When the distance between adjacent bright spots of a plurality of bright spots on a plane in the target area is not equal to the measuring means that measures the movement of the target existing in the target area based on the movement of the points, the target Correction means for correcting the movement of the object according to the imaged position of the bright spot or the area including the bright spot, so that the sensitivity does not depend on the position of the target object, and the movement of the target object is accurately grasped. It is possible to provide a motion detection device that can
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。 Embodiments of the present invention will be described below with reference to the drawings. In addition, in each figure, the same code | symbol is attached | subjected to the mutually same or equivalent member, and the overlapping description is abbreviate | omitted.
図1は、本発明の第1の実施の形態に係る動き検出装置としての呼吸モニタ1の模式的外観図である。呼吸モニタ1は、対象領域を監視するように構成されている。呼吸モニタ1は、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサ、本実施の形態では、FGセンサ10と、FGセンサ10を制御する演算装置20とを含んで構成される。
FIG. 1 is a schematic external view of a
本実施の形態では、対象物は、典型的には呼吸をするものである。すなわち、対象物は、例えば人物や動物である。本実施の形態では、対象物は人物2として説明する。また対象物の高さ方向の動きは呼吸による動きである。すなわち、高さ方向の動きは人物2の呼吸による動きである。また本実施の形態では、対象領域はベッド3上である。さらに言えば、対象領域はベッド3上で後述の撮像装置12(図2参照)で撮像された領域である。また、FGセンサ10は、対象領域内の各測定点での高さも測定できるものでもある。
In the present embodiment, the object typically breathes. That is, the object is, for example, a person or an animal. In the present embodiment, the object is described as a
また、図中ベッド3上に、人物2が横たわって存在している。また、人物2の上には、さらに寝具4がかけられており、人物2の一部と、ベッド3の一部とを覆っている。この場合には、FGセンサ10は、寝具4の上面の高さ方向の動きを測定している。また寝具4を使用しない場合には、FGセンサ10は、人物2そのものの高さ方向の動きを測定する。
In addition, the
また、ベッド3の鉛直方向上方には、FGセンサ10が配置されている。FGセンサ10については後で詳述する。なお、図示では、FGセンサ10と演算装置20とは別体として示してあるが、一体に構成してもよい。このようにすると、呼吸モニタ1を小型化することができる。演算装置20は、典型的にはパソコン等のコンピュータである。
An
図2は、本発明の第1の実施の形態に係る呼吸モニタ1のFGセンサ10を説明するための模式的外観図である。FGセンサ10は、典型的には三角測量法を用いて人物2の高さ方向の動きを測定するように構成されている。FGセンサ10は、対象領域としてのベッド3にパターン光を投影する投影装置11と、パターン光が投影されたベッド3を撮像する撮像装置12と、撮像装置12により撮像された像上のパターンの移動を測定する測定手段としての測定装置14とを有している。さらに、測定装置14は、測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するように構成される。また、投影装置11と撮像装置12は、測定装置14に電気的に接続され、測定装置14に制御されている。なお、本実施の形態では、測定装置14は、演算装置20と一体に構成されている。
FIG. 2 is a schematic external view for explaining the
投影装置11の投影するパターン光は、典型的には輝点が配列されたものであり、複数の輝点である。すなわち、言い換えれば、投影装置11は、対象領域としてのベッド3に複数の輝点を投影し、撮像装置12は、複数の輝点が投影されたベッド3を撮像するように構成されている。
The pattern light projected by the
ここでは、投影されるパターン光は、図3で後述するような略正方格子状に配列された複数の輝点11bで形成されたパターン11aである。図中投影装置11は、ベッド3上にパターン11aを投影している。そして、ベッド3上に投影された複数の輝点は、ベッド3上の複数の測定点にそれぞれ対応する。すなわち各輝点の位置は測定点の位置である。さらに言えば、複数の測定点は人物2に投影された各輝点のうち撮像装置12で撮像された像の画角内に存在する輝点に対応する。測定点とは、後述するように人物2の高さ方向の動きを測定できる点である。なお、ここで高さ方向の動きとは、前回(後述する1つ前に取得した像、すなわち、N−1フレーム)の測定時からの対象物の高さの変化である。また、複数の点で測定された人物2の高さ方向の動きは、図6で後述する輝点の移動に対応する(なお動きの量は輝点の移動量に対応)。
以下、各構成について説明する。
Here, the pattern light to be projected is a
Each configuration will be described below.
まず、FGセンサ10の設置について説明する。投影装置11と、撮像装置12は、ベッド3の鉛直方向上方に配置されている。図示では、ベッド3のおよそ中央部上方に撮像装置12が、人物2のおよそ頭部上方に投影装置11が配置されている。ここでは、撮像装置12の画角は、およそベッド3の中央部分で、人物2の上半身を撮像できるように設定されいる。なお、投影装置11と撮像装置12の距離を基線長d(図5参照)という。基線長d(図5参照)は、三角測量法の基線方向の投影装置11と撮像装置12の間隔である。
First, installation of the
またFGセンサ10は、投影装置11と撮像装置12とを結ぶ直線の方向すなわち三角測量法の基線方向がベッド3の長手方向の中心線と平行になるように設置されている。さらに言えば、FGセンサ10は、FGセンサ10の基線方向とベッド3の長手方向の中心線が平行であり、且つ投影装置11と撮像装置12とを結ぶ基線がベッド3の長手方向の中心線のおよそ鉛直上方に位置するように配置されている。なおここでは基線方向は、ベッド3の長手方向の中心線と平行である場合で説明するが、例えばベッド3の長手方向の中心線と直交する方向としてもよい。この場合であっても人物2の動きの測定には支障ない。
The
ここで基線長d(図5参照)について説明する。ここでは、FGセンサ10は、図5で後述するように、パターンを形成する輝点の移動を測定するものである。この際に、例えば、対象物(ここでは人物2)の高さ又は高さ方向の動きが大きくなればなるほど、輝点の移動量も大きくなる。このため、図5で後述する概念によると、輝点の移動量が大きいと、比較すべき輝点の隣の輝点を飛び越してしまう現象が起こることがある。この場合、隣の輝点から移動したと判断され、測定される輝点の移動量は小さくなってしまうことがある。すなわち、正確に輝点の移動量を測定できない。基線長が短い場合には、輝点の移動量は小さく、上記の飛び越えが起こりにくいが、微小な動きに対してはノイズとの区別が難しくなる。また、基線長d(図5参照)が長い場合には、例えば対象物の僅かな動きであっても、輝点の移動量に大きく反映されるので、微小な高さ又は高さ方向の動きの測定することができるが、例えば大きな動きがあった場合に飛び越えが起きることがある。
Here, the baseline length d (see FIG. 5) will be described. Here, the
本実施の形態では、上述したように、ベッド3のおよそ中央部上方に撮像装置12が、人物2のおよそ頭部上方に投影装置11が配置され、投影装置11と撮像装置12とは、ある程度距離を離して設置される。すなわち、投影装置11は、人物2の中心からずれた位置(水平方向に対してベッド3の外側の位置)に配置される。
In the present embodiment, as described above, the
投影装置11は、図示のように、ここでは、その光軸(本実施の形態では、図3に示すレーザ光束L1の投射方向)を、ベッド3の上面の垂直方向に対して傾きを有するように設置する。このように構成することで、撮像装置12と投影装置11との距離を離して設置することが容易に行え、簡単に基線長d(図5参照)を長くすることができる。言い換えれば、三角測量法の基線長を長く取ることが容易に行え、基線長d(図5参照)が長くなるので、変化を敏感に検出できるようになる。
As shown in the figure, the
またここでは、撮像装置12は、その光軸をベッド3の上面の垂直方向に対し、およそ平行方向に設置される。すなわち、投影装置11の光軸は、撮像装置12の光軸に対して傾きを有して設置される。
Here, the
図3は、本発明の第1の実施の形態に係る呼吸モニタ1の投影装置11を説明する模式的斜視図である。本図を参照して、呼吸モニタ1に適した投影装置11について説明する。なおここでは、説明のために、対象領域を平面102とし、後述のレーザ光束L1を平面102に対して垂直に投射する場合で説明する。投影装置11は、可干渉性の光束を発生する光束発生手段としての光束発生部105と、ファイバーグレーティング120(以下、単にグレーティング120という)とを備えている。光束発生部105により投射される可干渉性の光束は、典型的には赤外光レーザである。光束発生部105は、平行光束を発生するように構成されている。光束発生部105は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束L1である。そしてレーザ光束L1は、断面が略円形あるいは略楕円形状の光束である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。
FIG. 3 is a schematic perspective view for explaining the
またここでは、グレーティング120は、平面102に平行に(Z軸に直角に)配置される。グレーティング120に、レーザ光L1を、Z軸方向に入射させる。するとレーザ光L1は、個々の光ファイバー121により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面102に複数の輝点アレイであるパターン11aが投影される。なお、グレーティング120を平面102に平行に配置するとは、例えば、グレーティング120を構成するFG素子122の各光ファイバー121の軸線を含む平面と、平面102とが平行になるように配置することである。
Further, here, the
また、グレーティング120は、2つのFG素子122を含んで構成される。本実施の形態では、各FG素子122の平面は、互いに平行である。以下、各FG素子122の平面を素子平面という。また、本実施の形態では、2つのFG素子122の光ファイバー121の軸線は、互いにほぼ直交している。
The grating 120 includes two
FG素子122は、例えば、直径が数10ミクロン、長さ10mm程度の光ファイバー121を数10〜数100本程度、平行にシート状に並べて構成したものである。また、2つのFG素子122は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、2つのFG素子122の互いの距離は、パターン11aの投影に差支えない程度とする。レーザ光束L1は、典型的には、グレーティング122の素子平面に対して垂直に入射させる。なお、ここではFG素子122を用いたグレーティング120で説明するが、これに限られずグレーティング120の代わりとして、例えば別の形態の回折素子やマイクロレンズアレイであってもよい。
The
このように、投影装置11は、2つのFG素子122を含んで構成されたグレーティング120により多くの光束を発生するので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに投影装置11は、グレーティング120を用いることで、単純な構成で、複数の輝点11bをパターン11aとして対象領域に投影でき、しかも、結像による投影と異なり、明瞭な輝点が得られる距離範囲が広い。なお、パターン11aは、典型的には正方格子状に配列された複数の輝点11bである。また、輝点11bの形状は楕円形を含む略円形である。
As described above, since the
図2に戻って説明する。撮像装置12は、結像光学系12a(図5参照)と撮像素子15(図5参照)を有するものである。撮像素子15は、典型的にはCCD撮像素子である。また、撮像素子15として、CCDの他にCMOS構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。
Returning to FIG. The
撮像装置12は、前述の光束発生部105(図3参照)により発生されるレーザ光束L1の波長の周辺部以外の波長の光を減光するフィルタ12b(図5参照)を備えるとよい。フィルタ12bは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系12aの光軸上に配置するとよい。このようにすると、撮像装置12は、撮像素子15に受光する光のうち、投影装置11より投影されたパターン11aの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部105により発生されるレーザ光束L1は、典型的には赤外光レーザの光束である。また、レーザ光L1は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置12による撮像を、照射のタイミングに同期させて行うようにする。
The
図4は、本発明の第1の実施の形態に係る呼吸モニタ1の構成例を示すブロック図である。本図を参照して、呼吸モニタ1の構成例について説明する。前述のように、演算装置20は、測定装置14と一体に構成されている。さらに言えば、測定装置14は、後述の制御部21に一体に構成される。そして投影装置11と、撮像装置12は、前述のように、測定装置14に電気的に接続されており、制御されている。本実施の形態では、演算装置20は、投影装置11と、撮像装置12に対し遠隔的に配置されている。具体的には、例えば、ベッド3の脇や、ベッド3が設置されている部屋とは別の部屋、例えばナースステーション等に設置される。
FIG. 4 is a block diagram showing a configuration example of the
まず測定装置14について説明する。測定装置14は、上述したように、撮像装置12で撮像された像上のパターンの移動を測定するものであり、さらに測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するものである。測定装置14は、撮像装置12で撮像した像を取得できるように構成されている。さらに測定装置14は、撮像装置12により撮像された像上の各輝点の移動を測定するように構成されている。なおここでは、投影された輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝点の移動を測定するとは、輝点の移動の量(以下移動量という)を測定することをいう。さらに、測定される輝点の移動量は、輝点の移動方向を含む概念である。すなわち、測定される輝点の移動量には、移動した方向の情報も含まれるものとする。
First, the measuring
ここで、測定装置14による輝点の移動の測定について詳述する。測定装置14は、撮像装置12から取得した異なる2時点の像に基づいて、輝点の移動を測定するように構成されている。
Here, the measurement of the movement of the bright spot by the measuring
ここで、異なる2時点の像に基づく、輝点の移動の測定について説明する。異なる2時点の像は、任意の時点とそのわずかに前の時点とするとよい。わずかに前とは、人物2の動きを検出するのに十分な時間間隔だけ前であればよい。この場合、人物2のわずかな動きも検出したいときは短く、例えば人物2の動きが大きくなり過ぎず、実質的にはほぼ動き無しとみなせる程度の時間、例えば0.1秒程度とすればよい。あるいはテレビ周期の1〜10周期(1/30〜1/3)とするとよい。また、人物2の大まかな動きを検出したいときは長く、例えば10秒程度としてもよい。但し、本実施の形態のように、人物2の呼吸も検出する場合では長くし過ぎると、正確な呼吸の検出が行えなくなるので、例えば1分などにするのは適切でない。以下、任意の時点(現在)で取得した像を取得像、取得像よりわずかに前(過去)に取得した像を参照像として説明する。なお、参照像は、記憶部31内に保存される。
Here, the measurement of the movement of the bright spot based on the images at two different time points will be described. The images at two different time points may be an arbitrary time point and a slightly previous time point. “Slightly before” only needs to be a time interval sufficient to detect the movement of the
さらに、本実施の形態では、異なる2時点の像は、取得像(Nフレーム)と、取得像の1つ前に取得した像(N−1フレーム)とする。すなわち参照像は、取得像の1つ前に取得した像である。また、像の取得間隔は、例えば装置の処理速度や、上述のように検出したい動きの内容により適宜決めるとよいが、例えば0.1〜3秒、好ましくは0.1〜0.5秒程度とするとよい。また、より短い時間間隔で像を取得し、平均化またはフィルタリングの処理を行うことで、例えばランダムノイズの影響を低減できるので有効である。 Further, in the present embodiment, the images at two different time points are an acquired image (N frame) and an image acquired immediately before the acquired image (N-1 frame). That is, the reference image is an image acquired immediately before the acquired image. The image acquisition interval may be appropriately determined depending on, for example, the processing speed of the apparatus and the content of the motion to be detected as described above. For example, the interval is 0.1 to 3 seconds, preferably about 0.1 to 0.5 seconds. It is good to do. In addition, it is effective to acquire images at shorter time intervals and perform averaging or filtering to reduce the influence of random noise, for example.
なお、任意の時点とそのわずかに前の時点の異なる2時点の像に基づく、輝点の移動の測定で得られる波形(例えば輝点の移動量の総和など)は、距離の微分波形、すなわち高さ変化の推移を表す波形になる。また例えば、高さ推移を表すような波形を得たいときは、前記波形を積分すれば距離の波形、すなわち高さ推移を示す波形になる。 It should be noted that a waveform obtained by measuring the movement of a bright spot (for example, the sum of bright spot movement amounts) based on an image at an arbitrary time point and two time points slightly different from the previous time point is a differential waveform of distance, It becomes a waveform showing the transition of the height change. For example, when it is desired to obtain a waveform representing the height transition, if the waveform is integrated, a distance waveform, that is, a waveform indicating the height transition is obtained.
ここで、取得像と参照像は、例えば撮像装置12により撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。すなわち、取得像と参照像は、各々の時点で、投影装置11の投影により形成されたパターン11aの像である。なお、本実施の形態では、参照像は、例えば、いわゆる像としてではなく、各輝点の位置に関する、座標等の位置情報の形で、記憶部31に保存される。なお、ここでの座標は例えば撮像装置12で撮像された画像内で設定されるものである。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定することができる。
Here, the acquired image and the reference image are images picked up by the
また、輝点の移動量は、前述のように、記憶部31に保存された参照像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお、それぞれの移動量は、例えば、輝点の位置が移動した画素数(何画素移動したか)を計数することで求められる。測定される輝点の移動量は、輝点の移動方向を含む概念である。すなわち、測定される輝点の移動量には、移動した方向の情報も含まれる。このようにすると、後述のように、差分像を生成しないで済むので処理を単純化できる。
Further, as described above, the moving amount of the bright spot is obtained by comparing the position information of each bright spot on the reference image stored in the
なお上記では、輝点の位置情報を比較する場合で説明したが、参照像と取得像との差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づいて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に残るので、処理量を減らすことができる。 In the above description, the position information of the bright spots is compared. However, a difference image between the reference image and the acquired image may be created. In this case, the movement amount of the bright spot is measured based on the position of the corresponding bright spot from the difference image. In this way, since only the moved bright spot remains on the difference image, the processing amount can be reduced.
さらに、測定装置14により測定された輝点の移動量は、過去一定回数測定された、または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上する。
Furthermore, the moving amount of the bright spot measured by the measuring
測定装置14は、以上のような、輝点の移動の測定を、パターン11aを形成する各輝点毎に行うように構成される。すなわち、複数の輝点の位置が複数の測定点となる。測定装置14は、パターン11aを形成する各輝点毎に測定した輝点の移動、すなわち、測定した輝点の移動量を測定結果として制御部21へ出力する。すなわち、測定結果は、異なる2時点の像に基づいて測定した輝点の移動量である。この測定結果は図5で後述するように、各輝点(測定点)での対象物、ここでは人物2の高さ方向の動きに対応している。以下、この測定結果を動き情報と呼ぶ。測定装置14は、各測定点での前記測定結果を動き情報として出力する。なお、人物2の高さ方向の動きは、例えば人物2の呼吸に伴う動きである。
The measuring
図5は、本発明の第1の実施の形態に係る呼吸モニタ1の輝点の移動の概念について説明する概念的斜視図である。ここで、本図を参照して、輝点の移動の概念について説明する。ここでは、判りやすく、対象領域を平面102、対象物を物体103として説明する。さらにここでは、説明のために、参照像は、物体103が平面102に存在しないときのパターン11aの像であり、取得像は、物体103が平面102に存在しているときのパターン11aとして説明する。
FIG. 5 is a conceptual perspective view for explaining the concept of bright spot movement of the
図中物体103が、平面102上に載置されている。またXY軸を平面102内に置くように、直交座標系XYZがとられており、物体103はXY座標系の第1象限に置かれている。一方、図中Z軸上で平面102の上方には、投影装置11と、撮像装置12とが配置されている。撮像装置12は、投影装置11によりパターン11aが投影された平面102を撮像する。すなわち、平面102上に載置された物体103を撮像する。
In the figure, an
撮像装置12の結像光学系としての結像レンズ12aは、ここでは、その光軸がZ軸に一致するように配置されている。そして、結像レンズ12aは、平面102あるいは物体103上のパターン11aの像を、撮像装置12の撮像素子15の受像面15’(イメージプレーン)に結像する。受像面15’は、典型的にはZ軸に直交する面である。さらに、受像面15’内にxy直交座標系をとり、Z軸が、xy座標系の原点を通るようにする。平面102から結像レンズ12aと等距離で、結像レンズ12aからY軸の負の方向に距離d(基線長d)だけ離れたところに、投影装置11が配置されている。物体103と平面102には、投影装置11により複数の輝点11bが形成するパターン11aが投影される。なお、y軸方向は、三角測量法の基線方向でもある。
Here, the
投影装置11により平面102に投影されたパターン11aは、物体103が存在する部分では、物体103に遮られ平面102には到達しない。ここで物体103が存在していれば、平面102上の点102aに投射されるべき輝点11bは、物体103上の点103aに投射される。輝点11bが点102aから点103aに移動したことにより、また結像レンズ12aと投影装置11とが距離d(基線長d)だけ離れているところから、受像面15’上では、点102a’(x,y)に結像すべきところが点103a’(x,y+δ)に結像する。すなわち、物体103が存在しない時点と物体103が存在する時点とは、輝点11bの像がy軸方向に距離δだけ移動することになる。
The
これは、例えば図6に示すように、撮像素子15の受像面15’に結像した輝点は、高さのある物体103により、δだけy軸方向に移動することになる。
For example, as shown in FIG. 6, the bright spot formed on the
このように、この輝点の移動量δを測定することにより、物体103上の点103aの位置が三次元的に特定できる。すなわち、例えば点103aの高さがわかる。このように、ある点が、物体103が存在しなければ受像面15’上に結像すべき点と、受像面15’上の実際の結像位置との差を測定することにより、物体103の高さの分布、言い換えれば三次元形状が測定できる。あるいは物体103の三次元座標が測定できる。また、輝点11bの対応関係が不明にならない程度に、パターン11aのピッチ、すなわち輝点11bのピッチを細かくすれば、物体103の高さの分布はそれだけ詳細に測定できることになる。
Thus, by measuring the movement amount δ of the bright spot, the position of the
以上のような概念に基づいて、測定装置14は、輝点の移動量を測定することで対象物の高さが測定できる。但しここでは、取得像と、取得像の1つ前に取得した像すなわち参照像に基づいて、高さ方向の動きを測定するので、輝点の移動量により高さの変化量を見ることになる。このため、例えば人物2の絶対的な高さは測定できなくなるが、人物2の高さ方向の変化を測定できるので、人物2の高さ方向の動きを測定する場合には好適であり、図7で説明する人物2の実際の高さ(絶対的な高さ)を演算しなくてもよいので、測定装置14での計算量が少なくて済む。
Based on the above concept, the measuring
なお、測定装置14は、以下で説明するように、測定された輝点の移動量に基づいて、人物2の実際の高さ変化量を演算することもできる。
Note that, as will be described below, the
図7は、本発明の第1の実施の形態に係る呼吸モニタ1の測定装置14による対象物の高さの演算について説明する線図である。なお、ここでは、図5と同様に、判りやすく、対象領域を平面102、対象物を物体103として説明する。さらに、説明のために、参照像は、物体103が平面102に存在しないときのパターン11a(図5参照)の像であり、取得像は、物体103が平面102に存在しているときのパターン11a(図5参照)として説明する。なお、ここでは、高さの変化を演算することも便宜上高さを演算するという。
FIG. 7 is a diagram for explaining the calculation of the height of the object by the measuring
本図は、撮像装置12、投影装置11、物体103、平面102との関係をX軸方向(図5参照)に見た側面図である。ここでは、物体103の高さがZ1である場合で説明する。投影装置11の中心(パターン光源の中心)と結像レンズ12aの中心とは、平面102に平行に距離dだけ離して配置されており、結像レンズ12aから受像面15’(撮像素子15)までの距離はl(エル)(結像レンズ12aの焦点とほぼ等しい)、結像レンズ12aから平面102までの距離はh、物体103の点103aの平面102からの高さはZ1である。物体103が平面102上に置かれた結果、受像面15’上の点102a’はδだけ離れた点103a’に移動したとする。
This figure is a side view of the relationship between the
図中結像レンズ12aの中心と点103aとを結ぶ線が平面102と交差する点を102a”とすれば、点102aと点102a”との距離Dは、三角形103a’−102a’−12aと三角形102a”−102a−12aとに注目すれば、D=δ・h/lであり、三角形12a−11−103aと三角形102a”−102a−103aに注目すれば、D=(d・Z1)/(h−Z1)である。この両式からZ1を求めると次式のようになる。
Z1=(h2・δ)/(d・l+h・δ) ………(1)
If the point where the line connecting the center of the
Z1 = (h 2 · δ) / (d · l + h · δ) (1)
以上のようにして、測定装置14は、物体103の高さを算出することができ、平面102が前回(N−1フレーム)の高さ、物体103が今回(Nフレーム)の高さと考えれば、この2時点間の実際の高さ変化量を算出することができる。この場合、測定装置14は、各測定点での対象物の高さ変化量を測定結果として制御部21へ出力する。この測定結果を高さ情報と呼ぶ。
As described above, the
なお、以下の本実施の形態の説明では、特に断りのない限り、図5、図6で前述したように、測定装置14は、輝点の移動量(輝点の移動の変化量)を測定することで人物2の高さ方向の動きを測定する場合で説明し、後述する補正手段としての第1の補正部24は、輝点の移動量又は後述する部分領域内の輝点の移動量の総和を補正することで、対象物の動きを補正したものとして説明する。なお、厳密に高さ変化量を求めるときは(1)式を用いるが、実際に(1)式のh・δの数値は、d・lの数値よりも充分に小さいので、Z1はδに比例するものとして扱うことができる。したがって、δをZ1の代わりに高さ変化量として用いることができる。また、高さ変化に伴い、測定点の物体面内位置も若干変化するが、本発明の動き検出の主旨に対しては特段の影響を与えない。
In the following description of the present embodiment, unless otherwise specified, as described above with reference to FIGS. 5 and 6, the measuring
なお、呼吸モニタ1は、FGセンサ10で測定された動きの量が閾値以下である測定点は、演算装置20による演算に使用しないように構成することができる。本実施の形態では、測定装置14で測定された動きの量が閾値以下である測定点のデータを演算装置20へ出力しないように構成されている。閾値は典型的には人物2の呼吸の動きより小さく設定する。具体的には、人物2の呼吸より小さな動き、さらに言えばこの小さな動きに対応する輝点の移動量より小さく設定する。これにより、呼吸より小さな動きが測定された測定点を無視することができる。このようにすることで、例えばノイズによる影響を効果的に排除することができる。なお呼吸の動きより小さい動きとは、呼吸による高さ方向の動きの範囲より小さい動きのことをいう。上述のように、ここでは輝点の移動量は輝点の移動の変化量、言い換えれば動きの速度を示しているので、呼吸より小さな動きとは、例えば呼吸による高さ方向の動きの速度の範囲が2〜40mm/s程度である場合に2mm/s以下の速度の動きのことをいう。すなわちこの場合閾値は2mm/sに設定するとよい。さらに言えば動きの速度の2mm/sに対応する輝点の移動量に設定する。例えば毎秒4回の画像取得を行っている場合には、輝点の移動量の閾値は、人物2の動きの量0.5mm(2mm/s÷4)に対応する輝点の移動量に設定する。
Note that the
また呼吸モニタ1は、FGセンサ10で測定された動きの周波数が閾値以上である測定点は、前記演算手段による演算に使用しないように構成するとよい。本実施の形態では、測定装置14で測定された動きの周波数が閾値以上である測定点のデータを演算装置20へ出力しないように構成されている。周波数の閾値は、例えば人物の呼吸の周波数より高い周波数、例えば毎分60サイクル程度に設定するとよい。ところで、大人の呼吸数は、毎分5〜30サイクル程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向があるので、これを考慮して上記周波数の閾値を設定するとよい。これにより、呼吸の周波数より高い周波数の動きが測定された測定点を無視することができる。このようにすることで、呼吸の動きに関係ない動き例えばノイズによる影響を効果的に排除することができる。
Further, the
図4に戻って、演算装置20について説明する。演算装置20は、呼吸モニタ1を制御する制御部21を備えている。さらに制御部21には、記憶部31が接続されている。記憶部31は、撮像装置12から取得した像を時系列的に記憶するようにするとよい。また記憶部31には算出された情報等のデータが記憶できる。
Returning to FIG. 4, the
制御部21には、例えば人物2の状態を示す情報を出力する情報出力手段としてのディスプレイ40が接続されている。ディスプレイ40は典型的にはLCDである。ディスプレイ40は、例えば後述の変動情報生成部22により生成される人物2の呼吸の波形パターンを表示することにより出力する。ディスプレイ40は、典型的には呼吸の波形パターンをリアルタイム表示する。リアルタイム表示するとは、例えば後述の変動情報生成部22により即時的に出力される人物2の呼吸の波形パターンを即時的に表示することである。なお、その場で情報を出力する必要のない場合には、ディスプレイ40を備える必要は特にない。
For example, a display 40 as information output means for outputting information indicating the state of the
また制御部21には、呼吸モニタ1を操作するための情報を入力する入力装置35が接続されている。入力装置35は例えばタッチパネル、キーボードあるいはマウスである。本図では、入力装置35は、演算装置20に外付けするものとして図示されているが、内蔵されていてもよい。また本実施の形態では、入力装置35を備える場合で説明するが、特に備えなくても問題ない。
The
さらに、制御部21内には、測定装置14の測定結果、すなわち動き情報に基づいて、人物2(図2参照)の高さ方向の動き、すなわち呼吸の動きの変動情報を生成する変動情報生成手段としての変動情報生成部22と、対象領域としてのベッド3(図2参照)内の平面上で複数の輝点11a(図2参照)の隣り合う輝点の各間隔が等しくない場合に、人物2の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段としての第1の補正部24とが備えられている。言い換えれば、演算装置20は変動情報生成部22と、第1の補正部24とを有している。なお、演算装置20は、さらに、変動情報生成部22によって生成される変動情報に基づいて、人物2の呼吸の状態を判定する呼吸判定手段としての呼吸判定部23を備えてもよい。本実施の形態では、呼吸判定部23を備える場合で説明する。
Furthermore, in the
変動情報生成部22は、測定装置14によって測定された測定点の輝点の移動量の総和を演算し、この総和を時間方向に並べて形成される変動情報としての人物2の呼吸の波形パターンを生成するものである。変動情報生成部22は、典型的には人物2の状態を示す変動情報としての人物2の呼吸の波形データをリアルタイム出力するように構成されている。リアルタイムに出力するとは、例えば撮像装置12により撮像された像毎に演算される輝点の移動量の総和を即時的に出力することである。さらに言えばこの場合には、この総和をリアルタイムに出力することで、変動情報生成部22は、時間方向に並べて形成される人物2の呼吸の波形パターンを生成することになる。さらに、変動情報生成部22は、生成した人物2の呼吸の波形パターンをディスプレイ40に出力するように構成されている。ディスプレイ40は、上述したように当該人物2の呼吸の波形パターンを表示する。これにより、当該人物2の呼吸の波形パターンを例えば医師の診断の参考にすることができる。
図8は、呼吸の波形パターンの例を示した図である。
The fluctuation
FIG. 8 is a diagram showing an example of a respiratory waveform pattern.
なお、変動情報生成部22は、測定装置14が高さ変化量を算出する場合には、人物2の体積変動量を算出するようにも構成されている。体積変動量は、測定装置14による測定結果としての高さ情報、すなわち、高さ変化量から算出することができる。この際には、例えば、高さ変化量の総和を体積変動量としてもよい。このように、体積変動量を算出することで、例えば、人物2の呼吸の際の実際の吸入量等を知ることができる。算出した体積変動量は、ディスプレイ40に表示したり、電子媒体等(例えばここでは記憶部31)に保存するようにすればよい。
Note that the fluctuation
呼吸判定部23は、変動情報生成部22によって生成された人物2の呼吸の波形パターンに基づいて、人物2の呼吸の状態を判定するように構成される。すなわち、呼吸判定部23は、測定装置14により複数の測定点で測定された動き情報、すなわち人物2の高さ方向の動きに基づいて、人物2の呼吸の状態を判定する。さらに、呼吸判定部23は、測定装置14によって測定された測定結果に基づいて、人物2の動きの種類を判定するようにも構成されている。
The
呼吸判定部23により判定される人物2の動きの種類は、典型的には呼吸、体動、動き無し(不動)、呼吸運動低下である。なお体動とは、人物2の体の動きであり、例えば立ったり座ったりといった動きの他、手足の動きや寝返り等を広く含む概念である。
The types of movement of the
また、呼吸判定部23は、変動情報生成部22により生成された呼吸の波形パターンの周期的変化の振幅と周期(周波数)の両方又はいずれか一方に所定の上限下限の閾値を設定し、この閾値と比較して呼吸か否かを判定し、呼吸を検出するようにしてもよい。周期の上限下限の閾値は、例えば人物の呼吸の周期を含む範囲、例えば、下限を毎分5サイクル、上限を毎分60サイクルに設定するとよい。ところで、大人の呼吸数は、毎分5〜30回程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向がある。また、振幅の上限下限の範囲は、人物2の呼吸の振幅に相当する輝点の移動量を含む範囲、例えば、上限を20mm程度、下限を1mm程度の人物2の高さ変化量に相当する輝点の移動量とするとよい。また、振幅や周期の変化等から人物2の状態の変化を検出、判定することもできる。
Further, the
さらに、呼吸判定部23は、呼吸数の検出を行うようにするとよい。呼吸数の検出は、例えば、動きが呼吸と判別された領域の輝点の移動量の総和の時間変化をフーリエ変換等のデータ処理を行うことで検出できる。
Furthermore, the
呼吸判定部23は、呼吸を検出すると、変動情報生成部22によって生成された人物2の呼吸の波形パターンに基づいて、人物2の呼吸の状態を判定するように構成される。呼吸判定部23は、典型的には、人物2の呼吸の状態が、正常な呼吸状態であるか異常な呼吸状態であるかを判定するように構成される。
The
呼吸判定部23はによる人物2の呼吸の状態の判定基準は、以下のようなことを考慮して、設定するようにするとよい。例えば、呼吸が検出されているときに、短時間に呼吸パターンの持つ周期が乱れた場合又は、呼吸パターンの持つ周期が急激に変化した場合には、例えば、自然気胸、気管支喘息などの肺疾患、うっ血性心不全などの心疾患、または、脳出血などの脳血管疾患であると推測できるので、異常な呼吸状態であると判定するように設定する。また、呼吸パターンの消失が続いた場合には、人物2の呼吸が停止したと推測できるので、異常な呼吸状態であると判定するように設定する。なお、短時間に呼吸パターンではなく人物2の体動が頻出した場合には、人物2が何らかの理由で苦しんで暴れているような状況が推測できるので、危険な状態であると判定するように設定するとよい。
The determination criterion of the breathing state of the
図9は、正常及び異常な呼吸の波形パターンの一例について示した概要図である。正常な呼吸パターンは、図9(a)に示したような、周期的なパターンである。但し、大人の場合には、1分間の呼吸数として正常な範囲は、10〜20回程度である。異常な呼吸パターンは、例えば、チェーン−ストークス(Cheyne−Stokes)呼吸、中枢性過換気、失調性呼吸、カスマウル(Kussmul)の大呼吸など、生理学的に体内に障害が発生している場合に生じると考えられている呼吸パターンである。図9(b)に、Cheyne−Stokes呼吸の呼吸パターンを、図9(c)に中枢性過換気の呼吸パターンを、図9(d)に失調性呼吸の呼吸パターンをそれぞれ示す。さらに、図10は、異常な呼吸の波形パターンに対応する病名または疾患箇所の表を示した図であり、上記の異常な呼吸パターンが発生した場合の、病名または疾患箇所について示す。 FIG. 9 is a schematic diagram showing an example of a waveform pattern of normal and abnormal breathing. The normal breathing pattern is a periodic pattern as shown in FIG. However, in the case of adults, the normal range for the respiratory rate per minute is about 10 to 20 times. Abnormal breathing patterns occur, for example, when there is a physiological disorder in the body, such as Cheyne-Stokes breathing, central hyperventilation, ataxic breathing, or Kussmul's breathing. It is a breathing pattern that is considered. FIG. 9B shows a respiratory pattern of Cheyne-Stokes respiration, FIG. 9C shows a respiratory pattern of central hyperventilation, and FIG. 9D shows a respiratory pattern of ataxic respiration. Furthermore, FIG. 10 is a diagram showing a table of disease names or disease locations corresponding to abnormal respiratory waveform patterns, and shows the disease names or disease locations when the above-described abnormal breath patterns occur.
呼吸判定部23は、それぞれの呼吸パターンの呼吸の周波数、出現回数、深浅が異なることを利用して、人物2の呼吸パターンが上記のいずれの呼吸パターンに属するかを判別し、異常な呼吸であるか否か、すなわち、人物2が危険な状態を判定するようにするとよい。また以上のような呼吸パターンを、記憶部31に保存しておくとよい。このようにすることで、これらのパターンと比較することで人物2の呼吸が正常であるか否かの判定が容易に行なえる。
The
また、上述したような呼吸判定部23による判定結果は、ディスプレイ40に表示するように構成される。呼吸判定部23は、判定結果を変動情報生成部22へ出力する。この場合には、変動情報生成部22は、人物2の呼吸の波形パターンとともに判定結果をディスプレイ40へ出力する。呼吸判定部23による判定結果がディスプレイ40に表示されることで、例えば測定者(医師等)は、人物2の異常を容易に認識することができる。
The determination result by the
ところで、上述した(1)によれば、FGセンサ10では、基線長d(図11参照)と対象物が存在する面までの距離h(図11参照)が一定なら、人物2の高さ方向の動きの検出感度は一定である。
By the way, according to (1) described above, in the
図11は、本発明の第1の実施の形態に係る呼吸モニタ1の高さ方向の動きの検出感度について説明する線図である。なお、ここでは、判りやすく説明するために、基準となる対象物の位置(対象物の表面の位置)を平面102、動きによって変化した後の対象物の位置(対象物の表面の位置)を平面104として説明する。基準となる対象物の位置は、例えばN−1フレームでの対象物の位置、動きによって変化した後の対象物の位置は、例えばNフレームでの対象物の位置である。さらに、説明のために、参照像は、対象物の表面の位置が平面102に存在したときのパターン11a(図5参照)の像であり、取得像は、対象物の表面の位置が平面104に存在したときのパターン11a(図5参照)として説明する。
FIG. 11 is a diagram for explaining the detection sensitivity of the motion in the height direction of the
三角測量法では、対象物の高さ方向の動きに対して、平面104上のABとCDの距離は等しくなる。すなわち、輝点の移動量は、基線長d(図11参照)と平面102までの距離h(図11参照)が一定で、対象物の高さ方向の動きの量、すなわち平面102と平面104との距離である高さ変化量Z1が一定であれば、輝点の位置が平面102上のどの位置であるかに拘わらず一定である。したがって、各輝点の移動量の総和により求められる呼吸信号、すなわち呼吸の波形パターンは、平面102での輝点の密度が一定なら、平面102のどの位置でも高さ方向の動きに対する感度は一定である。
In the triangulation method, the distance between AB and CD on the
しかしながら、基線長dをできるだけ長く取るために、本実施の形態のように、投影装置11が対象物の中心からずれた位置に配置されることがある。
However, in order to make the base line length d as long as possible, the
図12は、本発明の第1の実施の形態に係る呼吸モニタ1の投影装置11をその光軸が平面102の垂直方向に対して傾きを有するように設置した場合について説明する図であり、(a)は線図、(b)は平面102上の輝点についての模式図である。ここでは、図5と同様に、判りやすく、対象領域を平面102として説明する。
FIG. 12 is a diagram illustrating a case where the
(a)に示すように、投影装置11は、各光線を等角度α間隔で投影する。このため、平面102上の各輝点の間隔は投影装置11から離れる程広くなる。すなわち、各輝点の間隔は、y軸方向(基線方向)、x軸方向(基線方向に垂直な方向)、ともに投影装置11から離れる程広くなり、輝点密度が低くなる。その結果得られる輝点のパタ一ンの一例を(b)に示す。なお、投影装置11がその光軸が平面102の垂直方向に対して傾きを有するように設置されていない場合(すなわち、光軸が平面102に対して垂直になるように設置される場合)でも、各光線は等角度α間隔で投影されるため、実際には、投影装置11から離れる程、輝点密度は低くなる。しかしながら、この場合、位置による輝点間隔の差異は、極微少であるため無視しても問題はない。また、このような場合でも、投影装置11から離れた位置の対象物の動きを正確に測定したいときは、以下の説明と同様に補正をするとよい。例えば、1つの投影装置11を複数の対象領域、例えば、4つのベッド3の中央に、鉛直方向下方に向けて配置し、4個の撮像装置12をそれぞれ各ベッド3の真上に配置したような場合に適用することができる。
As shown to (a), the
(b)に示すように、各輝点の間隔が一様でなくなると、レンズの収差等を考えなければ、上述したように対象物(人物2)の高さ方向の動きの量(すなわち上述の高さ変化量)が同様であれば、受像面15’上での輝点移動量は一定であるものの、輝点密度が平面102上の位置によって異なる。このため、高さ方向の動きの量が同様であっても、対象物(人物2)の高さ方向の動きが存在している領域内の輝点移動量の総和を演算して得る呼吸の波形パターンは、当該領域の平面102上での位置により異なることとなる。したがって、呼吸の波形パターンの感度が平面102上の位置に依存することになる。
As shown in (b), if the intervals between the bright spots are not uniform, the amount of movement of the object (person 2) in the height direction as described above (ie, the above-described amount) (ie, the above-mentioned) If the height change amount is the same, the bright spot density on the
すなわち、例えば、高さ方向の動きの量が同様であり、高さ方向の動きが存在している平面102上の領域の範囲も同様であっても、当該範囲が、投影装置11の略鉛直下方に存在している場合と、投影装置11から離れた位置に存在している場合とでは、平面102上での輝点密度が異なるため、領域内に存在し、総和を取る輝点の数が異なり、呼吸の波形パターンの感度が異なることになる。
That is, for example, even if the amount of movement in the height direction is the same and the range of the region on the
そこで、本発明の第1の実施の形態に係る呼吸モニタ1の演算装置20は、上述したように、対象領域としてのベッド3(図2参照)内の平面上で複数の輝点11a(図2参照)の隣り合う輝点の各間隔が等しくない場合に、人物2の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段としての第1の補正部24(図4参照)を有する。
Therefore, as described above, the
本実施の形態では、第1の補正部24は、具体的には、輝点の移動量を補正して、高さ方向の動きを補正する。すなわち、前述のように、本実施の形態では、輝点の移動量と高さ変化量は比例すると考えられるため、輝点の移動量を補正することにより、結果的に高さ方向の動きも補正されたものとみることができるからである。なお、(1)式を用いて高さを求めてももちろん構わない。ただし、この場合は、対象物の凹凸が未知であれば、平均的なhの値を用いる等して、hの値を代入する必要がある。
In the present embodiment, the
また、ここでの補正は、典型的には、輝点密度(単位面積あたりの輝点の数)を用いて輝点の移動量を補正する。本実施の形態では、以下で説明するように、基準とする輝点間隔に対する当該移動量の補正を行う輝点と隣り合う輝点との間隔の割合を用いて行う。 In this correction, typically, the bright spot movement amount is corrected using the bright spot density (the number of bright spots per unit area). In the present embodiment, as will be described below, this is performed using the ratio of the interval between a bright spot for correcting the movement amount relative to the reference bright spot interval and the adjacent bright spot.
図12を続けて参照して第1の補正部24が行う補正について説明する。ここでは、上述したように、投影装置11は各光線を等角度α間隔で投影するものとする。まず、投影装置11の略鉛直方向下方の平面102上に投影される輝点を基準として、当該輝点とy軸方向(基線方向)に1番目に隣り合う輝点との間隔をΔy1、1番目に隣り合う輝点と2番目に隣り合う輝点との間隔をΔy2、n−1番目に隣り合う輝点とn番目に隣り合う輝点との間隔をΔynとすると、Δynは、次式(2)で求めることができる。
Δyn=h(tann・α−tan(n−1)・α) ………(2)
The correction performed by the
Δy n = h (tann · α−tan (n−1) · α) (2)
基準とする輝点とy軸方向(基線方向)に1番目に隣り合う輝点との間隔をΔy1は、投影装置11の略鉛直方向下方であることから各間隔の中で最も短く、y軸方向の伸び率が最も小さい。そこで、Δy1を基準となる間隔とする。
The distance between the reference bright spot and the bright spot first adjacent in the y-axis direction (baseline direction) is Δy 1 that is the lower part of the
n−1番目に隣り合う輝点とn番目に隣り合う輝点との間隔Δynのy軸方向の伸び率は、間隔Δy1を基準として、次式(3)で求めることができる。
y軸方向の伸び率=Δyn/Δy1
=(tann・α−tan(n−1)・α)/tanα ………(3)
The elongation rate in the y-axis direction of the interval Δy n between the (n−1) -th adjacent luminescent spot and the n-th adjacent luminescent spot can be obtained by the following equation (3) using the interval Δy 1 as a reference.
Elongation rate in the y-axis direction = Δy n / Δy 1
= (Tann · α-tan (n-1) · α) / tan α (3)
同様に、投影装置11の略鉛直方向下方の平面102上に投影される輝点を基準として、当該輝点とx軸方向(基線方向に垂直な方向)に1番目に隣り合う輝点との間隔をΔx1、1番目に隣り合う輝点と2番目に隣り合う輝点との間隔をΔx2、n’−1番目に隣り合う輝点とn’番目に隣り合う輝点との間隔をΔxn’とすると、Δxn’は、次式(4)で求めることができ、x軸方向の伸び率は、間隔Δx1を基準として、次式(5)で求めることができる。
Δxn’=h(tann’・α−tan(n’−1)・α) ………(4)
x軸方向の伸び率=Δxn’/Δx1
=(tann’・α−tan(n’−1)・α)/tanα ………(5)
Similarly, with the bright spot projected on the
Δx n ′ = h (tann ′ · α−tan (n′−1) · α) (4)
Elongation rate in the x-axis direction = Δx n ′ / Δx 1
= (Tann '· α-tan (n'-1) · α) / tanα (5)
次式(6)に示すように、(4)、(5)式で算出されるy軸方向の伸び率とx軸方向の伸び率との積(すなわち、面積の増加率)の逆数を取ることで、基準とする輝点からy軸方向にn番目、x軸方向にn’番目に隣り合う輝点位置での輝点密度が算出される。
輝点密度=1/(x軸方向の伸び率×y軸方向の伸び率) ………(6)
As shown in the following equation (6), the inverse of the product of the elongation rate in the y-axis direction and the elongation rate in the x-axis direction calculated by the equations (4) and (5) (that is, the area increase rate) is taken. Thus, the bright spot density at the bright spot position adjacent to the reference bright spot nth in the y-axis direction and n′th in the x-axis direction is calculated.
Bright spot density = 1 / (elongation rate in x-axis direction x elongation rate in y-axis direction) (6)
第1の補正部24は、以上のようにして各輝点毎に求められる輝点密度に基づいて、次式(7)に示すように、輝点移動量を補正して補正後の輝点移動量を算出する。
補正後の輝点移動量=輝点移動量/輝点密度
=輝点移動量×x軸方向の伸び率×y軸方向の伸び率 ………(7)
測定装置14によって測定される輝点の移動量を第1の補正部24により補正することで、結果的に測定装置14で測定される高さ方向の動きも補正される。なお、式(2)から式(6)までの演算は、一度、呼吸モニタ1を設置した後は、呼吸モニタ1をあまり動かさないのであれば、光学系のセッティングからあらかじめ演算しておき、演算して得た各輝点の輝点密度を記憶部31に格納して、第1の補正部24が式(7)の演算を行うときに、当該輝点密度を読み出すように構成しても良い。例えば、輝点密度は、輝点位置に対応したテーブルを予め作成しておき、記憶部31に格納しておけばよい。これにより、第1の補正部24による計算量を減らすことができる。また、対象領域を複数の部分領域に分割し、部分領域毎に平均的な補正値、すなわち輝点密度を求めておき、部分領域内での輝点の移動量の総和を部分領域毎の平均的な輝点密度で除し、さらにその値を全体の領域に渡って加算し、全体の呼吸波形を求めることもできる。
Based on the bright spot density obtained for each bright spot as described above, the
Bright spot movement after correction = Bright spot movement / Bright spot density
= Bright spot movement x x-axis direction elongation x y-axis direction elongation (7)
By correcting the moving amount of the bright spot measured by the measuring
上述した変動情報生成部22(図4参照)は、第1の補正部24によって補正された測定結果、すなわち、補正後の輝点移動量の総和を演算して、総和を時間方向に並べて形成される変動情報としての人物2の呼吸の波形パターンを生成する。
The variation information generation unit 22 (see FIG. 4) described above calculates the measurement results corrected by the
以上で説明した本発明の第1の実施の形態に係る呼吸モニタ1によれば、基線長を長くするため投影装置11を対象物の中心から外して設置し、各輝点間の間隔が一様でなくても、第1の補正部24が、測定装置14によって測定される輝点の移動量を補正することで、結果的に測定装置14で測定される高さ方向の動きも補正されるので、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる。すなわち、対象領域上の位置によらず感度が一定で正確な測定結果や呼吸の波形パターンを得ることができる。
According to the
また、対象領域を、例えば基線方向に分割して人物2の胸部と腹部の各領域の人物2の動きを区別して、閉塞型無呼吸や中枢型無呼吸の判定をしたり、慢性閉塞性肺疾患などによる呼吸運動の部位毎の評価をする場合にも、分割された領域毎、あるいは人物2の各部位に対応する領域毎で人物2の呼吸の波形パターンの感度が異なってしまうことがなく、人物2の状態を正確に把握することができる。
In addition, the target region is divided, for example, in the base line direction, and the movement of the
また、例えば、低感度、すなわち、基線長dの短いFGセンサをさらに備え、当該低感度のFGセンサによって高さ分布を求め、それによって高さ方向の動きを正確に求めるとともに、輝点の対象領域内での位置も正確に求めて位置依存性を補正する場合に比べて、比較的簡明な構成で、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる呼吸モニタとすることができる。
In addition, for example, an FG sensor having a low sensitivity, that is, a short baseline length d is further provided, and the height distribution is obtained by the low sensitivity FG sensor, thereby accurately obtaining the movement in the height direction, and the object of the bright spot. Compared to the case where the position in the region is accurately obtained and the position dependency is corrected, the sensitivity of the respiration waveform pattern of the
なお、以上で説明した本発明の第1の実施の形態に係る呼吸モニタ1は、上述した実施の形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。
The
また、以上の説明では、呼吸の波形パターンは、輝点の移動量の総和を演算して得るものとして説明したが、測定装置14が実際の人物2の高さ方向の動きの量、すなわち、図7で説明した高さ変化量を算出する場合には、当該高さ変化量の総和(すなわち、体積変化量)を演算して得ても良い。さらに、第1の補正部24は、測定装置14によって測定される輝点の移動量を輝点密度で除して補正することで、結果的に測定装置14で測定される高さ方向の動きが補正されるものとして説明したが、測定装置14が高さ変化量を算出する場合には、当該高さ変化量を輝点密度で除して補正してもよい。またさらに、このように補正した高さ変化量に基づいて、体積変動量を算出することで、より正確に人物2の体積変動を測定することができる。これは、呼吸のような微細な動きの量を測定するのに極めて有効である。
In the above description, the respiration waveform pattern has been described as being obtained by calculating the sum of the movement amounts of the bright spots. However, the
さらに、図13は、本発明の第2の実施の形態に係る動き検出装置として呼吸モニタ1aの構成例を示すブロック図である。基本的に第1の実施の形態で説明した呼吸モニタ1と略同様な構成であるが、第1の補正部24の代わりに第2の補正部24aを備えている点で異なる。なお、以下の説明では、FGセンサ10や演算装置20等、第1の実施の形態と共通する構成については、重複した説明はできるだけ省略する。
Furthermore, FIG. 13 is a block diagram showing a configuration example of a
第1の実施の形態で説明した呼吸モニタ1の第1の補正部24(図4参照)は、光学系のセッティングから理論的に予測される輝点位置から各輝点の輝点密度を求めて補正していたのに対して、本発明の第2の実施の形態に係る呼吸モニタ1aの第2の補正部24aは、補正を行う対象物の動きに関する量を、対象領域内の平面上であって当該補正を行う輝点を含む部分領域内の一定面積あたりの輝点の数を実測して、当該部分領域内の輝点の数、すなわち、当該部分領域内の輝点密度で除することで補正を行うように構成されている。
The first correction unit 24 (see FIG. 4) of the
具体的には、第2の補正部24aは、各輝点毎に、各輝点を中心に平面102全体の画素数、輝点間隔等に基づいて適切に設定した範囲の部分領域、例えば20×20pixel程度の範囲の部分領域を設定し、当該部分領域内で輝点を検索する。第2の補正部24aは、当該部分領域内の輝点の数、すなわち、当該部分領域内の輝点密度を算出する。第2の補正部24aは、当該各輝点毎の輝点密度に基づいて、上述した式(7)で、輝点移動量を補正して補正後の輝点移動量を算出する。このように構成することで、上述した式(2)から式(6)までの演算を省略することができるので、演算装置20による計算量を減らすことができる。また、また、対象領域の凹凸等、例えば、布団のしわなどによるによる不測の輝点の消失等の影響も軽減することができる。さらに、例えば、輝点の投影が等角度間隔ではなく、輝点の間隔がランダムに異なる場合でも、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる。すなわち、対象領域上の位置によらず感度が一定で正確な測定結果や呼吸の波形パターンを得ることができる。
Specifically, the
なお、第2の補正部24aは、各輝点毎に部分領域を区分するのではなく、対象領域である平面102全体を略均等に、例えば20×20pixel程度、あるいは40×40pixel程度の部分領域に、部分領域同士が重複しないように区分し、当該部分領域内で輝点を検索するように構成しても良い。この場合、輝点密度は部分領域内の各輝点に対して共通の輝点密度とすればよい。このように構成すると、第2の補正部24aが区分する部分領域の数が少なくなるので、第2の補正部24aによる計算量を減らすことができる。また、一度、呼吸モニタ1を設置した後は、呼吸モニタ1をあまり動かさないのであれば、目視等によりあらかじめ輝点密度を実測しておき、実測して得た各輝点の輝点密度を記憶部31に格納して、第2の補正部24aが式(7)の演算を行うときに、当該輝点密度を読み出すように構成しても良い。これにより、第2の補正部24aによる計算量を減らすことができる。
Note that the
1、1a 呼吸モニタ
2 人物
3 ベッド
10 FGセンサ
11 投影装置
11a パターン
11b 輝点
12 撮像装置
14 測定装置
20 演算装置
21 制御部
22 変動情報生成部
23 呼吸判定部
24 第1の補正部
24a 第2の補正部
40 ディスプレイ
102 平面
103 物体
105 光束発生部
120 グレーティング
121 光ファイバー
122 FG素子
DESCRIPTION OF
Claims (5)
前記複数の輝点が投影された対象領域を撮像する撮像装置と;
撮像された像上の前記複数の輝点の移動に基づいて、前記対象領域に存在する対象物の動きを測定する測定手段と;
前記対象領域内の平面上で前記複数の輝点の隣り合う輝点の各間隔が等しくない場合に、前記対象物の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段とを備える;
動き検出装置。 A projection device that projects a plurality of bright spots on a target area;
An imaging device for imaging a target area on which the plurality of bright spots are projected;
Measuring means for measuring movement of an object existing in the target area based on movement of the plurality of bright spots on the imaged image;
When the intervals between adjacent bright spots of the plurality of bright spots on the plane in the target area are not equal, the movement of the target is determined according to the imaged position of the bright spot or the area including the bright spot. Correction means for correcting
Motion detection device.
請求項1に記載の動き検出装置。 The correction is performed using a ratio of the interval between the bright spot to be corrected and the adjacent bright spot to the reference interval;
The motion detection device according to claim 1.
請求項1又は請求項2に記載の動き検出装置。 The correction is performed by dividing the amount related to the movement of the object to be corrected by the number of bright spots per unit area in a partial area on the surface in the target area and including the bright spot to be corrected. To do;
The motion detection apparatus according to claim 1 or 2.
請求項1乃至請求項3のいずれか1項に記載の動き検出装置。 Fluctuation information generating means for generating fluctuation information of the movement based on the measurement result;
The motion detection device according to any one of claims 1 to 3.
前記変動情報に基づいて、前記対象物の呼吸の状態を判定する呼吸判定手段を備える;
請求項1乃至請求項4のいずれか1項に記載の動き検出装置。 The object is breathing;
Respiration determining means for determining a respiration state of the object based on the variation information;
The motion detection device according to any one of claims 1 to 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004244421A JP4422580B2 (en) | 2004-08-24 | 2004-08-24 | Motion detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004244421A JP4422580B2 (en) | 2004-08-24 | 2004-08-24 | Motion detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006061222A true JP2006061222A (en) | 2006-03-09 |
JP4422580B2 JP4422580B2 (en) | 2010-02-24 |
Family
ID=36108207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004244421A Expired - Fee Related JP4422580B2 (en) | 2004-08-24 | 2004-08-24 | Motion detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4422580B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010252944A (en) * | 2009-04-23 | 2010-11-11 | Keijiro Yamamoto | Posture detector |
WO2012120729A1 (en) * | 2011-03-10 | 2012-09-13 | 三洋電機株式会社 | Information acquiring apparatus, and object detecting apparatus having information acquiring apparatus mounted therein |
WO2012124208A1 (en) * | 2011-03-16 | 2012-09-20 | 三洋電機株式会社 | Light-emitting device, information acquisition device, and object detection device mounted therewith |
WO2012132087A1 (en) * | 2011-03-25 | 2012-10-04 | 三洋電機株式会社 | Light receiving device, information acquiring device, and object detecting device having information acquiring device |
WO2012133081A1 (en) * | 2011-03-29 | 2012-10-04 | 三洋電機株式会社 | Object detection device and information acquisition device |
WO2012137674A1 (en) * | 2011-04-08 | 2012-10-11 | 三洋電機株式会社 | Information acquisition device, projection device, and object detection device |
WO2012137673A1 (en) * | 2011-04-05 | 2012-10-11 | 三洋電機株式会社 | Information acquisition device, projection device, and object detection device |
WO2012144339A1 (en) * | 2011-04-19 | 2012-10-26 | 三洋電機株式会社 | Information acquisition device and object detection device |
JP2014509213A (en) * | 2011-01-06 | 2014-04-17 | コーニンクレッカ フィリップス エヌ ヴェ | Barcode scanning device to determine the patient's physiological quantity |
WO2014108976A1 (en) * | 2013-01-10 | 2014-07-17 | 三洋電機株式会社 | Object detecting device |
WO2017138314A1 (en) * | 2016-02-10 | 2017-08-17 | 国立研究開発法人産業技術総合研究所 | Displacement measurement device, displacement measurement method, and program for same |
US10410062B2 (en) | 2015-08-10 | 2019-09-10 | Koninklijke Philips N.V. | Systems and methods for occupancy monitoring |
-
2004
- 2004-08-24 JP JP2004244421A patent/JP4422580B2/en not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010252944A (en) * | 2009-04-23 | 2010-11-11 | Keijiro Yamamoto | Posture detector |
JP4604124B2 (en) * | 2009-04-23 | 2010-12-22 | 圭治郎 山本 | Attitude detection device |
JP2014509213A (en) * | 2011-01-06 | 2014-04-17 | コーニンクレッカ フィリップス エヌ ヴェ | Barcode scanning device to determine the patient's physiological quantity |
WO2012120729A1 (en) * | 2011-03-10 | 2012-09-13 | 三洋電機株式会社 | Information acquiring apparatus, and object detecting apparatus having information acquiring apparatus mounted therein |
WO2012124208A1 (en) * | 2011-03-16 | 2012-09-20 | 三洋電機株式会社 | Light-emitting device, information acquisition device, and object detection device mounted therewith |
WO2012132087A1 (en) * | 2011-03-25 | 2012-10-04 | 三洋電機株式会社 | Light receiving device, information acquiring device, and object detecting device having information acquiring device |
CN102812414A (en) * | 2011-03-29 | 2012-12-05 | 三洋电机株式会社 | Object detecting device and information acquiring device |
JP5106710B2 (en) * | 2011-03-29 | 2012-12-26 | 三洋電機株式会社 | Object detection device and information acquisition device |
WO2012133081A1 (en) * | 2011-03-29 | 2012-10-04 | 三洋電機株式会社 | Object detection device and information acquisition device |
WO2012137673A1 (en) * | 2011-04-05 | 2012-10-11 | 三洋電機株式会社 | Information acquisition device, projection device, and object detection device |
JP5143312B2 (en) * | 2011-04-05 | 2013-02-13 | 三洋電機株式会社 | Information acquisition device, projection device, and object detection device |
CN102822623A (en) * | 2011-04-05 | 2012-12-12 | 三洋电机株式会社 | Information acquisition device, projection device, and object detection device |
WO2012137674A1 (en) * | 2011-04-08 | 2012-10-11 | 三洋電機株式会社 | Information acquisition device, projection device, and object detection device |
WO2012144339A1 (en) * | 2011-04-19 | 2012-10-26 | 三洋電機株式会社 | Information acquisition device and object detection device |
JP5138116B2 (en) * | 2011-04-19 | 2013-02-06 | 三洋電機株式会社 | Information acquisition device and object detection device |
WO2014108976A1 (en) * | 2013-01-10 | 2014-07-17 | 三洋電機株式会社 | Object detecting device |
US10410062B2 (en) | 2015-08-10 | 2019-09-10 | Koninklijke Philips N.V. | Systems and methods for occupancy monitoring |
WO2017138314A1 (en) * | 2016-02-10 | 2017-08-17 | 国立研究開発法人産業技術総合研究所 | Displacement measurement device, displacement measurement method, and program for same |
JP2017142185A (en) * | 2016-02-10 | 2017-08-17 | 国立研究開発法人産業技術総合研究所 | Displacement measuring device, displacement measuring method, and program thereof |
Also Published As
Publication number | Publication date |
---|---|
JP4422580B2 (en) | 2010-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3764949B2 (en) | Condition analysis device | |
JP3738291B2 (en) | 3D shape measuring device | |
JP3782815B2 (en) | Respiratory analyzer | |
JP4422580B2 (en) | Motion detection device | |
WO2004049109A2 (en) | Method and system for monitoring breathing activity of a subject | |
JP4703049B2 (en) | Monitoring device | |
JP3922694B2 (en) | Monitoring device | |
JP3710133B2 (en) | State analysis apparatus and state analysis method | |
JP3939224B2 (en) | Area monitoring device | |
JP2005253608A (en) | Condition analysis apparatus | |
JP3979238B2 (en) | In-space monitoring device | |
JP4372643B2 (en) | Motion detection device | |
Fekr et al. | Design of an e-health respiration and body posture monitoring system and its application for rib cage and abdomen synchrony analysis | |
JP2004093376A (en) | Height measuring apparatus and monitoring apparatus | |
JP4365699B2 (en) | Condition analysis device | |
JP2004037274A (en) | Height measuring apparatus and monitoring device | |
JP4588515B2 (en) | State analysis device and software program | |
JP2005000388A (en) | State transition displaying method and monitoring device | |
JP4230287B2 (en) | Motion detection device | |
JP4411361B2 (en) | Status transition monitor device and status transition display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4422580 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |