JP2016214937A - Measuring system and computer program - Google Patents
Measuring system and computer program Download PDFInfo
- Publication number
- JP2016214937A JP2016214937A JP2016172401A JP2016172401A JP2016214937A JP 2016214937 A JP2016214937 A JP 2016214937A JP 2016172401 A JP2016172401 A JP 2016172401A JP 2016172401 A JP2016172401 A JP 2016172401A JP 2016214937 A JP2016214937 A JP 2016214937A
- Authority
- JP
- Japan
- Prior art keywords
- reflection
- region
- subject
- reflection pattern
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。 The present invention relates to a technique for measuring a biological activity resulting from respiration, such as a subject's respiration rate, from a subject's video.
カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている(たとえば特許文献1および2)。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いたりすることによって特定される。
A technique is known in which a subject is photographed with a camera, a change in luminance value due to a biological reaction such as body movement or blood flow is detected from the moving image, and a biological activity such as a subject's respiratory rate or heart rate is measured ( For example,
特許文献1の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。
The respiratory monitoring device of
特許文献2の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。
The heart rate measuring device of
特許文献1の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値は大きく変動し得る。常に適切なしきい値を求める方法がないので、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。
In the respiratory monitoring device of
特許文献2の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献1と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応に起因した体動個所を特定できず、生体情報が正確に抽出できないことがある。
The heart rate measuring device of
また、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるので、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。 Also, if the subject's face is separated from the camera, the accuracy of acquiring the subject's biological information is reduced, so the subject's face must be imaged from a relatively short distance. As a result, a feeling of pressure is given to the subject, and there is a concern about the influence on the biological activity to be measured.
このように、従来の呼吸モニタリング装置および心拍数計測装置は、撮影環境の変化に対しロバストであるとは決して言えない。そのような生体活動の計測装置において、生体情報を正確に抽出するためには、生体反応に起因した体動個所を正しく特定することが求められる。 As described above, the conventional respiration monitoring device and the heart rate measuring device cannot be said to be robust against changes in the photographing environment. In such a biological activity measuring device, in order to accurately extract biological information, it is required to correctly identify a body movement location caused by a biological reaction.
本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システム(以下、単に「計測システム」と称する。)を提供する。 The present invention has been made to solve the above-described problems, and is a robust measurement system for life activity caused by respiration (hereinafter simply referred to as “measurement”). System ").
本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも1つを用いて、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定し、前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する。 A measurement system according to an embodiment of the present invention includes a light source that emits light, an imaging device that receives the light and generates a moving image, and an image processing circuit that measures a biological activity of a subject using the moving image. A retroreflecting material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region at a position where a body movement accompanying breathing of the subject occurs. When the light is emitted from the light source toward the subject, the imaging device receives reflected light reflected by the retroreflecting material at a plurality of times, and a plurality of time-series frame images. The image processing circuit receives the moving image from the imaging device, and uses at least one of a corner detection method and an edge detection method to generate a plurality of frame images. A coordinate position of the reflection pattern in at least one frame image is specified, a partial area is designated in each frame image based on the coordinate position of the reflection pattern, and the luminance of the partial area over the plurality of frame images Based on the change in value, the biological activity resulting from the breathing of the subject is measured.
ある実施形態において、前記画像処理回路は、前記コーナ検出法を用いて前記少なくとも1つのフレーム画像から複数のコーナを抽出し、前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する。 In one embodiment, the image processing circuit extracts a plurality of corners from the at least one frame image using the corner detection method, and is the same as the high reflection region obtained from an arbitrary combination of the plurality of corners. A plurality of candidate patterns that are candidates for the reflection pattern are extracted from among a plurality of patterns having the shape of at least one of the brightness value of the inner area of each candidate pattern and the brightness value of the outer area surrounding the inner area A feature amount is calculated based on a luminance value, and the reflection pattern is specified from the plurality of candidate patterns based on the feature amount.
ある実施形態において、前記画像処理回路は、前記エッジ検出法を用いて前記少なくとも1つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する。 In one embodiment, the image processing circuit extracts a plurality of edges from the at least one frame image using the edge detection method, and performs line detection by performing Hough transform on the image including the information on the plurality of edges. A plurality of candidate patterns that are candidates for the reflection pattern are extracted from a plurality of patterns having the same shape as the high reflection region, obtained from any combination of the detected plurality of straight lines, and each candidate pattern is extracted. A feature amount is calculated based on at least one luminance value of a luminance value of the inner region and a luminance value of the outer region surrounding the inner region, and the reflection pattern is selected from the plurality of candidate patterns based on the feature amount. Identify.
ある実施形態において、前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している。 In one embodiment, the reflection pattern includes a further low reflection area inside the high reflection area, and the high reflection area exists between the low reflection area and the further low reflection area.
ある実施形態において、前記計測システムは、前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する。 In one embodiment, the measurement system further includes a display device that displays a measurement result of life activity resulting from the breathing of the subject, and the display device displays the respiratory rate of the subject and the trend of the respiratory rate. A waveform to be displayed, the moving image, and system information representing the state of the measurement system are displayed, and a frame for specifying the reflection pattern and the partial region is displayed in the moving image.
本発明の一実施形態によれば、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。本計測システムにおいては、再帰性反射材は反射マーカとして機能する。そのため、本明細書では再帰性反射材を反射マーカと称する場合がある。 According to an embodiment of the present invention, by using a retroreflecting material having a specific reflection pattern and a specific image processing algorithm, robustness against the influence of the surrounding environment can be improved. In this measurement system, the retroreflective material functions as a reflective marker. For this reason, the retroreflective material may be referred to as a reflective marker in this specification.
本発明の実施形態による計測システムは、光を放射する光源と、光を受けて動画像を生成する撮像装置と、動画像を利用して被験体の生体活動を計測する画像処理回路とを備える。被験体の呼吸に伴う体動の発生位置に、相対的に反射率が高い高反射領域および高反射領域を囲む、相対的に反射率が低い低反射領域を含む反射パターンを有する再帰性反射材が配置される。光源から、被験体に向けて光が放射されたときにおいて、撮像装置は、再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成する。画像処理回路は、撮像装置から動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも1つを用いて、複数のフレーム画像のうち少なくとも1つにおける反射パターンの座標位置を特定し、反射パターンの座標位置に基づいて各フレーム画像内で部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて被験体の呼吸に起因する生体活動を計測する。 A measurement system according to an embodiment of the present invention includes a light source that emits light, an imaging device that receives light to generate a moving image, and an image processing circuit that measures the biological activity of the subject using the moving image. . A retroreflective material having a reflection pattern including a high reflection region having a relatively high reflectivity and a low reflection region having a relatively low reflectivity surrounding the high reflectivity region at a position where body movement accompanying breathing of the subject occurs. Is placed. When light is emitted from the light source toward the subject, the imaging device receives the reflected light reflected by the retroreflecting material at a plurality of times, and includes a plurality of time-series frame images. Generate an image. The image processing circuit receives a moving image from the imaging device, specifies the coordinate position of the reflection pattern in at least one of the plurality of frame images using at least one of the corner detection method and the edge detection method, and A partial area is designated in each frame image based on the coordinate position, and a biological activity resulting from the breathing of the subject is measured over a plurality of frame images based on a change in luminance value of the partial area.
この計測システムによると、周囲の環境の影響に対するロバスト性を向上させることができる。また、コーナ検出法およびエッジ検出法などの特定の画像処理アルゴリズムを利用することで、画像内の反射パターンの座標位置を特定する演算量を低減することができる。 According to this measurement system, robustness against the influence of the surrounding environment can be improved. Further, by using a specific image processing algorithm such as a corner detection method and an edge detection method, it is possible to reduce the amount of calculation for specifying the coordinate position of the reflection pattern in the image.
本明細書においては、主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。計測システムは、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形(呼吸波形に相当する波形であり、本明細書では「呼吸数のトレンド」と呼ぶ。)を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。計測システムは、その呼吸数および呼吸数のトレンドなどをディスプレイ上に表示することができる。 In this specification, an example in which the respiratory rate is mainly measured will be described. However, the respiratory rate is an example of a biological activity resulting from the subject's breathing, and other biological activities resulting from the subject's breathing may be measured. The measurement system measures the breathing motion of the subject, and derives a waveform resulting from breathing (a waveform corresponding to the breathing waveform, referred to as a “respiration rate trend” in this specification) from body motion due to breathing. Typically, other biological activities that can be evaluated using the waveform, for example, biological activities such as breathing depth, turbulence, apnea periods, frequency of occurrence of apnea periods, This is the category of the biological activity to be measured. The measurement system can display the respiration rate and the respiration rate trend on the display.
以下、添付の図面を参照しながら、本発明による計測システムおよび計測方法の実施形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態による計測システムおよび計測方法は、以下で例示するものに限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。 Hereinafter, embodiments of a measurement system and a measurement method according to the present invention will be described with reference to the accompanying drawings. In the following description, the same reference numerals are assigned to the same or similar components. Note that the measurement system and the measurement method according to the embodiment of the present invention are not limited to those exemplified below. For example, it is possible to combine one embodiment with another embodiment.
(第1の実施形態)
図1は、本実施形態による計測システム100の構成を模式的に示す。計測システム100は、カメラ10と、光源20と、情報処理装置30と、再帰性反射材40とを含む。図1には被験者1が示されているが、被験者1は計測システム100に含まれない。
(First embodiment)
FIG. 1 schematically shows a configuration of a
計測システム100は、被験者1の生体活動を観察するために利用される。本実施形態では、生体活動は被験者1の呼吸であるとし、計測システム100は所定時間内の呼吸数を計測する。なお、被験者1は人であるとして説明するが、人以外の動物であってもよい。観測対象としての動物(人を含む。)を総称して「被験体」と呼ぶことがある。
The
カメラ10は、CMOS(Complementary Metal Oxide Semiconductor)センサなどのイメージセンサおよび光学系を有する、いわゆる撮像装置であり、被験者1を撮影して動画像を生成する。カメラ10は、有線または無線で動画像のデータを情報処理装置30に送る。
The
光源20は光20aを放射する光源である。光は可視光であってもよく、不可視光(たとえば赤外光)であってもよい。本実施形態では、赤外光を例に挙げて説明する。以下では、光20aを「赤外光20a」と記述する。
The
カメラ10は、可視光領域の波長を遮る光学フィルタ(不図示)を装着していてもよい。その光学フィルタは、例えば赤外フィルタとも呼ばれる。光学フィルタは、光源20から放射され、再帰性反射材40において反射された赤外光は透過するが、可視光は遮断する。光学フィルタを設けることにより、赤外光以外の光、より具体的には可視光がカメラ10に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるので、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を効果的に低減できる。
The
情報処理装置30は、カメラ10から動画像を受け取り、特定の画像処理アルゴリズム、例えばコーナ検出法を用いて、フレーム画像内の反射パターンの座標位置を特定する。また、情報処理装置30は、複数のフレーム画像にわたって、所定の領域の輝度値の変化に基づいて被験体1の呼吸数を計測する。情報処理装置30の動作の詳細は後述する。
The
再帰性反射材40は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材40に入射する光の入射角と、再帰性反射材40によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。本実施形態では、光源20の光軸とカメラ10の光軸とを近接して配置させている。これにより、光源20から放射された赤外光20aは再帰性反射材40に反射され、その多くが赤外光20bとしてカメラ10に入射する。よって、カメラ10は十分な光量で被験者1を撮影することができる。例えば再帰性反射材40として、ガラスビーズを塗布した布を用いることができる。
The
なお、再帰性反射材40を設けることにより、再帰性反射材40に入射した外乱光21aは、反射光21bとしてその入射方向に反射される。反射光21bは実質的にカメラ10に入射しないので、カメラ10によって撮影される動画像は外乱光の影響を受けにくくなる。
By providing the
図2は、計測システム100の、主として情報処理装置30のハードウェア構成の例を示す。本実施形態では、情報処理装置30は、カメラ10とディスプレイ32とに接続されている。情報処理装置30は、カメラ10から、撮影された動画像のデータを受け取る。またディスプレイ32は、処理の結果である、被験者1の生体活動である呼吸の数の計測結果および呼吸数のトレンドなどを表示する。測定結果に基づいてカメラ10の撮影方向が適切でないと判断した場合には、情報処理装置30はディスプレイ32に警告を表示してもよい。
FIG. 2 shows an example of a hardware configuration of the
情報処理装置30は、CPU301と、ROM302と、RAM303と、ハードディスクドライブ(HDD)304と、インタフェース(I/F)305と、画像処理回路306とを有する。CPU301は情報処理装置30の動作を制御する。ROM302は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をCPU301または画像処理回路306に行わせるための命令群である。RAM303は、CPU301による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。HDD304は、カメラ10から受信した動画像のデータ、または計測された被験者1の呼吸数のデータを格納する記憶装置である。
The
I/F305は、情報処理装置30がカメラ10から動画像のデータを受け取るためのインタフェースである。情報処理装置30が有線のネットワーク経由で動画像のデータを受け取る場合には、I/F305はたとえばイーサネット(登録商標)端子であり得る。情報処理装置30が無線のネットワーク経由で動画像のデータを受け取る場合には、I/F305はたとえばWi−Fi(登録商標)規格に準拠した通信を行う送受信回路であり得る。またはI/F305は、有線の映像入力端子であってもよい。
The I /
画像処理回路306は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路306は、カメラ10から動画像を受け取り、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも1つにおける反射パターンの画像中の座標位置を特定する。画像処理回路306は、各フレーム画像の中から反射パターンの座標位置に基づいて部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。本明細書では、境界線によって区画される画像の領域を、画像の「部分領域」と呼ぶ。部分領域の詳細は後述する。
The
本実施形態ではCPU301とは別に画像処理回路306を設けているが、これは一例である。後述する画像処理回路306の処理を、CPU301が行ってもよい。
In this embodiment, the
図3を参照して、計測システム100の全体の動作を説明する。
The overall operation of the
図3は、計測システム100で行われる計測処理の手順を示している。この処理は主としてCPU301および/または画像処理回路306によって実行される。以下では、実行主体は画像処理回路306であるとして説明する。
FIG. 3 shows a procedure of measurement processing performed in the
〔再帰性反射材40の配置および動画像の取得:ステップS1〕
まず、観測者または被験者1が、被験者1の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材40を反射マーカとして配置する。光源20が赤外光で被験者1を照射すると、カメラ10は再帰性反射材40で反射された赤外光を受けて、被験者1の動画像を撮影する。
[Arrangement of
First, the observer or the
図4は、再帰性反射材40を装着した被験者1を撮影したフレーム画像102の例を示している。画像中央部の高輝度領域(白い領域)104が、再帰性反射材40からの反射光が検出された領域である。情報処理装置30は、その領域を反射マーカとして認識する。参考として、図5は、再帰性反射材40を装着しない被験者を撮影したフレーム画像106を示す。再帰性反射材40が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。図4および図5には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。境界線によって区画される画像の領域は、画像の「部分領域」である。部分領域のサイズは例えば16×16画素程度であり得る。この部分領域は、輝度値の演算を行う一まとまりの画素群を含む領域である。図4には、部分領域Pが例示されている。なお、部分領域Pの境界線は理解の便宜のため強調して表示されている。
FIG. 4 shows an example of a
図6は、反射マーカとして機能する再帰性反射材40の反射パターンの一例を示している。再帰性反射材40は、高反射領域200および高反射領域200を囲む低反射領域201を含む反射パターンを有している。高反射領域200の反射率は相対的に高く、低反射領域201の反射率は相対的に低い。なお、高反射領域200は図4に示される高輝度領域104に対応する。
FIG. 6 shows an example of a reflection pattern of the
高反射領域200の反射率と低反射領域201の反射率との差分が大きければ大きいほど境界付近のコントラストを高めることができるので、後述する特徴量を算出する上で好ましい。また、そのコントラストをより向上させる点では、赤外光を反射しない材料で低反射領域201を形成することがより好ましい。
The greater the difference between the reflectivity of the
図6に示す反射パターンの高反射領域200の形状は左側から三角形、長方形およびひし形である。このように、高反射領域200の形状は多角形であり得る。また、高反射領域200および低反射領域201を組み合わせることで、反射パターン全体の形状は、矩形などの多角形であり得る。以下では、三角形状の高反射領域200を含む反射パターンを用いる例を説明する。
The shape of the
〔体動検出:ステップS2〕
再び図3を参照する。このステップS2は任意に設けることができる。画像処理回路306は、複数のフレーム画像の間において2つのフレーム画像の輝度値の差分を取得し、その結果から体動があるかどうかを検出することができる。
[Body motion detection: Step S2]
Refer to FIG. 3 again. This step S2 can be arbitrarily provided. The
被験者1が寝返りを打ったとき、体動は非常に大きいので、高反射領域200の位置は各フレーム画像の間で大きく移動することになる。その場合、画像処理回路306は、そのフレーム画像では呼吸数の計測を行わないようにしても構わない。このステップは任意に設けることができる。
When the subject 1 turns over, the body movement is very large, and the position of the highly
〔反射パターンの座標位置を特定:ステップS3〕
画像処理回路306は、カメラ10から動画像を受け取り、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも1つにおける反射パターンの座標位置を特定する。反射パターンの座標位置は、例えば高反射領域200の各頂点、中心または重心の座標を意味する。
[Identify coordinate position of reflection pattern: Step S3]
The
まず、画像内の特定のパターンを認識する方法として、テンプレートを用いたパターンマッチング処理が一般的に知られ、多用されている。そのパターンマッチング処理によって、再帰性反射材40の座標位置を特定する場合の問題点を説明する。
First, a pattern matching process using a template is generally known and widely used as a method for recognizing a specific pattern in an image. A problem when the coordinate position of the
図7(a)〜(c)は、カメラ10の位置、画角または反射マーカの配置の仕方によって、カメラ10に映る反射マーカの見え方が異なる様子を示している。呼吸状態を正確に測定するためには、その反射マーカの位置を正確に検出することが求められる。しかしながら、生体活動の測定環境に応じて、カメラ10の位置および画角は異なり得る。また、測定環境は様々であり、カメラ10と被験者1との位置関係は必ずしも一定ではない。従って、図示されるように画像に映る反射マーカの見え方、つまり映像は測定環境に応じて異なる。そのため、反射マーカの座標位置を正確に特定することは容易ではない。また、光源として赤外光を用いた場合、赤外光の画像からは濃淡情報しか得られないので、反射マーカの座標位置を誤検出してしまう可能性がある。
FIGS. 7A to 7C show how the reflection marker reflected on the
例えば、画像処理回路306は、反射パターンを有する再帰性反射材40が用いられること、およびそのパターンの特徴を示す情報(つまり、テンプレート)を、ROM302に予め保持することができる。カメラ10が被験者1を撮影すると、画像処理回路306は、得られた動画像の各フレーム画像において、予め保持していたパターンの特徴を利用して各フレーム画像にパターンマッチング処理を行い、再帰性反射材40の位置を特定することができる。
For example, the
上述したように、映像が測定環境に応じて異なることを考慮すると、テンプレートを用いたパターンマッチング処理を行う場合、測定環境の全てに最適化されたテンプレートを準備しなければならない。しかしながら、すべてのテンプレートを用意することは現実的でなく不可能であると言える。また、必要十分なテンプレートを用意できたとしても、その数が増えるに従って、パターンマッチング処理の演算量は増加する。 As described above, in consideration of the fact that images differ depending on the measurement environment, when performing pattern matching processing using a template, a template optimized for all of the measurement environment must be prepared. However, it is impractical and impossible to prepare all templates. Even if necessary and sufficient templates can be prepared, the calculation amount of the pattern matching process increases as the number increases.
このように、パターンマッチング処理を行う場合、測定環境に対するロバスト性は決して高いとは言えない。そこで、本実施形態では、パターンマッチング処理に代えて、コーナ検出法を用いることでロバスト性を向上させ、また、演算量を低減させることができる。 Thus, when pattern matching processing is performed, it cannot be said that the robustness to the measurement environment is high. Therefore, in the present embodiment, robustness can be improved and the amount of calculation can be reduced by using a corner detection method instead of the pattern matching processing.
図8は、図3のフローチャートにおけるステップS3のより詳細な処理の手順を示している。反射パターンの形状が多角形であること、また、反射パターンは高反射領域200と低反射領域201とを含んでいることにより、反射パターンのコーナを正確に検出することが可能になる。
FIG. 8 shows a more detailed processing procedure of step S3 in the flowchart of FIG. Since the shape of the reflection pattern is a polygon and the reflection pattern includes the
(ステップS31)
まず、画像処理回路306は、カメラ10から得られる、赤外光に基づく動画像データをグレースケールの画像データに変換する。具体的に説明すると、画像処理回路306は、RGB信号をYUV変換する。この変換によりY信号に基づいて白黒の濃淡画像が得られるので、後述するコーナ検出法によるコーナ検出が容易になる。
(Step S31)
First, the
(ステップS32)
画像処理回路306は、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも1つの中のコーナを特徴量として検出する。例えば、コーナ検出法として、Harris法、KLT法、主曲率法などが知られており、本発明ではこれらを広く用いることができる。中でも、Harris法は、画素毎に行列を求めて、その行列からコーナらしさを計算する手法である。そのコーナらしさに基づいてコーナを特徴量として抽出できる。本実施形態では、このHarris法を用いる。
(Step S32)
The
図9は、被験者1の体動箇所に配置された三角形状の高反射領域200を含む反射パターンを有する反射マーカが映った画像においてコーナ検出法により抽出された複数のコーナを示している。抽出された複数のコーナには丸印を付している。図示する例では、50個のコーナがコーナ検出法により抽出されている。
FIG. 9 shows a plurality of corners extracted by a corner detection method in an image in which a reflection marker having a reflection pattern including a triangular
画像処理回路306は、複数のコーナの任意の組み合わせから得られる、高反射領域200と同一の形状を有する複数のパターンの中から、反射パターンの候補となる複数の候補パターンを抽出する。
The
図10は、図9に示される複数のコーナから3つを選択し、それらから得られる三角形の候補を示している。図11は、図9および図10に示される反射パターンの1つの候補を拡大して示している。3つのコーナを頂点し、直線AA’、BB’およびCC’から形成される三角形状の内側領域が各候補パターンの内側領域である。また、内側領域を囲むように矩形状の外側領域が設けられている。フレーム画像において、内側領域は高反射領域200に対応した領域であり、外側領域は、低反射領域201に対応した領域である。
FIG. 10 shows three candidate triangles obtained by selecting three from the plurality of corners shown in FIG. FIG. 11 shows an enlarged view of one candidate of the reflection pattern shown in FIGS. 9 and 10. A triangular inner region formed by the straight lines AA ′, BB ′, and CC ′ that apex the three corners is an inner region of each candidate pattern. A rectangular outer region is provided so as to surround the inner region. In the frame image, the inner area is an area corresponding to the
50個のコーナから任意に3つを選択する場合、50C3通りの組み合わせが存在する。しかし、反射パターンの高反射領域200の形状が三角形またはひし形であれば、2点のコーナを結ぶ線の組み合わせの候補を工夫によって減らすことができる。例えば再帰性反射材40を所定の角度に配置した場合、フレーム画像内の三角形状の領域を構成する各辺の角度とその所定の配置角度とに基づいて複数の候補パターンを抽出することができる。
When arbitrarily selecting three from 50 corners, there are 50 C 3 combinations. However, if the shape of the
図9および10に示されるように、三角形状の高反射領域200を含む反射マーカを、その1つの頂点が、図11に示す画像内のXY−平面座標においてY方向を向くように配置するとする。その場合、X軸を基準とした原点の周りの直線AA’の角度は、略0°超70°以下となる。直線AA’と同様に、X軸を基準とした原点の周りの直線BB’の角度は、略0°超70°以下となり、X軸を基準とした原点の周りの直線CC’の角度は、略−90°以上−70°以下、または略70°以上90°以下となる。このように、各直線の角度がこれらの範囲内にある三角形状のパターンを反射パターンの候補として特定することができる。
As shown in FIGS. 9 and 10, it is assumed that a reflection marker including a triangular
また、フレーム画像中において反射パターンが存在する場所を制限できれば、組み合わせの候補を絞ることができる。例えば、計測システム100が特定の使用環境のみで利用される場合、フレーム画像中において反射パターンは、被験者1の顔から胸付近に存在すること、または、フレーム画像の中心に存在することなどが予め予測できる。その場合には、反射パターンが存在する領域に絞って候補パターンを選択できる。
Further, if the places where the reflection pattern exists in the frame image can be restricted, the combination candidates can be narrowed down. For example, when the
図12は、三角形状の複数の候補パターンの各パターンにおける内側領域および外側領域のそれぞれの輝度値の平均をプロットしたグラフである。横軸は内側領域の輝度値の平均を示し、縦軸は外側領域の輝度値の平均を示している。高反射領域200に対応した候補パターンにおいては、その内側領域の輝度は高く、外側領域の輝度は低い。その結果、図12に示されるように、丸で囲んだ領域内に位置するグラフ上の点が、高反射領域200に対応した点である可能性が高いと言える。丸で囲んだ領域は、内側領域の輝度は高く、外側領域の輝度は低いパターンに対応した点を包含している領域である。従って、画像処理回路306は、その丸で囲んだ領域内の点に対応したパターンを、複数の候補パターンとして選択することができる。
FIG. 12 is a graph plotting the average of the brightness values of the inner and outer regions in each of a plurality of triangular candidate patterns. The horizontal axis represents the average of the luminance values in the inner area, and the vertical axis represents the average of the luminance values in the outer area. In the candidate pattern corresponding to the
(ステップS34)
画像処理回路306は、複数の候補パターンの各候補パターンの内側領域の輝度値および内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、複数の候補パターンの中から反射パターンを特徴量に基づいて特定する。つまり、画像処理回路306は、フレーム画像内の反射パターンの座標位置を検出する。
(Step S34)
The
図13は、三角形状の各候補パターンを拡大して示している。各候補パターンの外側領域は、各々が多角形状の内側領域の各辺にそれぞれ対応した複数の分割領域を含んでいてもよい。本実施形態では、反射パターンの高反射領域200に対応した領域は三角形状であり、図11に示すとおり辺AA’、BB’およびCC’を有している。各候補パターンの外側領域は、辺AA’に対応した第1の分割領域204A、辺BB’に対応した第2の分割領域204Bおよび辺CC’に対応した第3の分割領域204Cを含んでいる。内側領域および外側領域の組み合わせによって全体として矩形状の領域が形成されている。
FIG. 13 shows an enlarged view of each triangular candidate pattern. The outer area of each candidate pattern may include a plurality of divided areas each corresponding to each side of the polygonal inner area. In the present embodiment, the region corresponding to the
画像処理回路306は具体的に以下の特徴量を求めることができる。また、各特徴量を組み合わせて用いることもできる。
(1)各候補パターンの内側領域の輝度値の平均または分散
(2)各候補パターンの外側領域の輝度値の平均または分散
(3)各候補パターンの内側領域の輝度値の平均と外側領域の輝度値の平均との差分、または内側領域の輝度値の分散と外側領域の輝度値の分散との差分
(4)複数の分割領域から選択される2つの分割領域の各輝度値の平均または分散の差分
Specifically, the
(1) Average or variance of luminance values in the inner area of each candidate pattern (2) Average or variance of luminance values in the outer area of each candidate pattern (3) Average and luminance values of the inner area of each candidate pattern Difference from average of luminance values, or difference between variance of luminance values in inner area and luminance value in outer area (4) Average or variance of luminance values of two divided areas selected from a plurality of divided areas Difference
上記(4)に関して具体的に説明すると、画像処理回路306は、第1および第2の分割領域204Aおよび204Bの各輝度値の平均または分散の差分、第2および第3の分割領域204Bおよび204Cの各輝度値の平均または分散の差分、および第1および第3の分割領域204Aおよび204Cの各輝度値の平均または分散の差分の少なくとも1つを特徴量として算出することができる。
Specifically, regarding the above (4), the
呼吸による体動を輝度で捉えることが困難な場合がある。例えば、被験者1が装着している衣服や背景の壁の輝度が高いとき、各フレーム画像は高反射領域200以外に高輝度な領域を含み得る。その場合、それらの領域は、ステップS33において複数の候補パターンとして抽出される可能性がある。本発明では、上述したように、反射パターンは、内側領域に対応した高反射領域200および外側領域に対応した低反射領域201を含んでいる。そのため、上記(1)から(4)に示される平均値または分散は反射パターンに特有の値となる。このように、高反射領域200を囲むように低反射領域201を設けることで、高反射領域200に対応した三角形状の高輝度領域と高反射領域200以外に対応した三角形状の高輝度領域とを明確に区別できる。
It may be difficult to capture body movements due to breathing with brightness. For example, when the brightness of the clothes or background wall worn by the
このように、各領域の平均値または分散などの特徴量に基づけば、反射マーカの誤検出を低減でき、複数の候補パターンの中から反射パターンを正確に特定することができる。 As described above, based on the feature value such as the average value or variance of each region, it is possible to reduce the erroneous detection of the reflection marker, and to accurately specify the reflection pattern from among a plurality of candidate patterns.
なお、演算量を低減させる観点から、各領域の輝度値の平均値を特徴量として用いることが好ましい。さらに、平均値を算出する演算処理よりも積算値、つまり和を算出する演算処理の方が、演算負荷が小さくなる。そのため、輝度値の平均に代えて、輝度値の積算を求めてもよい。 Note that, from the viewpoint of reducing the calculation amount, it is preferable to use the average value of the luminance values of each region as the feature amount. Further, the calculation load is smaller in the calculation process for calculating the integrated value, that is, the sum than in the calculation process for calculating the average value. Therefore, instead of averaging the luminance values, the luminance value integration may be obtained.
各領域の平均値または分散値は、反射パターンに特有の値であり、その固有の値を特徴量の閾値として予めROM302に保持しておくことができる。画像処理回路306は、演算により得られる平均値または分散値と、ROM302に保持された閾値とを比較することにより、選択された候補パターンが、反射パターンに対応しているか否かを判別することができる。このように、画像処理回路306は、特徴量の組み合わせを用いて反射パターンの複数の候補から反射パターンを同定することができる。
The average value or dispersion value of each region is a value peculiar to the reflection pattern, and the peculiar value can be stored in the
反射パターンの座標位置に関する情報を更新するタイミングを説明する。画像処理回路306は、複数のフレーム画像のうち少なくとも1つにおける反射パターンの座標位置を特定する。例えば、画像処理回路306は、10秒毎にその座標位置を更新する。動画像が30fpsで撮影される場合、画像処理回路306は、300フレーム毎にその画像内の反射パターンの座標位置を検出する。換言すると、300フレーム毎にその座標位置に関する情報は更新される。例えばその更新間隔は、被験者1の呼吸数6回分に相当する。
The timing for updating the information regarding the coordinate position of the reflection pattern will be described. The
〔部分領域の指定:ステップS4〕
再び図3を参照する。画像処理回路306は、各フレーム画像の中から反射パターンの座標位置に基づいて部分領域(図4を参照)を指定する。部分領域は体動箇所を含むように設定され得る。フレーム画像内の部分領域は、輝度値の変化を監視するための領域でもある。
[Specification of partial area: Step S4]
Refer to FIG. 3 again. The
画像処理回路306は各フレーム画像を2つ以上に分割する。このとき、画像処理回路306は再帰性反射材40を跨ぐ位置に分割線(境界線)を設定する。さらに、分割線は、体動方向とは異なる方向に設定される。たとえばフレーム画像内で体動が上下方向に認められるとする。このとき画像処理回路306は、たとえば水平方向に境界線を設定して各フレーム画像を2つ以上に分割し、部分領域を設定する。
The
部分領域の設定の一例を具体的に説明する。画像処理回路306は再帰性反射材40、つまり反射パターン(特に、高反射領域200)のエッジを含む領域を特定する。例えば画像処理回路306は、コーナ検出の結果から反射パターンのエッジ情報を得ることができる。そして、画像処理回路306は、反射パターンのエッジを含む領域を部分領域として指定する。換言すると、画像処理回路306は、そのエッジを跨ぐように部分領域を設定する。ここで言うエッジとは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジを言う。
An example of setting the partial area will be specifically described. The
なお、上述のステップS1〜S4は、一度エッジが検出され、呼吸数の計測が始まった後でも随時行われ得る。たとえば被験者1が寝返りを打つことにより、再帰性反射材40からの反射光の検出位置が変化する場合がある。その場合には画像処理回路306は改めてステップS1〜S4の処理を行い、部分領域の再設定を行えばよい。呼吸による体動と比較すると、寝返りなどの体動は非常に大きいため、反射光が検出される座標位置は大きく変化する。画像処理回路306は、反射光が検出される座標位置が所定量以上移動した場合には、改めてステップS1〜S4の処理を行うようにしても構わない。
Note that the above-described steps S1 to S4 can be performed as needed even after an edge is detected once and the measurement of the respiration rate is started. For example, when the subject 1 turns over, the detection position of the reflected light from the
〔部分領域の輝度値の変化を監視:ステップS5〕
画像処理回路306は、設定された部分領域の輝度値の変化を監視する。平静時の被験者1の体動は呼吸に起因して発生するため、複数のフレーム画像の間で反射パターンの位置が呼吸の周期に合わせて変化(振動)する。その結果、部分領域の輝度値は反射パターンの位置に応じて変化する。ここで、図14および15を参照して、呼吸による体動に基づく反射パターンの振動を説明する。
[Monitoring of luminance value of partial area: Step S5]
The
図14は、各フレーム画像において特定の部分領域に着目したとき、その領域内の輝度値の変化に基づいて測定された、反射パターンの振動を示す。再帰性反射材40を用いて観測される波形は暗い撮影環境下でも呼吸による体動を精度よく測定することが可能である。つまり、輝度値を利用して体動、すなわち呼吸を測定することが可能である。参考として、図15は、再帰性反射材40を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す。再帰性反射材40が存在しないことにより、画像内の輝度変化はもともと小さく、そのため複数のフレーム画像にわたって輝度値の変化を観測してもノイズの影響が非常に大きい。よって計測する必要がある体動の波形がノイズに埋もれている。なお、図14と図15では、縦軸のスケールは数倍程度異なっていることに留意されたい。理解の便宜のため、図15でのスケールは図14よりも大きくしている。換言すれば、再帰性反射材40を用いる方(図14)が、用いない方(図15)よりも、信号対雑音比(SNR)に優れていることを意味する。
FIG. 14 shows the vibration of the reflection pattern measured based on a change in luminance value in a specific partial area in each frame image. Waveforms observed using the
図16は、部分領域P内の輝度値が呼吸に伴う体動により変化する様子を模式的に示している。上述のように、反射マーカ、つまり再帰性反射材40からの反射光が観測される領域は、生体反応(呼吸)による体動により変動する。いま、各フレーム画像において、特定された座標位置に存在する部分領域Pに着目する。図16(a)および(b)は、時刻の異なる時刻に撮影された2枚のフレーム画像における部分領域Pの例を示す。図16(a)および(b)に示す領域Rは、再帰性反射材40からの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、部分領域Pが、高輝度領域になったりならなかったりする。
FIG. 16 schematically shows how the luminance value in the partial region P changes due to body movement accompanying breathing. As described above, the reflection marker, that is, the region where the reflected light from the
図16(c)は、このときの部分領域Pの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Pの輝度を観測すると、ある閾値Tを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。 FIG. 16C shows a change in the luminance value of the partial region P at this time. When the luminance of the partial region P is observed in time series over a plurality of frame images, a group of frame images exceeding a certain threshold T and a group of frame images not exceeding exist alternately.
〔被験者1の呼吸数をカウント:ステップS6〕
再度図3を参照する。画像処理回路306は、高輝度領域を含む反射パターンの振動に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。具体的に説明すると、画像処理回路306は、部分領域Pの平均輝度値が振動することによって特定される体動の1周期を1呼吸として、所定期間内の呼吸数をカウントする。
[Counting the respiratory rate of subject 1: Step S6]
Refer to FIG. 3 again. The
〔計測結果の表示:ステップS7〕
図17は、ディスプレイ32に表示された表示内容の一例を示す。ディスプレイ32は、被験者1の呼吸に起因する生体活動の計測結果を表示する。その生体活動の計測結果に関する情報は、被験者1の呼吸数および呼吸数のトレンドを示す情報を含んでいる。呼吸数のトレンドを示す情報は、呼吸数の時間的な変化を示す波形としてディスプレイ32に表示される。また、呼吸数の情報は所定の間隔で更新される。
[Display of measurement result: Step S7]
FIG. 17 shows an example of display contents displayed on the
部分領域Pの輝度値の変化を示す呼吸波形も表示されている。さらに、計測システム100の状態を表すシステム情報が表示される。その情報は、例えば、検索中、測定中および停止中などの内部で起動しているプログラムの状態を意味する。
A respiratory waveform indicating a change in the luminance value of the partial region P is also displayed. Further, system information indicating the state of the
また、ディスプレイ32にはカメラ10により撮像された動画像がリアルタイムで表示されている。反射マーカの検出位置と呼吸数の計測に用いられている部分領域とを特定する矩形状の枠が、その動画像に重畳的に表示されている。
A moving image captured by the
反射マーカ、つまり再帰性反射材40の検出位置を表示することにより、測定システム100のオペレータ(例えば医師など)は正確に反射マーカが認識されていることをディスプレイ32上で確認することができる。もし、反射マーカが正確に配置されていなければ、ディスプレイ32には反射マーカの検出位置や呼吸数は表示されない。その場合、オペレータはこの不具合を確実に確認することができる。
By displaying the detection position of the reflective marker, that is, the
本実施形態によると、周囲の環境の影響に対するロバスト性を向上させることができる。また、コーナ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。 According to this embodiment, robustness against the influence of the surrounding environment can be improved. Further, by using an image processing algorithm for corner detection, it is possible to reduce the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image.
(第2の実施形態)
第2の実施形態による計測システム100は、エッジ検出に基づいて反射マーカの検出を行う点で、第1の実施形態による計測システム100とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。
(Second Embodiment)
The
図18は、本実施形態による画像処理回路306の処理の手順を示している。本実施形態による画像処理回路306は、第1の実施形態で説明したコーナ検出法(図8に示すフローチャートのステップS32)に代えて、エッジ検出法を用いて少なくとも1つのフレーム画像から複数のエッジを抽出し、複数のエッジの情報を含む画像をハフ変換して直線検出を行う(ステップS35)。図18のフローチャートに示されるように、それ以外の手順は第1の実施形態で説明した手順と同じである。
FIG. 18 shows a processing procedure of the
画像処理回路306は、グレースケール画像のエッジ検出を行う。例えばエッジ検出法として、ソーベルフィルタ、プリューウィットフィルタおよびラプラシアンフィルタなどの微分フィルタを用いた方法やCanny法などが知られている。本発明においては、これらの公知の手法を広く用いることができる。
The
図19Aは、ハフ変換して直線検出を行った結果の一例を示している。図19Bは、反射パターンの高反射領域200に関連した直線が検出された画像を示している。画像処理回路306は、得られた複数のエッジのみの情報を含む画像をハフ変換して直線を同定する。例えばハフ変換には、標準的ハフ変換や確率的ハフ変換(PPHT)などがある。本明細書においては、これら全てを総称してハフ変換と呼ぶ。
FIG. 19A shows an example of a result of straight line detection performed by Hough transform. FIG. 19B shows an image in which a straight line related to the
図19Cは、反射パターンの高反射領域200に関連した直線が検出された他の画像を示している。この画像では、反射パターン全体が画像内に存在せず、3辺のうち一部は画像から切れている。そのような場合でも、コーナ検出法に代えてエッジ検出法を用いれば、正確に反射パターンを検出することができる。
FIG. 19C shows another image in which a straight line related to the
画像処理回路306は、検出(同定)された複数の直線の任意の組み合わせから得られる、高反射領域200と同一の形状を有する複数のパターンの中から、反射パターンの候補となる複数の候補パターンを抽出する。そして、画像処理回路306は、第1の実施形態と同様に、各候補パターンの内側領域の輝度値および内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、複数の候補パターンの中から反射パターンを特徴量に基づいて特定する。
The
本実施形態によると、エッジ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。コーナ検出法では正確に反射パターンを検出できない場合でも、正確に反射パターンを検出することができる。 According to the present embodiment, the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image can be reduced by using the image processing algorithm for edge detection. Even when the reflection pattern cannot be accurately detected by the corner detection method, the reflection pattern can be accurately detected.
(第3の実施形態)
本実施形態は、第1の実施形態および第2の実施形態のハイブリッド型と呼ぶことができる。第3の実施形態による計測システム100は、再帰性反射材40は高反射領域200内にさらに低反射領域202を含んだ反射パターンを有している点で、第1の実施形態による計測システム100とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。
(Third embodiment)
This embodiment can be called the hybrid type of the first embodiment and the second embodiment. In the
図20は、本実施形態による再帰性反射材40の反射パターンの一例を示している。反射マーカは、高反射領域200の内側に低反射領域202を含み、低反射領域201と低反射領域202との間に高反射領域200が存在している。このような反射パターンを有する反射マーカを用いることで、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。
FIG. 20 shows an example of a reflection pattern of the
図21は、本実施形態による画像処理回路306の処理の手順を示している。画像処理回路306は、第1および第2の実施形態で説明したコーナ検出法またはエッジ検出法を用いて少なくとも1つのフレーム画像から複数の特徴点を抽出する(ステップS32、S35)。複数の特徴点は、コーナ検出法を用いた場合には複数のコーナに相当し、エッジ検出法を用いた場合には複数のエッジに相当する。
FIG. 21 shows a processing procedure of the
(ステップS36)
画像処理回路306は、複数の特徴点の任意の組み合わせから得られる、高反射領域200と同一の形状を有する複数のパターンの中から、輝度値の小さい順に反射パターンの候補となる複数の第1候補パターンを抽出する。
(Step S36)
The
図22は、低反射領域202に対応した画像内の領域の内側領域およびそれを囲む外側領域を示している。図示される内側領域および外側領域の配置は、図13に示される配置とは逆である。例えば画像処理回路306は、複数の特徴点の任意の組み合わせから得られる複数のパターンの中から、各パターンの内側領域および外側領域の各輝度値の平均を算出する。本実施形態では、各第1候補パターンの内側領域の輝度値は外側領域の輝度値よりも低い。この関係に着目して、画像処理回路306は、ROM302に予め保持された閾値と各領域の平均値とを比較することで、それぞれの平均値が閾値以上を満たすパターンを抽出する。その中から、外側領域および内側領域の各輝度値の差が大きい順に複数の第1候補パターンを抽出する。
FIG. 22 shows the inner region of the region in the image corresponding to the
(ステップS37)
画像処理回路306は、複数の第1候補パターンにそれぞれ対応する複数の第2候補パターンを特定する。複数の第1候補パターンの各々と1対1で対応した複数の第2候補パターンの各々は、その各第1候補パターンを取り囲む。また各第2候補パターンは高反射領域200と同一の形状を有している。画像処理回路306は、コーナ検出を行う場合、複数の特徴点(コーナ点)から選ばれた3点のうち2点を結ぶ線分が輝度値の高い領域(図21の外側領域)または輝度値の低い領域(図21の内側領域)に交わらないように第2候補パターンを抽出する。画像処理回路306は、エッジ検出を行う場合、検出された直線が輝度値の高い領域または輝度値の低い領域に交わらないように第2候補パターンを抽出する。
(Step S37)
The
(ステップS34)
画像処理回路306は、複数の第1候補パターンおよび複数の第2候補パターンの領域に関する情報に基づいて、複数のフレーム画像のうち少なくとも1つにおける反射パターンを特定する。例えば各候補パターンの領域に関する情報は、それらの領域の輝度値や面積の情報であり得る。以下、具体例を説明する。
(Step S34)
The
画像処理回路306は、各第1候補パターンと、複数の第2候補パターンのうちそれに対応した各第2候補パターンとを用いる。画像処理回路306は、各第1候補パターンの内側領域の輝度値と各第2候補パターンの内側領域の輝度値との差分に基づいて複数のパターンの中から反射パターンを特定することができる。ただし、各第1候補パターン内の輝度値が低い領域の各頂点の座標は予め分かっているので、各第2候補パターン内の輝度値が高い領域から各第1候補パターンのその領域を除いて各第2候補パターンの内側領域の輝度値を計算する。または、画像処理回路306は、各第1候補パターンと、各第1候補パターンの内側領域の面積と各第2候補パターンの内側領域の面積との比率に基づいて複数のパターンの中から反射パターンを特定することもできる。
The
本実施形態によると、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。 According to the present embodiment, it is possible to provide a more robust reflection pattern detection method with fewer false detections.
本明細書は、以下の項目に記載の計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラムを開示している。 The present specification discloses a measurement system described in the following items, a measurement method of a biological activity caused by respiration of a subject, and a computer program.
〔項目1〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記画像処理回路は、
前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも1つを用いて、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定し、
前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
項目1に記載の計測システムによると、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
[Item 1]
A light source that emits light;
An imaging device that receives the light and generates a moving image;
An image processing circuit for measuring a subject's biological activity using the moving image, and a measurement system comprising:
A retroreflective material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region is disposed at a position where body movement associated with the subject's breathing occurs, and is directed from the light source toward the subject. When the light is emitted,
The imaging device receives reflected light reflected by the retroreflecting material at a plurality of times, and generates the moving image composed of a plurality of time-series frame images,
The image processing circuit includes:
Receiving the moving image from the imaging device, and using at least one of a corner detection method and an edge detection method to identify a coordinate position of the reflection pattern in at least one frame image of the plurality of frame images;
A partial area is designated in each frame image based on the coordinate position of the reflection pattern, and a biological activity caused by the breathing of the subject is determined based on a change in luminance value of the partial area over the plurality of frame images. Measuring system to measure.
According to the measurement system described in
〔項目2〕
前記画像処理回路は、
前記コーナ検出法を用いて前記少なくとも1つのフレーム画像から複数のコーナを抽出し、
前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、項目1に記載の計測システム。
項目2に記載の計測システムによると、コーナ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。
[Item 2]
The image processing circuit includes:
Extracting a plurality of corners from the at least one frame image using the corner detection method;
Extracting a plurality of candidate patterns that are candidates for the reflection pattern from a plurality of patterns having the same shape as the high reflection region, obtained from any combination of the plurality of corners,
A feature amount is calculated based on at least one brightness value of a brightness value of an inner area of each candidate pattern and a brightness value of an outer area surrounding the inner area, and the reflection pattern is selected from the plurality of candidate patterns.
According to the measurement system described in
〔項目3〕
前記画像処理回路は、
前記エッジ検出法を用いて前記少なくとも1つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、
検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、項目1に記載の計測システム。
項目3に記載の計測システムによると、エッジ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。コーナ検出法では正確に反射パターンを検出できない場合でも、正確に反射パターンを検出することができる。
[Item 3]
The image processing circuit includes:
Extracting a plurality of edges from the at least one frame image using the edge detection method, performing line detection by performing Hough transform on the image including the information of the plurality of edges,
From a plurality of patterns having the same shape as the highly reflective region, obtained from an arbitrary combination of a plurality of detected straight lines, extract a plurality of candidate patterns that are candidates for the reflective pattern,
A feature amount is calculated based on at least one brightness value of a brightness value of an inner area of each candidate pattern and a brightness value of an outer area surrounding the inner area, and the reflection pattern is selected from the plurality of candidate patterns.
According to the measurement system described in
〔項目4〕
前記画像処理回路は、前記各候補パターンの前記内側領域の輝度値の平均または分散を前記特徴量として算出する、項目2または3に記載の計測システム。
項目4に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 4]
4. The measurement system according to
According to the measurement system described in Item 4, it is possible to provide a variation of the feature amount calculation method.
〔項目5〕
前記画像処理回路は、前記各候補パターンの前記外側領域の輝度値の平均または分散を前記特徴量として算出する、項目2または3に記載の計測システム。
項目5に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 5]
4. The measurement system according to
According to the measurement system described in Item 5, it is possible to provide a variation of the feature amount calculation method.
〔項目6〕
前記画像処理回路は、前記各候補パターンの前記内側領域の輝度値の平均と前記外側領域の輝度値の平均との差分、または前記内側領域の輝度値の分散と前記外側領域の輝度値の分散との差分を前記特徴量として算出する、項目2または3に記載の計測システム。
項目6に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 6]
The image processing circuit may calculate a difference between an average luminance value of the inner area and an average luminance value of the outer area of each candidate pattern, or a distribution of luminance values of the inner area and a luminance value of the outer area. 4. The measurement system according to
According to the measurement system described in item 6, it is possible to provide a variation of the feature amount calculation method.
〔項目7〕
前記高反射領域は多角形状を有し、
前記各候補パターンの前記外側領域は、各々が前記高反射領域に対応した前記内側領域の各辺にそれぞれ対応した複数の分割領域を含み、
前記画像処理回路は、前記複数の分割領域から選択される2つの分割領域の各輝度値の平均または分散の差分を前記特徴量として算出する、項目2または3に記載の計測システム。
項目7に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 7]
The highly reflective region has a polygonal shape;
The outer region of each candidate pattern includes a plurality of divided regions each corresponding to each side of the inner region corresponding to the highly reflective region,
4. The measurement system according to
According to the measurement system described in item 7, it is possible to provide a variation of the feature amount calculation method.
〔項目8〕
前記高反射領域は、第1、第2および第3の辺を有する三角形状の領域であり、前記内側領域は前記高反射領域に対応しており、
前記各候補パターンの前記外側領域は、前記第1の辺に対応した第1の分割領域、前記第2の辺に対応した第2の分割領域および前記第3の辺に対応した第3の分割領域を含み、
前記画像処理回路は、前記第1および第2の分割領域の各輝度値の平均または分散の差分、前記第2および第3の分割領域の各輝度値の平均または分散の差分、および前記第1および第3の分割領域の各輝度値の平均または分散の差分の少なくとも1つを前記特徴量として算出する、項目2または3に記載の計測システム。
項目8に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 8]
The high reflection region is a triangular region having first, second, and third sides, and the inner region corresponds to the high reflection region,
The outer area of each candidate pattern includes a first divided area corresponding to the first side, a second divided area corresponding to the second side, and a third divided area corresponding to the third side. Including areas,
The image processing circuit includes an average or variance difference between the luminance values of the first and second divided regions, an average or variance difference between the luminance values of the second and third divided regions, and the first 4. The measurement system according to
According to the measurement system described in item 8, a variation of the feature amount calculation method can be provided.
〔項目9〕
前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している、項目1に記載の計測システム。
項目9に記載の計測システムによると、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。
[Item 9]
The measurement system according to
According to the measurement system described in item 9, it is possible to provide a more robust reflection pattern detection method with fewer false detections.
〔項目10〕
前記画像処理回路は、
前記コーナ検出法または前記エッジ検出法を用いて前記少なくとも1つのフレーム画像から複数の特徴点を抽出し、
前記複数の特徴点の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、輝度値の小さい順に前記反射パターンの候補となる複数の第1候補パターンを抽出し、かつ、前記複数の第1候補パターンにそれぞれ対応する複数の第2候補パターンであって、前記複数の第1候補パターンの各々を囲み、前記高反射領域と同一の形状を有する複数の第2候補パターンを抽出し、
前記複数の第1候補パターンおよび複数の第2候補パターンの領域に関する情報に基づいて、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの前記座標位置を特定する、項目9に記載の計測システム。
項目10に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
[Item 10]
The image processing circuit includes:
Extracting a plurality of feature points from the at least one frame image using the corner detection method or the edge detection method;
A plurality of first candidate patterns that are candidates for the reflection pattern are extracted from a plurality of patterns having the same shape as the high reflection region obtained from an arbitrary combination of the plurality of feature points in order of increasing luminance value. And a plurality of second candidate patterns respectively corresponding to the plurality of first candidate patterns, the plurality of second candidate patterns surrounding each of the plurality of first candidate patterns and having the same shape as the high reflection region. 2 candidate patterns are extracted,
The item 9, wherein the coordinate position of the reflection pattern in at least one frame image of the plurality of frame images is specified based on information on the regions of the plurality of first candidate patterns and the plurality of second candidate patterns. Measurement system.
According to the measurement system described in
〔項目11〕
前記画像処理回路は、
各第1候補パターンと、前記複数の第2候補パターンのうち前記各第1候補パターンに対応した各第2候補パターンとを用いて、前記各第1候補パターンの内側領域の輝度値と、前記各第2候補パターンの内側領域から前記各第1候補パターンの内側領域を除いた領域の輝度値と、の差分に基づいて前記複数のパターンの中から前記反射パターンを特定する、項目10に記載の計測システム。
項目11に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
[Item 11]
The image processing circuit includes:
Using each first candidate pattern and each second candidate pattern corresponding to each first candidate pattern among the plurality of second candidate patterns, the luminance value of the inner region of each first candidate pattern,
According to the measurement system described in item 11, a variation of the specifying method for specifying the coordinate position of the reflection pattern can be provided.
〔項目12〕
前記画像処理回路は、
各第1候補パターンと、前記複数の第2候補パターンのうち前記各第1候補パターンに対応した各第2候補パターンとを用いて、前記各第1候補パターンの内側領域の面積と前記各第2候補パターンの内側領域の面積との比率に基づいて前記複数のパターンの中から前記反射パターンを特定する、項目10に記載の計測システム。
項目12に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
[Item 12]
The image processing circuit includes:
Using each first candidate pattern and each second candidate pattern corresponding to each first candidate pattern among the plurality of second candidate patterns, the area of the inner region of each first candidate pattern and each of the second candidate patterns Item 11. The measurement system according to
According to the measurement system described in Item 12, it is possible to provide a variation of the specifying method for specifying the coordinate position of the reflection pattern.
〔項目13〕
前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、
前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する、項目1から12のいずれかに記載の計測システム。
項目13に記載の計測システムによると、測定システムのオペレータは正確に反射マーカが認識されていることを表示装置上で確認することができる。
[Item 13]
Further comprising a display device for displaying a measurement result of the biological activity resulting from the breathing of the subject,
The display device displays the respiratory rate of the subject, a waveform indicating the trend of the respiratory rate, the moving image, and system information indicating the state of a measurement system, and further includes the reflection pattern and the moving image in the moving image. 13. The measurement system according to any one of
According to the measurement system described in Item 13, the operator of the measurement system can confirm on the display device that the reflection marker is accurately recognized.
〔項目14〕
(a)被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材を配置した前記被験体に向けて光を照射するステップ、
(b)前記ステップ(a)で照射した前記光が前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップ、
(c)コーナ検出法およびエッジ検出法の少なくとも1つを用いて、前記ステップ(b)で生成した前記動画像を構成する前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定するステップ、
(d)前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップを含む、計測方法。
項目14に記載の計測方法によると、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
[Item 14]
(A) Light is directed toward the subject in which a retroreflective material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region is disposed at a generation position of body movement accompanying breathing of the subject. Irradiating step,
(B) The reflected light reflected by the retroreflecting material is received at a plurality of times at the light irradiated in the step (a), and the moving image composed of a plurality of time-series frame images is generated. Step,
(C) Using at least one of a corner detection method and an edge detection method, coordinates of the reflection pattern in at least one frame image among the plurality of frame images constituting the moving image generated in the step (b) A step of locating,
(D) Designating a partial area in each frame image based on the coordinate position of the reflection pattern, and resulting from breathing of the subject based on a change in luminance value of the partial area across the plurality of frame images A measurement method including a step of measuring a biological activity.
According to the measurement method described in Item 14, robustness against the influence of the surrounding environment can be improved by using a retroreflecting material having a specific reflection pattern and a specific image processing algorithm.
〔項目15〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
コーナ検出法およびエッジ検出法の少なくとも1つを用いて、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定するステップと、
前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を前記画像処理回路に実行させる、コンピュータプログラム。
項目15に記載のコンピュータプログラムを用いることで、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
[Item 15]
A light source that emits light;
An imaging device that receives the light and generates a moving image;
An image processing circuit for measuring the biological activity of the subject using the moving image;
A computer program executed by the image processing circuit in a measurement system comprising:
A retroreflective material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region is disposed at a position where body movement accompanying breathing of the subject is performed, from the light source toward the subject When the light is emitted,
Receiving a moving image generated by the imaging device, the moving image including a plurality of time-series frame images based on the light at a plurality of times reflected by the retroreflecting material; When,
Identifying a coordinate position of the reflection pattern in at least one of the plurality of frame images using at least one of a corner detection method and an edge detection method;
A partial area is designated in each frame image based on the coordinate position of the reflection pattern, and a biological activity caused by the breathing of the subject is determined based on a change in luminance value of the partial area over the plurality of frame images. Measuring step,
A computer program for causing the image processing circuit to execute.
By using the computer program described in Item 15, it is possible to improve robustness against the influence of the surrounding environment by using a retroreflecting material having a specific reflection pattern and a specific image processing algorithm.
本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used as a method for analyzing a moving image obtained by photographing a subject and measuring a subject's life activity, particularly the number of breaths, in a non-contact manner. The present invention can also be used as an apparatus, system, and computer program for analyzing such moving images and measuring life activity.
1 被験者
10 カメラ
20 光源
30 情報処理装置
32 ディスプレイ
40 再帰性反射材
100 生体活動計測システム
200 高反射領域
201、202 低反射領域
204A 第1の分割領域
204B 第2の分割領域
204C 第3の分割領域
301 CPU
302 ROM
303 RAM
304 HDD
305 I/F
306 画像処理回路
DESCRIPTION OF
302 ROM
303 RAM
304 HDD
305 I / F
306 Image processing circuit
Claims (18)
前記光を受けて動画像を生成する撮像装置と、
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に、反射マーカが配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記反射マーカで反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記動画像に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。 A light source that emits light;
An imaging device that receives the light and generates a moving image;
A measuring system comprising:
When a reflection marker is disposed at a position where body movement occurs due to breathing of the subject, and the light is emitted from the light source toward the subject,
The imaging device receives reflected light reflected by the reflective marker at a plurality of times, and generates the moving image composed of a plurality of time-series frame images,
A measurement system for measuring a biological activity resulting from respiration of the subject based on the moving image.
前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定する、請求項2ないし5のいずれかに記載の計測システム。 Further comprising an image processing circuit for measuring a subject's biological activity using the moving image;
The said image processing circuit receives the said moving image from the said imaging device, and specifies the coordinate position of the said reflection pattern in at least 1 frame image among these several frame images. Measuring system.
前記計測システムのプロセッサまたは処理回路に、
被験体の呼吸に伴う体動の発生位置に配置された反射マーカで反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成するステップ(a)と、
前記動画像に基づいて前記被験体の呼吸に起因する生体活動を計測するステップ(b)を実行させる、コンピュータプログラム。 A computer program executed in a measurement system,
In the processor or processing circuit of the measurement system,
A step of receiving a reflected light reflected by a reflective marker arranged at a position where a body motion accompanying breathing of the subject is received at a plurality of times and generating a moving image composed of a plurality of time-series frame images (a )When,
The computer program which performs the step (b) which measures the biological activity resulting from the said subject's respiration based on the said moving image.
前記ステップ(b)は、前記ステップ(c)で監視する前記輝度値の変化で前記被検体の呼吸に起因する生体活動を計測する、請求項11ないし14のいずれかに記載のコンピュータプログラム。 Further executing step (c) of monitoring a change in luminance value over the plurality of frame images constituting the moving image generated in step (a),
The computer program according to any one of claims 11 to 14, wherein the step (b) measures a biological activity caused by respiration of the subject by a change in the luminance value monitored in the step (c).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016172401A JP2016214937A (en) | 2016-09-05 | 2016-09-05 | Measuring system and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016172401A JP2016214937A (en) | 2016-09-05 | 2016-09-05 | Measuring system and computer program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015102726A Division JP6002811B1 (en) | 2015-05-20 | 2015-05-20 | Measuring system, measuring method of biological activity resulting from breathing of subject, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016214937A true JP2016214937A (en) | 2016-12-22 |
Family
ID=57577807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016172401A Pending JP2016214937A (en) | 2016-09-05 | 2016-09-05 | Measuring system and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016214937A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019208737A (en) * | 2018-06-01 | 2019-12-12 | インテリジェンスファクトリー合同会社 | Surgery support marker and surgery support system |
JP2020021456A (en) * | 2018-08-03 | 2020-02-06 | 深▲セン▼▲衆▼▲リー▼▲電▼力科技有限公司 | Monitoring alarm system |
CN113796853A (en) * | 2020-06-16 | 2021-12-17 | 广州印芯半导体技术有限公司 | Optical image comparison system and comparison method thereof |
JP7555496B2 (en) | 2021-01-15 | 2024-09-24 | エヌイーシー ラボラトリーズ アメリカ インク | Road traffic extraction for unknown anomaly detection using distributed optical fiber sensing |
-
2016
- 2016-09-05 JP JP2016172401A patent/JP2016214937A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019208737A (en) * | 2018-06-01 | 2019-12-12 | インテリジェンスファクトリー合同会社 | Surgery support marker and surgery support system |
JP7125049B2 (en) | 2018-06-01 | 2022-08-24 | インテリジェンスファクトリー合同会社 | Surgery support marker and surgery support system |
JP2020021456A (en) * | 2018-08-03 | 2020-02-06 | 深▲セン▼▲衆▼▲リー▼▲電▼力科技有限公司 | Monitoring alarm system |
CN113796853A (en) * | 2020-06-16 | 2021-12-17 | 广州印芯半导体技术有限公司 | Optical image comparison system and comparison method thereof |
JP7555496B2 (en) | 2021-01-15 | 2024-09-24 | エヌイーシー ラボラトリーズ アメリカ インク | Road traffic extraction for unknown anomaly detection using distributed optical fiber sensing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10595732B2 (en) | Pulse wave detection device and pulse wave detection program | |
EP3057487B1 (en) | Device and method for obtaining a vital sign of a subject | |
JP6109357B2 (en) | Information processing apparatus, information processing method, and program | |
US20180121739A1 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
JP6544244B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
JP5127531B2 (en) | Image monitoring device | |
US9842392B2 (en) | Device, system and method for skin detection | |
JP5715863B2 (en) | Image processing device | |
US11666247B2 (en) | Method, device and computer program for capturing optical image data of patient surroundings and for identifying a patient check-up | |
JP2016214937A (en) | Measuring system and computer program | |
US9672422B2 (en) | Pupil detection device and pupil detection method | |
WO2017047734A1 (en) | Measurement device | |
TW201415415A (en) | Target object detection device, method for detecting target object, and program | |
CN107766784A (en) | A kind of novel video people counting algorithm | |
JP6244960B2 (en) | Object recognition apparatus, object recognition method, and object recognition program | |
WO2010010926A1 (en) | Feature-point tracking method and feature-point tracking device | |
JP6002811B1 (en) | Measuring system, measuring method of biological activity resulting from breathing of subject, and computer program | |
EP3671541B1 (en) | Classification of glints using an eye tracking system | |
JP6280650B2 (en) | Measuring method and measuring system of life activity caused by breathing of subject | |
JP2021058361A (en) | Biological information acquisition device and program | |
US20210244270A1 (en) | Visual performance examination device, visual performance examination method, and computer program | |
JP2017079811A (en) | Measurement system | |
JP6155106B2 (en) | Image sensor | |
JP6185090B2 (en) | Measuring system | |
WO2024181108A1 (en) | Monitoring system, monitoring method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170607 |