[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2016214937A - Measuring system and computer program - Google Patents

Measuring system and computer program Download PDF

Info

Publication number
JP2016214937A
JP2016214937A JP2016172401A JP2016172401A JP2016214937A JP 2016214937 A JP2016214937 A JP 2016214937A JP 2016172401 A JP2016172401 A JP 2016172401A JP 2016172401 A JP2016172401 A JP 2016172401A JP 2016214937 A JP2016214937 A JP 2016214937A
Authority
JP
Japan
Prior art keywords
reflection
region
subject
reflection pattern
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016172401A
Other languages
Japanese (ja)
Inventor
淳史 堀
Atsushi Hori
淳史 堀
貴行 山内
Takayuki Yamauchi
貴行 山内
池田 豊
Yutaka Ikeda
豊 池田
綾 福澤
Aya Fukuzawa
綾 福澤
司 谷口
Tsukasa Taniguchi
谷口  司
智之 市座
Tomoyuki Ichiza
智之 市座
三木 成一郎
Seiichiro Miki
成一郎 三木
蔭地 謙作
Kensaku Oji
謙作 蔭地
ハンダヤ マルヴィン
Handaya Malvin
ハンダヤ マルヴィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2016172401A priority Critical patent/JP2016214937A/en
Publication of JP2016214937A publication Critical patent/JP2016214937A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a robust measuring system which measures a biological activity caused by respiration, and in which the measurement conditions of the biological activity are unsusceptible to the ambient environment.SOLUTION: A measuring system 100 comprises: a light source 20; an imaging device 10 for generating a moving image; and an image processing circuit 306 for measuring a biological activity of a subject 1. A retroreflective material with a reflection pattern including a high-reflection region and a low-reflection region is disposed at a position at which a body motion accompanied by respiration of the subject occurs. The image processing circuit receives the moving image from the imaging device, determines the coordinate position of the reflection pattern in at least one of a plurality of frame images using at least one of a corner detection method and an edge detection method, specifies a partial region within each frame image on the basis of the coordinate position of the reflection pattern, and measures a biological activity caused by the respiration of the subject on the basis of changes of the brightness value of the partial region over the plurality of frame images.SELECTED DRAWING: Figure 3

Description

本発明は、被験者の映像から被験者の呼吸数等の、呼吸に起因する生体活動を計測するための技術に関する。   The present invention relates to a technique for measuring a biological activity resulting from respiration, such as a subject's respiration rate, from a subject's video.

カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている(たとえば特許文献1および2)。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いたりすることによって特定される。   A technique is known in which a subject is photographed with a camera, a change in luminance value due to a biological reaction such as body movement or blood flow is detected from the moving image, and a biological activity such as a subject's respiratory rate or heart rate is measured ( For example, Patent Documents 1 and 2). The image area in which the subject is shown is specified by an observer in advance or by using a contour extraction technique.

特許文献1の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。   The respiratory monitoring device of Patent Literature 1 divides an image obtained by photographing a subject into local regions, and analyzes lightness information of each local region. Then, using the three types of threshold values, it is determined whether the subject is observing movement around the chest or observing non-respiratory body movement such as turning over.

特許文献2の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。   The heart rate measuring device of Patent Document 2 captures the face of a subject with a camera equipped with an infrared light source, extracts a specific area between eyebrows from a face image for each frame, and corrects the average luminance. The heart rate measuring device obtains a waveform of a temporal change in corrected luminance from the corrected average luminance time series, and calculates the heart rate of the subject by filtering the waveform in a frequency band corresponding to the heart rate. .

特開平11−276443号公報Japanese Patent Laid-Open No. 11-276443 特開2011−130996号公報JP 2011-130996 A

特許文献1の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値は大きく変動し得る。常に適切なしきい値を求める方法がないので、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。   In the respiratory monitoring device of Patent Document 1, an appropriate threshold necessary for determining non-respiratory body movement varies greatly depending on the imaging environment. For example, the threshold value to be set can vary greatly depending on changes in the brightness of the observation location, the position of the indoor light source, the presence or absence of incident light from the outside, and the movement of people or objects other than the subject. Since there is no method for always obtaining an appropriate threshold value, an area for obtaining biological information such as respiration cannot be calculated if the threshold value is inappropriate.

特許文献2の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献1と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応に起因した体動個所を特定できず、生体情報が正確に抽出できないことがある。   The heart rate measuring device of Patent Document 2 needs to capture the subject's face within the imaging range. Similar to Patent Document 1, when the shooting environment changes such as a change in illuminance, movement of a person, incidence of external light, etc., the luminance value of the image area in which the subject is photographed changes greatly due to a cause other than biological activity. When such disturbance noise occurs, the body movement location due to the biological reaction cannot be specified, and the biological information may not be extracted accurately.

また、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるので、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。   Also, if the subject's face is separated from the camera, the accuracy of acquiring the subject's biological information is reduced, so the subject's face must be imaged from a relatively short distance. As a result, a feeling of pressure is given to the subject, and there is a concern about the influence on the biological activity to be measured.

このように、従来の呼吸モニタリング装置および心拍数計測装置は、撮影環境の変化に対しロバストであるとは決して言えない。そのような生体活動の計測装置において、生体情報を正確に抽出するためには、生体反応に起因した体動個所を正しく特定することが求められる。   As described above, the conventional respiration monitoring device and the heart rate measuring device cannot be said to be robust against changes in the photographing environment. In such a biological activity measuring device, in order to accurately extract biological information, it is required to correctly identify a body movement location caused by a biological reaction.

本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動のロバストな計測システム(以下、単に「計測システム」と称する。)を提供する。   The present invention has been made to solve the above-described problems, and is a robust measurement system for life activity caused by respiration (hereinafter simply referred to as “measurement”). System ").

本発明の実施形態による計測システムは、光を放射する光源と、前記光を受けて動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも1つを用いて、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定し、前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する。   A measurement system according to an embodiment of the present invention includes a light source that emits light, an imaging device that receives the light and generates a moving image, and an image processing circuit that measures a biological activity of a subject using the moving image. A retroreflecting material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region at a position where a body movement accompanying breathing of the subject occurs. When the light is emitted from the light source toward the subject, the imaging device receives reflected light reflected by the retroreflecting material at a plurality of times, and a plurality of time-series frame images. The image processing circuit receives the moving image from the imaging device, and uses at least one of a corner detection method and an edge detection method to generate a plurality of frame images. A coordinate position of the reflection pattern in at least one frame image is specified, a partial area is designated in each frame image based on the coordinate position of the reflection pattern, and the luminance of the partial area over the plurality of frame images Based on the change in value, the biological activity resulting from the breathing of the subject is measured.

ある実施形態において、前記画像処理回路は、前記コーナ検出法を用いて前記少なくとも1つのフレーム画像から複数のコーナを抽出し、前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する。   In one embodiment, the image processing circuit extracts a plurality of corners from the at least one frame image using the corner detection method, and is the same as the high reflection region obtained from an arbitrary combination of the plurality of corners. A plurality of candidate patterns that are candidates for the reflection pattern are extracted from among a plurality of patterns having the shape of at least one of the brightness value of the inner area of each candidate pattern and the brightness value of the outer area surrounding the inner area A feature amount is calculated based on a luminance value, and the reflection pattern is specified from the plurality of candidate patterns based on the feature amount.

ある実施形態において、前記画像処理回路は、前記エッジ検出法を用いて前記少なくとも1つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する。   In one embodiment, the image processing circuit extracts a plurality of edges from the at least one frame image using the edge detection method, and performs line detection by performing Hough transform on the image including the information on the plurality of edges. A plurality of candidate patterns that are candidates for the reflection pattern are extracted from a plurality of patterns having the same shape as the high reflection region, obtained from any combination of the detected plurality of straight lines, and each candidate pattern is extracted. A feature amount is calculated based on at least one luminance value of a luminance value of the inner region and a luminance value of the outer region surrounding the inner region, and the reflection pattern is selected from the plurality of candidate patterns based on the feature amount. Identify.

ある実施形態において、前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している。   In one embodiment, the reflection pattern includes a further low reflection area inside the high reflection area, and the high reflection area exists between the low reflection area and the further low reflection area.

ある実施形態において、前記計測システムは、前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する。   In one embodiment, the measurement system further includes a display device that displays a measurement result of life activity resulting from the breathing of the subject, and the display device displays the respiratory rate of the subject and the trend of the respiratory rate. A waveform to be displayed, the moving image, and system information representing the state of the measurement system are displayed, and a frame for specifying the reflection pattern and the partial region is displayed in the moving image.

本発明の一実施形態によれば、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。本計測システムにおいては、再帰性反射材は反射マーカとして機能する。そのため、本明細書では再帰性反射材を反射マーカと称する場合がある。   According to an embodiment of the present invention, by using a retroreflecting material having a specific reflection pattern and a specific image processing algorithm, robustness against the influence of the surrounding environment can be improved. In this measurement system, the retroreflective material functions as a reflective marker. For this reason, the retroreflective material may be referred to as a reflective marker in this specification.

第1の実施形態による計測システム100の構成図である。1 is a configuration diagram of a measurement system 100 according to a first embodiment. 第1の実施形態による情報処理装置30のハードウェア構成図である。It is a hardware block diagram of the information processing apparatus 30 by 1st Embodiment. 第1の実施形態による計測システム100で行われる計測処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the measurement process performed with the measurement system 100 by 1st Embodiment. 再帰性反射材40を装着した被験者1を撮影したフレーム画像102を示す図である。It is a figure which shows the frame image 102 which image | photographed the test subject 1 with which the retroreflection material 40 was mounted | worn. 再帰性反射材40を装着しない被験者を撮影したフレーム画像106を示す図である。It is a figure which shows the frame image 106 which image | photographed the test subject which does not wear the retroreflection material 40. FIG. 第1の実施形態による反射マーカとして機能する再帰性反射材40の反射パターンの一例を示す図である。It is a figure which shows an example of the reflective pattern of the retroreflection material 40 which functions as a reflective marker by 1st Embodiment. カメラ10の位置、画角または反射マーカの配置の仕方によって、カメラ10に映る反射マーカの見え方が異なる様子を示す図である。It is a figure which shows a mode that the appearance of the reflective marker reflected in the camera 10 changes with the position of the camera 10, an angle of view, or the manner of arrangement of the reflective marker. 図3のフローチャートにおけるステップS3のより詳細な処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the more detailed process of step S3 in the flowchart of FIG. 被験者1の体動箇所に配置された三角形状の反射マーカが映った画像においてコーナ検出法により抽出された複数のコーナを示す図である。It is a figure which shows the some corner extracted by the corner detection method in the image in which the reflective marker of the triangle shape arrange | positioned at the body movement location of the test subject 1 was reflected. 図9に示される複数のコーナから3つを選択し、それらから得られる三角形の候補を示す図である。FIG. 10 is a diagram showing candidates for triangles obtained by selecting three from a plurality of corners shown in FIG. 9. 図9および図10に示される反射パターンの1つの候補の拡大図である。FIG. 11 is an enlarged view of one candidate of the reflection pattern shown in FIGS. 9 and 10. 三角形状の複数の候補パターンの各パターンにおける内側領域および外側領域のそれぞれの輝度値の平均をプロットしたグラフである。It is the graph which plotted the average of each luminance value of the inner side area | region and outer side area | region in each pattern of a some triangular-shaped candidate pattern. 三角形状の各候補パターンの拡大図である。It is an enlarged view of each triangular candidate pattern. 各フレーム画像において特定の部分領域に着目したとき、その領域内の輝度値の変化に基づいて測定された反射パターンの振動を示す図である。It is a figure which shows the vibration of the reflective pattern measured based on the change of the luminance value in the area | region when paying attention to the specific partial area | region in each frame image. 再帰性反射材40を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す図である。It is a figure which shows the change of the luminance value of the some frame image image | photographed in the dark imaging environment, without providing the retroreflection material 40. FIG. 部分領域P内の輝度値が呼吸に伴う体動により変化する様子を示す図である。It is a figure which shows a mode that the luminance value in the partial area P changes with the body movement accompanying respiration. ディスプレイ32に表示された表示内容を例示する図である。6 is a diagram illustrating display contents displayed on a display 32. FIG. 第2の実施形態による画像処理回路306の処理の手順を示すフローチャートである。10 is a flowchart illustrating a processing procedure of an image processing circuit 306 according to the second embodiment. ハフ変換して直線検出を行った結果の一例を示す図である。It is a figure which shows an example of the result of having performed straight line detection by Hough transform. 反射パターンに関連した直線が検出された画像である。It is an image in which a straight line related to the reflection pattern is detected. 反射パターンに関連した直線が検出された他の画像である。It is the other image from which the straight line relevant to a reflection pattern was detected. 第3の実施形態による再帰性反射材40の反射パターンの一例を示す図である。It is a figure which shows an example of the reflective pattern of the retroreflection material 40 by 3rd Embodiment. 第3の実施形態による画像処理回路306の処理の手順を示すフローチャートである。10 is a flowchart illustrating a processing procedure of an image processing circuit according to a third embodiment. 低反射領域202に対応した画像内の領域の内側領域およびそれを囲む外側領域を示す図である。It is a figure which shows the inner side area | region of the area | region in the image corresponding to the low reflection area | region 202, and the outer area | region surrounding it.

本発明の実施形態による計測システムは、光を放射する光源と、光を受けて動画像を生成する撮像装置と、動画像を利用して被験体の生体活動を計測する画像処理回路とを備える。被験体の呼吸に伴う体動の発生位置に、相対的に反射率が高い高反射領域および高反射領域を囲む、相対的に反射率が低い低反射領域を含む反射パターンを有する再帰性反射材が配置される。光源から、被験体に向けて光が放射されたときにおいて、撮像装置は、再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成する。画像処理回路は、撮像装置から動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも1つを用いて、複数のフレーム画像のうち少なくとも1つにおける反射パターンの座標位置を特定し、反射パターンの座標位置に基づいて各フレーム画像内で部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて被験体の呼吸に起因する生体活動を計測する。   A measurement system according to an embodiment of the present invention includes a light source that emits light, an imaging device that receives light to generate a moving image, and an image processing circuit that measures the biological activity of the subject using the moving image. . A retroreflective material having a reflection pattern including a high reflection region having a relatively high reflectivity and a low reflection region having a relatively low reflectivity surrounding the high reflectivity region at a position where body movement accompanying breathing of the subject occurs. Is placed. When light is emitted from the light source toward the subject, the imaging device receives the reflected light reflected by the retroreflecting material at a plurality of times, and includes a plurality of time-series frame images. Generate an image. The image processing circuit receives a moving image from the imaging device, specifies the coordinate position of the reflection pattern in at least one of the plurality of frame images using at least one of the corner detection method and the edge detection method, and A partial area is designated in each frame image based on the coordinate position, and a biological activity resulting from the breathing of the subject is measured over a plurality of frame images based on a change in luminance value of the partial area.

この計測システムによると、周囲の環境の影響に対するロバスト性を向上させることができる。また、コーナ検出法およびエッジ検出法などの特定の画像処理アルゴリズムを利用することで、画像内の反射パターンの座標位置を特定する演算量を低減することができる。   According to this measurement system, robustness against the influence of the surrounding environment can be improved. Further, by using a specific image processing algorithm such as a corner detection method and an edge detection method, it is possible to reduce the amount of calculation for specifying the coordinate position of the reflection pattern in the image.

本明細書においては、主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。計測システムは、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形(呼吸波形に相当する波形であり、本明細書では「呼吸数のトレンド」と呼ぶ。)を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。計測システムは、その呼吸数および呼吸数のトレンドなどをディスプレイ上に表示することができる。   In this specification, an example in which the respiratory rate is mainly measured will be described. However, the respiratory rate is an example of a biological activity resulting from the subject's breathing, and other biological activities resulting from the subject's breathing may be measured. The measurement system measures the breathing motion of the subject, and derives a waveform resulting from breathing (a waveform corresponding to the breathing waveform, referred to as a “respiration rate trend” in this specification) from body motion due to breathing. Typically, other biological activities that can be evaluated using the waveform, for example, biological activities such as breathing depth, turbulence, apnea periods, frequency of occurrence of apnea periods, This is the category of the biological activity to be measured. The measurement system can display the respiration rate and the respiration rate trend on the display.

以下、添付の図面を参照しながら、本発明による計測システムおよび計測方法の実施形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。なお、本発明の実施形態による計測システムおよび計測方法は、以下で例示するものに限られない。例えば、一の実施形態と、他の実施形態とを組み合わせることも可能である。   Hereinafter, embodiments of a measurement system and a measurement method according to the present invention will be described with reference to the accompanying drawings. In the following description, the same reference numerals are assigned to the same or similar components. Note that the measurement system and the measurement method according to the embodiment of the present invention are not limited to those exemplified below. For example, it is possible to combine one embodiment with another embodiment.

(第1の実施形態)
図1は、本実施形態による計測システム100の構成を模式的に示す。計測システム100は、カメラ10と、光源20と、情報処理装置30と、再帰性反射材40とを含む。図1には被験者1が示されているが、被験者1は計測システム100に含まれない。
(First embodiment)
FIG. 1 schematically shows a configuration of a measurement system 100 according to the present embodiment. The measurement system 100 includes a camera 10, a light source 20, an information processing device 30, and a retroreflecting material 40. Although the subject 1 is shown in FIG. 1, the subject 1 is not included in the measurement system 100.

計測システム100は、被験者1の生体活動を観察するために利用される。本実施形態では、生体活動は被験者1の呼吸であるとし、計測システム100は所定時間内の呼吸数を計測する。なお、被験者1は人であるとして説明するが、人以外の動物であってもよい。観測対象としての動物(人を含む。)を総称して「被験体」と呼ぶことがある。   The measurement system 100 is used for observing the biological activity of the subject 1. In this embodiment, it is assumed that the biological activity is the respiration of the subject 1, and the measurement system 100 measures the respiration rate within a predetermined time. Note that although the subject 1 is described as being a person, it may be an animal other than a person. Animals (including people) as observation targets may be collectively referred to as “subjects”.

カメラ10は、CMOS(Complementary Metal Oxide Semiconductor)センサなどのイメージセンサおよび光学系を有する、いわゆる撮像装置であり、被験者1を撮影して動画像を生成する。カメラ10は、有線または無線で動画像のデータを情報処理装置30に送る。   The camera 10 is a so-called imaging device having an image sensor such as a complementary metal oxide semiconductor (CMOS) sensor and an optical system, and shoots the subject 1 to generate a moving image. The camera 10 sends moving image data to the information processing apparatus 30 by wire or wirelessly.

光源20は光20aを放射する光源である。光は可視光であってもよく、不可視光(たとえば赤外光)であってもよい。本実施形態では、赤外光を例に挙げて説明する。以下では、光20aを「赤外光20a」と記述する。   The light source 20 is a light source that emits light 20a. The light may be visible light or invisible light (for example, infrared light). In the present embodiment, infrared light will be described as an example. Hereinafter, the light 20a is described as “infrared light 20a”.

カメラ10は、可視光領域の波長を遮る光学フィルタ(不図示)を装着していてもよい。その光学フィルタは、例えば赤外フィルタとも呼ばれる。光学フィルタは、光源20から放射され、再帰性反射材40において反射された赤外光は透過するが、可視光は遮断する。光学フィルタを設けることにより、赤外光以外の光、より具体的には可視光がカメラ10に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるので、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を効果的に低減できる。   The camera 10 may be equipped with an optical filter (not shown) that blocks the wavelength in the visible light region. The optical filter is also called an infrared filter, for example. The optical filter transmits infrared light emitted from the light source 20 and reflected by the retroreflecting material 40, but blocks visible light. By providing an optical filter, it is possible to prevent light other than infrared light, more specifically, visible light, from entering the camera 10, thereby reducing the influence on the change in the luminance value of the captured moving image. . Since the fluctuation of the luminance value of each frame image due to visible light can be suppressed, it is possible to effectively reduce the generation of disturbance noise that is caused only by visible light and is not caused by a biological reaction.

情報処理装置30は、カメラ10から動画像を受け取り、特定の画像処理アルゴリズム、例えばコーナ検出法を用いて、フレーム画像内の反射パターンの座標位置を特定する。また、情報処理装置30は、複数のフレーム画像にわたって、所定の領域の輝度値の変化に基づいて被験体1の呼吸数を計測する。情報処理装置30の動作の詳細は後述する。   The information processing apparatus 30 receives a moving image from the camera 10 and specifies the coordinate position of the reflection pattern in the frame image using a specific image processing algorithm, for example, a corner detection method. Further, the information processing apparatus 30 measures the respiratory rate of the subject 1 based on a change in the luminance value of a predetermined region over a plurality of frame images. Details of the operation of the information processing apparatus 30 will be described later.

再帰性反射材40は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材40に入射する光の入射角と、再帰性反射材40によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。本実施形態では、光源20の光軸とカメラ10の光軸とを近接して配置させている。これにより、光源20から放射された赤外光20aは再帰性反射材40に反射され、その多くが赤外光20bとしてカメラ10に入射する。よって、カメラ10は十分な光量で被験者1を撮影することができる。例えば再帰性反射材40として、ガラスビーズを塗布した布を用いることができる。   The retroreflecting material 40 is a reflecting material having an optical characteristic of reflecting incident light toward the incident direction. That is, the incident angle of light incident on the retroreflecting material 40 is equal to the emission angle of light reflected by the retroreflecting material 40. However, this property is ideal and can actually be reflected in a direction different from some incident directions. In the present embodiment, the optical axis of the light source 20 and the optical axis of the camera 10 are arranged close to each other. Thereby, the infrared light 20a emitted from the light source 20 is reflected by the retroreflecting material 40, and most of the light enters the camera 10 as infrared light 20b. Therefore, the camera 10 can photograph the subject 1 with a sufficient amount of light. For example, as the retroreflecting material 40, a cloth coated with glass beads can be used.

なお、再帰性反射材40を設けることにより、再帰性反射材40に入射した外乱光21aは、反射光21bとしてその入射方向に反射される。反射光21bは実質的にカメラ10に入射しないので、カメラ10によって撮影される動画像は外乱光の影響を受けにくくなる。   By providing the retroreflecting material 40, the disturbance light 21a incident on the retroreflecting material 40 is reflected in the incident direction as reflected light 21b. Since the reflected light 21b does not substantially enter the camera 10, the moving image captured by the camera 10 is not easily affected by disturbance light.

図2は、計測システム100の、主として情報処理装置30のハードウェア構成の例を示す。本実施形態では、情報処理装置30は、カメラ10とディスプレイ32とに接続されている。情報処理装置30は、カメラ10から、撮影された動画像のデータを受け取る。またディスプレイ32は、処理の結果である、被験者1の生体活動である呼吸の数の計測結果および呼吸数のトレンドなどを表示する。測定結果に基づいてカメラ10の撮影方向が適切でないと判断した場合には、情報処理装置30はディスプレイ32に警告を表示してもよい。   FIG. 2 shows an example of a hardware configuration of the information processing apparatus 30 mainly in the measurement system 100. In the present embodiment, the information processing apparatus 30 is connected to the camera 10 and the display 32. The information processing apparatus 30 receives captured moving image data from the camera 10. The display 32 displays the measurement result of the number of breaths, which is the life activity of the subject 1, and the trend of the breathing rate, which are the results of the processing. If it is determined that the shooting direction of the camera 10 is not appropriate based on the measurement result, the information processing apparatus 30 may display a warning on the display 32.

情報処理装置30は、CPU301と、ROM302と、RAM303と、ハードディスクドライブ(HDD)304と、インタフェース(I/F)305と、画像処理回路306とを有する。CPU301は情報処理装置30の動作を制御する。ROM302は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をCPU301または画像処理回路306に行わせるための命令群である。RAM303は、CPU301による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。HDD304は、カメラ10から受信した動画像のデータ、または計測された被験者1の呼吸数のデータを格納する記憶装置である。   The information processing apparatus 30 includes a CPU 301, a ROM 302, a RAM 303, a hard disk drive (HDD) 304, an interface (I / F) 305, and an image processing circuit 306. The CPU 301 controls the operation of the information processing apparatus 30. The ROM 302 stores a computer program. The computer program is a group of instructions for causing the CPU 301 or the image processing circuit 306 to perform processing shown by a flowchart described later, for example. A RAM 303 is a work memory for developing a computer program when executed by the CPU 301. The HDD 304 is a storage device that stores moving image data received from the camera 10 or measured respiratory rate data of the subject 1.

I/F305は、情報処理装置30がカメラ10から動画像のデータを受け取るためのインタフェースである。情報処理装置30が有線のネットワーク経由で動画像のデータを受け取る場合には、I/F305はたとえばイーサネット(登録商標)端子であり得る。情報処理装置30が無線のネットワーク経由で動画像のデータを受け取る場合には、I/F305はたとえばWi−Fi(登録商標)規格に準拠した通信を行う送受信回路であり得る。またはI/F305は、有線の映像入力端子であってもよい。   The I / F 305 is an interface for the information processing apparatus 30 to receive moving image data from the camera 10. When the information processing apparatus 30 receives moving image data via a wired network, the I / F 305 may be an Ethernet (registered trademark) terminal, for example. When the information processing apparatus 30 receives moving image data via a wireless network, the I / F 305 may be a transmission / reception circuit that performs communication based on, for example, the Wi-Fi (registered trademark) standard. Alternatively, the I / F 305 may be a wired video input terminal.

画像処理回路306は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路306は、カメラ10から動画像を受け取り、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも1つにおける反射パターンの画像中の座標位置を特定する。画像処理回路306は、各フレーム画像の中から反射パターンの座標位置に基づいて部分領域を指定し、複数のフレーム画像にわたって、部分領域の輝度値の変化に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。本明細書では、境界線によって区画される画像の領域を、画像の「部分領域」と呼ぶ。部分領域の詳細は後述する。   The image processing circuit 306 is a so-called graphics processor that analyzes moving image data. The image processing circuit 306 receives the moving image from the camera 10 and specifies the coordinate position in the image of the reflection pattern in at least one of the plurality of frame images using the corner detection method. The image processing circuit 306 designates a partial area based on the coordinate position of the reflection pattern from each frame image, detects body movement based on a change in luminance value of the partial area over a plurality of frame images, and The respiratory rate is counted based on the vibration waveform. In this specification, an area of an image divided by a boundary line is referred to as a “partial area” of the image. Details of the partial area will be described later.

本実施形態ではCPU301とは別に画像処理回路306を設けているが、これは一例である。後述する画像処理回路306の処理を、CPU301が行ってもよい。   In this embodiment, the image processing circuit 306 is provided separately from the CPU 301, but this is an example. The CPU 301 may perform processing of an image processing circuit 306 described later.

図3を参照して、計測システム100の全体の動作を説明する。   The overall operation of the measurement system 100 will be described with reference to FIG.

図3は、計測システム100で行われる計測処理の手順を示している。この処理は主としてCPU301および/または画像処理回路306によって実行される。以下では、実行主体は画像処理回路306であるとして説明する。   FIG. 3 shows a procedure of measurement processing performed in the measurement system 100. This process is mainly executed by the CPU 301 and / or the image processing circuit 306. In the following description, it is assumed that the execution subject is the image processing circuit 306.

〔再帰性反射材40の配置および動画像の取得:ステップS1〕
まず、観測者または被験者1が、被験者1の呼吸に伴う体動の発生位置に、所定の反射パターンを有する再帰性反射材40を反射マーカとして配置する。光源20が赤外光で被験者1を照射すると、カメラ10は再帰性反射材40で反射された赤外光を受けて、被験者1の動画像を撮影する。
[Arrangement of Retroreflecting Material 40 and Acquisition of Moving Image: Step S1]
First, the observer or the subject 1 arranges the retroreflecting material 40 having a predetermined reflection pattern as a reflection marker at the position where the body movement accompanying breathing of the subject 1 occurs. When the light source 20 irradiates the subject 1 with infrared light, the camera 10 receives the infrared light reflected by the retroreflecting material 40 and captures a moving image of the subject 1.

図4は、再帰性反射材40を装着した被験者1を撮影したフレーム画像102の例を示している。画像中央部の高輝度領域(白い領域)104が、再帰性反射材40からの反射光が検出された領域である。情報処理装置30は、その領域を反射マーカとして認識する。参考として、図5は、再帰性反射材40を装着しない被験者を撮影したフレーム画像106を示す。再帰性反射材40が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。図4および図5には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。境界線によって区画される画像の領域は、画像の「部分領域」である。部分領域のサイズは例えば16×16画素程度であり得る。この部分領域は、輝度値の演算を行う一まとまりの画素群を含む領域である。図4には、部分領域Pが例示されている。なお、部分領域Pの境界線は理解の便宜のため強調して表示されている。   FIG. 4 shows an example of a frame image 102 obtained by photographing the subject 1 wearing the retroreflecting material 40. A high brightness area (white area) 104 in the center of the image is an area where the reflected light from the retroreflecting material 40 is detected. The information processing apparatus 30 recognizes the area as a reflection marker. For reference, FIG. 5 shows a frame image 106 obtained by photographing a subject who does not wear the retroreflecting material 40. When the retroreflecting material 40 is not present, it can be said that the luminance change in the captured frame image is very small. 4 and 5 show a plurality of vertical lines and horizontal lines, which are boundary lines virtually provided for image processing. The area of the image demarcated by the boundary line is a “partial area” of the image. The size of the partial area may be about 16 × 16 pixels, for example. This partial region is a region including a group of pixels that perform calculation of luminance values. FIG. 4 illustrates the partial region P. Note that the boundary lines of the partial areas P are highlighted for convenience of understanding.

図6は、反射マーカとして機能する再帰性反射材40の反射パターンの一例を示している。再帰性反射材40は、高反射領域200および高反射領域200を囲む低反射領域201を含む反射パターンを有している。高反射領域200の反射率は相対的に高く、低反射領域201の反射率は相対的に低い。なお、高反射領域200は図4に示される高輝度領域104に対応する。   FIG. 6 shows an example of a reflection pattern of the retroreflecting material 40 that functions as a reflection marker. The retroreflecting material 40 has a reflection pattern including a high reflection region 200 and a low reflection region 201 surrounding the high reflection region 200. The reflectance of the high reflection region 200 is relatively high, and the reflectance of the low reflection region 201 is relatively low. The high reflection area 200 corresponds to the high luminance area 104 shown in FIG.

高反射領域200の反射率と低反射領域201の反射率との差分が大きければ大きいほど境界付近のコントラストを高めることができるので、後述する特徴量を算出する上で好ましい。また、そのコントラストをより向上させる点では、赤外光を反射しない材料で低反射領域201を形成することがより好ましい。   The greater the difference between the reflectivity of the high reflectivity region 200 and the reflectivity of the low reflectivity region 201, the higher the contrast in the vicinity of the boundary, which is preferable in calculating the feature value described later. Further, in terms of further improving the contrast, it is more preferable to form the low reflection region 201 with a material that does not reflect infrared light.

図6に示す反射パターンの高反射領域200の形状は左側から三角形、長方形およびひし形である。このように、高反射領域200の形状は多角形であり得る。また、高反射領域200および低反射領域201を組み合わせることで、反射パターン全体の形状は、矩形などの多角形であり得る。以下では、三角形状の高反射領域200を含む反射パターンを用いる例を説明する。   The shape of the high reflection region 200 of the reflection pattern shown in FIG. 6 is a triangle, a rectangle, and a rhombus from the left side. As described above, the shape of the highly reflective region 200 may be a polygon. Further, by combining the high reflection region 200 and the low reflection region 201, the shape of the entire reflection pattern can be a polygon such as a rectangle. Hereinafter, an example in which a reflection pattern including a triangular high reflection region 200 is used will be described.

〔体動検出:ステップS2〕
再び図3を参照する。このステップS2は任意に設けることができる。画像処理回路306は、複数のフレーム画像の間において2つのフレーム画像の輝度値の差分を取得し、その結果から体動があるかどうかを検出することができる。
[Body motion detection: Step S2]
Refer to FIG. 3 again. This step S2 can be arbitrarily provided. The image processing circuit 306 can acquire a difference in luminance value between two frame images between a plurality of frame images, and can detect whether there is a body movement from the result.

被験者1が寝返りを打ったとき、体動は非常に大きいので、高反射領域200の位置は各フレーム画像の間で大きく移動することになる。その場合、画像処理回路306は、そのフレーム画像では呼吸数の計測を行わないようにしても構わない。このステップは任意に設けることができる。   When the subject 1 turns over, the body movement is very large, and the position of the highly reflective region 200 moves greatly between the frame images. In that case, the image processing circuit 306 may not measure the respiration rate in the frame image. This step can be optionally provided.

〔反射パターンの座標位置を特定:ステップS3〕
画像処理回路306は、カメラ10から動画像を受け取り、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも1つにおける反射パターンの座標位置を特定する。反射パターンの座標位置は、例えば高反射領域200の各頂点、中心または重心の座標を意味する。
[Identify coordinate position of reflection pattern: Step S3]
The image processing circuit 306 receives the moving image from the camera 10 and specifies the coordinate position of the reflection pattern in at least one of the plurality of frame images using the corner detection method. The coordinate position of the reflection pattern means, for example, the coordinates of each vertex, center, or center of gravity of the high reflection region 200.

まず、画像内の特定のパターンを認識する方法として、テンプレートを用いたパターンマッチング処理が一般的に知られ、多用されている。そのパターンマッチング処理によって、再帰性反射材40の座標位置を特定する場合の問題点を説明する。   First, a pattern matching process using a template is generally known and widely used as a method for recognizing a specific pattern in an image. A problem when the coordinate position of the retroreflecting material 40 is specified by the pattern matching processing will be described.

図7(a)〜(c)は、カメラ10の位置、画角または反射マーカの配置の仕方によって、カメラ10に映る反射マーカの見え方が異なる様子を示している。呼吸状態を正確に測定するためには、その反射マーカの位置を正確に検出することが求められる。しかしながら、生体活動の測定環境に応じて、カメラ10の位置および画角は異なり得る。また、測定環境は様々であり、カメラ10と被験者1との位置関係は必ずしも一定ではない。従って、図示されるように画像に映る反射マーカの見え方、つまり映像は測定環境に応じて異なる。そのため、反射マーカの座標位置を正確に特定することは容易ではない。また、光源として赤外光を用いた場合、赤外光の画像からは濃淡情報しか得られないので、反射マーカの座標位置を誤検出してしまう可能性がある。   FIGS. 7A to 7C show how the reflection marker reflected on the camera 10 looks differently depending on the position of the camera 10, the angle of view, or the manner in which the reflection marker is arranged. In order to accurately measure the respiratory state, it is required to accurately detect the position of the reflective marker. However, the position and the angle of view of the camera 10 may vary depending on the measurement environment for life activity. Moreover, the measurement environment is various, and the positional relationship between the camera 10 and the subject 1 is not necessarily constant. Therefore, as shown in the figure, the appearance of the reflection marker reflected in the image, that is, the image differs depending on the measurement environment. Therefore, it is not easy to accurately specify the coordinate position of the reflective marker. In addition, when infrared light is used as a light source, only grayscale information can be obtained from an infrared light image, so that the coordinate position of the reflective marker may be erroneously detected.

例えば、画像処理回路306は、反射パターンを有する再帰性反射材40が用いられること、およびそのパターンの特徴を示す情報(つまり、テンプレート)を、ROM302に予め保持することができる。カメラ10が被験者1を撮影すると、画像処理回路306は、得られた動画像の各フレーム画像において、予め保持していたパターンの特徴を利用して各フレーム画像にパターンマッチング処理を行い、再帰性反射材40の位置を特定することができる。   For example, the image processing circuit 306 can store in advance in the ROM 302 information indicating that the retroreflecting material 40 having a reflection pattern is used and characteristics of the pattern (that is, a template). When the camera 10 captures the subject 1, the image processing circuit 306 performs pattern matching processing on each frame image using the characteristics of the pattern held in advance in each frame image of the obtained moving image, and the recursiveness. The position of the reflector 40 can be specified.

上述したように、映像が測定環境に応じて異なることを考慮すると、テンプレートを用いたパターンマッチング処理を行う場合、測定環境の全てに最適化されたテンプレートを準備しなければならない。しかしながら、すべてのテンプレートを用意することは現実的でなく不可能であると言える。また、必要十分なテンプレートを用意できたとしても、その数が増えるに従って、パターンマッチング処理の演算量は増加する。   As described above, in consideration of the fact that images differ depending on the measurement environment, when performing pattern matching processing using a template, a template optimized for all of the measurement environment must be prepared. However, it is impractical and impossible to prepare all templates. Even if necessary and sufficient templates can be prepared, the calculation amount of the pattern matching process increases as the number increases.

このように、パターンマッチング処理を行う場合、測定環境に対するロバスト性は決して高いとは言えない。そこで、本実施形態では、パターンマッチング処理に代えて、コーナ検出法を用いることでロバスト性を向上させ、また、演算量を低減させることができる。   Thus, when pattern matching processing is performed, it cannot be said that the robustness to the measurement environment is high. Therefore, in the present embodiment, robustness can be improved and the amount of calculation can be reduced by using a corner detection method instead of the pattern matching processing.

図8は、図3のフローチャートにおけるステップS3のより詳細な処理の手順を示している。反射パターンの形状が多角形であること、また、反射パターンは高反射領域200と低反射領域201とを含んでいることにより、反射パターンのコーナを正確に検出することが可能になる。   FIG. 8 shows a more detailed processing procedure of step S3 in the flowchart of FIG. Since the shape of the reflection pattern is a polygon and the reflection pattern includes the high reflection region 200 and the low reflection region 201, the corner of the reflection pattern can be accurately detected.

(ステップS31)
まず、画像処理回路306は、カメラ10から得られる、赤外光に基づく動画像データをグレースケールの画像データに変換する。具体的に説明すると、画像処理回路306は、RGB信号をYUV変換する。この変換によりY信号に基づいて白黒の濃淡画像が得られるので、後述するコーナ検出法によるコーナ検出が容易になる。
(Step S31)
First, the image processing circuit 306 converts moving image data obtained from the camera 10 based on infrared light into grayscale image data. More specifically, the image processing circuit 306 performs YUV conversion on the RGB signals. By this conversion, a black and white grayscale image is obtained based on the Y signal, and corner detection by the corner detection method described later becomes easy.

(ステップS32)
画像処理回路306は、コーナ検出法を用いて、複数のフレーム画像のうち少なくとも1つの中のコーナを特徴量として検出する。例えば、コーナ検出法として、Harris法、KLT法、主曲率法などが知られており、本発明ではこれらを広く用いることができる。中でも、Harris法は、画素毎に行列を求めて、その行列からコーナらしさを計算する手法である。そのコーナらしさに基づいてコーナを特徴量として抽出できる。本実施形態では、このHarris法を用いる。
(Step S32)
The image processing circuit 306 detects a corner in at least one of the plurality of frame images as a feature amount by using a corner detection method. For example, as the corner detection method, the Harris method, the KLT method, the principal curvature method, and the like are known, and these can be widely used in the present invention. Among them, the Harris method is a method of obtaining a matrix for each pixel and calculating the cornerness from the matrix. A corner can be extracted as a feature amount based on the cornerness. In the present embodiment, this Harris method is used.

図9は、被験者1の体動箇所に配置された三角形状の高反射領域200を含む反射パターンを有する反射マーカが映った画像においてコーナ検出法により抽出された複数のコーナを示している。抽出された複数のコーナには丸印を付している。図示する例では、50個のコーナがコーナ検出法により抽出されている。   FIG. 9 shows a plurality of corners extracted by a corner detection method in an image in which a reflection marker having a reflection pattern including a triangular high reflection region 200 arranged at a body movement location of the subject 1 is reflected. A plurality of extracted corners are circled. In the illustrated example, 50 corners are extracted by the corner detection method.

画像処理回路306は、複数のコーナの任意の組み合わせから得られる、高反射領域200と同一の形状を有する複数のパターンの中から、反射パターンの候補となる複数の候補パターンを抽出する。   The image processing circuit 306 extracts a plurality of candidate patterns, which are reflection pattern candidates, from a plurality of patterns having the same shape as the highly reflective region 200, obtained from an arbitrary combination of a plurality of corners.

図10は、図9に示される複数のコーナから3つを選択し、それらから得られる三角形の候補を示している。図11は、図9および図10に示される反射パターンの1つの候補を拡大して示している。3つのコーナを頂点し、直線AA’、BB’およびCC’から形成される三角形状の内側領域が各候補パターンの内側領域である。また、内側領域を囲むように矩形状の外側領域が設けられている。フレーム画像において、内側領域は高反射領域200に対応した領域であり、外側領域は、低反射領域201に対応した領域である。   FIG. 10 shows three candidate triangles obtained by selecting three from the plurality of corners shown in FIG. FIG. 11 shows an enlarged view of one candidate of the reflection pattern shown in FIGS. 9 and 10. A triangular inner region formed by the straight lines AA ′, BB ′, and CC ′ that apex the three corners is an inner region of each candidate pattern. A rectangular outer region is provided so as to surround the inner region. In the frame image, the inner area is an area corresponding to the high reflection area 200, and the outer area is an area corresponding to the low reflection area 201.

50個のコーナから任意に3つを選択する場合、503通りの組み合わせが存在する。しかし、反射パターンの高反射領域200の形状が三角形またはひし形であれば、2点のコーナを結ぶ線の組み合わせの候補を工夫によって減らすことができる。例えば再帰性反射材40を所定の角度に配置した場合、フレーム画像内の三角形状の領域を構成する各辺の角度とその所定の配置角度とに基づいて複数の候補パターンを抽出することができる。 When arbitrarily selecting three from 50 corners, there are 50 C 3 combinations. However, if the shape of the high reflection region 200 of the reflection pattern is a triangle or a diamond, the number of combinations of lines connecting two corners can be reduced by devising. For example, when the retroreflecting material 40 is arranged at a predetermined angle, a plurality of candidate patterns can be extracted based on the angle of each side constituting the triangular area in the frame image and the predetermined arrangement angle. .

図9および10に示されるように、三角形状の高反射領域200を含む反射マーカを、その1つの頂点が、図11に示す画像内のXY−平面座標においてY方向を向くように配置するとする。その場合、X軸を基準とした原点の周りの直線AA’の角度は、略0°超70°以下となる。直線AA’と同様に、X軸を基準とした原点の周りの直線BB’の角度は、略0°超70°以下となり、X軸を基準とした原点の周りの直線CC’の角度は、略−90°以上−70°以下、または略70°以上90°以下となる。このように、各直線の角度がこれらの範囲内にある三角形状のパターンを反射パターンの候補として特定することができる。   As shown in FIGS. 9 and 10, it is assumed that a reflection marker including a triangular high reflection region 200 is arranged so that one vertex thereof faces the Y direction in the XY-plane coordinates in the image shown in FIG. . In this case, the angle of the straight line AA ′ around the origin with respect to the X axis is substantially greater than 0 ° and equal to or less than 70 °. Similar to the straight line AA ′, the angle of the straight line BB ′ around the origin with respect to the X axis is substantially greater than 0 ° and equal to or less than 70 °, and the angle of the straight line CC ′ around the origin with respect to the X axis is It is approximately −90 ° to −70 °, or approximately 70 ° to 90 °. In this manner, a triangular pattern in which the angle of each straight line is within these ranges can be specified as a reflection pattern candidate.

また、フレーム画像中において反射パターンが存在する場所を制限できれば、組み合わせの候補を絞ることができる。例えば、計測システム100が特定の使用環境のみで利用される場合、フレーム画像中において反射パターンは、被験者1の顔から胸付近に存在すること、または、フレーム画像の中心に存在することなどが予め予測できる。その場合には、反射パターンが存在する領域に絞って候補パターンを選択できる。   Further, if the places where the reflection pattern exists in the frame image can be restricted, the combination candidates can be narrowed down. For example, when the measurement system 100 is used only in a specific use environment, the reflection pattern in the frame image is present in the vicinity of the chest from the face of the subject 1 or in the center of the frame image in advance. Predictable. In that case, the candidate pattern can be selected by narrowing down to the area where the reflection pattern exists.

図12は、三角形状の複数の候補パターンの各パターンにおける内側領域および外側領域のそれぞれの輝度値の平均をプロットしたグラフである。横軸は内側領域の輝度値の平均を示し、縦軸は外側領域の輝度値の平均を示している。高反射領域200に対応した候補パターンにおいては、その内側領域の輝度は高く、外側領域の輝度は低い。その結果、図12に示されるように、丸で囲んだ領域内に位置するグラフ上の点が、高反射領域200に対応した点である可能性が高いと言える。丸で囲んだ領域は、内側領域の輝度は高く、外側領域の輝度は低いパターンに対応した点を包含している領域である。従って、画像処理回路306は、その丸で囲んだ領域内の点に対応したパターンを、複数の候補パターンとして選択することができる。   FIG. 12 is a graph plotting the average of the brightness values of the inner and outer regions in each of a plurality of triangular candidate patterns. The horizontal axis represents the average of the luminance values in the inner area, and the vertical axis represents the average of the luminance values in the outer area. In the candidate pattern corresponding to the high reflection region 200, the luminance of the inner region is high and the luminance of the outer region is low. As a result, as shown in FIG. 12, it can be said that there is a high possibility that a point on the graph located in the circled region corresponds to the highly reflective region 200. A circled region is a region including a point corresponding to a pattern in which the luminance of the inner region is high and the luminance of the outer region is low. Therefore, the image processing circuit 306 can select a pattern corresponding to a point in the circled region as a plurality of candidate patterns.

(ステップS34)
画像処理回路306は、複数の候補パターンの各候補パターンの内側領域の輝度値および内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、複数の候補パターンの中から反射パターンを特徴量に基づいて特定する。つまり、画像処理回路306は、フレーム画像内の反射パターンの座標位置を検出する。
(Step S34)
The image processing circuit 306 calculates a feature amount based on at least one luminance value of the inner region and the outer region surrounding the inner region of each candidate pattern of the plurality of candidate patterns. A reflection pattern is specified based on the feature amount. That is, the image processing circuit 306 detects the coordinate position of the reflection pattern in the frame image.

図13は、三角形状の各候補パターンを拡大して示している。各候補パターンの外側領域は、各々が多角形状の内側領域の各辺にそれぞれ対応した複数の分割領域を含んでいてもよい。本実施形態では、反射パターンの高反射領域200に対応した領域は三角形状であり、図11に示すとおり辺AA’、BB’およびCC’を有している。各候補パターンの外側領域は、辺AA’に対応した第1の分割領域204A、辺BB’に対応した第2の分割領域204Bおよび辺CC’に対応した第3の分割領域204Cを含んでいる。内側領域および外側領域の組み合わせによって全体として矩形状の領域が形成されている。   FIG. 13 shows an enlarged view of each triangular candidate pattern. The outer area of each candidate pattern may include a plurality of divided areas each corresponding to each side of the polygonal inner area. In the present embodiment, the region corresponding to the high reflection region 200 of the reflection pattern is triangular, and has sides AA ′, BB ′, and CC ′ as shown in FIG. The outer area of each candidate pattern includes a first divided area 204A corresponding to the side AA ′, a second divided area 204B corresponding to the side BB ′, and a third divided area 204C corresponding to the side CC ′. . A rectangular region as a whole is formed by a combination of the inner region and the outer region.

画像処理回路306は具体的に以下の特徴量を求めることができる。また、各特徴量を組み合わせて用いることもできる。
(1)各候補パターンの内側領域の輝度値の平均または分散
(2)各候補パターンの外側領域の輝度値の平均または分散
(3)各候補パターンの内側領域の輝度値の平均と外側領域の輝度値の平均との差分、または内側領域の輝度値の分散と外側領域の輝度値の分散との差分
(4)複数の分割領域から選択される2つの分割領域の各輝度値の平均または分散の差分
Specifically, the image processing circuit 306 can obtain the following feature amounts. Also, the feature quantities can be used in combination.
(1) Average or variance of luminance values in the inner area of each candidate pattern (2) Average or variance of luminance values in the outer area of each candidate pattern (3) Average and luminance values of the inner area of each candidate pattern Difference from average of luminance values, or difference between variance of luminance values in inner area and luminance value in outer area (4) Average or variance of luminance values of two divided areas selected from a plurality of divided areas Difference

上記(4)に関して具体的に説明すると、画像処理回路306は、第1および第2の分割領域204Aおよび204Bの各輝度値の平均または分散の差分、第2および第3の分割領域204Bおよび204Cの各輝度値の平均または分散の差分、および第1および第3の分割領域204Aおよび204Cの各輝度値の平均または分散の差分の少なくとも1つを特徴量として算出することができる。   Specifically, regarding the above (4), the image processing circuit 306 includes an average or variance difference between the luminance values of the first and second divided regions 204A and 204B, and the second and third divided regions 204B and 204C. At least one of the average or variance difference of the respective luminance values and the average or variance difference of the respective luminance values of the first and third divided regions 204A and 204C can be calculated as the feature amount.

呼吸による体動を輝度で捉えることが困難な場合がある。例えば、被験者1が装着している衣服や背景の壁の輝度が高いとき、各フレーム画像は高反射領域200以外に高輝度な領域を含み得る。その場合、それらの領域は、ステップS33において複数の候補パターンとして抽出される可能性がある。本発明では、上述したように、反射パターンは、内側領域に対応した高反射領域200および外側領域に対応した低反射領域201を含んでいる。そのため、上記(1)から(4)に示される平均値または分散は反射パターンに特有の値となる。このように、高反射領域200を囲むように低反射領域201を設けることで、高反射領域200に対応した三角形状の高輝度領域と高反射領域200以外に対応した三角形状の高輝度領域とを明確に区別できる。   It may be difficult to capture body movements due to breathing with brightness. For example, when the brightness of the clothes or background wall worn by the subject 1 is high, each frame image may include a high-luminance area other than the high-reflection area 200. In that case, those areas may be extracted as a plurality of candidate patterns in step S33. In the present invention, as described above, the reflection pattern includes the high reflection region 200 corresponding to the inner region and the low reflection region 201 corresponding to the outer region. Therefore, the average value or dispersion shown in the above (1) to (4) is a value specific to the reflection pattern. Thus, by providing the low reflection region 201 so as to surround the high reflection region 200, a triangular high luminance region corresponding to the high reflection region 200 and a triangular high luminance region corresponding to other than the high reflection region 200, Can be clearly distinguished.

このように、各領域の平均値または分散などの特徴量に基づけば、反射マーカの誤検出を低減でき、複数の候補パターンの中から反射パターンを正確に特定することができる。   As described above, based on the feature value such as the average value or variance of each region, it is possible to reduce the erroneous detection of the reflection marker, and to accurately specify the reflection pattern from among a plurality of candidate patterns.

なお、演算量を低減させる観点から、各領域の輝度値の平均値を特徴量として用いることが好ましい。さらに、平均値を算出する演算処理よりも積算値、つまり和を算出する演算処理の方が、演算負荷が小さくなる。そのため、輝度値の平均に代えて、輝度値の積算を求めてもよい。   Note that, from the viewpoint of reducing the calculation amount, it is preferable to use the average value of the luminance values of each region as the feature amount. Further, the calculation load is smaller in the calculation process for calculating the integrated value, that is, the sum than in the calculation process for calculating the average value. Therefore, instead of averaging the luminance values, the luminance value integration may be obtained.

各領域の平均値または分散値は、反射パターンに特有の値であり、その固有の値を特徴量の閾値として予めROM302に保持しておくことができる。画像処理回路306は、演算により得られる平均値または分散値と、ROM302に保持された閾値とを比較することにより、選択された候補パターンが、反射パターンに対応しているか否かを判別することができる。このように、画像処理回路306は、特徴量の組み合わせを用いて反射パターンの複数の候補から反射パターンを同定することができる。   The average value or dispersion value of each region is a value peculiar to the reflection pattern, and the peculiar value can be stored in the ROM 302 in advance as a feature amount threshold value. The image processing circuit 306 determines whether or not the selected candidate pattern corresponds to the reflection pattern by comparing the average value or the variance value obtained by the calculation with the threshold value stored in the ROM 302. Can do. As described above, the image processing circuit 306 can identify a reflection pattern from a plurality of reflection pattern candidates using a combination of feature amounts.

反射パターンの座標位置に関する情報を更新するタイミングを説明する。画像処理回路306は、複数のフレーム画像のうち少なくとも1つにおける反射パターンの座標位置を特定する。例えば、画像処理回路306は、10秒毎にその座標位置を更新する。動画像が30fpsで撮影される場合、画像処理回路306は、300フレーム毎にその画像内の反射パターンの座標位置を検出する。換言すると、300フレーム毎にその座標位置に関する情報は更新される。例えばその更新間隔は、被験者1の呼吸数6回分に相当する。   The timing for updating the information regarding the coordinate position of the reflection pattern will be described. The image processing circuit 306 specifies the coordinate position of the reflection pattern in at least one of the plurality of frame images. For example, the image processing circuit 306 updates the coordinate position every 10 seconds. When a moving image is captured at 30 fps, the image processing circuit 306 detects the coordinate position of the reflection pattern in the image every 300 frames. In other words, the information regarding the coordinate position is updated every 300 frames. For example, the update interval corresponds to the subject's 1 breathing rate of 6 times.

〔部分領域の指定:ステップS4〕
再び図3を参照する。画像処理回路306は、各フレーム画像の中から反射パターンの座標位置に基づいて部分領域(図4を参照)を指定する。部分領域は体動箇所を含むように設定され得る。フレーム画像内の部分領域は、輝度値の変化を監視するための領域でもある。
[Specification of partial area: Step S4]
Refer to FIG. 3 again. The image processing circuit 306 designates a partial region (see FIG. 4) from each frame image based on the coordinate position of the reflection pattern. The partial area may be set so as to include a body movement location. The partial area in the frame image is also an area for monitoring a change in luminance value.

画像処理回路306は各フレーム画像を2つ以上に分割する。このとき、画像処理回路306は再帰性反射材40を跨ぐ位置に分割線(境界線)を設定する。さらに、分割線は、体動方向とは異なる方向に設定される。たとえばフレーム画像内で体動が上下方向に認められるとする。このとき画像処理回路306は、たとえば水平方向に境界線を設定して各フレーム画像を2つ以上に分割し、部分領域を設定する。   The image processing circuit 306 divides each frame image into two or more. At this time, the image processing circuit 306 sets a dividing line (boundary line) at a position across the retroreflecting material 40. Further, the dividing line is set in a direction different from the body movement direction. For example, it is assumed that body movement is recognized in the vertical direction in the frame image. At this time, for example, the image processing circuit 306 sets a boundary line in the horizontal direction, divides each frame image into two or more, and sets a partial region.

部分領域の設定の一例を具体的に説明する。画像処理回路306は再帰性反射材40、つまり反射パターン(特に、高反射領域200)のエッジを含む領域を特定する。例えば画像処理回路306は、コーナ検出の結果から反射パターンのエッジ情報を得ることができる。そして、画像処理回路306は、反射パターンのエッジを含む領域を部分領域として指定する。換言すると、画像処理回路306は、そのエッジを跨ぐように部分領域を設定する。ここで言うエッジとは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジを言う。   An example of setting the partial area will be specifically described. The image processing circuit 306 identifies the retroreflecting material 40, that is, the region including the edge of the reflection pattern (particularly, the high reflection region 200). For example, the image processing circuit 306 can obtain the edge information of the reflection pattern from the corner detection result. Then, the image processing circuit 306 designates an area including the edge of the reflection pattern as a partial area. In other words, the image processing circuit 306 sets a partial region so as to straddle the edge. The edge here refers to one edge when there are a plurality of edges facing each other with respect to the fluctuation direction.

なお、上述のステップS1〜S4は、一度エッジが検出され、呼吸数の計測が始まった後でも随時行われ得る。たとえば被験者1が寝返りを打つことにより、再帰性反射材40からの反射光の検出位置が変化する場合がある。その場合には画像処理回路306は改めてステップS1〜S4の処理を行い、部分領域の再設定を行えばよい。呼吸による体動と比較すると、寝返りなどの体動は非常に大きいため、反射光が検出される座標位置は大きく変化する。画像処理回路306は、反射光が検出される座標位置が所定量以上移動した場合には、改めてステップS1〜S4の処理を行うようにしても構わない。   Note that the above-described steps S1 to S4 can be performed as needed even after an edge is detected once and the measurement of the respiration rate is started. For example, when the subject 1 turns over, the detection position of the reflected light from the retroreflecting material 40 may change. In that case, the image processing circuit 306 may perform the processing of steps S1 to S4 again to reset the partial area. Compared with body movements due to respiration, body movements such as turning over are very large, and the coordinate position where reflected light is detected changes greatly. The image processing circuit 306 may perform the processes of steps S1 to S4 again when the coordinate position where the reflected light is detected moves by a predetermined amount or more.

〔部分領域の輝度値の変化を監視:ステップS5〕
画像処理回路306は、設定された部分領域の輝度値の変化を監視する。平静時の被験者1の体動は呼吸に起因して発生するため、複数のフレーム画像の間で反射パターンの位置が呼吸の周期に合わせて変化(振動)する。その結果、部分領域の輝度値は反射パターンの位置に応じて変化する。ここで、図14および15を参照して、呼吸による体動に基づく反射パターンの振動を説明する。
[Monitoring of luminance value of partial area: Step S5]
The image processing circuit 306 monitors a change in luminance value of the set partial area. Since the body movement of the subject 1 during calm occurs due to respiration, the position of the reflection pattern changes (vibrates) between the plurality of frame images in accordance with the respiration cycle. As a result, the luminance value of the partial area changes according to the position of the reflection pattern. Here, with reference to FIG. 14 and 15, the vibration of the reflection pattern based on the body movement by respiration is demonstrated.

図14は、各フレーム画像において特定の部分領域に着目したとき、その領域内の輝度値の変化に基づいて測定された、反射パターンの振動を示す。再帰性反射材40を用いて観測される波形は暗い撮影環境下でも呼吸による体動を精度よく測定することが可能である。つまり、輝度値を利用して体動、すなわち呼吸を測定することが可能である。参考として、図15は、再帰性反射材40を設けずに暗い撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す。再帰性反射材40が存在しないことにより、画像内の輝度変化はもともと小さく、そのため複数のフレーム画像にわたって輝度値の変化を観測してもノイズの影響が非常に大きい。よって計測する必要がある体動の波形がノイズに埋もれている。なお、図14と図15では、縦軸のスケールは数倍程度異なっていることに留意されたい。理解の便宜のため、図15でのスケールは図14よりも大きくしている。換言すれば、再帰性反射材40を用いる方(図14)が、用いない方(図15)よりも、信号対雑音比(SNR)に優れていることを意味する。   FIG. 14 shows the vibration of the reflection pattern measured based on a change in luminance value in a specific partial area in each frame image. Waveforms observed using the retroreflecting material 40 can accurately measure body movement due to respiration even in a dark imaging environment. That is, it is possible to measure body movement, that is, respiration, using the luminance value. For reference, FIG. 15 shows changes in luminance values of a plurality of frame images taken in a dark shooting environment without providing the retroreflecting material 40. Due to the absence of the retroreflecting material 40, the luminance change in the image is originally small, and therefore the influence of noise is very large even if the change in the luminance value is observed over a plurality of frame images. Therefore, the body motion waveform that needs to be measured is buried in noise. Note that in FIG. 14 and FIG. 15, the scale of the vertical axis differs by several times. For convenience of understanding, the scale in FIG. 15 is larger than that in FIG. In other words, the direction using the retroreflecting material 40 (FIG. 14) means that the signal-to-noise ratio (SNR) is superior to the direction not using it (FIG. 15).

図16は、部分領域P内の輝度値が呼吸に伴う体動により変化する様子を模式的に示している。上述のように、反射マーカ、つまり再帰性反射材40からの反射光が観測される領域は、生体反応(呼吸)による体動により変動する。いま、各フレーム画像において、特定された座標位置に存在する部分領域Pに着目する。図16(a)および(b)は、時刻の異なる時刻に撮影された2枚のフレーム画像における部分領域Pの例を示す。図16(a)および(b)に示す領域Rは、再帰性反射材40からの反射光が検出されている高輝度領域であるとする。呼吸に伴う体動により、部分領域Pが、高輝度領域になったりならなかったりする。   FIG. 16 schematically shows how the luminance value in the partial region P changes due to body movement accompanying breathing. As described above, the reflection marker, that is, the region where the reflected light from the retroreflecting material 40 is observed fluctuates due to body movement due to biological reaction (respiration). Now, in each frame image, attention is paid to the partial area P existing at the specified coordinate position. FIGS. 16A and 16B show examples of partial areas P in two frame images taken at different times. It is assumed that the region R shown in FIGS. 16A and 16B is a high-luminance region in which reflected light from the retroreflecting material 40 is detected. The partial area P may or may not become a high luminance area due to body movement accompanying breathing.

図16(c)は、このときの部分領域Pの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Pの輝度を観測すると、ある閾値Tを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。   FIG. 16C shows a change in the luminance value of the partial region P at this time. When the luminance of the partial region P is observed in time series over a plurality of frame images, a group of frame images exceeding a certain threshold T and a group of frame images not exceeding exist alternately.

〔被験者1の呼吸数をカウント:ステップS6〕
再度図3を参照する。画像処理回路306は、高輝度領域を含む反射パターンの振動に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。具体的に説明すると、画像処理回路306は、部分領域Pの平均輝度値が振動することによって特定される体動の1周期を1呼吸として、所定期間内の呼吸数をカウントする。
[Counting the respiratory rate of subject 1: Step S6]
Refer to FIG. 3 again. The image processing circuit 306 detects body movement based on the vibration of the reflection pattern including the high luminance region, and counts the respiration rate based on the vibration waveform of the body movement. More specifically, the image processing circuit 306 counts the number of breaths within a predetermined period, with one period of body movement identified by the average luminance value of the partial region P oscillating as one breath.

〔計測結果の表示:ステップS7〕
図17は、ディスプレイ32に表示された表示内容の一例を示す。ディスプレイ32は、被験者1の呼吸に起因する生体活動の計測結果を表示する。その生体活動の計測結果に関する情報は、被験者1の呼吸数および呼吸数のトレンドを示す情報を含んでいる。呼吸数のトレンドを示す情報は、呼吸数の時間的な変化を示す波形としてディスプレイ32に表示される。また、呼吸数の情報は所定の間隔で更新される。
[Display of measurement result: Step S7]
FIG. 17 shows an example of display contents displayed on the display 32. The display 32 displays the measurement result of the biological activity resulting from the respiration of the subject 1. The information regarding the measurement result of the biological activity includes information indicating the respiratory rate of the subject 1 and the trend of the respiratory rate. Information indicating the trend of the respiratory rate is displayed on the display 32 as a waveform indicating a temporal change in the respiratory rate. Moreover, the information on the respiration rate is updated at a predetermined interval.

部分領域Pの輝度値の変化を示す呼吸波形も表示されている。さらに、計測システム100の状態を表すシステム情報が表示される。その情報は、例えば、検索中、測定中および停止中などの内部で起動しているプログラムの状態を意味する。   A respiratory waveform indicating a change in the luminance value of the partial region P is also displayed. Further, system information indicating the state of the measurement system 100 is displayed. The information means, for example, the state of a program that is running internally such as during search, during measurement, and during stop.

また、ディスプレイ32にはカメラ10により撮像された動画像がリアルタイムで表示されている。反射マーカの検出位置と呼吸数の計測に用いられている部分領域とを特定する矩形状の枠が、その動画像に重畳的に表示されている。   A moving image captured by the camera 10 is displayed on the display 32 in real time. A rectangular frame for specifying the detection position of the reflection marker and the partial region used for measuring the respiration rate is displayed superimposed on the moving image.

反射マーカ、つまり再帰性反射材40の検出位置を表示することにより、測定システム100のオペレータ(例えば医師など)は正確に反射マーカが認識されていることをディスプレイ32上で確認することができる。もし、反射マーカが正確に配置されていなければ、ディスプレイ32には反射マーカの検出位置や呼吸数は表示されない。その場合、オペレータはこの不具合を確実に確認することができる。   By displaying the detection position of the reflective marker, that is, the retroreflecting material 40, an operator (for example, a doctor) of the measurement system 100 can confirm on the display 32 that the reflective marker is accurately recognized. If the reflective marker is not accurately arranged, the display position of the reflective marker and the respiration rate are not displayed on the display 32. In that case, the operator can confirm this defect reliably.

本実施形態によると、周囲の環境の影響に対するロバスト性を向上させることができる。また、コーナ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。   According to this embodiment, robustness against the influence of the surrounding environment can be improved. Further, by using an image processing algorithm for corner detection, it is possible to reduce the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image.

(第2の実施形態)
第2の実施形態による計測システム100は、エッジ検出に基づいて反射マーカの検出を行う点で、第1の実施形態による計測システム100とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。
(Second Embodiment)
The measurement system 100 according to the second embodiment is different from the measurement system 100 according to the first embodiment in that a reflective marker is detected based on edge detection. Hereinafter, description of common parts will be omitted, and description will be made focusing on differences.

図18は、本実施形態による画像処理回路306の処理の手順を示している。本実施形態による画像処理回路306は、第1の実施形態で説明したコーナ検出法(図8に示すフローチャートのステップS32)に代えて、エッジ検出法を用いて少なくとも1つのフレーム画像から複数のエッジを抽出し、複数のエッジの情報を含む画像をハフ変換して直線検出を行う(ステップS35)。図18のフローチャートに示されるように、それ以外の手順は第1の実施形態で説明した手順と同じである。   FIG. 18 shows a processing procedure of the image processing circuit 306 according to the present embodiment. The image processing circuit 306 according to the present embodiment uses the edge detection method instead of the corner detection method described in the first embodiment (step S32 in the flowchart shown in FIG. 8) to generate a plurality of edges from at least one frame image. Are extracted, and an image including information on a plurality of edges is subjected to Hough transform to perform straight line detection (step S35). As shown in the flowchart of FIG. 18, the other procedures are the same as those described in the first embodiment.

画像処理回路306は、グレースケール画像のエッジ検出を行う。例えばエッジ検出法として、ソーベルフィルタ、プリューウィットフィルタおよびラプラシアンフィルタなどの微分フィルタを用いた方法やCanny法などが知られている。本発明においては、これらの公知の手法を広く用いることができる。   The image processing circuit 306 performs edge detection of the grayscale image. For example, as an edge detection method, a method using a differential filter such as a Sobel filter, a Prewitt filter, and a Laplacian filter, a Canny method, and the like are known. In the present invention, these known methods can be widely used.

図19Aは、ハフ変換して直線検出を行った結果の一例を示している。図19Bは、反射パターンの高反射領域200に関連した直線が検出された画像を示している。画像処理回路306は、得られた複数のエッジのみの情報を含む画像をハフ変換して直線を同定する。例えばハフ変換には、標準的ハフ変換や確率的ハフ変換(PPHT)などがある。本明細書においては、これら全てを総称してハフ変換と呼ぶ。   FIG. 19A shows an example of a result of straight line detection performed by Hough transform. FIG. 19B shows an image in which a straight line related to the high reflection region 200 of the reflection pattern is detected. The image processing circuit 306 identifies a straight line by performing a Hough transform on the obtained image including only information on a plurality of edges. For example, the Hough transform includes standard Hough transform and probabilistic Hough transform (PPHT). In this specification, all of these are collectively referred to as Hough transform.

図19Cは、反射パターンの高反射領域200に関連した直線が検出された他の画像を示している。この画像では、反射パターン全体が画像内に存在せず、3辺のうち一部は画像から切れている。そのような場合でも、コーナ検出法に代えてエッジ検出法を用いれば、正確に反射パターンを検出することができる。   FIG. 19C shows another image in which a straight line related to the high reflection region 200 of the reflection pattern is detected. In this image, the entire reflection pattern does not exist in the image, and some of the three sides are cut from the image. Even in such a case, if the edge detection method is used instead of the corner detection method, the reflection pattern can be detected accurately.

画像処理回路306は、検出(同定)された複数の直線の任意の組み合わせから得られる、高反射領域200と同一の形状を有する複数のパターンの中から、反射パターンの候補となる複数の候補パターンを抽出する。そして、画像処理回路306は、第1の実施形態と同様に、各候補パターンの内側領域の輝度値および内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、複数の候補パターンの中から反射パターンを特徴量に基づいて特定する。   The image processing circuit 306 obtains a plurality of candidate patterns that are candidates for a reflection pattern from among a plurality of patterns having the same shape as the highly reflective region 200, obtained from an arbitrary combination of a plurality of detected (identified) straight lines. To extract. Then, as in the first embodiment, the image processing circuit 306 calculates the feature amount based on at least one luminance value of the inner region of each candidate pattern and the outer region surrounding the inner region. Then, a reflection pattern is identified from a plurality of candidate patterns based on the feature amount.

本実施形態によると、エッジ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。コーナ検出法では正確に反射パターンを検出できない場合でも、正確に反射パターンを検出することができる。   According to the present embodiment, the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image can be reduced by using the image processing algorithm for edge detection. Even when the reflection pattern cannot be accurately detected by the corner detection method, the reflection pattern can be accurately detected.

(第3の実施形態)
本実施形態は、第1の実施形態および第2の実施形態のハイブリッド型と呼ぶことができる。第3の実施形態による計測システム100は、再帰性反射材40は高反射領域200内にさらに低反射領域202を含んだ反射パターンを有している点で、第1の実施形態による計測システム100とは異なる。以下、共通する部分の説明は省略し、差異点を中心に説明する。
(Third embodiment)
This embodiment can be called the hybrid type of the first embodiment and the second embodiment. In the measurement system 100 according to the third embodiment, the retroreflecting material 40 has a reflection pattern that further includes a low-reflection region 202 in the high-reflection region 200, and thus the measurement system 100 according to the first embodiment. Is different. Hereinafter, description of common parts will be omitted, and description will be made focusing on differences.

図20は、本実施形態による再帰性反射材40の反射パターンの一例を示している。反射マーカは、高反射領域200の内側に低反射領域202を含み、低反射領域201と低反射領域202との間に高反射領域200が存在している。このような反射パターンを有する反射マーカを用いることで、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。   FIG. 20 shows an example of a reflection pattern of the retroreflecting material 40 according to the present embodiment. The reflection marker includes a low reflection region 202 inside the high reflection region 200, and the high reflection region 200 exists between the low reflection region 201 and the low reflection region 202. By using a reflection marker having such a reflection pattern, it is possible to provide a more robust reflection pattern detection method with fewer false detections.

図21は、本実施形態による画像処理回路306の処理の手順を示している。画像処理回路306は、第1および第2の実施形態で説明したコーナ検出法またはエッジ検出法を用いて少なくとも1つのフレーム画像から複数の特徴点を抽出する(ステップS32、S35)。複数の特徴点は、コーナ検出法を用いた場合には複数のコーナに相当し、エッジ検出法を用いた場合には複数のエッジに相当する。   FIG. 21 shows a processing procedure of the image processing circuit 306 according to the present embodiment. The image processing circuit 306 extracts a plurality of feature points from at least one frame image using the corner detection method or the edge detection method described in the first and second embodiments (steps S32 and S35). The plurality of feature points correspond to a plurality of corners when the corner detection method is used, and correspond to a plurality of edges when the edge detection method is used.

(ステップS36)
画像処理回路306は、複数の特徴点の任意の組み合わせから得られる、高反射領域200と同一の形状を有する複数のパターンの中から、輝度値の小さい順に反射パターンの候補となる複数の第1候補パターンを抽出する。
(Step S36)
The image processing circuit 306 obtains a plurality of first reflection patterns that are obtained from an arbitrary combination of a plurality of feature points and that are candidates for a reflection pattern in descending order of luminance value from a plurality of patterns having the same shape as the high reflection region 200. Extract candidate patterns.

図22は、低反射領域202に対応した画像内の領域の内側領域およびそれを囲む外側領域を示している。図示される内側領域および外側領域の配置は、図13に示される配置とは逆である。例えば画像処理回路306は、複数の特徴点の任意の組み合わせから得られる複数のパターンの中から、各パターンの内側領域および外側領域の各輝度値の平均を算出する。本実施形態では、各第1候補パターンの内側領域の輝度値は外側領域の輝度値よりも低い。この関係に着目して、画像処理回路306は、ROM302に予め保持された閾値と各領域の平均値とを比較することで、それぞれの平均値が閾値以上を満たすパターンを抽出する。その中から、外側領域および内側領域の各輝度値の差が大きい順に複数の第1候補パターンを抽出する。   FIG. 22 shows the inner region of the region in the image corresponding to the low reflection region 202 and the outer region surrounding it. The arrangement of the inner area and the outer area shown in the figure is opposite to the arrangement shown in FIG. For example, the image processing circuit 306 calculates an average of the luminance values of the inner area and the outer area of each pattern from a plurality of patterns obtained from an arbitrary combination of a plurality of feature points. In the present embodiment, the luminance value of the inner area of each first candidate pattern is lower than the luminance value of the outer area. Focusing on this relationship, the image processing circuit 306 compares the threshold value stored in advance in the ROM 302 with the average value of each region, and extracts a pattern in which each average value satisfies the threshold value or more. Among them, a plurality of first candidate patterns are extracted in descending order of the difference in luminance value between the outer region and the inner region.

(ステップS37)
画像処理回路306は、複数の第1候補パターンにそれぞれ対応する複数の第2候補パターンを特定する。複数の第1候補パターンの各々と1対1で対応した複数の第2候補パターンの各々は、その各第1候補パターンを取り囲む。また各第2候補パターンは高反射領域200と同一の形状を有している。画像処理回路306は、コーナ検出を行う場合、複数の特徴点(コーナ点)から選ばれた3点のうち2点を結ぶ線分が輝度値の高い領域(図21の外側領域)または輝度値の低い領域(図21の内側領域)に交わらないように第2候補パターンを抽出する。画像処理回路306は、エッジ検出を行う場合、検出された直線が輝度値の高い領域または輝度値の低い領域に交わらないように第2候補パターンを抽出する。
(Step S37)
The image processing circuit 306 specifies a plurality of second candidate patterns respectively corresponding to the plurality of first candidate patterns. Each of the plurality of second candidate patterns that correspond one-to-one with each of the plurality of first candidate patterns surrounds each of the first candidate patterns. Each second candidate pattern has the same shape as the high reflection region 200. When the corner detection is performed, the image processing circuit 306 has a region where the line segment connecting two points selected from a plurality of feature points (corner points) has a high luminance value (outer region in FIG. 21) or a luminance value. The second candidate pattern is extracted so as not to cross the low region (inner region in FIG. 21). When performing edge detection, the image processing circuit 306 extracts the second candidate pattern so that the detected straight line does not intersect with a region with a high luminance value or a region with a low luminance value.

(ステップS34)
画像処理回路306は、複数の第1候補パターンおよび複数の第2候補パターンの領域に関する情報に基づいて、複数のフレーム画像のうち少なくとも1つにおける反射パターンを特定する。例えば各候補パターンの領域に関する情報は、それらの領域の輝度値や面積の情報であり得る。以下、具体例を説明する。
(Step S34)
The image processing circuit 306 specifies a reflection pattern in at least one of the plurality of frame images based on information regarding the regions of the plurality of first candidate patterns and the plurality of second candidate patterns. For example, the information regarding the areas of the candidate patterns may be information on the luminance values and areas of those areas. Specific examples will be described below.

画像処理回路306は、各第1候補パターンと、複数の第2候補パターンのうちそれに対応した各第2候補パターンとを用いる。画像処理回路306は、各第1候補パターンの内側領域の輝度値と各第2候補パターンの内側領域の輝度値との差分に基づいて複数のパターンの中から反射パターンを特定することができる。ただし、各第1候補パターン内の輝度値が低い領域の各頂点の座標は予め分かっているので、各第2候補パターン内の輝度値が高い領域から各第1候補パターンのその領域を除いて各第2候補パターンの内側領域の輝度値を計算する。または、画像処理回路306は、各第1候補パターンと、各第1候補パターンの内側領域の面積と各第2候補パターンの内側領域の面積との比率に基づいて複数のパターンの中から反射パターンを特定することもできる。   The image processing circuit 306 uses each first candidate pattern and each second candidate pattern corresponding thereto among the plurality of second candidate patterns. The image processing circuit 306 can specify a reflection pattern from a plurality of patterns based on the difference between the luminance value of the inner area of each first candidate pattern and the luminance value of the inner area of each second candidate pattern. However, since the coordinates of each vertex of the low brightness value area in each first candidate pattern are known in advance, the area of each first candidate pattern is excluded from the high brightness value area in each second candidate pattern. The brightness value of the inner area of each second candidate pattern is calculated. Alternatively, the image processing circuit 306 reflects the reflection pattern from a plurality of patterns based on the ratio of each first candidate pattern and the area of the inner area of each first candidate pattern and the area of the inner area of each second candidate pattern. Can also be specified.

本実施形態によると、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。   According to the present embodiment, it is possible to provide a more robust reflection pattern detection method with fewer false detections.

本明細書は、以下の項目に記載の計測システム、被験体の呼吸に起因する生体活動の計測方法およびコンピュータプログラムを開示している。   The present specification discloses a measurement system described in the following items, a measurement method of a biological activity caused by respiration of a subject, and a computer program.

〔項目1〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記画像処理回路は、
前記撮像装置から前記動画像を受け取り、コーナ検出法およびエッジ検出法の少なくとも1つを用いて、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定し、
前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
項目1に記載の計測システムによると、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
[Item 1]
A light source that emits light;
An imaging device that receives the light and generates a moving image;
An image processing circuit for measuring a subject's biological activity using the moving image, and a measurement system comprising:
A retroreflective material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region is disposed at a position where body movement associated with the subject's breathing occurs, and is directed from the light source toward the subject. When the light is emitted,
The imaging device receives reflected light reflected by the retroreflecting material at a plurality of times, and generates the moving image composed of a plurality of time-series frame images,
The image processing circuit includes:
Receiving the moving image from the imaging device, and using at least one of a corner detection method and an edge detection method to identify a coordinate position of the reflection pattern in at least one frame image of the plurality of frame images;
A partial area is designated in each frame image based on the coordinate position of the reflection pattern, and a biological activity caused by the breathing of the subject is determined based on a change in luminance value of the partial area over the plurality of frame images. Measuring system to measure.
According to the measurement system described in Item 1, it is possible to improve the robustness against the influence of the surrounding environment by using the retroreflecting material having a specific reflection pattern and the specific image processing algorithm.

〔項目2〕
前記画像処理回路は、
前記コーナ検出法を用いて前記少なくとも1つのフレーム画像から複数のコーナを抽出し、
前記複数のコーナの任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、項目1に記載の計測システム。
項目2に記載の計測システムによると、コーナ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。
[Item 2]
The image processing circuit includes:
Extracting a plurality of corners from the at least one frame image using the corner detection method;
Extracting a plurality of candidate patterns that are candidates for the reflection pattern from a plurality of patterns having the same shape as the high reflection region, obtained from any combination of the plurality of corners,
A feature amount is calculated based on at least one brightness value of a brightness value of an inner area of each candidate pattern and a brightness value of an outer area surrounding the inner area, and the reflection pattern is selected from the plurality of candidate patterns. Item 2. The measurement system according to Item 1, which is specified based on
According to the measurement system described in Item 2, the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image can be reduced by using the image processing algorithm for corner detection.

〔項目3〕
前記画像処理回路は、
前記エッジ検出法を用いて前記少なくとも1つのフレーム画像から複数のエッジを抽出し、前記複数のエッジの情報を含む画像をハフ変換して直線検出を行い、
検出された複数の直線の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、前記反射パターンの候補となる複数の候補パターンを抽出し、
各候補パターンの内側領域の輝度値および前記内側領域を囲む外側領域の輝度値の少なくとも1つの輝度値に基づいて特徴量を算出し、前記複数の候補パターンの中から前記反射パターンを前記特徴量に基づいて特定する、項目1に記載の計測システム。
項目3に記載の計測システムによると、エッジ検出の画像処理アルゴリズムを利用することで、フレーム画像内の反射パターンの座標位置を特定する演算量を低減することができる。コーナ検出法では正確に反射パターンを検出できない場合でも、正確に反射パターンを検出することができる。
[Item 3]
The image processing circuit includes:
Extracting a plurality of edges from the at least one frame image using the edge detection method, performing line detection by performing Hough transform on the image including the information of the plurality of edges,
From a plurality of patterns having the same shape as the highly reflective region, obtained from an arbitrary combination of a plurality of detected straight lines, extract a plurality of candidate patterns that are candidates for the reflective pattern,
A feature amount is calculated based on at least one brightness value of a brightness value of an inner area of each candidate pattern and a brightness value of an outer area surrounding the inner area, and the reflection pattern is selected from the plurality of candidate patterns. Item 2. The measurement system according to Item 1, which is specified based on
According to the measurement system described in Item 3, the amount of calculation for specifying the coordinate position of the reflection pattern in the frame image can be reduced by using an image processing algorithm for edge detection. Even when the reflection pattern cannot be accurately detected by the corner detection method, the reflection pattern can be accurately detected.

〔項目4〕
前記画像処理回路は、前記各候補パターンの前記内側領域の輝度値の平均または分散を前記特徴量として算出する、項目2または3に記載の計測システム。
項目4に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 4]
4. The measurement system according to item 2 or 3, wherein the image processing circuit calculates an average or variance of luminance values of the inner region of each candidate pattern as the feature amount.
According to the measurement system described in Item 4, it is possible to provide a variation of the feature amount calculation method.

〔項目5〕
前記画像処理回路は、前記各候補パターンの前記外側領域の輝度値の平均または分散を前記特徴量として算出する、項目2または3に記載の計測システム。
項目5に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 5]
4. The measurement system according to item 2 or 3, wherein the image processing circuit calculates an average or variance of luminance values of the outer area of each candidate pattern as the feature amount.
According to the measurement system described in Item 5, it is possible to provide a variation of the feature amount calculation method.

〔項目6〕
前記画像処理回路は、前記各候補パターンの前記内側領域の輝度値の平均と前記外側領域の輝度値の平均との差分、または前記内側領域の輝度値の分散と前記外側領域の輝度値の分散との差分を前記特徴量として算出する、項目2または3に記載の計測システム。
項目6に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 6]
The image processing circuit may calculate a difference between an average luminance value of the inner area and an average luminance value of the outer area of each candidate pattern, or a distribution of luminance values of the inner area and a luminance value of the outer area. 4. The measurement system according to item 2 or 3, wherein the difference is calculated as the feature amount.
According to the measurement system described in item 6, it is possible to provide a variation of the feature amount calculation method.

〔項目7〕
前記高反射領域は多角形状を有し、
前記各候補パターンの前記外側領域は、各々が前記高反射領域に対応した前記内側領域の各辺にそれぞれ対応した複数の分割領域を含み、
前記画像処理回路は、前記複数の分割領域から選択される2つの分割領域の各輝度値の平均または分散の差分を前記特徴量として算出する、項目2または3に記載の計測システム。
項目7に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 7]
The highly reflective region has a polygonal shape;
The outer region of each candidate pattern includes a plurality of divided regions each corresponding to each side of the inner region corresponding to the highly reflective region,
4. The measurement system according to item 2 or 3, wherein the image processing circuit calculates, as the feature amount, an average or variance difference between luminance values of two divided regions selected from the plurality of divided regions.
According to the measurement system described in item 7, it is possible to provide a variation of the feature amount calculation method.

〔項目8〕
前記高反射領域は、第1、第2および第3の辺を有する三角形状の領域であり、前記内側領域は前記高反射領域に対応しており、
前記各候補パターンの前記外側領域は、前記第1の辺に対応した第1の分割領域、前記第2の辺に対応した第2の分割領域および前記第3の辺に対応した第3の分割領域を含み、
前記画像処理回路は、前記第1および第2の分割領域の各輝度値の平均または分散の差分、前記第2および第3の分割領域の各輝度値の平均または分散の差分、および前記第1および第3の分割領域の各輝度値の平均または分散の差分の少なくとも1つを前記特徴量として算出する、項目2または3に記載の計測システム。
項目8に記載の計測システムによると、特徴量の算出法のバリエーションを提供できる。
[Item 8]
The high reflection region is a triangular region having first, second, and third sides, and the inner region corresponds to the high reflection region,
The outer area of each candidate pattern includes a first divided area corresponding to the first side, a second divided area corresponding to the second side, and a third divided area corresponding to the third side. Including areas,
The image processing circuit includes an average or variance difference between the luminance values of the first and second divided regions, an average or variance difference between the luminance values of the second and third divided regions, and the first 4. The measurement system according to item 2 or 3, wherein at least one of an average or variance difference of each luminance value of the third divided region is calculated as the feature amount.
According to the measurement system described in item 8, a variation of the feature amount calculation method can be provided.

〔項目9〕
前記反射パターンは、前記高反射領域の内側にさらなる低反射領域を含み、前記低反射領域と前記さらなる低反射領域との間に前記高反射領域が存在している、項目1に記載の計測システム。
項目9に記載の計測システムによると、より誤検出が少なく、よりロバストな反射パターンの検出方法を提供できる。
[Item 9]
The measurement system according to item 1, wherein the reflection pattern includes a further low reflection area inside the high reflection area, and the high reflection area exists between the low reflection area and the further low reflection area. .
According to the measurement system described in item 9, it is possible to provide a more robust reflection pattern detection method with fewer false detections.

〔項目10〕
前記画像処理回路は、
前記コーナ検出法または前記エッジ検出法を用いて前記少なくとも1つのフレーム画像から複数の特徴点を抽出し、
前記複数の特徴点の任意の組み合わせから得られる、前記高反射領域と同一の形状を有する複数のパターンの中から、輝度値の小さい順に前記反射パターンの候補となる複数の第1候補パターンを抽出し、かつ、前記複数の第1候補パターンにそれぞれ対応する複数の第2候補パターンであって、前記複数の第1候補パターンの各々を囲み、前記高反射領域と同一の形状を有する複数の第2候補パターンを抽出し、
前記複数の第1候補パターンおよび複数の第2候補パターンの領域に関する情報に基づいて、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの前記座標位置を特定する、項目9に記載の計測システム。
項目10に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
[Item 10]
The image processing circuit includes:
Extracting a plurality of feature points from the at least one frame image using the corner detection method or the edge detection method;
A plurality of first candidate patterns that are candidates for the reflection pattern are extracted from a plurality of patterns having the same shape as the high reflection region obtained from an arbitrary combination of the plurality of feature points in order of increasing luminance value. And a plurality of second candidate patterns respectively corresponding to the plurality of first candidate patterns, the plurality of second candidate patterns surrounding each of the plurality of first candidate patterns and having the same shape as the high reflection region. 2 candidate patterns are extracted,
The item 9, wherein the coordinate position of the reflection pattern in at least one frame image of the plurality of frame images is specified based on information on the regions of the plurality of first candidate patterns and the plurality of second candidate patterns. Measurement system.
According to the measurement system described in item 10, it is possible to provide a variation of the specifying method for specifying the coordinate position of the reflection pattern.

〔項目11〕
前記画像処理回路は、
各第1候補パターンと、前記複数の第2候補パターンのうち前記各第1候補パターンに対応した各第2候補パターンとを用いて、前記各第1候補パターンの内側領域の輝度値と、前記各第2候補パターンの内側領域から前記各第1候補パターンの内側領域を除いた領域の輝度値と、の差分に基づいて前記複数のパターンの中から前記反射パターンを特定する、項目10に記載の計測システム。
項目11に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
[Item 11]
The image processing circuit includes:
Using each first candidate pattern and each second candidate pattern corresponding to each first candidate pattern among the plurality of second candidate patterns, the luminance value of the inner region of each first candidate pattern, Item 10. The reflection pattern is specified from among the plurality of patterns based on a difference between a luminance value of an area obtained by excluding an inner area of each first candidate pattern from an inner area of each second candidate pattern. Measurement system.
According to the measurement system described in item 11, a variation of the specifying method for specifying the coordinate position of the reflection pattern can be provided.

〔項目12〕
前記画像処理回路は、
各第1候補パターンと、前記複数の第2候補パターンのうち前記各第1候補パターンに対応した各第2候補パターンとを用いて、前記各第1候補パターンの内側領域の面積と前記各第2候補パターンの内側領域の面積との比率に基づいて前記複数のパターンの中から前記反射パターンを特定する、項目10に記載の計測システム。
項目12に記載の計測システムによると、反射パターンの座標位置を特定する特定方法のバリエーションを提供できる。
[Item 12]
The image processing circuit includes:
Using each first candidate pattern and each second candidate pattern corresponding to each first candidate pattern among the plurality of second candidate patterns, the area of the inner region of each first candidate pattern and each of the second candidate patterns Item 11. The measurement system according to Item 10, wherein the reflection pattern is specified from the plurality of patterns based on a ratio with the area of the inner region of the two candidate patterns.
According to the measurement system described in Item 12, it is possible to provide a variation of the specifying method for specifying the coordinate position of the reflection pattern.

〔項目13〕
前記被験体の呼吸に起因する生体活動の計測結果を表示する表示装置をさらに備え、
前記表示装置は、前記被験体の呼吸数、前記呼吸数のトレンドを示す波形、前記動画像、および計測システムの状態を表すシステム情報を表示し、さらに、前記動画像の中に前記反射パターンおよび前記部分領域を特定する枠を表示する、項目1から12のいずれかに記載の計測システム。
項目13に記載の計測システムによると、測定システムのオペレータは正確に反射マーカが認識されていることを表示装置上で確認することができる。
[Item 13]
Further comprising a display device for displaying a measurement result of the biological activity resulting from the breathing of the subject,
The display device displays the respiratory rate of the subject, a waveform indicating the trend of the respiratory rate, the moving image, and system information indicating the state of a measurement system, and further includes the reflection pattern and the moving image in the moving image. 13. The measurement system according to any one of items 1 to 12, wherein a frame for specifying the partial area is displayed.
According to the measurement system described in Item 13, the operator of the measurement system can confirm on the display device that the reflection marker is accurately recognized.

〔項目14〕
(a)被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材を配置した前記被験体に向けて光を照射するステップ、
(b)前記ステップ(a)で照射した前記光が前記再帰性反射材で反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成するステップ、
(c)コーナ検出法およびエッジ検出法の少なくとも1つを用いて、前記ステップ(b)で生成した前記動画像を構成する前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定するステップ、
(d)前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップを含む、計測方法。
項目14に記載の計測方法によると、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
[Item 14]
(A) Light is directed toward the subject in which a retroreflective material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region is disposed at a generation position of body movement accompanying breathing of the subject. Irradiating step,
(B) The reflected light reflected by the retroreflecting material is received at a plurality of times at the light irradiated in the step (a), and the moving image composed of a plurality of time-series frame images is generated. Step,
(C) Using at least one of a corner detection method and an edge detection method, coordinates of the reflection pattern in at least one frame image among the plurality of frame images constituting the moving image generated in the step (b) A step of locating,
(D) Designating a partial area in each frame image based on the coordinate position of the reflection pattern, and resulting from breathing of the subject based on a change in luminance value of the partial area across the plurality of frame images A measurement method including a step of measuring a biological activity.
According to the measurement method described in Item 14, robustness against the influence of the surrounding environment can be improved by using a retroreflecting material having a specific reflection pattern and a specific image processing algorithm.

〔項目15〕
光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
前記動画像を利用して被験体の生体活動を計測する画像処理回路と、
を備えた計測システムにおける前記画像処理回路によって実行されるコンピュータプログラムであって、
前記被験体の呼吸に伴う体動の発生位置に、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンを有する再帰性反射材が配置され、前記光源から前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置によって生成された動画像を受け取るステップであって、前記再帰性反射材で反射された複数の時刻の前記光に基づく時系列の複数のフレーム画像から構成される前記動画像を受け取るステップと、
コーナ検出法およびエッジ検出法の少なくとも1つを用いて、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定するステップと、
前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定し、前記複数のフレーム画像にわたって、前記部分領域の輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測するステップと、
を前記画像処理回路に実行させる、コンピュータプログラム。
項目15に記載のコンピュータプログラムを用いることで、特定の反射パターンを有する再帰性反射材および特定の画像処理アルゴリズムを用いることにより、周囲の環境の影響に対するロバスト性を向上させることができる。
[Item 15]
A light source that emits light;
An imaging device that receives the light and generates a moving image;
An image processing circuit for measuring the biological activity of the subject using the moving image;
A computer program executed by the image processing circuit in a measurement system comprising:
A retroreflective material having a reflection pattern including a high-reflection region and a low-reflection region surrounding the high-reflection region is disposed at a position where body movement accompanying breathing of the subject is performed, from the light source toward the subject When the light is emitted,
Receiving a moving image generated by the imaging device, the moving image including a plurality of time-series frame images based on the light at a plurality of times reflected by the retroreflecting material; When,
Identifying a coordinate position of the reflection pattern in at least one of the plurality of frame images using at least one of a corner detection method and an edge detection method;
A partial area is designated in each frame image based on the coordinate position of the reflection pattern, and a biological activity caused by the breathing of the subject is determined based on a change in luminance value of the partial area over the plurality of frame images. Measuring step,
A computer program for causing the image processing circuit to execute.
By using the computer program described in Item 15, it is possible to improve robustness against the influence of the surrounding environment by using a retroreflecting material having a specific reflection pattern and a specific image processing algorithm.

本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。   INDUSTRIAL APPLICABILITY The present invention can be used as a method for analyzing a moving image obtained by photographing a subject and measuring a subject's life activity, particularly the number of breaths, in a non-contact manner. The present invention can also be used as an apparatus, system, and computer program for analyzing such moving images and measuring life activity.

1 被験者
10 カメラ
20 光源
30 情報処理装置
32 ディスプレイ
40 再帰性反射材
100 生体活動計測システム
200 高反射領域
201、202 低反射領域
204A 第1の分割領域
204B 第2の分割領域
204C 第3の分割領域
301 CPU
302 ROM
303 RAM
304 HDD
305 I/F
306 画像処理回路
DESCRIPTION OF SYMBOLS 1 Test subject 10 Camera 20 Light source 30 Information processing apparatus 32 Display 40 Retroreflective material 100 Life activity measurement system 200 High reflection area 201, 202 Low reflection area 204A 1st division area 204B 2nd division area 204C 3rd division area 301 CPU
302 ROM
303 RAM
304 HDD
305 I / F
306 Image processing circuit

Claims (18)

光を放射する光源と、
前記光を受けて動画像を生成する撮像装置と、
を備えた計測システムであって、
前記被験体の呼吸に伴う体動の発生位置に、反射マーカが配置され、前記光源から、前記被験体に向けて前記光が放射されたときにおいて、
前記撮像装置は、前記反射マーカで反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
前記動画像に基づいて前記被験体の呼吸に起因する生体活動を計測する、計測システム。
A light source that emits light;
An imaging device that receives the light and generates a moving image;
A measuring system comprising:
When a reflection marker is disposed at a position where body movement occurs due to breathing of the subject, and the light is emitted from the light source toward the subject,
The imaging device receives reflected light reflected by the reflective marker at a plurality of times, and generates the moving image composed of a plurality of time-series frame images,
A measurement system for measuring a biological activity resulting from respiration of the subject based on the moving image.
前記反射マーカは、所定の反射パターンを有する、請求項1に記載の計測システム。   The measurement system according to claim 1, wherein the reflection marker has a predetermined reflection pattern. 前記反射マーカは、再帰性反射材からなる、請求項1または2に記載の計測システム。   The measurement system according to claim 1, wherein the reflective marker is made of a retroreflecting material. 前記反射パターンは、高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンである、請求項2または3に記載の計測システム。   The measurement system according to claim 2, wherein the reflection pattern is a reflection pattern including a high reflection region and a low reflection region surrounding the high reflection region. 前記動画像に基づいて前記被験体の呼吸に起因する生体活動を計測することが、前記複数のフレーム画像にわたって、輝度値の変化に基づいて前記被験体の呼吸に起因する生体活動を計測することからなる、請求項1ないし4のいずれかに記載の計測システム。   Measuring the biological activity resulting from the breathing of the subject based on the moving image measures the biological activity resulting from the breathing of the subject based on a change in luminance value over the plurality of frame images. The measurement system according to claim 1, comprising: 前記動画像を利用して被験体の生体活動を計測する画像処理回路をさらに備え、
前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定する、請求項2ないし5のいずれかに記載の計測システム。
Further comprising an image processing circuit for measuring a subject's biological activity using the moving image;
The said image processing circuit receives the said moving image from the said imaging device, and specifies the coordinate position of the said reflection pattern in at least 1 frame image among these several frame images. Measuring system.
前記画像処理回路は、前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定する、請求項6に記載の計測システム。   The measurement system according to claim 6, wherein the image processing circuit designates a partial region in each frame image based on the coordinate position of the reflection pattern. 前記輝度値の変化は、前記部分領域の輝度値の変化である、請求項7に記載の計測システム。   The measurement system according to claim 7, wherein the change in the brightness value is a change in the brightness value of the partial region. 前記反射マーカにおける反射パターンは、前記高反射領域の内側に低反射領域を含む反射パターンである、請求項4ないし8のいずれかに記載の計測システム。   The measurement system according to claim 4, wherein the reflection pattern in the reflection marker is a reflection pattern including a low reflection region inside the high reflection region. 前記反射マーカにおける反射パターンは、前記高反射領域の内側に低反射領域に囲まれた高反射領域を含む反射パターンである、請求項4ないし8のいずれかに記載の計測システム。   The measurement system according to claim 4, wherein the reflection pattern in the reflection marker is a reflection pattern including a high reflection region surrounded by a low reflection region inside the high reflection region. 計測システムで実行されるコンピュータプログラムであって、
前記計測システムのプロセッサまたは処理回路に、
被験体の呼吸に伴う体動の発生位置に配置された反射マーカで反射された反射光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される動画像を生成するステップ(a)と、
前記動画像に基づいて前記被験体の呼吸に起因する生体活動を計測するステップ(b)を実行させる、コンピュータプログラム。
A computer program executed in a measurement system,
In the processor or processing circuit of the measurement system,
A step of receiving a reflected light reflected by a reflective marker arranged at a position where a body motion accompanying breathing of the subject is received at a plurality of times and generating a moving image composed of a plurality of time-series frame images (a )When,
The computer program which performs the step (b) which measures the biological activity resulting from the said subject's respiration based on the said moving image.
前記反射マーカは、所定の反射パターンを有する、請求項11に記載のコンピュータプログラム。   The computer program according to claim 11, wherein the reflection marker has a predetermined reflection pattern. 前記反射マーカは、再帰性反射材からなる、請求項11または12に記載のコンピュータプログラム。   The computer program according to claim 11, wherein the reflective marker is made of a retroreflective material. 前記反射パターンは高反射領域および前記高反射領域を囲む低反射領域を含む反射パターンである、請求項12または13に記載のコンピュータプログラム。   The computer program according to claim 12 or 13, wherein the reflection pattern is a reflection pattern including a high reflection region and a low reflection region surrounding the high reflection region. 前記ステップ(a)で生成した前記動画像を構成する前記複数のフレーム画像にわたって、輝度値の変化を監視するステップ(c)をさらに実行させ、
前記ステップ(b)は、前記ステップ(c)で監視する前記輝度値の変化で前記被検体の呼吸に起因する生体活動を計測する、請求項11ないし14のいずれかに記載のコンピュータプログラム。
Further executing step (c) of monitoring a change in luminance value over the plurality of frame images constituting the moving image generated in step (a),
The computer program according to any one of claims 11 to 14, wherein the step (b) measures a biological activity caused by respiration of the subject by a change in the luminance value monitored in the step (c).
前記ステップ(a)で生成した前記動画像を受け取り、当該動画像を構成する前記複数のフレーム画像のうち少なくとも1つのフレーム画像における前記反射パターンの座標位置を特定するステップ(d)をさらに実行させる、請求項12ないし15のいずれかに記載のコンピュータプログラム。   Receiving the moving image generated in the step (a), and further executing a step (d) of specifying a coordinate position of the reflection pattern in at least one frame image among the plurality of frame images constituting the moving image. The computer program according to any one of claims 12 to 15. 前記ステップ(d)で特定した前記反射パターンの前記座標位置に基づいて各フレーム画像内で部分領域を指定するステップ(e)をさらに実行させる、請求項16に記載のコンピュータプログラム。   The computer program according to claim 16, further comprising a step (e) of designating a partial region in each frame image based on the coordinate position of the reflection pattern specified in the step (d). 前記ステップ(c)で監視する前記輝度値の変化は、前記部分領域の輝度値の変化である、請求項17に記載のコンピュータプログラム。   The computer program according to claim 17, wherein the change in the luminance value monitored in step (c) is a change in the luminance value of the partial region.
JP2016172401A 2016-09-05 2016-09-05 Measuring system and computer program Pending JP2016214937A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016172401A JP2016214937A (en) 2016-09-05 2016-09-05 Measuring system and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016172401A JP2016214937A (en) 2016-09-05 2016-09-05 Measuring system and computer program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015102726A Division JP6002811B1 (en) 2015-05-20 2015-05-20 Measuring system, measuring method of biological activity resulting from breathing of subject, and computer program

Publications (1)

Publication Number Publication Date
JP2016214937A true JP2016214937A (en) 2016-12-22

Family

ID=57577807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016172401A Pending JP2016214937A (en) 2016-09-05 2016-09-05 Measuring system and computer program

Country Status (1)

Country Link
JP (1) JP2016214937A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019208737A (en) * 2018-06-01 2019-12-12 インテリジェンスファクトリー合同会社 Surgery support marker and surgery support system
JP2020021456A (en) * 2018-08-03 2020-02-06 深▲セン▼▲衆▼▲リー▼▲電▼力科技有限公司 Monitoring alarm system
CN113796853A (en) * 2020-06-16 2021-12-17 广州印芯半导体技术有限公司 Optical image comparison system and comparison method thereof
JP7555496B2 (en) 2021-01-15 2024-09-24 エヌイーシー ラボラトリーズ アメリカ インク Road traffic extraction for unknown anomaly detection using distributed optical fiber sensing

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019208737A (en) * 2018-06-01 2019-12-12 インテリジェンスファクトリー合同会社 Surgery support marker and surgery support system
JP7125049B2 (en) 2018-06-01 2022-08-24 インテリジェンスファクトリー合同会社 Surgery support marker and surgery support system
JP2020021456A (en) * 2018-08-03 2020-02-06 深▲セン▼▲衆▼▲リー▼▲電▼力科技有限公司 Monitoring alarm system
CN113796853A (en) * 2020-06-16 2021-12-17 广州印芯半导体技术有限公司 Optical image comparison system and comparison method thereof
JP7555496B2 (en) 2021-01-15 2024-09-24 エヌイーシー ラボラトリーズ アメリカ インク Road traffic extraction for unknown anomaly detection using distributed optical fiber sensing

Similar Documents

Publication Publication Date Title
US10595732B2 (en) Pulse wave detection device and pulse wave detection program
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
JP6109357B2 (en) Information processing apparatus, information processing method, and program
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
JP6544244B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP5127531B2 (en) Image monitoring device
US9842392B2 (en) Device, system and method for skin detection
JP5715863B2 (en) Image processing device
US11666247B2 (en) Method, device and computer program for capturing optical image data of patient surroundings and for identifying a patient check-up
JP2016214937A (en) Measuring system and computer program
US9672422B2 (en) Pupil detection device and pupil detection method
WO2017047734A1 (en) Measurement device
TW201415415A (en) Target object detection device, method for detecting target object, and program
CN107766784A (en) A kind of novel video people counting algorithm
JP6244960B2 (en) Object recognition apparatus, object recognition method, and object recognition program
WO2010010926A1 (en) Feature-point tracking method and feature-point tracking device
JP6002811B1 (en) Measuring system, measuring method of biological activity resulting from breathing of subject, and computer program
EP3671541B1 (en) Classification of glints using an eye tracking system
JP6280650B2 (en) Measuring method and measuring system of life activity caused by breathing of subject
JP2021058361A (en) Biological information acquisition device and program
US20210244270A1 (en) Visual performance examination device, visual performance examination method, and computer program
JP2017079811A (en) Measurement system
JP6155106B2 (en) Image sensor
JP6185090B2 (en) Measuring system
WO2024181108A1 (en) Monitoring system, monitoring method, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170607