JP6521845B2 - Device and method for measuring periodic fluctuation linked to heart beat - Google Patents
Device and method for measuring periodic fluctuation linked to heart beat Download PDFInfo
- Publication number
- JP6521845B2 JP6521845B2 JP2015228248A JP2015228248A JP6521845B2 JP 6521845 B2 JP6521845 B2 JP 6521845B2 JP 2015228248 A JP2015228248 A JP 2015228248A JP 2015228248 A JP2015228248 A JP 2015228248A JP 6521845 B2 JP6521845 B2 JP 6521845B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- signal
- subject
- pulse rate
- pulse wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、被験者の顔の画像から被験者の脈拍数や脈波信号等、心拍に連動する周期的変動を計測する計測装置とその計測方法に関し、顔が動いても、顔に当たる光が変化しても精確に計測できるようにしたものである。 The present invention relates to a measuring apparatus and method for measuring periodic fluctuations linked to the heart rate, such as the subject's pulse rate and pulse wave signals, from the image of the subject's face, and the light striking the face changes even if the face moves. However, it is possible to measure accurately.
被験者の顔を撮影した画像から被験者の脈拍数や呼吸数を計測する技術は従来から知られている。例えば、下記特許文献1には、撮像手段で撮像した被験者の顔画像から、顔面の興味領域(ROI:Region of interest)の平均輝度を算出して、この輝度を興味領域の位置や顔向きに基づいて補正し、補正した輝度の時間的変化の波形から被験者の脈拍数を算出することが記載されている。 Techniques for measuring a subject's pulse rate and respiration rate from an image of the subject's face are known in the prior art. For example, in Patent Document 1 below, the average luminance of the region of interest (ROI) of the face is calculated from the face image of the subject imaged by the imaging means, and this luminance is used as the position or face direction of the region of interest. It is described that the subject's pulse rate is calculated from the waveform of the temporal change of the luminance corrected based on the correction.
また、下記非特許文献1には、顔のROIを撮影したビデオ信号をR,G,Bの成分から成る3つの信号に分解し、これらの信号から、独立成分分析(ICA:Independent Component Analysis)を用いて心拍に対応する脈波信号(PG(plethysmograph)signal)を抽出する方法が記載されている。 Also, in Non-Patent Document 1 below, a video signal obtained by capturing the face ROI is decomposed into three signals consisting of R, G and B components, and from these signals, Independent Component Analysis (ICA: Independent Component Analysis) A method of extracting a pulse wave signal (PG (plethysmograph) signal) corresponding to a heart beat using
また、下記非特許文献2には、被験者の顔のビデオ画像から被験者の脈拍数を測定する際に、照明の変動による測定精度の低下を防ぐため、背景の濃度の変動を利用して照明変動の影響を除く方法が記載されている。 In addition, in Non-Patent Document 2 described below, when measuring the pulse rate of the subject from the video image of the subject's face, the illumination variation is utilized by utilizing the variation of the background density to prevent the decrease in measurement accuracy due to the illumination variation. The method of excluding the influence of is described.
被験者の顔の画像から脈拍数や脈波信号を計測する装置では、撮影の際の背景や照明、顔の動き等に制約されずに、被験者の顔をカメラで撮影するだけで精確に計測できることが望ましい。
しかし、特許文献1及び非特許文献1、2に記載された技術では、顔画像に設定したROIに含まれる多数の画素の平均値化したデータを用いて脈拍等を算出しているため、高精度の計測結果を得ることが難しい。
また、ICAを用いる非特許文献1の技術では、ROIのビデオ信号から生成したR,G,B成分の信号が、ICAを適用する条件を満たしているかを確かめていないため、抽出したPG信号に誤差が含まれる可能性があり、測定精度の低下が懸念される。
また、非特許文献2の技術を実施するためには、被験者の背景を均一で単純なものにする必要があり、背景についての制約がある。
A device that measures pulse rate and pulse wave signals from the image of the subject's face can accurately measure the subject's face simply by photographing with the camera without being restricted by background, illumination, face movement, etc. Is desirable.
However, in the techniques described in Patent Document 1 and Non-Patent Documents 1 and 2, the pulse and the like are calculated using averaged data of a large number of pixels included in the ROI set in the face image. It is difficult to obtain measurement results of accuracy.
Also, in the technique of Non-Patent Document 1 using ICA, it has not been confirmed whether the R, G and B component signals generated from the video signal of the ROI satisfy the conditions for applying ICA, so An error may be included, and a reduction in measurement accuracy is a concern.
Moreover, in order to implement the technique of Non-Patent Document 2, it is necessary to make the subject's background uniform and simple, and there is a restriction on the background.
本発明は、こうした事情を考慮して創案したものであり、被験者が動いていても、被験者を照らす照明が変化しても、被験者を映すカメラの画像から被験者の脈拍数や脈波信号を精確に計測できる計測装置及び計測方法を提供することを目的としている。 The present invention has been made in consideration of these circumstances, and even if the subject is in motion, even if the illumination illuminating the subject changes, the pulse rate and pulse wave signal of the subject can be accurately determined from the image of the camera showing the subject It is an object of the present invention to provide a measuring device and a measuring method that can measure the
本発明は、被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測装置であって、被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、サンプルの各画像フレームでの位置を追跡し、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、サンプルの輝度信号の対が線形BSS(ブラインド信号源分離)の適用可能条件を満たすと仮定して、この輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形BSS問題を解き、ヘモグロビンが寄与する信号を脈波信号(PG信号)として抽出するサンプル脈波信号抽出部と、サンプル脈波信号抽出部で抽出された各サンプルのPG信号の信頼度を判定する信頼度判定部と、信頼度判定部が信頼できると判定した各サンプルのPG信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、グループ別の数が最大のサンプルの脈拍数に基づいて被験者の周期的変動の計測結果を決定する測定結果決定部と、を備えることを特徴とする。
この計測装置では、所定領域(ROI)から選択した小領域の対をサンプルとして、各サンプルの輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形BSS問題を解き、PG信号を抽出する。このとき、サンプルの輝度信号の対が線形BSSの適用可能条件を満たすと仮定して問題を解くが、得られたPG信号の信頼度を判定し、信頼度の低いサンプルのPG信号を計測結果の算出から外しているため、結果的に線形BSSの適用可能条件への適合が担保されることになる。
The present invention is a measuring device that measures periodic fluctuation linked to the heart rate of a subject from an image of the face of the subject, and a pair of small areas consisting of a plurality of pixels from a predetermined area set in the image of the face of the subject. A sample selection unit for selecting a plurality of samples, a sample luminance signal acquisition unit for tracking the position of each sample in each image frame, and acquiring a pair of temporally displaced luminance signals of each sample from pixel values at that position; Assuming that the luminance signal pair of the sample satisfies the applicability of linear BSS (blind source separation), a signal mainly contributed by skin melanin from this luminance signal pair and a signal contributed by blood vessel hemoglobin And a sample pulse wave signal extraction unit that solves a linear BSS problem to estimate and that a signal contributed by hemoglobin is extracted as a pulse wave signal (PG signal); A reliability determination unit that determines the reliability of the extracted PG signal of each sample; a sample data calculation unit that calculates the pulse rate of each sample from the PG signal of each sample determined to be reliable by the reliability determination unit; A sample data grouping unit that sorts the pulse rate of each sample calculated by the sample data calculation unit into groups, and a measurement result of determining the measurement result of the periodic fluctuation of the subject based on the pulse rate of the sample with the largest number of groups. And a determination unit.
In this measuring device, using a pair of small regions selected from a predetermined region (ROI) as a sample, "a signal mainly contributed by melanin in skin" and "a signal contributed by hemoglobin in blood vessels" from a pair of luminance signals of each sample Solve the linear BSS problem to estimate and extract the PG signal. At this time, the problem is solved assuming that the luminance signal pair of the sample satisfies the applicable condition of linear BSS, but the reliability of the obtained PG signal is determined, and the PG signal of the low reliability sample is measured. As a result, compliance with the applicable condition of linear BSS is secured.
また、本発明の計測装置では、小領域を四角形とし、この四角形の一辺が、顔の横幅の画素数の約10〜20%の画素数の大きさとすることが望ましい。
小領域が大きい程、そこに含まれる各画素のバラツキが平均化されて雑音が減るが、その分、微小な変動が捉えられなくなる。また、小領域が大きい程、平均値を取るための加算回数が増えるので処理時間が長くなる。
Further, in the measuring apparatus of the present invention, it is desirable that the small area be a quadrangle, and one side of the quadrangle be a size of about 10 to 20% of the number of pixels of the face width.
As the small area is larger, the variation of each pixel included therein is averaged to reduce the noise, but a minute variation can not be caught. Also, as the small area is larger, the number of additions for taking the average value increases, so the processing time becomes longer.
また、本発明の計測装置では、測定結果決定部が、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定し、または、グループ別のサンプルの脈拍数の数が最大となったサンプルのPG信号を平均して被験者のPG信号として決定する。
このように、この装置では、被験者の脈拍数やPG信号を精確に計測することができる。
Further, in the measuring apparatus of the present invention, the measurement result determination unit determines the pulse rate of the sample with the largest number of samples per group as the pulse rate of the subject, or the number of pulse rates of the samples by group becomes the largest. The PG signals of the samples are averaged to determine the PG signal of the subject.
Thus, this apparatus can accurately measure the subject's pulse rate and PG signal.
また、本発明の計測装置では、サンプル選択部が、顔の中で有効なサンプルが得られる有効領域を示す地図を具備し、有効領域の中からサンプルを選択することが望ましい。
こうすることで、無駄なサンプルの選択を減らすことができ、処理時間の短縮が可能になる。
Further, in the measurement apparatus of the present invention, it is desirable that the sample selection unit includes a map indicating an effective area in which an effective sample can be obtained in the face, and selects a sample from the effective area.
In this way, unnecessary sample selection can be reduced, and processing time can be shortened.
また、本発明の計測装置では、サンプルの小領域が複数の画素で構成される場合、サンプル輝度信号取得部は、小領域を構成する複数の画素の画素値を平均してサンプルの輝度信号を得る。
画素の画素値のバラツキに起因する計測結果の誤差を、小領域内の画素の画素値を平均化することで低減できる。
Further, in the measurement apparatus according to the present invention, when the small area of the sample is constituted of a plurality of pixels, the sample luminance signal acquiring unit averages the pixel values of the plurality of pixels constituting the small area to obtain the luminance signal of the sample. obtain.
Errors in measurement results due to variations in pixel values of pixels can be reduced by averaging pixel values of pixels in a small area.
また、本発明の計測装置では、サンプル脈波信号抽出部が、線形BSS問題を解いて得た二つの信号の各々と原信号との平均的ユークリッド距離を算出し、平均的ユークリッド距離が遠い方の信号を“ヘモグロビンが寄与する信号”(=PG信号)として決定する。
メラニンは皮膚の色を決める主要要素であるため、“メラニンが主に寄与する信号”は原信号と類似しており、ユークリッド距離が近い。それに比べて“ヘモグロビンが寄与する信号”の方は距離が遠い。
Further, in the measuring apparatus according to the present invention, the sample pulse wave signal extraction unit calculates an average Euclidean distance between each of two signals obtained by solving the linear BSS problem and the original signal, and the average Euclidean distance is longer. Signal is determined as "a signal contributed by hemoglobin" (= PG signal).
Since melanin is the main factor that determines the color of the skin, the "signal that melanin primarily contributes" is similar to the original signal and the Euclidean distance is close. Compared to that, the "signal contributed by hemoglobin" is far away.
また、本発明の計測装置では、サンプル脈波信号抽出部が、ICA(独立成分分析)の手法を用いて線形BSS問題を解く。
“メラニンが主に寄与する信号”と“ヘモグロビンが寄与する信号”とは独立と見られるため、観測データを独立な成分に分解するICAの手法が適用できる。
Further, in the measurement device of the present invention, the sample pulse wave signal extraction unit solves the linear BSS problem using the ICA (Independent Component Analysis) method.
As “signals mainly contributed by melanin” and “signals contributed by hemoglobin” are considered to be independent, it is possible to apply the ICA method of decomposing observation data into independent components.
また、本発明の計測装置では、信頼度判定部が、サンプルのPG信号のパワースペクトル密度を算出し、最大ピークのパワーと2番目の大きさの第2ピークのパワーとの比rを閾値と比較してPG信号の信頼度を判定する。サンプルデータ算出部は、信頼できると判定されたPG信号の最大ピークに対応する周波数からサンプルの脈拍数を算出する。
この比rから、PG信号の中で最大ピークの周波数が他の周波数に比べてどのくらい主要であるかが分かる。この値rが大きいことはPG信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
Further, in the measurement device of the present invention, the reliability determination unit calculates the power spectral density of the PG signal of the sample, and sets a ratio r of the power of the maximum peak to the power of the second peak of the second magnitude as a threshold. The comparison is made to determine the reliability of the PG signal. The sample data calculation unit calculates the pulse rate of the sample from the frequency corresponding to the maximum peak of the PG signal determined to be reliable.
From this ratio r, it can be understood how dominant the frequency of the maximum peak in the PG signal is in comparison with other frequencies. The fact that the value r is large is that the PG signal has one main frequency, which indicates that the pulse rate obtained from the frequency is highly reliable.
また、本発明の計測装置では、サンプルデータグループ化部が、サンプルデータ算出部でサンプルの脈拍数が算出されるごとに、この脈拍数に対応するヒストグラムの階級の度数を1加算する。測定結果決定部は、度数が最大のヒストグラムの階級に対応する脈拍数を被験者の脈拍数として決定する。
このように、この装置では、サンプルデータの多数決により被験者の脈拍数を決定する。
Further, in the measuring apparatus of the present invention, the sample data grouping unit adds one to the frequency of the class of the histogram corresponding to the pulse rate each time the sample data calculating unit calculates the pulse rate of the sample. The measurement result determination unit determines the pulse rate corresponding to the class of the histogram having the largest frequency as the subject's pulse rate.
Thus, in this device, the subject's pulse rate is determined by majority of sample data.
また、本発明の計測装置では、サンプルデータグループ化部が、サンプルデータ算出部で算出された各サンプルの脈拍数を、被験者の他の周期的変動(心拍変動や呼吸数等)を示す値と関連付けて分類し、測定結果決定部が、最大クラスターのデータを平均して被験者の心拍に連動する周期的変動の計測結果を決定するようにしてしても良い。
こうすることで、健康に関する多くの指標を得ることができる。
Further, in the measuring device according to the present invention, the sample data grouping unit generates the pulse rate of each sample calculated by the sample data calculating unit with a value indicating another periodic fluctuation (such as heart rate fluctuation or respiration rate) of the subject. It is also possible to associate and classify, and the measurement result determination unit may be configured to determine the measurement result of the periodic fluctuation interlocking with the subject's heartbeat by averaging the data of the largest cluster.
By doing this, many indicators related to health can be obtained.
また、本発明の計測装置では、さらに、被験者の顔の画像から被験者の表情を認識する表情認識手段を併せて備えるようにしても良い。
被験者の脈拍の変動と併せて表情の変化を識別することで、被験者が快い状態で高揚しているのか、不快な状態で興奮しているのかが分かる。
Further, the measurement device of the present invention may further include an expression recognition unit that recognizes the expression of the subject from the image of the face of the subject.
By identifying the change in the expression together with the change in the pulse of the subject, it can be determined whether the subject is uplifting in a pleasant state or excited in an unpleasant state.
また、本発明は、被験者の顔の画像から被験者の心拍に連動する周期的変動を計測する計測方法であって、被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、サンプルの各画像フレームでの位置を追跡し、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、サンプルの輝度信号の対が線形BSSの適用可能条件を満たすと仮定して、輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形BSS問題を解き、“ヘモグロビンが寄与する信号”を脈波信号として抽出するサンプル脈波信号抽出ステップと、サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の周期的変動の計測結果を決定する測定結果決定ステップと、を備えることを特徴とする。
この計測方法では、サンプルの輝度信号の対が線形BSSの適用可能条件を満たすと仮定して線形BSS問題を解くが、得られた各サンプルのPG信号の信頼度を判定し、信頼度の低いサンプルのPG信号を計測結果の算出から外しているため、結果的に線形BSSの適用可能条件への適合が担保される。
The present invention is also a measurement method for measuring periodic fluctuation linked to the heart rate of a subject from an image of the face of the subject, which is a small area consisting of a plurality of pixels from a predetermined area set in the image of the face of the subject. Sample selection step of selecting a plurality of pairs as samples, tracking the position of each sample in each image frame, and acquiring a pair of luminance signals of temporally displaced samples of each sample from the pixel value of the position Assuming that the step and the luminance signal pair of the sample satisfy the application condition of linear BSS, “signal mainly contributed by skin melanin” and “signal contributed by blood vessel hemoglobin” from the luminance signal pair A sample pulse wave signal extraction step of solving a linear BSS problem for estimating the "haemoglobin contributed signal" as a pulse wave signal, and a sample pulse wave signal extraction step A reliability determination step of determining the reliability of the pulse wave signal of each sample extracted in step b. Sample data calculation of calculating the pulse rate of each sample from the pulse wave signal of each sample determined to be reliable in the reliability determination step Step, sample data grouping step for sorting the pulse rate of each sample calculated in the sample data calculating step into groups according to group, and the measurement result of the periodic fluctuation of the subject based on the pulse rate of the sample with the largest number by group Determining a measurement result.
In this measurement method, the linear BSS problem is solved on the assumption that the luminance signal pair of the sample satisfies the linear BSS applicability condition, but the reliability of the obtained PG signal of each sample is determined, and the reliability is low. Since the PG signal of the sample is excluded from the calculation of the measurement result, the adaptation to the applicable condition of the linear BSS is secured as a result.
また、本発明の計測方法では、測定結果決定ステップで、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定し、または、グループ別のサンプルの脈拍数の数が最大となったサンプルのPG信号を平均して被験者のPG信号として決定する。 Further, in the measurement method of the present invention, in the measurement result determination step, the pulse rate of the sample with the largest number in each group is determined as the subject's pulse rate, or the number of pulse rates in the sample by group is the largest. The PG signals of the samples are averaged to determine the PG signal of the subject.
また、本発明の計測方法では、サンプル脈波信号抽出ステップで、ICAの手法を用いて線形BSS問題を解く。 Further, in the measurement method of the present invention, at the sample pulse wave signal extraction step, the linear BSS problem is solved using the ICA method.
また、本発明の計測方法では、サンプル脈波信号抽出ステップで、線形BSS問題を解いて得た二つの信号の各々と原信号との平均的ユークリッド距離を算出し、平均的ユークリッド距離が遠い方の信号を“ヘモグロビンが寄与する信号”として決定する。 Further, in the measurement method of the present invention, in the sample pulse wave signal extraction step, the average Euclidean distance between each of the two signals obtained by solving the linear BSS problem and the original signal is calculated, and the average Euclidean distance is longer Signal is determined as "a signal contributed by hemoglobin".
また、本発明の計測方法では、信頼度判定ステップで、サンプルのPG信号のパワースペクトル密度を算出し、最大ピークのパワーと2番目の大きさの第2ピークのパワーとの比rを閾値と比較してPG信号の信頼度を判定し、サンプルデータ算出ステップで、最大ピークをもたらす周波数からサンプルの脈拍数を算出する。
PG信号の信頼度をヒューリスティックな方法で短時間に評価できる。
Further, in the measurement method of the present invention, the power spectral density of the PG signal of the sample is calculated in the reliability determination step, and a ratio r of the power of the maximum peak to the power of the second peak of the second magnitude is taken as a threshold. The reliability of the PG signal is determined by comparison, and in the sample data calculation step, the pulse rate of the sample is calculated from the frequency that produces the maximum peak.
The reliability of the PG signal can be evaluated in a short time in a heuristic manner.
また、本発明の計測方法では、サンプルデータグループ化ステップで、サンプルデータ算出ステップにおいてサンプルの脈拍数が算出されるごとに、この脈拍数に対応するヒストグラムの階級の度数を1加算し、測定結果決定ステップでは、度数が最大のヒストグラムの階級に対応する脈拍数を被験者の脈拍数として決定する。
サンプルデータの多数決により被験者の脈拍数を決定する。
Further, in the measurement method of the present invention, each time the pulse rate of the sample is calculated in the sample data calculation step in the sample data grouping step, the frequency of the class of the histogram corresponding to the pulse rate is incremented by 1 and the measurement result In the determination step, the pulse rate corresponding to the class of the histogram with the largest frequency is determined as the subject's pulse rate.
Determine the subject's pulse rate by majority of sample data.
本発明の計測装置及び計測方法では、被験者が動いても、被験者を照らす照明が変化しても、被験者の顔を映すカメラの画像から被験者の脈拍数や脈波信号を精確に計測することができる。 According to the measurement apparatus and measurement method of the present invention, it is possible to accurately measure a subject's pulse rate and pulse wave signal from an image of a camera that reflects the subject's face even if the subject moves or changes illumination to illuminate the subject. it can.
図1は、本発明の実施形態に係る計測装置を模式的に示している。この装置は、被験者4の顔を撮影する撮像装置1と、撮像装置で撮影された被験者の顔画像から脈拍数や脈波信号(PG信号)を計測するコンピュータ2と、コンピュータで計測された計測結果を表示する表示部3とを備えている。コンピュータ2は、撮像装置1で撮影された連続する複数の画像フレーム(動画像データ)を保存する画像記録部20と、画像記録部に保存された画像フレームを読み出して脈拍数やPG信号の計測を実行する演算部10と、演算部で算出された計測結果を表示部3に表示する表示制御部30とを備えている。 FIG. 1 schematically shows a measuring apparatus according to an embodiment of the present invention. This apparatus comprises an imaging device 1 for imaging the face of a subject 4, a computer 2 for measuring a pulse rate and a pulse wave signal (PG signal) from a face image of the subject imaged by the imaging device, and measurement measured by the computer And a display unit 3 for displaying the result. The computer 2 reads the image frame stored in the image recording unit 20 and the image recording unit 20 that stores a plurality of continuous image frames (moving image data) captured by the imaging device 1 and measures the pulse rate and the PG signal And a display control unit 30 for displaying the measurement result calculated by the calculation unit on the display unit 3.
まず、皮膚の見え方について説明する。
皮膚の色は、主にメラニンの存在によるが、血液中のヘモグロビンによる光の吸収にも影響される。したがって、皮膚の分光反射率曲線(spectral reflectance curve)の形は、主にメラニンとヘモグロビンの組合せによる。
皮膚はLambertian(ランバート反射、完全拡散反射)であると仮定すると、波長λに対する皮膚の分光反射率Rs(λ)は(数式1)により定義される。
ここで、amとahはスカラーでRm(λ), Rh(λ)は正規化された分光反射率、ah Rh(λ)はヘモグロビンの寄与、am Rm(λ)はヘモグロビンの影響のない場合の分光反射率、すなわち、主にメラニンの影響によるものである。
したがって、あるカメラのチャネルの皮膚上の1点における明るさを示す画素値は(数2)でモデル化できる。
ここでalはスカラー、L(λ)は正規化された照明(光源)のスペクトル(分光分布)、Ck(λ)はカメラのチャネルkのspectral response(スペクトル応答)である。
First, the appearance of the skin will be described.
The color of the skin is also influenced by the absorption of light by hemoglobin in the blood, mainly due to the presence of melanin. Thus, the shape of the spectral reflectance curve of the skin is mainly due to the combination of melanin and hemoglobin.
Assuming that the skin is Lambertian (Lambert reflection, completely diffuse reflection), the spectral reflectance Rs (λ) of the skin with respect to the wavelength λ is defined by (Equation 1).
Here, a m and a h is a scalar Rm (λ), Rh (λ ) is the spectral reflectance normalized, a h Rh (lambda) is the contribution of hemoglobin, a m Rm (λ) is the influence of hemoglobin In the absence of the spectral reflectance, that is, mainly due to the effect of melanin.
Therefore, a pixel value indicating brightness at a point on the skin of a certain camera channel can be modeled by (Equation 2).
Here, al is a scalar, L (λ) is a spectrum (spectral distribution) of normalized illumination (light source), and C k (λ) is a spectral response of the channel k of the camera.
ここまでは、ある時点の皮膚上の1点の見え方だったが、時間変化を考えるために、時間の次元を付与すると以下の(数3)ようになる。
メラニンの生成はビデオ撮影で考えているよりずっと長い時間スケールで起こるので、メラニンによる分光反射率の成分は一定であると仮定できる。一方、心臓の拍動に影響されるヘモグロビンに対する成分はビデオ上で変動する。カメラのスペクトル応答はもちろん時間により変動せずに一定である。
Up to this point, it was the appearance of one point on the skin at a certain point in time, but the dimension of time is given as (Equation 3) below in order to consider time change.
Since the production of melanin occurs on a much longer time scale than is considered in videography, it can be assumed that the component of spectral reflectance by melanin is constant. On the other hand, the component for hemoglobin that is affected by the heart beat fluctuates on the video. The spectral response of the camera is of course constant with time.
さて、図1のコンピュータ2の演算部10は、図2に示すように、被験者の顔の画像に設定した矩形状の興味領域(ROI)41から、複数の画素から成る小領域の対(p1、p2)をサンプルとして選択し、多数のサンプルの画素値を用いて被験者の心拍に連動する周期的変動を計測する。ROI内のサンプルの位置は任意に設定できる。
なお、小領域は、顔の横幅の画素数の約10〜20%の画素数の大きさを一辺とする四角形であることが望ましい。後述するように、小領域に含まれる画素の画素値を平均化して小領域の画素値とするため、小領域が大きい程、各画素のバラツキが平均化されて雑音が減る。そのため、小領域の一辺は、顔の横幅の画素数の10%以上の画素数の長さであることが望ましい。しかし、顔の横幅の画素数の20%を超えると、微小な変動が捉え難くなり、また、平均値を取るための加算の回数が増えるので、処理時間が長くなる。
Now, as shown in FIG. 2, the calculation unit 10 of the computer 2 of FIG. 1 sets a rectangular region of interest (ROI) 41 set in the image of the subject's face to a pair of small regions (pl) , P2) are selected as samples, and the pixel values of multiple samples are used to measure the periodic fluctuation linked to the subject's heartbeat. The position of the sample in the ROI can be set arbitrarily.
In addition, as for a small area | region, it is desirable that it is a quadrangle which makes the magnitude | size of a pixel number about 10 to 20% of the pixel number of the horizontal width of a face one side. As will be described later, since the pixel values of the pixels included in the small area are averaged to obtain the pixel values of the small area, as the small area is larger, the variation of each pixel is averaged and the noise is reduced. Therefore, it is desirable that one side of the small area has a length of 10% or more of the number of pixels in the width of the face. However, if it exceeds 20% of the number of pixels in the width of the face, minute variations become difficult to catch, and the number of additions for taking the average value increases, so the processing time becomes long.
図3は、演算部10を構成する機能ブロックを示している。この演算部10は、最初の画像フレームにROIを設定してサンプル(小領域の対)位置を選択するサンプル選択部11と、サンプルの各画像フレームにおける位置を追跡して、その位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部12と、この輝度信号の対から“皮膚のメラニンが主に寄与する信号”と“血管のヘモグロビンが寄与する信号”とを推定する線形BSS問題を解き、“ヘモグロビンが寄与する信号”(=脈波信号:PG信号)を抽出するサンプル脈波信号抽出部13と、抽出されたPG信号の信頼度を判定する信頼度判定部14と、信頼できるPG信号から脈拍数を算出するサンプルデータ算出部15と、その脈拍数をグループ別に仕分けるサンプルデータグループ化部16と、グループ別の数が最大のサンプルの脈拍数を被験者の脈拍数として決定する測定結果決定部17とを有している。
なお、サンプル選択部11、サンプル輝度信号取得部12、サンプル脈波信号抽出部13、信頼度判定部14、サンプルデータ算出部15、サンプルデータグループ化部16及び測定結果決定部17は、コンピュータ2がプログラムに基づく処理を実行することにより実現される。
FIG. 3 shows functional blocks that constitute the calculation unit 10. The operation unit 10 sets the ROI in the first image frame to select the sample (small area pair) position, tracks the position in each image frame of the sample, and detects the pixel value of that position. A sample luminance signal acquiring unit 12 for acquiring a pair of temporally displaced luminance signals of each sample from a pair of “signals mainly contributed by skin melanin” and “signals contributed by blood vessel hemoglobin” from the pair of luminance signals Solve the linear BSS problem of “estimating”, and determine the reliability of the extracted PG signal by the sample pulse wave signal extraction unit 13 that extracts the “hemoglobin contributing signal” (= pulse wave signal: PG signal) The reliability determination unit 14, the sample data calculation unit 15 that calculates the pulse rate from the reliable PG signal, and the sample data grouping unit 16 that sorts the pulse rate into groups , By Group number and a measurement result determination unit 17 which determines the pulse rate up to the sample as a pulse rate of the subject.
The sample selection unit 11, the sample luminance signal acquisition unit 12, the sample pulse wave signal extraction unit 13, the reliability determination unit 14, the sample data calculation unit 15, the sample data grouping unit 16 and the measurement result determination unit 17 Is realized by executing processing based on a program.
図4は、演算部10の処理手順を示している。
サンプル選択部11は、画像記録部20に蓄積された画像フレームの中から最初の画像フレームを読出して矩形状のROIを設定し(ステップ1)、ROI内からランダムに最初のサンプル(小領域の対p1、p2)を選択する(ステップ2)。
サンプル輝度信号取得部12は、画像記録部20に蓄積された全ての画像フレームを読み出し、各画像フレームにおけるp1、p2位置を追跡する。
FIG. 4 shows the processing procedure of the arithmetic unit 10.
The sample selection unit 11 reads out the first image frame from the image frames stored in the image recording unit 20, sets a rectangular ROI (step 1), and randomly selects the first sample (small area) from within the ROI. The pair p1, p2) is selected (step 2).
The sample luminance signal acquiring unit 12 reads all image frames accumulated in the image recording unit 20, and tracks p1 and p2 positions in each image frame.
この追跡は、次のように行う。
図2には、下記論文において顔の特徴点の検出・追跡に使われた66の特徴点を示している。
X. Yu, J. Huang, S. Zhang, W. Yan, and D. Metaxas. Posefree facial landmark fitting via optimized part mixtures and cascaded deformable shape model. In IEEE International Conference on Computer Vision (ICCV), pages 1944-1951, 2013. 4, 7
この66点の特徴点は、全画像フレームの画像に対して追跡することができる。
ここでは、図2において1から17までの番号で示した顔の輪郭部分の17点の特徴点を追跡に用いている。そして、最初の画像フレームで矩形に設定したROIの後続フレームでの形状は、追跡した特徴点に対して相対的な位置が変わらないように剛体変換を適用することで求めることができる。剛体変換の変換行列Aと並進ベクトルbは、(数4)により決定される。
ここで、ベクトルv1,iはフレーム1でのi番目の特徴点の位置、ベクトルvn,iはn番目のフレームでのi番目の特徴点の位置である。この17点以外の特徴点は非剛体運動を示す可能性があるため用いていない。(数4)は最小二乗法で解くことができる。
This tracking is performed as follows.
FIG. 2 shows 66 feature points used for detection and tracking of face feature points in the following paper.
Posefree facial landmark fitting via optimized part mixtures and cascaded deformable shape model. In IEEE International Conference on Computer Vision (ICCV), pages 1944-1951 X. Yu, J. Huang, S. Zhang, W. Yan, and D. Metaxas. , 2013. 4, 7
These 66 feature points can be tracked with respect to the image of the entire image frame.
Here, 17 feature points of the contour portion of the face indicated by the numbers 1 to 17 in FIG. 2 are used for tracking. The shape of the subsequent frame of the ROI set as a rectangle in the first image frame can be obtained by applying rigid body transformation so that the relative position does not change with respect to the tracked feature point. The transformation matrix A of the rigid transformation and the translation vector b are determined by (Equation 4).
Here, vector v 1, i is the position of the i-th feature point in frame 1, and vector v n, i is the position of the i-th feature point in the n-th frame. Feature points other than the 17 points are not used because they may indicate non-rigid motion. Equation 4 can be solved by the least squares method.
最初のフレームのROI中に設定した点p1、p2のn番目のフレームでの座標値は、変換行列Aと並進ベクトルbにより決まる。
サンプル輝度信号取得部12は、このように全フレームにおけるサンプル位置を算出し、その位置の画素値を求めることにより、サンプルの画素値(輝度)の時間変化を示す信号Ip1(t)、Ip2(t)を得る(ステップ3)。
なお、ここでは、各画素の画素値のバラツキによるノイズを減らすため、小領域に含まれる画素の画素値を平均してサンプルの輝度としている。
Coordinate values at the n-th frame of points p1 and p2 set in the ROI of the first frame are determined by the transformation matrix A and the translation vector b.
The sample luminance signal acquiring unit 12 calculates the sample positions in all the frames in this manner, and obtains the pixel values at the positions, thereby representing the signals Ip1 (t), Ip2 (time-variation of the pixel values (luminance) of the samples Get t) (step 3).
Here, in order to reduce the noise due to the variation of the pixel value of each pixel, the pixel values of the pixels included in the small area are averaged to be the luminance of the sample.
サンプル脈波信号抽出部13は、二つの信号Ip1(t)、Ip2(t)に対して線形BSS(Blind Source Separation)を適用してPG信号を求めることを目指す(ステップ4)。
線形BSSの問題は、(数5)に示すように、信号源S1,S2の値の線形和が観測値x1、x2となる式から信号源S1,S2を分離することに帰着する。
ここで、a1,a2,b1,b2は時刻に依存しない定数である。S1,S2が互いに独立であれば、(数5)は、ICAの手法を用いて解くことができる。
The sample pulse wave signal extraction unit 13 aims to obtain a PG signal by applying a linear BSS (Blind Source Separation) to the two signals Ip1 (t) and Ip2 (t) (step 4).
The problem of the linear BSS results in the separation of the signal sources S1, S2 from the equation in which the linear sum of the values of the signal sources S1, S2 becomes the observed values x1, x2, as shown in (Equation 5).
Here, a1, a2, b1, and b2 are constants independent of time. If S1 and S2 are independent of each other, then Eq. 5 can be solved using the ICA method.
信号Ip1(t)、Ip2(t)は、(数3)から次式(数6)のように表せる。
この信号は、いくつかのスカラーが時間変化するので(例えばal(t))、直接には線形BSSが適用できない。さらに、照明の分光分布(L1,L2)が同時刻でも異なる可能性がある。
The signals Ip1 (t) and Ip2 (t) can be expressed by the following equation 3 from the equation 3.
This signal is not directly applicable to linear BSS because some scalars change time (eg, al (t)). Furthermore, the spectral distribution (L1, L2) of the illumination may be different even at the same time.
この信号に線形BSSを適用するためには、Ip1(t)、Ip2(t)が以下のような条件を満たすことを確かめなければならない。
(条件1)すべての時刻t、すべての波長λに対してL1(λ,t)=L2(λ,t)であること。すなわち、照明のスペクトルは時間的にどのように変化してもよいが、2つの点p1、p2を照らしている正規化された照明のスペクトルは同時点では同じでなければならない。本質的には、光源の色は時間により変化してもよいが、同じ時点では2つの点p1、p2に対して同じ色でなければならないということである。相対的な明るさは同時刻で異なっていても構わない。
(条件2)時刻t=1,2、・・・nのスカラーを並べて(数7)のベクトルを定義し、他のスカラーについても同様に定義する。
このように定義したとき、正規化したベクトルが次式(数8)を満たすこと。
言い換えると、2点間での時間による明るさの変化は、スケールは違ってもよいが、相対的な変化は等しくなければならない。
In order to apply a linear BSS to this signal, it must be confirmed that Ip1 (t) and Ip2 (t) satisfy the following conditions.
(Condition 1) L 1 (λ, t) = L 2 (λ, t) for all times t and all wavelengths λ. That is, although the spectrum of the illumination may change in time, the spectra of the normalized illumination illuminating the two points p1 and p2 must be the same at the same time. In essence, the color of the light source may change with time, but at the same point in time it must be the same color for the two points p1, p2. The relative brightness may be different at the same time.
(Condition 2) Scalars of time t = 1, 2,... N are arranged to define a vector of (Equation 7), and other scalars are similarly defined.
When defined in this way, the normalized vector satisfies the following equation (Equation 8).
In other words, the change in brightness with time between two points may be on different scales, but the relative changes must be equal.
(条件3)同様に、次式(数9)を満たすこと。
なお、この計測装置の場合、この条件は満たされる。なぜなら、血流量は心臓の拍動によるが、フレームレートが30〜60Hzの普通のカメラでは、顔の中の最も離れた点の間でもPG信号の遅れは無視できるからである。
(条件4)照明、ヘモグロビン、メラニンは顔全体に対して均一ではないこと。すなわち、(数10)の関係を満たすこと。
この計測装置の場合、顔への照明は均一でないことが期待できる。また、血液の流れも顔の各部で異なっている。
(Condition 3) Similarly, the following equation (equation 9) should be satisfied.
In the case of this measuring apparatus, this condition is satisfied. This is because the blood flow depends on the heartbeat of the heart, but in a normal camera with a frame rate of 30 to 60 Hz, the delay of the PG signal can be neglected even between the most distant points in the face.
(Condition 4) Lighting, hemoglobin and melanin are not uniform over the entire face. That is, to satisfy the relationship of (Equation 10).
In the case of this measuring device, it can be expected that the illumination on the face is not uniform. Also, the flow of blood is different in each part of the face.
サンプルに選択したすべての2点の対が以上のすべての条件を満たすとは期待できないが、とりあえず、これらの条件を満たす点が見つかると仮定して、サンプル脈波信号抽出部13は、処理を続ける。
これらの条件が満たされるとすると、Ip1(t)、Ip2(t)は次式(数11)のようになる。
ここで、cl(t)は(数8)で定義したベクトルclのt番目の要素であり、ch(t)は(数9)で定義したベクトルchのt番目の要素である。
Although it can not be expected that all pairs of two points selected for the sample satisfy all the above conditions, the sample pulse wave signal extraction unit 13 performs processing assuming that the point satisfying these conditions is found for the time being. to continue.
Assuming that these conditions are satisfied, Ip1 (t) and Ip2 (t) are expressed by the following equation (Equation 11).
Here, cl (t) is the t-th element of the vector cl defined by (Equation 8), and ch (t) is the t-th element of the vector ch defined by (Equation 9).
(数11)を簡便にするために、次式(数12)のように置き換える。
Ip2(t)についても同様の置き換えを行う。
そうすると、(数11)は、次式(数13)のように表せる。
また、条件4から、(数14)の関係がある。
The same replacement is performed for Ip2 (t).
Then, equation (11) can be expressed as the following equation (equation 13).
Further, from condition 4, there is a relation of (Equation 14).
(数13)においてImとIhの要素が独立だとすると、(数13)は、独立成分分析の標準的なアルゴリズムであるFastICA等を使って解くことができ、ImとIhとを(絶対値のスケールは別として)求めることができる。
サンプル脈波信号抽出部13は、得られたImとIhの内、どちらがPG信号であるかを確かめるため、どちらが原信号(Ip1、Ip2)との平均的ユークリッド距離が近いかを計算し、近い方をImと判定する。これは、メラニンが皮膚の色を決める主要な要素であり、原信号に近いためである。
残りのもう一つの信号IhがPG信号となる(ステップ4)。
Assuming that the elements of Im and Ih are independent in (Equation 13), (Equation 13) can be solved using FastICA, which is a standard algorithm of independent component analysis, and Im and Ih can be Can be asked aside).
The sample pulse wave signal extraction unit 13 calculates which of the obtained Im and Ih is the PG signal, and which one is closer to the average Euclidean distance with the original signal (Ip1, Ip2). The person is determined to be Im. This is because melanin is the main factor that determines the skin color and is close to the original signal.
Another remaining signal Ih is a PG signal (step 4).
信頼度判定部14は、得られたPG信号から時間フィルタや移動平均フィルタを使って非定常な傾向や雑音を除いた後、信号の信頼性を判定するために、この信号を周波数領域に変換し、パワースペクトル密度(PSD)を計算する(ステップ5)。
図5には、同図(a)に示すPG信号のPSDを同図(b)に示している。ここでは、通常の人間の心拍数を考慮して、PSDの周波数範囲を0.7〜4Hzに設定している。
信頼度判定部14は、パワースペクトル密度の最大ピークのパワーV1と2番目の大きさの第2ピークのパワーV2との比V1/V2(=r)を計算し(ステップ6)、その比rを閾値(例えば、2)と比較する(ステップ7)。
この比rは、PG信号の中で、最大ピークの周波数が他の周波数に比べてどのくらい主要であるかを識別する目安になる。この値が大きいことは、PG信号が一つの主要な周波数を持つことであり、その周波数から求めた脈拍数の信頼性が高いことを示している。
比rが閾値以下の場合(ステップ7でNo)は、ステップ2に戻り、最初の画像フレームのROI内から別のサンプル(小領域の対p1、p2)を選択し、ステップ3以下の処理を繰り返す。
The reliability determination unit 14 converts non-stationary tendency and noise from the obtained PG signal into a frequency domain in order to determine the reliability of the signal after using a time filter and a moving average filter. And calculate the power spectral density (PSD) (step 5).
The PSD of the PG signal shown in FIG. 5A is shown in FIG. 5B. Here, the frequency range of the PSD is set to 0.7 to 4 Hz in consideration of a normal human heart rate.
The reliability determination unit 14 calculates a ratio V1 / V2 (= r) between the power V1 of the maximum peak of the power spectrum density and the power V2 of the second peak of the second magnitude (step 6), and the ratio r Is compared to a threshold (eg, 2) (step 7).
This ratio r is a guide for identifying how dominant the frequency of the maximum peak is in the PG signal compared to other frequencies. The large value of this value means that the PG signal has one main frequency, which indicates that the pulse rate obtained from the frequency is highly reliable.
If the ratio r is less than the threshold (No in step 7), the process returns to step 2 to select another sample (small area pair p1, p2) from within the ROI of the first image frame, repeat.
比rが閾値より大きい場合(ステップ7でYes)、信頼度判定部14は、ステップ4で抽出したPG信号が信頼できると判定する。サンプルデータ算出部15は、信頼できるPG信号の最大ピークの周波数を60倍して毎分の脈拍数を算出する(ステップ8)。
サンプルデータグループ化部16は、サンプルデータ算出部15がサンプルの脈拍数を算出するごとに、その脈拍数に対応するヒストグラムの階級の度数を1加算する(ステップ9)。
サンプルデータ算出部15で算出されたサンプルの脈拍数の数が規定数に達しない場合は(ステップ10でNo)、ステップ2に戻り、最初の画像フレームのROI内から別のサンプル(小領域の対p1、p2)を選択し、ステップ3以下の処理を繰り返す。
ステップ10において、算出されたサンプルの脈拍数の数が規定数に達すると(ステップ10でYes)、測定結果決定部17は、ヒストグラムの各階級の度数を比較し、多数決に基づいて、最大度数の階級に仕分けられた脈拍数を被験者の脈拍数として決定する(ステップ11)。
なお、ステップ10では、ステップ2で選択した小領域の対の数をカウントし、その数が所定数に達するまでステップ2〜ステップ9の処理を繰り返し、その数(繰り返し数)が所定数に達したとき、あるいは、それ以前に信頼できる脈拍の数が規定数に達したとき、ステップ11に移行するようにしても良い。
測定結果決定部17が決定した脈拍数は、表示部3に出力されて表示される(ステップ12)。
If the ratio r is larger than the threshold (Yes in step 7), the reliability determination unit 14 determines that the PG signal extracted in step 4 is reliable. The sample data calculation unit 15 multiplies the frequency of the maximum peak of the reliable PG signal by 60 to calculate the pulse rate per minute (step 8).
Each time the sample data calculation unit 15 calculates the pulse rate of the sample, the sample data grouping unit 16 adds one to the frequency of the class of the histogram corresponding to the pulse rate (step 9).
If the number of pulse rates of the sample calculated by the sample data calculation unit 15 does not reach the specified number (No in step 10), the process returns to step 2 and another sample (small area The pair p1, p2) is selected, and the processing of step 3 and subsequent steps is repeated.
In step 10, when the calculated number of pulse rates of the sample reaches the specified number (Yes in step 10), the measurement result determination unit 17 compares the frequencies of each class of the histogram, and based on majority decision, the maximum frequency. The pulse rate classified into the following ranks is determined as the subject's pulse rate (step 11).
In step 10, the number of pairs of small areas selected in step 2 is counted, and the processes of steps 2 to 9 are repeated until the number reaches a predetermined number, and the number (repetition number) reaches a predetermined number. If it does, or if the number of reliable pulses has reached the specified number before that, step 11 may be performed.
The pulse rate determined by the measurement result determination unit 17 is output to the display unit 3 and displayed (step 12).
このように、この計測装置では、ROIから選択した小領域の対をサンプルとし、多数のサンプルの画素値を用いてPG信号を算出している。そのため、ROIの平均画素値に基づいて脈拍等の算出を行う従来の方式に比べて高い計測精度が得られる。
また、この計測装置では、各サンプルの画素値が線形BSSの適用条件を満たすと仮定してPG信号の算出を行っているが、得られたサンプルのPG信号の信頼性を判定し、信頼性の低いサンプルのPG信号を除いて被験者のPG信号を決定しているため、結果的に線形BSSの適用条件への適合が担保されて、高い計測精度が得られる。
As described above, in this measuring device, the pair of small regions selected from the ROI is used as a sample, and the PG signal is calculated using the pixel values of many samples. Therefore, higher measurement accuracy can be obtained as compared to the conventional method of calculating the pulse and the like based on the average pixel value of the ROI.
Moreover, in this measuring device, calculation of the PG signal is performed on the assumption that the pixel value of each sample satisfies the application condition of linear BSS, but the reliability of the PG signal of the obtained sample is judged to determine the reliability. Since the PG signal of the subject is determined excluding the PG signal of the low sample, the adaptation to the application conditions of the linear BSS is consequently secured, and high measurement accuracy is obtained.
図6には、脈拍を本発明により計測した結果と他の手法で計測した結果とを比較して示している。
図6では、公開されているデータベース(MANHOB-HCI Database)の487例に対し、図6の各手法で得た結果を比較している。
図6において、「全小領域データ使用」方法では、ROIを重なりのないように小領域(1つの大きさは41×41画素)で分割し、各小領域内の画素の平均の時間変化データを求め、全部の小領域のデータ全体に対しICAを適用して二つの信号を算出し、その一つのPG信号から脈拍を計算している。つまり、本発明と比べて、小領域の対を対象とする計算を行っていない点、及び、脈拍数の計算に際して、信頼性の高い小領域の選択を行っていない点が違っている。
また、「Poh2011[1]」は非特許文献1に記載されて手法であり、「Li2014[2]」は非特許文献2に記載された手法である。
本発明は、その実施に際し、小領域の大きさを41×41画素、小領域の対の選択回数(繰り返し数)は500、信頼性比r判定の閾値を2に設定している。なお、小領域の一辺の41画素は、顔の横幅の画素数300の13.7%に当たる。
図6から、本発明の方法を用いた場合、精度よく脈拍数が得られていることが分かる。
本発明では、PG信号の信頼性を、PG信号のパワースペクトル密度の最大ピークと第2ピークとの比から判断し、また、最終的な脈拍の計測値を、サンプルの脈拍数の多数決で決めている。図6は、こうしたヒューリスティックな手法を用いて計測時間の短縮化を図っても、計測精度が低下しないことを示している。
FIG. 6 shows the result of measurement of the pulse according to the present invention in comparison with the result of measurement according to the other method.
In FIG. 6, the results obtained by each method of FIG. 6 are compared with 487 examples of published databases (MANHOB-HCI Database).
In FIG. 6, in the “all small area data use” method, the ROI is divided into small areas (one size is 41 × 41 pixels) so that there is no overlap, and the average time change data of the pixels in each small area The ICA is applied to the entire data of all the small regions to calculate two signals, and the pulse is calculated from one of the PG signals. That is, the difference between the present invention and the present invention is that calculation is not performed on pairs of small regions, and the selection of small regions having high reliability is not performed in calculating the pulse rate.
Also, “Poh 2011 [1]” is a method described in Non-Patent Document 1 and “Li 2014 [2]” is a method described in Non-Patent Document 2.
In the present invention, the size of the small area is set to 41 × 41 pixels, the number of selection (the number of repetitions) of the small area pair is set to 500, and the threshold of the reliability ratio r determination is set to 2. The 41 pixels on one side of the small area correspond to 13.7% of the number of pixels 300 in the width of the face.
It can be seen from FIG. 6 that when the method of the present invention is used, the pulse rate is obtained with high accuracy.
In the present invention, the reliability of the PG signal is determined from the ratio of the maximum peak to the second peak of the power spectral density of the PG signal, and the final pulse measurement value is determined by majority determination of the sample pulse rate. ing. FIG. 6 shows that the measurement accuracy does not decrease even if the measurement time is shortened using such a heuristic method.
本発明でサンプルとして設定する小領域の対と線形BSSの適用条件(条件1〜4)との関係については次のように考えられる。
すべての点の対が条件1〜4を満足するわけではないが、十分な数の点の対がこれらの条件を満たす(あるいはほぼ満たす)と考えられる。
条件1及び条件2は、対の2点がそれぞれの時点で同じ光源に照らされている(ただし、2点に対する照明の強度は異なってもよい)必要がある。これは限定的な条件に思われるかもしれないが、多くのカメラ画像でこれを満たす点が多数あると期待することができる。実環境には多くの光源があるが、同じ光源が顔のある部分全体に影響を及ぼすと考えられる。
言い換えれば、殆どの点が、全く違う光源に照らされているというようなことはあり得ない。
また、この条件1及び条件2では、同じ光源であれば、スペクトルが時間的にどのように変化してもよいとしているので、柔軟性はある。例えば、コンピュータのモニター(ディスプレイ)は光源のスペクトルが変動する一つの光源である。
条件3及び条件4については、先に述べたように、本発明で設定する小領域の対は満たしていると考えられる。
しかし、条件1〜4を満たす点を見出すことは簡単でない。これらの条件が満足されるかどうかは、多くの要因が関係するからである。
そこで、本発明では、前述するように、各サンプルの画素値が線形BSSの適用条件を満たすと仮定してPG信号の算出を行い、得られたPG信号の内で信頼性の低いものを除く方法を採っている。こうすることで、どの対が条件を満たすかと言う難しい判断を避けることができる。
The relationship between the pair of small areas set as a sample in the present invention and the application conditions (conditions 1 to 4) of the linear BSS can be considered as follows.
Although not all point pairs satisfy the conditions 1 to 4, it is considered that a sufficient number of point pairs satisfy (or almost satisfy) these conditions.
Conditions 1 and 2 require that the two points of the pair be illuminated by the same light source at each point in time (although the illumination intensity for the two points may be different). While this may seem to be a limiting condition, it can be expected that many camera images will have many points that satisfy this. There are many light sources in the real environment, but it is thought that the same light source affects the whole part of the face.
In other words, it is impossible for most points to be illuminated by completely different light sources.
Further, in the condition 1 and the condition 2, if the light source is the same, the spectrum may change in time in any way, so there is flexibility. For example, a computer monitor (display) is one light source in which the spectrum of the light source fluctuates.
As described above, conditions 3 and 4 are considered to satisfy the pair of small areas set in the present invention.
However, finding a point that satisfies the conditions 1 to 4 is not easy. Many factors are related to whether these conditions are satisfied.
Therefore, in the present invention, as described above, the PG signal is calculated on the assumption that the pixel value of each sample satisfies the application condition of linear BSS, and among the obtained PG signals, those with low reliability are excluded. I have taken the method. By doing this, it is possible to avoid the difficult judgment of which pair satisfies the condition.
なお、ここでは、サンプルをROIからランダムに選択する場合について説明したが、本発明の実施を繰り返すことにより、信頼性の高いPG信号が得られるサンプルの位置を把握することができ、そうしたサンプル位置を含む地図を作成することができる。この地図を保持してサンプルを選択するようにすれば、無駄な演算が減り、処理の高速化が可能になる。
また、ここでは、被験者の脈拍数の計測について説明したが、本発明の装置により被験者の脈波信号(PG信号)を計測することもできる。この場合、度数が最大のヒストグラムの階級に分類されたサンプルのPG信号を平均化して被験者のPG信号とする。
また、ここでは、サンプルのPG信号を、ヒストグラムを用いて仕分ける場合について示したが、各サンプルの脈拍やPG信号を被験者の心拍変動や呼吸数等の値と関連付けてK平均法や階層的クラスタリングを使って分類し、最大クラスターのデータを平均化して被験者の生体情報を得るようにしても良い。また、RANSAC(random sample consensus)と呼ばれる方法を使って生体情報を得るようにしても良い。
Although the case where the sample is randomly selected from the ROI is described here, by repeating the practice of the present invention, the position of the sample from which a highly reliable PG signal can be obtained can be grasped, and such a sample position You can create a map that includes If this map is held and a sample is selected, unnecessary calculations are reduced and processing can be speeded up.
Moreover, although measurement of a subject's pulse rate was explained here, a subject's pulse wave signal (PG signal) can also be measured by the device of the present invention. In this case, PG signals of the samples classified into the histogram class having the largest frequency are averaged to obtain PG signals of the subject.
Also, here, the case is shown where the PG signals of the samples are sorted using a histogram, but the pulse and PG signals of each sample are correlated with the values of the subject's heart rate fluctuations and respiration rate to obtain K-means and hierarchical clustering. The classification may be performed using the above, and data of maximum clusters may be averaged to obtain biological information of the subject. Also, biological information may be obtained using a method called RANSAC (random sample condition).
本発明の計測装置は、本発明者等が先に提案した「コミュニケーション支援ロボットシステム」(特開2015−184597号公報)、すなわち、ロボットを使って単身高齢者と近親者とのコミュニケーションを支援するシステムにも使用することができる。
このシステムでは、図7に示すように、認知症の虞がある高齢者の側に、ロボット37と、テレビ電話機能を実現するカメラ33、スピーカ361、マイク362、ディスプレイ35及びコンピュータ31を配置し、カメラ33で撮影した高齢者の画像やマイク362で集音した高齢者の音声が近親者側のテレビ電話のディスプレイ45やスピーカ461で表示できるようにしている。
近親者は、テレビ電話を通じて高齢者と直接コミュニケーションを取る「直接対応モード」と、ロボット37を介して高齢者に近親者の意図を伝える「間接対話モード」と、ロボット37が自主的に高齢者と対話するように求める「ロボット対応モード」とを選択することができる。
The measurement apparatus of the present invention is a "communication support robot system" (Japanese Patent Laid-Open No. 2015-184597) previously proposed by the present inventors etc., that is, supports communication between a single elderly person and a close relative using a robot. It can also be used for systems.
In this system, as shown in FIG. 7, a robot 37, a camera 33 for realizing a video telephone function, a speaker 361, a microphone 362, a display 35, and a computer 31 are disposed on the side of an elderly person at risk of dementia. An image of an elderly person photographed by the camera 33 and a voice of the elderly person collected by the microphone 362 can be displayed on the display 45 and the speaker 461 of the videophone on the close relative side.
The close relatives communicate directly with the elderly through a video phone in the "direct response mode", and the robot 37 involuntarily communicates with the elderly about the relatives' intention through the robot 37. You can select the "robot support mode" that you want to interact with.
このシステムに本発明の装置を導入し、近親者やロボット37と対話する高齢者の脈拍数を継続的に計測して、その変動を調べることは、高齢者の感情の変化を知る上で有効である。感情に変化があると、脈拍に変化が現れることは良く知られている。
ただ、その際の感情が快いものなのか、不快なものなのかは分からない。
そこで、高齢者の顔の画像から高齢者の表情を認識する表情認識手段と組み合わせることで、脈拍変動があり、かつ、快を表す表情のときには、対話の話題を好み、ポジティブに反応していると判断することができる。また、脈拍数の変動がない場合は、感情状況に問題がある可能性がある。このように、対話時の脈拍数変動の大小・有無が認知症の程度を知る指標の一つになる。
Introducing the device of the present invention into this system, continuously measuring the pulse rate of elderly people who interact with relatives and robots 37, and examining their fluctuations is effective in understanding changes in the elderly's emotions. It is. It is well known that when there is a change in emotion, a change in pulse appears.
However, I do not know if the emotion at that time is pleasant or unpleasant.
Therefore, by combining with facial expression recognition means that recognizes the facial expression of the elderly from the face image of the elderly, when there is a pulse fluctuation and an expression representing pleasure, we prefer the topic of dialogue and respond positively It can be judged. Also, if there is no change in pulse rate, there may be a problem with the emotional situation. Thus, the magnitude of presence or absence of the pulse rate fluctuation at the time of dialogue is one of the indices to know the degree of dementia.
本発明の計測装置及び計測方法は、被験者の顔が動いたり、被験者に当たる照明が変化したりしても、被験者のビデオ画像から被験者の脈拍数や脈波信号等を的確に計測することが可能であり、医療施設や介護施設、トレーニング施設等、幅広い分野で利用することができる。 The measurement apparatus and measurement method of the present invention can accurately measure the pulse rate, pulse wave signal, etc. of the subject from the video image of the subject even if the face of the subject moves or the illumination striking the subject changes. It can be used in a wide range of fields, such as medical facilities, nursing facilities, and training facilities.
1 撮像装置
2 コンピュータ
3 表示部
4 被験者
10 演算部
11 サンプル選択部
12 サンプル輝度信号取得部
13 サンプル脈波信号抽出部
14 信頼度判定部
15 サンプルデータ算出部
16 サンプルデータグループ化部
17 測定結果決定部
20 画像記録部
30 表示制御部
41 興味領域(ROI)
Reference Signs List 1 imaging device 2 computer 3 display unit 4 subject 10 arithmetic unit 11 sample selection unit 12 sample luminance signal acquisition unit 13 sample pulse wave signal extraction unit 14 reliability determination unit 15 sample data calculation unit 16 sample data grouping unit 17 determination of measurement result Part 20 Image recording part 30 Display control part 41 Region of interest (ROI)
Claims (21)
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択部と、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得部と、
前記サンプルの輝度信号の対が線形BSS(ブラインド信号源分離)の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形BSS問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出部と、
前記サンプル脈波信号抽出部で抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定部と、
前記信頼度判定部が信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出部と、
前記サンプルデータ算出部が算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化部と、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定部と、
を備えることを特徴とする計測装置。 A measuring device for measuring periodic fluctuation linked to a subject's heartbeat from an image of the subject's face,
A sample selection unit which selects a plurality of pairs of small areas consisting of a plurality of pixels from a predetermined area set in the image of the face of the subject as a sample;
A sample luminance signal acquisition unit for tracking the position of each sample in each image frame and acquiring a pair of temporally displaced luminance signals of each sample from the pixel value of the position;
Assuming that the luminance signal pair of the sample satisfies the applicability of linear BSS (blind source separation), a signal mainly contributed by skin melanin from the luminance signal pair and a signal contributed by blood vessel hemoglobin And a sample pulse wave signal extraction unit that solves a linear BSS problem of estimating the H.sub.ss and extracts the signal contributed by the hemoglobin as a pulse wave signal;
A reliability determination unit that determines the reliability of the pulse wave signal of each sample extracted by the sample pulse wave signal extraction unit;
A sample data calculation unit that calculates the pulse rate of each sample from the pulse wave signal of each sample determined to be reliable by the reliability determination unit;
A sample data grouping unit that sorts the pulse rate of each sample calculated by the sample data calculation unit into groups;
A measurement result determination unit that determines the measurement result of the periodic fluctuation of the subject based on the pulse rate of the sample having the largest number for each group;
Measuring device characterized by having.
前記被験者の顔の画像に設定された所定領域から複数の画素から成る小領域の対をサンプルとして複数個選択するサンプル選択ステップと、
前記サンプルの各画像フレームでの位置を追跡し、該位置の画素値から各サンプルの時間的に変位する輝度信号の対を取得するサンプル輝度信号取得ステップと、
前記サンプルの輝度信号の対が線形BSS(ブラインド信号源分離)の適用可能条件を満たすと仮定して、前記輝度信号の対から皮膚のメラニンが主に寄与する信号と血管のヘモグロビンが寄与する信号とを推定する線形BSS問題を解き、前記ヘモグロビンが寄与する信号を脈波信号として抽出するサンプル脈波信号抽出ステップと、
前記サンプル脈波信号抽出ステップで抽出された各サンプルの脈波信号の信頼度を判定する信頼度判定ステップと、
前記信頼度判定ステップで信頼できると判定した各サンプルの脈波信号から各サンプルの脈拍数を算出するサンプルデータ算出ステップと、
前記サンプルデータ算出ステップで算出した各サンプルの脈拍数をグループ別に仕分けるサンプルデータグループ化ステップと、
前記グループ別の数が最大の前記サンプルの脈拍数に基づいて被験者の前記周期的変動の計測結果を決定する測定結果決定ステップと、
を備えることを特徴とする計測方法。 A measurement method for measuring periodic fluctuation linked to a subject's heartbeat from an image of the subject's face, comprising:
A sample selection step of selecting a plurality of pairs of small areas consisting of a plurality of pixels from a predetermined area set in the image of the face of the subject as a sample;
A sample luminance signal acquiring step of tracking a position of each of the samples in each image frame and acquiring a pair of temporally displaced luminance signals of each sample from pixel values of the position;
Assuming that the luminance signal pair of the sample satisfies the applicability of linear BSS (blind source separation), a signal mainly contributed by skin melanin from the luminance signal pair and a signal contributed by blood vessel hemoglobin And a sample pulse wave signal extraction step of solving the linear BSS problem of estimating the phase and extracting the signal contributed by the hemoglobin as a pulse wave signal;
A reliability determination step of determining the reliability of the pulse wave signal of each sample extracted in the sample pulse wave signal extraction step;
A sample data calculation step of calculating a pulse rate of each sample from pulse wave signals of each sample determined to be reliable in the reliability determination step;
A sample data grouping step of sorting the pulse rate of each sample calculated in the sample data calculation step into groups;
Determining a measurement result of the periodic fluctuation of the subject based on the pulse rate of the sample having the largest number in each group;
A measuring method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015228248A JP6521845B2 (en) | 2015-11-22 | 2015-11-22 | Device and method for measuring periodic fluctuation linked to heart beat |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015228248A JP6521845B2 (en) | 2015-11-22 | 2015-11-22 | Device and method for measuring periodic fluctuation linked to heart beat |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017093760A JP2017093760A (en) | 2017-06-01 |
JP6521845B2 true JP6521845B2 (en) | 2019-05-29 |
Family
ID=58803148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015228248A Active JP6521845B2 (en) | 2015-11-22 | 2015-11-22 | Device and method for measuring periodic fluctuation linked to heart beat |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6521845B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6761786B2 (en) * | 2017-08-10 | 2020-09-30 | 本田技研工業株式会社 | Ceiling map creation method, ceiling map creation device and ceiling map creation program |
JP2019084069A (en) * | 2017-11-07 | 2019-06-06 | 太陽誘電株式会社 | Signal detection system |
WO2019102535A1 (en) * | 2017-11-22 | 2019-05-31 | 日本電気株式会社 | Pulse wave detection device, pulse wave detection method, and storage medium |
JP7091747B2 (en) * | 2018-03-19 | 2022-06-28 | 株式会社リコー | Biometric information processing equipment and biometric information processing system |
JP6826733B2 (en) * | 2018-03-26 | 2021-02-10 | 国立大学法人東北大学 | Signal control device, signal control program, and signal control method |
JP6911998B2 (en) * | 2018-03-29 | 2021-07-28 | 日本電気株式会社 | Biometric information estimation device, biometric information estimation method, and biometric information estimation program |
WO2019202671A1 (en) * | 2018-04-17 | 2019-10-24 | Nec Corporation | Pulse rate estimation apparatus, pulse rate estimation method, and computer-readable storage medium |
JP7209947B2 (en) * | 2019-03-29 | 2023-01-23 | 株式会社アイシン | Pulse rate detector and pulse rate detection program |
JP7174358B2 (en) * | 2019-03-29 | 2022-11-17 | 株式会社アイシン | Pulse rate detector and pulse rate detection program |
CN112890792A (en) * | 2020-11-25 | 2021-06-04 | 合肥工业大学 | Cloud computing cardiovascular health monitoring system and method based on network camera |
JP7253278B2 (en) * | 2021-03-10 | 2023-04-06 | 合同会社画像技術研究所 | Image processing method, image processing program, and image processing apparatus. |
WO2022201505A1 (en) | 2021-03-26 | 2022-09-29 | 三菱電機株式会社 | Pulse wave detection device and pulse wave detection method |
DE112021007383T5 (en) | 2021-03-26 | 2024-01-04 | Mitsubishi Electric Corporation | PULSE WAVE DETECTION DEVICE AND PULSE WAVE DETECTION METHOD |
CN116269291B (en) * | 2023-05-26 | 2023-07-25 | 深圳市魔样科技有限公司 | Intelligent watch monitoring system and method based on artificial intelligence |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5672144B2 (en) * | 2011-05-20 | 2015-02-18 | 富士通株式会社 | Heart rate / respiration rate detection apparatus, method and program |
US8902045B1 (en) * | 2011-12-23 | 2014-12-02 | Emc Corporation | Controlling access to a computerized resource based on authentication using pulse data |
WO2014002276A1 (en) * | 2012-06-29 | 2014-01-03 | 富士通株式会社 | Vital sign detection method, vital sign detection device and vital sign detection program |
JP2014036801A (en) * | 2012-08-20 | 2014-02-27 | Olympus Corp | Biological state observation system, biological state observation method and program |
JP6098304B2 (en) * | 2013-03-29 | 2017-03-22 | 富士通株式会社 | Pulse wave detection device, pulse wave detection method, and pulse wave detection program |
JP6349075B2 (en) * | 2013-11-22 | 2018-06-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Heart rate measuring device and heart rate measuring method |
CN105873503A (en) * | 2013-12-25 | 2016-08-17 | 旭化成株式会社 | Cardiac pulse waveform measurement device, portable device, medical device system, and vital sign information communication system |
JP2015146847A (en) * | 2014-02-05 | 2015-08-20 | キヤノン株式会社 | Physical information acquisition apparatus, method, and program |
-
2015
- 2015-11-22 JP JP2015228248A patent/JP6521845B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017093760A (en) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6521845B2 (en) | Device and method for measuring periodic fluctuation linked to heart beat | |
Hsu et al. | Deep learning with time-frequency representation for pulse estimation from facial videos | |
Alghoul et al. | Heart rate variability extraction from videos signals: ICA vs. EVM comparison | |
US9025826B2 (en) | Formation of a time-varying signal representative of at least variations in a value based on pixel values | |
CN106778695B (en) | Multi-person rapid heart rate detection method based on video | |
JP6665203B2 (en) | Determination of pulse signal from video sequence | |
De Haan et al. | Robust pulse rate from chrominance-based rPPG | |
CN105147274B (en) | A kind of method that heart rate is extracted in the face video signal from visible spectrum | |
CN107427233B (en) | Pulse wave detection device and pulse wave detection program | |
Yang et al. | Motion robust remote photoplethysmography in CIELab color space | |
KR101738278B1 (en) | Emotion recognition method based on image | |
JP6957929B2 (en) | Pulse wave detector, pulse wave detection method, and program | |
Gibert et al. | Face detection method based on photoplethysmography | |
Dosso et al. | Eulerian magnification of multi-modal RGB-D video for heart rate estimation | |
Przybyło | A deep learning approach for remote heart rate estimation | |
Hernandez-Ortega et al. | A comparative evaluation of heart rate estimation methods using face videos | |
Lampier et al. | A deep learning approach to estimate pulse rate by remote photoplethysmography | |
JP2023060172A (en) | Blood pressure measurement device, model setting device, and blood pressure measurement method | |
Slapnicar et al. | Contact-free monitoring of physiological parameters in people with profound intellectual and multiple disabilities | |
US20240138692A1 (en) | Method and system for heart rate extraction from rgb images | |
Andreotti et al. | Improved heart rate detection for camera-based photoplethysmography by means of Kalman filtering | |
Wiede et al. | Signal fusion based on intensity and motion variations for remote heart rate determination | |
Ibrahim et al. | Non-contact heart rate monitoring analysis from various distances with different face regions | |
Karmuse et al. | A robust rPPG approach for continuous heart rate measurement based on face | |
Choe et al. | Improving video-based resting heart rate estimation: A comparison of two methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6521845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |