JP7282897B2 - 脈拍数推定方法、装置およびシステム - Google Patents

Description

本発明は、脈拍数推定方法、装置およびシステムに関する。

従来、脈拍数を推定する方法として、心電計やパルスオキシメーターを用いた方法が医療やヘルスケアの分野で用いられてきた。近年では、スマートウォッチなどとよばれる、腕時計型の脈拍数を推定する装置も用いられるようになってきている。

しかし、これらの装置は被検者の胸部、手首や指などに測定機器を取り付ける必要があるため、被検者は行動が制約されたり、装着による不快感を感じることがある。

このため、簡易な測定方法として非接触で脈拍数を推定するための技術が開発されている。

特許文献１～３では、顔や手などの皮膚画像から脈波に関する情報を時系列波形（脈波信号）として抽出し、その波形からＦＦＴなどによって脈拍数を推定する方法が提案されており、光源の変化や体動などの影響による推定誤差の影響を減らすための技術が開発されている。また、非特許文献１では、マイクロ波レーダーを使って脈波信号を抽出し、その波形の周期を推定する方法としてＦＦＴよりも演算量が少ない推定方式が提案されている。

特許文献１ではＲＧＢの各波長の信号を、推定したＳＮ比を基準に重みづけを行って合成する方法が提案されている。この方法は、雑音の少ない脈波信号を抽出することを目的としている。

特許文献２では体動などの補償を行うため、ジャイロセンサの情報を用いて体の動きが少ない時に抽出された脈波信号を基準信号として、その信号との類似度が低い場合には脈波データから除外して推定する方法が提案されている。しかしながら、この方法は基準波形の生成のためにカメラに加えてジャイロセンサが必要となる。

特許文献３では、脈波信号のピーク間隔やピーク値の変動量や分散を特徴として、基準値以内の場合にのみ脈拍数の推定を行う方法が提案されている。また、その他の基準として信号パターンをあらかじめ記憶しておき、記憶したパターンとの類似度が基準の範囲内の時のみ脈拍数を推定する方法も提案されている。しかしながら、この文献には基準値の設定方法については明確な記載がなされていない。

非特許文献１では、低い周波数の信号の検出方法に着目し、ＦＦＴなどの大規模な演算を行わずに、１サンプルごとの異なる周期の信号の強度から脈拍数を推定する方法（この文献の著者は「ＡＲＳ」と呼んでいる。）が記載されている。

特開２０１５－８３１０１号公報 特開２０１５－２０５０５０号公報 特開２０１７－１５８６７５号公報

Yukihiro KAMIYA, "A Simple Parameter Estimation Method for Periodic Signals Applicable to Vital Sensing Using Doppler Sensors," SICE Journal of Control, Measurement, and System Integration, 2017, Volume 10, Issue 5, Pages 378-384, September 2017, DOI: https://doi.org/10.9746/jcmsi.10.378. Daniel McDuff, Sarah Gontarek, and Rosalind W. Picard, "Improvements in Remote Cardio-Pulmonary Measurement Using a Five Band Digital Camera," IEEE Trans. Biomedical Engineering, vol. 61, no.10, Oct. 2014. Q. Zhang, Y. Zhou, S. Song, G. Liang and H. Ni, "Heart Rate Extraction Based on Near-Infrared Camera: Towards Driver State Monitoring," in IEEE Access, vol. 6, pp. 33076-33087, 2018.

以上の様に、非接触型の脈拍数推定技術は、雑音の少ない脈波信号の抽出方法、雑音の少ない区間を用いた推定、処理の高速化などの観点で開発が行われている。
しかし、特許文献３は雑音の多い区間を統計量を用いて推定区間（推定に用いる区間）から除外しているが、この方式は雑音区間が短期間（瞬間的）である場合には除外が難しいという問題が考えられる。また、体動などによる変化は通常波形に大きな影響を与えるため、ＦＦＴや非特許文献１の方法で脈拍数を推定する場合に、大きなエネルギー成分として現れ、推定誤差の要因になりうる。すなわち体動周期を脈拍として推定する可能性がある。

そこで本発明は、推定区間に対して短期間のバースト的な雑音が混入した場合において特に好適な、高精度に脈拍数を推定する方法を提供する。

上記の課題を解決するために、代表的な本発明の脈拍数推定方法の一つは、第１の閾値より大きな脈波信号の振幅値を前記第１の閾値に制限し脈波解析信号を出力するピーク成分抑圧ステップと、前記脈波解析信号の周波数スペクトルを出力する周波数解析ステップとを備えるものである。

本発明によれば、推定区間に対して短期間のバースト的な雑音が混入した場合において高精度に脈拍数を推定することができる。
上記した以外の課題、構成および効果は、以下の実施をするための形態における説明により明らかにされる。

図１は、本発明の実施の形態に係る脈拍数推定システムの機能ブロックである。 図２は、図１に示した脈拍数推定装置の脈拍数推定処理の流れ図である。 図３は、図２に示した脈波信号生成ステップの流れ図である。 図４は、図２に示した出力判定ステップの流れ図である。 図５は、脈波信号ｓ_１にバースト雑音ｓ_２が混入した場合の信号ｓ_１＋ｓ_２と閾値αに振幅制限された信号（脈波解析信号）の概念図である。 図６は、図５に示したｓ_１＋ｓ_２と脈波解析信号の周波数スペクトルである。

以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図１は、本発明の実施の形態に係る脈拍数推定システムの機能ブロック図であり、図２は、図１に示した脈拍数推定装置２００の脈拍数推定処理の流れ図である。

脈拍数推定システムは、撮像部１００と脈拍数推定装置２００と表示部３００とで構成される。撮像部１００は撮像装置でありＣＭＯＳやＣＣＤなどのイメージセンサで実現され、脈拍数を推定する対象の画像を取得する機能を持ち、例えばスマートフォンやノートパソコンに搭載されたカメラ、監視カメラ、ホームビデオカメラなどであってよい。脈拍数推定装置２００は、取得した画像から脈拍数を推定するための装置であり、パソコンやスマートフォンなどに搭載されるＣＰＵ、ＧＰＵ、ＦＰＧＡなどの計算処理プロセッサによって実現される。表示部３００は脈拍数の推定結果や推定結果に基づくアラートなどを表示する機能を備えており、液晶ディスプレイなどによって実現される。本実施形態では液晶ディスプレイによる表示例を示しているが、スピーカーによる音声通知であってもよい。また、脈拍数の推定結果をパソコン内のハードディスクやクラウドに保存しておき、統計的に解析するためのデータとしても良い。

脈拍数推定装置２００は、脈波信号生成部２１０と雑音抑圧部２２０と脈波信号解析部２３０と出力判定部２４０と履歴記憶部２５０とで構成される。脈波信号生成部２１０は、脈拍数を推定する対象の画像から脈波信号を生成し、画像取得部２１１と領域抽出部２１２と波形生成部２１３と波形記憶部２１４と脈波信号抽出部２１５とで構成される。

次に、図２ないし図４を用いて脈拍数推定装置２００における脈拍数推定処理を説明する。

脈拍数推定処理は、脈波信号生成ステップＳ１００とピーク成分抑圧ステップＳ２００と周波数解析ステップＳ３００と出力判定ステップＳ４００とで構成される。脈波信号生成ステップＳ１００は、脈拍数を推定する対象の画像から脈波信号を生成し、画像入力ステップＳ１０１と顔検出・追跡ステップＳ１０２と皮膚抽出ステップＳ１０３と画素値平均化ステップＳ１０４と時間波形生成ステップＳ１０５と脈波信号抽出ステップＳ１０６とで構成される。出力判定ステップＳ４００は、周波数スペクトルの最大ピーク値に対する２番目に大きなピーク値の比（デシベルの場合は、最大ピーク値と２番目に大きなピーク値の差）が第２の閾値未満の場合に最大ピーク値となる周波数を脈拍数として出力し、ピーク検知ステップＳ４０１と前回脈拍数表示ステップＳ４０２と脈拍数表示ステップＳ４０３と表示脈拍数保存ステップＳ４０４とで構成される。

（Ｓ１０１：画像入力ステップ）脈拍数推定装置２００は画像取得部２１１によって撮像部１００から取得した映像信号を受信する。本実施形態では、ＲＧＢのスペクトルをセンシングできる撮像素子の例を示しているが、非特許文献２（ＲＧＢＣＯの５バンドカメラの例）、非特許文献３（近赤外線カメラの例）のようにＣ（シアン）、Ｏ（オレンジ）、近赤外線などのスペクトルをセンシングできるセンサを用いて映像信号を生成しても良い。

（Ｓ１０２：顔検出・追跡ステップ、Ｓ１０３皮膚抽出ステップ）領域抽出部２１２は受信した前記映像信号を解析し、顔の領域を検出した上で検知対象の皮膚が含まれる領域（画素）を抽出する。映像信号は撮像部１００から順次送られてくるため、顔の動きに対応するように、顔領域の追跡処理も合わせて行う。本実施形態では顔画像を使う脈拍数推定の処理について示しているが、例えば手掌、頸部などであっても良く皮膚が露出している部位であればよい。

（Ｓ１０４：画素値平均化ステップ、Ｓ１０５：時間波形生成ステップ）波形生成部２１３はＲ（赤）、Ｇ（緑）、Ｂ（青）の成分ごとに検出した皮膚領域の画素値の平均値を算出し、波形記憶部２１４に記憶する。波形記憶部２１４は、画素値を時間順に記憶しており、順次読み出すことで時系列波形を生成することが可能である。

（Ｓ１０６：脈波信号抽出ステップ）脈波信号抽出部２１５は時系列波形から脈波信号に相当する成分を抽出する。抽出方法は様々な方法が提案されており、Ｇ成分のみを使うもの、独立成分分析（ＩＣＡ）を行うもの、主成分分析（ＰＣＡ）を行うもの、ＲＧＢのＳＮＲ（信号対雑音電力比）に基づく合成方法などがある。なお、脈波信号の抽出を行う前後の処理において、サンプリング間隔の補正やバンドパスフィルタ（ＢＰＦ）などによって抽出する信号の精度を向上することが行われてもよい。

（Ｓ２００：ピーク成分抑圧ステップ）雑音抑圧部２２０は、体動や光源の変化などによって生じるバースト的な雑音を除去するために、第１の閾値αより大きな脈波信号の振幅値を第１の閾値αに制限して脈波解析信号を出力する。図５は脈波信号ｓ_１にバースト雑音ｓ_２が混入した場合の信号ｓ_１＋ｓ_２と第１の閾値αに振幅制限された信号の概念図である。この例では、時刻ｔ＝０秒からｔ＝５秒の間の信号の振幅値の標準偏差σを用いてα＝ａσ、ａ＝０．５とした場合の結果を示している。標準偏差の係数ａは任意の正数値に設定してよく、大きな値にするほど雑音ｓ_２の抑圧効果は小さくなり、小さな値にするほど雑音ｓ_２の抑圧効果は大きくなると同時に脈波信号ｓ_１も抑圧するといった効果をもたらす。このため装置の運用開始前に調整することが望ましい。

（Ｓ３００：周波数解析ステップ）脈波信号解析部２３０は前記脈波解析信号に対して高速フーリエ変換（ＦＦＴ）を行い周波数ごとの信号エネルギー（周波数スペクトル）を出力する。周波数スペクトルの導出には、通過帯域の異なる複数のバンドパスフィルタを用いて実現しても良いし、非特許文献１のようなバンドパスフィルタに相当する周期信号抽出処理を用いても良い。図６は図５のｓ_１＋ｓ_２と脈波解析信号の周波数スペクトルを示している。図のように、脈波解析信号は、雑音抑圧部２２０の効果によって脈波信号が最大のエネルギーとなるスペクトルとなり、脈拍数を正確に推定可能となる。また、雑音が小さい場合は、雑音が混入していない区間の脈波信号も振幅制限されるが、脈波解析信号のエネルギーは主に脈波信号によるものなので、問題はない。

（Ｓ４０１：ピーク検知ステップ、Ｓ４０２：前回脈拍数表示ステップ、Ｓ４０３：脈拍数表示ステップ、Ｓ４０４：表示脈拍数保存ステップ）出力判定部２４０は前記周波数スペクトルのピークの検出を行う。さらに最大ピークｐ_１と第２ピークｐ_２（２番目に大きなピーク）の関係の比較を行う。ｐ_２／ｐ_１＜βの場合には最大ピークのある周波数ｆ_ｐ１が脈波に相当するとして、６０ｆ_ｐ１を脈拍数として表示部３００に表示する。雑音が発生している場合には大きなピークが複数現れるため、測定が正確に行えない。このため、ｐ_２／ｐ_１≧βの場合には脈拍数の推定を行わずに、前回表示した脈拍数を表示部３００に表示する。第２の閾値βの設定は０≦β≦１の範囲で任意の値を設定してよく、表示した脈拍数は履歴記憶部２５０に保存する。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した実施の形態は、カメラ画像を用いた非接触型の脈拍数推定に関するが、本発明は、レーダーを用いた脈拍数推定やその他の周期信号推定にも応用可能である。

また、上述した実施形態のように、脈拍数推定装置２００がパソコンやスマートフォンなどに搭載されるＣＰＵ、ＧＰＵ、ＦＰＧＡなどの計算処理プロセッサによって実現される場合、これらのコンピュータに上述した脈拍数推定処理を実行させるためのプログラムも本発明の範囲内である。

１００：撮像部、２００：脈拍数推定装置、２１０：脈波信号生成部、２１１：画像取得部、２１２：領域抽出部、２１３：波形生成部、２１４：波形記憶部、２１５：脈波信号抽出部、２２０：雑音抑圧部、２３０：脈波信号解析部、２４０：出力判定部、２５０：履歴記憶部、３００：表示部、Ｓ１００：脈波信号生成ステップ、Ｓ１０１：画像入力ステップ、Ｓ１０２：顔検出・追跡ステップ、Ｓ１０３：皮膚抽出ステップ、Ｓ１０４：画素値平均化ステップ、Ｓ１０５：時間波形生成ステップ、Ｓ１０６：脈波信号抽出ステップ、Ｓ２００：ピーク成分抑圧ステップ、Ｓ３００周波数解析ステップ、Ｓ４００：出力判定ステップ、Ｓ４０１：ピーク検知ステップ、Ｓ４０２：前回脈拍数表示ステップ、Ｓ４０３：脈拍数表示ステップ、Ｓ４０４：表示脈拍数保存ステップ、ｓ_１：脈波信号、ｓ_２：雑音信号

Claims (5)

1. 脈拍数を推定する対象の画像から脈波信号を生成する脈波信号生成ステップと、
   第１の閾値より大きな前記脈波信号の振幅値を前記第１の閾値に制限して脈波解析信号を出力するピーク成分抑圧ステップと、
   前記脈波解析信号の周波数スペクトルを出力する周波数解析ステップと、
   前記周波数スペクトルの最大ピーク値に対する２番目に大きなピーク値の比が第２の閾値未満の場合に最大ピーク値となる周波数を脈拍数として出力する出力判定ステップと
   を備え、
   前記ピーク成分抑圧ステップは、前記脈波信号の波形の特徴を抽出し、前記波形の特徴をもとに算出した前記第１の閾値の範囲を外れる大きな振幅を持つ前記脈波信号のサンプル値を前記第１の閾値で置き換える脈拍数推定方法。
2. 前記波形の特徴は、標準偏差である請求項１の脈拍数推定方法。
3. 脈拍数を推定する対象の画像から脈波信号を生成する脈波信号生成部と、
   第１の閾値より大きな前記脈波信号の振幅値を前記第１の閾値に制限して脈波解析信号を出力する雑音抑圧部と、
   前記脈波解析信号の周波数スペクトルを出力する脈波信号解析部と、
   前記周波数スペクトルの最大ピーク値に対する２番目に大きなピーク値の比が第２の閾値未満の場合に最大ピーク値となる周波数を脈拍数として出力する出力判定部と
   を備え、
   前記雑音抑圧部は、前記脈波信号の波形の特徴を抽出し、前記波形の特徴をもとに算出した前記第１の閾値の範囲を外れる大きな振幅を持つ前記脈波信号のサンプル値を前記第１の閾値で置き換える脈拍数推定装置。
4. 前記波形の特徴は、標準偏差である請求項３の脈拍数推定装置。
5. 前記画像を供給する撮像部と、
   請求項３の脈拍数推定装置と、
   出力された前記脈拍数を表示する表示部と
   を備える脈拍数推定システム。

Images