JP6115263B2 - 脈波検出装置、脈波検出方法及び脈波検出プログラム - Google Patents

Description

本発明は、脈波検出装置、脈波検出方法及び脈波検出プログラムに関する。

血液の体積の変動、いわゆる脈波を検出する技術が知られている。例えば、脈波の一態様である心拍数を検出する技術の一例としては、心電計の電極を生体に装着することによって計測された心電波形のピーク、例えばＰ波やＲ波などを用いて心拍数を検出する心電図法が挙げられる。他の一例としては、指や耳たぶなどの末梢血管に赤外線を照射し、その反射光が血流および吸光特性によって周期的に変動する光学的な変化から心拍とほぼ等価な脈拍を検出する光電脈波法が挙げられる。

これら心電図法や光電脈波法を用いる場合には、電極を生体に装着したり、あるいは生体に感光面を密着させたりするので、計測器具が生体に接触しないと検出が困難である上、計測器具を装着した状態で日常を生活するのは煩わしいという問題がある。

このことから、生体に計測器具が接触しない状態で脈波を測定するために、被験者が撮影された画像を用いた心拍測定方法が提案されている。かかる心拍測定方法では、カメラによって被験者の顔が撮影された画像の信号成分に対し、独立成分分析（ＩＣＡ：Independent Component Analysis）を適用した上で信号を周波数成分へ変換して心拍数を測定する。かかる独立成分分析の適用によって信号対雑音比の改善を目指す。

特開２００３−１３５４３４号公報 特開２００５−１８５８３４号公報 特開２００５−２１８５０７号公報

しかしながら、上記の技術では、以下に説明するように、脈波の検出精度が低下する場合がある。

すなわち、日常生活の中では、例えば、タブレット端末、ノート型のパーソナルコンピュータ、あるいはカメラ付きのテレビを閲覧しながら、被験者が脈波を測定する状況も存在する。このような状況では、被験者の周囲の明るさ、例えば外光が不十分な場合も多い。この場合、画面の変化にしたがって顔に当たる光量や色が大きく変化してしまう。一般に、外光は、急激に変化しにくく脈波と同様の周波数帯の成分が含まれにくいのに対し、画面は短時間で切り替わりやすく、画面の変化に脈波と同様の周波数帯の成分が含まれるケースも多い。

ところが、上記の心拍測定方法は、スクリーンに表示される画面の変化を想定しておらず、あくまで被験者の周囲の光量が十分であり、周囲の光量があまり変化しない環境で測定される状況しか想定されていない。したがって、上記の心拍測定方法では、スクリーンに表示される画面光が発する脈波と同様の周波数帯の成分の影響を受ける結果、心拍数の検出精度が低下する場合がある。

１つの側面では、脈波の検出精度の低下を抑制できる脈波検出装置、脈波検出方法及び脈波検出プログラムを提供することを目的とする。

一態様の脈波検出装置は、カメラによって生体が撮影されたカメラ画像を取得する第１取得部と、前記カメラ画像から生体領域の部分画像を抽出する抽出部と、所定の表示部の画面に表示される画面画像に関する情報を取得する第２取得部と、前記画面画像の輝度を用いて、前記部分画像の輝度を当該画面画像に由来する画面光分輝度と残りの輝度に分離する分離部と、前記画面光分輝度と前記残りの輝度を用いて脈波を検出する検出部とを有する。

一実施形態によれば、脈波の検出精度の低下を抑制できる。

図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。 図２は、カメラ画像の一例を示す図である。 図３は、カメラ画像に含まれる光成分の一例を示す図である。 図４は、画面光分の分離から脈波検出までの処理の一例が模式化された図である。 図５は、図１に示した第１画面光分離部及び第１脈波波形演算部の機能的構成を示すブロック図である。 図６は、実施例１に係る脈波検出処理の手順を示すフローチャートである。 図７は、実施例１に係る脈波波形演算処理の手順を示すフローチャートである。 図８は、実施例１及び実施例２に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。

以下に添付図面を参照して本願に係る脈波検出装置、脈波検出方法及び脈波検出プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［脈波検出装置の構成］
まず、本実施例に係る脈波検出装置の機能的構成について説明する。図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。図１に示す脈波検出装置１０は、太陽光や室内光などの一般の環境光の下で生体に計測器具を接触させずに、被験者が撮影された画像を用いて被験者の脈波、すなわち心臓の拍動に伴う血液の体積の変動を検出する脈波検出処理を実行するものである。

かかる脈波検出装置１０は、一態様として、上記の脈波検出処理がパッケージソフトウェアやオンラインソフトウェアとして提供される脈波検出プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、移動体通信網に接続する能力を持たないデジタルカメラ、タブレット端末やスレート端末を含む携帯端末装置に上記の脈波検出プログラムをインストールさせる。これによって、携帯端末装置を脈波検出装置１０として機能させることができる。なお、ここでは、脈波検出装置１０の実装例として携帯端末装置を例示したが、パーソナルコンピュータを始めとする据置き型の端末装置に脈波検出プログラムをインストールさせることもできる。

図１に示すように、脈波検出装置１０は、カメラ１１と、フレームバッファ１２と、第１取得部１３ａと、第２取得部１３ｂと、抽出部１４と、第１代表値算出部１５ａと、第２代表値算出部１５ｂとを有する。さらに、脈波検出装置１０は、第１画面光分離部１６ａと、第２画面光分離部１６ｂと、第１脈波波形演算部１７ａと、第２脈波波形演算部１７ｂと、第３脈波波形演算部１８と、検出部１９とを有する。

かかる脈波検出装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置１０が据置き端末として実装される場合には、キーボード、マウスやディスプレイなどの入出力デバイスをさらに有することとしてもよい。また、脈波検出装置１０がタブレット端末やスレート端末として実装される場合には、タッチパネルをさらに有することとしてもよい。また、脈波検出装置１０が移動体通信端末として実装される場合には、アンテナ、移動体通信網に接続する無線通信部、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。

カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、カメラ１１には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１１の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよいし、カメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、脈波検出装置１０がカメラ１１を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも脈波検出装置１０がカメラ１１を有さずともよい。

ここで、脈波検出装置１０は、上記の脈波検出処理を実行する脈波検出プログラムがプリインストールまたはインストールされている場合に、カメラ１１によって脈波を検出し易い被験者の画像が撮像されるように画像の撮影操作を案内することができる。

かかる脈波検出プログラムは、図示しない入力デバイスを介して起動されると、カメラ１１を起動する。これを受けて、カメラ１１は、カメラ１１の撮影範囲に収容された被写体の撮影を開始する。このとき、被験者の顔が映る画像を撮影させる場合には、脈波検出プログラムは、カメラ１１が撮影する画像を図示しない表示デバイスに表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、脈波検出プログラムは、カメラ１１によって被験者の顔が撮影された画像を第１取得部１３ａへ出力する。以下では、カメラ１１によって被験者の顔が撮像された画像のことを「カメラ画像」と記載する場合がある。

フレームバッファ１２は、画面に表示させる画像のフレームを保存する記憶デバイスである。かかるフレームバッファ１２には、一例として、脈波検出装置１０上で実行されるＯＳ（Operating System）やアプリケーションプログラムの処理結果の画像がグラフィックドライバ等を通じて保存される。このように、フレームバッファ１２に保存された画像は、図示しない表示部、液晶ディスプレイ等の画面に表示される。以下では、画面に表示される画像のことを「画面画像」と記載する場合がある。

第１取得部１３ａは、カメラ画像を取得する処理部である。一態様としては、第１取得部１３ａは、カメラ１１によって撮像されたカメラ画像を取得する。他の一態様としては、第１取得部１３ａは、カメラ画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。更なる一態様としては、第１取得部１３ａは、外部装置からネットワークを介して受信することによってカメラ画像を取得することもできる。なお、第１取得部１３ａは、ＣＣＤやＣＭＯＳなどの撮像素子による出力から得られる２次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、１つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。なお、第１取得部１３ａは、被験者が映る静止画を断続または連続して取得することもできるし、所定の圧縮符号化方式によってエンコードされた動画符号化データのストリームを取得することもできる。

第２取得部１３ｂは、画面画像を取得する処理部である。一態様としては、第２取得部１３ｂは、ＯＳやアプリケーションプログラムが提供するＡＰＩ（Application Program Interface）を用いて、フレームバッファ１２に保存された画面画像を一定の間隔で取得することができる。他の一態様としては、第２取得部１３ｂは、フレームバッファ１２に保存された画面画像の指定色の輝度平均を取得する機能をＯＳやアプリケーションプログラム等に追加しておき、一定間隔でその機能を呼び出すことによって画面画像を取得することもできる。更なる一態様としては、第２取得部１３ｂは、カメラ１１とは別のカメラによって画面が撮像された画面画像またはその一部を取得したり、カメラ画像の一部を画面画像として取得したりすることもできる。このように、画面画像としてカメラ画像の一部を用いる場合、人の皮膚以外で、顔と類似する光量が当たる個所が望ましい。例えば、被験者の顔の下のブロックを取得することによって被験者の着衣の画像を取得することができる。また、カメラ画像から複数のブロックを取得し、その中から１つを選択してもよい。このとき、カメラ画像のうち被験者の顔が映る顔領域を除外することもできる。なお、第２取得部１３ｂは、画面に表示される静止画を断続または連続して取得することもできるし、所定の圧縮符号化方式によってエンコードされた動画符号化データのストリームを取得することもできる。

抽出部１４は、第１取得部１３ａによって取得されたカメラ画像から生体領域を抽出する処理部である。一態様としては、抽出部１４は、カメラ画像から所定の顔パーツを基準とする生体領域を抽出する。例えば、抽出部１４は、カメラ画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼、耳、鼻や口などの顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、抽出部１４は、被験者の鼻を中心とし、中心から所定の範囲に含まれる顔領域を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ顔領域の部分画像が脈波の検出に使用する画像として抽出される。その後、抽出部１４は、カメラ画像から抽出した顔領域の部分画像を後段の機能部へ出力する。なお、以下では、カメラ画像のうち顔領域の部分画像のことを「顔画像」と記載する場合がある。

図２は、カメラ画像の一例を示す図である。図２には、カメラ画像に映る被験者の眼、鼻及び口の一部または全部を含む領域が９つに分割されたブロックが図示されている。図２に示すブロックのうち上段の左及び右のブロックには、被験者の眼が映っている。これらのブロックの画像を検出に用いた場合には、眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。また、図２に示すブロックのうち下段の３つのブロックには、被験者の口が映っている。これらのブロックの画像を検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。一方、図２に示す中段の真ん中のブロック、すなわち斜線の塗りつぶしが図示されたブロックは、眼や口が映るブロックから隔てられており、他のブロックに比べてノイズとなる成分が映っている可能性が低いので、良好な検出結果を期待できる。これらのことから、抽出部１４は、カメラ画像から図２に示す中段の真ん中のブロックの画像を顔画像として抽出する。なお、画面画像は、フレームバッファ１２から採取するのではなく、カメラ画像のうち被験者の衣服が映ったブロックを画面画像として援用することもできる。

第１代表値算出部１５ａは、生体領域の部分画像に含まれる各画素が持つ画素値の代表値を算出する処理部である。一態様としては、第１代表値算出部１５ａは、顔領域に含まれる画素が持つ輝度値を波長成分ごとに平均する。この他、平均値以外にも、中央値や最頻値を計算することとしてもよく、また、加重平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。これによって、顔領域に含まれる各画素が持つ輝度の平均値が当該顔領域を代表する代表値として波長成分ごとに算出される。なお、ここでは、各波長成分の輝度の代表値を算出することとしたが、後段の機能部ではＲＧＢの３つの成分のうちＲ成分およびＧ成分の輝度値が使用されるので、これら２つの成分の代表値を算出することもできる。

第２代表値算出部１５ｂは、画面画像に含まれる各画素が持つ画素値の代表値を算出する処理部である。一態様としては、第２代表値算出部１５ｂは、画面画像に含まれる画素が持つ輝度値を波長成分ごとに平均する。これによって、画面画像に含まれる各画素が持つ輝度値の平均値が当該画面画像を代表する代表値として波長成分ごとに算出される。なお、ここでは、各波長成分の輝度の代表値を算出することとしたが、後段の機能部ではＲＧＢの３つの成分のうちＲ成分およびＧ成分の輝度値が使用されるので、これら３つの成分の代表値を算出することもできる。

ここで、以下では、カメラ画像から抽出された顔画像の代表値の時系列データを「カメラ輝度」、画面画像の代表値の時系列データを「画面輝度」記載する場合がある。さらに、Ｇ成分のカメラ輝度および画面輝度が第１画面光分離部１６ａへ出力されるとともにＧ成分のカメラ輝度が第１脈波波形演算部１７ａへ出力される。また、Ｒ成分のカメラ輝度および画面輝度が第２画面光分離部１６ｂへ出力されるとともに、Ｒ成分のカメラ輝度が第２脈波波形演算部１７ｂへ出力される。

第１画面光分離部１６ａおよび第２画面光分離部１６ｂは、いずれも画面輝度を用いて演算することによってカメラ輝度のうち画面画像を要因とするカメラ輝度と残りに分離したのち、後段の機能部へ出力する処理部である。以下では、カメラ輝度のうち画面画像を要因とするカメラ輝度のことを「画面光分輝度」と記載する場合がある。このうち、第１画面光分離部１６ａは、Ｇ成分の画面光分輝度とＧ成分の残りの輝度を第１脈波波形演算部１７ａへ出力し、第２画面光分離部１６ｂは、Ｒ成分の画面光分輝度とＲ成分の残りの輝度を第２脈波波形演算部１７ｂへ出力する。

図３は、カメラ画像に含まれる光成分の一例を示す図である。図３に示すように、カメラ１１には、太陽光や照明光などの一般の環境光、いわゆる外光と、スクリーン上に表示される画面画像が発する画面光とが撮像素子へ入射する。このため、カメラ輝度には、その輝度成分に外光と画面光が含まれることになる。かかるカメラ輝度は、光源と脈波成分の区分によって、下記の（Ａ）〜（Ｄ）へ分離できる。

（Ａ）外光分（非脈波成分）
（Ｂ）外光分（脈波成分）
（Ｃ）画面光分（非脈波成分）
（Ｄ）画面光分（脈波成分）

ここで、外光には、脈波に対応する周波数帯の成分が含まれないので、外光分（非脈波成分）には、脈波に対応する周波数帯の成分は含まれない。ところが、画面光には、もともと脈波に対応する周波数帯の成分が含まれるので、画面光分（脈波成分）には、脈波に対応する周波数帯の成分が含まれる。

図４は、画面光分の分離から脈波検出までの処理の一例が模式化された図である。図４に示すように、まず、カメラ輝度Ａ＋Ｂ＋Ｃ＋Ｄから画面光分（非脈波成分）Ｃが分離される。かかる画面光分Ｃの分離によって、外光分（非脈波成分）Ａと、外光分（脈波成分）Ｂと、画面光分（脈波成分）Ｄとが残りの輝度に含まれることになる。次に、残りの輝度Ａ＋Ｂ＋Ｄから脈波成分Ｂを除去する。かかる脈波成分の除去によって、画面光分Ｃの分離で残っていた輝度から外光分（脈波成分）Ｂと画面光分（脈波成分）Ｄとが除去され、外光分（非脈波成分）Ａが残ることになる。このため、外光分（非脈波成分）Ａと画面光分（非脈波成分）Ｃを合計することによってカメラ輝度の非脈波成分が得られる。ここで、カメラ輝度と当該カメラ輝度の非脈波成分との差が大きいほど、脈波成分の影響が大きいことを意味する。したがって、カメラ輝度を当該カメラ輝度の非脈波成分で除算することによってＧ成分の脈波波形とＲ成分の脈波波形とを算出できる。以上の処理がＧ成分およびＲ成分の両方に対し、並列して実行される。さらに、Ｇ成分の脈波成分からＲ成分の脈波波形を減算することによって脈波以外のノイズ成分が相殺された合成脈波波形が得られる。これは、一般に、血中のヘモグロビンの吸光特性がＲ成分よりもＧ成分の方が高く、Ｇ成分の輝度の方がＲ成分の輝度よりも脈波の影響を受けやすいからである。

続いて、第１画面光分離部１６ａの機能的構成について説明する。図５は、図１に示した第１画面光分離部１６ａ及び第１脈波波形演算部１７ａの機能的構成を示すブロック図である。図５に示すように、第１画面光分離部１６ａは、反射係数演算部１６ａ１と、脈波成分除去部１６ａ２と、画面光演算部１６ａ３と、画面光除去部１６ａ４とを有する。なお、図５には、第１画面光分離部１６ａ及び第１脈波波形演算部１７ａに絞って図示したが、第２画面光分離部１６ｂ及び第２脈波波形演算部１７ｂについても入力される信号がＲ成分である以外は同様の処理が実行される。

反射係数演算部１６ａ１は、画面輝度とカメラ輝度から、非脈波反射係数を演算する処理部である。かかる「反射係数」とは、画面輝度のカメラ輝度への影響の度合いを表す係数を指し、「非脈波反射係数」は、反射係数からさらに脈波成分を除去した係数である。

ここで、反射係数算出部１６ａ１は、次に説明するように、反射係数そのものを計算せずともよく、計算を非脈波反射係数に絞ることができる。すなわち、顔画像の輝度の画面光分は、画面光量と顔の反射係数の積で表すことができる。このため、顔画像の輝度の画面光分は、「画面光量×反射係数（非脈波成分）」と「画面光量×反射係数（脈波成分）」に分離できる。一般に、被験者へ向けて画面光を発する画面画像と、被験者の脈波は独立、すなわち無関係である。したがって、心拍１拍分以上の十分長い窓幅をとれば、「画面光量×反射係数（脈波成分）」の平均はゼロに近づく。

このことから、窓内では反射係数が一定であると仮定して、画面光量が顔画像の輝度へ与える影響の度合いを計算することによって反射係数の非脈波成分を算出できる。画面輝度がカメラ輝度へ与える影響の度合いを計算する方法の一例として、単回帰モデルを用いることができる。例えば、最新時刻から所定のパラメータβ秒間にわたって遡る窓を定義する。ここで、βの決定方法の一例としては、人の呼吸周波数の下限である１８ｂｐｍの１周期分であり、この場合３．３秒となる。かかるβは、人の脈波領域周波数の下限（４２ｂｐｍ）の１周期より長いため、「画面光量×反射係数（脈波成分）」の平均はゼロに近づくことが期待できる。ここでは、Ｇ成分の場合を例に挙げて説明する。この窓内のカメラ輝度Ｘ_ｇ、画面輝度Ｇ、反射係数δ_ｇとしたとき、下記の単回帰モデルのもとでδ_ｇを求める。

Ｘ_ｇ＝δ_ｇ＊Ｇ＋＜外光分のカメラ輝度＞

ここで、上記の＜外光分のカメラ輝度＞のうち脈波成分も平均がゼロに近づくので、窓内では定数とみなし、δ_ｇを算出できる。かかるδ_ｇは、単回帰モデルの傾きに相当するので、下記の式（１）によって算出できる。なお、下記の式（１）における「Ｘ_ｇ」のエックスバーと「Ｇ」のエックスバーは、カメラ輝度Ｘ_ｇ、画面輝度Ｇの窓内の平均を指し、「Σ」は、窓内の総和を指す。

このとき、窓内で画面輝度Ｇがほぼ一定であった場合には、精度よく非脈波反射係数を求めることが困難となる。例えば、上述の式（１）でＧがほぼ一定であった場合、分母分子ともゼロに近くなり、δ_ｇを精度よく求めることは困難である。かかる事態を回避する方法の一例として、窓内の画面輝度Ｇの分散を計算し、これが所定の閾値γ未満の場合、直前の非脈波反射係数を取得して反射係数に代用してもよい。これは、Ｇがほぼ一定であるということは、画面画像に非脈波成分がほとんど含まれていないことを示しており、この場合、必ずしも正確な反射係数（非脈波成分）を用いなくても得られる脈波は変わらないからである。

なお、ここでは、Ｇ成分を例に挙げて非脈波反射係数を演算する場合を例示したが、Ｒ成分を始め、他の波長成分で非脈波反射係数を演算する場合にも同様の演算を実行することによって非脈波反射係数を算出できる。また、全ての波長成分について窓内の画面輝度の分散を計算し、このいずれかが所定の閾値γ未満の場合、全ての波長成分について直前の非脈波反射係数で代用してもよい。さらに、ここでは、単回帰モデルを用いて非脈波反射係数を算出する場合を例示したが、他の統計処理、例えばマンハッタン距離を算出することによって傾きを評価したり、全ての点の中で距離が最大のものを最小にすることによって傾きを評価することとしてもかまわない。

また、上記の単回帰モデルは、カメラ画像の一部を画面画像に用いる場合のブロックの選択方法にも用いることができる。例えば、カメラ画像に含まれる複数のブロックのうち顔領域と重複しないブロックを選択し、その中でカメラ輝度と画面輝度の関係が、下記の式（２）示す単回帰モデルに最も合致するブロックを選択できる。単回帰モデルに合致するかどうかを示す指標として、決定係数Ｒ^２を用いることができる。なお、下記の式（２）におけるｆ（Ｇ）は単回帰モデルによるＸ_ｇの推定値である。

脈波成分除去部１６ａ２は、反射係数演算部１６ａ１によって出力された非脈波反射係数δ_ｇから脈波成分を除去する処理部である。このように、脈波成分を除去するのは、βが脈波の周期と必ずしも一致しないため、δ_ｇに脈波成分が残っている可能性があるためである。脈波成分を除去する方法の一例としては、所定の閾値よりも低い周波数成分のみを抽出するローパスフィルタが挙げられる。また、ローパスフィルタの閾値の一例としては、人の呼吸周波数の下限である１８ｂｐｍや、人の脈波周波数の下限である４２ｂｐｍが挙げられる。なお、上述した反射係数演算部１６ａ１の窓内の画面輝度の分散が所定の閾値γ未満である場合には、直前の非脈波反射係数で代用する代わりに、脈波成分除去部１６ａ２の出力である非脈波反射係数で代用することとしてもかまわない。

画面光演算部１６ａ３は、脈波成分除去部１６ａ２によって出力された非脈波反射係数と画面輝度とを演算することによって画面画像を要因とするカメラ輝度、すなわち画面光分輝度の非脈波成分を算出する処理部である。かかる演算の一例として、乗算を適用できる。

画面光除去部１６ａ４は、画面光演算部１６ａ３によって出力された画面光分輝度の非脈波成分とカメラ輝度を演算することによってカメラ輝度から画面光分輝度の非脈波成分を除去する処理部である。かかる演算の一例として、減算を適用できる。

第１脈波波形演算部１７ａは、図５に示すように、脈波成分除去部１７ａ１と、輝度合算部１７ａ２と、波形演算部１７ａ３とを有する。

このうち、脈波成分除去部１７ａ１は、画面光除去部１６ａ４によって画面光分輝度の非脈波成分が除去されたカメラ輝度から脈波成分を除去する処理部である。かかる脈波成分の除去によって、図４に示した外光を要因とするカメラ輝度（外光分輝度）の非脈波成分Ａが得られる。脈波成分を除去する方法の一例としては、所定の閾値よりも低い周波数成分のみを抽出するローパスフィルタが挙げられる。また、ローパスフィルタの閾値の一例としては、人の呼吸周波数の下限である１８ｂｐｍや、人の脈波周波数の下限である４２ｂｐｍが挙げられる。

輝度合算部１７ａ２は、画面光除去部１６ａ４によって出力された画面光分輝度の非脈波成分と脈波成分除去部１７ａ１によって出力された外光分輝度の非脈波成分を合算する処理部である。かかる合算によって、図４に示したカメラ輝度の非脈波成分Ａ＋Ｃを得ることができる。演算の一例として、画面光分輝度の非脈波成分と外光分輝度の非脈波成分を足し合わせることでカメラ輝度の非脈波成分を計算することができる。

波形演算部１７ａ３は、Ｇ成分のカメラ輝度とカメラ輝度の非脈波成分とから、第１の脈波波形を検出する処理部である。一態様としては、波形演算部１７ａ３は、カメラ輝度をカメラ輝度の非脈波成分で除算することによってＧ成分の脈波波形を計算することができる。このように、除算を用いた場合には、Ｇ成分のみならず、全ての波長成分において脈波波形は１を中心に振動する性質を持つことになる。なお、ここでは、カメラ輝度からカメラ輝度の非脈波成分を減算除算することによって第１の脈波波形を計算することによっても第１の脈波波形を求めることもできる。この場合には、脈波波形は０を中心に振動する性質を持つことになる。

かかる第１の脈波波形の演算後に、脈波波形から人の脈波に対応する周波数帯から外れた成分を除去してもよい。例えば、除去方法の一例として、所定の閾値の間の周波数成分のみを抽出するバンドパスフィルタを用いることができる。かかるバンドパスフィルタのカットオフ周波数の一例としては、人の脈波周波数の下限である４２ｂｐｍに対応する下限周波数と上限である２４０ｂｐｍに対応する上限周波数とを設定することができる。

なお、図５では、第１画面光分離部１６ａ及び第１脈波波形演算部１７ａに絞って各部の処理を説明したが、第２画面光分離部１６ｂ及び第２脈波波形演算部１７ｂについても入力される信号がＲ成分である以外は同様の処理が実行される。これによって、第２の脈波波形、すなわちＲ成分の脈波波形が検出される。

図１の説明に戻り、第３脈波波形演算部１８は、各波長成分の間で脈波波形を演算する処理部である。一態様としては、第３脈波波形演算部１８は、第１脈波波形演算部１７ａによって出力された第１の脈波波形、すなわちＧ成分の脈波波形から、第２脈波波形演算部１７ｂによって出力された第２の脈波波形、すなわちＲ成分の脈波波形を減算する。これによって、第３脈波波形演算部１８は、第３の脈波波形、すなわち脈波以外のノイズ成分が相殺された合成脈波波形を生成する。また、演算としてＧ成分の脈波波形をＲ成分の脈波波形で除算することとしてもよい。さらに、Ｇ成分とＲ成分以外の波長成分が存在する場合には、一例として、Ｇ成分以外の波長成分の脈波波形の平均を算出し、それをＧ成分の脈波波形から減算することもできる。また、波長成分がＧ成分しか存在しない場合は、第１の脈波波形をそのまま最終的な出力としてもよい。

なお、第３脈波波形演算部１８による演算後に、脈波波形から人の脈波に対応する周波数帯から外れた成分を除去してもよい。除去方法の一例として、所定の閾値の間の周波数成分のみを抽出するバンドパスフィルタが挙げられる。かかるバンドパスフィルタのカットオフ周波数の一例としては、人の脈波周波数の下限である４２ｂｐｍに対応する下限周波数と上限である２４０ｂｐｍに対応する上限周波数とを設定することができる。

検出部１９は、第３脈波波形演算部１８によって出力された第３の脈波波形から被験者の脈波を検出する処理部である。一態様としては、検出部１９は、合成脈波波形をそのまま出力することができる。他の一態様としては、検出部１９は、脈拍数を計算する方法の一例として、合成脈波波形の振幅値が出力される度に、合成脈波波形のピーク検出、例えば微分波形のゼロクロス点の検出などを実行する。このとき、検出部１９は、ピーク検出によって合成脈波波形のピークが検出された場合に、当該ピーク、すなわち極大点が検出されたサンプリング時間を図示しない内部メモリに保存する。その上で、検出部１９は、ピークが出現した時点で、所定のパラメータｎ個前の極大点との時刻差を求め、それをｎで除算することによって脈拍数を検出することができる。なお、ここでは、ピーク間隔によって脈拍数を検出する場合を例示したが、合成脈波波形を周波数成分へ変換することによって脈波に対応する周波数帯でピークをとる周波数から脈拍数を検出することもできる。

このようにして得られる脈拍数や脈波波形は、脈波検出装置１０が有する図示しない表示デバイスを始め、任意の出力先へ出力することができる。例えば、脈拍数や脈拍周期のゆらぎから自律神経の働きを診断したり、脈波波形から心疾患等を診断したりする診断プログラムが脈波検出装置１０にインストールされている場合には、診断プログラムを出力先とすることができる。また、診断プログラムをＷｅｂサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、脈波検出装置１０を利用する利用者の関係者、例えば介護士や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、診断プログラムの測定結果や診断結果も、脈波検出装置１０を始め、関係者の端末装置に表示させることができるのも言うまでもない。

なお、上記の第１取得部１３ａ、第２取得部１３ｂ、抽出部１４、第１代表値算出部１５ａ、第２代表値算出部１５ｂ、第１画面光分離部１６ａ、第２画面光分離部１６ｂ、第１脈波波形演算部１７ａ、第２脈波波形演算部１７ｂ、第３脈波波形演算部１８および検出部１９は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに給電制御プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

また、上記のフレームバッファ１２や内部メモリには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、フラッシュメモリ（Flash Memory）、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

［処理の流れ］
次に、本実施例に係る脈波検出装置１０の処理の流れについて説明する。なお、ここでは、脈波検出装置１０によって実行される（１）脈波検出処理を説明した後に、脈波検出処理のサブルーチンとして実行される（２）脈波波形演算処理を説明することとする。

（１）脈波検出処理
図６は、実施例１に係る脈波検出処理の手順を示すフローチャートである。この処理は、カメラ１１からカメラ画像が取得されるとともにフレームバッファ１２から画面画像が取得される度に処理を起動し、両画像が取得されなくなるまで繰り返し実行される処理である。なお、図示しない入力デバイス等を介して中断操作を受け付けた場合には、脈波検出処理を中止することもできる。

図６に示すように、第１取得部１３ａによってカメラ画像が取得されるとともに（ステップＳ１０１Ａ）、第２取得部１３ｂによって画面画像が取得される（ステップＳ１０１Ｂ）。

ステップＳ１０１Ａでカメラ画像が取得された後に、抽出部１４は、ステップＳ１０１Ａで取得されたカメラ画像から所定の顔パーツ、例えば被験者の鼻を基準とする顔領域の部分画像、すなわち顔画像を抽出する（ステップＳ１０２Ａ）。その上で、第１代表値算出部１５ａは、所定の波長成分別にステップＳ１０２Ａで抽出された顔画像に含まれる各画素の代表値の時系列データを後段の機能部へ出力する（ステップＳ１０３Ａ）。

ステップＳ１０１Ｂで画面画像が取得された後に、上記のステップＳ１０２Ａ〜ステップＳ１０３Ａの処理と並行して、第２代表値算出部１５ｂは、所定の波長成分別に画面画像に含まれる各画素の代表値の時系列データを後段の機能部へ出力する（ステップＳ１０２Ｂ）。

その上で、第１画面光分離部１６ａ、第２画面光分離部１６ｂ、第１脈波波形演算部１７ａ、第２脈波波形演算部１７ｂおよび第３脈波波形演算部１８は、第３の脈波波形を演算する「脈波波形演算処理」を実行する（ステップＳ１０４）。

そして、検出部１９は、ステップＳ１０４で演算された第３の脈波波形を用いて、被験者の脈拍数や脈拍波形など脈波を検出した上で（ステップＳ１０５）、脈波の検出結果を任意の出力先へ出力する（ステップＳ１０６）。その後、上記のステップＳ１０１Ａ及びステップＳ１０１Ｂに戻り、ステップＳ１０６までの処理が繰り返し実行される。

（２）脈波波形演算処理
図７は、実施例１に係る脈波波形演算処理の手順を示すフローチャートである。この処理は、図６に示したステップＳ１０４に対応する処理であり、上記のステップＳ１０３Ａ及びステップＳ１０２Ｂの実行後に開始される。なお、図７には、波長成分としてＧ成分及びＲ成分を例示しているが、他の波長成分やさらに多くの波長成分も同様に処理することが可能である。

図７に示すように、まず、第１画面光分離部１６ａは、図示しない内部メモリに初期設定として保存された窓幅βと窓内分散の閾値γを読み込む（ステップＳ３０１）。続いて、第１画面光分離部１６ａは、第１代表値算出部１５ａによって算出されたＧ成分のカメラ輝度および画面輝度を読み込むとともに、第２画面光分離部１６ｂは、第２代表値算出部１５ｂによって算出されたＲ成分のカメラ輝度および画面輝度を読み込む（ステップＳ３０２）。

そして、第１画面光分離部１６ａ及び第２画面光分離部１６ｂは、各々の処理部で並列して、最新時刻からβ秒遡って窓を決定する（ステップＳ３０３）。続いて、第１画面光分離部１６ａは、画面輝度のＧ成分の窓内分散を計算する（ステップＳ３０４Ａ）とともに、第２画面光分離部１６ｂは、画面輝度のＲ成分の窓内分散を計算する（ステップＳ３０４Ｂ）。

このとき、ステップＳ３０４Ａで計算された窓内分散及びステップＳ３０４Ｂで計算された窓内分散のいずれか一方または両方が閾値γ未満である場合（ステップＳ３０５Ｎｏ）には、ステップＳ３０６へ移行する。すなわち、第１画面光分離部１６ａ及び第２画面光分離部１６ｂは、各々の機能部で並行して、直前のサンプリング時間で演算された非脈波反射係数を取得し（ステップＳ３０６）、ステップＳ３０９Ａ及びステップＳ３０９Ｂの処理へ移行する。

一方、ステップＳ３０４Ａで計算された窓内分散及びステップＳ３０４Ｂで計算された窓内分散の両方が閾値γ以上である場合（ステップＳ３０５Ｙｅｓ）には、ステップＳ３０７Ａ及びステップＳ３０７Ｂの処理へ移行する。

すなわち、第１画面光分離部１６ａは、画面輝度のＧ成分の非脈波反射係数を計算するとともに（ステップＳ３０７Ａ）、第２画面光分離部１６ｂは、画面輝度のＲ成分の非脈波反射係数を計算する（ステップＳ３０７Ｂ）。その後、第１画面光分離部１６ａ及び第２画面光分離部１６ｂは、各々の機能部で並行して、画面輝度のＧ成分の非脈波反射係数から脈波成分を除去するとともに、画面輝度のＲ成分の非脈波反射係数から脈波成分を除去する（ステップＳ３０８）。

そして、第１画面光分離部１６ａは、カメラ輝度のＧ成分の画面光分(非脈波成分）を計算し（ステップＳ３０９Ａ）、第２画面光分離部１６ｂは、カメラ輝度のＲ成分の画面光分(非脈波成分）を計算する（ステップＳ３０９Ｂ）。続いて、第１画面光分離部１６ａは、カメラ輝度のＧ成分から画面光分(非脈波成分）を除き（ステップＳ３１０Ａ）、第２画面光分離部１６ｂは、カメラ輝度のＲ成分から画面光分(非脈波成分）を除く（ステップＳ３１０Ｂ）。

その後、第１脈波波形演算部１７ａは、画面光分輝度の非脈波成分が除去されたカメラ輝度のＧ成分から脈波成分を除去し、第２脈波波形演算部１７ｂは、画面光分輝度の非脈波成分が除去されたカメラ輝度のＲ成分から脈波成分を除去する（ステップＳ３１１）。かかる脈波成分の除去によって、図４に示した外光を要因とするカメラ輝度（外光分輝度）の非脈波成分ＡがＧ成分およびＲ成分ごとに得られる。

続いて、第１脈波波形演算部１７ａは、画面光分輝度のＧ成分の非脈波成分と外光分輝度のＧ成分の非脈波成分を合算してカメラ輝度のＧ成分の非脈波成分を計算する（ステップＳ３１２Ａ）。また、第２脈波波形演算部１７ｂは、画面光分輝度のＲ成分の非脈波成分と外光分輝度のＲ成分の非脈波成分を合算してカメラ輝度のＲ成分の非脈波成分を計算する（ステップＳ３１２Ｂ）。

そして、第１脈波波形演算部１７ａは、カメラ輝度のＧ成分をカメラ輝度のＧ成分の非脈波成分で除算することによって第１の脈波波形を演算し（ステップＳ３１３Ａ）、第２脈波波形演算部１７ｂは、カメラ輝度のＲ成分をカメラ輝度のＲ成分の非脈波成分で除算することによって第２の脈波波形を演算する（ステップＳ３１３Ｂ）。

その後、第３脈波波形演算部１８は、ステップＳ３１３Ａで演算された第１の脈波波形及びステップＳ３１３Ｂで演算された第２の脈波波形の間で差をとって第３の脈波波形を検出し（ステップＳ３１４）、処理を終了する。かかるステップＳ３１４で検出された第３の脈波波形がステップＳ１０５における被験者の脈拍数や脈拍波形に用いられる。このように、顔画像および画面画像のＧ成分とＲ成分の代表値の時系列データが入力される度に、上記のステップＳ３０２〜Ｓ３１４の処理が繰り返し実行される。

［実施例１の効果］
上述してきたように、本実施例に係る脈波検出装置１０は、被験者の生体が撮影されたカメラ画像の輝度を、画面に表示される画面画像に由来する画面光分輝度と残りの輝度に分離し、画面光分輝度と残り輝度を用いて脈波を検出する。このため、本実施例に係る脈波検出装置１０では、例えば、暗所で画面表示がなされた状態で脈波が測定された場合に、画面表示による輝度変化に脈波に対応する周波数帯が含まれたとしても、画面表示による輝度変化を打ち消して脈波を検出できる。したがって、本実施例に係る脈波検出装置１０によれば、脈波の検出精度の低下を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［入力信号］
上記の実施例１及び実施例２では、入力信号としてＲ信号およびＧ信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、Ｒ、Ｇ、Ｂ、ＩＲおよびＮＩＲなどの光波長成分が異なる信号のうち任意の組合せの信号を２つ用いることもできるし、また、３つ以上用いることもできる。

［他の実装例］
上記の実施例１では、脈波検出装置１０が上記の脈波検出処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、脈波検出装置１０は、脈波検出処理を実行するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって脈波検出サービスを始めとするサービスを提供するクラウドとして実装することとしてもかまわない。このように、脈波検出装置１０がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介して被験者の顔が映った画像が取得された場合に脈波検出処理を実行し、その検出結果やその検出結果を用いてなされた診断結果をクライアント端末へ応答することによって脈波検出サービス及び診断サービスを提供できる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、第１取得部１３ａ、第２取得部１３ｂ、抽出部１４、第１代表値算出部１５ａ、第２代表値算出部１５ｂ、第１画面光分離部１６ａ、第２画面光分離部１６ｂ、第１脈波波形演算部１７ａ、第２脈波波形演算部１７ｂ、第３脈波波形演算部１８または検出部１９を脈波検出装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、第１取得部１３ａ、第２取得部１３ｂ、抽出部１４、第１代表値算出部１５ａ、第２代表値算出部１５ｂ、第１画面光分離部１６ａ、第２画面光分離部１６ｂ、第１脈波波形演算部１７ａ、第２脈波波形演算部１７ｂ、第３脈波波形演算部１８または検出部１９を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の脈波検出装置１０の機能を実現するようにしてもよい。

［脈波検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図８を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。

図８は、実施例１及び実施例２に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図８に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図８に示すように、上記の実施例１で示した第１取得部１３ａ、第２取得部１３ｂ、抽出部１４、第１代表値算出部１５ａ、第２代表値算出部１５ｂ、第１画面光分離部１６ａ、第２画面光分離部１６ｂ、第１脈波波形演算部１７ａ、第２脈波波形演算部１７ｂ、第３脈波波形演算部１８および検出部１９と同様の機能を発揮する脈波検出プログラム１７０ａが予め記憶される。この脈波検出プログラム１７０ａについては、図１に示した各々の第１取得部１３ａ、第２取得部１３ｂ、抽出部１４、第１代表値算出部１５ａ、第２代表値算出部１５ｂ、第１画面光分離部１６ａ、第２画面光分離部１６ｂ、第１脈波波形演算部１７ａ、第２脈波波形演算部１７ｂ、第３脈波波形演算部１８および検出部１９の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、脈波検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図８に示すように、脈波検出プログラム１７０ａは、脈波検出プロセス１８０ａとして機能する。この脈波検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス１８０ａは、図１に示した第１取得部１３ａ、第２取得部１３ｂ、抽出部１４、第１代表値算出部１５ａ、第２代表値算出部１５ｂ、第１画面光分離部１６ａ、第２画面光分離部１６ｂ、第１脈波波形演算部１７ａ、第２脈波波形演算部１７ｂ、第３脈波波形演算部１８および検出部１９にて実行される処理、例えば図６〜図７に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の脈波検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）カメラによって生体が撮影されたカメラ画像を取得する第１取得部と、
前記カメラ画像から生体領域の部分画像を抽出する抽出部と、
所定の表示部の画面に表示される画面画像に関する情報を取得する第２取得部と、
前記画面画像の輝度を用いて、前記部分画像の輝度を当該画面画像に由来する画面光分輝度と残りの輝度に分離する分離部と、
前記画面光分輝度と前記残りの輝度を用いて脈波を検出する検出部と
を有することを特徴とする脈波検出装置。

（付記２）前記分離部は、
前記画面光分輝度と前記残りの輝度とを演算することによって脈波成分が除去された部分画像の輝度を算出し、当該脈波成分が除去された部分画像の輝度を用いて前記脈波を検出することを特徴とする付記１に記載の脈波検出装置。

（付記３）前記分離部は、
前記部分画像の輝度と前記画面画像の輝度とを計算することによって前記画面画像の輝度が前記部分画像の輝度へ与える影響の度合いを表す反射係数から脈波成分を除去した非脈波の反射係数を演算し、
前記非脈波の反射係数と前記画面画像の輝度を計算することによって前記画面光分輝度の非脈波成分を演算し、
前記部分画像の輝度と前記画面光分輝度の非脈波成分を演算した上で脈波成分を除去することによって外光に由来する部分画像の輝度の非脈波成分を演算し、
前記画面光分輝度の非脈波成分と前記外光に由来する部分画像の輝度の非脈波成分を演算することによって前記部分画像の非脈波輝度を演算することを特徴とする付記１または付記２に記載の脈波検出装置。

（付記４）前記分離部は、波長成分別に前記部分画像の非脈波輝度を演算することを特徴とする付記３に記載の脈波検出装置。

（付記５）前記部分画像の輝度と前記部分画像の非脈波輝度とを波長成分別に演算することによって波長成分別の脈波波形を演算する脈波波形演算部をさらに有し、
前記検出部は、
各波長成分の間で脈波波形同士を演算することによって前記脈波を検出することを特徴とする付記４に記載の脈波検出装置。

（付記６）前記分離部は、
前記部分画像の輝度と前記画面画像の輝度との所定の期間の履歴から単回帰モデルの傾きを前記非脈波の反射係数を算出することを特徴とする付記３、４または５に記載の脈波検出装置。

（付記７）前記分離部は、
前記画面画像の輝度の所定の期間の履歴から算出された輝度の分散が所定の閾値未満である場合に、前記非脈波の反射係数の算出を中止し、当該分散が算出されるよりも前のフレームで算出していた非脈波の反射係数を代用することを特徴とする付記３〜６のいずれか一つに記載の脈波算出装置。

（付記８）前記第２取得部は、前記画面画像に関する情報として、前記カメラ画像のうち前記生体領域を除く領域の画像を取得することを特徴とする付記１〜７のいずれか一つに記載の脈波検出装置。

（付記９）コンピュータが、
カメラによって生体が撮影されたカメラ画像を取得し、
前記カメラ画像から生体領域の部分画像を抽出し、
所定の表示部の画面に表示される画面画像に関する情報を取得し、
前記画面画像の輝度を用いて、前記部分画像の輝度を当該画面画像に由来する画面光分輝度と残りの輝度に分離し、
前記画面光分輝度と前記残りの輝度を用いて脈波を検出する
処理を実行することを特徴とする脈波検出方法。

（付記１０）コンピュータに、
カメラによって生体が撮影されたカメラ画像を取得し、
前記カメラ画像から生体領域の部分画像を抽出し、
所定の表示部の画面に表示される画面画像に関する情報を取得し、
前記画面画像の輝度を用いて、前記部分画像の輝度を当該画面画像に由来する画面光分輝度と残りの輝度に分離し、
前記画面光分輝度と前記残りの輝度を用いて脈波を検出する
処理を実行させることを特徴とする脈波検出プログラム。

１０ 脈波検出装置
１１ カメラ
１２ フレームバッファ
１３ａ 第１取得部
１３ｂ 第２取得部
１４ 抽出部
１５ａ 第１代表値算出部
１５ｂ 第２代表値算出部
１６ａ 第１画面光分離部
１６ｂ 第２画面光分離部
１７ａ 第１脈波波形演算部
１７ｂ 第２脈波波形演算部
１８ 第３脈波波形演算部
１９ 検出部

Claims (6)

1. カメラによって生体が撮影されたカメラ画像を取得する第１取得部と、
   前記カメラ画像から生体領域の部分画像を抽出する抽出部と、
   所定の表示部の画面に表示される画面画像に関する情報を取得する第２取得部と、
   前記部分画像の輝度および前記画面画像の輝度から、前記画面画像の輝度が前記部分画像の輝度へ与える影響の度合いを表す反射係数から脈波に対応する周波数成分である脈波対応成分が除去された非脈波対応成分の反射係数を演算する第１演算部と、
   前記非脈波対応成分の反射係数および前記画面画像の輝度から、前記部分画像の輝度のうち前記画面画像に由来する画面光分輝度の非脈波対応成分を演算する第２演算部と、
   前記部分画像の輝度から前記画面光分輝度の非脈波対応成分が分離された残りの輝度から、脈波に対応する周波数成分である脈波対応成分を除去することにより、前記部分画像の輝度のうち外光に由来する外光分輝度の非脈波対応成分を演算する第３演算部と、
   前記画面光分輝度の非脈波対応成分および前記外光分輝度の非脈波対応成分から、前記部分画像の輝度の非脈波対応成分を演算する第４演算部と、
   前記部分画像の輝度の非脈波対応成分および前記部分画像の輝度から脈波を検出する検出部と
   を有することを特徴とする脈波検出装置。
2. 前記第４演算部は、第１の波長成分および前記第１の波長成分とヘモグロビンの吸光特性が異なる第２の波長成分ごとに、前記部分画像の輝度の非脈波対応成分を演算することを特徴とする請求項１に記載の脈波検出装置。
3. 前記部分画像の輝度の非脈波対応成分と、前記部分画像の輝度とを前記第１の波長成分および前記第２の波長成分ごとに演算することによって前記第１の波長成分の脈波波形および前記第２の波長成分の脈波波形を演算する脈波波形演算部をさらに有し、
   前記検出部は、
   前記第１の波長成分および前記第２の波長成分の間で脈波波形同士を演算することによって前記脈波を検出することを特徴とする請求項２に記載の脈波検出装置。
4. 前記第２取得部は、前記画面画像に関する情報として、前記カメラ画像のうち前記生体領域を除く領域の画像を取得することを特徴とする請求項１、２または３に記載の脈波検出装置。
5. コンピュータが、
   カメラによって生体が撮影されたカメラ画像を取得し、
   前記カメラ画像から生体領域の部分画像を抽出し、
   所定の表示部の画面に表示される画面画像に関する情報を取得し、
   前記部分画像の輝度および前記画面画像の輝度から、前記画面画像の輝度が前記部分画像の輝度へ与える影響の度合いを表す反射係数から脈波に対応する周波数成分である脈波対応成分が除去された非脈波対応成分の反射係数を演算し、
   前記非脈波対応成分の反射係数および前記画面画像の輝度から、前記部分画像の輝度のうち前記画面画像に由来する画面光分輝度の非脈波対応成分を演算し、
   前記部分画像の輝度から前記画面光分輝度の非脈波対応成分が分離された残りの輝度から、脈波に対応する周波数成分である脈波対応成分を除去することにより、前記部分画像の輝度のうち外光に由来する外光分輝度の非脈波対応成分を演算し、
   前記画面光分輝度の非脈波対応成分および前記外光分輝度の非脈波対応成分から、前記部分画像の輝度の非脈波対応成分を演算し、
   前記部分画像の輝度の非脈波対応成分および前記部分画像の輝度から脈波を検出する
   処理を実行することを特徴とする脈波検出方法。
6. コンピュータに、
   カメラによって生体が撮影されたカメラ画像を取得し、
   前記カメラ画像から生体領域の部分画像を抽出し、
   所定の表示部の画面に表示される画面画像に関する情報を取得し、
   前記部分画像の輝度および前記画面画像の輝度から、前記画面画像の輝度が前記部分画像の輝度へ与える影響の度合いを表す反射係数から脈波に対応する周波数成分である脈波対応成分が除去された非脈波対応成分の反射係数を演算し、
   前記非脈波対応成分の反射係数および前記画面画像の輝度から、前記部分画像の輝度のうち前記画面画像に由来する画面光分輝度の非脈波対応成分を演算し、
   前記部分画像の輝度から前記画面光分輝度の非脈波対応成分が分離された残りの輝度から、脈波に対応する周波数成分である脈波対応成分を除去することにより、前記部分画像の輝度のうち外光に由来する外光分輝度の非脈波対応成分を演算し、
   前記画面光分輝度の非脈波対応成分および前記外光分輝度の非脈波対応成分から、前記部分画像の輝度の非脈波対応成分を演算し、
   前記部分画像の輝度の非脈波対応成分および前記部分画像の輝度から脈波を検出する
   処理を実行させることを特徴とする脈波検出プログラム。

Images