JP7252542B2 - 覚醒状態推定装置及び覚醒状態推定方法 - Google Patents

Description

本発明は、覚醒状態推定装置及び覚醒状態推定方法に関する。

人体の生理データに基づいて覚醒状態を判定する技術がある（例えば特許文献１参照）。この技術では、人体の状態検知データから得られる心拍間隔及び呼吸の周期数成分とその時系列変化とに基づいて、低覚醒すなわち眠気を予測する。

特開２０１３－１３５４２号公報

従来の技術では、予測に用いている人体の生理データが一部でも欠損した場合、その欠損している期間は正確な覚醒状態の予測ができないという課題がある。

本発明は、上記の問題点に鑑みてなされたものであって、予測に用いている人体の生理データの一部が欠損した期間も、覚醒状態の予測を行うことができる覚醒状態推定装置及び覚醒状態推定方法を提供することを目的とする。

この発明に係る覚醒状態推定装置及び覚醒状態推定方法は、以下の構成を採用した。
（１）：この発明の一態様に係る覚醒状態推定装置は、人体を計測して得られた生理データから前記人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得部と、複数種類の前記特徴量のうち一部の種類の前記特徴量である主要特徴量を用いて前記人体の覚醒状態を推定する推定部とを備え、前記推定部は、前記生理データに欠損があるために前記主要特徴量のうち少なくともいずれかの種類の主要特徴量を取得できない場合に、取得できない前記主要特徴量に代えて、前記特徴量取得部が取得した複数種類の前記特徴量のうち前記主要特徴量とは異なる種類の前記特徴量を用いて前記人体の覚醒状態を推定する。

（２）：上記（１）の態様において、前記推定部は、取得できない前記主要特徴量に代えて、取得できない前記主要特徴量と相関が高い種類の前記特徴量を用いるものである。

（３）：上記（１）又は（２）において、前記生理データは、心臓、呼吸、指尖脈派、皮膚抵抗、瞬き、瞳孔又は頭部動作の計測結果を含むものである。

（４）：上記（１）から（３）のいずれかにおいて、前記特徴量取得部は、前記生理データに欠損がある場合に、欠損があるタイミングの前記生理データを、他のタイミングにおいて得られた前記生理データに基づき補完するものである。

（５）：この発明の一態様に係る覚醒状態推定方法は、人体を計測して得られた生理データから前記人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得ステップと、複数種類の前記特徴量のうち一部の種類の前記特徴量である主要特徴量を用いて前記人体の覚醒状態を推定する推定ステップと、前記生理データに欠損があるために前記主要特徴量のうち少なくともいずれかの種類の主要特徴量を取得できない場合に、取得できない前記主要特徴量に代えて、前記特徴量取得ステップにおいて取得した複数種類の前記特徴量のうち前記主要特徴量とは異なる種類の前記特徴量を用いて前記人体の覚醒状態を推定する欠損時推定ステップと、を有する。

上述した（１）又は（５）の構成によれば、覚醒状態の予測に用いている人体の生理データの一部が欠損した期間も、継続して覚醒状態の予測を行うことが可能となる。
上述した（２）の構成によれば、覚醒状態の予測に用いている人体の生理データの一部が欠損した期間も、予測の精度を著しく低下させることなく覚醒状態の予測を継続することが可能となる。
上述した（３）の構成によれば、覚醒状態に関連の高い特徴量が得られるため、精度よく覚醒状態の予測を行うことができる。
上述した（４）の構成によれば、主要特徴量を得るための生理データが一時的に欠損した場合でも、生理データを補完することで主要特徴量を得ることができるため、精度の高い覚醒状態の予測を継続することができる。

本発明の実施形態に係る覚醒状態推定装置の構成例を示すブロック図である。 同実施形態に係る覚醒状態推定装置の処理例を示すフロー図である。 同実施形態に係る生理データの補完の例を示す図である。 同実施形態に係る生理データ及び特徴量を示す図である。 同実施形態に係る覚醒状態推定モデルに使用されうる特徴量と覚醒度の相関を示す図である。 同実施形態に係る覚醒状態推定モデルの評価結果を示す図である。 同実施形態に係る覚醒状態推定モデルの評価結果を示す図である。 同実施形態に係る特徴量の主成分分析結果を示す図である。

以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本実施形態に係る覚醒状態推定装置１の構成例を示すブロック図である。覚醒状態推定装置１は、記憶部１１と、生理データ入力部１２と、特徴量取得部１３と、推定部１４とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

記憶部１１は、各種データを記憶する。記憶部１１は、ｍ種類（ｍは１以上の整数）の生理データと、ｎ種類（ｎは２以上の整数）の特徴量と、覚醒状態推定モデルとを記憶する。生理データは、覚醒状態を推定する対象となる人物を計測して得られた生理的なデータである。特徴量は、人体の覚醒状態に関する特徴を数値化した情報であり、生理データから得られる。生理データ自体が、特徴量であってもよい。特徴量は、例えば、心臓、呼吸、指尖脈派、皮膚抵抗、瞬き、瞳孔又は頭部動作の計測結果を示す生理データから得られる。覚醒状態推定モデルは、ｎ種類の特徴量のうち覚醒状態の判定に対する寄与が大きい一部のｋ種類（ｋは１以上の整数、ｋ＜ｎ）の特徴量を用いて覚醒度を算出するための式である。覚醒度は、人体の覚醒状態を表す定量的な値である。覚醒状態の判定に対する寄与が大きいｋ種類の特徴量を、主要特徴量と記載する。記憶部１１は、さらに、各主要特徴量が取得できないときに使用する特徴量である代替特徴量と、その代替特徴量を使用するときのモデル変更情報とを示す代替算出情報を記憶する。モデル変更情報は、覚醒状態推定モデルに対する変更を示す。

例えば、覚醒状態推定モデルは、６種類（ｍ＝６）の特徴量ａ_１、ａ_２、ｂ_１、ｂ_２、ｃ_１、ｃ_２のうち、３種類（ｋ＝３）の主要特徴量ａ_１、ｂ_１、ｃ_１を用いて、以下の式（１）により覚醒度Ｙを算出する式である。なお、α_０、β_０、γ_０は係数である。

覚醒度Ｙ＝α_０ａ_１＋β_０ｂ_１＋γ_０ｃ_１ …（１）

代替算出情報は、主要特徴量ａ_１の代替特徴量が特徴量ｂ_２である旨の情報と、代替特徴量ｂ_２を使用するときに係数α_０を係数α_１に変更する旨のモデル変更情報とを含む。よって、主要特徴量ａ_１が得られず、代替特徴量ｂ_２が使用される場合、覚醒状態推定モデルは、以下の式（２）となる。

覚醒度Ｙ＝α_１ｂ_２＋β_０ｂ_１＋γ_０ｃ_１ …（２）

なお、代替算出情報は、１つの主要特徴量と、優先度順の複数の代替特徴量との対応付けを含んでもよい。また、代替特徴量は、複数の特徴量の組合せでもよい。例えば、主要特徴量ａ_１が得られないときに、代替特徴量として特徴量ｂ_２及びｃ_２の組合せが使用される場合、モデル変更情報は、式（１）の「α_０ａ_１」の項を、「α_１１ｂ_２＋α_１２ｃ_２」（α_１１、α_１２は係数）のように置き換えることを示してもよい。主要特徴量とその代替特徴量とは、異なる生理データから得られる特徴量であるが、同じ生理データから得られる特徴量でもよい。

生理データ入力部１２は、計測装置等の外部の装置から時系列のｍ種類の生理データを入力し、記憶部１１に書き込む。特徴量取得部１３は、記憶部１１に記憶されるｍ種類の生理データに基づいてｎ種類の特徴量を取得する。特徴量取得部１３は、生理データ取得部１３１と、補完部１３２と、欠損検出部１３３と、特徴量算出部１３４とを備える。生理データ取得部１３１は、記憶部１１に記憶されるｍ種類の時系列の生理データのそれぞれから、特徴量の取得に用いられる区間の生理データを取得する。区間は、開始のタイミングと終了のタイミングとで表される時間的な長さである。補完部１３２は、特徴量の取得に用いられる区間において欠損している生理データの値を、欠損がないタイミングの生理データの値に基づき補完する。欠損検出部１３３は、補完処理後の各生理データに欠損があるか否かを検出する。欠損検出部１３３は、欠損がある生理データの種類を特徴量算出部１３４に通知する。特徴量算出部１３４は、欠損がない生理データから特徴量を取得し、推定部１４に出力する。特徴量算出部１３４は、１種類の生理データから複数種類の特徴量を取得してもよく、複数種類の生理データから１種類の特徴量を取得してもよい。各種類の特徴量は、同じ数値範囲に正規化された値である。特徴量算出部１３４は、欠損がある生理データの種類を欠損検出部１３３から受信した場合、その種類の生理データの欠損のため取得できない特徴量の種類を推定部１４に通知する。

推定部１４は、記憶部１１から覚醒状態推定モデルを読み出す。推定部１４は、ｋ種類の全ての主要特徴量について欠損がないタイミングにおいては、読み出した覚醒状態推定モデルの変数の値に、それらｋ種類の主要特徴量を代入して覚醒度を算出する。推定部１４は、ｋ種類の主要特徴量のうち少なくともいずれかの欠損が通知されているタイミングにおいては、代替算出情報に基づいて、欠損している主要特徴量の代替特徴量のうち、優先度が最も高く、かつ、欠損していない代替特徴量を選択する。さらに、推定部１４は、選択した代替特徴量に対応したモデル変更情報に基づいて覚醒状態推定モデルを変更する。推定部１４は、変更した覚醒状態推定モデルの変数の値に、選択した代替特徴量と、欠損していない主要特徴量とを代入して、覚醒度を算出する。推定部１４は、算出した覚醒度を推定結果として出力する。出力は、例えば、ディスプレイへの表示でもよく、外部装置へのデータの出力でもよく、音声による出力でもよい。

なお、覚醒状態推定装置１をネットワークに接続される複数のコンピュータ装置により実現してもよい。この場合、覚醒状態推定装置１の各機能部を、これら複数のコンピュータ装置のいずれにより実現するかは任意とすることができる。また、一つ機能部を、複数のコンピュータ装置により実現してもよい。また、複数のコンピュータ装置を用いて、分散処理及び統合処理を実施してもよい。

図２は、覚醒状態推定装置１の処理例を示すフロー図である。以下では、生理データが生理データＡ、Ｂ、Ｃの３種類（ｍ＝３）であり、特徴量が生理データＡから得られる特徴量ａ_１、ａ_２、生理データＢから得られる特徴量ｂ_１、ｂ_２、生理データＣから得られる特徴量ｃ_１、ｃ_２の６種類（ｎ＝６）であり、主要特徴量が特徴量ａ_１、ｂ_１、ｃ_１の３種類（ｋ＝３）である場合を例に説明する。

生理データ入力部１２は、生理データＡを外部装置から順次入力し、記憶部１１に書き込んでいる（ステップＳ１１０ａ）。生理データ取得部１３１は、記憶部１１に記憶されている時系列の生理データＡのうち、最新の時刻から所定時間遡った時刻までの区間の生理データＡを抽出する（ステップＳ１１５ａ）。この区間を、抽出対象区間と記載する。抽出対象区間は、特徴量ａ_１、ａ_２の算出に必要な生理データＡの時間区間である。

補完部１３２は、生理データＡに欠損がある場合に、補完処理を行う。補完部１３２は、抽出対象区間のうち、生理データＡが取得できなかった区間を欠損がある区間と判断する。さらに、補完部１３２は、抽出対象区間の生理データＡが、正常に検出された値を示すか否かを判定し、生理データＡが取得できた区間であっても正常に検出された値ではない区間については、欠損がある区間と判断する。補完部１３２は、抽出対象区間の生理データＡのうち、正常な値を取得できた生理データＡの区間を用いて、欠損がある区間の生理データＡの値を補完する（ステップＳ１２０ａ）。補完の例については、図３を用いて後述する。なお、補完部１３２は、抽出対象区間より前の区間の生理データＡをさらに用いて補完を行ってもよい。補完部１３２は、抽出対象区間のうち、所定以上の区間で生理データＡが欠損している場合には、補完不可と判断し、補完処理を行わない。

欠損検出部１３３は、抽出対象区間における補完処理後の生理データＡの欠損の有無を判断する（ステップＳ１２５ａ）。欠損検出部１３３は、欠損ありと判断した場合（ステップＳ１２５ａ：ＹＥＳ）、生理データＡの欠損を特徴量算出部１３４に出力する。特徴量算出部１３４は、抽出対象区間が示すタイミングの情報と対応付けて、特徴量ａ_１及びａ_２が欠損している旨を記憶部１１に書き込む。覚醒状態推定装置１は、ステップＳ１１０ａに戻り、新たな生理データＡを取得する。

一方、欠損検出部１３３は、欠損がないと判断した場合（ステップＳ１２５ａ：ＮＯ）、生理データＡを特徴量算出部１３４に出力する。なお、欠損検出部１３３は、補完後の生理データＡの一部に欠損区間がある場合でも、その欠損区間が特徴量の算出に影響がない区間以下である場合、欠損がないと判断してもよい。特徴量算出部１３４は、補完が行われた生理データＡから特徴量ａ_１及びａ_２を取得する（ステップＳ１３０ａ）。特徴量算出部１３４は、抽出対象区間が示すタイミングの情報と対応付けて、取得した特徴量ａ_１及びａ_２を記憶部１１に書き込む。

覚醒状態推定装置１は、生理データＢ、Ｃについても、ステップＳ１１０ａ～ステップＳ１３０ａと同様の処理を行う。すなわち、生理データ入力部１２は、生理データＢ、Ｃを外部装置から順次入力し、記憶部１１に書き込んでいる（ステップＳ１１０ｂ、ステップＳ１１０ｃ）。生理データ取得部１３１は、抽出対象区間の生理データＢ、Ｃを抽出する（ステップＳ１１５ｂ、Ｓ１１５ｃ）。補完部１３２は、生理データＢ、Ｃに欠損がある場合に、補完処理を行う（ステップＳ１２０ｂ、Ｓ１２０ｃ）。欠損検出部１３３は、抽出対象区間における補完処理後の生理データＢ、Ｃの欠損の有無を判断する（ステップＳ１２５ｂ、Ｓ１２５ｃ）。

欠損検出部１３３が、生理データＢに欠損ありと判断した場合（ステップＳ１２５ｂ：ＹＥＳ）、特徴量算出部１３４は、抽出対象区間が示すタイミングと対応付けて、特徴量ｂ_１及びｂ_２が欠損している旨を記憶部１１に書き込む。そして覚醒状態推定装置１はステップＳ１１０ｂへ戻る。一方、欠損検出部１３３が、生理データＢに欠損なしと判断した場合（ステップＳ１２５ｂ：ＮＯ）、特徴量算出部１３４は、補完が行われた生理データＢから特徴量ｂ_１及びｂ_２を取得し、抽出対象区間が示すタイミングの情報と対応付けて記憶部１１に書き込む（ステップＳ１３０ｂ）。また、欠損検出部１３３が、生理データＣに欠損ありと判断した場合（ステップＳ１２５ｃ：ＹＥＳ）、特徴量算出部１３４は、抽出対象区間が示すタイミングと対応付けて、特徴量ｃ_１及びｃ_２が欠損している旨を記憶部１１に書き込む。そして覚醒状態推定装置１はステップＳ１１０ｃへ戻る。一方、欠損検出部１３３が、生理データＣに欠損なしと判断した場合（ステップＳ１２５ｃ：ＮＯ）、特徴量算出部１３４は、補完が行われた生理データＣから特徴量ｃ_１及びｃ_２を取得し、抽出対象区間が示すタイミングの情報と対応付けて記憶部１１に書き込む（ステップＳ１３０ｃ）。

推定部１４は、記憶部１１を参照し、覚醒度の算出に用いるタイミングにおいて、主要特徴量である特徴量ａ_１、ｂ_１、ｃ_１が全て取得できたか否かを判断する（ステップＳ１３５）。推定部１４は、主要特徴量が全て取得できたと判定した場合（ステップＳ１３５：ＹＥＳ）、例えば、式（１）の覚醒状態推定モデルを使用すると決定する。推定部１４は、覚醒状態推定モデルの変数の値に、覚醒度の算出に用いるタイミングにおける特徴量ａ_１、ｂ_１、ｃ_１を代入して覚醒度Ｙを算出する（ステップＳ１４０）。推定部１４は、算出した覚醒度を出力する。

推定部１４は、主要特徴量である特徴量ａ_１、ｂ_１、ｃ_１のうち取得できなかった特徴量があると判断した場合（ステップＳ１３５：ＮＯ）、代替特徴量を選択する。具体的には、推定部１４は、取得できなかった主要特徴量に対応して代替算出情報に記憶されている代替特徴量のうち、覚醒度の算出に用いるタイミングにおいて取得できた代替特徴量であり、その取得できた代替特徴量のうち主要特徴量と相関が最も高いものから順に代替特徴量を選択する。相関は、例えば、回帰分析（後述する図５）による相関係数や主成分分析（ＰＣＡ）による固有ベクトル方位（後述する図８）により予め算出される。そこで、代替算出情報に１つの主要特徴量と対応付けられて設定されている複数の代替特徴量それぞれの優先度順を、相関に基づいた値とすることができる。さらに、推定部１４は、代替算出情報から、取得できなかった主要特徴量と、選択した代替特徴量とに対応したモデル変更情報を読み出す。推定部１４は、モデル変更情報により変更した覚醒状態推定モデルの変数の値に、覚醒度の算出に用いるタイミングにおいて取得された主要特徴量及び代替特徴量を代入して覚醒度Ｙを算出する（ステップＳ１４５）。推定部１４は、算出した覚醒度を出力する。

例えば、推定部１４は、主要特徴量ａ_１、ｂ_１、ｃ_１のうち、主要特徴量ａ_１が取得できなかったと判断した場合に、代替特徴量として特徴量ｂ_２を選択する。推定部１４は、モデル変更情報に従って、上述した式（１）の覚醒状態推定モデルを、上述した式（２）の覚醒状態推定モデルに変更する。推定部は、式（２）の覚醒状態推定モデルに、取得できた主要特徴量ｂ_１、ｃ_１と、代替特徴量ｂ_２とを代入して覚醒度Ｙを算出する。

ステップＳ１４０又はステップＳ１４５の処理の後、推定部１４が、処理の終了ではないと判定した場合に（ステップＳ１５０：ＮＯ）、覚醒状態推定装置１は、ステップＳ１１０ａ、Ｓ１１０ｂ、Ｓ１１０ｃからの処理を周期的に繰り返す。そして、推定部１４は、終了指示が入力された場合や、予め設定された終了時間になった場合などに処理を終了すると判定し（ステップＳ１５０：ＹＥＳ）、処理を終了する。

ステップＳ１２０ａ、Ｓ１２０ｂ、Ｓ１２０ｃにおいて、補完部１３２が生理データの補完を行う前に、生理データの欠損を検出する処理の例について説明する。補完部１３２は、抽出対象区間の生理データに対して、（処理１）１階微分、（処理２）１次解析データの分散σの取得を行う。補完部１３２は、処理１の結果が発散する（傾斜が閾値以上である）場合、データが不連続である、すなわち欠損が発生していると判断する。これは、通常、生理データが連続性を持つためである。視線瞳孔の飛びなどが発生した場合、この段階でデータの欠損が検出される。また、補完部１３２は、処理２により得られた分散σの値に基づいてデータの欠損を判定する。例えば、脈派振幅などを取得する際には、１６秒間の生理データから約０．７秒間隔の脈派振幅２５回の分散が得られる。補完部１３２は、このうち４σを越えるものを異常値（欠損）として検出する。なお、補完部１３２は、抽出対象区間全体が異常を示すような場合には、過去に算出し、蓄積しておいた分散σの値を参照して判定を行う。なお、平均値は状況により変化するため、分散の方が欠損の判定に適している。

図３は、生理データの補完の例を示す図である。図３（ａ）は、記憶部１１に記憶される瞳孔径（ＰＵＰＩＬ）を示す時系列の生理データである。瞳孔径を示す生理データの欠損は、瞬きによる眼球の隠れ、外光の急激な変化による見失い、計測器の内部処理エラー、などの原因により発生することが想定される。例えば、瞬きによる眼球の隠れの場合、０．１秒程度の異常値が検出される。しかし、この間は、瞳孔径は保存されると仮定できる。そのため、以下のような処理により、瞬きによる眼球の隠れによる瞳孔径の生理データの欠損を補完することができる。

まず、補完部１３２は、ローパスフィルタにより、１０Ｈｚ以下の測定値のみ抽出する。ローパスフィルタには、ＦＩＲ(Finite Impulse Response)フィルタを用いることができる。続いて、補完部１３２は、所定のサンプリング周波数（例えば、６０Ｈｚ）で測定値をサンプリングし、時間差分を算出する。補完部１３２は、時間差分が閾値（例えば、０．１ｍｍ）以上である場合、測定値をノイズと判定する。補完部１３２は、ノイズ区間を除去し、その間を線形補完する。最後に、補完部１３２は、５ポイント移動平均により時系列の瞳孔径を平滑化する。図３（ｂ）は、この手順により補完を行った瞳孔径の時系列の生理データである。

他の生理データの欠損においても、異常値判定と補完アルゴリズムを併せることで、特徴を失わず、データが補完可能である。また、補完には、線形やスプライン曲線など、任意の既存の手法を適用可能である。周期的性質を利用することも可能であるが、覚醒度を変えてしまう可能性があり、注意が必要である。なお、前後の区間が同一周期である場合は適用可能である。しかし、区間全体で生理データが欠損した場合などは、補完部１３２は、補完不可と判断し、図２の処理フローに示すように、覚醒状態推定装置１は、次のタイミングの生理データを取得する。

次に、覚醒状態推定装置１の適用例を説明する。
まず、成人男子２２～２４歳２０名を対象にして、心電、呼吸、指尖脈派、皮膚コンダクタンス、瞬き、瞳孔径、頭部動作を取得し、ＰＶＴタスクによる覚醒テストを行った。ＰＶＴタスクは、例えば、文献「K. Kaida et al.，"Validation of the Karolinska sleepiness scale against performance and EEG variables"，Clinical NeuroPhysiology，2006年7月，Volume 117，Issue7:1574-1581」に記載されている。ＰＶＴ後に、対象者にＫＳＳ（カロリンスカ睡眠スケール）及びＶＡＳ（Visual Analog Scale）の申告評価を実施した。２４回の試行を２回に分け実施し、間に十分な休憩を挟んだ。

図４は、生理データ及び特徴量を示す図である。同図に示す表は、生理データが測定対象とする部位と、生理データから得られる特徴量の種類（名称）及び特徴量の内容と、特徴量が代表する生理活動をと示す。ただし、ＫＳＳは、特徴量ではなく、覚醒度として用いられる。ＫＳＳは、人物の主観によって、覚醒状態を１（覚醒）－９（眠気）までの範囲で表す。

心電図を表す生理データからは、ＨＲ（heart rate）、ＣＳＩ（cardiac sympathetic index：交感神経指標）、ＣＶＩ（cardiac vagal index：副交感神経指標）、ＨＦ／（ＬＦ＋ＨＦ）が得られる。ＨＲは、毎分心拍回数であり、（１／ＲＲ_ｉ）により算出される。ＲＲは、Ｒ波とＲ波の間隔である。Ｒ波は、心電図の鋭いピークである。なお、添え字のｉは、ｉ回目の値であることを表す。連続して測定されたＲＲ_ｉ、ＲＲ_ｉ＋１にローレンツプロット解析を行って得られた楕円形の分布の長軸成分をＬ、短軸成分をＴとしたときに、ＣＳＩはＬ／Ｔであり、ＣＶＩはＬｏｇ_１０（Ｌ×Ｔ）である。また、ＨＦは高周波成分、ＬＦは低周波成分を表す。

呼吸を表す生理データからは１試行平均呼吸間隔であるＲＥＳＰが、脈波を表す生理データからは１試行平均頂点振幅であるＰＵＬＳＥが、皮膚活動電位を表す生理データからは１試行平均表面電位であるＳＣＲが、瞬目を表す生理データからは１試内瞬目回数であるＢＬＩＮＫが、瞳孔径を表す生理データからは１試平均瞳孔径であるＰＵＰＩＬが得られる。頭部動作を表す生理データからは１試平均頭部移動量をＸＹＺ座標で表したＨＥＡＤ＿Ｘ，Ｙ，Ｚが得られる。

本実施形態では、それぞれの対象者について、各特徴量を最大値－最小値の間で１－０に規格化した。

図５は、覚醒状態推定モデルに使用されうる特徴量と覚醒度との相関を示す図である。同図は、覚醒テストで得られた結果に基づいて、図４に示す特徴量及び覚醒度間の相関を算出した結果を示す。覚醒度は、ＶＡＳ及びＫＳＳである。同図から、特徴量ＰＵＰＩＬ、ＨＦ／（ＬＦ＋ＨＦ）、ＨＲ、ＨＥＡＤ＿Ｘ，Ｙ，Ｚ、ＳＣＲの順に覚醒度と相関が高いことがわかる。よって、この特徴量の順に、ＫＳＳの推定に寄与すると判断される。そして、最も寄与が大きい特徴量ＰＵＰＩＬが仮に欠損した場合には、特徴量ＰＵＰＩＬと相関が高いＳＣＲ、ＨＦ／（ＬＦ＋ＨＦ）、ＨＥＡＤ＿Ｘを代替として使用できると判断される。このような分類は相関だけでなく、機械的な分離機にかけても同様に判定が可能である。

上記の結果から、重回帰で得られる覚醒度Ｙの評価式として、以下の式（３）が得られる。

Ｙ＝α_０ＰＵＰＩＬ＋β_０ＣＳＩ＋γ_０ＰＵＬＳＥ …（３）

覚醒状態推定装置１は、式（３）を覚醒状態推定モデルとして用いる。推定が必要な時間区間では主要因となる特徴量の損失は推定精度の大きな低下に繋がる。短期の欠損については、図３を用いて説明したように、補完することができる。しかし、補完ができず、空の特徴量が得られた場合にもそのまま式（３）を使用すると、著しく異なる状態を推定してしまうことにも繋がる。そこで、特徴量ＰＵＰＩＬが欠損した場合、図４に示すように特徴量ＰＵＰＩＬと相関が高いＨＦ／（ＬＦ＋ＨＦ）又はＳＣＲを代替特徴量として用いる。式（４）は、特徴量ＳＣＲに置き換えた式である。

Ｙ＝α_１ＳＣＲ＋β_０ＣＳＩ＋γ_０ＰＵＬＳＥ …（４）

係数α_０、α_１、β_０、γ_０の値は、上記の覚醒テストを行ったときの結果などや別途の覚醒テストを行ったときの結果などを学習データに用いて決定される。各特徴量は正規化された値であるため、係数α_１＝係数α_０としてもよい。

主要特徴量は、（ａ）図５に示すように、回帰分析による相関（正負）が高い特徴量がある場合の他、（ｂ）ＰＣＡ分析による特徴量固有ベクトルの方位が合致する（近い）特徴量がある場合に、その特徴量に代替可能である。ＰＣＡ分析では、一般に寄与が大きく、主要特徴量となり得る特徴量の固有ベクトルノルムは最も大きく、それよりも固有ベクトルノルムが小さい特徴量が代替特徴量となる。

なお、（ａ）又は（ｂ）による候補がない特徴量については、代替特徴量を定めることができない。また、主要特徴量が欠損している場合には、その主要特徴量が得られる生理データ自体が欠損していると考えられるため、主要特徴量と同じ生理データから得られる他の特徴量は代替特徴量とせず、異なる生理データから得られる他の特徴量を代替特徴量とすることが望ましい。なお、各特徴量は、交感由来、副交感由来、迷走神経由来などの異なる情報を有しているため、他の特徴量を代替する成分が得られる。取得する生理データの種類を多くすると、生理データ取得のための装具が増加する場合には手間が増えてしまうが、代替の可能性は向上し、特徴量の損失のリスクを低減可能である。

なお、複数の人物について得られた学習データを用いて覚醒状態推定モデル及び代替算出情報を生成してもよいが、各人物ごとの学習データを用いて覚醒状態推定モデル及び代替算出情報を生成することにより、推定精度をより向上させることができる。この場合、人物ごとに生成した覚醒状態推定モデル及び代替算出情報を記憶部１１に記憶しておく。覚醒状態推定装置１は、覚醒状態推定対象の人物の識別情報の入力を受け、入力された識別情報により特定される覚醒状態推定モデル及び代替算出情報を用いて処理を行う。

図６及び図７は、学習した覚醒状態推定モデルの評価結果を示す図である。図６は、式（３）で示される覚醒状態推定モデルに、新たに計測された区間の生理データから取得した特徴量を代入して算出した覚醒度Ｙと、対象者が申告したＫＳＳとを示す。また、図７は、式（４）で示される覚醒状態推定モデルに、新たに計測された区間の生理データから取得した特徴量を代入して算出した覚醒度Ｙと、対象者が申告したＫＳＳとを示す。黒い点は、申告されたＫＳＳの値であり、符号Ｌ１、符号Ｌ２の線は、覚醒状態推定モデルを用いて生理データから推定された覚醒度Ｙを示す。これらの判定は、RandomForestやDecisionTree、ＳＶＲ（Support Vector Regression）などを用いても同様に評価できる。

図６によれば、式（３）により推定された覚醒度Ｙは、申告されたＫＳＳと傾向が近いことがわかる。ＲＭＳＥ（Root Mean Squared Error）は１．５６であり、決定係数Ｒ^２は０．７４であった。図７によれば、ＫＳＳ＝９に近い状態で図６よりも若干精度の低下を起こしているが、式（４）により推定された覚醒度Ｙも、申告されたＫＳＳと傾向が近いことがわかる。ＲＭＳＥは２．１１であり、決定係数Ｒ^２は０．４３であった。

なお、図６及び図７に示す評価実験では、式（３）と式（４）の係数の値を変えていない。すなわち、係数α_０＝係数α_１である。そのため、式（４）を用いた場合に、予測精度を表す決定係数Ｒ^２が低下している。係数α_１を補正する場合、以下のように値を決めることができる。線形回帰の場合、図５を例にすると、主要特徴量ＰＵＰＩＬの欠損によって代替特徴量ＳＣＲを用いる場合には、ＳＣＲとＶＡＳ、ＰＵＰＩＬとの相関値を用いて、係数α_１を、（０．２２／０．１６）α_０とする。

図８は、特徴量のＰＣＡ分析結果の例を示している。ＰＣＡ分析では、一般に寄与が大きく、主要特徴量となり得る特徴量の固有ベクトルノルムは最も大きく、代替特徴量の固有ベクトルノルムはそれより小さくなる。同図に示すように、ＰＵＰＩＬとＳＣＲとはほぼ同じベクトル方向にあり、ＰＵＰＩＬの固有ベクトルノルム｜ＰＵＰＩＬ｜のほうがＳＣＲの固有ベクトルノルム｜ＳＣＲ｜よりも大きい。そこで、ＰＵＰＩＬを主要特徴量とし、ＳＣＲを代替特徴量とする。ＰＣＡ空間における特徴量のベクトルを用いた場合、係数α_１を、（｜ＰＵＰＩＬ｜／｜ＳＣＬ｜）α_０とする。

また、ＲａｎｄｏｍＦｏｒｅｓｔを用いることにより、各特徴量の寄与率を算出することができる。この寄与率を用いて、係数α_１を、（（ＰＵＰＩＬの寄与率）／（ＳＣＬの寄与率））α_０としてもよい。

以上説明した実施形態によれば、生理データから得られた特徴を用いて覚醒・眠気の推定を行うことができ、生理データが一時的に欠損したときにも、データ補完を行うことにより、あるいは別の生理データから得られる特徴量を欠損した特徴量と置換して用いることにより、推定を継続することができる。よって、データ欠損が発生した場合でも、抽出した特徴量の異常や、評価不能といった事態を避け、高精度かつ継続的に、人物の覚醒状態を推定することができる。

例えば、覚醒状態を推定するために用いられる生理データを取得する機器には、カメラや各種センサーなどがある。各種センサーなどを人物に装着するのは煩雑であり、人物の動きも制限される一方、カメラは、人に装着することなく生理データを取得できる。しかしながら、カメラを用いる場合、測定対象に対する角度や位置の変化、さらには、外光の変化などの影響のため、生理データが一時的に取得できなくなってしまう可能性がある。そこで、カメラによって取得可能な生理データを主に用いて覚醒状態を推定し、その生理データが取得できない場合には、他の機器によって取得した生理データを用いて覚醒状態を継続して推定することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…覚醒状態推定装置、１１…記憶部、１２…生理データ入力部、１３…特徴量取得部、１４…推定部、１３１…生理データ取得部、１３１…生理データ取得部、１３２…補完部、１３３…欠損検出部、１３４…特徴量算出部

Claims (5)

1. 人体を計測して得られた生理データから前記人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得部と、
   複数種類の前記特徴量のうち一部の種類の前記特徴量である主要特徴量を用いて前記人体の覚醒状態を推定する推定部とを備え、
   前記推定部は、前記生理データに欠損があるために前記主要特徴量のうち少なくともいずれかの種類の主要特徴量を取得できない場合に、取得できない前記主要特徴量に代えて、前記特徴量取得部が取得した複数種類の前記特徴量のうち前記主要特徴量とは異なる種類の前記特徴量を用いて前記人体の覚醒状態を推定する、
   ことを特徴とする覚醒状態推定装置。
2. 前記推定部は、取得できない前記主要特徴量に代えて、取得できない前記主要特徴量と相関が高い種類の前記特徴量を用いる、
   ことを特徴とする請求項１に記載の覚醒状態推定装置。
3. 前記生理データは、心臓、呼吸、指尖脈派、皮膚抵抗、瞬き、瞳孔又は頭部動作の計測結果を含む、
   ことを特徴とする請求項１又は請求項２に記載の覚醒状態推定装置。
4. 前記特徴量取得部は、前記生理データに欠損がある場合に、欠損があるタイミングの前記生理データを、他のタイミングにおいて得られた前記生理データに基づき補完する、
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の覚醒状態推定装置。
5. 人体を計測して得られた生理データから前記人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得ステップと、
   複数種類の前記特徴量のうち一部の種類の前記特徴量である主要特徴量を用いて前記人体の覚醒状態を推定する推定ステップと、
   前記生理データに欠損があるために前記主要特徴量のうち少なくともいずれかの種類の主要特徴量を取得できない場合に、取得できない前記主要特徴量に代えて、前記特徴量取得ステップにおいて取得した複数種類の前記特徴量のうち前記主要特徴量とは異なる種類の前記特徴量を用いて前記人体の覚醒状態を推定する欠損時推定ステップと、
   を有する覚醒状態推定方法。

Images