(本発明の基礎となった知見)
人の臓器は人の意思により能動的に制御されるのではなく、全身にある受容器からの情報をもとに脳の中枢により自律神経を経由して制御される。自律神経は、交感神経と副交感神経との2系統からなり、交感神経及び副交感神経の両方がひとつの臓器を支配している場合が多い。
例えば、心臓の心拍数に関しては、交感神経が亢進すると心拍数が上昇し、また、心拍間隔のばらつきが小さくなる。一方、副交感神経が亢進すると心拍数が低下し、また、心拍間隔のばらつきが大きくなる。また、末梢血管では、交感神経が亢進すると血管が収縮して血流が阻害されるので、結果として末梢部の皮膚温は低下する。反対に、副交感神経が亢進すると血管が弛緩して血流がよくなるので、結果として末梢部の皮膚温が上昇する。
ストレス下で末梢皮膚温が低下するのは、交感神経を亢進させることで体の深部に血流を集め、さらに、心拍数を上昇させることで脳や筋肉に大量の血液を流して酸素を供給し、その結果、脳や筋肉の活動を活性化させるためと考えられている。また、眠気により末梢皮膚温が上昇するのは、睡眠中は深部体温を覚醒時よりも若干低下させる必要があるので、副交感神経を亢進させて血流を末梢部まで行き渡らせることで、体温を放熱させやすくするためと考えられている。
交感神経又は副交感神経の亢進は、上で述べたストレス及び眠気の影響以外にも、人の温冷感(人が感じる暑い又は寒いの感覚)の影響を受ける。例えば、人が暑いと感じている時は、身体からの放熱を促す必要があるので、末梢の血管を弛緩させるために、副交感神経を亢進させる。その結果、心拍数は低下し、心拍間隔のばらつきも大きくなる。反対に、人が寒いと感じている時は、身体からの放熱を抑制する必要があるので、末梢の血管を収縮させるために、交感神経を亢進させる。その結果、心拍数は上昇し、心拍間隔のばらつきも小さくなる。よって、皮膚温又は心拍間隔のような自律神経の活動に基づく生理量に基づいて、ストレス又は眠気等の人状態を推定する際には、その生理量がストレス又は眠気の影響を受けたことによるものか、温冷感の変動の影響を受けたことによるものなのかを切り分ける必要がある。
このような問題を解決するために、本発明の一態様に係る人状態推定方法は、人の状態である人状態を推定する人状態推定方法であって、前記人の推定された温冷感を規定範囲内で指標化した温冷感指標を取得し、取得した前記温冷感指標が、前記規定範囲のうちの所定範囲内であるか否かを判定し、取得した前記温冷感指標が前記所定範囲内であると判定されたときに取得した生理量であって、前記人の自律神経の活動が反映された生理量に基づいて前記人状態を推定する。
これによれば、人状態推定の際の誤検出を減らすことで、より高い精度で人状態を推定することができる。具体的には、本発明の一態様に係る人状態推定方法では、取得した温冷感情報が所定範囲である条件が成立する下で、生理量から人状態が推定される。よって、この条件が成立するか否かに関わらず人状態を推定するのに比べて、人状態推定の際の誤検出を減らすことができる。よって、上記人状態推定方法により、人状態の推定の精度を向上することができる。さらに、上記誤検出を減らすことで、再び検出処理を行う必要がなくなるなど、処理量及び処理負荷の低減、消費電力の低減の効果も得られる。
例えば、前記所定範囲は、前記規定範囲のうち、温冷感に関する温熱的中性点を含む一部の範囲である。
これによれば、人の温冷感が、人が暑いとも寒いとも感じない温熱的中性点に比較的近い範囲内にある場合に人状態の推定が行われる。人が暑い又は温かいと感じているときには、身体からの放熱を促進させることにより皮膚温が上昇する。反対に人が寒い又は涼しいと感じているときには、身体からの放熱を抑制することにより皮膚温が低下する。つまり、人の温冷感が温熱的中性点に比較的近い範囲内にある場合には、人の身体からの放熱の促進又は抑制の影響がない、又は、比較的少ない状態である。よって、このような場合に生理量から人状態を推定することで、推定結果に含まれる、人の身体からの放熱の促進又は抑制の影響を小さくすることができ、誤検出の防止及び推定精度の向上に貢献する。
例えば、前記所定範囲は、前記規定範囲のうち、温冷感として最も暑いことを示す点、及び、温冷感として最も寒いことを示す点を含まない一部の範囲である。
これによれば、人の温冷感が、とても暑い、又は、とても寒いと感じているときを除外した範囲にある場合に、人状態の推定が行われる。人がとても暑いと感じているときには、人の身体からの放熱が大きく促進される。また、人がとても寒いと感じているときには、人の身体からの放熱が大きく抑制される。このような場合を、人状態を推定する場合から除外することで、推定結果に含まれる、人の身体からの放熱の促進又は抑制の影響を小さくすることができ、誤検出の防止及び推定精度の向上に貢献する。
例えば、前記生理量は、前記人の鼻部皮膚温であり、前記人状態は、前記人の眠気の度合いを含む。
これによれば、人の鼻部皮膚温に基づいて、人の眠気の度合いを推定する際に、推定結果に含まれる、人の身体からの放熱の促進又は抑制の影響を小さくすることができる。また、鼻部皮膚温を用いることで、外乱がある場合であっても外乱の影響を受けにくくすることができる。
例えば、前記人状態推定方法では、前記温冷感指標と前記鼻部皮膚温とを取得し、前記判定の際には、取得した前記温冷感指標のそれぞれが前記所定範囲内であるか否かを判定し、前記人状態の推定の際には、取得した前記鼻部皮膚温の時間経過に伴う上昇幅に基づいて、前記人の眠気の度合いを推定する。
これによれば、人の鼻部皮膚温に基づいて具体的に人の眠気の度合いを推定することができる。
例えば、前記生理量は、前記人の心拍間隔を含み、前記人状態推定方法では、取得した前記生理量としての前記心拍間隔の変動に基づいて前記人状態を推定する。
これによれば、人の心拍間隔に基づいて具体的に人状態を推定することができる。
例えば、前記生理量は、前記人の呼吸波形を含み、前記人状態推定方法では、取得した前記生理量としての前記呼吸波形にさらに基づいて、前記人状態を推定する。
これによれば、人の呼吸波形に基づいて具体的に人状態を推定することができる。また、処理負荷の低減、処理の高速化に貢献することもできる。
例えば、前記人の耳朶部の皮膚温を取得し、前記温冷感指標を取得する際には、耳朶部の皮膚温と温冷感指標との相関関係を用いて、取得した前記耳朶部の皮膚温から推定される前記温冷感指標を取得し、前記生理量を取得する際には、前記人の耳朶部から計測される脈波を前記生理量として取得し、前記人状態を推定する際には、取得した前記脈波の周波数分析に基づいて前記人状態を推定する。
これによれば、人の耳朶部の皮膚温及び脈波に基づいて具体的に人状態を推定することができる。耳朶部は、脈波の計測が容易であるという特徴がある。そこで、耳朶部により脈波を取得し、あわせて皮膚温も取得することにより、人状態の推定に必要な情報を耳朶部からまとめて取得することができる。
例えば、前記人状態推定方法では、PMV(Predicted Mean Vote)により推定される前記温冷感指標を取得する。
例えば、前記規定範囲は、PMVの7段階評価尺度で表現され、前記所定範囲は、前記規定範囲におけるPMV値が−2以上、+2以下の範囲である。
これによれば、PMVによる推定により、温熱六要素である気温、湿度、気流、輻射、着衣量、活動量からより正確に人の温冷感を推定することができる。
例えば、前記生理量は、前記人の鼻部皮膚温であり、前記人状態は、前記人のストレスの度合いを含み、前記人状態推定方法では、前記温冷感指標と前記鼻部皮膚温とを取得し、前記判定の際には、取得した前記温冷感指標が前記所定範囲内であるか否かを判定し、前記人状態の推定の際には、取得した前記鼻部皮膚温の時間経過に伴う下降幅に基づいて、前記人のストレスの度合いを推定する。
これによれば、人の鼻部皮膚温に基づいて具体的に人のストレスの度合いを推定することができる。
例えば、前記生理量は、前記人の皮膚血流、血圧、又は、脈波伝搬時間であり、前記人状態は、前記人の眠気の度合いを含む。
これによれば、人の皮膚血流、血圧、又は、脈波伝搬時間に基づいて具体的に人の眠気の度合いを推定することができる。
また、本発明の一態様に係る人状態推定システムは、人の状態である人状態を推定する人状態推定システムであって、前記人の推定された温冷感を規定範囲内で指標化した温冷感指標を取得する温冷感推定部と、取得した前記温冷感指標が、前記規定範囲のうちの所定範囲内であるか否かを判定する判定部と、取得した前記温冷感指標が前記所定範囲内であると判定されたときに取得した生理量であって、前記人の自律神経の活動が反映された生理量に基づいて前記人状態を推定する人状態推定部とを備える。
これによれば、上記の人状態推定方法と同様の効果を奏する。
また、本発明の一態様に係るプログラムは、上記記載の人状態推定方法をコンピュータに実行させるプログラムである。
これによれば、上記の人状態推定方法と同様の効果を奏する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
本実施の形態において、人状態の推定の精度を向上させる人状態推定方法及び人状態推定装置について説明する。人状態とは、上記のとおり、人の眠気の度合い又はストレスの度合いを含む概念である。人状態推定装置のことを、人状態推定システムということもある。
本実施の形態の人状態推定装置を自動車に搭載した場合の例を図1から図12Dを用いて説明する。
図1Aは、本実施の形態における人状態推定装置が搭載された自動車の概念図である。図1Bは、本実施の形態における人状態推定装置が搭載された自動車の上面からみた模式図である。
自動車100の運転席には人102が乗車している。自動車100は、運転席前方に人102に向けて熱画像センサー101が搭載されており、人102の顔面とその周辺との熱分布を二次元的に撮影することが出来る。熱画像センサー101は、通常ボロメータ又はサーモパイルといった赤外線に感度を有する素子を二次元マトリックス状に配列し、物体面の温度分布に応じて発せられる赤外線の量をレンズで上記マトリックス状に配列された素子状に結像させることで、物体面の温度分布を可視化することが出来る。
図2は、本実施の形態における熱画像センサー101で撮影された人の顔の画像の一例を示す説明図である。
図1のような熱画像センサー101と人102との位置関係にあるとき、例えば図2のような熱画像が撮影される。図2に示す熱画像では、物体の温度が高い部分(画素)ほど濃度が高くなるように表示されている。つまり、図2に示す熱画像では、温度が高い画素ほど、より黒色に近い色になるように表示されており、額周辺の温度が高いと認識することが出来る。なお、熱画像の表示に関してはこれに限られない。また、熱画像センサー101による撮影で取得される画像は、静止画でも構わないし動画でも構わない。
図3は、本実施の形態における温冷感推定部108の概略構成図である。図4は、本実施の形態における温冷感指標の例を示す説明図である。図5は、本実施の形態における温冷感推定部108の機能を示すブロック図である。これらの図を参照しながら自動車100の内部に配置した温冷感推定部108に関して説明する。
人の温冷感は、例えば図4のように7段階の指標を用いて定量化することが出来る。ここでは温冷感0が暑くも寒くもない温熱的中性点としており、暑くなるに従いプラスで絶対値の大きい値を取るようにしており、反対に寒くなるに従いマイナスで絶対値の大きい値を取るように、定量化している。このように温冷感を定量化(指標化)したものを温冷感指標という。温冷感指標は、混乱を生じない範囲で単に温冷感ということもある。
この温冷感を温熱六要素と関連付けしたものがPMVである。よって、温熱六要素である気温、湿度、輻射、気流、人の活動量、及び、着衣量が分かると、PMVの計算式を用いてその人の温冷感を推定することが出来ることが知られている。以降で、具体的にPMVから温冷感を求めるための方法を説明する。なお、人の温冷感の指標は、図4に示される7段階に「+4 とても暑い」及び「−4 とても寒い」を加えた9段階とすることもできる。
図3に示されるように、温冷感推定部108は、カメラ103と、グローブ温度計104aと、温度計104bと、ルーバー105bの近傍に設けられた風速計105aと、湿度計107と、それらに接続された温冷感推定制御部106とを備える。
温冷感推定部108は、人102の推定された温冷感を規定範囲内で指標化した温冷感指標を取得する処理部である。温冷感推定部108は、具体的には、PMVにより推定される温冷感指標を取得する。この場合、規定範囲とは、PMVの7段階評価尺度で表現され、所定範囲は、上記7段階におけるPMV値が−2以上、+2以下の範囲である。以降では、温冷感推定部108が上記温冷感指標を推定することで取得する例を示すが、温冷感推定部108は、他の装置等で推定された温冷感指標を当該他の装置等から取得してもよい。
図5を用いて温冷感推定部108の構成を説明する。
温熱六要素のうちの気温は、温度計104bから求めることが出来る。
温熱六要素のうちの輻射は、グローブ温度計104aと温度計104bとから求めることが出来る。グローブ温度計とは、表面が黒色の銅球にガラス製温度計を挿入した温度計である。グローブ温度計は、周囲の気温だけではなく黒色に塗布された銅球により周囲の輻射を含めた温度を計測するので、グローブ温度計104aと温度計104bとの測定値の違いから、輻射の影響を見積もることが出来る。
温熱六要素のうちの気流は、風速計105により測定される。風速計105は、上記風速計105aに相当する。
温熱六要素のうちの湿度は、湿度計107により測定される。
温熱六要素のうちの着衣量は、カメラ103で撮影された人102の画像を解析することで求めることが出来る。即ち、カメラ103で撮影した人102の画像を、温冷感推定制御部106の着衣量推定部106aが計算により求める。着衣量推定部106aは、例えば、カメラ103により撮影された画像から着衣部分と露出部即ち皮膚の部分との面積を求めることで、人102の着衣の無い部分と着衣のある部分との比から着衣量を求めても構わないし、露出部である手首と着衣のある腕部との比等から着衣量を求めても構わないし、着衣部分と露出部分との温度差から求めても構わない。着衣量が低くなると、着衣表面の温度は体表面温度に近くなる傾向にあるからである。もちろん他の手段で着衣量を求めても構わないし、本人に申告させて入力しても構わない。
温熱六要素のうちの人の活動量は、自動車を運転している時はほぼ椅座安静に近く、特に測定せずとも通常は1.1mets程度と考えられる。なお、人状態推定装置が自動車でない場所で使用される場合であっても、例えばカメラ103で人102の動画を撮影し、各画像の人領域を特定し、人領域の変動量から活動量を推定することも可能である。
以上の手法により、人102に関わる温熱六要素を抽出することができる。なお、ここで示した温熱六要素の求め方はあくまで一例であり、これに限定するものではない。
次に、温冷感推定制御部106のPMV演算部106bに対して、着衣量推定部106aが求めた着衣量と、グローブ温度計104a及び温度計104bから求めた温度及び輻射と、風速計105が求めた風速と、湿度計107が求めた湿度とをPMV演算部106bに入力し、PMV演算部106bは、人102の温冷感をPMVの式から計算する。以上が、温冷感推定部108の動作の仕組みである。
次に、人状態推定の手法に関して、ここでは鼻部皮膚温を用いて推定する方法に関して説明する。
図6は、本実施に形態における人状態推定に関する機能を示すブロック図である。
この機能は、熱画像センサー101と、生理量取得部109Aと、人状態推定部110とにより実現される。
熱画像センサー101は、人102の熱画像を取得する。
生理量取得部109Aは、熱画像センサー101が取得した熱画像から生理量を取得する処理部である。生理量取得部109Aは、画像処理部109を備え、画像処理部109を利用して上記生理量を取得する。ここでは、生理量として人102の鼻部の皮膚温を用いる例を説明する。
画像処理部109は、熱画像センサー101が取得した人102の熱画像から、鼻部を抽出し、抽出した鼻部の温度である鼻部皮膚温を算出する。鼻部皮膚温の抽出方法に関しては後ほどその一例を説明する。画像処理部109が算出した鼻部皮膚温は、生理量取得部109Aにより人状態推定部110に入力され、この鼻部皮膚温に基づいて人状態推定部110が人状態を推定する。
人状態推定部110において人状態として眠気の度合いを検知する場合の処理の例を説明する。
図7Aは、本実施の形態における温冷感、外気温及び鼻部皮膚温の時間変動について、温冷感が2以上である場合の例を示す説明図である。
図7Aは、生理量取得部109Aが算出した鼻部皮膚温と、温度計104bが測定した人102の周囲気温(外気温)と、温冷感推定制御部106(PMV演算部106b)が算出した人102の温冷感との推移を示している。今、図7Aに示されるように、外気温がほぼ28℃で一定であり、温冷感が+2を超えているとする。また、鼻部皮膚温は、図示されている時間範囲内で1.5℃程度上昇しているとする。
人は暖かく感じると、身体の熱の放熱を促すために、末梢の血管を拡張させて血流を促そうとする。よって末梢の皮膚温は上昇することになるが、上述の通り、人が眠気を感じると同様に末梢血管を拡張させて血流を良くしようとするため、この鼻部皮膚温の上昇が、暑く感じていることのみに起因するものなのか、それとも眠気も感じているのかどうかを切り分けることは難しい。
図7Bは、本実施の形態における温冷感、外気温及び鼻部皮膚温の時間変動について、温冷感が0近傍である場合の例を示す説明図である。
図7Bのように例えば外気温が、図7Aの場合の28℃程度より低い25℃程度にまで低下し、温冷感が温熱的中性点であるゼロ近傍に存在するとする。また、鼻部皮膚温は、図7A同様、図示されている時間範囲内で1.5℃程度上昇しているとする(温度は異なる)。
この場合、身体からの放熱を促す必要がないので、末梢の血流量増大による鼻部等の末梢皮膚温の上昇は見られないことになる。よって、図7Bのように温冷感が温熱的中性点近傍に存在する段階であれば、図7Bのような鼻部皮膚温の上昇が、眠気に起因していると推定することが出来る。
ここで、外気温がどの温度範囲にあるかで温冷感を推定することは難しい。具体的には、例えば、同じ外気温であっても着衣量の違い(例えばTシャツしか着ていない場合や、ダウンジャケット等で厚着している場合等)により、当然、人の温冷感が異なることから、外気温がどの温度範囲にあるかで温冷感を推定することは難しい。よって、単純に外気温ではなく、人の温冷感を以って判断することが必要である。
なお、眠気の度合いは、図8のように、変動した鼻部皮膚温の温度幅によって5段階に分けても構わない。鼻部皮膚温の温度変動幅が大きい場合には非常に眠くなっていると判断することができるし、鼻部皮膚温の温度変動幅が小さい段階では、やや眠いといった段階としてもよく、変動温度幅と眠気度合いとの関係は、温度変動幅の違いによって適宜決定して構わない。
次に、人状態推定部110において人状態としてストレス度合いを検知する場合の処理の一例を説明する。
図9Aは、本実施の形態における温冷感、外気温及び鼻部皮膚温の時間変動について、温冷感が−2以下である場合の例を示す説明図である。
図9Aは、生理量取得部109Aが算出した鼻部皮膚温と、温度計104bが測定した人102の周囲気温(外気温)と、温冷感推定制御部106(PMV演算部106b)が算出した人102の温冷感との推移を示している。今、図9Aに示されるように、外気温がほぼ18℃で一定であり、温冷感が−2を下回っているとする。人は寒く感じると、体の熱の放熱を抑制するために、末梢の血管を収縮させて血流を抑制させようとする。よって末梢の皮膚温は低下することになるが、上述の通り、人がストレスを感じると同様に末梢血管を収縮させて血流量を抑制させようとするので、この鼻部皮膚温の低下が、寒く感じていることのみに起因するものなのか、それともストレスも感じているのかどうかを切り分けることは難しい。
図9Bは、本実施の形態における温冷感、外気温及び鼻部皮膚温の時間変動について、温冷感が0近傍である場合の例を示す説明図である。
図9Bのように例えば外気温が、図9Aの場合の18℃程度より高い22℃程度にまで上昇し、温冷感が温熱的中性点であるゼロ近傍に存在する場合、身体からの放熱を抑制する必要がないので、末梢の血流量低下による鼻部等の末梢皮膚温の低下は見られないことになる。よって、図9Bのように温冷感が温熱的中性点近傍に存在する段階であれば、図9Bのような鼻部皮膚温の低下が、ストレスに起因していると推定することが出来る。
ここで、外気温がどの温度範囲にあるかで温冷感を推定することは難しい。具体的には、例えば、同じ外気温であっても着衣量の違い(例えばTシャツしか着ていない場合や、ダウンジャケット等で厚着している場合等)により、当然、人の温冷感が異なることから、外気温がどの温度範囲にあるかで温冷感を推定することは難しい。よって、単純に外気温ではなく、人の温冷感を以って判断することが重要である。
なお、ストレスの度合いは、図8における眠気と同様に、変動した鼻部皮膚温の温度幅によって段階別に分けても構わない。鼻部皮膚温の温度変動幅が大きい場合には強いストレスを感じていると判断することができるし、鼻部皮膚温の温度変動幅が小さい段階では、軽いストレスを感じているといった感じで分けてよく、変動温度幅とストレス度合いとの関係は、温度変動幅の違いによって適宜決定して構わない。
次に、本実施の形態における、人状態推定装置113の構成に関して説明する。
図10は、本実施の形態における人状態推定装置113の機能を示すブロック図である。なお、人状態推定装置113のことを人状態推定システムということもできる。
人状態推定装置113は、温冷感推定部108と、熱画像センサー101と、制御部112とを備える。また、人状態推定装置113は、スピーカ114に接続されている。
温冷感推定部108と、熱画像センサー101とは、それぞれ、上述の同名の機能ブロックと同じであるので説明を省略する。
制御部112は、生理量取得部109Aと、人状態推定部110と、人状態推定実施判断部111とを備える。
生理量取得部109Aは、温冷感推定部108が取得した温冷感指標が所定範囲内であると判定されたときに、人の自律神経の活動が反映された生理量を取得する処理部である。生理量取得部109Aは、画像処理部109を利用して熱画像センサー101が取得した熱画像を処理することで、生理量としての鼻部皮膚温を取得する。
人状態推定部110は、生理量取得部109Aが取得した生理量に基づいて人状態を推定する処理部である。具体的には、人状態推定部110は、生理量取得部109Aが算出した鼻部皮膚温から、人状態であるストレスの度合い又は眠気の度合いを推定する処理部である。
人状態推定実施判断部111は、温冷感推定部108が取得した温冷感指標が、規定範囲のうちの所定範囲内であるか否かを判定する処理部である。この判定は、人状態推定部110が人状態の推定を実施するか否かについての判断に用いられる。人状態推定実施判断部111は、温冷感推定部108の温冷感推定制御部106(PMV演算部106b)に接続されており、人102の温冷感推定の結果が人状態推定実施判断部111に入力される。また、人状態推定実施判断部111は、生理量取得部109Aに接続されている。なお、人状態推定実施判断部111は、判定部に相当する。
なお、人状態推定実施判断部111は、人状態推定部110に接続されていてもよい。この場合は、人状態推定実施判断部111が生理量取得部109Aに接続されていなくてもよい。この場合(人状態推定実施判断部111が、生理量取得部109Aに接続されておらず人状態推定部110に接続されている場合)、生理量取得部109Aは、常に人の生理量を取得する処理を行う。一方、人状態推定部110は、「温冷感推定部108が取得した温冷感指標が規定範囲のうちの所定範囲内である」と人状態推定実施判断部111が判断したタイミングに生理量取得部109Aが取得した生理量を用いて、人の状態を推定する。すなわち、人状態推定部110は、「温冷感推定部108が取得した温冷感指標が、規定範囲のうちの所定範囲内である」と人状態推定実施判断部111が判断しなかったタイミングに生理量取得部109Aが取得した生理量を人の状態の推定に用いない。
スピーカ114は、人状態推定部110による人状態の推定結果に応じて人102に報知を行う出力装置である。なお、スピーカ114は、人状態推定装置113の一部であってもよい。
なお、人状態推定装置113は、上記の各機能ブロックが1つの筺体内に収容されることで1つの装置として実現されてもよいし、上記の各機能ブロックが分散配置され、各機能ブロックが通信回線を介して情報を送受信することで実現されてもよい。
以降において、人状態推定装置113の処理の流れについて説明する。
図11は、本実施の形態における人状態推定装置113による人状態推定方法を示すフロー図である。
ステップS101において、各センサー(カメラ103、グローブ温度計104a、温度計104b、風速計105、湿度計107)で得られたデータがPMV演算部106bに入力されて人102の温冷感が推定される。
ステップS102において、ステップS101で推定された人102の温冷感が人状態推定実施判断部111に入力され、人状態推定実施判断部111による温冷感についての判定がなされる。具体的には、人状態推定実施判断部111は、温冷感が所定範囲内であるか否かを判定する。所定範囲は、例えば、温冷感が−2以上、+2以下である範囲とすることができ、この場合を以下で説明する。なお、所定範囲は、規定範囲のうち、温冷感に関する温熱的中性点を含む一部の範囲としてもよい。また、所定範囲は、規定範囲のうち、温冷感として最も暑いことを示す点、及び、温冷感として最も寒いことを示す点を含まない一部の範囲としてもよい。
ステップS102での判定により、温冷感が+2より大きい、又は、−2より小さいと判定された場合には、ステップS101へ進み、再度、PMV演算部106bによる人102の温冷感の推定がなされる。なお、この場合、後述するステップS103及びS104の処理は行われない。温冷感が+2より大きい、又は、−2より小さいと判定された場合、つまり、温冷感が「とても暑い」又は「とても寒い」である人102は、眠気が生じにくいことが知られているので、この場合に人状態推定部110は、眠気レベルを1と推定してもよい。
ステップS102での判定により、温冷感が−2以上、+2以下の範囲内であると判定された場合には、ステップS103へ進む。
ステップS103において、人状態推定部110は、熱画像センサー101が取得した熱画像に基づいて生理量取得部109Aが取得した鼻部皮膚温を元に、人状態としての眠気レベルを推定する。具体的には、人状態推定部110は、鼻部皮膚温の時間経過に伴う上昇幅に基づいて、人102の眠気の度合いを推定する。例えば、人状態推定部110は、鼻部皮膚温を測定した時間範囲(例えば、図7A等に示される横軸の時間範囲)内で鼻部皮膚温が1℃上昇した場合に、眠気レベルを2と判定する。また、上記時間範囲内で鼻部皮膚温が2℃上昇した場合に、眠気レベルを4と判定する。
また、推定された眠気レベルを判定し、判定結果に応じて以下のように処理を行う。
すなわち、ステップS103において眠気レベルが1であると判定された場合には、ステップS101に進み、その後再び、本フロー図に示される一連の処理を行う。この場合、眠気レベルが、人102による自動車の運転に支障ない程度であるので、人102に対して報知等を行う必要がないと考えられるためである。
一方、ステップS103において、眠気レベルが2以上であると判定された場合には、人102への報知を行う。この場合には、眠気レベルが、人102による自動車の運転に支障があると考えられるので、そのことを人102に知らせるために上記報知が行われる。報知は、例えば、スピーカ114で人102に眠くなりつつあることを知らせること、又は、休息をとることを促すこと等により行う。報知の後、ステップS101に進み、再び、本フロー図に示される一連の処理を行う。
なお、人状態としてストレスの度合いを推定する場合においては、ステップS103における人状態推定部110による処理が異なる。具体的には、人状態推定部110は、熱画像センサー101が取得した熱画像に基づいて生理量取得部109Aが取得した鼻部皮膚温を元に、人状態としてのストレスの度合いを推定する。具体的には、人状態推定部110は、鼻部皮膚温の時間経過に伴う下降幅に基づいて、人102のストレスの度合いを推定する。その他の処理は、上記と同様である。
以上のことにより、皮膚温の変動が人の温冷感によるものなのか、眠気によるものなのかを切り分けることができるので、高精度な眠気度合推定手段を提供することが出来るようになる。もちろん、人状態としてストレスの度合いの場合でも同様であり、同様のことにより高精度なストレス度合い推定手段を提供することが出来るようになる。即ち、高精度な人状態の推定手段を提供することが可能になる。また、眠気の度合いを検出する場合、例えば温冷感が+2より大きい場合、又は、−2より小さい場合、即ち暑さや寒さを感じている場合には、人が眠気を感じることは少ないので、制御部112における無用な眠気度合い推定を省略することができるので、処理負荷を低減し消費エネルギーを低減できるという効果も有する。
なお、人状態推定部110において例えば眠気を推定した結果、眠気レベルが2以上である場合にスピーカ114を通じて人102に知らせることを説明したが、人102に知らせる手段はこれ以外でもよく、例えばシートベルトをきつく締めることでユーザに覚醒を促すことや、ディスプレイ等に表示することで人102に通知してもよく、その方法は特に限定しない。
また、熱画像センサー101で撮影した熱画像から、生理量取得部109A(画像処理部109)により鼻部皮膚温を算出することを述べたが、これは鼻部皮膚温に限定するものではなく、同様な末梢部に該当する部位であればよく、例えば手背部又は耳朶等でも構わない。ただし、自動車100内で人状態推定を行う場合、人102の身体のうち、下に行くほど(言い換えれば、足に近づくほど)日射の影響を受けやすくなるので、首より上の部位の皮膚温を用いることが望ましく、鼻部又は耳朶部で測定することにより、日射による外乱を受けにくい人状態推定が可能になる。
さらに、人状態推定実施判断部111において、PMV演算部106bが求めた温冷感の範囲の上限及び下限を、+2及び−2としたが、この値は、これらとは異なる値を用いてもよく、例えば温冷感が+1以下−1以上で人状態を推定しても構わない。また、温熱的中性点を含む範囲でその範囲が狭ければ、さらに高精度に人状態を推定することが出来る。もちろん、整数ではなく例えば+1.5や−1.5等の小数を閾値としても構わない。
また、ここまでは、人の温冷感は温冷感推定部108にて自動で推定する場合を例として説明したが、例えば人102の温冷感を人102が直接入力しても構わず、人102の温冷感を判断できる値を人状態推定実施判断部111に提供できるのであれば、その手段は限定しない。
また、生理量取得部109A(画像処理部109)により鼻部皮膚温を算出する場合、熱画像センサー101で取得した熱画像から鼻部を特定する必要がある。その一例を説明する。図12Aは、本実施の形態における鼻部皮膚温測定の説明図である。図12Bは、本実施の形態における鼻部皮膚温測定における鼻孔部温度変動の説明図である。
図12Aは、人の鼻の概略図であり、呼吸により鼻孔部の温度は、図12Bのような呼吸周期に応じた温度変動をする。この温度変動は、呼吸により息を鼻から吐き出す時に体内で暖められた息が吐出されることで鼻孔部が暖められることによる温度上昇と、息を吸う時に外気を吸い込むことで鼻孔部の熱が奪われることによる温度低下とに起因する。そのため、この温度変動の周期は、呼吸周期(通常0.2〜0.3Hz程度)とだいたい等しくなる。よって、画像処理部109において、0.2〜0.3Hz程度の周期で変動する部位が2箇所あると、その部位が鼻孔部と推定される。鼻孔部が分かると、その位置から測定したい鼻部を容易に特定することが可能になる。以上のことから、鼻部を特定することが可能になる。
また、鼻孔部を特定できなかった場合には、鼻孔部を抽出できずに人状態を推定できていない旨を、ディスプレイ等から人102に通知しても構わない。同時に、メガネ等をかけてもらう等を促しても構わない。メガネは、通常、赤外線を通さないので、熱画像センサー101でメガネを掛けた人を撮影すると、メガネの部分は目の温度ではなくメガネそのものの温度となり、皮膚温よりも周囲温度に近くなるため、位置を検出しやすくなる。検出された目の位置から鼻の位置を推定して測定することで、精度よく鼻の位置を推定することが出来る。
その他、ディスプレイ等を通じて深呼吸をしてもらうことを促しても構わない。深呼吸をすることで、図12Bに示した鼻孔部温度の振幅が大きくなるため、鼻孔部の位置をより抽出しやすくなる。もちろんこれ以外の方法で鼻部を特定しても構わず、例えば顔面を抽出してその輪郭から鼻部を推定しても構わないし、その方法を限定するものではない。
また、人状態推定のために鼻部皮膚温を測定する場合、その測定タイミングを呼吸の位相に同期させても構わない。例えば、図12Bに矢印で示す様に、呼吸毎で最も鼻孔部の温度が高くなるタイミングにおいて、鼻部皮膚温を測定しても構わない。鼻部皮膚温は、呼吸により鼻孔部温度が変動するため、鼻部皮膚温もその影響を受ける。そのため、呼吸の位相と同期させて鼻部皮膚温を測定することで、ばらつきの少ない精密な測定が可能になる。なお、ここでは呼吸毎で最も鼻孔部の温度が高くなるタイミングにおいて測定することを例示したが、もちろん他の位相でも構わず、鼻孔部温度が最も低くなるタイミングでも構わず、その他の位相でも構わず、ここではそれを限定するものではない。
また、鼻部皮膚温を測定するために、ここでは熱画像センサー101を用いたが、もちろんこれは手段を限定するものではなく、皮膚温を測定できるものであればどのようなものでも構わず、焦電センサー、又は、単眼の赤外線センサー(ボロメータセンサー若しくはサーモパイルセンサー等)でも構わず、その手段を限定するものではない。
また、人状態は、皮膚血流量から求めてもよい。人状態を皮膚血流量から求める方法について以降で説明する。
人状態としての眠気が強くなると、抹消部(特に鼻部等)の血流量が増大するという相関関係があるので、この相関関係に基づいて皮膚血流量から人状態を推定することができる。皮膚血流量を測定する方法には、さまざまな方法があり得るが、例えばカメラにより特定の波長の光(例えば赤外光)を受光して、受光した光に基づいて測定されるヘモグロビンの量から皮膚血流量を算出することができる。
また、人状態は、血圧から求めてもよい。人状態を血圧から求める方法について以降で図12C及び図12Dを参照しながら説明する。
人状態としての眠気が強くなると、血圧が低下するという相関関係があるので、この相関関係に基づいて皮膚血流量から人状態を推定することができる。血圧は、カフ等で連続的に求めてもよいし、脈波伝搬時間から求めてもよい。脈波伝搬時間は、心臓から出た血流が所定の末端部まで到達するまでの時間である。
血圧と脈波伝搬時間との間には、血圧が低下すると脈波伝搬時間が長くなるという相関関係がある。よって、これらの相関関係に基づいて、脈波伝搬時間から血圧を経て人状態を推定することができる。
脈波伝搬時間の計測方法は、さまざまな方法があり得る。例えば、図12Cのように人の顔及び顔以外の部位(首、手等)を含む動画像をカメラにより撮影し、この動画像から、顔に含まれる部位P1、及び、顔以外の部位P2における脈波のピーク時刻のズレ量Tから求めることができる(図12D)。なお、ズレ量Tは、0.2msec程度で変動し得る値である。
また、顔と顔以外の部位とを用いる代わりに、例えば顔の中の互いに異なる二箇所(例えば顎と額)の脈波のピーク時刻のズレ量から求めてもよい。また、それ以外にも、心臓の振動をミリ波センサー等で測定し、顔の脈波をカメラから撮影した顔画像の微妙な色変動から検出し、心臓の振動ピークと顔の脈波ピークの時間ズレ量を脈波伝搬時間として、血圧変動を推定してもよい。
以上のように、本実施の形態に係る人状態推定方法によれば、人状態推定の際の誤検出を減らすことで、より高い精度で人状態を推定することができる。具体的には、本発明の一態様に係る人状態推定方法では、取得した温冷感情報が所定範囲である条件が成立する下で、生理量から人状態が推定される。よって、この条件が成立するか否かに関わらず人状態を推定するのに比べて、人状態推定の際の誤検出を減らすことができる。よって、上記人状態推定方法により、人状態の推定の精度を向上することができる。さらに、上記誤検出を減らすことで、再び検出処理を行う必要がなくなるなど、処理量及び処理負荷の低減、消費電力の低減の効果も得られる。
また、人の温冷感が、人が暑いとも寒いとも感じない温熱的中性点に比較的近い範囲内にある場合に人状態の推定が行われる。人が暑い又は温かいと感じているときには、身体からの放熱を促進させることにより皮膚温が上昇する。反対に人が寒い又は涼しいと感じているときには、身体からの放熱を抑制することにより皮膚温が低下する。つまり、人の温冷感が温熱的中性点に比較的近い範囲内にある場合には、人の身体からの放熱の促進又は抑制の影響がない、又は、比較的少ない状態である。よって、このような場合に生理量から人状態を推定することで、推定結果に含まれる、人の身体からの放熱の促進又は抑制の影響を小さくすることができ、誤検出の防止及び推定精度の向上に貢献する。
また、人の温冷感が、とても暑い、又は、とても寒いと感じているときを除外した範囲にある場合に、人状態の推定が行われる。人がとても暑いと感じているときには、人の身体からの放熱が大きく促進される。また、人がとても寒いと感じているときには、人の身体からの放熱が大きく抑制される。このような場合を、人状態を推定する場合から除外することで、推定結果に含まれる、人の身体からの放熱の促進又は抑制の影響を小さくすることができ、誤検出の防止及び推定精度の向上に貢献する。
また、人の鼻部皮膚温に基づいて、人の眠気の度合いを推定する際に、推定結果に含まれる、人の身体からの放熱の促進又は抑制の影響を小さくすることができる。また、鼻部皮膚温を用いることで、外乱がある場合であっても外乱の影響を受けにくくすることができる。
また、人の鼻部皮膚温に基づいて具体的に人の眠気の度合いを推定することができる。
また、PMVによる推定により、温熱六要素である気温、湿度、気流、輻射、着衣量、活動量からより正確に人の温冷感を推定することができる。
また、人の鼻部皮膚温に基づいて具体的に人のストレスの度合いを推定することができる。
また、人の皮膚血流、血圧、又は、脈波伝搬時間に基づいて具体的に人の眠気の度合いを推定することができる。
(実施の形態2)
本実施の形態の人状態推定装置を自動車に搭載した場合の例を図13から図21を用いて説明する。
図13Aは、本実施の形態における人状態推定装置が搭載された自動車200の概念図である。図13Bは、本実施の形態における人状態推定装置を装着している人202を正面から見た概略図である。図13Bに示される人202は、図13Aに示される自動車200に乗車している人202に相当する。
人202は、図13Bに示すように、皮膚温脈波センサー203を耳朶部に取り付けている。皮膚温脈波センサー203は、温度センサーと脈波センサーとを一体にしたものであり、皮膚温と脈波とを同時に測定することが出来る。本実施の形態においては、耳朶部の皮膚温を温冷感推定に用い、脈波を人状態推定に用いる例を示す。
以降において、脈波を用いた人状態推定の方法に関して説明する。
図14Aは、本実施の形態における測定された脈波の一例を示す説明図である。図14Bは、図14Aに示される脈波から得られる心拍間隔の時系列変動の説明図である。図15Aは、本実施の形態における心拍間隔の周波数成分であってHF成分が少ないものを示す説明図である。図15Bは、本実施の形態における心拍間隔の周波数成分であってHF成分が多いものを示す説明図である。
図14Aは、皮膚温脈波センサー203で測定された脈波の一例を示す。脈波とは、心臓の拍動に伴う末梢血管系内の血圧又は体積の変化を体表面から波形としてとらえたものであり、典型的には図14Aのようなのこぎり波形を示す。この脈波の波形から心拍間隔を抽出し、時系列的に配列すると、図14Bのように、時間経過に伴う心拍間隔のゆらぎ(心拍間隔の変動)が観測される。
心拍間隔のゆらぎの原因は、主に2種類あることが知られており、1つは血圧変動であり、もう1つは呼吸変動である。心臓の拍動は、脳内の中枢により自律神経を経由して制御されており、交感神経及び副交感神経の2系統で制御されており、心拍を速くする時には、交感神経を亢進させ、心拍を遅くする時には副交感神経を亢進させる。脳の中枢は、心拍を速くするか遅くするかを体の状態から決定するが、その要因の中に、血圧と呼吸とが含まれている。血圧に関しては、血圧が低下した時には心臓の活動を活性化させるために心拍を速くし、血圧が上がった時には心臓の活動を抑制するために心拍を遅くする様に機能する。呼吸も肺の伸展に伴い息を吸っている間には心拍が速くなり、息を吐いている時には心拍が遅くなるように機能する。
また、血圧はおよそ0.1Hz程度でゆらいでおり、この変動はMayer波と呼ばれている。呼吸は安静時では0.2〜0.3Hz程度である。よって、心拍間隔は図14Bの様な0.2〜0.3Hz程度の周期の波形や、0.1Hz程度の周期の波形となる。
次に、交感神経及び副交感神経が、脳内の中枢からの心拍の速さに関する指令に追随する速さ(応答速度)について説明する。副交感神経は、上記指令に0.2〜0.3Hz程度のゆらぎであっても追随できることがわかっている。一方、交感神経は、上記指令に0.1Hz程度のゆらぎがあっても追随できるが、上記指令に0.2〜0.3Hz程度の高周波のゆらぎがあると追随できなくなることがわかっている。よって、交感神経が亢進している時には、心拍間隔の波形の周波数成分を求めると、図15Aのように0.2〜0.3Hz程度の周波数成分が相対的に低くなり、反対に、副交感神経が亢進している時には、図15Bのように0.2〜0.3Hz程度の周波数成分が、図15Aの場合に対して増大する。
そこで、交感神経と副交感神経とのどちらが優位かを示す指標として、低周波成分(Low Frequency:LF)と高周波成分(High Frequency:HF)との比LF/HFを用いることができる。すなわち、LF/HFが高い時には交感神経が優位であり、LF/HFが低い時には副交感神経が優位である。よって、人状態としての眠気等が発生し、副交感神経が亢進すると、図15BのようにHF成分が増大しLF/HFが低下する。一方、ストレス等が発生し交感神経が亢進すると、図15AのようにHF成分が減少しLF/HFが増大する。ここで、例えば、LFは、0.15Hz以下の周波数成分とし、HFは、0.2Hz〜0.3Hzの周波数成分とする。これらの境界値は例示であり、上記値に限定されない。
上記を利用して皮膚温脈波センサー203が検出した脈波から、自律神経に基づく人状態を推定することが可能である。なお、ここでは心拍間隔を検出する手段として耳朶部から脈波を検出したが、手法はこれに限定したものではない。例えば、ステアリング等にセンサーを設けて指尖部等から脈波を検出しても構わない。また、脈波の代わりに心電図を測定して、心電図から心拍間隔を抽出しても構わず、心拍間隔を測定できるのであればその方法は限定しない。
次に、人の末梢部皮膚温を用いた温冷感推定の方法に関して説明する。
図16は、本実施の形態における、耳朶皮膚温と温冷感との相関の一例を示す相関図である。
人が寒さを感じている時、脳は生命維持に重要な器官の多い深部の体温が低下するのを防ぐために、末梢部の血管を収縮させることで、体の末梢部まで到達する血流の量を低減させようとする。末梢部まで到達する血液の量が減少すると、末梢部の皮膚温が低下する。
反対に人が暑さを感じている時、脳は深部体温が一定以上上昇することを防ぐために、末梢部の血管を拡張させ、体の末梢部まで到達する血流の量を増大させようとする。末梢部まで到達する血液の量が増大すると、末梢部の皮膚温が上昇する。
その結果、末梢部の皮膚温と温冷感との間には相関が生じ、例えば図16に示すように、末梢部である耳朶部の皮膚温と温冷感との間に線形的な相関関係が生じる。このことから、末梢部の皮膚温を検出することにより、人の温冷感を推定できることになる。なお、ここでは末梢部として耳朶部を用いたが勿論他の部位でも構わず、末梢部であれば例えば手掌部や鼻部等他の部位でも構わない。ただし、自動車200内で人状態推定を行う場合、人202の身体のうち、下に行くほど日射の影響を受けやすくなるので、首より上の部位の皮膚温を用いることが望ましく、鼻部又は耳朶部で測定することにより、日射による外乱を受けにくい人状態推定が可能になる。
また、図16に示すように、温冷感の変動(−3〜+3)による末梢部皮膚温の変動幅は20℃程度(15℃程度〜35℃程度)と大きく、皮膚温に影響する他の要因であるストレス又は眠気等の影響による温度変動幅(通常は1〜2℃程度)と比較して大きいので、推定される温冷感に大きな影響を与えない。また、例えば末梢部の皮膚温単独ではなく、体幹部の皮膚温に近い額部等の皮膚温と末梢部の皮膚温との差分から温冷感を推定しても構わない。そうすることで、温冷感推定時の個人差を低減することが出来る。
次に、本実施の形態における、人状態推定装置213の構成に関して説明する。
図17は、本実施の形態における人状態推定装置213の機能を示すブロック図である。
人状態推定装置213は、皮膚温脈波センサー203と、温冷感推定部208と制御部212を備える。
制御部212は、人状態推定部210と、人状態推定実施判断部211を含む。
人状態推定部210は、皮膚温脈波センサー203が取得した脈波から、人状態であるストレス又は眠気の度合いを推定する処理部である。より具体的には、人状態推定部210は、脈波から得られる人202の心拍間隔を生理量として取得し、取得した心拍間隔の変動に基づいて人202の人状態を推定する。
人状態推定実施判断部211は、人状態推定部210が人状態の推定を実施するか否かについての判断を行う処理部である。人状態推定実施判断部211は、温冷感推定部208に接続されており、人202の温冷感推定の結果が人状態推定実施判断部211に入力される。人状態推定実施判断部211は、人状態推定部210に接続されている。
以降において、人状態推定装置213の処理の流れに関して説明する。
図18は、本実施の形態における人状態推定装置213による人状態推定方法を示すフロー図である。
ステップS201において、皮膚温脈波センサー203で得られた皮膚温データが、温冷感推定部208に入力されて人202の温冷感が推定される。
ステップS202において、ステップS201で推定された人202の温冷感が人状態推定実施判断部211に入力され、人状態推定実施判断部211による温冷感についての判定がなされる。
ステップS201での判定により、温冷感が+2より大きい、又は、−2より小さいと判定された場合には、ステップS201に進み、再度、温冷感推定部208による人202の温冷感の推定がなされる。
ステップS201での判定により、温冷感が−2以上、+2以下の範囲内であると判定された場合には、ステップS203へ進む。
ステップS203において、人状態推定部210は、皮膚温脈波センサー203が測定した脈波を元に、人状態としての眠気レベルを推定する。また、推定された眠気レベルを判定し、判定結果に応じて以下のように処理を行う。
すなわち、ステップS203において眠気レベルが1であると判定された場合には、ステップS201に進み、その後再び、本フロー図に示される一連の処理を行う。この場合、眠気レベルが、人202による自動車の運転に支障ない程度であるので、人202に対して報知等を行う必要がないと考えられるためである。
一方、ステップS203において、眠気レベルが2以上であると判定された場合には、人202への報知を行う。この場合には、眠気レベルが、人202による自動車の運転に支障があると考えられるので、そのことを人202に知らせるために上記報知が行われる。報知は、例えば、スピーカ114で人202に眠くなりつつあることを知らせること、又は、休息をとることを促すこと等により行う。報知の後、ステップS201に進み、再び、本フロー図に示される一連の処理を行う。
なお、人状態としてストレスの度合いを推定する場合においても、人状態推定部210における判断基準が異なるだけで、眠気の場合と同様な処理であるため、改めての説明は割愛する。
以上のことにより、脈波の変動が人の温冷感によるものなのか、眠気によるものなのかを切り分けることができるので、高精度な眠気度合推定手段を提供することが出来るようになる。もちろん、人状態としてストレスの度合いの場合でも同様であり、同様のことにより高精度なストレス度合い推定手段を提供することが出来るようになる。即ち、高精度な人状態の推定手段を提供することが可能になる。また、眠気の度合いを検出する場合、例えば温冷感が+2より大きい場合、又は、−2より小さい場合、即ち暑さや寒さを感じている場合には、人が眠気を感じることは少ないので、制御部112における無用な眠気度合い推定を省略することができるので、処理負荷を低減し消費エネルギーを低減できるという効果も有する。
なお、人状態推定部210において例えば眠気を推定した結果、眠気レベルが2以上である場合にスピーカ114を通じて人202に知らせることを説明したが、人202に知らせる手段はこれ以外でもよく、例えばシートベルトをきつく締めることでユーザに覚醒を促すことや、ディスプレイ等に表示することで人202に通知してもよく、その方法は特に限定しない。
さらに、人状態推定実施判断部211において、温冷感推定部208が求めた温冷感の範囲の上限及び下限を、+2及び−2としたが、この値は、これらとは異なる値を用いてもよく、例えば温冷感が+1以下−1以上で人状態を推定しても構わない。また、温熱的中性点を含む範囲でその範囲が狭ければ、さらに高精度に人状態を推定することが出来る。もちろん、整数ではなく例えば+1.5や−1.5等の小数を閾値としても構わない。
また、ここまでは、人の温冷感は温冷感推定部208にて自動で推定する場合を例として説明したが、例えば人202の温冷感を人202が直接入力しても構わず、人202の温冷感を判断できる値を人状態推定実施判断部211に提供できるのであれば、その手段は限定しない。
また、ここまでは、脈波から人状態を推定していたが、脈波と共に実施の形態1で触れた呼吸を用いてさらに高速に検出する方法に関して説明する。
図19Aは、本実施の形態における呼吸成分を用いた処理負荷低減方法に係る呼吸周波数の説明図である。図19Bは、本実施の形態における呼吸成分を用いた処理負荷低減方法に係るウェーブレット変換を示すブロック図である。
図15A及び図15Bの説明において、図14Bに示した心拍間隔の波形から図15A及び図15Bの周波数特性を求めることを示した。通常このような周波数特性を求めるにはフーリエ変換又は離散フーリエ変換等が用いられ、計算機上では高速フーリエ変換で実行されることが多い。しかし、脈波のフーリエ変換を行う場合、そのデータは約1秒にひとつしか得られないため、通常数分程度のデータを要する場合がある。しかし、自律神経の解析のためにLF/HFを分析するには、HF成分がどの程度かを検出することが重要で、必ずしもすべての周波数成分を検出する必要は無い。
そこで、図19Bのように、生理量として呼吸波形を活用することができる。つまり、心拍間隔に加えて呼吸波形に基づいて、人状態を推定することが可能である。呼吸波形は、実施の形態1で述べたように鼻孔部の温度変動から求めても構わないし、それ以外でも例えば呼吸による腹部の膨張収縮をシートベルトのテンションから検出しても構わないし、ミリ波等で腹部の位置変動を非接触で検出しても構わないし、その手段は問わない。得られた呼吸波形に対して、呼吸周期分析1902を行うことで、例えばそのピーク値の間隔から呼吸周期を分析することにより、人202の呼吸周波数成分の周波数を求める。次に、得られた脈波波形に対して、呼吸波形から得られた呼吸周波数成分の強度を、ウェーブレット変換1901により求める。
このように呼吸波形に基づいて脈波の呼吸成分強度を抽出することにより、1分未満で脈波に呼吸周波数成分がどの程度含まれているか求めることが出来る。この方法による計算量は、フーリエ変換による計算量よりも少なく済むので、人状態推定装置213の処理負荷を低減し消費エネルギーを低減できるという効果も有する。
呼吸センサーも含めた場合の人状態推定方法について説明する。
図20は、本実施の形態における呼吸成分を用いた処理負荷低減方法を適用した人状態推定方法を示すフロー図である。
ステップS203Aにおいて、人状態推定部210による人状態の推定のための入力として、皮膚温脈波センサー203で得た脈波以外に呼吸センサーから得た呼吸波形が入力される。
それ以外は、図18における同名の処理ステップと同じであるので詳細な説明を省略する。
なお、図13A及び図13Bにおいて、皮膚温脈波センサー203が人202の左耳に取り付けられているが、自動車200が右ハンドル車である場合、左耳につけている方が日射等の外乱の影響を受けにくく、また光学的に脈波を検出している場合も日射等の外乱の影響を受けにくくなるため好ましい。勿論左ハンドル車であれば、右耳につけている方が好ましい。
また、本実施の形態においては、耳朶部から脈波を検出する手法を示したが、例えばオフィス等においてパソコン等で作業している状態の人の人状態を脈波から検出する場合、耳朶ではなくパソコンの入力装置であるマウスを通して脈波を検出しても構わない。マウスで指を置く部分はほぼ決まっているため、その部位で光学的に脈波を読み取るようにすることで、能動的にセンサーを身につけなくても、人状態を検出することができる。それ以外でも、ウェアラブルセンサーとして、例えばシャツ等に人の脈波を検出する素子を取り付けておき、無線でスマートホン等に脈波波形を転送して、クラウドを用いた処理をしても構わない。こうすることで、人が移動中であっても人状態を検出することが出来る。また、例えば、多数の人の人状態をビッグデータとして扱って分析することで、ストレスが多く掛かる場所又は時間帯を特定することができるので、事故等の発生し易い場所又は時間帯を抽出することが出来る。
次に、人状態の個人差を低減する方法を説明する。
図21は、本実施の形態における人状態判定結果を補正する機能を示すブロック図である。
人状態推定部210において脈波を解析して人状態を判断する場合、脈波解析部250が上述のフーリエ変換及びウェーブレット変換を行いLF/HFを求め、その結果から人状態判断部251が人状態としての眠気の度合いが1〜5のどのレベルにあるかを判断する。スピーカ等が上記判断の結果を音声出力する。
人202は、上記判断の結果を聞くことで知る。そして、人202は、その状態と自身が感じている眠気の度合いが異なっていると感じた場合、補正値入力部253を通して、自身分が感じている眠気の度合いを入力する。人状態補正部252は、人状態判断部251が判断した眠気の度合いと、補正値入力部253が受け付けた人の眠気の度合いとの差分から、個人差を認識し記憶する。以後、人状態判断部251にて判断された結果に対して人状態補正部252にて記憶した値を用いて補正することにより、人202ごとに補正された人状態が推定されることになる。こうすることで、個人差の少ない人状態推定装置213を提供することが出来る。
また、ここまででは、皮膚温及び脈波を用いた人状態検出部を示してきたが、これらに限定するものではなく、皮膚温及び脈波以外でも、例えば皮膚血流量を検出してもよく、その他視線、瞬き、脳血流又は脳波等自律神経によって制御されている生理量であればその手段を限定しない。
以上のように、本実施の形態に係る人状態推定方法によれば、人状態推定の際の誤検出を減らすことで、より高い精度で人状態を推定することができる。具体的には、本発明の一態様に係る人状態推定方法では、取得した温冷感情報が所定範囲である条件が成立する下で、生理量から人状態が推定される。よって、この条件が成立するか否かに関わらず人状態を推定するのに比べて、人状態推定の際の誤検出を減らすことができる。よって、上記人状態推定方法により、人状態の推定の精度を向上することができる。さらに、上記誤検出を減らすことで、再び検出処理を行う必要がなくなるなど、処理量及び処理負荷の低減、消費電力の低減の効果も得られる。
また、人の心拍間隔に基づいて具体的に人状態を推定することができる。
また、人の呼吸波形に基づいて具体的に人状態を推定することができる。また、処理負荷の低減、処理の高速化に貢献することもできる。
また、人の耳朶部の皮膚温及び脈波に基づいて具体的に人状態を推定することができる。耳朶部は、脈波の計測が容易であるという特徴がある。そこで、耳朶部により脈波を取得し、あわせて皮膚温も取得することにより、人状態の推定に必要な情報を耳朶部からまとめて取得することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の人状態推定装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、人の状態である人状態を推定する人状態推定方法であって、前記人の推定された温冷感を規定範囲内で指標化した温冷感指標を取得し、取得した前記温冷感指標が、前記規定範囲のうちの所定範囲内であるか否かを判定し、取得した前記温冷感指標が前記所定範囲内であると判定されたときに取得した生理量であって、前記人の自律神経の活動が反映された生理量に基づいて前記人状態を推定する人状態推定方法を実行させる。
以上、一つまたは複数の態様に係る人状態推定装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
例えば、以下のような場合も本発明に含まれる。
(1)上記の実施の形態では、センサー、温冷感推定部、制御部を少なくとも備える人状態推定手法について説明した。しかし、センサー、温冷感推定部、制御部、人状態推定手法の構成要素の一部をソフトウェアとして別個の構成とすることも可能である。この場合、当該ソフトウェアを処理する主体は、人状態推定手法の演算部であってもよいし、PC(パーソナルコンピュータ)やスマートホン等に含まれる演算部であってもよいし、当該人状態推定装置とネットワークを介して接続されるクラウドサーバ等であってもよい。
また、各装置の配置又は構成は、図3に示すような装置の配置又は構成に限られない。各センサ(カメラ、温度計、グローブ温度計、風速計、湿度計)の一部または全部が一体のモジュールに組み込まれていてもよいし、単体に(別体として)配置されてもよい。また、図10に示すように温冷感推定部108が一体の構成として組み込まれていてもよい。また、温冷感推定制御部106(に含まれる処理)がソフトウェアとして別で提供されるものであってもよい。また、温冷感推定部108と制御部112と(に含まれる処理)が一体のソフトウェアとして提供されてもよい。また、熱画像センサー101と温冷感推定制御部106と制御部112とが一体のモジュールとして提供されてもよい。各装置の配置又は構成はこれに限られず、各構成のいかなる組み合わせを行ってソフトウェアやモジュールとして提供する形態をも、含むものとする。
(2)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(3)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(4)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(5)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
(6)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。