[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6638734B2 - 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置 - Google Patents

食事時間推定方法、食事時間推定プログラム及び食事時間推定装置 Download PDF

Info

Publication number
JP6638734B2
JP6638734B2 JP2017548608A JP2017548608A JP6638734B2 JP 6638734 B2 JP6638734 B2 JP 6638734B2 JP 2017548608 A JP2017548608 A JP 2017548608A JP 2017548608 A JP2017548608 A JP 2017548608A JP 6638734 B2 JP6638734 B2 JP 6638734B2
Authority
JP
Japan
Prior art keywords
time
heart rate
meal
peak
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017548608A
Other languages
English (en)
Other versions
JPWO2017077656A1 (ja
Inventor
一穂 前田
一穂 前田
森 達也
達也 森
大輔 内田
大輔 内田
明大 猪又
明大 猪又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2017077656A1 publication Critical patent/JPWO2017077656A1/ja
Application granted granted Critical
Publication of JP6638734B2 publication Critical patent/JP6638734B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0255Recording instruments specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4857Indicating the phase of biorhythm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4866Evaluating metabolism
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Obesity (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nutrition Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、食事時間推定方法、食事時間推定プログラム及び食事時間推定装置に関する。
メタボリック症候群や糖尿病を始めとする生活習慣病の予防、ダイエット、医療サービスなどのヘルスケアが注目されている。かかるヘルスケアを実現する場合、日頃の運動や食事などの生活習慣を記録することにより、自己の生活習慣の問題点に気付き、改善していくプロセスが求められる。
例えば、「食事」に関する予防策として、下記の通り、「いつ」、「何を」、「どれだけ」などの食事のコントロール方法が挙げられている。具体的には、規則正しく三食を摂る(いつ)、朝食をとる(いつ)、バランス良く栄養をとる(何を)、カロリーを摂取し過ぎない(どれだけ)、塩分は控える(何を)といった項目が挙げられている。
ここで、例えば、「いつ」食べたのかという記録があれば、不規則な食習慣を検知し、予防のアドバイスを提供するなどのヘルスケアサービスを実施することもできる。
例えば、食事判定を行う技術の一例として、食行動検知システム、発話・飲食状態検出システムや食事行動検出装置などが提案されている。例えば、食行動検知システムでは、食物摂取の際の、腕を上げて降ろす動作を加速度センサを用いて検出することにより、食事判定を行う。また、発話・飲食状態検出システムでは、物を食べる際に咀嚼する事を利用し、体内音の咀嚼特有の周波数パターンを検出する。また、食事行動検出装置の場合、食卓上などに赤外線センサを設置した状況の下、食卓付近で人体を検出した後に人体が頻繁に動いているかどうかを閾値処理する。
ところが、これらの技術のいずれにおいても、食事行動を推定するために、食事の仕方が制限されたり、あるいは食事行動を推定する場所に制約があったりするので、汎用性に欠ける面がある。例えば、食行動検知システムで想定される加速度の傾向は、あくまでも食物摂取時になされる腕の動作の一面にしか対応しておらず、それ以外の腕の動作がなされる場合には加速度の傾向が異なるので、検出漏れが発生する。また、発話・飲食状態検出システムの場合、食事時にマイクを首に装着させることになるので、身体に負担がかかり、かつ見栄えも悪くなってしまう。また、食行動検出装置の場合、赤外線センサが設置された場所などのように、固定された環境での食事しか認識することはできない。
また、食事判定に脈波を用いる技術の一例として、生活管理端末装置も提案されている。この生活管理端末装置では、食事時に起る咀嚼特徴が現れることに加え、脈拍数が上昇し、かつ皮膚導電率に急激な上昇がない場合に食事中であると判断する。他の一例として、次のようなライフスタイル評価方法も提案されている。このライフスタイル評価方法では、加速度センサによって検知される体動に大きな変化がなく、心拍センサによって測定される心拍数が上昇し、LF/HFが低下し、かつHFが上昇した場合に摂食開始と判断する。これとは逆に、ライフスタイル評価方法では、心拍センサによって測定される心拍数が低下し、LF/HFが上昇し、かつHFが低下した場合に摂食終了と判断する。
特開2000−245713号公報 特開2003−173375号公報 特開2004−81471号公報 特開2007−48180号公報 特表平10−504739号公報 特開2011−115508号公報 特開2008−61790号公報 特開2010−158267号公報
しかしながら、上記の技術では、ラベル付きの教師データが与えられなければ、食事時間の推定精度が低下する場合がある。
すなわち、食事に伴う心拍数上昇のパターンには個人差がある。かかる個人差の影響を低減して心拍数や脈拍数などから食事時間を推定するには、ラベル付きの教師データの活用が避けられない一面がある。例えば、上記の生活管理端末装置では、食事が行われた時の脈拍数や皮膚導電率などの教師データがなければ、食事時間の推定結果から個人差の影響を低減するのは困難である。また、上記のライフスタイル評価方法では、食事が行われた時の心拍数、LF/HFやHFなどの教師データがなければ、食事時間の推定結果から個人差の影響を低減するのは困難である。
1つの側面では、食事時間の推定精度が低下するのを抑制できる食事時間推定方法、食事時間推定プログラム及び食事時間推定装置を提供することを目的とする。
一態様では、コンピュータが、複数の心拍数の時系列データを取得する処理と、前記複数の心拍数の時系列データの間で同一時間帯の心拍数の上昇変化が所定の条件を満たす第1の時間帯を抽出する処理と、前記心拍数の時系列データごとに、前記第1の時間帯と少なくとも一部が重なる第2の時間帯に現れる心拍数の上昇変化を検出する処理と、前記心拍数の時系列データごとに、前記第2の時間帯に現れる心拍数の上昇変化に基づいて食事時間を推定する処理とを実行する。
食事時間の推定精度が低下するのを抑制できる。
図1は、実施例1に係るヘルスケア支援システムの構成を示す図である。 図2は、心拍数データの一例を示す図である。 図3は、ピーク時間帯、第1ピーク及び第2ピークの関連性の一例を示す図である。 図4は、ピーク時間帯の抽出例を示す図である。 図5は、実施例1に係る食事時間推定処理の手順を示すフローチャートである。 図6は、心拍数データの一例を示す図である。 図7は、機械学習による食事時間の推定方法の一例を示す図である。 図8は、実施例1及び実施例2に係る食事時間推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。
以下に添付図面を参照して本願に係る食事時間推定方法、食事時間推定プログラム及び食事時間推定装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[システム構成]
図1は、実施例1に係るヘルスケア支援システムの構成を示す図である。図1に示すヘルスケア支援システム1は、各種のヘルスケア支援サービスを提供するものである。例えば、ヘルスケア支援サービスの一例として、センサ端末10により採取されたセンシングデータを用いてセンサ端末10のユーザの生活行動、例えば食事時間を記録するサービス、さらには、その記録を活用する派生のサービスなどが挙げられる。
かかるヘルスケア支援サービスの一環として、ヘルスケア支援システム1は、食事後には第1ピークが現れた後に第2ピークが現れ、かつ第1ピークよりも第2ピークの方が長期間にわたる傾向にあるという知見を食事時間の推定に活用する。
図2は、心拍数データの一例を示す図である。図2には、一例として、食事開始前後の心拍数の変化がグラフ化されている。図2に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻(時間)を指す。
図2に示すように、食事に伴って食事開始後に発生する心拍数の変化には、時間経過に伴って心拍数が上昇(増加)して下降(減少)に転ずる2つのピークが存在する。すなわち、食事開始時刻Tsから時間経過に伴って、食事開始後に先行して出現する心拍数変化のピークである「第1ピーク」と、第1ピークに後続して出現する心拍数変化のピークである「第2ピーク」とが出現する。なお、以下では、第1ピークの部分の波形を含む所定の領域のことを「第1ピーク領域A1」と記載し、第2ピークの部分の波形を含む所定の領域のことを「第2ピーク領域A2」と記載する場合がある。
このうち、「第1ピーク」は、食事行為に伴う心拍上昇であり、例えば、食道の蠕動運動に起因する心拍数上昇と推定される。また、「第2ピーク」は、例えば、食事行為により摂取された摂取物、すなわち食物等に対する消化器官(胃腸等)内の消化活動に起因する心拍数上昇と推定される。
このことから、食事後には、第1ピークが現れた後に第2ピークが現れ、かつ第1ピークよりも第2ピークの方が長期間にわたる傾向にあるという知見を得ることができる。
このような知見の下、ヘルスケア支援システム1は、複数の心拍数の時系列データが時刻毎に平均された平均心拍数の波形に現れるピーク時間帯と重なる各心拍数の時系列データの第2ピークから第1ピークを検出して食事時間を推定する食事時間推定処理を実現する。これによって、一側面として、教師データが入力として与えられなくとも、食事時間の推定精度が低下するのを抑制する。以下では、心拍数の時系列データのことを「心拍数データ」と記載する場合がある。
図3は、ピーク時間帯、第1ピーク及び第2ピークの関連性の一例を示す図である。図3の左部には、一例として、同一のユーザを対象に計測された7月1日〜7月3日の3日分の心拍数データの間で同一の時刻の心拍数同士が平均された平均心拍数の波形が示されている。また、図3の右部には、7月1日〜7月3日の各心拍数データが整列されており、これらを代表して7月1日の心拍数データが示されている。なお、図3に示す縦軸は、単位時間当たりの平均心拍数または心拍数を指し、横軸は、時刻を指す。
図3の左部に示す平均心拍数の波形からわかる通り、3日分の心拍数データが時刻ごとに平均された場合、平均心拍数には、3日分の各心拍数データの第2ピークの重なりが現れる。これは、同一のユーザであれば多少のばらつきはあれども一定の習慣、例えば昼休みの間に食事を摂る習慣にしたがって食事が行われる傾向にある点、さらには、第1ピークに比べて第2ピークは長期間であることが基礎となって食事時間にばらつきがあっても大局的にみれば各心拍数データの間で重複部分が長くなる点などが根拠となり得る。このことから、平均心拍数の波形から心拍数の上昇幅Hと心拍数の上昇期間Wがともに所定の閾値以上である時間帯が抽出される。ここで平均心拍数の波形から抽出される時間帯は、一側面において、各心拍数データにおいて第2ピークが頻出する時間帯とみなすことができるので、以下では、「ピーク時間帯」と記載する場合がある。
このようにピーク時間帯が得ることができれば、各心拍数データから第2ピーク、第1ピーク、ひいては食事時間を推定することができる。例えば、図3の右部に示すように、心拍数データごとに上記のピーク時間帯を包含する第2ピークを検出し、第2ピークの発生時刻から遡って所定の期間、例えば1時間以内に存在する第1ピークをさらに検出する。その上で、第1ピークの開始時刻、例えば第1ピーク以前で最初に心拍数の最低値が現れる時刻を「食事開始時刻」と推定し、第1ピークの心拍数が計測される時刻を「食事終了時刻」と推定することができる。この他、「食事開始時刻」及び「食事終了時刻」からその差を算出することにより「食事所要時間」をさらに推定することもできる。このように、「食事開始時刻」、「食事終了時刻」及び「食事所要時間」のうち少なくともいずれか1つまたはこれらの組合せを「食事時間」として推定することができる。
図1に示すように、ヘルスケア支援システム1には、センサ端末10と、情報処理装置100とが含まれる。なお、図1には、センサ端末10が1つである場合を図示したが、ヘルスケア支援システム1には、複数のセンサ端末が収容されることとしてもかまわない。
これらセンサ端末10及び情報処理装置100の間は、相互に通信可能に接続される。ここでは、一例として、センサ端末10及び情報処理装置100がBLE(Bluetooth(登録商標) Low Energy)などの近距離無線通信により接続される場合を想定するが、有線または無線を問わず、任意のネットワークを介して互いを接続することができる。例えば、LAN(Local Area Network)やVPN(Virtual Private Network)などの構内通信網を始め、インターネット(Internet)などの任意の種類の通信網を介して、センサ端末10及び情報処理装置100を接続することができる。
センサ端末10は、センサを実装する端末装置である。
一実施形態として、センサ端末10には、ヘルスケア専用の端末装置、スマートグラスやスマートウォッチ等の汎用のウェアラブルガジェットなどを採用できる。
センサ端末10には、少なくとも心拍センサが実装される。この心拍センサを用いて、センサ端末10は、例えば、センサ端末10を利用するユーザの単位時間当たりの心拍数を検出する。このように心拍センサを用いてセンシングされる心拍数データが食事時間の推定に用いられる。なお、ここでは、心拍センサが搭載される場合を例示するが、搭載可能なセンサが心拍センサに限定されるわけではなく、他のセンサが搭載されることを妨げない。例えば、センサ端末10に加速度センサやジャイロセンサなどのモーションセンサが搭載される場合、そのセンシング結果を利用して心拍数データから運動、例えば歩行、昇降や走行に伴う心拍数の上昇期間を除外するのに用いることにより、食事時間の推定を補助することもできる。
センサ端末10に心拍センサが実装される場合、ユーザの生体部位、例えば胸、腕、手首などに装着する装着型の心拍センサを採用することができる。例えば光電脈波センサによる脈拍を採用することもできる。この場合、ヘルスケア専用に心拍センサを実装することもできれば、ウェアラブルガジェットが心拍センサを搭載する場合、その心拍センサを流用することもできる。また、心拍センサには、必ずしも装着型のものを採用せずともかまわない。例えば、ユーザの生体の一部が所定のサンプリング周波数で撮像される画像に関する輝度の時系列変化から心拍数を検出したり、RF(Radio Frequency)モーションセンサを用いて拍動に伴うドップラ周波数を検出したりすることにより、心拍数の検出をユーザの生体部位に非接触の状態で実現することとしてもかまわない。
ここで言う「心拍数」は、血液を送り出す心臓の拍動回数を表す指標であり、そのセンシング方法は、心臓の電気的活動を計測する方法であっても、血液の流れを計測して脈動を計測する方法であってもかまわない。すなわち、必ずしも心拍数の検出に心拍センサが実装されずともよく、心電信号を検出する心電センサがセンサ端末10に実装されることとしてもかまわない。
このようにセンサ端末10によりセンシングされた心拍数データは、ユーザの識別情報、例えばセンサ端末10のマシン名やシリアル番号などと対応付けられた状態で情報処理装置100へ伝送される。このとき、心拍数データは、心拍数がセンシングされる度にリアルタイムで伝送されることとしてもよいし、所定期間、例えば12時間、1日間、1週間や1ヶ月などにわたって蓄積してから伝送することとしてもかまわない。なお、ここでは、センサ端末10から情報処理装置100へ心拍数データが伝送される場合を例示したが、センサ端末10に心拍数データから食事時間の推定に用いる平均心拍数の波形を抽出させることとしてもかまわない。
情報処理装置100は、上記のヘルスケア支援サービスを提供するコンピュータである。かかる情報処理装置100には、携帯端末装置、据置き型やノート型のパーソナルコンピュータを含む計算機全般を採用できる。なお、上記の携帯端末装置には、スマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末のみならず、タブレット端末やスレート端末などがその範疇に含まれる。
一実施形態として、情報処理装置100は、パッケージソフトウェアやオンラインソフトウェアとして上記のヘルスケア支援サービスを実現する食事時間推定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、情報処理装置100は、センサ端末10から受け付けた心拍数データを用いて、センサ端末10のユーザの食事時間を推定する。その上で、情報処理装置100は、食事時間を記録することができる他、それまでに記録された食事時間から所定期間、例えば1週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりすることもできる。例えば、情報処理装置100が有する表示デバイス、音声出力デバイス、印字デバイスなどの出力デバイスを通じて、上記の各種の情報を出力させることができる。また、情報の出力先は、必ずしも情報処理装置100に限定されず、ユーザが使用する他の端末装置とすることもできるし、その関係者、例えばユーザの親族、医療または介護の担当者などが使用する端末装置とすることもできる。これによって、上記のヘルスケア支援サービスが実現される。
[センサ端末10の構成]
次に、本実施例に係るセンサ端末10の機能的構成について説明する。図1に示すように、センサ端末10は、心拍数データ取得部11と、通信I/F(InterFace)部13とを有する。なお、センサ端末10は、図1に示した機能部以外にも既知のコンピュータが有する機能部を有することとしてもよい。例えば、ヘルスケア専用の端末装置、ウェアラブルガジェットまたは携帯端末装置がセンサ端末10として実行される場合、これらの各装置が標準装備するハードウェア及びソフトウェアを実装できる。
心拍数データ取得部11は、上記の心拍数データを取得する処理部である。
一実施形態として、心拍数データ取得部11は、図示しない心拍センサを制御して、所定のサンプリング周期で心拍センサに心拍数をセンシングさせる。これによって、心拍数データ取得部11は、サンプリング点ごとに心拍センサによりセンシングされる心拍数の時系列データを心拍数データとして取得する。かかる心拍数データには、一例として、時間及び心拍数などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、センサ端末10上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「心拍数」は、単位時間あたりの心拍数として表現される。例えば、単位時間を1分間とする場合、心拍数はbpm(beats per minute)等で表現される。また、単位時間を1秒間とする場合、心拍数はHzで表現される。さらに「心拍数」と相関のある指標であれば、心拍数そのものでなくてもかまわない。例えば、心電波形における心電波形のRR間隔はミリ秒で表現され、心拍数の代わりに用いることができる。
ここで、センサ端末10により心拍数を取得させる趣旨は、食事に伴う循環器の応答を捉えて食事時刻の推定に用いるためであり、心拍数以外にも心電波形や脈波波形から得られる情報や血流量に関わる情報から心拍数と相関のある指標が得られる場合には、その指標を用いることができる。
通信I/F部13は、他の装置、例えば情報処理装置100などとの間で通信制御を行うインタフェースである。
一実施形態として、通信I/F部13には、センサ端末10及び情報処理装置100の間が近距離無線通信により接続される場合、BLEモジュールなどを採用できる。この他、LANやVLANなどの無線通信網により接続される場合、通信I/F部13には、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部13は、上記の心拍数データなどを情報処理装置100へ送信する。また、通信I/F部13は、上記の心拍数データなどを情報処理装置100へアップロードする指示や心拍数データを情報処理装置100へアップロードする間隔に関する指示などの他、食事時間の推定結果やそれを用いた診断結果などを情報処理装置100から受信することもできる。
このように心拍数データ取得部11により検出される心拍数データは、図示しないCPU(Central Processing Unit)やMPU(Micro-Processing Unit)などの制御部の指示にしたがって通信I/F部13により情報処理装置100へ伝送される。このとき、心拍数がサンプリングされる度に当該心拍数の振幅が情報処理装置100へ伝送されることとしてもよいし、所定の期間、例えば12時間、1日間、1週間や1ヶ月などにわたって図示しないメモリへ心拍数データを蓄積してから情報処理装置100へ伝送されることとしてもかまわない。
なお、上記の心拍数データ取得部11などの処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばRAM(Random Access Memory)やフラッシュメモリを採用できる。また、上記の各処理部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、HDD(Hard Disk Drive)、光ディスクやSSD(Solid State Drive)などを採用できる。
[情報処理装置100の構成]
次に、本実施例に係る情報処理装置100の機能的構成について説明する。図1に示すように、情報処理装置100は、通信I/F部110と、取得部120と、算出部130と、抽出部140と、第1検出部150と、第2検出部160と、推定部170と、サービス提供部180とを有する。なお、情報処理装置100は、図1に示した機能部以外にも既知のコンピュータが有する機能部、例えば各種の入出力デバイスなどを有することとしてもよい。
通信I/F部110は、他の装置、例えばセンサ端末10などとの間で通信制御を行うインタフェースである。
一実施形態として、通信I/F部110には、センサ端末10及び情報処理装置100の間が近距離無線通信により接続される場合、BLEモジュールなどを採用できる。この他、LANやVLANなどの無線通信網により接続される場合、通信I/F部110には、LANカードなどのネットワークインタフェースカードを採用できる。例えば、通信I/F部110は、上記の心拍数データなどをセンサ端末10から受信する。また、通信I/F部110は、上記の心拍数データをセンサ端末10にアップロードさせる指示やセンサ端末10が心拍数データを情報処理装置100へアップロードする間隔に関する指示などの他、食事時間の推定結果やそれを用いた診断結果などをセンサ端末10へ送信することができる。
取得部120は、上記の心拍数データを取得する処理部である。
一実施形態として、取得部120は、センサ端末10から近距離無線通信を通じて心拍数データを取得することができる。このような通信によるアクセスの他、取得部120は、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやUSB(Universal Serial Bus)メモリなどのリムーバブルメディアに保存された心拍数データを読み出すことにより心拍数データを取得することもできる。なお、ここでは、センサ端末10から心拍数データを近距離無線通信により取得する場合を例示したが、情報処理装置100が心拍センサ等を内蔵または付設する場合には、心拍センサにより出力される心拍数データをそのまま取得してもよい。
ここで、食事時間の推定には、上記の平均心拍数の波形を得るために、複数の心拍数データが取得される。各心拍数データは、必ずしも同一の時間長でなくともかまわないが、互いのデータ間で心拍数が計測された時刻が重複している時間が長い心拍数データを収集するほど食事時間の推定精度が向上することが期待できる。また、各心拍数データは、任意の時間長とすることができる。以下では、あくまで一例として、各心拍数データが日次の計測データである場合を想定し、所定日数分の心拍数データが蓄積されることを条件に所定日数分の心拍数データが取得される状況を例示することとする。
算出部130は、複数の心拍数データの間で心拍数の統計値を時刻毎に算出する処理部である。
一実施形態として、算出部130は、取得部120により複数の心拍数データが取得された場合、各心拍数データの間で同一の時刻に計測された心拍数同士に所定の統計処理を実行することにより、時刻ごとに統計心拍数を算出する。かかる統計処理の一例として、算出部130は、相加平均を始め、加重平均、中央値または最頻値などの算出を実行することができる。これによって、時間経過にしたがって所定日数間で同一時刻に計測された心拍数の統計値が整列する統計心拍数データ、一例として平均心拍数データが得られる。
ここで、算出部130は、上記の平均心拍数データを算出する場合に、必ずしも取得部120により取得された全ての心拍数データを用いずともかまわない。例えば、下記に例示する基準によって取得部120により取得された心拍数データをフィルタリングすることができる。例えば、算出部130は、互いの波形の形状が類似する日付の心拍数データの集合を抽出し、それらの日付の心拍数データから平均心拍数データを算出することができる。なお、波形の形状が類似するか否かは、波形間で算出されるユークリッド距離や相関係数などの類似度を閾値処理することにより判定することができる。また、算出部130は、1日の心拍数データの統計量、例えば平均、標準偏差や分散が互いに類似する日付の集合を抽出し、それらの日付の心拍数データから平均心拍数データを算出することができる。また、算出部130は、心拍数データに関する日付の情報、例えば曜日、平日、祝祭日が互いに一致する日付の集合を抽出し、それらの日付の心拍数データから平均心拍数データを算出することもできる。また、算出部130は、日付ごとに取得した情報、例えば天気や気温が互いに類似する日付の集合を抽出し、それらの日付の心拍数データから平均心拍数データを算出することもできる。また、算出部130は、日付ごとにユーザーから取得したセンサ情報、例えば体温や活動量が互いに類似する日付の集合を抽出し、それらの日付の心拍数データから平均心拍数データを算出することもできる。
抽出部140は、上記の統計心拍数データからピーク時間帯を抽出する処理部である。
一実施形態として、抽出部140は、算出部130により算出された平均心拍数データの波形から心拍数の上昇幅H及び心拍数の上昇期間Wが所定の条件を満たす区間の時間帯をピーク時間帯として抽出する。かかる条件の一例として、心拍数の上昇幅Hと比較する閾値として第1の閾値Thが設定されると共に、心拍数の上昇期間Wと比較する閾値として第2の閾値Thが設定される。このような条件設定の下、抽出部140は、上記の平均心拍数データの波形上で心拍数の上昇幅Hが第1の閾値Th以上であり、かつ心拍数の上昇期間Wが第2の閾値Th以上である区間を抽出する。これによって、上記の統計心拍数データの波形からピーク時間帯が抽出されることになる。
図4は、ピーク時間帯の抽出例を示す図である。図4の上段には、同一のユーザを対象に計測された7月1日〜7月3日の3日分の心拍数データのうち一部の時間帯の区間が抜粋して示されている。図4の中段には、図4の上段に示す3日分の心拍数データから算出された平均心拍数データの波形が示されている。さらに、図4の下段には、図4の中段に示す平均心拍数データの波形から抽出されるピーク時間帯Ptが示されている。なお、図4に示す各グラフの縦軸は、単位時間当たりの心拍数または平均心拍数を指し、横軸は、時刻を指す。
図4に示すように、図4の上段に示す3日分の心拍数データの間で同一の時刻の心拍数同士が平均されることにより、図4の中段に示す平均心拍数データの波形が得られる。これら統計処理前の個別の心拍数データ及び統計処理後の平均心拍数データの間には、次のような相違点および共通点が現れる。すなわち、統計処理前の個別の心拍数データには、第1ピークや運動に起因する心拍数の上昇がピーキーに波形上へ現れるが、統計処理後の平均心拍数データでは、第1ピークや運動に起因する心拍数の上昇が統計処理による平滑化によって鈍くなる結果、微細化または消滅する。このような相違点がある一方で、第2ピークは、第1ピークに比べて長期間継続するので、個別の心拍数データの間で実際の食事時間に多少のずれが存在しても、平均心拍数データに第2ピークの重なりが現れる。
その後、図4の中段に示す平均心拍数データの波形から図4の下段に示すピーク時間帯Ptが抽出される。かかるピーク時間帯の開始時刻には、平均心拍数データの波形上で心拍数の上昇幅Hが第1の閾値Th以上であり、かつ心拍数の上昇期間Wが第2の閾値Th以上である区間で最高値が計測される時刻から遡って最初に極小値が検出される時刻tが設定される。一方、ピーク時間帯の終了時刻には、上記の条件を満たす区間で最高値が計測される時刻からの時間経過においてピーク時間帯の開始時刻に計測される平均心拍数と同値まで平均心拍数が減少(回復)した時刻tが設定される。これによって、上記の統計心拍数データの波形からピーク時間帯Ptが定義されることになる。
ここで、図4の上段〜下段の各グラフでは、説明の便宜上、1日分のうち一部の時間帯が抜粋された状態で平均心拍数データが図示されているが、これは1つの平均心拍数データから1つのピーク時間帯が抽出されることを限定する趣旨ではない。すなわち、1つの心拍数データの時間長が1日であるとしたとき、必ずしも食事が行われる回数が1回であるとは限らない。つまり、実際に食事が行われる回数にしたがってピーク時間帯が抽出される個数が変化することは言うまでもなく、ピーク時間帯が1つも抽出されない場合もあれば、複数のピーク時間帯が抽出される場合もあることを付言しておく。なお、図4では、ピーク時間帯の開始時刻に計測される平均心拍数と同値まで平均心拍数が減少した時刻をピーク時間帯の終了時刻として設定する場合を例示したが、ピーク時間帯の終了時刻の設定方法はこれに限定されない。例えば、上記の条件を満たす区間で最高値が計測される時刻からの時間経過において最初に極小値が検出される時刻をピーク時間帯の終了時刻に設定することもできる。
第1検出部150は、各心拍数データからピーク時間帯と少なくとも一部が重なる第2ピークを検出する処理部である。
一実施形態として、第1検出部150は、抽出部140により抽出されたピーク時間帯ごとに、取得部120により取得された各心拍数データの第2ピークを検出する。すなわち、第1検出部150は、抽出部140により抽出されたピーク時間帯のうちピーク時間帯を1つ選択する。さらに、第1検出部150は、取得部120により取得された心拍数データのうち心拍数データを1つ選択する。その上で、第1検出部150は、図3の右部のグラフで示した通り、ピーク時間帯を包含し、かつ平均心拍数データにおけるピーク時間帯の波形との間で波形の形状が類似するという2つの条件を満たす心拍数データの期間を第2ピーク期間として検出する。なお、ここでは、一例として、第1検出部150から第2検出部160へ第2ピーク期間、すなわち第2ピーク期間の開始時刻及び終了時刻が入力される場合を例示するが、第2ピークの心拍数が計測される第2ピークの計測時刻を入力させることとしてもかまわない。
これを具体的に説明すると、第1検出部150は、抽出部140によりピーク時間帯が抽出される方法と同様のロジックを用いて、第2ピーク期間の候補を抽出する。その上で、第1検出部150は、先に抽出された第2ピーク期間の候補の中に、先に選択されたピーク時間帯を包含する候補が存在する候補をさらに抽出する。続いて、第1検出部150は、先に選択された心拍数データの波形のうちピーク時間帯を包含する第2ピーク期間の候補に対応する部分波形と、平均心拍数データの波形のうち先に選択されたピーク時間帯に対応する部分波形との間で、互いが重複する各時刻のユークリッド距離を算出する。そして、第1検出部150は、各時刻のユークリッド距離の総和が所定の閾値以下である場合、当該ピーク時間帯を包含する第2ピーク期間の候補を第2ピーク期間として検出する。なお、第2ピーク期間の候補の中に上記2つの条件を満たす候補が存在しない場合、第2ピーク期間は検出されない。
なお、ここでは、あくまで一例として、第2ピーク期間の候補がピーク時間帯を包含することを第2ピーク期間として抽出する条件としたが、ピーク時間帯と重複する期間が所定の閾値以上である第2ピーク期間の候補を抽出することとしてもよい。また、ここでは、各時刻のユークリッド距離の総和が閾値以下であるか否かにより、平均心拍数データにおけるピーク時間帯の波形との間で形状が類似するか否かを判定する場合を例示したが、他の方法によって形状の類似を判別することとしてもよい。例えば、互いの部分波形の間で算出される類似度、例えば相関係数が閾値以上であるか否かにより、形状の類似を判定することもできる。
第2検出部160は、各心拍数データから第2ピークに先行して現れる第1ピークを検出する処理部である。
一実施形態として、第2検出部160は、図3の右部のグラフで示した通り、第1検出部150により選択された心拍数データの波形上で第2ピーク期間の開始時刻または第2ピークの心拍数が計測される第2ピークの計測時刻から遡って所定の期間内に、心拍数の上昇幅が所定の閾値以上であるピークを第1ピークとして検出することができる。これ以外の方法でも、第2検出部160は、第1ピークを検出することもできるのは言うまでもない。例えば、第2検出部160は、第1検出部150により検出された第2ピークの計測時刻よりも1つ前に発生しているピークを第1ピークとして検出することもできる。
推定部170は、各心拍数データから食事時間を推定する処理部である。
一実施形態として、推定部170は、第2検出部160により検出された第1ピークの計測時刻から遡って最初に極小値が検出される時刻、すなわち第1ピーク期間の開始時刻を「食事開始時刻」と推定する。さらに、推定部170は、第2検出部160により検出された第1ピークの計測時刻を「食事終了時刻」と推定する。さらに、推定部170は、食事終了時刻から食事開始時刻を減算することにより「食事所要時間」を推定する。このようして推定された食事開始時刻、食事終了時刻、食事所要時間、もしくは、これらの組合せのうち少なくともいずれか1つがサービス提供部180へ出力されることになる。
サービス提供部180は、上記のヘルスケア支援サービスを提供する処理部である。
一実施形態として、サービス提供部180は、食事時間、例えば食事開始時刻、食事終了時刻、食事所要時間、もしくは、これらの組合せのうち少なくともいずれか1つを記録したり、それまでに記録された食事時間から所定期間、例えば1週間などにわたる食事時間帯の一覧表を生成した上で出力したり、それまでに記録された食事時間から食習慣またはダイエットに関する分析を行った上で各種のアドバイスを出力したりする。
なお、上記の取得部120、算出部130、抽出部140、第1検出部150、第2検出部160、推定部170及びサービス提供部180などの処理部は、次のようにして実装できる。例えば、CPUなどの中央処理装置に、上記の取得部120、算出部130、抽出部140、第1検出部150、第2検出部160、推定部170及びサービス提供部180と同様の機能を発揮するプロセスをメモリ上に展開して実行させることにより実現できる。これらの処理部は、必ずしも中央処理装置で実行されずともよく、MPUに実行させることとしてもよい。また、上記の各機能部は、ハードワイヤードロジックによっても実現できる。
また、上記の各処理部が用いる主記憶装置には、一例として、各種の半導体メモリ素子、例えばRAMやフラッシュメモリを採用できる。また、上記の各機能部が参照する記憶装置は、必ずしも主記憶装置でなくともよく、補助記憶装置であってもかまわない。この場合、HDD、光ディスクやSSDなどを採用できる。
[処理の流れ]
図5は、実施例1に係る食事時間推定処理の手順を示すフローチャートである。この処理は、一例として、複数の心拍数データ、例えば3日分、1週間分、1ヶ月分などの心拍数データがセンサ端末10または情報処理装置100などで蓄積された場合に起動される。
図5に示すように、複数の心拍数データが取得されると(ステップS101)、算出部130は、各心拍数データの間で同一の時刻に計測された心拍数同士を平均することにより、平均心拍数データを算出する(ステップS102)。
その上で、抽出部140は、ステップS102で得られた平均心拍数データの波形上で心拍数の上昇幅Hが第1の閾値Th以上であり、かつ心拍数の上昇期間Wが第2の閾値Th以上である区間をピーク時間帯として抽出する(ステップS103)。
そして、第1検出部150は、ステップS103で抽出されたピーク時間帯のうちピーク時間帯を1つ選択する(ステップS104)。さらに、第1検出部150は、ステップS101で取得された心拍数データのうち心拍数データを1つ選択する(ステップS105)。
その上で、第1検出部150は、ステップS104で選択されたピーク時間帯を包含し、かつ平均心拍数データにおけるピーク時間帯の波形との間で波形の形状が類似する心拍数データの期間を第2ピークとして検出する(ステップS106)。
このとき、ステップS106で第2ピークの検出に成功した場合(ステップS107Yes)、第2検出部160は、ステップS105で選択された心拍数データの波形上で第2ピーク期間の開始時刻または第2ピークの心拍数が計測される第2ピークの計測時刻から遡って所定の期間内に、心拍数の上昇幅が所定の閾値以上であるピークを第1ピークとして検出する(ステップS108)。なお、第2ピークの検出に成功しなかった場合(ステップS107No)、ステップS111へ移行する。
ここで、ステップS108で第1ピークの検出に成功した場合(ステップS109Yes)、推定部170は、ステップS108で検出された第1ピークから「食事開始時刻」、「食事終了時刻」、「食事所要時間」もしくはこれらの組合せのうち少なくともいずれか1つを「食事時間」として推定する(ステップS110)。なお、第1ピークの検出に成功しなかった場合(ステップS109No)も、ステップS111へ移行する。
そして、ステップS101で取得された全ての心拍数データが選択されるまで(ステップS111No)、上記のステップS105〜ステップS110の処理が繰り返し実行される。その後、ステップS101で取得された全ての心拍数データが選択された場合(ステップS111Yes)、ステップS112の処理へ移行する。そして、ステップS103で抽出された全てのピーク時間帯が選択されるまで(ステップS112No)、上記のステップS104〜ステップS111の処理が繰り返し実行される。最後に、ステップS103で抽出された全てのピーク時間帯が選択された場合(ステップS112Yes)、処理を終了する。
[効果の一側面]
上述してきたように、本実施例に係る情報処理装置100は、複数の心拍数データが時刻毎に平均された平均心拍数データの波形に現れるピーク時間帯と重なる各心拍数データの第2ピークから第1ピークを検出して食事時間を推定する食事時間推定処理を実現する。したがって、本実施例に係る情報処理装置100によれば、一側面として、教師データが入力として与えられなくとも、食事時間の推定精度が低下するのを抑制できる。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
[食事推定モデルの生成]
例えば、情報処理装置100は、各心拍数データ及び各心拍数データに対する食事時間の推定結果から生成されるラベル付きの教師データを用いて、入力として与えられる心拍数データから求められる食事に関する特徴量を食事または非食事のいずれかのクラスへ分類する「食事推定モデル」を機械学習することもできる。かかる機械学習には、一例として、サポートベクタマシン、ブースティングやニューラルネットワークなどの任意のアルゴリズムを採用することができる。
ここで、上記の特徴量には、任意のものを採用することができるが、その一例について図6を用いて説明する。図6は、心拍数データの一例を示す図である。図6には、食事開始前後の心拍数の変化がグラフ化されており、図6に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻(時間)を指す。なお、図6に示す「BL」は、心拍数のベースラインを指す。かかるベースラインBLは、食事を原因とする心拍数の上昇幅を求めるための基準値である。これは、ユーザが食事を行う場面の各々で心拍数が同一の値をとるとは限らないので、心拍数の絶対値の代わりに、心拍数の上昇幅を用いて特徴量を求めることにより、食事が摂取される各場面で心拍数がばらつくことによって食事時刻の推定精度が低下するのを抑制するために用いられる。例えば、ベースラインBLの心拍数の値として、食事開始時刻Tsの心拍数を用いることができる他、ユーザの食事開始前の30分間、1時間等の所定期間の心拍数の平均値、食事開始時刻Tsの心拍数、第1ピークと第2ピークとの間で最小となる心拍数を採用できる。
例えば、(1)面積、(2)振幅などの観点から、心拍数の変化の原因が食事である尤もらしさを表す特徴量を定義できる。なお、ここでは、2つの特徴量を例示したが、必ずしも全ての特徴量を食事時間の推定に用いずともよく、2つの特徴量のうち少なくともいずれか1つもしくは他の特徴量をさらに組み合わせて特徴ベクトルを算出することができる。
すなわち、図6に示すように、第1ピーク領域A1の面積、及び、第2ピーク領域A2の面積が特徴量(1)として定義される。また、図6に示すように、第1ピークを形成する波形のうち心拍数が最大の値をとる最大心拍数P1、及び、第2ピークを形成する波形のうち心拍数が最大の値をとる最大心拍数P2が特徴量(2)として定義される。ここでは、上記2つの特徴量についてその算出方法を説明する。
上記の特徴量(1)のうち、第1ピーク領域A1の面積S1は、食事開始時刻Tsを始点とし、心拍数が第1ピークを経てベースラインBLまで回復した時刻を終点とする食事期間Ta1においてベースラインBLからの心拍数の上昇幅を合計することにより求めることができる。なお、ここでは、心拍数の上昇幅を合計することにより面積を算出する場合を例示したが、心拍数の上昇幅の平均値を算出することにより面積を求めることとしてもかまわない。一方、第2ピーク領域A2の面積S2は、一例として、第1ピーク領域A1の食事期間Ta1の終点もしくはその終点よりも後の時刻を始点とし、心拍数が第2ピークを経てベースラインBLまで回復した時刻を終点とする食後期間Ta2においてベースラインBLからの心拍数の上昇幅を合計することにより求めることができる。なお、ここでは、2つの面積を求める場合を例示したが、必ずしも2つとも特徴量を算出せずともかまわず、少なくともいずれか1つの特徴量を算出することとすればよい。
上記の特徴量(2)のうち、第1ピークの振幅は、上記の食事期間Ta1で計測される心拍数のうち心拍数が最大である最大心拍数P1を心拍数データから抽出することにより導出することができる。これと同様に、第2ピークの振幅は、食後期間Ta2で計測される心拍数のうち心拍数が最大である最大心拍数P2を心拍数データを抽出することにより導出することができる。
このような特徴量の定義の下、次のような手順にしたがって心拍数データから特徴量が算出される。具体的には、情報処理装置100は、心拍数データのうち一部のデータを「窓データ」として切り出し、当該窓データごとに特徴量を算出される。例えば、情報処理装置100は、心拍数データに所定の時間長、例えば210分間を持つ窓を設定する。続いて、情報処理装置100は、窓が設定された区間に対応する部分データを切り出す。その後、情報処理装置100は、前回に設定された窓を所定のずらし幅、例えば5分間や30分間にわたってシフトさせる。そして、情報処理装置100は、シフト後の窓に対応する部分データを切り出す。このように部分データが窓幅で切り出される度に窓データが作成される。その上で、情報処理装置100は、窓データごとに当該窓データの開始時刻を食事開始時間の候補とし、上記の面積に関する特徴量や振幅に関する特徴量を算出することができる。
ここで、ラベル付きの教師データを生成する場合、情報処理装置100は、図5に示したフローチャートにしたがって推定された食事時間の推定結果をラベリングに用いる。例えば、情報処理装置100は、食事時間の推定が実行された心拍数データごとに、当該心拍数データから複数の窓データを生成し、窓データごとに特徴ベクトルを算出する。当該窓データの開始時刻が推定された食事開始時刻と一致した特徴ベクトルにはラベル「食事」を付与してポジティブデータを生成し、当該窓データの開始時刻が推定された食事開始時刻と一致しない特徴ベクトルにはラベル「非食事」を付与してネガティブデータを生成する。このようにネガティブデータを生成する場合、クラス分類の識別境界付近に位置する特徴量ベクトルをネガティブデータとして作成する観点から、特徴ベクトルを算出する窓データの時間帯を所定期間、例えば第2ピーク開始1時間前から第2ピーク終了までに絞り込むこともできる。これによって、ポジティブデータ及びネガティブデータを含むラベル付きの教師データを生成できる。
その後、情報処理装置100は、先のようにして生成されたラベル付きの教師データを用いて機械学習を行うことにより、食事推定モデルを生成する。かかる食事推定モデルを用いることによって、情報処理装置100は、入力として与えられた任意の心拍数データから窓データごとに算出された特徴ベクトルを食事または非食事のクラスに分類することにより食事時間を推定する。
これらによって、教師データにラベルを付与する手作業なしに機械学習による食事時間の推定を実現することができる。なお、ここでは、ポジティブデータ及びネガティブデータの両方を機械学習に用いる場合を例示したが、ポジティブデータのみを機械学習に用いることとしてもよい。
図7は、機械学習による食事時間の推定方法の一例を示す図である。図7には、7月1日から7月3日の3日分の心拍数データの食事時間の推定結果をラベル付きの教師データの生成に使用して機械学習を行い、この機械学習により得られた食事推定モデルを用いて、7月4日以降に入力される心拍数データから食事時間を推定する例が示されている。
図7に示すように、情報処理装置100は、7月1日から7月3日の3日分の各心拍数データごとに、当該心拍数データから少なくとも推定結果の食事開始時刻を窓の始点とする窓データを1つ含む複数の窓データを生成し、各窓データに関する特徴ベクトルを算出する(A)。これによって、ポジティブデータ及びネガティブデータがラベル付きの教師データとして得られる。例えば、図示の例で言えば、7月1日の12時30分を始点とする窓データの特徴ベクトル、すなわち図7の1行目のデータがポジティブデータとして生成されると共に、7月1日の12時30分、13時00分、13時30分、14時00分を始点とする窓データの特徴ベクトル、すなわち図7の2行目〜4行目のデータがネガティブデータとして生成される。その上で、情報処理装置100は、上記(A)のようにして生成されたラベル付きの教師データを用いて機械学習を行うことにより、食事推定モデルを生成する(B)。
このように食事推定モデルが生成された状況の下、情報処理装置100は、7月4日の心拍数データが取得されると、当該心拍数データから複数の窓データを生成し、各窓データごとに特徴ベクトルを算出する(C)。その上で、情報処理装置100は、上記の食事推定モデルを用いて、上記(A)のようにして算出された特徴ベクトルを食事または非食事のクラスへ分類することにより、食事時間を推定する。例えば、本例では、7月4日の13時00分を始点とする窓データの特徴ベクトルが「食事」へ分類されているので、食事時間の推定結果の一例として、食事開始時刻「13時00分」が出力されることになる。
また、ポジティブデータの特徴ベクトルや、食事のクラスへ分類された特徴ベクトルを用いて、食事に関する指標を推定することもできる。食事に関する指標は、人の状態、食行動、摂取カロリーなどである。食事に関する指標は、特徴ベクトルの関数として現すことができるため、特徴ベクトルをxとした場合に、食事に関する指標はf(x)と表すことができる。一例として、食事に関する指標を摂取カロリーとすると、第2ピークの面積をxとして用いることができる。
[スタンドアローン]
上記の実施例1では、センサ端末10及び情報処理装置100を含むクライアントサーバシステムとして構築される場合を例示したが、これに限定されない。例えば、心拍数データの取得から食事時刻の推定までの一連の処理をセンサ端末10、情報処理装置100、あるいはその他のコンピュータにスタンドアローンで実行させることとしてもかまわない。
[システムの応用例]
上記の実施例1では、ヘルスケア支援システム1に情報処理装置100が含まれることとしたが、必ずしも情報処理装置100が含まれずともかまわない。すなわち、センサ端末10がウェアラブルガジェット等として実装される場合、ウェアラブルガジェットにより近距離無線通信等で接続されるスマートフォンやタブレット端末で心拍数データの取得以外の各種の処理、例えば食事時刻の推定を実行させることとしてもかまわない。
[分散および統合]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部120、算出部130、抽出部140、第1検出部150、第2検出部160、推定部170またはサービス提供部180を情報処理装置100の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部120、算出部130、抽出部140、第1検出部150、第2検出部160、推定部170またはサービス提供部180を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の情報処理装置100の機能を実現するようにしてもよい。
[食事時間推定プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図8を用いて、上記の実施例と同様の機能を有する食事時間推定プログラムを実行するコンピュータの一例について説明する。
図8は、実施例1及び実施例2に係る食事時間推定プログラムを実行するコンピュータのハードウェア構成例を示す図である。図8に示すように、コンピュータ1000は、操作部1100aと、スピーカ1100bと、カメラ1100cと、ディスプレイ1200と、通信部1300とを有する。さらに、このコンピュータ1000は、CPU1500と、ROM1600と、HDD1700と、RAM1800とを有する。これら1100〜1800の各部はバス1400を介して接続される。
HDD1700には、図8に示すように、上記の実施例1で示した取得部120、算出部130、抽出部140、第1検出部150、第2検出部160、推定部170及びサービス提供部180と同様の機能を発揮する食事時間推定プログラム1700aが記憶される。この食事時間推定プログラム1700aは、図1に示した取得部120、算出部130、抽出部140、第1検出部150、第2検出部160、推定部170及びサービス提供部180の各構成要素と同様、統合又は分離してもかまわない。すなわち、HDD1700には、必ずしも上記の実施例1で示した全てのデータが格納されずともよく、処理に用いるデータがHDD1700に格納されればよい。
このような環境の下、CPU1500は、HDD1700から食事時間推定プログラム1700aを読み出した上でRAM1800へ展開する。この結果、食事時間推定プログラム1700aは、図8に示すように、食事時間推定プロセス1800aとして機能する。この食事時間推定プロセス1800aは、RAM1800が有する記憶領域のうち食事時間推定プロセス1800aに割り当てられた領域にHDD1700から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、食事時間推定プロセス1800aが実行する処理の一例として、図5に示す処理などが含まれる。なお、CPU1500では、必ずしも上記の実施例1で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
なお、上記の食事時間推定プログラム1700aは、必ずしも最初からHDD1700やROM1600に記憶されておらずともかまわない。例えば、コンピュータ1000に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ1000がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ1000に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ1000がこれらから各プログラムを取得して実行するようにしてもよい。
1 ヘルスケア支援システム
10 センサ端末
11 心拍数データ取得部
13 通信I/F部
100 情報処理装置
110 通信I/F部
120 取得部
130 算出部
140 抽出部
150 第1検出部
160 第2検出部
170 推定部
180 サービス提供部

Claims (8)

  1. コンピュータが、
    複数の心拍数の時系列データを取得する処理と、
    前記複数の心拍数の時系列データの間で同一時間帯の心拍数の上昇変化が、摂食物の消化活動に対応する消化活動ピークの上昇期間の閾値以上にわたって重複して現れる重複ピーク時間帯を抽出する処理と、
    前記心拍数の時系列データごとに、前記重複ピーク時間帯に基づいて前記重複ピーク時間帯と少なくとも一部が重なる前記消化活動ピークを検出する処理と、
    前記心拍数の時系列データごとに、前記消化活動ピークから前記消化活動ピークよりも前に先行して現れる、食事行為に対応する食事ピークを検出する処理と、
    前記心拍数の時系列データごとに、前記食事ピークに基づいて食事時間を推定する処理と
    を実行することを特徴とする食事時間推定方法。
  2. 前記コンピュータが、
    前記複数の心拍数の時系列データの間で、心拍数の統計値を同一の時刻ごとに算出し、前記同一の時刻ごとに算出された統計値の時系列データから心拍数の上昇変化が、前記消化活動ピークの上昇期間の閾値以上にわたって現れる区間を前記重複ピーク時間帯として抽出することを特徴とする請求項1に記載の食事時間推定方法。
  3. 前記コンピュータが、
    前記心拍数の時系列データごとに食事に関する特徴ベクトルを算出する処理と、
    前記心拍数の時系列データごとに得られる食事時間の推定結果と前記特徴ベクトルとからラベル付きの教師データを生成する処理と、
    前記ラベル付きの教師データを用いて、任意の前記特徴ベクトルを食事または非食事に分類する食事推定モデルを生成する処理をさらに実行することを特徴とする請求項1、2のいずれかに記載の食事時間推定方法。
  4. 前記コンピュータが、
    前記食事推定モデルを用いて、入力される心拍数データから求められた特徴ベクトルを食事または非食事に分類することにより、前記食事時間を推定する処理をさらに実行することを特徴とする請求項3に記載の食事時間推定方法。
  5. 前記検出する処理は、前記重複ピーク時間帯を包含する消化活動ピークに現れる心拍数の上昇変化を検出することを特徴とする請求項1、2、3、4のいずれかに記載の食事時間推定方法。
  6. 前記検出する処理は、前記統計値の時系列データにおける前記重複ピーク時間帯で計測される波形との間で形状が類似する前記消化活動ピークを検出することを特徴とする請求項に記載の食事時間推定方法。
  7. コンピュータに、
    複数の心拍数の時系列データを取得する処理と、
    前記複数の心拍数の時系列データの間で同一時間帯の心拍数の上昇変化が、摂食物の消化活動に対応する消化活動ピークの上昇期間の閾値以上にわたって重複して現れる重複ピーク時間帯を抽出する処理と、
    前記心拍数の時系列データごとに、前記重複ピーク時間帯に基づいて前記重複ピーク時間帯と少なくとも一部が重なる前記消化活動ピークを検出する処理と、
    前記心拍数の時系列データごとに、前記消化活動ピークから前記消化活動ピークよりも前に先行して現れる、食事行為に対応する食事ピークを検出する処理と、
    前記心拍数の時系列データごとに、前記食事ピークに基づいて食事時間を推定する処理と
    を実行させることを特徴とする食事時間推定プログラム。
  8. 複数の心拍数の時系列データを取得する取得部と、
    前記複数の心拍数の時系列データの間で同一時間帯の心拍数の上昇変化が、摂食物の消化活動に対応する消化活動ピークの上昇期間の閾値以上にわたって重複して現れる重複ピーク時間帯を抽出する抽出部と、
    前記心拍数の時系列データごとに、前記重複ピーク時間帯に基づいて前記重複ピーク時間帯と少なくとも一部が重なる前記消化活動ピークを検出する第1検出部と、
    前記心拍数の時系列データごとに、前記消化活動ピークから前記消化活動ピークよりも前に先行して現れる、食事行為に対応する食事ピークを検出する第2検出部と、
    前記心拍数の時系列データごとに、前記食事ピークに基づいて食事時間を推定する推定部と
    を有することを特徴とする食事時間推定装置。
JP2017548608A 2015-11-06 2015-11-06 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置 Expired - Fee Related JP6638734B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/081415 WO2017077656A1 (ja) 2015-11-06 2015-11-06 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置

Publications (2)

Publication Number Publication Date
JPWO2017077656A1 JPWO2017077656A1 (ja) 2018-08-30
JP6638734B2 true JP6638734B2 (ja) 2020-01-29

Family

ID=58663143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017548608A Expired - Fee Related JP6638734B2 (ja) 2015-11-06 2015-11-06 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置

Country Status (5)

Country Link
US (1) US20180240543A1 (ja)
EP (1) EP3372155B1 (ja)
JP (1) JP6638734B2 (ja)
FI (1) FI3372155T3 (ja)
WO (1) WO2017077656A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7037803B2 (ja) * 2017-12-26 2022-03-17 株式会社タニタ 腸蠕動音測定装置及び腸蠕動音測定プログラム
CA3088965A1 (en) 2018-01-18 2019-07-25 Neural Analytics, Inc. Waveform visualization tool for facilitating medical diagnosis
AU2019210133C1 (en) 2018-01-22 2023-06-22 Neurasignal, Inc. Systems and methods for detecting neurological conditions
CN110148451A (zh) * 2019-03-28 2019-08-20 北京康爱营养科技股份有限公司 一种食谱推荐方法及装置
KR20200133979A (ko) 2019-05-21 2020-12-01 삼성전자주식회사 대사 모델 생성 장치 및 방법
CN114176550B (zh) * 2021-12-28 2024-10-29 深圳云天励飞技术股份有限公司 心率数据分类方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5398688A (en) * 1994-07-21 1995-03-21 Aurora Dawn Ltd. Method, system and instrument for monitoring food intake
JP3846844B2 (ja) * 2000-03-14 2006-11-15 株式会社東芝 身体装着型生活支援装置
AU2002243370A1 (en) * 2000-10-26 2002-06-24 Healthetech, Inc. Body supported activity and condition monitor
JP2003173375A (ja) * 2001-09-28 2003-06-20 Toshiba Corp 生活管理端末装置、生活管理方法並びに生活管理システム
KR100455286B1 (ko) * 2002-01-11 2004-11-06 삼성전자주식회사 생리신호획득 및 해석을 이용한 동물의 상태 파악 방법 및장치
JP3923035B2 (ja) * 2003-07-03 2007-05-30 株式会社東芝 生体状態分析装置及び生体状態分析方法
JP4701039B2 (ja) * 2005-08-12 2011-06-15 順明 山井 体に良い食事摂取をナビゲートする装置
US8751253B2 (en) * 2007-10-18 2014-06-10 International Business Machines Corporation Biomedical feedback method and system
US20110275748A1 (en) * 2010-05-04 2011-11-10 Griffith William B Method for adhering roofing membranes
JP2012045191A (ja) * 2010-08-27 2012-03-08 Seiko Epson Corp 血糖値予測装置
WO2012078924A1 (en) * 2010-12-08 2012-06-14 Intrapace, Inc. Event evaluation using heart rate variation for ingestion monitoring and therapy
EP3231362A4 (en) * 2014-12-12 2017-12-06 Fujitsu Limited Meal intake estimation program, meal intake estimation method, and meal intake estimation device
US10888272B2 (en) * 2015-07-10 2021-01-12 Abbott Diabetes Care Inc. Systems, devices, and methods for meal information collection, meal assessment, and analyte data correlation

Also Published As

Publication number Publication date
EP3372155A4 (en) 2019-02-27
JPWO2017077656A1 (ja) 2018-08-30
WO2017077656A1 (ja) 2017-05-11
FI3372155T3 (fi) 2023-04-25
EP3372155A1 (en) 2018-09-12
US20180240543A1 (en) 2018-08-23
EP3372155B1 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
US20170273634A1 (en) Meal estimation method, meal estimation apparatus, and recording medium
JP6638734B2 (ja) 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
US11642086B2 (en) Apparatus and method for correcting error of bio-information sensor, and apparatus and method for estimating bio-information
Balakrishnan et al. Detecting pulse from head motions in video
JP5920364B2 (ja) 情報処理装置、代表波形生成方法および代表波形生成プログラム
EP3453321B1 (en) Non-invasive method and system for estimating blood pressure from photoplethysmogram using statistical post-processing
WO2013170032A2 (en) System and method for monitoring the health of a user
EP3417773B1 (en) Meal detection method, meal detection system, and meal detection program
US20180254106A1 (en) Behavior sensing device, behavior sensing method, and recording medium
US10595789B2 (en) Meal time estimation method, meal time estimation device, and recording medium
JP6504265B2 (ja) 食事摂取指標推定装置、食事摂取指標推定方法および食事摂取指標推定プログラム
US10952670B2 (en) Meal detection method, meal detection system, and storage medium
JP6676877B2 (ja) 食事時間推定方法、食事時間推定装置及び食事時間推定プログラム
JP2017012249A (ja) 食事時間推定方法、食事時間推定プログラム及び食事時間推定装置
JP6984467B2 (ja) 食事推定プログラム、食事推定方法及び食事推定装置
CN117729879A (zh) 用于确定与对象的心血管系统有关的健康信息的设备、系统和方法
JP2019185405A (ja) 食事検知プログラム、食事検知方法及び食事検知装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R150 Certificate of patent or registration of utility model

Ref document number: 6638734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees