JP2023025761A - 見守りシステム、見守り装置、見守り方法、および見守りプログラム - Google Patents

Abstract

【課題】被監視者の転倒、転落等の誤報を抑制可能な、見守りシステム、見守り装置、見守り方法及び見守りプログラムを提供する。
【解決手段】複数の検出部と、サーバーと、携帯端末が、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及び無線ＡＰを介して相互に通信可能に接続される見守りシステムにおいて、検出部１０は、少なくともベッドの周辺領域を含む撮影領域を撮像する撮像部（カメラ１０４）と、ベッド上の荷重を検出するセンサー（ベッドセンサー１０３）と、画像とセンサーの出力とに基づいて、被監視者の状態を判定する判定部（制御部１０１）と、判定に基づく被監視者の状態に関する情報を報知する端末と、を有し、センサーの出力に基づいて所定の荷重が検出されていると判断するときは、画像に基づいて、転倒、転落、離床のいずれかの状態を検出しても、被監視者の状態に関する情報を報知しない制御を行う。
【選択図】図３

Description

本発明は、見守りシステム、見守り装置、見守り方法、および見守りプログラムに関する。

介護老人福祉施設や病院等の看介護施設において、入居または入院している被看護者や被介護者（以下、「被看介護者」という）は、看介護施設内で、歩行中に転倒したり、ベッドから転落して怪我したりするおそれがある。そのため、入居者がこのような状態になったときに看護師や介護士（以下、「看介護者」という）がすぐに駆けつけられるようにするために、入居者の状態を常時検知するためのシステムの開発が進められている。

下記特許文献１には、次の先行技術が開示されている。ベッドの周辺領域を、床面より上方で被監視者の身長より高い位置から俯瞰撮影して画像データを取得し、画像データから骨格情報を抽出し、骨格情報とあらかじめ記憶した骨格情報サンプルとに基づいて被監視者の姿勢を検出する。そして、検出した姿勢に基づいて被監視者の転倒、転落の有無を判定する。

特開２０２０－３４９６０号公報

しかし、特許文献１に開示された先行技術は、転倒、転落がベッド以外の床で発生するという知見から、ベッドの周辺領域を撮影領域とした画像データに基づいて被監視者の転倒、転落の有無を判定する。このため、ベッド上で寝ている被監視者の世話をするために看介護者がベッドのそばで作業しているときに、しゃがみ込む動作等をすると、被監視者の転倒、転落と判断される可能性がある。

また、撮影領域を、ベッドを含む領域に設定したとしても、ベッド上の被監視者には布団がかかっているため、画像から被監視者を人として認識することが難しく、また被監視者に動きがないとさらに認識が難しくなる。このため、ベッドを含む領域に設定したとしても、ベッドのそばで作業等をしている看介護者の姿勢を被監視者の姿勢と誤認することによる、転倒、転落等の誤報を防止できない。

本発明はこのような問題を解決するためになされたものである。すなわち、被監視者の転倒、転落等の誤報を抑制可能な、見守りシステム、見守り装置、見守り方法、および見守りプログラムを提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）少なくともベッドの周辺領域を含む撮影領域を撮像する撮像部と、ベッド上の荷重を検出するセンサーと、撮像された画像と、前記センサーの出力とに基づいて、被監視者の状態を判定する判定部と、前記判定部による判定に基づく前記被監視者の状態に関する情報を報知する端末と、を有し、前記センサーの出力に基づいて所定の前記荷重が検出されていると判断するときは、前記画像に基づいて、転倒、転落、離床のいずれかの前記状態を検出しても、前記情報を報知しない制御を行う、見守りシステム。

（２）前記報知しない制御は、前記判定部が前記情報を出力しないことである、上記（１）に記載の見守りシステム。

（３）前記報知しない制御は、前記端末が前記情報を受信していても報知しないことである、上記（１）に記載の見守りシステム。

（４）前記報知しない制御は、前記判定部が前記画像に基づいて検出された前記状態を前記被監視者の前記状態として判定しないことである、上記（１）に記載の見守りシステム。

（５）前記撮像部で撮像された画像を記憶する画像記憶部を有し、前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記状態に関する画像を前記画像記憶部に記憶する、上記（２）または（３）に記載の見守りシステム。

（６）前記判定部の判定結果を記憶する判定結果記憶部を有し、前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記判定結果記憶部に記憶する、上記（２）、（３）、（５）のいずれかに記載の見守りシステム。

（７）前記状態として、さらに退室を含む、上記（４）に記載の見守りシステム。

（８）前記判定部は、前記情報に報知を禁止する情報を含ませて前記端末に送信する、上記（３）に記載の見守りシステム。

（９）前記判定部は、前記画像の隣接するフレーム間の画素ごとの差分を算出し、前記差分を二値化することで検出した動体シルエットに基づいて、前記被監視者の前記状態を判定する、上記（１）～（８）のいずれかに記載の見守りシステム。

（１０）前記判定部は、機械学習による学習済みモデルを用いて、前記画像から関節点を推定し、推定された前記関節点に基づいて、前記被監視者の前記状態を判定する、上記（１）～（８）のいずれかに記載の見守りシステム。

（１１）前記判定部は、前記退室を判定したときは、前記二値化における閾値を調整することで、前記動体シルエットの検出感度を下げる、上記（７）を引用する上記（９）に記載の見守りシステム。

（１２）前記撮影領域は、ベッド上およびベッドの周辺領域を含む領域である、上記（１）～（１１）のいずれかに記載の見守りシステム。

（１３）少なくともベッドの周辺領域を含む撮影領域が撮像された画像と、ベッド上の荷重を検出するセンサーの出力とを取得する取得部と、前記画像と、前記センサーの出力とに基づいて、被監視者の状態を判定する判定部と、前記判定部による判定に基づく前記被監視者の状態に関する情報を報知する報知部と、を有し、前記センサーの出力に基づいて所定の前記荷重が検出されていると判断するときは、前記画像に基づいて、転倒、転落、離床のいずれかの前記状態を検出しても、前記情報を報知しない制御を行う、見守り装置。

（１４）前記報知しない制御は、前記判定部が前記情報を出力しないことである、上記（１３）に記載の見守り装置。

（１５）前記報知しない制御は、前記判定部が前記画像に基づいて検出された前記状態を前記被監視者の前記状態として判定しないことである、上記（１３）に記載の見守り装置。

（１６）撮像された画像を記憶する画像記憶部を有し、前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記状態に関する画像を前記画像記憶部に記憶する、上記（１４）に記載の見守り装置。

（１７）前記判定部の判定結果を記憶する判定結果記憶部を有し、前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記判定結果記憶部に記憶する、上記（１４）または（１６）に記載の見守り装置。

（１８）前記状態として、さらに退室を含む、上記（１５）に記載の見守り装置。

（１９）前記報知しない制御は、前記判定部が、前記情報に報知を禁止する情報を含ませて、前記判定部による判定に基づく前記被監視者の状態に関する情報を報知する端末に送信することである、上記（１３）に記載の見守り装置。

（２０）少なくともベッドの周辺領域を含む撮影領域が撮像された画像と、ベッド上の荷重を検出するセンサーの出力とを取得するステップ（ａ）と、前記画像と、前記センサーの出力とに基づいて、被監視者の状態を判定するステップ（ｂ）と、前記ステップ（ｂ）における判定に基づく前記被監視者の状態に関する情報を報知するステップ（ｃ）と、前記センサーの出力に基づいて所定の前記荷重が検出されていると判断するときは、前記画像に基づいて、転倒、転落、離床のいずれかの前記状態を検出しても、前記ステップ（ｃ）において前記情報を報知しない制御を行うステップ（ｄ）と、を有する見守り方法。

（２１）前記報知しない制御は、前記ステップ（ｂ）において、前記情報を出力しないことである、上記（２０）の見守り方法。

（２２）前記報知しない制御は、前記ステップ（ｂ）において、前記画像に基づいて検出された前記状態を前記被監視者の前記状態として判定しないことである、上記（２０）の見守り方法。

（２３）前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記状態に関する画像を記憶するステップ（ｅ）を有する、上記（２１）に記載の見守り方法。

（２４）前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記ステップ（ｂ）における判定結果を記憶するステップ（ｆ）を有する、上記（２１）または（２３）に記載の見守り方法。

（２５）前記状態として、さらに退室を含む、上記（２２）に記載の見守り方法。

（２６）前記報知しない制御は、前記ステップ（ｂ）において、前記情報に報知を禁止する情報を含ませて、判定に基づく前記被監視者の状態に関する情報を報知する端末に送信することである、上記（２０）に記載の見守り方法。

（２７）上記（２０）～（２６）のいずれか一項に記載の見守り方法をコンピューターに実行させるための見守りプログラム。

少なくともベッドの周辺領域を含む領域の画像と、ベッド上の荷重を検出するセンサーの出力とに基づいて被監視者の状態を判定し、判定に基づく被監視者の状態に関する情報を報知するとともに、センサーにより所定の荷重が検出されているときは、画像に基づいて、転倒、転落、離床のいずれかを検出しても、被監視者の状態に関する情報を報知しない制御を行う。これにより、被監視者の転倒、転落等の誤報を抑制できる。

見守りシステムの全体構成を示す図である。 検出部が配置された、被看介護者の部屋内を示す図である。 検出部のハードウェア構成を示すブロック図である。 カメラにより撮像された画像を示す図である。 転倒の誤報が生じる比較例を示す説明図である。 転倒の誤報が抑制される実施例を示す説明図である。 離床の誤報が生じる比較例を示す説明図である。 離床の誤報が抑制される実施例を示す説明図である。 退室の誤報が生じる比較例を示す説明図である。 退室の誤報が抑制される実施例を示す説明図である。 サーバーのハードウェア構成を示すブロック図である。 管理テーブルを示す図である。 携帯端末のハードウェア構成を示すブロック図である。 見守りシステムの動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る見守り装置、見守りシステム、見守り方法、および見守りプログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、本実施形態に係る見守りシステム１の全体構成を示す図である。看介護施設等で用いられる見守りシステム１は、検出部１０、サーバー２０、複数の携帯端末３０、および無線ＡＰ（アクセスポイント）３１を含む。検出部１０、サーバー２０、携帯端末３０、および検出部１０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）および無線ＡＰ３１を介して相互に通信可能に接続される。携帯端末３０は、被看介護者８０の看護または介護をする看介護者７０に携帯される。検出部１０は見守り装置を構成する。

（検出部１０）
図２は、検出部１０が配置された、被看介護者８０の部屋（以下、「居室」とも称する）内を示す図である。図３は、検出部１０のハードウェア構成を示すブロック図である。図３に示すように、検出部１０には、ベッドセンサー１０３およびカメラ１０４が含まれる。ベッドセンサー１０３はセンサーを構成する。カメラ１０４は撮像部を構成する。

図２に示すように、ベッドセンサー１０３は、被監視者である被看介護者８０の居室のベッド９０上にそれぞれ配置される。具体的には、ベッドセンサー１０３は、例えばベッド９０上のマットレスの下に敷かれるように配置される。カメラ１０４は、例えば居室の天井、または壁の上部に配置され、もしくはベッド９０に取り付けられ得る（図６等参照）。

図３に示すように、検出部１０は、制御部１０１、通信部１０２、ベッドセンサー１０３、およびカメラ１０４を備え、これらはバスにより相互に接続される。制御部１０１は判定部、画像記憶部、および判定結果記憶部を構成する。制御部１０１は、通信部１０２とともに取得部および報知部を構成する。

制御部１０１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部１０１は、ＨＤＤまたはＳＳＤを備えてもよい。制御部１０１は、プログラムに従って検出部１０の各部の制御および演算処理を行う。制御部１０１の機能の詳細については後述する。

通信部１０２は、ＬＡＮを介して、例えば、サーバー２０等と通信するためのインターフェース回路（例えばＬＡＮカード、無線通信回路等）である。

ベッドセンサー１０３は、ベッド９０上の荷重に対応する信号を出力する。ベッドセンサー１０３は、例えば、空気が封入されたシート状の袋と、この空気の圧力の変動を検知する圧電センサーとにより構成され得る。

カメラ１０４は、少なくともベッド９０の周辺領域９１（図４参照）を含む撮影領域を撮像し、撮影された画像１０４１（画像データ）を出力する。以下、カメラ１０４により出力される画像１０４１を単に「画像１０４１」とも称する。撮影領域は、ベッド９０上（ベッド９０上の一部を含む）およびベッド９０の周辺領域９１を含む領域であり得る。撮影領域は、ベッド９０の周辺領域９１のみを含む領域であってもよい。

画像１０４１には、静止画および動画が含まれる。カメラ１０４は近赤外線カメラであるが、これに換えて可視光カメラを用いてもよく、これらを併用してもよい。

図４は、画像１０４１を示す図である。図４に示す画像１０４１は、ベッド９０に取り付けられたカメラ１０４で撮像された画像１０４１である。図４には、ベッド９００上と、ベッド９０の周辺領域９１とを含む領域が撮影領域として撮像された画像１０４１が示されている。

制御部１０１の機能について説明する。

制御部１０１は、ベッドセンサー１０３の出力に基づいて、ベッド９０上の被看介護者８０の体動を検出する。これにより、制御部１０１は、被看介護者８０の呼吸数、および心拍数等を検出し、検出結果をサーバー２０へ送信し得る。制御部１０１は、ベッドセンサー１０３の出力に基づいて、さらに睡眠、目覚め等を検出して、検出結果をサーバー２０へ送信してもよい。

制御部１０１は、画像１０４１と、ベッドセンサー１０３の出力に基づいて、被看介護者８０の状態を判定して、被監視者の状態に関する情報としてサーバー２０へ送信（出力）する。被看介護者８０の状態には、特定状態である、転倒、転落、離床、および退室が含まれる。被看介護者８０の状態には、特定状態以外の状態である、歩行、洗顔等が含まれる。

制御部１０１は、被看介護者８０の状態を、例えば次の２つの方法のいずれかにより検出し得る。第１の方法として、制御部１０１は、画像１０４１のフレーム間の画素ごとの差分を算出し、当該差分を二値化することで動体シルエットを検出する（時間差分法）。そして、制御部１０１は、動体シルエットに基づいて被看介護者８０の状態を検出する。具体的には、制御部１０１は、例えば、検出された動体シルエットの重心が、時系列で動いていた状態から急に停止した状態に変化したこと、および動体シルエットに対応する矩形のアスペクト比の変化等により、転倒を検出し得る。制御部１０１は、例えば、動体シルエットがベッド９０の領域内に存在している状態から急にベッド９０の領域外に存在している状態に変化したこと、および動体シルエットとベッド９０の領域の境界との重なり幅等により、転落を検出し得る。画像１０４１におけるベッド９０の領域は、検出部１０が各居室に設置される際に予め設定され、データとして制御部１０１のメモリに記憶され得る。制御部１０１は、例えば、動体シルエットがベッド９０の領域内に存在している状態からベッド９０の領域外へ移動したこと等により、離床を検出し得る。制御部１０１は、例えば、動体シルエットがドア付近の領域まで移動してドア付近の領域で消えたこと等により、退室を検出し得る。画像１０４１におけるドア付近の領域は、ベッド９０の領域と同様に、データとして制御部１０１のメモリに記憶され得る。

第２の方法として、制御部１０１は、機械学習による学習済みモデルを用いて、画像１０４１から関節点を推定し、推定された関節点に基づいて被看介護者８０の状態を検出し得る。具体的には、制御部１０１は、画像１０４１のフレームごとに、物体（オブジェクト）が存在する領域を検出し、検出した領域に含まれる物体のカテゴリーを推定することで、人物領域を検出する。物体が存在する領域は、画像１０４１上で物体が含まれる矩形である候補矩形として検出され得る。制御部１０１は、検出された候補矩形のうち、物体のカテゴリーが人物であると推定された候補矩形を検出することで、人物領域を検出する。人物領域は、ニューラルネットワークを用いて検出され得る。ニューラルネットワークによる人物領域６１０の検出方法としては、例えば、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、およびＲ－ＣＮＮといった公知の方法が挙げられる。画像１０４１から人物領域を検出するためのニューラルネットワークは、画像１０４１と、当該画像１０４１に対する正解として設定された人物領域との組合せの教師データを用いて、画像１０４１から人物領域を検出（推定）するための学習が予めされる。制御部１０１は、人物領域から、ＤｅｅｐＰｏｓｅ等のニューラルネットワークを用いた公知の技術を用いて、関節点を検出する。関節点は、画像１０４１における座標として検出され得る。人物領域から関節点を検出するためのニューラルネットワークは、人物領域と、当該人物領域に対する正解として設定された関節点との組合せの教師データを用いて、人物領域から関節点を特定（推定）するための学習が予めされる。制御部１０１は、関節点に基づいて、被看介護者８０の姿勢を推定する。姿勢は、関節点から姿勢を検出するためのニューラルネットワークを用いて推定され得る。この場合、関節点から姿勢を検出するためのニューラルネットワークは、関節点と、当該関節点に対する正解として設定された姿勢との組合せの教師データを用いて、関節点から姿勢を推定するための学習が予めされる。姿勢は、関節点に基づいて姿勢を検出するための隠れマルコフモデルを用いて推定されてもよい。姿勢には、立位、臥位、座位、中腰、しゃがみ込み、および座り込み等が含まれる。制御部１０１は、姿勢に基づいて、被看介護者８０の状態を判定（推定）する。制御部１０１は、例えば、立位の姿勢と臥位の姿勢とが、時系列で連続する画像１０４１（フレーム）からそれぞれ推定されること等により、転倒を検出し得る。制御部１０１は、例えば、ベッド９０の領域内における臥位の姿勢が推定された後、ベッド９０の領域外における臥位の姿勢が検出されること等により転落を検出し得る。制御部１０１は、例えば、ベッド９０の領域内における臥位の姿勢が推定された後、ベッド９０の領域外における立位の姿勢が推定されること等により離床を検出し得る。制御部１０１は、例えば、関節点がドア付近の領域まで移動してドア付近の領域で消えたこと等により、退室を検出し得る。

制御部１０１は、画像１０４１と、ベッドセンサー１０３の出力とに基づいて、被看介護者８０の状態を判定する。制御部１０１は、ベッドセンサー１０３の出力に基づいて所定の荷重（例えば、所定量の荷重）が検出されていると判断しているときは、画像１０４１に基づいて、特定状態である、転倒、転落、離床、および退室を検出しても、検出された特定状態（すなわち、被監視者の状態に関する情報）を報知しない制御（以下、単に「報知しない制御」と称する）を行う。報知しない制御は、被監視者の状態に関する情報をサーバー２０へ送信（出力）しない制御（以下「第１制御」と称する）であり得る。報知しない制御は、画像１０４１に基づいて検出された特定状態を被監視者の状態として判定しない制御（以下、「第２制御」と称する）であってもよい。

報知しない制御は、携帯端末３０が被看介護者８０の状態を被監視者の状態に関する情報として受信しても、携帯端末３０に被監視者の状態に関する情報を報知させない制御（以下、「第３制御」と称する）であってもよい。第３制御においては、制御部１０１は、被看介護者８０の状態を被監視者の状態に関する情報としてサーバー２０を介して携帯端末３０に送信するときに、被監視者の状態に関する情報に当該情報の報知を禁止する情報（以下、「禁止情報」と称する）を含ませて送信してもよい。また、第３制御においては、制御部１０１は、被看介護者８０の状態を被監視者の状態に関する情報としてサーバー２０を介して携帯端末３０に送信するときに、被監視者が特定状態か未確定であることを示す情報（以下、「未確定示唆情報」と称する）を含ませて送信してもよい。

ベッドセンサー１０３により荷重が検出されている間は、被看介護者８０がベッド９０上にいる可能性が高い。この場合、画像１０４１に基づいて、被看介護者８０の状態として特定状態が検出されたとしても、実際は看介護者７０の特定状態を被看介護者８０の特定状態として誤検出されていると考えられる。このため、制御部１０１は、ベッドセンサー１０３により荷重が検出されている間は、画像１０４１に基づいて特定状態を検出しても、第１制御または第２制御により被看介護者８０の状態が被監視者の状態に関する情報としてサーバー２０へ送信（出力）されない。これにより、特定状態の誤報を抑制できる。

制御部１０１は、ベッドセンサー１０３の出力に基づいて荷重を算出し、算出された荷重が、各被看介護者８０の体重に対応して設定された所定の閾値を超えることにより、所定の荷重（例えば、所定量の荷重）が検出されたと判断する。所定の閾値は、被看介護者８０ごとに予め設定され、各制御部１０１のメモリに記憶され得る。

図５は、転倒の誤報が生じる比較例を示す説明図である。図６は、転倒の誤報が抑制される実施例を示す説明図である。これらの図において、白抜きの矢印は時間の経過を示している。図６においては、ベッドセンサー１０３により荷重が検知されていることが、ベッドセンサー１０３にグレーの色が付されることにより示されている。

図５の比較例においては、被看介護者８０は、ベッド９０上で睡眠状態にある。そして、看介護者７０が入室し、ベッド９０に近づき、なんらかの介護（介助）をしている。この場合、被看介護者８０はベッド９０上でほとんど動かず、かつ体のほとんどが布団で隠れているため、被看介護者８０の状態が検出されない可能性がある。具体的には、上述した時間差分法を用いる場合、物体シルエットが検出されないことで、被看介護者８０の状態が検出されない可能性がある。また、上述した、機械学習による学習済みモデルを用いる場合、人物領域が検出されないことで、被看介護者８０の状態が検出されない可能性がある。この場合、画像１０４１に基づいて、看介護者７０の状態が、被看介護者８０の状態として誤検出されることで、看介護者７０が介護する際のしゃがみ込んだ状態が、被看介護者８０の転倒と誤判定され得る。

図６の実施例においては、図５の比較例と異なり、ベッドセンサー１０３によりベッド９０上の荷重がさらに検出される。そして、制御部１０１は、ベッドセンサー１０３により荷重が検出されているため、画像１０４１に基づいて被看介護者８０の状態として転倒を誤検出しても、検出した転倒を報知させないように、第１制御または第２制御を行う。これにより、被看介護者８０の転倒はサーバー２０へ送信されない。従って、転倒の誤報が抑制される。なお、第３制御が行われる場合は、被看介護者８０の転倒が禁止情報とともにサーバー２０を介して携帯端末３０へ送信される結果、携帯端末３０において、被看介護者８０の転倒は報知されない。同様に、被看介護者８０の転倒が未確定示唆情報とともにサーバー２０を介して携帯端末３０へ送信される結果、携帯端末３０において、被看介護者８０の転倒は報知されない。

図７は、離床の誤報が生じる比較例を示す説明図である。図８は、離床の誤報が抑制される実施例を示す説明図である。これらの図において、白抜きの矢印は時間の経過を示している。図８においては、ベッドセンサー１０３により荷重が検知されていることが、ベッドセンサー１０３にグレーの色が付されることにより示されている。

図７の比較例においては、被看介護者８０は、ベッド９０上で睡眠状態にある。そして、看介護者７０が入室し、ベッド９０の近くでなんらかの介護（介助）をした後、ベッド９０から離れている。この場合、被看介護者８０はベッド９０上でほとんど動かず、かつ体のほとんどが布団で隠れているため、図５の比較例と同様に、被看介護者８０の状態が検出されない可能性がある。この場合、看介護者７０の状態が、被看介護者８０の状態として誤検出される。すなわち、被看介護者８０ではなく、看介護者７０の行動（動き）が追跡（検出）される。これにより、ベッド９０に近接している看介護者７０がベッド９０から離れるという行動を、被看介護者８０の離床と誤判定され得る。

図８の実施例においては、図７の比較例と異なり、ベッドセンサー１０３によりベッド９０上の荷重がさらに検出される。そして、制御部１０１は、ベッドセンサー１０３により荷重が検出されているため、画像１０４１に基づいて被看介護者８０の状態として離床を誤検出しても、検出した離床を報知させないように第１制御または第２制御を行う。これにより、被看介護者８０の離床はサーバー２０へ送信されない。従って、離床の誤報が抑制される。なお、第３制御が行われる場合は、被看介護者８０の離床が禁止情報とともにサーバー２０を介して携帯端末３０へ送信される結果、携帯端末３０において、被看介護者８０の離床は報知されない。同様に、被看介護者８０の離床が未確定示唆情報とともにサーバー２０を介して携帯端末３０へ送信される結果、携帯端末３０において、被看介護者８０の離床は報知されない。

離床の報知においては、ベッドセンサー１０３により所定量の荷重が検出されることでベッド９０上の所定の荷重が検出され得るが、所定量の荷重が検出されることに替えて、重心位置や分布を用いてもよい。例えば、離床の検出においては、ベッド９０の端部に荷重の重心が検出されるはずであるが、ベッド中心部に荷重の重心が検出される場合は、離床を報知させないようにしてもよい。また、荷重の大きさと重心位置あるいは分布との組み合わせで所定の荷重が検出されてもよい。

なお、転倒、転落の報知においても同様に荷重の大きさに替えて、重心位置や分布を用いてもよい。

図９は、退室の誤報が生じる比較例を示す説明図である。図１０は、退室の誤報が抑制される実施例を示す説明図である。これらの図において、白抜きの矢印は時間の経過を示している。図１０においては、ベッドセンサー１０３により荷重が検知されていることが、ベッドセンサー１０３にグレーの色が付されることにより示されている。

図９の比較例においては、被看介護者８０は、ベッド９０上で睡眠状態にある。そして、看介護者７０がベッド９０の近くでなんらかの介護（介助）をした後、退室している。この場合、被看介護者８０はベッド９０上でほとんど動かず、かつ体のほとんどが布団で隠れているため、図５の比較例と同様に、被看介護者８０の状態が検出されない可能性がある。この場合、看介護者７０の状態が、被看介護者８０の状態として誤検出される。すなわち、被看介護者８０ではなく、看介護者７０の行動（動き）が追跡（検出）される。これにより、ベッド９０に近接している看介護者７０が、撮影領域外に移動するという行動を、被看介護者８０の退室と誤判定され得る。さらに、退室（すなわち、空室）が判定された後、画像１０４１に基づく状態検出の感度を低下させる場合がある。これは、空室中にもかかわらず被看介護者８０の状態が誤検出されることによる誤報を抑制するためになされる。画像１０４１に基づく状態検出の感度を低下させる方法としては、例えば、上述した時間差分法を用いる場合、動体シルエットを検出する際の二値化における閾値を調整することで動体シルエットの検出感度を下げることが考えられる。しかし、被看介護者８０が睡眠の状態にあるにもかかわらず退室（空室）と誤判定されると、画像１０４１に基づく状態検出の感度が低下されているため、被看介護者８０のその後の転落を検出できない可能性がある。

図１０の実施例においては、図９の比較例と異なり、ベッドセンサー１０３によりベッド９０上の荷重がさらに検出される。そして、制御部１０１は、ベッドセンサー１０３により荷重が検出されているため、画像１０４１に基づいて被看介護者８０の状態として退室を誤検出しても、検出された退室を報知させないように第１制御または第２制御を行う。これにより、被看介護者８０の退室はサーバー２０へ送信されない。従って、離床の誤報が抑制される。また、第２制御においては、退室が判定されたときに、画像１０４１に基づく状態検出の感度を低下させる機能が、制御部１０１の機能として含まれていても、退室の誤判定が抑制されるため、被看介護者８０の転落の失報を防止できる。なお、第３制御が行われる場合は、被看介護者８０の退室が禁止情報とともにサーバー２０を介して携帯端末３０へ送信される結果、携帯端末３０において、被看介護者８０の退室は報知されない。同様に、被看介護者８０の退室が未確定示唆情報とともにサーバー２０を介して携帯端末３０へ送信される結果、携帯端末３０において、被看介護者８０の退室は報知されない。

制御部１０１は、画像１０４１に基づいて転倒、転落、離床のいずれかの状態を検出した場合、当該状態に関する画像を記憶する。画像１０４１に基づいて転倒、転落、離床のいずれかの状態を検出された場合、（１）ベッドセンサー１０３によりベッド９０上の荷重が誤検出されている場合と、（２）ベッド９０上に物が置かれていたためにベッド９０上の荷重が検出されている可能性がある。この場合に、転倒等の状態に関する画像を記憶することで、実際に起こった転倒等を記録できるとともに、看介護者７０が入室していたことや、作業をしていたことのエビデンス記録を残すことができる。

制御部１０１は、第２制御を行う場合、画像１０４１に基づいて転倒、転落、離床のいずれかの状態を検出した場合、判定結果を記憶する。判定結果には次の第１～第３判定結果が含まれ得る。制御部１０１は、第１～第３判定結果を区別して記憶し得る。第１判定結果は、例えば、ベッドセンサー１０３によりベッド９０上の荷重が検出され、かつ画像１０４１に基づいて転倒等が検出されていないという判定結果である。第１判定結果は、転倒等の発生がない（例えば、睡眠）という判定結果に対応する。第２判定結果は、例えば、ベッドセンサー１０３によりベッド９０上の荷重が検出されず、かつ画像１０４１に基づいて転倒等が検出されたという判定結果である。第２判定結果は、転倒等が発生したという判定結果に対応する。第３判定結果は、ベッドセンサー１０３によりベッド９０上の荷重が検出され、かつ画像１０４１に基づいて転倒等が検出されたという判定結果である。第３判定結果は、転倒等が未確定（転倒等の可能性がある）という判定結果に対応し第２判定結果と区別される。これにより、例えば荷重が検出されることで転倒等の報知が抑制された場合に、画像により転倒等が検出されていたかどうかを確認（検証）できる。

（サーバー２０）
図１１は、サーバー２０のハードウェア構成を示すブロック図である。サーバー２０は、制御部２０１、通信部２０２、記憶部２０３、およびモニター２０４を備え、これらはバスにより相互に接続される。モニター２０４は報知部を構成する。

制御部２０１は、ＣＰＵ、ＲＡＭ、およびＲＯＭ等を備える。制御部２０１は、プログラムに従ってサーバー２０の各部の制御および演算処理を行う。制御部２０１の機能の詳細については後述する。

通信部２０２は、ＬＡＮを介して、例えば、携帯端末３０等と通信するためのインターフェース回路により構成される。

記憶部２０３は、ＨＤＤまたはＳＳＤにより構成され、各種プログラムおよび各種データを記憶する。

モニター２０４は、各居室の被看介護者８０の状態等の各種情報を表示する。

制御部２０１の機能について説明する。

制御部２０１は、通信部２０２を介して、検出部１０から被看介護者８０の状態を被監視者の状態に関する情報として受信する。被看介護者８０の状態には、特定状態が含まれる。制御部２０１は、検出部１０から、ベッドセンサー１０３の出力に基づいて算出された呼吸数、および心拍数等を、さらに受信してもよい。

制御部２０１は、検出部１０から受信した被看介護者８０の状態をモニター２０４に表示する。

図１２は、管理テーブル２０３１を示す図である。制御部２０１は、各検出部１０を特定するユニークなセンサーＩＤと、各検出部１０が配設された居室の番号である配設場所と、当該配設場所に居住する被監視者である被看介護者８０とが対応付けされた管理テーブル２０３１を記憶部２０３に予め記憶させる。

図１２の例においては、例えば、ＳＵ－１というセンサーＩＤと、配設場所である１０１号室と、被看介護者８０であるＡさんとが対応付けされている。

制御部２０１は、管理テーブル２０３１を参照して、被看介護者８０の状態を送信した検出部１０のセンサーＩＤに基づいて、検出部１０の配設場所と被監視者である被看介護者８０とを特定する。制御部２０１は、被看介護者８０の状態を、被看介護者８０ごとに、検出部１０の配設場所とともに、モニター２０４においてモニター画面に表示し得る。

制御部２０１は、検出部１０から受信した被看介護者８０の状態等に基づいてイベントの発生を検出する。イベントとは、被看介護者８０に関する状態の変化であって、被看介護者８０へのケアを要し、看介護者７０に発報（報知）を行うべき事象である。イベントには、特定状態である転倒、転落、離床、および退出が含まれ得る。制御部２０１は、検出部１０から受信した呼吸数、および心拍数に基づいて、呼吸異常および心拍異常をイベントの発生として検出してもよい。

制御部２０１は、携帯端末３０のアドレスを管理し、管理されているアドレスの携帯端末３０へ、検出したイベントを通知するためのイベント通知を送信し得る。イベント通知には、被監視者の状態に関する情報が含まれている。制御部２０１は、携帯端末３０のアドレスを管理しない場合は、イベント通知を宛先を指定せずに発信し得る。なお、各携帯端末３０からサーバー２０にアクセスしてイベント通知を取得するためのポート番号がサーバー２０において予め設定されてもよい。この場合、各携帯端末３０において、サーバー２０のＩＰアドレスと、設定されたポート番号が入力されることで、各携帯端末３０からサーバー２０にアクセスでき、サーバー２０からイベント情報を取得できる。

制御部２０１は、検出部１０の制御部１０１の機能の一部または全部を制御部１０１に代替して実行してもよい。この場合、制御部２０１は、検出部１０から画像１０４１とベッドセンサー１０３の出力を受信し得る。制御部２０１は、画像１０４１と、ベッドセンサー１０３の出力に基づいて、被看介護者８０の状態を判定し得る。

（携帯端末３０）
図１３は、携帯端末３０のハードウェア構成を示すブロック図である。携帯端末３０は、制御部３０１、無線通信部３０２、記憶部３０３、入力表示部３０４、および音声入出力部３０５を有し、これらはバスにより相互に接続される。携帯端末３０は、例えば、タブレット型コンピューター、スマートフォン、または携帯電話等の、持ち運び可能な通信端末機器によって構成され得る。

制御部３０１は、ＣＰＵ、ＲＡＭ、およびＲＯＭ等を備える。制御部３０１は、プログラムに従って携帯端末３０の各部の制御および演算処理を行う。制御部３０１の機能の詳細については後述する。

無線通信部３０２はＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格を用いた無線通信により、無線ＡＰ３１を経由して、または直接的に各装置と無線通信する。上述したように、携帯端末３０では、無線ＬＡＮの設定に加え、サーバー２０との接続情報（サーバー２０のＩＰアドレス、サーバー２０で設定したポート番号）を入力することで、携帯端末３０からサーバー２０へのアクセスが可能となるようにしてもよい。接続情報は、サーバー２０を特定するための情報であり、記憶部３０３に記憶されてもよい。

記憶部３０３は、ＳＳＤやＳＤカードにより構成され、各種プログラムおよび各種データを記憶する。

入力表示部３０４は、例えば、液晶等の表示面にタッチセンサーを重畳させたタッチパネルにより構成される。入力表示部３０４は、サーバー２０のモニター２０４に表示されるモニター画面に対応する端末モニター画面を表示する。

音声入出力部３０５は、例えばスピーカーとマイクであり、無線通信部３０２を介して他の携帯端末３０との間で看介護者７０による音声通話を可能にする。

制御部３０１の機能について説明する。

制御部３０１は、イベント通知をサーバー２０から連続的に取得する。制御部３０１は、各被看介護者８０の状態を、被監視者の状態に関する情報としてサーバー２０から連続的に取得し、端末モニター画面に表示する。上述したように、イベント通知には、被監視者の状態に関する情報が含まれている。

制御部３０１は、各被看介護者８０の状態が特定状態である場合、端末モニター画面に表示、音声、振動、発光、またはこれらの組合せにより、各被看介護者８０の状態を、被監視者の状態に関する情報として報知し得る。音声、振動、発光の機能は、携帯端末３０に標準装備されている機能であり得る。

制御部３０１は、被監視者の状態に関する情報に禁止情報または未確定示唆情報が含まれている場合、被看介護者８０の状態を被監視者の状態に関する情報として報知しない。

見守りシステム１の動作について説明する。

図１４は、見守りシステム１の動作を示すフローチャートである。本フローチャートは、プログラムに従い、検出部１０の制御部１０１により実行され得る。なお、サーバー２０が検出部１０の制御部１０１の機能の一部または全部を代替する場合、本フローチャートは、プログラムに従い、サーバー２０の制御部２０１により実行され得る。

制御部１０１は、カメラ１０４から画像１０４１を受信すること等により取得する（Ｓ１０１）。制御部１０１は、ベッドセンサー１０３の出力を受信すること等により取得する（Ｓ１０２）。

制御部１０１は、画像１０４１に基づいて、被看介護者８０の状態を検出する（Ｓ１０３）。

制御部１０１は、被看介護者８０の状態が特定状態かどうか判断する（Ｓ１０４）。制御部１０１は、被看介護者８０の状態が特定状態ではないと判断した場合は（Ｓ１０４：ＮＯ）、ステップＳ１０３において検出された被看介護者８０の状態を、被看介護者８０の状態として判定する（Ｓ１０６）。

制御部１０１は、被看介護者８０の状態が特定状態であると判断した場合は（Ｓ１０４：ＹＥＳ）、制御部１０１は、ベッドセンサー１０３の出力に基づいて、荷重が検出されているかどうか判断する（Ｓ１０５）。制御部１０１は、荷重が検出されていると判断した場合は（Ｓ１０５：ＹＥＳ）、報知しない制御を実行する（Ｓ１０７）。

制御部１０１は、荷重が検出されていないと判断した場合は（Ｓ１０５：ＮＯ）、ステップＳ１０３において検出された被看介護者８０の特定状態を、被看介護者８０の状態として判定する（Ｓ１０６）。

本実施形態は以下の効果を奏する。

少なくともベッドの周辺領域を含む領域の画像と、ベッド上の荷重を検出するセンサーの出力とに基づいて被監視者の状態を判定し、判定に基づく被監視者の状態に関する情報を報知するとともに、センサーにより所定の荷重が検出されているときは、画像に基づいて、転倒、転落、離床のいずれかを検出しても、被監視者の状態に関する情報を報知しない制御を行う。これにより、被監視者の転倒、転落等の誤報を抑制できる。

さらに、報知しない制御を、前記情報を出力しない制御とする。これにより、簡単な構成で被監視者の転倒、転落等の誤報を抑制できる。

また、報知しない制御を、被監視者の状態に関する情報を報知する端末が被監視者の状態に関する情報を受信していても報知しない制御とする。これにより、簡単に被監視者の転倒、転落等の誤報を抑制できる。

また、報知しない制御を、画像に基づいて検出された状態を被監視者の状態として判定しない制御とする。これにより、簡単な構成で、柔軟に、被監視者の転倒、転落等の誤報を抑制できる。

さらに、画像に基づいて転倒、転落、離床のいずれかの状態を検出した場合、被監視者の状態に関する画像を記憶する。これにより、荷重の誤検出があった場合等に、転倒等の状態に関する画像を記憶することで、実際に起こった転倒等を記録できるとともに、看介護者が入室していたことや、作業をしていたことのエビデンス記録を残すことができる。

さらに、画像に基づいて転倒、転落、離床のいずれかの状態を検出した場合、検出結果を記憶する。これにより、例えば荷重が検出されていた場合に、画像により転倒等が検出されていたかどうかを確認できる。

さらに、特定状態に退室を含める。これにより、退出の誤報を抑制できる。

また、報知しない制御を、被監視者の状態に関する情報を報知する端末に、被監視者の状態に関する情報に報知を禁止する情報を含ませて送信する制御とする。これにより、より簡単に被監視者の転倒、転落等の誤報を抑制できる。

さらに、画像の隣接するフレーム間の画素ごとの差分を算出し、当該差分を二値化することで検出した動体シルエットに基づいて、被監視者の状態を判定する。これにより、容易かつ高精度に被監視者の状態を検出できる。

さらに、機械学習による学習済みモデルを用いて、画像から関節点を推定し、推定された関節点に基づいて、前記被監視者の状態を判定する。これにより、容易かつより高精度に被監視者の状態を検出できる。

さらに、退室が判定されたときは、上記二値化における閾値を調整することで、動体シルエットの検出感度を下げる。これにより、空室時における誤報を抑制できる。

さらに、撮影領域を、ベッド上およびベッドの周辺領域を含む領域とする。これにより、被監視者の転倒、転落等の誤報をさらに抑制できる。

以上説明した、見守りシステム１の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変できる。例えば、上述したフローチャートにおいては、フローチャートに示したステップ以外のステップを含んでもよく、一部のステップを含まなくてもよい。また、ステップの順序は、上述した実施形態に限定されない。さらに、各ステップは、他のステップと組み合わされて一つのステップとして実行されてもよく、他のステップに含まれて実行されてもよく、複数のステップに分割されて実行されてもよい。

また、上述した実施形態における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶装置に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能として装置のソフトウエアに組み込まれてもよい。

１ 見守りシステム、
１０ 検出部、
１０１ 制御部、
１０２ 記憶部、
１０３ ベッドセンサー、
１０４ カメラ、
１０４１ 画像、
２０ サーバー、
２０１ 制御部、
２０２ 通信部、
２０３ 記憶部、
２０４ モニター、
３０ 携帯端末、
３０１ 制御部、
３０２ 無線通信部、
３０３ 記憶部、
３０４ 入力表示部、
３０５ 音声入出力部、
７０ 看介護者、
８０ 被看介護者、
９０ ベッド、
９１ ベッドの周辺領域。

Claims (27)

1. 少なくともベッドの周辺領域を含む撮影領域を撮像する撮像部と、
   ベッド上の荷重を検出するセンサーと、
   撮像された画像と、前記センサーの出力とに基づいて、被監視者の状態を判定する判定部と、
   前記判定部による判定に基づく前記被監視者の状態に関する情報を報知する端末と、を有し、
   前記センサーの出力に基づいて所定の前記荷重が検出されていると判断するときは、前記画像に基づいて、転倒、転落、離床のいずれかの前記状態を検出しても、前記情報を報知しない制御を行う、見守りシステム。
2. 前記報知しない制御は、前記判定部が前記情報を出力しないことである、請求項１に記載の見守りシステム。
3. 前記報知しない制御は、前記端末が前記情報を受信していても報知しないことである、請求項１に記載の見守りシステム。
4. 前記報知しない制御は、前記判定部が前記画像に基づいて検出された前記状態を前記被監視者の前記状態として判定しないことである、請求項１に記載の見守りシステム。
5. 前記撮像部で撮像された画像を記憶する画像記憶部を有し、
   前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記状態に関する画像を前記画像記憶部に記憶する、請求項２または３に記載の見守りシステム。
6. 前記判定部の判定結果を記憶する判定結果記憶部を有し、
   前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記判定結果記憶部に記憶する、請求項２、３、５のいずれか一項に記載の見守りシステム。
7. 前記状態として、さらに退室を含む、請求項４に記載の見守りシステム。
8. 前記判定部は、前記情報に報知を禁止する情報を含ませて前記端末に送信する、請求項３に記載の見守りシステム。
9. 前記判定部は、前記画像の隣接するフレーム間の画素ごとの差分を算出し、前記差分を二値化することで検出した動体シルエットに基づいて、前記被監視者の前記状態を判定する、請求項１～８のいずれか一項に記載の見守りシステム。
10. 前記判定部は、機械学習による学習済みモデルを用いて、前記画像から関節点を推定し、推定された前記関節点に基づいて、前記被監視者の前記状態を判定する、請求項１～８のいずれか一項に記載の見守りシステム。
11. 前記判定部は、前記退室を判定したときは、前記二値化における閾値を調整することで、前記動体シルエットの検出感度を下げる、請求項７を引用する請求項９に記載の見守りシステム。
12. 前記撮影領域は、ベッド上およびベッドの周辺領域を含む領域である、請求項１～１１のいずれか一項に記載の見守りシステム。
13. 少なくともベッドの周辺領域を含む撮影領域が撮像された画像と、ベッド上の荷重を検出するセンサーの出力とを取得する取得部と、
    前記画像と、前記センサーの出力とに基づいて、被監視者の状態を判定する判定部と、
    前記判定部による判定に基づく前記被監視者の状態に関する情報を報知する報知部と、を有し、
    前記センサーの出力に基づいて所定の前記荷重が検出されていると判断するときは、前記画像に基づいて、転倒、転落、離床のいずれかの前記状態を検出しても、前記情報を報知しない制御を行う、見守り装置。
14. 前記報知しない制御は、前記判定部が前記情報を出力しないことである、請求項１３に記載の見守り装置。
15. 前記報知しない制御は、前記判定部が前記画像に基づいて検出された前記状態を前記被監視者の前記状態として判定しないことである、請求項１３に記載の見守り装置。
16. 撮像された画像を記憶する画像記憶部を有し、
    前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記状態に関する画像を前記画像記憶部に記憶する、請求項１４に記載の見守り装置。
17. 前記判定部の判定結果を記憶する判定結果記憶部を有し、
    前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記判定結果記憶部に記憶する、請求項１４または１６に記載の見守り装置。
18. 前記状態として、さらに退室を含む、請求項１５に記載の見守り装置。
19. 前記報知しない制御は、前記判定部が、前記情報に報知を禁止する情報を含ませて、前記判定部による判定に基づく前記被監視者の状態に関する情報を報知する端末に送信することである、請求項１３に記載の見守り装置。
20. 少なくともベッドの周辺領域を含む撮影領域が撮像された画像と、ベッド上の荷重を検出するセンサーの出力とを取得するステップ（ａ）と、
    前記画像と、前記センサーの出力とに基づいて、被監視者の状態を判定するステップ（ｂ）と、
    前記ステップ（ｂ）における判定に基づく前記被監視者の状態に関する情報を報知するステップ（ｃ）と、
    前記センサーの出力に基づいて所定の前記荷重が検出されていると判断するときは、前記画像に基づいて、転倒、転落、離床のいずれかの前記状態を検出しても、前記ステップ（ｃ）において前記情報を報知しない制御を行うステップ（ｄ）と、を有する見守り方法。
21. 前記報知しない制御は、前記ステップ（ｂ）において、前記情報を出力しないことである、請求項２０に記載の見守り方法。
22. 前記報知しない制御は、前記ステップ（ｂ）において、前記画像に基づいて検出された前記状態を前記被監視者の前記状態として判定しないことである、請求項２０に記載の見守り方法。
23. 前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記状態に関する画像を記憶するステップ（ｅ）を有する、請求項２１に記載の見守り方法。
24. 前記画像に基づいて転倒、転落、離床のいずれかの前記状態を検出した場合、前記ステップ（ｂ）における判定結果を記憶するステップ（ｆ）を有する、請求項２１または２３に記載の見守り方法。
25. 前記状態として、さらに退室を含む、請求項２２に記載の見守り方法。
26. 前記報知しない制御は、前記ステップ（ｂ）において、前記情報に報知を禁止する情報を含ませて、判定に基づく前記被監視者の状態に関する情報を報知する端末に送信することである、請求項２０に記載の見守り方法。
27. 請求項２０～２６のいずれか一項に記載の見守り方法をコンピューターに実行させるための見守りプログラム。

Images