[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2020109644A - 転倒検出方法、転倒検出装置及び電子機器 - Google Patents

転倒検出方法、転倒検出装置及び電子機器 Download PDF

Info

Publication number
JP2020109644A
JP2020109644A JP2019228147A JP2019228147A JP2020109644A JP 2020109644 A JP2020109644 A JP 2020109644A JP 2019228147 A JP2019228147 A JP 2019228147A JP 2019228147 A JP2019228147 A JP 2019228147A JP 2020109644 A JP2020109644 A JP 2020109644A
Authority
JP
Japan
Prior art keywords
person
image frames
frame
image
predetermined threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019228147A
Other languages
English (en)
Inventor
ジャン・ゾォンイェヌ
Zongyan Zhang
ワン・チィ
Qi Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020109644A publication Critical patent/JP2020109644A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Psychology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【課題】本発明は、転倒検出方法、転倒検出装置及び電子機器を提供する。【解決手段】かかる装置は、画像フレーム中の人物を検出する第一検出ユニット；人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出する第二検出ユニット；人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出する第三検出ユニット；及び、人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出する第四検出ユニットを含む。【選択図】図１０

Description

本発明は、情報技術分野に関し、特に、ビデオ画像に基づく転倒検出方法、転倒検出装置及び電子機器に関する。
老齢化社会の進展に伴い、近年、消費者の転倒検出装置への需要も増加している。
従来の転倒検出装置が主に２種類に分類され、即ち、着用可能な装置に基づく転倒検出装置及び基于コンテキスト・アウェア・システム（Context-Aware System）に基づく転倒検出装置である。
着用可能な装置に基づく転倒検出装置では、通常、加速度計を用いて転倒検出を行い、また、他のセンサーをさらに使用することでユーザの情報を取得しても良く、例えば、ジャイロスコープを使ってユーザの位置情報などを得ることができる。
コンテキスト・アウェア・システムに基づく転倒検出装置では、外部に設けられるセンシング装置により転倒を検出する。このようなセンシング装置は、例えば、カメラ、フロアセンサー（floor sensor）、赤外線センサー（infrared sensors）、マイクロフォン（microphones）、圧力センサー（pressure sensors）などであっても良い。
本発明の発明者が次のようなことを発見した。即ち、カメラに基づく従来の転倒検出装置に欠点があり、例えば、検出の正確率が低く、また、多くの場合、１人だけの室内環境での転倒検出に用いるので、適用範囲が狭い。
本発明の目的は、転倒検出方法、転倒検出装置及び電子機器を提供することにあり、ビデオ画像における人物の移動距離及び運動範囲を検出した上で、静止物体の検出結果をさらに考慮して人物の転倒を検出することで、転倒検出の正確率を上げることができ、また、人物が比較的多い複雑な場面に対して検出を行うこともでき、適用範囲が広い。
本発明の実施例の第一側面によれば、転倒検出装置が提供され、それは、
第一検出ユニットであって、画像フレーム中の人物を検出するもの；
第二検出ユニットであって、人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出するもの；
第三検出ユニットであって、人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出するもの；及び
第四検出ユニットであって、人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、且つ前記静止物体及び前記第二人物に基づいて転倒を検出するものを含む。
本実施例の第二側面によれば、転倒検出方法が提供され、それは、
画像フレーム中の人物を検出し；
人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出し；
人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出し；及び
人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出することを含む。
本実施例の第三側面によれば、電子機器が提供され、それは、本実施例の第一側面に記載の転倒検出装置を含む。
本発明の実施例の有益な効果が次の通りである。即ち、ビデオ画像中の人物の移動距離及び運動範囲を検出した上で、静止物体の検出結果をさらに考慮して人物の転倒を検出することで、転倒検出の正確率を上げることができ、また、人物が比較的多い複雑な場面に対して検出を行うこともでき、適用範囲が広い。
本発明の実施例1における転倒検出方法を示す図である。 本発明の実施例1における移動距離検出ステップを示す図である。 本発明の実施例1における時刻tの画像フレーム、前景画像、及びモーション履歴画像を示す図である。 本発明の実施例1における変形検出ステップを示す図である。 本発明の実施例1における画像フレーム中の人物の外接矩形枠を示す図である。 本発明の実施例1における画像フレーム中の人物の外接楕円枠を示す図である。 本発明の実施例1におけるステップ103を示す図である。 本発明の実施例1におけるステップ104を示す図である。 本発明の実施例1における転倒検出方法のフローチャートである。 本発明の実施例2における転倒検出装置を示す図である。 本発明の実施例2における第二検出ユニットを示す図である。 本発明の実施例2における第五検出ユニットを示す図である。 本発明の実施例2における第六検出ユニットを示す図である。 本発明の実施例2における第三検出ユニットを示す図である。 本発明の実施例2における第四検出ユニットを示す図である。 本発明の実施例3における電子機器の構成図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
本発明の実施例1では、転倒検出方法が提供される。
図1は、本実施例の転倒検出方法を示す図である。図1に示すように、該転倒検出方法は、以下のステップを含む。
ステップ101：画像フレーム中の人物を検出し；
ステップ102：人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出し；
ステップ103：人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている（体を動かさず静かにしている）人物を第二人物として検出し；
ステップ104：人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出する。
本実施例により、ビデオ画像中の人物の移動距離及び運動範囲を検出した上で、静止物体の検出結果をさらに考慮して人物の転倒を検出することで、転倒検出の正確率を上げ、誤検出の低減を実現することができ、また、人物が比較的多い複雑な場面に対して検出を行うこともでき、適用範囲が広い。
本実施例では、画像フレームは、カメラがリアルタイムに取得したビデオからのものであっても良く、記憶装置に記憶されいるビデオからのものであっても良く、本実施例は、これについて限定しない。
本実施例では、前処理により画像フレームから得られた各画素集合（blob）に対してステップ101乃至ステップ104を行うことで、各画素集合に対応する対象が人物であるか、及び、人物である場合に転倒したかを検出することができる。同一対象（object）が１つの画素集合に対応し、そのうち、該同一対象の、２つ以上連続した画像フレームの各画像フレーム中で対応する画素クラスターが１つの画素集合（blob）に属する。
本実施例では、図1に示すように、該転倒検出方法は、さらに、以下のステップを含んでも良い。
前処理ステップ（図示せず）：画像フレームに対して前処理を行って画素集合を得る。
本実施例では、ステップ100は、背景除去（Background Subtraction）ステップ及び対象追跡（Objection Traction）ステップを含む。
本実施例の背景除去ステップでは、画像フレームから前景（foreground）画像を検出し、そして、該前景画像中の前景画素クラスター（cluster）が静止対象（static object）又は移動対象（moving object）に対応するかを判断することができる。
本実施例では、背景除去ステップに使用する方法について、従来技術を参照することができ、例えば、デュアル前景法（Dual Foreground Method）で背景除去ステップを実現することができる。なお、本実施例は、これに限られず、他の方法を採用して該背景除去ステップを実現しても良い。
本実施例の対象追跡ステップでは、背景除去ステップで隣接画像フレームから検出した前景画素クラスターに対して対応付けを行い、そして、隣接画像フレーム中の互いに対応づけられた前景画素クラスターを、同一静止対象（static object）又は移動対象（moving object）に対応するものと見なすことができる。
例えば、画像フレーム1から複数の前景画素クラスターA1、……、Ai、……An1を検出し、画像フレーム2から複数の前景画素クラスターB1、……、Bj、……Bn2を検出し、そのうち、画像フレーム1及び画像フレーム2は、時間上で隣接する前後の２つの画像フレームであり、n1、n2、i及びjは、全て、自然数であり、1≦i≦n1及び1≦j≦n2である。
この場合、前景画素クラスターAiと前景画素クラスターBjとの間の類似性がSimilarity(A，B)と表されるときに、以下の式（1）によりSimilarity(Ai，Bj)を計算することができる。
Figure 2020109644
そのうち、intersection(Ai，Bj)は、前景画素クラスターAiと前景画素クラスターBjとの間の重畳画素の数量を示し、union(Ai，Bj)は、前景画素クラスターAi及び前景画素クラスターBjの画素総数を示す。
本実施例では、Similarity(Ai，Bj)が大きいほど、前景画素クラスターAi及び前景画素クラスターBjが同一対象に対応する可能性が高い。Similarity(Ai，Bj)が所定条件を満たすときに、前景画素クラスターAiと前景画素クラスターBjが対応づけられ、これにより、前景画素クラスターAi及び前景画素クラスターBjが同一対象に対応すると判定され、即ち、前景画素クラスターAi及び前景画素クラスターBjが同一画素集合（blob）に属すると判定される。
本実施例では、３つ以上の連続した画像フレームについて、各２つの隣接する画像フレームに対して上述の対象追跡ステップを行うことで、該３つ以上の連続した画像フレーム中の同一対象に対応する画素クラスターを検出することができる。
本実施例では、前処理ステップにより、複数の画像フレーム中の各対象に対応する画素集合（blob）情報を得ることができる。また、同一画素集合に属する各画素クラスターに同じ標識情報を与えることができる。
また、本実施例では、前処理ステップが必須のステップでなく、例えば、画像フレームを前処理して画素集合情報を得た後に、該画素集合情報及び該画像フレームを記憶しても良い。ステップ101乃至ステップ104では、記憶されている該画像フレーム及びその画素集合情報に対して処理を行っても良い。
本実施例のステップ101では、分類器により画像フレーム中の人体の輪郭を検出し、そして、画像フレーム中の人物を検出し、これにより、画像フレームの画素クラスターに対応する対象が人物であるかを確定することができる。例えば、現在の画像フレームのある画素クラスターについて、分類器を用いて該画素クラスターが人体の輪郭であるかを検出し、人体の輪郭である場合、該画素クラスターに対応する対象を人物とし、そうでない場合、該画素クラスターに対応する対象を人物としない。
本実施例では、分類器に基づいて検出を行う方法について、例えば、HOG（Histograms of Oriented Gradients）情報に基づく自己訓練（self-trained）SVM（Support Vector Machine）分類器を用いて検出しても良い。また、ディープラーニング方法をさらに用いて検出しても良い、該ディープラーニング方法は、例えば、SSD（Single Shot MultiBox Detector）＋MobileNet、Faster RCNN（Regions with Convolutional Neural Networks）＋ResNetなどであっても良い。
なお、１つの画像フレームに１つ以上の画素クラスターが存在する可能性があるため、該画像フレームには、１人以上の人物が存在する可能性がある。本実施例では、各人物に対してステップ102乃至ステップ103の処理を行うことができるので、複数の人物の転倒を検出することができる。
本実施例のステップ101では、人物として検出された画素クラスターについて標識を付けることができ、また、異なる人物について異なる標識を与えても良い。
本実施例のステップ102では、人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出することができる。
本実施例では、ステップ102は、２つのステップ、即ち、移動距離検出（movement detection）ステップ及び変形検出（deformation detection）ステップに分けることができる。
本実施例の移動距離検出ステップでは、第一数量の連続画像フレームのモーション履歴画像（Motion History Image、MHI）に基づいて、移動距離が第一所定閾値を超えている人物を検出することができる。
図2は、移動距離検出ステップを示す図である。図2に示すように、移動距離検出ステップは、以下のステップを含んでも良い。
ステップ201：前記第一数量の連続画像フレームの前景画像に対して累積を行い、前記モーション履歴画像を生成し；
ステップ202：現在の画像フレームの前景画像中の前記人物に対応する前景画素数量と、前記モーション履歴画像中の前記人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも小さいときに、現在の画像フレーム中の該人物の移動距離が第一所定閾値を超えていると判定する。
図3は、時刻tにおける画像フレーム、前景画像、及びモーション履歴画像を示す図である。以下、図3を基に、移動距離検出ステップの実施方式を説明する。
人物が検出された画像フレーム中で、N個の連続画像フレームを選択し、時刻tの画像フレームF(t)中で座標が(x，y)である画素がF(x，y，t)と表され、時刻tの画像フレームの前景画像D(t)中で座標が(x，y)である画素がD(x，y，t)と表され、該前景画像は、例えば、背景除去の方法により得られる。そのうち、時刻tの画像フレームF(t)は、図3の301に示すように、現在の画像フレームを示し、時刻tの画像フレームの前景画像D(t)は、図3の302に示されるようである。
時刻tに対応するモーション履歴画像がHτと表されても良く、Hτは、時刻tから前へのN1個の画像フレームの前景画像に対して累積（accumulating）を行うことで得られても良く、そのうち、N1は、第一数量であり、τは、該N1個の画像フレームの持続期間であり、1≦N1≦Nであり、また、モーション履歴画像中で座標が(x，y)である画素がHτ（x，y，t）と表され、例えば、Hτ（x，y，t）は、以下の式（2）により算出することができる。
Figure 2020109644
モーション履歴画像Hτでは、移動対象の画素の輝度がより高く、これにより、モーション履歴画像Hτは、画像フレーム中の対象の期間τ内の移動軌迹を表すことができる。本実施例では、τは、例えば、12個の画像フレームの持続期間であっても良く、即ち、N1は、12である。時刻tに対応するモーション履歴画像Hτは、図3の303に示されるようである。
また、D(x，y，t)及びHτ（x，y，t）を得た後に、人物として検出された各画素クラスターについて移動係数Cmotionを計算することができ、該移動係数Cmotionは、人物として検出された該画素クラスターの移動距離を量化するために用いられる。例えば、以下の式（3）により移動係数Cmotionを計算することができる。
Figure 2020109644
式（3）では、
Figure 2020109644
 は、時刻tの画像フレームの前景画像D(t)のうち、人物として検出された画素クラスターに対応する前景画素の数量を表し、
Figure 2020109644
 は、時刻tに対応するモーション履歴画像Hτのうち、人物として検出された画素クラスターに対応する前景画素の数量を表す。
式（3）によれば、0%≦Cmotion≦100%であり、且つ、移動係数Cmotionの値が小さいほど、該人物の該期間τ内の移動距離が大きい。
本実施例の移動距離検出ステップでは、移動係数Cmotionがある所定閾値T1よりも小さいときに、時刻tの画像フレーム中の該人物の移動距離が第一所定閾値を超えていると判定することができる。
また、本実施例では、D(t)及びHτに対してそれぞれ２値化処理を行い、そして、2値化処理後のD(t)及びHτについて上述の式（3）で移動係数Cmotionを計算しても良い。そのうち、2値化処理後のD（t）及びHτは、それぞれ、図3の304及び305に示されるようである。
本実施例の検出変形（deformation detection）ステップでは、第一数量の連続画像フレームの人物に与える外接楕円形枠及び外接矩形枠に基づいて、変形が第二所定閾値を超えている人物を検出することができる。
図4は、検出変形ステップを示す図である。図4に示すように、検出変形ステップは、以下のステップを含んでも良い。
ステップ401：第一数量の連続画像フレームにおける前記人物の外接矩形枠のアスペクト比の第一標準偏差（Standard Deviation）を計算し；
ステップ402：第一数量の連続画像フレームにおける前記人物の外接楕円形枠の長軸と所定方向の夾角の第二標準偏差（Standard Deviation）、及び前記人物の外接楕円形枠の長軸と短軸の長さの比の値の第三標準偏差（Standard Deviation）を計算し；
ステップ403：第一標準偏差、第二標準偏差、及び第三標準偏差が各自対応する閾値よりも大きいときに、該人物の変形範囲が第二所定閾値を超えていると判定する。
図5は、画像フレーム中の人物の外接矩形枠を示す図であり、図6は、画像フレーム中の人物の外接楕円形枠を示す図である。以下、図5及び図6を参照しながら、変形検出ステップの実施方式を説明する。
人物が検出された画像フレーム中で、N個の連続画像フレームを選択し、時刻tの画像フレームF(t)中で座標が(x，y)である画素がF(x，y，t)と表される。時刻tから前へのN1個の連続した画像フレームを第一数量の連続画像フレームとし、該N1個の画像フレームの持続期間がτである。
図5に示すように、該N1個の連続した画像フレームのうち、１つの画像フレーム501中の人物の外接矩形枠が5011であり、もう１つの画像フレーム502中の人物の外接矩形枠が5021である。そのうち、矩形枠の長さが画像フレームの横方向（即ち、x方向）上の画素数であっても良く、矩形枠の幅が画像フレームの縦方向（即ち、y方向）上の画素数であっても良い。
上述のように、ステップ401により、該N1個の連続した画像フレーム中の同一人物について、各画像フレーム中の該人物の外接矩形枠の長さと幅の比の値（即ち、アスペクト比）を計算し、そして、該N1個のアスペクト比の標準偏差（Standard Deviation）を第一標準偏差として計算することができる。
図6に示すように、該N1個の連続した画像フレームのうち、１つの画像フレーム601中の人物の外接楕円形枠が6011であり、もう１つの画像フレーム602中の人物の外接楕円枠が6021である。
上述のように、ステップ402により、該N1個の連続した画像フレーム中の同一人物について、各画像フレーム中の該人物の外接楕円形枠の長軸と所定方向の夾角、及び、該人物の外接楕円形の長軸と短軸の長さの比の値を計算し、そして、該N1個の夾角の標準偏差を第二標準偏差として計算し、該N1個の長さの比の値の標準偏差を第三標準偏差として計算することができる。
そのうち、該所定方向は、画像フレームの横方向であっても良く、図6中の破線600により示されており、該夾角は、図6中のθにより示されている。
本実施例では、上述のステップ402において、以下の方式で、各画像フレーム中の該人物の外接楕円形枠の長軸の長さ2*a、短軸の長さ2*b、長軸と所定方向の夾角θを計算することができる。
時刻tの画像フレームの前景画像D(t)中で座標が(x，y)である画素がD(x，y，t)と表され、該前景画像D(t)中の該人物のモーメント（moment）がmpqと表される場合、mpqは、例えば、以下の式（4）により計算することができる。
Figure 2020109644
そのうち、p及びqは、全て、ゼロ又は正整数であり、即ち、p、q=0、1、2、…である。
該人物の楕円形枠の中心座標
（外１）
Figure 2020109644

が、それぞれ、
Figure 2020109644
であり、そのうち、m00は、0次（zero order）モーメントを表し、m10及びm01は、1次（first order）モーメントを表す。
座標
（外２）
Figure 2020109644

は、中心モーメント（central moment）μpqを計算するために用いられ、例えば、以下の式（5）によりμpqを計算することができる。
Figure 2020109644
1次中心モーメント及び2次（second order）中心モーメントに基づいて、該楕円形枠の長軸と所定方向の夾角θを計算することができ、例えば、以下の式（6）によりθを算出することができる。
Figure 2020109644
そのうち、μ11は、1次（first order）中心モーメントを示し、μ20及びμ02は、2次（second order）中心モーメントを示す。
本実施例では、中心モーメントの分散共分散行列Jに基づいて、慣性モーメント（moments of inertia）の最大値Imax及び最小値Iminを計算し、そして、Imax及びIminに基づいて楕円形枠の長軸の半分の長さa及び短軸の半分の長さbを算出することができる。
例えば、中心モーメントの分散共分散行列Jは、以下の式（7）と表され得る。
Figure 2020109644
慣性モーメント（moments of inertia）の最大値Imax及び最小値Iminは、以下の式（8）、（9）により計算することができる。
Figure 2020109644
また、a及びbは、以下の下式（10）、（11）により算出することができる。
Figure 2020109644
上述のステップ403では、第一標準偏差、第二標準偏差及び第三標準偏差が各自対応する閾値よりも大きいときに、該人物の変形範囲が第二所定閾値を超えており、即ち、該人物の変形範囲が比較的大きいと判定する。
本実施例のステップ401乃至ステップ403では、矩形枠及び楕円形枠の場合を総合に考慮しているため、人物の変形に対しての検出がより正確に行われ得る。
本実施例により、第一数量の連続した画像フレームについて、そのうちのある人物に対応する画素集合の移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている場合、該人物を第一人物として検出し、該第一人物が転倒した可能性が比較的高い。また、該第一人物に対応する画素集合に標識を与えても良い。
本実施例のステップ103では、該第一数量の連続画像フレームの後の第二数量の連続画像フレームについて、該第一人物が該第二数量の連続画像フレーム中でじっとしているかを検出し、じっとしている場合、該第一人物を第二人物として検出する。これにより、転倒後に体を動かない状況を検出することができる。
図7は、本実施例のステップ103を示す図である。図7に示すように、ステップ103は、以下のステップを含んでも良い。
ステップ701：第二数量の連続画像フレームの前景画像に対して累積を行い、モーション履歴画像を生成し；
ステップ702：第二数量の連続画像フレームの各画像フレームの前景画像中の第一人物に対応する前景画素数量と、前記モーション履歴画像中の前記第一人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値T2よりも大きいときに、該第一人物が該第二数量の連続画像フレーム中でじっとしていると判定し、また、該第一人物を第二人物として判定する。
本実施例では、時刻tに第一人物を検出したときに、t+1時刻からのN2個の連続画像を該第二数量の連続画像フレームとしても良い。
本実施例のステップ701では、モーション履歴画像（MHI）を生成する方法について、上述のステップ201についての説明を参照することができる。
本実施例のステップ702では、モーション履歴画像に基づいて、該第一人物に対応する画素クラスターの、該第二数量の連続画像フレーム中の移動係数Cmotionを検出することができ、該移動係数Cmotionが所定の閾値T2よりも大きいときに、該第一人物の該第二数量の連続画像フレーム中の移動距離がとても小さく、ひいては、ほぼ不動と判定し、また、該第一人物を第二人物として判定し、該第二人物が転倒した可能性がより高い。
また、ステップ702では、計算された該移動係数Cmotionが所定の閾値T2以下の場合、該第一人物の標識を削除しても良く、即ち、該人物が該第二数量の連続画像フレーム中で依然として比較的大きい移動距離を有すると判定するため、該人物が転倒した可能性が比較的低く、該人物を第一人物として標識する必要がない。
本実施例のステップ104では、人物が検出された画像フレーム中で、画像フレーム中の静止物体を検出し、検出した静止物体と、ステップ103で検出した第二人物とがマットした場合、該第二人物が転倒したと判定する。これにより、転倒検出の正確性を向上させ、誤検出率を低減することができる。
図8は、本実施例のステップ104を示す図である。図8に示すように、ステップ104は、以下のステップを含んでも良い。
ステップ801：第三数量の連続画像フレームに対してデュアル前景検出を行い、前記第三数量の連続画像フレーム中の静止物体を検出し；
ステップ802：前記静的物体の枠と、前記第二人物の枠との重なり面積が所定値よりも大きいときに、前記第二人物が転倒したと判定する。
本実施例のステップ801では、第三数量の連続画像フレームのうちの最後の１つの画像フレームが、第二数量の連続画像フレームのうちの最後の１つの画像フレームよりも遅くも良い。１つの実施方式では、N3個の連続画像フレームを１つのユニットとし、時間上の前後順序に従って各ユニットに対してデュアル前景検出を行い、最後の１つの画像フレームが第二数量の連続画像フレームのうちの最後の１つの画像フレームの後に位置するユニットの静的物体の検出結果を該第三数量の連続画像フレームの静的物体の検出結果としても良い。
例えば、第1個目の画像フレームユニットが番号S1〜SN3の画像フレームを含み、第2個目の画像フレームユニットが番号SN3+1〜S2*N3の画像フレームを含み、第3個目の画像フレームユニットが番号S2*N3+1〜S3*N3の画像フレームを含む場合、順に、第1個目の画像フレームユニット、第2個目の画像フレームユニット及び第3個目の画像フレームユニットに対して静的物体検出を行うことができ、第二数量の連続画像フレームのうちの最後の１つの画像フレームの番号が例えばS3*N3-3であり、即ち、第3個目の画像フレームユニットのうちの最後の１つの画像フレームS3*N3がS3*N3-3よりも遅いので、ステップ801では、第3個目の画像フレームユニットに対しての静的物体の検出結果を該第三数量の連続画像フレーム中の静的物体の検出結果とする。
本実施例のステップ801では、デュアル前景検出を行う方法について、例えば、Fast Updateの背景を用いて各画像フレームの第一前景検出結果を取得し、Slow Updateの背景を用いて各画像フレームの第二前景検出結果を取得し、そして、以下の表1に示す対応関係に基づいて、各画像フレーム中の静止物体を検出することである。
表1は、第一前景検出結果及び第二前景検出結果と、ビデオ画像フレーム中の異なる対象との対応関係の一例である。
Figure 2020109644
表1に示すように、第一前景検出結果中で背景と検出されており、且つ、第二前景検出結果中で前景と検出されている物体が、画像フレーム中の静止物体（static object）として検出される。
本実施例のステップ802では、ステップ801で検出した静止物体の枠と、ステップ103で検出した第二人物の枠とを比較することができ、両者の重なり面積が所定値よりも大きい場合、該第二人物が転倒したと判定する。例えば、ステップ801で、該第三数量の連続ビデオフレームに3つの静止対象があると検出し、ステップ103で、該第二数量の連続ビデオフレームに2人の第二人物があると検出し、そのうち、１人の第二人物の枠と、１つの静止対象の枠との重畳領域の画素数量が所定値よりも大きい場合、該第二人物が転倒したと判定する。また、もう１人の第二人物が転倒していないと判定し、該第二人物の標識を除去しても良い。
本実施例では、図1に示すように、該方法は、さらに、以下のステップを含んでも良い。
ステップ105：ステップ101で画像フレームから検出した人物の数量が１つであり、且つステップ104で転倒を検出したときに、警報信号を発する。
これにより、1人だけがいるときに、転倒が発生した場合、即時に警報信号を発して助けを求めることができる。該警報信号は、例えば、警報情報を発する信号であっても良く、該警報情報は、例えば、音声、及び/又は画像、及び/又は文字などであっても良い。
図9は、本発明による転倒検出方法のフローチャートである。該フローチャートは、画像フレーム中の１つの画素集合（blob）について説明するためのものである。図9に示すように、該転倒検出のフローは、以下のステップを含む。
ステップ901：画像フレームに人物がいるかを検出し、例えば、分類器により、該画像フレーム中の該画素集合に対応する画素クラスターが人体の輪廓であるかを検出する。ステップ901の結果が“はい”の場合、ステップ902に進み、ステップ901の結果が“いいう”の場合、ステップ901に戻り、次の１つの画像フレームに対して判断を行って人物を検出し；
ステップ902：第一数量の連続画像フレームに基づいて、該人物の移動距離が第一所定閾値を超えているかを検出し、結果が“はい”の場合、ステップ904に進み、結果が“いいえ”の場合、ステップ902及び903に戻り、次の１組の第一数量の連続画像フレームに対して検出を行い；
ステップ903：第一数量の連続画像フレームに基づいて、該人物の変形が第二所定閾値を超えているかを検出し、結果が“はい”の場合、ステップ904に進み、結果が“いいえ”の場合、ステップ902及び903に戻り、次の1組の第一数量の連続画像フレームに対して検出を行い；
ステップ904：ステップ902及びステップ903の結果が全て“はい”であるかを判断し、判断結果が“はい”のときに、該人物を第一人物と判定し、そして、ステップ905に進み、判断結果が“いいえ”のときに、ステップ902及び903に戻り、次の1組の第一数量の連続画像フレームに対して検出を行い；
ステップ905：該第一人物が第二数量の連続画像フレーム中でじっとしているかを判断し、判断結果が“はい”のときに、該第一人物を第二人物と判定し、そして、ステップ906に進み、判断結果が“いいえ”のときに、ステップ902及び903に戻り、次の１組の第一数量の連続画像フレームに対して検出を行い；
ステップ906：該第二人物と、画像フレーム中の静止対象とがマッチするかを判断し、判断結果が“はい”のときに、ステップ907に進み、人物転倒の検出結果を出力し、判断結果が“いいえ”のときに、ステップ902及び903に戻り、次の１組の第一数量の連続画像フレームに対して検出を行う。
本実施例により、ビデオ画像中の人物の移動距離及び運動範囲を検出した上で、静止物体の検出結果をさらに考慮して人物の転倒を検出することで、転倒検出の正確率を上げ、誤検出の低減を実現することができ、また、人物が比較的多い複雑な場面に対して検出を行うこともでき、適用範囲が広い。さらに、1人のみがいる場合、転倒を検出したときに、即時に警報信号を発することで助けを求めることができる。
本実施例2は、転倒検出装置を提供する。該装置が問題を解決する原理が実施例1の転倒検出方法と同様であるため、その具体的な実施について実施例1の方法の実施を参照することができ、ここでは、内容が同じである重複説明を省略する。
図10は、本実施例の転倒検出装置を示す図である。図10に示すように、該転倒検出装置1000は、以下のものを含む。
第一検出ユニット1001：画像フレーム中の人物を検出し；
第二検出ユニット1002：人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出し；
第三検出ユニット1003：人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出し；
第四検出ユニット1004：人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、且つ前記静止物体及び前記第二人物に基づいて転倒を検出する。
また、図10に示すように、該装置1000は、さらに、以下のものを含んでも良い。
警報ユニット1005：第一検出ユニット1001が画像フレームから検出した人物の数量が１つであり、且つ第四検出ユニット1004が転倒を検出したときに、警報信号を発する。
本実施例では、第一検出ユニット1001は、分類器を用いて、画像フレーム中の人体の輪郭を検出することで、画像フレーム中の人物を検出する。
図11は、本実施例の第二検出ユニットを示す図である。そのうち、第二検出ユニット1002は、以下のものを含む。
第五検出ユニット1101：前記第一数量の連続画像フレームのモーション履歴画像（motion history image）に基づいて、移動距離が第一所定閾値を超えている人物を検出し；
第六検出ユニット1102：前記第一数量の連続画像フレームの人物の外接楕円形枠及び外接矩形枠に基づいて、変形が第二所定閾値を超えている人物を検出し；
第七検出ユニット1103：移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を検出する。
図12は、本実施例の第五検出ユニットを示す図である。そのうち、第五検出ユニット1101は、以下のものを含んでも良い。
第一生成ユニット1201：前記第一数量の連続画像フレームの前景画像に対して累積を行い、前記モーション履歴画像を生成し；
第一計算ユニット1202：現在の画像フレームの前景画像中の前記人物に対応する前景画素数量と、前記モーション履歴画像中の前記人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも小さいときに、現在の画像フレーム中の該人物の移動距離が第一所定閾値を超えていると判定する。
図13は、本実施例の第六検出ユニットを示す図である。そのうち、第六検出ユニット1102は、以下のものを含む。
第二計算ユニット1301：第一数量の連続画像フレーム中の前記人物の外接矩形枠のアスペクト比の第一標準偏差（Standard Deviation）を計算し；
第三計算ユニット1302：第一数量の連続画像フレーム中の前記人物の外接楕円形枠の長軸と所定方向の夾角の第二標準偏差（Standard Deviation）、及び前記人物の外接楕円形枠の長軸と短軸の長さの比の値の第三標準偏差（Standard Deviation）を計算し；
第一判定ユニット1303：前記第一標準偏差、第二標準偏差、第三標準偏差が全て各自対応する閾値よりも大きいときに、該人物の変形範囲が第二所定閾値を超えていると判定する。
図14は、本実施例の第三検出ユニットを示す図である。そのうち、第三検出ユニット1003は、以下のものを含む。
第二生成ユニット1401：第二数量の連続画像フレームの前景画像に対して累積を行い、モーション履歴画像を生成し；
第四計算ユニット1402：第二数量の連続画像フレームのうちの各画像フレームの前景画像中の前記第一人物に対応する前景画素数量と、前記モーション履歴画像中の前記第一人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値T2よりも大きいときに、該第一人物が該第二数量の連続画像フレーム中でじっとしていると判定し、また、該第一人物を第二人物として判定する。
図15は、本実施例の第四検出ユニットを示す図である。図15に示すように、第四検出ユニット1004は、以下のものを含む。
第八検出ユニット1501：第三数量の連続画像フレームに対してデュアル前景検出を行い、前記第三数量の連続画像フレーム中の静止対象を検出し、前記第三数量の連続画像フレームのうちの最後の１つの画像フレームが前記第二数量の連続画像フレームのうちの最後の１つの画像フレームよりも遅く；
第二判定ユニット1502：前記静止物体の枠と、前記第二人物の枠との重なり面積が所定値よりも大きい場合、前記第二人物が転倒したと判定する。
なお、本実施例における各ユニットの詳細な説明について、実施例1の対応するステップの説明を参照することができ、ここでは、重複記載が省略される。
本実施例により、ビデオ画像中の人物の移動距離及び運動範囲を検出した上で、静止物体の検出結果をさらに考慮して人物の転倒を検出することで、転倒検出の正確率を上げ、誤検出の低減を実現することができ、また、人物が比較的多い複雑な場面に対して検出を行うこともでき、適用範囲が広い。さらに、1人だけがいる場合、転倒を検出したときに、即時に警報信号を発することで助けを求めることができる。
本実施例3は、電子機器を提供する。該電子機器が問題を解決する原理が実施例2の装置1000と同様であるため、その具体的な実施について実施例2の装置1000の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。
図16は、本発明の実施例における電子機器の構成図である。図16に示すように、電子機器1600は、中央処理装置（CPU）1601及び記憶器1602を含み、記憶器1602は、中央処理装置1601に接続される。そのうち、該記憶器1602は、各種のデータを記憶することができ、また、データ処理用のプログラムをさらに記憶することができ、且つ中央処理装置1601の制御下で該プログラムを実行することができる。
１つの実施方式では、装置1000の機能が中央処理装置1601に統合され得る。そのうち、中央処理装置1601は、実施例1の転倒検出方法を実現するように構成される。
中央処理装置1601は、制御を行って電子機器1600に以下のような方法を実現させるように構成されても良く、即ち、
画像フレーム中の人物を検出し；
人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出し；
人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出し；
人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出する。
本実施例では、中央処理装置1601は、さらに、制御を行って電子機器1600に以下のような方法を実現させるように構成されても良く、即ち、
分類器により、画像フレーム中の人体の輪郭を検出し、そして、出画像フレーム中の人物を検出する。
本実施例では、中央処理装置1601は、さらに、制御を行って電子機器1600に以下のような方法を実現させるように構成されても良く、即ち、
前記第一数量の連続画像フレームのモーション履歴画像（motion history image）に基づいて、移動距離が第一所定閾値を超えている人物を検出し；
前記第一数量の連続画像フレーム中の人物の外接楕円形枠及び外接矩形枠に基づいて、変形が第二所定閾値を超えている人物を検出する。
本実施例では、中央処理装置1601は、さらに、制御を行って電子機器1600に以下のような方法を実現させるように構成されても良く、即ち、
前記第一数量の連続画像フレームの前景画像に対して累積を行い、前記モーション履歴画像を生成し；
現在の画像フレームの前景画像中の前記人物に対応する前景画素数量と、前記モーション履歴画像中の前記人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも小さいときに、現在の画像フレーム中の該人物の移動距離が第一所定閾値を超えていると判定する。
本実施例では、中央処理装置1601は、さらに、制御を行って電子機器1600に以下のような方法を実現させるように構成されても良く、即ち、
第一数量の連続画像フレーム中の前記人物の外接矩形枠のアスペクト比の第一標準偏差（Standard Deviation）を計算し；
第一数量の連続画像フレーム中の前記人物の外接楕円形枠の長軸と所定方向の夾角の第二標準偏差（Standard Deviation）、及び前記人物の外接楕円形枠の長軸と短軸の長さの比の値の第三標準偏差（Standard Deviation）を計算し；
前記第一標準偏差、第二標準偏差、第三標準偏差が全て各自対応する閾値よりも大きいときに、該人物の変形範囲が第二所定閾値を超えていると判定する。
本実施例では、中央処理装置1601は、さらに、制御を行って電子機器1600に以下のような方法を実現させるように構成されても良く、即ち、
第二数量の連続画像フレームの前景画像に対して累積を行い、モーション履歴画像を生成し；
第二数量の連続画像フレームのうちの各画像フレームの前景画像中の前記第一人物に対応する前景画素数量と、前記モーション履歴画像中の前記第一人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値T2よりも大きいときに、該第一人物が該第二数量の連続画像フレーム中でじっとしていると判定し、また、該第一人物を第二人物として判定する。
本実施例では、中央処理装置1601は、さらに、制御を行って電子機器1600に以下のような方法を実現させるように構成されても良く、即ち、
第三数量の連続画像フレームに対してデュアル前景検出を行い、前記第三数量の連続画像フレーム中の静止対象を検出し、前記第三数量の連続画像フレームのうちの最後の１つの画像フレームが前記第二数量の連続画像フレームのうちの最後の１つの画像フレームよりも遅く；
前記静止物体の枠と前記第二人物の枠との重なり面積が所定値よりも大きいときに、前記第二人物が転倒したと判定する。
本実施例では、中央処理装置1601は、さらに、制御を行って電子機器1600に以下のような方法を実現させるように構成されても良く、即ち、
画像フレームから検出した人物の数量が1つであり、且つ前記転倒を検出したときに、警報信号を発する。
もう１つの実施方式では、上述の装置1000が中央処理装置1601と別々配置されても良く、例えば、装置1000が中央処理装置1601に接続されるチップ（chip）として構成され、中央処理装置1601の制御により装置1000の機能を実現しても良い。
また、図16に示すように、電子機器1600は、さらに、入出力ユニット1603、表示ユニット1604などを含んでも良く、これらの部品の機能が従来技術と同様であるから、ここでは、その詳しい説明を割愛する。なお、電子機器1600は、図16に示す全ての部品を含む必要がない。また、電子機器1600は、図16に無いものを含んでも良く、これについては、従来技術を参照することができる。
本実施例により、ビデオ画像中の人物の移動距離及び運動範囲を検出した上で、静止物体の検出結果をさらに考慮して人物の転倒を検出することで、転倒検出の正確率を上げ、誤検出の低減を実現することができ、また、人物が比較的多い複雑な場面に対して検出を行うこともでき、適用範囲が広い。さらに、1人のみがいる場合、転倒を検出したときに、即時に警報信号を発することができるので、助けを求めることができる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、転倒検出装置又は電子機器に、実施例1に記載の転倒検出方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、転倒検出装置又は電子機器中で該プログラムを実行するときに、該プログラムは、該転倒検出装置又は電子機器に実施例1の転倒検出方法を実行させる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
以上の実施例などに関し、さらに以下のように付記を開示する。
（付記1）
転倒検出装置であって、
画像フレーム中の人物を検出する第一検出ユニット；
人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出する第二検出ユニット；
人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出する第三検出ユニット；及び
人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出する第四検出ユニットを含む、装置。
（付記2）
付記1に記載の装置であって、
前記第一検出ユニットは、分類器により、画像フレーム中の人体の輪郭を検出し、画像フレーム中の人物を検出する、装置。
（付記3）
付記1に記載の装置であって、
前記第二検出ユニットは、
前記第一数量の連続画像フレームのモーション履歴画像（motion history image）に基づいて、移動距離が第一所定閾値を超えている人物を検出する第五検出ユニット；
前記第一数量の連続画像フレームの人物の外接楕円形枠及び外接矩形枠に基づいて、変形が第二所定閾値を超えている人物を検出する第六検出ユニット；及び
移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を検出する第七検出ユニットを含む、装置。
（付記4）
付記3に記載の装置であって、
前記第五検出ユニットは、
前記第一数量の連続画像フレームの前景画像に対して累積を行い、前記モーション履歴画像を生成する第一生成ユニット；及び
現在の画像フレームの前景画像中の前記人物に対応する前景画素数量と、前記モーション履歴画像中の前記人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも小さいときに、現在の画像フレーム中の該人物の移動距離が第一所定閾値を超えていると判定する第一計算ユニットを含む、装置。
（付記5）
付記3に記載の装置であって、
第六検出ユニットは、
第一数量の連続画像フレーム中の前記人物の外接矩形枠のアスペクト比の第一標準偏差（Standard Deviation）を計算する第二計算ユニット；
第一数量の連続画像フレーム中の前記人物の外接楕円形枠の長軸と所定方向の夾角の第二標準偏差（Standard Deviation）、及び前記人物の外接楕円形枠の長軸と短軸の長さの比の値の第三標準偏差（Standard Deviation）を計算する第三計算ユニット；及び
前記第一標準偏差、第二標準偏差、第三標準偏差が各自対応する閾値よりも大きいときに、該人物の変形範囲が第二所定閾値を超えていると判定する第一判定ユニットを含む、装置。
（付記6）
付記1に記載の装置であって、
第三検出ユニットは、
第二数量の連続画像フレームの前景画像に対して累積を行い、モーション履歴画像を生成する第二生成ユニット；及び
第二数量の連続画像フレームのうちの各画像フレームの前景画像中の前記第一人物に対応する前景画素数量と、前記モーション履歴画像中の前記第一人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値T2よりも大きいときに、該第一人物が該第二数量の連続画像フレーム中でじっとしていると判定し、また、該第一人物を第二人物として判定する第四計算ユニットを含む、装置。
（付記7）
付記1に記載の装置であって、
第四検出ユニットは、
第三数量の連続画像フレームに対してデュアル前景検出を行い、前記第三数量の連続画像フレーム中の静止対象を検出し、前記第三数量の連続画像フレームのうちの最後の１つの画像フレームが前記第二数量の連続画像フレームのうちの最後の１つの画像フレームよりも遅い第八検出ユニット；及び
前記静止物体の外接枠と、前記第二人物の外接枠との重なり面積が所定値よりも大きいときに、前記第二人物が転倒したと判定する第二判定ユニットを含む、装置。
（付記8）
付記1に記載の装置であって、
警報ユニットをさらに含み、それは、前記第一検出ユニットが画像フレームから検出した人物の数量が１つであり、且つ第四検出ユニットが前記転倒を検出したときに、警報信号を発する、装置。
（付記9）
付記1-8のうちの任意の1項に記載の転倒検出装置を含む、電子機器。
（付記10）
転倒検出方法であって、
画像フレーム中の人物を検出し；
人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出し；
人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出し；
人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出することを含む、方法。
（付記11）
付記10に記載の方法であって、
画像フレームから人物を検出することは、
分類器により、画像フレーム中の人体の輪郭を検出し、画像フレーム中の人物を検出することを含む、方法。
（付記12）
付記10に記載の方法であって、
第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出することは、
前記第一数量の連続画像フレームのモーション履歴画像（motion history image）に基づいて、移動距離が第一所定閾値を超えている人物を検出し；及び
前記第一数量の連続画像フレームの人物の外接楕円形枠及び外接矩形枠に基づいて、変形が第二所定閾値を超えている人物を検出することを含む、方法。
（付記13）
付記12に記載の方法であって、
モーション履歴画像（motion history image）に基づいて、移動距離が第一所定閾値を超えている人物を検出することは、
前記第一数量の連続画像フレームの前景画像に対して累積を行い、前記モーション履歴画像を生成し；及び
現在の画像フレームの前景画像中の前記人物に対応する前景画素数量と、前記モーション履歴画像中の前記人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも小さいときに、現在の画像フレーム中の該人物の移動距離が第一所定閾値を超えていると判定することを含む、方法。
（付記14）
付記12に記載の方法であって、
人物の外接楕円形枠及び外接矩形枠に基づいて、変形範囲が第二所定閾値を超えている人物を検出することは、
第一数量の連続画像フレーム中の前記人物の外接矩形枠のアスペクト比の第一標準偏差（Standard Deviation）を計算し；
第一数量の連続画像フレーム中の前記人物の外接楕円形枠の長軸と所定方向の夾角の第二標準偏差（Standard Deviation）、及び前記人物の外接楕円形枠の長軸と短軸の長さの比の値の第三標準偏差（Standard Deviation）を計算し；及び
前記第一標準偏差、第二標準偏差、第三標準偏差が各自対応する閾値よりも大きいときに、該人物の変形範囲が第二所定閾値を超えていると判定することを含む、方法。
（付記15）
付記10に記載の方法であって、
第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出することは、
第二数量の連続画像フレームの前景画像に対して累積を行い、モーション履歴画像を生成し；及び
第二数量の連続画像フレームのうちの各画像フレームの前景画像中の前記第一人物に対応する前景画素数量と、前記モーション履歴画像中の前記第一人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値T2よりも大きいときに、該第一人物が該第二数量の連続画像フレーム中でじっとしていると判定し、該第一人物を第二人物として判定することを含む、方法。
（付記16）
付記10に記載の方法であって、
画像フレームに対してのデュアル前景検出の結果に基づいて、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出することは、
第三数量の連続画像フレームに対してデュアル前景検出を行い、前記第三数量の連続画像フレーム中の静止対象を検出し、前記第三数量の連続画像フレームのうちの最後の１つの画像フレームが前記第二数量の連続画像フレームのうちの最後の１つの画像フレームよりも遅く；及び
前記静止物体の外接枠と、前記第二人物の外接枠との重なり面積が所定値よりも大きいときに、前記第二人物が転倒したと判定することを含む、方法。
（付記17）
付記10に記載の方法であって、
画像フレームから検出した人物の数量が１つであり、且つ前記転倒を検出したときに、警報信号を発することをさらに含む、方法。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (17)

  1. 転倒検出装置であって、
    画像フレーム中の人物を検出する第一検出ユニット；
    人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出する第二検出ユニット；
    人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出する第三検出ユニット；及び
    人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出する第四検出ユニットを含む、装置。
  2. 請求項1に記載の装置であって、
    前記第一検出ユニットは、分類器により、画像フレーム中の人体の輪郭を検出し、画像フレーム中の人物を検出する、装置。
  3. 請求項1に記載の装置であって、
    前記第二検出ユニットは、
    前記第一数量の連続画像フレームのモーション履歴画像（motion history image）に基づいて、移動距離が第一所定閾値を超えている人物を検出する第五検出ユニット；
    前記第一数量の連続画像フレームの人物の外接楕円形枠及び外接矩形枠に基づいて、変形が第二所定閾値を超えている人物を検出する第六検出ユニット；及び
    移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を検出する第七検出ユニットを含む、装置。
  4. 請求項3に記載の装置であって、
    前記第五検出ユニットは、
    前記第一数量の連続画像フレームの前景画像に対して累積を行い、前記モーション履歴画像を生成する第一生成ユニット；及び
    現在の画像フレームの前景画像中の前記人物に対応する前景画素数量と、前記モーション履歴画像中の前記人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも小さいときに、現在の画像フレーム中の該人物の移動距離が第一所定閾値を超えていると判定する第一計算ユニットを含む、装置。
  5. 請求項3に記載の装置であって、
    第六検出ユニットは、
    第一数量の連続画像フレーム中の前記人物の外接矩形枠のアスペクト比の第一標準偏差（Standard Deviation）を計算する第二計算ユニット；
    第一数量の連続画像フレーム中の前記人物の外接楕円形枠の長軸と所定方向の夾角の第二標準偏差（Standard Deviation）、及び前記人物の外接楕円形枠の長軸と短軸の長さの比の値の第三標準偏差（Standard Deviation）を計算する第三計算ユニット；及び
    前記第一標準偏差、第二標準偏差、第三標準偏差がそれぞれ対応する閾値よりも大きいときに、該人物の変形範囲が第二所定閾値を超えていると判定する第一判定ユニットを含む、装置。
  6. 請求項1に記載の装置であって、
    第三検出ユニットは、
    第二数量の連続画像フレームの前景画像に対して累積を行い、モーション履歴画像を生成する第二生成ユニット；及び
    第二数量の連続画像フレームのうちの各画像フレームの前景画像中の前記第一人物に対応する前景画素数量と、前記モーション履歴画像中の前記第一人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも大きいときに、該第一人物が該第二数量の連続画像フレーム中でじっとしていると判定し、該第一人物を第二人物として判定する第四計算ユニットを含む、装置。
  7. 請求項1に記載の装置であって、
    第四検出ユニットは、
    第三数量の連続画像フレームに対してデュアル前景検出を行い、前記第三数量の連続画像フレーム中の静止対象を検出し、前記第三数量の連続画像フレームのうちの最後の１つの画像フレームが前記第二数量の連続画像フレームのうちの最後の１つの画像フレームよりも遅い第八検出ユニット；及び
    前記静止物体の外接枠と、前記第二人物の外接枠との重なり面積が所定値よりも大きいときに、前記第二人物が転倒したと判定する第二判定ユニットを含む、装置。
  8. 請求項1に記載の装置であって、
    前記第一検出ユニットが画像フレームから検出した人物の数量が１つであり、且つ第四検出ユニットが前記転倒を検出したときに、警報信号を発する警報ユニットをさらに含む、装置。
  9. 請求項1-8のうちの任意の1項に記載の転倒検出装置を含む、電子機器。
  10. 転倒検出方法であって、
    画像フレーム中の人物を検出し；
    人物が検出された画像フレーム中で、第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出し；
    人物が検出された画像フレーム中で、前記第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出し；
    人物が検出された画像フレーム中で、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出することを含む、方法。
  11. 請求項10に記載の方法であって、
    画像フレームから人物を検出することは、
    分類器により、画像フレーム中の人体の輪郭を検出し、画像フレーム中の人物を検出することを含む、方法。
  12. 請求項10に記載の方法であって、
    第一数量の連続画像フレームに基づいて、移動距離が第一所定閾値を超えており、且つ変形が第二所定閾値を超えている人物を第一人物として検出することは、
    前記第一数量の連続画像フレームのモーション履歴画像（motion history image）に基づいて、移動距離が第一所定閾値を超えている人物を検出し；及び
    前記第一数量の連続画像フレームの人物の外接楕円形枠及び外接矩形枠に基づいて、変形が第二所定閾値を超えている人物を検出することを含む、方法。
  13. 請求項12に記載の方法であって、
    モーション履歴画像（motion history image）に基づいて、移動距離が第一所定閾値を超えている人物を検出することは、
    前記第一数量の連続画像フレームの前景画像に対して累積を行い、前記モーション履歴画像を生成し；及び
    現在の画像フレームの前景画像中の前記人物に対応する前景画素数量と、前記モーション履歴画像中の前記人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも小さいときに、現在の画像フレーム中の該人物の移動距離が第一所定閾値を超えていると判定することを含む、方法。
  14. 請求項12に記載の方法であって、
    人物の外接楕円形枠及び外接矩形枠に基づいて、変形範囲が第二所定閾値を超えている人物を検出することは、
    第一数量の連続画像フレーム中の前記人物の外接矩形枠のアスペクト比の第一標準偏差（Standard Deviation）を計算し；
    第一数量の連続画像フレーム中の前記人物の外接楕円形枠の長軸と所定方向の夾角の第二標準偏差（Standard Deviation）、及び前記人物の外接楕円形枠の長軸と短軸の長さの比の値の第三標準偏差（Standard Deviation）を計算し；及び
    前記第一標準偏差、第二標準偏差、第三標準偏差がそれぞれ対応する閾値よりも大きいときに、該人物の変形範囲が第二所定閾値を超えていると判定することを含む、方法。
  15. 請求項10に記載の方法であって、
    第一数量の連続画像フレームの後の第二数量の連続画像フレームに基づいて、前記第一人物のうち、じっとしている人物を第二人物として検出することは、
    第二数量の連続画像フレームの前景画像に対して累積を行い、モーション履歴画像を生成し；及び
    第二数量の連続画像フレームのうちの各画像フレームの前景画像中の前記第一人物に対応する前景画素数量と、前記モーション履歴画像中の前記第一人物に対応する前景画素数量との比の値を計算し、該比の値が所定閾値よりも大きいときに、該第一人物が該第二数量の連続画像フレーム中でじっとしていると判定し、該第一人物を第二人物として判定することを含む、方法。
  16. 請求項10に記載の方法であって、
    画像フレームに対してのデュアル前景検出の結果に基づいて、前記画像フレーム中の静止物体を検出し、前記静止物体及び前記第二人物に基づいて転倒を検出することは、
    第三数量の連続画像フレームに対してデュアル前景検出を行い、前記第三数量の連続画像フレーム中の静止対象を検出し、前記第三数量の連続画像フレームのうちの最後の１つの画像フレームが前記第二数量の連続画像フレームのうちの最後の１つの画像フレームよりも遅く；及び
    前記静止物体の外接枠と、前記第二人物の外接枠との重なり面積が所定値よりも大きいときに、前記第二人物が転倒したと判定することを含む、方法。
  17. 請求項10に記載の方法であって、
    画像フレームから検出した人物の数量が１つであり、且つ前記転倒を検出したときに、警報信号を発することをさらに含む、方法。
JP2019228147A 2018-12-28 2019-12-18 転倒検出方法、転倒検出装置及び電子機器 Pending JP2020109644A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811621796.7A CN111382606A (zh) 2018-12-28 2018-12-28 摔倒检测方法、摔倒检测装置和电子设备
CN201811621796.7 2018-12-28

Publications (1)

Publication Number Publication Date
JP2020109644A true JP2020109644A (ja) 2020-07-16

Family

ID=71123025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019228147A Pending JP2020109644A (ja) 2018-12-28 2019-12-18 転倒検出方法、転倒検出装置及び電子機器

Country Status (3)

Country Link
US (1) US20200211202A1 (ja)
JP (1) JP2020109644A (ja)
CN (1) CN111382606A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435306B (zh) * 2021-06-24 2022-07-19 三峡大学 一种基于混合级联卷积的跌倒检测方法和装置
CN114972419B (zh) * 2022-04-12 2023-10-03 中国电信股份有限公司 摔倒检测方法、装置、介质与电子设备
CN116434346B (zh) * 2023-06-12 2023-08-18 四川汉唐云分布式存储技术有限公司 无人值守商店内顾客行为的检测方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
CN102831442A (zh) * 2011-06-13 2012-12-19 索尼公司 异常行为检测设备和方法及生成该检测设备的设备和方法
CN102509075B (zh) * 2011-10-19 2013-07-24 北京国铁华晨通信信息技术有限公司 一种遗留物检测方法及装置
WO2014010203A1 (ja) * 2012-07-13 2014-01-16 日本電気株式会社 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
CN103903281B (zh) * 2014-04-04 2016-08-17 西北工业大学 一种基于多特征分析和场景学习的老人摔倒检测方法
US10152858B2 (en) * 2016-05-09 2018-12-11 Coban Technologies, Inc. Systems, apparatuses and methods for triggering actions based on data capture and characterization

Also Published As

Publication number Publication date
US20200211202A1 (en) 2020-07-02
CN111382606A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
CN107358149B (zh) 一种人体姿态检测方法和装置
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
Denman et al. An adaptive optical flow technique for person tracking systems
JP6525453B2 (ja) オブジェクト位置推定システム、及びそのプログラム
CN107657244B (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
Li et al. Robust event-based object tracking combining correlation filter and CNN representation
JP2012053756A (ja) 画像処理装置及び画像処理方法
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
JP7455841B2 (ja) シーン内の物体を追跡する方法
WO2019057197A1 (zh) 运动目标的视觉跟踪方法、装置、电子设备及存储介质
CN108875531B (zh) 人脸检测方法、装置、系统及计算机存储介质
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
WO2016107561A1 (zh) 交通事件检测方法以及系统
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP6280020B2 (ja) 移動物体追跡装置
CN115699102A (zh) 使用遮挡感知单对象跟踪在视频流中跟踪多个对象
EP2951783A1 (en) Method and system for detecting moving objects
Hu et al. A novel approach for crowd video monitoring of subway platforms
Guo et al. Enhanced camera-based individual pig detection and tracking for smart pig farms
Alqaysi et al. Detection of abnormal behavior in dynamic crowded gatherings
JP2021089778A (ja) 情報処理装置、情報処理方法、及びプログラム
Karbasi et al. Real-time hands detection in depth image by using distance with Kinect camera
JP2020106970A (ja) 人検出装置および人検出方法
KR101542206B1 (ko) 코아스-파인 기법을 이용한 객체 추출과 추적 장치 및 방법