JP2015149557A - モニタリング装置、モニタリングシステムおよびモニタリング方法 - Google Patents

Abstract

【課題】人物の属性別に人物の行動傾向を把握する作業をユーザが効率的に行うことができるようにする。
【解決手段】監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置を、撮影映像から人物を検出して人物ごとの領域情報を取得する人物検出部３７、および撮影映像から検出された人物ごとの属性を判定する属性判定部３８を有する人物画像解析部３２と、属性別のマスク画像を設定するマスク画像設定部３５と、人物画像解析部から出力された人物ごとの領域情報および属性に基づき、人物ごとの画像領域を属性別のマスク画像に変更した出力映像を生成して出力する映像出力制御部３４と、を備えたものとする。
【選択図】図３

Description

本発明は、監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。

コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の人物を監視する監視システムが広く普及しているが、監視目的以外、すなわち、マーケティング分析やサービス向上を目的として撮影映像を利用する場合には、顧客のプライバシーを保護する必要がある。

このような中、カメラで撮影された映像の各画像内の人物領域全体が、所定の色で塗りつぶされた画像に変換された画像に特徴点が表示させ、人物がどのように動いているかを把握するようにした技術が知られている（特許文献１参照）。また、人物の前景画像がない状態の背景画像を生成し、前景画像に対しては一部または全体的に透過性を有するマスク処理もしくはフィルタ処理を行って、人物の顔や姿が特定できない画像を生成する技術も知られている（特許文献２参照）。

特開２０１３−１８６８３８号公報 特許第５１５９３８１号公報

さて、映像から人物の行動を把握するには、人物を背景と区別しながら人物を見ることになるが、前記従来の技術のように、人物の画像領域を特定の画像に置き換えることで、背景と人物とを容易に識別することができるため、人物の行動を把握することが容易になる。

一方、人物の属性（性別および年齢など）別に人物の行動にどのような傾向があるかを把握する要望があるが、前記従来の技術では、このような要望に対する配慮はなんらなされておらず、人物の属性別に人物の行動傾向を把握する作業を効率的に行うことができないという問題があった。特に、映像に多数の人物が写っている場合には、人物同士を区別して、各人物の客層を判断しながら人物の行動を見る必要があるため、映像が長時間に及ぶ場合のユーザの負担が大きく、人物の属性別に人物の行動傾向を把握する作業を効率的に行うことができる技術が望まれる。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、人物の属性別に人物の行動傾向を把握する作業をユーザが効率的に行うことが可能なモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することを主な目的とする。

本発明のモニタリング装置は、監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記撮影映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、前記属性別の前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。

また、本発明のモニタリングシステムは、監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮影映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記撮影映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、前記属性別の前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。

また、本発明のモニタリング方法は、監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して人物ごとの領域情報を取得するステップ、および前記撮影映像から検出された人物ごとの属性を判定するステップを有するステップと、前記属性別の前記マスク画像を設定するステップと、人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。

本発明によれば、属性別にマスク画像が表示されるため、映像に登場する人物の属性を簡単に把握することができ、これにより、人物の属性ごとに人物の行動傾向を把握する作業をユーザが効率的に行うことができる。

第１実施形態に係るモニタリングシステムの全体構成図 店舗のレイアウト、およびカメラ１の設置状況を説明する店舗の平面図 ＰＣ３の概略構成を示す機能ブロック図 モニタ４に表示されるモニタリング画面を示す説明図 モニタ４に表示されるマスク画像設定画面を示す説明図 モニタリング画面の映像表示部４８に表示される映像の要部を示す説明図 第２実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図 モニタ４に表示されるモニタリング画面を示す説明図 モニタ４に表示されるマスク画像設定画面を示す説明図 ２つの撮影日時の映像を示す説明図 モニタリング画面の映像表示部４８の要部を示す説明図 第３実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図 モニタ４に表示されるモニタリング画面を示す説明図 モニタ４に表示されるマスク画像設定画面を示す説明図 モニタリング画面の映像表示部４８の要部を示す説明図 モニタリング画面の映像表示部４８の要部を示す説明図 モニタ４に表示されるモニタリング画面の別の例を示す説明図

前記課題を解決するためになされた第１の発明は、監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、前記撮影映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記撮影映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、前記属性別の前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。

これによると、属性別にマスク画像が表示されるため、映像に登場する人物の属性を簡単に把握することができ、これにより、人物の属性ごとに人物の行動傾向を把握する作業をユーザが効率的に行うことができる。

また、第２の発明は、前記マスク画像設定部は、前記属性ごとに前記マスク画像を選択するユーザの入力操作に応じて、前記属性別の前記マスク画像を設定する構成とする。

これによると、ユーザが自由にマスク画像を設定することができるため、ユーザの利便性を高めることができる。

また、第３の発明は、前記マスク画像は、前記属性に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記属性を識別可能にした構成とする。

これによると、マスク画像の違いにより、属性の異なる人物を容易に識別することができる。

また、第４の発明は、前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成する構成とする。

これによると、マスク画像が透過性であることから、背景画像が透けて見えるため、背景画像に写る監視エリアの状況を見ながら人物の行動を観察することができる。

また、第５の発明は、監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記撮影映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記撮影映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、前記属性別の前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、を備えた構成とする。

これによると、第１の発明と同様に、人物の属性別に人物の行動傾向を把握する作業をユーザが効率的に行うことができる。

また、第６の発明は、監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮影映像から人物を検出して人物ごとの領域情報を取得するステップ、および前記撮影映像から検出された人物ごとの属性を判定するステップを有するステップと、前記属性別の前記マスク画像を設定するステップと、人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力するステップと、を有する構成とする。

これによると、第１の発明と同様に、人物の属性別に人物の行動傾向を把握する作業をユーザが効率的に行うことができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係るモニタリングシステムの全体構成図である。このモニタリングシステムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ（撮像装置）１、レコーダ（画像記録装置）２、ＰＣ（モニタリング装置）３、およびモニタ（表示装置）４と、複数の店舗を総括する本部に設けられたＰＣ１１、およびモニタ１２と、を備えている。

カメラ１は店舗内の適所に設置され、カメラ１により店舗内が撮像され、これにより得られた画像情報がレコーダ２に録画される。店舗に設けられたＰＣ３や本部に設けられたＰＣ１１では、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。

店舗に設置されたＰＣ３は、店舗内での人物や商品の状態を監視するモニタリング装置として構成され、このＰＣ３で生成したモニタリング情報を、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ７でも閲覧することができ、ＰＣ３，１１がモニタリング情報を閲覧する閲覧装置として構成される。

次に、コンビニエンスストアを例にして店舗のレイアウト、およびカメラ１の設置状況について説明する。図２は、店舗のレイアウト、およびカメラ１の設置状況を説明する店舗の平面図である。

店舗には、出入口と、陳列棚（陳列エリア）と、レジカウンタと、が設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。レジカウンタの隣にはファーストフードの陳列棚が設置されている。

顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計（代金の支払い）を済ませた後に出入口から退店する。

また、店舗には、店舗内（監視エリア）を撮像する複数のカメラ１が設置されている。特に、図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、このカメラ１により、陳列棚に陳列された商品を撮像することができ、また、陳列棚やレジカウンタの前などに滞在する人物を撮像することができる。

次に、図１に示したＰＣ３で行われる処理を機能ブロック図に基づいて説明する。図３は、ＰＣ３の概略構成を示す機能ブロック図である。

ＰＣ３は、監視部３１を備えている。この監視部３１は、ＰＣ３を店舗内を監視する監視システムとして機能させるものであり、この監視部３１により、カメラ１およびレコーダ２の動作が制御され、また、カメラ１で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ２に録画された店舗内の画像を閲覧することができる。

また、ＰＣ３は、人物画像解析部３２と、背景画像処理部３３と、映像出力制御部３４と、マスク画像設定部３５と、を備えている。

人物画像解析部３２は、カメラ１による撮影映像を解析して人物に関する情報を取得するものであり、人物検出部３７と、属性判定部３８と、を備えている。

人物検出部３７では、撮影映像から人物を検出して人物ごとの領域情報（人物の画像領域の位置情報）を取得する処理が行われる。属性判定部３８では、撮影映像から検出された人物ごとの属性（性別および年齢など）を判定する処理が行われる。この人物検出部３７および属性判定部３８で行われる処理は、公知の画像認識技術を用いればよい。なお、この人物画像解析部３２では、撮影映像のフレームごとの人物検出結果を関連付ける人物追跡処理を行うことが望ましく、これにより精度の高い属性判定を行うことができる。

マスク画像設定部３５では、属性別のマスク画像を設定する処理が行われる。特に本実施形態では、人物の属性ごとにマスク画像を選択するユーザの入力操作に応じて、属性別のマスク画像を設定する処理が行われる。なお、属性別のマスク画像を予め設定しておくようにしてもよい。

背景画像処理部３３では、撮影映像から背景画像を生成する処理が行われる。この背景画像は、撮影映像から人物の画像（前景画像）を除去したものであり、直近に撮影された複数の映像からそれぞれ人物の画像を除去して、その複数の画像から背景画像を合成するようすればよい。また、人物が存在しないときの撮影映像、例えば開店前の撮影映像を背景画像として予め用意しておくようにしてもよい。

映像出力制御部３４では、人物画像解析部３２から出力された人物ごとの領域情報および属性に基づき、人物の画像領域をマスク画像に変更した出力映像を生成して出力する処理が行われる。本実施形態では、撮影映像内にある人物の画像領域に対応する輪郭を有するマスク画像を生成し、このマスク画像を、背景画像処理部３３で生成した背景画像上に重ね合わせる処理が行われる。

マスク画像は、属性に応じて、色、濃淡、パターン（模様）、および輪郭線の少なくともいずれかの表示要素を変更することで、属性を識別可能にしたものであり、特に本実施形態では、人物ごとの領域情報（人物の画像領域の位置情報）から、人物の画像領域の輪郭線を生成し、その輪郭線の内部を透過性の画像で塗り潰したものとする。なお、輪郭線を表示しないようにしてもよく、また、色や濃淡などを変えることで輪郭線を塗り潰し領域と識別可能に表示するようにしてもよい。

次に、図１に示したモニタ４に表示されるモニタリング画面について説明する。図４は、モニタ４に表示されるモニタリング画面を示す説明図である。

このモニタリング画面は、マーケティング分析やサービス向上などの目的で店舗内の状況をユーザが確認するものであり、このモニタリング画面には、店舗選択部４１と、開始ボタン４２と、設定ボタン４３と、動作モード選択部４４と、日時表示部４５と、日時設定ボタン４６と、凡例表示部４７と、映像表示部４８と、表示時刻操作部４９と、が設けられている。

店舗選択部４１では、プルダウンメニューにより店舗をユーザが選択する。開始ボタン４２は、ＰＣでのモニタリング処理を開始させるものである。設定ボタン４３は、モニタリング処理での各種の条件を設定するものであり、本実施形態では、設定ボタン４３を操作すると、ポップアップでマスク画像設定画面（図５参照）が表示される。動作モード選択部４４は、動作モードを選択するものであり、売場モニタリング、商品モニタリング、陳列アラート、および欠品アラートなどの動作モードが用意されており、ここでは売場モニタリングが選択されている。

日時表示部４５は、日時を表示するものである。日時設定ボタン４６は、日時を設定するものである。日時設定ボタン４６を操作すると、図示しない日時設定画面が表示され、ここで日時を選択することで、選択した日時が日時表示部４５に表示され、また、選択した日時の映像が映像表示部４８に表示される。

凡例表示部４７は、映像表示部４８に表示されるマスク画像を説明するものである。本実施形態では、凡例表示部４７に、人物の属性（性別および年齢など）ごとに設定されたマスク画像が表示される。なお、図４に示す例では、年齢を全世代としているが、例えば１０代〜６０代の各世代にマスク画像を設定した場合、凡例表示部４７は、各世代のマスク画像が表示される。

映像表示部４８には、店舗の映像（動画）が表示される。特に図４に示す例では、全方位カメラであるカメラ１により撮像された映像をパノラマ展開した２つの映像が表示されている。この２つの映像に店舗全体が映り、店舗全体の状況を確認することができる。この映像表示部４８には、通常再生モードでは、カメラ１による撮影映像がそのまま表示され、マスク再生モードでは、人物の画像領域をマスク画像に変更した映像が表示される。この映像表示部４８に表示される映像については後に詳しく説明する。

表示時刻操作部４９は、映像表示部４８に表示される映像の時刻を調整するものである。この表示時刻操作部４９を操作することで、映像を所望の時刻の映像に切り替えることができる。具体的には、マウスなどの入力デバイス６を用いてスライダ５０をずらすと、そのスライダ５０が指し示す時刻の映像が映像表示部４８に表示される。これにより、所要の時刻における店舗の状況を映像表示部４８の映像で確認することができる。また、映像表示部４８の映像を再生する場合、操作ボタン５１を用いることで、通常再生のほか、早送り再生や巻き戻し再生が可能となる。この場合、長時間に渡って録画された映像をマスク再生モードで再生する際にも、効率的な映像確認ができるようになる。

次に、属性別にマスク画像を設定する操作について説明する。図５は、モニタ４に表示されるマスク画像設定画面を示す説明図である。

このマスク画像設定画面は、人物の属性ごとのマスク画像をユーザが指定するものであり、このマスク画像設定画面には、人物属性選択部６１と、マスク画像選択部６２と、設定ボタン６３と、設定内容表示部６４と、が設けられている。

人物属性選択部６１では、人物の属性（性別および年齢）をプルダウンメニューからユーザが選択する。この人物属性選択部６１では、例えば１０代〜６０代の各世代および全世代のいずれかを選択することができる。なお、人物の属性を大人および子供とすることも可能である。マスク画像選択部７２では、人物属性選択部６１で選択した属性に対応するマスク画像をタイルメニューからユーザが選択する。

この人物属性選択部６１およびマスク画像選択部６２で人物の属性とこれに対応するマスク画像を選択して、設定ボタン６３を操作すると、設定内容表示部６４に、設定内容、すなわち属性別のマスク画像が表示される。図５に示す例では、年齢を全世代として、男性および女性のマスク画像が設定されている。

次に、図４に示したモニタリング画面の映像表示部４８に表示される映像について説明する。図６は、図４に示したモニタリング画面の映像表示部４８に表示される映像の要部を示す説明図である。

図６（Ａ）に示すように、通常再生モードでは、カメラ１による撮影映像がそのまま表示される。一方、マスク画像設定を行った後のマスク再生モードでは、図６（Ｂ）に示すように、人物の画像領域をマスク画像に変更した映像が表示される。この映像では、図６（Ａ）の撮影映像において人物の画像領域が、属性（ここでは男性および女性）別のマスク画像に置き換えられている。また、マスク画像は透過性であるため、背景画像が透けて見える状態となっている。

なお、撮影映像を再生する際には、ユーザがいずれの再生モードで再生されているのかを識別できるように、再生モード識別用のアイコンを映像と重畳表示させると良い。また、マスク再生モードの映像表示枠の色を通常再生モードでの映像表示枠の色と異なる表示を行うなどして、再生モードの識別ができるようにしても良い。

以上のように第１実施形態では、属性別、例えば男性と女性とで別のマスク画像が表示されるため、映像に登場する人物の属性を簡単に把握することができ、これにより、人物の属性ごとに人物の行動傾向を把握する作業を効率的に行うことができる。

なお、人物の属性として、性別と年齢を例に説明したが、公知の人物認識技術を用いて得られる属性として、人物の向き、人種、大人／子供、タイプ（ＯＬやサラリーマン）など、各種の属性の設定が可能である。特に、人物の向きの属性を利用すると、マスク再生モードにおいても、人物ごとの商品に対する嗜好などを把握することができる。

（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。

図７は、第２実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図である。この第２実施形態では、ＰＣ３が、第１実施形態と同様に、監視部３１と、人物画像解析部３２と、背景画像処理部３３と、映像出力制御部３４と、マスク画像設定部３５と、を備えており、さらにこの第２実施形態では、ＰＣ３が、日時設定部７１を備えている。

この第２実施形態では、第１実施形態と同様に、人物の属性（性別および年齢など）別のマスク画像を表示させることができるが、さらに、日時別のマスク画像を表示させることができる。なお、人物の属性別のマスク画像の表示を行わずに日時別のマスク画像のみの表示とする構成も可能である。

日時設定部７１では、撮影日時を指定するユーザの入力操作に応じて、複数の日時を設定する処理が行われる。マスク画像設定部３５では、撮影日時および人物の属性ごとにマスク画像を選択するユーザの入力操作に応じて、撮影日時別および人物の属性別のマスク画像を設定する処理が行われる。人物画像解析部３２では、日時設定部７１で設定された複数の撮影日時の撮影映像を取得して、人物ごとの人物領域情報（人物の画像領域の位置情報）を撮影日時ごとに取得する処理が行われる。

映像出力制御部３４では、人物画像解析部３２から出力された人物ごとの領域情報に基づき、複数の撮影日時ごとの人物の画像領域を、撮影日時別および人物の属性別のマスク画像に変更した出力映像を生成して出力する処理が行われ、出力映像は、複数の日時における人物ごとのマスク画像が、１つの背景画像上に撮影日時および人物の属性を識別可能に表示されたものとなる。

この第２実施形態では、マスク画像が、属性および撮影日時に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、属性および撮影日時を識別可能にしたものであり、特に本実施形態では、人物の画像領域の輪郭線の内部を透過性の画像で塗り潰したものとする。

次に、モニタ４に表示されるモニタリング画面について説明する。図８は、モニタ４に表示されるモニタリング画面を示す説明図である。

この第２実施形態でも、第１実施形態（図４参照）と略同様のモニタリング画面がモニタ４に表示され、このモニタリング画面では、凡例表示部４７に、複数の撮影日時および人物の属性ごとに設定されたマスク画像が表示される。

次に、属性および撮影日時別にマスク画像を設定する操作について説明する。図９は、モニタ４に表示されるマスク画像設定画面を示す説明図である。

このマスク画像設定画面は、人物の属性および撮影日時ごとにマスク画像をユーザが指定するものであり、このマスク画像設定画面には、人物属性選択部８１と、日時選択部８２と、マスク画像選択部８３と、設定ボタン８４と、設定内容表示部８５と、が設けられている。

人物属性選択部８１では、人物の属性（性別および年齢）をプルダウンメニューによりユーザが選択する。日時選択部８２では、日時（年、月、日および時間帯）をプルダウンメニューによりユーザが選択する。また、日時選択部８２では、優先順位をプルダウンメニューによりユーザが選択する。マスク画像選択部８３では、人物属性選択部８１で選択した属性および日時選択部８２で選択した撮影日時に対応するマスク画像をタイルメニューからユーザが選択する。

この人物属性選択部８１、日時選択部８２およびマスク画像選択部８３で人物の属性および撮影日時とこれに対応するマスク画像を選択して、設定ボタン８４を操作すると、設定内容表示部８５に、設定内容、すなわち属性および撮影日時別のマスク画像が表示される。この設定操作は少なくとも２回行われ、複数の撮影日時のマスク画像を設定する。図９に示す例では、２つの撮影日時として異なる日の同一の時間帯が設定されている。

次に、映像出力制御部３４で行われる処理の概要、およびモニタリング画面の映像表示部４８に表示される映像について説明する。図１０は、２つの撮影日時の映像を示す説明図である。図１１は、図８に示したモニタリング画面の映像表示部４８の要部を示す説明図である。

図１０（Ａ）は、第１の撮影日時での撮影映像を示す。図１０（Ｂ）は、第２の撮影日時での撮影映像を示す。映像出力制御部３４では、第１の撮影日時の撮影映像内にある人物の画像領域に対応する輪郭を有するマスク画像を生成するとともに、第２の撮影日時の撮影映像内にある人物の画像領域に対応する輪郭を有するマスク画像を生成し、このマスク画像を、背景画像処理部３３で生成した背景画像上の対応する位置に重ね合わせる処理が行われる。これにより、図１１に示すように、モニタリング画面の映像表示部４８にマスク画像が表示される。

ここで、この第２実施形態では、撮影日時が異なるマスク画像を同時に表示させるようにしており、撮影日時が異なるマスク画像が互いに重なり合う場合があり、この撮影日時が異なるマスク画像の表示方法として、この第２実施形態では、図１１（Ａ）に示すように、優先順位に基づく表示を行わない通常表示モードと、図１１（Ｂ）に示すように、優先順位に基づく表示を行う優先表示モードとを選択することができる。

図１１（Ａ）に示すように、優先順位に基づく表示を行わない通常表示モードでは、日時が異なるマスク画像の重なり合う部分を、マスク画像における他の部分、すなわち別人のマスク画像と重なり合わない部分と識別可能に表示する。図１１（Ａ）に示す例では、マスク画像の重なり合う部分を、各マスク画像を合成した画像で表示している。例えば、赤色のマスク画像と青色のマスク画像とが重なり合う部分を紫色で表示し、また、マスク画像の重なり合う部分を、各マスク画像の透過率を加算した透過率で表示する。

図１１（Ｂ）に示すように、優先順位に基づく表示を行う優先表示モードでは、日時が異なるマスク画像が重なり合う部分を、優先順位が高い日時のマスク画像が、優先順位が低い日時のマスク画像を覆い隠すように表示される。

以上のように第２実施形態では、複数の撮影日時別、例えば今日と昨日とで別のマスク画像が表示されるため、映像に登場する人物の撮影日時を簡単に把握することができ、これにより、日時別の人物の行動傾向を把握する作業を効率的に行うことができる。ここで、複数の撮影日時を異なる日の同一時刻とすれば、日ごとの人物の行動傾向を比較することができ、複数の撮影日時を同一の日の朝および夕方の時間帯とすれば、朝および夕方の時間帯ごとの人物の行動傾向を比較することができる。

（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。

図１２は、第３実施形態に係るモニタリングシステムにおけるＰＣ３の概略構成を示す機能ブロック図である。この第３実施形態では、ＰＣ３が、第１実施形態と同様に、監視部３１と、人物画像解析部３２と、背景画像処理部３３と、映像出力制御部３４と、マスク画像設定部３５と、を備えており、さらにこの第３実施形態では、ＰＣ３が、背景画像解析部９１を備えている。

背景画像解析部９１では、撮影映像における背景の画像領域における商品の消失および出現に関する物品変化情報を取得する処理が行われる。この背景画像解析処理では、撮影映像から人物の画像（前景画像）を除去した背景画像を複数比較することで、商品の変化状態（消失または出現）を検知し、変化した商品の領域情報（商品の画像領域の位置情報）を取得する。

映像出力制御部３４では、背景画像解析部９１から出力された物体変化情報に基づき、背景の画像領域における商品の変化（消失または出現）を識別可能に表示した出力映像を生成して出力する処理が行われる。ここで、商品が消失した場合には、消失する以前の映像において商品が存在した画像領域を透過性のマスク画像に変更するようにすればよく、商品が出現した場合には、商品の画像領域に強調表示（ハイライト表示）するようにすればよい。

なお、商品が出現した場合の強調表示には、適宜な種々の手法を用いればよいが、例えば商品の画像領域の輪郭線を表示するようにしてもよく、さらに、商品が小さくてわかりにくい場合には、点滅などのアニメーション表示を行うようにしてもよい。また、商品が出現した場合に、商品が消失した場合と同様に、商品の画像領域を透過性のマスク画像に変更するようにしてもよい。また、変化（消失または出現）した商品の位置に適宜なマーク画像、例えば○や×などの記号の画像を表示するようにしてもよい。

また、この第３実施形態では、商品の変化状況（消失または出現）を識別可能に表示させるとともに、第１実施形態と同様に、属性別に人物のマスク画像を表示させることができ、マスク画像設定部３５において、人物の属性ごとにマスク画像を選択するユーザの入力操作に応じて、マスク画像を設定する処理が行われ、属性判定部３８において、撮影映像から検出された人物ごとの属性（性別および年齢など）を判定する処理が行われ、映像出力制御部３４において、人物の画像領域を属性別のマスク画像に変更した出力映像を生成して出力する処理が行われる。

次に、モニタ４に表示されるモニタリング画面について説明する。図１３は、モニタ４に表示されるモニタリング画面を示す説明図である。

この第３実施形態でも、第１実施形態（図４参照）と略同様のモニタリング画面がモニタ４に表示され、このモニタリング画面では、凡例表示部４７に、人物の属性ごとに設定されたマスク画像と、消失した商品を表すマスク画像が表示される。

次に、人物の属性別のマスク画像および商品の変化状態（消失および出現）のマスク画像を設定する操作について説明する。図１４は、モニタ４に表示されるマスク画像設定画面を示す説明図である。

このマスク画像設定画面は、人物の属性別にマスク画像を設定するとともに、商品の変化状態（消失および出現）のマスク画像を設定するものであり、このマスク画像設定画面には、人物設定部１０１と、商品設定部１０２と、設定内容表示部１０３と、が設けられている。

人物設定部１０１には、第１実施形態（図５参照）と同様に、人物属性選択部１０４と、マスク画像選択部１０５と、設定ボタン１０６と、が設けられており、人物属性選択部１０４で人物の属性（性別および年齢）を選択し、マスク画像選択部１０５で人物の属性に対応するマスク画像を選択して、設定ボタン１０６を操作すると、設定内容表示部１０３に、設定内容、すなわち属性別のマスク画像が表示される。

商品設定部１０２には、変化状態選択部１０７と、マスク画像選択部１０８と、設定ボタン１０９と、が設けられている。変化状態選択部１０７では、変化状態（消失および出現）をプルダウンメニューによりユーザが選択する。マスク画像選択部１０８では、変化状態選択部１０７で選択した変化状態に対応するマスク画像をタイルメニューによりユーザが選択する。この変化状態選択部１０７およびマスク画像選択部１０８で変化状態とこれに対応するマスク画像を選択して、設定ボタン１０９を操作すると、設定内容表示部１０３に、設定内容、すなわち商品の変化状態のマスク画像が表示される。

次に、映像出力制御部３４で行われる処理の概要、および図１３に示したモニタリング画面の映像表示部４８に表示される映像について説明する。図１５および図１６は、図１３に示したモニタリング画面の映像表示部４８の要部を示す説明図である。

この第３実施形態では、第１実施形態（図６（Ａ）参照）と同様に、通常再生モードでは、カメラ１による撮影映像がそのまま映像表示部４８に表示され、マスク画像設定を行った後のマスク再生モードでは、図１５（Ａ），（Ｂ）に示すように、人物の画像領域をマスク画像に変更した出力映像が表示される。

ここで、図１６（Ａ−１）に示すように、陳列棚の前の顧客が商品を持ち去り、図１６（Ａ−２）に示すように、陳列棚から商品が消失すると、背景画像解析部９１において商品の消失を検知し、映像出力制御部３４において、背景画像上の消失した商品の画像領域をマスク画像に変更する処理が行われる。これにより、マスク再生モードでは、図１６（Ｂ）に示すように、商品が存在した位置にマスク画像が表示される。

なお、商品の変化状態（消失および出現）を表すマスク画像や強調表示は、商品の変化（消失および出現）の時点から所定の時間が経過したところで表示を終了するようにするとよい。また、商品のマスク画像は、人物のマスク画像と同様に、商品の領域情報（商品の画像領域の位置情報）から、商品の画像領域の輪郭線を生成し、その輪郭線の内部を透過性の画像で塗り潰したものとする。

以上のように第３実施形態では、属性別にマスク画像が表示されるため、映像に登場する人物の属性を簡単に把握することができ、これにより、人物の属性ごとに人物の行動傾向を把握する作業を効率的に行うことができる。そして、物品の変化（消失および出現の少なくともいずれか）が識別可能に表示されるため、変化する物品をユーザが識別することができ、これにより、人物の行動とともに商品の変化状況を把握する作業をユーザが効率的に行うことができる。

なお、この第３実施形態では、商品の消失および出現の双方を検知して、消失および出現の双方を識別可能に表示した出力映像を生成するようにしたが、商品の消失および出現のいずれか一方のみを対象としてもよい。

図１７は、モニタ４に表示されるモニタリング画面の別の例を示す説明図である。前記の例では、全方位カメラであるカメラ１による撮影映像をパノラマ展開した映像を映像表示部４８に表示させるようにしたが、この図１７に示す例では、全方位カメラであるカメラ１による撮影映像をそのまま表示させるようにしている。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、第１〜第３の各実施形態では、コンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗に適用することも可能である。さらに、店舗以外の監視エリアを対象とした用途も可能である。

また、第１〜第３の各実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。

また、第１〜第３の各実施形態では、背景画像上に人物ごとのマスク画像を重畳した出力映像を生成するようにしたが、マスク画像のみを表示させ、背景画像を表示させない構成も可能である。

また、第１〜第３の各実施形態では、必要な設定事項をプルダウンメニューやタイルメニューの選択により入力するようにしたが、これに限定されるものではなく、適宜な入力部を画面に設ければよく、ラジオボタンなどで選択するようにしたり、数値を直接入力することができるようにしたりしてもよい。

また、第１〜第３の各実施形態では、それぞれに特徴のある種々の構成を示したが、これらの構成は、第１〜第３の各実施形態で示した組み合わせに限定されるものではなく、第１〜第３の各実施形態で別々に示した構成を適宜に組み合わせることも可能である。

また、第１〜第３の各実施形態では、モニタリングに必要な処理を、店舗に設けられたＰＣ３に行わせるようにしたが、この必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ２１に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置でモニタリングシステムが構成される。

このような構成では、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、店舗に設けられたＰＣ３に行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。

また、モニタリングに必要な処理のうち、少なくとも演算量が大きな処理、例えば人物検出処理を、クラウドコンピュータ２１に行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、ユーザが負担するコストを軽減することができる。

また、クラウドコンピュータ２１に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも映像出力制御処理をクラウドコンピュータ２１に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン２２やタブレット端末２３などの携帯型端末でも映像を表示させることができるようになり、これにより店舗や本部の他に外出先などの任意の場所で店舗内の状況を確認することができる。

また、本実施形態では、店舗に設置されたＰＣ３にモニタリングに必要な処理を行わせるとともに、ＰＣ３のモニタ４にモニタリング画面やマスク画像設定画面を表示させて、ＰＣ３で必要な入力および出力を行うようにしたが、モニタリングに必要な処理を行う情報処理装置とは別の情報処理装置、例えば本部に設置されたＰＣ１１やタブレット端末２３などの携帯型端末で必要な入力および出力を行うようにしてもよい。

また、近年、モニタとして高画質化を追及した４Ｋテレビなどが開発されており、このような４Ｋテレビに対応したカメラを採用することで、人物の識別性能を高めることができ、人物が多数存在するような環境下でも、ユーザはマスク再生映像から人物の行動傾向を容易に把握することができる。

本発明にかかるモニタリング装置、モニタリングシステムおよびモニタリング方法は、人物の属性別に人物の行動傾向を把握する作業をユーザが効率的に行うことができる効果を有し、監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。

１ カメラ
２ レコーダ
３ ＰＣ
４ モニタ
６ 入力デバイス
１２ モニタ
２１ クラウドコンピュータ
２２ スマートフォン
２３ タブレット端末
３２ 人物画像解析部
３３ 背景画像処理部
３４ 映像出力制御部
３５ マスク画像設定部
３７ 人物検出部
３８ 属性判定部
７１ 日時設定部
９１ 背景画像解析部

本発明のモニタリング装置は、監視エリアを撮影した動画映像から検出された人物の画像領域をマスク画像に変更したマスク映像を生成して出力するモニタリング装置であって、前記動画映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記動画映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、前記属性別の前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの輪郭線を生成し、この輪郭線内部を前記属性別の前記マスク画像に変更した前記マスク映像を生成して出力する映像出力制御部と、を備え、前記マスク映像の再生により人物の行動傾向を把握可能とした構成とする。

また、本発明のモニタリングシステムは、監視エリアを撮影した動画映像から検出された人物の画像領域をマスク画像に変更したマスク映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記動画映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記動画映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、前記属性別の前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの輪郭線を生成し、この輪郭線内部を前記属性別の前記マスク画像に変更した前記マスク映像を生成して出力する映像出力制御部と、を備え、前記マスク映像の再生により人物の行動傾向を把握可能とした構成とする。

また、本発明のモニタリング方法は、監視エリアを撮影した動画映像から検出された人物の画像領域をマスク画像に変更したマスク映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記動画映像から人物を検出して人物ごとの領域情報を取得するステップ、および前記動画映像から検出された人物ごとの属性を判定するステップを有するステップと、前記属性別の前記マスク画像を設定するステップと、人物ごとの前記領域情報および前記属性に基づき、人物ごとの輪郭線を生成し、この輪郭線内部を前記属性別の前記マスク画像に変更した前記マスク映像を生成して出力するステップと、を有し、前記マスク映像の再生により人物の行動傾向を把握可能とした構成とする。

本発明によれば、人物ごとの輪郭線内部を属性別のマスク画像に変更したマスク映像が表示されるため、映像に登場する人物の属性を簡単に把握することができ、これにより、人物の属性ごとに人物の行動傾向を把握する作業をユーザが効率的に行うことができる。

前記課題を解決するためになされた第１の発明は、監視エリアを撮影した動画映像から検出された人物の画像領域をマスク画像に変更したマスク映像を生成して出力するモニタリング装置であって、前記動画映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記動画映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、前記属性別の前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの輪郭線を生成し、この輪郭線内部を前記属性別の前記マスク画像に変更した前記マスク映像を生成して出力する映像出力制御部と、を備え、前記マスク映像の再生により人物の行動傾向を把握可能とした構成とする。

これによると、人物ごとの輪郭線内部を属性別のマスク画像に変更したマスク映像が表示されるため、映像に登場する人物の属性を簡単に把握することができ、これにより、人物の属性ごとに人物の行動傾向を把握する作業をユーザが効率的に行うことができる。

また、第４の発明は、前記動画映像から背景画像を生成する背景画像処理部をさらに備え、前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記マスク映像を生成する構成とする。

また、第５の発明は、監視エリアを撮影した動画映像から検出された人物の画像領域をマスク画像に変更したマスク映像を生成して出力するモニタリングシステムであって、監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記動画映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記動画映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、前記属性別の前記マスク画像を設定するマスク画像設定部と、前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの輪郭線を生成し、この輪郭線内部を前記属性別の前記マスク画像に変更した前記マスク映像を生成して出力する映像出力制御部と、を備え、前記マスク映像の再生により人物の行動傾向を把握可能とした構成とする。

また、第６の発明は、監視エリアを撮影した動画映像から検出された人物の画像領域をマスク画像に変更したマスク映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記動画映像から人物を検出して人物ごとの領域情報を取得するステップ、および前記動画映像から検出された人物ごとの属性を判定するステップを有するステップと、前記属性別の前記マスク画像を設定するステップと、人物ごとの前記領域情報および前記属性に基づき、人物ごとの輪郭線を生成し、この輪郭線内部を前記属性別の前記マスク画像に変更した前記マスク映像を生成して出力するステップと、を有し、前記マスク映像の再生により人物の行動傾向を把握可能とした構成とする。

店舗に設置されたＰＣ３は、店舗内での人物や商品の状態を監視するモニタリング装置として構成され、このＰＣ３で生成したモニタリング情報を、ＰＣ３自身で閲覧することができ、さらに、本部に設置されたＰＣ１１に送信されて、このＰＣ１１でも閲覧することができ、ＰＣ３，１１がモニタリング情報を閲覧する閲覧装置として構成される。

Claims (6)

1. 監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリング装置であって、
   前記撮影映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記撮影映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、
   前記属性別の前記マスク画像を設定するマスク画像設定部と、
   前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、
   を備えたことを特徴とするモニタリング装置。
2. 前記マスク画像設定部は、前記属性ごとに前記マスク画像を選択するユーザの入力操作に応じて、前記属性別の前記マスク画像を設定することを特徴とする請求項１に記載のモニタリング装置。
3. 前記マスク画像は、前記属性に応じて、色、濃淡、パターン、および輪郭線の少なくともいずれかの表示要素を変更することで、前記属性を識別可能にしたことを特徴とする請求項１または請求項２に記載のモニタリング装置。
4. 前記撮影映像から背景画像を生成する背景画像処理部をさらに備え、
   前記映像出力制御部は、前記背景画像上に透過性の前記マスク画像を重畳した前記出力映像を生成することを特徴とする請求項１から請求項３のいずれかに記載のモニタリング装置。
5. 監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力するモニタリングシステムであって、
   監視エリアを撮影するカメラと、
   複数の情報処理装置と、
   を有し、
   前記複数の情報処理装置のいずれかが、
   前記撮影映像から人物を検出して人物ごとの領域情報を取得する人物検出部、および前記撮影映像から検出された人物ごとの属性を判定する属性判定部を有する人物画像解析部と、
   前記属性別の前記マスク画像を設定するマスク画像設定部と、
   前記人物画像解析部から出力された人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力する映像出力制御部と、
   を備えたことを特徴とするモニタリングシステム。
6. 監視エリアの撮影映像から検出された人物の画像領域をマスク画像に変更した出力映像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、
   前記撮影映像から人物を検出して人物ごとの領域情報を取得するステップ、および前記撮影映像から検出された人物ごとの属性を判定するステップを有するステップと、
   前記属性別の前記マスク画像を設定するステップと、
   人物ごとの前記領域情報および前記属性に基づき、人物ごとの画像領域を前記属性別の前記マスク画像に変更した前記出力映像を生成して出力するステップと、
   を有することを特徴とするモニタリング方法。

Images