JP2019114821A - 監視システム、装置、方法およびプログラム - Google Patents

Abstract

【課題】画像に対する視認性の低下を抑制しつつ、個人のプライバシー保護を実現する。【解決手段】監視システムは、カメラ装置６００と、カメラ装置６００で撮影された画像内において人物が写っている領域である人物領域を検出する人物領域検出部７０１と、人物領域に対して、人物領域の座標に対応づけられた奥行きまたは奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を行うプライバシー処理部７０２とを備える。【選択図】図１０

Description

本発明は、監視システム、画像に対してプライバシー処理を行う画像処理装置、画像処理方法および画像処理プログラムに関する。

駅の構内や交差点、デパートの店舗など、人が多く集まる場所にカメラ装置を設定して、混雑状況を監視する監視システムがある。このような監視システムのカメラ装置が撮影した画像には、大勢の人が写り込むが、それらの人のプライバシーを適切に保護する必要がある。

画像に対するプライバシー保護の要請を満たすために、画像内において人物が写っている領域である人物領域に対して空間解像度を減少させるなどのプライバシー処理を行うことが多く行われている。

しかし、画像内の全ての人物領域に対して、一律にプライバシー処理を行った場合、ぼかしが弱過ぎて手前に位置する人物におけるプライバシー保護が十分でなかったり、逆にぼかしが強すぎて、画像から混雑状況が把握できないといった問題が生じる。

画像にプライバシー処理を行う技術に関連して、例えば、特許文献１−３に記載の技術がある。

特許文献１には、ユーザ毎のプライバシー領域を予め定めておき、画像の配信を希望するユーザに応じて、配信を希望する領域内におけるそのユーザのプライバシー領域と他人のプライバシー領域とに対して、異なる画像処理レベルでプライバシー処理を行う技術が記載されている。

また、特許文献２には、画像から人物を検出して人物領域の位置情報を取得するとともに、該人物領域の状態（群衆か孤立）を表す領域状態を判定し、該領域状態に対応したマスク画像を設定する技術が記載されている。

また、特許文献３には、画像処理装置が、閲覧禁止多面体を画像に投影する際に、奥行き情報が閲覧禁止多面体の奥行き情報よりも大きいとされた画素を閲覧禁止とする一方、小さいとされた画素を閲覧可能とすることが記載されている。これにより、閲覧禁止としたい物体を閲覧できなくする一方で、該物体よりも手前にある、閲覧を制限する必要のない物体を閲覧できるようにしている。

また、本願発明に関連する技術として、特許文献４には、画像から群衆を検出する技術の一例が記載されている。また、特許文献５には、プライバシー処理の一例が記載されている。また、特許文献６−８には、画像から人の異常行動を検知する技術の例が記載されている。

国際公開２０１２／００４９０７号パンフレット 特開２０１５−２２２８８１号公報 特開２０１２−２３５７３号公報 国際公開２０１４／２０７９９１号パンフレット 特表２０１２−５０３８１７号公報 国際公開２０１５／０６８８５４号パンフレット 国際公開２０１５／０４０９２９号パンフレット 国際公開２０１４／１５５９２２号パンフレット

画像全体にプライバシー処理を行った場合、視認性が低下するといった課題が生じる可能性がある。

そこで、本発明は、画像に対する視認性の低下を抑制しつつ、個人のプライバシー保護を実現できる監視システム、画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明による監視システムは、カメラ装置と、カメラ装置で撮影された画像内において人物が写っている領域である人物領域を検出する人物領域検出部と、検出された人物領域に対して、当該人物領域の座標に対応づけられた奥行きまたは奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を行うプライバシー処理部とを備えたことを特徴とする。

本発明による画像処理装置は、カメラ装置で撮影された画像内において人物が写っている領域である人物領域を検出する人物領域検出部と、検出された人物領域に対して、当該人物領域の座標に対応づけられた奥行きまたは奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を行うプライバシー処理部とを備えたことを特徴とする。

本発明による画像処理方法は、カメラ装置で撮影された画像内において人物が写っている領域である人物領域を検出し、検出された人物領域に対して、当該人物領域の座標に対応づけられた奥行きまたは奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を行うことを特徴とする。

本発明による画像処理プログラムは、コンピュータに、カメラ装置で撮影された画像内において人物が写っている領域である人物領域を検出する処理、および検出された人物領域に対して、当該人物領域の座標に対応づけられた奥行きまたは奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を実行させることを特徴とする。

本発明によれば、画像に対する視認性の低下を抑制しつつ、個人のプライバシー保護を実現できる。

第１の実施形態の監視システムの例を示す構成図である。 群衆パッチの例を示す説明図である。 検出元の画像および人物領域の検出結果の例を示す説明図である。 画像内三次元情報の例を示す説明図である。 検出元の画像および人物領域の検出結果の他の例を示す説明図である。 第１の実施形態の監視システムの動作の一例を示すフローチャートである。 第２の実施形態の監視システムの例を示す構成図である。 第３の実施形態の監視システムの例を示す構成図である。 本発明の各実施形態にかかるコンピュータの構成例を示す概略ブロック図である。 本発明の概要を示すブロック図である。 本発明による監視システムの他の例を示すブロック図である。

実施形態１．
以下、本発明の実施形態について図面を参照して説明する。図１は、第１の実施形態の監視システムの例を示す構成図である。図１に示す監視システムは、カメラ装置１０と、画像処理装置２０とを備える。また、画像処理装置２０は、画像入力部２１と、人物領域検出部２２と、奥行き情報取得部２３と、プライバシー処理部２４と、画像出力部２５とを含む。

カメラ装置１０は、監視対象とされる領域を撮影するカメラ装置である。本実施形態の監視システムにおいて、カメラ装置１０は、駅の構内や交差点内、デパートの店舗内など、不特定多数の人物が写り込む可能性のある領域を撮影範囲に含む。

画像入力部２１は、カメラ装置１０から画像を取り込む。画像入力部２１は、画像とともに、該画像を撮影した際のカメラパラメータや、該画像と同時刻に該画像の撮影範囲を少なくとも一部含む範囲を対象とした人感センサの出力結果などがあればそれらも併せて入力してもよい。

人物領域検出部２２は、入力された画像内において、人物（特に頭部）が写っている領域を検出する。人物領域検出部２２は、例えば、入力された画像に対して、所定の群衆検出処理を実行し、群衆が検出された領域を人物領域としてもよい。なお、本発明における「群衆」には、人物が１人だけの場合も含まれる。

人物領域の検出方法としては、画像から人の顔を個別に認識してその領域を検出する方法以外の方法であれば特に問わない。例えば、一般に顔認識処理と呼ばれているような、画像から、顔を構成している目や鼻の特徴を示す特徴量を検出して顔が写っている領域を検出する方法は除かれる。人物領域の検出方法として、例えば、カメラ装置１０と連動する赤外線カメラ装置等を人感センサとして用い、そのような赤外線カメラ装置で撮影された、カメラ装置１０の同時刻および同撮影範囲の赤外画像を用いて、赤外画像の各画素に対応する実空間上の位置に人物がいるかどうかを判定する方法であってもよい。また、人物領域の検出方法として、例えば、検査用の光（検査光）を放射してその反射光の有無や減衰量を検知する受光素子を備えた測定装置等を人感センサとして用い、検査光の照射範囲に移動体（人物）がいるか否かを検出する方法であってもよい。そのような場合、例えば、撮影範囲内に所定間隔で測定装置を配備し、その位置情報を基に、撮影範囲内の人物も有無を検出してもよい。

また、人物領域の検出方法として、例えば、特許文献４に記載の方法を用いてもよい。特許文献４に記載の方法は、シュミレーション等により生成された群衆状態の局所画像（以下、群衆パッチという）を用意しておき、画像内の任意の矩形領域に対して群衆パッチとのパターンマッチングを行って画像内において群衆が写っている領域である群衆領域を検出する方法である。このとき、人物領域検出部２２は、群衆パッチとその群衆パッチにおける群衆状態（人物状態）を示す情報の組を教師データとして用いた機械学習により得られる識別器を利用して、画像から群衆領域を検出してもよい。

ここで、「局所」とは、検出対象となる画像の領域よりも小さな領域であることを意味する。そして、群衆状態の局所画像とは、そのような領域内に、群衆を構成する人物の基準となる部位（以下、基準部位という）の集合を表している画像である。以下、群衆状態の局所画像を、群衆パッチと表現する場合がある。群衆パッチには、基準部位以外の人物の部位が表されていてもよい。群衆パッチとして、様々な角度から見た基準部位の様々な数の集合を表している局所画像が用意されることが好ましい。その中でも、２以上の人物の基準部位を表している局所画像が用意されることが好ましい。

なお、特許文献４に記載の方法は、局所画像に複数の人物の基準部位を含ませているが、本発明では、群衆パッチとして、一人の人物のみの基準部位を表した局所画像が含まれていてもよい。これにより、一人の人物が写った領域であっても群衆領域として検出可能にできる。また、特許文献４に記載の方法では、基準部位について特に限定されないが、１人の人物のみによる群衆も検出する場合には、一人の人物の外形等の特徴がよく表されるよう、基準部位を、頭部や上半身といった顔よりも広い範囲の部位としてもよい。なお、２種類以上の基準部位が定められてもよい。

人物領域検出部２２は、検出対象となる画像上の全領域を網羅するように特定領域（矩形領域群）を設定してもよい。また、矩形領域とのパターンマッチングにおいて、人物領域検出部２２は、群衆パッチに対応づけられている基準部位のサイズと、カメラ装置１０の位置・姿勢・焦点距離・レンズ歪み等を示すカメラパラメータとに基づき、画像上の座標に応じて群衆パッチのサイズを変更してもよい。例えば、このようなカメラパラメータから画像内に写る人物の基準部位のサイズを導出することができる。この画像内の基準部位のサイズに合わせて、群衆パッチのサイズを拡大または縮小してもよい。このとき、定めた群衆パッチのサイズを、該座標に設定される矩形領域の大きさとしてもよい。また、他の例として、実空間上においてカメラから見て手前の領域が撮影される画像下部等では群衆パッチを大きく、奥の領域が撮影される画像上部では群衆パッチを小さくするなどが挙げられる。なお、矩形領域群はこれらの方法に限らず、自由に設定してもよい。また、矩形領域群は、重ねて設定されてもよい。

また、人物領域検出部２２は、特許文献４に記載されているように、群衆パッチに対応づけて、その局所画像内における群衆状態を示す情報を記憶しておくことにより、群衆パッチを用いて画像から検出された領域における群衆の状態（人数や向き等）を得ることも可能である。

人物領域検出部２２は、例えば、マッチングの結果、人物が写っていると判定された矩形領域全体を群衆領域として検出してもよい。また、例えば、人物領域検出部２２は、そのような矩形領域に対して周りに所定量を加えた領域や、該矩形領域内の一部の領域（およそ顔が存在しているとみなされる上半分など）を群衆領域としてもよい。

人物領域検出部２２は、そのようにして検出された群衆領域を人物領域としてその代表座標とサイズとを出力してもよい。人物領域の代表座標は、例えば、人物領域と判定された特定領域の中心座標であってもよい。なお、代表座標は２以上であってもよい。例えば、群衆パッチに、群衆状態を示す情報として、当該群衆パッチ内における頭部位置を示す情報が付与されている場合には、特定領域内における頭部位置のある座標を代表座標としてもよい。

図２は、群衆パッチの例を示す説明図である。また、図３は、検出元の画像および人物領域の検出結果の例を示す説明図である。なお、図３（ａ）は、検出元の画像の例を示す説明図であり、図３（ｂ）は、人物領域の検出結果を示す説明図である。図３（ｂ）において、網掛けの矩形領域が検出された人物領域を表している。なお、図３（ａ）や図３（ｂ）には、カメラ装置１０で取得された画像として、二値化画像が示されているが、人物等の輪郭を強調するためであって、該画像における階調数はいくつであってもよい。以下、他の画像例においても同様である。

人物領域検出部２２は、入力された画像を、特定領域（図中の矩形領域など）ごとに解析し、一人以上の人物が写っているか否かを、群衆パッチとのパターンマッチングにより判定してもよい。すなわち、人物領域検出部２２は、画像内に映る人物の顔を個別に認識するのではなく、画像内の特定領域に写る１人以上の人物の基準部位の組み合わせを１つのかたまりとして、予め用意した局所画像との比較照合により、認識する。このため、処理を簡素にすることができ、処理負荷を低減できる。

奥行き情報取得部２３は、画像内に含まれる各画素に対応する座標または該画像内の人物領域とされた座標（例えば、代表座標）における奥行き情報を取得する。

奥行き情報は、その座標が対応する実空間上の位置におけるカメラに対する距離である奥行きに関連する情報である。奥行き情報は、その座標が対応する実空間上の位置における奥行きそのものを示す情報であってもよいし、奥行きに関連する所定の指標を示す情報っであってもよい。後者の例としては、例えば、奥行きと相関のある情報や奥行きの大小を推定可能な情報であってもよい。そのような奥行き情報の一例としては、その座標を代表座標とする人物領域のサイズや該人物領域に含まれる人物の基準部位の大きさを示す情報が挙げられる。

なお、人物領域のサイズや基準部位の大きさを示す情報を奥行き情報として用いる場合、それらの情報を人物領域検出部２２が取得してもよい。その場合、奥行き情報取得部２３は省略可能である。

奥行き情報取得部２３は、例えば、カメラ装置１０のカメラパラメータから、対象座標の奥行き情報を取得してもよい。

例えば、奥行き情報取得部２３は、カメラ装置１０の高さ・俯角・水平視野角・対角視野角線といったカメラの位置姿勢に関するパラメータから、図４に示すようなカメラ装置１０で取得した画像内での基準物体の三次元的な大きさを示す画像内三次元情報を推定してもよい。

ここで、基準物体は、例えば、所定の高さをもった人物であってもよい。画像内三次元情報は、画像内での基準物体（例えば、身長が１６８ｃｍの人物）の位置（立地点）および高さ（頂点）に対応する２つの座標の組であってもよい。なお、画像内三次元情報は、大きさおよび位置が既知の特定の物体が画像内のどこにどのような大きさ（尺度）で写っているかを示す情報であればよい。

図４は、画像内三次元情報の例を示す説明図である。なお、図４（ａ）は、カメラ装置１０で取得した画像の例を示す説明図である。また、図４（ｂ）は、図４（ａ）に示した画像における画像内三次元情報の例を示す説明図である。図４（ｂ）には、画像内における基準物体の立地点および頂点に対応する座標組｛（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）｝が、３組示されている。

例えば、奥行き情報取得部２３は、カメラ装置１０のカメラパラメータを基に、図４（ｂ）に示すような画像内三次元情報を推定してもよい。または、奥行き情報取得部２３は、図４（ｂ）に示すような画像内三次元情報を、カメラ装置１０で取得された画像に対してユーザが指定することにより、画像内三次元情報を得てもよい。そのようにして得た画像内三次元情報を基に、該画像の対象座標における奥行きが推定できる。このとき、奥行き情報取得部２３は、対象とされる画素に人物の頭部が写ったとして、該人物の実空間上の位置を求めて、奥行きを求めてもよい。

プライバシー処理部２４は、画像内の人物領域に対してプライバシー処理を行う。このとき、プライバシー処理部２４は、人物領域の座標に対応づけられた奥行き情報により示される奥行きまたは奥行きに関連する指標に応じて、強さが異なるプライバシー処理を行う。プライバシー処理部２４は、例えば、人物領域の代表座標が対応する実空間上の位置を当該人物領域内の人物の実空間上の位置とし、該位置における奥行きまたは奥行きに関連する指標に応じて、プライバシー処理の程度（強弱）を変えて、プライバシー処理を行ってもよい。なお、以下では、奥行き情報が奥行きを示す場合を例にして説明するが、奥行き情報が奥行きに関連する指標を示す場合は、その指標の大小関係を奥行きの大小関係に置き換えて読めばよい。

なお、プライバシー処理部２４は、人物領域の代表座標に対応づけられた奥行き情報によって示される奥行きが大きい程、当該人物領域に対して弱いプライバシー処理を行い、奥行きが小さい程、当該人物領域に対して強いプライバシー処理を行う。また、プライバシー処理部２４は、奥行きが所定の閾値以上の場合に、第１のプライバシー処理を実施し、奥行きが所定の閾値未満の場合に第１のプライバシー処理よりも強い第２のプライバシー処理を実施することとしてもよい。

ここで、プライバシー処理の強さとは、ぼかしの程度のことを言う。つまり、プライバシー処理の強さとは、解像度の高低である。より具体的には、プライバシー処理が強いとは、処理後の画像が、プライバシー処理が弱い状態と比べて解像度がより低い画像となっていることを指し、プライバシー処理が弱いとは、処理後の画像が、プライバシー処理が強い状態と比べて解像度がより高い状態となっていることを指す。プライバシー処理の方法としては、例えば、特許文献５に記載の方法を利用できる。その際、弱いプライバシー処理では、強いプライバシー処理よりも狭い画素範囲に対して空間解像度を減少させる処理を行い、強いプライバシー処理では、弱いプライバシー処理よりも広い画素範囲に対して空間解像度を減少させる処理を行ってもよい。

図５は、検出元の画像および人物領域の検出結果の他の例を示す説明図である。なお、図５（ａ）には、カメラ装置１０で取得された画像として駅のホームを撮影した画像が示されている。図５（ａ）に示す画像には、破線の楕円で囲んだように主に４種類の人物領域が含まれている。図中のＰ１は、カメラから見てホーム最も手前側に一人でいる人物の人物領域の例である。Ｐ２は、ホーム中頃に一人でいる人物の人物領域の例である。Ｐ３は、ホーム奥側に一人でいる人物の人物領域の例である。Ｐ４は、ホーム奥側にいる複数いる人物の人物領域（群衆領域）の例である。また、図５（ｂ）には、図５（ａ）に示す画像に対する人物領域の検出結果が示されている。図５（ｂ）において、網掛けの矩形領域が検出された人物領域を表している。

図５（ｂ）に示す例では、奥行き情報として、各人物領域のサイズが入力されるものとする。そのような場合、プライバシー処理部２４は、例えば、画像下部に存在するような、相対的に大きい（所定のサイズ以上の）人物領域に対して、強いプライバシー処理を行い、画像上部に存在するような、相対的に小さい（所定のサイズ未満の）人物領域に対して、弱いプライバシー処理を行ってもよい。この場合、プライバシー処理部２４は、プライバシー処理の強さを、人物領域のサイズに応じて定められている変換ウィンドウサイズといった、プライバシー処理の強さに関するパラメータを用いて、プライバシー処理を行ってもよい。

なお、プライバシー処理の方法は特に限定されない。プライバシー処理部２４は、既知の方法を用いて、画像内の人物領域に対して、該領域の奥行き情報に基づき強弱を変更してプライバシー処理を行えばよい。また、奥行きが所定値以上の場合には、プライバー処理を実施しない構成とすることもできる。ここで所定値は、奥行きとして、プライバシー処理を実施しなくとも、プライバシーが保たれるのに十分な距離が確保されている値を任意に設定することができる。また、閾値を複数設定して、３段階等の多段階の判定を行うことも考えられる。一例として、奥行き＜第１の閾値の場合に、強いプライバシー処理である第１のプライバシー処理を実施し、第１の閾値≦奥行き≦第２の閾値の場合に、弱いプライバシー処理である第２のプライバシー処理を実施し、第２の閾値＜奥行きの場合に、プライバシー処理を実施しない構成とすることもできる。

画像出力部２５は、プライバシー処理部２４によってプライバシー処理が施された画像を出力する。ここで、画像出力部２５は、液晶ディスプレイ、小型端末（スマートフォン、タブレット）などであってもよい。

次に、本実施形態の動作を説明する。図６は、本実施形態の監視システムの動作の一例を示すフローチャートである。図６に示す例では、まず、画像入力部２１が、プライバシー処理の対象とする画像として、カメラ装置１０が撮影した画像を入力する（ステップＳ１０１）。このとき、画像入力部２１は、画像とともに、カメラパラメータを入力してもよい。

次に、人物領域検出部２２が、所定の群衆検出処理を用いて、画像から人物領域を検出する（ステップＳ１０２）。ここで、人感センサから得られる情報に基づいて、人物領域を検出する構成とすることもできる。具体的には、センシング範囲にカメラ装置１０で取得される画像の撮影領域を含む人感センサにより、人物がいる領域を特定し、特定された領域に対応する画像内の領域を人物領域として検出する。さらに、人物領域検出部２２は、人感センサと群衆検出処理とを用いて、人物領域を検出する構成とすることもできる。具体的には、人物領域検出部２２は、人感センサにより、人物がいる領域を特定し、特定した領域に対応する画像内の第１領域を特定する。その後、人物領域検出部２２は、第１領域に対して、所定の群衆検出処理を用いて、第１領域から人物領域を検出する構成とすることもできる。

次に、奥行き情報取得部２３が、人物領域の奥行き情報を取得する（ステップＳ１０３）。

次に、プライバシー処理部２４が、画像内の人物領域に対して、該領域の奥行き情報に基づいて強弱を変更して、プライバシー処理を行う（ステップＳ１０４）。

最後に、画像出力部２５が、プライバシー処理された画像を出力する（ステップＳ１０５）。

なお、上記の例では、ステップＳ１０２の処理の後にステップＳ１０３の処理を行うとしたが、ステップＳ１０３の処理タイミングはこの限りではない。例えば、監視システムは、ステップＳ１０３の処理を、ステップＳ１０２の処理と並列に行ってもよいし、カメラの位置姿勢が決定される毎といった所定のタイミングで行ってもよい。

以上のように、本実施形態によれば、カメラ装置１０で取得した画像から人物領域を検出して、検出された人物領域に対して、その奥行きまたは奥行きに関連する指標に応じて強弱が異なるプライバシー処理を行う。このため、画像に対する視認性の低下を抑制しつつ、個人のプライバシー保護を実現できる。また、プライバシー処理を行う範囲が限定されるため、処理負荷としても低減できる。また、画像に写った、１人以上の人物の基準部位の組み合わせを１つのかたまりとし、そのようなかたまりの特徴量に基づき人物領域を検出する方法や、人感センサを利用して人物領域を検出する方法を用いれば、さらに少ない処理負荷で、視認性の低下の抑制とプライバシー保護とを両立できる。

また、人感センサを利用して人物領域を検出する方法を用いた場合には、ポスター内の人物など、通常プライバシー保護が必要ない領域を、プライバシー処理の対象から除外できるといった効果も得られる。

また、図１では、１台のカメラ装置１０が示されているが、監視システムが備えるカメラ装置は１台に限定されない。例えば、監視システムは２台以上のカメラ装置１０と接続されていてもよい。

また、図１では、画像処理装置２０が画像出力部２５を含む例が示されているが、画像処理装置２０が画像出力部２５を含まない構成も可能である。その場合、画僧処理装置２０を、ネットワークを介して接続される所定のサーバ装置等にプライバシー処理を施した画像を出力する構成とすることもできる。

実施形態２．
次に、本発明の第２の実施形態について説明する。図７は、本実施形態の監視システムの例を示す構成図である。図７に示す監視システムは、図１に示す第１の実施形態と比べて、画像処理装置２０が、異常行動検知部２６をさらに含む点が異なる。

異常行動検知部２６は、入力された画像から人の異常行動を検知する。異常行動検知部２６は、例えば、人物領域検出部２２による解析の結果、人物状態を示す情報が得られる場合において、時系列上にある画像間で所定の集団的な人物の動きがあったか否かを判定して、異常行動を検知してもよい。

本実施形態における人物領域検出部２２は、例えば、人物領域の代表座標とサイズとともに、その人物領域における人物の数や向きの情報を、人物状態を示す情報として出力する。

そのような場合において、異常行動検知部２６は、画像から検出された各人物領域のこれらの情報を基に、時間的に前後する画像から人が集まる、散るなどの人物の集団としての流れを検知してもよい。そして、ある所定時間以内またはあるフレーム内の時系列上の画像間で、このような人物の集団的な流れにおいて凝集の度合いに所定量以上の変化が生じた場合に、異常行動を検知してもよい。

そのほかにも、回避行動や、以前に検知された集団と同じ集団や、うろつき行動が検知された場合に、異常行動が検知されたとしてもよい。ここで、回避行動の検知方法としては、例えば、特許文献６に記載の方法を利用できる。また、以前に検知された集団と同じ集団の検知方法としては、例えば、特許文献７に記載の方法を利用できる。また、うろつき行動の検知方法としては、例えば、特許文献８に記載の方法を利用できる。

なお、異常行動検知部２６は、人物領域検出部２２から得られる人物状態を示す情報を利用せずに、自らの処理のみで画像から異常行動を検知してもよい。その場合において、異常行動検知部２６は、異常行動検知用の照合画像を用意してもよい。

本実施形態において、プライバシー処理部２４は、例えば、異常行動検知部２６によって異常行動が検知された場合に、画像に対してプライバシー処理を行うようにしてもよい。

異常行動が検知された場合、普段は録画されるだけであった画像がモニターに表示されるようになるなど、通常時とは異なる開示がされる場合がある。通常時の開示範囲であればプライバシー処理は不要であるが、それとは異なる開示がされる場合にはプライバシー保護を行いたいといったことが考えられる。本実施形態によれば、異常行動が検知された時にだけ、プライバシー処理が行われるので、そのような場合においても適切に（自動でかつ即座に）対処できる。

一方で、プライバシー処理部２４は、例えば、異常行動検知部２６によって異常行動が検知された場合に、画像に対してプライバシー処理を行わないようにしてもよい。

異常行動が検知された場合、その原因となった人物を特定したいといった要望がある。本実施形態によれば、異常行動が検知されない通常状態時にはプライバシー処理を行い、異常行動が検知された時にだけ、プライバシー処理を行わないようにも構成できる。したがって、そのような場合においても適切に（自動でかつプライバシー処理を行う場合に比べてより迅速に）対処できる。

実施形態３．
次に、本発明の第３の実施形態について説明する。図８は、本実施形態の監視システムの例を示す構成図である。図８に示す監視システムは、図１に示す第１の実施形態と比べて、画像処理装置２０が、顔領域検出部２７をさらに含む点が異なる。

顔領域検出部２７は、入力された画像内における所定の一部の領域を対象に顔認識を行い、顔が存在する領域である顔領域を検出する。ここで、顔領域検出部２７が顔認識を行う領域は、人物領域検出部２２により人物領域として検出されなかった領域であってもよいし、画像内における領域のうち対応する実空間上の位置における奥行きが所定値以内の領域といったように、予め定められた条件に合致する領域であってもよい。

本実施形態におけるプライバシー処理部２４は、人物領域検出部２２により検出された人物領域だけでなく、顔領域検出部２７により検出された顔領域を対象にして、その奥行き情報に基づいてプライバシー処理を行う。

例えば、監視システムは、カメラ装置１０で取得された画像全体に対して、まず人物領域検出部２２に解析を行わせ、その結果、人物領域として検出されなかった領域に対して、顔領域検出部２７に解析を行わせてもよい。

また、例えば、監視システムは、カメラ装置１０で取得された画像内の領域を、対応する実空間上の位置における奥行きの大きさによって２つに分け、奥行きが大きい方の分割領域に対しては人物領域検出部２２に解析を行わせ、奥行きが小さい方の分割領域に対しては顔領域検出部２７に解析を行わせてもよい。なお、カメラパラメータが固定されている場合には、ユーザが画像の領域を２以上に分割して、各分割領域に対して解析手法を指定することも可能である。なお、解析手法の指定には、いずれの解析も行わないといった指定も可能である。ユーザは、例えば、画像内において顔の大きさが所定値よりも小さくなる領域に対して人物領域検出部２２に解析を行うように指定し、顔の大きさが所定値よりも大きくなる領域に対して顔領域検出部２７に解析を行うように指定してもよい。また、ユーザは、天井や壁などが写るだけで人物の顔が写らない領域に対しては、解析を行わないように指定してもよい。人物領域検出部２２および顔領域検出部２７は、そのようなユーザにより指定された領域のみを対象にして解析を行えばよい。

以上のように、本実施形態によれば、顔認識処理を組み合わせることにより、効率よく、プライバシー処理を行うことができる。

なお、上記の各実施形態の構成を組み合わせて用いることも可能である。例えば、第２の実施形態において、常時プライバシー処理を実施したり、異常行動が検知された場合にプライバシー処理を実施するか否かを指定できるようにしてもよい。また、例えば、第３の実施形態において、人物領域を検出する方法として顔員認識処理を組み合わせてもよい。なお、組み合わせのパターンはこの限りではない。

次に、本発明の各実施形態にかかるコンピュータの構成例を示す。図９は、本発明の各実施形態にかかるコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５とを備える。

上述の監視システムにおける各処理部（画像入力部２１や人物領域検出部２２や奥行き情報取得部２３やプライバシー処理部２４や画像出力部２５や異常行動検知部２６や顔領域検出部２７）は、例えば、画像処理装置２０として動作するコンピュータ１０００に実装されてもよい。その場合、それら各処理部の動作は、プログラムの形式で補助記憶装置１００３に記憶されていてもよい。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って各実施形態における所定の処理を実施する。

補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータは１０００がそのプログラムを主記憶装置１００２に展開し、各実施形態における所定の処理を実行してもよい。

また、プログラムは、各実施形態における所定の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで各実施形態における所定の処理を実現する差分プログラムであってもよい。

また、実施形態における処理内容によっては、コンピュータ１０００の一部の要素は省略可能である。例えば、プライバシー処理を施した画像をネットワークを介して接続されている他のサーバ等に出力する場合などは、ディスプレイ装置１００５は省略可能である。また、図９には図示省略しているが、実施形態における処理内容によっては、コンピュータ１０００は、入力デバイスを備えていてもよい。例えば、監視システムがカメラ装置１０で取得した画像の特定領域に対してユーザから解析手法の指示入力を受け付ける場合に、該指示を入力するための入力デバイスを備えていてもよい。

また、各装置の各構成要素の一部または全部は、汎用または専用の回路（Circuitry）、プロセッサ等やこれらの組み合わせによって実施される。これらは単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本発明による監視システムおよび画像処理装置の概要を説明する。図１０は、本発明による監視システムの概要を示すブロック図である。図１０に示すように、本発明による監視システムは、カメラ装置６００と、人物領域検出部７０１と、プライバシー処理部７０２とを備える。

人物領域検出部７０１は、カメラ装置６００で撮影された画像内において人物が写っている領域である人物領域を検出する。

プライバシー処理部７０２は、人物領域に対して、人物領域の座標に対応づけられた奥行き情報が示す奥行きまたは奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を行う。ここで、「奥行き」は、例えば、該画像内の少なくとも人物領域とされた座標が対応する実空間上の位置におけるカメラ装置に対する距離である。

このような構成により、画像に対する視認性の低下を抑制しつつ、個人のプライバシー保護を実現できる。

また、図１１に示すように、監視システムはさらに奥行き情報取得部７０３を備えていてもよい。

奥行き情報取得部７０３は、奥行きまたは該奥行きに関連する所定の指標を示す情報である奥行き情報を取得する。奥行き情報取得部７０３は、例えば、画像内の少なくとも人物領域の座標に対応する奥行きまたは該奥行きに関連する所定の指標を示す情報である奥行き情報を取得してもよい。

そのような構成において、プライバシー処理部７０２は、前記奥行き情報に応じて強さが異なるプライバシー処理を行ってもよい。

また、人物領域検出部７０１は、画像内に設定される特定領域ごとに、人物が写っているか否かを判定して、人物が写っていると判定された特定領域を人物領域として検出し、プライバシー処理部７０２は、検出された人物領域を単位に、プライバシー処理を行ってもよい。

また、人物領域検出部７０１は、特定領域に人物が写っているか否かを、人物の基準となる部位を含む局所画像を基に判定してもよい。

局所画像は、例えば、人物の基準となる部位であって、顔よりも広い範囲の部位の集合を表している画像であってもよい。

また、人物領域検出部７０１は、群衆を構成する２人以上の人物の基準となる部位を表現している局所画像を基に、特定領域に人物が写っているか否かを判定してもよい。

また、人物領域検出部７０１は、特定領域に人物が写っているか否かを、局所画像と局所画像における人物状態を示す情報の組を教師データとして用いた機械学習により得られる識別器を利用して、判定してもよい。

また、奥行きに関連する所定の指標として、人物領域のサイズまたは人物領域に含まれる上記の基準となる部位の大きさを用いてもよい。

また、人物領域検出部７０１は、画像内に異なるサイズの特定領域を設定してもよい。

また、人物領域検出部７０１は、センシング範囲にカメラ装置によって取得された画像の撮影領域を含む人感センサによって得られる情報を基に、該画像から人物領域を検出してもよい。

また、監視システムは、カメラ装置１０で取得された画像を解析して、該画像から人の異常行動を検知する異常行動検知部（例えば、上記の異常行動検知部２６）を備え、プライバシー処理部７０２は、異常行動が検知された場合に、プライバシー処理を行わずにカメラ装置によって取得された画像を表示してもよい。

以上、本実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明は、任意の画像に対して状況を把握可能な画質を維持しつつ、個人のプライバシーを保護する用途に好適に適用可能である。

１０ カメラ装置
２０ 画像処理装置
２１ 画像入力部
２２ 人物領域検出部
２３ 奥行き情報取得部
２４ プライバシー処理部
２５ 画像出力部
２６ 異常行動検知部
２７ 顔領域検出部
１０００ コンピュータ
１００１ ＣＰＵ
１００２ 主記憶装置
１００３ 補助記憶装置
１００４ インタフェース
１００５ ディスプレイ装置
６００ カメラ装置
７００ 画像処理装置
７０１ 人物領域検出部
７０２ プライバシー処理部
７０３ 奥行き情報取得部

Claims (13)

1. カメラ装置と、
   前記カメラ装置で撮影された画像内において人物が写っている領域である人物領域を検出する人物領域検出部と、
   前記人物領域に対して、前記人物領域の座標に対応づけられた奥行きまたは前記奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を行うプライバシー処理部とを備えた
   ことを特徴とする監視システム。
2. 前記奥行きまたは前記奥行きに関連する所定の指標を示す情報である奥行き情報を取得する奥行き情報取得部を備え、
   前記プライバシー処理部は、前記奥行き情報に応じて強さが異なるプライバシー処理を行う
   請求項１に記載の監視システム。
3. 人物領域検出部は、前記画像内に設定される特定領域ごとに、人物が写っているか否かを判定して、人物が写っていると判定された特定領域を人物領域として検出し、
   プライバシー処理部は、検出された前記人物領域を単位に、プライバシー処理を行う
   請求項１または請求項２に記載の監視システム。
4. 人物領域検出部は、特定領域に人物が写っているか否かを、人物の基準となる部位を含む局所画像を基に判定する
   請求項３に記載の監視システム。
5. 人物領域検出部は、群衆を構成する２人以上の人物の基準となる部位を表現している前記局所画像を基に、特定領域に人物が写っているか否かを判定する
   請求項４に記載の監視システム。
6. 人物領域検出部は、特定領域に人物が写っているか否かを、前記局所画像と前記局所画像における人物状態を示す情報の組を教師データとして用いた機械学習により得られる識別器を利用して、判定する
   請求項４または請求項５に記載の監視システム。
7. 前記奥行きに関連する所定の指標として、人物領域のサイズまたは人物領域に含まれる前記部位の大きさを用いる
   請求項４または請求項５に記載の監視システム。
8. 人物領域検出部は、前記画像内に、異なるサイズの特定領域を設定する
   請求項３から請求項７のうちのいずれか１項に記載の監視システム。
9. 人物領域検出部は、センシング範囲に前記カメラ装置によって取得される画像の撮影領域を含む人感センサによって得られる情報を基に、前記画像から人物領域を検出する
   請求項１から請求項８のうちのいずれか１項に記載の監視システム。
10. 前記画像を解析して、前記画像から人の異常行動を検知する異常行動検知部を備え、
    プライバシー処理部は、前記異常行動が検知された場合に、プライバシー処理を行わない
    請求項１から請求項９のうちのいずれか１項に記載の監視システム。
11. カメラ装置で撮影された画像内において人物が写っている領域である人物領域を検出する人物領域検出部と、
    前記人物領域に対して、前記人物領域の座標に対応づけられた奥行きまたは前記奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を行うプライバシー処理部とを備えた
    ことを特徴とする画像処理装置。
12. カメラ装置で撮影された画像内において人物が写っている領域である人物領域を検出し、
    前記人物領域に対して、前記人物領域の座標に対応づけられた奥行きまたは前記奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理を行う
    ことを特徴とする画像処理方法。
13. コンピュータに、
    カメラ装置で撮影された画像内において人物が写っている領域である人物領域を検出する処理、および
    前記人物領域に対して、前記人物領域の座標に対応づけられた奥行きまたは前記奥行きに関連する所定の指標に応じて強さが異なるプライバシー処理
    を実行させるための画像処理プログラム。