JP2011250363A - 映像監視装置 - Google Patents

Abstract

【課題】遠近感のある監視対象領域を、重複領域を持つ二つの画像として捉え、合成画面上での遠近感を解消するとともに、二つの画像情報を漏れなく表示できる合成画像を作成するとともに表示部に表示する映像監視装置を提供する。
【解決手段】監視カメラ３ｂで撮った奥行き側画像を取り込んで縮小させて合成画像上での配置を決定する奥行き側画像変換部４ｂ、監視カメラ３ａで撮った手前側画像を取り込んで、奥行き側画像と重なる重複部、重ならない非重複部にエリア分割し、重複部を拡大するとともに、非重複部を縮小する手前側画像変換部４ａ、変換した手前側、奥行き側画像を取り込んで、被写体の大きさと位置を揃えて重ね合わせ、合成画像を得る画像合成処理部４ｃよりなる画像処理部４を映像監視装置１００に設ける。
【選択図】図３

Description

本発明は、監視対象領域を撮影した複数の画像を加工して合成し、一つの合成画像として表示する映像監視装置に関する。

駅のホームの手前および奥行き側の映像（画像）を、異なる位置から重複領域をもつように撮影し、手前側の画像に、奥行き側の画像の大きさを揃え、同じ被写体が同じサイズで表示されるように画像変換した上で、重複領域に所定の透過率で重ね合わせて合成画像を得ていた（例えば、特許文献１参照）。

特開２００８−１９９５０５号公報

従来の映像監視装置は、監視対象領域の複数の画像を、一つの画像に合成することができるが、奥行き側画像を手前側画像内に小さくはめ込む状態となるため、目視する画面上での奥行き側画像のサイズが小さくなり、目視による観察がしにくくなるという問題があった。

本発明は、上記のような問題を解決するためになされたものであり、目視する画面上での奥行き側画像を、目視が容易なサイズに変換するとともに、監視対象領域の欠落部が生じないように、かつ遠近感を解消できるように手前側画像を加工し、合成画像を得ることを目的としている。

この発明に係わる映像監視装置は、監視対象領域である第一の監視エリアを撮影する第一の監視カメラ、上記監視対象領域であり、上記第一の監視エリアとの重複領域を持つ第二の監視エリアを撮影する第二の監視カメラ、上記第一の監視カメラが撮影した上記第一の監視エリアの、第一の画像を取り込み、上記第一の画像を、上記第二の監視エリアと重なる領域を含む重複部と、上記重複部以外の非重複部に分割し、上記重複部を拡大するとともに、上記非重複部を縮小して画像変換を行い、第一の変換画像を得る第一の画像変換部、上記第二の監視エリアの、第二の画像を取り込み、上記第一の変換画像の被写体の大きさに揃えるように、上記第二の画像の表示倍率を変更して画像変換を行い、第二の変換画像を得る第二の画像変換部、上記第一、第二の変換画像を取り込み、上記第一の変換画像の上記重複部に、上記第二の変換画像を重ね合わせた合成画像を得る画像合成処理部、上記合成画像を表示する表示部を備えたものである。

この発明の映像監視装置によれば、第一、第二の画像の重複部と非重複部のそれぞれにおいて拡大、縮小の画像変換をするため、目視が容易なように重複部を拡大した場合においても、非重複部を縮小させる画像変換を行うことができ、表示部上の合成画像に、非重複部を縮小させなかった場合と比べて、より多くの第一の画像の情報を表示することが可能となる。

本発明の実施の形態１による監視カメラによる監視エリアの撮影状況を示す説明図である。 本発明の映像監視装置と駅施設との配置の関連を示す構成図である。 本発明の映像監視装置の構成図である。 本発明の説明に必要な映像合成に関する図である。 本発明の説明に必要な映像合成に関する図である。 本発明の映像監視装置によって得た映像をエリア分割する説明図である。 本発明による分割エリアの画像変換処理の説明図である。 本発明による別の分割エリアの画像変換処理の説明図である。 本発明による、また別の分割エリアの画像変換処理の説明図である。 本発明による、手前側変換画像を示す図である。 本発明の映像監視装置によって得た奥行き側画像を、手前側変換画像に合成する説明図である。 本発明の映像監視装置によって得た合成画像を示す図である。

実施の形態１．
次に、この発明の実施の形態１について、図１〜１２を用いて説明する。
図１は、この発明の映像監視装置を構成する監視カメラが、駅施設のホーム近傍に設置された状態を示す図であり、監視カメラによる監視エリアの撮影状況を示す説明図である。
図１に示すように、ホーム１には列車車両２ａと、列車車両２ａに連結された列車車両２ｂが乗り入れられている。図１の図中左側（後述する車掌（モニタ観察者）６および表示部５の位置）から見て、ホーム１の手前側に列車車両２ａが、奥行き側に列車車両２ｂが停止している。これら列車車両２ａ、２ｂと、列車の乗降口から乗客が乗り降りするホーム１の領域が、監視対象領域となる。ホーム１の手前側に配置された監視カメラ３ａは、主に列車車両２ａの乗降口が設けられた側面およびそれ以遠の奥行き側と、向かい合うホーム１を撮像するものであり、ホーム１の奥行き側に配置された監視カメラ３ｂは、主に列車車両２ｂの乗降口が設けられた側面と向かい合うホーム１を撮像するものである。このように監視カメラ３ａ、３ｂで撮影した場合、監視カメラ３ａで撮影する領域（第一の監視エリア）と、監視カメラ３ｂで撮影する領域（第二の監視エリア）に重複する領域（重複領域）が生じた状態となる。この重複領域上の所定の位置で、第一、第二の監視エリアを撮影して得られる第一、第二の画像を合成する際に被写体のサイズを揃えるように画像変換処理を行うものである。

図２に本発明の映像監視装置の概略構成図を、駅施設の配置に関連させて示し、図３に映像監視装置の構成ブロック図を示す。映像監視装置１００は、ホーム１およびホーム１に乗り入れた列車２の列車車両２ａおよび２ｂとそれら車両へ乗降するためのホーム１の領域を監視対象としており、監視対象領域の画像を得るための撮像部３は、監視カメラ３ａ、３ｂで構成される。より詳しくは、監視対象領域である列車車両２ａおよび同車両に乗降するためのホーム１とその周辺並びにそれ以遠の奥行き領域（第一の監視エリア）を撮影する手前側の監視カメラ（第一の監視カメラ）３ａ、列車車両２ｂおよび同車両に乗降するためのホーム１とその周辺並びにそれ以遠の奥行きを含む領域であり、第一の監視エリアとの重複領域を持つ領域（第二の監視エリア）を撮影する奥行き側の監視カメラ３ｂ（第二の監視カメラ）によって撮像部３が構成される。

次に、監視カメラ（第一、第二の監視カメラ）３ａ、３ｂにて得た画像データを取り込み、変換処理する画像処理部４について説明する。画像処理部４は、監視カメラ３ａが撮影した第一の監視エリアの、第一の画像（手前側画像）を取り込み、その第一の画像を、第二の監視エリアと重なる領域を含む重複部と、重複部以外の非重複部に分割し、重複部
を拡大するとともに、非重複部を縮小して画像変換を行い、第一の変換画像（手前側変換画像）を得る第一の画像変換部（手前側画像変換部）４ａ、第二の監視エリアの、第二の画像（奥行き側画像）を取り込み、第一の変換画像の被写体の大きさに揃えるように、第二の画像の表示倍率を変更して画像変換を行い、第二の変換画像（奥行き側変換画像）を得る第二の画像変換部（奥行き側画像変換部）４ｂ、第一、第二の変換画像を取り込み、第一の変換画像の重複部に、第二の変換画像を重ね合わせた合成画像を得る画像合成処理部４ｃによって構成される。
さらに、合成画像を表示する合成画像表示部（表示部）５が、ホーム１上の他端側（すなわち手前側）に立って乗降客の安全確認をする車掌６から目視可能な位置に配置される。なお、手前側画像変換部４ａにおいて手前側画像を取り込んで画像変換する場合で、手前側画像に、合成画像として表示する必要がない領域が含まれている時は、表示が必要な領域のみを表示選択領域として残し、不要領域を削除することもでき、奥行き側画像変換部４ｂの場合も同様に、奥行き側画像の表示領域を選択することが可能である。

ここで、この発明に到るまでの発明者らによる考察について説明する。図４は本発明の説明に必要な画像合成に関する従来技術を示す図である。図４（ａ）は監視カメラ３ｂで撮影した奥行き側画像３２を、図４（ｂ）は監視カメラ３ａで撮影した手前側画像３１をそれぞれ示しており、図４（ｃ）は、手前側画像３１を当倍で表示し、奥行き側画像３２を縮小して得た奥行き側変換画像３２ａを、被写体の大きさと位置（重複領域の所定の位置）を揃えて重ね合わせて表示させた場合の合成画像３３を示している。合成画像３３から分かるように、手前側画像３１は当倍で表示されるため、手前側の列車車両２ａ前のホーム１に立って両手を上に挙げている人物２０ａは、合成画像内において比較的大きなサイズで表示されるため、車掌６による目視確認が容易であるが、奥行き側の列車車両２ｂ前のホーム１に立って手を下ろしている人物２０ｂは、奥行き側変換画像３２ａが縮小表示されているために、縮小倍率に従って小さなサイズで表示されるため、車掌６による目視確認がし難いことが分かる。

そこで、発明者らは、手前側画像３１の、奥行き側画像３２をはめ込む領域を拡張させることで、奥行き側画像３２を、図４（ｃ）の合成画像３３で示した奥行き側画像３２ａより大きな比率となるように表示部５上（合成画像上）に表示できるようにし、監視対象領域の奥行き側の領域における目視を容易にすることについて検討を行った。
図５は本発明の説明に必要な画像合成に関する図であり、手前側画像３１の、ホーム１の奥行き側領域を拡大加工する画像変換説明図である。
ホーム１の奥行き側領域を拡大表示するには、図５（ａ）に示すように、手前側画像３１の列車車両２ａの奥行き側端部のホーム１と交わる下端部（点Ｂ）を、図５（ｂ）に示すように、より下方の点Ｂ_１に移動させることで、列車車両２ａの奥行き側端部の上下方向を拡張させることができ、ホーム１の奥行き側エリアを加工（変換）前よりも広く表示させることが可能となる。

しかし、図５（ａ）中の点Ａ、Ｂ、Ｃ、Ｄで囲まれた四角形状の領域を、図５（ｂ）中の点Ａ、Ｂ_１、Ｃ、Ｄで囲まれた四角形状に移動するように、手前側画像３１全体の平面射影変換を行うと、図５（ｃ）の手前側変換画像４０に示すように、点Ｂの点Ｂ_１への移動にあわせてホーム１の手前側が回転を伴なうように大きく歪む。そのため、図５（ａ）にて表示されていた人物２０ａより手前側のホーム1の欠落エリア３１ｃが、変換後の手
前側変換画像４０には表示されなくなってしまう。なお、ホーム１上の３つの丸印は、変換後の画像の変形を理解しやすくするために付した印であり、ホーム１の長さ方向に垂直な線上（図中、横方向）に、それぞれが離間して配置された印である。この丸印は、変換前の手前側画像３１上では、ホーム１上で横一列に表示されているが、変換後の手前側変換画像４０上では、ホーム１が回転を伴うように変形することを受けて、３つの丸印の並びが左下側に傾く状態となり、結果的に、奥行き画像を配置するエリアを拡大することは
できたものの、上述のとおり、人物２０ａの手前の欠落エリア３１ｃは、手前側変換画像３４上には表示されなくなってしまうという問題が生じることが分かった。

そこで、発明者らは、手前側画像３１上での奥行き側画像３２に相当する表示領域よりも大きくなるように、奥行き側画像３２の表示領域を調節するとともに、図５で示したような欠落エリア３１ｃを発生させることがない画像変換の手法について検討を行い、図１〜図３で示した映像監視装置１００を用いることで、それらが可能となることを見出した。
図３の映像監視装置１００の構成である画像処理部４での加工手法についてより詳細に説明する。

監視カメラ３ｂで撮影した奥行き側画像３２を取り込む奥行き側加工処理部４ｂでは、図４（ａ）に示した奥行き側画像３２のうち、合成画像に表示させたい領域を選択し（表示領域選択）、奥行き側画像の形状を決定する。この処理によって、例えば、ホーム１の終端部よりもさらに奥側となる、ホームが無い領域をカットし、乗客の乗降が見られる領域のみに表示領域を限定することができる。このような表示領域選択処理を行うことで、合成画像上の表示領域を有効に利用することが可能となる。なお、奥行き側画像３２の全領域を選択することも可能であることは言うまでもない。そして、次に、選択された奥行き側画像３２のサイズを変更し、合成画像上での配置を決定する。このように加工された奥行き側画像３２のサイズおよび合成画像上での配置の情報（映像加工情報）を、手前側画像変換部４ｂに出力する。

次に、監視カメラ３ａで撮影した手前側画像３１を取り込む手前側画像変換部４ａでは、手前側画像３１の監視エリアとして必要な領域を選択する（表示領域選択）。手前側画像３１の全領域を選択することも可能である。
次に、手前側画像３１の画像分割（エリア分割）処理を行う。このエリア分割処理では、奥行き側画像変換部４ｂから得た、加工後の奥行き側画像（後述する、奥行き側変換画像３２ｂ）の合成画像上での配置データを元に、手前側画像３１を、まず、重複部と非重複部に分割する。重複部は、手前側画像３１と奥行き側画像３２の重複領域を含むとともに、加工後の奥行き側画像を重ね合わせる領域である。重複部以外の領域が非重複部となる。なお、非重複部は、画像の拡大または縮小処理を容易とするために、例えば、複数の四角形のエリアに分割される。
なお、合成画像の表示領域が一定であって、合成画像内で重複部が変換によって元の画像よりも拡大して表示されるため、合成画像上での非重複部は縮小されることになる。

この手前側画像３１のエリア分割を図６の画像分割説明図を用いて説明する。この図６の例では、非重複部は二つの四角形のエリアに分割される。なお、手前側画像３１の全領域が表示領域選択の際に選択されたものとする。
図６（ａ）では、ホーム１奥行き部分と列車車両２ｂを含む重複領域であり、奥行き側画像３２との重複部となる分割エリア１（４１）を斜線部で示している。分割エリア１（４１）は、図中の４点（Ａ、Ｂ、Ｆ、Ｅ）で囲まれた四角形状の領域である。
図６（ｂ）では、二つに分割された非重複部の一方のエリアあり、ホーム１の手前側の人物２０ａを含み、列車車両２ａの乗降口前となる分割エリア２（４２）を斜線部で示している。分割エリア２（４２）は、図中の４点（Ｂ、Ｃ、Ｇ、Ｆ）で囲まれた四角形状の領域である。
また、図６（ｃ）では、二つに分割された非重複部の他方のエリアであり、列車車両２ａの乗降口側の側面を含む分割エリア３（４３）を斜線部で示している。分割エリア３（４３）は、図中の４点（Ａ、Ｂ、Ｃ、Ｄ）で囲まれた四角形状の領域である。

本発明では、手前側画像変換部４ａにおいて、分割エリア毎に画像の加工処理を行うこ
とを特徴としている。図７にホーム奥行き側エリアの画像変換説明図を示す。図７（ａ）に示すように、分割エリア１（４１）が、４つの点Ａ、Ｂ、Ｆ、Ｅで囲まれている場合、図７（ｂ）に示すような、奥行き側画像変換部４ａで決定した、拡大された分割エリア１のサイズとなるように、点ＢをＢ_１に、点ＦをＦ_１に移動させ、縦方向に表示エリアを拡大するように画像変換を行い、加工後分割エリア１（４１ａ）を得る。加工後分割エリア１（４１ａ）は、Ａ、Ｂ、Ｆ、Ｅの４点で囲まれた四角形に、Ｂ、Ｂ_１、Ｆ_１、Ｆの４点で囲まれた四角形を加えたエリアとなる。

次に、図８にホーム手前側エリアの画像変換説明図を示す。加工後分割エリア１（４１ａ）が、縦方向に拡大するように変換されたことを受けて、分割エリア２（４２）では、図８（ａ）に示すように、４つの点Ｂ、Ｃ、Ｇ、Ｆで囲まれた領域が、図８（ｂ）に示すように、点ＢをＢ_１（図７の点Ｂ_１に合致）に、点ＦをＦ_１（図７の点Ｆ_１に合致）に変更して、縦方向に表示エリアを縮小するように画像変換を行い、加工後分割エリア２（４２ａ）を得る。加工後分割エリア２（４２ａ）は、図８（ａ）のＢ、Ｃ、Ｇ、Ｆの４点で囲まれた台形の領域から、Ｂ、Ｂ_１、Ｆ_１、Ｆの４点で囲まれた四角形と、Ｂ、Ｂ_１、Ｃの３点で囲まれた三角形の領域を差し引いたエリアとなる。

また、図９に列車車両側エリアの画像変換説明図を示す。上記の場合と同様に、分割エリア３（４３）でも、図８（ａ）の点ＢがＢ_１に移動することに伴って、図９（ａ）に示すように、Ｂ、Ｂ_１、Ｃの３点で囲まれた三角形の領域が、元のＡ、Ｂ、Ｃ、Ｄの４点で囲まれた四角形の領域に足されて、点Ａ、Ｂ_１、Ｃ、Ｄで囲まれた台形の、加工後分割エリア３（４３ａ）が得られる。
このように、非重複部を二つの四角形（台形）のエリアに分割して画像変換した場合、一方のエリアにおいては、加工後の分割エリアが拡大する場合がある。しかし、全ての非重複部を合算した場合には、重複部において表示面積が拡大した分だけ、非重複部が縮小するように処理がなされる。
なお、本発明は画像変換の手法を限定するものではないが、例えば、平面射影変換を用いれば上記のような変換を実現できる。

次に、図７、図８、図９で示した、加工後分割エリア１、２、３（４１ａ、４２ａ、４３ａ）を一つの手前側変換画像３１ａとして図１０に示す。
上述の図５で示したように、画像中の一つの分割エリアの変換処理に伴って、全画像領域を同様に変換処理した場合では、変換後に欠落エリア３１ｃが生じていたが、図１０に示すように、本願発明では、分割後の各エリア毎に変換を行うことで、各エリアを囲む４点が、変換後に表示画像から外れて欠落しないように、元の監視エリアとして必要な全ての領域を表示できるように加工処理を行う。すなわち、手前側画像３１を囲む４つの点Ｅ、Ｇ、Ｃ、Ｄは、手前側変換画像３１ａに加工されても移動せず、画像内を区切る境界線が変更され、境界線の変更に伴って、各エリアが所定方向に拡大または圧縮されて表示されるものであるため、変換後の画像情報の欠落（漏れ）をなくすことができる。

画像処理部４の画像合成処理部４ｃでは、奥行き側画像変換部４ｂおよび手前側画像変換部４ａにおいて加工して得た奥行き側変換画像（後述する図１２で符号３２ｂで示される。）のデータと、手前側変換画像３１ａのデータを取り込み、図１１（ａ）の点Ａ（列車車両２ａ奥行き側上端部）と点Ｂ_１（列車車両２ａ奥行き側下端部）を、図１１（ｂ）の手前側変換画像３１ａの点Ａ、点Ｂ_１に合致させるように、被写体の大きさを揃えて、手前側変換画像３１ａに奥行き側変換画像３２ｂを嵌め込んで、図１２に示すような合成画像５０のデータを得る。合成画像５０上で二つの画像が重なる領域では、５０％の透過率で奥行き側画像上に手前側画像を重畳させるように画像を加工する。

合成画像５０のデータを、合成画像表示部（表示部）５において読み込み、モニタ画面
上に出力表示させることで、モニタの目視が容易となり、ホーム１の奥行きエリアの安全確認を、車掌６は的確に実行することができる。なお、図１１（ａ）の奥行き側画像３２の上方部に位置する非選択エリア３２ｃ（斜線部）は、乗降客の移動が想定されていない領域であり、奥行き画像変換部４ｂにおける表示領域選択時に非表示領域と認定される部分を示しているものである。

なお、本発明は、奥行き側変換画像３２ｂが表示される分割エリア１（４１ａ）を、画像変換前よりも大きな表示面積が得られるように変換することによって、表示部５上に表示された情報を確認し易くするものである。言い換えると、図７（ｂ）において示したＢ、Ｂ_１、Ｆ_１、Ｆの４点で囲まれた領域、若しくはこれに相当する領域が生じることによって目視容易化の効果を得ることができる。ここで、拡大表示の大きさの目安であるが、例えば、表示部５のモニタが縦横に広がる四角形の表示スペースを持つ場合、加工後分割エリア１（４１ａ）の大きさを、その表示画面の縦１／２、横１／２を占める領域以上とすることで、遠近感が強く出た映像でも、遠方の見え難さを解消することができる。少なくとも、監視対象領域の全域を撮影した全域画像に映し出された遠方領域の部分を、その全域画像上での表示サイズよりも大きく表示させられれば、目視の容易性が向上することは言うまでもない。なお、映像監視に必要となる情報の欠落を防止することができることは上述の通りである。

また、本発明によって、ホーム１の乗降確認が困難な箇所（例えば柱の影や、カーブしたホーム１の奥行き領域。）を撮影する複数台の監視カメラ３ａ、３ｂを用い、監視対象領域の死角をなくしつつ、１台のカメラ映像のようにリアルタイムに合成画像を作成して表示させることで、表示部５を構成するモニタ数を削減でき、車掌６による確認箇所を削減して、乗降確認作業の視認性と安全性の向上を図ることが可能となる。

１ ホーム ２ 列車
２ａ 列車車両（手前側） ２ｂ 列車車両（奥行き側）
３ 撮像部 ３ａ 監視カメラ（手前側）
３ｂ 監視カメラ（奥行き側） ４ 画像処理部
４ａ 奥行き側画像変換部 ４ｂ 手前側画像変換部
４ｃ 画像合成処理部 ５ 合成画像表示部
６ 車掌 ２０ａ 人物（手前側）
２０ｂ 人物（奥行き側） ３１ 手前側画像
３１ａ、４０ 手前側変換画像 ３１ｃ 欠落エリア
３２ 奥行き側画像 ３２ａ、３２ｂ 奥行き側変換画像
３２ｃ 非選択エリア ３３、５０ 合成画像
４１ 分割エリア１ ４１ａ 加工後分割エリア１
４２ 分割エリア２ ４２ａ 加工後分割エリア２
４３ 分割エリア３ ４３ａ 加工後分割エリア
１００ 映像監視装置。

Claims (6)

1. 監視対象領域である第一の監視エリアを撮影する第一の監視カメラ、上記監視対象領域であり、上記第一の監視エリアとの重複領域を持つ第二の監視エリアを撮影する第二の監視カメラ、上記第一の監視カメラが撮影した上記第一の監視エリアの、第一の画像を取り込み、上記第一の画像を、上記第二の監視エリアと重なる領域を含む重複部と、上記重複部以外の非重複部に分割し、上記重複部を拡大するとともに、上記非重複部を縮小して画像変換を行い、第一の変換画像を得る第一の画像変換部、上記第二の監視エリアの、第二の画像を取り込み、上記第一の変換画像の被写体の大きさに揃えるように、上記第二の画像の表示倍率を変更して画像変換を行い、第二の変換画像を得る第二の画像変換部、上記第一、第二の変換画像を取り込み、上記第一の変換画像の上記重複部に、上記第二の変換画像を重ね合わせた合成画像を得る画像合成処理部、上記合成画像を表示する表示部を備えたことを特徴とする映像監視装置。
2. 上記第一の監視エリアは、上記表示部が配置された位置から見た場合の、上記監視対象領域における手前側から奥行き側にかけて広がる部分に相当し、上記第二の監視エリアは、上記奥行き側部分に相当することを特徴とする請求項１記載の映像監視装置。
3. 上記第一の画像変換部は、上記重複部および上記非重複部のそれぞれが４点で囲われる四角形状となるように、上記第一の画像を分割するものであり、上記重複部または上記非重複部を囲う４点が、上記表示部に表示される範囲内に配置されるように画像変換処理を行うことを特徴とする請求項１記載の映像監視装置。
4. 上記第一の画像変換部は、上記第一の画像の上記非重複部を複数のエリアに分割し、分割した上記エリア毎に画像変換処理を行うことを特徴とする請求項１記載の映像監視装置。
5. 上記第一の画像変換部は、上記エリアが、４点で囲われる四角形状となるように上記非重複部を分割するものであり、上記エリアを囲う４点が、上記表示部にて表示される範囲内に配置されるように画像変換処理を行うことを特徴とする請求項４記載の映像監視装置。
6. 上記第一、第二の監視エリアは、駅施設のホームおよび上記ホームに乗り入れられた列車車両を監視対象とすることを特徴とする請求項１記載の映像監視装置。

Images