JP2018502504A

JP2018502504A - 複数のステレオカメラを用いた被写体空間移動追跡システム

Info

Publication number: JP2018502504A
Application number: JP2017533380A
Authority: JP
Inventors: フンイ、ジョン; ギュファン、イン; ユンキム、ド
Original assignee: Geospatial Information Technology Co ltd
Current assignee: Geospatial Information Technology Co ltd
Priority date: 2015-12-09
Filing date: 2016-12-09
Publication date: 2018-01-25
Also published as: WO2017099541A1; KR101619838B1; WO2017099541A8; CN107113403A; US20180278919A1

Abstract

被写体の動きを追跡するステレオカメラに関するものであって、複数個で構成されるステレオカメラと、前記複数のステレオカメラのそれぞれの撮影領域によって生成された深度マップを整合する空間データ合成部と、ステレオカメラの撮影領域に被写体が存在するか否かを判断する被写体感知部と、パンニング（Ｐａｎｎｉｎｇ）及びティルティング（Ｔｉｌｔｉｎｇ）を行って撮影方向が被写体に向かうように移動し、被写体を中心としてズーミング（Ｚｏｏｍｉｎｇ）を行うＰＴＺカメラと、前記ＰＴＺカメラを駆動する駆動制御部とで構成され、前記駆動制御部は、前記ステレオカメラの撮影範囲のうち、いずれか一点の位置を前記ＰＴＺカメラの角度とマッチングして初期値を設定し、被写体が感知されれば、被写体の中心座標に基づいて移動に必要なパン角とチルト角、及び被写体との距離によって算出されたズームレベルに合わせて前記ＰＴＺカメラを駆動する第１の方式と、３次元空間に対する撮影区域を設定し、設定されたそれぞれの区域に撮影方向が向かうように前記ＰＴＺカメラの駆動値を手動でプリセッティング（ｐｒｅ−ｓｅｔｔｉｎｇ）した後、被写体が感知された区域に対するプリセッティング値を呼び出して前記ＰＴＺカメラを駆動する第２の方式とを使用する複数のステレオカメラを用いた被写体空間移動追跡システムとする。【選択図】図１

Description

本発明は、測量技術分野のうち、ステレオカメラに関し、より詳細には、ＰＴＺカメラ及び複数個のステレオカメラを組み合わせて３次元空間に対するデジタル形態の論理構造を形成し、３次元空間に対する情報共有を介して被写体の動きに対する追跡が容易であり、被写体に対する３次元座標に基づいてＰＴＺカメラのパン、チルト、ズーム駆動値を設定することにより、精密な追跡が可能な複数のステレオカメラを用いた被写体空間移動追跡システムに関する。

一般に、住宅、デパート、銀行、展示場等の保安が求められる場所では、侵入、盗難、または火災などをはじめとする災害を予防・防止、若しくは速やかな処理のために、監視カメラ（ＣＣＴＶ；ＣｌｏｓｅｄＣｉｒｃｕｉｔＴｅｌｅｖｉｓｉｏｎ）を設置している。また、最近では、犯罪が頻繁に発生する地下駐車場や駐車違反取締まりなどのための道路等にも監視カメラが多く設置されている。

従来、監視カメラは、一定の部分だけを撮影できるという短所があり、これを解決するために、監視カメラを複数個で構成するか、特許文献１に開示されたように、魚眼レンズを装着したカメラを用いて撮影範囲を広げようとする努力が試みられている。しかしながら、このような場合にも、撮影範囲のみが広くなり、監視対象となる車両や人等の被写体の動きを追跡し続けるシステムに関する開発は不備な水準に至っている。
すなわち、従来の監視カメラを介して被写体の動きが感知されれば、被写体の情報（被写体が人である場合、顔、被写体が車両である場合、ナンバープレート）を取得するために、監視カメラと別に備えられる高解像度カメラを手動または自動で操作して被写体を撮影するが、このように、被写体の動きを感知するためのカメラ、そして、被写体の情報を取得するための高解像度カメラが個別的に動作することにより、３次元空間に対する情報共有がなされず、その結果、被写体追跡中に被写体が動き続ければ、再追跡が難しいという短所がある。

大韓民国特許登録番号１３１１８５９号（２０１３．０９．１７）「全方位カメラを用いた不法駐停車取締まりシステム及び取締まり方法」

本発明は、上記の問題点を解決するために創案されたものであって、ＰＴＺカメラ及び複数個のステレオカメラを組み合わせて３次元空間に対するデジタル形態の論理構造を形成し、３次元空間に対する情報共有を介して被写体の動きに対する追跡が容易であり、被写体に対する３次元座標に基づいてＰＴＺカメラのパン、チルト、ズーム駆動値を設定することにより、精密追跡が可能な複数のステレオカメラを提供することを発明の目的とする。

上記のような目的を達成するために創案された本発明は、複数個で構成され、互いに異なる方向に向けて固設されるステレオカメラと、前記複数のステレオカメラのそれぞれの撮影領域によって生成された深度マップを整合して３次元空間に対する情報共有がなされる空間地図を形成する空間データ合成部と、前記空間地図のポイントクラウドを分析して特定ポイントに変化が生じると、該ポイントに対応するステレオカメラの撮影領域に被写体が存在することと判断する被写体感知部と、パンニング（Ｐａｎｎｉｎｇ）及びティルティング（Ｔｉｌｔｉｎｇ）を行って撮影方向が被写体に向かうように移動し、被写体を中心としてズーミング（Ｚｏｏｍｉｎｇ）を行うＰＴＺカメラと、前記ステレオカメラの撮影範囲のうち、いずれか一点の位置を前記ＰＴＺカメラの角度とマッチングして初期値を設定し、被写体が感知されれば、被写体の中心座標に基づいて移動に必要なパン角とチルト角、及び被写体との距離によって算出されたズームレベルに合わせて前記ＰＴＺカメラを駆動する第１の方式と、３次元空間に対する撮影区域を設定し、設定されたそれぞれの区域に撮影方向が向かうように前記ＰＴＺカメラの駆動値を手動でプリセッティング（ｐｒｅ−ｓｅｔｔｉｎｇ）した後、被写体が感知された区域に対するプリセッティング値を呼び出して前記ＰＴＺカメラを駆動する第２の方式のうち、いずれか１つまたは前記第１及び第２の方式の組み合わせによって前記ＰＴＺカメラを駆動する駆動制御部とを備える複数のステレオカメラを用いた被写体空間移動追跡システムを提供する。

本発明の複数のステレオカメラを用いた被写体空間移動追跡システムによれば、被写体追跡中に再度被写体が動いても継続的な追跡が可能である。
また、ステレオカメラを使用することにより、被写体に対する３次元座標を抽出でき、これを介してＰＴＺカメラのパン、チルト、ズーム駆動値を設定することによって被写体に対する精密追跡が可能である。

本発明に係る複数のステレオカメラを用いた被写体空間移動追跡システムを概略的に示したブロック図本発明に含まれたステレオカメラ及びＰＴＺカメラの設置例示を示した説明図本発明に含まれたステレオカメラの撮影領域を平面的に示した説明図図３の撮影領域を３次元の深度マップで示した説明図図４に示された複数個の深度マップが１つに整合された３次元空間地図を示した説明図本発明に含まれたＰＴＺカメラを駆動するための第１の方式と第２の方式との説明図

本発明の１つの態様によって、複数個で構成され、互いに異なる方向に向けて固設されるステレオカメラと、前記複数のステレオカメラのそれぞれの撮影領域によって生成された深度マップを整合して３次元空間に対する情報共有がなされる空間地図を形成する空間データ合成部と、前記空間地図のポイントクラウドを分析して特定ポイントに変化が生じると、該ポイントに対応するステレオカメラの撮影領域に被写体が存在することと判断する被写体感知部と、パンニング（Ｐａｎｎｉｎｇ）及びティルティング（Ｔｉｌｔｉｎｇ）を行って撮影方向が被写体に向かうように移動し、被写体を中心としてズーミング（Ｚｏｏｍｉｎｇ）を行うＰＴＺカメラと、前記ステレオカメラの撮影範囲のうち、いずれか一点の位置を前記ＰＴＺカメラの角度とマッチングして初期値を設定し、被写体が感知されれば、被写体の中心座標に基づいて移動に必要なパン角とチルト角、及び被写体との距離によって算出されたズームレベルに合わせて前記ＰＴＺカメラを駆動する第１の方式と、３次元空間に対する撮影区域を設定し、設定されたそれぞれの区域に撮影方向が向かうように前記ＰＴＺカメラの駆動値を手動でプリセッティング（ｐｒｅ−ｓｅｔｔｉｎｇ）した後、被写体が感知された区域に対するプリセッティング値を呼び出して前記ＰＴＺカメラを駆動する第２の方式のうち、いずれか１つまたは前記第１及び第２の方式の組み合わせによって前記ＰＴＺカメラを駆動する駆動制御部とを備える複数のステレオカメラを用いた被写体空間移動追跡システムが提案される。

本発明の利点及び特徴、そして、それらを達成する技術などは、添付される図面とともに詳細に後述されている実施形態を参照すれば、明確になる。しかし、本発明は、以下において開示される実施形態に限定されものではなく、互いに異なる様々な形態で実現されることができる。本実施形態は、本発明の開示が完全なようにするとともに、本発明の属する技術分野における通常の知識を有した者に発明の範疇を完全に知らせるために提供されることができる。
本明細書において使用された用語は、実施形態を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。また、本明細書において言及された構成要素、段階、動作は、１つ以上の他の構成要素、段階、動作の存在または追加を排除しない。
一方、図面の構成要素は、必ず縮尺によって描かれたものではなく、例えば、本発明の理解を助けるために、図面の一部構成要素の大きさは、他の構成要素に比べて誇張されることができる。また、各図面にわたって表示された同一参照符号は、同一構成要素を指し、図示の簡略化及び明瞭化のために、図面は一般的構成方式を図示している、また、本発明の説明された実施形態の議論を不要に不明瞭なようにすることを避けるために、公知された特徴及び技術の詳細な説明は省略されることができる。

以下では、本発明を実現するための具体的な実施形態について図面を参照して詳細に説明する。
図１は、本発明に係る複数のステレオカメラを用いた被写体空間移動追跡システムを概略的に示したブロック図である。
図１は、本発明に係る複数のステレオカメラを用いた被写体空間移動追跡システムを概略的に示したブロック図であり、図２は、本発明に含まれたステレオカメラ及びＰＴＺカメラの設置例示を示した図である。

図１及び図２に示すように、本発明に係る複数のステレオカメラを用いた被写体空間移動追跡システム１００は、大別してステレオカメラ１１０、空間データ合成部１２０、被写体感知部１３０、駆動制御部１４０、そして、ＰＴＺカメラ１５０を備える。ここで、外部に設置される物理的構成要素は、ステレオカメラ１１０とＰＴＺカメラ１５０になり、空間データ合成部１２０、被写体感知部１３０、そして、駆動制御部１４０は、コード化されたプログラムが設置されたＰＣに基づいて行われる。

前記ステレオカメラ１１０は複数個で構成され、互いに異なる方向に向けて固設されて３次元空間を共有する。すなわち、前記複数個のステレオカメラ１１０は、３次元空間に対するデッドゾーンが発生しないように指定された方向例えば、図２に示されたように、十字路の交差路で４台のステレオカメラ１１０がそれぞれ東、西、南、北の方の道路を撮影するように設置されることができる。このように、ステレオカメラ１１０の個数は、３次元空間を共有できる程度になれば十分であり、十字路の交差路であるとして必ず４台で構成する必要はなく、より細かい撮影範囲を望みの場合、５台以上にも構成可能であることは、本発明の属する技術分野において自明である。

以下では、図２に示されたように、４台で構成されたステレオカメラ１１０を基準として説明し、都合上、東の方の道路を撮影するステレオカメラ１１０を基準として時計方向に回りながら各々１番ステレオカメラ１１０、２番ステレオカメラ１１０、３番ステレオカメラ１１０、４番ステレオカメラ１１０と呼ぶことにする。
前記１番ないし４番ステレオカメラ１１０は、各々所定間隔（ｂａｓｅｌｉｎｅ）離間し、光軸が平行した左眼レンズと右眼レンズとを含んでおり、これにより、左眼レンズと右眼レンズとで各々撮影した映像のうち、同一地点がいくつのピクセル離れているか、すなわち、共有映像で左眼レンズと右眼レンズとによる時差を計算して、被写体との深度値を計算し、これに基づいて深度マップを生成する。本実施形態において前記ステレオカメラ１１０は、合計４台で構成されるので、１番ないし４番ステレオカメラ１１０で生成される深度マップは、合計４個になり得るが、本発明では、このように複数のステレオカメラ１１０のそれぞれの撮影領域によって生成される深度マップを１つの３次元空間に整合し、これは、それぞれのステレオカメラ１１０から撮影データを受信する空間データ合成部１２０で行われる。

図３は、ステレオカメラの撮影領域を平面的に示した図であり、図４は、図３の撮影領域を３次元の深度マップで示した図、そして、図５は、複数個の深度マップが１つに整合された３次元空間地図を示した図である。
図３において各方向の矢印は、１番ないし４番ステレオカメラ１１０のそれぞれの撮影方向を表すものであって、図３に示されたように、それぞれのステレオカメラ１１０により撮影される映像、すなわち、監視領域は、ステレオカメラ１１０から近い距離のＢ区域と遠い距離のＡ区域とに区分され、それぞれのＡ区域とＢ区域とは、ステレオカメラ１１０の左眼レンズと右眼レンズとの時差値に応じて図４に示されたように、３次元深度マップ１０に変換される。

そして、１番ないし４番ステレオカメラ１１０のそれぞれのＡ区域深度マップ１０とＢ区域深度マップ１０とは、さらに空間データ合成部１２０によって図５に示されたように、３次元デジタル形態の空間地図２０に整合される。すなわち、図面には示されていないが、ステレオカメラ１１０の撮影を介して入力されるカラー及び座標データは、空間地図２０の特定位置にマッチングされ、したがって、空間地図２０は、１番ないし４番ステレオカメラ１１０によるポイントクラウド、すなわち、無数にあるカラーと座標データとが集まって空間的構成を形成する。

被写体感知部１３０は、このような空間地図２０のポイントクラウドを分析して特定ポイントに変化が生じると、当該ポイントに対応するステレオカメラ１１０の撮影領域に被写体が存在することと感知する。このとき、空間地図２０は、同一メモリ内の同一の形態の資料構造で保存されるので、いずれか１つの領域でのポイント変化は全体として共有され、したがって、被写体が動くとき、継続的な追跡が可能である。
前記ＰＴＺカメラ１５０は、パンニング（Ｐａｎｎｉｎｇ）及びティルティング（Ｔｉｌｔｉｎｇ）を行って撮影方向が被写体に向かうようにし、被写体が人である場合、人の顔、または被写体が自動車である場合、ナンバープレートを中心としてズーミング（Ｚｏｏｍｉｎｇ）を行う。このように、ＰＴＺカメラ１５０は、被写体の情報を識別するための構成であるため、被写体の動きを感知するステレオカメラ１１０より高解像度のカメラを使用することが好ましい。また、ＰＴＺカメラ１５０は、ステレオカメラ１１０の撮影範囲を全部カバーできなければならないので、ＰＴＺカメラ１５０とステレオカメラ１１０とは、互いに隣接して設置され、最も好ましくは、ＰＴＺカメラ１５０を挟んで複数のステレオカメラ１１０がＰＴＺカメラ１５０を囲む形態になるように設置することができる。

ここで、前記ＰＴＺカメラ１５０は、駆動制御部１４０で算出された駆動値に応じて制御され、前記駆動制御部１４０は、ＰＴＺカメラ１５０を駆動する方式であって、第１の方式と第２の方式のうち、いずれか１つまたは第１及び第２の方式を組み合わせてＰＴＺカメラ１５０を駆動させる。

図６は、第１の方式によるＰＴＺカメラ１５０の駆動と第２の方式によるＰＴＺカメラ１５０の駆動とを比較説明するための図である。
図６に示すように、ＰＴＺカメラ１５０を制御するための第１の方式は、まず、ステレオカメラ１１０の撮影範囲のうち、いずれか一点の位置をＰＴＺカメラ１５０の角度とマッチングして初期値を設定する。その後、被写体が感知されれば、被写体の中心座標（例えば、図６の「ｚ」）に基づいて移動に必要なパン角θ_１とチルト角θ_２とを算出してＰＴＺカメラ１５０が被写体に向かうようにし、被写体との距離を計算してズームレベルを合わせる。上記の動作は、被写体が撮影範囲から消えるまで繰り返されることができる。

このような第１の方式は、被写体を正確に捕捉することができるという長所があるが、演算に必要なデータが増加するため、システム過負荷が生じ得る。したがって、第１の方式を補完するために、第２の方式が使用され得る。
ＰＴＺカメラ１５０を制御するための第２の方式は、まず、３次元空間に対する撮影区域を設定し、設定されたそれぞれの区域（例えば、図６の「ａ」、「ｂ」、「ｃ」）にＰＴＺカメラ１５０が向かうようにＰＴＺカメラ１５０の駆動値を手動でプリセッティング（ｐｒｅ−ｓｅｔｔｉｎｇ）する。その後、「ａ」区域に被写体が感知されれば、「ａ」区域に対するプリセッティング値を呼び出してＰＴＺカメラ１５０が「ａ」区域の被写体に向かうように駆動させる。「ｂ」区域や「ｃ」区域に被写体が感知される場合にも同様に適用され、説明の都合上、「ａ」、「ｂ」、「ｃ」区域のみを例示したが、撮影対象になる全ての区域に対してＰＴＺカメラ１５０の駆動値をプリセッティングすることができる。

以上の詳細な説明は、本発明を例示するものである。また、前述した内容は、本発明の好ましい実施形態を表し、説明するものに過ぎず、本発明は、様々な他の組み合わせ、変更、及び環境で使用することができる。すなわち、本明細書に開示された発明の概念の範囲、前述した開示内容と均等な範囲及び／又は当業界の技術または知識の範囲内で変更または修正が可能である。前述した実施形態は、本発明を実施するにあって最善の状態を説明するためのものであり、本発明のような他の発明を利用するのに当業界に知られた他の状態への実施、そして、発明の具体的な適用分野及び用途で求められる様々な変更も可能である。したがって、以上の発明の詳細な説明は、開示された実施状態に本発明を制限しようとする意図ではない。また、添付された請求の範囲は、他の実施状態も含むものと解釈される。

本発明は、複数のステレオカメラを用いた被写体空間移動追跡システムに関するものであって、被写体追跡中にさらに被写体が動いても継続的な追跡が可能であり、ステレオカメラを使用することにより、被写体に対する３次元座標を抽出することができ、これを介してＰＴＺカメラのパン、チルト、ズーム駆動値を設定することにより、被写体に対する精密追跡が可能であり、地下駐車場や道路などに駐車違反取締まりなどのために設置される監視カメラなどに活用可能である。

１００複数のステレオカメラを用いた被写体空間移動追跡システム
１１０ステレオカメラ
１２０空間データ合成部
１３０被写体感知部
１４０駆動制御部
１５０ＰＴＺカメラ

Claims

複数個で構成され、互いに異なる方向に向けて固設されるステレオカメラと、
前記複数のステレオカメラのそれぞれの撮影領域によって生成された深度マップを整合して３次元空間に対する情報共有がなされる空間地図を形成する空間データ合成部と、
前記空間地図のポイントクラウドを分析して特定ポイントに変化が生じると、該ポイントに対応するステレオカメラの撮影領域に被写体が存在することと判断する被写体感知部と、
パンニング及びティルティングを行って撮影方向が被写体に向かうように移動し、被写体を中心としてズーミングを行うＰＴＺカメラと、
前記ステレオカメラの撮影範囲のうち、いずれか一点の位置を前記ＰＴＺカメラの角度とマッチングして初期値を設定し、被写体が感知されれば、被写体の中心座標に基づいて移動に必要なパン角とチルト角、及び被写体との距離によって算出されたズームレベルに合わせて前記ＰＴＺカメラを駆動する第１の方式と、３次元空間に対する撮影区域を設定し、設定されたそれぞれの区域に撮影方向が向かうように前記ＰＴＺカメラの駆動値を手動でプリセッティングした後、被写体が感知された区域に対するプリセッティング値を呼び出して前記ＰＴＺカメラを駆動する第２の方式のうち、いずれか１つまたは前記第１及び第２の方式の組み合わせによって前記ＰＴＺカメラを駆動する駆動制御部と、を備え、
前記ステレオカメラは、東、西、南、北の方向を各々撮影する４個からなり、
前記４個のステレオカメラは、互いに離間して設置され、光軸が平行した左眼レンズと右眼レンズとを含み、
前記ＰＴＺカメラを挟んで前記４個のステレオカメラが前記ＰＴＺカメラを囲む形態で設置される
ことを特徴とする複数のステレオカメラを用いた被写体空間移動追跡システム。