JP3792901B2 - カメラ制御システム及びその制御方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はカメラ制御システム及びその制御方法に関し、特に、カメラから入力されデジタル処理装置で処理された動画像データを遠隔で利用する映像データの通信処理システム、例えばＴＶ会議システムや映像監視システムに用いて好適なものである。
【０００２】
【従来の技術】
従来、ＴＶ会議や監視カメラなどの分野においては、カメラと、そのパラメータ等を遠隔からネットワークを介して制御可能なユーザ端末とによりシステムが構成され、ユーザが遠隔のカメラを遠隔から制御し、撮影された映像を受信して表示できるように構成されていた。そして、カメラとしては、撮影姿勢を可変とするために雲台付きカメラが用いられていた。
【０００３】
この雲台付きカメラは、専用のコントローラを用いて、左右のパン、上下のチルトをボタンやジョイスティックで制御する方式をとっていた。また近年では、コンピュータのディスプレイ上に専用のコントローラをＧＵＩ等によって擬似的に表示し、それをマウス等で制御することも行われていた。
【０００４】
また、監視カメラの多くは、雲台が付けられていても、あらかじめ決められた動きで雲台が制御され、あらかじめ決められた何箇所かの映像を監視するように構成されていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、これら従来のシステムでは、伝送されてくる映像は、ある時点で雲台付きカメラにより実際に撮影された映像だけであったので、その周りの状態は見ることができず、雲台を動かした後の映像を事前に直感することができなかった。そのため、所望の位置を撮影するためには、送られてきた映像を見て何度も雲台の位置を修正する必要があった。
【０００６】
ところで、カメラマンがカメラを持って撮影現場で撮影をする場合は、片方の眼でカメラのファインダを覗いているが、もう片方では周辺を観察しており、次に撮影したいアングルにカメラを瞬時に向けることができる。このようなことができるのは、カメラマンが、実際に撮影しているファインダ内の映像だけでなく、他に撮影する可能性のある周辺も同時に見ているからである。
【０００７】
このように、ＴＶ会議や遠隔監視などにおいて、映像を見ながら遠隔の雲台付きカメラの姿勢制御を対話的に行いたいとき、カメラが運動して撮影できるすべての領域の映像を見ながら雲台を制御すれば、利用者は、あたかも上述のカメラマンのようにカメラを持ってその場所に居ながら撮影範囲を制御しているかのように感じられ、容易に操作することができる。
【０００８】
そのために従来とられてきた方法は、まずカメラを動かして撮影可能な領域をすべて撮影し、それらの画像を画像処理によって１枚の画像にする。そして、利用者がこれにより得られる静止画を見ながらカメラの撮影姿勢やズームを制御するものであった。
【０００９】
しかしながら、このような画像処理で生成できる全体領域の画像は静止画像であり、リアルタイムな映像ではない。そのため、例えばＴＶ会議において発言を求めている参加者にカメラを向けたり、遠隔監視において急な侵入者にカメラを向けるなどといったように、撮影したいアングルにカメラを瞬時に向けることが最も必要とされる場合が十分に支援されないという問題があった。
【００１０】
本発明は、このような問題を解決するために成されたものであり、ＴＶ会議や遠隔監視などの際に、利用者の希望するカメラ姿勢等を簡単かつ瞬時に指示できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明のカメラ制御システムは、広い画角で画像を撮像する広角カメラ、および撮影状態を制御可能な可制御カメラを備えた第１の装置と、上記第１の装置とネットワーク接続され、上記可制御カメラの撮影状態を遠隔制御可能な第２の装置とにより構成されるカメラ制御システムであって、上記第１の装置は、上記広角カメラにより得られた第１フレーム画像を第１間隔で連続的に生成し出力する第１出力手段と、上記可制御カメラにより得られた第２フレーム画像を第２間隔で連続的に生成し出力する第２出力手段とを備え、上記第２の装置は、上記第１及び第２の出力手段から出力された第１及び第２のフレーム画像を表示するとともに、上記第１フレーム画像に上記可制御カメラの撮影領域を示す領域を重ねて表示する表示手段と、上記表示手段により表示された第１フレーム画像内で所望の領域を指示する指示手段と、上記指示手段により指示された領域に対応する画像を撮影するように上記可制御カメラのパン、チルト、ズームのうち少なくとも１つの制御命令を発行する制御手段とを備え、上記第１出力手段は、上記制御命令に応じて上記可制御カメラの制御が完了した上記第１間隔とは独立したタイミングで第１フレーム画像を生成して出力し、上記表示手段は上記タイミングに応答して第１フレーム画像を更新表示するようにしたことを特徴とする。
また、本発明のカメラ制御システムの制御方法は、広い画角で画像を撮像する広角カメラ、および撮影状態を制御可能な可制御カメラを備え、上記広角カメラにより得られた第１フレーム画像を第１間隔で連続的に生成し出力するとともに、上記可制御カメラにより得られた第２フレーム画像を第２間隔で連続的に生成し出力する第１の装置と、上記第１の装置とネットワーク接続され、上記可制御カメラの撮影状態を遠隔制御可能な第２の装置とにより構成されるカメラ制御システムの制御方法であって、上記第２の装置において、上記第１の装置から出力された第１及び第２のフレーム画像を表示するとともに、上記第１フレーム画像に上記可制御カメラの撮影領域を示す領域を重ねて表示する表示工程と、上記第２の装置において、上記表示工程により表示された第１フレーム画像内で所望の領域を指示する指示工程と、上記第２の装置において、上記指示工程により指示された領域に対応する画像を撮影するように上記可制御カメラのパン、チルト、ズームのうち少なくとも１つの制御命令を発行する制御工程と、上記第１の装置において、上記制御命令に応じて上記可制御カメラの制御が完了した上記第１間隔とは独立したタイミングで第１フレーム画像を生成して出力する出力工程と、上記第１の装置において、上記タイミングに応答して第１フレーム画像を更新表示する更新工程とを実行させることを特徴とする。
【００１２】
【発明の実施の形態】
（第一の実施形態）
図１は、本発明の一実施形態に係るカメラ制御システムの概略構成を示すブロック図である。図１において、１０１は広い画角を撮影可能な広角カメラ、１０２は広角カメラ１０１で撮影した映像をデジタル化する画像デジタル化回路、１０３はデジタル化された映像を処理する画像処理回路、１０４は映像を符号化する画像符号化回路である。
【００１３】
また、１０５はＣＰＵ、メモリ、ネットワークアダプタ等から成る通信制御回路、１０６は雲台付きカメラ１１０が備えるズームカメラ、１０７は雲台付きカメラ１１０が備える雲台、１０８は雲台付きカメラ１１０で撮影された映像をデジタル化する画像デジタル化回路、１０９はネットワークを介して遠隔に置かれた第２の装置である。なお、この第２の装置１０９に対して上記１０１〜１０８で構成されるのが第１の装置である。
【００１４】
この第２の装置１０９について詳しくは述べないが、ネットワークに接続し、ハイパーテキストデータを表示するなどの機能を持つ既存のパーソナルコンピュータ（ＰＣ）やネットワークＰＣ、あるいはワークステーションなどで構成される。本実施形態においては、第２の装置１０９として、ＪＰＥＧ画像などの表示ソフトを使ってデジタル画像を表示できるＰＣを使って説明する。
【００１５】
図２は、本実施形態によるＰＣ１０９への映像の表示例を示す図である。ここに示すように、映像はマルチウィンドウシステムの上に表示されている。図２において、２０１はディスプレイ、２０２は雲台付きカメラ１１０によって撮像された映像を表示する詳細映像表示ウィンドウ、２０３は広角カメラ１０１によって撮像された映像を表示するパノラマ映像表示ウィンドウである。
【００１６】
また、２０４は詳細映像が全体映像（パノラマ映像）の中のどこに対応するかを示すための指示枠であり、パノラマ映像表示ウィンドウ２０３上に重畳して表示される。２０５はズームカメラ１０６のズーム制御を行うためのＧＵＩによるスライダバー、２０６は雲台付きカメラ１１０の制御権を取得するためのＧＵＩボタンである。
【００１７】
図３は、本実施形態によるデータの流れを模式的にタイムチャートに表したものである。図３（図１も同様）において、１１２は広角カメラ１０１により撮影された映像信号、１１４は画像符号化回路１０４により圧縮符号化された映像信号、１１６は雲台付きカメラ１１０により撮影された映像信号、１１８はズームカメラ１０６および雲台１０７を制御するための制御信号である。
【００１８】
また、１１５はネットワーク上を流れるネットワーク信号であり、これは、雲台カメラ映像要求信号１１５(a) 、雲台カメラ符号化映像信号１１５(b) 、広角カメラ映像要求信号１１５(c) 、雲台・ズーム制御信号１１５(d) 、広角カメラ符号化映像信号１１５(e) の５つに分かれる。なお、図３において横軸は時間を表している。
【００１９】
図４は、広角カメラ１０１で撮影される映像を模式的に示したものである。本実施形態では、広角カメラ１０１として、正射影方式の魚眼レンズを持つカメラを用いた場合について説明する。
【００２０】
図４（ａ）は、魚眼レンズに入る光を模式的に３次元で示したものであり、Ａ〜Ｆは光軸を通る平面に対して垂直に立てられた柱である。柱Ａは光軸に対して０°、柱Ｂは光軸に対して１０°の角度を成して立てられており、以下Ｃ，Ｄ，Ｅ，Ｆの各柱は各々光軸に対して３０°、４５°、６０°、９０°の角度を成して立てられている。各柱Ａ〜Ｆの魚眼レンズまでの距離は全て同じである。
【００２１】
図４（ｂ）は、図４（ａ）に示した各柱Ａ〜Ｆを魚眼レンズで撮影して得られる画像を示している。図４（ｂ）中のＡ′〜Ｆ′は、それぞれ図４（ａ）の各柱Ａ〜Ｆの像である。
図４（ｃ）は、図４（ａ）に示した各柱Ａ〜Ｆを各々の像の光軸に対する角度が一定となるように表現したパノラマ映像を示している。図４（ｃ）中のＡ″〜Ｆ″は、それぞれ図４（ａ）に示した各柱Ａ〜Ｆの像である。
【００２２】
図５は、広角カメラ１０１により撮影された映像に対応するパノラマ映像を示した図である。図５において、５１は魚眼レンズによって撮影された半天の映像、５２は半天映像５１のうち実世界で横方向に±９０°、縦方向に±３０°の範囲を示したものである。５４は実際に表示に用いられるパノラマ映像、矢印５３，５５は画像処理の方向を示したものである。また、括弧()で括られた数値は、各映像上の座標位置を示したものである。
【００２３】
以下、本実施形態の動作を図１〜図５に従って説明する。まず、図１において映像データの流れを説明する。
魚眼レンズを有する広角カメラ１０１によって集光され電気信号に変換された映像信号１１１は、画像デジタル化回路１０２によってデジタルの映像信号１１２に変換され、さらに画像処理回路１０３によって後述する画像処理が施されることにより、パノラマ映像信号１１３となる。こうして生成されたパノラマ映像信号１１３は、画像符号化回路１０４によって例えばＪＰＥＧなどの符号化方式で圧縮符号化される。
【００２４】
一方、雲台付きカメラ１１０のズームカメラ１０６によって集光され電気信号に変換された映像信号１１６は、画像デジタル化回路１０８によってデジタルの映像信号１１７に変換され、さらに画像符号化回路１０４によって圧縮符号化される。画像符号化回路１０４は、画像処理回路１０３より出力されるパノラマ映像信号１１３と、画像デジタル化回路１０８より出力されるデジタル映像信号１１７との何れかを選択して符号化する。
【００２５】
上記画像符号化回路１０４によって符号化された映像信号１１４は、通信制御回路１０５に送られてネットワークヘ送出され、ＰＣ１０９に送られる。そして、このＰＣ１０９において復号化の処理などが施され、ディスプレイ上に表示される。ここで、ネットワークとは、例えばＴＣＰ／ＩＰを用いたインターネット準拠のコンピュータネットワークである。
【００２６】
次に、図３に従って映像とカメラ制御の流れを説明する。
ＰＣ１０９に搭載されたコントロールプログラムは、まず、雲台カメラ映像要求信号１１５(a) （雲台カメラ映像要求Ａ１０）を送出する。このＰＣ１０９からの雲台カメラ映像要求Ａ１０は、通信制御回路１０５で受け取られる。通信制御回路１０５は、画像符号化回路１０４に対して、画像デジタル化回路１０８からのデジタル映像信号１１７を選択する指示を行う。
【００２７】
このとき画像デジタル化回路１０８に取り込まれる映像の１フレームが雲台付きカメラ映像信号１１６のフレームＡ１１であり、これが画像符号化回路１０４によって符号化されて符号化映像信号１１４のフレームＡ１２となる。さらに、通信制御回路１０５によって、雲台カメラ符号化映像信号１１５(b) のフレームＡ１３となってネットワークに伝送され、ＰＣ１０９によって図２の詳細映像表示ウィンドウ２０２にフレームＡ１４として表示される。この一連の動作は、ユーザによって終了が指示されるまで操り返される（雲台カメラ映像要求信号１１５(a) がＡ１０に続いてＡ２０，Ａ３０，……と一定間隔で出力される）。
【００２８】
一方、ＰＣ１０９に搭載されたコントロールプログラムは、広角カメラ映像要求信号１１５(c) （パノラマ映像要求Ｂ１０）を送出する。このＰＣ１０９からのパノラマ映像要求Ｂ１０は、通信制御回路１０５で受け取られる。通信制御回路１０５は、画像符号化回路１０４に対して、画像処理回路１０３からのパノラマ映像信号１１３を選択する指示を行う。
【００２９】
このとき画像処理回路１０３に取り込まれる映像の１フレームが広角カメラ映像信号１１２のフレームＢ１１であり、これが画像処理回路１０３によりパノラマ映像信号に変換された後、画像符号化回路１０４によって符号化されて符号化映像信号１１４のフレームＢ１２となる。さらに、通信制御回路１０５によって、その時点での雲台１０７とズームカメラ１０６のパラメータが重畳され、広角カメラ符号化映像信号１１５(e) のフレームＢ１３となってネットワークに伝送される。
【００３０】
そして、ＰＣ１０９によって図２のパノラマ映像表示ウィンドウ２０３にフレームＢ１４として表示される。このとき、ＰＣ１０９のコントロールプログラムは、フレームＢ１３に重畳されている雲台１０７とズームカメラ１０６のパラメータをもとに、パノラマ映像表示ウィンドウ２０３に表示されているフレームＢ１４のパノラマ映像上に矩形の指示枠２０４を重畳して表示する。
【００３１】
利用者はこの時点でのディスプレイ２０１を観察し、雲台付きカメラ１１０がどこを向いているか、また、これからどこに雲台付きカメラ１１０を向けるかなどの意思決定を容易に行うことができる。これにより利用者は、ＰＣ１０９に搭載されたコントロールプログラムを用いて、雲台１０７の位置とズームカメラ１０６のズームとの制御指令を作成する。
【００３２】
雲台１０７の位置は、例えばパノラマ映像表示ウィンドウ２０３上の所望の位置もしくは領域をマウスで指定することによって指示する。また、ズームカメラ１０６のズームは、図２に示したスライダバー２０５を用いて指示する。この指示に基づく制御指令は、雲台・ズーム制御信号１１５(d) の制御指令Ｃ１０としてＰＣ１０９よりネットワークに伝送される。そして、これが通信制御回路１０５によって受け取られ、雲台付きカメラ１１０にズーム・雲台制御信号１１８のズーム・雲台動作指令Ｃ１３として伝達される。
【００３３】
通信制御回路１０５は、雲台１０７、ズームカメラ１０６を監視制御し、上記制御指令Ｃ１０に基づく動作が完了したとき、画像符号化回路１０４に対して画像処理回路１０３からのパノラマ映像信号１１３を選択する指示を出す。これにより、画像符号化回路１０４により、広角カメラ映像信号１１２から生成されたパノラマ映像Ｂ２１を符号化して符号化映像信号１１４のフレームＢ２２を生成する。
【００３４】
さらに、上記フレームＢ２２は、通信制御回路１０５により、その時点での雲台１０７とズームカメラ１０６のパラメータが重畳されて広角カメラ符号化映像信号１１５(e) のフレームＢ２３となり、それがＰＣ１０９に伝送される。この映像は、ＰＣ１０９のパノラマ映像表示ウィンドウ２０３にフレームＢ２４として表示される。このときも、ＰＣ１０９のコントロールプログラムは、フレームＢ２３に重畳されている雲台１０７とズームカメラ１０６のパラメータをもとに、パノラマ映像表示ウィンドウ２０３のフレームＢ２４の映像上に矩形の指示枠２０４を重畳して表示する。
【００３５】
図３に示したディスプレイ２０１の表示フレームにおいて、Ａの符号が付されたフレームは雲台付きカメラ１１０で撮影された詳細映像であり、Ｂの符号が付されたフレームは広角カメラ１０１で撮影されたパノラマ映像である。これから分かるように、詳細映像とパノラマ映像は適時ＰＣ１０９に伝送されてディスプレイ２０１に表示されており、詳細映像の他に、雲台付きカメラ１１０で撮影可能な範囲の全てがパノラマ映像として同時に提供されるようになっている。
【００３６】
したがって、広角カメラ映像要求信号１１５(c) も適当な間隔で出力することにより、詳細映像だけでなく、その周辺の映像もほぼリアルタイムに近い形で見ることができ、周辺の状況変化を的確に把握することができる。これにより、ディスプレイ２０１を見ながら雲台付きカメラ１１０のパラメータを遠隔制御することにより、例えばＴＶ会議において発言を求めている参加者にカメラを向けたり、遠隔監視において急な侵入者にカメラを向けるなどといったように、撮影したいアングルにカメラを瞬時に向けることができるようになる。
【００３７】
なお、ＰＣ１０９の利用者にとって詳細映像はパノラマ映像に比べて重要度が高いので、本実施形態においては、詳細映像のフレームを伝送する割合をパノラマ映像のフレームを伝送する割合よりも多くし、映像の変化がより滑らかになるようにしている。
【００３８】
次に、本実施形態におけるパノラマ映像の生成方式について、図４および図５を用いて詳細に説明する。
本実施形態で用いるパノラマ映像は、詳細映像を取得するために用いる雲台付きカメラ１１０でパン・チルト・ズーム値を変化させて撮像できる最大範囲を１枚に含む映像である。
【００３９】
なお、雲台付きカメラ１１０は、例えば、パンが±５０°、チルトが±２０°であり、ズーム倍率は８倍で最も望遠側では視野角が６．１４°とし、最も広角側では視野角が４５．８４°とする。以上のパン・チルトの値は光軸に対するものであり、撮像される範囲を示すとパンは±８０．５°、チルトは±４２．９°である。
【００４０】
本実施形態では、パノラマ映像として、視野角が一定となる映像を用いる。例えば、視野角の１°を１ピクセルに対応させると、上述のカメラの場合、パノラマ映像は１６１×８６ピクセルの画像となる。
なお、以下では、説明を簡単にするためにパンの視野が±９０°、チルトが±３０°のカメラを想定して説明する。
【００４１】
広角カメラ１０１で撮影されデジタル化されたデジタル映像信号１１２は、魚眼レンズによって広範囲の映像が撮像されているが、本実施形態で用いた正射影投影方式の魚眼レンズなどでは先に述べたパノラマ映像とは異なり、周辺での法線方向の角度は小さく、中心部での法線方向の角度は大きく射影されている。これを説明したのが図４（ｂ）である。すなわち、本来Ａ′とＣ′間の角度とＥ′とＦ′間の角度は共に３０°であるが、中心部におけるＡ′とＣ′との間隔よりも周辺部におけるＥ′とＦ′との間隔の方が短くなっている。
【００４２】
以下に、実世界と魚眼カメラによる映像とパノラマ映像との関係について説明する。
図４（ａ）に示した各柱Ａ〜Ｆの像は、魚眼レンズによって撮像素子上に投射される。各柱Ａ〜Ｆの像が撮像素子上にどのように投射されるかを模式的に示したのが図４（ｂ）である。
【００４３】
すなわち、正射影投影方式の魚眼レンズでは、像の光軸中心からの変位ｙと焦点距離ξ、入射角度φとの間に
ｙ＝ξ・sin(φ)
の関係がある。そのため、図４（ａ）の６本の柱Ａ〜Ｆは、撮像素子上に図４（ｂ）のＡ′〜Ｆ′のように結像する。
【００４４】
柱Ａと柱Ｃの間の角度（＝３０°）と柱Ｅと柱Ｆの間の角度（＝３０°）は、撮像素子上では、
｛sin(30°) −sin( 0°) ｝：｛sin(90°) −sin(60°) ｝＝１：0.27
の違いが出てくる。これを画像処理で補正したパノラマ映像が、図４（ｃ）である。つまり、柱Ａと柱Ｃの間の３０°と柱Ｅと柱Ｆの間の３０°が、修正画像上で１：１にマッピングされるように（Ａ″，Ｃ″間とＥ″，Ｆ″間の距離が同じとなるように）画像処理する。
【００４５】
本実施形態では、広角カメラ１０１は、雲台付きカメラ１１０で撮像できる範囲全てを同時に撮像することで表示するパノラマ映像を提供するが、表示の方法としては、レンズに対する像の角度が映像面で同じ大きさに射影されるような投影方式を用いる。したがって、Ｘ座標はパン角を表し、Ｙ座標はチルト角を表すこととなる。
【００４６】
魚眼レンズで撮影した映像をパノラマ映像に変換するために、パノラマ映像上の位置を（θ，φ）、これに対応した魚眼レンズによる撮影映像上の位置を（η，ζ）とし、
η＝ξ・cos(φ) sin(θ) ……(1)
ζ＝ａ・ξ・φ／π ……(2)
の関係で補正する。ここで、ａは定数、ξは魚眼レンズによる撮影映像上の映像部分の円の半径であり、図５ではξ＝１００を使っている。
【００４７】
本実施形態でパノラマ映像として用いるのは、
−90≦θ≦＋90、−30≦φ≦＋30
の範囲内である。画像処理回路１０３は、この範囲内の全てのパノラマ映像の画素について、魚眼レンズによる撮影映像の対応する画素を求める。図５（ｂ）に５４で示した矩形がパノラマ映像の範囲であり、矢印５５に従って各画素の値をラスタスキャンして求めていく。図５（ａ）の映像５１は、画角１８０°の正射影投影方式の魚眼レンズが生成する半天映像であり、この中の範囲５２の映像が、図５（ｂ）のパノラマ映像５４に対応する。
【００４８】
画像処理回路１０３には、図示しない画像記憶手段が備えられており、ここに記憶されるパノラマ映像の全ての１８１×６１画素の各々について、上記した式(1),(2) を用いて対応する魚眼レンズ映像の画素位置を算出する。このとき、一般には画素位置は整数にならないので、切り捨てを行う最近傍画素方式や近傍４点による重み付け平均方式などを使って画素の値を決定する。
【００４９】
次に、指示枠２０４の重畳方法について説明する。パノラマ映像表示ウィンドウ２０３に重畳する矩形の指示枠２０４の位置は、雲台付きカメラ１１０のパン・チルト・ズーム値から計算される。すなわち、パン値をθ（水平角度、単位は度）、チルト値をφ（垂直角度、単位は度）、ズーム値をＺ（画像対角の成す角度、単位は度）とし、ズーム値Ｚがあまり大きくないと仮定する。ＮＴＳＣ方式の画像は４：３の横と縦の比を持っているので、横方向の画角は（４Ｚ／５）、縦方向の画角は（３Ｚ／５）である。
【００５０】
したがって、指示枠２０４は、
点（θ−（４Ｚ／５），φ−（３Ｚ／５））、
点（θ−（４Ｚ／５），φ＋（３Ｚ／５））、
点（θ＋（４Ｚ／５），φ＋（３Ｚ／５））、
点（θ＋（４Ｚ／５），φ−（３Ｚ／５））
を結んだ矩形となる。なお、以上の説明では、矩形の指示枠２０４をＰＣ１０９で重畳していたが、画像符号化に先立ってパノラマ映像に重畳しても良い。
【００５１】
以上詳しく説明したように、本実施形態では、雲台付きカメラ１１０で撮影した詳細映像と、雲台付きカメラ１１０で撮影できる全範囲を広角カメラ１０１により撮影したパノラマ映像とをＰＣ１０９に伝送し、それぞれを異なるウィンドウ上に表示するようにしたので、ＰＣ１０９の利用者は、自分がいま所望する詳細映像だけでなく、その周辺の映像もほぼリアルタイムに近い形で見ることができる。これにより、これらのウィンドウを見ながら雲台付きカメラ１１０のパラメータを遠隔制御することにより、詳細映像の表示をその周辺の状況変化等に応じて瞬時に変えるようにすることができる。
【００５２】
また、広角カメラ１０１によって撮像されたパノラマ映像上に、雲台付きカメラ１１０によって撮像されている詳細映像の視野に相当する指示枠２０４を重畳して表示するようにしたので、雲台付きカメラ１１０の現在の撮影姿勢等とそのときの周囲の映像とを容易に確認することができ、姿勢制御等の動作錯誤を防止することができる。
【００５３】
（第２の実施形態）
図６は、本発明による第２の実施形態を示すブロック図である。図１に示した第１の実施形態では広角カメラ１０１を１台のみ使用していたが、第２の実施形態では複数台使用し、これらによって撮影された映像を画像処理によって合成して送出する。なお、図６において、図１に示した要素と同じ要素には同一の符号を付している。
【００５４】
第２の実施形態では、２台の広角カメラ１０１，６０１を、それぞれに１８０°の角度を付けて図７のように固定する。図７において、７１と７２は広角カメラであり、７３は雲台付きズームカメラである。この雲台付きズームカメラ７３は、本体から分離可能な構成としても良い。
【００５５】
図６において、広角カメラ６０１で撮影された映像信号６１１は、画像デジタル化回路６０２によってデジタル映像信号６１２とされ、画像処理回路６０３に与えられる。画像処理回路６０３は、画像デジタル化回路１０２からのデジタル映像信号１１２と、画像デジタル化回路６０２からのデジタル映像信号６１２とをそれぞれ歪みのないパノラマ映像に画像処理し、更にそれらを合成して出力する。これとは逆に、先に合成してから歪みのないパノラマ映像に画像処理するようにしても良い。
【００５６】
以上のように、第２の実施形態によれば、第１の実施形態で説明したように、２つの広角カメラ１０１，６０１（図７では７１，７２）によってそれぞれパン方向１８０°のパノラマ映像を得ることができる。第２の実施形態では、これらのパノラマ映像をつなげて３６０°の映像を作成し、それを雲台付きカメラ１１０の制御に用いる。よって、より広い範囲を見ながら詳細映像の表示をその周辺の状況変化等に応じて瞬時に変えるようにすることができる。
【００５７】
（第３の実施形態）
図８は、本発明による第３の実施形態に係るカメラ制御システムの構成を示すブロック図である。図８において、８０１は広角レンズ、８０２は広角レンズ８０１で結像した映像のための光センサとＡ／Ｄ変換器（以下、単にＡ／Ｄ変換器と記す）、８０３は画像符号化器、８０４はＣＰＵ、メモリ、ネットワークアダプタなどからなる通信制御装置、８０５は雲台付きカメラのズームレンズ、８０６は雲台付きカメラの光センサとＡ／Ｄ変換器（以下、単にＡ／Ｄ変換器と記す）、８０７は雲台である。
【００５８】
図９は、本実施形態によるＰＣ１０９への表示例を示す図であり、本実施形態においてもマルチウィンドウシステムで構成されている。図９において、９０１はディスプレイ、９０２はズームレンズ８０５とＡ／Ｄ変換器８０６とによって撮像された雲台付きカメラの映像表示ウィンドウ、９０３は広角レンズ８０１とＡ／Ｄ変換器８０２とによって撮像された広角カメラの映像表示ウィンドウ、９０４は広角映像表示ウィンドウ９０３上に重畳表示された指示枠である。
【００５９】
図１０は、本実施形態によるデータの流れを模式的にタイムチャートに表したものである。図１０（図８も同様）において、８１１は広角カメラ映像信号、８１２は符号化映像信号、８１３は雲台付きカメラ映像信号、８１４は雲台制御信号、８１５はズーム制御信号である。
【００６０】
また、８１６はネットワーク上を流れるネットワーク信号であり、これは、雲台カメラ映像要求信号８１６(a) 、雲台カメラ符号化映像信号８１６(b) 、広角カメラ映像要求信号８１６(c) 、雲台・ズーム制御信号８１６(d) 、広角カメラ符号化映像信号８１６(e) の５つに分かれる。なお、図１０において横軸は時間を表している。
図１１は、本実施形態によるカメラの実現例を示す外観図である。
【００６１】
以下、本実施形態の動作を図８〜図１０に従って説明する。まず、図８において映像データの流れを説明する。
広角レンズ８０１によって集光され、Ａ／Ｄ変換器８０２によって電気信号に変換された映像信号８１１は、画像符号化器８０３によって例えばＪＰＥＧなどの符号化方式で圧縮符号化される。
【００６２】
一方、ズームレンズ８０５によって集光され、Ａ／Ｄ変換器８０６によって電気信号に変換された映像信号８１３も同様に、画像符号化器８０３によって圧縮符号化される。画像符号化器８０３は、Ａ／Ｄ変換器８０２より出力される広角カメラ映像信号８１１と、Ａ／Ｄ変換器８０６より出力される雲台付きカメラ映像信号８１３との何れかを選択して符号化する。
【００６３】
上記画像符号化器８０３によって符号化された映像信号８１２は、通信制御装置８０４に送られてネットワークヘ送出され、ＰＣ１０９に送られる。そして、このＰＣ１０９において復号化の処理などが施され、ディスプレイ上に表示される。ここで、ネットワークとは、例えばＴＣＰ／ＩＰを用いたインターネット準拠のコンピュータネットワークである。
【００６４】
次に、図１０に従って映像とカメラ制御の流れを説明する。
ＰＣ１０９に搭載されたコントロールプログラムは、まず、雲台カメラ映像要求信号８１６(a) （雲台カメラ映像要求Ａ１０）を送出する。このＰＣ１０９からの雲台カメラ映像要求Ａ１０は、通信制御装置８０４で受け取られる。通信制御装置８０４は、画像符号化器８０３に対して、Ａ／Ｄ変換器８０６からの雲台付きカメラ映像信号８１３を選択する指示を行う。
【００６５】
このとき画像符号化器８０３に取り込まれる映像の１フレームが雲台付きカメラ映像信号８１３のフレームＡ１１であり、これが画像符号化器８０３によって符号化されて符号化映像信号８１２のフレームＡ１２となる。さらに、通信制御装置８０４によって、雲台カメラ符号化映像信号８１６(b) のフレームＡ１３となってネットワークに伝送され、ＰＣ１０９によって図９の雲台カメラ映像表示ウィンドウ９０２にフレームＡ１４として表示される。この一連の動作は、ユーザによって終了が指示されるまで操り返される。
【００６６】
一方、ＰＣ１０９に搭載されたコントロールプログラムは、広角カメラ映像要求信号８１６(c) （広角カメラ映像要求Ｂ１０）を送出する。このＰＣ１０９からの広角カメラ映像要求Ｂ１０は、通信制御装置８０４で受け取られる。通信制御装置８０４は、画像符号化器８０３に対して、Ａ／Ｄ変換器８０２からの広角カメラ映像信号８１１を選択する指示を行う。
【００６７】
このとき画像符号化器８０３に取り込まれる映像の１フレームが広角カメラ映像信号８１１のフレームＢ１１であり、これが画像符号化器８０３によって符号化されて符号化映像信号８１２のフレームＢ１２となる。さらに、通信制御装置８０４によって、その時点での雲台８０７とズームレンズ８０５のパラメータが重畳され、広角カメラ符号化映像信号８１６(e) のフレームＢ１３となってネットワークに伝送される。
【００６８】
そして、ＰＣ１０９によって図９の広角映像表示ウィンドウ９０３にフレームＢ１４として表示される。このとき、ＰＣ１０９のコントロールプログラムは、フレームＢ１３に重畳されている雲台８０７とズームレンズ８０５のパラメータをもとに、広角映像表示ウィンドウ９０３に表示されるフレームＢ１４の映像上に矩形の指示枠９０４を重畳して表示する。
【００６９】
利用者はこの時点でのディスプレイ９０１を観察し、雲台付きカメラがどこを向いているか、また、これからどこに雲台付きカメラを向けるかなどの意思決定を容易に行うことができる。これにより利用者は、ＰＣ１０９に搭載されたコントロールプログラムを用いて、雲台８０７の位置とズームレンズ８０５のズームとの制御指令を作成する。
【００７０】
これは、雲台・ズーム制御信号８１６(d) の制御指令Ｃ１０としてＰＣ１０９よりネットワークに伝送される。そして、これが通信制御装置８０４によって受け取られ、雲台８０７に雲台制御信号８１４の雲台動作指令Ｃ１３として伝達される。また、ズーム制御信号８１５のズーム動作指令Ｃ１２も同様に、ズームレンズ８０５に伝達される。
【００７１】
通信制御装置８０４は、雲台８０７、ズームレンズ８０５を監視制御し、上記制御指令Ｃ１０に基づく動作が完了したとき、画像符号化器８０３に対してＡ／Ｄ変換器８０２からの広角カメラ映像信号８１１を選択する指示を出す。これにより、画像符号化器８０３により、広角カメラ映像信号８１１のフレームＢ２１を符号化して符号化映像信号８１２のフレームＢ２２を生成する。
【００７２】
さらに、上記フレームＢ２２は、通信制御装置８０４により、その時点での雲台８０７とズームレンズ８０５のパラメータが重畳されて広角カメラ符号化映像信号８１６(e) のフレームＢ２３となり、それがＰＣ１０９に伝送される。この映像は、ＰＣ１０９の広角映像表示ウィンドウ９０３にフレームＢ２４として表示される。このときも、ＰＣ１０９のコントロールプログラムは、フレームＢ２３に重畳されている雲台８０７とズームレンズ８０５のパラメータをもとに、広角映像表示ウィンドウ９０３のフレームＢ２４の映像上に矩形の指示枠９０４を重畳して表示する。
【００７３】
以上詳しく説明したように、第３の実施形態によれば、第１の実施形態と同様に詳細映像の表示をその周辺の状況変化等に応じて瞬時に変えるようにすることができる。第３の実施形態では、広角レンズ８０１は魚眼レンズではなく、歪んだ映像を修正する画像処理手段も設けていないので、装置全体のコストを低く抑えることができるとともに、処理を高速化することができる。
【００７４】
（第４の実施形態）
図１２は、本発明による第４の実施形態に係るカメラ制御システムの構成を示すブロック図である。
第３の実施形態では、広角映像表示ウィンドウ９０３の映像に矩形の指示枠９０４を重畳する処理をＰＣ１０９において行っていたが、以下に述べる第４の実施形態では、広角カメラ映像信号８１１に対して画像の形式で指示枠９０４を重畳して送出する。
【００７５】
図１２において、図８に示した要素と同じ要素には同一の符号を付し、重複する説明は省略する。第４の実施形態においては、図１０に示したＰＣ１０９からの広角カメラ映像要求Ｂ１０は、通信制御装置８０４で受け取られ、画像符号化器８０３に対してＡ／Ｄ変換器８０２からの広角カメラ映像信号８１１を選択する指示が成される。
【００７６】
このときＡ／Ｄ変換器８０２より出力される映像の１フレームが広角カメラ映像信号８１１のフレームＢ１１であり、これが画像記憶装置１２０１によって一時的に記憶される。そして、通信制御装置８０４によって、この記憶されたフレームＢ１１に対して、メモリアドレスデータ信号１２１２（その時点での雲台８０７とズームレンズ８０５のパラメータから求められる）を通じて矩形の指示枠９０４が描画され、その結果が画像符号化器８０３に与えられる。
【００７７】
指示枠９０４が描画された広角カメラ映像信号１２１１のフレームＢ１１は、画像符号化器８０３で符号化されて符号化映像信号８１２のフレームＢ１２となる。さらに、通信制御装置８０４によって広角カメラ符号化映像信号８１６(e) のフレームＢ１３とされてネットワークに伝送され、ＰＣ１０９によって図９の広角映像表示ウィンドウ９０３にフレームＢ１４として表示される。
【００７８】
その他の動作は、第３の実施形態と同様なので、重複する説明は省略する。
なお、この第４の実施形態では、画像記憶装置１２０１を用いてフレーム画像を一旦保存したが、これをラインバッファなどで置き換えてもよいことは明らかである。
【００７９】
（第５の実施形態）
図１３は、本発明による第５の実施形態に係るカメラ制御システムの構成を示すブロック図である。この第５の実施形態では、上述した第２の実施形態と同様に、広角カメラを複数台使用し、それらで撮影される広角映像を画像処理によって合成して送出するものである。
【００８０】
つまり、図１３において、広角カメラ８０１，１３０１で撮影された映像信号は、Ａ／Ｄ変換器８０２，１３０２によってそれぞれデジタル化され、画像合成器１３０３に与えられる。画像合成器１３０３は、入力された２つのデジタル映像信号を合成して出力する。その他の構成および動作は、図８で述べたとの同様なので、ここでは詳しい説明を省略する。
【００８１】
（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００８２】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８３】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等の共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００８４】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【００８５】
【発明の効果】
本発明は上述したように、可制御カメラで撮影した画像と、可制御カメラで撮影できる全範囲を広角カメラにより撮影した画像とを第１の装置から第２の装置に伝送し、それぞれを表示するようにしたので、第２の装置の利用者は、自分がいま所望する詳細な画像だけでなく、その周辺の画像もほぼリアルタイムに近い形で見ることができる。これにより、これらの表示を見ながら可制御カメラの撮影状態を遠隔制御することで、詳細画像の表示をその周辺の状況変化等に応じて瞬時に変えるようにすることができる。しかも、制御命令に応じたタイミングで第１フレーム画像が生成されるので、最新の広角画像を見ることができ、周辺の状況変化を的確に把握して、正確なカメラ制御が可能となる。
したがって、例えば、ＴＶ会議や遠隔監視など映像を見ながら、遠隔の可制御カメラの撮影状態の制御を対話的に行いたいとき、可制御カメラが運動して撮影できるすべての領域の映像を見ながら撮影状態を制御することができ、容易に操作することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るカメラ制御システムの構成を示すブロック図である。
【図２】本発明の第１の実施形態の画像表示例を示す図である。
【図３】本発明の第１の実施形態の動作を説明するためのデータフロー図である。
【図４】第１の実施形態で使用した魚眼カメラによる撮影映像とパノラマ映像との関係を示す図である。
【図５】本発明の第１の実施形態に係る画像処理を説明するための図である。
【図６】本発明の第２の実施形態に係るカメラ制御システムの構成を示すブロック図である。
【図７】本発明の第２の実施形態に係るレンズ位置を説明するための第１の装置の外観構成図である。
【図８】本発明の第３の実施形態に係るカメラ制御システムの構成を示すブロック図である。
【図９】本発明の第３の実施形態の画像表示例を示す図である。
【図１０】本発明の第３の実施形態の動作を説明するためのデータフロー図である。
【図１１】本発明の第３の実施形態に係る第１の装置の実現例を示す外観構成図である。
【図１２】本発明の第４の実施形態に係るカメラ制御システムの構成を示すブロック図である。
【図１３】本発明の第５の実施形態に係るカメラ制御システムの構成を示すブロック図である。
【符号の説明】
１０１ 広角カメラ
１０３ 画像処理回路
１０５ 通信制御回路
１０６ ズームカメラ
１０７ 雲台
１０９ ＰＣ（第２の装置）
１１０ 雲台付きカメラ
２０２ 詳細映像表示ウィンドウ
２０３ パノラマ映像表示ウィンドウ
２０４ 指示枠
６０１ 広角カメラ
６０３ 画像処理回路

Claims (9)

1. 広い画角で画像を撮像する広角カメラ、および撮影状態を制御可能な可制御カメラを備えた第１の装置と、上記第１の装置とネットワーク接続され、上記可制御カメラの撮影状態を遠隔制御可能な第２の装置とにより構成されるカメラ制御システムであって、
   上記第１の装置は、
   上記広角カメラにより得られた第１フレーム画像を第１間隔で連続的に生成し出力する第１出力手段と、
   上記可制御カメラにより得られた第２フレーム画像を第２間隔で連続的に生成し出力する第２出力手段とを備え、
   上記第２の装置は、
   上記第１及び第２の出力手段から出力された第１及び第２のフレーム画像を表示するとともに、上記第１フレーム画像に上記可制御カメラの撮影領域を示す領域を重ねて表示する表示手段と、
   上記表示手段により表示された第１フレーム画像内で所望の領域を指示する指示手段と、
   上記指示手段により指示された領域に対応する画像を撮影するように上記可制御カメラのパン、チルト、ズームのうち少なくとも１つの制御命令を発行する制御手段とを備え、
   上記第１出力手段は、上記制御命令に応じて上記可制御カメラの制御が完了した上記第１間隔とは独立したタイミングで第１フレーム画像を生成して出力し、
   上記表示手段は上記タイミングに応答して第１フレーム画像を更新表示するようにしたことを特徴とするカメラ制御システム。
2. 上記広角カメラによって撮像される第１フレーム画像はパノラマ画像であり、このパノラマ画像の縦横比は、上記可制御カメラが撮像できる全領域の縦横比と同じであることを特徴とする請求項１に記載のカメラ制御システム。
3. 上記広角カメラは、撮像される画像に歪みが生じる超広角レンズを備え、
   上記超広角レンズにより撮像された画像を画像処理して上記歪みをなくすことで上記第１フレーム画像としてのパノラマ画像を生成する画像処理手段を更に備えたことを特徴とする請求項１または２に記載のカメラ制御システム。
4. 上記表示手段は上記領域として枠を重畳して表示するようにしたことを特徴とする請求項１〜３の何れか１項に記載のカメラ制御システム。
5. 上記第１の装置は、複数の広角カメラと、上記複数の広角カメラにより撮像された複数の画像を伝送に先立って画像処理して１つの画像に合成して上記第１フレーム画像を生成する第２の画像処理手段とを備えることを特徴とする請求項１〜４の何れか１項に記載のカメラ制御システム。
6. 広い画角で画像を撮像する広角カメラ、および撮影状態を制御可能な可制御カメラを備え、上記広角カメラにより得られた第１フレーム画像を第１間隔で連続的に生成し出力するとともに、上記可制御カメラにより得られた第２フレーム画像を第２間隔で連続的に生成し出力する第１の装置と、上記第１の装置とネットワーク接続され、上記可制御カメラの撮影状態を遠隔制御可能な第２の装置とにより構成されるカメラ制御システムの制御方法であって、
   上記第２の装置において、上記第１の装置から出力された第１及び第２のフレーム画像を表示するとともに、上記第１フレーム画像に上記可制御カメラの撮影領域を示す領域を重ねて表示する表示工程と、
   上記第２の装置において、上記表示工程により表示された第１フレーム画像内で所望の領域を指示する指示工程と、
   上記第２の装置において、上記指示工程により指示された領域に対応する画像を撮影するように上記可制御カメラのパン、チルト、ズームのうち少なくとも１つの制御命令を発行する制御工程と、
   上記第１の装置において、上記制御命令に応じて上記可制御カメラの制御が完了した上記第１間隔とは独立したタイミングで第１フレーム画像を生成して出力する出力工程と、
   上記第１の装置において、上記タイミングに応答して第１フレーム画像を更新表示する更新工程とを実行させることを特徴とするカメラ制御システムの制御方法。
7. 撮像される画像に歪みが生じる超広角レンズを備えた上記広角カメラによって撮像された画像に対し、画像処理を施して歪みをなくすことで、上記可制御カメラが撮像できる全領域の縦横比と同じ比率の上記第１フレーム画像としてのパノラマ画像を生成し、生成したパノラマ画像を上記第１の装置から第２の装置に伝送するようにしたことを特徴とする請求項６に記載のカメラ制御システムの制御方法。
8. 上記広角カメラによって撮像された画像に、上記可制御カメラによって撮像されている画像の視野に相当する枠の情報を重畳して表示するようにしたことを特徴とする請求項６または７に記載のカメラ制御システムの制御方法。
9. 複数の広角カメラにより撮像された複数の画像を伝送に先立って画像処理して１つの画像に合成して上記第１フレーム画像を生成することを特徴とする請求項６〜８の何れか１項に記載のカメラ制御システムの制御方法。

Images