JP7062386B2 - カメラ並びに撮影システムおよび画像処理方法 - Google Patents

Description

本発明は、カメラ、並びに、このカメラを用いた撮影システム、および撮影された画像を処理する方法に係り、特に、複数のレンズを介して撮影された画角や画質が異なる画像データを合成するカメラ、並びに撮影システム、および画像処理方法に関する。

近年、ウェアラブルカメラやドライブレコーダなどを始めとして、広角な画像（映像を含む）データを取得することのできるカメラが普及している。その多くは、特許文献１に開示されているような、複数の撮像手段を用いて異なる撮影範囲を撮影した複数の画像データを合成して１つの画像データを作成するという技術を採用している。

その他の方法として、特許文献２に開示されているように、魚眼レンズを用いたカメラにより、水平画角３６０度、垂直画角１８０度の、いわゆる全周囲画像を取得し、この全周囲画像を平面画像に変換、あるいは一部切り出して変換するという技術などが知られている。

また、画像合成という分野では、魚眼レンズを介して取得する映像と、いわゆる標準レンズを介して取得する映像を合成して表示する技術として、特許文献３に開示されているような技術も存在する。特許文献３に開示されている技術は、デジタルカメラによる撮影の際の画角を定めるために、撮影範囲と、その周囲の風景を合成した映像を表示するという技術である。具体的には、魚眼レンズを備えたサブカメラにより全周囲画像を取得し、その頂点を基点として平面展開した映像の中心に、標準レンズを備えたメインカメラによる撮影範囲の映像を合成するというものである。

特開２０１６－９２８１４号公報 特開２０１２－１４７３１０号公報 特許第５７３３５８８号公報

上記特許文献１、２に開示されているような各技術によれば、確かに標準レンズ単体での撮影では得る事のできない広角な画像データを取得することができる。しかし、特許文献１に開示されている技術では、複数の撮像手段をフル稼働させて画像データを取得するため、その画質を向上させようとした場合には、データ容量の増大を招くこととなる。

また、特許文献２に開示されているような技術では、魚眼レンズの特性上、周辺部位ほど、取得画像の歪みが大きくなる。このため、画像データを平面化する際の補正割合も大きくなり、画質の劣化が大きくなるといった実状がある。こうした画質の劣化は、通常使用の上では問題にはならないが、画像データから部分的な詳細画像を切り出したいといった場合には、好ましい画像データを得ることができないといった問題がある。

そこで本発明では上記問題を解決し、魚眼レンズ等の広角レンズを用いて広角画像データを取得しつつ、必要に応じて画質劣化部の詳細画像データを取得することができるカメラ、並びに撮影システム、および画像処理方法を提供することを目的とする。

上記目的を達成するための本発明のカメラは、広角レンズを採用し、レンズ中心を起点としてカメラの全周囲を撮影範囲とするように配置位置された第１の撮像手段と、前記広角レンズよりも焦点距離が長いレンズを採用し、当該レンズのレンズ中心を通る直線と前記広角レンズのレンズ中心を通る直線とが交差すると共に、前記第１の撮像手段の撮影範囲の一部に前記焦点距離が長いレンズによる撮影範囲が含まれるように配置された第２の撮像手段と、前記第１の撮像手段により撮影される円形の全周囲画像データを平面表示するための歪み補正を行い、前記歪み補正を行うことで得られる第１画像データに生じる画像劣化が大きくなる部分に、前記第２の撮像手段により撮影される画像データの歪みを補正することで得られる第２画像データを合成する処理を行う演算処理手段と、を備え、前記演算処理手段による合成処理は、前記第１画像データと前記第２画像データの歪み量の違いや画角、撮影角度の違いを考慮した補正が行われることを特徴とするカメラ。
また、上記のような特徴を有するカメラでは、前記第１画像データと前記第２画像データをそれぞれ記録する記憶手段を備えるようにしても良い。
また、上記のような特徴を有するカメラでは、前記第１の撮像手段と前記記憶手段との間と、前記第２の撮像手段と前記記憶手段との間にはそれぞれ、撮像された画像データの一次記録変換を行うＤＳＰを備えるようにしても良い。

また、上記のような特徴を有するカメラにおいて前記第２の撮像手段における撮像素子の画素数は、前記第１の撮像手段における撮像素子の画素数よりも少なくすると良い。第２の撮像手段は第１の撮像手段に比べて画角が狭い。よってこのような特徴を有することによれば、画像データの記録容量の軽減を図りつつ、第１画像データよりも解像度の高い画像データを取得することができる。また、演算処理手段の負荷を軽減し、発熱を抑えることができる。

また、上記のような特徴を有するカメラにおいて前記演算処理手段は、前記第１の撮像手段による撮影および記録と、前記第２の撮像手段による撮影および記録との少なくとも一方を手動、あるいは自動で選択して撮影および記録を行うようにすると良い。このような特徴を有することによれば、撮影状況によって広角撮影される第１画像データが不要な場合や、詳細を撮影可能な第２画像データが不要な場合に、撮影形式を選択することで、演算処理手段における処理負担の軽減を図ることが可能となる。

また、上記のような特徴を有するカメラでは、加速度センサと温度センサの少なくとも１つを備え、前記第１の撮像手段および／または前記第２の撮像手段による撮影および記録を自動選択で行う場合、前記演算処理手段は、前記加速度センサまたは前記温度センサからの信号が入力された場合に、当該信号をトリガとして行うようにすると良い。このような特徴を有することによれば、センサからの信号に基づいて撮影や記録を自動で行うことが可能となり、撮影環境に応じた撮影形式を採ることができる。

さらに、上記のような特徴を有するカメラは、加速度センサを備え、前記演算処理手段は、前記加速度センサからの信号が所定の範囲を超える急激な状態変化であると判定した場合に、当該加速度センサからの信号をトリガとして、前記加速度センサからの信号の入力前後における所定時間の記録画像を別ファイルで保存する処理を行うようにすることもできる。このような特徴を有することによれば、例えばカメラをドライブレコーダとして使用した場合に、加速度センサからの信号が、事故によって出力されたとすると、信号が出力された時を基準として、その前後の時間帯における記録画像を残すことが可能となる。なお、このように、加速度センサからの信号をトリガとして記録された画像ファイルについては、上書き記録を禁止する処理を施すようにしても良い。このような処理を施す事により、事故などの有事の際の画像ファイルを確実に残す事が可能となる。

さらにまた、上記のような特徴を有するカメラは、温度センサを備え、前記演算処理手段は、前記温度センサからの信号に基づき、カメラ温度が所定の温度範囲を超えたと判定した場合に、前記加速度センサに寄与する機能以外の機能を停止させる休止モードとする処理を行い、前記加速度センサからの信号が所定の範囲を超える急激な状態変化であると判定した場合に、当該加速度センサからの信号をトリガとして、前記休止モードから録画モードへ機能復帰を成す処理を行うようにすることもできる。このような特徴を有することによれば、カメラの稼働状態の安定化を図りつつ、少なくとも事故などの有事の際には、その直後の画像データを記録として残すことが可能となる。

また、上記目的を達成するための本発明に係る撮影システムは、上記特徴を有するカメラを搭載し、前記第１の撮像手段および前記第２の撮像手段による撮影方向を変化させる駆動手段を有する雲台を備え、前記演算処理手段は、前記第１の撮像手段により撮影された画像データから特定の被写体を検出し、前記第２の撮像手段による撮影範囲が前記被写体を含むこととなるように、前記カメラによる撮影方向を変化させる制御信号を前記駆動手段に出力するものであると良い。

また、上記目的を達成するための本発明に係る画像処理方法は、広角レンズを採用し、レンズ中心を起点としてカメラの全周囲を撮影範囲とするように配置位置された第１の撮像手段により撮影される円形の全周囲画像データに歪み補正を行って平面表示する第１画像データを取得すると共に、前記広角レンズよりも焦点距離が長いレンズを採用し、当該レンズのレンズ中心を通る直線と前記広角レンズのレンズ中心を通る直線とが交差すると共に、前記第１の撮像手段の撮影範囲の一部に前記焦点距離が長いレンズによる撮影範囲が含まれるように配置された第２の撮像手段により撮影した画像データの歪みを補正することで得られる第２画像データを前記第１画像データの一部に合成する画像処理方法であって、前記第２画像データは、前記第１画像データを取得する際に行う歪み補正により生じる劣化が大きくなる部分に撮影範囲が定められ、前記第１画像データに対する前記第２画像データの合成処理は、前記第１画像データと前記第２画像データの歪み量の違いや画角、撮影角度の違いを考慮した補正が行われることを特徴とする。

さらに、上記特徴を有する画像処理方法では、前記第１の撮像手段と前記第２の撮像手段とを別個のカメラとして、前記第１画像データと前記第２画像データを取得するようにしても良い。このような特徴を有することによれば、発明に係る画像処理方法を実施するにあたり、手持ちの広角レンズカメラや標準レンズカメラを利用することができるようになる。

上記のような特徴を有するカメラ、並びに撮影システム、および画像処理方法によれば、広角レンズを用いて広角画像データを取得しつつ、必要に応じて画質劣化部の詳細画像データを取得することができるようになる。また、撮影システムを使用した場合には、特定の被写体について、撮影後に詳細画像を取得することが可能となる。

第１実施形態に係るカメラの構成を示すブロック図である。 第１の撮像手段による撮影範囲と、像の歪み（画像劣化）が大きい範囲を示す図である。 第１の撮像手段による撮影範囲を平面状に展開した場合における画像劣化の大きい範囲と、第２の撮像手段による撮影範囲の関係を示す図である。 第２実施形態に係るカメラの構成を示すブロック図である。 第１、第２実施形態に係るカメラの的構成例を示す側面図である。 第３実施形態に係る撮影システムの構成を示すブロック図である。 第１の撮像手段による撮影範囲と、第２の撮像手段による撮影範囲との関係、およびカメラの移動について説明するための図である。

以下、本発明のカメラ、並びに撮影システム、および画像処理方法に係る実施の形態について、図面を参照して詳細に説明する。なお、以下に示す実施形態は、本発明の効果を得るために必要な構成の一例であり、各要素の組み合わせ、付加、および削除を行ったとしても、同様な効果を得る事ができるものであれば、本発明の一部とみなすことができる。

［第１実施形態］
まず、図１から図３を参照して、第１実施形態に係るカメラについて説明する。なお、図１は、第１実施形態に係るカメラの構成を示すブロック図である。また、図２は、実施形態に係るカメラを構成する第１の撮像手段による撮影範囲と、画像劣化分布を示す図であり、図３は、図２に示した範囲で撮影された画像データを平面展開した場合における画像劣化分布を示す図である。

本実施形態に係るカメラ１０は、少なくとも第１の撮像手段１２と、第２の撮像手段１４、演算処理手段１６、および記憶手段１８とを備えている。
第１の撮像手段１２は、撮影用のレンズとして魚眼レンズなどの広角レンズを採用した撮像手段である。レンズ以外の具体的な構成は一般的な構成とすることができ、図示しない撮像素子や、カラーフィルタ、マイクロレンズ、および光学フィルタ等を備えるものであれば良い。

第２の撮像手段１４は、撮影用のレンズとして、第１の撮像手段１２における魚眼レンズよりも焦点距離が長い（画角が狭い）レンズ（標準レンズ）を採用した撮像手段である。レンズ以外の具体的な構成は、上述した第１の撮像手段１２と同様とすることができる。ここで、本実施形態では、第２の撮像手段１４における撮像素子は、第１の撮像手段１２における撮像素子に比べて画素数が少ないものを採用することが望ましい。

第２の撮像手段１４は、第１の撮像手段１２に比べて画角が狭いと共に、画像データを表示する際の歪み補正が軽微なものとなる。このため、第１の撮像手段１２に比べて撮像素子の画素数を少なくしたとしても、第１の撮像手段１２により取得される画像データ（第１画像データ）よりも解像度の高い画像データ（第２画像データ）を得ることができるからである。

また、撮像素子の画素数を減らす事により、画像データの記録容量の軽減を図ることもできる。さらに、画像処理を行うデータ量も少なくなるため、演算処理手段１６の負荷を軽減し、発熱を抑えることができる。

演算処理手段１６は、第１の撮像手段１２や第２の撮像手段１４により撮影された画像データ（第１画像データ、第２画像データ）の変換や解析、並びに合成処理、および各種要素への指令信号の出力等を行うための要素である。本実施形態では演算処理手段１６として、例えば、撮影画像の処理を行うためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１６ａ，１６ｂや、各種プログラムの読み出しや演算処理、および指令信号の出力を行うためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６ｃなどを備えている。

ＤＳＰ１６ａ，１６ｂは、第１の撮像手段１２と第２の撮像手段１４のそれぞれに対応したものが備えられている。各ＤＳＰ１６ａ，１６ｂでは、撮影された画像データを予め定められた記録形式のデータファイルを作成すると共に、画像データの縦横比の調整や歪み補正などの一次記録変換が行われる。各ＤＳＰ１６ａ，１６ｂにより一次記録変換が成された第１画像データと第２画像データはそれぞれ、記憶手段１８に記録される。

記憶手段１８には、メモリカードなどの外部メモリ１８ａ，１８ｂの他、各種処理や演算のためのプログラムが記録されている内部メモリ１８ｃが含まれる。外部メモリは、単一のメモリに、第１画像データと第２画像データの双方を記録する構成としても良いが、本実施形態の場合、第１画像データと第２画像データのそれぞれに対応した外部メモリ１８ａ，１８ｂを備えるように構成している。画像データの記録を並行させることで、記録処理に要する時間の短縮を図ることができると共に、記録媒体の容量に余裕を持たせることが可能となるからである。

また、内部メモリ１８ｃには、例えば各ＤＳＰ１６ａ，１６ｂによる一次記録変換に必要な変換プログラムや、詳細を後述するＣＰＵ１６ｃを介して成される合成処理に必要な合成プログラム等が記録されている。

ＣＰＵ１６ｃは、各種処理や、処理のための演算、および各種指令信号等を出力するための要素である。本実施形態に係るカメラ１０では主に、第１画像データと第２画像データを合成する処理を行う。具体的には、まず、内部メモリ１８ｃに記録されている合成プログラムを読み出して展開する。その後、第１画像データと第２画像データを読み出し、両者の記録日時を一致させて合成処理を行う。

第１画像データと第２画像データの合成処理は、第１画像データとして表示される映像の一部に第２画像データを合成するというものである。第１画像データに対する第２画像データの合成は、第１画像データを平面表示するための歪み補正を行った際に、画像劣化が大きくなる部分に成される。

画像劣化が大きくなる部分とは、例えば図３において、斜線で示す部分にあたる。第１の撮像手段１２は魚眼レンズを採用し、全周囲画像のデータを取得する構成としている。このため、取得した画像データは、図２に示すように、撮影範囲が円形となり、斜線で示す外周側ほど像の歪みが大きくなる。なお、図２において、黒く塗りつぶしている部分は、表示範囲を四角とした場合に生ずることとなる、いわゆるケラレ部分である。ＤＳＰ１６ａでは、例えばＣＰＵ１６ｃを介して、あるいは直接内部メモリ１８ｃにアクセスすることで展開される変換プログラムに従い、取得した画像データをメルカトル図法の様式で展開し、平面表示可能な画像データを生成する。本実施形態では、図２において画像の頂点となる点Ｐを基点として、半径方向に示す垂線Ｌで画像をカットして展開する。このため、図３において画像の縁辺となる部分、特に斜線で示す部分には、像の引き伸ばしや圧縮といった補正が施されることとなり、画像劣化が大きくなる。

本実施形態では、このように歪み補正による画像劣化が大きくなる部分のうち、例えば図３中に四角の破線枠Ｄで囲った部分に、第２画像データを合成する処理を行う。なお、第１画像データに対する第２画像データの合成処理には、両者の歪み量の違いや画角、撮影角度の違い等を考慮した各種補正処理を行う。

上記のような合成処理を行う関係上、第１の撮像手段１２と第２の撮像手段１４とは、第１の撮像手段１２による撮影範囲の一部に第２の撮像手段１４による撮影範囲が含まれるように、レンズの配置関係等を定めている。より具体的には、第１の撮像手段１２による撮影範囲のうち、第１画像データの縁部となる部分に、第２の撮像手段１４の撮影範囲が一致するように構成する。このような配置関係により、上記のような条件の合成処理が可能となる。

ＣＰＵ１６ｃを介して合成処理が成された合成画像データは、外部メモリに記録される。合成画像データを記録する外部メモリとしては、専用メモリを備える構成としても良いが、第１画像データを記録する外部メモリ１８ａ、あるいは第２画像データを記録する外部メモリ１８ｂのいずれかに記録する構成としても良い。この場合、外部メモリ１８ｂに記録されるようにすると良い。外部メモリ１８ａ，１８ｂに記録される画像データ（第１画像データ、第２画像データ）は、記録容量が所定の範囲に達した場合に、古い記録データから順に上書き処理を行う。ここで、第２の撮像手段１４は撮像素子の画素数が少ないため、外部メモリ１８ｂに記録される第２画像データの容量も小さくなる。このため、第１画像データの上書きタイミングと同じタイミングで古い記録データの上書きを行う構成とした場合には、メモリの空き容量に余裕が生じることとなるからである。

このような構成のカメラ１０により、合成画像データを作成することによれば、魚眼レンズを採用した第１の撮像手段１２による撮影により取得した第１画像データでは細部表示が困難となる部分を、標準レンズを採用した第２の撮像手段１４により撮影した第２画像データで補完し、細部表示することが可能となる。これにより、例えば実施形態に係るカメラ１０をドライブレコーダとして使用した場合に、先行車のナンバーや、道路標識の記載などを記録画像から確認することができるようになる。

なお、上記説明では、第１の撮像手段１２と第２の撮像手段１４は、常時同時に撮影を行うかのように説明したが、ＣＰＵ１６ｃは、撮影開始の信号を選択的に出力することもできる。撮影状況によっては、広角撮影される第１画像データが不要な場合や、詳細を撮影可能な第２画像データが不要な場合も生じ得る。このため、撮影形式を選択することで、演算処理手段１６における処理負担の軽減を図ることが可能となるからである。

［第２実施形態］
次に、本発明のカメラに係る第２実施形態について、図４を参照して説明する。なお、本実施形態に係るカメラ１０Ａと、第１実施形態に係るカメラ１０とは、その構成の殆どを共通とする。よって、構成を共通とする箇所には図面に同一符号を附して、詳細な説明を省略することとする。

本実施形態に係るカメラ１０Ａと第１実施形態に係るカメラ１０との相違点は、各種センサの有無にある。具体的には、本実施形態に係るカメラ１０Ａには、加速度センサ２０や、温度センサ２２等のセンサが備えられ、センサからの信号に基づいて、撮影形式や記録形態などを制御可能に構成されている。

加速度センサ２０は、物体に加えられる加減速、向きの変化などを検出可能なセンサである。このため、加速度センサ２０により検出される加速度（減速度）が所定の範囲を超える急激なものである場合には、何らかの状態変化が生じたと判定することができる。例えば、カメラ１０Ａをドライブレコーダとして使用していた場合に加速度センサ２０が急激な速度変化を検出した場合には、衝突などの事故（有事）が発生した可能性がある。

通常、ドライブレコーダ等のような録画意図を問わない連続的な撮影を行う場合、ＣＰＵ１６ｃは、起動電力の入力と同時に第１の撮像手段１２および第２の撮像手段１４による撮影および記録を開始する信号を出力する。第１の撮像手段１２および第２の撮像手段１４により撮影された画像データは、一旦内部メモリ１８ｃに保存され、記録容量が所定の値に達した場合、あるいは記録ファイルの数が所定の数に達した場合に、古い記録ファイルから順に上書き保存するという処理が繰り返されている。

本実施形態のカメラ１０Ａでは、ＣＰＵ１６ｃが加速度センサからの信号が所定値以上の急激な変化を表す範囲に達したことを判定した場合に、これをトリガとして、その時を基準として、前後数秒から数分における画像データを内部メモリ１８ｃから抜き出し、外部メモリ１８ａ，１８ｂに記録する処理を行うことを可能としている（前後録画モード）。このような処理を行う事で、カメラ１０Ａに何かしらの急激な動作変化が生じた際に、その前後数秒から数分の間の証拠画像を外部メモリ１８ａ，１８ｂに残す事が可能となる。

また、このような記録ファイルは、上書き記録を禁止する処理を施すこともできる。このような処理を実行することで、事故等の有事の際の記録ファイルを確実に残す事ができるようになる。

一方温度センサ２２は、カメラ１０Ａを構成するＣＰＵ１６ｃやＤＳＰ１６ａ，１６ｂなど、演算処理手段１６による発熱を検出するためのセンサとしての役割を担う。演算処理手段１６は、情報処理の負荷状態が増すほど発熱量が増える傾向にある。そして、発熱量が所定の範囲を超えた場合には、処理速度の低減や、処理の停止を図り、昇温に伴う機器の故障を防ぐ処置が採られる。

しかしながら、昇温時に全ての機能を停止した場合、カメラ１０Ａは、記録装置としての役割を果たさなくなってしまう。このため、温度センサ２２により検出される発熱量が所定の範囲を超えたと判定された場合には、加速度センサ２０に寄与する機能以外の機能を停止し、休止モードとすることで、発熱量を抑え、機器の冷却を図るようにする。そして、加速度センサ２０からの信号が所定値以上の急激な変化を表す範囲に達したと判定された場合に、これをトリガとして、休止させていた機能を復帰させ、第１の撮像手段１２および第２の撮像手段１４による撮影を再開する。ここで、第１の撮像手段１２および第２の撮像手段１４により撮影された画像データは、外部メモリ１８ａ，１８ｂに記録される（後録画モード）。

このため本実施形態のカメラ１０Ａでは、ＣＰＵ１６ｃが、温度センサ２２による検出温度が所定の温度を超えたと判断した場合に、前後録画モードから後録画モードへ切り替わる安全措置を自動で行う事を可能としている。このような機能を有する事で、カメラ１０Ａの稼働状態の安定化（安全化）を図りつつ、少なくとも有事の際には、その直後の画像データを記録として残すことが可能となる。

また、ＣＰＵ１６ｃが行う負荷軽減処置としては、第１の撮像手段１２と第２の撮像手段１４双方による撮影を維持しつつ、取得する画像の画質を低下させるというものであっても良い。

上記実施形態に係るカメラ１０，１０Ａをドライブレコーダとして使用する場合の外観構成の具体例について、図５に示す。図５に示すように、実施形態に係るカメラ１０，１０Ａでは、第１の撮像手段１２のレンズ中心Ｌ１と、第２の撮像手段１４のレンズ中心Ｌ２が交差するように配置されている。特に、図５に示す例では、第１の撮像手段１２のレンズ中心Ｌ１が垂線となるように設置され、第２の撮像手段１４のレンズ中心Ｌ２は、レンズ中心Ｌ１に直交する水平線となるように構成されている。このように、例えば特許文献３に開示されているような２つの撮像手段を備える従来のカメラと異なり、撮像手段のレンズ中心が全く異なる方向を向くように構成されていることも、本発明に係るカメラ１０，１０Ａの特徴の１つといえる。

図５に示す鎖線Ｄ１は、第１の撮像手段１２の画角（撮影範囲）を示し、鎖線Ｄ２は、第２の撮像手段１４の画角（撮影範囲）を示す。このように画角が広い第１の撮像手段１２のレンズ中心Ｌ１を垂線上に配置し、画角が狭い第２の撮像手段１４のレンズ中心Ｌ２を特定の方向（図５に示す例では進行方向）に向けて配置する事で、次のような撮影が可能となる。

すなわち、第１の撮像手段１２により、カメラ１０，１０Ａを中心とした全周囲の画像を取得することができる。ここで、第１の撮像手段１２の撮影範囲の外縁にあたる鎖線Ｄ１近傍においては、取得画像の歪み補正により、画像劣化が大きくなるが、特定方向に配置された第２の撮像手段１４による撮影範囲のうち、破線Ｄ１と破線Ｄ２が交差する範囲については、画像の合成処理により、詳細画像を取得することが可能となる。

［第３実施形態］
次に、上記第２実施形態に係るカメラ１０Ａと、このカメラ１０Ａを搭載する雲台３０により構成される撮影システム５０について図６を参照して説明する。
本実施形態に係る撮影システム５０は、第１の撮像手段１２により撮影された画像データに特定の被写体が移り込んだ際、この被写体が第２の撮像手段１４による撮影範囲に含まれるように、カメラ１０Ａを搭載した雲台３０により、カメラ１０Ａの向きを変化させるという機能を持つように構成されたものである。

このため、カメラ１０Ａには、記憶手段（内部メモリ１８ｃ）１８に、第１画像データから特定の被写体を検出する被写体検出プログラムや、加速度センサ２０の出力信号に基づく姿勢制御プログラム等が記録されることとなる。また、カメラ１０Ａには、外部機器である雲台３０との間で制御信号の授受を行うためのインターフェース２４が備えられる。ここで、特定の被写体とは、人の顔や、他の撮影対象物と異なる動きを示す動体（ボールや飛行機など）であれば良く、既知にアルゴリズムにより、画像データから特定、認識できる範囲のものであれば良い。

雲台３０には、少なくとも、２軸のアクチュエータ（駆動手段）３２が備えられ、搭載したカメラ１０Ａの向きを上下左右に動かすことを可能な構成としている。アクチュエータ３２には、インターフェース３４を介してカメラ１０Ａからの制御信号が入力される。

このような構成の撮影システム５０によれば、第１の撮像手段１２により撮影された広角画像である第１画像データが被写体検出プログラムを介して解析される。解析により、第１画像データの撮影範囲内に特定の被写体が移り込んでいると判定された場合には、姿勢制御プログラムを介して雲台３０のアクチュエータ３２に対して、制御信号が出力される。

制御信号は、カメラ１０Ａに備えられた加速度センサ２０からの出力信号により、カメラ１０Ａの現在の姿勢（第２の撮像手段１４におけるレンズの向き）が求められる。その後、第１画像データから検出された被写体の位置と、現在の第２の撮像手段１４による撮影範囲との位置のズレを算出し、カメラ１０Ａの移動角度等が求められる。求められた移動角度に基づいて、アクチュエータ３２に対する制御パルスが生成され、制御信号として出力される。

このような構成とすることで、本実施形態に係る撮影システム５０では、図７（Ａ）に示すように第１の撮像手段１２により撮影された第１画像データに特定の被写体Ａが映り込んだ際、図７（Ｂ）に示すようにカメラ１０Ａの向きを変化させ、第２の撮像手段１４による撮影範囲（破線枠Ｄ）を被写体Ａに合わせることができる。これにより、撮影後に被写体Ａの詳細画像を確認することが可能となる。なお、被写体Ａの特定方法は、上述したような動きのある部分の検出や、人や顔による検知の他、特定色による検知であっても良い。また、予め検知データを入力することにより、特定の人の顔を検知するものとしても良い。

上記実施形態では、１つのカメラ１０，１０Ａに、第１の撮像手段１２と第２の撮像手段１４を搭載し、２つの撮像手段により撮影した画像データを合成する旨説明した。しかしながら、本発明に係る画像処理方法を実施するにあたっては、第１の撮像手段１２と第２の撮像手段１４を別個のカメラとして、第１画像データと第２画像データを取得するようにしても良い。

具体的には、第１撮像手段１２に、魚眼レンズなどの広角レンズを備えたカメラを採用し、第２の撮像手段１４には、標準レンズを備えたカメラや、カメラ機能付きの携帯電話、その他カメラ機能を有する機器を採用する。２つのカメラは、それぞれ撮影時間帯を合わせ、第２の撮像手段１４の撮影範囲を第１の撮像手段１２における撮影範囲の一部に一致させるようにして撮影を行う。

撮影されたそれぞれの画像データ（第１画像データと第２画像データ）は、外部メモリ１８ａ，１８ｂを介して図示しないコンピュータ等に取り込み、各種演算処理により歪み補正や合成が成されるようにすれば良い。

このような方法を採用した場合には、手持ちの広角レンズカメラや標準レンズカメラを利用して撮影、画像処理を行うことが可能となる。

１０，１０Ａ………カメラ、１２………第１の撮像手段、１４………第２の撮像手段、１６………演算処理手段、１６ａ………ＤＳＰ、１６ｂ………ＤＳＰ、１６ｃ………ＣＰＵ、１８………記憶手段、１８ａ………外部メモリ、１８ｂ………外部メモリ、１８ｃ………内部メモリ、２０………加速度センサ、２２………温度センサ、２４………インターフェース、３０………雲台、３２………アクチュエータ、３４………インターフェース、５０………撮影システム。

Claims (11)

1. 広角レンズを採用し、レンズ中心を起点としてカメラの全周囲を撮影範囲とするように配置位置された第１の撮像手段と、
   前記広角レンズよりも焦点距離が長いレンズを採用し、当該レンズのレンズ中心を通る直線と前記広角レンズのレンズ中心を通る直線とが交差すると共に、前記第１の撮像手段の撮影範囲の一部に前記焦点距離が長いレンズによる撮影範囲が含まれるように配置された第２の撮像手段と、
   前記第１の撮像手段により撮影される円形の全周囲画像データを平面表示するための歪み補正を行い、前記歪み補正を行うことで得られる第１画像データに生じる画像劣化が大きくなる部分に、前記第２の撮像手段により撮影される画像データの歪みを補正することで得られる第２画像データを合成する処理を行う演算処理手段と、を備え、
   前記演算処理手段による合成処理は、前記第１画像データと前記第２画像データの歪み量の違いや画角、撮影角度の違いを考慮した補正が行われることを特徴とするカメラ。
2. 前記第１画像データと前記第２画像データをそれぞれ記録する記憶手段を備えることを特徴とする請求項１に記載のカメラ。
3. 前記第１の撮像手段と前記記憶手段との間と、前記第２の撮像手段と前記記憶手段との間にはそれぞれ、撮像された画像データの一次記録変換を行うＤＳＰが備えられていることを特徴とする請求項２に記載のカメラ。
4. 前記第２の撮像手段における撮像素子の画素数は、前記第１の撮像手段における撮像素子の画素数よりも少ないことを特徴とする請求項１乃至３のいずれか１項に記載のカメラ。
5. 前記演算処理手段は、前記第１の撮像手段による撮影および記録と、前記第２の撮像手段による撮影および記録との少なくとも一方を手動、あるいは自動で選択して撮影および記録を行うことを特徴とする請求項１乃至４のいずれか１項に記載のカメラ。
6. 加速度センサと温度センサの少なくとも１つを備え、
   前記第１の撮像手段および／または前記第２の撮像手段による撮影および記録を自動選択で行う場合、
   前記演算処理手段は、前記加速度センサまたは前記温度センサからの信号が入力された場合に、当該信号をトリガとして前記撮影および前記記録を行うことを特徴とする請求項５に記載のカメラ。
7. 加速度センサを備え、
   前記演算処理手段は、前記加速度センサからの信号が所定の範囲を超える急激な状態変化であると判定した場合に、当該加速度センサからの信号をトリガとして、前記加速度センサからの信号の入力前後における所定時間の記録画像を別ファイルで保存する処理を行うことを特徴とする請求項５に記載のカメラ。
8. 温度センサを備え、
   前記演算処理手段は、前記温度センサからの信号に基づき、カメラ温度が所定の温度範囲を超えたと判定した場合に、前記加速度センサに寄与する機能以外の機能を停止させる休止モードとする処理を行い、
   前記加速度センサからの信号が所定の範囲を超える急激な状態変化であると判定した場合に、当該加速度センサからの信号をトリガとして、前記休止モードから録画モードへ機能復帰を成す処理を行うことを特徴とする請求項７に記載のカメラ。
9. 請求項１乃至８のいずれか１項に記載のカメラを搭載し、前記第１の撮像手段および前記第２の撮像手段による撮影方向を変化させる駆動手段を有する雲台を備え、
   前記演算処理手段は、前記第１の撮像手段により撮影された画像データから特定の被写体を検出し、前記第２の撮像手段による撮影範囲が前記被写体を含むこととなるように、前記カメラによる撮影方向を変化させる制御信号を前記駆動手段に出力することを特徴とする撮影システム。
10. 広角レンズを採用し、レンズ中心を起点としてカメラの全周囲を撮影範囲とするように配置位置された第１の撮像手段により撮影される円形の全周囲画像データに歪み補正を行って平面表示する第１画像データを取得すると共に、前記広角レンズよりも焦点距離が長いレンズを採用し、当該レンズのレンズ中心を通る直線と前記広角レンズのレンズ中心を通る直線とが交差すると共に、前記第１の撮像手段の撮影範囲の一部に前記焦点距離が長いレンズによる撮影範囲が含まれるように配置された第２の撮像手段により撮影した画像データの歪みを補正することで得られる第２画像データを前記第１画像データの一部に合成する画像処理方法であって、
    前記第２画像データは、前記第１画像データを取得する際に行う歪み補正により生じる劣化が大きくなる部分に撮影範囲が定められ、
    前記第１画像データに対する前記第２画像データの合成処理は、前記第１画像データと前記第２画像データの歪み量の違いや画角、撮影角度の違いを考慮した補正が行われることを特徴とする画像処理方法。
11. 前記第１の撮像手段と前記第２の撮像手段とを別個のカメラとして、前記第１画像データと前記第２画像データを取得することを特徴とする請求項１０に記載の画像処理方法。

Images