JP4513905B2 - 信号処理装置、信号処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、例えば、広い範囲でありながらコントラスト比が高い画像を得る場合に適用して好適な信号処理装置、信号処理方法、プログラム及び記録媒体に関する。

従来、風景等を広画角で撮像するため、例えば、パノラマ撮像方式、複数台のカメラを複数の場所に設置したマルチカメラによる撮像方式、高解像度の静止画に低解像度の動画を合わせる撮像方式、複数の焦点を有するカメラを用いたマルチ焦点撮像方式などが用いられていた。ここで、「画角」とは、カメラのレンズを通して被写体を撮像可能な範囲をいう。以下、各撮像方式について簡単に説明する。

パノラマ撮像方式では、複数台のカメラで撮像した画像をつなぎ合わせて、広域の画像を生成する。パノラマ撮像方式には、複数のカメラが１カ所の同じ場所で被写体を撮像するため、つなぎ合わせた画像に境界がない視点一致方式と、複数のカメラが別々の場所で被写体を撮像するため、つなぎ合わせた画像に境界が生じる視点不一致方式が存在する。

視点一致方式の場合、つなぎ合わせる前の各画像の周縁部は、カメラに取り付けられるレンズの特性等によって歪んでしまう。画像の歪みは、つなぎ合わせた画像が劣化する要因となる。歪んだ画像をそのままスクリーンに投影すると、スクリーンの端の画像に生じる歪みがさらに目立ってしまう。

視点一致方式の場合、隣り合うカメラ毎に撮像した画像の境界付近には、隣り合う画像が重なる共通部分が生じる。ここで、図３３を参照して隣り合う画像の共通部分について説明する。

図３３は、各カメラの撮像方向が一点に交わるようにして配置されたカメラを用いて撮像する方式の例を示す。
この方式では、視点１０２を基準とした撮像方向の延長線上に３台のカメラ１０１ａ〜１０１ｃが配置される。なお、撮像方向は、各カメラの光軸に一致する。そして、複数の光軸が交わる点を仮想的な「カメラアレイ（複数台のカメラ）の視点」とする。複数のカメラで撮像した画像を合成する場合、上述した「カメラアレイの視点」と、「各カメラの視点」の２つの視点について留意しなければならない。ここで、「各カメラの視点」を一致させる方式は２種類あり、これらの方式を「視点一致方式」とも称している。第１の方式としては、物理的に１枚のレンズでリレー光学系を用いて撮影する方式がある。第２の方式としては、隣り合う画像が重なる共通部分を一切持たないで、各カメラが各画角を担当して撮影する方式がある。視点一致方式以外の方式を用いて「各カメラの視点」を一致させようとしても、カメラ毎にレンズの大きさが異なるため困難となる。

図３３の説明に戻ると、カメラ１０１ａ〜１０１ｃは、同一の画角で遠景１０３，近景１０５に位置する被写体を撮像する。そして、カメラ１０１ａ〜１０１ｃは、前側焦点面１０４上に焦点を合わせる。このとき、遠景１０３には、隣り合うカメラ１０１ａとカメラ１０１ｂで撮像箇所が重なる共通部分１０３ａが存在する。同様に、遠景１０３には、隣り合うカメラ１０１ｂとカメラ１０１ｃで撮像箇所が重なる共通部分１０３ｂが存在する。また、前側焦点面１０４には、隣り合うカメラ１０１ａと１０１ｂの撮像箇所が重なる共通部分１０４ａが存在する。同様に、前側焦点面１０４には、隣り合うカメラ１０１ｂとカメラ１０１ｃで撮像箇所が重なる共通部分１０４ｂが存在する。

カメラ１０１ａ〜１０１ｃで撮像した画像は、共通部分１０３ａ，１０３ｂ，１０４ａ，１０４ｂを画素毎に色味を混ぜ合わせる。しかし、複数のカメラの視点が不一致であると、各カメラから被写体までの物体距離が変わる。ある特定の焦点面（本例では、前側焦点面１０４の面)で撮像された複数の画像をなめらかにつなげるが、カメラから被写体までの物体距離が異なると（本例では、遠景１０３と近景１０５が混ざった状態）と画像のつなぎ目に違和感が生じやすい（「近景割れ」とも称される。）。このため、複数の画像の共通部分を混ぜ合わせても、画像を高解像度に保つことは難しい。

ここで、特許文献１〜５を参照して、画像を合成する技術について簡単に説明する。
特許文献１には、近景割れについて記載されている。ここでは、高品位表現及び低品位表現で学習させた品位向上関数を用いて、画像データ、ビデオデータ及び音声データの品位を向上させる技術について開示されている。

他方、視点不一致方式では、同じ解像度、色味の画像が得られるカメラを複数の場所に配置して被写体を撮像する。カメラ毎の個体差は、ズーム率の違い等によって現れるため、個体差の影響を排除することでカメラの性能を均一化する。このとき、仮想的に特性が均一化されたカメラを用いて被写体を撮像するために、カメラ毎に得られる画像を様々な手段でキャリブレーションしている。

特許文献２には、低解像度で動画を撮像する動画撮像部と高解像度で静止画を撮像する静止画撮像部を一体化し、所望のシャッタチャンスで高画質の画像を得る画像撮像装置について開示されている。

特許文献３には、第１の画像データ列（低解像度かつ高フレームレートの画像データ列）と第２の画像データ列（高解像度かつ低フレームレートの画像データ列）が同一の範囲となるように撮像する技術について開示されている。これら２つの画像データ列を統合して画像処理を行なうと、高解像度かつ高フレームレートな画像が得られる。

特許文献２及び３に開示された方式では、カメラ毎に時間と解像度を分担する。例えば、１台のカメラが狭い範囲を長時間かけて撮像すると、得られる画像の解像度は高い。一方、他のカメラが広い範囲を短時間で撮像すると、得られる画像の解像度は低い。このように、撮像時間と解像度はトレードオフの関係となる。そして、各カメラが設置される位置（視点位置）を共通として、狭い範囲と広い範囲を撮像するカメラを別にして各画像を合成すると、広い範囲でありながら高い解像度で撮像された画像が得られるため、時間と解像度のトレードオフの関係が解消される。

複数の画像を合成する場合、以下のような信号処理装置１１０が用いられる。
図３４は、従来の信号処理装置１１０の構成例を示すものである。
信号処理装置１１０は、狭い画角で被写体を撮像する第１のカメラが生成する高解像度画像１２１を入力とし、所定の周波数帯域以下の低域画像１２２を抽出する低域抽出部（ＬＰＦ：Low Pass Filter）１１１を備える。図３４では、各処理ブロックとともに、高解像度画像１２１と低域画像１２２について、横軸を周波数、縦軸を周波数のゲインとしたヒストグラムを併記する。

また、信号処理装置１１０は、入力された高解像度画像１２１と低域画像１２２から、低域画像１２２に対する高解像度画像１２１の対応関係を学習する学習部１１２と、各種のパラメータを設定するパラメータ設定部１１３を備える。そして、信号処理装置１１０は、不図示の第２のカメラで撮像された広画角で低解像度の画像１２３に対して、パラメータ設定部１１３から供給された高解像度画像１２１を重ね合わせ、合成画像１２４を生成するマッピング部１１４を備える。マッピング部１１４は、合成画像１２４を外部の出力装置に出力する。

図３５は、信号処理装置１１０が行う従来の画像処理の例を示す。
始めに、低域抽出部１１１は、広画角で撮像された低解像度の画像１２３の低域まで狭画角で撮像された高解像度の画像１２１の帯域を落として、低域画像１２２を抽出する（ステップＳ１０１）。次に、学習部１１２は、高解像度画像１２１と、低域抽出部１１１で抽出された低域画像１２２の間で学習を行い、各種のパラメータ設定部１１３は、パラメータを求める（ステップＳ１０２）。

マッピング部１１４は、パラメータ設定部１１３で設定されたパラメータを用いて、広画角で低解像度の画像１２３の対応する位置に、高解像度画像１２１を重ね合わせるマッピングを行う（ステップＳ１０３）。低解像度の画像１２３に高解像度画像１２１がマッピングされた画像が合成画像として出力される。

特許文献４には、多焦点で撮像する技術について開示されている。この技術は、遠景と近景のいずれにも焦点が合った画像を得ることを目的としている。そして、複数台のカメラが有するレンズは、遠景に焦点を合わせる外側のレンズと、近景に焦点を合わせる中心のレンズを含む構成としている。

特許文献５には、複数台のカメラを配置した場合に、各カメラの視点位置を補正した上で高解像度の画像を合成する技術について記載されている。
特開２００５−５２２１０８号公報 特開平７−１４３４３９号公報 特開２００５−３１８５４８号公報 特開平９−１３９８７８号公報 特開２００４−１３５２０９号公報

ところで、特許文献１に記載される技術では、隣り合う画像が重なる共通部分の幅を可変にして近景割れに対処するが、カメラの撮像範囲内に複数の物体が存在したり、上下左右に複数のカメラが配置されたりすると、画像をなめらかにつなげない。

例えば、ＤＲＣ（Digital Reality Creation：登録商標）のように、様々な処理で劣化した低解像度の画像であっても高解像度の画像に変換する処理が存在する。しかし、ＤＲＣを使っても、得られる高解像度の帯域には限度があるため、例えば、画像を拡大すると画素毎に粗が目立ってしまう。

また、特許文献２及び３に記載された技術は、ＭＰＥＧ（Moving Picture Experts Group）に用いられるＩピクチャ、Ｐピクチャの構造に基づく処理である。Ｉピクチャは高解像度の画像であり、Ｐピクチャは被写体の動きに関する情報が含まれる。この技術では、高解像度の画像を撮像するカメラと、動き情報を算出するカメラの分担が固定されるため、解像度を高めることは容易でない。このため、画像の解像度は、静止画を撮像するカメラに設けられる固体撮像素子（例えば、ＣＭＯＳ：Complementary Metal Oxide Semiconductor、ＣＣＤ：Charge Coupled Device）の解像度より高めることができない。

また、特許文献４に記載される技術において、各レンズは遠景と近景に合わせた焦点を分担して撮像を行っているが、多数のカメラに共通する焦点がない。このため、カメラ毎に焦点がずれやすく、つなぎ合わせた画像に違和感が生じやすい。

また、特許文献５に記載される技術において、例えば、暗い室内と明るい屋外が同時に写り込む被写体を撮像すると、撮像した画像のコントラスト比が高くなってしまう。コントラスト比が高い被写体を撮像すると、屋内や屋外のテクスチャ（物体表面の質感）がなくなったり、撮像可能な輝度を超えてしまったりする。このため、暗い室内の画像が白くぼやけたり、明るい屋外の風景が見えなくなったりする。

本発明はこのような状況に鑑みて成されたものであり、広い範囲に位置するコントラスト比が高い被写体を撮像した場合に、コントラスト比を高めた画像を得ることを目的とする。

本発明は、第１の画角で所定の範囲に含まれる被写体を撮像する第１のカメラが生成した第１の画像が入力され、第１の画角より狭い第２の画角で所定の範囲に含まれる被写体の一部を撮像する複数の第２のカメラが生成した、第１の画像より高解像度である複数の第２の画像が入力される。
次に、第１の画像に含まれる被写体の一部と第２の画像に含まれる被写体との類似部分を検出し、検出された類似部分に相当する位置に、第１の画像に第２の画像を貼り合わせて合成画像を生成する。
また、合成画像より、第１の画像に不足する画像情報であって、第２のカメラが不足する画像情報を補完できない領域を撮像不能領域として検出する。
そして、第１の画像に不足する画像情報を補完した第２の画像を撮像する第２のカメラを制御するためのカメラパラメータを変更する。

このような構成により、コントラスト比が高い高解像度の合成画像が得られる。

本発明によれば、コントラスト比が高い高解像度の合成画像が得られるため、コントラスト比を高めた状態で大画面に合成画像を提示できるという効果がある。

以下、本発明の一実施の形態例について、図１〜図２８を参照して説明する。本実施の形態例では、本発明の信号処理装置１０を用いて、広い範囲であって、かつ、コントラスト比が高い被写体を撮像して、コントラスト比が高い高解像度の合成画像を生成する画像処理システム１に適用した例について説明する。

＜画像処理システム１の構成例＞
図１は、画像処理システム１の構成例を示す。
画像処理システム１は、第１の画角で所定の範囲を撮像し、第１の画像５を生成する第１のカメラ２と、第１の画角に比べて狭い第２の画角で所定の範囲の一部を撮像し、第２の画像６ａ〜６ｃを生成する第２のカメラ３ａ〜３ｃを備える。第１の画像５と第２の画像６ａ〜６ｃは、複数の画像を合成して広い範囲でありながら高解像度の画像を生成する信号処理装置１０に供給される。信号処理装置１０が生成した合成画像は、プロジェクタ装置等からなる表示装置２０に出力される。表示装置２０は、入力された合成画像３０をスクリーンに投影する。

第１のカメラ２と第２のカメラ３ａ〜３ｃには、高解像度カメラやＨＤ（High Definition）カメラ等が用いられる。これらのカメラにはそれぞれ個体差が存在しており、個体差を調整するキャリブレーションを行うと非常にコストがかかる。しかし、本例では、第１のカメラ２の視点、色味、輝度、フォーカスを基準とする「共通情報」に基づいて、第２のカメラ３ａ〜３ｃのキャリブレーションを行うことで、低コストかつ容易にカメラ毎の個体差を調整している。第２のカメラ３ａ〜３ｃの個体差は、「個別情報」として別途管理する。また、本例の信号処理装置１０は、各カメラが撮像する領域毎の輝度分布によるが、例えば、８ビットの階調で撮像できる第１のカメラ２、第２のカメラ３ａ〜３ｃを用いて、１０ビットの階調を持つ画像を作成できる。

本例の画像処理システム１では、撮像した画像に応じて第１のカメラ２と第２のカメラ３ａ〜３ｃの撮像の仕方を変更する。例えば、信号処理装置１０は、第１の画像５と第２の画像６ａ〜６ｃの輝度分布、色分布に応じてカメラパラメータを変更する。また、信号処理装置１０は、第１の画像５と第２の画像６ａ〜６ｃの周波数（画像の波形の細かさ）に応じてカメラパラメータを変更する。

＜信号処理装置１０の内部構成例＞
図２は、信号処理装置１０の内部構成例を示す。
信号処理装置１０は、第１のカメラ２が撮像した第１の画像５が入力される入力部１１ａと、第２のカメラ３ａ〜３ｃから入力された第２の画像６ａ〜６ｃが入力される入力部１１ｂを備える。また、入力部１１ａ，１１ｂを介して取得した第１の画像５に含まれる被写体の一部と第２の画像６ａ〜６ｃに含まれる被写体の双方に類似する箇所を「類似部分」として検出する類似部分検出部１２を備える。「類似部分」とは、例えば、第１の画像５に含まれる森の一部である木と、第２の画像６ａ〜６ｃに含まれる木が類似する部分を指す。類似部分を検出することで、第１の画像５に対する第２の画像６ａ〜６ｃの位置が判明し、第１の画像５の一部と第２の画像６ａ〜６ｃのマッチングを容易に行うことができる。

また、信号処理装置１０は、類似部分検出部１２で検出された類似部分に基づいて第２の画像６ａ〜６ｃの位相等を変換し、第１の画像５のうち、検出された類似部分に相当する位置に第２の画像６ａ〜６ｃを貼り付ける画像合成部１３を備える。また、第１の画像５と第２の画像６ａ〜６ｃに含まれる画像情報に基づいて、合成画像に含まれる画像情報を補正する画像情報補正部１４を備える。本例において、「画像情報」には、少なくとも輝度、色度、周波数の情報のいずれかが含まれる。このため、画像情報補正部１４は、少なくとも輝度、色度、周波数の情報について、合成画像を補整することとなる。画像情報補正部１４で変換された輝度と色度の情報は、類似部分検出部１２に供給される。また、画像情報補正部１４で輝度と色度が変換された画像は、出力部１７を介して、表示装置２０に出力される。

また、信号処理装置１０は、合成画像より、第１の画像５に不足する画像情報であって、第２のカメラ３ａ〜３ｃが不足する画像情報を補完できない領域を撮像不能領域として検出する撮像領域検出部１５を備える。本例の撮像領域検出部１５は、第１の画像５と第２の画像６ａ〜６ｃに基づいて、各カメラで撮像できる撮像可能領域と撮像できない撮像不能領域を求める。そして、被写体に含まれる輝度または周波数を、撮像可能領域と撮像不能領域を求める際の基準情報としている。画像情報補正部１４によって補正された画像情報と撮像領域検出部１５が検出した撮像領域の情報は、類似部分検出部１２に供給され、類似部分の検出の際に用いられる。

また、信号処理装置１０は、撮像領域検出部１５で検出された撮像領域に基づいて、第１の画像５に不足する画像情報を補完した第２の画像６ａ〜６ｃを撮像する第２のカメラ３ａ〜３ｃを制御するためのカメラパラメータを変更するカメラパラメータ演算部１６を備える。カメラパラメータには、視点位置、露出、焦点等の情報が含まれる。

カメラパラメータ演算部１６は、第１の画像５と第２の画像６ａ〜６ｃに含まれる被写体の輝度分布を求めて、第１のカメラ２と第２のカメラ３ａ〜３ｃで撮像可能な輝度領域を検出し、カメラパラメータにズーム率を変える情報を含ませる輝度演算部１６ａを備える。また、被写体の周波数分布を求めて、第１及び第２のカメラで撮像可能な画像領域から撮像不能領域を検出し、カメラパラメータにズーム率を変える情報を含ませるズーム率演算部１６ｂを備える。第２のカメラ３ａ〜３ｃは、カメラパラメータ演算部１６で演算されたカメラパラメータに基づいて、カメラパラメータを変更する。

図３は、第１の画像５と第２の画像６ａの輝度ヒストグラムを用いた輝度分布の例を示す。
第１の画像５の輝度は、輝度ヒストグラム２５として示される。輝度ヒストグラム２５には、第１の画像５全体の輝度分布２６と、第２の画像６ａが撮像される範囲の輝度分布２７が示される。第２の画像６ａ全体の輝度は、輝度ヒストグラム２８として示される。輝度分布２７，３６はスケールが異なるものの同じ輝度分布を表している。

輝度ヒストグラム２５に示すように、第１のカメラ２だけでは、高輝度な被写体であったり、ダイナミックレンジが広い被写体であったりすると、階調不足により撮像できない部分が生じる場合がある。図３の例では、輝度分布２６における輝度値の中間付近では、輝度分布２９に比べて輝度が不足している。このため、第２のカメラ３ａ〜３ｃで撮像したが画像６ａ〜６ｃを第１の画像５に重ねると、本来被写体が有する輝度を再現できる。そして、詳細な輝度情報が得られるため、第１の画像５より多ビットな画像を表示装置２０に表示できたり、画像を調整できたりすることが可能となる。

図４は、ズーム率の変化による画角の例を示す。
図４において、第１のカメラ２と第２のカメラ３ａ〜３ｃの配置は、図１と同様である。例えば、被写体を詳しく見るときは、第２のカメラ３ｂをズームし、他の第２のカメラ３ａ，３ｃをズームアウトしてもよい。そして、第１のカメラ２で広範囲を撮像している範囲内で動く物体を見つけた場合に、第２のカメラ３ｂをズームしてこの物体を撮像できる。このため、カメラ毎にズーム率を変えられることが必要となる。

また、第１のカメラ２が撮像した広い範囲の画像から、部分的に低解像度の画像を得られるため、第２のカメラ３ａ〜３ｃの撮像範囲が連続していないときは、撮像範囲の隙間に第１のカメラ２で撮像した第１の画像５を埋めて合成画像を生成できる。また、各カメラのズーム率を変えるトリガとして画像のハイパスフィルタなどで高周波成分を検出し、高周波のところは重点的に撮像するなども考えられる。

本例では、第１のカメラ２で撮像した第１の画像５を画像合成時の基準とするため、第１のカメラ２のズーム率は変えない。このため、第１のカメラ２の画角は変わらない。
一方、第２のカメラ３ａ〜３ｃは、それぞれズーム率を変えた画角は、元のズーム率における画角に比べて狭くなる。このため、元のズーム率で撮像可能であった領域２２に比べて、ズーム率の変化後の領域２１は狭くなるが、より高解像度の画像が得られる。

そして、カメラパラメータ演算部１６は、少なくとも色、輝度及び焦点のいずれかに関する情報を、第２の画像６ａ〜６ｃの画素毎の特徴量が定まるカメラパラメータとして求める。このように、カメラパラメータを用いて第２のカメラ３ａ〜３ｃの特性を変えることで、互いのカメラで撮像した画像に不足する情報を補える。このとき補う情報を「カメラパラメータ」と称する。カメラパラメータには、解像度、輝度、焦点、ホワイトバランス、視点等がある。以下、カメラパラメータについて説明する。

（１）解像度の場合
第２のカメラ３ａ〜３ｃは、ズーム率を変えることで、撮像領域毎に解像度を自由に変えて撮像できる。
（２）視点の場合
第２のカメラ３ａ〜３ｃは、対象となる被写体に合わせて視点を自由に変えて撮像できる。
（３）ホワイトバランス（色味）の場合
第２のカメラ３ａ〜３ｃは、被写体の色彩に合わせて撮像領域毎にホワイトバランスを自由に変えて撮像できる。
（４）輝度の場合
第２のカメラ３ａ〜３ｃは、オートゲインなどを用いて撮像領域毎に輝度を自由に変えて撮像できる。
（５）フォーカスの場合
第２のカメラ３ａ〜３ｃは、被写体までの距離に応じて撮像領域毎に焦点を自由に変えて撮像できる。

第２のカメラ３ａ〜３ｃは、ズーム率によって撮像領域毎に解像度と輝度を変える。そして、被写体までの距離に応じて撮像領域毎に焦点を変え、撮像した画像の色彩に合わせて撮像領域毎にホワイトバランスを変え、被写体に対する視点を変える。

図５は、共通情報と個別情報の例を示す。
本例では、第１のカメラ２のカメラパラメータに関する情報を「共通情報」としている。共通情報とは第１のカメラ２と第２のカメラ３ａ〜３ｃの全体で基準となる情報であり、主に、第１のカメラ２に対する第２のカメラ３ａ〜３ｃの違いを示す。この共通情報を用いると、各カメラで撮像した複数の画像を繋ぐときにカメラ毎の個体差、視差等の影響を除くことができる。ただし、共通情報は広範囲を撮像して得られる情報であるため解像度は非常に低くなる。

一方、共通情報に対する第２のカメラ３ａ〜３ｃのカメラパラメータに関する情報を「個別情報」としている。個別情報とは、カメラアレイ全体の共通情報と異なるが情報の質（解像度の分解能、輝度の分解能、色の分解能、フォーカスが合う場所等)が高い情報である。共通情報とは、個別情報とは逆に解像度などの情報の質は高いものの、カメラ間の個体差を考慮していない情報である。共通情報と個別情報は、１つのカメラだけでは管理することができず、カメラパラメータ演算部１６によって管理される。共通情報に対する個別情報の差を求めることで、第１のカメラ２に対する第２のカメラ３ａ〜３ｃのカメラパラメータの変化量が判明する。そして、判明したカメラパラメータの変化量は、画像合成部１３が画像を合成する際に、画像のずれや色味の補正等を行うために用いられる。

図５（ａ）は、共通情報と個別情報の管理の仕方の例を示す。
本例では、第１のカメラ２の視点と第１の画像５の色味を基準として、第２の画像６ａ〜６ｃを重ねる。第１のカメラ２の画角は広いため、第１の画像５は低解像度である。一方、第２のカメラ３ａ〜３ｃは、画角が狭く、第１の画像５の一部をズームして撮像するため、第２の画像６ａ〜６ｃは高解像度である。
第１のカメラ２の視点、色味、輝度、フォーカスは、第１の画像５に第２の画像６ａ〜６ｃを重ねる際の基準となる共通情報として用いられる。また、第２のカメラ３ａ〜３ｃの色味、輝度、フォーカスは、カメラ毎に特性が異なる。

図５（ｂ）は、共通情報と個別情報の両方を用いて生成する情報の例を示す。
個別情報は、第１のカメラ２に第２のカメラ３ａ〜３ｃの特性を合わせるために用いられる解像度、視点、色味、輝度、フォーカスに関する情報である。
本例において、第２のカメラ３ａ〜３ｃと同じ高解像度の画像を得ることを目的とする。また、第１のカメラ２が設置された位置を一つの視点とした場合に、第２のカメラ３ａ〜３ｃが設置された位置を第１のカメラ２の視点に一致させる。そして、低解像度の第１の画像５に比べて、第２の画像６ａ〜６ｃは詳細な色情報を有する。また、低輝度の輝度情報しか持たない第１の画像５に比べて、第２の画像６ａ〜６ｃは高輝度の輝度情報を持つ。また、第２のカメラ３ａ〜３ｃは、被写体が含まれる撮像領域毎にフォーカスを合わせる。

従来、狭い画角で被写体を撮像するカメラを複数台並べて、画像をつなぎ合わせた場合、各カメラの視点が一致していないため、画像のつなぎ目に違和感が生じていた。本例では、第１のカメラ２と第２のカメラ３ａ〜３ｃを用意し、共通情報と個別情報に分けて被写体を撮像する。共通情報と個別情報には、解像度、視点、色味、輝度、フォーカスの情報が含まれる。共通情報と個別情報を用いると、各カメラの特性を生かした画像が得られる。

図６は、第２のカメラ３ａ〜３ｃのカメラパラメータの変更処理の例を示すフローチャートである。
始めに、信号処理装置１０は、入力部１１ａを介して第１のカメラ２から第１の画像５を取得し、入力部１１ｂを介して第２のカメラ３ａ〜３ｃから第２の画像６ａ〜６ｃを取得する（ステップＳ１１）。

次に、類似部分検出部１２は、第１の画像５と第２の画像６ａ〜６ｃの類似部分を検出する（ステップＳ１２）。このとき、類似部分検出部１２は、画像情報補正部１４によって補正された画像情報及び撮像領域検出部１５によって検出された撮像不能領域及び撮像可能領域に基づいて類似部分を検出する。本例では、類似部分検出部１２で、各画像の類似部分を検出した後、再度、類似部分を検出する処理を行うことによって類似部分の検出精度を上げる。
ところで、各カメラには固体差が存在しており、従来の類似部分を検出する技術を用いても検出精度が非常に悪い。ここで、「カメラの固体差」とは、カラーフィルタのずれなどにより、色味などがカメラ毎に変わってしまうことを指す。

各カメラの固体差から輝度、色度等の補正量を正確に求めるためには、各画像の位相を揃えることが望ましい。そして、類似部分検出、固体差補正というフィードバック処理を行うことによって、類似部分の検出精度を向上させる。ここで、各カメラの個体差を補正する補正量Ｐを求める式（１）を以下に示す。画素値Ｙ１は、第１のカメラ２で撮像した画像の各画素の画素値を示す。また、画素値Ｙ２は、第２のカメラ３ａ〜３ｃで撮像した画像の各画素の画素値を示す。

式（１）に示すように、第１のカメラ２と第２のカメラ３ａ〜３ｃがそれぞれ求めた、各画素値から平均画素値を減じた絶対値を割ることによって補正量Ｐを求める。そして、次式（２）を用いて補正した画素値Ｙ２を求める。

補正量Ｐを求めた後、カメラの各画素の画素値Ｙ１を画素値Ｙ２に合わせるように、第２のカメラ３ａ〜３ｃの固体差を補正する。なお、類似部分検出部１２で検出された各画像の類似部分の結果を用いることによって、更に補正量Ｐを求めることもできる。

そして、画像合成部１３は、第１の画像５の位相に合わせて第２の画像６ａ〜６ｃを所定の位置に貼り付ける（ステップＳ１３）。ステップＳ１３における画像変換・貼付処理は、特許文献５（特開２００４−１３５２０９号公報）に記載された技術を用いる。

そして、画像情報補正部１４は、第２のカメラ３ａ〜３ｃの輝度を、第１のカメラ２の輝度に合うように変換する（ステップＳ１４）。そして、画像情報補正部１４は、輝度と色度が合うように画像を、再び類似部分検出部１２に送る（ステップＳ１５）。

ステップＳ１４の処理の後、撮像領域検出部１５は、第１のカメラ２と第２のカメラ３ａ〜３ｃが共に撮像できない撮像不能領域に関する情報を検出する（ステップＳ１６）。撮像領域検出部１５は、第１の画像５と第２の画像６ａ〜６ｃに含まれる被写体の一部のコントラスト比に応じて、被写体の輝度分布を求める。そして、第１のカメラ２と第２のカメラ３ａ〜３ｃで撮像できない輝度領域から撮像不能領域を検出する。この撮像不能領域には、被写体にサチュレーションを起こすような高い輝度を含んでいる。また、周波数分布を求めて撮像不能領域を検出する場合、その撮像不能領域にはそのときのカメラの解像度では対応できない高い周波数成分を有する領域が含まれる。

そして、撮像領域検出部１５は、カメラ毎に検出した撮像領域に関する情報を類似部分検出部１２に送信する（ステップＳ１７）。撮像領域に関する情報は、類似部分検出部１２においてどの領域をマッチングするかのパラメータとして用いられる。

ステップＳ１６の処理の後、カメラパラメータ演算部１６は、第２のカメラ３ａ〜３ｃに設定するカメラパラメータを演算し、第２のカメラ３ａ〜３ｃに対してカメラパラメータを設定する（ステップＳ１８）。

次に、図７〜図１７を参照して本例の画像処理システム１で行うカメラを選択する処理の例について説明する。図７〜図１７では、被写体の輝度に応じて、カメラの撮像領域を変える処理を行っている。以下、第１のカメラ２と第２のカメラ３ａ，３ｂを用いて被写体を撮像する場合について説明する。

図７は、コントラスト比が高い被写体３１の例を示す。
本例では、暗い室内から明るい屋外を撮像する場合に見える被写体３１について説明する。被写体３１には、暗い屋内領域３２と、明るい屋外領域３３が含まれる。屋内領域３２には、例えば窓枠３２ａ〜３２ｃがある。屋外領域３３には、例えば、太陽３３ａ，雲３３ｂ，森３３ｃがある。

従来、屋外領域３３にカメラの焦点を合わせると、屋内領域３２に含まれる窓枠３２ａ〜３２ｃの模様等が暗く映ってしまう。一方、屋内領域３２にカメラの焦点を合わせると、屋外領域３３に含まれる被写体が白く映るため、例えば森３３ｃに含まれる木々の葉等が映らなくなってしまう。このため、１台のカメラで被写体３１を鮮明に撮像できなかった。

図８は、被写体３１から求まる輝度ヒストグラムの例を示す。この輝度ヒストグラムの輝度値は対数表示される。以下、図８〜図１２には、横軸を輝度、縦軸を度数とした輝度ヒストグラムを示す。
屋内領域３２の輝度分布３４は、例えば、０〜１００カンデラの間にある。そして、輝度分布３４内で屋内領域３２の輝度がピークとなる。
屋外領域３３の輝度分布３５は、例えば、１５００〜６０００カンデラの間にある。そして、輝度分布３５内で屋外領域３３の輝度がピークとなる。

図９は、図８に示す輝度ヒストグラムの内、１台のカメラで撮像可能な輝度領域３６を示す。
第１のカメラ２，第２のカメラ３ａ〜３ｃが撮像可能な輝度領域３６は、２５５階調の一定範囲内に限られる。このため、第１のカメラ２，第２のカメラ３ａ，３ｂのうち、いずれか１台のカメラのみを用いて屋内領域３２と屋外領域３３を高い輝度で同時に撮像することはできない。本例では、カメラ毎の撮像領域を屋内領域３２と屋外領域３３で異ならせており、得られた各画像の輝度は高い。これらの画像を合成することによって、高いコントラスト比を有する合成画像が得られる。

ここで、図１０〜図１７を参照して、撮像領域検出部１５が行うカメラ毎に撮像領域を検出する処理について説明する。
図１０は、図７に示す被写体３１を撮像する第１のカメラ２及び第２のカメラ３ａ，３ｂの画角の例を示す。図１０に示す各カメラの画角は、カメラパラメータによって画角が変更される前の初期状態とする。

第１のカメラ２の画角４１は、被写体３１全体を撮像するように設定される。本例では、画角４１に、屋内領域３２と屋外領域３３内の被写体が含まれる。
第２のカメラ３ａの画角４２ａは、屋外領域３３を撮像するように設定される。一方、第２のカメラ３ｂの画角４２ｂは、屋内領域３２と屋外領域３３を撮像するように設定される。ただし、第２のカメラ３ａの画角４２ａと第２のカメラ３ｂの画角４２ｂは、一部が重なっている。また、第２のカメラ３ａの画角４２ａに比べて、第２のカメラ３ｂの画角４２ｂの画角は小さい。

図１１は、第２のカメラ３ａで撮像可能な輝度の範囲を示す輝度ヒストグラムの例を示す。
第２のカメラ３ａは、高輝度（例えば、５００〜６０００カンデラの間）の被写体を撮像する場合に適している。このため、５００〜６０００カンデラの範囲外の輝度を有する被写体を撮像すると、得られる画像は暗くなってしまう。

図１２は、第２のカメラ３ｂで撮像可能な輝度の範囲を示す輝度ヒストグラムの例を示す。
第２のカメラ３ｂは、低輝度（例えば、０〜５００カンデラの間）の被写体を撮像する場合に適している。このため、０〜５００カンデラの範囲外の輝度を有する被写体を撮像すると、得られる画像は白くなってしまう。

図１３は、第１のカメラ２で撮像可能な輝度の範囲を示す輝度ヒストグラムの例を示す。
第１のカメラ２は、１００〜１５００カンデラの間の被写体を撮像する場合に適している。このため、１００〜１００カンデラの範囲外の輝度を有する被写体を撮像すると、得られる画像は白くなってしまう。

撮像領域検出部１５は、第１のカメラ２と第２のカメラ３ａ，３ｂから、自機で撮像可能な輝度範囲に関する情報を集める。そして、第１のカメラの画角４１で撮像された画像上に、第２のカメラ３ａの画角４２ａで撮像された画像と第２のカメラ３ｂの画角４２ｂで撮像された画像をマッピングする。

図１４は、各カメラの画角と撮像可能・不能領域の例を示す。
図１４（ａ）は、第１のカメラ２の画角４１と撮像可能・不能領域の例を示す。
図１４（ｂ）は、第２のカメラ３ａの画角４２ａと撮像可能・不能領域の例を示す。
図１４（ｃ）は、第２のカメラ３ｂの画角４２ｂと撮像可能・不能領域の例を示す。

各画角に含まれる画像は、上述した図１０に示した画角で撮像される画像に等しい。以降の説明において、白抜きした箇所をカメラで撮像できない撮像不能領域とし、影をつけた箇所をカメラで撮像できる撮像可能領域とする。

図１５は、第２のカメラ３ａ，３ｂの画角の例を示す。
第２のカメラ３ａの画角４２ａと第２のカメラ３ｂの画角４２ｂの大きさは、上述した図１０に示した画角に等しい。

撮像領域検出部１５は、第２のカメラ３ｂの画角４２ｂが第２のカメラ３ａの画角４２ａに重ならず、かつ、屋外領域３３の一部が入る箇所を、第２のカメラ３ａ，３ｂのいずれも撮像不能領域４３として検出する。この状態で複数の画像を合成しても、被写体の輝度を明確に再現する画像は得られない。そして、撮像領域検出部１５は、撮像可能領域と撮像不能領域を区別するため、画角４２ａ，４２ｂで撮像された各画像に含まれる画素毎にフラグを立てる。

このため、撮像領域検出部１５は、撮像不能領域４３に対して、第１のカメラ２を用いて撮像するために必要とされる輝度を予測する。そして、第２のカメラ３ａ，３ｂのうち、この予測した輝度を撮像可能なカメラを選択する。本例では、第２のカメラ３ａを選択したものとする。そして、撮像領域検出部１５は、画角を変更するための情報をカメラパラメータ演算部１６に供給する。カメラパラメータ演算部１６は、第２のカメラ３ａの画角を広げて撮像範囲を変更するように、変更したカメラパラメータを第２のカメラ３ａに供給して、第２のカメラ３ａの画角を変える設定を行う。このカメラパラメータには、ズーム率を変える情報が含まれており、ズーム率を変えることによってカメラの画角を変えることができる。

図１６は、画角を広げた第２のカメラ３ａ，３ｂの画角の例を示す。
ここでは、第２のカメラ３ａの画角４２ａを広げた画角４２′を示す。このように画角４２ａを広げることによって、撮像不能領域４３（図１５参照）であっても、第２のカメラ３ａで撮像することが可能となる。

図１７は、撮像領域検出部１５が行う撮像領域検出処理の例を示す。
始めに、撮像領域検出部１５は、入力部１１ｂを介して取得した第２のカメラ３ａ，３ｂが撮像した画角４２ａ，４２ｂに基づいて、各カメラの撮像可能領域を求める（ステップＳ２１）。

次に、撮像領域検出部１５は、第１のカメラ２が撮像した第１の画像に対して、画角４２ａ，４２ｂの情報を貼り付ける（ステップＳ２２）。そして、撮像領域検出部１５は、第１の画像に貼り付けられた画角４２ａ，４２ｂの情報より、第２のカメラ３ａ，３ｂの撮像不能領域４３を抽出する（ステップＳ２３）。

次に、撮像領域検出部１５は撮像不能領域４３の輝度値を確認し、撮像不能領域４３の輝度値を撮像できるカメラを第２のカメラ３ａ，３ｂから選択する（ステップＳ２４）。ステップＳ２４では、例えば、図１１〜図１３に示した輝度ヒストグラムに基づいて、撮像不能領域４３を撮像可能な第２のカメラ３ａ，３ｂを選択している。

次に、輝度値が撮像可能領域にある第２のカメラ３ａ，３ｂのカメラパラメータを変更する（ステップＳ２５）。ここでは変更するカメラパラメータとして、ズーム率を変えることによって画角を変えている。そして画角４２ａを広げた画角４２′によって、撮像不能領域４３であっても撮像可能としている。なお、変更可能なカメラパラメータには、例えば、撮像方向、フォーカス等の情報が含まれる。

次に、図１８〜図２６を参照してカメラパラメータを変更する処理の例について説明する。図１８〜図２６では、被写体に含まれる周波数（例えば、画像の波形（模様等）の細かさ）に応じて、第２のカメラ３ａ，３ｂが撮像する領域を変える。ここで、第１のカメラ２は広範囲を撮像するため、撮像した画像には、高い周波数成分が含まれない。このため、高い周波数成分を撮像可能な第２のカメラ３ａ，３ｂを選択し、適応的にカメラパラメータを変更する必要がある。本例のカメラパラメータには、ズーム率を変更する情報が含まれる。

図１８は、被写体の一部に高周波領域が含まれる画像の例を示す。
図１８には、被写体として、空５３、柵を有する建物５４及び複数のビル５５が含まれる。本例において、第１のカメラ２は、第１の画角５１で被写体全体を撮像した画像を生成する。また、第２のカメラ３ａ，３ｂは、第１のカメラ２より狭い第２の画角５２ａ，５２ｂで撮像した画像を生成する。建物５４には一定の周期で明暗が変化する模様（本例では柵）があるため、空５３，ビル５５と比べて高い周波数が含まれると言える。このため、第１のカメラ２を用いただけでは、建物５４の模様を撮像できない。

図１９は、図１８に示した被写体に含まれる空５３とビル５５の周波数分布の例を示す。
空５３の周波数分布６１に示すように、空５３の周波数成分は低い。
一方、ビル５５の周波数分布６２に示すように、ビル５５の周波数成分は高い。

図２０は、１台のカメラで撮像可能な周波数領域の例を示す。
第１のカメラ２と第２のカメラ３ａ，３ｂのいずれであっても、撮像可能な周波数領域６３はほぼ同じである。しかし、第２のカメラ３ａ，３ｂをズームすると、撮像可能な周波数領域６４は、周波数領域６３に比べて広くなる。このため、より細かいテクスチャ（高周波）の画像を撮像できる。ただし、第２のカメラ３ａ，３ｂをズームすると、ズーム前に比べて画角は小さくなる。

図２１は、ズーム前の第２のカメラ３ａで撮像可能な周波数領域の例を示す。
第２のカメラ３ａは、撮像可能領域６５ａに示すように、低い周波数成分の画像を撮像することが可能である。

図２２は、ズーム後の第２のカメラ３ｂで撮像可能な周波数領域の例を示す。
第２のカメラ３ｂは、撮像可能領域６５ａに示すように、高い周波数成分の画像を撮像することが可能である。このため、第２のカメラ３ｂで撮像した画像は高解像度となり、細かい模様等を撮像できる。

図２３は、第１のカメラ２で撮像可能な周波数領域の例を示す。
第１のカメラ２は、広範囲の被写体を撮像する。そして、第１のカメラ２で撮像可能な周波数領域６６は、空５３の周波数分布６１の範囲にほぼ等しい。つまり、第１のカメラ２は、ズーム率が非常に低いので撮像した画像は低解像度（低域）となり、細かい模様等は撮像できない。

図２４は、各カメラの画角と撮像可能・不能領域の例を示す。
図２４（ａ）は、第１のカメラ２の画角５１と撮像可能・不能領域の例を示す。
図２４（ｂ）は、第２のカメラ３ａの画角５２ａと撮像可能・不能領域の例を示す。
図２４（ｃ）は、第２のカメラ３ｂの画角５２ｂと撮像可能・不能領域の例を示す。

各画角５１，５２ａ，５２ｂ内に含まれる被写体の画像は、上述した図１８に示した画角における被写体の画像に等しい。図２４（ａ）〜図２４（ｃ）に示すように、高周波領域が含まれる建物５４は、どのカメラを用いても解像度を高めて撮像できないことが分かる。

ところで、各カメラで撮像した画像を合成するためには、各カメラが撮像可能な周波数領域の情報を得ることが必要である。ここでは、図２５と図２６を参照してカメラの画角を変える処理について説明する。

図２５は、ズーム前の第２のカメラ３ａ，３ｂの画角の例を示す。
第２のカメラ３ａの画角５２ａと第２のカメラ３ｂの画角５２ｂの大きさは、上述した図１８の場合と同様である。
ところで、第２のカメラ３ｂの画角５２ｂが第２のカメラ３ａの画角５２ａに重なる箇所に高周波領域が含まれる建物５４が含まれる。このままでは、建物５４の模様を明確に撮像できない。建物５４を高解像度で撮像するためには、第２のカメラ３ａ，３ｂのうち、いずれかのカメラをズームすればよい。本例では、第２のカメラ３ｂが最も高い周波数領域の被写体を撮像できる（図２２参照）ため、第２のカメラ３ｂのズーム率を変えて、画角を変えるカメラパラメータを変更する。このカメラパラメータには、画角を変更するための情報が含まれる。

図２６は、ズームした第２のカメラ３ｂの画角の例を示す。
ここでは、第２のカメラ３ｂの画角５２ｂをズームした第２のカメラの画角５７を示す。画角５７は、画角５２ｂ（図２５参照）に比べて狭いことが分かる。このように第２のカメラ３ｂをズームすることによって、図２５に示したような高周波領域が含まれる建物５４を高解像度で撮像できる。

ここで、被写体に含まれる高周波領域を検出する場合における第２のカメラ３ａ，３ｂの構成例と処理画像の例について、図２７〜図３１を参照して説明する。

図２７は、第１のカメラ２と第２のカメラ３ａ〜３ｃが備える撮像部７０の構成例を示す。
撮像部７０は、レンズ７１と、低域分離部（光学ＬＰＦ：Low Pass Filter）７２と、撮像素子（ＣＣＤ，ＣＭＯＳ等）７３を備える。被写体から生じる光線は、レンズ７１を通過してローパスフィルタ７２によって低域成分の光線が抽出される。低域成分の光線は、撮像素子７３によって画像信号に変換され、第１のカメラ２と第２のカメラ３ａ〜３ｃが備える各処理ブロックに供給される。なお、被写体に含まれる高周波領域は、二次元フーリエ変換、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）等の技術を用いて検出できる。

（１）画像成分を解析する場合
始めに、撮像領域検出部１５が行う画像成分を解析することによって高周波領域を検出する処理の例について説明する。
図２８は、二次元フーリエ変換を施した画像の例を示す。
まず、撮像領域検出部１５は、画像を８×８のブロック毎に区切り、二次元フーリエ変換をかける。変換画像７４を参照すると、周波数が低い箇所７５の周辺が所定の閾値より高い周波数の領域であることがわかる。つまり、白いブロックは、所定の閾値より周波数が低い領域であると言える。

図２９は、高周波領域の検出処理における各段階の画像の例を示す。
図２９（ａ）は、原画像８１の例を示す。
この原画像には、クマのぬいぐるみと、人形に着せられた着物の一部の画像が含まれる。なお、原画像８１は、ローパスフィルタ７２を通さないで得る画像である。
図２９（ｂ）は、原画像８１の全体にわたって、８×８ブロック毎に２次元高速フーリエ変換（ＦＦＴ：Fast Fourier transform）を掛けた画像８２の例を示す。ここで、図２８に示すような８×８ブロックは、ブロック８０に示される。画像８２より、模様が細かい着物の付近は、白くなっており、この付近に高い周波数成分が含まれることが分かる。

図２９（ｃ）は、原画像８１にローパスフィルタ７２を通して得られる低域画像８３の例を示す。
低域画像８３は低域成分のみで構成されるため、全体に不鮮明となる。
図２９（ｄ）は、ローパスフィルタ７２を掛けた低域画像８３の８×８ブロック毎に２次元高速フーリエ変換を掛けた画像８２の例を示す。この場合であっても、画像８２より、模様が細かい着物の付近は、白くなっており、この付近に高い周波数成分が含まれることが分かる。

（２）原画像から低域成分を引いた差分画像を求める場合
図３０は、第１のカメラ２と第２のカメラ３ａ〜３ｃが備える撮像部７０の構成例を示す。各ブロックの構成は、上述した図２７に示した構成例と同様であるため、詳細な説明を省略する。
図３０（ａ）は、ローパスフィルタ７２をオフ状態とした場合の構成例である。この場合、原画像８１が得られる。
図３０（ｂ）は、ローパスフィルタ７２をオン状態とした場合の構成例である。この場合、低域画像８３が得られる。

図３１は、高周波領域の検出処理における各段階の画像の例を示す。
図３１（ａ）は、ローパスフィルタ７２がオフ状態の場合に得られる原画像８１の例である。この場合、原画像８１には高周波成分が含まれるため、着物の模様等も明確に表示される。
図３１（ｂ）は、ローパスフィルタ７２がオン状態の場合に得られる画像８２の例である。この場合、画像８２は所定の閾値より低い低域成分のみとなるため、全体に不鮮明となる。
図３１（ｃ）は、差分画像８３の例を示す。
この場合、差分画像８４は、原画像８１から画像８２を引いて所定の閾値より高い周波数成分のみとしている。この結果、差分画像８４より、被写体に含まれる高周波領域を検出できる。

そして、検出した高周波領域の情報に基づいて、ズーム率演算部１６ｂは、選択した第２のカメラ３ａ，３ｂのいずれかに対して、変更したズーム率の情報が含まれるカメラパラメータを供給する。この結果、第２のカメラ３ａ，３ｂのズーム率を変えて、画角を狭くし、高周波領域の被写体を撮像できる。

以上説明した本実施の形態例に係る信号処理装置１０によれば、第１のカメラ２で撮像した第１の画像５に対して、第２のカメラ３ａ〜３ｃで撮像した第２の画像６ａ〜６ｃを貼り合わせて合成画像を作成する。この合成画像を作成する際に、画像情報補正部１４は、輝度・色度の情報を類似部分検出部１２に供給することで類似部分の検出処理を確実にしている。また、撮像領域検出部１５は、第１のカメラ２と第２のカメラ３ａ〜３ｃの撮像可能領域と撮像不能領域を求めている。ここで求められた撮像可能領域と撮像不能領域の情報は、類似部分検出部１２に供給されており、類似部分の検出処理をさらに確実にしている。

また、撮像領域検出部１５で検出した撮像可能領域と撮像不能領域の情報をカメラパラメータ演算部１６に供給することによって、第２のカメラ３ａ〜３ｃのカメラパラメータを変更する際の精度を高めることができる。

また、カメラ３ａ〜３ｃの属性（解像度、視点、色、輝度、焦点)を分担させて撮像できる。そして、属性（解像度、視点、色、輝度、焦点)が異なるカメラ３ａ〜３ｃで撮像した複数の画像から新しい画像を合成する際に、各画像で持つ詳細なカメラパラメータの情報を融通する。この結果、第１の画像５と第２の画像６ａ〜６ｃから高解像度の合成画像が得られる。このとき、第２の画像６ａ〜６ｃの高域成分のみを第１の画像５の低域成分に貼り合わせるため、第１の画像５に含まれる色味を生かした状態で違和感なく画像が合成される。そして、本例で生成する合成画像は、静止画、動画のいずれであってもよい。

また、複数台のカメラの視点が不一致であっても、共通情報に対する個別情報を第２のカメラ３ａ〜３ｃ毎に把握できる。そして、個別情報に基づいて、カメラパラメータを調整するため、各画像をなめらかにつなげた合成画像が得られる。このため、第２のカメラ３ａ〜３ｃの台数制限や配置の制約がない。

また、第１のカメラ２のみを用いて輝度の差が大きい被写体を撮像すると、得られる第１の画像５は低輝度または高輝度な部分を正確に撮像しきれない。しかし、これらの部分は、第２のカメラ３ａ〜３ｃで撮像した第２の画像６ａ〜６ｃで補うことができる。このため、得られる合成画像は、多階調（ハイダイナミックレンジ）の画像となる。

なお、上述した実施の形態例に係る信号処理装置は、この構造は多段に重ねることが可能で、カメラの機構が許す限りの高い解像度で撮像することが可能になる。ここでは、他の実施の形態例について、図３２を参照して説明する。

図３２は、複数のカメラユニットの配置例を示す。
図１に示した、第１のカメラ２と第２のカメラ３ａ〜３ｃの１つのユニットとして、複数のユニットを並べて配置したものである。本例では、さらに、第１のカメラ２より広い画角で被写体を撮像する第３のカメラ９を備える。ただし、基本的な動作は、第１のカメラ２と第２のカメラ３ａ〜３ｃの１つのユニットを用いた場合と同様である。
このとき、第３のカメラ９で撮像した画角９０を基準として、画角９０に対するずれを補正した状態で、各ユニットが撮像し、合成した画像が配置される。そして、多段構成でありながら高い解像度の合成画像が得られる。このため、高解像度でありながら歪みが生じないステレオ画像が得られるという効果がある。

また、上述した実施の形態例における一連の処理は、ハードウェアにより実行できるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。

また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施の形態例の機能が実現される場合も含まれる。

また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本発明は上述した実施の形態例に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。

本発明の一実施の形態例における画像処理システムの例を示す構成図である。 本発明の一実施の形態例における信号処理装置の内部構成例を示すブロック図である。 本発明の一実施の形態例における各画像の輝度分布の例を示す説明図である。 本発明の一実施の形態例におけるズーム率の変化の例を示す説明図である。 本発明の一実施の形態例における共通情報と個別情報の例を示す説明図である。 本発明の一実施の形態例における第２のカメラのカメラパラメータ変更処理の例を示すフローチャートである。 本発明の一実施の形態例におけるコントラスト比が高い被写体の例を示す説明図である。 本発明の一実施の形態例における実世界における輝度ヒストグラムの例を示す説明図である。 本発明の一実施の形態例における１台のカメラで撮像可能な輝度領域の例を示す説明図である。 本発明の一実施の形態例における被写体に対する第１及び第２のカメラの撮像領域の例を示す説明図である。 本発明の一実施の形態例における第２のカメラで撮像可能な輝度領域を示す輝度ヒストグラムの例を示す説明図である。 本発明の一実施の形態例における第２のカメラで撮像可能な輝度領域を示す輝度ヒストグラムの例を示す説明図である。 本発明の一実施の形態例における第１のカメラで撮像可能な輝度領域を示す輝度ヒストグラムの例を示す説明図である。 本発明の一実施の形態例における第１及び第２のカメラの画角と撮像可能・不能領域の例を示す説明図である。 本発明の一実施の形態例における複数の第２のカメラの画角の例を示す説明図である。 本発明の一実施の形態例における複数の第２のカメラの画角の例を示す説明図である。 本発明の一実施の形態例における第２のカメラのカメラパラメータを変更する処理の例を示すフローチャートである。 本発明の一実施の形態例における高周波領域の物体が含まれる被写体の例を示す説明図である。 本発明の一実施の形態例における被写体の周波数分布の例を示す説明図である。 本発明の一実施の形態例における１台のカメラで撮像可能な周波数領域の例を示す説明図である。 本発明の一実施の形態例におけるズーム前の第２のカメラで撮像可能な周波数領域の例を示す説明図である。 本発明の一実施の形態例におけるズーム後の第２のカメラで撮像可能な周波数領域の例を示す説明図である。 本発明の一実施の形態例における第１のカメラで撮像可能な周波数領域の例を示す説明図である。 本発明の一実施の形態例における第１及び第２のカメラの画角と撮像可能・不能領域の例を示す説明図である。 本発明の一実施の形態例におけるズーム前の第２のカメラの画角と撮像可能・不能領域の例を示す説明図である。 本発明の一実施の形態例におけるズーム後の第２のカメラの画角と撮像可能・不能領域の例を示す説明図である。 本発明の一実施の形態例における第１及び第２のカメラの構成例を示すブロック図である。 本発明の一実施の形態例における二次元フーリエ変換画像の例を示す説明図である。 本発明の一実施の形態例における高周波領域の検出処理における各段階の画像の例を示す説明図である。 本発明の一実施の形態例における第１及び第２のカメラの構成例を示すブロック図である。 本発明の一実施の形態例における高周波領域の検出処理における各段階の画像の例を示す説明図である。 本発明の他の実施の形態例における複数のカメラユニットの配置例を示す説明図である。 従来の視点一致方式によるカメラの配置例を示す説明図である。 従来の信号処理装置の構成例を示すブロック図である。 従来の画像処理の例を示すフローチャートである。

符号の説明

１…画像処理システム、２…第１のカメラ、３ａ〜３ｃ…第２のカメラ、５…第１の画像、６ａ〜６ｃ…第２の画像、１０…信号処理装置、１１ａ，１１ｂ…入力部、１２…類似部分検出部、１３…画像合成部、１４…画像情報補正部、１５…撮像領域検出部、１６…カメラパラメータ演算部、１７…出力部、２０…表示装置、３０…合成画像

Claims (11)

1. 第１の画角で所定の範囲に含まれる被写体を撮像する第１のカメラが生成した第１の画像が入力され、前記第１の画角より狭い第２の画角で前記所定の範囲に含まれる前記被写体の一部を撮像する複数の第２のカメラが生成した、前記第１の画像より高解像度である複数の第２の画像が入力される入力部と、
   前記第１の画像に含まれる被写体の一部と前記第２の画像に含まれる被写体との類似部分を検出する類似部分検出部と、
   前記第１の画像のうち、前記検出された類似部分に相当する位置に前記第２の画像を貼り合わせて合成画像を生成する画像合成部と、
   前記合成画像より、前記第１の画像に不足する画像情報であって、前記第２のカメラが前記不足する画像情報を補完できない領域を撮像不能領域として検出する撮像領域検出部と、
   前記第１の画像に不足する画像情報を補完した前記第２の画像を撮像する前記第２のカメラを制御するためのカメラパラメータを変更するカメラパラメータ演算部を備える
   信号処理装置。
2. 請求項１記載の信号処理装置において、
   前記撮像領域検出部は、前記第１及び第２の画像に含まれる被写体の輝度分布又は周波数分布を求めて、前記第１及び第２のカメラで撮像可能な画像領域から前記撮像不能領域を検出する
   信号処理装置。
3. 請求項２記載の信号処理装置において、
   前記カメラパラメータ演算部は、
   前記被写体の輝度分布を求めて、前記第１及び第２のカメラで撮像可能な輝度領域を検出し、前記カメラパラメータにズーム率を変える情報を含ませる輝度演算部と、
   前記被写体の周波数分布を求めて、前記第１及び第２のカメラで撮像可能な周波数領域から前記撮像不能領域を検出し、前記カメラパラメータにズーム率を変える情報を含ませるズーム率演算部を備える
   信号処理装置。
4. 請求項３記載の信号処理装置において、
   前記撮像領域検出部は、前記第２のカメラが備えるレンズを透過した光線のうち、低域成分の光線を通過させる低域抽出部によって抽出された低域画像に２次元高速フーリエ変換を掛けて、前記低域画像に含まれ、所定の閾値より前記周波数が高い領域を検出する
   信号処理装置。
5. 請求項３記載の信号処理装置において、
   前記撮像領域検出部は、前記第２のカメラが備えるレンズを透過した光線から低域成分を通過させる低域抽出部によって抽出された低域画像の周波数成分を、前記第２の画像の周波数成分から減じた差分画像に基づいて、前記第２の画像に含まれ、所定の閾値より前記周波数が高い領域を検出する
   信号処理装置。
6. 請求項１記載の信号処理装置において、
   前記第１及び第２の画像に含まれており、少なくとも輝度または周波数のいずれかが含まれる画像情報に基づいて、前記合成画像に含まれる前記画像情報を補正する画像情報補正部を備える
   信号処理装置。
7. 請求項１記載の信号処理装置において、
   前記類似部分検出部は、
   前記画像情報補正部によって補正された前記画像情報及び前記撮像領域検出部によって検出された前記撮像不能領域及び撮像可能領域に基づいて前記類似部分を検出する
   信号処理装置。
8. 請求項１記載の信号処理装置において、
   前記カメラパラメータ演算部は、少なくとも色、輝度及び焦点のいずれかに関する情報を、前記第１の画像に対する前記複数の低域画像の画素毎の特徴量が定まる前記カメラパラメータとして求め、前記カメラパラメータを、前記第１のカメラを基準とした共通情報として管理すると共に、前記共通情報に対する前記複数の第２のカメラの情報を個別情報として管理する
   信号処理装置。
9. 第１の画角で所定の範囲に含まれる被写体を撮像する第１のカメラが生成した第１の画像が入力され、前記第１の画角より狭い第２の画角で前記所定の範囲に含まれる前記被写体の一部を撮像する複数の第２のカメラが生成した、前記第１の画像より高解像度である複数の第２の画像が入力されるステップと、
   前記第１の画像に含まれる被写体の一部と前記第２の画像に含まれる被写体との類似部分を検出するステップと、
   前記第１の画像のうち、前記検出された類似部分に相当する位置に前記第２の画像を貼り合わせて合成画像を生成するステップと、
   前記合成画像より、前記第１の画像に不足する画像情報であって、前記第２のカメラが前記不足する画像情報を補完できない領域を撮像不能領域として検出するステップと、
   前記第１の画像に不足する画像情報を補完した前記第２の画像を撮像する前記第２のカメラを制御するためのカメラパラメータを変更するステップと、を含む
   信号処理方法。
10. 第１の画角で所定の範囲に含まれる被写体を撮像する第１のカメラが生成した第１の画像が入力され、前記第１の画角より狭い第２の画角で前記所定の範囲に含まれる前記被写体の一部を撮像する複数の第２のカメラが生成した、前記第１の画像より高解像度である複数の第２の画像が入力されるステップと、
    前記第１の画像に含まれる被写体の一部と前記第２の画像に含まれる被写体との類似部分を検出するステップと、
    前記第１の画像のうち、前記検出された類似部分に相当する位置に前記第２の画像を貼り合わせて合成画像を生成するステップと、
    前記合成画像より、前記第１の画像に不足する画像情報であって、前記第２のカメラが前記不足する画像情報を補完できない領域を撮像不能領域として検出するステップと、
    前記第１の画像に不足する画像情報を補完した前記第２の画像を撮像する前記第２のカメラを制御するためのカメラパラメータを変更するステップと、を含む処理を
    コンピュータに実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記録した
    記録媒体。