JP2012199621A - 複眼撮像装置 - Google Patents

Abstract

【課題】テレ側及びワイド側の両方で高画質な画像を得ると共に、全体の消費電力を低減できる複眼撮像装置を提供する。
【解決手段】ズームレンズ光学系１と、その周囲に設置される複数の固定焦点レンズ光学系２Ｒ、２Ｌと、台形処理部５Ｒ、５Ｌと、画像合成部６と、制御部９と、を備える。入力ズーム位置が所定のズーム位置よりもテレ側にある場合、その入力ズーム位置がズームレンズ光学系１のズーム位置に設定され、ズームレンズ光学系１によって撮影した画像から、設定されたズーム位置に基づく視野角の画像が作成される。入力されたズーム位置が所定のズーム位置よりもワイド側にある場合、ズームレンズ光学系１のズーム位置がワイド端に設定され、ズームレンズ光学系１によって撮影した画像と台形処理部５Ｒ、５Ｌによって台形補正された画像とを合成し、その合成画像から設定されたズーム位置に基づく視野角の画像が作成される。
【選択図】図１

Description

本発明は、ズーム機能を有する複眼撮像装置に関する。

従来、デジタルカメラやデジタルビデオカメラにおいて、広角な画像を得るためには広角レンズを用いて撮影するのが一般的であった。しかし、広角レンズは高価である上に、歪曲収差が大きいため周辺部の画質が劣化するという問題があった。そこで、広角の被写体領域を複数の撮像系に分担して撮影し、撮影した画像を台形補正及び合成することにより、安価に歪みの少ない広角撮像を実現する方法が知られている。（特許文献１、２）この方法では、複数の光学系の視点を略一致させることにより、台形補正及びオーバーラップ部のブレンド処理を行うだけで撮像された画像が容易に合成できる。

また、デジタルカメラやデジタルビデオカメラにはズーム機能が搭載されることが多く、特にデジタルビデオカメラの場合にはテレ側からワイド側まで撮影中にシームレスに変動させることが要求される。ズーム機能の実現方法には、レンズを物理的に動かすことにより焦点距離を変動させる光学ズームと、固定焦点レンズを用いて画像信号を拡大、縮小処理することによって実現するデジタルズームが知られている。デジタルズームは信号処理による拡大、縮小を行うために画質が劣化するため、一般的に光学ズームの方が高画質である。

特開２００７−２８８５６９号公報 特開２００７−２９５１１３号公報

しかしながら、特許文献１、２記載の複眼撮像装置は固定焦点レンズを用いているため、ズーム機能を実現するにはデジタルズームを用いざるを得ない。この場合、特にテレ側になる程拡大率が上がるために画質が劣化してしまうという問題があった。

また、複眼撮像装置は、複数の撮像素子及び信号処理系を動作させるため、単眼撮像装置に比べて消費電力が大きくなるという問題があった。このような問題を鑑み、本発明は、テレ側及びワイド側の両方で高画質な画像を得ると共に、全体の消費電力を低減できる複眼撮像装置の提供を目的とする。

本発明の一態様は複眼撮像装置であって、ズームレンズ光学系（１）と、前記ズームレンズ光学系（１）の周囲に設置された複数の固定焦点レンズ光学系（２Ｒ、２Ｌ）と、前記複数の固定焦点レンズ光学系（２Ｒ、２Ｌ）によって撮影した各画像（ＳＬ、ＳＲ）を台形補正する台形処理部（５Ｒ、５Ｌ）と、入力されたズーム位置が所定のズーム位置よりもテレ側にある場合は、前記入力ズーム位置を前記ズームレンズ光学系（１）のズーム位置に設定し、入力されたズーム位置が所定のズーム位置よりもワイド側にある場合、前記ズームレンズ光学系（１）のズーム位置をワイド端に設定する制御部（９）と、設定された前記ズーム位置が前記所定のズーム位置よりもテレ側にある場合は、前記ズームレンズ光学系（１）によって撮影した画像から、設定されたズーム位置に基づく視野角の画像を作成し、設定された前記ズーム位置が前記所定のズーム位置よりもワイド側にある場合は、前記ズームレンズ光学系（１）によって撮影した画像と前記台形処理部（５Ｒ、５Ｌ）によって台形補正された画像とを合成し、その合成画像から設定されたズーム位置に基づく視野角の画像を作成する画像合成部（６）とを備え、前記複数の固定焦点レンズ光学系（２Ｒ、２Ｌ）の視野は、前記ズームレンズ光学系（１）における前記ワイド端の視野の一部と重畳していることを要旨とする。

前記ズームレンズ光学系（１）の前記ワイド端における焦点距離は、前記複数の固定焦点レンズ光学系（２Ｒ、２Ｌ）の各焦点距離と等しいことが好ましい。

入力されたズーム位置が、前記所定のズーム位置よりもテレ側にある場合、前記制御部（９）は前記複数の固定焦点レンズ光学系（２Ｒ、２Ｌ）を用いた撮像を停止することが好ましい。

本発明の複眼撮像装置によれば、テレ側では光学ズームを用いた高画質な画像、ワイド側は複眼を用いた広角且つ高画質な画像を得ることができる。また、テレ側撮影時は固定焦点レンズ光学系を用いた撮像を停止することにより複眼撮像装置全体の消費電力を低減できる。

本発明の一実施形態に係る複眼撮像装置の構成図である。 本実施形態の複眼撮像装置における被写体の視野角の説明図である。 本実施形態の複眼撮像装置における処理を示すフローチャートである。 本発明の他の実施形態における光学系の例を示す構成図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は本実施形態に係る複眼撮像装置の構成図である。図２は本実施形態の複眼撮像装置における被写体の視野角の説明図であり、（ａ）は異なる方向の光軸を含む平面上の各視野角の関係を示した図、（ｂ）は、後述の各光学系１、２Ｒ、２Ｌによって撮影した画像を合成した結果の一例である。

図１に示すように、本実施形態の複眼撮像装置２０は、ズームレンズ光学系１と、２つの固定焦点レンズ光学系２Ｒ、２Ｌと、各光学系１、２Ｒ、２Ｌの背後に設置される撮像素子３Ｃ、３Ｒ、３Ｌとを備え、静止画及び動画の少なくとも一方を取得するように構成されている。

ズームレンズ光学系（以下、主眼と表記する）１は、固定焦点レンズ光学系２Ｒ、２Ｌの間の中央に設けられている。主眼１は、ワイド端において視野角ＡＣの撮像領域を担当する（図２（ａ）参照）。レンズの物理的な移動等によってズーム位置（焦点距離）を変動させる光学ズーム機構（図示せず）を備えている。この光学ズーム機構は、制御部９によって制御されている。

主眼１のズーム位置は、ズーム入力手段１０から入力されたズーム位置（入力ズーム位置）に依存する。即ち、入力ズーム位置が所定のズーム位置よりもテレ側にある場合、主眼１のズーム位置は、入力ズーム位置に設定される。この場合、画像合成部６はテレ処理モード（後述）で動作する。一方、入力ズーム位置が所定のズーム位置よりもワイド側にある場合、主眼１のズーム位置はワイド端に設定される。この場合、画像合成部６はワイド処理モード（後述）で動作する。

固定焦点レンズ光学系２Ｒ、２Ｌは、主眼１を中心として、その左右両側に設けられている。固定焦点レンズ光学系２Ｒ、２Ｌは、それぞれ視野角ＡＲ、ＬＲの撮像領域を担当する。なお、主眼１と異なり、固定焦点レンズ光学系２Ｒ、２Ｌの各焦点距離は固定されている。

図２（ａ）に示すように、各固定焦点レンズ光学系２Ｒ、２Ｌの光軸ＯＲ、ＯＬは、主眼１の光軸ＯＣに対して相反する方向に傾斜している。また、画像合成のために、各レンズ２Ｒ、２Ｌの視野は、主眼１のワイド端における視野の一部と重畳している。例えば、図２（ｂ）に示すように、主眼１のズーム位置がワイド端にある場合、その画像ＳＣの一部とレンズ光学系２Ｒ、２Ｌの各画像ＳＲ、ＳＬとは互いに重なり、重畳領域（ブレンド領域）ＢＲ、ＢＬが形成される。

なお、各光学系１、２Ｒ、２Ｌによる撮影画像の合成処理を容易にする観点から、主眼１のワイド端の焦点距離と、固定焦点レンズ光学系２Ｒ、２Ｌの焦点距離とは互いに等しいことが望ましい。また、全ての光学系１、２Ｒ、２Ｌの視点は略一致するように設置されているのが好ましい。具体的には、視点が一致するとは、各撮像光学系（ズームレンズ光学系および固定焦点レンズ光学系）の入射瞳の位置が略一致することである。

主眼１、固定焦点レンズ光学系２Ｒ、２Ｌの背後には、それぞれＣＣＤ等の撮像素子３Ｃ、３Ｒ、３Ｌが設けられており、各レンズからの光学情報を画像信号に変換している。撮像素子３Ｃ、３Ｒ、３Ｌは周知のものが適用される。

撮像素子３Ｃ、３Ｒ、３Ｌにて変換された電子信号は、それぞれ信号処理部４Ｃ、４Ｒ、４Ｌに送られて、ベイヤ処理、ノイズ除去、ホワイトバランス調整、ガンマ処理等の信号処理を行う。信号処理部４Ｃによって処理された画像信号は画像合成部６に送られる。一方、信号処理部４Ｒ、４Ｌによって処理された画像信号は、それぞれ台形補正部５Ｒ、５Ｌに送られる。

台形補正部５Ｒ、５Ｌは、信号処理部４Ｒ、４Ｌからの各画像信号に対して台形補正を行う。信号処理部４Ｃ、４Ｒ、４Ｌから出力された画像信号は、それぞれ光軸方向が互いに異なる光学系１、２Ｒ、２Ｌによって得られたものである。従って、本来は同一の距離であっても、各画像上では光軸ＯＣから離れるほど縮まって見えている。本実施形態の台形補正では、各画像を繋ぎ合わせる合成処理を行う前に、固定焦点レンズ光学系２Ｒ、２Ｌによって撮像した画像に対して、画素間の距離を補正する処理を行う。

台形補正部５Ｒは、信号処理部４Ｒで得られた各画像信号（画像ＳＲ）に対して、主眼１の画像ＳＣと同じ平面上の画像になるように台形補正を行う。同様に台形補正部５Ｌも、信号処理部４Ｌで得られた各画像信号（画像ＳＬ）に対して、主眼１の画像ＳＣと同じ平面上の画像になるように台形補正を行う。この結果、画像ＳＲ、ＳＬの全体的な形状は図２（ｂ）に示す台形になる。

台形補正部５Ｒ、５Ｌ及び信号処理部４Ｃからの画像信号は画像合成部６に入力される。画像合成部６の画像処理には、ワイド処理とテレ処理の２つのモードがある。これらのモードは、制御部９からの制御信号（即ち、主眼１のズーム位置）に応じて切り替えられる。

ワイド処理モードは、各光学系１、２Ｒ、２Ｌによって得られた画像を用いて広角画像を生成するモードである。このモードにおいて、画像合成部６は、重畳領域ＢＲにおける画像ＳＣと画像ＳＲのブレンド処理と、重畳領域ＢＬにおける画像ＳＣと画像ＳＬのブレンド処理を行って各画像ＳＣ、ＳＲ、ＳＬを合成する。その後、画像合成部６は、この合成画像から、ズーム入力手段から入力されたズーム位置（入力ズーム位置）に応じた視野角の画像を切り出す処理を行う。つまり、一旦、ワイド端での視野角の下で合成画像を作成し、この合成画像から、入力ズーム位置に応じた視野角の画像を切り出す。さらに、画像合成部６は、切り出された画像に対して適宜拡大縮小を行い、所定の解像度の画像を出力する。

テレ処理モードは、主眼１によって得られた画像ＳＣのみを用いて望遠画像を生成するモードである。このモードでは、主眼１のズーム位置は、入力ズーム位置に応じて連続的に変化しているので、画像合成部６は、得られた画像ＳＣをそのまま出力する。また、光学ズームでは足りない入力ズーム位置が入力された場合などは、得られた画像ＳＣを入力ズーム位置に応じて切り出し、拡大縮小処理を行って所定の解像度の画像を出力してもよい。

なお、台形補正部５Ｒ、５Ｌ及び画像合成部６における画像処理については、例えば、特許文献１に記載の画像処理など周知の処理方法が適用できる。

また、上記何れのモードにおいても、画像合成部６から出力された画像信号は、表示部７や記憶部８に入力される。表示部７では、入力された画像信号に基づいて画像を表示する。記憶部８は、入力された画像信号を画像データとして記憶する。なお、記憶部８には、制御部９が行う各種制御を実行するためのプログラムやパラメータが記憶されている。また、上述の画像処理のモードを決定する、後述の所定のズーム位置も記憶されている。

ズーム入力手段１０は、使用者の希望するズーム位置を入力する端末装置であり、入力されたズーム位置に応じた信号を制御部９に出力する。このズーム入力手段１０には、周知のものが適用される。

制御部９はズーム入力手段１０により設定される入力ズーム位置に基づいて、主眼１や画像合成部６等に対して上述の画像処理モードに係る処理を行う。この処理について、図３のフローチャートを参照して説明する。

まず、使用者の操作により、ズーム入力手段１０からズーム位置が入力される（ステップＳ１）と、制御部９は、この入力されたズーム位置と、記憶部８に予め記憶されていた所定のズーム位置とを比較する（ステップＳ２）。この比較において、入力されたズーム位置が所定のズーム位置よりもテレ側にある場合（ステップＳ２でＹＥＳ）、処理はステップＳ３へ移り、テレ処理モードが実行される。一方、入力されたズーム位置が所定のズーム位置よりもワイド側にある場合（ステップＳ２でＮＯ）、処理はステップＳ６に移り、ワイド処理モードが実行される。

上述の通り、ステップＳ３からはテレ処理モードが実行される。まず、ステップＳ３において、制御部９は、主眼１のズーム位置を、ズーム入力手段１０から入力されたズーム位置に設定する。次に、制御部９は、撮像素子３Ｒ、３Ｌ、信号処理部４Ｒ、４Ｌ、台形補正部５Ｒ、５Ｌの動作を止める（ステップＳ４）。ここで、撮像素子３Ｒ、３Ｌ、信号処理部４Ｒ、４Ｌ、台形補正部５Ｒ、５Ｌは制御部９からの制御信号により、動作するか否かを制御する機構を備えているものとする。例えば駆動電源又は動作クロックを制御部９にてＯＮ／ＯＦＦできる機構にしてもよいし、動作モードの切替機構を備えていてもよい。

次にステップＳ５にて、制御部９は、テレ処理モードで画像処理を行うよう画像合成部６に制御信号を送る。これに応じて画像合成部６は、信号処理部４Ｃからの画像信号のみを使用して所望の解像度の画像を出力し、一連の処理を終了する。

一方、ステップＳ６からはワイド処理モードが実行される。まず、ステップＳ６において、制御部９は、主眼１のズーム位置をワイド端に設定する。次に制御部９は、撮像素子３Ｒ、３Ｌ、信号処理部４Ｒ、４Ｌ、台形補正部５Ｒ、５Ｌを動作させ、各光学系１、２Ｒ、２Ｌからの画像を得ると共に、固定焦点レンズ光学系２Ｒ、２Ｌによって得られた各画像に対しては上述の台形補正を行う（ステップＳ７）。

更にステップＳ８にて、制御部９は、ワイド処理モードで画像処理を行うよう画像合成部６に制御信号を送る。また、これに併せて、制御部９は画像合成部６に、ズーム入力手段１０から入力されたズーム位置に基づいて、生成した合成画像内の切り出す領域を指示する切り出し信号も送る。画像合成部６は、台形補正部５Ｒ、５Ｌ及び信号処理部４Ｃからの各画像を合成し、この合成画像から、切り出し信号に応じた位置及び視野角の領域を切り出し、所望の解像度になるように拡大、縮小を行って出力する。

本実施形態の複眼撮像装置によれば、テレ側では光学ズームを用いた高画質な画像、ワイド側は複眼を用いた広角且つ高画質な画像を得ることができる。

また、テレ側撮影時は固定焦点レンズ光学系を用いた撮像を停止することにより複眼撮像装置全体の消費電力を低減できる。

なお、本実施形態の複眼撮像装置は３眼に限定されない。例えば図４のように主眼１Ｃを取り囲むように左上、右上、左下、右下に固定焦点レンズ２ａ、２ｂ、２ｃ、２ｄを配置した計５眼の光学系から構成してもよいし、それ以外の個数でもよい。

また、各光学系１、２Ｒ、２Ｌに歪曲収差がある場合、各信号処理部４Ｃ、４Ｒ、４Ｌにおいて歪曲収差の補正を行ってから台形補正及び画像合成を行ってもよい。

更にまた、上記の説明では、主眼１のワイド端と固定焦点レンズ光学系の焦点距離が等しいとしたが、これらの焦点距離は異なっていてもよい。この場合でも、台形補正部５Ｒ、５Ｌ若しくは画像合成部６にて１枚の広角画像に合成することは可能である。

本発明によれば、安価で高画質、低消費電力なズーム機能付きデジタルスチルカメラやデジタルビデオカメラ等の複眼撮像装置が実現できる。

１・・・ズームレンズ光学系、 ２Ｒ、２Ｌ、２ａ、２ｂ、２ｃ、２ｄ・・・固定焦点レンズ光学系、３Ｃ、３Ｒ、３Ｌ・・・撮像素子、４Ｃ、４Ｒ、４Ｌ・・・信号処理部、５Ｒ、５Ｌ・・・台形補正部、６・・・画像合成部、７・・・表示部、８・・・記憶部、９・・・制御部、１０・・・ズーム入力手段、ＡＣ、ＡＲ、ＡＬ・・・レンズ光学系の被写視野角、ＳＣ、ＳＬ、ＳＲ・・・撮像画像、ＢＬ、ＢＲ・・・ブレンド領域（ブレンド領域）

Claims (3)

1. ズームレンズ光学系と、
   前記ズームレンズ光学系の周囲に設置された複数の固定焦点レンズ光学系と、
   前記複数の固定焦点レンズ光学系によって撮影した各画像を台形補正する台形処理部と、
   入力されたズーム位置が所定のズーム位置よりもテレ側にある場合は、前記入力ズーム位置を前記ズームレンズ光学系のズーム位置に設定し、入力されたズーム位置が所定のズーム位置よりもワイド側にある場合、前記ズームレンズ光学系のズーム位置をワイド端に設定する制御部と、
   設定された前記ズーム位置が前記所定のズーム位置よりもテレ側にある場合は、前記ズームレンズ光学系によって撮影した画像から、設定されたズーム位置に基づく視野角の画像を作成し、設定された前記ズーム位置が前記所定のズーム位置よりもワイド側にある場合は、前記ズームレンズ光学系によって撮影した画像と前記台形処理部によって台形補正された画像とを合成し、その合成画像から設定されたズーム位置に基づく視野角の画像を作成する画像合成部と
   を備え、
   前記複数の固定焦点レンズ光学系の視野は、前記ズームレンズ光学系における前記ワイド端の視野の一部と重畳していることを特徴とする複眼撮像装置。
   
2. 前記ズームレンズ光学系の前記ワイド端における焦点距離は、前記複数の固定焦点レンズ光学系の各焦点距離と等しいことを特徴とする請求項１に記載の複眼撮像装置。
   
3. 入力されたズーム位置が、前記所定のズーム位置よりもテレ側にある場合、前記制御部は前記複数の固定焦点レンズ光学系を用いた撮像を停止することを特徴とする請求項１または２に記載の複眼撮像装置。

Images