JP5733588B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より簡単に構図を確認することができるようにする画像処理装置および方法、並びにプログラムに関する。

デジタルカメラ等の撮像装置において、２つの撮像系を備えるものがある。

例えば、使用者の前方を撮像する前方カメラと、後方を撮像する後方カメラとを備える撮像装置が提案されている（例えば、特許文献１参照）。

しかしながら、上述した撮像装置では、ユーザは、２つの撮像系で同時に１つの被写体を撮像することはできない。

また、一般的なデジタルカメラにおいては、１つの撮像系において、標準モードと広角モードとを切り替えることができるが、ユーザは、それぞれのモードでの構図を同時に確認することはできない。

さらに、２つの撮像系に対して、それぞれの撮像系で撮像された画像をそれぞれ表示する２つの表示部を備えるカメラも提案されているが、表示部が２つあるので、ユーザは、それぞれの画像に対してその構図を確認しなければならない。

特開２００７−６０７２１号公報

上述のように、撮像の範囲の異なる２つの画像に対して、簡単に構図を確認することは容易ではなかった。

本発明は、このような状況に鑑みてなされたものであり、より簡単に構図を確認することができるようにするものである。

本発明の一側面の画像処理装置は、第１の画像と画角の異なる第２の画像の画質を、前記第１の画像の画質と異ならせるように、前記第２の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する第１の画質調整手段と、前記第２の画像中の動きのある物体を検出する物体検出手段と、前記第１の画質調整手段によって明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された前記第２の画像に、前記第１の画像および前記第２の画像の被写体の位置が一致するように、前記第１の画像、および前記物体検出手段によって検出された前記第２の画像中の前記物体の領域の物体画像を合成する合成手段とを備える。

前記画像処理装置には、前記合成手段によって合成された合成画像を表示する表示手段をさらに設けることができる。
前記画像処理装置には、前記物体検出手段によって検出された前記第２の画像中の前記物体の領域の画質を、前記第２の画像の画質と異ならせるように、前記第２の画像中の前記物体の領域の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する第２の画質調整手段をさらに設け、前記合成手段には、前記第２の画像に、前記被写体の位置が一致するように、前記第１の画像、および前記第２の画質調整手段によって明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された前記第２の画像中の前記物体の領域の物体画像を合成させることができる。

前記画像処理装置には、前記第２の画像の構図を解析する構図解析手段と、前記構図解析手段によって解析された構図に基づいて、前記第１の画像の画角とは異なる画角の構図を前記第２の画像から抽出する構図抽出手段とをさらに設け、前記合成手段には、前記第２の画像に、前記被写体の位置が一致するように、前記第１の画像、および前記構図抽出手段に抽出された構図の抽出画像を合成させることができる。

前記第１の画質調整手段には、前記第２の画像の画質を前記第１の画像の画質より下げるように、前記第２の画像の輝度、彩度、または明度を下げさせることができる。

前記画像処理装置には、前記第１の画像の画質を、前記第２の画像の画質と異ならせるように、前記第１の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する第２の画質調整手段をさらに設けることができる。

前記第２の画質調整手段には、前記第１の画像の画質を前記第２の画像の画質より上げるように、前記第１の画像の輝度、彩度、または明度を上げさせることができる。

本発明の一側面の画像処理方法は、第１の画像と画角の異なる第２の画像の画質を、前記第１の画像の画質と異ならせるように、前記第２の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する画質調整ステップと、前記第２の画像中の動きのある物体を検出する物体検出ステップと、前記画質調整ステップにおいて明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された前記第２の画像に、前記第１の画像および前記第２の画像の被写体の位置が一致するように、前記第１の画像、および前記物体検出ステップにおいて検出された前記第２の画像中の前記物体の領域の物体画像を合成する合成ステップとを含む。

本発明の一側面のプログラムは、第１の画像と画角の異なる第２の画像の画質を、前記第１の画像の画質と異ならせるように、前記第２の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する画質調整ステップと、前記第２の画像中の動きのある物体を検出する物体検出ステップと、前記画質調整ステップにおいて明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された前記第２の画像に、前記第１の画像および前記第２の画像の被写体の位置が一致するように、前記第１の画像、および前記物体検出ステップにおいて検出された前記第２の画像中の前記物体の領域の物体画像を合成する合成ステップとを含む処理をコンピュータに実行させる。

本発明の一側面においては、第１の画像と画角の異なる第２の画像の画質が、第１の画像の画質と異ならせるように、第２の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整され、第２の画像中の動きのある物体が検出され、明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された第２の画像に、第１の画像および第２の画像の被写体の位置が一致するように、第１の画像、および検出された第２の画像中の物体の領域の物体画像が合成される。

本発明の一側面によれば、より簡単に構図を確認することが可能となる。

本発明を適用した撮像装置の一実施の形態としてのデジタルカメラの外観の例を示す図である。 デジタルカメラが撮像する撮像画像の表示例を示す図である。 デジタルカメラの機能構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 図３のデジタルカメラの画像表示処理について説明するフローチャートである。 歪補正部の歪補正処理について説明する図である。 歪補正部の歪補正処理について説明する図である。 光軸補正部の光軸補正処理について説明する図である。 合成部の合成処理におけるメイン画像とサブ画像の、画像の大きさの調整について説明する図である。 デジタルカメラの他の構成例を示すブロック図である。 物体検出部の構成例を示すブロック図である。 物体検出部の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 図１５のデジタルカメラの画像表示処理について説明するフローチャートである。 物体検出処理の例を説明するフローチャートである。 物体検出処理の他の例を説明するフローチャートである。 検出物体画像を強調表示させた合成画像の例を示す図である。 デジタルカメラのさらに他の構成例を示すブロック図である。 図２３のデジタルカメラの画像表示処理について説明するフローチャートである。 推奨構図の例を示す図である。 推奨構図を表示させた合成画像の例を示す図である。 撮像素子のアスペクト比について説明する図である。 デジタルカメラのさらに他の構成例を示すブロック図である。 図２８のデジタルカメラの画像表示処理について説明するフローチャートである。 切出し画像について説明する図である。 抽出画像について説明する図である。 表示部に表示される合成画像の例について説明する図である。 図２８のデジタルカメラの画像記録処理について説明するフローチャートである。 記録部に記録される合成画像の例について説明する図である。 コンピュータのハードウェアの構成例を示すブロック図である。

以下、本発明の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態

＜１．第１の実施の形態＞
［撮像装置の外観と撮像画像］
図１は、本発明を適用した撮像装置の一実施の形態としてのデジタルカメラの外観の例を示している。

図１のデジタルカメラ１１は、メインレンズ３１およびサブレンズ３２の２つの光学系を備えている。メインレンズ３１は、いわゆる標準レンズである。サブレンズ３２は、広角レンズ（例えば、魚眼レンズ等）であり、その画角は、メインレンズ３１と比較して十分広い。

図２は、デジタルカメラ１１が撮像する撮像画像の表示例を示している。

図２に示されるように、デジタルカメラ１１は、サブレンズ３２を介して撮像した画像（サブ画像）に対して、歪補正等の補正処理を行い、所定の画像処理（画像をぼかす、輝度や彩度を下げる等）を施す。また、デジタルカメラ１１は、メインレンズ３１を介して撮像した画像（メイン画像）に対して、所定の画像処理（輝度や彩度を上げる等）を施す。そして、デジタルカメラ１１は、メイン画像およびサブ画像の位置および画角を調整し、メイン画像とサブ画像とを合成した画像（合成画像）を、デジタルカメラ１１の背面に設けられた、図示せぬ表示部に、例えば、図２に示されるように表示する。ユーザは、この図示せぬ表示部の表示内容を確認することで、撮像しようとする画角を認識することができる。

図２に示される合成画像は、所定の補正と画像処理が施されたサブ画像（広角画像）と、メイン画像（標準画像）とが、それぞれの画像における被写体の位置が一致するように合成されている。

［デジタルカメラの機能構成例］
次に、図３のブロック図を参照して、デジタルカメラ１１の機能構成例について説明する。

図３のデジタルカメラ１１は、メインレンズ３１、サブレンズ３２、撮像部５１、歪補正部５２、光軸補正部５３、画像処理部５４、撮像部５５、画像処理部５６、合成部５７、および表示部５８から構成される。

メインレンズ３１およびサブレンズ３２は、図１を参照して説明したものと同一であるので、その説明は省略する。

撮像部５１は、撮像素子やA/D(Analog/Digital)変換部を含むように構成される。撮像部５１は、サブレンズ３２からの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部５１は、A/D変換の結果得られたデジタルの画像データ（広角画像）を歪補正部５２に供給する。

歪補正部５２は、撮像部５１からの広角画像（サブ画像）におけるサブレンズ３２の歪を補正し、補正したサブ画像を光軸補正部５３に供給する。

光軸補正部５３は、サブレンズ３２の光軸をメインレンズ３１の光軸に合わせて、歪補正部５２からのサブ画像において、サブ画像に合成されるメイン画像の位置を決定し、その位置を示す位置情報とともに、サブ画像を画像処理部５４に供給する。

画像処理部５４は、光軸補正部５３からのサブ画像に対して、メイン画像より画質を下げるように所定の画像処理（ピクチャ、明るさ、色の濃さ、色合い、シャープネス等の調整）を施し、位置情報とともに、合成部５７に供給する。

ここで、図４乃至図６のブロック図を参照して、３種類の画像処理部５４の構成例について説明する。

図４は、第１の構成例であり、サブ画像にぼかし処理を施す画像処理部５４の構成例を示している。

図４の画像処理部５４は、RGB/YUV変換部６１，LPF（Low Pass Filter）６２、およびYUV/RGB変換部６３から構成される。

RGB/YUV変換部６１は、光軸補正部５３から供給されたサブ画像としてのRGB信号を、以下の式（１）に基づいてYUV信号に変換する。

RGB/YUV変換部６１は、変換したYUV信号のうちのＹ信号（輝度信号）をLPF６２に供給するとともに、Ｕ，Ｖ信号（色差信号）をYUV/RGB変換部６３に供給する。

LPF６２は、RGB/YUV変換部６１から供給されたＹ信号を平滑化処理することにより、高周波成分を除去し、YUV/RGB変換部６３に供給する。

YUV/RGB変換部６３は、LPF６２からのＹ信号（Y'）、および、RGB/YUV変換部６１からのＵ，Ｖ信号を、以下の式（２）に基づいてRGB信号に変換する。

YUV/RGB変換部６３は、変換したRGB信号（R’，G’，B’）をサブ画像として合成部５７に供給する。

以上の構成により、画像処理部５４は、サブ画像にぼかし処理を施すことができる。

図５は、第２の構成例であり、サブ画像の彩度を下げる画像処理部５４の構成例を示している。

図５の画像処理部５４は、RGB/HSV変換部７１，彩度調整部（Ｓ調整部）７２、およびHSV/RGB変換部７３から構成される。

RGB/HSV変換部７１は、光軸補正部５３から供給されたサブ画像としてのRGB信号を、以下の式（３）に基づいてHSV信号に変換する。

式（３）において、MAXは、R，G，Bのうちの最大値を、MINは、R，G，Bのうちの最小値をそれぞれ示している。RGB/HSV変換部７１は、変換したHSV信号のうちのＳ信号（彩度信号）をＳ調整部７２に供給するとともに、Ｈ信号（色相信号）およびＶ信号（明度信号）をHSV/RGB変換部７３に供給する。

Ｓ調整部７２は、RGB/HSV変換部７１から供給されたＳ信号に、所定の係数α（０＜α＜１）を乗じて、HSV/RGB変換部７３に供給する。

HSV/RGB変換部７３は、Ｓ調整部７２からのＳ信号（S'=αS）、および、RGB/HSV変換部７１からのＨ，Ｖ信号をRGB信号に変換する。

すなわち、H_i=[H/60] mod 6（［x］：ｘ以下の最大の整数、A mod B：A/Bの剰余），f=(H/60)-H_i，p=V(1-S)，q=V(1-fS)，t=V(1-(1-f)S)としたときに、HSV信号は、以下の式（４）に基づいて、RGB信号に変換される。

HSV/RGB変換部７３は、変換したRGB信号（R’，G’，B’）をサブ画像として合成部５７に供給する。

以上の構成により、画像処理部５４は、サブ画像の彩度を下げることができる。

図６は、第３の構成例であり、サブ画像の明度を下げる画像処理部５４の構成例を示している。

図６の画像処理部５４は、RGB/HSV変換部８１，明度調整部（Ｖ調整部）８２、およびHSV/RGB変換部８３から構成される。

RGB/HSV変換部８１は、光軸補正部５３から供給されたサブ画像としてのRGB信号を、上述した式（３）に基づいてHSV信号に変換し、変換したHSV信号のうちのＶ信号をＶ調整部８２に供給するとともに、Ｈ信号およびＳ信号をHSV/RGB変換部８３に供給する。

Ｖ調整部８２は、RGB/HSV変換部８１から供給されたＶ信号に、所定の係数β（０＜β＜１）を乗じて、HSV/RGB変換部８３に供給する。

HSV/RGB変換部８３は、Ｖ調整部８２からのＶ信号（V'=βV）、および、RGB/HSV変換部８１からのＨ，Ｓ信号を上述した式（４）に基づいてRGB信号に変換し、変換したRGB信号（R’，G’，B’）をサブ画像として合成部５７に供給する。

以上の構成により、画像処理部５４は、サブ画像の明度を下げることができる。

このようにして、図４乃至図６を参照して説明してきた３種類の画像処理部５４は、いずれにおいても、サブ画像の画質をメイン画像の画質より下げることができる。

図３の説明に戻り、撮像部５５は、撮像素子やA/D変換部を含むように構成される。撮像部５５は、メインレンズ３１からの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部５５は、A/D変換の結果得られたデジタルの画像データ（標準画像）を画像処理部５６に供給する。

画像処理部５６は、撮像部５５からのメイン画像（標準画像）に対して、サブ画像より画質を上げるように所定の画像処理（ピクチャ、明るさ、色の濃さ、色合い、シャープネス等の調整）を施し、合成部５７に供給する。

ここで、図７乃至図９のブロック図を参照して、３種類の画像処理部５６の構成例について説明する。

図７は、第１の構成例であり、メイン画像の形や輪郭を強調する強調処理を施す画像処理部５６の構成例を示している。

図７の画像処理部５６は、RGB/YUV変換部９１，HPF（High Pass Filter）９２、増幅器９３、加算器９４、およびYUV/RGB変換部９５から構成される。

RGB/YUV変換部９１は、撮像部５５からのメイン画像としてのRGB信号を、上述した式（１）に基づいてYUV信号に変換し、変換したYUV信号のうちのＹ信号をHPF９２および加算器９４に供給するとともに、Ｕ，Ｖ信号をYUV/RGB変換部９５に供給する。

HPF９２は、RGB/YUV変換部９１から供給されたＹ信号の高周波成分を取り出し、増幅器９３に供給する。増幅器９３は、HPF９２からのＹ信号の高周波成分をＡ（Ａ＞１）倍に増幅し、加算器９４に供給する。加算器９４は、RGB/YUV変換部９１からのＹ信号に、増幅器９３からの増幅されたＹ信号の高周波成分を加算して、YUV/RGB変換部９５に供給する。

YUV/RGB変換部９５は、加算器９４からのＹ信号（Y'）、および、RGB/YUV変換部９１からのＵ，Ｖ信号を、上述した式（２）に基づいてRGB信号に変換し、変換したRGB信号（R’，G’，B’）をメイン画像として合成部５７に供給する。

以上の構成により、画像処理部５６は、メイン画像に強調処理を施すことができる。

図８は、第２の構成例であり、メイン画像の彩度を上げる画像処理部５６の構成例を示している。

図８の画像処理部５６は、RGB/HSV変換部１０１，彩度調整部（Ｓ調整部）１０２、およびHSV/RGB変換部１０３から構成される。なお、RGB/HSV変換部１０１およびHSV/RGB変換部１０３は、図５の画像処理部５４に設けられたRGB/HSV変換部７１およびHSV/RGB変換部７３と同様の機能を備えるので、その説明は省略する。

すなわち、Ｓ調整部１０２は、RGB/HSV変換部１０１から供給されたＳ信号に、所定の係数α（α≧１）を乗じて、HSV/RGB変換部１０３に供給する。

以上の構成により、画像処理部５６は、メイン画像の彩度を上げることができる。

図９は、第３の構成例であり、サブ画像の明度を上げる画像処理部５６の構成例を示している。

図９の画像処理部５６は、RGB/HSV変換部１１１，明度調整部（Ｖ調整部）１１２、およびHSV/RGB変換部１１３から構成される。なお、RGB/HSV変換部１１１およびHSV/RGB変換部１１３は、図６の画像処理部５４に設けられたRGB/HSV変換部８１およびHSV/RGB変換部８３と同様の機能を備えるので、その説明は省略する。

すなわち、Ｖ調整部１１２は、RGB/HSV変換部１１１から供給されたＶ信号に、所定の係数β（β≧１）を乗じて、HSV/RGB変換部１１３に供給する。

以上の構成により、画像処理部５６は、メイン画像の明度を上げることができる。

このようにして、図７乃至図９を参照して説明した３種類の画像処理部５６は、いずれにおいても、メイン画像の画質をサブ画像の画質より上げることができる。

図３の説明に戻り、合成部５７は、画像処理部５４からの位置情報を基に、画像処理部５６からのメイン画像と、画像処理部５４からのサブ画像と合成し、合成した合成画像を表示部５８に供給する。

表示部５８は、合成部５７からの合成画像を表示する。

［デジタルカメラの画像表示処理］
次に、図１０のフローチャートを参照して、図３のデジタルカメラ１１の画像表示処理について説明する。

ステップＳ１１において、歪補正部５２は、撮像部５１からの広角画像（サブ画像）におけるサブレンズ３２の歪を補正し、補正したサブ画像を光軸補正部５３に供給する。

ここで、図１１および図１２を参照して、歪補正部５２の歪補正処理について説明する。

図１１は、歪補正によって得られる所定の大きさの補正画像における画素の画素位置(X,Y)と、歪補正される前のサブ画像（円周魚眼画像）における画素の画素位置(x,y)との対応を説明する図である。

図１１に示されるように、円周魚眼画像の中心をxyz座標の原点として、円周魚眼画像を直径での切断面とした半径Ｒの上半球を考える。なお、補正画像は、点(0,0,R)で上半球に接しているものとする。

xyz座標の原点と点(X,Y,R)とを結んだ直線と、上半球の球面との交点を(x,y,z)とし、xyz座標の原点と交点(x,y,z)との距離をＲとした場合、以下の式（５）が成り立つ。

すなわち、歪補正部５２は、補正後の補正画像における点(X,Y)の画素値を、対応する補正前の円周魚眼画像における点(x,y)の画素値とすることで、補正画像を生成する。

なお、図１２に示されるように、補正後の補正画像における点(X,Y)に対応する補正前の円周魚眼画像における点(x,y)が、画素の配置における格子点に位置しない場合、周囲の画素（画素値）ａ乃至ｄを補間して、点(x,y)の画素値としてもよい。補間の手法としては、バイリニア補間やバイキュービック補間等を用いる。図１２において、バイリニア補間を用いた場合、点(x,y)における画素値ｐは、p=(1-t){(1-s)a+sb}+t{(1-s)c+sd}で求められる。

図１０のフローチャートに戻り、ステップＳ１２において、光軸補正部５３は、サブレンズ３２の光軸をメインレンズ３１の光軸に合わせて、歪補正部５２からのサブ画像において、サブ画像に合成されるメイン画像の位置を決定する。光軸補正部５３は、その位置を示す位置情報と、サブ画像とを画像処理部５４に供給する。

ここで、図１３を参照して、光軸補正部５３の光軸補正処理について説明する。

図１３は、メインレンズ３１の光軸の座標系（メインレンズ座標系）と、サブレンズ３２の光軸の座標系（サブレンズ座標系）との関係を説明する図である。

図１３において、ベクトルｈは、デジタルカメラ１１に配置されているメインレンズ３１とサブレンズ３２との、x-y平面における物理的な配置の差を表しており、回転量Ｒは、メインレンズ３１の光軸と、サブレンズ３２の光軸とのｚ軸を基準とした回転ずれ量を表している。すなわち、サブレンズ座標系におけるベクトルv'=(x',y',z')は、メインレンズ座標系におけるベクトルv=(x,y,z)を用いて、v'=Rv+hで表される。すなわち、サブレンズ座標系におけるベクトルｖ'は、ベクトルｖを回転量Ｒだけ回転して、ベクトルｈだけ平行移動したベクトルである。光軸補正部５３は、この関係を用いて、サブレンズ３２の光軸（座標）をメインレンズ３１の光軸（座標）に合わせることができる。

さらに、光軸補正部５３は、歪補正部５２からのサブ画像の中心付近の領域内の画像と、その領域に対応する、撮像部５５からのメイン画像とのマッチングを行うことで、サブ画像に合成されるメイン画像の位置を決定する。

図１０のフローチャートに戻り、ステップＳ１３において、画像処理部５４は、光軸補正部５３からのサブ画像に対して、メイン画像より画質を下げるように所定の画像処理を施す。より具体的には、画像処理部５４は、サブ画像の輝度、彩度、または明度を下げる。画像処理部５４は、画質を下げたサブ画像を、光軸補正部５３からの位置情報とともに、合成部５７に供給する。ここで、画像処理部５４は、サブ画像の輝度信号だけを抽出して、白黒画像を合成部５７に供給するようにもできる。

ステップＳ１４において、画像処理部５６は、撮像部５５からのメイン画像に対して、サブ画像より画質を上げるように所定の画像処理を施す。より具体的には、画像処理部５６は、メイン画像の輝度、彩度、または明度を上げる。画像処理部５６は、画質を上げたメイン画像を、合成部５７に供給する。ここで、画像処理部５６は、メイン画像の周囲に所定の色や線種の枠を付加して、合成部５７に供給するようにもできる。

ステップＳ１５において、合成部５７は、画像処理部５４からの位置情報を基に、画像処理部５６からのメイン画像と、画像処理部５４からのサブ画像と合成し、合成した合成画像を表示部５８に供給する。

このとき、メイン画像は、サブ画像よりその大きさが小さい必要があるが、これは、撮像部５１および撮像部５５のそれぞれに備えられている撮像素子の大きさによる。

例えば、撮像部５１および撮像部５５それぞれに備えられている撮像素子の大きさが同一であった場合、異なる範囲の画像が同一の大きさの画像として生成されてしまう。したがって、メイン画像とサブ画像とを合成するためには、いずれかの画像の大きさを調整する必要がある。

ここで、図１４を参照して、合成部５７の合成処理におけるメイン画像とサブ画像の、画像の大きさの調整について説明する。

図１４Ａに示されるように、xyz座標の原点をメインレンズ３１の位置としたときの、原点と、メイン画像I_mを写すための撮像部５５の撮像素子との距離（ｚ軸方向）をf_mとする。

また、図１４Ｂに示されるように、xyz座標の原点をサブレンズ３２の位置としたときの、原点と、サブ画像I_sを写すための撮像部５１の撮像素子との距離（ｚ軸方向）をf_sとする。

そして、ある被写体距離Ｚを考えたとき、図１４Ｃに示されるように、メイン画像I_mの撮像部５５の撮像素子に写る範囲をl_mとし、サブ画像I_sの撮像部５１に写る範囲をl_sとす
る。また、撮像部５１および撮像部５５それぞれの撮像素子の大きさをlとする。

このとき、図１４Ｃの関係から、以下の式（６）が得られる。

また、式（６）の関係から、メイン画像I_mの大きさとサブ画像I_sの大きさの比l_m/l_sは、以下の式（７）で求められる。

このとき、合成部５７は、メイン画像I_mの大きさをf_s/f_m倍することで、メイン画像I'_mを生成し、サブ画像I_sと合成する。

このようにして、図１４Ｄに示されるように、メイン画像I'_mがサブ画像I_sよりその大きさが小さい合成画像が生成される。

なお、撮像部５１および撮像部５５の撮像素子の大きさが、同一であった場合に限らず、メイン画像I_mとサブ画像I_sの大きさの関係が、図１４Ｄのようにならない場合には、メイン画像I_mの大きさを所定数倍することで、メイン画像の大きさを調整することができる。

図１０のフローチャートに戻り、ステップＳ１６において、表示部５８は、合成部５７からの合成画像を表示する。

以上の処理によれば、図２で示したような、画質を下げた広角画像の中央に、撮影したい画角の標準画像が合成された合成画像が表示されるので、ユーザは、２つの構図の画像を同時に、簡単に確認することができる。

また、ユーザは、撮影したい画角の以外の構図を広角画像において確認することができるので、よりよい構図を探索することもできる。

以上においては、撮影したい画角以外の画像は、その画質を下げて、構図のみを確認させる構成について説明したが、撮影したい画角以外の画像に含まれる物体を強調して表示させるようにしてもよい。

＜２．第２の実施の形態＞
［デジタルカメラの構成例］
図１５は、撮影したい画角以外の画像における物体を表示させるようにしたデジタルカメラの構成例を示している。なお、図１５のデジタルカメラ１２１において、図３のデジタルカメラ１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１５のデジタルカメラ１２１において、図３のデジタルカメラ１１と異なるのは、物体検出部１５１および画像処理部１５２を新たに設け、合成部５７に代えて、合成部１５３を設けた点である。

図１５の光軸補正部５３は、光軸補正したサブ画像、および、サブ画像におけるメイン画像が合成される位置を示す位置情報を、画像処理部５４に供給する他、光軸補正したサブ画像を、物体検出部１５１に供給する。

物体検出部１５１は、光軸補正部５３からのサブ画像において、物体を検出し、検出した物体を含む領域の画像（検出物体画像）を、サブ画像における位置を表す位置情報とともに、画像処理部１５２に供給する。

ここで、図１６および図１７を参照して、２種類の物体検出部１５１の構成例について説明する。

図１６は、物体検出部１５１の第１の構成例を示している。

図１６の物体検出部１５１は、フレームバッファ１６１、フレーム間差分算出部１６２、閾値処理部１６３、およびラベリング部１６４から構成されている。

フレームバッファ１６１は、光軸補正部５３からのサブ画像をフレーム毎に記憶する。

フレーム間差分算出部１６２は、フレームバッファ１６１に記憶されている１フレーム前のサブ画像I_t-1を読み出し、そのサブ画像I_t-1と、光軸補正部５３からの現フレームのサブ画像I_tとから、画素毎に、画素値の差であるフレーム間差分値を算出する。フレーム間差分算出部１６２は、算出結果を閾値処理部１６３に供給する。

閾値処理部１６３は、フレーム間差分算出部１６２からのフレーム間差分値に基づいて、所定の閾値以上の差分値がある画素を１とし、所定の閾値に満たない差分値の画素を０として２値化する。また、閾値処理部１６３は、２値化画像を所定のブロックに分割し、ブロック毎に、ブロック内の画素値が１の画素をカウントし、そのカウント数に基づいて、所定の閾値以上のカウント数があるブロックを動きブロックとして検出する。そして、閾値処理部１６３は、その検出結果（動きブロック）をラベリング部１６４に供給する。

ラベリング部１６４は、閾値処理部１６３より供給された動きブロックに基づいて、ラベリング処理を行う。さらに、ラベリング部１６４は、ラベリングされた各ブロックを外側から囲む矩形（外接枠）を検出し、その検出結果を、検出物体画像として、画像処理部１５２に供給する。

以上の構成により、物体検出部１５１は、サブ画像において、動きのある物体を検出することができる。

図１７は、物体検出部１５１の第２の構成例を示している。

図１７の物体検出部１５１は、顔検出部１７１から構成されている。

顔検出部１７１は、光軸補正部５３からのサブ画像I_tから顔を検出し、顔を検出する領域である顔検出領域の位置および大きさに基づいて顔画像を抽出して、検出物体画像として、画像処理部１５２に供給する。例えば、顔検出部１７１は、様々な方向を向いている顔の顔画像を学習し、サブ画像I_tにおいて、その顔検出領域内と同じ大きさの領域の画像と、学習した顔画像とを比較し、顔であるか否かを評価することで、顔を検出する。

以上の構成により、物体検出部１５１は、サブ画像において、人の顔を検出することができる。

なお、上述の説明においては、物体検出部１５１は、動きのある物体、または、人（顔）を検出する構成としたが、これに限らず、所定のオブジェクト（自動車、建造物等）を検出するようにしてもよい。

図１５の説明に戻り、画像処理部１５２は、物体検出部１５１からの検出物体画像に対して、サブ画像より画質を上げるように所定の画像処理（ピクチャ、明るさ、色の濃さ、色合い、シャープネス等の調整）を施し、位置情報とともに、合成部１５３に供給する。

ここで、図１８のブロック図を参照して、画像処理部１５２の構成例について説明する。

図１８は、検出物体画像に強調処理を施す画像処理部１５２の構成例を示している。

図１８の画像処理部１５２は、RGB/YUV変換部１８１，HPF１８２、増幅器１８３、加算器１８４、およびYUV/RGB変換部１８５から構成される。なお、RGB/YUV変換部１８１，HPF１８２、増幅器１８３、加算器１８４、およびYUV/RGB変換部１８５は、図７の画像処理部５６に設けられたRGB/YUV変換部９１，HPF９２、増幅器９３、加算器９４、およびYUV/RGB変換部９５と同様の機能を備えるので、その説明は省略する。

以上の構成により、画像処理部１５２は、検出物体画像に強調処理を施すことができる。

図１５の説明に戻り、合成部１５３は、画像処理部５４からの位置情報を基に、画像処理部５６からのメイン画像と、画像処理部５４からのサブ画像とを合成する。さらに、合成部１５３は、画像処理部１５２からの位置情報を基に、合成した合成画像のサブ画像に対応する領域に、物体検出部１５１からの検出物体画像を合成し、その合成画像を表示部５８に供給する。

［デジタルカメラの画像表示処理］
次に、図１９のフローチャートを参照して、図１５のデジタルカメラ１２１の画像表示処理について説明する。なお、図１９のフローチャートにおけるステップＳ３１乃至Ｓ３３，Ｓ３６の処理は、図１０のフローチャートを参照して説明したステップＳ１１乃至Ｓ１４の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ３４において、物体検出部１５１は、光軸補正部５３からのサブ画像において、物体を検出する物体検出処理を行う。物体検出部１５１は、検出した物体を含む領域の画像（検出物体画像）を、サブ画像における位置を表す位置情報とともに、画像処理部１５２に供給する。

ここで、図２０のフローチャートを参照して、ステップＳ３４の物体検出処理に対応する、動きのある物体を検出する物体検出処理の例を説明する。

ステップＳ５１において、フレーム間差分算出部１６２は、フレームバッファ１６１に記憶されている１フレーム前のサブ画像I_t-1を読み出し、そのサブ画像I_t-1と、光軸補正部５３からの現フレームのサブ画像I_tとから、画素毎に、フレーム間差分値を算出する。フレーム間差分算出部１６２は、算出結果を閾値処理部１６３に供給する。

ステップＳ５２において、閾値処理部１６３は、フレーム間差分算出部１６２からのフレーム間差分値に基づいて、所定の閾値以上の差分値がある画素を１とし、所定の閾値に満たない差分値の画素を０として２値化する。また、閾値処理部１６３は、２値化画像を所定のブロックに分割し、ブロック毎に、ブロック内の画素値が１の画素をカウントし、そのカウント数に基づいて、所定の閾値以上のカウント数があるブロックを動きブロックとして検出する。そして、閾値処理部１６３は、その検出結果（動きブロック）をラベリング部１６４に供給する。

ステップＳ５３において、ラベリング部１６４は、閾値処理部１６３より供給された動きブロックに基づいて、ラベリング処理を行う。さらに、ラベリング部１６４は、ラベリングされた各ブロックを外側から囲む矩形（外接枠）を検出し、その検出結果を、検出物体画像として、画像処理部１５２に供給する。

以上の処理によれば、サブ画像において、動きのある物体を検出することができる。

また、ステップＳ３４の物体検出処理においては、人の顔を検出するようにしてもよい。

ここで、図２１のフローチャートを参照して、人の顔を検出する物体検出処理の例を説明する。

ステップＳ６１において、顔検出部１７１は、光軸補正部５３からのサブ画像I_tから顔を検出し、顔を検出する領域である顔検出領域の位置および大きさに基づいて顔画像を抽出して、検出物体画像として、画像処理部１５２に供給する。

以上の処理によれば、サブ画像において、人の顔を検出することができる。

なお、図２０，２１のフローチャートを参照して説明した物体検出処理は、デジタルカメラ１２１の物体検出部１５１を、図１６，１７で説明した構成を併せ持つようにすることで、並列に実行するようにできる。

図１９のフローチャートに戻り、ステップＳ３５において、画像処理部１５２は、物体検出部１５１からの検出物体画像に対して、サブ画像より画質を上げるように所定の画像処理を施し、位置情報とともに、合成部１５３に供給する。より具体的には、画像処理部１５２は、検出物体画像の輝度、彩度、または明度を上げる。画像処理部１５２は、画質を上げた検出物体画像を、合成部１５３に供給する。ここで、画像処理部１５２は、検出物体画像の周囲に所定の色の枠を付加して、合成部１５３に供給するようにもできる。

そして、ステップＳ３７において、合成部１５３は、画像処理部５４からの位置情報を基に、画像処理部５６からのメイン画像と、画像処理部５４からのサブ画像とを合成する。さらに、合成部１５３は、画像処理部１５２からの位置情報を基に、合成した合成画像のサブ画像に対応する領域に、物体検出部１５１からの検出物体画像を、例えば、図２２で示されるように合成し、その合成画像を表示部５８に供給する。

図２２は、検出物体画像を強調表示させた合成画像の例を示している。

図２２においては、図２で示された合成画像に加え、合成画像のサブ画像に対応する領域に、検出物体画像２０１および検出物体画像２０２が表示されている。

図２２において、検出物体画像２０１は、動きのある物体としての犬の画像であり、図１６の物体検出部１５１が、物体（犬）を検出し、画像処理部１５２が、検出物体画像２０１の画質を上げることで、合成画像において強調表示される。

また、検出物体画像２０２は、人の画像であり、図１７の物体検出部１５１が、人の顔を検出し、画像処理部１５２が、検出物体画像２０２の画質を上げることで、合成画像において強調表示される。

このようにして、合成画像に、撮影したい画角（メイン画像）以外の画像に含まれる物体が強調された画像が強調表示されるので、予め焦点位置を固定した状態で静止画像を取り込む、いわゆる「置きピン」の撮影を行う場合に、メイン画像に、所望の被写体以外の物体がフレームインすることがあっても、その物体を合成画像上で確認できるので、シャッタのタイミングが計りやすくなる。

以上の処理によれば、画質を下げた広角画像の中央に、撮影したい画角の標準画像が合成されるとともに、撮影したい画角以外の画像に含まれる物体が強調された画像が合成された合成画像が表示される。したがって、ユーザは、２つの構図の画像を同時に、簡単に確認することができるとともに、撮影したい画角以外の画像に含まれる物体を確認することができる。

なお、上述した説明においては、サブ画像のみにおいて、物体を検出する構成としたが、メイン画像においても、物体を検出する構成としてもよい。このような構成とすることで、サブ画像とメイン画像とでまたがって表示されるような物体を検出することができるので、例えば、その物体を、サブ画像内では強調し、メイン画像内では画質を下げるようにすることが可能となる。これにより、メイン画像に、所望の被写体以外の物体がフレームインした場合であっても、その物体の表示を目立たなくさせることができる。

以上においては、ユーザが撮影したい画角を中心とした合成画像を表示する構成について説明したが、より適切な構図で撮影させる画角を合成画像に表示させるようにしてもよい。

＜３．第３の実施の形態＞
［デジタルカメラの構成例］
図２３は、ユーザに、より適切な構図で撮影させる画角を合成画像に表示させるようにしたデジタルカメラの構成例を示している。なお、図２３のデジタルカメラ２２１において、図１５のデジタルカメラ１２１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２３のデジタルカメラ２２１において、図１５のデジタルカメラ１２１と異なるのは、構図解析部２５１、推奨構図抽出部２５２を新たに設け、画像処理部１５２および合成部１５３に代えて、画像処理部２５３および合成部２５４を設けた点である。

図２３の物体検出部１５１は、光軸補正部５３からのサブ画像において、物体を検出し、検出した物体の、サブ画像における位置を表す位置情報と、サブ画像とを、構図解析部２５１に供給する。

構図解析部２５１は、物体検出部１５１からのサブ画像と、サブ画像内の物体の位置情報とに基づいて、サブ画像内の物体の配置に対応した構図を解析し、決定する。例えば、構図解析部２５１は、複数の構図パターンを予め記憶しており、パターンマッチングにより、その構図パターンの中から、サブ画像内の物体の配置に最も近い構図パターンを選択し、サブ画像に対応した構図（推奨構図）とする。構図解析部２５１は、決定した構図を示す構図情報（例えば、構図の輪郭である矩形の左上の位置および右下の位置）を、サブ画像とともに、推奨構図抽出部２５２に供給する。

推奨構図抽出部２５２は、構図解析部２５１からの構図情報とサブ画像とに基づいて、サブ画像から推奨構図の画像（推奨構図画像）を抽出し、構図情報とともに、画像処理部２５３に供給する。

画像処理部２５３は、画像処理部５６と同様の機能を備えており、推奨構図抽出部２５２からの推奨構図画像に対して、サブ画像より画質を上げるように所定の画像処理（ピクチャ、明るさ、色の濃さ、色合い、シャープネス等の調整）を施し、構図情報とともに、合成部２５４に供給する。

合成部２５４は、画像処理部５４からの位置情報を基に、画像処理部５６からのメイン画像と、画像処理部５４からのサブ画像と合成する。さらに、合成部２５４は、画像処理部２５３からの構図情報を基に、合成した合成画像のサブ画像に対応する領域に、画像処理部２５３からの推奨構図画像を合成し、その合成画像を表示部５８に供給する。

［デジタルカメラの画像表示処理］
次に、図２４のフローチャートを参照して、図２３のデジタルカメラ２２１の画像表示処理について説明する。なお、図２４のフローチャートにおけるステップＳ７１乃至Ｓ７４，Ｓ７８の処理は、図１０のフローチャートを参照して説明したステップＳ３１乃至Ｓ３４，Ｓ３６の処理と同様であるので、その説明は省略するものとする。

ステップＳ７５において、構図解析部２５１は、物体検出部１５１からのサブ画像と、サブ画像内の物体の位置情報とに基づいて、サブ画像内の物体の配置に対応した構図を解析し、推奨構図を決定する。例えば、構図解析部２５１は、複数の構図パターンを予め記憶しており、パターンマッチングにより、その構図パターンの中から、サブ画像内の物体の配置に最も近い構図パターンを選択し、サブ画像に対応した推奨構図とする。構図解析部２５１は、決定した構図を示す構図情報を、サブ画像とともに、推奨構図抽出部２５２に供給する。

図２５は、構図解析部２５１によって決定される推奨構図の例を示している。

図２５に示される構図は、３分割構図と呼ばれる構図で、垂直線と水平線との交点（図中、塗りつぶしの丸印）のいずれかの位置に物体（被写体）をおくことで、バランスのとれた画像（写真）となることが知られている。なお、構図解析部２５１によって決定される構図（構図パターン）は、３分割構図に限らず、左右の広がりを持たせたいときに用いられる水平線構図、垂直方向を強調したいときに用いられる垂直線構図、同じものや似ているものが２つ並んでいるときに用いられる対比構図等、複数用意されているものとする。

図２４のフローチャートに戻り、ステップＳ７６において、推奨構図抽出部２５２は、構図解析部２５１からの構図情報とサブ画像とに基づいて、サブ画像から推奨構図画像を抽出し、構図情報とともに、画像処理部２５３に供給する。

ステップＳ７７において、画像処理部２５３は、推奨構図抽出部２５２からの推奨構図画像に対して、サブ画像より画質を上げるように所定の画像処理を施し、構図情報とともに、合成部２５４に供給する。ここで、画像処理部２５３は、推奨構図画像の周囲に所定の色や線種の枠を付加して、合成部２５４に供給するようにもできる。

そして、ステップＳ７９において、合成部２５４は、画像処理部５４からの位置情報を基に、画像処理部５６からのメイン画像と、画像処理部５４からのサブ画像とを合成する。さらに、合成部２５４は、画像処理部２５３からの構図情報を基に、合成した合成画像のサブ画像に対応する領域に、画像処理部２５３からの推奨構図画像を、例えば、図２６で示されるように合成し、その合成画像を表示部５８に供給する。

図２６は、推奨構図を表示させた合成画像の例を示している。

図２６においては、図２で示された合成画像に加え、その合成画像上に、推奨構図が、その輪郭を表す破線によって示されている。

上述した説明では、推奨構図内の画像の画質は、サブ画像の画質より高くされるものとしたが、メイン画像（現在の画角）の一部と推奨構図の一部とが重なる場合、これらの区別がつかなく恐れがある。そこで、図２６に示されるように、推奨構図として、単に、その輪郭（画角）を表示するのみとしてもよい。

以上の処理によれば、合成画像に推奨構図を表示させることができる。

このようにして、合成画像に、推奨構図を表示するようにしたので、ユーザは、撮影（記録）しようとしている構図より適切な構図を確認することが可能となる。

以上においては、より適切な構図を表示するようにした、２つの撮像系を備えるデジタルカメラについて説明してきたが、１つのみの撮像系を備えるデジタルカメラにおいても、より適切な構図を表示させるようにすることができる。

ところで、近年、ハイビジョンテレビジョン受像機の普及に伴い、デジタルカメラ等の撮像装置によりアスペクト比（横縦比）が１６：９である画像を撮像、記録して、ハイビジョンテレビジョン受像機で鑑賞したいという要求が高まっている。

そのため、図２７に示されるような、アスペクト比が４：３（または３：２）である固体撮像素子（以下、単に撮像素子という）３０１を有する一般的な撮像装置には、アスペクト比が４：３（または３：２）である画像を撮像する標準モードと、アスペクト比が１６：９である画像を撮像するパノラマモードとを備えるものがある。標準モードにおいては、撮像素子３０１全体を使用してアスペクト比が４：３（または３：２）である画像が撮像、表示、記録される。一方、パノラマモードにおいては、図２７の撮像素子３０１における上側の領域３１１および下側の領域３１２の撮像素子を使用せずに、アスペクト比が１６：９となる矩形領域３１３の撮像素子を使用してアスペクト比が１６：９である画像が撮像、表示、記録される。

上述のような撮像装置において、いわゆるスルー画を表示するための表示部の表示領域は、図２７の撮像素子３０１全体に対応した画像を表示するように構成されている。したがって、パノラマモードでユーザが被写体を撮影する場合、スルー画が表示部に表示される表示領域は、図２７の撮像素子３０１全体のうちの矩形領域３１３に対応した領域となる。

そこで、以降においては、上述したような撮像装置におけるパノラマモードで、ユーザが撮影しようとしている構図より適切な構図を表示するようにした、１つのみの撮像系を備えるデジタルカメラについて説明する。

＜４．第４の実施の形態＞
［デジタルカメラの機能構成例］
図２８は、１つのみの撮像系を備えるデジタルカメラの構成例を示している。

図２８のデジタルカメラ４１１は、レンズ４３１、撮像部４３２、画像処理部４３３、切出し部４３４、抽出部４３５、合成部４３６、表示制御部４３７、表示部４３８、操作入力部４３９、記録制御部４４０、および記録部４４１から構成される。

レンズ４３１は、図１のデジタルカメラのメインレンズ３１と同様、いわゆる標準レンズである。

撮像部４３２は、アスペクト比が４：３である、例えばCCD(Charge Coupled Device)等の撮像素子やA/D変換部を含むように構成される。撮像部４３２は、レンズ４３１からの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部４３２は、A/D変換の結果得られたデジタルの画像データ（以下、撮像画像という）を画像処理部４３３に供給する。

画像処理部４３３は、撮像部４３２からの撮像画像に対して、所定の画像処理を施す。画像処理部４３３は、撮像モードが、アスペクト比が４：３である画像を撮像する標準モードである場合、画像処理を施した撮像画像を、表示制御部４３７および記録制御部４４０に供給する。また、画像処理部４３３は、撮像モードが、アスペクト比が１６：９である画像を撮像するパノラマモードである場合、画像処理を施した撮像画像を、切出し部４３４および抽出部４３５に供給する。

切出し部４３４は、画像処理部４３３から撮像画像が供給されると、その撮像画像から、撮像画像とサイズの異なる、アスペクト比が１６：９となる画像を切出す。切出し部４３４は、切出した画像（切出し画像）を、必要に応じて、合成部４３６、表示制御部４３７、または記録制御部４４０に供給する。

抽出部４３５は、画像処理部４３３から撮像画像が供給されると、その撮像画像において、注目度の高い被写体を検出し、その被写体を含み、撮像画像とサイズの異なる、アスペクト比が１６：９となる領域の画像を抽出する。抽出部４３５は、抽出した画像（抽出画像）を、必要に応じて、合成部４３６または記録制御部４４０に供給する。

合成部４３６は、切出し部４３４からの切出し画像と、抽出部４３５からの抽出画像とを合成し、合成した合成画像を表示制御部４３７に供給する。

表示制御部４３７は、表示部４３８を制御し、各種の画像を表示部４３８に表示させる。例えば、表示制御部４３７は、撮像モードが標準モードである場合、画像処理部４３３から供給された撮像画像を、表示部４３８に表示させる。また、表示制御部４３７は、撮像モードがパノラマモードである場合、切出し部４３４から供給された切出し画像、または、合成部４３６から供給された合成画像を、表示部４３８に表示させる。

表示部４３８は、表示制御部４３７の制御の下、適宜、各種の画像を表示する。

操作入力部４３９は、デジタルカメラ４１１に対する指示を入力するためにユーザに操作される。操作入力部４３９は、例えば、各種の操作ボタン、リモコン、タッチパネル、マイクロホン等から構成され、ユーザからの操作を受け付け、その操作内容を示す信号（情報）を、デジタルカメラ４１１の各ブロックに供給する。

記録制御部４４０は、記録部４４１を制御する。例えば、記録制御部４４０は、撮像モードが標準モードである場合、操作入力部４３９からの信号に基づいて、画像処理部４３３からの撮像画像を、記録部４４１に記録させる。また、記録制御部４４０は、撮像モードがパノラマモードである場合、操作入力部４３９からの信号に基づいて、切出し部４３４からの切出し画像および抽出部４３５からの抽出画像を、記録部４４１に記録させる。さらに、記録制御部４４０は、操作入力部４３９からの信号に基づいて、記録部４４１から画像を読み出して、表示制御部４３７に供給する。

記録部４４１は、記録制御部４４０の制御の下、適宜、各種の画像を記録する。

［デジタルカメラの画像表示処理］
次に、図２９のフローチャートを参照して、図２８のデジタルカメラ４１１の画像表示処理について説明する。なお、図２９の画像表示処理は、ユーザによって、操作入力部４３９が、撮像モードとしてパノラマモードを選択する旨の操作を受け付けた場合に開始される。

ステップＳ１１１において、撮像部４３２は、被写体を撮像する。より具体的には、撮像部４３２は、レンズ４３１からの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換し、得られた撮像画像を画像処理部４３３に供給する。

ステップＳ１１２において、画像処理部４３３は、撮像部４３２からの撮像画像に対して、デモザイク処理、ホワイトバランス調整処理、ガンマ補正処理等の画像処理を施し、切出し部４３４および抽出部４３５に供給する。

ステップＳ１１３において、切出し部４３４は、画像処理部４３３から供給された撮像画像から、アスペクト比が１６：９となる画像を切出し、その結果得られた切出し画像を合成部４３６に供給する。より具体的には、切出し部４３４は、画像処理部４３３からの、アスペクト比が４：３である撮像画像において、図２７で説明した撮像素子３０１における矩形領域３１３に対応する部分の画像を切出す。

例えば、図３０の左側に示されるように、被写体が猫である撮像画像５１１（アスペクト比４：３）が得られた場合、切出し部４３４は、撮像画像５１１において、一点鎖線で示される領域の画像を切出し、図３０の右側に示される切出し画像５１２を得る。図３０に示されるように、アスペクト比が１６：９である切出し画像５１２においては、被写体である猫は、全体的に上の方に位置しており、耳を含む頭頂部が欠けてしまっている。この切出し画像５１２は、パノラマモードで撮影、表示される画像として、決してよい構図の画像とは言えない。

上述したように、従来の、アスペクト比４：３である撮像素子を備えるデジタルカメラにおいて、ユーザがパノラマモードで被写体を撮影する場合、表示部に表示される画像は、撮像素子全体により撮像される撮像画像５１１に対して、図３０の一点鎖線で示される領域の画像となる。このようなデジタルカメラを、その操作に慣れないユーザがパノラマモードで使用した場合、表示部には、図３０の切出し画像５１２のような画像が表示され、記録されてしまう可能性がある。

図２９のフローチャートに戻り、ステップＳ１１４において、抽出部４３５は、画像処理部４３３から供給された撮像画像において、注目度の高い被写体を検出する。抽出部４３５は、その被写体を含む、アスペクト比が１６：９となる領域の画像を抽出し、その結果得られた抽出画像を合成部４３６に供給する。

より具体的には、抽出部４３５は、撮像画像の各領域における、輝度に関する情報を示す輝度情報マップ、色に関する情報を示す色情報マップ、エッジに関する情報を示すエッジ情報マップ、動きに関する情報を示す動き情報マップを生成する。

ここで、輝度情報マップ乃至動き情報マップのそれぞれを個々に区別する必要のない場合、単に情報マップと称するものとすると、これらの情報マップに含まれる情報は、被写体の含まれる領域により多く含まれる特徴の特徴量を示す情報とされる。そして、その情報が撮像画像の各領域に対応させて並べられたものが情報マップとされる。つまり、情報マップは、撮像画像の各領域における特徴量を示す情報であるといえる。

したがって、各情報マップにおける、より情報量の多い領域、つまり特徴量の多い領域に対応する撮像画像上の領域は、より被写体が含まれる可能性の高い領域となり、各情報マップにより撮像画像における被写体の含まれる領域を特定することができる。

そして、抽出部４３５は、輝度情報マップ、色情報マップ、エッジ情報マップ、および動き情報マップに基づいて、撮像画像において被写体の含まれる、アスペクト比が１６：９となる領域を特定し、その領域の画像を抽出画像として抽出する。

例えば、図３１の左側に示されるように、撮像画像５１１（アスペクト比４：３）が得られた場合、抽出部４３５は、撮像画像５１１において、被写体である猫を注目度の高い物体として検出し、その被写体を含むように、破線で示される領域（アスペクト比１６：９）の画像を抽出して、図３１の右側に示される抽出画像５１３を得る。図３１に示されるように、被写体である猫は、アスペクト比が１６：９である抽出画像５１３において、略中心に位置している。この抽出画像５１３は、パノラマモードで撮影、表示される画像として、よい構図の画像と言える。

なお、撮像画像から輝度、色、エッジなどの情報を抽出する方法は、例えば「Laurent Itti, Christof Koch, and Ernst Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”」に詳細に記載されている。

図２９のフローチャートに戻り、ステップＳ１１５において、合成部４３６は、被写体の位置が一致するように、切出し部４３４からの切出し画像と、抽出部４３５からの抽出画像とを合成し、合成した合成画像を表示制御部４３７に供給する。

ステップＳ１１６において、表示制御部４３７は、合成部４３６から供給された合成画像を、表示部４３８に表示させる。

図３２は、表示部４３８に表示される合成画像の例を示している。

図３２において、デジタルカメラ４１１の表示部４３８の表示領域は、アスペクト比４：３である。表示制御部４３７は、パノラマモードにおいては、表示部４３８の表示領域の上側の領域と下側の領域には黒い画像（いわゆる黒帯）を表示させることで、アスペクト比１６：９の表示領域を形成する。

図３２に示されるように、表示制御部４３７は、表示部４３８におけるアスペクト比１６：９の表示領域に、合成画像のうちの切出し画像に対応する部分を表示させる。また、表示制御部４３７は、表示部４３８に、合成画像のうちの抽出画像に対応する部分を強調するように、図中破線で示される枠を表示させる。このとき、合成画像のうちの抽出画像に対応する部分のうちの、表示部４３８の表示領域の黒帯（上側）にかかる部分は、輝度の低い合成画像として表示される。なお、表示部４３８において表示される抽出画像は、図３２のように枠によって強調される他、ユーザが抽出画像の表示範囲を確認できるように表示されればよい。

以上の処理によれば、１つのみの撮像系を備えるデジタルカメラのパノラマモードで、ユーザが撮影しようとしている構図の画像と、注目度の高い被写体が中央に位置する構図の画像とを併せて表示させることができるので、ユーザは、撮影（記録）しようとしている構図より適切な構図を確認することが可能となる。

なお、上述した処理においては、表示部４３８に、切出し画像と抽出画像とを併せて表示させるようにしたが、撮像画像と抽出画像とを併せて表示させるようにして、表示部４３８の表示領域の黒帯にかかる部分の輝度を低くするようにしてもよい。

以上においては、パノラマモードで、ユーザが撮影しようとしている構図の画像と、注目度の高い被写体が中央に位置する構図の画像とを併せて表示させる処理について説明したが、パノラマモードで、ユーザが撮影しようとしている構図の画像と、注目度の高い被写体が中央に位置する構図の画像とを記録させるようにしてもよい。

［デジタルカメラの画像記録処理］
ここで、図３３のフローチャートを参照して、図２８のデジタルカメラ４１１の画像記録処理について説明する。なお、図３３の画像記録処理は、ユーザによって、操作入力部４３９が、撮像モードとしてパノラマモードを選択する旨の操作を受け付けた場合に開始される。

なお、図３３のフローチャートにおけるステップＳ２１１乃至Ｓ２１４の処理は、ステップＳ２１３において、切出し画像が表示制御部４３７および記録制御部４４０に供給される点と、ステップＳ２１４において、抽出画像が記録制御部４４０に供給される点を除いて、図２９のフローチャートにおけるステップＳ１１１乃至Ｓ１１４の処理と基本的に同様であるので、その説明は省略する。

ステップＳ２１５において、表示制御部４３７は、切出し部４３４から供給された切出し画像を、表示部４３８に表示させる。より具体的には、表示制御部４３７は、図３２で説明したような、表示部４３８におけるアスペクト比１６：９の表示領域に切出し画像を表示させる。このとき、表示部４３８の表示領域において、上側の領域と下側の領域には、黒帯が表示される。

ステップＳ２１６において、記録制御部４４０は、操作入力部４３９としてのシャッタボタンが押されたか否かを判定する。

ステップＳ２１６において、シャッタボタンが押されていないと判定された場合、処理はステップＳ２１１に戻り、これ以降の処理が繰り返される。

一方、ステップＳ２１６において、シャッタボタンが押されたと判定された場合、すなわち、操作入力部４４０からシャッタボタンが押された旨の信号が、記録制御部４４０に供給された場合、処理はステップＳ２１７に進む。

ステップＳ２１７において、記録制御部４４０は、操作入力部４４０からの信号に基づいて、切出し部４３４からの切出し画像および抽出部４３５からの抽出画像を、記録部４４１に記録させる。例えば、記録部４４１には、図３０で説明した切出し画像５１２と、図３１で説明した抽出画像５１３とが記録される。

従来のデジタルカメラにおいては、パノラマモードで、図３０で説明した切出し画像５１２のような画像が、撮影に慣れないユーザが撮影しようとしている構図の画像であった場合、記録される画像も、図３０で説明した切出し画像５１２のような画像となる。この場合、記録された画像に含まれない（欠けてしまっている）被写体の部分を生成して、よりよい構図の画像を得ることはできない。

以上の処理によれば、パノラマモードで、切出し画像と抽出画像とを記録させることができるので、撮影に慣れないユーザが撮影した構図の画像と、ユーザにとって撮影した構図より適切な構図の画像とを記録することが可能となる。

また、ユーザが撮影した構図の画像と、ユーザが撮影した構図より適切な構図の画像とが記録されるので、ユーザは２つの画像を比較することができ、ユーザが撮影技術の向上を図る一助となる。

上述した処理においては、切出し画像と抽出画像のそれぞれを記録部４４１に記録させるようにしたが、図２９のフローチャートで説明した、切出し画像と抽出画像とを合成した合成画像を記録部４４１に記録させるようにしてもよい。

図３４は、記録部４４１に記録される合成画像の例を示している。

図３４の合成画像６０１においては、一点鎖線で示される部分が切出し画像に対応し、破線で示される部分が抽出画像に対応する。ここで、合成画像６０１を、３つの領域６１１乃至６１３に分けて考える。このとき、領域６１１は、切出し画像に存在せず、抽出画像に存在する部分であり、領域６１２は、切出し画像および抽出画像の両方に存在する部分であり、領域６１３は、切出し画像に存在し、抽出画像に存在しない部分である。

そこで、ユーザの操作により、操作入力部４３９から、切出し画像の再生（表示）を指示する旨の信号が供給された場合、記録制御部４４０は、合成画像６０１における領域６１２および領域６１３を読み出して表示制御部４３７に供給すればよい。また、ユーザの操作により、操作入力部４３９から、抽出画像の再生を指示する旨の信号が供給された場合、記録制御部４４０は、合成画像６０１における領域６１１および領域６１２を読み出して表示制御部４３７に供給すればよい。

このように、切出し画像と抽出画像とをそれぞれ再生（表示）させることを考慮した場合、切出し画像と抽出画像のそれぞれを記録部４４１に記録させなくとも、合成画像１枚を記録させるだけでよいので、記録部４４１の記録容量を削減することができる。

なお、合成画像６０１を生成しない場合には、領域６１１に対応する画像と切出し画像とを併せて記録するようにしてもよいし、抽出画像と領域６１３に対応する画像とを併せて記録するようにしてもよい。

また、上述した処理においては、操作入力部４３９としてのシャッタボタンが操作されたときに、抽出画像を記録するようにしたが、例えば、抽出画像の構図が、予め用意された３分割構図や水平線構図、放射線構図等の構図パターンとマッチングしたときに、抽出画像を記録するようにしてもよい。

これにより、ユーザがシャッタボタンを操作しなくても、よりよい構図の画像を記録することができる。

さらに、上述した処理においては、画像処理部４３３は、撮像部４３２の撮像素子全体から得られた画像データに対して、所定の画像処理を施すようにしたが、操作入力部４３９としてのシャッタボタンが操作されるまでは、図２７の撮像素子３０１の領域３１３に対応する撮像素子から得られた画像データに対して画像処理を施すようにして、シャッタボタンが操作されたときに、撮像素子全体から得られた画像データに対して画像処理を施すようにしてもよい。

これにより、シャッタボタンが操作されるまでの画像処理部４３３の処理の負荷を低減させることができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。

図３５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。

以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ デジタルカメラ， ３１ メインレンズ， ３２ サブレンズ， ５１ 撮像部， ５２ 歪補正部， ５３ 光軸補正部， ５４ 画像処理部， ５５ 撮像部， ５６ 画像処理部， ５７ 合成部， ５８ 表示部， １２１ デジタルカメラ， １５１ 物体検出部， １５２ 画像処理部， １５３ 合成部， ２２１ デジタルカメラ， ２５１ 構図解析部， ２５２ 推奨構図抽出部， ２５３ 画像処理部， ２５４ 合成部

Claims (9)

1. 第１の画像と画角の異なる第２の画像の画質を、前記第１の画像の画質と異ならせるように、前記第２の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する第１の画質調整手段と、
   前記第２の画像中の動きのある物体を検出する物体検出手段と、
   前記第１の画質調整手段によって明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された前記第２の画像に、前記第１の画像および前記第２の画像の被写体の位置が一致するように、前記第１の画像、および前記物体検出手段によって検出された前記第２の画像中の前記物体の領域の物体画像を合成する合成手段と
   を備える画像処理装置。
2. 前記合成手段によって合成された合成画像を表示する表示手段をさらに備える
   請求項１に記載の画像処理装置。
3. 前記物体検出手段によって検出された前記第２の画像中の前記物体の領域の画質を、前記第２の画像の画質と異ならせるように、前記第２の画像中の前記物体の領域の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する第２の画質調整手段をさらに備え、
   前記合成手段は、前記第２の画像に、前記被写体の位置が一致するように、前記第１の画像、および前記第２の画質調整手段によって明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された前記第２の画像中の前記物体の領域の物体画像を合成する
   請求項１または２に記載の画像処理装置。
4. 前記第２の画像の構図を解析する構図解析手段と、
   前記構図解析手段によって解析された構図に基づいて、前記第１の画像の画角とは異なる画角の構図を前記第２の画像から抽出する構図抽出手段と
   をさらに備え、
   前記合成手段は、前記第２の画像に、前記被写体の位置が一致するように、前記第１の画像、および前記構図抽出手段に抽出された構図の抽出画像を合成する
   請求項１に記載の画像処理装置。
5. 前記第１の画質調整手段は、前記第２の画像の画質を前記第１の画像の画質より下げるように、前記第２の画像の輝度、彩度、または明度を下げる
   請求項１に記載の画像処理装置。
6. 前記第１の画像の画質を、前記第２の画像の画質と異ならせるように、前記第１の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する第２の画質調整手段をさらに備える
   請求項１に記載の画像処理装置。
7. 前記第２の画質調整手段は、前記第１の画像の画質を前記第２の画像の画質より上げるように、前記第１の画像の輝度、彩度、または明度を上げる
   請求項６に記載の画像処理装置。
8. 第１の画像と画角の異なる第２の画像の画質を、前記第１の画像の画質と異ならせるように、前記第２の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する画質調整ステップと、
   前記第２の画像中の動きのある物体を検出する物体検出ステップと、
   前記画質調整ステップにおいて明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された前記第２の画像に、前記第１の画像および前記第２の画像の被写体の位置が一致するように、前記第１の画像、および前記物体検出ステップにおいて検出された前記第２の画像中の前記物体の領域の物体画像を合成する合成ステップと
   を含む画像処理方法。
9. 第１の画像と画角の異なる第２の画像の画質を、前記第１の画像の画質と異ならせるように、前記第２の画像の明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つを調整する画質調整ステップと、
   前記第２の画像中の動きのある物体を検出する物体検出ステップと、
   前記画質調整ステップにおいて明るさ、色の濃さ、色合い、およびシャープネスの少なくともいずれか１つが調整された前記第２の画像に、前記第１の画像および前記第２の画像の被写体の位置が一致するように、前記第１の画像、および前記物体検出ステップにおいて検出された前記第２の画像中の前記物体の領域の物体画像を合成する合成ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images