以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
図1は、本発明の実施の形態1にかかる撮像装置1の被写体に面する側(前面側)の構成を示す図である。図2は、本発明の実施の形態1にかかる撮像装置1の撮影者に面する側(背面側)の構成を示す図である。図3は、本発明の実施の形態1にかかる撮像装置1の構成を示すブロック図である。
図1〜図3に示すように、撮像装置1は、撮像部2と、タイマー3と、操作入力部4と、背面撮像部5と、表示部6と、タッチパネル7と、記憶部8と、制御部9と、を備える。
撮像部2は、所定の視野領域を撮像して画像データ(以下、「正面画像データ」という)を生成する。撮像部2は、レンズ部21と、レンズ駆動部22と、絞り23と、絞り駆動部24と、シャッタ25と、シャッタ駆動部26と、撮像素子27と、撮像駆動部28と、信号処理部29と、を有する。なお、本実施の形態1では、撮像部2が第1の撮像部として機能する。
レンズ部21は、フォーカスおよびズーム可能な複数のレンズ群によって構成され、所定の視野領域から光を集光する。レンズ駆動部22は、ステッピングモータまたはDCモータを用いて構成され、レンズ部21のレンズ群を光軸L1上に沿って移動させることにより、レンズ部21のピント位置や焦点距離等の変更を行う。
絞り23は、レンズ部21が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部24は、ステッピングモータ等によって構成され、絞り23を駆動する。
シャッタ25は、撮像素子27の状態を露光状態または遮光状態に設定する。シャッタ駆動部26は、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ25を駆動する。
撮像素子27は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等によって構成される。撮像素子27は、レンズ部21が集光した光を受光して光電変換を行うことによって、光を電気信号(アナログ信号)に変換する。撮像駆動部28は、撮像素子27を駆動するタイミングパルスを生成し、撮像素子27が光電変換した電気信号を信号処理部29に出力させる。
信号処理部29は、アナログアンプやA/D変換器等によって構成される。信号処理部29は、撮像素子27から出力される電気信号に増幅(ゲイン調整)等の信号処理を施した後、A/D変換を行うことによってデジタルの正面画像データに変換して制御部9に出力する。
タイマー3は、計時機能および撮影日時の判定機能を有する。タイマー3は、撮像された画像データに日時データを付加させるため、制御部9に日時データを出力する。
操作入力部4は、撮像装置1の電源状態をオン状態またはオフ状態に切換える電源スイッチ41と、撮影の指示を与えるレリーズ信号の入力を受け付けるレリーズスイッチ42と、撮像装置1に設定された各種撮影モードを切換える撮影モード切換スイッチ43と、を有する。
背面撮像部5は、撮像部2と異なる視野領域を撮像して背面画像データ(以下、「副画像データ」という)を生成する。背面撮像部5は、撮像部2と同一の構成によって実現され、レンズ部21と、レンズ駆動部22と、絞り23と、絞り駆動部24、シャッタ25と、シャッタ駆動部26と、撮像素子27と、撮像駆動部28と、信号処理部29と、を有する。なお、本実施の形態1では、背面撮像部5が第2の撮像部として機能する。
表示部6は、撮像部2が生成する正面画像データに対応する正面画像および背面撮像部5が生成する副画像データに対応する副画像を表示する。表示部6は、撮像装置1の操作情報および撮影に関する情報を適宜表示する。
タッチパネル7は、表示部6の表示画面上に重ねて設けられる。タッチパネル7は、ユーザが表示部6に表示される情報に基づいて接触(タッチ)した位置を検出し、この接触位置に応じた指示信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態1では、いずれの方式のタッチパネルであっても適用可能である。なお、本実施の形態1では、タッチパネル7が入力部として機能する。
記憶部8は、撮像装置1の内部に固定的に設けられるフラッシュメモリおよびRAM(Random Access Memory)等の半導体メモリを用いて実現される。記憶部8は、制御部9が実行中のデータを記憶する。記憶部8は、撮像部2や背面撮像部5が撮像した画像データを記憶する画像データ記憶部81と、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部82と、被写体の顔の検出を行う際に参照する顔画像情報およびユーザによって予め登録された被写体の顔の特徴を記憶する特徴情報を記憶する顔情報記憶部83と、を有する。なお、記憶部8は、外部から装着されるメモリカード等のコンピュータで読取可能な記憶媒体を含むものであってもよい。
制御部9は、CPU(Central Processing Unit)等を用いて構成される。制御部9は、操作入力部4やタッチパネル7からの指示信号や切換信号等に応じて撮像装置1を構成する各部に対応する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。
制御部9の詳細な構成について説明する。制御部9は、画像処理部91と、顔検出部92と、トリミング部93と、画像合成部94と、表示制御部95と、画像関連付け部96と、を有する。
画像処理部91は、撮像部2および背面撮像部5それぞれから入力される正面画像データおよび副画像データに対して各種の画像処理を施す。具体的には、画像処理部91は、正面画像データおよび副画像データそれぞれに対して、エッジ強調処理、ホワイトバランス処理およびγ補正処理を含む画像処理を行う。画像処理部91は、JPEG(Joint Photographic Experts Group)方式等に基づいて、正面画像データおよび副画像データそれぞれの圧縮処理や伸長処理を行う。
顔検出部92は、正面画像および副画像それぞれに含まれる被写体の顔を検出する。具体的には、顔検出部92は、正面画像および背面側画像それぞれに含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部92は、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部92は、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。
トリミング部93は、顔検出部92が検出した被写体の顔を一部に含む顔領域を副画像から切出して顔画像を生成する。トリミング部93は、顔検出部92が副画像から被写体の顔を複数検出した場合、副画像から各顔領域をそれぞれ切出して顔画像を生成してもよい。
画像合成部94は、トリミング部93が生成した顔画像を、正面画像の指定位置に合成した合成画像を生成する。
表示制御部95は、表示部6が正面画像を表示している場合において、タッチパネル7から表示部6が表示する画像の変更を指示する指示信号の入力を受け付けたとき、撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた状態で副画像の少なくとも一部を表示部6に表示させる。具体的には、表示制御部95は、表示部6の表示画面において、撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた方向から副画像の少なくとも一部を表示部6に表示させる。
画像関連付け部96は、正面画像データに、副画像データを関連付けた画像ファイルを生成し、この生成した画像ファイルを画像データ記憶部81に記憶する。具体的には、画像関連付け部96は、Extended MPファイルフォーマートに基づいて、正面画像データに副画像データを関連付けた画像ファイルを生成し、この生成した画像ファイルを画像データ記憶部81に記憶する。
以上の構成を有する撮像装置1に、音声入出力機能、フラッシュ機能、着脱自在な電子ビューファインダ(EVF)およびインターネットを介してパーソナルコンピュータ等の外部処理装置(図示せず)と双方向に通信可能な通信部等を具備させてもよい。
つぎに、本実施の形態1にかかる撮像装置1が行う処理について説明する。図4は、撮像装置1が行う処理の概要を示すフローチャートである。
図4において、撮像装置1が撮影モードに設定されている場合(ステップS101:Yes)について説明する。この場合、表示制御部95は、撮像部2が微小な時間間隔で連続的に生成する正面画像データに対応するライブビュー画像を表示部6に表示させる(ステップS102)。
図5は、撮影者が撮像装置1を用いて撮影する際の状況を示す図である。図6は、図5に示す状況下で表示部6が時系列に沿って順次表示するライブビュー画像のうち代表的な一枚の画像W1を示す図である。図5および図6に示すように家族写真を撮影する場合において、撮影者K1(お父さん)は、たとえば図6のライブビュー画像W1を見ながら被写体K2(お母さん)および被写体K3(子供)を撮影するときの構図を決定する。
続いて、レリーズスイッチ42が操作されることにより、レリーズ信号が入力された場合(ステップS103:Yes)、撮像装置1は、制御部9の制御のもと、撮像部2が生成した正面画像データを取得する(ステップS104)。
その後、制御部9は、撮像装置1に背面撮像部5を起動させて副画像データを取得する副画像同時記憶モードが設定されているか否かを判断する(ステップS105)。撮像装置1に副画像同時記憶モードが設定されていると制御部9が判断した場合(ステップS105:Yes)、撮像装置1は、後述するステップS106へ移行する。一方、撮像装置1に副画像同時記憶モードが設定されていないと制御部9が判断した場合(ステップS105:No)、撮像装置1は、後述するステップS111へ移行する。
ステップS106において、撮像装置1は、制御部9の制御のもと、背面撮像部5が生成した副画像データを取得する。たとえば、図7に示すように、撮像装置1は、背面撮像部5が生成した副画像データに対応する副画像として撮影者K1が写る副画像W2を取得する。
続いて、画像関連付け部96は、正面画像データに、副画像データを対応付けた画像ファイルを作成し、この作成した画像ファイルを画像データ記憶部81に記憶させる(ステップS107)。
その後、表示制御部95は、取得した正面画像データに対応する正面画像を所定時間(たとえば3秒)だけ表示部6にレックビュー表示させる(ステップS108)。なお、表示制御部95は、副画像データに対応する副画像を所定時間(たとえば3秒)だけ表示部6にレックビュー表示させてもよい。
続いて、制御部9は、電源スイッチ41が操作されることにより、撮像装置1の電源がオフ状態であるか否かを判断する(ステップS109)。撮像装置1の電源がオフ状態であると制御部9が判断した場合(ステップS109:Yes)、撮像装置1は、本処理を終了する。一方、撮像装置1の電源がオフ状態でないと制御部9が判断した場合(ステップS109:No)、撮像装置1は、ステップS110へ移行する。
ステップS110において、制御部9は、撮影モード切換スイッチ43からモード切換信号が入力された場合、モード切換信号に応じて撮影・再生モードの切換操作を受け付ける一方、撮影モード切換スイッチ43を介してモード切換信号が入力されていない場合、現在のモードを維持する。ステップS110の後、撮像装置1は、ステップS101へ戻る。
ステップS103において、所定時間(たとえば2秒)内にレリーズスイッチ42を介してレリーズ信号が入力されていない場合(ステップS103:No)、撮像装置1は、ステップS109へ移行する。
ステップS105において、撮像装置1に副画像同時記憶モードが設定されていないと制御部9が判断した場合(ステップS105:No)について説明する。この場合、制御部9は、撮像部2から取得した正面画像データを画像データ記憶部81に記憶させる(ステップS111)。その後、撮像装置1は、ステップS108へ移行する。
つぎに、撮像装置1が撮影モードに設定されておらず(ステップS101:No)、再生モードに設定されている場合(ステップS112:Yes)について説明する。この場合、表示制御部95は、画像データ記憶部81が記憶する各画像ファイルの画像データに対応する画像を縮小した縮小画像(サムネイル画像)の一覧を表示部6に表示させる(ステップS113)。
続いて、操作入力部4またはタッチパネル7を介して拡大して表示する画像ファイルの縮小画像が選択された場合(ステップS114:Yes)、制御部9は、選択された画像ファイル内に正面画像データと副画像データとが記憶されているか否かを判断する(ステップS115)。選択された画像ファイル内に正面画像データと副画像データとが記憶されていると制御部9が判断した場合(ステップS115:Yes)、撮像装置1は、後述するステップS116へ移行する。一方、選択された画像ファイル内に正面画像データと副画像データとが記憶されていないと制御部9が判断した場合(ステップS115:No)、撮像装置1は、後述するステップS125へ移行する。
ステップS116において、トリミング部93は、顔検出部92が副画像から検出した被写体の顔を一部に含む顔領域を副画像から切出して顔画像を生成する。具体的には、図7に示すように、トリミング部93は、顔検出部92が副画像W2から検出した被写体K1の顔を一部に含む顔領域を副画像W2から切出して顔画像を生成する。
続いて、画像合成部94は、トリミング部93が生成した被写体K1の顔画像を、撮影時において撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた正面画像の表示領域に合成して合成画像を生成する(ステップS117)。
図8は、画像合成部94が顔画像を正面画像に合成する際に参照する撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を模式的に説明する図である。図9は、図8の矢視A方向の平面図である。なお、図8において、点線で表す領域W1が撮像部2の撮影領域を示し、点線で表す領域W2が背面撮像部5の撮影領域を示す。
図8および図9に示すように、画像合成部94は、顔画像を正面画像W1に合成する際に、撮影時において撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた正面画像の表示領域に顔画像を合成する。たとえば、画像合成部94は、図7に示す状況のように被写体K1の顔が副画像W2の左側に写っている場合において、撮像装置1を中心にして撮像部2を仮想的に回転(矢印(a))させたとき、被写体K1が正面画像W1内において仮想的に写る正面画像W1の表示領域に顔画像A1を合成する(図8および図9を参照)。具体的には、図10に示すように、画像合成部94は、正面画像W1における右端部の近傍に顔画像A1を合成して合成画像W3を生成する。
ステップS117の後、表示制御部95は、画像合成部94が合成した合成画像W3を表示部6に表示させる(ステップS118)。
続いて、制御部9は、表示部6が表示する合成画像W3内における顔画像A1に対してスライド操作が行われたか否かを判断する(ステップS119)。顔画像A1に対してスライド操作が行われたと制御部9が判断した場合(ステップS119:Yes)、表示制御部95は、ユーザによるスライド操作の軌跡に応じて、撮影時において撮像装置1を中心にして見たときの正面画像W1と副画像W2に写る被写体の位置関係を反映させた状態で合成画像W3から副画像W2に切換えて表示部6に表示させる(ステップS120)。
図11は、表示制御部95が合成画像W4から副画像W2への切換えを模式的に説明する図である。図11に示すように、表示制御部95は、顔画像A1に対するスライド操作の軌跡に応じて、副画像W2の表示領域を左端部から徐々に増やしながら副画像W2の少なくとも一部を表示させながら、合成画像W3の表示領域を左端部から徐々に減少させながら表示させる(図11(a)→図11(b))。これにより、表示制御部95は、撮影時において撮像装置1を中心にした見たときの正面画像および副画像に写る被写体の位置関係を反映させた方向から滑らかに画面遷移を行うことができる。
ステップS120の後、制御部9は、ユーザが顔画像A1から指を離したか否かを判断する(ステップS121)。ユーザが顔画像A1から指を離したと制御部9が判断した場合(ステップS121:Yes)、表示制御部95は、撮像装置1を中心にして見たときの正面画像および副画像に写る被写体の位置関係を反映させた状態で副画像W2から合成画像W3に切換える(ステップS122)。具体的には、表示制御部95は、表示部6の表示画面における右端部から瞬時に移動したように副画像W2の表示領域を減少させながら表示させる。その後、撮像装置1は、ステップS123へ移行する。一方、ユーザが顔画像A1に対してタッチを維持しながら表示画面上を移動させていると制御部9が判断した場合(ステップS121:No)、撮像装置1は、この判断を続ける。
ステップS123において、制御部9は、画像の切換操作が行われたか否かを判断する。具体的には、制御部9は、操作入力部4から他の画像を切換える切換信号が入力されたか否かを判断する。画像の切換操作が行われたと制御部9が判断した場合(ステップS123:Yes)、撮像装置1は、ステップS124へ移行する。一方、操作入力部4を介して画像の切換操作が行われていないと制御部9が判断した場合(ステップS123:No)、撮像装置1は、ステップS119へ戻る。
ステップS124において、制御部9は、撮像装置1が再生モードに設定されているか否かを判断する。撮像装置1が再生モードに設定されていると制御部9が判断した場合(ステップS124:Yes)、撮像装置1は、ステップS113へ戻る。一方、撮像装置1が再生モードに設定されていないと制御部9が判断した場合(ステップS124:No)、撮像装置1は、ステップS109へ移行する。
ステップS119において、顔画像A1に対してスライド操作が行われていないと制御部9が判断した場合(ステップS119:No)、撮像装置1は、ステップS123へ移行する。
ステップS115において、選択された画像ファイル内に副画像データが記憶されていないと制御部9が判断した場合(ステップS115:No)、表示制御部95は、正面画像データに対応する正面画像を全画面に拡大して表示部6に表示させる(ステップS125)。その後、撮像装置1は、ステップS124へ移行する。
ステップS114において、画像ファイルが選択されない場合(ステップS114:No)について説明する。この場合、制御部9は、所定時間(たとえば5秒)経過したか否かを判断する(ステップS126)。所定時間経過したと制御部9が判断した場合(ステップS126:Yes)、撮像装置1は、ステップS109へ移行する。一方、所定時間経過していないと制御部9が判断した場合(ステップS126:No)、撮像装置1は、ステップS114へ戻る。
以上説明した本発明の実施の形態1によれば、表示制御部95が、表示部6によって正面画像が表示されている場合において、タッチパネル7から副画像の切換えを指示する指示信号の入力を受け付けたとき、撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた状態で副画像の少なくとも一部を表示部6に表示させる。これにより、撮影者の意図した構図を維持しつつ、撮影者自身の画像も付加することもでき、家族写真のように撮影時における思い出を共用することができる再生を行うことができる。
さらに、本発明の実施の形態1によれば、ユーザが正面画像を鑑賞している場合において、他方の副画像を見たくなったときに、顔画像A1に対してスライド操作を行うことで、すぐに副画像を確認することができる。
また、本発明の実施の形態1によれば、表示制御部95が、表示部6によって表示されている正面画像に副画像が関連付けられていることを示す情報を重畳して表示する。これにより、撮影者は、実際に撮影した正面画像を確認することができるとともに、副画像を表示可能であることを直感的に把握することができる。
なお、上述した実施の形態1では、ユーザが顔画像A1に対してスライド操作の軌跡に応じて、表示制御部95が副画像W2を徐々に表示部6に表示させていたが、たとえばユーザが顔画像A1の領域内をタッチした場合、表示制御部95は、表示部6が表示している合成画像W3に変えて、撮像装置1を中心にして見たときの正面画像および副画像にそれぞれ写る被写体の位置関係を反映させた方向から副画像W2を瞬時(たとえば0.5〜1秒以内)に表示させてもよい。
また、上述した実施の形態1では、ユーザが顔画像A1に対してスライド操作の軌跡に応じて、表示制御部95が副画像W2を徐々に表示部6に表示させていたが、単に顔画像A1のみを移動させてもよい。この場合、ユーザが顔画像A1から指を離した場合、表示制御部95は、顔画像A1を画像合成部94が正面画像W1に合成した合成位置に戻るように表示部6に表示させてもよい。
(実施の形態1の変形例1)
上述した実施の形態1において、表示部6によって表示されている正面画像に副画像を対応付けて記憶されていることを示す情報を顔画像に変えて他の画像に変更することも可能である。
図12は、本発明の実施の形態1の変形例1にかかる撮像装置1の表示部6が表示する合成画像の一例を示す図である。
図12に示すように、表示制御部95は、表示部6によって表示されている合成画像W10に副画像W11を対応付けて記憶されていることを示す情報として折れ部R1を表示させる。表示制御部95は、ユーザが折れ部R1にタッチしながら表示画面の左方向に向けてスライド操作させた場合、タッチパネル7から入力される指示信号に応じて、折れ部R1が左方向に向けてめくられるように折れ部R1の表示面積を拡大しながら、副画像W11を表示部6に表示させる。具体的には、図13に示すように、ユーザが折れ部R1にタッチしながら表示画面の左方向(矢印(a))に向けてスライド操作した場合、表示制御部95は、タッチパネル7から入力される指示信号に応じて、折れ部R1が左方向に向けてめくられるように折れ部R1の表示面積を拡大する。この際、表示制御部95は、表示部6が表示している主画像W10に対応付けて記憶された副画像W11の表示面積を拡大して表示させる。これにより、ユーザは、ページをめくるように折れ部R1を移動させることで、副画像W11を確認することができる。
(実施の形態1の変形例2)
上述した実施の形態1において、撮像装置1における背面撮像部5の位置を変更することも可能である。
図14は、本発明の実施の形態1の変形例2にかかる撮像装置100の被写体に面する側の構成を示す図である。本発明の実施の形態1の変形例2にかかる撮像装置100は、上述した実施の形態1と同様の構成を有する。なお、図面の記載において、同一の部分には同一の符号を付している。
図14に示すように、撮像装置100は、背面撮像部5を側面に設けている。具体的には、背面撮像部5は、撮像部2の光軸L1と直交する撮像装置100の側面に設けられる。このように構成された撮像装置100を用いて撮影する際の撮影状況について説明する。
図15は、撮像装置100を用いて撮影する場合において、撮像装置100を中心に見たときの正面画像と副画像との位置関係を模式的に説明する図である。なお、図15において、点線で示す領域W20が撮像部2の撮影領域を示し、点線で示す領域W21が背面撮像部5の撮影領域を示す。
図15に示すように、撮影者K1が撮像装置100で被写体K3を撮影するような場合において、被写体K3を横で見ていた被写体K2を背面撮像部5で撮影することも可能である。このような状況下で撮像装置100が撮像した正面画像データおよび副画像データを用いて、表示制御部95が表示部6に表示させる画像について説明する。
図15に示すように、表示制御部95は、撮像時において撮像装置100を中心に見たとき、正面に被写体K3がおり、左側に被写体K2がいるので、表示部6が表示する主画像の左側に折れ部R2を表示させる。具体的には、図16に示すように、表示制御部95は、撮影時において撮像装置100を中心にして見たときの主画像W20および副画像W21に写る被写体の位置関係を反映させた方向に折れ部R2を主画像W20上に表示させる。
さらに、図17に示すように、表示制御部95は、折れ部R2に対するスライド操作(矢印(a))に応じて、正面画像W20の縦横比率を変化させながら正面画像W20を表示させるとともに、正面画像W20の縦横比率の変換によって生じる画面内の空き領域に副画像W21を表示部6に表示させる。ここで、縦横比率とは、正面画像W40の縦に対する横の比率である。これにより、ユーザに対して、撮影時における正面画像W20および副画像W21にそれぞれ写る被写体の位置関係を直感的に把握させることができるとともに、正面画像W20および副画像W21を同時に確認させることができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。本発明の実施の形態2にかかる撮像装置は、上述した背面撮像部に変えて全方位撮像部を備える。さらに、本発明の実施の形態2にかかる撮像装置は、制御部の構成が上述した撮像装置と異なる。このため、以下においては、上述した実施の形態1と異なる構成を説明後、本発明の実施の形態にかかる撮像装置による動作について説明する。なお、図面の記載において、同一の部分には同一の符号を付している。
図18は、本発明の実施の形態2にかかる撮像装置200の被写体に面する側(前面側)の構成を示す図である。図19は、本発明の実施の形態2にかかる撮像装置200の撮影者に面する側(背面側)の構成を示す図である。図20は、本発明の実施の形態2にかかる撮像装置の構成を示すブロック図である。
図18〜図20に示すように、撮像装置200は、撮像部2と、タイマー3と、操作入力部4と、表示部6と、タッチパネル7と、記憶部8と、全方位撮像部300と、通信部400と、制御部500と、を備える。
全方位撮像部300は、撮像部2の光軸L1と直交する光軸L3の周りの全周にわたる視野領域を撮像して第2の画像データとしての全方位画像データを生成する。全方位撮影部300は、撮像部2と同様に、光学系と、絞りと、シャッタと、撮像素子と、信号処理部と、を有する。図21は、全方位撮像部300の光学系310の構成を説明する模式図である。
図21に示す光学系310は、光軸L3を中心軸として回転対称な形状をなしており、光軸L3の周りの全方位(水平画角360度)を視野領域として光を集光する軸対称自由曲面レンズ311と、軸対称自由曲面レンズ311に凹面を向けた正メニスカスレンズ312と、両凸正レンズ313および軸対称自由曲面レンズ311に凹面を向けた負メニスカスレンズ314からなる接合レンズ315と、両凸正レンズ316および両凹負レンズ317からなる接合レンズ318と、を有する。
軸対称自由曲面レンズ311は、屈折率が1より大きい樹脂等の透明媒体によって形成され、遠方からの光束が入射する第1透過面311aと、第1透過面311aから入射した光束が入射して反射する第1反射面311bと、第1反射面311bで反射された光束が入射する第2反射面311cと、第2反射面311cで反射された光束が入射する第2透過面311dと、を有する。
以上の構成を有する全方位撮像部300は、光軸L3の周りの全周にわたる視野領域から光を集光し、この集光した光を撮像素子(図示せず)が光電変換した後、所定の信号処理を施してA/D変換することにより、円環状をなす全方位画像データを生成する。全方位撮像部300は、通信部400を介して制御部500に全方位画像データを出力する。なお、全方位撮像部300の詳細な構成は、たとえば特開2006−243689号公報に開示されている。また、全方位撮像部300は、通信部400を介して撮像装置200と接続される。さらに、本実施の形態2では、全方位撮像部300が第2の撮像部として機能する。
通信部400は、撮像装置200に装着される全方位撮像部300との通信を行うための通信インターフェースである。
制御部500は、画像処理部91と、顔検出部92と、トリミング部93と、画像合成部94と、表示制御部95と、画像関連付け部96と、画像変換部501と、を有する。
画像変換部501は、全方位撮像部300が生成した全方位画像データに対応する全方位画像を帯状に変換した変換画像を生成する。具体的には、画像変換部501は、円環状の全方位画像を帯状に変換した変換画像を生成する。
以上の構成を有する撮像装置が行う処理について説明する。図22は、撮像装置200が行う処理の概要を示すフローチャートである。
図22において、撮像装置200が撮影モードに設定されている場合(ステップS201:Yes)について説明する。この場合、制御部500は、撮像装置200が正面画像に副画像として全方位画像を対応付けて記憶する副画像同時記憶モードに設定されているか否かを判断する(ステップS202)。撮像装置200が副画像同時記憶モードに設定されていると制御部500が判断した場合(ステップS202:Yes)、撮像装置200は、後述するステップS203へ移行する。一方、撮像装置200が副画像同時記憶モードに設定されていないと制御部500が判断した場合(ステップS202:No)、撮像装置200は、後述するステップS215へ移行する。
ステップS203において、撮像装置200は、制御部500の制御のもと、撮像部2が生成する正面画像データと全方位撮像部300が生成した全方位画像データとを取得する。たとえば、図23に示すように、撮像装置200は、全方位撮像部300が生成した全方位画像データに対応する全方位画像W21を取得する。全方位画像W21は、円環状をなす撮影領域に被写体K1〜K3が写っている。
続いて、画像変換部501は、全方位画像W21の形状を円環状から帯状に変換して変換画像を生成する(ステップS204)。具体的には、図23に示すように、画像変換部501は、全方位画像W21の所定位置、たとえば切出し線Cから切断して帯状をなす画像に変換することによって変換画像を生成する。なお、画像変換部501が全方位画像W21から切断する位置は、適宜設定することが可能である。さらに、画像変換部501は、顔検出部92の検出結果、たとえば被写体K3を正面画像W30および全方位画像W21それぞれから検出した場合、被写体K3が変換画像の中央に表示されるように切出してもよい。
その後、画像合成部94は、撮像部2が生成した正面画像に画像変換部501が変換した変換画像を合成して合成画像を生成する(ステップS205)。具体的には、図24に示すように、画像合成部94は、正面画像W30における上部の外縁領域に変換画像W31を合成して合成画像W32を生成する。なお、画像合成部94は、変換画像W31を正面画像W30における下部の外縁領域に合成して合成画像を生成してもよい。
続いて、表示制御部95は、画像合成部94が生成した合成画像W32を表示部6に表示させる(ステップS206)。これにより、ユーザは、表示部6が表示する合成画像W32を確認することで、正面画像W30と全方位画像W31とを直感的に把握することができる。
その後、レリーズスイッチ42が操作されることにより、レリーズ信号が入力された場合(ステップS207:Yes)、撮像装置200は、制御部500の制御のもと、撮像部2が生成した正面画像データを取得する(ステップS208)。
続いて、制御部500は、撮像装置200が副画像同時記憶モードに設定されているか否かを判断する(ステップS209)。撮像装置200が副画像同時記憶モードに設定されている場合(ステップS209:Yes)、撮像装置200は、後述するステップS210へ移行する。一方、撮像装置200が副画像同時記憶モードに設定されていないと制御部500が判断した場合(ステップS209:No)、撮像装置200は、後述するステップS216へ移行する。
ステップS210において、撮像装置200は、制御部500の制御のもと、全方位撮像部300が生成した全方位画像データを取得する。
続いて、画像関連付け部96は、撮像部2から取得した正面画像データに、全方位撮像部300から取得した全方位画像データを対応付けた画像ファイルを生成し、この画像ファイルを画像データ記憶部81に記憶する(ステップS211)。
その後、表示制御部95は、取得した正面画像データに対応する正面画像を所定時間(たとえば3秒)だけ表示部6にレックビュー表示させる(ステップS212)。なお、表示制御部95は、画像変換部501が全方位画像W20を変換した帯状の変換画像W31を所定時間(たとえば3秒)だけ表示部6にレックビュー表示させてもよい。
続いて、制御部500は、電源スイッチ41が操作されることにより、撮像装置200の電源がオフ状態であるか否かを判断する(ステップS213)。撮像装置200の電源がオフ状態であると制御部500が判断した場合(ステップS213:Yes)、撮像装置200は、本処理を終了する。一方、撮像装置200の電源がオフ状態でないと制御部500が判断した場合(ステップS213:No)、撮像装置200は、ステップS214へ移行する。
ステップS214において、制御部500は、撮影モード切換スイッチ43からモード切換信号が入力された場合、モード切換信号に応じて撮影・再生モードの切換操作を受け付ける一方、撮影モード切換スイッチ43を介してモード切換信号が入力されていない場合、現在のモードを維持する。ステップS214の後、撮像装置200は、ステップS201へ戻る。
ステップS202において、撮像装置200に副画像同時記憶モードが設定されていないと制御部500が判断した場合(ステップS202:No)について説明する。この場合、表示制御部95は、撮像部2が微小な時間間隔で連続的に生成する正面画像データに対応するライブビュー画像を表示部6に表示させる(ステップS215)。その後、撮像装置200は、ステップS207へ移行する。
ステップS209において、撮像装置200に副画像同時記憶モードが設定されていないと制御部500が判断した場合(ステップS209:No)について説明する。この場合、制御部500は、撮像部2から取得した正面画像データを記憶させた画像ファイルを作成して画像データ記憶部81に記憶する(ステップS216)。その後、撮像装置200は、ステップS212へ移行する。
つぎに、撮像装置1が撮影モードに設定されておらず(ステップS201:No)、再生モードに設定されている場合(ステップS217:Yes)について説明する。この場合、表示制御部95は、画像データ記憶部81が記憶する各画像ファイルの画像データに対応する画像を縮小した縮小画像の一覧を表示部6に表示させる(ステップS218)。
続いて、操作入力部4またはタッチパネル7を介して拡大して表示する画像ファイルの縮小画像が選択された場合(ステップS219:Yes)、制御部500は、選択された画像ファイル内に正面画像データと副画像データとしての全方位画像データとが記憶されているか否かを判断する(ステップS220)。選択された画像ファイル内に正面画像データと副画像データとしての全方位画像データとが記憶されていると制御部500が判断した場合(ステップS220:Yes)、撮像装置200は、後述するステップS221へ移行する。一方、選択された画像ファイル内に正面画像データのみ記憶されていると制御部500が判断した場合(ステップS220:No)、撮像装置200は、後述するステップS229へ移行する。
ステップS221において、画像合成部94は、正面画像に全方位画像を合成した合成画像を生成し、表示制御部95は、画像合成部94が生成した合成画像を表示部6に表示させる(ステップS222)。
図25は、表示制御部95が合成画像を表示する際に参照する撮影時における撮像装置200を中心にして見たときの正面画像および副画像としての全方位画像にそれぞれ写る被写体の位置関係を模式的に説明する図である。図26は、表示制御部95が表示部6に表示させる合成画像W40の一例を示す図である。なお、図25において、点線で表す領域W30が撮像部2による撮影領域を示し、一点鎖線で表す領域W20が全方位撮像部300の撮影領域を示す。
図25に示すように、表示制御部95は、表示部6に合成画像W40を表示させる際に、撮影時において撮像装置200を中心にして見たときの正面画像W20および全方位画像W30にそれぞれ写る被写体K1〜K3の位置関係を反映させた状態で合成画像W40の少なくとも一部を表示部6に表示させる。この際、図26に示すように、表示制御部95は、全方位画像W20が全方位撮像部300によって撮像装置200を中心に全方位(360度)撮影されているので、合成画像W40の両端部それぞれに副画像としての全方位画像W20があることを示す情報として折れ部R11,R12を表示する。
ステップS222の後、制御部500は、表示部6が表示する合成画像W40内における折れ部R11または折れ部R12に対してスライド操作が行われたか否かを判断する(ステップS223)。たとえば、折れ部R11に対してスライド操作が行われたと制御部500が判断した場合(ステップS223:Yes)、表示制御部95は、ユーザによるスライド操作に応じて、撮影時において撮像装置200を中心にして見たときの正面画像W30および副画像としての全方位画像W20に写る被写体K1〜K3の位置関係を反映させながら全方位画像W41の少なくとも一部を表示部6に表示させる(ステップS224)。
図27は、表示制御部95が合成画像W40から全方位画像W41への切換えを模式的に説明する図である。図27に示すように、表示制御部95は、折れ部R11に対するスライド操作に応じて、表示部6の表示画面における左端部から全方位画像W41を徐々に表示させつつ、正面画像W40の縦横比率を縮小しながら表示部6に表示させる(図27(a)→図27(b))。さらに、表示制御部95は、折れ部R11に対するスライド操作の移動量に応じて、全方位画像W41の領域を所定間隔毎に縦横比率を変化させながら表示部6に表示させる。これにより、撮影時において撮像装置200を中心に見たときの正面画像W30および副画像として全方位画像W20にそれぞれ写る被写体K1〜K3の位置関係を反映させた状態で滑らかに画面遷移を行うことができる。
続いて、制御部500は、ユーザが折れ部R11または折れ部R12から指を離したか否かを判断する(ステップS225)。ユーザが折れ部R11または折れ部R12から指を離したと制御部500が判断した場合(ステップS225:Yes)、表示制御部95は、撮像装置200を中心にして見たときの正面画像および全方位画像に写る被写体の位置関係を反映させた状態で全方位画像W41から合成画像W40に切換える(ステップS226)。その後、撮像装置200は、ステップS227へ移行する。一方、ユーザが折れ部R11または折れ部R12に対してタッチを維持しながら表示画面上を移動させていると制御部500が判断した場合(ステップS225:No)、撮像装置200は、ステップS224へ戻る。
ステップS227〜ステップS230は、上述したステップS123〜S126それぞれに対応するため、説明を省略する。
ステップS217において、撮像装置1が再生モードに設定されていない場合(ステップS217:No)、撮像装置1はステップS213に移行する。
以上説明した本発明の実施の形態2では、表示制御部95が、表示部6によって正面画像が表示されている場合において、タッチパネル7から副画像の切換えを指示する指示信号の入力を受け付けたとき、撮像装置1を中心にして見たときの正面画像および副画像に写る被写体の位置関係を反映させた状態で副画像としての全方位画像の少なくとも一部を表示部6に表示させる。これにより、撮影者の意図した構図を維持しつつ、撮影者自身の画像も付加することもでき、家族写真のように撮影時における思い出を共用することができる再生を行うことができる。
また、上述した実施の形態2では、全方位撮像部300で全周囲(360度)を撮像していたが、たとえば視野領域が少なくとも略90度を超える4つの撮像部を設けることにより、撮影部2の光軸L1と直交する軸の周りの全周にわたる第2の視野領域を撮影してもよい。
(その他の実施の形態)
なお、上述した実施の形態では、撮像した画像データを再生する再生モードで行っていたが、たとえば撮影モードで表示部6が表示するライブビュー画像上で上述した処理を行ってもよい。これにより、リアルタイムで正面画像と副画像とを確認しながら撮影を行うことができる。
また、上述した実施の形態では、表示部6が表示する静止画像の切換えで上述した処理を行っていたが、たとえば動画の切換えで上述した処理を行ってもよい。この場合、表示制御部95は、表示部6が第1の動画(正面側)を表示している場合において、タッチパネル7から動画の切換えの指示信号の入力を受け付けたとき、表示部6に第2の動画(背面側または全方位画像)を表示部6に所定時間、たとえば第2の動画の再生が終了するまで表示部6に表示させてもよい。
また、上述した実施の形態では、表示部6が表示する静止画像のみの切換えであったが、静止画像および動画をそれぞれ組み合わせて上述した処理を行ってもよい。
また、上述した実施の形態では、表示部6が表示する画像の切換えに対して説明したが、たとえば電子ビューファインダにおいても同様の画像の切換えを行ってもよい。
また、上述した実施の形態では、フローチャートの説明において、「まず、」や「つぎに、」等の表現を用いて説明している場合もあるが、これは便宜的なものにすぎず、この順序を変えて行ってもよい。
また、上述した実施の形態では、撮像装置としてデジタルカメラとして説明していたが、たとえばデジタル一眼レフカメラ、デジタルビデオカメラおよび2つの撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。