JP2009218807A - 撮像装置及び画像再生装置 - Google Patents

Abstract

【課題】デジタルカメラにおいて、芸術性の高い構図を有する画像を自動取得する。
【解決手段】撮像装置は、撮影によって自身に投影される光学像に応じた信号を出力する撮像素子と、光学像を前記撮像素子上で移動させる補正レンズと、前記撮像素子の出力信号に基づく判定用画像から被写体としての人物の顔を検出して、前記判定用画像上における前記顔の位置及び向きを検出する顔検出部と、検出された前記顔の位置及び向きに基づいて補正レンズの位置を制御する撮影制御部と、を備え、その制御後の前記撮像素子の出力信号から構図調整画像を生成する。具体的には、顔の位置に着目した黄金分割の構図調整画像が得られるように補正レンズの位置を制御する。また、顔が向いている方向の空間を広くとるように、補正レンズの位置を制御する。
【選択図】図１０

Description

本発明は、デジタルスチルカメラ等の撮像装置及び画像を再生する画像再生装置に関する。

近年、デジタルスチルカメラ等の撮像装置が広く普及しており、ユーザは気軽に人物等の被写体の撮影を行うことができる。しかし、撮影時における構図の設定は、特に撮影の初心者にとって難しく、ユーザが決めた撮影条件（構図を含む）では、良好な構図を有する画像（例えば、芸術性の高い画像）が得られないことも多い。被写体の状態に応じた良好な構図を有する画像を自動取得することができれば、ユーザにとって有益である。

尚、ＣＣＤより得た入力画像から人物の特徴部位（鼻など）の位置を検出し、画像上において該特徴部位が目標位置に配置されるようにＣＣＤの位置を駆動制御した後、本撮影を行う手法が提案されている（下記特許文献１参照）。この手法は、顔認証用の画像を得ることを目的とした手法である。この手法によれば、例えば顔を中心に配置した画像を得ることができ、顔認証用の技術としては有益かもしれない。しかし、一般ユーザによる人物撮影において、そのような画像の構図が優れているとは言い難い。

また、顔の特徴部分がフレーム内の基準領域内に位置し且つフレーム内における顔の大きさが所定の大きさとなるように、カメラをパン及び／又はチルトさせると共にカメラのズーム制御を行う手法が提案されている（下記特許文献２参照）。この手法も、顔認証用の画像を得ることを目的とした手法である。この手法によれば、例えば顔が中心に配置され且つ顔の大きさが一定となる画像を得ることができ、顔認証用の技術としては有益かもしれない。しかし、一般ユーザによる人物撮影において、そのような画像の構図が優れているとは言い難い。また、カメラをパン及びチルトさせる機構が必要となるため、一般ユーザ用の撮像装置に適用し難い。

また、シャッタボタンが押下された際、ユーザの設定画角よりも広画角となるようにズームレンズを駆動制御した後、ＣＣＤによって広角画像を撮影し、広角画像から複数の画像を切り出す手法も提案されている（下記特許文献３参照）。但し、この手法では、被写体の状態に関係なく切り出し位置が設定されるため、被写体の状態に応じた構図を有する画像は得られない。

特開２００７−３６４３６号公報 特開２００５−１１７３１６号公報 特開２００４−１０９２４７号公報

そこで、本発明は、被写体の状態に応じた良好な構図を有する画像の取得に寄与する撮像装置を提供することを目的とする。また本発明は、入力画像中に含まれる被写体の状態に応じた良好な構図を有する画像の再生に寄与する画像再生装置を提供することを目的とする。

本発明に係る第１の撮像装置は、撮影によって自身に投影される光学像に応じた信号を出力する撮像素子と、前記光学像を前記撮像素子上で移動させる像移動手段と、前記撮像素子の出力信号に基づく判定用画像から被写体としての人物の顔を検出して、前記判定用画像上における前記顔の位置及び向きを検出する顔検出手段と、検出された前記顔の位置及び向きに基づいて前記像移動手段を制御し、その制御後の前記撮像素子の出力信号から構図調整画像を生成する構図制御手段と、を備えたことを特徴とする。

これにより、顔の位置及び向きに応じて構図が調整された、良好な構図を有する構図調整画像の生成が期待される。

具体的には例えば、前記構図制御手段は、検出された前記顔の位置に応じた対象点が前記構図調整画像上の特定位置に配置されるように前記像移動手段を制御し、検出された前記顔の向きに基づいて前記特定位置を設定する。

本発明に係る第２の撮像装置は、撮影によって自身に投影される光学像に応じた信号を出力する撮像素子と、前記撮像素子の出力信号に基づく判定用画像から被写体としての人物の顔を検出して、前記判定用画像上における前記顔の位置及び向きを検出する顔検出手段と、前記判定用画像又は前記撮像素子の出力信号から得られる前記判定用画像と異なる画像を基本画像として取り扱い、前記基本画像の一部を切り出すことにより構図調整画像を生成する構図制御手段と、を備え、前記構図制御手段は、検出された前記顔の位置及び向きに基づいて前記構図調整画像の切り出し位置を制御することを特徴とする。

これにより、顔の位置及び向きに応じて構図が調整された、良好な構図を有する構図調整画像の生成が期待される。

具体的には例えば、前記構図制御手段は、検出された前記顔の位置に応じた対象点が前記構図調整画像上の特定位置に配置されるように前記切り出し位置を制御するとともに、検出された前記顔の向きに基づいて前記特定位置を設定する。

また具体的には例えば、前記構図制御手段は、前記構図調整画像の中心を基準として、前記顔が向いている方向の反対側よりに前記特定位置を設定する。

一般に、写真撮影では、顔が向いている方向の空間を広くとった構図が良いとされている。これを考慮し、構図調整画像の中心を基準として、顔が向いている方向の反対側よりに前記特定位置を設定する。これにより、良好な構図を有すると思われる構図調整画像を取得可能となる。

また具体的には例えば、前記特定位置は、前記構図調整画像を水平方向に３等分する２本の線と、前記構図調整画像を垂直方向に３等分する２本の線と、によって形成される４交点の位置の何れかである。

これにより、いわゆる黄金分割の画像を自動的に取得することが可能となる。

また例えば、前記構図制御手段は、前記構図調整画像として１枚以上の構図調整画像を生成し、検出された前記顔の向きに基づいて、生成する前記構図調整画像の枚数を決定する。

より具体的には例えば、ｍを２以上の整数とし、ｎを２以上であって且つｍ未満の整数とした場合、前記構図制御手段は、検出された前記顔の向きが正面向きであるとき、互いに異なるｍ個の特定位置を設定して前記ｍ個の特定位置に対応する合計ｍ枚の構図調整画像を生成する一方、検出された前記顔の向きが横向きであるとき、１つの特定位置を設定して１枚の構図調整画像を生成する、或いは、互いに異なるｎ個の特定位置を設定して前記ｎ個の特定位置に対応する合計ｎ枚の構図調整画像を生成する。

これは、必要処理時間等に低減に寄与する。

また例えば、第１の撮像装置は、外部から撮影指示を受け付ける撮影指示受付手段と、前記撮像素子の出力信号に基づく画像データを記録媒体に記録するための記録制御を行う記録制御手段と、を更に備え、前記構図制御手段は、前記撮影指示に従って前記構図調整画像を生成するとともに、前記撮像素子の出力信号から前記構図調整画像と異なる基本画像を生成し、前記記録制御手段は、前記構図調整画像及び前記基本画像の画像データを互いに関連付けて前記記録媒体に記録させる。

また例えば、第２の撮像装置は、外部から撮影指示を受け付ける撮影指示受付手段と、前記撮像素子の出力信号に基づく画像データを記録媒体に記録するための記録制御を行う記録制御手段と、を更に備え、前記構図制御手段は、前記撮影指示に従って前記基本画像及び前記構図調整画像を生成し、前記記録制御手段は、前記構図調整画像及び前記基本画像の画像データを互いに関連付けて前記記録媒体に記録させる。

本発明に係る画像再生装置は、入力画像から人物の顔を検出して、前記入力画像上における前記顔の位置及び向きを検出する顔検出手段と、前記入力画像の一部を切り出すことによって得た構図調整画像の画像データを出力する構図制御手段と、を備え、前記構図制御手段は、検出された前記顔の位置及び向きに基づいて前記構図調整画像の切り出し位置を制御することを特徴とする。

本発明によれば、被写体の状態に応じた良好な構図を有する画像の取得に寄与する撮像装置を提供することができる。また、入力画像中に含まれる被写体の状態に応じた良好な構図を有する画像の再生に寄与する画像再生装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。尚、動画撮影機能を省略し、撮像装置１を静止画のみを撮影可能なデジタルスチルカメラとすることも可能である。

［基本的な構成の説明］
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの内部メモリ１７と、ＳＤ（Secure Digital）カードや磁気ディスクなどの外部メモリ１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。撮像装置１内の各部は、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）を内部メモリ１７に記録する。

図２は、図１の撮像部１１の内部構成図である。撮像部１１にカラーフィルタなどを用いることにより、撮像装置１は、撮影によってカラー画像を生成可能なように構成されている。

撮像部１１は、光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。光学系３５は、ズームレンズ３０、フォーカスレンズ３１及び補正レンズ３６を含む複数枚のレンズを備えて構成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能であり、補正レンズ３６は光軸に対して傾きを持った方向に移動可能である。具体的には、補正レンズ３６は、光軸に直交する２次元平面上を移動可能なように光学系３５内に設置される。

ドライバ３４は、ＣＰＵ２３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。光学系３５に入射する光学像が同じであり且つ絞り３２の開度が同じである場合、撮像素子３３からの電気信号の大きさ（強度）は上記露光時間に比例して増大する。

ＡＦＥ１２は、撮像素子３３から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して各種画像処理を施し、画像処理後の画像についての映像信号を生成する。映像信号は、画像の輝度を表す輝度信号Ｙと、画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画の撮影及び記録時において、圧縮された映像信号は外部メモリ１８に記録される。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。動画の撮影及び記録時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ１８に記録される。

録画ボタン２６ａは、動画の撮影及び記録の開始／終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、静止画の撮影及び記録を指示するための押しボタンスイッチである。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、外部メモリ１８に格納された動画及び静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。撮影モードでは、所定のフレーム周期にて順次撮影が行われ、撮像素子３３から時系列で並ぶ画像列が取得される。この画像列を形成する各画像を「フレーム画像」と呼ぶ。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後に得られる各フレーム画像の映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介して外部メモリ１８に記録される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、映像信号及び音声信号の外部メモリ１８への記録は終了し、１つの動画の撮影は完了する。また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影及び記録が行われる。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、外部メモリ１８に記録された動画又は静止画を表す圧縮された映像信号は、伸張処理部１９にて伸張されてから映像出力回路２０に送られる。尚、撮影モードにおいては、通常、録画ボタン２６ａ及びシャッタボタン２６ｂに対する操作内容に関係なく、映像信号処理部１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイパネル及びそれを駆動する集積回路などを含む表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。

また、再生モードにおいて動画を再生する際、外部メモリ１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音として外部に出力する。

尚、映像出力回路２０からの映像信号及び音声出力回路２１からの音声信号を、撮像装置１に設けられた外部出力端子（不図示）を介して外部機器（外部の表示装置など）に供給することも可能である。

また、シャッタボタン２６ｂは、２段階の押下操作が可能となっており、撮影者がシャッタボタン２６ｂを軽く押し込むと、シャッタボタン２６ｂは半押しの状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂは全押しの状態となる。

上述したように、補正レンズ３６は、光軸に直交する２次元平面上を移動可能なように光学系３５内に設置されている。このため、補正レンズ３６の移動によって、撮像素子３３に投影される光学像は、撮像素子３３上で、撮像素子３３の撮像面に平行な２次元方向に移動する。撮像面とは、撮像素子３３の各受光画素が配置された、光学像が投影される面である。ＣＰＵ２３が、補正レンズ３６の位置を変更するためのレンズシフト信号をドライバ３４に出力し、ドライバ３４が、そのレンズシフト信号に従って補正レンズ３６を移動させる。補正レンズ３６の移動によって光軸は変化するため、補正レンズ３６を移動させるための制御を光軸シフト制御と呼ぶ。

図３（ａ）及び（ｂ）に、補正レンズ３６の移動による光学像の移動の様子を示す。実空間上で静止している点２００からの光は補正レンズ３６を介して撮像素子３３に入射し、点２００の光学像が撮像素子３３上の或る点に結像する。図３（ａ）の状態では、その光学像は撮像素子３３上の点２０１に結像しているが、図３（ａ）の状態から図３（ｂ）の状態の如く補正レンズ３６の位置を変更すると、その光学像は点２０１と異なる、撮像素子３３上の点２０２に結像する。

また、本明細書にて述べられる画像に関し、図４に示すように、上下左右を定義する（この定義は、全ての画像に対して共通である）。特に述べない限り、画像は、外形が矩形の二次元画像である。互いに直交するＸ軸及びＹ軸を座標軸とする二次元直交座標面を想定し、その座標面における原点Ｏに、画像の一頂点を配置して考える。原点Ｏを基点として、Ｘ軸の正の方向及びＹ軸の正の方向に画像が配置される。画像の中心から見て、Ｘ軸の負の方向へ向かう側を左側、Ｘ軸の正の方向へ向かう側を右側、Ｙ軸の負の方向へ向かう側を上側、Ｙ軸の正の方向へ向かう側を下側とする。左右方向は画像の水平方向と合致し、上下方向は画像の垂直方向と合致する。

撮影モードにおいて、撮像装置１は特徴的な動作を実行可能である。この特徴的な動作を構図調整撮影動作という。構図調整撮影動作の例として、以下に、第１〜第３の構図調整撮影動作を個別に説明する。矛盾が生じないのであれば、或る構図調整撮影動作に記載した事項を、他の構図調整撮影動作に適用することも可能である。

尚、本明細書では、或る画像の画像データに対して何らかの処理（記録、保存、読み出し等）を行うことを説明する文章において、記述の簡略化上、画像データの記述を省略することがある。例えば、静止画の画像データの記録という表現と、静止画の記録という表現は同義である。

［第１の構図調整撮影動作］
まず、第１の構図調整撮影動作を説明する。図５は、第１の構図調整撮影動作に関与する、撮像装置１の一部機能ブロック図である。顔検出部５１及び画像取得部５３の機能は主として図１の映像信号処理部１３によって実現され、撮影制御部５２の機能は主として図１のＣＰＵ２３によって実現され、記録制御部５４の機能は主としてＣＰＵ２３及び圧縮制御部１６によって実現される。勿論、図１に示される他の部位（例えば内部メモリ１７）も、必要に応じて、符号５１〜５４にて参照される部位の機能の実現に関与する。

顔検出部５１は、自身に与えられた入力画像の画像データに基づき、入力画像中から人物の顔を検出し、検出された顔を含む顔領域を抽出する。画像中に含まれる顔を検出する手法として様々な手法が知られており、顔検出部５１は何れの手法をも採用可能である。例えば、特開２０００−１０５８１９号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔（顔領域）を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔（顔領域）を検出しても良い。

典型的には例えば、入力画像内に設定された着目領域の画像と所定の画像サイズを有する基準顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。入力画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域の画像と基準顔画像とが対比されて、再度、両画像の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば入力画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、入力画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、入力画像中から任意の大きさの顔を検出することができる。

顔検出部５１は、入力画像における顔の向きも併せて検出する。即ち、顔検出部５１は、入力画像において検出された顔の向きが、正面向き、左向き及び右向きの何れであるのかを区別して検出可能である。左向きと右向きは横向きに属する。図６（ａ）に示す如く、画像中における顔が正面から見た顔として表れている時、その顔の向きは正面向きであると検出され、図６（ｂ）に示す如く、画像中における顔が左方向を向いている顔として表れている時、その顔の向きは左向きであると検出され、図６（ｃ）に示す如く、画像中における顔が右方向を向いている顔として表れている時、その顔の向きは右向きであると検出される。尚、画像中において、正面向きの顔はＸ軸及びＹ軸の双方に直交する方向を向いており、左向きの顔はＸ軸の負の方向を向いており、右向きの顔はＸ軸の正の方向を向いている（図４参照）。

顔の向きを検出する手法として様々な手法が提案されており、顔検出部５１は何れの手法をも採用可能である。例えば、特開平１０−３０７９２３号公報に記載の手法のように、入力画像の中から、目、鼻、口等の顔部品を順番に見つけていって画像中の顔の位置を検出し、顔部品の投影データに基づいて顔の向きを検出する。

或いは例えば、特開２００６−７２７７０号公報に記載の手法を用いてもよい。この手法では、１つの正面向きの顔を左側半分（以下、左顔という）と右側半分（以下、右顔という）とに分けて考え、学習処理を介して左顔に関するパラメータと右顔に関するパラメータを事前に生成しておく。顔検出時には、入力画像内の着目領域を左右に分割し、各分割領域と、上記２つのパラメータの内の対応するパラメータとの類似度を算出する。そして、一方又は双方の類似度が閾値以上の時に、着目領域が顔領域であると判別する。更に、各分割領域に対する類似度の大小関係から顔の向きを検出する。

顔検出部５１は、自身による顔検出の結果を表す顔検出情報を出力する。顔検出部５１により或る入力画像から顔が検出された場合、該入力画像に対する顔検出情報は、該入力画像上における「顔の位置、顔の向き及び顔の大きさ」を特定する。実際には例えば、顔検出部５１は、顔を含む矩形領域を顔領域として抽出し、入力画像上における該顔領域の位置及び画像サイズによって顔の位置及び大きさを表現する。また、顔の位置とは、例えば、その顔についての顔領域の中心位置を示す。入力画像に対する顔検出情報は、図５の撮影制御部５２に与えられる。尚、顔検出部５１において顔が検出されなかった場合は、顔検出情報は生成及び出力されず、代わりに、その旨を表す情報が撮影制御部５２に伝達される。

撮影制御部５２は、顔検出情報に基づいて、構図調整画像を得るためのレンズシフト信号を図２のドライバ３４に出力する。画像取得部５３は、撮像素子３３の出力信号から基本画像及び構図調整画像を生成する（換言すれば、それらの画像の画像データを取得する）。基本画像及び構図調整画像の意義は後述の説明から明らかとなる。記録制御部５４は、基本画像及び構図調整画像の画像データを互いに関連付けて外部メモリ１８に記録する。

図７は、第１の構図調整撮影動作の流れを表すフローチャートである。このフローチャートに沿って、第１の構図調整撮影動作を説明する。

まず、撮像装置１が起動して撮像装置１の動作モードが撮影モードとなると、以下のステップＳ１〜Ｓ６の処理が実行される。即ち、ステップＳ１において、撮像素子３３の駆動モードが自動的にプレビューモードに設定される。プレビューモードでは、所定のフレーム周期で撮像素子３３からフレーム画像が得られ、得られたフレーム画像列が表示部２７で更新表示される。ステップＳ２では、操作部２６に対する操作に従ってズームレンズ３０を駆動することにより、撮像部１１の画角を調整する。また、ステップＳ３において、撮像素子３３の出力信号に基づき、撮像素子３３の露光量を最適とするためのＡＥ（Automatic Exposure）制御及び撮像部１１の焦点位置を最適とするためのＡＦ（Automatic Focus）制御が実行される。ステップＳ４において、ＣＰＵ２３は、シャッタボタン２６ｂが半押しの状態となっているかを確認し、それが半押しの状態となっていると、ステップＳ５に移行して、再度、上記の露光量及び焦点位置の最適化処理を行う。その後、ステップＳ６において、ＣＰＵ２３は、シャッタボタン２６ｂが全押しの状態となっているかを確認し、それが全押しの状態となっていると、ステップＳ１０に移行する。

ステップＳ１０において、図５の撮影制御部５２は、判定用画像から所定の大きさ以上の顔が検出されたか否かを確認する。ここにおける判定用画像とは、例えば、シャッタボタン２６ｂが全押しの状態となっていることが確認された直後或いは直前に得られたフレーム画像である。顔検出部５１は判定用画像を入力画像として受け取る。そして、顔検出処理によって得た判定用画像に対する顔検出情報に基づいて、撮影制御部５２が、ステップＳ１０の確認を行う。

判定用画像から所定の大きさ以上の顔が検出された場合、ステップＳ１０からステップＳ１１に移行し、撮像素子３３の駆動モードが、静止画の撮影に適した静止画撮影モードに設定され、その後、ステップＳ１２〜Ｓ１５の処理が実行される。ステップＳ１２では、画像取得部５３が、シャッタボタン２６ｂが全押し状態となった後におけるＡＦＥ１２の出力信号より基本画像を取得する。より具体的には、ステップ１２において、フレーム画像１枚分の、ＡＦＥ１２の出力信号そのもの（以下、Ｒａｗデータという）を、一旦、内部メモリ１７に書き込む。ここで書き込まれる信号によって表されるフレーム画像が基本画像である。ステップＳ６にてシャッタボタン２６ｂの全押し状態が確認されてから基本画像が取得される過程において、補正レンズ３６の位置は固定されている（但し、光学式手ぶれ補正を実現するための補正レンズ３６の移動は実行されうる）。従って、基本画像は、撮影者が設定した撮影範囲そのものの画像である。

基本画像が取得された後、ステップＳ１３に移行する。そして、ステップＳ１３及びＳ１４において、撮影制御部５２による光軸シフト制御と、該光軸シフト制御後の静止画撮影による構図調整画像の取得と、が必要回数実行される。具体的には例えば、それらを４回繰り返すことによって、第１〜第４の構図調整画像を取得する。

図８、図９及び図１０（ａ）〜（ｅ）を参照して、ステップＳ１２〜Ｓ１４の動作を詳説する。説明の便宜上、撮像装置１の全ての被写体は実空間上で静止しており且つ撮像装置１の筐体も固定されているものとする。

図８の符号３００は撮像装置１の被写体の平面図を表している。符合３０１は判定用画像を撮影する際の撮影範囲であり、符号３０２は判定用画像を表している。図８、後述の図１０（ａ）〜（ｅ）、図１１（ａ）及び（ｂ）並びに図１３（ａ）及び（ｂ）において、一点鎖線で囲まれた矩形領域内が撮影範囲内である。顔検出部５１によって判定用画像３０２から２つの顔領域３０３及び３０４が抽出されたとする。この場合、顔領域３０３及び３０４の夫々についての顔検出情報が生成される。点３０５は、判定用画像３０２における顔領域３０３の中心と顔領域３０４の中心との中間点である。撮影制御部５２は、その中間点を顔対象点として取り扱う。撮影制御部５２は、顔領域３０３及び３０４の顔検出情報に基づいて顔対象点の座標値を検出する。この座標値は、図４の座標面上における顔対象点の位置を特定する。

一般に、写真撮影では、主要被写体の中心を、画像を上下及び左右に各々３等分する線の交点に配置することが良いとされている。このような配置による構図は、黄金分割の構図とも呼ばれる。図９に、或る着目した画像と、その画像を上下方向に３等分する２本の線と、その画像を左右方向に３等分する２本の線と、それらの線によって形成される４つの交点ＧＡ₁〜ＧＡ₄と、を示す。交点ＧＡ₁、ＧＡ₂、ＧＡ₃及びＧＡ₄は、夫々、着目した画像の中心から見て、左上側、左下側、右下側及び右上側に位置する交点である。撮影制御部５２は、判定用画像における顔対象点の座標値に基づき、第ｉの構図調整画像における顔対象点が第ｉの構図調整画像上の交点ＧＡ_iに位置するように、光軸シフト制御を行う（ここで、ｉは１、２、３又は４）。

図１０（ａ）における符号３４０は基本画像を表し、図１０（ｂ）〜（ｅ）における符号３４１〜３４４は夫々第１〜第４の構図調整画像を表している。図１０（ａ）〜（ｅ）の左側に、夫々、基本画像の撮影時における撮影範囲３２０、第１の構図調整画像の撮影時における撮影範囲３２１、第２の構図調整画像の撮影時における撮影範囲３２２、第３の構図調整画像の撮影時における撮影範囲３２３、及び、第４の構図調整画像の撮影時における撮影範囲３２４を、被写体の平面図３００に重畳して示す。また、図１０（ａ）〜（ｅ）の夫々には、撮影範囲を上下方向に３等分する２本の線と撮影範囲を左右方向に３等分する２本の線とが示されている。図１０（ｂ）〜（ｅ）には、夫々、交点ＧＡ₁〜ＧＡ₄に対応する交点に符号３３１〜３３４が付されている。

シャッタボタン２６ｂの全押し状態が確認されてから基本画像が取得される過程において補正レンズ３６の位置は固定されているため、基本画像３４０の撮影時における撮影範囲３２０は判定用画像３０２の撮影時における撮影範囲３０１と同じとなり、画質等の相違を無視すれば、基本画像３４０と判定用画像３０２は同じものとなる。

他方、撮影制御部５２は、第１の構図調整画像の撮影を行うに先立って、撮像部１１の撮影範囲が図１０（ｂ）の撮影範囲３２１となるように、即ち交点３３１に顔対象点が位置するように光軸シフト制御を行い、その後、フレーム画像１枚分のＲａｗデータを内部メモリ１７に書き込む。ここで書き込まれる信号によって表されるフレーム画像が第１の構図調整画像である。この結果、第１の構図調整画像における顔対象点は第１の構図調整画像上の交点ＧＡ₁に位置する。

撮影制御部５２は、第１の構図調整画像の取得後、第２の構図調整画像の撮影を行うに先立って、撮像部１１の撮影範囲が図１０（ｃ）の撮影範囲３２２となるように、即ち交点３３２に顔対象点が位置するように光軸シフト制御を行い、その後、フレーム画像１枚分のＲａｗデータを内部メモリ１７に書き込む。ここで書き込まれる信号によって表されるフレーム画像が第２の構図調整画像である。この結果、第２の構図調整画像における顔対象点は第２の構図調整画像上の交点ＧＡ₂に位置する。この後、同様にして第３及び第４の構図調整画像が取得される。この結果、第３の構図調整画像における顔対象点は第３の構図調整画像上の交点ＧＡ₃に位置し、第４の構図調整画像における顔対象点は第４の構図調整画像上の交点ＧＡ₄に位置する。

上述の如くして基本画像及び第１〜第４の構図調整画像が取得された後、ステップＳ１５に移行する（図７参照）。ステップＳ１５において、図５の記録制御部５４は、それらの画像データを互いに関連付けて外部メモリ１８に記録し、その後、ステップＳ１に戻る。画像データは、ＹＵＶ形式の映像信号によって表現される。より具体的には、記録制御部５４は、内部メモリ１７に一時的に記録された基本画像及び第１〜第４の構図調整画像のＲａｗデータを読み込み、そのＲａｗデータから得た、それらの画像の映像信号（ＹＵＶ信号）をＪＰＥＧ圧縮する。そして、圧縮後の信号を互いに関連付けて外部メモリ１８に記録する。ＪＰＥＧ圧縮とは、ＪＰＥＧ（Joint Photographic Experts Group）の規格に沿った信号圧縮処理を意味する。尚、ＪＰＥＧ圧縮を行うことなく、Ｒａｗデータそのものを外部メモリ１８に記録することも可能である。

ステップＳ１０において、判定用画像から所定の大きさ以上の顔が検出されなかった場合は、ステップＳ１０からステップＳ２１に移行し、撮像素子３３の駆動モードが、静止画の撮影に適した静止画撮影モードに設定され、その後、ステップＳ２２及びＳ２３の処理が実行される。ステップＳ２２の処理は、ステップＳ１２の処理と同じものであり、これによって基本画像が取得される。この基本画像の画像データはステップＳ２３にて外部メモリ１８に記録され、この後、ステップＳ１に戻る。

上述のように処理することにより、静止画撮影指示を行うだけで自動的に黄金分割の構図を有する画像が記録され、芸術性の高い画像をユーザに提供することが可能となる。

尚、判定用画像から複数の顔が検出された場合を例示したが、判定用画像から検出された顔の個数が１である場合は、その顔を含む顔領域の中心を顔対象点として取り扱えばよい（これは、後述する第２及び第３の構図調整撮影動作並びに自動トリミング再生動作にも当てはまる）。

また、判定用画像から複数の顔が検出された場合、各顔の大きさを判定用画像の顔検出情報から取得し、その複数の顔の内、最も大きな顔が主要被写体の顔であると捉えて、その主要被写体の顔を含む顔領域の中心を顔対象点として取り扱うようにしてもよい。（これは、後述する第２及び第３の構図調整撮影動作並びに自動トリミング再生動作にも当てはまる）

また、上述の例では、判定用画像の撮影後に基本画像が撮影される。即ち、判定用画像と基本画像が異なっているが、１枚のフレーム画像を判定用画像及び基本画像として共用することも可能である。この場合は、ステップＳ６にてシャッタボタン２６ｂの全押し状態が確認された後、撮影画撮影モードにて１枚のフレーム画像を取得し、そのフレーム画像を基本画像として取り扱うと共に判定用画像としても取り扱う。そして、その判定用画像から所定の大きさ以上の顔が検出された場合に、上述のステップＳ１３〜Ｓ１５の処理を行うようにし、それが検出されなかった場合に上述のステップＳ２３の処理を行うようにする。

［第２の構図調整撮影動作］
次に、第２の構図調整撮影動作を説明する。第１の構図調整撮影動作では、図７のステップＳ１０からステップＳ１１に至った際、４枚の構図調整画像を取得及び記録するようにしているが、第２の構図調整撮影動作では、顔の向きを考慮することにより、取得及び記録する構図調整画像の枚数を３枚以下にする。第２の構図調整撮影動作は、第１の構図調整撮影動作の一部を変形したものであり、特に記述しない動作及び構成は、第１の構図調整撮影動作で示したものと同じである。以下、判定用画像から所定の大きさ以上の顔が検出された場合を想定する。

第２の構図調整撮影動作でも、図７のステップＳ１〜Ｓ６の処理後、ステップＳ１０にて判定用画像から所定の大きさ以上の顔が検出された場合、まず、基本画像の撮影が行われ（ステップＳ１１及びＳ１２）、その後ステップＳ１３に移行する。そして、ステップＳ１３及びＳ１４において、撮影制御部５２による光軸シフト制御と、該光軸シフト制御後の静止画撮影による構図調整画像の取得と、が必要回数実行される。撮影制御部５２は、この実行回数及び取得すべき構図調整画像を、判定用画像内における顔の向きに応じて決定する。

一般に、写真撮影では、顔が向いている方向の空間を広くとった構図が良いとされている。従って、基本画像の撮影後、そのような構図の画像のみが取得されるように、光軸シフト制御を行う。

具体的には、まず、撮影制御部５２は、判定用画像内における顔の向きが、正面向き、左向き及び右向きの何れであるのかを、判定用画像の顔検出情報から特定する。ここで特定された顔の向きを着目顔向きと呼ぶ。判定用画像から複数の顔が検出された場合は、各顔の大きさを判定用画像の顔検出情報から取得し、その複数の顔の内、最も大きな顔が主要被写体の顔であると捉えて、その主要被写体の顔の向きを着目顔向きとして取り扱う。

着目顔向きが正面向きである場合は、第１の構図調整撮影動作と同様にして、第１〜第４の構図調整画像を取得及び記録するようにする。一方、着目顔向きが左向きである場合、撮影制御部５２は、判定用画像における顔対象点（図８の例の場合は、点３０５）の座標値に基づき、顔対象点が交点ＧＡ₃に配置された構図調整画像、又は、顔対象点が交点ＧＡ₄に配置された構図調整画像が取得されるように光軸シフト制御を行う（図９参照）。着目顔向きが右向きである場合、撮影制御部５２は、判定用画像における顔対象点の座標値に基づき、顔対象点が交点ＧＡ₁に配置された構図調整画像、又は、顔対象点が交点ＧＡ₂に配置された構図調整画像が取得されるように光軸シフト制御を行う。

具体例を挙げる。今、第１の構図調整撮影動作で示したものと同じ被写体を想定し、判定用画像が図８の判定用画像３０２であって、それから２つの顔領域３０３及び３０４が抽出された場合を考える。また、顔領域３０３に対応する顔の大きさの方が顔領域３０４のそれよりも大きく、且つ、顔領域３０３に対応する顔の向き（即ち、着目顔向き）が左向きであるとする。

そうすると、撮影制御部５２は、顔対象点が交点ＧＡ₃に配置された構図調整画像、又は、顔対象点が交点ＧＡ₄に配置された構図調整画像が取得されるように光軸シフト制御を行う。また、ここでは、最も大きな顔が主要被写体の顔であると捉えて、その主要被写体の顔を含む顔領域の中心を顔対象点として取り扱う場合を例示する。

撮影制御部５２は、顔領域３０３及び３０４の位置関係に基づいて、顔対象点が交点ＧＡ₃に配置された構図調整画像の構図と顔対象点が交点ＧＡ₄に配置された構図調整画像の構図の内、どちらの構図が優れているかを判断する。この際、顔の大きさも考慮されうる。図１１（ａ）及び（ｂ）に、夫々、前者の構図調整画像を取得するための撮影範囲３６１、図１１（ｂ）に後者の構図調整画像を取得するための撮影範囲３６２を、被写体の平面図３００に重畳して示す。今の例の場合、顔領域３０３の上方に顔領域３０４が存在しているため、撮影範囲３６２を用いたのでは顔領域３０４が撮影範囲の上方に位置しすぎるし、顔領域３０４に対応する顔の一部又は頭部が撮影範囲からはみ出す惧れがある。そこで、顔対象点が交点ＧＡ₃に配置された構図調整画像の構図の方が優れていると判断して、その構図調整画像を取得するようにする。

即ち、今の例の場合、基本画像の取得の後、構図調整画像の撮影を行うに先立って、判定用画像の顔対象点の座標値に基づき、撮像部１１の撮影範囲が図１１（ａ）の撮影範囲３６１となるように光軸シフト制御を行い、その後、フレーム画像１枚分のＲａｗデータを内部メモリ１７に書き込む。ここで書き込まれる信号によって表されるフレーム画像がステップＳ１４にて取得されるべき、１枚の構図調整画像である。この構図調整画像における顔対象点は構図調整画像上の交点ＧＡ₃に位置する。図１２に、得られた構図調整画像を示す。

そして、ステップＳ１５に移行し、図５の記録制御部５４が、ステップＳ１２にて得られた基本画像及びステップＳ１４にて得られた構図調整画像の画像データ（合計２枚分の画像データ）を互いに関連付けて外部メモリ１８に記録し、その後、ステップＳ１に戻る。この記録の具体的手法は、第１の構図調整撮影動作で示した通りである。

図１３（ａ）及び（ｂ）を参照して、他の具体例を挙げる。図１３（ａ）において、符号４００は撮像装置１の被写体の平面図を表しており、符号４２０は判定用画像及び基本画像の撮影時における撮影範囲であり、符号４４０はステップＳ１２にて取得される基本画像を表している。この場合、判定用画像から１つの顔領域が抽出されるため、その顔領域の中心が顔対象点とされる。また、図１３（ａ）に示す如く、抽出された顔領域の顔向きは左向きである。従って、基本画像の取得後、撮影制御部５２は、顔向きが左向きであることに基づき、顔対象点が交点ＧＡ₃に配置された構図調整画像、又は、顔対象点が交点ＧＡ₄に配置された構図調整画像が取得されるように光軸シフト制御を行う。

この際、撮影制御部５２は、顔領域の位置に基づいて、顔対象点が交点ＧＡ₃に配置された構図調整画像の構図と顔対象点が交点ＧＡ₄に配置された構図調整画像の構図の内、どちらの構図が優れているかを判断する。この際、顔の大きさも考慮されうる。図１３（ａ）に示す例の場合、被写体としての人物が１人であるため、その人物の全体像がなるだけ撮影範囲内に収まった方が構図が優れているといえる。そこで、撮影制御部５２は、顔検出結果に基づいて、その人物の胴体が位置する方向を推定し、その胴体がより撮影範囲内に収まる構図を、より優れている構図と判断する。図１３（ａ）示す例の場合、顔を基点として画像の下方側に胴体が位置するため、顔対象点が交点ＧＡ₄に配置された構図調整画像を取得するようにする。図１３（ｂ）に、この構図調整画像を取得する際の撮影範囲４２１と、得られた構図調整画像４４１を示す。そして、基本画像及び構図調整画像の、合計２枚分の画像データを互いに関連付けて外部メモリ１８に記録して、１回の撮影動作を完了する。

また、図１３（ａ）に対応する例において、顔の大きさが比較的大きい場合は、顔対象点が交点ＧＡ₄に配置された構図調整画像の代わりに、顔対象点が交点ＧＡ₃に配置された構図調整画像を取得するようにしてもよい。

上述のように処理することにより、第１の構図調整撮影動作と同様の効果を得ることができる。また、顔の向きに応じて、より構図の優れた構図調整画像（即ち、最適な構図調整画像）が選択的に取得及び記録されるため、第１の構図調整撮影動作と比べて、必要処理時間及び必要記録容量が低減される。

尚、上述の例では、顔の向きが横向きである場合、構図調整画像を１枚だけ取得するようにしているが、２枚又は３枚の構図調整画像を取得するようにしても構わない。例えば、図１１（ａ）に対応する例、又は、図１３（ａ）に対応する例において、基本画像の取得後、光軸シフト制御及び該光軸シフト制御後の静止画撮影を２回繰り返すことにより、顔対象点が交点ＧＡ₃に配置された構図調整画像と顔対象点が交点ＧＡ₄に配置された構図調整画像の双方を取得するようにしてもよい。この場合、２枚の構図調整画像と基本画像の画像データが互いに関連付けられて外部メモリ１８に記録される。

［第３の構図調整撮影動作］
次に、第３の構図調整撮影動作を説明する。第３の構図調整撮影動作では、光軸シフト制御を用いて構図調整画像を得るのではなく、画像の切り出し処理を利用して構図調整画像を得る。図１４は、第３の構図調整撮影動作に関与する、撮像装置１の一部機能ブロック図である。顔検出部６１及び切り出し部６３の機能は主として図１の映像信号処理部１３によって実現され、切り出し領域設定部６２の機能は主として図１のＣＰＵ２３（及び／又は映像信号処理部１３）によって実現され、記録制御部６４の機能は主としてＣＰＵ２３及び圧縮制御部１６によって実現される。勿論、図１に示される他の部位（例えば内部メモリ１７）も、必要に応じて、符号６１〜６４にて参照される部位の機能の実現に関与する。

顔検出部６１は、第１の構図調整撮影動作で示した顔検出部５１（図５参照）と同じ機能を有し、入力画像（判定用画像）に対する顔検出情報を切り出し領域設定部６２に伝達する。撮影者が指定した構図による基本画像の画像データは、切り出し部６３に与えられる。切り出し領域設定部６２は、顔検出情報に基づいて、その基本画像から構図調整画像を切り出すための切り出し領域を設定し、基本画像上における切り出し領域の位置及び大きさを特定する切り出し領域情報を切り出し部６３に伝達する。切り出し部６３は、その切り出し領域情報に従って基本画像の一部画像を切り出し、切り出しによって得られた画像（以下、切り出し画像という）を構図調整画像として生成する。記録制御部６４は、生成された構図調整画像と基本画像の画像データを互いに関連付けて外部メモリ１８に記録する。

図１５は、第３の構図調整撮影動作の流れを表すフローチャートである。このフローチャートに沿って、第３の構図調整撮影動作を説明する。この動作中、常に補正レンズ３６の位置は固定されているものとする（但し、光学式手ぶれ補正を実現するための補正レンズ３６の移動は実行されうる）。

まず、撮像装置１が起動すると、ステップＳ１〜Ｓ６の処理が実行される。ステップＳ１〜Ｓ６の処理は、第１の構図調整撮影動作におけるそれらと同じである（図７参照）。但し、ステップＳ６においてシャッタボタン２６ｂが全押しの状態となっていることが確認されると、ステップＳ３１に移行し、撮像素子３３の駆動モードが静止画の撮影に適した静止画撮影モードに設定される。そして、続くステップＳ３２において、切り出し部６３が、シャッタボタン２６ｂの全押し状態の確認後におけるＡＦＥ１２の出力信号より基本画像を取得する。より具体的には、ステップ３２において、フレーム画像１枚分のＲａｗデータを、一旦、内部メモリ１７に書き込む。ここで書き込まれる信号によって表されるフレーム画像が基本画像である。基本画像は、撮影者が設定した撮影範囲そのものの画像である。

その後、ステップＳ３３において、切り出し領域設定部６２は、顔検出部６１から与えられる判定用画像の顔検出情報に基づき、判定用画像から所定の大きさ以上の顔が検出されたか否かを確認する。本例では、基本画像が判定用画像として流用される。但し、基本画像と判定用画像を異ならせることも可能である。例えば、基本画像の撮影の直前若しくは数フレーム前、又は、基本画像の撮影の直後若しくは数フレーム後の撮影によって得られたフレーム画像を判定用画像として取り扱うことも可能である。

そして、判定用画像から所定の大きさ以上の顔が検出されなかった場合は、ステップＳ３３からステップＳ３４に移行し、基本画像の画像データを外部メモリ１８に記録した後、ステップＳ１に戻る。

一方、判定用画像から所定の大きさ以上の顔が検出された場合は、ステップＳ３３からステップＳ３５に移行し、ステップＳ３５及びＳ３６の処理が実行される。ステップＳ３５では、基本画像から１枚以上の切り出し画像が切り出される。図１６（ａ）〜（ｅ）を参照して、ステップＳ３５の処理内容を説明する。

図１６（ａ）において、符号５００が付された画像は、ステップＳ３２にて取得された基本画像である。顔検出部６１は、この基本画像５００を判定用画像として取り扱って顔検出処理を行うことにより、判定用画像の顔検出情報を生成する。顔検出部６１によって判定用画像から２つの顔領域５０３及び５０４が抽出されたとする。この場合、顔領域５０３及び５０４の夫々についての顔検出情報が生成される。点５０５は、判定用画像における顔領域５０３の中心と顔領域５０４の中心との中間点である。切り出し領域設定部６２は、その中間点を顔対象点として取り扱う。切り出し領域設定部６２は、顔領域５０３及び５０４の顔検出情報に基づいて顔対象点の座標値を検出する。その座標値は、図４の座標面上における顔対象点の位置を特定する。

切り出し領域設定部６２は、判定用画像における顔対象点の座標値に基づき、図１６（ｂ）〜（ｅ）に示される第１〜第４の切り出し画像５２１〜５２４の全部又は何れかが基本画像５００から切り出されるように切り出し位置及び大きさを設定し、設定した切り出し位置及び大きさを表す切り出し領域情報を切り出し部６３に送る。この際、第ｉの切り出し画像における顔対象点が第ｉの切り出し画像上の交点ＧＡ_iに位置するように（図９参照）、切り出し領域情報を生成する（ここで、ｉは１、２、３又は４）。また更に、切り出し画像の画像サイズが、可能な限り大きくなるように切り出し領域情報を生成する。切り出し部６３は、この切り出し領域情報に従って、基本画像５００から第１〜第４の切り出し画像５２１〜５２４の全部又は何れかを生成する。第１〜第４の切り出し画像は、夫々、第１〜第４の構図調整画像として取り扱われる。

上述の如くして基本画像及び１枚以上の構図調整画像が取得された後、ステップＳ３５からステップＳ３６に移行する（図１５参照）。ステップＳ３６において、図１４の記録制御部６４は、ステップＳ３２にて得られた基本画像の画像データと、ステップＳ３５にて得られた１枚以上の構図調整画像の画像データと、を互いに関連付けて外部メモリ１８に記録し、その後、ステップＳ１に戻る。ここでは、最大５枚分の画像データが外部メモリ１８に記録されることになる。

より具体的には、内部メモリ１７に一時的に記録された基本画像のＲａｗデータを読み込み、そのＲａｗデータから、基本画像及び構図調整画像の映像信号（ＹＵＶ信号）を生成する。この後、その映像信号をＪＰＥＧ圧縮して外部メモリ１８に記録する。ＪＰＥＧ圧縮を行わないことも可能である。

構図調整画像は基本画像の一部画像であるため、原則として、記録される構図調整画像の画像サイズ（即ち、水平方向及び垂直方向の画素数）は基本画像のそれよりも小さい。但し、補間処理を用いて両者間の画像サイズの相違がなるように構図調整画像の画像サイズを増大させ、画像サイズ増大後の構図調整画像の画像データ（映像信号）を外部メモリ１８に記録するようにしてもよい。

生成及び記録する構図調整画像を切り出し画像５２１〜５２４の何れにするかは、第２の構図調整撮影動作にて示した方法により決定される。即ち、第２の構図調整撮影動作にて説明した方法に従い、判定用画像の顔検出情報に基づいて着目顔向きを検出する。そして、着目顔向きが正面向きである場合は、切り出し画像５２１〜５２４の全てを生成及び記録する。

一方、着目顔向きが左向きである場合は、切り出し画像５２３及び５２４の何れか一方を生成及び記録する。即ち、第２の構図調整撮影動作にて説明した方法に従い、判定用画像中における、顔の個数、顔の位置、向き及び大きさに基づいて、切り出し画像５２３及び５２４の内、どちらが優れた構図を有しているかを判断し、構図が優れていると判断した方の切り出し画像を生成及び記録する。但し、切り出し画像５２３及び５２４の双方を生成及び記録するようにしてもよい。

着目顔向きが右向きである場合は、切り出し画像５２１及び５２２の何れか一方を生成及び記録する。即ち、第２の構図調整撮影動作にて説明した方法に従い、判定用画像中における、顔の個数、顔の位置、向き及び大きさに基づいて、切り出し画像５２１及び５２２の内、どちらが優れた構図を有しているかを判断し、構図が優れていると判断した方の切り出し画像を生成及び記録する。但し、切り出し画像５２１及び５２２の双方を生成及び記録するようにしてもよい。

上述のように処理することにより、静止画撮影指示を行うだけで自動的に黄金分割の構図を有する画像が記録され、芸術性の高い画像をユーザに提供することが可能となる。また。顔の向きに応じて記録する構図調整画像を選択するようにすれば、必要処理時間及び必要記録容量が低減される。

［記録フォーマット］
次に、第１〜第３の構図調整撮影動作の何れかを用いて記録されるべき画像データの記録フォーマットを説明する。基本画像とそれに関連して得られた１枚以上の構図調整画像は、画像ファイルに格納されて外部メモリ１８に記録される。図１７に、１つの画像ファイルの構造を示す。画像ファイルは、本体領域とヘッダ領域から形成されている。ヘッダ領域には、対応する画像に対する付加情報（撮影時の焦点距離、撮影日時など）が格納される。Ｅｘｉｆ（Exchangeable image file format）のファイルフォーマットに準拠する場合、ヘッダ領域はＥｘｉｆタグ又はＥｘｉｆ領域とも呼ばれる。画像ファイルのファイルフォーマットを任意の規格に準拠させることが可能である。尚、以下の説明おいて、特に記述なき限り、画像ファイルとは、外部メモリ１８内に記録された画像ファイルを指す。画像ファイルの生成及び記録は、図５の記録制御部５４又は図１４の記録制御部６４によって実行される。

説明の具体化のため、第１の構図調整撮影動作にて示した撮影及び記録動作により基本画像と第１〜４の構図調整画像が取得され、それらが互いに関連付けられて外部メモリ１８に記録される場合を例にとる。以下の説明において、「５枚の画像」といった場合、それは、基本画像と第１〜４の構図調整画像とから成る５枚の画像を意味するものとする。

まず、図１８を参照して、採用可能な第１の記録フォーマットを説明する。第１の記録フォーマットを採用する場合、５枚の画像を個別に格納するための５つの画像ファイルＦＬ₁〜ＦＬ₅を生成して外部メモリ１８に記録する。画像ファイルＦＬ₁の本体領域には基本画像の画像データが格納され、画像ファイルＦＬ₂〜ＦＬ₅の本体領域には、夫々、第１〜第４の構図調整画像の画像データが格納される。そして、画像ファイルＦＬ₁のヘッダ領域にのみ関連画像情報を格納しておく。この関連画像情報は、画像ファイルＦＬ₂〜ＦＬ₅を指定するための情報であり、この情報によって画像ファイルＦＬ₁と画像ファイルＦＬ₂〜ＦＬ₅が関連付けられる。

再生モードにおいて、ユーザは、通常、基本画像しか閲覧することができず、特殊な操作を撮像装置１に与えた時にのみ、第１〜第４の構図調整画像が表示部２７上で再生されて閲覧可能となる。構図調整画像の閲覧時において、撮像装置１に所定の操作を施せば画像ファイルＦＬ₂〜ＦＬ₅の全部を一括して又は何れかを個別に外部メモリ１８から消去することが可能である。また、画像ファイルＦＬ₁〜ＦＬ₅を１つの関連ファイル群として一括管理し、画像ファイルＦＬ₁に対するファイル操作を画像ファイルＦＬ₁〜ＦＬ₅の全てに適用するようにしてもよい。ファイル操作とは、画像ファイルの消去、ファイル名の変更などを指示する操作である。尚、上述の再生モードにおける動作は、外部メモリ１８の記録データを受け取った、撮像装置１と異なる画像再生装置（不図示）においても適用される。

次に、図１９を参照して、採用可能な第２の記録フォーマットを説明する。第２の記録フォーマットを採用する場合、１つの画像ファイルＦＬ₆のみが生成されて外部メモリ１８に記録される。画像ファイルＦＬ₆の本体領域に基本画像の画像データを格納し、画像ファイルＦＬ₆のヘッダ領域に第１〜第４の構図調整画像の画像データを格納することにより、５枚の画像を互いに関連付ける。また、画像ファイルＦＬ₆のヘッダ領域内に、第１〜第４の構図調整画像に対応する第１〜第４内部ヘッダ領域を設けておく。

再生モードにおいて、ユーザは、通常、基本画像しか閲覧することができず、特殊な操作を撮像装置１に与えた時にのみ、第１〜第４の構図調整画像が表示部２７上で再生されて閲覧可能となる。構図調整画像の閲覧時において、撮像装置１に所定の操作を施せば、第１〜第４の構図調整画像の全部を一括して又は何れかを個別に画像ファイルＦＬ₆から消去することが可能である。また、気に入った構図調整画像があれば、所定操作によって、その構図調整画像を別の画像ファイルに抽出することが可能である（即ち、画像ファイルＦＬ₆以外の画像ファイルに、指定した構図調整画像を保存することも可能である）。また、画像ファイルＦＬ₆を外部メモリ１８から消去するための指示を与えると、当然、５枚の画像が全て外部メモリ１８から消去される。尚、上述の再生モードにおける動作は、外部メモリ１８の記録データを受け取った、撮像装置１と異なる画像再生装置（不図示）においても適用される。

基本画像と４枚の構図調整画像を関連付けて記録するための記録フォーマットを説明したが、構図調整画像の枚数が３枚以下でも同様である。

［自動トリミング再生動作］
次に、再生モードにおいて撮像装置１が実行可能な特徴的な再生動作を説明する。この再生動作を、自動トリミング再生動作という。自動トリミング再生動作では、外部メモリ１８又は撮像装置１の外部から供給される入力画像より構図調整画像が切り出され、該構図調整画像が再生表示される。以下の説明では、撮像装置１に設けられた表示部２７にて構図調整画像が表示されるが、撮像装置１の外部の表示装置（不図示）上で構図調整画像を表示するようにしてもよい。

図２０は、自動トリミング再生動作に関与する、撮像装置１の一部機能ブロック図である。顔検出部７１、切り出し領域設定部７２及び切り出し部７３は、夫々、図１４の顔検出部６１、切り出し領域設定部６２及び切り出し部６３と同等の機能を有し、顔検出部６１、切り出し領域設定部６２及び切り出し部６３をそのまま流用することもできる。

顔検出部７１及び切り出し部７３には、外部メモリ１８又は撮像装置１の外部から入力画像の画像データが与えられる。以下の説明では、外部メモリ１８から入力画像の画像データが与えられることを想定する。この入力画像は、例えば、上述の構図調整撮影動作を行うことなく撮影及び記録された画像である。

顔検出部７１は、入力画像に対する顔検出情報を切り出し領域設定部７２に伝達する。切り出し領域設定部７２は、顔検出情報に基づいて、その入力画像から構図調整画像を切り出すための切り出し領域を設定し、入力画像上における切り出し領域の位置及び大きさを特定する切り出し領域情報を切り出し部７３に伝達する。切り出し部７３は、その切り出し領域情報に従って入力画像の一部画像を切り出し、切り出し画像を構図調整画像として生成する。この切り出し画像としての構図調整画像は、表示部２７にて再生表示される。

図２１は、自動トリミング再生動作の流れを表すフローチャートである。このフローチャートに沿って、自動トリミング再生動作を説明する。撮像装置１に対する後述の各種指示（自動トリミング指示など）は、例えば、操作部２６に対する操作によって撮像装置１に与えられ、ＣＰＵ２３が指示の有無を判断する。

まず、撮像装置１が起動して撮像装置１の動作モードが再生モードとなると、ステップＳ５１において、ユーザの指示に従った、外部メモリ１８に記録された静止画が表示部２７上で再生表示される。ここにおける静止画を再生基本画像という。この再生基本画像に関し、ユーザが自動トリミング指示を与えると、ステップＳ５２を介してステップＳ５３に移行する。自動トリミング指示が与えられない場合は、ステップ５１の処理が繰り返される。

ステップＳ５３では、ステップＳ５１における再生基本画像が入力画像として顔検出部７１及び切り出し部７３に与えられ、顔検出部７１が、この再生基本画像に対して顔検出処理を実行して顔検出情報を作成する。その顔検出情報に基づき、続くステップＳ５４において、切り出し領域設定部７２は、再生基本画像から所定の大きさ以上の顔が検出されたか否かを確認する。それが検出された場合はステップＳ５５に移行する一方、検出されなかった場合はステップＳ５１に戻る。

ステップＳ５５では、切り出し領域設定部７２及び切り出し部７３により、再生基本画像から最適な１枚の構図調整画像が切り出されて表示される。切り出し領域設定部７２及び切り出し部７３による再生基本画像から１枚の構図調整画像を生成する方法は、第３の構図調整撮影動作で述べた基本画像から１枚の構図調整画像を生成する方法と同じである。

例えば、ステップＳ５１における再生基本画像が図１６（ａ）に示す基本画像５００と同じである場合を考える。この場合、顔領域５０３及び５０４の夫々についての顔検出情報が生成され、切り出し領域設定部７２は、再生基本画像における顔領域５０３の中心と顔領域５０４の中心との中間点５０５を顔対象点として取り扱った上で、顔領域５０３及び５０４の顔検出情報に基づいて顔対象点の座標値を検出する。その座標値は、図４の座標面上における顔対象点の位置を特定する。尚、顔領域５０３及び５０４の内、大きい方の顔に対応する顔領域の中心点を顔対象点として取り扱うことも可能である。

そして、切り出し領域設定部７２は、再生基本画像における顔対象点の座標値に基づき、図１６（ｂ）〜（ｅ）に示される第１〜第４の切り出し画像５２１〜５２４の内の何れか１つが再生基本画像から切り出されるように切り出し位置及び大きさを設定し、設定した切り出し位置及び大きさを表す切り出し領域情報を切り出し部７３に送る。この際、第ｉの切り出し画像における顔対象点が第ｉの切り出し画像上の交点ＧＡ_iに位置するように（図９参照）、切り出し領域情報を生成する（ここで、ｉは１、２、３又は４）。また更に、切り出し画像の画像サイズが、可能な限り大きくなるように切り出し領域情報を生成する。切り出し部７３は、この切り出し領域情報に従って、再生基本画像から切り出し画像５２１、５２２、５２３又は５２４を切り出して生成し、生成した１枚の切り出し画像を最適な構図調整画像として表示部２７に出力する。

第２又は第３の構図調整撮影動作において、第１〜第４の構図調整画像の内の何れか１つを選択して撮影又は切り出しを行うことを説明したが、その選択方法と同じ方法を用いて選択した構図調整画像を最適な構図調整画像として取り扱う。即ち、再生基本画像から検出された顔の個数、顔の位置、向き及び大きさに基づいて、第１〜第４の構図調整画像から最適な構図調整画像を選択する。尚、再生基本画像から検出された顔の向きが正面向きである場合は、最適な構図調整画像を１枚に絞りきれないため、その旨を表示部２７に表示してステップＳ５１に戻る。或いは、絞りきれない複数の構図調整画像を表示部２７の表示画面上に並べて表示するようにしてもよい。

ステップＳ５５における最適な構図調整画像の表示後、ステップＳ５６において、記録画像の入れ替え指示がなされたかが確認される。入れ替え指示がなされた場合、ＣＰＵ２３の制御の下、ステップＳ５７にて再生基本画像を外部メモリ１８から消去した後、ステップＳ５９にて最適な構図調整画像を外部メモリ１８に記録し、ステップＳ５１に戻る。入れ替え指示がなかった場合は、ステップＳ５８に移行し、最適な構図調整画像の別途記録を指示する記録指示がなされたかが確認される。記録指示がなされた場合、ＣＰＵ２３の制御の下、再生基本画像の記録を保持したままステップＳ５９にて最適な構図調整画像を外部メモリ１８に記録し、ステップＳ５１に戻る。記録指示がなかった場合は、最適な構図調整画像の記録を実行することなくステップＳ５１に戻る。尚、最適な構図調整画像を記録する際、その構図調整画像の画像サイズが再生基本画像のそれと同じとなるように構図調整画像の画像サイズを増大させてもよい。

パーソナルコンピュータ等にて画像加工用のソフトウェアを実行し、そのソフトウェア上でトリミング作業を行えば、上述の最適な構図調整画像と同等の画像を得ることもできるが、その作業は煩雑である。上述の自動トリミング再生動作によれば、非常に簡単な作業にて最適な構図調整画像（芸術性の高い画像）を閲覧及び記録することができる。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の実施形態では、撮像素子３３に投影される光学像を撮像素子３３上で移動させるための光学部材として補正レンズ３６を用いているが、補正レンズ３６の代わりにバリアングルプリズム（不図示）を用いて、この光学像の移動を実現してもよい。また、補正レンズ３６又はバリアングルプリズムを用いず、光軸に直交する面に沿って撮像素子３３を移動させることにより、上記の光学像の移動を実現してもよい。

［注釈２］
自動トリミング再生動作を、撮像装置１と異なる、外部の画像再生装置（不図示）にて実現するようにしても構わない。この場合、外部の画像再生装置に顔検出部７１、切り出し領域設定部７２及び切り出し部７３を設けて、再生基本画像の画像データを該画像再生装置に与えればよい。その画像再生装置に設けられた切り出し部７３からの構図調整画像は、その画像再生装置に設けられた、表示部２７と同等の表示部、又は、外部の表示装置上で表示される（全て不図示）。

［注釈３］
図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、構図調整撮影動作及び自動トリミング再生動作を行うために必要な演算処理は、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。構図調整撮影動作及び自動トリミング再生動作を行うために必要な演算処理の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その演算処理の全部または一部を実現するようにしてもよい。

［注釈４］
例えば、以下のように考えることができる。撮像素子３３に投影される光学像を撮像素子３３上で移動させるための像移動手段は、上述の実施形態では、補正レンズ３６及びドライバ３４によって実現される。上述の第１又は第２の構図調整撮影動作を実行する際、図５の撮影制御部５２及び画像取得部５３を含む部位は、構図調整画像を生成する構図制御手段として機能する。上述の第３の構図調整撮影動作を実行する際、図１４の切り出し領域設定部６２及び切り出し部６３を含む部位は、構図調整画像を生成する構図制御手段として機能する。上述の自動トリミング生成動作を実行する際、図２０の切り出し領域設定部７２及び切り出し部７３を含む部位は、構図調整画像を生成する構図制御手段として機能する。また、図２０の符号７１〜７３にて参照される部位は画像再生装置として機能する。この画像再生装置に、更に表示部２７が含まれていると考えても構わない。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図２の補正レンズの移動による、撮像素子上の光学像の移動の様子を示す図である。 画像に関し、上下左右を定義するための図である。 第１の構図調整撮影動作に関与する、図１の撮像装置の一部機能ブロック図である。 画像中における、正面向きの顔、左向きの顔及び右向きの顔を示す図である。 第１の構図調整撮影動作の流れを表すフローチャートである。 第１の構図調整撮影動作に係り、撮像装置の撮影範囲が重畳された被写体の平面図と、顔検出処理が実行される判定用画像と、を示す図である。 或る着目した画像と、その画像を上下方向に３等分する２本の線と、その画像を左右方向に３等分する２本の線と、それらの線によって形成される４つの交点と、を示す図である。 第１の構図調整撮影動作によって生成される基本画像及び第１〜第４の構図調整画像を示す図である。 第２の構図調整撮影動作によって生成されうる２枚の構図調整画像の例を示す図である。 第２の構図調整撮影動作によって生成される１枚の構図調整画像の例を示す図である。 第２の構図調整撮影動作によって生成される基本画像及び構図調整画像の例を示す図である。 第３の構図調整撮影動作に関与する、図１の撮像装置の一部機能ブロック図である。 第３の構図調整撮影動作の流れを表すフローチャートである。 第３の構図調整撮影動作によって生成される基本画像及び生成可能な第１〜第４の切り出し画像を示す図である。 図１の外部メモリに記録される画像ファイルの構造を示す図である。 第１の記録フォーマットに従って作成される画像ファイルを示す図である。 第２の記録フォーマットに従って作成される画像ファイルを示す図である。 自動トリミング再生動作に関与する、図１の撮像装置の一部機能ブロック図である。 自動トリミング再生動作の流れを表すフローチャートである。

符号の説明

１ 撮像装置
１１ 撮像部
３３ 撮像素子
３６ 補正レンズ
５１、６１、７１ 顔検出部
５２ 撮影制御部
５３ 画像取得部
５４、６４ 記録制御部
６２、７２ 切り出し領域設定部
６３、７３ 切り出し部

Claims (11)

1. 撮影によって自身に投影される光学像に応じた信号を出力する撮像素子と、
   前記光学像を前記撮像素子上で移動させる像移動手段と、
   前記撮像素子の出力信号に基づく判定用画像から被写体としての人物の顔を検出して、前記判定用画像上における前記顔の位置及び向きを検出する顔検出手段と、
   検出された前記顔の位置及び向きに基づいて前記像移動手段を制御し、その制御後の前記撮像素子の出力信号から構図調整画像を生成する構図制御手段と、を備えた
   ことを特徴とする撮像装置。
2. 前記構図制御手段は、検出された前記顔の位置に応じた対象点が前記構図調整画像上の特定位置に配置されるように前記像移動手段を制御し、検出された前記顔の向きに基づいて前記特定位置を設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 撮影によって自身に投影される光学像に応じた信号を出力する撮像素子と、
   前記撮像素子の出力信号に基づく判定用画像から被写体としての人物の顔を検出して、前記判定用画像上における前記顔の位置及び向きを検出する顔検出手段と、
   前記判定用画像又は前記撮像素子の出力信号から得られる前記判定用画像と異なる画像を基本画像として取り扱い、前記基本画像の一部を切り出すことにより構図調整画像を生成する構図制御手段と、を備え、
   前記構図制御手段は、検出された前記顔の位置及び向きに基づいて前記構図調整画像の切り出し位置を制御する
   ことを特徴とする撮像装置。
4. 前記構図制御手段は、検出された前記顔の位置に応じた対象点が前記構図調整画像上の特定位置に配置されるように前記切り出し位置を制御するとともに、検出された前記顔の向きに基づいて前記特定位置を設定する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記構図制御手段は、前記構図調整画像の中心を基準として、前記顔が向いている方向の反対側よりに前記特定位置を設定する
   ことを特徴とする請求項２または請求項４に記載の撮像装置。
6. 前記特定位置は、前記構図調整画像を水平方向に３等分する２本の線と、前記構図調整画像を垂直方向に３等分する２本の線と、によって形成される４交点の位置の何れかである
   ことを特徴とする請求項２、請求項４または請求項５に記載の撮像装置。
7. 前記構図制御手段は、前記構図調整画像として１枚以上の構図調整画像を生成し、検出された前記顔の向きに基づいて、生成する前記構図調整画像の枚数を決定する
   ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。
8. ｍを２以上の整数とし、ｎを２以上であって且つｍ未満の整数とした場合、
   前記構図制御手段は、
   検出された前記顔の向きが正面向きであるとき、互いに異なるｍ個の特定位置を設定して前記ｍ個の特定位置に対応する合計ｍ枚の構図調整画像を生成する一方、
   検出された前記顔の向きが横向きであるとき、１つの特定位置を設定して１枚の構図調整画像を生成する、或いは、互いに異なるｎ個の特定位置を設定して前記ｎ個の特定位置に対応する合計ｎ枚の構図調整画像を生成する
   ことを特徴とする請求項７に記載の撮像装置。
9. 外部から撮影指示を受け付ける撮影指示受付手段と、
   前記撮像素子の出力信号に基づく画像データを記録媒体に記録するための記録制御を行う記録制御手段と、を更に備え、
   前記構図制御手段は、前記撮影指示に従って前記構図調整画像を生成するとともに、前記撮像素子の出力信号から前記構図調整画像と異なる基本画像を生成し、
   前記記録制御手段は、前記構図調整画像及び前記基本画像の画像データを互いに関連付けて前記記録媒体に記録させる
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
10. 外部から撮影指示を受け付ける撮影指示受付手段と、
    前記撮像素子の出力信号に基づく画像データを記録媒体に記録するための記録制御を行う記録制御手段と、を更に備え、
    前記構図制御手段は、前記撮影指示に従って前記基本画像及び前記構図調整画像を生成し、
    前記記録制御手段は、前記構図調整画像及び前記基本画像の画像データを互いに関連付けて前記記録媒体に記録させる
    ことを特徴とする請求項３または請求項４に記載の撮像装置。
11. 入力画像から人物の顔を検出して、前記入力画像上における前記顔の位置及び向きを検出する顔検出手段と、
    前記入力画像の一部を切り出すことによって得た構図調整画像の画像データを出力する構図制御手段と、を備え、
    前記構図制御手段は、検出された前記顔の位置及び向きに基づいて前記構図調整画像の切り出し位置を制御する
    ことを特徴とする画像再生装置。