JP5195317B2 - カメラ装置、及び撮影方法、撮影制御プログラム - Google Patents

Description

本発明は、被写体となっている人物の顔に他の人物の画像を合成する機能を備えたカメラ装置、及び撮影方法、撮影制御プログラムに関するものである。

従来、撮影待機中に撮像した画像から、顔認識レコードに予め登録されている人物の顔を検出し、撮影時には、検出した人物に対応付けて予め登録されている画質パラメータによる画像処理を施した撮影画像を記録するカメラが提案されている（特許文献１参照）。係るカメラでは、被写体となっている人物の年齢や性別等に応じた品質の撮影画像を取得することができる。
特開２００７−２７４２６４号公報

しかしながら、上記従来の技術においては、ユーザは撮影後にしか画像処理が施された撮影画像を見ることができない。そのため、画像処理が施された撮影画像がユーザが結果的に意図したものとは異なる場合もあるが、撮影時に施す画像処理の内容が、例えば色合いや、シャープネス、彩度といった様な画質に関するものである場合には、上記のような事態は比較的起こりにくい。一方、撮影時に施す画像処理が、被写体となっている人物の顔に他の人物の顔を合成する処理である場合には、ユーザは、撮影時点において実際に記録される画像を正確に思い描くことができない。したがって、その場合には、最終的に得られた画像がユーザが意図したものとは異なる事態が起こりやすいという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、被写体となっている人物の顔に他の人物の画像を合成した画像を撮影する場合に、ユーザが所望する画像をより確実に取得することができるカメラ装置、及び撮影方法、撮影制御プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係るカメラ装置にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置において、前記撮像手段により撮像された被写体像から人物の顔領域を検出する顔検出手段と、合成用の顔画像が記憶された画像記憶手段と、前記顔検出手段により検出された人物の顔領域に、前記画像記憶手段に記憶されている合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する画像合成手段と、この画像合成手段により生成された複数の合成画像とその合成画像を生成した合成用の顔画像とを前記スルー画像と共に各々の画像を識別可能に、前記表示手段に表示させる表示制御手段と、この表示制御手段によって前記表示手段に表示された複数の合成画像のうちから所望する合成画像を使用者に選択させる選択制御手段と、使用者の撮影要求に応答し、前記選択制御手段が使用者に選択させた合成画像を前記記録媒体に記録させる記録制御手段とを備えたことを特徴とする。
また、請求項２記載の発明に係るカメラ装置にあっては、前記表示制御手段は、前記複数の合成画像を、前記合成用顔画像の合成比率の大小関係を識別可能に前記表示手段に表示させることを特徴とする。
また、請求項３記載の発明に係るカメラ装置にあっては、前記表示制御手段は、前記表示手段に前記スルー画像を前記複数の合成画像及び合成用顔画像よりも大きく表示させるとともに、前記複数の合成画像各々にその合成比率を付して表示させることを特徴とする。

また、請求項４記載の発明に係るカメラ装置にあっては、前記画像合成手段が前記複数の合成画像を生成する際の複数の合成比率を使用者の要求に応じて変化させる合成比率制御手段を備えたことを特徴とする。

また、請求項５記載の発明に係るカメラ装置にあっては、前記画像記憶手段には合成用の顔画像が複数記憶される一方、前記画像記憶手段に記憶されている複数の顔画像の中から、前記顔検出手段により検出された人物の顔領域の画像と類似する顔画像を抽出する類似画像抽出手段を備え、前記画像合成手段は、前記顔検出手段により検出された人物の顔領域に、前記類似画像抽出手段により抽出された顔画像を複数の合成比率で合成して複数の合成画像を生成することを特徴とする。

また、請求項６記載の発明に係るカメラ装置にあっては、前記画像記憶手段には合成用の顔画像が複数記憶される一方、前記画像記憶手段に記憶されている複数の顔画像のうちから所望する顔画像を使用者に選択させる顔画像選択制御手段を備え、前記画像合成手段は、前記顔検出手段により検出された人物の顔領域に、前記顔画像選択制御手段が使用者に選択させた顔画像を複数の合成比率で合成して複数の合成画像を生成することを特徴とする。

また、請求項７記載の発明に係るカメラ装置にあっては、前記記録制御手段は、前記画像合成手段により生成された複数の合成画像を単一の画像ファイルに格納して前記記録媒体に記録させることを特徴とする。

また、請求項８記載の発明に係る撮影方法にあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置において、前記撮像手段により撮像された被写体像から人物の顔領域を検出する工程と、検出した人物の顔領域に、合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する工程と、生成した複数の合成画像とその合成画像を生成した合成用の顔画像とを前記スルー画像とともに各々の画像を識別可能に表示させる工程と、使用者の撮影要求に応答し、生成した合成画像を記録する工程とを含むことを特徴とする。

また、請求項９記載の発明に係る撮影制御プログラムにあっては、被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置が有するコンピュータに、前記撮像手段により撮像された被写体像から人物の顔領域を検出する処理と、検出した人物の顔領域に、合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する処理と、生成した複数の合成画像とその合成画像を生成した合成用の顔画像とを前記スルー画像とともに各々の画像を識別可能に表示させる処理と、使用者の撮影要求に応答し、生成した合成画像を記録する処理とを実行させることを特徴とする。

本発明によれば、被写体となっている人物の顔に他の人物の画像を合成した画像を撮影する場合に、ユーザが所望する画像をより確実に取得することがで可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明のカメラ装置であるデジタルカメラの電子回路構成の概略を示すブロック図である。

このデジタルカメラは、撮影した被写体の画像データを取り込むためカメラモジュール１を有している。カメラモジュール１は、結像光学系ブロック２と、イメージセンサ３、ＩＳＰ（lmage Signa1 Processor）４、光学系駆動制御部５から構成される。前記結像光学系ブロック２は、図示しない撮像レンズを構成するレンズ群を駆動するズームモータ及び合焦モータと、絞り、メカニカルシャッタを含み、それらがＣＰＵ６の命令に従い光学系駆動制御部５により駆動を制御される。

イメージセンサ３はＣＣＤやＣＭＯＳセンサ等からなる本発明の撮像手段であり、前記撮像レンズにより結像された被写体の光学像を光電変換するとともにＡ／Ｄ変換し、デジタルデータとしてＩＳＰ４に出力する。イメージセンサ３の出力は、その受光面におけるカラーフィルタ配列（本実施形態ではベイヤー配列）に従った出力である。ＩＳＰ４は、入力したデジタルデータに対し、色の調整、データフォーマット変換（ベイヤーデータからＹ，Ｃｂ，Ｃｒデータへの変換）を行う。

カメラモジュール１（ＩＳＰ４）からの出力信号（Ｙ，Ｃｒ，Ｃｂの各データ）は、ＤＭＡ７によってＤＲＡＭ等で構成されるワークメモリ８へ転送される。ワークメモリ８へ転送されたデータは、画像処理部９によってＲＧＢ形式の画像データに変換された後、表示制御部１２を介してＶＲＡＭ１１に転送される。

表示制御部１２は、ＶＲＡＭ１１に格納された画像データに基づく表示データ（ビデオ信号）を生成するデジタルビデオエンコーダを含み、上記表示データに基づく画像を表示する液晶モニタからなる表示部１３に出力し、ＶＲＡＭ１１に格納された画像データに基づく画像を表示部１３において表示させる。例えば撮影待機状態において所定のフレームレートでカメラモジュール１により逐次取り込まれた画像をスルー画像として表示させる。さらに、表示制御部１２は、前記画像データに撮影条件情報や、デジタルカメラの種々の動作設定に用いられるメニュー画面等の種々のＯＳＤ（On Screen Display）データを合成したり、メニュー画面のみからなる表示データを生成し、それらを表示部１３に表示させる。なお、表示部１３が本発明の表示手段である。

また、撮影時において前記ワークメモリ８に格納されたＹ，Ｃｒ，Ｃｂの各データは、画像処理部９によってＪＰＥＧ方式の画像データに圧縮符号化され、ＣＰＵ６によって画像ファイルとしてフラッシュメモリ１０に保存される。フラッシュメモリ１０に記録された画像データは、ＣＰＵ６により必要に応じて読み出された後、画像処理部９によって伸張され、ワークメモリ８内に展開された後、表示部１３において再生表示される。

キー入力部１４は、図示しない電源ボタン、モード設定キー、シャッタキー、メニューキー、カーソルキー及びＳＥＴキーからなるコントロールキー等を含み各キーの操作状態を示す状態信号をＣＰＵ６へ出力する。上記モード設定キーは、デジタルカメラの基本の動作モードを記録モード、又は記録画像の表示用の再生モードに設定するためのキーである。上記コントロールキーは、デジタルカメラにおいて一般的な上下左右の方向指示操作や確定操作が可能な構造を有するキーであり、デジタルカメラにおける種々の動作内容を設定するためのメニュー画面や設定画面での項目選択や、選択した項目の設定値の選択、設定内容の決定等に使用される。また、シャッタキーは、半押し操作（ハーフシャッター）と全押し操作との２段階操作が可能な所謂ハーフシャッター機能を備えたものであり、記録モードでは半押し操作がＡＥ動作の開始トリガとなる。

ＵＳＢ制御部１５は、ＵＳＢケーブルを介してＵＳＢ接続端子部１６に接続されたパーソナルコンピュータ等とデジタルカメラの間における画像データの通信を制御する。

図２は、前記フラッシュメモリ１０のメモリ空間を示す概念図である。フラッシュメモリ１０には、図示したようにプログラムデータ格納領域１０ａ、設定データ格納領域１０ｂ、モデル画像データ格納領域１０ｃ、撮影画像データ格納領域１０ｄが確保されている。

プログラムデータ格納領域１０ａには、ＣＰＵ６の動作プログラム、及び前述したＯＳＤデータや、動作プログラムに付随する各種のデータ（ＡＥ制御用のプログラムＡＥデータ等）が記憶されている。設定データ格納領域１０ｂには、デジタルカメラの動作内容に関する各種の設定データであって、ユーザにより設定されたデータや自動的に設定されたデータといった適宜書き替えられるデータが記憶されている。撮影画像データ格納領域１０ｄには、画像処理部９により圧縮された画像データが格納された画像ファイルが記憶されている。

また、モデル画像データ格納領域１０ｃにはユーザによって予め登録された人物の顔画像データが記憶されており、本実施形態においては前記フラッシュメモリ１０が本発明の画像記憶手段として機能する。

そして、ＣＰＵ６は、前記キー入力部１４からの状態信号と、前記動作プログラムに従いデジタルカメラの各部の動作を制御する。例えば、シャッタキーを押したときの撮影動作、画像データの記録、記録した画像の再生・表示、メニューキーやカーソルキー、ＳＥＴキーの操作に応じた各種の機能設定画面の表示制御や、設定内容の変更等を行う。

また、ＣＰＵ６は、ユーザによって再生モードの下位モードである顔登録モードが設定されたときには、前記フラッシュメモリ１０（撮影画像データ格納領域１０ｄ）に記録されている記録画像（画像データ）から、ユーザに所望の画像であって人物を写した画像を選択させ、選択された画像から任意の人物の顔領域を二値化や輪郭抽出、パターンマッチング等の画像認識技術を用いて、例えば一定の配置関係にある目や鼻や口が存在する部分を認識する等の公知の顔検出技術を用いて検出するとともに、検出した顔領域を切り出し、その画像データ（以後、顔画像データ）を前記モデル画像データ格納領域１０ｃに記憶させる。さらに、顔登録モードでは、ユーザの要求に応じ、ＵＳＢケーブルを介してしてパーソナルコンピュータ等から送られた顔画像データも前記モデル画像データ格納領域１０ｃに記憶させる。

また、ＣＰＵ６は、記録モードの下位モードとして設けられている合成モードがユーザによって設定されたときには、後述する処理を実行するとともに本発明の顔検出手段、画像合成手段、表示制御手段、記録制御手段、選択制御手段、顔画像選択制御手段、合成比率制御手段、類似画像抽出手段として機能する。ここで、上記合成モードは、被写体となっている人物の顔を加工し、より具体的には被写体の顔に他の顔画像を所定の方法で合成して合成画像を生成し、それを撮影画像として記録する撮影モードである。

次に、以上の構成からなるデジタルカメラにおいて上記合成モードが設定されたときのＣＰＵ６の処理を図３のフローチャートに従い説明する。

合成モードが設定されるとＣＰＵ６は、記録モードにおける他の撮影モードの場合と同様、直ちにフラッシュメモリ１０のプログラムデータ格納領域１０ａに記憶されている撮像処理に係るプログラムを読み出し係るプログラムに従った動作を開始するとともに、前記液晶モニタ（表示部１３）におけるライブビュー表示、つまりイメージセンサ３により周期的に撮像した画像のスルー表示を開始する（ステップＳ１）。なお、これと同時にＡＥ処理やＡＷＢ処理等も開始する。

さらにライブビュー表示の開始直後には、モデル画像の選択方法をユーザに設定させる（ステップＳ２）。本実施形態では選択方法として「自動選択」と「手動選択」の２種類が設定可能であり、具体的には前記液晶モニタに選択方法の設定画面をスルー画像にＯＳＤ表示することにより、所定のキー操作によってユーザに選択方法を選択的に設定させる。

引き続き、ユーザにより設定されたモデル画像の選択方法を判別し、選択方法として手動選択が設定された場合には（ステップＳ３で「手動選択」）、前記液晶モニタにモデル画像を表示させる（ステップＳ４）。係る処理では、フラッシュメモリ１０のモデル画像データ格納領域１０ｃに記録されている顔画像データを読み出すとともに、図４に例示したように、読み出した顔画像データに基づく複数のモデル画像１０１ａ，１０１ｂ，１０１ｃ，・・・を選択候補として一覧表示したモデル画像の選択画面Ｇ１を前記液晶モニタに表示させて、所望するモデル画像（顔）をユーザに選択させる。

その後、いずれかのモデル画像の選択指示を検知するまで前記選択画像Ｇ１の表示を継続し（ステップＳ５でＹＥＳ）、やがて選択指示を検知したら（ステップＳ５でＹＥＳ）、それに応じ、選択されたモデル画像を合成に使用するモデル画像として設定する（ステップＳ６）。

引き続き、上記のようにモデル画像を設定をした後、また、ユーザにより選択されたモデル画像の選択方法が自動選択であった場合（ステップＳ３で「自動選択」）には直ちに、ユーザによるモデル画像の再設定指示の有無、及びシャッタキーの半押し操作の有無を逐次検知し（ステップＳ７，Ｓ８）、モデル画像の再設定指示を検知したときには（ステップＳ７でＹＥＳ）、前述したステップＳ２以降の処理を繰り返す。

一方、シャッタキーの半押し操作を検知したときには（ステップＳ８でＹＥＳ）、その時点のスルー画像、つまりＶＲＡＭ１１に格納された画像データから、被写体となっている任意の人物の顔部分の領域である顔領域を検出する（ステップＳ９）。係る処理では、既説した顔登録モードの場合と同様に、任意の人物の顔領域を公知の顔検出技術を用いて検出し、検出した顔領域の部分画像をワークメモリ８に記憶する。

次に、その時点で設定されているモデル画像の選択方法が手動選択であれば（ステップＳ１０で「手動選択」）、直ちに上記の部分画像に、前述したステップＳ６で設定したモデル画像であってユーザによって選択されているモデル画像を後述する異なる合成比率でそれぞれ合成した複数の合成画像（顔画像）を生成する（ステップＳ１２）。

また、その時点で設定されているモデル画像の選択方法が自動選択であれば（ステップＳ１０で「自動選択」）、フラッシュメモリ１０のモデル画像データ格納領域１０ｃに顔画像データとして記録されているモデル画像の中で、スルー画像から検出した人物の顔に最も類似するモデル画像を抽出する（ステップＳ１１）。係る処理においては、ステップＳ９で検出した顔領域の部分画像と各々のモデル画像との間で複数の特徴点（例えば顔の輪郭や、目の距離、目と鼻と口のと距離の比率）の類似度を演算するとともに、総合的に類似度が最も高いモデル画像を抽出する。しかる後、上記の部分画像に、抽出したモデル画像を後述する異なる合成比率でそれぞれ合成した複数の合成画像（顔画像）を生成する（ステップＳ１２）。

本実施形態において上述した合成比率は、互いに１０％ずつ異なる３種類でありステップＳ１２の処理では３種類の合成画像を生成する。なお、動作開始当初の合成比率は１０％、２０％、３０％の３種類である。また、被写体の顔領域の部分画像とモデル画像との合成は、公知のモーフィング技術に基づくものである。

図５は、被写体の顔領域の部分画像とモデル画像（顔画像）との合成方法の概略を示した図である。なお、以下の説明では上記部分画像を便宜的に元画像という。まず、元画像とモデル画像との合成に際しては、元画像ｆに顔の輪郭や目、鼻、口等の要部Ａの領域を特定するための特徴点（図で黒丸）を設定し、係る特徴点に基づいてメッシュＭｓを生成し、同様に合成対象となるモデル画像ｇに、各々が元画像ｆの各特徴点と対応するとともに顔の輪郭や目、鼻、口等の要部Ｂを特定する特徴点（図で黒丸）を設定し、係る特徴点に基づいてメッシュＭｔを生成する。

次に、メッシュＭｓとメッシュＭｔとの間に、線形補間（linearly interpolate）により中間メッシュＭｉを生成する。次に、メッシュＭｓと中間メッシュＭｉとを用いて、元画像ｆ内の各メッシュの画像Ｌｓの各点をワープ（変形変換）して第１のメッシュ画像（ｉｍａｇｅ１）を生成するとともに、メッシュＭｔと中間メッシュＭｉとを用いて、モデル画像ｇ内の各メッシュの画像Ｌｇの各点をワープ（変形変換）して第２の画像（ｉｍａｇｅ２）を生成する。しかる後、第１のメッシュ画像（ｉｍａｇｅ１）と第２の画像（ｉｍａｇｅ２）との画素値（輝度、色差）をクロス・ディゾルブ混合（cross-dissolve）するか、または、まばらな中間点の画素を線形補間（linearly interpolate）して合成画像（ｉｍａｇｅ３）を生成する。

前述したステップＳ１２では、上述した中間メッシュＭｉの生成に際し、その配置を前述した合成比率に応じて決定する。例えば合成比率が１０％、すなわち「元画像：モデル画像」＝９：１であれば、メッシュＭｓとメッシュＭｔとの間を９：１に内分する中間メッシュＭｉを生成することにより、所定の合成比率を有する合成画像をそれぞれ生成する。

しかる後、ＣＰＵ６は、ステップＳ１２において上述したように３段階の合成比率の合成画像を生成した後には、生成した各々の合成画像をスルー画像に重ねて表示部１３に表示させる（ステップＳ１３）。図６は、その際における表示部１３における液晶モニタの表示画面Ｇ２の一例を便宜的に示した図である。なお、同図は、前述したように手動又は自動で選択されたモデル画像が図４で左上に例示したモデル画像１０１ａである場合の例である。

すなわち、図示したように本実施形態では、スルー画像２０１を表示している表示画面Ｇ２の下辺側に合成比率が異なる３種類の合成画像２０２ａ〜２０２ｃとモデル画像１０１とを横並びで表示させる。同時に合成画像２０２ａ〜２０２ｃの下には各々におけるモデル画像の合成比率（ｎ％）を表示させる。なお、モデル画像１０１の表示は省略しても構わない。

その後、ＣＰＵ６は、以上の表示画面Ｇ２の表示中にユーザによるスクロール指示（コントロールキーにより方向指示）の有無を検出し、それを検出する毎に（ステップＳ１４でＹＥＳ）、検出したスクロール方向に応じて増減する新たな合成比率の合成画像を生成するとともに、生成した合成画像が最大または最小の合成比率となる３種類の部分画像を表示部１３に表示させる（ステップＳ１５）。例えば直前に表示していた合成画像２０２ａ〜２０２ｃが図６に示したように合成比率が１０％、２０％、３０％の合成画像であるときに、合成比率を増加する方向へのスクロール指示があった場合には、合成比率が２０％、３０％、４０％の合成画像を表示させる。なお、その際には合成比率（ｎ％）も変化させる。

また、前記表示画面Ｇ２を表示した後、又は、ステップＳ１５によって表示画面Ｇ２における合成画像をスクロールさせた後においては、ユーザによる記録候補の選択操作に応じて記録候補の合成画像を設定する（ステップＳ１６）。すなわち所定のキー操作に応じて選択状態を示すマークや選択枠を１又は複数の合成画像に重ねて表示する。

引き続き、記録候補の合成画像を設定した後には、シャッタキーの全押しの有無を確認し、シャッタキーの全押しが検知できなければ（ステップＳ１７でＮＯ）、ステップＳ１４に戻り、ユーザのキー操作に応じた合成画像のスクロール表示（ステップ１５）や、記録候補の設定（ステップＳ１６）を繰り返し行う。

その後、ＣＰＵ６はシャッタキーの全押しを検知したら（ステップＳ１７でＹＥＳ）、その時点で設定している（ユーザにより選択されている）１又は複数の合成画像を元画像と共に後述する拡張形式の画像ファイルとしてフラッシュメモリ１０の撮影画像データ格納領域１０ｄに一括して記録し（ステップＳ１８）、撮影処理を完了する。

図７は、係る処理においてＣＰＵ６により生成される拡張形式の画像ファイルの概略構造を示した図である。拡張形式の画像ファイルは、複数の画像データを主画像データ、及び単一又は複数の副画像データとして個別に再生可能に一括して格納する構造であって、基本的にはＥｘｉｆ（Exchangeable Image File Format）フォーマットに準拠するファイル形式になっているが、主画像ヘッダに上記副画像データの管理情報が含まれる点で異なっている。

すなわち、図７（ａ）に示したように拡張形式の画像ファイル５００は、ＳＯＩマーカから始まる主画像データ領域に続いて、主画像データ領域と同様にＳＯＩマーカから始まる複数の副画像データ領域（図で副画像（１），（２），（３），・・・）が連結された構成である。各々の副画像データ領域の構成は主画像データ領域と同様であり、図７（ｂ）、（ｃ）に示したように、主画像ヘッダに対応する各々の副画像ヘッダの構成もＪＰＥＧ圧縮データの基本構造に則ったものである。

また、図７（ｄ）に示したように主画像ヘッダを構成する主画像情報（０ｔｈ ＩＦＤ）には、圧縮されている主画像に関する付属情報である「Ｅｘｉｆ ＩＦＤ」、「Ｖａｌｕｅ ｏｆ Ｅｘｉｆ ＩＦＤ」に加え、圧縮されている各々の副画像に関する付属情報「ＩＦＤ」、「Ｖａｌｕｅ ｏｆ ＩＦＤ」が、副画像データの管理情報として副画像の数分だけ格納されるとともに、主画像の「Ｅｘｉｆ ＩＦＤ」に副画像の管理情報として副画像領域有無情報等が格納される。

そして、ステップＳ１８においてＣＰＵ６は、スルー画像として表示していた元画像の圧縮後の画像データを主画像データとし、かつユーザにより選択されてた１又は複数の合成画像の圧縮後の画像データを副画像データとして格納した拡張形式の画像ファイルを生成し、それをフラッシュメモリ１０に記録する。

なお、図３では省略したが、シャッタキーの半押しされてからシャッタキーが全押しされるまでの間に、いずれかの時点でシャッタキーの半押し状態が解除されたときには、その時手点で直ちにステップＳ２へ戻る。

以上のように本実施形態のデジタルカメラにおいては、前述した合成モードを用いて人物撮影を行えば、撮影時に被写体となっている人物の顔に他の人物の顔（モデル画像）を合成した画像（合成画像）を撮影画像として記録することができる。そして、その際には、ユーザはシャッタキーを全押しする以前の撮影待機状態の段階で、撮影画像として記録可能な複数の合成画像であって、モデル画像の合成比率が異なる複数の合成画像をスルー画面上で事前に確認でき、しかも所望する合成画像のみを記録することができる。

したがって、合成モードでの撮影時に施す画像処理の内容が被写体となっている人物の顔に他の人物の顔を合成するものであって、撮影時点において実際に記録される画像を正確に思い描くことができないものであっても、ユーザは所望する画像を確実に取得することができる。

また、本実施形態では、前述した複数の合成画像におけるモデル画像の合成比率を必要に応じて変化させることができるため、ユーザは所望する画像をより一層確実に取得することができる。

また、モデル画像の選択方法として自動選択を設定すれば、フラッシュメモリ１０に記憶されているモデル画像の中から、被写体となっている人物の顔と最も類似する顔のモデル画像が自動的に抽出され、それを用いた合成処理が行われるため、合成画像として、違和感のない自然な顔の画像を容易に得ることができる。

なお、本実施形態においては、モデル画像の選択方法として自動選択と手動選択との２種類の方法が設けられ、モデル画像の選択方法をユーザが適宜設定可能なものについて説明したが、モデル画像の選択方法は上記２種類の方法のいずれか一方のみであっても構わない。

また、ユーザに選択された１又は複数の合成画像を、スルー画像として表示していた被写体画像（元画像）と共に１つの画像ファイルに一括して記録するものについて説明したが、スルー画像として表示していた被写体画像を記録することなく、ユーザに選択された合成画像が複数のときには、それらのみを１つの画像ファイルに一括して記録し、かつユーザに選択された合成画像が１つのときには、それを通常の画像ファイルとして記録するようにしてもよい。さらに、ユーザに選択された合成画像が複数のときであっても、それらを通常の画像ファイルとして記録するようにしてもよい。

また、本実施形態においては、シャッタキーが半押しされた時点の撮影画像を対象としてもモデル画像の合成比率が異なる３種類の合成画像を生成し、それらの合成画像を記録候補としたが以下のようにしてもよい。例えば上記３種類の合成画像をシャッタキーの半押し操作に関係なく、撮影待機状態で所定のフレームで新たな画像が撮像される毎に生成するものとし、スルー画面上に表示する合成画像を逐次更新するとともに、その間にはスクロール指示に応じた合成比率の変更、及び合成画像を更新のみを行う。そして、シャッタキーが全押しされた時点で表示中の合成画像を記録候補として確定し、それらの中から所望とする合成画像を選択させた後、選択された１又は複数の合成画像を記録するようにしてもよい。

また、合成モードでの撮影時に最終的に記録する合成画像は、被写体の顔部分のみの合成画像なくともよく、顔部分に前述した合成処理を施した状態の顔部分以外を含めた全体画像であっても構わない。

また、本発明をデジタルカメラに用いた場合について説明したが、本発明は静止画撮影時に被写体となっている人物の顔に他の人物の画像を合成する機能を備えたものであれば、例えば静止画撮影機能を有するデジタルビデオカメラや、カメラ付き携帯電話端末等の他のカメラ装置にも適用することができる。

本発明に係るデジタルカメラのブロック図である。 フラッシュメモリのメモリ空間を示す概念図である。 合成モードによる撮影時におけるＣＰＵの処理内容を示したフローチャートである。 モデル画像の選択画面の一例を示した図である。 元画像とモデル画像との基本的な合成方法を示す模式説明図である。 表示部における顔部分の合成画像の表示方法の一例を示した図である。 合成モードによる撮影時に記される拡張形式の画像ファイルにおけるファイル構成を示す図である。

符号の説明

１ カメラモジュール
３ イメージセンサ
６ ＣＰＵ
７ ＤＭＡ
８ ワークメモリ
９ 画像処理部
１０ フラッシュメモリ
１０ａ プログラムデータ格納領域
１０ｂ 設定データ格納領域
１０ｃ モデル画像データ格納領域
１０ｄ 撮影画像データ格納領域
１１ ＶＲＡＭ
１２ 表示制御部
１３ 表示部
１４ キー入力部

Claims (9)

1. 被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置において、
   前記撮像手段により撮像された被写体像から人物の顔領域を検出する顔検出手段と、
   合成用の顔画像が記憶された画像記憶手段と、
   前記顔検出手段により検出された人物の顔領域に、前記画像記憶手段に記憶されている合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する画像合成手段と、
   この画像合成手段により生成された複数の合成画像とその合成画像を生成した合成用の顔画像とを前記スルー画像と共に各々の画像を識別可能に、前記表示手段に表示させる表示制御手段と、
   この表示制御手段によって前記表示手段に表示された複数の合成画像のうちから所望する合成画像を使用者に選択させる選択制御手段と、
   使用者の撮影要求に応答し、前記選択制御手段が使用者に選択させた合成画像を前記記録媒体に記録させる記録制御手段と
   を備えたことを特徴とするカメラ装置。
2. 前記表示制御手段は、
   前記複数の合成画像を、前記合成用顔画像の合成比率の大小関係を識別可能に前記表示手段に表示させることを特徴とする請求項１記載のカメラ装置。
3. 前記表示制御手段は、
   前記表示手段に、前記スルー画像を前記複数の合成画像及び合成用顔画像よりも大きく表示させると共に、前記複数の合成画像各々にその合成比率を付して表示させることを特徴とする請求項１又は２記載のカメラ装置。
4. 前記画像合成手段が前記複数の合成画像を生成する際の複数の合成比率を使用者の要求に応じて変化させる合成比率制御手段を備えたことを特徴とする請求項１乃至３いずれか記載のカメラ装置。
5. 前記画像記憶手段には合成用の顔画像が複数記憶される一方、
   前記画像記憶手段に記憶されている複数の顔画像の中から、前記顔検出手段により検出された人物の顔領域の画像と類似する顔画像を抽出する類似画像抽出手段を備え、
   前記画像合成手段は、前記顔検出手段により検出された人物の顔領域に、前記類似画像抽出手段により抽出された顔画像を複数の合成比率で合成して複数の合成画像を生成する
   ことを特徴とする請求項１乃至４いずれか記載のカメラ装置。
6. 前記画像記憶手段には合成用の顔画像が複数記憶される一方、
   前記画像記憶手段に記憶されている複数の顔画像のうちから所望する顔画像を使用者に選択させる顔画像選択制御手段を備え、
   前記画像合成手段は、前記顔検出手段により検出された人物の顔領域に、前記顔画像選択制御手段が使用者に選択させた顔画像を複数の合成比率で合成して複数の合成画像を生成する
   ことを特徴とする請求項１乃至４いずれか記載のカメラ装置。
7. 前記記録制御手段は、前記画像合成手段により生成された複数の合成画像を単一の画像ファイルに格納して前記記録媒体に記録させる
   ことを特徴とする請求項１乃至６いずれか記載のカメラ装置。
8. 被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置において、
   前記撮像手段により撮像された被写体像から人物の顔領域を検出する工程と、
   検出した人物の顔領域に、合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する工程と、
   生成した複数の合成画像とその合成画像を生成した合成用の顔画像とを前記スルー画像とともに各々の画像を識別可能に表示させる工程と、
   使用者の撮影要求に応答し、生成した合成画像を記録する工程と
   を含むことを特徴とする撮影方法。
9. 被写体を撮像する撮像手段と、この撮像手段により撮像された被写体像をスルー画像として表示する表示手段とを備えたカメラ装置が有するコンピュータに、
   前記撮像手段により撮像された被写体像から人物の顔領域を検出する処理と、
   検出した人物の顔領域に、合成用の顔画像を複数の合成比率で合成して複数の合成画像を生成する処理と、
   生成した複数の合成画像とその合成画像を生成した合成用の顔画像とを前記スルー画像とともに各々の画像を識別可能に表示させる処理と、
   使用者の撮影要求に応答し、生成した合成画像を記録する処理と
   を実行させることを特徴とする撮影制御プログラム。

Images