JP2009218704A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】光学的にぼかした場合と等価な高画質なぼけを得ることができる画像処理装置及び画像処理方法を提供すること。
【解決手段】入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記ぼかし処理手段は、各画素における前記背景画像データの値が高い場合には、当該画素における背景画像データを増幅する変換手段と、該変換手段の逆変換を行う逆変換手段と、を有することを特徴とする。
【選択図】図５

Description

本発明は、画像処理装置及び画像処理方法に関し、特に高画質なぼけを得ることができる画像処理装置に関するものである。
また、本発明はデジタルカメラ、及びデジタルカメラの制御方法に応用可能である。

コンパクトデジタルカメラで用いられる撮像素子は、一眼レフカメラで用いられる撮像素子や銀塩フィルムよりも小さく、そのため同じ画角の画像を撮影するために必要な撮影光学系の焦点距離は短い。
焦点距離が短いと、撮影光学系のＦ数を同じにしても、被写界深度が深くなる。
焦点距離が短くなることに比例させてＦ数を小さくすることができれば被写界深度を浅くすることができるが、撮影光学系を大口径化する必要があり、サイズおよびコストが増大する。

このため、コンパクトデジタルカメラで撮影すると、相対的に広い距離範囲に対して焦点が合うことになる。
これは、同じ明るさの画像を撮影したときにぼけの少ない画像が得られるという点では長所となるが、ポートレートのように背景のぼけ具合が重要な画像を撮影するときは、背景までも鮮明になってしまって逆に短所になるという問題がある。

かかる問題を解決すべく、画像処理により背景をぼかすカメラが提案されている（特許文献１〜４）。
上記特許文献１〜４に記載のカメラでは、距離や画角内の位置に応じてフィルタの特性を変え、遠近感のあるぼけを再現している。

しかしながら、上記のようなフィルタによる画像処理だけでぼかし処理を行った場合、光学的にぼかした場合とは異なり、高輝度部分のぼけ方がコントラストの低いぼけ方になってしまう。

この様子を、図１を用いて説明する。
図１は輝度の高い点像にぼかし処理を加える従来の画像処理の例、及び本発明における画像処理の例を示す図である。
５０１に示す様な、輝度の高い点像を撮影した場合、ＣＣＤには５０２に示す様な波形で光学像が形成される。なお、５０２は点像を横切る１ライン分の光の強度を示した波形である。

実際に光学的にぼかした場合には、高い輝度レベルが分散して、ＣＣＤにあたる光は５０３に示す様な強度に変化し、同様に撮影した画像データも５０４に示す様な波形を示し、この結果、５０５の様なぼけ画像を形成する。
一方で、ピントが合っている状態で撮影した場合には、撮影した画像データは最大の輝度レベル（２５５）でクリッピングされ、５０６に示す様な波形を示す。
５０６に示す様な波形にそのままぼかし処理を行うと、最大輝度のレベルが分散して５０７に示す様な輝度レベルが下がった波形になり、５０８の様なコントラストの低いぼけ画像になってしまう。

特開平１１−２６６３８８号公報 特開２００３−３７７６７号公報 特開２００３−１０１８５８号公報 特開平９−３１８８７０号公報

本発明は、上記の様な状況を鑑みてなされたもので、光学的にぼかした場合と等価な高画質なぼけを得ることができる画像処理装置及び画像処理方法を提供することを目的としている。

上記課題を解決するために本発明に係る画像処理装置及び画像処理方法は、具体的には下記（１）〜（１７）に記載の技術的特徴を有する。

（１）：入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記ぼかし処理手段は、各画素における前記背景画像データの値が高い場合には、当該画素における背景画像データを増幅する変換手段と、該変換手段の逆変換を行う逆変換手段と、を有することを特徴とする画像処理装置である。

（１）の構成によれば、ぼかし処理の過程において、画像データの各画素の色レベル値に基づいて、レベル値の高い画像データを増幅する様に構成されているので、光学的にぼかした場合と等価な高画質なぼけを得ることができるという効果がある。

（２）：入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記ぼかし処理手段は、各画素における輝度値が高い場合には、当該画素における背景画像データを増幅する変換手段と、該変換手段の逆変換を行う逆変換手段と、を有することを特徴とする画像処理装置である。

（２）の構成によればぼかし処理の過程において、画像データの各画素の輝度レベル値に基づいて、レベル値の高い画像データを増幅する様に構成されているので、光学的にぼかした場合と等価な高画質なぼけを得ることができるという効果がある。

（３）：上記（１）または（２）に記載の画像処理装置において、前記変換手段による変換後に、フィルタ処理を行い、該フィルタ処理を行った後に、前記逆変換手段による逆変換を行うことを特徴とする画像処理装置である。

（３）の構成によれば、画像データの各画素の値を増幅した後にフィルタ処理を行い、フィルタ処理を行った後に逆変換を行う様に構成されているので、光学的にぼかした場合と等価な高画質なぼけを得ることができるという効果がある。

（４）：上記（１）乃至（３）のいずれか１項に記載の画像処理装置において、前記変換手段は更に、１画素あたりの画像データ量を拡大させる変換を行う画像データ量拡大機能を有することを特徴とする画像処理装置である。

（４）の構成によれば、変換により更に、１画素あたりの画像データ量を増大拡大させる様に構成されているので変換に伴うデータ精度の劣化を防止することができ、ひいては、高品位なぼかし処理を行うことができるという効果がある。

（５）：上記（１）乃至（３）のいずれか１項に記載の画像処理装置において、前記変換手段の増幅度を設定する設定手段を備えることを特徴とする画像処理装置である。

（５）の構成によれば、変換による増幅度を設定できる様に構成されているので、ぼけの画質を最適に制御することができるという効果がある。

（６）：上記（５）に記載の画像処理装置において、前記設定手段は撮影モードに基づいて増幅度を設定することを特徴とする画像処理装置である。

（６）の構成によれば、変換による増幅度を、撮影モードに基づいて設定する様に構成されているので、撮影モードに応じた最適な画質のぼけを得ることができるという効果がある。

（７）：上記（５）に記載の画像処理装置において、前記設定手段は、背景画像データの特性に基づいて増幅度を設定することを特徴とする画像処理装置である。

（７）の構成によれば、変換による増幅度を、画像データ全体の特性に基づいて設定する様に構成されているので、画像に応じた最適な画質のぼけを得ることができる
という効果がある。

（８）：上記（７）に記載の画像処理装置において、前記設定手段は、背景画像データの特性のうち、輝度値の平均レベルと、輝度値の最大レベルとに基づいて増幅度を設定することを特徴とする画像処理装置である。

（８）の構成によれば、変換による増幅度を、画像データの特性のうち、輝度値の平均レベルと、輝度値の最大レベルに基づいて設定する様に構成されているので、画像の撮影シーンに応じた最適な画質のぼけを得ることができるという効果がある。

（９）：入力された背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、前記ぼかし処理工程は、各画素における前記背景画像データの値が高い場合には、当該画素における背景画像データを増幅する変換ステップと、該変換手段の逆変換を行う逆変換ステップと、を有することを特徴とする画像処理方法である。

（９）の構成によれば、ぼかし処理の過程において、画像データの各画素の色レベル値に基づいて、レベル値の高い画像データを増幅する様に構成されているので、光学的にぼかした場合と等価な高画質なぼけを得ることができるという効果がある。

（１０）：入力された背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、前記ぼかし処理工程は、各画素における輝度値が高い場合には、当該画素における背景画像データを増幅する変換ステップと、該変換手段の逆変換を行う逆変換ステップと、を有することを特徴とする画像処理方法である。

（１０）の構成によればぼかし処理の過程において、画像データの各画素の輝度レベル値に基づいて、レベル値の高い画像データを増幅する様に構成されているので、光学的にぼかした場合と等価な高画質なぼけを得ることができるという効果がある。

（１１）：上記（９）または（１０）に記載の画像処理方法において、前記変換ステップ後に、フィルタ処理を行い、該フィルタ処理を行った後に、前記逆変換ステップを行うことを特徴とする画像処理方法である。

（１１）の構成によれば、画像データの各画素の値を増幅した後にフィルタ処理を行い、フィルタ処理を行った後に逆変換を行う様に構成されているので、光学的にぼかした場合と等価な高画質なぼけを得ることができるという効果がある。

（１２）：上記（９）乃至（１１）のいずれか１項に記載の画像処理方法において、前記変換ステップは更に、１画素あたりの画像データ量を拡大させる変換を行う画像データ量拡大機能を有することを特徴とする画像処理方法である。

（１２）の構成によれば、変換により更に、１画素あたりの画像データ量を増大拡大させる様に構成されているので変換に伴うデータ精度の劣化を防止することができ、ひいては、高品位なぼかし処理を行うことができるという効果がある。

（１３）：上記（９）乃至（１１）のいずれか１項に記載の画像処理方法において、前記変換ステップの増幅度は設定により可変であることを特徴とする画像処理方法である。

（１３）の構成によれば、変換による増幅度を設定できる様に構成されているので、ぼけの画質を最適に制御することができるという効果がある。

（１４）：上記（１３）に記載の画像処理方法において、前記設定は撮影モードに基づくことを特徴とする画像処理方法である。

（１４）の構成によれば、変換による増幅度を、撮影モードに基づいて設定する様に構成されているので、撮影モードに応じた最適な画質のぼけを得ることができるという効果がある。

（１５）：上記（１３）に記載の画像処理方法において、前記設定は、背景画像データの特性に基づくことを特徴とする画像処理方法である。

（１５）の構成によれば、変換による増幅度を、画像データ全体の特性に基づいて設定する様に構成されているので、画像に応じた最適な画質のぼけを得ることができる
という効果がある。

（１６）：上記（１５）に記載画像処理装置において、前記設定は、背景画像データの特性のうち、輝度値の平均レベルと、輝度値の最大レベルとに基づくことを特徴とする画像処理方法である。

（１６）の構成によれば、変換による増幅度を、画像データの特性のうち、輝度値の平均レベルと、輝度値の最大レベルに基づいて設定する様に構成されているので、画像の撮影シーンに応じた最適な画質のぼけを得ることができるという効果がある。

（１７）：デジタルカメラであることを特徴とする上記（１）乃至（８）のいずれか１項に記載の画像処理装置である。

（１７）の構成によれば、上記（１）乃至（８）のいずれか１項に記載の構成をデジタルスチルカメラに適用する様に構成されているので、撮影した画像に直ぐに高品位なぼかし処理を行うことができ、その他の装置に比して大きな効果を奏するという効果がある。

本発明によれば、光学的にぼかした場合と等価な高画質なぼけを得ることができる画像処理装置及び画像処理方法を提供することができる。

本発明の画像処理装置は、入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記ぼかし処理手段は、各画素における前記背景画像データの値が高い場合には、当該画素における背景画像データを増幅する変換手段と、該変換手段の逆変換を行う逆変換手段と、を有することを特徴とする。
また本発明の画像処理装置は、入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記ぼかし処理手段は、各画素における輝度値が高い場合には、当該画素における背景画像データを増幅する変換手段と、該変換手段の逆変換を行う逆変換手段と、を有することを特徴とする。

即ち本発明は、図１において、５０６の波形を一旦５０９の波形に変換してからぼかし処理を行うことで５１０の様な波形を得て、逆変換後の波形５１１の様な光学的にぼかした場合の画像データ５０４に近い波形を得る様にしている。

次に、図面を用いて本発明の画像処理装置の基本的な構成について詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に限定する旨の記載がない限り、これらの態様に限られるものではない。

図２は本発明に係る画像処理装置の一実施の形態であるデジタルスチルカメラ及びその接続機器の構成を示す概略ブロック図である。
図２において、０１は、デジタルスチルカメラ装置、０２は、デジタルスチルカメラ装置０１全体の制御を行うために設けられた、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマー等からなる、システム制御部、０３は、撮像のために設けられた、光学系部品（レンズ及びレンズ駆動モータ）、ＣＣＤ、ＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる、撮像部、０４は、撮像部で得られた画像信号に種々の画像処理を施すと共に、撮像部０３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた、画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等からなる、画像処理部、０５は、画像処理部で処理された画像信号をＬＣＤへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤへ表示するために設けられた、Ｄ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる、表示制御部、０６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたＬＣＤ、０７は、記録メディアとのインターフェイスのために設けられた、メモリカードコントローラ等からなる、記録メディアインターフェイス部、０８は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられた、フラッシュメモリ等からなる、デジタルスチルカメラ装置０１から着脱可能な、記録メディア、０９は、図示されていないキー、ダイヤル等のユーザーインターフェイスの状態検出を行い、またメインＣＰＵへの主電源制御を行うために設けられた、サブＣＰＵ等からなる、ハードキーインターフェイス部、１０は、ＵＳＢを接続してデータ通信を行うために設けられた、通信コントローラからなる、通信インターフェイス部、１１は、デジタルスチルカメラ装置０１をＵＳＢで接続し、デジタルスチルカメラ装置０１からの画像を転送して再生したり、デジタルスチルカメラ装置０１へ各種設定を行うためのＰＣを示している。

まず、起動動作について説明する。
利用者が図示されていない電源ボタンを押下すると、ハードキーインターフェイス部０９はメインＣＰＵへの電源供給をオンする。
システム制御部０２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データをＳＤＲＡＭへ転送する。
ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。

起動処理には、ＯＳ（オペレーティングシステム）の初期化や鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。
鏡胴の繰り出し処理は、画像処理部０４を介して撮像部０３のレンズ駆動モータに所定の間隔（２ｍＳ）毎にパルス信号を与える事で行う。
また、記録メディアの初期化処理は、記録メディアインターフェイス部０７を介して記録メディア０８への電源とクロックを供給した後、記録メディア０８へ初期化コマンドを発行する。実際の初期化処理は記録メディア０８内で行われ、システム制御部０２はその完了を検知するために記録メディア０８のステータスを１０ｍＳ間隔でポーリングする。

続いて撮影時の動作について説明する。
利用者は撮影に先立ち、図示されていない種々のキー、ダイヤルを操作し、撮影モード（高画質モード、低画質モード等）を決定する。

利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて表示制御部０５へガイダンスグラフィックを生成して、利用者に次操作を促す。
システム制御部０２は、撮影モードが決定されると、モードに応じた処理パラメタを画像処理部０４へ設定する。
あるいはまた、利用者は図示されていないズームレバーを操作し、画角（構図）を決定する。

利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて撮像部０３を制御しレンズを駆動する。
撮像部０３は画像処理部０４からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始する。
撮像されたデータは連続的に画像処理部０４へ送られ、画像処理部０４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部０５へ送る。
表示制御部０５では、画像データを信号処理してＬＣＤ０６へ表示し、利用者へ撮像状態を提示する。

図示されていないレリーズボタンが押されると、その操作はモード設定と同様にしてハードキーインターフェイス部０９を通じてシステム制御部０２で判別される。
撮像部０３は画像処理部０４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部０４へ送り、画像処理部０４は、撮影モードに応じた画像処理、圧縮処理を行う。
システム制御部０２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディアへ０８書き込む。
以上で一連の撮影動作を完了する。

〔第１の実施の形態（背景ぼかし）〕
次に、本発明に係る画像処理装置における特徴である、撮影モードに応じた背景部分のぼかし（背景ぼかし）の方法の第１の実施の形態について説明する。
図３（Ａ）は本発明に係るデジタルカメラにおける背景ぼかしの動作フローの第１の実施の形態を示すフロー図である。
動作フローを図３（Ａ）に示す。本フローはモニタリング中の動作に関わる動作を示している。
モニタリング動作を開始すると、システム制御部０２は、後述するぼかし量パラメタを初期値（＝５）に設定する（ｓｔｅｐ０１−００１）。
システム制御部０２は画像処理部０４及び撮像部０３を制御し、ＣＣＤＡＦのスキャン動作を行う（ｓｔｅｐ０１−００２）。
続いてシステム制御部０２は、各画像の位置毎の距離の判定を行う（ｓｔｅｐ０１−００３）。

以下、図４を参照しながら説明する。
図４は、本発明に係る画像処理装置における撮像フローを示す模式図である。
図４（Ａ）において、１００はモニタリング画像の画角、１０１は１つのＡＦ評価値エリアを示している。
図の様に、ＡＦ評価値エリアは、画角内を均等に分割した小領域となっており、ＣＣＤＡＦにより各領域毎のＡＦ評価値（領域内の画像のコントラストの積算値）が得られる。
システム制御部０２は、各領域毎に、ＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの駆動位置を判定する。
さらにシステム制御部０２は、各領域毎に、現在のズーム位置からレンズの駆動位置を距離情報に変換する。

ここで、コントラスト方式（山登り方式とも称されることがある）のＣＣＤＡＦについて説明する。コントラスト方式のＣＣＤＡＦとは、まず、フォーカスレンズの位置を微少ステップで変化させながら撮像を行い、各撮像データの高周波部分を抽出する。次に、抽出された高周波成分に基づいて、各ステップ毎のＡＦ評価値を算出し、ＡＦ評価値の変化に基づいて、被写体に合焦するフォーカスレンズの位置を決定する方式である。

ここで、ＡＦ評価値はエリア内の各画素に対し、水平方向のＨＰＦの演算を行い、得られた結果を加算して得られるものである。
ＨＰＦの係数は、例えば、ｋｉ＝｛−１，−２， ６，−２，−１｝といった値が用いられる。
ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ２は注目画素に乗算される係数、ｋ３は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ４は注目画素の水平方向＋２の座標の画素に乗算される係数である。

ＡＦ評価値から距離情報を取得するには、ガウスの結像方程式に基づき、下式で求められる。

１／ａ＋１／ｂ＝１／ｆ
ａ＝ｂ×ｆ／(ｂ−ｆ)
（但し、ａ：レンズから被写体までの距離、ｂ：レンズから撮像素子間の距離、ｆ：レンズの焦点距離である。）

ここで、レンズから被写体までの距離ａが求める距離情報である。また、レンズの焦点距離ｆは、撮影時のズーム位置により一意に求められ、レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの駆動位置から一意に求められる。
以上により、画角１００内の全領域のＡＦ評価値エリア１０１毎の距離情報を得ることができる。

また、図４（Ａ）において、１０２はＡＦでフォーカスを合わせるエリアに設定されたＡＦエリアを示している。
システム制御部０２は、画面中央部分のＡＦ評価値エリアのうち、最も近距離にあるエリアをＡＦエリアとして判定し（ｓｔｅｐ０１−００４）、さらにＡＦエリアと等距離にあるブロックを主要被写体ブロックとして判定する（ｓｔｅｐ０１−００５）。

図４（Ｂ）において、１０３は主要被写体ブロックを示している（主要被写体ブロック１０３はＡＦエリア１０２を含む）。
このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出して記憶する（ｓｔｅｐ０１−００６）。
また、システム制御部０２は、得られた主要被写体ブロック１０３の情報と、撮像した画像を元に主要被写体領域を判定する（ｓｔｅｐ０１−００７）。この処理は、従来の画像処理（輪郭抽出）により、主要被写体ブロック１０３を含む任意形状の領域の判定を行う。

図４（Ｃ）において、１０４は主要被写体領域を示している。
画像処理部０４は、主要被写体領域１０４の情報を基に、主要被写体画像の抽出処理、背景画像のぼかし処理、合成処理を順次行う（ｓｔｅｐ０１−００８〜０１０）。

図４（Ｄ）において、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。
主要被写体の抽出処理（ｓｔｅｐ０１−００８）では、主要被写体領域１０４に沿って画像を分離することで、主要被写体の抽出を行う。結果として、撮影画像１０５は主要被写体画像１０７と背景画像１０８に分離される。

背景画像ぼかし処理（ｓｔｅｐ０１−００９）では、背景画像１０８にぼかし量パラメタに基づくぼかし処理を行い、ぼかした背景画像１０９を生成する。ここで、背景画像ぼかし処理（ｓｔｅｐ０１−００９）の詳細について図３（Ｂ）のフローに基づいて説明する。

システム制御装置０２は、現在の撮影モードに基づき、背景画像データ１０８の各画素の輝度データを変換増幅するためのＬＵＴ（ルックアップテーブル）を決定する為の、データ変換のパラメタを決定する。本実施の形態においては、このデータ変換はＬＵＴ（ルックアップテーブル）を参照することにより行われるため、具体的には、どのＬＵＴを用いてデータ変換を行うかを選定する。

この決定選定は例えば、表１に示す様なテーブルを参照することで行い、撮影モードに応じてデータ変換に用いるＬＵＴの内容（変換Ａ〜Ｃ）を決定する（ｓｔｅｐ０２−００１）。
表１は、撮影モードに基づくＬＵＴ種別決定テーブルであって、撮影モードは現在の撮影モード（背景画像データの特性のうちの１である）、ＬＵＴはテーブルの内容データ変換に用いるＬＵＴ種別を示している。

テーブル各ＬＵＴの内容をグラフにしたものを、図５に示す。
図５において、横軸は背景画像データ１０８の輝度成分の値、縦軸はＬＵＴによる変換後の値を示している。
６０１は変換Ａの、６０２は変換Ｂの、６０３は変換Ｃの内容（ＬＵＴの種類、即ち、本発明における増幅度）を示している。

この決定により、例えば夜景モード（変換Ｃ；６０３）では通常撮影モード（変換Ａ；６０１）に比して、より高輝度部分を強調する変換を行う様に作用する。
変換Ｂの内容６０２は変換Ａの内容６０１に比べて、低輝度部分に比べて高輝度部分をより強く増幅する様に作用し、更に変換Ｃの内容６０３は変換Ｂの内容６０２に比べて、同様により強く増幅する様に作用する。そのため、夜景モードでは通常撮影モードに比べて、より高輝度部分を強調することになり、夜景特有のハイライト部分が大きく広がったぼけを実現することができる。
ポートレートモードは、通常撮影モードと夜景モードの中間に位置しており、ポートレート写真の背景によく見られる木漏れ日などを程良く強調することができる。

ここで、縦軸の値から明らかなように、背景画像データ１０８の輝度成分が０〜２５５の８ビットにデータで表されるのに対し、ＬＵＴ変換後のデータは０〜４０９５の１２ビットのデータが出力される。（画像データ量の拡大）
これにより、変換に伴う階調とびを防止することができ、高画質なぼけを実現することができる。
なお、図５に示した変換は、計算により求めても良い。

後述する平滑フィルタ処理は、１２ビットに拡大したデータに対して行い、平滑フィルタの処理後には、後述する逆変換により、再び８ビットのデータに戻す。
なお、背景画像データ１０８は、輝度と色差で表されるＹＵＶ形式のデータ形式であり、色差ＵＶに対してはこの変換は行わず、８ビットのままで平滑フィルタ処理を行い、逆変換も行わない。

システム制御部０２は、決定したＬＵＴを画像処理部０４に設定し、画像処理０４はＬＵＴによる変換を行う（ｓｐｔｅ０２−００２）。
続いてシステム制御部０２は、ぼかし量パラメタで指定されたサイズ（５の場合、５×５）の平滑フィルタを画像処理部０２へ設定し、画像処理部０４は平滑フィルタ処理を行う（ｓｔｅｐ０２−００３）。
平滑フィルタ処理では、下記式１の様に入力画像（In（ｘ，ｙ））に平滑フィルタ（ｋ（ｉｘ，ｉｙ））を演算し、出力画像（Ｏｕｔ（ｘ，ｙ））を得る。

本実施の形態では、ｋ（ｉｘ，ｉｙ）＝１、ｉｘ：０〜ｆｓ−１、ｉｙ：０〜ｆｓ−１とする。また上記式１において、座標の演算結果（ｘ＋ｉｘ―ｆｓ／２、及びｙ＋ｉｙ−ｆｓ／２）は、整数に切り捨て、かつ、入力画像内を指し示す様にクリップされる。
ぼかし量パラメタは、利用者の操作により変更されるパラメタで、ぼかし量の大小を制御する。このパラメタにより、上述した平滑フィルタのサイズが変更される。
上記式１において、ｆｓがぼかしパラメタに相当し、後述するｓｔｅｐ０１−０１５において、利用者の操作に応じて１ずつ値が変化する。

入力画像（Ｉｎ（ｘ，ｙ））におけるｘとｙは、注目画素の座標値（水平座標ｘ、垂直座標ｙ）を示す。
平滑フィルタ（ｋ（ｉｘ，ｉｙ））におけるｉｘとｉｙは、平滑フィルタ係数の位置（水平方向ｉｘ、垂直方向ｉｙ）を示す。

上記式１により、注目画素の値は、その周辺画素（１辺がサイズｆｓの正方形）の平均値に置き換わる。
ｆｓが大きくなると、平均化する領域のサイズが大きくなり、強いぼかしの効果が得られる。
ｆｓ＝１の場合は、注目画素のみの平均値となるため値は変化せず、ぼかしの効果は無い。
なお、この平滑フィルタの処理は、背景画像データ１０８の輝度成分ＹのＬＵＴ変換後のデータ、及び、色差の成分Ｕ，Ｖの各々に対しておこなう。

続いて、システム制御部０２は、ｓｔｅｐ０３−００１で決定したＬＵＴの逆変換を行うテーブルを画像処理部０４に設定し、画像処理０４はＬＵＴによる変換を行う（ｓｔｅｐ０２−００４）。
この逆変換により、一旦１２ビットに拡張されて輝度データは、元の８ビットのデータに戻る。

以下、図３（Ａ）のフローに戻り説明する。
合成処理（ｓｔｅｐ０１−０１０）では、ぼかした背景画像１０９に主要被写体画像１０７を重ね合わせて合成を行い、合成画像１１０を生成する。
生成した合成画像は、表示制御部０５を介してＬＣＤ０６へ表示される（ｓｔｅｐ０１−０１１）。
以上で１コマのモニタリング画像の処理が完了する。

このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出し（ｓｔｅｐ０１−０１２）、ｓｔｅｐ０１−００６で算出して記憶した値と比較し、所定量以上の差があった場合には、再度ＣＣＤＡＦのスキャン動作へ移行する（ｓｔｅｐ０１−０１３）。
また、ぼかし量の変更の操作が行われた場合には、操作に応じてぼかし量パラメタを変更し（ｓｔｅｐ０１−０１４、０１５）、以上の動作をモニタリング終了まで繰り返し実行する（ｓｔｅｐ０１−０１６）。尚、本実施の形態ではｓｔｅｐ０１−０１５において、利用者の操作に応じてぼかし量パラメタを１ずつ（最小単位ずつ）変化するようにした。
（１コマ毎のモニタリング画像の処理は、ｓｔｅｐ０１−００７から繰り返し行われる。）

なお、レリーズボタンが押された場合には、取り込んだ画像に対してｓｔｅｐ０１−００７〜０１０と同様のぼかし処理を行い、背景をぼかした画像を記録する。
その場合、ぼかし量パラメタは、（モニタリング時のぼかし量パラメタ）×（記録画像サイズ）／（モニタリング画像サイズ）を適用する。

〔第２の実施の形態（背景ぼかし）〕
次に、本発明に係るデジタルカメラにおける背景ぼかしの第２の実施の形態として、画像データの平均レベルと最大レベルに基づいて、背景部分のぼかし方を変える例について説明する。
第２の実施の形態では、図３（Ａ）におけるｓｔｅｐ０１−００９の背景画像のぼかし処理の内容が異なり、それ以外のフローは第１の実施の形態と同じである。

第２の実施の形態のぼかし処理の詳細について図３（Ｃ）のフローに基づいて説明する。
まず、システム制御部０２は、背景画像１０８の輝度の平均値、及び最大値を算出する（ｓｔｅｐ０３−００１）。
そして、算出した平均値、最大値に基づき、背景画像データ１０８の各画素の輝度データを変換増幅するためのＬＵＴ（ルックアップテーブル）を決定する、データ変換のパラメタを決定する。本実施例においては、このデータ変換は、ＬＵＴ（ルックアップテーブル）を参照することにより行われるため、具体的には、どのＬＵＴを用いてデータ変換を行うかを選定する。
この決定選定は例えば、表２に示す様なテーブルを参照することで行い、輝度の平均値と最大値からデータ変換に用いるＬＵＴの内容（変換Ａ〜Ｃ）を決定する（ｓｔｅｐ０３−００２）。
表２は、輝度の平均値・最大値に基づくＬＵＴ種別決定テーブルであって、平均値は算出した輝度の平均値、最大値は算出した輝度の最大値、ＬＵＴはテーブルの内容データ変換に用いるＬＵＴ種別を示している。尚、テーブル各ＬＵＴ種別の内容は第１の実施の形態と同じである。

この決定により、例えば全体として暗い背景に輝度の高い部分を含んでいる様な画像に対しては、より高輝度部分を強調する変換を行う様に作用する。
上述した様に、変換Ｂの内容６０２は変換Ａの内容６０１に比べて、低輝度部分に比べて高輝度部分をより強く増幅する様に作用し、更に変換Ｃの内容６０３は変換Ｂの内容６０２に比べて、同様により強く増幅する様に作用する。そのため、輝度の最大値が大きい場合、すなわち画像に高輝度部分が含まれている場合には、その部分が強調されハイライト部分が広がったぼけを実現することができる。更に、夜景の様な輝度の平均値が小さい場合には、変換Ｃが選定されより高輝度部分を増幅することになり、夜景特有のハイライト部分が大きく広がったぼけを実現することができる。
以降の処理は第１の実施の形態と同じである。

上述の第１及び第２の実施の形態においては、背景画像データの形式を、輝度と色差で表されるＹＵＶ形式とした例について示したが、本発明はＲＧＢ形式の様に各色の強度で色信号で表される画像データに対しても適用することができる。その場合は、ＬＵＴによる変換前述した輝度成分に対する処理と同じ処理を各色成分の各々に（ＲＧＢ形式の場合はＲ、Ｇ、Ｂ各々に）適用する行うことで同様の効果を得ることができる。
しかしながら、ＲＧＢ形式の場合には各色成分の各々に処理を行うのに対し、ＹＵＶ形式では輝度成分（Ｙ）に対してのみ処理を行えば良いため、第１及び第２の実施の形態の様にＹＵＶ形式で処理した方が、処理量が少なく高速に処理を行うことができる。

輝度の高い点像にぼかし処理を加える従来の画像処理の例、及び本発明における画像処理の例を示す図である。 本発明に係る画像処理装置の一実施の形態であるデジタルスチルカメラ及びその接続機器の構成を示す概略ブロック図である。 （Ａ）本発明に係るデジタルカメラにおける背景ぼかしの動作フローを示すフロー図である。（Ｂ）背景画像ぼかし処理の第１の実施の形態である。（Ｃ）背景画像ぼかし処理の第２の実施の形態である。 本発明に係る画像処理装置における撮像フローを示す模式図である。 ＬＵＴ種別毎の処理結果を示したグラフである。

符号の説明

１ デジタルスチルカメラ装置
２ システム制御部
３ 撮像部
４ 画像処理部
５ 表示制御部
６ ＬＣＤ
７ 記録メディアインターフェイス部
８ 記録メディア
９ ハードキーインターフェイス部
１０ 通信インターフェイス部
１１ ＰＣ

Claims (17)

1. 入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、
   前記ぼかし処理手段は、各画素における前記背景画像データの値が高い場合には、当該画素における背景画像データを増幅する変換手段と、
   該変換手段の逆変換を行う逆変換手段と、を有することを特徴とする画像処理装置。
2. 入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、
   前記ぼかし処理手段は、各画素における輝度値が高い場合には、当該画素における背景画像データを増幅する変換手段と、
   該変換手段の逆変換を行う逆変換手段と、を有することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記変換手段による変換後に、フィルタ処理を行い、
   該フィルタ処理を行った後に、前記逆変換手段による逆変換を行うことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置において、
   前記変換手段は更に、１画素あたりの画像データ量を拡大させる変換を行う画像データ量拡大機能を有することを特徴とする画像処理装置。
5. 請求項１乃至３のいずれか１項に記載の画像処理装置において、
   前記変換手段の増幅度を設定する設定手段を備えることを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記設定手段は撮影モードに基づいて増幅度を設定することを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記設定手段は、背景画像データの特性に基づいて増幅度を設定することを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記設定手段は、背景画像データの特性のうち、輝度値の平均レベルと、輝度値の最大レベルとに基づいて増幅度を設定することを特徴とする画像処理装置。
9. 入力された背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、
   前記ぼかし処理工程は、各画素における前記背景画像データの値が高い場合には、当該画素における背景画像データを増幅する変換ステップと、
   該変換手段の逆変換を行う逆変換ステップと、を有することを特徴とする画像処理方法。
10. 入力された背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、
    前記ぼかし処理工程は、各画素における輝度値が高い場合には、当該画素における背景画像データを増幅する変換ステップと、
    該変換手段の逆変換を行う逆変換ステップと、を有することを特徴とする画像処理方法。
11. 請求項９または１０に記載の画像処理方法において、
    前記変換ステップ後に、フィルタ処理を行い、
    該フィルタ処理を行った後に、前記逆変換ステップを行うことを特徴とする画像処理方法。
12. 請求項９乃至１１のいずれか１項に記載の画像処理方法において、
    前記変換ステップは更に、１画素あたりの画像データ量を拡大させる変換を行う画像データ量拡大機能を有することを特徴とする画像処理方法。
13. 請求項９乃至１１のいずれか１項に記載の画像処理方法において、
    前記変換ステップの増幅度は設定により可変であることを特徴とする画像処理方法。
14. 請求項１３に記載の画像処理方法において、
    前記設定は撮影モードに基づくことを特徴とする画像処理方法。
15. 請求項１３に記載の画像処理方法において、
    前記設定は、背景画像データの特性に基づくことを特徴とする画像処理方法。
16. 請求項１５に記載画像処理装置において、
    前記設定は、背景画像データの特性のうち、輝度値の平均レベルと、輝度値の最大レベルとに基づくことを特徴とする画像処理方法。
17. デジタルカメラであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。