JP4818393B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、複数の画像データを加算合成して１つの画像データを得る処理に関する。

複数の画像を加算合成して１枚の画像を生成する画像処理方法がある。例えば、特許文献１では、デジタルカメラにおいて、異なる露光量で同一被写体を複数回撮像し、これらを合成することでダイナミックレンジの広い合成画像を生成するが、この際に合成画像の階調数を適正に圧縮する階調変換の方法が開示されている。

また、異なる被写体を複数枚撮像し、これら複数の画像を加算合成することで、１枚の画像で複数の被写体を表現するという利用方法が提案されている。この場合、各画像を適正露出で撮像して加算する方法と、各画像を「１÷撮影枚数」の露出で撮像して加算する方法がある。背景が暗い時は各被写体の明るさを適正にするため前者の方法が有効であり、通常の撮影では合成後の露出を適正にするために後者の方法が有効である。

特開２００３−４６８５９号公報

異なる被写体の写った複数の画像データを合成する場合で、背景が暗くない通常の撮影で得られた画像データである場合、上記のような単純な加算合成をするのみでは、合成後の画像はコントラストが低下し、各被写体が透けたようになることが多い。

そこで、本発明の目的は、このような場合にも適切な明るさ、コントラストの合成画像が得られるように階調補正を行う画像処理方法及びそれを実行可能な画像処理装置を提供することである。

上記目的を達成するために、本発明は、請求項１に記載のとおり、複数の画像データを重ね合わせて１つの合成画像データを得る画像処理方法であって、前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出ステップと、前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出ステップと、前記特徴量算出ステップで得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得ステップと、を有し、前記目標値は、前記複数の画像データのうち最もコントラストの高い画像データの輝度分布の特徴量であることを特徴とする。
また、本発明は、請求項２に記載のとおり、複数の画像データを重ね合わせて１つの合成画像データを得る画像処理方法であって、前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出ステップと、前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出ステップと、前記特徴量算出ステップで得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得ステップと、を有し、前記目標値は、前記複数の画像データの輝度分布の特徴量の平均値であることを特徴とする。
また、本発明は、請求項４に記載のとおり、画像データを入力する画像入力手段と、前記画像入力手段から得られた複数の画像データを重ね合わせて１つの合成画像データを得る画像処理装置であって、前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出手段と、前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出手段と、前記特徴量算出手段で得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得手段と、を有し、前記目標値は、前記複数の画像データのうち最もコントラストの高い画像データの輝度分布の特徴量であることを特徴とする。
また、本発明は、請求項５に記載のとおり、画像データを入力する画像入力手段と、前記画像入力手段から得られた複数の画像データを重ね合わせて１つの合成画像データを得る画像処理装置であって、前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出手段と、前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出手段と、前記特徴量算出手段で得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得手段と、を有し、前記目標値は、前記複数の画像データの輝度分布の特徴量の平均値であることを特徴とする。

本発明によれば、複数の被写体画像を合成する場合に、適切な明るさ、コントラストの合成画像が得られる。

本発明の画像処理装置を実現可能なデジタルカメラのブロック図 特徴量検出処理の流れ図 検出された顔の顔輝度取得領域の概念図 階調補正量を算出する処理の流れ図 顔検出されなかった場合の階調補正量の概念図 顔検出された場合の階調補正量の概念図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の画像処理装置を実現可能なデジタルカメラのブロック図である。

図１において、不図示の撮影レンズを通過した被写体光学像は、撮像素子１０１（画像入力手段）上に結像し、その光量に応じた電荷に変換される。

光電変換素子により変換された電荷は、撮像素子１０１から電気信号としてＡ／Ｄ変換部１０２に出力され、Ａ／Ｄ変換処理によりデジタル信号（画像データ）に変換される。Ａ／Ｄ変換部１０２から出力されたデジタル信号は、ＣＰＵ１００で処理され、画像データ出力部１１１に送られ出力表示される。ＣＰＵ１００内の処理は不図示のメモリにプログラムとして記憶され、ＣＰＵ１００によって実行される。また、実行するプログラムは外部から記録媒体等に記録されたものであってもよい。ＣＰＵ１００内では以下の処理が行われる。

Ａ／Ｄ変換部１０２から出力されたデジタル信号は、ＷＢ検出部１０３及び特徴量検出部１０４（輝度分布検出手段、特徴量算出手段）、ＷＢ処理部１０５のそれぞれに送られる。ＷＢ検出部１０３ではＷＢ検出を行う。これは撮影した画像データから撮影画像に適したホワイトバランスのゲイン値を算出する。ホワイトバランスのゲイン値の算出には公知の方法で良い。ＷＢ処理部１０５ではＷＢ検出部１０３で得られたホワイトバランスのゲイン値を画像のＲＧＢの各画素値に積算する。ホワイトバランスのゲイン値が積算された画像データは一旦、画像メモリ１０６に記録される。

複数回の撮影ごとに画像データと画像の特徴量をそれぞれ画像メモリ１０６とメモリ１０７にそれぞれ記録する。所定数の画像データを取得すると、画像データ合成部１０８で、画像メモリ１０６に記録されている画像データの加算合成を行う。

さらに、補正量算出部１０９（補正量取得手段）で、メモリ１０７に記録されている各画像の特徴量、合成画像の特徴量のデータをもとに、階調補正量を算出する。この階調補正量の算出方法は後述する。現像処理部１１０では合成画像データに対して補正量算出部１０９から送られる階調補正量を用いて階調補正が行われ、補正後の合成画像データが画像データ出力部１１１に送られる。

本実施例ではメモリ１０７に記録されている各画像の特徴量、合成画像の特徴量のデータをもとに階調補正量を算出しているが、各画像の特徴量を使って、テーブルデータから階調補正量を求めその情報を取得するなどしてもよい。

図２は特徴量検出部１０４で各画像データに対して行う特徴量検出の処理を示した流れ図である。図２において、ステップ２０１では、ヒストグラム検出を行う。これは撮影した画像データ全体に対してＷＢ検出部１０３で算出したＷＢのゲインを適用し、輝度分布としてガンマ処理を行ったヒストグラムを検出する。ガンマ処理は公知のルックアップテーブルを用いる方法で良い。ここで、ヒストグラムを検出する範囲は画像データの端の方をカットしてあっても良い。ステップ２０２では、ヒストグラムの特徴量の検出を行う。本実施形態ではヒストグラムで暗部（シャドウ）側から累積度数が１％である画素が属する値（ＳＤ）、明部（ハイライト）側から累積度数が１％である画素が属する値（ＨＬ）を求める。

ステップ２０３では、顔検出前処理を行う。これは入力画像に対して縮小処理、ガンマ処理等を施して、画像に顔が含まれる顔を容易に検出しやすいようにする。ステップ２０４では、画像内の顔領域を検出する顔検出を行う。顔検出の方法に特に制限はなく、任意かつ公知の方法を適用することができる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。これらの手法を複数組み合わせ、顔検出の精度を向上させることもできる。ここでは、画像内の高周波成分を抽出し、そこから顔の大きさを求め、さらに眼の位置を予め用意されたテンプレートと比較することにより求める。ステップ２０５は、ステップ２０４の顔検出の結果、顔であることの信頼性が高い領域（顔領域）が検出されたかどうかを判定する。顔領域が一つ以上検出された場合、ステップ２０６に進む。そのような領域が一つも無かった場合、特徴量検出の処理を終了する。

ステップ２０６では、顔輝度取得領域の算出を行う。この領域は顔領域の一部に設定される。たとえば図３のように両眼の下、及びその中間の領域の３箇所などで、検出された顔の大きさによってその大きさが算出される。ここでは正方形の領域とする。図３の３０１は画像データの範囲、３０２は顔領域、３０３、３０４、３０５は顔輝度取得領域である。

ステップ２０７では、各顔輝度取得領域について、入力画像のＲ画素、Ｇ画素、Ｂ画素の各々の平均値を求め、式１により輝度値Ｙへの変換を行う。

Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ （式１）
この変換には、式２のような近似式を用いるものであっても良い。

ステップ２０８では、顔の輝度の代表値の算出を行う。これにはたとえば、各顔について３箇所の輝度値の最大値を求め、全ての顔の輝度値の平均値をとるようにする。

このようにして検出された画像の特徴量は一旦、図１のメモリ１０７に記録される。

次に、補正量算出部１０９における階調補正量の算出の流れを図４に示す流れ図を用いて説明する。ステップ４０１では蓄積された各画像の中で顔領域が検出された画像があるかどうかを判定し、顔領域が検出された画像があった場合にはステップ４０２に、なかった場合にはステップ４０３に進む。ステップ４０２では、合成画像の顔領域に対応する領域の明るさを検出する。これは該当領域の輝度値を検出することによって行う。輝度値の算出方法は前述した各撮像画像で行う輝度値の算出方法と同じでよい。

ステップ４０３では、合成画像のヒストグラムの特徴量の算出を行う。この算出方法は各撮像画像のヒストグラムの特徴量の算出方法と同じでよく、本実施形態では合成画像のＨＬ、ＳＤを算出する。。ステップ４０４ではＨＬの目標値の算出を行う。本実施形態では各撮像画像のＨＬのうち最も大きい値とする。ステップ４０５では合成画像のＳＤの目標値の算出を行う。本実施形態では各撮像画像のＳＤのうち最も小さい値とする。ＨＬ、ＳＤの目標値は本実施形態で用いた条件を満たす値に限らず、適宜変更可能である。例えば、複数の撮影画像のうち、最もコントラストの高い画像データの輝度分布を目標値としたり、各撮影画像のＨＬの平均値、ＳＤの平均値を求め、目標値としたりしてもよい。ステップ４０６では合成画像の補正量の算出を行う。顔領域の検出された画像が一つもない場合は、合成画像のＳＤ、ＨＬに対応する輝度値を、ステップ４０４、４０５で算出したＳＤ、ＨＬの目標値にそれぞれ近づけるようにする。ここで、完全に目標値の値に補正してもよいが、コントラストがつきすぎることがあるので、本実施形態では合成画像のＳＤ、ＨＬと目標のＳＤ、ＨＬの中間輝度にそれぞれ補正する。そして、ＳＤ、ＨＬの各ポイント及び画像の輝度の最小値と最大値からスプライン補間により入力輝度値に対する出力輝度値のルックアップテーブルを作成する。

このようにして得られるトーンカーブ曲線の一例を図５に示す。図５中のＳＤｉｎ、ＨＬｉｎが合成画像のＳＤ、ＨＬに対応し、ＳＤｏｕｔ、ＨＬｏｕｔがそれらの輝度の階調補正による出力値である。

顔領域の検出された画像があった場合には、合成画像の顔領域に対応する領域の輝度値が、顔として好ましい輝度値に近づけるように補正を行う。具体的には、たとえば合成前の顔領域の輝度の代表値に対する補正量をルックアップテーブルで用意しておく。この際、ＳＤ、ＨＬの補正量と合わせて不自然な補正にならないように、顔の輝度の補正量に連動して、顔領域の検出された画像がない場合よりもＳＤ、ＨＬの補正を弱めるように修正する。そして、ＳＤ、ＨＬ、顔の輝度の各ポイント及び画像の輝度の最小値と最大値からスプライン補間により入力輝度値に対する出力輝度値のルックアップテーブルを作成する。

このようにして得られるトーンカーブ曲線の一例を図６に示す。図６中のＦＡＣＥｉｎは合成後の顔領域の輝度の代表値、ＦＡＣＥｏｕｔはその出力輝度値である。

以上のように、本発明の実施形態によれば、複数枚の被写体画像を撮像して合成する場合に、適切な明るさ、コントラストの合成画像が得られるように階調補正を行うことができる。

本実施形態では、合成画像の階調補正量を求めるためのデータとして、各画像の暗部、明部側それぞれの輝度値を検出し、使用した。しかし、例えば検出した各画像の輝度ヒストグラムにおいて、輝度値ＨＬｔｈより明るい画素の割合、輝度値ＳＤｔｈより暗い画素の割合に応じて階調補正を行ってもよい。輝度値を０〜２５５ＬＳＢとすると、ＨＬｔｈとしては例えば２４０ＬＳＢ、ＳＤｔｈとしては例えば１５ＬＳＢとしておく。このように、合成する各画像の輝度ヒストグラムの分布を利用して合成画像への階調補正量を算出するものであれば、本発明は適用できる。

さらに、本実施形態では合成画像への階調補正量の算出のための元データとして、合成する各画像の輝度ヒストグラムを用いているが、輝度情報に相当するような情報として例えば各画像のＧのヒストグラムを用いてもよい。この場合、本実施形態ではＡ／Ｄ変換部１０２からの出力であるＲ、Ｇ、ＢのデータからそのままＧのデータを取得し、特徴量検出部１０４で特徴量を算出すればよい。

また本実施形態では、各撮像画像ごとにホワイトバランスのゲイン値を積算してから、それらの画像データを合成するようにしたが、画像データの合成をしてから、代表的なホワイトバランスのゲイン値を積算するようにしても良い。

また本実施形態では、合成画像データからヒストグラムの特徴量を検出するようにしたが、合成前の複数の撮像画像データから合成画像のヒストグラムの特徴量を算出するようにしてもよい。

（他の実施形態）
また本実施形態では画像合成の一連の動作をＣＰＵ１００で行ったが、一部を回路等のハードウェアによって実行させてもよい。

また本実施形態では画像処理装置の一例としてデジタルカメラを示し、画像データは外部からの光束を取り込み画像信号に変換する撮像素子１０１から入力されたものを使用している。しかしこの他にも、走査光学系により画像を読み取る画像読み取り部、または外部から得られる画像データを取得し装置内部に入力するインターフェース部などから入力された画像データを用いてもよい。すなわち、画像処理装置としては撮像素子を搭載したカメラ、ビデオカメラ、画像読み取り部を搭載したプリンタ、スキャナ、複写機、外部の記録メディア等から得られる画像データを入力するインターフェース部を搭載したコンピュータなども考えられる。

本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

１０１ 撮像素子
１０４ 特徴量検出部
１０６ 画像メモリ
１０７ メモリ
１０８ 画像合成部
１０９ 補正量算出部
１１０ 画像処理部

Claims (10)

1. 複数の画像データを重ね合わせて１つの合成画像データを得る画像処理方法であって、
   前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出ステップと、
   前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出ステップと、
   前記特徴量算出ステップで得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得ステップと、を有し、
   前記目標値は、前記複数の画像データのうち最もコントラストの高い画像データの輝度分布の特徴量であることを特徴とする画像処理方法。
2. 複数の画像データを重ね合わせて１つの合成画像データを得る画像処理方法であって、
   前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出ステップと、
   前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出ステップと、
   前記特徴量算出ステップで得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得ステップと、を有し、
   前記目標値は、前記複数の画像データの輝度分布の特徴量の平均値であることを特徴とする画像処理方法。
3. 前記複数の画像データのそれぞれに対して、顔の在る領域を検出する顔検出ステップを有し、
   前記特徴量算出ステップでは、前記顔検出ステップで検出された顔領域と、前記合成画像データの前記顔検出ステップで検出された顔領域に対応する領域の特徴量を算出し、
   前記補正量取得ステップでは、前記複数の画像データの顔領域の特徴量に基づいて前記合成画像データの前記顔領域に対応する領域の階調補正量を取得することを特徴とする請求項１または２に記載の画像処理方法。
4. 画像データを入力する画像入力手段と、
   前記画像入力手段から得られた複数の画像データを重ね合わせて１つの合成画像データを得る画像処理装置であって、
   前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出手段と、前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出手段と、
   前記特徴量算出手段で得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得手段と、を有し、
   前記目標値は、前記複数の画像データのうち最もコントラストの高い画像データの輝度分布の特徴量であることを特徴とする画像処理装置。
5. 画像データを入力する画像入力手段と、
   前記画像入力手段から得られた複数の画像データを重ね合わせて１つの合成画像データを得る画像処理装置であって、
   前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出手段と、前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出手段と、
   前記特徴量算出手段で得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得手段と、を有し、
   前記目標値は、前記複数の画像データの輝度分布の特徴量の平均値であることを特徴とする画像処理装置。
6. 前記画像入力手段は、外部からの光束を取り込み画像信号に変換する撮像素子、または走査光学系により画像を読み取る画像読み取り部、または外部から得られる画像データを取得し装置内部に入力するインターフェース部であることを特徴とする請求項４または５に記載の画像処理装置。
7. コンピュータに、複数の画像データを重ね合わせて１つの画像データを得る画像処理方法を実行させるためのプログラムであって、
   前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出ステップと、
   前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出ステップと、
   前記特徴量算出ステップで得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得ステップと、を有し、
   前記目標値は、前記複数の画像データのうち最もコントラストの高い画像データの輝度分布の特徴量であることを特徴とするプログラム。
8. コンピュータに、複数の画像データを重ね合わせて１つの画像データを得る画像処理方法を実行させるためのプログラムであって、
   前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出ステップと、
   前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出ステップと、
   前記特徴量算出ステップで得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得ステップと、を有し、
   前記目標値は、前記複数の画像データの輝度分布の特徴量の平均値であることを特徴とするプログラム。
9. コンピュータに、複数の画像データを重ね合わせて１つの画像データを得る画像処理方法を実行させるためのプログラムを記録した記録媒体であって、
   前記プログラムは前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出ステップと、
   前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出ステップと、
   前記特徴量算出ステップで得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得ステップと、を有し、
   前記目標値は、前記複数の画像データのうち最もコントラストの高い画像データの輝度分布の特徴量であることを特徴とする記録媒体。
10. コンピュータに、複数の画像データを重ね合わせて１つの画像データを得る画像処理方法を実行させるためのプログラムを記録した記録媒体であって、
    前記プログラムは前記複数の画像データのそれぞれに対して輝度分布の検出を行う輝度分布検出ステップと、
    前記輝度分布から前記輝度分布の特徴量をそれぞれ算出する特徴量算出ステップと、
    前記特徴量算出ステップで得られた前記複数の画像データの輝度分布の特徴量から前記合成画像データの輝度分布の特徴量の目標値を算出し、前記目標値に基づいて前記合成画像データに行う階調補正のための階調補正量を取得する補正量取得ステップと、を有し、
    前記目標値は、前記複数の画像データの輝度分布の特徴量の平均値であることを特徴とする記録媒体。