JP4367821B2

JP4367821B2 - Image processing apparatus, image processing method, and recording medium

Info

Publication number: JP4367821B2
Application number: JP2001259224A
Authority: JP
Inventors: 由紀松島
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-08-29
Filing date: 2001-08-29
Publication date: 2009-11-18
Anticipated expiration: 2021-08-29
Also published as: JP2003069822A

Description

【０００１】
【発明の属する技術分野】
本発明は、カラー画像データの階調を自動的に補正する画像出力システム、プリンタシステム、画像表示システムなどにおける画像処理装置に関し、デジタルカメラやスキャナなどに適用される技術である。
【０００２】
【従来の技術】
近年、パソコンやインターネット、家庭用プリンタの普及、及びハードディスクなどの記憶容量の大型化により、デジタルデータで写真画像を扱う機会が増えている。それに伴いデジタル写真画像データ（以下、画像データ）の入力手段として、デジタルカメラやフィルムスキャナなどが一般に使用されている。
【０００３】
デジタルカメラには撮影時の露出を常に最適に保つための自動露出制御装置が設けられている。露出制御方式には、種々の方法があるが、光量検出のため画面を複数の適当な領域に分割し、領域ごとに重み付けを行い加重平均を取り、絞りやシャッタスピードなどを調節する方法が一般的である。
【０００４】
しかし、これらの露出制御方式は各社様々であり、撮影条件によって適正に作動しない場合もあるため完全なものは存在しない。とりわけ、主被写体の真後ろに光源が存在し背景と主被写体との輝度差が大きい、逆光状態では、被写体に露出があわないと背景の明るさに引っ張られて露出がマイナスに補正されるため、被写体が暗く写ってしまう。
【０００５】
また、夜間ストロボ撮影では、被写体にストロボ光が当たることが前提になるため、絞りやシャッタスピードは既定値に固定される。つまり、ストロボと被写体の距離が遠すぎると光が届かず、この場合も被写体は暗く写ってしまう。
【０００６】
ここで、露出補正とは、シーンに対して不適切な明るさを持つ被写体を、シーンに適した明るさに調節することを意味する。例えば露出不足で全体に暗い被写体や、逆光で暗くなっている被写体を明るくしたり、露出オーバな被写体を暗くしたりすることである。カメラでの露出補正は、レンズに入る入射光量を調節するために絞りやシャッタスピードを変える方法が一般的である。また、プリンタやディスプレイでは、入出力変換関数（階調補正カーブ）等を用い、入力信号の明るさに対し出力信号の明るさを最適化するための処理等を意味する。なお、露出を補正して画像データの明るさを調節することと、本発明における階調補正処理とは目的が同等なため、以後、階調補正処理と記す。
【０００７】
このようなデジタル画像の撮影時における不適切な露出状態に対応するため、画像データを自動的に階調補正する技術が多数提案されている。
【０００８】
例えば、原稿画像全体を読みとって原稿画像の主要画像特徴量を算出し、算出された主要画像特徴量から被写体の所定濃度範囲を算出し、原稿画像全体から前記所定濃度範囲の画素のみを抽出して原稿画像特徴量を決定し、この原稿画像特徴量から露光量を決定することにより、逆光画像など、背景と被写体の濃度差が大きい画像を適切に補正する露光量決定方法がある（特開平７−３０１８６７号公報を参照）。
【０００９】
また、画像全域で飽和が起こらないような変換カーブを作成して、逆光補正を行う画像処理方法もある（特開平１０−７９８８５号公報を参照）。
【００１０】
【発明が解決しようとする課題】
階調補正処理を行う上で最も困難なのは、被写体の明るさを適切に補正し、階調性を保ちつつ、過補正を起こさないことである。つまり、従来のように被写体部分のみから補正量を得ると、補正処理後の画像において階調つぶれや色相ずれが起こる。
【００１１】
本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、不適切な露出状態で撮影された画像の主被写体において、階調性を保存しつつ、過補正を起こすことなく最大限の効果で適切に補正する画像処理装置、画像処理方法および記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
本発明では、主要被写体の領域を抽出する被写体領域抽出手段と、被写体領域の情報から階調補正度合いを算出する補正量算出手段と、主要被写体領域が属さない明度域から所定の制御域を抽出する制御域抽出手段と、制御域において所定の制御条件を用いて階調補正度合いを制御するか否かを判定する判定手段と、判定手段の判定結果に応じて階調補正度合いを制御する制御手段を備えることにより、被写体領域の階調を補正しつつ、ハイライト域もしくはシャドー域の過補正を防止し、シーンや画像出力機器に応じた階調補正を行う。
【００１３】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて具体的に説明する。
（実施例１）
図１は、本発明の実施例１の全体構成を示す。図１において、スキャナやデジタルカメラあるいはビデオカメラなどの画像入力装置１００は、写真などをマトリックス状の画素として表した実写の画像データを画像処理装置１０１に出力する。画像処理装置１０１内の階調補正処理部１０２では、最適な評価値を算出し、その評価値を用いて階調補正処理を実行する。ディスプレイ、プリンタなどの画像出力装置１０３は、階調補正処理した画像データを出力する。本実施例の場合、画像データとしては写真などの実写データが適している。また、本実施例では画像データはカラーデータとして以下、説明する。
【００１４】
図２は、本発明に係る階調補正処理部１０２の構成を示す。まず、画像入力装置１００によって入力された画像データ２００に対して以下の処理が実行される。被写体領域抽出手段２０１では、画像データ上の主要被写体領域を抽出する。ここで、被写体領域の抽出は、従来から提案されている公知の技術を用いれば良い。
【００１５】
次に、制御領域抽出手段２０２では、明度分布上で被写体領域が属する明度域以外の明度域より制御域を求める。以下、本実施例で補正対象となる入力画像は逆光であると仮定し、明度情報として輝度を用いて説明を行う。
【００１６】
逆光画像の場合、被写体は背景に対して暗く、露出不足である。従って、制御域は被写体領域が属する輝度域よりも明るい領域となる。図３は、被写体領域抽出手段によって抽出された逆光画像の被写体領域を示す。また、図４は、被写体領域の属する輝度領域、および制御域のヒストグラムを示す。
【００１７】
次に、階調補正カーブｆ０（ｘ）を得るための処理を、図５〜８を用いて説明する。ここで、説明を簡単にするために、入力画像データの輝度最小値ｓｈをｓｈ＝０、最大値ｈｌをｈｌ＝２５５とする。
【００１８】
補正量算出手段２０６では、抽出された主要被写体領域の輝度分布２０３から中央値などの統計値２０４（以下、説明のため統計値として中央値Ａを用いる）を算出し、主要被写体の特徴的な明るさを得る。
【００１９】
続いて、補正量算出手段２０６では、中央値Ａによって被写体の明るさが適切か否かを判定し、適切でない場合は仮の補正量δ２０５を得る。なお、ここでは、逆光状態による露出不足を仮定しているため、δ＞０であり、例えばδは輝度中央値の関数として、図５のように定める。
【００２０】
次に、階調補正カーブｆ０（ｘ）を算出する。δ＝０の場合、ｆ０（ｘ）＝ｘである。
【００２１】
δ≠０の場合について説明する。階調補正カーブｆ０（ｘ）は、図６に示すように、３つの一次関数の組み合わせによって表され、それぞれの一時関数ｌ１（ｘ），ｌ２（ｘ），ｌ３（ｘ）は、輝度領域毎に下記のように算出される。
ｙ＝ｆ０（ｘ）
ｌ１（ｘ）＝α１・ｘ（０≦ｘ＜Ａ）
＝ｌ２（ｘ）＝α２・ｘ＋β２（Ａ≦ｘ＜Ｃ）
ｌ３（ｘ）＝α３・ｘ＋β３（Ｃ≦ｘ＜２５５）式（１）
なお、α１＝｛（Ａ＋δ）／Ａ｝
α２＝１、β２＝δ ，（Ａ≦ｘ＜Ｃ）
α３＝｛（２５５−Ｃ−δ）／（２５５−Ｃ）｝、β３＝｛（２５５・δ）／
（２５５−Ｃ）｝式（２）
であり、
ｆ０（ｘ）の算出２０７では、補正量δに従って、一時関数はｌ１（ｘ），ｌ２（ｘ），ｌ３（ｘ）の順に算出される。
【００２２】
すなわち、入力輝度値がシャドーポイントから中央値Ａまでは座標（０，０），（Ａ，Ｂ），（但し、Ｂ＝Ａ＋δ）を結ぶｌ１（ｘ）、主要被写体領域の輝度領域における最大値Ｃまではカーブの傾き１を保つｌ２（ｘ）、それよりもハイライト側では座標（Ｃ，Ｄ），（２５５，２５５），（但し、Ｄ＝Ｃ＋δ）を結ぶｌ３（ｘ）を階調補正カーブとする。図６は、階調補正カーブを示す。
【００２３】
次いで、判定手段２０８では、制御域における補正量δが適切か否かを判定する。補正量δから算出される階調補正カーブｆ０（ｘ）において、ｌ３（ｘ）の傾きα３が小さ過ぎると階調補正後のハイライトで階調つぶれが起きる可能性がある。そこで、α３に閾値Ｔｈによる下限を設け、α３＜Ｔｈの場合は、α３≡Ｔｈとする（２０９）。そして、α３≡Ｔｈの場合は、階調補正カーブ算出部２０７で算出したｆ０（ｘ）の代わりに、新たな階調補正カーブｆ１（ｘ）を算出する（２１０）。
【００２４】
すなわち、新たな階調補正カーブｆ１（ｘ）は、３つの一次関数の組み合わせによって表され、それぞれの一時関数ｌ１（ｘ），ｌ２（ｘ），ｌ３（ｘ）は、ｌ３（ｘ）、ｌ２（ｘ）、ｌ１（ｘ）の順に算出される。
【００２５】
ｌ３（ｘ）は、傾きＴｈで座標（２５５、２５５）を通る関数であるから
α３＝Ｔｈ、 β３＝２５５（１−Ｔｈ）式（３）
である。このとき、入力Ｃの出力Ｃ’（図８）は、式（３）を用いて算出でき、Ｃ’＝Ｔｈ・Ｃ＋２５５（１−Ｔｈ）
である。
【００２６】
ｌ２（ｘ）は、傾き１で座標（Ｃ、Ｃ’）を通る関数であるから
α２＝１、β２＝（２５５−Ｃ）（１−Ｔｈ）式（４）
である。このとき、入力Ａの出力Ａ’（図８）は、式（４）を用いて算出でき、Ａ’＝Ａ＋（２５５−Ｃ）（１−Ｔｈ）
である。
【００２７】
ｌ１（ｘ）は、座標（Ａ、Ａ’）、（０、０）を通る関数であるから
α１＝｛Ａ＋（２５５−Ｃ）（１−Ｔｈ）｝／Ａ式（５）
である。これにより、新たな階調補正カーブｆ１（ｘ）が算出された。
【００２８】
従って、階調補正処理手段２１１では、判定手段２０８の判定の結果、α３≧Ｔｈの場合、階調補正カーブ算出部２０７で算出したｆ０（ｘ）を使用し、α３＜Ｔｈの場合、新たな階調補正カーブｆ１（ｘ）を使用して、階調補正処理を行う。
【００２９】
階調補正カーブとしてｆ０（ｘ）を用い、ＲＧＢカラー画像データの階調補正処理を以下に説明する。
【００３０】
画像データの入力輝度値Ｙｉｎ（ｊ）（ｊ＝１，２，．．．Ｎ，Ｎは、入力データの画素数）に対し、階調補正カーブｆ０（ｘ）による補正後の出力輝度値Ｙ１（ｊ）を定義する。ここで、ｘは画像データの入力輝度値である。
入力輝度値は以下の式で算出される。ｊ番目の画素（ｊ＝１，２，．．．Ｎ−１，Ｎ）の輝度Ｙｉｎ（ｊ）は、カラー画像信号（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ））を用いて、以下の式で表せる。
Ｙｉｎ（ｊ）＝０．２９９・Ｒｉｎ（ｊ）＋０．５８７・Ｇｉｎ（ｊ）＋０．１１４・Ｂｉｎ（ｊ）式（６）
入力輝度値Ｙｉｎ（ｊ）に対して階調補正処理後の出力輝度値Ｙ１（ｊ）を算出し、階調補正係数Ｃ０（ｊ）を以下の式で算出する。
Ｃ０（ｊ）＝Ｙ１（ｊ）／Ｙｉｎ（ｊ）
＝ｆ０（Ｙｉｎ（ｊ））／Ｙｉｎ（ｊ）式（７）
入力カラー画像信号（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ））は、以下の式で変換され、階調補正カラー信号（Ｒ１（ｊ），Ｇ１（ｊ），Ｂ１（ｊ））を得る。
（Ｒ１（ｊ），Ｇ１（ｊ），Ｂ１（ｊ））＝Ｃ０（ｊ）・（Ｒｉｎ（ｊ），Ｇｉｎ（ｊ），Ｂｉｎ（ｊ））式（８）
また、入力画像信号がグレーの場合、グレーレベルＹｉｎ（ｊ）を入力値とし、階調補正処理後の出力は、出力グレーレベル
Ｙ１（ｊ）＝ｆ０（Ｙｉｎ（ｊ））
を得れば良い。
【００３１】
なお、通常の画像処理では、出力デバイス（本実施例ではディスプレイ）の再現範囲０〜２５５を超えた場合クリッピングを行う。すなわち０未満の値は０へ、２５５以上の値は強制的に２５５に置き換える。
以上の階調補正処理を階調補正処理手段２１１で行い、補正された出力画像データ２１２を得る。
【００３２】
階調補正カーブが図７のように指数関数ｆ０（ｘ）で表される場合について説明する。まず、抽出された主要被写体領域の輝度分布から中央値などの統計値を算出し、主要被写体のもつ特徴的な明るさを得る。
【００３３】
次に、中央値Ａによって被写体の明るさが適切か否かを判定し、適切でない場合は補正量δを得る。なお、ここでは、逆光状態による露出不足を仮定しているため、１＞δ＞０である。
次に階調補正カーブｆ０（ｘ）を得る。
ｙ＝ｆ０（ｘ）＝｛ｘ＾δ｝・２５５式（９）
次に、例えば、ｘ＝Ｃにおけるｆ０（ｘ）の接線の傾き、もしくは一次の微分係数
ｄ（ｆ０（ｘ））／ｄｘ］（ｘ＝Ｃ）＝ｌｉｍ（δ→０）｛（ｆ０（Ｃ＋δ）−ｆ０（Ｃ））／δ｝
＝δ・Ｃ＾（δ−１）・２５５式（１０）
を算出し、その値が閾値Ｔｈを以上か否かを調べ、超えている場合は式（１０）の右辺をＴｈと定め最終的な補正量Δを得る。つまり以下の式
Δ・Ｃ＾（Δ−１）・２５５＝Ｔｈ式（１１）
を満たすΔを新たな補正量とする。
【００３４】
上記した実施例では逆光の画像を補正する際において、ハイライトの過補正を防ぐための例であるが、シャドーの場合も制御方法は同様である。つまり、階調補正処理によって起こるノイズの発生を抑制するのであれば、α１に上限を設け、つぶれを抑えるのであればα１に下限を設ける。
【００３５】
また、本実施例では、画像のシーンに応じて閾値Ｔｈを変える。ここでシーンとは、カメラで画像が撮影されたときの状態をいい、例えば逆光状態、夜間フラッシュ撮影や露出不足状態などがある。入力画像が逆光状態で撮影された画像の場合、被写体は低輝度側に位置し、背景は白飛びを起こしていることもあるため、背景であるハイライトの階調つぶれは目立ちにくい。また、夜間フラッシュ撮影の場合、被写体はハイライト側に位置し、階調再現性が重要視される。従って、逆光画像、夜間フラッシュ撮影画像の制御条件をそれぞれＴｈｂ、Ｔｈｆとすると、Ｔｈｂ＜Ｔｈｆとなるように定める。
【００３６】
また、本実施例では、出力機器の色再現性に応じて閾値Ｔｈを変える。例えば出力画像機器がモニタの場合は階調再現性が良く、プリンタの場合はとりわけハイライトやシャドーの階調再現性が悪い。従って、モニタ、プリンタの制御条件をそれぞれＴｈｍ、Ｔｈｐとすると、Ｔｈｍ＜Ｔｈｐとなるように定める。
【００３７】
なお、上記した実施例では輝度を用いて説明したが、輝度の代わりにＬ＊ａ＊ｂ表色系のＬ値やＲＧＢのＧ値を用いてもよい。また、被写体の抽出法としては種々の方法が提案されておりそのいずれを用いてもよい。さらに、δを算出するための統計量には中央値を用いたが平均値などでもよく、制御条件は出力条件に応じて適切に決めれば良い。
【００３８】
（実施例２）
実施例２は、本発明を画像出力システムに適用した実施例である。図９は、本発明の実施例２に係る構成を示す。図９において、３００は、画像出力制御装置をコントロールするためのコンピュータである。コンピュータ３００は、オペレータがプリンタ（１）３０４を選択し、出力命令を受け取ると、画像を撮像するなどして取り込まれた画像データや各種ＤＴＰソフトで作成したモノクロとカラーの両方の写真等の画像データなどを画像出力制御装置（１）３０５に送信する。
【００３９】
画像出力制御装置（１）３０５は、コンピュータ３００から送信された画像データを分析し、カラー複写機等の画像形成装置の制御信号である複数の出力色成分Ｃ（Ｃｙａｎ）、Ｍ（Ｍａｚｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）、Ｋ（ｂｌａｃＫ）に対して後述する色変換処理を実行し、その結果を画像形成装置に転送し、画像形成装置は送信された画像をプリントする。
【００４０】
画像出力制御装置（１）３０５は、入力された画像データに対して、階調補正処理を行い、画像形成装置用の制御信号への変換を行なう色変換手段（１）３０１と、中間調処理等を実施する描画手段（１）３０２と、描画手段（１）３０２で描画された１ページ分の印刷画像を一時的に格納する画像記憶手段（格納バッファ）（１）３０３とを備えている。
【００４１】
上記した画像出力制御装置は、画像表示装置の特性とプリンタの特性に合わせて表示画像に忠実なプリンタ出力を得るための色変換手段や機種毎に対応した解像度を変換する解像度変換手段などを構成要素としてよい。
【００４２】
なお、上記した画像出力制御装置に入力される画像データは、具体的にはＲＧＢ（緑、青、赤）の階調データであり、また、各色成分の階調数は８ｂｉｔ＝２５６階調が一般的であるが、６４あるいは５１２など他の階調数でもよい。
【００４３】
以下、画像出力制御装置（１）３０５の動作を説明すると、画像データは色変換手段（１）３０１へ送られ、色変換手段（１）３０１では、画像形成装置（プリンタ）（１）３０４のもつ色再現範囲に応じて階調補正処理が行われる。次に、オペレータの使用している画像表示装置の特性と画像形成装置（プリンタ）の特性に基づいて色変換が行われ、画像形成装置（プリンタ）の制御信号である複数の出力色成分Ｃ（Ｃｙａｎ），Ｍ（Ｍａｚｅｎｔａ），Ｙ（Ｙｅｌｌｏｗ），Ｋ（ｂｌａｃＫ）データに変換され、描画手段、画像記憶手段（格納バッファ）に送られる。
【００４４】
ＲＧＢ（緑、青、赤）の階調データから、出力色成分Ｃ（Ｃｙａｎ），Ｍ（Ｍａｚｅｎｔａ），Ｙ（Ｙｅｌｌｏｗ），Ｋ（ｂｌａｃＫ）データへの変換は、メモリマップ補間で、ＣＭＹに色変換する。メモリマップ補間とは、図１０に示すように、ＲＧＢ空間を入力色空間とした場合、ＲＧＢ空間を同種類の立体図形（ここでは立方体）に分割し、入力の座標（ＲＧＢ）おける出力値Ｐを求めるには、前記入力の座標を含む立方体を選択し、該選択された立方体の８点の予め設定した頂点上の出力値と前記入力の前記立方体の中における位置（各頂点からの距離）に基づいて、線形補間を行う。ここで、本実施例の場合、出力値Ｐは、Ｃ，Ｍ，Ｙ値にそれぞれ相当し、補間演算に使用される入力空間上の座標（ＲＧＢ）には、実際の入出力（Ｌ＊ａ＊ｂ＊−ＣＭＹ）の関係を測定して、このデータを使用して最小２乗法等により算出したＲＧＢ（Ｌ＊ａ＊ｂ＊）に対するＣ，Ｍ，Ｙの値が予め設定してある。また、ＣＭＹ信号は、例えば次式のような演算によって、ＣＭＹＫ信号に変換される。
Ｋ＝ α×ｍｉｎ（Ｃ，Ｍ，Ｙ）
Ｃ’＝Ｃ−β×Ｋ
Ｍ’＝Ｍ−β×Ｋ
Ｙ’＝Ｙ−β×Ｋ
なお、色変換法は上記した方法に限らず、画像表示装置の特性を、例えば、コンピュータが画像データのヘッダ情報に記録して送信するようにしても良いし、上記した画像出力制御装置をコンピュータ内部に実装する場合には、例えばＩＣＣ（ＩｎｔｅｒＣｏｌｏｒＣｏｎｓｏｒｔｉｕｍ）で標準化されているデバイス・プロファイルを読み出して用いてもよい。
【００４５】
色変換手段３０１における画像補正処理手段４１７について、図１１を用いて説明する。画像補正処理手段４１７は、基本的に実施例１で説明したものと同様であるのでその説明を省略する。ただし、本実施例では、閾値情報テーブル４１１を具備している。すなわち、各プリンタの再現範囲が異なるため、閾値もプリンタ毎に異なる。また、同様にプリンタのインク特性やこの後に行われる中間調処理に応じて閾値が異なる。そこで、色変換手段では出力予定のプリンタに関する閾値情報をテーブル４１１で具備している。
【００４６】
実施例１と同様にして算出された階調補正カーブを用いて、色変換テーブル記憶部４１４に記憶されている色変換テーブルの格子点データを書き換える（４１３）。ＲＧＢ空間上の各格子点にはＣＭＹＫへの変換係数が記憶されている。入力画像データの各画素のＲＧＢ値に対して階調補正を行うのではなく、この格子点データを書きかえることによって処理の高速化が実現できる。
【００４７】
次いで、入力画像データに対し、色変換テーブル記憶部から書きかえられた色変換テーブルを選択し、補間演算部４１５に送る。補間演算部４１５では、色変換テーブルを参照して、例えば、前述したようなメモリマップ補間を実施し、描画手段４１６に画像データを送る。
【００４８】
画像出力制御装置は、カラー・プリンタ内部に実装して色変換する場合もあれば、コンピュータ内に実装する場合もある。コンピュータ内に実装する場合、上記した色変換テーブルは、コンピュータから出力可能なプリンタ全ての情報を含む。また、カラー・プリンタと独立に設けられたプリンタ制御装置内に実装して色変換してから画像データをプリンタに送るようにしてもよい。
【００４９】
更に、本実施形態は、ソフトウエアで実行することも可能であり、その場合には、コンピュータ内のプログラムとして存在するプリンタ・ドライバで実行することができる。
【００５０】
図１２は、本発明をソフトウエアで実施する場合のシステム構成例を示す。この画像出力システムは、ワークステーションとプリンタが接続されている。ワークステーションは、前述した階調補正処理の機能を実現するもので、ディスプレイ、キーボード、プログラム読取装置および演算処理装置などで構成されている。演算処理装置は、種々のコマンドを実行可能なＣＰＵに、ＲＯＭ、ＲＡＭがバスで接続されている。また、バスには大容量記憶装置であるＤＩＳＫと、ネットワーク上の機器と通信を行うＮＩＣが接続されている。
【００５１】
プログラム読取装置は、各種のプログラムコードを記憶した記憶媒体、すなわち、フロッピーディスク、ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−Ｒ／Ｗ，ＤＶＤ−ＲＯＭ，ＤＶＤ―ＲＡＭなど）、光磁気ディスク、メモリカードなどに記憶されているプログラムコードを読み取る装置で、例えばフロッピーディスクドライブ、光ディスクドライブ、光磁気ディスクドライブなどである。
【００５２】
記憶媒体に記憶されているプログラムコードは、プログラム読取装置で読みとってＤＩＳＫなどに格納され、このＤＩＳＫなどに格納されたプログラムコードをＣＰＵによって実行することにより、前述した画像処理方法などを実現する。また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）やデバイス・ドライバなどが実際の処理の一部または全部を行い、その処理によって前述した機能が達成される場合も含まれる。
【００５３】
【発明の効果】
以上、説明したように、本発明によれば、以下のような効果が得られる。
（１）被写体が属さない明度域の情報を用いて階調補正のための補正量を制御することにより、階調つぶれを起こすことなく補正を行うことが可能である。
（２）被写体領域が属する明度域より明るい明度域を制御領域とすることにより、過補正によって起こるハイライトの階調つぶれ、シャドーの階調つぶれを防ぐことが可能である。
（３）階調補正カーブを用いた階調補正処理において、階調補正カーブの接線の傾きに下限を設けることにより、過補正によって起こるハイライト、もしくはシャドーの階調つぶれを防ぐことが可能である。
（４）シーンに対して適切な制御条件を設けることにより、シーンに応じた階調補正を行うことが可能である。
（５）画像出力機器に対して適切な制御条件を設けることにより、画像出力機器に応じた階調補正を行うことが可能である。
（６）補正対象画像の特徴に対して適切な制御条件を設けることにより、画像出力機器に応じた階調補正を行うことが可能である。
（７）被写体領域に属する明るさを表す成分から補正量を求めることにより、被写体に適した階調補正量を得ることが可能である。
【図面の簡単な説明】
【図１】本発明の実施例１の全体構成を示す。
【図２】本発明に係る階調補正処理部の構成を示す。
【図３】被写体領域抽出手段によって抽出された逆光画像の被写体領域を示す。
【図４】被写体領域の属する輝度域および制御域のヒストグラムを示す。
【図５】補正量δを輝度中央値の関数として示す。
【図６】算出された階調補正カーブの第１の例を示す。
【図７】指数関数で表した階調補正カーブを示す。
【図８】算出された階調補正カーブの第１、第２の例を示す。
【図９】本発明の実施例２に係る構成を示す。
【図１０】メモリマップ補間を説明する図である。
【図１１】色変換手段における画像補正処理手段の構成を示す。
【図１２】本発明をソフトウエアで実施する場合のシステム構成例を示す。
【符号の説明】
１００画像入力装置
１０１画像処理装置
１０２階調補正処理部
１０３画像出力装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus in an image output system, a printer system, an image display system, or the like that automatically corrects gradation of color image data, and is a technique applied to a digital camera, a scanner, or the like.
[0002]
[Prior art]
In recent years, with the widespread use of personal computers, the Internet, and home printers, and the increase in storage capacity of hard disks and the like, opportunities for handling photographic images with digital data are increasing. Accordingly, digital cameras, film scanners, and the like are generally used as input means for digital photographic image data (hereinafter referred to as image data).
[0003]
The digital camera is provided with an automatic exposure control device for always maintaining an optimum exposure at the time of shooting. There are various exposure control methods, but the general method is to divide the screen into a number of appropriate areas for light intensity detection, weight each area, take a weighted average, and adjust the aperture, shutter speed, etc. Is.
[0004]
However, these exposure control systems vary from company to company and may not operate properly depending on the shooting conditions, so there is no perfect one. In particular, there is a light source directly behind the main subject and there is a large luminance difference between the background and the main subject. The subject appears dark.
[0005]
In night strobe shooting, since it is assumed that the subject is exposed to strobe light, the aperture and shutter speed are fixed to default values. In other words, if the distance between the strobe and the subject is too far, the light will not reach, and in this case, the subject will appear dark.
[0006]
Here, exposure correction means adjusting a subject having brightness inappropriate for the scene to brightness suitable for the scene. For example, a subject that is dark due to underexposure, a subject that is dark due to backlighting, or a subject that is overexposed is darkened. In general, exposure correction in a camera is performed by changing the aperture and shutter speed in order to adjust the amount of incident light entering the lens. In a printer or a display, it means processing for optimizing the brightness of the output signal with respect to the brightness of the input signal using an input / output conversion function (tone correction curve) or the like. It should be noted that, since the purpose of the correction of exposure by adjusting the brightness of image data is the same as that of the gradation correction process according to the present invention, it is hereinafter referred to as a gradation correction process.
[0007]
In order to cope with such an inappropriate exposure state at the time of taking a digital image, many techniques for automatically correcting the gradation of image data have been proposed.
[0008]
For example, the entire original image is read to calculate the main image feature amount of the original image, the predetermined density range of the subject is calculated from the calculated main image feature amount, and only the pixels in the predetermined density range are extracted from the entire original image. There is an exposure amount determination method that appropriately corrects an image having a large density difference between the background and the subject, such as a backlight image, by determining the document image feature amount and determining the exposure amount from the document image feature amount (Japanese Patent Laid-Open 7-301867).
[0009]
There is also an image processing method in which a conversion curve is created so that saturation does not occur in the entire image, and backlight correction is performed (see Japanese Patent Laid-Open No. 10-79885).
[0010]
[Problems to be solved by the invention]
The most difficult thing in performing the gradation correction processing is to appropriately correct the brightness of the subject, maintain the gradation, and not cause overcorrection. That is, when the correction amount is obtained only from the subject portion as in the conventional case, the gradation loss or hue shift occurs in the image after the correction processing.
[0011]
The present invention has been made in view of the above problems,
SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing apparatus and image processing that appropriately correct the main subject of an image shot in an inappropriate exposure state with the maximum effect without causing overcorrection while preserving gradation. It is to provide a method and a recording medium.
[0012]
[Means for Solving the Problems]
In the present invention, a subject area extracting means for extracting a main subject area, a correction amount calculating means for calculating a gradation correction degree from information on the subject area, and a predetermined control area is extracted from a lightness area to which the main subject area does not belong. A control area extracting means for determining, a determining means for determining whether or not the gradation correction degree is controlled using a predetermined control condition in the control area, and a control for controlling the gradation correction degree according to a determination result of the determining means By providing the means, overcorrection of the highlight area or shadow area is prevented while correcting the gradation of the subject area, and gradation correction is performed according to the scene or the image output device.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(Example 1)
FIG. 1 shows the overall configuration of Embodiment 1 of the present invention. In FIG. 1, an image input device 100 such as a scanner, a digital camera, or a video camera outputs real image data representing a photograph or the like as a matrix of pixels to an image processing device 101. A gradation correction processing unit 102 in the image processing apparatus 101 calculates an optimum evaluation value, and executes a gradation correction process using the evaluation value. An image output device 103 such as a display or a printer outputs image data that has undergone gradation correction processing. In the case of this embodiment, actual image data such as a photograph is suitable as the image data. In the present embodiment, image data will be described below as color data.
[0014]
FIG. 2 shows a configuration of the gradation correction processing unit 102 according to the present invention. First, the following processing is performed on the image data 200 input by the image input device 100. The subject area extraction unit 201 extracts a main subject area on the image data. Here, the subject area may be extracted by using a conventionally known technique.
[0015]
Next, the control area extraction unit 202 obtains a control area from a brightness area other than the brightness area to which the subject area belongs on the brightness distribution. Hereinafter, it is assumed that the input image to be corrected in the present embodiment is backlight, and description will be made using luminance as lightness information.
[0016]
In the case of a backlight image, the subject is dark against the background and underexposed. Therefore, the control area is brighter than the luminance area to which the subject area belongs. FIG. 3 shows the subject area of the backlight image extracted by the subject area extracting means. FIG. 4 shows a histogram of the luminance region to which the subject region belongs and the control region.
[0017]
Next, a process for obtaining the gradation correction curve f0 (x) will be described with reference to FIGS. Here, in order to simplify the description, it is assumed that the minimum luminance value sh of the input image data is sh = 0 and the maximum value hl is hl = 255.
[0018]
The correction amount calculating means 206 calculates a statistical value 204 such as a median value from the extracted luminance distribution 203 of the main subject region (hereinafter, median A is used as a statistical value for explanation), and characterizes the main subject. Get the brightness.
[0019]
Subsequently, the correction amount calculation means 206 determines whether or not the brightness of the subject is appropriate based on the median value A, and obtains a temporary correction amount δ 205 if it is not appropriate. Here, since underexposure due to a backlight condition is assumed, δ> 0. For example, δ is determined as a function of the median luminance as shown in FIG.
[0020]
Next, the gradation correction curve f0 (x) is calculated. When δ = 0, f0 (x) = x.
[0021]
A case where δ ≠ 0 will be described. As shown in FIG. 6, the gradation correction curve f0 (x) is represented by a combination of three linear functions, and the temporary functions l1 (x), l2 (x), and l3 (x) are for each luminance region. Is calculated as follows.
y = f0 (x)
l1 (x) = α1 · x (0 ≦ x <A)
= 12 (x) = α2 · x + β2 (A ≦ x <C)
l3 (x) = α3 · x + β3 (C ≦ x <255) Equation (1)
Α1 = {(A + δ) / A}
α2 = 1, β2 = δ, (A ≦ x <C)
α3 = {(255−C−δ) / (255−C)}, β3 = {(255 · δ) /
(255-C)} Formula (2)
And
In the calculation 207 of f0 (x), the temporary function is calculated in the order of l1 (x), l2 (x), and l3 (x) according to the correction amount δ.
[0022]
That is, when the input luminance value is from the shadow point to the median A, l1 (x) connecting the coordinates (0, 0), (A, B) (where B = A + δ), the maximum value in the luminance region of the main subject region Up to C, l2 (x) that keeps the slope of the curve 1 and, on the highlight side, l3 (x) that connects coordinates (C, D), (255, 255) (provided that D = C + δ) Use a correction curve. FIG. 6 shows a gradation correction curve.
[0023]
Next, the determination unit 208 determines whether or not the correction amount δ in the control region is appropriate. In the gradation correction curve f0 (x) calculated from the correction amount δ, if the slope α3 of l3 (x) is too small, the gradation may be lost due to highlight after gradation correction. Therefore, a lower limit is set for α3 based on the threshold Th, and α3≡Th if α3 <Th (209). If α3≡Th, a new gradation correction curve f1 (x) is calculated instead of f0 (x) calculated by the gradation correction curve calculation unit 207 (210).
[0024]
That is, the new gradation correction curve f1 (x) is represented by a combination of three linear functions, and the temporary functions l1 (x), l2 (x), and l3 (x) are l3 (x) and l2 respectively. (X) and l1 (x) are calculated in this order.
[0025]
Since l3 (x) is a function passing through the coordinates (255, 255) with a slope Th, α3 = Th, β3 = 255 (1-Th) Equation (3)
It is. At this time, the output C ′ (FIG. 8) of the input C can be calculated using Expression (3), and C ′ = Th · C + 255 (1−Th)
It is.
[0026]
Since l2 (x) is a function passing through the coordinates (C, C ′) with the inclination 1, α2 = 1, β2 = (255-C) (1-Th) Equation (4)
It is. At this time, the output A ′ (FIG. 8) of the input A can be calculated using the equation (4), and A ′ = A + (255−C) (1−Th)
It is.
[0027]
Since l1 (x) is a function passing through the coordinates (A, A ′) and (0, 0), α1 = {A + (255−C) (1−Th)} / A Equation (5)
It is. As a result, a new gradation correction curve f1 (x) was calculated.
[0028]
Therefore, the gradation correction processing unit 211 uses f0 (x) calculated by the gradation correction curve calculation unit 207 when α3 ≧ Th as a result of determination by the determination unit 208, and a new one when α3 <Th. The tone correction process is performed using the tone correction curve f1 (x).
[0029]
The gradation correction processing of RGB color image data using f0 (x) as the gradation correction curve will be described below.
[0030]
With respect to the input luminance value Yin (j) (j = 1, 2,... N, N is the number of pixels of the input data) of the image data, the output luminance value Y1 after correction by the gradation correction curve f0 (x) Define (j). Here, x is an input luminance value of image data.
The input luminance value is calculated by the following formula. The luminance Yin (j) of the j-th pixel (j = 1, 2,..., N−1, N) is obtained using color image signals (Rin (j), Gin (j), Bin (j)). It can be expressed by the following formula.
Yin (j) = 0.299 · Rin (j) + 0.587 · Gin (j) + 0.114 · Bin (j) Equation (6)
An output luminance value Y1 (j) after gradation correction processing is calculated for the input luminance value Yin (j), and a gradation correction coefficient C0 (j) is calculated by the following equation.
C0 (j) = Y1 (j) / Yin (j)
= F0 (Yin (j)) / Yin (j) Equation (7)
The input color image signals (Rin (j), Gin (j), Bin (j)) are converted by the following equations, and the tone correction color signals (R1 (j), G1 (j), B1 (j)) Get.
(R1 (j), G1 (j), B1 (j)) = C0 (j). (Rin (j), Gin (j), Bin (j)) Equation (8)
When the input image signal is gray, the gray level Yin (j) is used as an input value, and the output after gradation correction processing is output gray level Y1 (j) = f0 (Yin (j))
Just get it.
[0031]
In normal image processing, clipping is performed when the reproduction range of the output device (display in this embodiment) exceeds 0 to 255. That is, a value less than 0 is replaced with 0, and a value greater than 255 is forcibly replaced with 255.
The above tone correction processing is performed by the tone correction processing means 211 to obtain corrected output image data 212.
[0032]
A case where the gradation correction curve is represented by an exponential function f0 (x) as shown in FIG. 7 will be described. First, a statistical value such as a median value is calculated from the luminance distribution of the extracted main subject region, and the characteristic brightness of the main subject is obtained.
[0033]
Next, it is determined whether or not the brightness of the subject is appropriate based on the median value A. If it is not appropriate, a correction amount δ is obtained. Here, since it is assumed that the exposure is insufficient due to the backlight state, 1>δ> 0.
Next, a gradation correction curve f0 (x) is obtained.
y = f0 (x) = {x ^ δ} · 255 Formula (9)
Next, for example, the slope of the tangent line of f0 (x) at x = C or the first-order differential coefficient d (f0 (x)) / dx] (x = C) = lim (δ → 0) {(f0 (C + δ ) −f0 (C)) / δ}
= Δ · C ^ (δ-1) · 255 Formula (10)
Is calculated, and it is checked whether or not the value exceeds the threshold Th. If the value exceeds the threshold Th, the right side of Expression (10) is set as Th to obtain the final correction amount Δ. That is, the following equation Δ · C ^ (Δ-1) · 255 = Th equation (11)
Δ that satisfies the above is set as a new correction amount.
[0034]
The above embodiment is an example for preventing overcorrection of highlights when correcting a backlit image, but the control method is the same for shadows. That is, an upper limit is set for α1 if noise generation caused by the gradation correction processing is suppressed, and a lower limit is set for α1 if collapse is suppressed.
[0035]
In the present embodiment, the threshold Th is changed according to the scene of the image. Here, the scene refers to a state when an image is taken with a camera, and includes, for example, a backlighting state, a night flash photography, an underexposure state, and the like. In the case where the input image is an image photographed in a backlight state, the subject is located on the low luminance side and the background may be overexposed. In the case of night flash photography, the subject is positioned on the highlight side, and tone reproducibility is regarded as important. Accordingly, when the control conditions for the backlight image and the nighttime flash photographed image are Thb and Thf, respectively, they are determined such that Thb <Thf.
[0036]
In this embodiment, the threshold Th is changed according to the color reproducibility of the output device. For example, when the output image device is a monitor, the tone reproducibility is good, and when the output image device is a printer, the highlight or shadow tone reproducibility is particularly bad. Therefore, if the control conditions of the monitor and the printer are Thm and Thp, respectively, it is determined that Thm <Thp.
[0037]
In the above-described embodiment, the luminance is used for the description. However, the L value of the L * a * b color system or the G value of RGB may be used instead of the luminance. Also, various methods have been proposed as a subject extraction method, and any of them may be used. Further, although the median value is used as the statistic for calculating δ, an average value or the like may be used, and the control condition may be appropriately determined according to the output condition.
[0038]
(Example 2)
The second embodiment is an embodiment in which the present invention is applied to an image output system. FIG. 9 shows a configuration according to Embodiment 2 of the present invention. In FIG. 9, reference numeral 300 denotes a computer for controlling the image output control apparatus. When an operator selects the printer (1) 304 and receives an output command, the computer 300 captures image data such as image data, and images such as both monochrome and color photographs created by various DTP software. Data and the like are transmitted to the image output control device (1) 305.
[0039]
The image output control device (1) 305 analyzes the image data transmitted from the computer 300, and outputs a plurality of output color components C (Cyan), M (Magenta), which are control signals of an image forming apparatus such as a color copying machine. Color conversion processing described later is executed for Y (Yellow) and K (breakK), and the result is transferred to the image forming apparatus, and the image forming apparatus prints the transmitted image.
[0040]
The image output control device (1) 305 performs a tone correction process on the input image data, and a color conversion unit (1) 301 for converting the input image data into a control signal for the image forming apparatus. The image processing means (storage buffer) (1) 303 for temporarily storing the print image for one page drawn by the drawing means (1) 302 is provided. .
[0041]
The above-mentioned image output control device comprises color conversion means for obtaining a printer output faithful to the display image in accordance with the characteristics of the image display apparatus and the printer, and resolution conversion means for converting the resolution corresponding to each model. May be an element.
[0042]
The image data input to the image output control device is specifically RGB (green, blue, red) gradation data, and the number of gradations of each color component is 8 bits = 256 gradations. Generally, other gradation numbers such as 64 or 512 may be used.
[0043]
The operation of the image output control device (1) 305 will be described below. The image data is sent to the color conversion means (1) 301. The color conversion means (1) 301 uses the image forming apparatus (printer) (1) 304. A gradation correction process is performed in accordance with the color reproduction range of the color reproduction range. Next, color conversion is performed based on the characteristics of the image display apparatus used by the operator and the characteristics of the image forming apparatus (printer), and a plurality of output color components C (control signals of the image forming apparatus (printer) are provided. Cyan), M (Magenta), Y (Yellow), and K (breakK) data are converted and sent to the drawing means and the image storage means (storage buffer).
[0044]
Conversion from RGB (green, blue, red) gradation data to output color components C (Cyan), M (Magenta), Y (Yellow), K (blackK) data is performed by memory map interpolation, and the color is changed to CMY. Convert. As shown in FIG. 10, when the RGB space is an input color space, the memory map interpolation divides the RGB space into three-dimensional figures of the same kind (here, cubes), and outputs an output value P at input coordinates (RGB). Is obtained by selecting a cube including the coordinates of the input, and output values on eight preset vertices of the selected cube and positions of the input in the cube (distance from each vertex). Based on the above, linear interpolation is performed. Here, in the case of the present embodiment, the output value P corresponds to the C, M, and Y values, respectively, and the actual input / output (L * a) is input to the coordinates (RGB) on the input space used for the interpolation calculation. * B * -CMY) is measured, and C, M, and Y values for RGB (L * a * b *) calculated by the least square method or the like using this data are preset. Further, the CMY signal is converted into a CMYK signal, for example, by an operation such as the following equation.
K = α × min (C, M, Y)
C ′ = C−β × K
M ′ = M−β × K
Y ′ = Y−β × K
The color conversion method is not limited to the above-described method, and the characteristics of the image display device may be recorded in the header information of the image data and transmitted, for example, or the above-described image output control device may be connected to the computer. When mounted inside, for example, a device profile standardized by ICC (Inter Color Consortium) may be read and used.
[0045]
The image correction processing unit 417 in the color conversion unit 301 will be described with reference to FIG. Since the image correction processing unit 417 is basically the same as that described in the first embodiment, the description thereof is omitted. However, in this embodiment, a threshold information table 411 is provided. That is, since the reproduction range of each printer is different, the threshold value is also different for each printer. Similarly, the threshold value varies depending on the ink characteristics of the printer and the halftone process performed thereafter. In view of this, the color conversion means includes threshold information regarding the printer to be output in the table 411.
[0046]
Using the tone correction curve calculated in the same manner as in the first embodiment, the grid point data of the color conversion table stored in the color conversion table storage unit 414 is rewritten (413). Conversion coefficients to CMYK are stored at each grid point in the RGB space. Rather than performing gradation correction on the RGB values of each pixel of the input image data, the processing speed can be increased by rewriting the lattice point data.
[0047]
Next, for the input image data, the color conversion table rewritten from the color conversion table storage unit is selected and sent to the interpolation calculation unit 415. The interpolation calculation unit 415 refers to the color conversion table, performs, for example, memory map interpolation as described above, and sends the image data to the drawing unit 416.
[0048]
The image output control device may be mounted in a color printer for color conversion, or may be mounted in a computer. When implemented in a computer, the color conversion table described above includes information on all printers that can be output from the computer. Alternatively, the image data may be sent to the printer after being mounted in a printer control device provided independently of the color printer and color-converted.
[0049]
Furthermore, the present embodiment can be executed by software, and in that case, can be executed by a printer driver that exists as a program in the computer.
[0050]
FIG. 12 shows a system configuration example when the present invention is implemented by software. In this image output system, a workstation and a printer are connected. The workstation realizes the above-described gradation correction processing function, and is composed of a display, a keyboard, a program reading device, an arithmetic processing device, and the like. In the arithmetic processing unit, a ROM and a RAM are connected to a CPU capable of executing various commands via a bus. Also, DISK, which is a large-capacity storage device, and a NIC that communicates with devices on the network are connected to the bus.
[0051]
The program reading device is a storage medium storing various program codes, that is, a floppy disk, a hard disk, an optical disk (CD-ROM, CD-R, CD-R / W, DVD-ROM, DVD-RAM, etc.), magneto-optical An apparatus for reading a program code stored in a disk, a memory card or the like, such as a floppy disk drive, an optical disk drive, or a magneto-optical disk drive.
[0052]
The program code stored in the storage medium is read by a program reader and stored in a DISK or the like, and the program code stored in the DISK or the like is executed by the CPU, thereby realizing the above-described image processing method or the like. In addition, by executing the program code read by the computer, an OS (operating system) or a device driver running on the computer performs part or all of the actual processing based on the instruction of the program code. The case where the above-described function is achieved by the processing is also included.
[0053]
【The invention's effect】
As described above, according to the present invention, the following effects can be obtained.
(1) By controlling the correction amount for gradation correction using the information on the brightness region to which the subject does not belong, it is possible to perform correction without causing gradation collapse.
(2) By setting a lightness region brighter than the lightness region to which the subject region belongs as a control region, it is possible to prevent highlight gradation collapse and shadow gradation collapse caused by overcorrection.
(3) In the gradation correction process using the gradation correction curve, by setting a lower limit to the slope of the tangent of the gradation correction curve, it is possible to prevent highlight or shadow gradation collapse caused by overcorrection. is there.
(4) By providing appropriate control conditions for the scene, it is possible to perform gradation correction according to the scene.
(5) By providing appropriate control conditions for the image output device, it is possible to perform gradation correction according to the image output device.
(6) By providing appropriate control conditions for the characteristics of the correction target image, it is possible to perform gradation correction according to the image output device.
(7) By obtaining the correction amount from the component representing the brightness belonging to the subject area, it is possible to obtain a gradation correction amount suitable for the subject.
[Brief description of the drawings]
FIG. 1 shows an overall configuration of Embodiment 1 of the present invention.
FIG. 2 shows a configuration of a gradation correction processing unit according to the present invention.
FIG. 3 shows a subject area of a backlight image extracted by a subject area extraction unit.
FIG. 4 shows a histogram of a luminance region and a control region to which a subject region belongs.
FIG. 5 shows the correction amount δ as a function of the median luminance value.
FIG. 6 shows a first example of a calculated gradation correction curve.
FIG. 7 shows a tone correction curve expressed by an exponential function.
FIG. 8 shows first and second examples of calculated gradation correction curves.
FIG. 9 shows a configuration according to Embodiment 2 of the present invention.
FIG. 10 is a diagram for explaining memory map interpolation;
FIG. 11 shows a configuration of image correction processing means in the color conversion means.
FIG. 12 shows an example of a system configuration when the present invention is implemented by software.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 Image input apparatus 101 Image processing apparatus 102 Tone correction process part 103 Image output apparatus

Claims

Means for extracting the area of the main subject from the color image data, and calculating the median of the luminance distribution of the main object area, and correcting the brightness according to the median when the median is less than or equal to a predetermined value Means for calculating a correction amount; means for calculating a gradation correction curve for determining a correspondence relationship between input luminance and output luminance using the correction amount; and the main subject region does not belong to the main subject region. Means for extracting a region brighter than the luminance region (hereinafter referred to as a control region) and a new floor in which the gradient is set to the predetermined threshold when the gradient of the gradation correction curve in the control region is equal to or smaller than a predetermined threshold. An image processing apparatus comprising: means for calculating a tone correction curve; and means for converting input luminance of the color image data into output luminance using the new gradation correction curve.

A step of extracting a main subject region from color image data, and calculating a median value of a luminance distribution of the main subject region, and correcting the brightness according to the median value when the median value is a predetermined value or less. A step of calculating a correction amount, a step of calculating a gradation correction curve for determining a correspondence relationship between input luminance and output luminance using the correction amount, the main subject region does not belong, and the main subject region belongs A step of extracting a region brighter than the luminance region (hereinafter referred to as a control region) and a new floor in which the gradient is set to the predetermined threshold when the gradient of the gradation correction curve in the control region is equal to or smaller than a predetermined threshold. An image processing method comprising: calculating a tone correction curve; and converting the input luminance of the color image data into an output luminance using the new gradation correction curve.

A computer-readable recording medium storing a program for causing a computer to implement the image processing method according to claim 2.