JP2008124653A - 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 - Google Patents

Abstract

【課題】白飛びや黒つぶれなどを低減して画質を改善することができ、画質改善の程度を制御可能な画像信号処理装置等を提供する。
【解決手段】画像信号における高輝度域または低輝度域の階調幅を伸張するような補正階調処理を行う第１補正階調処理部５２０と、画像信号における全輝度域に対してスペースバリアントな階調処理を行う階調処理部５３０と、表示装置に応じた補正階調処理を行う第２補正階調処理部５４０と、を備えた画像信号処理装置。
【選択図】図６

Description

本発明は、画像信号に画像信号処理を行うための画像信号処理装置、画像信号処理プログラム、画像信号処理方法に関する。

画像信号には、各種の画像信号処理が行われるが、その中の１つが階調変換処理である。

この階調変換処理は、画像信号がデジタル化された信号である場合には、変換の前後においてビット数が変化する処理と、ビット数が変化しない処理とがある。これらの内の、例えばビット数が変化しない処理においては、階調変換を行うと、階調幅が伸張される輝度域と、階調幅が圧縮される輝度域と、が発生することになる。そして、階調幅が圧縮される輝度域は、階調性が低下することになり、特に高輝度域においては白飛びが発生したり、低輝度域においては黒つぶれが発生したりすることになり、これが画質上の課題となっている。

このような課題に対して、例えば特開平５−６４０７５号公報には、同一撮影シーンに対して露光量の異なる複数の画像を取得して、露光量の多い画像における高輝度域を、露光量の少ない画像における対応する領域により置換する技術、または露光量の少ない画像における低輝度域を、露光量の多い画像における対応する領域により置換する技術、が記載されている。そして、このような技術を用いることにより、白飛びの領域や黒つぶれの領域が発生するのを抑制し、画質を改善することが可能となっている。

また、例えば特許第３４６５２２６号には、画像のテクスチャを解析して、解析結果に基づき画像を複数の領域に分割し、領域毎に独立した階調特性を用いて階調変換を行う技術（スペースバリアントな階調変換技術）が記載されている。これにより、明暗比の大きいシーンでも白飛びや黒つぶれの領域を良好に抑制することが可能となる。

ところで、特開２００５−３０３８０２号公報には、ノイズ量を推定して、推定したノイズ量に基づきノイズ低減処理を行う技術が記載されている。該公報に記載されたノイズ量の推定技術は、ノイズ量を信号レベルに基づいて推定するだけでなく、さらに撮影毎に動的に変化するＩＳＯ感度に基づいて、色信号毎に推定するものとなっている。
特開平５−６４０７５号公報 特許第３４６５２２６号 特開２００５−３０３８０２号公報

しかしながら、上記特開平５−６４０７５号公報に記載されたものでは、露光量の異なる複数の画像をいわばつぎはぎする技術であるために、階調の不連続性が発生してしまうことになる。さらに、単一の撮像素子を用いて画像を取得する場合には、露光量を調整して複数回の撮像を行わなければならないために、動きのある被写体などの撮影に用いることは困難である。

また、上記特許第３４６５２２６号に記載されたものでは、撮像された画像を解析して自動的に階調変換を行う技術であるために、階調特性を画像毎に人為的に調整することができず、改善効果を所望にコントロールすることが困難となっている。

本発明は上記事情に鑑みてなされたものであり、白飛びや黒つぶれなどを低減して画質を改善することができ、画質改善の程度を制御可能な画像信号処理装置、画像信号処理プログラム、画像信号処理方法を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像信号処理装置は、画像信号に画像信号処理を行うための画像信号処理装置であって、上記画像信号における特定輝度域の階調幅を伸張するように階調特性を補正する補正階調処理手段と、上記画像信号における全輝度域の階調特性を補正する階調処理手段と、を具備したものである。

また、第２の発明による画像信号処理装置は、上記第１の発明による画像信号処理装置において、上記補正階調処理手段が、１つ以上設けられており、少なくとも１つの該補正階調処理手段が、上記階調処理手段の前段に配設されたものである。

さらに、第３の発明による画像信号処理装置は、上記第１の発明による画像信号処理装置において、上記補正階調処理手段が、１つ以上設けられており、少なくとも１つの該補正階調処理手段が、上記階調処理手段の後段に配設されたものである。

第４の発明による画像信号処理装置は、上記第１の発明による画像信号処理装置において、上記補正階調処理手段が、複数設けられており、これら複数の内の少なくとも１つの該補正階調処理手段が上記階調処理手段の前段に配設され、該複数の内の他の少なくとも１つの該補正階調処理手段が上記階調処理手段の後段に配設されたものである。

第５の発明による画像信号処理装置は、上記第１の発明による画像信号処理装置において、上記特定輝度域が、上記画像信号における高輝度域と低輝度域との少なくとも一方である。

第６の発明による画像信号処理装置は、上記第１から第４の発明による画像信号処理装置において、上記補正階調処理手段が、複数の階調特性データを保存する階調特性データ保存手段と、上記画像信号における上記特定輝度域の情報を検出する検出手段と、上記検出手段により検出された特定輝度域の情報に基づいて上記複数の階調特性データから該特定輝度域の階調幅を伸張するような階調特性データを１つ以上抽出する階調特性データ抽出手段と、上記階調特性データ抽出手段により抽出された階調特性データに基づいて上記画像信号に補正階調変換を行う補正階調変換手段と、を有して構成されたものである。

第７の発明による画像信号処理装置は、上記第６の発明による画像信号処理装置において、上記検出手段が、上記画像信号の特定輝度域を判断するための閾値を指定する閾値指定手段を有して構成され、該閾値に基づき上記特定輝度域を特定して、該特定領域の情報を検出するものである。

第８の発明による画像信号処理装置は、上記第７の発明による画像信号処理装置において、上記特定輝度域が、上記画像信号における高輝度域と低輝度域とであって、上記閾値指定手段は、上記高輝度域の下限を示す高輝度閾値と、この高輝度閾値よりも小さい値であって上記低輝度域の上限を示す低輝度閾値と、を指定するものであり、上記検出手段は、上記高輝度閾値よりも大きい輝度値をもつ領域を上記特定輝度域としての高輝度域として検出するとともに、上記低輝度閾値よりも小さい輝度値をもつ領域を上記特定輝度域としての低輝度域として検出するものである。

第９の発明による画像信号処理装置は、上記第７の発明による画像信号処理装置において、上記閾値指定手段が、ユーザ入力により上記閾値を指定するための閾値ユーザ指定手段を有して構成されたものである。

第１０の発明による画像信号処理装置は、上記第７の発明による画像信号処理装置において、上記閾値指定手段が、上記閾値を算出して自動的に指定するための閾値自動指定手段を有して構成されたものである。

第１１の発明による画像信号処理装置は、上記第１０の発明による画像信号処理装置において、上記階調特性データ保存手段が、所定の表示装置の階調特性データをさらに保存するものであり、上記閾値自動指定手段は、上記所定の表示装置の階調特性データを分析する分析手段と、上記分析手段による分析結果に基づいて上記閾値を算出する閾値算出手段と、を有して構成されたものである。

第１２の発明による画像信号処理装置は、上記第６の発明による画像信号処理装置において、上記補正階調処理手段が、上記階調特性データ抽出手段により抽出された階調特性データを修正する階調特性修正手段をさらに有して構成され、上記補正階調変換手段は、上記階調特性データ抽出手段により抽出され、上記階調特性修正手段により修正された階調特性データに基づいて、上記画像信号に補正階調変換を行うものである。

第１３の発明による画像信号処理装置は、上記第１２の発明による画像信号処理装置において、上記階調特性修正手段が、上記階調特性データ抽出手段により抽出された階調特性データをどの程度修正するかを示す調整比率を抽出する調整比率抽出手段を有して構成され、上記階調特性データ抽出手段により抽出された階調特性データを、上記調整比率に基づき修正するものである。

第１４の発明による画像信号処理装置は、上記第１３の発明による画像信号処理装置において、上記調整比率抽出手段が、ユーザ入力により上記調整比率を指定するための調整比率ユーザ指定手段を有して構成されたものである。

第１５の発明による画像信号処理装置は、上記第１３の発明による画像信号処理装置において、上記調整比率抽出手段が、上記画像信号に基づき上記調整比率を算出して自動的に指定するための調整比率自動指定手段を有して構成されたものである。

第１６の発明による画像信号処理装置は、上記第１５の発明による画像信号処理装置において、上記調整比率自動指定手段が、上記特定輝度域の面積の情報と、上記特定輝度域に含まれる画素数の情報と、の少なくとも一方に基づき、上記調整比率を指定するものである。

第１７の発明による画像信号処理装置は、上記第１から第４の発明による画像信号処理装置において、上記階調処理手段が、スペースバリアントな階調処理を行うための補正係数を算出する補正係数算出手段と、上記補正係数を用いて上記画像信号にスペースバリアントな階調変換を行う階調変換手段と、を有して構成されたものである。

第１８の発明による画像信号処理装置は、上記第１の発明による画像信号処理装置において、上記補正階調処理手段による処理と、上記階調処理手段による処理と、が行われた画像信号から、画質劣化情報を取得する画質劣化情報取得手段と、上記画質劣化情報に基づいて、上記補正階調処理手段による処理と、上記階調処理手段による処理と、が行われた画像信号を補正する画質補正手段と、をさらに具備したものである。

第１９の発明による画像信号処理装置は、上記第１８の発明による画像信号処理装置において、上記画質劣化情報取得手段が、上記画質劣化情報としてノイズを検出するノイズ検出手段を有して構成されたものであり、上記画質補正手段は、上記補正階調処理手段による処理と、上記階調処理手段による処理と、が行われた画像信号に対してノイズ低減処理を行うノイズ低減手段を有して構成されたものである。

第２０の発明による画像信号処理装置は、上記第１８の発明による画像信号処理装置において、上記画質劣化情報取得手段が、上記画質劣化情報として色ずれを検出する色ずれ検出手段を有して構成されたものであり、上記画質補正手段は、上記補正階調処理手段による処理と、上記階調処理手段による処理と、が行われた画像信号に対して上記色ずれを低減する処理を行う色ずれ低減手段を有して構成されたものである。

第２１の発明による画像信号処理プログラムは、コンピュータに、画像信号に画像信号処理を行わせるための画像信号処理プログラムであって、コンピュータに、上記画像信号における特定輝度域の階調幅を伸張するように階調特性を補正する補正階調処理ステップと、上記画像信号における全輝度域の階調特性を補正する階調処理ステップと、を行わせるためのプログラムである。

第２２の発明による画像信号処理プログラムは、上記第２１の発明による画像信号処理プログラムにおいて、上記補正階調処理ステップが、１つ以上あって、少なくとも１つの該補正階調処理ステップが、上記階調処理ステップの前段に行われる。

第２３の発明による画像信号処理プログラムは、上記第２１の発明による画像信号処理プログラムにおいて、上記補正階調処理ステップが、１つ以上あって、少なくとも１つの該補正階調処理ステップが、上記階調処理ステップの後段に行われる。

第２４の発明による画像信号処理プログラムは、上記第２１の発明による画像信号処理プログラムにおいて、上記補正階調処理ステップが、複数あって、これら複数の内の少なくとも１つの該補正階調処理ステップが上記階調処理ステップの前段に行われ、該複数の内の他の少なくとも１つの該補正階調処理ステップが上記階調処理ステップの後段に行われる。

第２５の発明による画像信号処理プログラムは、上記第２１から第２４の発明による画像信号処理プログラムにおいて、上記補正階調処理ステップが、上記画像信号における上記特定輝度域の情報を検出する検出ステップと、上記検出ステップにより検出された特定輝度域の情報に基づいて予め保存されている複数の階調特性データから該特定輝度域の階調幅を伸張するような階調特性データを１つ以上抽出する階調特性データ抽出ステップと、上記階調特性データ抽出ステップにより抽出された階調特性データに基づいて上記画像信号に補正階調変換を行う補正階調変換ステップと、を含むステップである。

第２６の発明による画像信号処理プログラムは、上記第２５の発明による画像信号処理プログラムにおいて、上記検出ステップが、予め保存された所定の表示装置の階調特性データを分析する分析ステップと、上記分析ステップによる分析結果に基づいて上記画像信号の特定輝度域を判断するための閾値を算出する閾値算出ステップと、を含み、該閾値に基づき上記特定輝度域を特定して、該特定領域の情報を検出するステップである。

第２７の発明による画像信号処理プログラムは、上記第２５の発明による画像信号処理プログラムにおいて、上記補正階調処理ステップが、階調特性データをどの程度修正するかを示す調整比率を、上記特定輝度域の面積の情報と、上記特定輝度域に含まれる画素数の情報と、の少なくとも一方に基づき自動的に算出し、算出された上記調整比率に基づき上記階調特性データ抽出ステップにより抽出された階調特性データを修正する階調特性修正ステップをさらに含み、上記補正階調変換ステップは、上記階調特性データ抽出ステップにより抽出され、上記階調特性修正ステップにより修正された階調特性データに基づいて、上記画像信号に補正階調変換を行うステップである。

第２８の発明による画像信号処理プログラムは、上記第２１から第２４の発明による画像信号処理プログラムにおいて、上記階調処理ステップが、スペースバリアントな階調処理を行うための補正係数を算出する補正係数算出ステップと、上記補正係数を用いて上記画像信号にスペースバリアントな階調変換を行う階調変換ステップと、を含むステップである。

第２９の発明による画像信号処理プログラムは、上記第２１の発明による画像信号処理プログラムにおいて、コンピュータに、上記補正階調処理ステップと上記階調処理ステップとが行われた画像信号から画質劣化情報を取得する画質劣化情報取得ステップと、上記画質劣化情報に基づいて上記補正階調処理ステップと上記階調処理ステップとが行われた画像信号を補正する画質補正ステップと、をさらに行わせるためのプログラムである。

第３０の発明による画像信号処理方法は、画像信号に画像信号処理を行うための画像信号処理方法であって、上記画像信号における特定輝度域の階調幅を伸張するように階調特性を補正する補正階調処理ステップと、上記画像信号における全輝度域の階調特性を補正する階調処理ステップと、を含む方法である。

第３１の発明による画像信号処理方法は、上記第３０の発明による画像信号処理方法において、上記補正階調処理ステップが、１つ以上あって、少なくとも１つの該補正階調処理ステップが、上記階調処理ステップの前段に行われる。

第３２の発明による画像信号処理方法は、上記第３０の発明による画像信号処理方法において、上記補正階調処理ステップが、１つ以上あって、少なくとも１つの該補正階調処理ステップが、上記階調処理ステップの後段に行われる。

第３３の発明による画像信号処理方法は、上記第３０の発明による画像信号処理方法において、上記補正階調処理ステップが、複数あって、これら複数の内の少なくとも１つの該補正階調処理ステップが上記階調処理ステップの前段に行われ、該複数の内の他の少なくとも１つの該補正階調処理ステップが上記階調処理ステップの後段に行われる。

第３４の発明による画像信号処理方法は、上記第３０から第３３の発明による画像信号処理方法において、上記補正階調処理ステップが、上記画像信号における上記特定輝度域の情報を検出する検出ステップと、上記検出ステップにより検出された特定輝度域の情報に基づいて予め保存されている複数の階調特性データから該特定輝度域の階調幅を伸張するような階調特性データを１つ以上抽出する階調特性データ抽出ステップと、上記階調特性データ抽出ステップにより抽出された階調特性データに基づいて上記画像信号に補正階調変換を行う補正階調変換ステップと、を含むステップである。

第３５の発明による画像信号処理方法は、上記第３４の発明による画像信号処理方法において、上記検出ステップが、予め保存された所定の表示装置の階調特性データを分析する分析ステップと、上記分析ステップによる分析結果に基づいて上記画像信号の特定輝度域を判断するための閾値を算出する閾値算出ステップと、を含み、該閾値に基づき上記特定輝度域を特定して、該特定領域の情報を検出するステップである。

第３６の発明による画像信号処理方法は、上記第３４の発明による画像信号処理方法において、上記補正階調処理ステップが、階調特性データをどの程度修正するかを示す調整比率を、上記特定輝度域の面積の情報と、上記特定輝度域に含まれる画素数の情報と、の少なくとも一方に基づき自動的に算出し、算出された上記調整比率に基づき上記階調特性データ抽出ステップにより抽出された階調特性データを修正する階調特性修正ステップをさらに含み、上記補正階調変換ステップは、上記階調特性データ抽出ステップにより抽出され、上記階調特性修正ステップにより修正された階調特性データに基づいて、上記画像信号に補正階調変換を行うステップである。

第３７の発明による画像信号処理方法は、上記第３０から第３３の発明による画像信号処理方法において、上記階調処理ステップが、スペースバリアントな階調処理を行うための補正係数を算出する補正係数算出ステップと、上記補正係数を用いて上記画像信号にスペースバリアントな階調変換を行う階調変換ステップと、を含むステップである。

第３８の発明による画像信号処理方法は、上記第３０の発明による画像信号処理方法において、上記補正階調処理ステップと上記階調処理ステップとが行われた画像信号から画質劣化情報を取得する画質劣化情報取得ステップと、上記画質劣化情報に基づいて上記補正階調処理ステップと上記階調処理ステップとが行われた画像信号を補正する画質補正ステップと、をさらに含む方法である。

本発明の画像信号処理装置、画像信号処理プログラム、画像信号処理方法によれば、白飛びや黒つぶれなどを低減して画質を改善することができ、画質改善の程度を制御可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１０は本発明の実施形態１を示したものであり、図１は画像信号処理装置の構成を示すブロック図である。

この画像信号処理装置は、レンズ系１００と、絞り１０１と、撮像素子たるＣＣＤ１０２と、増幅部１０３と、Ａ／Ｄ変換部１０４と、バッファ部１０５と、画像信号判断部１０６と、階調特性データ抽出手段たる階調特性データ抽出部１０７と、階調変換部１０８と、ノイズ低減部１０９と、出力部１１０と、階調特性データ保存手段たるＲＯＭ１１１と、制御部１１２と、閾値指定手段であり閾値ユーザ指定手段たる外部Ｉ／Ｆ部１１３と、を有して構成されている。すなわち、本実施形態の画像信号処理装置は、レンズ系１００、絞り１０１、ＣＣＤ１０２、増幅部１０３、Ａ／Ｄ変換部１０４等の撮像部を備える撮像装置として構成されたものとなっている。

レンズ系１００、絞り１０１、ＣＣＤ１０２を介して撮影し出力されたアナログの画像信号は、増幅部１０３によって増幅される。この増幅部１０３により増幅されたアナログの画像信号は、Ａ／Ｄ変換部１０４によってデジタル信号へ変換され、バッファ部１０５へ転送される。

バッファ部１０５は、画像信号判断部１０６と、階調特性データ抽出部１０７と、階調変換部１０８と、ノイズ低減部１０９と、を介して出力部１１０へ接続されている。ＲＯＭ１１１は、画像信号判断部１０６と、階調特性データ抽出部１０７と、ノイズ低減部１０９と、へ接続されている。

制御部１１２は、例えばマイクロコンピュータなどにより構成されていて、増幅部１０３、Ａ／Ｄ変換部１０４、バッファ部１０５、画像信号判断部１０６、階調特性データ抽出部１０７、階調変換部１０８、ノイズ低減部１０９、出力部１１０、ＲＯＭ１１１、外部Ｉ／Ｆ部１１３と双方向に接続されており、これらを制御するようになっている。

ここに、外部Ｉ／Ｆ部１１３は、電源スイッチ，シャッタボタン等を備えたインタフェースである。

次に、図１に示したような画像信号処理装置の作用を、画像信号の流れに沿って説明する。

外部Ｉ／Ｆ部１１３を介してシャッタボタンが押されると、撮像装置であるこの画像信号処理装置が、撮影に係る各種の処理を以下に説明するように行う。

レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像する。

絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更する。

ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの画像信号として出力する。このときに出力されるアナログの画像信号は、公知の相関二重サンプリング等が行われた信号である。

なお、本実施形態においては、ＣＣＤ１０２として、ベイヤー（Bayer）型の原色カラーフィルタを前面に配置した単板ＣＣＤを想定している。従って、この想定の下では、ＣＣＤ１０２から出力される画像信号は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三成分からなるカラー画像信号となる。

増幅部１０３は、制御部１１２の制御に基づき、ＣＣＤ１０２からのアナログの画像信号を増幅する。

Ａ／Ｄ変換部１０４は、増幅部１０３により増幅されたアナログの画像信号を、デジタルの画像信号に変換して、バッファ部１０５へ転送する。

バッファ部１０５は、Ａ／Ｄ変換部１０４から転送された画像信号を記憶する。

画像信号判断部１０６は、高輝度画像信号の閾値（高輝度閾値）をＲＯＭ１１１から読み出す。そして、画像信号判断部１０６は、読み出した高輝度閾値に基づいて、バッファ部１０５から転送されてきた画像信号に高輝度画像信号があるか否かを判定し、高輝度判断結果を生成する。そして、画像信号判断部１０６は、高輝度判断結果と画像信号とを、階調特性データ抽出部１０７へ転送する（なお、図１やその他の各ブロック図において、太実線で示される信号は、画像信号を少なくとも含むが、画像信号以外の信号を含むこともある。）。

階調特性データ抽出部１０７は、転送されてきた高輝度判断結果に基づいて、ＲＯＭ１１１から上記画像信号に適合する階調特性データを抽出し、抽出した階調特性データを高輝度判断結果および画像信号と共に階調変換部１０８へ転送する。

階調変換部１０８は、高輝度判断結果と転送されてきた階調特性データとに基づいて、画像信号に対応する階調変換処理を該画像信号に対して行い、処理後の画像信号をノイズ低減部１０９へ転送する。

ノイズ低減部１０９は、転送されてきた画像信号に対してノイズ低減処理を行い、処理後の画像信号を出力部１１０へ転送する。

出力部１１０は、例えば表示装置や記録装置を含んで構成されていて、ノイズ低減部１０９から転送されてきた画像信号に基づき表示を行ったり、あるいは、メモリカード等の記録媒体への記録を行う。

次に、図２は、画像信号判断部１０６の構成の一例を示すブロック図である。

この画像信号判断部１０６は、輝度信号変換部４１０と、検出手段たる特定輝度域検出部４２０と、を有して構成されている。

バッファ部１０５は、輝度信号変換部４１０と、特定輝度域検出部４２０と、を介して、階調特性データ抽出部１０７へ接続されている。ＲＯＭ１１１は、特定輝度域検出部４２０と接続されている。制御部１１２は、輝度信号変換部４１０、特定輝度域検出部４２０と双方向に接続されており、これらを制御するようになっている。

輝度信号変換部４１０は、本実施形態においては、バッファ部１０５から画素単位で転送されてくる画素位置（ｉ，ｊ）（ここに、ｉは画像信号の横方向の座標値、ｊは画像信号の縦方向の座標値、をそれぞれ示す。）のＲＧＢ画像信号（Ｒij：Ｒ信号、Ｇij：Ｇ信号、Ｂij：Ｂ信号）に基づいて、次の数式１に示すように輝度値Ｋijを画素毎に算出する。
［数１］
Ｋij＝Ａ１×Ｒij＋Ａ２×Ｇij＋Ａ３×Ｂij
ここに、Ａ１，Ａ２，Ａ３は、輝度値Ｋijを算出する際に、Ｒ信号Ｒij，Ｇ信号Ｇij，Ｂ信号Ｂijにそれぞれ乗算される所定の定数である。

次に、特定輝度域検出部４２０は、高輝度画像信号を判断するための高輝度閾値をＲＯＭ１１１から読み出して、読み出した高輝度閾値と、バッファ部１０５から画素単位で転送されてきた輝度値Ｋijと、を比較する。特定輝度域検出部４２０は、輝度値Ｋijが高輝度閾値よりも大きい場合には、該画素の画像信号が高輝度画像信号であると判断する。特定輝度域検出部４２０は、このような比較を画像に含まれる全画素について行い、高輝度画像信号であると判断された画素の数をカウントする。そして、特定輝度域検出部４２０は、全画素についての処理を行った後のカウンタの値と、ＲＯＭ１１１から読み出した所定の閾値とを比較して、カウンタ値が所定の閾値よりも大きい場合には画像に高輝度画像信号が存在することを高輝度判断結果とし、カウンタ値が所定の閾値以下である場合には画像に高輝度画像信号が存在しないことを高輝度判断結果とする。

その後、特定輝度域検出部４２０は、高輝度判断結果と画像信号とを階調特性データ抽出部１０７へ転送する。

なお、上述では、ＲＯＭ１１１に高輝度画像信号を判断するための高輝度閾値が予め記憶されていて、特定輝度域検出部４２０は、この高輝度閾値をＲＯＭ１１１から読み出して用いていたが、これに限らず、高輝度閾値を指定することができるようにしても良い。ここに、高輝度閾値を指定する手段の例としては、ユーザが外部Ｉ／Ｆ部１１３を介して手動で設定する手段と、出力部１１０に含まれる（あるいは、出力部１１０に接続される）表示装置のγ特性等に基づき自動的に設定する手段と、が挙げられる。

ここに、手動で設定する手段としては、ユーザが外部Ｉ／Ｆ部１１３を介して所望の高輝度閾値を手動で設定しても良いし、あるいは、ＲＯＭ１１１に複数の高輝度閾値を予め用意しておいて、これらの高輝度閾値の内の何れか一つをユーザが外部Ｉ／Ｆ部１１３を介して指定する手段であっても構わない。

また、自動的に高輝度閾値を設定する手段を採用する場合には、特定輝度域検出部４２０を、次の図５に示すように構成することが考えられる。

図５は、特定輝度域検出部４２０の構成の一例を示すブロック図である。

この特定輝度域検出部４２０は、ガンマ（γ）特性データ抽出部４２１と、閾値指定手段、閾値自動指定手段、分析手段、閾値算出手段を兼ねた閾値検出部４２２と、高輝度域判断部４２３と、を有して構成されている。

輝度信号変換部４１０は、ガンマ特性データ抽出部４２１と、閾値検出部４２２と、高輝度域判断部４２３と、を介して、階調特性データ抽出部１０７へ接続されている。ＲＯＭ１１１は、ガンマ特性データ抽出部４２１と、閾値検出部４２２と、高輝度域判断部４２３と、へ接続されている。制御部１１２は、ガンマ特性データ抽出部４２１、閾値検出部４２２、高輝度域判断部４２３と双方向に接続されており、これらを制御するようになっている。

また、ＲＯＭ１１１は、異なる表示装置に対応する複数のγ特性データを予め記憶しているものとする。

階調変換を行うと、変換前には白飛びではない画像信号が、変換後には白飛びになってしまう現象が生じることがある。その原因は、例えば後述する図４に示すような階調変換曲線（トーンカーブ）を用いる場合、高輝度域におけるトーンカーブがほぼ水平になっているために、該高輝度域の画像信号を階調変換すると、変換後には濃淡変化がほとんどなくなってしまうことにある。そこで、階調変換曲線における傾きが小さい部分を検出すれば、高輝度閾値を自動指定することが可能となる。

図５に示す特定輝度域検出部４２０の、このような原理に基づく作用について説明する。

まず、ガンマ特性データ抽出部４２１が、制御部１１２の制御に基づき、出力部１１０に含まれる（あるいは、出力部１１０に接続される）所定の表示装置に対応するγ特性データを、ＲＯＭ１１１から抽出する。そして、ガンマ特性データ抽出部４２１は、抽出したγ特性データと、輝度信号変換部４１０からの輝度値Ｋijとを、閾値検出部４２２へ転送する。

次に、閾値検出部４２２は、白飛びであると判定される所定の角度ΔTHをＲＯＭ１１１から読み出す。そして、閾値検出部４２２は、ガンマ特性データ抽出部４２１からのγ特性データと、ＲＯＭ１１１から読み出した角度ΔTHと、に基づいて、次に説明するように、着目点の傾き角度Δを算出する。

ここに、例えば、８ビット（２５６階調）の画像信号から８ビットの画像信号への階調変換を行う場合には、表示装置に対応するγ特性データは、０〜２５５までの入力レベルに対応する２５６点のデータとなる。なお、出力レベルも、入力レベルと同様に０〜２５５である。

今、小さい方から順に数えてｘ番目の入力レベルをＮxiとし、この入力レベルＮxiに対応する出力レベルをＮxoとして、（Ｎxi，Ｎxo）を着目点とする。さらに、最大入力レベル２５５に対応する出力レベルをＮ255oとして、（２５５，Ｎ255o）を最大点とする。

このとき、入力レベルが小さい順に着目点を移動させながら、着目点と最大点とを通る直線の傾き角度Δを次の数式２に示すように算出する。
［数２］
Δ＝ａｒｃｔａｎ｛（Ｎ255o−Ｎxo）／（２５５−Ｎxi）｝

そして、着目点の移動に従って順に算出される傾き角度Δ（数式２）が、ＲＯＭ１１１から読み出した所定の角度ΔTHよりもはじめて小さくなったときの着目点の入力レベルを、高輝度閾値ＳＴ１とする。

その後、閾値検出部４２２は、検出した高輝度閾値ＳＴ１と、ガンマ特性データ抽出部４２１を介して転送された輝度値Ｋijとを、高輝度域判断部４２３へ転送する。

高輝度域判断部４２３は、画素単位で転送される輝度値Ｋijを、転送されてきた高輝度閾値ＳＴ１と比較して、輝度値Ｋijが高輝度閾値ＳＴ１よりも大きい場合には、該画素の画像信号が高輝度画像信号であると判断する。

高輝度域判断部４２３は、このような比較を画像に含まれる全画素について行い、高輝度画像信号であると判断された画素の数をカウントする。そして、特定輝度域検出部４２０は、全画素についての処理を行った後のカウンタの値と、ＲＯＭ１１１から読み出した所定の閾値とを比較して、カウンタ値が所定の閾値よりも大きい場合には画像に高輝度画像信号が存在することを高輝度判断結果とし、カウンタ値が所定の閾値以下である場合には画像に高輝度画像信号が存在しないことを高輝度判断結果とする。

その後、高輝度域判断部４２３は、高輝度判断結果と、輝度信号変換部４１０、ガンマ特性データ抽出部４２１、閾値検出部４２２を介して順次転送されてきた画像信号とを、階調特性データ抽出部１０７へ転送する。さらに、高輝度域判断部４２３は、必要に応じて高輝度閾値ＳＴ１も階調特性データ抽出部１０７へ転送するようになっている。

図１の説明に戻って、階調特性データ抽出部１０７は、転送されてきた高輝度判断結果に基づき、ＲＯＭ１１１から階調変換処理用の補正階調特性データを抽出する。すなわち、階調特性データ抽出部１０７は、高輝度判断結果が高輝度画像信号が存在することを示すものである場合には、高輝度画像信号を補正するための第１補正階調処理の階調特性データと、第２補正階調処理の階調特性データと、をＲＯＭ１１１から抽出する。一方、階調特性データ抽出部１０７は、高輝度判断結果が高輝度画像信号が存在しないことを示すものである場合には、第２補正階調処理の階調特性データのみをＲＯＭ１１１から抽出する。

ここに、本実施形態においては、第１補正階調処理の階調特性データは、高輝度域の階調幅を伸張するような階調特性データとなっている。この第１補正階調処理の階調特性データは、具体例としては、図３に示すようなものとなっている。ここに、図３は、第１補正階調処理の階調特性データを示す線図である。なお、この第１補正階調処理の階調特性データは、一種類のみを設けることも可能であるが、ここでは、高輝度閾値ＳＴ１の値に応じた複数種類を設けるものとする。

従って、ＲＯＭ１１１には、高輝度閾値に対応する複数の第１補正階調処理の階調特性データと、第２補正階調処理の階調特性データと、が予め記憶されている。

そして、階調特性データ抽出部１０７は、高輝度判断結果が高輝度画像信号が存在することを示すものである場合には、画像信号判断部１０６から転送された高輝度閾値ＳＴ１に応じた第１補正階調処理の階調特性データをＲＯＭ１１１から読み出すことになる。

なお、ここでは、ＲＯＭ１１１に記憶されている複数の第１補正階調処理の階調特性データを、高輝度閾値ＳＴ１に基づき選択するようにしているが、ユーザが外部Ｉ／Ｆ部１１３を介して所望に選択するようにしても構わない。さらにあるいは、ユーザが外部Ｉ／Ｆ部１１３を介して、任意の第１補正階調処理の階調特性データを所望に設定することができるようにしても良い。

また、第２補正階調処理の階調特性データは、出力部１１０に含まれる（あるいは、出力部１１０に接続される）表示装置に対応するγ特性データとなっている。この第２補正階調処理の階調特性データは、具体例としては、図４に示すようなものとなっている。ここに、図４は、第２補正階調処理の階調特性データを示す線図である。

階調特性データ抽出部１０７は、抽出した第２補正階調処理の階調特性データと、必要に応じて抽出した第１補正階調処理の階調特性データとを、画像信号判断部１０６から転送されてきた画像信号と共に階調変換部１０８へ転送する。

図６は、階調変換部１０８の構成の一例を示すブロック図である。

この階調変換部１０８は、バッファ部５１０と、補正階調処理手段であり補正階調変換手段たる第１補正階調処理部５２０と、階調処理手段たる階調処理部５３０と、補正階調処理手段たる第２補正階調処理部５４０と、ＲＡＭ５５０と、を有して構成されている。

階調特性データ抽出部１０７は、バッファ部５１０とＲＡＭ５５０とへ接続されている。バッファ部５１０は、第１補正階調処理部５２０と、階調処理部５３０と、へ接続されている。第１補正階調処理部５２０は、階調処理部５３０へ接続されている。階調処理部５３０は、第２補正階調処理部５４０を介してノイズ低減部１０９へ接続されている。ＲＡＭ５５０は、第１補正階調処理部５２０と、第２補正階調処理部５４０と、へ接続されている。

制御部１１２は、バッファ部５１０、第１補正階調処理部５２０、階調処理部５３０、第２補正階調処理部５４０、ＲＡＭ５５０と双方向に接続されており、これらを制御するようになっている。

階調特性データ抽出部１０７からの画像信号は、バッファ部５１０に保存される。また、階調特性データ抽出部１０７からの第１補正階調処理の階調特性データと第２補正階調処理の階調特性データと高輝度判断結果とは、ＲＡＭ５５０に保存される。

階調変換部１０８は、制御部１１２の制御に基づいて、ＲＡＭ５５０から高輝度判断結果を抽出する。そして、高輝度判断結果が高輝度画像信号が存在しないことを示すものである場合には、階調変換部１０８は、制御部１１２の制御に基づいて、バッファ部５１０内の画像信号を階調処理部５３０へ転送する。また、高輝度判断結果が高輝度画像信号が存在することを示すものである場合には、階調変換部１０８は、制御部１１２の制御に基づいて、バッファ部５１０内の画像信号を第１補正階調処理部５２０へ転送する。

第１補正階調処理部５２０は、ＲＡＭ５５０から例えば図３に示したような第１補正階調処理用の階調特性データを抽出して、バッファ部５１０から転送されてきた画像信号に対して第１補正階調処理を行い、処理後の画像信号を階調処理部５３０へ転送する。ここに、第１補正階調処理は、高輝度域の階調幅を伸張するための処理である。従って、第１補正階調処理用の階調特性データは、図３に示すように、高輝度域での変化が急になる特性のものとなっている。ただし、この図３に示すような階調特性を用いると、高輝度域の階調幅は伸張されるものの、低輝度域から中輝度域にかけての階調幅は必然的に圧縮される。従って、低輝度域から中輝度域にかけての明度およびコントラストは低下することになる。

階調処理部５３０は、第１補正階調処理部５２０またはバッファ部５１０から転送されてきた画像信号に、画素毎の、または領域毎のスペースバリアントな階調補正処理を行う。この階調処理部５３０が行う処理の具体的な例としては、上述した特許第３４６５２２６号に記載されているような技術が挙げられる。

図７は、階調処理部５３０の構成の一例を示すブロック図である。

この階調処理部５３０は、バッファ部５３１と、補正係数算出手段たる領域分割部５３２と、補正係数算出手段たるヒストグラム作成部５３３と、補正係数算出手段たる累積正規化部５３４と、補正係数算出手段たる補正係数算出部５３５と、階調変換手段たる乗算部５３６と、を有して構成されている。

バッファ部５１０と第１補正階調処理部５２０とは、バッファ部５３１へ接続されている。バッファ部５３１は、領域分割部５３２と、乗算部５３６と、へ接続されている。領域分割部５３２は、ヒストグラム作成部５３３と、累積正規化部５３４と、補正係数算出部５３５と、を介して乗算部５３６へ接続されている。乗算部５３６は、第２補正階調処理部５４０へ接続されている。

制御部１１２は、バッファ部５３１、領域分割部５３２、ヒストグラム作成部５３３、累積正規化部５３４、補正係数算出部５３５、乗算部５３６と双方向に接続されており、これらを制御するようになっている。

このような階調処理部５３０の作用は、以下に説明するようになっている。

まず、バッファ部５１０からの画像信号、または第１補正階調処理部５２０からの画像信号は、バッファ部５３１へ保存される。

次に、領域分割部５３２は、バッファ部５３１から転送されてきた画像信号をテクスチャ解析し、この解析結果に基づいて画像を複数の領域に分割する。そして、領域分割部５３２は、複数の領域に分割した画像信号をヒストグラム作成部５３３へ転送する。

ヒストグラム作成部５３３は、分割された領域毎にヒストグラムを作成して、作成したヒストグラムを累積正規化部５３４へ転送する。

累積正規化部５３４は、ヒストグラム作成部５３３から転送されたヒストグラムを累積して、さらにこの累積ヒストグラムを階調幅に合わせて正規化することにより階調変換曲線を生成する。本実施形態では、画像信号の階調幅を８ビットと仮定しているために、生成される階調変換曲線は、入力が８ビット階調幅、出力が８ビット階調幅のものとなる。累積正規化部５３４は、生成した階調変換曲線を補正係数算出部５３５へ転送する。

補正係数算出部５３５は、累積正規化部５３４から転送されてきた階調変換曲線に基づき、画素位置（ｉ，ｊ）毎の補正係数ｇijを算出する。この補正係数ｇijは、画素毎の入力値に対応する階調変換後の出力値を、該画素毎の入力値で割り算することにより算出される。

そして、乗算部５３６は、バッファ部５３１から画素毎に転送されてきた階調変換前の画像信号Ｐijに、補正係数算出部５３５から画素毎に転送されてきた補正係数ｇijを乗算することにより、階調変換後の画像信号Ｍijを次の数式３に示すように算出する。
［数３］
Ｍij＝Ｐij×ｇij

乗算部５３６は、このようにして算出した階調変換後の画像信号Ｍijを、第２補正階調処理部５４０へ出力する。

階調処理部５３０がこのような処理を行った結果、第１補正階調処理部５２０の階調補正により低下した低輝度域から中輝度域にかけての明度およびコントラストが、第１補正階調処理を行わない状態に近いレベルまで改善される。さらに、このような処理の結果、高輝度域の階調幅が、第１補正階調処理を行わない場合よりも伸張され、つまり白飛びが抑制される。

図６の説明に戻って、第２補正階調処理部５４０は、ＲＡＭ５５０から例えば図４に示したような第２補正階調処理用の階調特性データを抽出して、階調処理部５３０から転送されてきた画像信号に対して第２補正階調処理を行い、処理後の画像信号をノイズ低減部１０９へ転送する。ここに、第２補正階調処理は、表示装置のγ特性をキャンセルするためのものである。この第２補正階調処理用の階調特性データは、一般的に、表示装置の階調再現特性の逆特性となっている。なお、図４に示す特性は、この第２補正階調処理用の階調特性の典型例となっている。

続くノイズ低減部１０９は、第２補正階調処理部５４０から転送されてきた画像信号に含まれると推定されるノイズ量を算出して、該画像信号にノイズ低減処理を行う。ここに、ノイズ低減部１０９は、例えば上述した特開２００５−３０３８０２号公報に記載されているような公知の技術を用いて、ノイズ量を推定し、ノイズ低減処理を行うようになっている。

図８は、ノイズ低減部１０９の構成の一例を示すブロック図である。

このノイズ低減部１０９は、画質劣化情報取得手段でありノイズ検出手段たるノイズ検出部６１０と、画質補正手段でありノイズ低減手段たるノイズ除去部６２０と、を有して構成されている。

階調変換部１０８は、ノイズ検出部６１０と、ノイズ除去部６２０と、を介して出力部１１０へ接続されている。ＲＯＭ１１１は、ノイズ検出部６１０と接続されている。制御部１１２は、ノイズ検出部６１０、ノイズ除去部６２０と双方向に接続されており、これらを制御するようになっている。

ノイズ検出部６１０は、ＲＯＭ１１１から、画像を撮像したときの撮影条件等に対応するノイズモデルを抽出する。このノイズモデルは、画像信号の信号値（特に、輝度信号の信号値）と、該信号値に対応するノイズ量と、の関係を示すモデルである。そして、撮影条件とは、例えば、増幅部１０３による増幅率（ＩＳＯ感度に対応している）、あるいはホワイトバランス処理を行った場合にはホワイトバランス係数、さらにあるいは、画像を撮影したときのＣＣＤ１０２の温度、などである。

次に、ノイズ検出部６１０は、抽出したノイズモデルに基づき、階調変換部１０８から画素毎に転送されてきた画像信号のノイズ量を算出する。ノイズ検出部６１０は、こうして算出したノイズ量と、画像信号とを、ノイズ除去部６２０へ転送する。

ノイズ除去部６２０は、転送されてきた画素毎のノイズ量を用いて、画素毎に画像信号にノイズ低減処理を行う。ノイズ除去部６２０は、さらに、ノイズ低減後の画像信号をＲＧＢへ変換する処理も行う。ノイズ除去部６２０は、このようにして得られたＲＧＢの画像信号を、出力部１１０へ転送する。

なお、上述ではレンズ系１００、絞り１０１、ＣＣＤ１０２、増幅部１０３、Ａ／Ｄ変換部１０４を含む撮像部を一体化した構成の画像信号処理装置について説明したが、画像信号処理装置としてはこのような構成に限定される必要はなく、撮像部が別体であっても構わない。すなわち、別体の撮像部により撮像され、未処理のロー（ＲＡＷ）データの形態でメモリカード等の記録媒体に記録された画像信号を、該記録媒体から読み出して処理する画像信号処理装置であっても構わない。ただし、このときには、撮影時の情報（ＩＳＯ感度やホワイトバランス係数など）が、ヘッダ部等に記録されているものとする。なお、別体の撮像部から画像信号処理装置への各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのロー（ＲＡＷ）データとしてメモリカード等の記録媒体に記録するとともに、制御部１１２からの撮影時の情報（ＩＳＯ感度やホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、上述と同様に、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図９は、画像信号処理プログラムによる処理を示すフローチャートである。

この処理を開始すると、まず、画像信号や上記ヘッダ情報等を読み込むとともに、該画像信号処理プログラムが予め備えている階調特性データなどの情報も読み込む（ステップＳ１）。この処理は、撮像装置である画像信号処理装置において、被写体を撮影して画像信号を取得する処理に相当している。

次に、画像信号における高輝度画像信号の検出を行う（ステップＳ２）。

続いて、ステップＳ２の検出結果に基づき、画像信号に高輝度画像信号が存在するか否かを判定する（ステップＳ３）。

ここで、高輝度画像信号が存在すると判定された場合には、第１補正階調処理用の階調特性データを選定して、選定された階調特性データに基づき、画像信号に対して第１補正階調処理を行う（ステップＳ４）。

このステップＳ４の処理が終了するか、またはステップＳ３において高輝度画像信号が存在しないと判定された場合には、画像信号を用いて画素毎あるいは領域毎にスペースバリアントな階調変換処理用の補正係数を算出し、ステップＳ４の処理が行われた画像信号にこの補正係数を乗算することにより、スペースバリアントな階調変換処理を行う（ステップＳ５）。

次に、第２補正階調処理用の階調特性データを選定して、選定された階調特性データに基づき、画像信号に対して第２補正階調処理を行う（ステップＳ６）。

従って、ステップＳ３において高輝度信号が存在すると判定された場合には第１補正階調処理と第２補正階調処理とが行われることになり、一方、高輝度画像信号が存在しないと判定された場合には、第２補正階調処理のみが行われることになる。

続いて、公知のノイズ低減処理を行う（ステップＳ７）。

その後、ノイズ低減後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカード等に保存したりしてから（ステップＳ８）、この処理を終了する。

次に、図１０は、図９のステップＳ２における高輝度信号の検出処理の詳細を示すフローチャートである。この図１０に示す処理は、上述した特定輝度域検出部４２０において行われる処理に対応するものとなっている。

この処理を開始すると、まず、所定の表示装置に対応するγ特性データを抽出する（ステップＳ１０１）。

次に、図４に示したように、γ特性データに対応する傾き角度Δ（数式２）が白飛びと認定する所定の角度ΔTHよりもはじめて小さくなったときの入力レベルを、高輝度閾値（図４に示したＳＴ１）とする（ステップＳ１０２）。

続いて、画像に含まれる全画素の輝度値を高輝度閾値と比較して、高輝度閾値よりも輝度値が大きい画素（高輝度画像信号と判定される画素）の数をカウントする（ステップＳ１０３）。

そして、高輝度画像信号のカウント数を所定の閾値と比較して、所定の閾値よりも大きい場合には、画像に高輝度画像信号が存在すると判断する。これに対して、高輝度画像信号のカウント数が所定の閾値よりも小さい場合には、画像に高輝度画像信号が存在しないと判断する（ステップＳ１０４）。

このステップＳ１０４の処理が終了したら、その後は図９に示した処理へ復帰する。

なお、ここでは高輝度閾値を自動的に設定する例について説明したが、ユーザ入力により手動で設定するようにしても構わない。このときには、図１０のステップＳ１０１およびステップＳ１０２の処理に代えて、高輝度閾値の手動入力処理を行うようにすれば良い。

また、上述したような技術は、画像信号が静止画像信号である場合と動画像信号である場合との何れにも適用することが可能である。

そして、上述では画像信号処理装置、画像信号処理プログラムについて説明したが、これらに限らず、上述したような処理を行うための画像信号処理方法であっても構わない。

このような実施形態１によれば、高輝度域の階調幅を伸張する第１補正階調処理を行い、続いてスペースバリアントな階調変換処理を行うようにしたために、高輝度域の階調が伸張された状態を保ったまま、第１補正階調処理で階調が圧縮されてしまった低輝度域から中輝度域の階調を伸張して元に近い状態に戻すことができる。さらにその後に、表示装置の階調再現特性を反映した階調補正を第２補正階調処理として行うようにしたために、表示装置において高輝度域の階調幅が伸張された適切な画像を観察することが可能となる。

こうして、高輝度域における白飛びの発生を低減して、画質を改善することができる。

さらに、第１補正階調処理に用いるトーンカーブを複数種類の中から選択したり所望に設定したりすることができるために、画質改善の程度を制御することが可能となる。

また、高輝度閾値を自動的に設定する場合には、手動設定が不要であるために、操作が簡単な画像信号処理装置となる。

［実施形態２］
図１１から図１７は本発明の実施形態２を示したものであり、図１１は画像信号処理装置の構成を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態２は、実施形態１の図１に示した画像信号処理装置において、階調特性データ抽出部１０７を階調特性データ抽出手段であり調整比率抽出手段たる階調特性データ抽出部２０７へ、階調変換部１０８を階調変換部２０８へ、ノイズ低減部１０９を色ずれ低減部２０９へ、それぞれ置換した構成になっている。また、本実施形態における外部Ｉ／Ｆ部１１３は、調整比率ユーザ指定手段を兼ねたものとなっている。その他の基本的な構成は上述した実施形態１と同様であり、例えば画像信号判断部１０６の構成は図２に示したものと同様である。

画像信号判断部１０６は、階調特性データ抽出部２０７と、階調変換部２０８と、色ずれ低減部２０９と、を介して出力部１１０へ接続されている。ＲＯＭ１１１は、画像信号判断部１０６と、階調特性データ抽出部２０７と、階調変換部２０８と、色ずれ低減部２０９と、へ接続されている。

制御部１１２は、階調特性データ抽出部２０７、階調変換部２０８、色ずれ低減部２０９と双方向に接続されており、これらを制御するようになっている。

次に、図１１に示したような画像信号処理装置の作用を、画像信号の流れに沿って説明する。

外部Ｉ／Ｆ部１１３を介してシャッタボタンが押されると、レンズ系１００、絞り１０１、ＣＣＤ１０２により撮像が行われ、画像信号が出力されて増幅部１０３により増幅され、Ａ／Ｄ変換部１０４によってデジタル信号へ変換される。

バッファ部１０５は、Ａ／Ｄ変換部１０４から転送された画像信号を記憶する。

画像信号判断部１０６は、高輝度画像信号の閾値（高輝度閾値）を例えばＲＯＭ１１１から読み出す。そして、画像信号判断部１０６は、読み出した高輝度閾値に基づいて、バッファ部１０５から転送されてきた画像信号に高輝度画像信号があるか否かを判定し、高輝度判断結果を生成する。そして、画像信号判断部１０６は、高輝度判断結果と画像信号とを、階調特性データ抽出部２０７へ転送する。

階調特性データ抽出部２０７は、ＲＯＭ１１１から所定の表示装置に対応するγ特性データを抽出する。さらに、階調特性データ抽出部２０７は、高輝度判断結果が高輝度画像信号が存在することを示すものである場合には、階調特性データを修正するための調整比率をＲＯＭ１１１から抽出する。そして、階調特性データ抽出部２０７は、γ特性データと、高輝度判断結果と、画像信号と、必要に応じて調整比率と、を階調変換部２０８へ転送する。

階調変換部２０８は、転送されてきた階調特性データを修正して、修正された階調特性データに基づき、画像信号に対応する階調変換処理を該画像信号に対して行い、処理後の画像信号を色ずれ低減部２０９へ転送する。

色ずれ低減部２０９は、転送されてきた画像信号に対して色ずれ低減処理を行い、処理後の画像信号を出力部１１０へ転送する。

出力部１１０は、色ずれ低減部２０９から転送されてきた画像信号に基づき表示装置への表示を行ったり、あるいは、記録装置によりメモリカード等の記録媒体への記録を行う。

次に、図１２は、階調変換部２０８の構成の一例を示すブロック図である。

この階調変換部２０８は、バッファ部７１０と、階調特性修正手段であり調整比率抽出手段たる階調特性修正部７２０と、補正階調処理手段であり補正階調変換手段たる補正階調処理部７３０と、階調処理手段たる階調処理部７４０と、ＲＡＭ７５０と、を有して構成されている。

階調特性データ抽出部２０７は、バッファ部７１０と、ＲＡＭ７５０と、へ接続されている。バッファ部７１０は、階調特性修正部７２０と、補正階調処理部７３０と、階調処理部７４０と、を介して色ずれ低減部２０９へ接続されている。ＲＡＭ５５０は、階調特性修正部７２０へ接続されている。

制御部１１２は、バッファ部７１０、階調特性修正部７２０、補正階調処理部７３０、階調処理部７４０、ＲＡＭ７５０と双方向に接続されており、これらを制御するようになっている。

このような階調変換部２０８の作用は、次のようになっている。

まず、階調特性データ抽出部２０７からの画像信号は、バッファ部７１０に保存される。また、階調特性データ抽出部２０７からのγ特性データと高輝度判断結果と調整比率とは、ＲＡＭ７５０に保存される。

次に、階調特性修正部７２０は、高輝度判断結果と表示装置に対応するγ特性データとをＲＡＭ７５０から読み出す。そして、高輝度判断結果が高輝度画像信号が存在することを示すものである場合には、階調特性修正部７２０は、制御部１１２の制御に基づいて、ＲＡＭ７５０からさらに調整比率を読み出し、階調特性データをこの調整比率に基づき修正する。

この階調特性修正部７２０により階調特性データを修正する処理について、図１３を参照してさらに説明する。ここに、図１３は、補正階調処理に用いる階調特性を修正する様子を示す線図である。なお、この図１３においては、入力画像信号のビット数と出力画像信号のビット数とが同じであることを仮定している。

階調特性修正部７２０は、図１３において実線の曲線として示す階調特性データ（表示装置に対応するγ特性データであり、これをＧ（）とする。なお、この階調特性データは、実施形態１の図４に示したものと同様である。）をＲＡＭ７５０から読み出すと共に、調整比率Ｒａｔｅ（０≦Ｒａｔｅ≦１）をＲＡＭ７５０から読み出す。

そして、階調特性修正部７２０は、入力データＩｎｐｕｔＤａｔａから、出力データＯｕｔＤａｔａを、以下の数式４に示すように算出する。
［数４］
ＯｕｔＤａｔａ＝（Ｇ（ＩｎｐｕｔＤａｔａ）−ＩｎｐｕｔＤａｔａ）×Ｒａｔｅ
＋ＩｎｐｕｔＤａｔａ

この演算は、図１３に示すような、実線の曲線として示す階調特性データと、傾き４５度の直線として示す線形補正データと、の差分を算出して、算出した差分に調整比率Ｒａｔｅを乗算し、さらに入力データを加算したものとなる。つまり、階調特性データを、調整比率Ｒａｔｅに応じた分だけ、傾き４５度の直線でなる線形補正データ（階調変換を行わない階調変換曲線）に近付けたものを修正後の階調特性データ（図１３において点線の曲線として示す。）としていることになる。

このような処理を行うことより、高輝度域における階調の圧縮率を低減することができるために、高輝度域におけるコントラストの低下（白飛びの発生）を抑制することが可能となる。

なお、上述では、調整比率Ｒａｔｅは、予めＲＯＭ１１１に記憶されていて、階調特性データ抽出部２０７がＲＯＭ１１１から調整比率Ｒａｔｅを読み出して、ＲＡＭ７５０を介して階調特性修正部７２０へ転送していた。しかし、これに限らず、階調特性修正部７２０自体が、調整比率自動指定手段として機能して、調整比率Ｒａｔｅを画像信号に基づき算出するようにしても良い。

例えば、画像全体の面積に対する高輝度域の面積の比率、あるいは画像全体の画素数に対する高輝度域と判定された画素数の比率、に基づいて、階調特性修正部７２０が調整比率Ｒａｔｅを算出することが考えられる。このときには、画像信号判断部１０６は、画像信号に高輝度画像信号があるか否かを判定するだけでなく、高輝度信号であると判定された画素数（あるいは高輝度域の面積）に関する情報も出力することになる。

そして、調整比率Ｒａｔｅは、例えば図１４に示すように変化することが考えられる。ここに、図１４は、調整比率と高輝度画像信号の面積との関係の一例を示す線図である。

すなわち、調整比率Ｒａｔｅは、高輝度域と判定された画素のカウント数（あるいは高輝度域面積）が、画像に高輝度画像信号が存在するか否かを判定するための所定の閾値に達するまでは「１」となる。そして、調整比率Ｒａｔｅは、この所定の閾値を超えたところで、上記カウント数（あるいは高輝度域面積）が大きくなるにつれて、単調に減少する。

さらに、これに限らず、ユーザが外部Ｉ／Ｆ部１１３を介して調整比率Ｒａｔｅを設定することができるようにしても良い。このときには、ユーザが所望の値を設定するようにしても構わないし、あるいはＲＯＭ１１１に予め幾つかの調整比率Ｒａｔｅの候補を用意しておいて、ユーザ入力により候補の内の何れかを選択するようにしても構わない。

階調特性修正部７２０は、高輝度画像信号が存在する場合には、上述したように階調特性データの修正を行った後に、修正後の階調特性データと、高輝度判断結果と、画像信号と、を補正階調処理部７３０へ転送する。

一方、階調特性修正部７２０は、高輝度画像信号が存在しない場合には、表示装置に対応するγ特性データを修正することなく、そのままのγ特性データ（階調特性データ）と、高輝度判断結果と、画像信号と、を補正階調処理部７３０へ転送する。

補正階調処理部７３０は、転送されてきた高輝度判断結果と階調特性データと画像信号とに基づき、補正階調処理を行う。

すなわち、補正階調処理部７３０は、高輝度画像信号が存在する場合には、修正後の階調特性データを用いて画像信号に対し補正階調処理を行う。

また、補正階調処理部７３０は、高輝度画像信号が存在しない場合には、表示装置に対応するγ特性データを用いて画像信号に対し補正階調処理を行う。

そして、補正階調処理部７３０は、補正階調処理後の画像信号を階調処理部７４０へ転送する。

続いて、階調処理部７４０は、上述した実施形態１の階調処理部５３０と同様に、補正階調処理部７３０から転送されてきた画像信号に対してスペースバリアントな階調補正処理を行い、処理後の画像信号を色ずれ低減部２０９へ転送する。

色ずれ低減部２０９は、上述したような階調変換部２０８からの画像信号に、公知のクロマサプレス処理（色ずれ低減処理）を行うようになっている。ここに、図１５は、色ずれ低減部２０９の構成の一例を示すブロック図である。

この色ずれ低減部２０９は、画質劣化情報取得手段であり色ずれ検出手段たる色ずれ検出部８１０と、画質補正手段であり色ずれ低減手段たる色ずれ除去部８２０と、を有して構成されている。

階調変換部２０８は、色ずれ検出部８１０と、色ずれ除去部８２０と、を介して出力部１１０へ接続されている。ＲＯＭ１１１は、色ずれ検出部８１０へ接続されている。制御部１１２は、色ずれ検出部８１０、色ずれ除去部８２０と双方向に接続されており、これらを制御するようになっている。

色ずれ検出部８１０は、階調変換部２０８から転送されてきたＲＧＢ画像信号を、まずＹＣｒＣｂ画像信号へ変換する。そして、色ずれ検出部８１０は、輝度信号Ｙに対してクロマサプレスゲインを算出する。その後、色ずれ検出部８１０は、ＹＣｒＣｂ画像信号と、クロマサプレスゲインとを、色ずれ除去部８２０へ転送する。

次に、色ずれ除去部８２０は、クロマサプレスゲインを用いて、色差信号Ｃｒ，Ｃｂに対してクロマサプレス処理を行い、クロマサプレス処理後のＣｒＣｂ信号と輝度信号Ｙとを再びＲＧＢ画像信号へ変換して、出力部１１０へ転送する。

なお、本実施形態においても、上述した実施形態１と同様に、撮像部が別体となった画像信号処理装置であっても構わないし、画像信号処理方法であっても構わないし、画像信号処理プログラムをコンピュータに実行させて同様の処理を行うようにしても良い。

図１６は、画像信号処理プログラムによる処理を示すフローチャートである。

この処理を開始すると、まず、図９のステップＳ１と同様に、画像信号や階調特性データなどの情報を読み込む（ステップＳ１１）。

次に、図９のステップＳ２と同様に、画像信号における高輝度画像信号の検出を行う（ステップＳ１２）。

続いて、調整比率を用いて階調特性データを修正する（ステップＳ１３）。ただし、階調特性データの修正は、ステップＳ１２の検出結果に基づき高輝度画像信号が存在すると判定される場合に行われ、高輝度画像信号が存在しないと判定される場合にはここでは修正処理を行わない。

そして、高輝度画像信号が存在すると判定された場合には修正された階調特性データを用いて、一方、高輝度画像信号が存在しないと判定された場合には未修正の階調特性データを用いて、補正階調処理を行う（ステップＳ１４）。

さらに、図９のステップＳ５と同様に、画像信号を用いて画素毎あるいは領域毎にスペースバリアントな階調変換処理用の補正係数を算出し、ステップＳ１４の処理が行われた画像信号にこの補正係数を乗算することにより、スペースバリアントな階調変換処理を行う（ステップＳ１５）。

次に、階調変換処理後の画像信号に、公知の色ずれ低減処理を行う（ステップＳ１６）。

その後、色ずれ低減後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカード等に保存したりしてから（ステップＳ１７）、この処理を終了する。

次に、図１７は、図１６のステップＳ１３における階調特性データ修正処理の詳細を示すフローチャートである。この図１７に示す処理は、上述した階調特性修正部７２０において行われる処理に対応するものとなっている。

この処理を開始すると、まず、調整比率を手動または自動により設定する（ステップＳ２０１）。ここに、手動による調整比率の設定は、ユーザからの指定により行われる。また、調整比率の自動的な設定は、上述したように、高輝度域の面積または高輝度画像信号のカウント数に基づいて、図１４に示したように行われる。

次に、ステップＳ２０１において設定された調整比率に基づいて、所定の表示装置に対応するガンマ特性データを、数式４に示したような演算を行うことにより、修正する（ステップＳ２０２）。

このステップＳ２０２の処理が終了したら、その後は図１６に示した処理へ復帰する。

このような実施形態２によれば、高輝度判断結果に応じて表示装置に対応するγ特性データを修正し、修正したγ特性データに基づき画像信号に階調補正を施すようにしたために、表示装置に対して適切であって、かつ高輝度域では階調幅が伸張された画像信号を得ることができる。

このとき、γ特性データを調整比率を用いて修正するようにしたために、この調整比率を調整することにより、画質改善の程度を制御することが可能となる。

このような処理を行った結果、低輝度域から中輝度域にかけては階調幅が圧縮されてコントラストが低下してしまうが、本実施形態においては、その後にスペースバリアントな階調補正を行っているために、低輝度域から中輝度域についてもコントラストを増すことができる。こうして、白飛びを抑制しつつ、全階調域において階調性の良い画像信号を得ることができる。

また、階調変換を行った後に、色ずれ低減処理を行うようにしたために、色ずれの抑制された高品質な画像信号を得ることが可能となる。

［実施形態３］
図１８から図２３は本発明の実施形態３を示したものであり、図１８は画像信号処理装置の構成を示すブロック図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態３は、実施形態１の図１に示した画像信号処理装置において、階調特性データ抽出部１０７を階調特性データ抽出部３０７へ、階調変換部１０８を階調変換部３０８へ、それぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であり、例えば画像信号判断部１０６の構成は図２に示したものと同様である。

画像信号判断部１０６は、階調特性データ抽出部３０７と、階調変換部３０８と、を介して出力部１１０へ接続されている。ＲＯＭ１１１は、画像信号判断部１０６と、階調特性データ抽出部３０７と、へ接続されている。

制御部１１２は、階調特性データ抽出部３０７、階調変換部３０８と双方向に接続されており、これらを制御するようになっている。

次に、図１８に示したような画像信号処理装置の作用を、画像信号の流れに沿って説明する。

外部Ｉ／Ｆ部１１３を介してシャッタボタンが押されると、レンズ系１００、絞り１０１、ＣＣＤ１０２により撮像が行われ、画像信号が出力されて増幅部１０３により増幅され、Ａ／Ｄ変換部１０４によってデジタル信号へ変換される。

バッファ部１０５は、Ａ／Ｄ変換部１０４から転送された画像信号を記憶する。

画像信号判断部１０６は、高輝度画像信号を判断するための閾値（高輝度閾値）ＳＴ１と、低輝度画像信号を判断するための閾値（低輝度閾値）ＳＴ２（ここに、ＳＴ１＞ＳＴ２）と、をユーザの指定により外部Ｉ／Ｆ部１１３および制御部１１２を介して受信したり、あるいはＲＯＭ１１１から読み出したりする。

次に、画像信号判断部１０６は、上述した実施形態１と同様にして、ＲＧＢ画像信号から輝度値を画素毎に算出する（数式１参照）。

続いて、画像信号判断部１０６は、画素毎に算出された輝度値を高輝度閾値ＳＴ１と比較して、輝度値が高輝度閾値ＳＴ１よりも大きい場合には、該画素の画像信号が高輝度画像信号であると判断する。画像信号判断部１０６は、このような比較を画像に含まれる全画素について行い、高輝度画像信号であると判断された画素の数をカウントする。そして、画像信号判断部１０６は、全画素についての処理を行った後のカウンタの値と、ＲＯＭ１１１から読み出した所定の閾値とを比較して、カウンタ値が所定の閾値よりも大きい場合には画像に高輝度画像信号が存在することを高輝度判断結果とし、カウンタ値が所定の閾値以下である場合には画像に高輝度画像信号が存在しないことを高輝度判断結果とする。

同様に、画像信号判断部１０６は、画素毎に算出された輝度値を低輝度閾値ＳＴ２と比較して、輝度値が低輝度閾値ＳＴ２よりも小さい場合には、該画素の画像信号が低輝度画像信号であると判断する。画像信号判断部１０６は、このような比較を画像に含まれる全画素について行い、低輝度画像信号であると判断された画素の数をカウントする。そして、画像信号判断部１０６は、全画素についての処理を行った後のカウンタの値と、ＲＯＭ１１１から読み出した所定の閾値とを比較して、カウンタ値が所定の閾値よりも大きい場合には画像に低輝度画像信号が存在することを低輝度判断結果とし、カウンタ値が所定の閾値以下である場合には画像に低輝度画像信号が存在しないことを低輝度判断結果とする。

そして、画像信号判断部１０６は、画像信号と、高輝度判断結果および低輝度判断結果と、高輝度閾値ＳＴ１および低輝度閾値ＳＴ２と、を階調特性データ抽出部３０７へ転送する。

階調特性データ抽出部３０７は、ＲＯＭ１１１から所定の表示装置に対応するγ特性データを抽出する。

また、階調特性データ抽出部３０７は、転送されてきた高輝度判断結果および低輝度判断結果と、高輝度閾値ＳＴ１および低輝度閾値ＳＴ２と、に基づいて、図２０、図２１、または図２２に示すような補正階調特性データの何れかを、第１補正階調処理用の階調特性データとしてＲＯＭ１１１から抽出する。

ここに、図２０は高輝度画像信号および低輝度画像信号が存在するときに用いられる補正階調処理の階調特性データを示す線図、図２１は高輝度画像信号が存在せず低輝度画像信号が存在するときに用いられる補正階調処理の階調特性データを示す線図、図２２は高輝度画像信号が存在し低輝度画像信号が存在しないときに用いられる補正階調処理の階調特性データを示す線図である。そして、ＲＯＭ１１１には、図２０〜図２２に示すような補正階調処理の階調特性データが、高輝度閾値ＳＴ１または低輝度閾値ＳＴ２に対応する複数だけ、それぞれ予め保存されているものとする。

このとき、階調特性データ抽出部３０７は、高輝度判断結果が高輝度画像信号が存在することを示すものであり、かつ、低輝度判断結果が低輝度画像信号が存在することを示すものである場合には、図２０に示すような第１補正階調処理用の階調特性データを、高輝度閾値ＳＴ１および低輝度閾値ＳＴ２に応じてＲＯＭ１１１から抽出する。

また、階調特性データ抽出部３０７は、高輝度判断結果が高輝度画像信号が存在しないことを示すものであり、かつ、低輝度判断結果が低輝度画像信号が存在することを示すものである場合には、図２１に示すような第１補正階調処理用の階調特性データを低輝度閾値ＳＴ２に応じてＲＯＭ１１１から抽出する。

さらに、階調特性データ抽出部３０７は、高輝度判断結果が高輝度画像信号が存在することを示すものであり、かつ、低輝度判断結果が低輝度画像信号が存在しないことを示すものである場合には、図２２に示すような第１補正階調処理用の階調特性データを高輝度閾値ＳＴ１に応じてＲＯＭ１１１から抽出する。

そして、階調特性データ抽出部３０７は、画像信号判断部１０６から転送されてきた画像信号と、γ特性データと、高輝度判断結果および低輝度判断結果と、必要に応じて補正階調処理用の階調特性データと、を階調変換部３０８へ転送する。

次に、図１９は、階調変換部３０８の構成の一例を示すブロック図である。

この階調変換部３０８は、バッファ部９１０と、階調処理手段たる階調処理部９２０と、補正階調処理手段であり補正階調変換手段たる第１補正階調処理部９３０と、補正階調処理手段たる第２補正階調処理部９４０と、ＲＡＭ９５０と、を有して構成されている。

階調特性データ抽出部３０７は、バッファ部９１０と、ＲＡＭ９５０と、へ接続されている。バッファ部９１０は、階調処理部９２０へ接続されている。階調処理部９２０は、第１補正階調処理部９３０と、第２補正階調処理部９４０と、へ接続されている。第１補正階調処理部９３０は、第２補正階調処理部９４０へ接続されている。第２補正階調処理部９４０は、出力部１１０へ接続されている。ＲＡＭ９５０は、階調処理部９２０と、第１補正階調処理部９３０と、第２補正階調処理部９４０と、へ接続されている。

制御部１１２は、バッファ部９１０、階調処理部９２０、第１補正階調処理部９３０、第２補正階調処理部９４０、ＲＡＭ９５０と双方向に接続されており、これらを制御するようになっている。

階調特性データ抽出部３０７からの画像信号は、バッファ部９１０に保存される。また、階調特性データ抽出部３０７からの、γ特性データと、第１補正階調処理用の階調特性データと、高輝度判断結果および低輝度判断結果とは、ＲＡＭ９５０に保存される。

階調処理部９２０は、上述した実施形態１の階調処理部５３０と同様に、バッファ部９１０から転送されてきた画像信号に対してスペースバリアントな階調補正処理を行う。次に、階調処理部９２０は、ＲＡＭ９５０から高輝度判断結果と低輝度判断結果とを抽出する。そして、階調処理部９２０は、抽出した高輝度判断結果と低輝度判断結果とに基づき、高輝度画像信号と低輝度画像信号との少なくとも一方が存在すると判定した場合には、階調補正処理後の画像信号を第１補正階調処理部９３０へ転送する。また、階調処理部９２０は、高輝度画像信号と低輝度画像信号との何れも存在しない場合には、階調補正処理後の画像信号を第２補正階調処理部９４０へ転送する。

第１補正階調処理部９３０は、階調処理部９２０から画像信号が転送されてきた場合には、ＲＡＭ９５０から第１補正階調処理用の階調特性データを抽出して、画像信号に第１補正階調処理を行い、処理後の画像信号を第２補正階調処理部９４０へ転送する。

第２補正階調処理部９４０は、ＲＡＭ９５０から表示装置に対応するγ特性データを抽出し、階調処理部９２０または第１補正階調処理部９３０から転送されてきた画像信号に第２補正階調処理を行い（図４参照）、処理後の画像信号を出力部１１０へ転送する。

出力部１１０は、階調変換部３０８から転送されてきた画像信号に基づき表示装置への表示を行ったり、あるいは、記録装置によりメモリカード等の記録媒体への記録を行う。

上述した図２０〜図２２に示したような階調特性データを用いて第１補正階調処理を行う場合には、この第１補正階調処理によって、高輝度域や低輝度域以外の画像信号の階調幅が圧縮されて、コントラストが低下してしまう可能性がある。そこで、階調変換部３０８は、第１補正階調処理部９３０による第１補正階調処理を行う前に、まず階調処理部９２０によりスペースバリアントな階調変換処理を行って、絵作り処理ための階調補正処理を行うとともに、次の第１補正階調処理による中輝度域の明度およびコントラストの低下を前もって補正するようにしている。

そして、階調変換部３０８は、スペースバリアントな階調変換処理の後に第１補正階調処理を行い、高輝度域および低輝度域の階調幅を拡張して、中輝度域の階調を階調補正処理前の状態に回復させている。

さらに最後に、階調変換部３０８は、表示装置に対応するγ特性データを用いて、第２補正階調処理を行うようにしている。

なお、本実施形態においても、上述した実施形態１，２と同様に、撮像部が別体となった画像信号処理装置であっても構わないし、画像信号処理方法であっても構わないし、画像信号処理プログラムをコンピュータに実行させて同様の処理を行うようにしても良い。

図２３は、画像信号処理プログラムによる処理を示すフローチャートである。

この処理を開始すると、まず、図９のステップＳ１等と同様に、画像信号や階調特性データなどの情報を読み込む（ステップＳ２１）。

次に、画像信号における高輝度画像信号の検出と低輝度画像信号の検出とを行う（ステップＳ２２）。

続いて、画像信号を用いて画素毎あるいは領域毎にスペースバリアントな階調変換処理用の補正係数を算出し、画像信号にこの補正係数を乗算することにより、スペースバリアントな階調変換処理を行う（ステップＳ２３）。

そして、ステップＳ２２の検出結果に基づき、画像信号に高輝度画像信号が存在するか否かを判断するとともに、画像信号に低輝度画像信号が存在するか否かを判断する（ステップＳ２４）。

ここで、高輝度画像信号と低輝度画像信号との少なくとも一方が存在すると判定された場合には、その判定結果と、高輝度閾値ＳＴ１と低輝度閾値ＳＴ２との少なくとも一方と、に基づいて、図２０〜図２２に示したような第１補正階調処理用の階調特性データの何れかを抽出し、第１補正階調処理を行う（ステップＳ２５）。

このステップＳ２５の処理が終了するか、または、ステップＳ２４において高輝度画像信号と低輝度画像信号との両方が存在しないと判定された場合には、所定の表示装置に対応するγ特性データを用いて、第２補正階調処理を行う（ステップＳ２６）。

その後、階調変換後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカード等に保存したりしてから（ステップＳ２７）、この処理を終了する。

このような実施形態３によれば、表示装置に対応するγ特性データによる画像の高輝度域と低輝度域とのコントラストの低下（白飛びと黒つぶれ）を改善することができ、階調性の良い画像信号を得ることができる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、画像信号に画像信号処理を行うための画像信号処理装置、画像信号処理プログラム、画像信号処理方法に好適に利用することができる。

本発明の実施形態１における画像信号処理装置の構成を示すブロック図。 上記実施形態１における画像信号判断部の構成の一例を示すブロック図。 上記実施形態１における第１補正階調処理の階調特性データを示す線図。 上記実施形態１における第２補正階調処理の階調特性データを示す線図。 上記実施形態１における特定輝度域検出部の構成の一例を示すブロック図。 上記実施形態１における階調変換部の構成の一例を示すブロック図。 上記実施形態１における階調処理部の構成の一例を示すブロック図。 上記実施形態１におけるノイズ低減部の構成の一例を示すブロック図。 上記実施形態１の画像信号処理プログラムによる処理を示すフローチャート。 上記実施形態１において、図９のステップＳ２における高輝度信号の検出処理の詳細を示すフローチャート。 本発明の実施形態２における画像信号処理装置の構成を示すブロック図。 上記実施形態２における階調変換部の構成の一例を示すブロック図。 上記実施形態２において、補正階調処理に用いる階調特性を修正する様子を示す線図。 上記実施形態２において、調整比率と高輝度画像信号の面積との関係の一例を示す線図。 上記実施形態２における色ずれ低減部の構成の一例を示すブロック図。 上記実施形態２の画像信号処理プログラムによる処理を示すフローチャート。 上記実施形態２において、図１６のステップＳ１３における階調特性データ修正処理の詳細を示すフローチャート。 本発明の実施形態３における画像信号処理装置の構成を示すブロック図。 上記実施形態３における階調変換部の構成の一例を示すブロック図。 上記実施形態３において、高輝度画像信号および低輝度画像信号が存在するときに用いられる補正階調処理の階調特性データを示す線図。 上記実施形態３において、高輝度画像信号が存在せず低輝度画像信号が存在するときに用いられる補正階調処理の階調特性データを示す線図。 上記実施形態３において、高輝度画像信号が存在し低輝度画像信号が存在しないときに用いられる補正階調処理の階調特性データを示す線図。 上記実施形態３の画像信号処理プログラムによる処理を示すフローチャート。

符号の説明

１００…レンズ系
１０１…絞り
１０２…ＣＣＤ（撮像素子）
１０３…増幅部
１０４…Ａ／Ｄ変換部
１０５…バッファ部
１０６…画像信号判断部
１０７…階調特性データ抽出部（階調特性データ抽出手段）
１０８…階調変換部
１０９…ノイズ低減部
１１０…出力部
１１１…ＲＯＭ（階調特性データ保存手段）
１１２…制御部
１１３…外部Ｉ／Ｆ部（閾値指定手段、閾値ユーザ指定手段、調整比率ユーザ指定手段）
２０７…階調特性データ抽出部（階調特性データ抽出手段、調整比率抽出手段）
２０８…階調変換部
２０９…色ずれ低減部
２５５…最大入力レベル
３０７…階調特性データ抽出部
３０８…階調変換部
４１０…輝度信号変換部
４２０…特定輝度域検出部（検出手段）
４２１…ガンマ特性データ抽出部
４２２…閾値検出部（閾値指定手段、閾値自動指定手段、分析手段、閾値算出手段）
４２３…高輝度域判断部
５１０…バッファ部
５２０…第１補正階調処理部（補正階調処理手段、補正階調変換手段）
５３０…階調処理部（階調処理手段）
５３１…バッファ部
５３２…領域分割部（補正係数算出手段）
５３３…ヒストグラム作成部（補正係数算出手段）
５３４…累積正規化部（補正係数算出手段）
５３５…補正係数算出部（補正係数算出手段）
５３６…乗算部（階調変換手段）
５４０…第２補正階調処理部（補正階調処理手段）
５５０…ＲＡＭ
６１０…ノイズ検出部（画質劣化情報取得手段、ノイズ検出手段）
６２０…ノイズ除去部（画質補正手段、ノイズ低減手段）
７１０…バッファ部
７２０…階調特性修正部（階調特性修正手段、調整比率抽出手段、調整比率自動指定手段）
７３０…補正階調処理部（補正階調処理手段、補正階調変換手段）
７４０…階調処理部（階調処理手段）
７５０…ＲＡＭ
８１０…色ずれ検出部（画質劣化情報取得手段、色ずれ検出手段）
８２０…色ずれ除去部（画質補正手段、色ずれ低減手段）
９１０…バッファ部
９２０…階調処理部（階調処理手段）
９３０…第１補正階調処理部（補正階調処理手段、補正階調変換手段）
９４０…第２補正階調処理部（補正階調処理手段）
９５０…ＲＡＭ

Claims (38)

1. 画像信号に画像信号処理を行うための画像信号処理装置であって、
   上記画像信号における特定輝度域の階調幅を伸張するように階調特性を補正する補正階調処理手段と、
   上記画像信号における全輝度域の階調特性を補正する階調処理手段と、
   を具備したことを特徴とする画像信号処理装置。
2. 上記補正階調処理手段は、１つ以上設けられており、少なくとも１つの該補正階調処理手段が、上記階調処理手段の前段に配設されたものであることを特徴とする請求項１に記載の画像信号処理装置。
3. 上記補正階調処理手段は、１つ以上設けられており、少なくとも１つの該補正階調処理手段が、上記階調処理手段の後段に配設されたものであることを特徴とする請求項１に記載の画像信号処理装置。
4. 上記補正階調処理手段は、複数設けられており、これら複数の内の少なくとも１つの該補正階調処理手段が上記階調処理手段の前段に配設され、該複数の内の他の少なくとも１つの該補正階調処理手段が上記階調処理手段の後段に配設されたものであることを特徴とする請求項１に記載の画像信号処理装置。
5. 上記特定輝度域は、上記画像信号における高輝度域と低輝度域との少なくとも一方であることを特徴とする請求項１に記載の画像信号処理装置。
6. 上記補正階調処理手段は、
   複数の階調特性データを保存する階調特性データ保存手段と、
   上記画像信号における上記特定輝度域の情報を検出する検出手段と、
   上記検出手段により検出された特定輝度域の情報に基づいて、上記複数の階調特性データから、該特定輝度域の階調幅を伸張するような階調特性データを１つ以上抽出する階調特性データ抽出手段と、
   上記階調特性データ抽出手段により抽出された階調特性データに基づいて上記画像信号に補正階調変換を行う補正階調変換手段と、
   を有して構成されたものであることを特徴とする請求項１〜４の何れか一項に記載の画像信号処理装置。
7. 上記検出手段は、上記画像信号の特定輝度域を判断するための閾値を指定する閾値指定手段を有して構成され、該閾値に基づき上記特定輝度域を特定して、該特定領域の情報を検出するものであることを特徴とする請求項６に記載の画像信号処理装置。
8. 上記特定輝度域は、上記画像信号における高輝度域と低輝度域とであって、
   上記閾値指定手段は、上記高輝度域の下限を示す高輝度閾値と、この高輝度閾値よりも小さい値であって上記低輝度域の上限を示す低輝度閾値と、を指定するものであり、
   上記検出手段は、上記高輝度閾値よりも大きい輝度値をもつ領域を上記特定輝度域としての高輝度域として検出するとともに、上記低輝度閾値よりも小さい輝度値をもつ領域を上記特定輝度域としての低輝度域として検出するものであることを特徴とする請求項７に記載の画像信号処理装置。
9. 上記閾値指定手段は、ユーザ入力により上記閾値を指定するための閾値ユーザ指定手段を有して構成されたものであることを特徴とする請求項７に記載の画像信号処理装置。
10. 上記閾値指定手段は、上記閾値を算出して自動的に指定するための閾値自動指定手段を有して構成されたものであることを特徴とする請求項７に記載の画像信号処理装置。
11. 上記階調特性データ保存手段は、所定の表示装置の階調特性データをさらに保存するものであり、
    上記閾値自動指定手段は、
    上記所定の表示装置の階調特性データを分析する分析手段と、
    上記分析手段による分析結果に基づいて上記閾値を算出する閾値算出手段と、
    を有して構成されたものであることを特徴とする請求項１０に記載の画像信号処理装置。
12. 上記補正階調処理手段は、上記階調特性データ抽出手段により抽出された階調特性データを修正する階調特性修正手段をさらに有して構成され、
    上記補正階調変換手段は、上記階調特性データ抽出手段により抽出され、上記階調特性修正手段により修正された階調特性データに基づいて、上記画像信号に補正階調変換を行うものであることを特徴とする請求項６に記載の画像信号処理装置。
13. 上記階調特性修正手段は、上記階調特性データ抽出手段により抽出された階調特性データをどの程度修正するかを示す調整比率を抽出する調整比率抽出手段を有して構成され、上記階調特性データ抽出手段により抽出された階調特性データを、上記調整比率に基づき修正するものであることを特徴とする請求項１２に記載の画像信号処理装置。
14. 上記調整比率抽出手段は、ユーザ入力により上記調整比率を指定するための調整比率ユーザ指定手段を有して構成されたものであることを特徴とする請求項１３に記載の画像信号処理装置。
15. 上記調整比率抽出手段は、上記画像信号に基づき上記調整比率を算出して自動的に指定するための調整比率自動指定手段を有して構成されたものであることを特徴とする請求項１３に記載の画像信号処理装置。
16. 上記調整比率自動指定手段は、上記特定輝度域の面積の情報と、上記特定輝度域に含まれる画素数の情報と、の少なくとも一方に基づき、上記調整比率を指定するものであることを特徴とする請求項１５に記載の画像信号処理装置。
17. 上記階調処理手段は、
    スペースバリアントな階調処理を行うための補正係数を算出する補正係数算出手段と、
    上記補正係数を用いて上記画像信号にスペースバリアントな階調変換を行う階調変換手段と、
    を有して構成されたものであることを特徴とする請求項１〜４の何れか一項に記載の画像信号処理装置。
18. 上記補正階調処理手段による処理と、上記階調処理手段による処理と、が行われた画像信号から、画質劣化情報を取得する画質劣化情報取得手段と、
    上記画質劣化情報に基づいて、上記補正階調処理手段による処理と、上記階調処理手段による処理と、が行われた画像信号を補正する画質補正手段と、
    をさらに具備したことを特徴とする請求項１に記載の画像信号処理装置。
19. 上記画質劣化情報取得手段は、上記画質劣化情報としてノイズを検出するノイズ検出手段を有して構成されたものであり、
    上記画質補正手段は、上記補正階調処理手段による処理と、上記階調処理手段による処理と、が行われた画像信号に対してノイズ低減処理を行うノイズ低減手段を有して構成されたものであることを特徴とする請求項１８に記載の画像信号処理装置。
20. 上記画質劣化情報取得手段は、上記画質劣化情報として色ずれを検出する色ずれ検出手段を有して構成されたものであり、
    上記画質補正手段は、上記補正階調処理手段による処理と、上記階調処理手段による処理と、が行われた画像信号に対して上記色ずれを低減する処理を行う色ずれ低減手段を有して構成されたものであることを特徴とする請求項１８に記載の画像信号処理装置。
21. コンピュータに、画像信号に画像信号処理を行わせるための画像信号処理プログラムであって、コンピュータに、
    上記画像信号における特定輝度域の階調幅を伸張するように階調特性を補正する補正階調処理ステップと、
    上記画像信号における全輝度域の階調特性を補正する階調処理ステップと、
    を行わせるための画像信号処理プログラム。
22. 上記補正階調処理ステップは、１つ以上あって、少なくとも１つの該補正階調処理ステップが、上記階調処理ステップの前段に行われることを特徴とする請求項２１に記載の画像信号処理プログラム。
23. 上記補正階調処理ステップは、１つ以上あって、少なくとも１つの該補正階調処理ステップが、上記階調処理ステップの後段に行われることを特徴とする請求項２１に記載の画像信号処理プログラム。
24. 上記補正階調処理ステップは、複数あって、これら複数の内の少なくとも１つの該補正階調処理ステップが上記階調処理ステップの前段に行われ、該複数の内の他の少なくとも１つの該補正階調処理ステップが上記階調処理ステップの後段に行われることを特徴とする請求項２１に記載の画像信号処理プログラム。
25. 上記補正階調処理ステップは、
    上記画像信号における上記特定輝度域の情報を検出する検出ステップと、
    上記検出ステップにより検出された特定輝度域の情報に基づいて、予め保存されている複数の階調特性データから、該特定輝度域の階調幅を伸張するような階調特性データを１つ以上抽出する階調特性データ抽出ステップと、
    上記階調特性データ抽出ステップにより抽出された階調特性データに基づいて上記画像信号に補正階調変換を行う補正階調変換ステップと、
    を含むステップであることを特徴とする請求項２１〜２４の何れか一項に記載の画像信号処理プログラム。
26. 上記検出ステップは、
    予め保存された所定の表示装置の階調特性データを分析する分析ステップと、
    上記分析ステップによる分析結果に基づいて上記画像信号の特定輝度域を判断するための閾値を算出する閾値算出ステップと、
    を含み、該閾値に基づき上記特定輝度域を特定して、該特定領域の情報を検出するステップであることを特徴とする請求項２５に記載の画像信号処理プログラム。
27. 上記補正階調処理ステップは、階調特性データをどの程度修正するかを示す調整比率を、上記特定輝度域の面積の情報と、上記特定輝度域に含まれる画素数の情報と、の少なくとも一方に基づき自動的に算出し、算出された上記調整比率に基づき上記階調特性データ抽出ステップにより抽出された階調特性データを修正する階調特性修正ステップをさらに含み、
    上記補正階調変換ステップは、上記階調特性データ抽出ステップにより抽出され、上記階調特性修正ステップにより修正された階調特性データに基づいて、上記画像信号に補正階調変換を行うステップであることを特徴とする請求項２５に記載の画像信号処理プログラム。
28. 上記階調処理ステップは、
    スペースバリアントな階調処理を行うための補正係数を算出する補正係数算出ステップと、
    上記補正係数を用いて上記画像信号にスペースバリアントな階調変換を行う階調変換ステップと、
    を含むステップであることを特徴とする請求項２１〜２４の何れか一項に記載の画像信号処理プログラム。
29. コンピュータに、
    上記補正階調処理ステップと、上記階調処理ステップと、が行われた画像信号から、画質劣化情報を取得する画質劣化情報取得ステップと、
    上記画質劣化情報に基づいて、上記補正階調処理ステップと、上記階調処理ステップと、が行われた画像信号を補正する画質補正ステップと、
    をさらに行わせるための請求項２１に記載の画像信号処理プログラム。
30. 画像信号に画像信号処理を行うための画像信号処理方法であって、
    上記画像信号における特定輝度域の階調幅を伸張するように階調特性を補正する補正階調処理ステップと、
    上記画像信号における全輝度域の階調特性を補正する階調処理ステップと、
    を含むことを特徴とする画像信号処理方法。
31. 上記補正階調処理ステップは、１つ以上あって、少なくとも１つの該補正階調処理ステップが、上記階調処理ステップの前段に行われることを特徴とする請求項３０に記載の画像信号処理方法。
32. 上記補正階調処理ステップは、１つ以上あって、少なくとも１つの該補正階調処理ステップが、上記階調処理ステップの後段に行われることを特徴とする請求項３０に記載の画像信号処理方法。
33. 上記補正階調処理ステップは、複数あって、これら複数の内の少なくとも１つの該補正階調処理ステップが上記階調処理ステップの前段に行われ、該複数の内の他の少なくとも１つの該補正階調処理ステップが上記階調処理ステップの後段に行われることを特徴とする請求項３０に記載の画像信号処理方法。
34. 上記補正階調処理ステップは、
    上記画像信号における上記特定輝度域の情報を検出する検出ステップと、
    上記検出ステップにより検出された特定輝度域の情報に基づいて、予め保存されている複数の階調特性データから、該特定輝度域の階調幅を伸張するような階調特性データを１つ以上抽出する階調特性データ抽出ステップと、
    上記階調特性データ抽出ステップにより抽出された階調特性データに基づいて上記画像信号に補正階調変換を行う補正階調変換ステップと、
    を含むステップであることを特徴とする請求項３０〜３３の何れか一項に記載の画像信号処理方法。
35. 上記検出ステップは、
    予め保存された所定の表示装置の階調特性データを分析する分析ステップと、
    上記分析ステップによる分析結果に基づいて上記画像信号の特定輝度域を判断するための閾値を算出する閾値算出ステップと、
    を含み、該閾値に基づき上記特定輝度域を特定して、該特定領域の情報を検出するステップであることを特徴とする請求項３４に記載の画像信号処理方法。
36. 上記補正階調処理ステップは、階調特性データをどの程度修正するかを示す調整比率を、上記特定輝度域の面積の情報と、上記特定輝度域に含まれる画素数の情報と、の少なくとも一方に基づき自動的に算出し、算出された上記調整比率に基づき上記階調特性データ抽出ステップにより抽出された階調特性データを修正する階調特性修正ステップをさらに含み、
    上記補正階調変換ステップは、上記階調特性データ抽出ステップにより抽出され、上記階調特性修正ステップにより修正された階調特性データに基づいて、上記画像信号に補正階調変換を行うステップであることを特徴とする請求項３４に記載の画像信号処理方法。
37. 上記階調処理ステップは、
    スペースバリアントな階調処理を行うための補正係数を算出する補正係数算出ステップと、
    上記補正係数を用いて上記画像信号にスペースバリアントな階調変換を行う階調変換ステップと、
    を含むステップであることを特徴とする請求項３０〜３３の何れか一項に記載の画像信号処理方法。
38. 上記補正階調処理ステップと、上記階調処理ステップと、が行われた画像信号から、画質劣化情報を取得する画質劣化情報取得ステップと、
    上記画質劣化情報に基づいて、上記補正階調処理ステップと、上記階調処理ステップと、が行われた画像信号を補正する画質補正ステップと、
    をさらに含むことを特徴とする請求項３０に記載の画像信号処理方法。

Images