JP2009004893A - 画像処理装置およびこれを備える撮像システム - Google Patents

Abstract

【課題】輝度信号の変化によりノイズが増幅される場合にも、色ノイズが強調されることを低減した色再現を可能とする画像処理装置およびこれを備える撮像システムを提供する。
【解決手段】入力された映像信号を階調変換して出力する画像処理装置であって、前記映像信号を輝度信号、色相信号、および彩度信号からなる色空間へ変換する色空間変換手段と、前記映像信号で表される画像中の領域の情報を算出する領域情報算出手段と、前記色空間変換手段によって変換された前記輝度信号に対して階調変換を行って階調変換後の輝度信号を生成する階調変換手段と、前記階調変換前後の輝度信号、および前記領域の情報に基づいて補正情報を算出する補正情報算出手段とを有し、演算した階調変換後の輝度信号に対応する彩度信号に対して前記補正情報を用いて補正を行う。
【選択図】図１

Description

本発明は、映像信号の色信号処理を行う画像処理装置およびこれを備える撮像システムに関するものである。

現在のデジタルスチルカメラやビデオカメラ等の撮像系の信号処理において、映像の輝度信号を階調変換処理するという処理がしばしば行われる。その際、自然な色再現のために、輝度信号の変化に対応して彩度信号を抑制する手法が用いられている。

従来技術において、補正前後の輝度値を用いて彩度値を補正する方法が開示されている（例えば、特許文献１参照）。また、階調変換前後の最大彩度値に基づいて彩度補正を行う方法が開示されている（特許文献２参照）。
特開２００３−１６２７１５号公報 特開２００４−３１２４６７号公報

上記の方法によれば、輝度信号の変化に応じた自然な色再現は可能となる。しかし、特に暗部の輝度信号が強調された場合にはノイズ成分も増幅されてしまうため、色ノイズが強調されるという問題があった。

本発明は、上記問題に鑑みてなされたもので、輝度信号の変化によりノイズが増幅される場合にも、色ノイズが強調されることを低減した色再現を可能とする画像処理装置およびこれを備える撮像システムを提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係る画像処理装置は、入力された映像信号を階調変換して出力する画像処理装置であって、前記映像信号を輝度信号、色相信号、および彩度信号からなる色空間へ変換する色空間変換手段と、前記映像信号で表される画像中の領域の情報を算出する領域情報算出手段と、前記色空間変換手段によって変換された前記輝度信号に対して階調変換を行って階調変換後の輝度信号を生成する階調変換手段と、前記色空間変換手段によって変換された前記輝度信号および前記色相信号を用いて第１の最大彩度信号を算出するとともに、前記色空間変換手段によって変換された前記色相信号および前記階調変換手段によって生成された前記階調変換後の輝度信号を用いて第２の最大彩度信号を算出する最大彩度算出手段と、前記色空間変換手段によって変換された前記輝度信号、前記階調変換手段によって生成された前記階調変換後の輝度信号、および前記領域情報算出手段によって算出された前記領域の情報に基づいて補正情報を算出する補正情報算出手段と、前記最大彩度算出手段によって算出された前記第１の最大彩度信号および前記第２の最大彩度信号と前記補正情報算出手段によって算出された前記補正情報とに基づいて、前記色空間変換手段によって変換された前記彩度信号の補正を行う彩度補正手段と、を有することを特徴とする。

このような画像処理装置によれば、色相信号、彩度信号、および階調変換前後の輝度信号を用いて階調変換後の輝度信号に対応する彩度信号を演算すると共に、各信号に含まれるノイズ等の領域情報および階調変換前後の輝度信号を用いて補正情報を算出し、演算した階調変換後の輝度信号に対応する彩度信号に対して補正情報を用いて補正を行うことによって補正彩度信号を算出する。これにより、補正彩度信号についてもノイズ等の領域情報が反映されるので、階調変換処理によって色ノイズが増幅されるような場合においても、色ノイズを低減した高品位な映像信号を算出することができる。

本発明に係る撮像システムは、上記の画像処理装置を備えることを特徴とする。

本発明によれば、階調変換処理によって色ノイズが増幅されるような場合においても、色ノイズを低減した高品位な映像信号を算出することができる。

［第１の実施形態］
以下に、本発明の第１の実施形態に係る画像処理装置およびこれを備える撮像システムについて、図面を参照して説明する。
図１は本実施形態に係る撮像システムの概略構成図である。
撮像システム１は、撮像装置２と、画像処理装置３とを主な構成要素として備えている。
撮像装置２は、レンズ系１００、絞り１０１、ＡＦモータ１０２、カラーフィルタ１０３、およびＣＣＤ１０４を備えている。
画像処理装置３は、Ａ／Ｄ変換器１０５、バッファ１０６、撮影制御部１０７、信号処理部１０８、領域分割部（領域分割手段）１１９、色空間変換部（色空間変換手段）１０９、階調変換部（階調変換手段）１１０、補正情報算出部（補正情報算出手段）１１１、最大彩度算出部（最大彩度算出手段）１１２、領域情報算出部（領域情報算出手段）１１３、彩度補正部（彩度作成手段）１１４、圧縮部１１５、出力部１１６、制御部１１７、および外部Ｉ／Ｆ部１１８を備えている。

撮像装置２と画像処理装置３とは、画像処理装置３内のＡ／Ｄ変換器１０５および撮影制御部１０７を介して接続している。
撮像装置２に接続された撮影制御部１０７は、絞り１０１、ＡＦモータ１０２、およびＣＣＤ１０４へ接続している。信号処理部１０８は領域分割部１１９へ接続している。領域分割部１１９は色空間変換部１０９へ接続している。色空間変換部１０９は階調変換部１１０、補正情報算出部１１１、最大彩度算出部１１２および領域情報算出部１１３へ接続している。階調変換部１１０は補正情報算出部１１１、最大彩度算出部１１２および彩度補正部１１４へ接続している。補正情報算出部１１１は彩度補正部１１４へ接続しており、最大彩度算出部１１２は彩度補正部１１４へ接続している。領域情報算出部１１３は補正情報算出部１１１へ接続している。彩度補正部１１４は圧縮部１１５へ接続している。圧縮部１１５は出力部１１６へ接続している。マイクロコンピュータなどの制御部１１７は、撮影制御部１０７、信号処理部１０８、色空間変換部１０９、階調変換部１１０、補正情報算出部１１１、最大彩度算出部１１２、領域情報算出部１１３、彩度補正部１１４、領域分割部１１９および圧縮部１１５と双方向に接続している。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部１１８も制御部１１７と双方向に接続している。

上記構成を有する撮像システム１において、まず、全体の信号の流れについて以下に説明する。
撮像システム１は、ユーザまたは図示しない外部入力部によって、外部Ｉ／Ｆ部１１８を介してＩＳＯ感度、露出などの撮影条件が設定された後、図示しないシャッターボタンを半押しにすることでプリ撮影モードに入る。

上記の状態において、レンズ系１００、絞り１０１、カラーフィルタ１０３、ＣＣＤ１０４を介して撮影された映像は、Ａ／Ｄ変換器１０５にてデジタル信号へ変換される。Ａ／Ｄ変換器１０５からの映像信号は、バッファ１０６を介して信号処理部１０８へ転送される。また、バッファ１０６からの信号は、撮影制御部１０７へも転送される。なお、本実施形態例においてＣＣＤ１０４は、ＲＧＢ原色系の単板ＣＣＤを想定し、Ａ／Ｄ変換器１０５による信号の階調幅を例えば１２ｂｉｔとする。

撮影制御部１０７は、映像信号のＡＦエリア内のコントラスト情報を検出し、これが最大となるようにＡＦモータ１０２を制御することで合焦信号を得て距離情報が取得される。あるいは、プリ撮影時に映像信号を取得せず、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、それに応じてＡＦモータ１０２を制御し、合焦位置における距離情報を得てもよい。
また、撮影制御部１０７は、信号中の輝度レベルや図示しない輝度センサを用いて適正露光となるよう絞り１０１およびＣＣＤ１０４の電子シャッター速度などを制御する。

次に、外部Ｉ／Ｆ部１１８を介して、ユーザによって図示しないシャッターボタンを全押しにされることにより本撮影が行われる。本撮影は、撮影制御部１０７にて求められた合焦条件および露光条件に基づいて行われ、これらの撮影時の情報は制御部１１７へ転送される。

バッファ１０６内の映像信号は、信号処理部１０８へ転送される。信号処理部１０８は、制御部１１５の制御に基づいてバッファ１０６上の単板状態の映像信号を読み出し、公知の補間処理、ホワイトバランス処理などが行われた三板状態の映像信号を生成し、領域分割部１１９へ転送する。

領域分割部１１９は、転送された映像信号で表される画像を少なくとも一つ以上の領域に分割するように、映像信号を分割する。分割の方法は、例えば、画像を固定の矩形ブロックで分割したり、公知のテクスチャ解析を用いて画像から所定のテクスチャの領域を分割したり、映像信号の色情報を用いて所定の色を示す領域を分割したりする。映像信号は、色空間変換部１０９へ転送される。

色空間変換部１０９は、（１）式を用いてＲＧＢ信号をＹＣｂＣｒ信号に変換し、さらに（２）式を用いて輝度信号Ｖ、色相信号Ｈおよび彩度信号Ｃの色信号に変換する。

あるいは（３）式および（４）式を用いてＣＩＥ−ＸＹＺ信号からＣＩＥ−Ｌ^＊ａ^＊ｂ^＊信号への変換を行い、（５）式のように輝度、色相、彩度を求めてもよい。

ただし、Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎは、標準光における完全拡散反射面における値である。関数ｆは、例えばｆ（Ｘ／Ｘ_ｎ）で（６）式の通りである。

なお、色変換の方法はこれらに限ったものではなく、例えば、ＬＵＴ（ルックアップテーブル）を用いた変換でもよい。
このように色空間変換部１０９にて変換された色信号は、階調変換部１１０、補正情報算出部１１１、最大彩度算出部１１２、および領域情報算出部１１３へ転送される。

階調変換部１１０は、色空間変換部１０９から転送された輝度信号に対して後述する階調変換処理を行う。階調変換処理が行われた輝度信号は、補正情報算出部１１１、最大彩度算出部１１２、および彩度補正部１１４へ転送される。

次に、領域情報算出部１１３は、色空間変換部１０９から転送された色信号に対して、分割された領域のヒストグラム、輝度値の平均値、標準偏差、およびノイズ量の平均値を算出する。ノイズ量の算出法としては、例えば、以下の方法があげられる。

色信号の注目画素を中心とした例えば５×５の領域に対して標準偏差を算出し、それをノイズ量とする。また、上記領域中の全画素に対してノイズ量を算出し、それを平均したものを上記領域のノイズ量とする。ここで、ノイズ量の算出は、輝度信号Ｖ、色相信号Ｈおよび彩度信号Ｃのおのおのに対して行われ、（７）式のようにノイズ量Ｎを算出する。
Ｎ＝ａＮ_Ｖ＋ｂＮ_Ｈ＋ｃＮ_Ｃ・・・（７）
ただし、Ｎ_Ｖ、Ｎ_Ｈ、Ｎ_Ｃはそれぞれ輝度信号、色相信号、および彩度信号に対するノイズ量を表し、ａ、ｂ、ｃはそれぞれ重み係数を表す。

補正情報算出部１１１は、色空間変換部１０９から転送された色信号と階調変換部１１０から転送された階調変換処理後の輝度信号および領域情報算出部１１３から転送されたノイズ量を用いて彩度補正に用いる補正情報の算出を行う。

最大彩度算出部１１２は、色空間変換部１０９および階調変換部１１０から転送された色信号を用いて最大彩度の算出を行う。
ここで、図５は彩度補正の説明図であり、ＹＣｂＣｒ空間上にて表現している。図５におけるＹ_１、Ｙ_２はそれぞれＶ_１、Ｖ_２に対応する。図５を用いて説明すると、最大彩度算出部１１２は、色空間変換部１０９から転送された信号Ｖ_１、色相信号Ｈ、および彩度信号Ｃを用いて最大彩度ｍａｘＣ_１を算出する。同様に、最大彩度算出部１１２は、階調変換部１１０から転送された信号Ｖ_２を用いて最大彩度ｍａｘＣ_２を算出する。

彩度補正部１１４は、階調変換部１１０から転送された階調変換処理後の輝度信号および色信号と、補正情報算出部１１１から転送された補正情報と、最大彩度算出部１１２から転送された最大彩度の情報とを基に彩度信号の補正を行う。彩度補正部１１４における詳細な処理については後述する。

圧縮部１１５は、彩度補正部１１４から転送された色信号に対して公知のＪＰＥＧ等の圧縮処理を行い、出力部１１６へ転送する。出力部１１４は、メモリカードなどへ圧縮信号を記録保存あるいは外部表示ディスプレイに映像信号を表示する。

次に、図１に示す各部の詳細な処理について以下に説明する。
まず、階調変換部１１０における詳細な処理について、図２を用いて説明する。
図２に示すように、階調変換部１１０は、バッファ２００、局所領域分割部（局所領域分割手段）２０１、階調変換曲線算出部（階調変換曲線算出手段）２０２、および階調変換実施部（階調変換実施手段）２０３を備えている。

色空間変換部１０９はバッファ２００に接続している。バッファ２００は局所領域分割部２０１および階調変換実施部２０３に接続しており、局所領域分割部２０１は階調変換曲線算出部２０２に接続している。階調変換曲線算出部２０２は階調変換実施部２０３に接続しており、階調変換実施部２０３は補正情報算出部１１１、最大彩度算出部１１２および彩度補正部１１４に接続している。制御部１１７は、局所領域分割部２０１、階調変換曲線算出部２０２、および階調変換実施部２０３と双方向に接続している。

上記構成を有する階調変換部１１０における処理について以下に説明する。
色空間変換部１０９は、バッファ２００に色信号を転送する。局所領域分割部２０１は、バッファ２００から転送された色信号を少なくとも一つ以上の領域に分割する。階調変換曲線算出部２０２は、局所領域分割部２０１から転送された色信号の輝度信号に対する階調変換曲線を設定する。

ここで、階調変換曲線算出部２０２における詳細な処理について、図３を用いて説明する。図３は、階調変換曲線算出部２０２の第１の構成例を示している。
図３に示すように、階調変換曲線算出部２０２は、バッファ３００、平均輝度算出部（平均輝度算出手段）３０１、標準偏差算出部（標準偏差算出手段）３０２、階調変換曲線設定部（階調変換曲線設定手段）３０３、および階調変換曲線ＲＯＭ（階調変換曲線保持手段）３０４を備えている。

局所領域分割部２０１は、バッファ３００に接続している。バッファ３００は、平均輝度算出部３０１および標準偏差算出部３０２に接続している。平均輝度算出部３０１および標準偏差算出部３０２は階調変換曲線設定部３０３に接続しており、階調変換曲線ＲＯＭ３０４は階調変換曲線設定部３０３に接続している。階調変換曲線設定部３０３は階調変換実施部２０３に接続している。

上記構成を有する階調変換曲線算出部２０２における処理について以下に説明する。
平均輝度算出部３０１は、バッファ３００から転送された領域における輝度信号の平均値を算出する。
次に、標準偏差算出部３０２は、バッファ３００から転送された領域における輝度信号および平均輝度算出部３０１から転送された輝度信号の平均値を用いて標準偏差を算出する。
階調変換曲線設定部３０３は、平均輝度算出部３０１から転送された平均輝度値および標準偏差算出部３０２から転送された標準偏差の値を用いて階調変換曲線ＲＯＭ３０４から階調変換に用いる階調変換曲線を設定する。

ここで、図６は、階調変換曲線の説明図を示している。
平均輝度値が所定値Ｔｈ以下でかつ、標準偏差の値が所定値以下の場合、所定値以下の信号を強調するとノイズが増幅される可能性がある。したがって、階調変換曲線としては、例えば図６における（ａ）に示すように、Ｔｈ以下の信号のコントラストをあまり強調しない階調変換曲線を設定する。
平均輝度値が所定値Ｔｈ以下でかつ、標準偏差の値が所定値以上の場合、ノイズがすでに増幅されている可能性がある。したがって、階調変換曲線としては、例えば図６における（ｂ）に示すように、所定値以下の信号のコントラストを下げる階調変換曲線を設定する。
平均輝度値が所定値Ｔｈ以上の場合、階調変換処理によるノイズの増幅による影響が小さい。したがって、階調変換曲線としては平均輝度値付近のコントラストを強調させる階調変換曲線、例えば図６における（ｃ）に示すように、平均輝度値Ｖ_ａｖｅ付近の信号を強調する階調変換曲線を設定する。
なお、この構成例では、階調変換曲線ＲＯＭを用いる例を示したが、これに限定されるものではない。例えば、ガンマ値を用いて階調変換曲線設定部３０３にてガンマ値を設定する構成も可能である。

次に、補正情報算出部１１１における詳細な処理について、図４を用いて説明する。
図４に示すように、補正情報算出部１１１は、バッファ４００、バッファ４０１、増幅率算出部（増幅率算出手段）４０２、および補正係数算出部（補正係数算出手段）４０３を備えている。

色空間変換部１０９はバッファ４００に接続しており、階調変換部１１０はバッファ４０１に接続している。バッファ４００は増幅率算出部４０２および補正係数算出部４０３に接続しており、バッファ４０１は増幅率算出部４０２および補正係数算出部４０３に接続している。増幅率算出部４０２は補正係数算出部４０３に接続しており、領域情報算出部１１３は補正係数算出部４０３に接続している。補正係数算出部４０３は彩度補正部１１４に接続している。制御部１１７は増幅率算出部４０２および補正係数算出部４０３と双方向に接続している。

上記構成を有する補正情報算出部１１１における処理について以下に説明する。
色空間変換部１０９から転送された輝度信号Ｖ_１は、バッファ４００に転送される。一方、階調変換部１１０から転送された輝度信号Ｖ_２は、バッファ４０１に転送される。増幅率算出部４０２は、バッファ４００およびバッファ４０１から転送された信号を用いて（８）式に示される増幅率Ｇの算出を行う。

さらに、補正係数算出部４０３は、輝度信号Ｖ_１、Ｖ_２および領域情報算出部１１３から転送される領域の情報、例えば領域内のノイズ量の平均Ｎの情報を用いて（９）式に示される補正情報すなわち補正係数αの算出を行う。

ただし、Ｃは調整係数であり、０≦α≦１である。
増幅率や領域のノイズ量が大きいとき、階調変換処理によってノイズ成分が目立つため、この関数を用いて、彩度補正部１１４において後述する彩度信号の補正を行うことにより色ノイズ成分を抑制する。増幅率が１に近く、ノイズ成分が少ないとき，この関数の出力は１に近くなり、領域の情報による補正の影響は少なくなる。算出された補正係数は彩度補正部１１４に転送される。

次に、彩度補正部１１４の処理について図５を用いて説明する。
彩度補正部１１４は、最大彩度算出部１１２から転送された最大彩度の情報を用いて、階調変換前の輝度信号Ｖ_１に対する彩度信号Ｃ_１と最大彩度ｍａｘＣ_１との比Ｒ_１を（１０）式に示すように算出する。
Ｒ_１＝Ｃ_１／ｍａｘＣ_１・・・（１０）

次に、階調変換後の輝度信号Ｖ_２に対する彩度信号Ｃ_２の算出を（１１）式に示すように行う。
Ｃ_２＝Ｒ_１・ｍａｘＣ_２・・・（１１）
（１１）式は、階調変換前の彩度信号と最大彩度信号との比が、階調変換後の彩度信号と最大彩度信号との比に等しいことを表している。

この処理により、輝度信号が階調変換処理によって変化しても、それに対応した彩度信号の変換を行うことができる。さらに、補正情報算出部１１１から転送される補正係数αの情報を用いて最終的な彩度信号Ｃ’_２を（１２）式を用いて算出する。
Ｃ’_２＝α・Ｃ_２・・・（１２）

本実施形態に係る画像処理装置およびこれを備えた撮像システムによれば、色相信号、彩度信号、および階調変換前後の輝度信号を用いて階調変換後の輝度信号に対応する彩度信号を演算すると共に、各信号に含まれるノイズ等の領域情報および階調変換前後の輝度信号を用いて補正情報を算出し、演算した階調変換後の輝度信号に対応する彩度信号に対して補正情報を用いて補正を行うことによって補正彩度信号を算出する。これにより、補正彩度信号についてもノイズ等の領域情報が反映されるので、階調変換処理によって色ノイズが増幅されるような場合においても、色ノイズを低減した高品位な映像信号を算出することができる。

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０４からの映像信号を未処理のままのＲａｗデータとして、ＩＳＯ感度情報や映像信号サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。この場合、撮像システムは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の撮像システムと同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。

図７に本実施形態のソフトウェアに関するフローを示す。
図１における処理と対応させると、Ｓ１にてヘッダ情報を読み込み、Ｓ２にて映像信号を入力する。信号処理部１０８に相当するＳ３にて所定の信号処理を行い、領域分割部１１９に相当するＳ４にて領域の分割を行う。色空間変換部１０９に相当するＳ５にて色空間の変換を行い、階調変換部１１０に相当するＳ６にて輝度信号に対する階調変換処理を行う。領域情報算出部１１３に相当するＳ７にて色信号の領域情報を抽出し、補正情報算出部１１１に相当するＳ８にて彩度補正に用いる補正情報の算出を行う。最大彩度算出部１１２に相当するＳ９にて最大彩度の算出を行い、彩度補正部１１４に相当するＳ１０にて彩度信号の補正を行う。Ｓ１１にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図８を用いて説明する。
本実施形態に係る撮像システムが第１の実施形態と異なる点は、補正情報算出部にて行う補正情報の算出を制御する補正情報制御部を設けた点である。以下、本実施形態について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。

図８は本実施形態に係る撮像システムの概略構成図であり、第１の実施形態と同一の構成には同一の名称と番号を割り当てている。
撮像システム５は、撮像装置２と、画像処理装置６とを主な構成要素として備えている。
画像処理装置６において、色空間変換部１０９は、階調変換部１１０、最大彩度算出部１１２、領域情報算出部１１３、補正情報制御部（補正情報算出制御手段）１３０および補正情報算出部１５０に接続している。階調変換部１１０は最大彩度算出部１１２、彩度補正部１１４、補正情報算出部１５０および補正情報制御部１３０に接続している。補正情報制御部１３０は補正情報算出部１５０に接続している。補正情報算出部１５０は彩度補正部１１４へ接続している。マイクロコンピュータなどの制御部１１７は補正情報制御部１３０および補正情報算出部１５０へ双方向に接続されている。

上記構成を有する画像処理装置６における信号の流れについて以下に説明する。
補正情報制御部１３０は、色空間変換部１０９から転送された色信号と、階調変換部１１０から転送された階調変換処理後の輝度信号と、領域情報算出部１１３から転送された領域情報とを用いて、補正情報算出部１５０における補正情報の算出処理を停止するかどうか判断する。
例えば、色空間変換部１０９から転送された輝度信号における閾値をＶ_ｔｈ１、階調変換処理後の輝度信号における閾値をＶ_ｔｈ２、および領域におけるノイズ量の閾値をＮ_ｔｈとした場合、補正情報制御部１３０は、Ｖ_１＞Ｖ_ｔｈ１かつ、Ｖ_２＞Ｖ_ｔｈ２かつＮ＜Ｎ_ｔｈの場合には、補正情報算出部１５０の算出処理を行わないようにする。
なお、上記判定処理はすべての情報に対して行う必要はなく、例えば、ノイズ量のみで判定してもよい。
このように、補正情報算出部１５０は補正情報制御部１３０の情報に基づいて、補正情報の算出処理を停止する。

図９は、階調変換部１１０内の階調変換曲線算出部２０２の第２の構成例を示している。
図９において、階調変換曲線算出部２０２は、バッファ９００、ヒストグラム作成部（ヒストグラム算出手段）９０１、および累積正規化部９０２を備えている。
局所領域分割部２０１はバッファ９００に接続しており、バッファ９００はヒストグラム作成部９０１に接続している。ヒストグラム作成部９０１は累積正規化部９０２に接続しており、累積正規化部９０２は階調変換実施部２０３に接続している。制御部１１７はヒストグラム作成部９０１および累積正規化部９０２と双方向に接続している。

上記構成を有する階調変換曲線算出部２０２における処理について以下に説明する。
ヒストグラム作成部９０１は、バッファ９００から転送された輝度信号に対するヒストグラムを作成する。
累積正規化部９０２は、ヒストグラム作成部９０１から転送されたヒストグラムに基づき累積処理を行い、累積ヒストグラムを作成する。これを階調幅に合わせて正規化することで階調変換曲線を生成する。例えば、輝度信号の入力が１２ｂｉｔ、出力が１２ｂｉｔの場合、階調変換曲線は１２ｂｉｔ入力１２ｂｉｔ出力となる。
また、ヒストグラム作成部９０１にて任意のクリップ値を用いてヒストグラムの作成を行ってもよい。

図１０は、ヒストグラムに基づいた階調変換曲線算出の説明図を示している。
図１０（ａ）は、ヒストグラム作成部９０１から算出されたヒストグラムと、縦軸の頻度に対するクリップ値を示している。図１０（ｂ）は、クリッピング処理によりクリップ値以上の頻度をクリップ値に置換したヒストグラムを示す。図１０（ｃ）は、オリジナルのヒストグラムとクリッピング処理後のヒストグラムを累積、正規化して得られた階調変換曲線を示す。
このように、ヒストグラムに基づいて算出された階調変換曲線は階調変換実施部２０３へ転送される。

なお、この階調変換曲線算出部２０２の構成は第１の実施形態でも実施可能であり、第１の実施形態に記載されている階調変換曲線部の構成にこの第２の実施例を適用することも可能である。

本実施形態に係る画像処理装置およびこれを備える撮像システムによれば、輝度信号およびノイズ量に基づいて補正情報の算出処理を停止することができるため、補正の必要がない高品位な信号に対しては処理の高速化が実現できる。

なお、上記実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、別途ソフトウェアにて処理する構成も可能である。
図１１に第２の実施例のソフトウェアに関するフローを示す。
第８図における処理と対応させると、Ｓ１にてヘッダ情報を読み込み、Ｓ２にて映像信号を入力する。信号処理部１０８に相当するＳ３にて所定の信号処理を行い、領域分割部１１９に相当するＳ４にて領域の分割を行う。色空間変換部１０９に相当するＳ５にて色空間の変換を行い、階調変換部１１０に相当するＳ６にて輝度信号に対する階調変換処理を行う。領域情報算出部１１３に相当するＳ７にて色信号の領域情報を抽出し、補正情報制御部１３０に相当するＳ２０にて補正情報の制御情報を算出する。最大彩度算出部１１２に相当するＳ９にて最大彩度の算出を行い、補正情報算出部１５０に相当するＳ３０にて彩度補正に用いる補正情報の算出を行う。Ｓ２０の情報に応じてＳ３０の処理を行わせないことも可能である。彩度補正部１１４に相当するＳ１０にて彩度信号の補正を行う。Ｓ１１にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。

本発明の第１の実施形態に係る撮像システムの概略構成図である。 図１に示す図変換部の概略構成図である。 図２に示す階調変換曲線設定部の第１の構成例である。 図１に示す補正情報算出部の概略構成図である。 彩度補正の説明図である。 階調変換曲線の説明図である。 本発明の第１の実施形態に係る画像処理方法のフローチャートである。 本発明の第２の実施形態に係る撮像システムの概略構成図である。 図２に示す階調変換曲線設定部の第２の構成例である。 ヒストグラムに基づいた階調変換曲線算出方法の説明図である。 本発明の第２の実施形態に係る画像処理方法のフローチャートである。

符号の説明

１，５ 撮像システム
２ 撮像装置
３，６ 画像処理装置
１０９ 色空間変換部
１１０ 階調変換部
１１１ 補正情報算出部
１１２ 最大彩度算出部
１１３ 領域情報算出部
１１４ 彩度補正部
１３０ 補正情報制御部
２０１ 局所領域分割部
２０２ 階調変換曲線算出部
２０３ 階調変換実施部
３０１ 平均輝度算出部
３０２ 標準偏差算出部
３０３ 階調変換曲線設定部
３０４ 階調変換曲線ＲＯＭ
４０２ 増幅率算出部
４０３ 補正係数算出部
９０１ ヒストグラム作成部
９０２ 累積正規化部

Claims (12)

1. 入力された映像信号を階調変換して出力する画像処理装置であって、
   前記映像信号を輝度信号、色相信号、および彩度信号からなる色空間へ変換する色空間変換手段と、
   前記映像信号で表される画像中の領域の情報を算出する領域情報算出手段と、
   前記色空間変換手段によって変換された前記輝度信号に対して階調変換を行って階調変換後の輝度信号を生成する階調変換手段と、
   前記色空間変換手段によって変換された前記輝度信号および前記色相信号を用いて第１の最大彩度信号を算出するとともに、前記色空間変換手段によって変換された前記色相信号および前記階調変換手段によって生成された前記階調変換後の輝度信号を用いて第２の最大彩度信号を算出する最大彩度算出手段と、
   前記色空間変換手段によって変換された前記輝度信号、前記階調変換手段によって生成された前記階調変換後の輝度信号、および前記領域情報算出手段によって算出された前記領域の情報に基づいて補正情報を算出する補正情報算出手段と、
   前記最大彩度算出手段によって算出された前記第１の最大彩度信号および前記第２の最大彩度信号と前記補正情報算出手段によって算出された前記補正情報とに基づいて、前記色空間変換手段によって変換された前記彩度信号の補正を行う彩度補正手段と、
   を有する画像処理装置。
2. 前記補正情報算出手段は、
   前記色空間変換手段によって変換された前記輝度信号および前記階調変換手段によって生成された前記階調変換後の輝度信号を用いて、前記色空間変換手段によって変換された前記輝度信号に対する増幅率を算出する増幅率算出手段と、
   前記増幅率算出手段によって算出された前記増幅率および前記領域情報算出手段によって算出された前記領域の情報に基づいて補正係数を算出する補正係数算出手段と、
   を有する請求項１に記載の画像処理装置。
3. 前記領域情報算出手段は、
   前記色空間変換手段によって変換された各信号におけるノイズ量を算出するノイズ量算出手段を有する請求項１または２に記載の撮像システム。
4. 前記彩度補正手段は、
   前記最大彩度算出手段によって算出された前記第１の最大彩度信号と前記色空間変換手段によって変換された前記彩度信号との彩度比を算出する彩度比算出手段と、
   前記彩度比算出手段によって算出された前記彩度比および前記最大彩度算出手段によって算出された前記第２の最大彩度信号に基づいて、前記階調変換後の輝度信号に対応する彩度信号を算出する彩度信号算出手段と、
   前記補正情報算出手段によって算出された前記補正情報および前記彩度信号算出手段によって算出された前記階調変換後の輝度信号に対応する彩度信号に基づいて、補正彩度信号を算出する補正彩度信号算出手段と、
   を有する請求項１から３のいずれかに記載の画像処理装置。
5. 前記彩度信号算出手段は、
   前記彩度比と前記第２の最大彩度信号とを乗算することによって前記階調変換後の輝度信号に対応する彩度信号を算出する請求項４に記載の画像処理装置。
6. 前記補正彩度信号算出手段は、
   前記補正情報算出手段によって算出された前記補正情報と前記彩度信号算出手段によって算出された前記階調変換後の輝度信号に対応する彩度信号とを乗算することにより、前記補正彩度信号を算出する請求項４に記載の画像処理装置。
7. 前記階調変換手段は、
   前記輝度信号を少なくとも１つ以上の局所領域に分割する局所領域分割手段と、
   前記局所領域分割手段によって分割された局所領域に対する階調変換曲線を算出する階調変換曲線算出手段と、
   前記階調変換曲線算出手段によって算出された階調変換曲線を用いて前記局所領域の輝度信号に対して階調変換を実施する階調変換実施手段と、
   を有する請求項１から６のいずれかに記載の撮影装置。
8. 前記階調変換曲線算出手段は、
   階調変換曲線を複数保持する階調変換曲線保持手段と、
   前記局所領域内の平均輝度値を算出する平均輝度算出手段と、
   前記局所領域内の輝度信号の標準偏差を算出する標準偏差算出手段と、
   前記平均輝度算出手段によって算出された前記平均輝度値および前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記階調変換曲線保持手段によって保持された前記複数の階調変換曲線の中から前記局所領域における階調変換曲線を設定する階調変換曲線設定手段と、
   を有する請求項７に記載の撮影装置。
9. 前記階調変換曲線算出手段は、
   ガンマ値を複数保持するガンマ値保持手段と、
   前記局所領域内の平均輝度値を算出する平均輝度算出手段と、
   前記局所領域内の輝度信号の標準偏差を算出する標準偏差算出手段と、
   前記平均輝度算出手段によって算出された前記平均輝度値および前記標準偏差算出手段によって算出された前記標準偏差に基づいて、前記ガンマ値保持手段によって保持された前記複数のガンマ値の中から前記局所領域におけるガンマ値を設定するガンマ値設定手段と、
   前記ガンマ値設定手段によって設定されたガンマ値に基づいてガンマ曲線を設定するガンマ曲線設定手段と、
   を有する請求項７に記載の撮影装置。
10. 前記階調変換曲線算出手段は、
    前記局所領域内のヒストグラムを算出するヒストグラム算出手段と、
    前記ヒストグラム算出手段によって算出された前記ヒストグラムに基づいて前記局所領域における階調変換曲線を設定する階調変換曲線設定手段と、
    を有する請求項７に記載の撮影装置。
11. 前記色空間変換手段によって変換された前記輝度信号、前記階調変換手段によって生成された前記階調変換後の輝度信号、および前記領域情報算出手段によって算出された前記領域の情報の少なくとも一つに基づいて、前記補正情報算出手段に対して前記補正情報の算出を停止させる補正情報算出制御手段を有する請求項１から１０のいずれかに記載の画像処理装置。
12. 請求項１から１１のいずれかに記載の画像処理装置を備える撮像システム。

Images