JP4232831B2

JP4232831B2 - 画像処理装置および画像処理方法並びに画像処理プログラム

Info

Publication number: JP4232831B2
Application number: JP2007046616A
Authority: JP
Inventors: 賢次森
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-02-27
Filing date: 2007-02-27
Publication date: 2009-03-04
Anticipated expiration: 2023-04-10
Also published as: JP2007195216A

Description

本発明は、様々なソースからの入力画像に対して各種の補正処理を行う画像補正技術に関する。

デジタルカメラなどの各種の画像入力装置からの画像データを受け取り、例えばコントラスト補正、明度補正などの補正処理を行う画像処理装置が知られている。そのような画像補正処理においては、一般的に、予め決定された補正曲線に従って入力画像の階調を補正するものが多い。具体的には、補正曲線を規定する補正曲線データを予めルックアップテーブル（ＬＵＴ）などのメモリに記憶しておき、それを参照して入力画像データの補正が行われる。

また、入力画像データの内容、例えば輝度分布に応じて補正曲線を決定する手法も提案されている（例えば特許文献１参照）。

特開平１０−２０８０３４号公報

予め決定された補正曲線をＬＵＴに記憶しておく場合には、その分のメモリが必要となる。一方、入力画像データに応じて補正曲線を決定する方法では、補正曲線を決定するために補間処理などの演算が必要となるため、入力画像データをリアルタイムで補正することが困難であり、特に動画に対しては適用できない。

本発明は、以上の点に鑑みてなされたものであり、メモリなどのリソースを簡素化しつつ、動画に適した高い処理速度で画像補正を実行することが可能な画像補正装置及び方法並びにプログラムを提供することを課題とする。

本発明の１つの観点では、所定の階調範囲を有する入力画像データの補正を行う画像処理装置において、前記階調範囲の補正に使用する補正曲線であって、その形状が、少なくとも１つの補正点を元に変形された第１の曲線パターン部分を１つ以上有する形状である前記補正曲線の前記第１の曲線パターン部分の補正係数を保持する係数保持手段と、一のフレームにおける前記入力画像データ中の画素の階調値の統計的情報に基づいて補正量を決定する補正量決定手段と、前記一のフレームの次のフレームにおける前記入力画像データの値に対応して前記係数保持手段から読み出された前記補正係数と、前記補正量決定手段で決定された前記補正量との積を前記一のフレームの次のフレームにおける前記入力画像データに加算する補正手段と、を含むことを特徴とする。
上記画像処理装置の一態様として、前記補正曲線の形状が、前記第１の曲線パターン部分を前記補正曲線の水平軸を基準軸としたときに対称となる形状となる第２の曲線パターン部分を有するようにしてもよい。
上記画像処理装置の一態様として、前記補正曲線の形状が、前記第１の曲線パターン部分を前記補正曲線の垂直軸を基準軸としたときに対称となる形状となる第３の曲線パターン部分を有するよいにしてもよい。
上記画像処理装置の一態様として、前記補正曲線の形状が、前記入力画像データの値の取り得る範囲の中間値に対応する前記補正曲線上の点に対して、点対称となる曲線部分を含むようにしてもよい。
上記画像処理装置の一態様として前記補正曲線の形状が、曲線の一部に直線部分を含むようにしてもよい。
上記画像処理装置の一態様として、前記入力画像データの輝度に対する補正及び前記入力画像データの色差に対する補正に、同一の前記補正係数を使用するようにしてもよい。
上記画像処理装置の一態様として、前記補正曲線の形状として、第１の補正曲線の形状または前記第１の補正曲線の形状の両端部を結んだ直線の中間点に対して前記第１の補正曲線の形状と点対称の形状となる第２の補正曲線の形状のいずれかを使用するかを、前記入力画像データの値に応じて選択するようにしてもよい。
上記画像処理装置の一態様として、前記補正手段は、前記係数保持手段を時分割で参照することにより、前記輝度に対する補正と前記色差に対する補正を並行して行うようにしてもよい。
また、本発明の１つの観点では、所定の階調範囲を有する入力画像データの補正を行う画像処理方法において、前記階調範囲の補正に使用する補正曲線であって、その形状が、少なくとも１つの補正点を元に変形された第１の曲線パターン部分を１つ以上有する形状である前記補正曲線の前記第１の曲線パターン部分の補正係数を保持する工程と、一のフレームにおける前記入力画像データ中の画素の階調値の統計的情報に基づいて補正量を決定する工程と、前記一のフレームの次のフレームにおける前記入力画像データの値に対応して前記係数保持手段から読み出された前記補正係数と、前記補正量を決定する工程で決定された前記補正量との積を前記一のフレームの次のフレームにおける前記入力画像データに加算して前記入力画像データの階調補正を行う工程と、を含むことを特徴とする。
また、本気発明の１つの観点では、所定の階調範囲を有する入力画像データの補正を行う画像処理プログラムにおいて、前記階調範囲の補正に使用する補正曲線であって、その形状が、少なくとも１つの補正点を元に変形された第１の曲線パターン部分を１つ以上有する形状である前記補正曲線の前記第１の曲線パターン部分の補正係数を保持するステップと、一のフレームにおける前記入力画像データ中の画素の階調値の統計的情報に基づいて補正量を決定するステップと、前記一のフレームの次のフレームにおける前記入力画像データの値に対応して前記係数保持手段から読み出された前記補正係数と、前記補正量を決定するステップで決定された前記補正量との積を前記一のフレームの次のフレームにおける前記入力画像データに加算して前記入力画像データの階調補正を行うステップと、をコンピュータに実行させることを特徴とする。
本発明の１つの観点では、所定の階調範囲を有する入力画像データの補正を行う画像処理装置は、前記階調範囲の全体又は一部に対応する補正曲線であって、１つ以上の補正点を含み、かつ、特定の曲線パターン部分を複数組み合わせてなる組み合わせ部分を含む補正曲線の補正係数を保持する係数保持手段と、前記入力画像データ中の画素の階調値の統計的情報に基づいて補正量を決定する補正量決定手段と、前記入力画像データに応じて決定された前記補正係数と、前記補正量との積を前記入力画像データに加算することにより前記入力画像データの補正を行う補正手段と、を備える。

また、同様の観点では、所定の階調範囲を有する入力画像データの補正を行う画像処理方法は、前記階調範囲の全体又は一部に対応する補正曲線であって、１つ以上の補正点、かつ、特定の曲線パターン部分を複数組み合わせてなる組み合わせ部分を含む補正曲線の補正係数を保持する工程と、前記入力画像データ中の画素の輝度の統計的情報に基づいて、補正量を決定する工程と、前記入力画像データに応じて決定された前記補正係数と前記補正量との積を前記入力画像データに加算して、前記入力画像データの階調補正を行う工程と、を備える。

上記の画像処理装置又は画像処理方法、画像処理プログラムによれば、所定の階調範囲を有する入力画像データの補正が行われる。所定の階調範囲とは、例えば８ビットの入力画像データでは０〜２５５階調となる。また、入力画像データの補正としては、例えばコントラスト補正、明度補正、彩度補正などが含まれる。これらの補正は、予め決められた補正曲線に従って入力画像データの階調値を変更することにより行われる。ここで、補正曲線は、階調範囲の全体又は一部に対応する。即ち、階調範囲の全体に対して補正曲線を設定してもよく、階調範囲の一部に対して補正曲線を設定してもよい。階調範囲の一部に対して補正曲線を設定した場合は、補正曲線に対応する範囲以外の範囲は、補正直線による補正などの他の補正方法を採用することができる。そのような補正曲線は、１つ以上の補正点を含み、かつ、特定の曲線パターン部分を複数組み合わせてなる組み合わせ部分を含む。特定の曲線パターン部分とは、例えば正弦波における繰り返し部分などであり、極性が異なるが曲線パターンが同一である部分を含む。

このような補正曲線は、それ自体のデータではなく、補正曲線を規定する補正係数の形で保持される。そして、補正の実行時には、入力画像データに応じて決定された補正係数と、前記補正量との積を計算し、これを入力画像データに加算することにより入力画像データの階調補正を行う。

これにより、補正曲線を規定する固定点及び補正点に基づいて複雑な補間演算を実行して補正曲線自体のデータを生成する必要や、生成された補正曲線全体のデータをメモリに記憶する必要が無くなり、画像処理装置の構成の簡素化が図られる。また、補正処理自体は補正係数を利用した積和演算により実行することができるので、高速に補正が可能となる。

上記の画像処理装置の一態様では、前記係数保持手段は、前記組み合わせ部分について前記特定の曲線パターン部分に対応する補正係数のみを保持し、前記補正手段は、前記特定の曲線パターン部分に対応する補正係数に基づいて、前記組み合わせ部分に対応する補正係数を生成する手段を備える。この態様では、補正曲線のうち、同一の曲線パターンの組み合わせにより構成される部分について、その全体に対応する補正係数データを保持、記憶するのではなく、基になる曲線パターン部分のみの補正係数を保持し、他の部分はそれに基づいて補正係数を生成して補正処理を実行する。よって、補正係数を保持するメモリ容量を低減し、又は回路の構成を簡素化することができる。

上記の画像処理装置の一態様では、前記組み合わせ部分は、前記補正曲線の水平軸又は垂直軸を基準軸として、前記特定の曲線パターン部分と対象な部分を含むことができる。これにより、例えば特定の曲線パターンを、ある入力階調値に対応する基準軸について対称となるように変換した部分や、正負の極性を反転した部分について、補正係数を保持、記憶する必要が無くなる。例えば、補正曲線が正弦波のような形状を有する場合は、正弦波の１周期の１／４分に対応する曲線パターン部分に対応する補正係数のみを保持しておき、それをＸ軸及びＹ軸方向に折り返して正弦波１周期分の補正曲線を得ることができる。

上記の画像処理装置の一態様では、前記補正点は前記階調範囲の中心に対して対称な２点であり、前記係数保持手段は、当該２点における補正量の絶対値が等しく極性が反対となる補正係数を保持することができる。これにより、補正曲線は階調範囲の１／２のパターンの繰り返しとなるので、保持すべき補正係数を減少させることができる。

上記の画像処理装置の一態様では、前記補正点は前記階調範囲の下限から１／４の点及び上限から１／４の点の２点であり、前記係数保持手段は、当該２点における補正量の絶対値が等しく極性が反対となる補正係数を保持することができる。これにより、補正曲線は階調範囲の１／４のパターンの繰り返しとなるので、保持すべき補正係数を減少させることができる。

上記の画像処理装置の一態様では、前記補正点は前記階調範囲の中心に対して対称な２点のうちのいずれか一方とすることができる。これにより、その点に対して対称な部分について保持すべき補正係数を１／２に減少させることができる。

上記の画像処理装置の一態様では、前記補正手段は、前記係数保持手段により保持された同一の補正係数を使用して、前記入力画像の輝度に対する補正と色差に対する補正を行うことができる。また、その場合、前記補正手段は、前記係数保持手段を時分割で参照することにより、前記輝度に対する補正と前記色差に対する補正を並行して行うことができる。

本発明の他の観点では、所定の階調範囲を有する入力画像データの補正を行う画像処理装置は、前記階調範囲の全体又は一部に対応する補正曲線であって、１つ以上の補正点を含み、かつ、特定の曲線パターン部分を複数組み合わせてなる組み合わせ部分を含む補正曲線の補正係数を保持する係数保持手段と、前記階調範囲に対応する全階調値について、前記係数保持手段を参照して、各階調値に対応する前記補正係数と、前記補正量との積を前記階調値に加算し、補正曲線データを生成して記憶する補正曲線データ生成手段と、前記補正曲線データを参照して、前記入力画像データの階調補正を行う補正手段と、を備える。

また、同様の観点では、所定の階調範囲を有する入力画像データの補正を行う画像処理方法は、前記階調範囲の全体又は一部に対応する補正曲線であって、１つ以上の補正点を含み、かつ、特定の曲線パターン部分を複数組み合わせてなる組み合わせ部分を含む補正曲線の補正係数を保持する工程と、前記階調範囲に対応する全階調値について、前記係数保持手段を参照して、各階調値に対応する前記補正係数と前記補正量との積を前記階調値に加算して補正曲線データを生成して記憶する工程と、前記補正曲線データを参照して、前記入力画像データの階調補正を行う工程と、を備える。

このような補正曲線は、補正曲線データを予め作成して保持しておき、入力画像データ毎に当該補正曲線データを参照して補正を行う。補正曲線データは、前記階調範囲に対応する全階調値について、前記係数保持手段を参照して、各階調値に対応する前記補正係数と前記補正量との積を前記階調値に加算することにより生成される。

これにより、入力画像データ毎に補正処理のための演算を実行する必要がなくなり消費電力を低減することが可能となる。

上記の画像処理装置の一態様では、前記補正は前記入力画像データの２つの色差データを補正する彩度補正を含み、前記補正手段は、前記２つの色差データについて、同一の補正曲線データを時分割で参照して補正を行うことができる。これにより、補正曲線データを２つの色差データ毎に保持する必要がなくなり、必要なメモリ容量の低減が図れる。

以下、図面を参照して本発明の好適な実施の形態について説明する。

［基本構成］
図１は、本発明の一実施形態にかかる画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例をブロック図により示している。

図１において、画像入力装置１０は画像を撮像するなどして画像データを画像処理装置２０へ出力し、画像処理装置２０は所定のコントラスト強調などの画像処理を行なって画像出力装置３０に出力し、画像出力装置３０はコントラストを強調された画像を表示する。

画像入力装置１０の具体例としては、図２に示すようにスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当する。また、本発明は動画の補正において特に効果的であることから、画像入力装置１０として上記以外に携帯電話のカメラ、ＤＶＤプレイヤーなどの映像機器などを使用することもできる。さらに、ネットワーク機器からの配信映像や電波による配信映像なども画像入力装置１０からの入力画像として使用することができる。

画像処理装置２０の具体例はコンピュータ２１とハードディスク２２などからなるコンピュータシステムが該当する。画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当するが、これら以外にもカラーコピー機、カラーファクシミリ機、ディスプレイ機器としての液晶パネル、有機ＥＬパネル、プロジェクタなどにも適用可能である。

本画像処理システムにおいては、画像補正の一例として、例えばコントラストの弱い画像に対して最適なコントラストを与えようとしているものであるから、画像入力装置１０としてのスキャナ１１で写真を撮像した画像データであるとか、デジタルスチルカメラ１２で撮影したコントラストの弱い画像データであるとか、ビデオカメラ１４で撮影した動画画像などが処理の対象となり、画像処理装置２０としてのコンピュータシステムに入力される。

画像処理装置２０は、少なくとも、輝度の分布を抽出する輝度分布検出手段２１９と、この検出された輝度分布に基づいて先ず輝度分布の広がり量を検出する輝度分布広がり量検出手段２２９と、この広がり量に基づいて分布密度の大きい範囲に多くの階調数を与えつつ分布密度の小さい範囲に少ない階調数を割り当てる階調数割当手段２３９と、割り当てられた輝度の階調に基づいて画像データを変換する画像データ変換手段２４９とを構成する。むろん、画像処理装置２０は、この他にも機種毎による色の違いを補正する色変換手段であったり、機種毎に対応した解像度を変換する解像度変換手段などを構成していても構わない。この例では、コンピュータ２１はＲＡＭなどを使用しながら、内部のＲＯＭやハードディスク２２に保存されている各画像処理のプログラムを実行していく。

この画像処理のプログラムの実行結果は後述するようにコントラストを強調した画像データとして得られ、得られた画像データに基づいて画像出力装置３０であるプリンタ３１で印刷したり、同じ画像出力装置３０であるディスプレイ３２に表示する。なお、この画像データは、より具体的にはＲＧＢ（緑、青、赤）の階調データとなっており、また、画像は縦方向（ｈｅｉｇｈｔ）と横方向（ｗｉｄｔｈ）に格子状に並ぶドットマトリクスデータとして構成されている。

［第１実施形態］
次に、本発明の第１実施形態について説明する。図３に第１実施形態による画像処理装置２０ａの構成を示す。画像処理装置２０ａは図１に示す画像処理装置２０の一例であり、画像入力装置１０から画像入力RGB_INを受け取り、画像出力装置３０へ画像出力RGB_OUTを出力する。

図示のように、第１実施形態による画像処理装置２０ａは、ＲＧＢ／ＹＵＶ変換部２０１と、ヒストグラム作成部２１０と、画像統計量計算部２２０と、補正量計算部２３０と、Ｙ補正処理部２４０と、ＹＵＶ／ＲＧＢ変換部２０２とを備える。ここで、図１に示す基本構成との関係では、ヒストグラム作成部２１０が輝度分布検出手段２１９に対応し、画像統計量計算部２２０が輝度分布広がり量検出手段２２９に対応し、補正量計算部２３０が階調数割当手段２３９に対応し、Ｙ補正処理部２４０が画像データ変換手段２４９に対応する。

ＲＧＢ／ＹＵＶ変換部２０１は、ＲＧＢデータである画像入力RGB_INを、輝度（Ｙ）及び色差（Ｕ、Ｖ）データ（以下、「ＹＵＶデータ」とも呼ぶ。）に変換する。ＲＧＢデータからＹＵＶデータへの変換式は下記の通りである。

Ｙ＝＋0.2990Ｒ＋ 0.5870Ｇ＋ 0.1140Ｂ
Ｕ＝ −0.1684Ｒ − 0.3316Ｇ＋ 0.5000Ｂ
Ｖ＝＋0.5000Ｒ − 0.4187Ｇ − 0.0813Ｂ
ヒストグラム作成部２１０は、得られたＹ（輝度）データのヒストグラムを作成し、画像統計量計算部２２０はそのヒストグラムに基づいて画像統計量を計算する。そして、補正量計算部２３０は画像統計量に基づいてＹデータの補正量を計算しＹ補正処理部２４０へ供給する。

ＲＧＢ／ＹＵＶ変換部２０１からはＹＵＶデータがＹ補正処理部２４０へ供給されており、Ｙ補正処理部２４０は、計算された補正量に基づいてＹデータの補正を実行する。そして、補正後のＹデータを含むＹＵＶデータをＹＵＶ／ＲＧＢ変換部２０２へ送る。

ＹＵＶ／ＲＧＢ変換部２０２は、Ｙ補正処理部２４０により補正がなされた後のＹＵＶデータをＲＧＢデータである画像出力RGB_OUTに変換して出力する。ＹＵＶデータからＲＧＢデータへの変換式は下記の通りである。

Ｒ＝Ｙ＋ 1.4020Ｖ
Ｇ＝Ｙ − 0.3441Ｕ − 0.7139Ｖ
Ｂ＝Ｙ＋ 1.7718Ｕ − 0.0012Ｖ
本発明では、特に動画の画像補正処理を意識しており、画像入力RGB_INとしては、一定の再生周期を有するフレームデータが連続的に入力されるものとする。そのため、ヒストグラム作成部２１０が１フレームのフレームデータのヒストグラムを作成した後、補正量計算部２３０により補正量計算、及び、Ｙ補正処理部２４０による補正処理が迅速に行われないと、動画のリアルタイム性、連続性を保つことができない。例えば、画像補正において使用する補正曲線のＬＵＴを作成する際に補間演算などを行うと、その演算時間が全体の処理速度に影響し、大きな処理遅れが生じてしまう可能性がある。

そこで、本実施形態では、画像入力のヒストグラム作成、画像統計量計算及び補正量計算が完了した後は、補間演算とＬＵＴ作成を行うことなく、続けて入力されてくるフレームデータに対して直ちにその補正を適用して補正処理を行うことで、リアルタイムの補正を実現する。なお、ヒストグラム及び補正量は前フレームのフレームデータから作成されたものであるので、それに基づく補正の対象となるフレームは次のフレームとなる。即ち、補正量の計算の元になるフレームと、その補正量での補正の対象となるフレームとは１フレームずれる（遅れる）ことになるが、３０フレーム／秒など、ある程度以上のフレームレートの動画については、この遅れは人間の視覚上問題ないものといえる。

なお、ＲＧＢデータとＹＵＶデータ間の変換の詳細な方法には特に規定はないが、高速かつ簡易な構成（省リソース）で実行するために、計数を簡略化して積和演算とシフト演算（回路的には下位ビットを削除する）により変換することが望ましい。また、画像入力がＲＧＢデータではなく、ＹＵＶデータである場合には、もちろんこの変換は不要である。なお、本発明の適用は、ＲＧＢデータ、ＹＵＶデータに限定されるものではない。

次に、Ｙ補正処理部２４０における補正処理について詳しく説明する。本実施形態では、Ｙ補正処理部２４０が行う補正は、コントラスト補正、明度補正、彩度補正などといった種別を問わず、補正曲線を利用して多階調データを補正する一般的な曲線補正として説明する。

具体的には、補正曲線を規定する補正ポイントを以下のように定める。なお、補正ポイントとは、補正曲線上のポイント（点）であり、補正曲線を決定する基準となるポイントである。
（１）補正ポイントの個数は１つ以上とする。
（２）補正ポイントの入力座標（補正特性のＸ軸）は予め固定とする（即ち、画像の内容によらないものとする）。
（３）補正ポイントの出力座標（補正特性のＹ軸）は画像内容によって逐次変化する。

例えば、補正入力座標をＸ１、Ｘ２、….、Ｘｎとし、画像内容から求まる補正量をΔＹ１、ΔＹ２、….、ΔＹｎとすると、補正ポイント座標は、（Ｘ１、Ｘ１＋ΔＹ１）、（Ｘ２、Ｘ２＋ΔＹ２）、…..、（Ｘｎ、Ｘｎ＋ΔＹｎ）となる。これらの補正ポイントと、変化させない固定点（即ち、最小階調値と最大階調値）を一般的なスプライン補間アルゴリズムで結ぶと、補正曲線の式は以下のようになる。

０≦Ｘ＜Ｘ１のとき、
Ｙ＝Ｆ11［Ｘ］×ΔＹ１＋Ｆ１２［Ｘ］×ΔＹ2＋・・＋Ｆ1n［Ｘ］×ΔＹｎ＋Ｘ
Ｘ１≦Ｘ＜Ｘ2のとき、
Ｙ＝Ｆ21［Ｘ］×ΔＹ１＋Ｆ２２［Ｘ］×ΔＹ2＋・・＋Ｆ2n［Ｘ］×ΔＹn＋Ｘ・・・・・・
Ｘｎ≦Ｘのとき、
Ｙ＝Ｆn1［Ｘ］×ΔＹ1＋Ｆn2［Ｘ］×ΔＹ2＋・・＋Ｆnn［Ｘ］×ΔＹn＋Ｘ
となる。これをまとめると、
Ｙ＝Ｆ1［Ｘ］×ΔＹ１＋Ｆ２［Ｘ］×ΔＹ2＋・・＋Ｆn［Ｘ］×ΔＹn＋Ｘ（式１）となる。ここで、Ｆ1［Ｘ］、Ｆ2［Ｘ］、…、Ｆn［Ｘ］はＸの関数であり、Ｘ1、Ｘ2、…、Ｘnを定めるとこれらの関数も一意に決まるので、最小階調から最大階調までのＸについて予め計算してテーブルにしておく。例えば入力階調が８ビット、テーブル値が８ビットならば、１つのテーブルサイズは２５６×８ビットのサイズとなり、階調補正特性は図４に示すようになる。

次に、本実施形態におけるＹ補正処理部の基本構成を説明する。図５に本実施形態におけるＹ補正処理部２４０の構成を示す。図示のように、Ｙ補正処理部２４０には、画像入力Ｘと、補正量ΔＹ1〜ΔＹnが入力される。Ｙ補正処理部２４０は、Ｆ1［Ｘ］〜Ｆn［Ｘ］に対応するテーブル（本例では２５６×８ビット）を有し、式１に従って画像入力と係数Ｆ1［Ｘ］〜Ｆn［Ｘ］それぞれとの積を補正量ΔＹ１、ΔＹ２〜ΔＹｎに加算し、それらの合計を画像出力Ｙとして出力する。

階調補正は以下の手順で行われる。
（１）まず、係数Ｆ1［Ｘ］、Ｆ2［Ｘ］、…、Ｆn［Ｘ］を予め計算しておく。これらの係数は、図５に示すようにテーブルとしてＲＯＭメモリに保持しておくことができる。また、メモリ削減の要求がある場合には、そのまま固定値で回路化してもよい。
（２）次に、画像入力が開始され、ヒストグラム作成部２１０及び画像統計量計算部２２０によりフレームデータの内容が解析され、補正量計算部２３０により補正量ΔＹ１〜ΔＹｎが決定される。
（３）そして、画像入力Ｘに依存して定まる係数Ｆ1［Ｘ］、Ｆ2［Ｘ］、…、Ｆn［Ｘ］にそれぞれ補正量ΔＹ１、ΔＹ２〜ΔＹｎを乗算したものを元の画像入力Ｘに加算して、階調補正が実行される。このように、補正量ΔＹ１、ΔＹ２〜ΔＹｎが求まってからスプライン曲線を作るのではなく、予め計算された値を用いて積和演算のみで補正がなされるので、高速な補正処理が可能となる。

以上のように、本実施形態によれば、画像表示装置などのＣＰＵの使用に自由度が無い場合（例えば、ＣＰＵが他の処理を実行しているなどの理由により全く使用できない、使用できるが処理速度が遅い、コントラスト補正回路の要求タイミング通りにＣＰＵを使うことができない）などの場合でも、上述のような補正回路自体により簡単にスプライン補間ができるので、動画像などをリアルタイムに補正して表示することが可能となる。また、入力画像中の各画素値に対してリアルタイムで補間、補正が可能であるので、補間結果を保存しておくためのＬＵＴメモリは不要となり、画像表示装置自体の低コスト化が可能となる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態は、補正曲線を利用した画像補正として具体的にコントラスト補正を行う場合の画像処理システムに関する。ここでのコントラスト補正は、入力された画像のＹ（輝度）データに対して、低輝度画素の階調値を下げ、高輝度画素の階調値を上げることによりコントラストを向上する補正である。

第２実施形態による画像処理装置２０ｂの構成を図６に示す。第２実施形態の画像処理装置２０ｂの基本的構成は、図３に示す第１実施形態による画像処理装置２０ａとほぼ同一である。但し、画像統計量計算部２２０の代わりに標準偏差計算部２２１が設けられている点、補正量計算部２３０の代わりにコントラスト補正量計算部２３１が設けられている点、及び、Ｙ補正処理部２４１がコントラスト補正を実行する構成を備えている点が異なる。

図６において、画像入力装置１０からの画像入力RGB_INはＲＧＢ／ＹＵＶ変換部２０１によりＹＵＶデータに変換される。Ｙデータはヒストグラム作成部２１０に送られ、フレーム単位で輝度のヒストグラムが作成されて標準偏差計算部２２１へ供給される。標準偏差計算部２２１はフレーム単位での輝度の標準偏差を計算し、コントラスト補正量計算部２３１へ供給する。コントラスト補正量計算部２３１は標準偏差に基づいてコントラスト補正量を計算し、Ｙ補正処理部２４１へ供給する。Ｙ補正処理部２４１は、受け取った補正量に応じてＹデータのコントラスト補正を実行する。そして、コントラスト補正後のＹデータと、Ｕデータ及びＶデータがＹＵＶ／ＲＧＢ変換部２０２によりＲＧＢデータである画像出力RGB_OUTに変換され、画像出力装置３０へ出力される。

次に、Ｙ補正処理部２４１における補正処理について詳しく説明する。本実施形態では、画像補正としてコントラスト補正を行い、補正曲線を規定する補正ポイントを以下のように定める（図７（ａ）を参照）。
（１）補正ポイントの個数を２つとする。
（２）補正ポイントの入力座標（補正特性のＸ軸）は、６４（=256×1/4）と１９２（=256×3/4）に設定する。
（３）補正ポイントの出力座標（補正特性のＹ軸）は、補正量の絶対値を等しくし、６４のとき階調を減じ、１９２のとき階調を増加する。

即ち、補正量の絶対値をΔＹとすると、補正ポイント座標は（６４、６４−ΔＹ）と（１９２、１９２＋ΔＹ）となる。

コントラスト補正量ΔＹは例えば次のように決定する。フレーム画像の輝度標準偏差をσ、コントラスト補正を行う上限のσをσlimitとして、補正量ΔＹは、
ΔＹ＝ σｌｉｍｉｔ − σ （σ＜σｌｉｍｉｔ）
ΔＹ＝０（σ≧σｌｉｍｉｔ）
但し、上記はあくまでも補正量導出の一例であり、画像の内容によって随時変化するパラメータから適応的に補正量が定まることを説明するためのものである。よって、本発明における補正量導出方法は上記の例示に限定されるものではない。

固定点（０，０）、補正ポイント（６４、６４−ΔＹ）及び（１９２、１９２＋ΔＹ）、固定点（２５５、２５５）をスプライン補間アルゴリズムで結ぶと、入力輝度ｙと出力輝度Ｙとの関係は以下の式のようになる。

０≦ｙ＜６４のとき,
Ｙ＝y（y² − 12288）／2¹⁹×ΔＹ＋ｙ
６４≦ｙ＜１９２のとき,
Ｙ＝y'（y'² − 12288）／2¹⁹×ΔＹ＋ｙ、但しy'=128-y １９２≦ｙ≦２５５のとき、Ｙ＝y''（y''² − 12288）／2¹⁹×ΔＹ＋ｙ、但しy''=y-256 上式をＹ＝Ｆ［ｙ］×ΔＹ＋ｙとすると、補正量ΔＹの係数Ｆ［ｙ］は図７（ｂ）のようになる。図示のように、Ｆ［ｙ］は正弦波（ｓｉｎ波）に類似した値の周期性を有する波形となるので、１２８≦ｙ≦１９２の部分を基本的な曲線パターンと考え、その部分だけの係数をテーブル化して記憶すればよい。

コントラスト補正処理は、Ｙ補正処理部２４１により以下のように実行される。
（１）係数Ｆ［ｙ］を予め計算しておく。但し、１２８≦ｙ≦１９２の曲線パターン部分のみとし、改めてこれをＦ'［ｚ］（０≦ｚ≦６４）と定義する。Ｆ'［ｚ］をあるビット長（例えば８ビット）の固定小数点数として、これをテーブルとしてＲＯＭメモリに保持しておいてもよく、メモリ削減のためにそのまま固定値で回路化してもよい。
（２）画像入力が開始されると、ヒストグラム作成部２１０がヒストグラムを作成し、標準偏差計算部２２１が標準偏差を計算し、コントラスト補正量計算部２３１が補正量ΔＹを決定する。
（３）入力ｙにより定まるＦ［ｙ］にΔＹを掛けたものを元データｙに加算することによりコントラスト補正が実行される。コントラスト補正を行うＹ補正処理部２４１の構成例を図８に示す。図示の回路により上記のコントラスト補正が実行される。

但し、Ｙ補正処理部は、
０≦ｙ＜６４のときはＦ［ｙ］＝−Ｆ'［ｙ］、
６４≦ｙ＜１２８のときはＦ［ｙ］＝−Ｆ'［128−ｙ］
１２８≦ｙ＜１９２のときはＦ［ｙ］＝Ｆ'［ｙ−128］
１９２≦ｙ≦２５５のときはＦ［ｙ］＝Ｆ'［256−ｙ］
とする。

以上のように、補正量ΔＹが求められてからスプライン曲線を作るのではなく、予め計算された値を用いて積和演算のみで補正がなされるので、高速な補正処理が可能となる。また補正曲線の周期性を利用し補正曲線の一部のみを記憶して使用する（即ち補正曲線を特定の曲線パターンの組み合わせと考え、その曲線パターン部分のみについての係数を記憶する）ことができるので、係数テーブルのサイズの削減、又は、係数を記憶する回路の削減が可能となる。

［第３実施形態］
次に、本発明の第３実施形態について説明する。第３実施形態は、補正曲線を利用した画像補正として具体的に明度補正を行う場合の画像処理システムに関する。明度補正は、入力された画像のＹ（輝度）データに対して、全体の輝度分布が低輝度又は高輝度側に偏っている場合の補正（明度補正）である。

第３実施形態による画像処理装置２０ｃの構成を図９に示す。第３実施形態の画像処理装置２０ｃの基本的構成は、図３に示す第１実施形態による画像処理装置２０ａとほぼ同一であり、具体的には、ＲＧＢ／ＹＵＶ変換部２０１と、輝度総和計算部２１２と、輝度平均値計算部２２２と、明度補正量計算部２３２と、Ｙ補正処理部２４２と、ＹＵＶ／ＲＧＢ変換部２０２とを備える。

図９において、画像入力装置１０からの画像入力RGB_INはＲＧＢ／ＹＵＶ変換部２０１によりＹＵＶデータに変換される。Ｙデータは輝度総和計算部２１２に送られ、フレーム単位で輝度の総和が計算されて輝度平均値計算部２２２へ供給される。輝度平均値計算部２２２はフレーム単位での輝度平均値を計算し、明度補正量計算部２３２へ供給する。明度補正量計算部２３２は輝度平均値に基づいて明度補正量を計算し、Ｙ補正処理部２４２へ供給する。Ｙ補正処理部２４２は、受け取った補正量に応じてＹデータの明度補正を実行する。そして、明度補正後のＹデータと、Ｕデータ及びＶデータがＹＵＶ／ＲＧＢ変換部２０２によりＲＧＢデータである画像出力RGB_OUTに変換され、画像出力装置３０へ出力される。

次に、Ｙ補正処理部２４２における補正処理について詳しく説明する。本実施形態では、画像補正として明度補正を行い、補正曲線を規定する補正ポイントを以下のように定める（図１０（ａ）を参照）。
（１）補正ポイントの個数を１つとする。
（２）補正ポイントの入力座標（補正特性のＸ軸）は、補正量＜０のときは６４とし、補正量＞０のときは１９２とする（入力座標１２８に対する対称値の例）。
（３）補正ポイントの出力座標（補正特性のＹ軸）は、入力座標が６４のときは階調を減じ、入力座標が１９２のときは階調を増加する。

即ち、補正量の絶対値をΔＹとすると、補正ポイント座標は（６４、６４−ΔＹ）又は（１９２、１９２＋ΔＹ）のいずれかとなる。

明度補正量ΔＹは例えば次のように決定する。入力されたフレーム画像の輝度平均値をＡ、高輝度化と低輝度化のいずれにするかを決定する閾値をＡthとすると、補正量ΔＹは、
ΔＹ＝Ａth − Ａ
となる。なお、この明度補正量の決定方法は一例であり、他の補正量の決定方法を採用することも可能である。

ΔＹ＞０の場合について、固定点（０，０）、補正ポイント（１９２、１９２＋ΔＹ）、固定点（２５５、２５５）をスプライン補間アルゴリズムで結ぶと、入力輝度ｙと出力輝度Ｙとの関係は以下の式のようになる。

０≦ｙ＜１９２のとき,
Ｙ＝−y（y² − 61440）／（９×２¹⁹）×ΔＹ＋ｙ
１９２≦ｙ≦２５５のとき,
Ｙ＝−y'（y'² − 28672）／（３×２¹⁹）×ΔＹ＋ｙ、但しy' ＝256-y
一方、
ΔＹ＜０の場合について、固定点（０，０）、補正ポイント（６４、６４＋ΔＹ）、固定点（２５５、２５５）を同様にスプライン補間アルゴリズムで結ぶと、入力輝度ｙと出力輝度Ｙとの関係は以下の式のようになる。

０≦ｙ＜６４のとき,
Ｙ＝−y（y² − 28672）／（３×２¹⁹）×ΔＹ＋ｙ
６４≦ｙ≦２５５のとき,
Ｙ＝−y'（y'² − 61440）／（９×２¹⁹）×ΔＹ＋ｙ、但しy' ＝256-y
上式をＹ＝Ｇ［ｙ］×ΔＹ＋ｙとすると、補正量ΔＹの係数Ｇ［ｙ］は図１０（ｂ）に示すようになる。図示のように、Ｇ［ｙ］はΔＹ＞０のときとΔＹ＜０のときとで、１２８を中心とした対称な波形となるので、ΔＹ＞０の方だけテーブル化して記憶すればよい。

明度補正処理は、Ｙ補正処理部２４２により以下のように実行される。
（１）ΔＹ＞０の係数Ｇ［ｙ］を予め計算しておく。Ｇ［ｙ］をあるビット長（例えば８ビット）の固定小数点数として、これをテーブルとしてＲＯＭメモリに保持しておいてもよく、メモリ削減のためにそのまま固定値で回路化してもよい。
（２）画像入力が開始されると、輝度総和計算部２１２がフレーム毎の輝度の総和を計算し、輝度平均値計算部２２２が輝度の平均値を計算し、明度補正量計算部２３２が補正量ΔＹを決定する。
（３）ΔＹ＞０のときはＧ［ｙ］、ΔＹ＜０のときはＧ［255−ｙ］にΔＹを掛けたものを元データｙに加算することにより明度補正が実行される。なお、ΔＹ＜０のときは、Ｇ［255−ｙ］にΔＹを掛けたものを元データｙから減算してもよい。

なお、補正ポイントを入力ｙ＝１２８とすれば、明度補正曲線は第２実施例と同様にｓｉｎ波に類似する左右対称の波形となるので、０〜１２８の部分（図１０（ｂ）の明度補正係数の曲線における山の半分）だけをテーブル化することによりメモリ削減が可能である。

［第４実施形態］
次に、本発明の第４実施形態について説明する。第４実施形態は、補正曲線を利用した画像補正として具体的に彩度補正（彩度強調）を行う場合の画像処理システムに関する。

第４実施形態による画像処理装置２０ｄの構成を図１１に示す。第４実施形態の画像処理装置２０ｄの基本的構成は、図３に示す第１実施形態による画像処理装置２０ａとほぼ同一であり、具体的には、ＲＧＢ／ＹＵＶ変換部２０１と、彩度総和計算部２１３と、彩度平均値計算部２２３と、彩度補正量計算部２３３と、ＵＶ補正処理部２４３と、ＹＵＶ／ＲＧＢ変換部２０２とを備える。

図１１において、画像入力装置１０からの画像入力RGB_INはＲＧＢ／ＹＵＶ変換部２０１によりＹＵＶデータに変換される。Ｕデータ及びＶデータは彩度総和計算部２１３に送られ、フレーム単位で彩度の総和が計算されて彩度平均値計算部２２３へ供給される。彩度平均値計算部２２３はフレーム単位での彩度平均値を計算し、彩度補正量計算部２３３へ供給する。彩度補正量計算部２３３は彩度平均値に基づいて彩度補正量を計算し、ＵＶ補正処理部２４３へ供給する。ＵＶ補正処理部２４３は、受け取った補正量に応じてＵＶデータの彩度補正を実行する。そして、Ｙデータと彩度補正後のＵデータ及びＶデータがＹＵＶ／ＲＧＢ変換部２０２によりＲＧＢデータである画像出力RGB_OUTに変換され、画像出力装置３０へ出力される。

先に示したＲＧＢ／ＹＵＶ変換式から理解されるように、Ｕ、Ｖの値は負の値もとることがあり、−１２８〜＋１２８の範囲内の値となる。Ｕ、Ｖの値をこのまま２の補数で扱うことも可能であるが、以下の例では単純化するためにＵ、Ｖの値に１２８を加算して０〜２５５の範囲の値に変換してから補正処理を行い、ＹＵＶデータからＲＧＢデータに戻すときに１２８を減算することとする。なお、この処理は、いずれもＵ、Ｖの値の極性を示す最上位ビットを反転することにより実現することができる。

以下、このようにして値の範囲を０〜２５５に変更したｕ＋１２８、ｖ＋１２８に対してそれぞれ彩度補正処理を行う。なお、ｕ＋１２８に対する処理とｖ＋１２８に対する処理は同じであるので、以下はｕ＋１２８を採り上げて説明する。

ＵＶ補正処理部２４３における補正処理について詳しく説明する。本実施形態では、画像補正として彩度補正を行い、補正曲線を規定する補正ポイントを以下のように定める（図１２（ａ）及び（ｂ）を参照）。
（１）補正ポイントの個数は２つとする。
（２）補正ポイントの入力座標（補正特性のＸ軸）は、６４（=256×1/4）と１９２（=256×3/4）とする。
（３）補正ポイントの出力座標（補正特性のＹ軸）は、補正量の絶対値を等しくし、入力座標が６４のときは階調を減じ、入力座標が１９２のときは階調を増加する。

即ち、補正量の絶対値をΔＳとすると、補正ポイント座標は（６４、６４−ΔＳ）と（１９２、１９２＋ΔＳ）となる。

彩度補正量ΔＳは例えば次のように決定する。彩度ＳをＳ＝（|ｕ|＋|ｖ|）／２で表し、フレーム画像の彩度平均値をＳａ、彩度補正を行う上限の彩度平均値ＳａをＳlimitとすると、彩度補正量ΔＳは、
ΔＳ＝Ｓlimit − Ｓａ（Ｓａ＜Ｓlimit）
ΔＳ＝０（Ｓａ≧Ｓlimit）
となる。なお、この彩度補正量の決定方法は一例であり、他の補正量の決定方法を採用することも可能である。

Ｕ及びＶに対する彩度補正は、ＵＶ補正処理部２４３により、Ｙに対するコントラスト補正と同様に行われる。
（１）係数Ｆ［ｙ］を予め計算しておく。
（２）画像入力が開始されると、彩度総和計算部２１３が彩度の総和を計算し、彩度平均値計算部２２３が彩度の平均値を計算し、彩度補正量計算部２３３が補正量ΔＳを決定する。
（３）入力ｕ＋１２８により定まるＦ［ｕ＋１２８］にΔＳを掛けたものを元データｙに加算することにより彩度補正が実行される。彩度補正を行うＵＶ補正処理部２４３の構成例を図１３に示す。図示の回路により上記の彩度補正が実行される。

なお、入力ｖ＋１２８に対しても、ｕ＋１２８と同じ処理が行われるので、図１３に示すように、ＵＶ補正処理部２４３には２つの積和演算回路が含まれることになる。

［第５実施形態］
次に、本発明の第５実施形態を説明する。第５実施形態は、画像補正としてコントラスト補正と彩度補正の両方を行う画像処理システムである。図１４に第５実施形態に係る画像処理装置２０ｅの構成を示す。図示のように、画像処理装置２０ｅは、ＲＧＢ／ＹＵＶ変換部２０１と、ＹＵＶ／ＲＧＢ変換部２０２と、ヒストグラム作成部２１０と、標準偏差計算部２２１と、コントラスト補正量計算部２３１と、彩度総和計算部２１３と、彩度平均値計算部２２３と、彩度補正量計算部２３３と、マルチプレクサ２０４と、コントラスト／彩度補正処理部２４４とを備える。

図１４において、画像入力装置１０から入力された画像入力RGB_INはＲＧＢ／ＹＵＶ変換部２０１によりＹＵＶデータに変換される。Ｙ、Ｕ、Ｖの各データがコントラスト／彩度補正処理部２４４へ供給されるとともに、Ｙデータはヒストグラム作成部２１０へ供給され、Ｕ及びＶデータは彩度総和計算部２１３へ供給される。

コントラスト補正及び彩度補正は、基本的に上述の第２実施形態及び第４実施形態と同様に行われる。コントラスト補正に関しては、ヒストグラム作成部２１０はフレーム毎の輝度のヒストグラムを生成し、標準偏差計算部２２１がその標準偏差を計算し、コントラスト補正量計算部２３１が標準偏差に基づいてコントラスト補正量を計算し、マルチプレクサ２０４へ供給する。一方、彩度補正に関しては、彩度総和計算部２１３がＵデータ及びＶデータのそれぞれについて、フレーム毎の彩度の総和を計算し、彩度平均値計算部２２３が彩度の平均値を計算し、彩度補正量計算部２３３が平均値に基づいて彩度の補正量を計算してマルチプレクサ２０４へ供給する。

マルチプレクサ２０４はコントラスト補正量と彩度補正量を時分割でコントラスト／彩度補正処理部２４４へ供給するために設けられている。コントラスト／彩度補正処理部２４４は、第２実施形態と同様の手法によりコントラスト補正量に応じてＹデータのコントラストを補正するとともに、第４実施形態と同様の手法により彩度補正量に応じてＵデータ及びＶデータの彩度を補正し、補正後のＹ、Ｕ、ＶデータをＹＵＶ／ＲＧＢ変換部２０２へ供給する。ＹＵＶ／ＲＧＢ変換部２０２は、受け取ったＹＵＶデータをＲＧＢデータに変換し、画像出力RGB_OUTとして画像出力装置３０へ出力する。

コントラスト／彩度補正処理部２４４の詳細構成を図１５に示す。マルチプレクサ２４４ａは画像入力として、前述のｙ、ｕ＋１２８、ｖ＋１２８を受け取り、時分割でそのうちの１つを選択して補正ブロック２４５へ供給する。マルチプレクサ２４４ａとマルチプレクサ２０４の動作は同期しており、マルチプレクサ２４４ａが画像入力ｙを選択しているときにはマルチプレクサ２０４はコントラスト補正量ΔＹを選択する。また、マルチプレクサ２４４ａが画像入力ｕ＋１２８又はｖ＋１２８を選択しているときにはマルチプレクサ２０４は彩度補正量ΔＳを選択する。

補正ブロック２４５は、与えられたｙ、ｕ＋１２８、ｖ＋１２８のいずれかの入力に応じてテーブルを参照して係数Ｆ［］の値を決定し、これを元データに加算して補正後の画像データをデマルチプレクサ２４４ｂへ供給する。デマルチプレクサ２４４ｂは、コントラスト補正後の画像出力Ｙ、彩度補正後の画像出力Ｕ＋１２８及びＶ＋１２８を時分割でＹＵＶ／ＲＧＢ変換部２０２へ供給する。

図１６は、本実施形態の画像処理装置２０ｅによるコントラスト補正及び彩度補正の時分割処理例を示すタイミングチャートである。時分割処理は、入力画像の４倍のクロックで行っている。即ち、ｙ、ｕ＋１２８、ｖ＋１２８の３つの入力に対して、マルチプレクサ２４４ａ及び２０４を制御して、その順序でコントラスト補正及び彩度補正を行い、補正後のＹデータ及びＵ＋１２８データを図示しないバッファに一時的に保存する。これは、その後に得られる補正後のＶ＋１２８データとのタイミング調整のためである。そして、Ｖ＋１２８データが得られた時点で、補正後のＹデータＵ＋１２８データ及びＶ＋１２８データを出力する。

第４実施形態において述べたように、コントラスト補正と彩度補正は基本的に同一の補正曲線を使用して行うことができる。よって、本実施形態のように、補正曲線を規定する係数Ｆ［］を保存するテーブルを共有し、補正の対象となるデータ（Ｙ、Ｕ及びＶデータ）を時分割で処理することにより、係数Ｆ［］を記憶するテーブルＲＯＭメモリ又はそのための回路、並びに各データに対応する積和演算部分の構成を簡略化することができる。

［第６実施形態］
これまで説明した第１乃至第５実施形態では、画像補正に際し、補正曲線に対応するデータをＬＵＴに記憶するのではなく、必要最小限の係数データのみをテーブルに記憶しておき、入力画像データに対してその係数データのテーブルと積和演算によりリアルタイムで補正を行うものであった。この方法は、補正曲線に対応するデータを記憶しておく比較的大容量のＬＵＴメモリを不要とするという長所がある。その一方で、この方法は、全画素データに対して毎回積和演算を行うため、演算に伴う消費電力が増加する恐れがある。そこで、以下の第６乃至第８実施形態では、補正曲線を記憶したＬＵＴを使用するものとし、本発明の手法によりそのＬＵＴを効率的に作成する手法を提供する。

図１７は本実施形態による階調補正ＬＵＴ作成部の構成を示す。階調補正ＬＵＴ作成部２８０には、補正量ΔＹ１〜ΔＹｎが入力されるとともに、補正の対象となる画像データの採りうる階調値（０〜２５５）がＬＵＴインデックスとして順に入力される。補正量に基づいて入力階調値に応じて決定される係数Ｆ［］と補正量との積を入力階調値に加算することにより、ＬＵＴメモリに記憶されるべきＬＵＴ値が得られる。これにより、入力画像データが採りうる階調値に対応する回数の積和演算により、画像補正のためのＬＵＴを生成することができる。

［第７実施形態］
第７実施形態は、第６実施形態における補正曲線のＬＵＴ作成に関し、特にそれをコントラスト補正に適用した例である。図１８は、本実施形態による画像処理装置２０ｆの構成を示す。図示のように、画像処理装置２０ｆは、ＲＧＢ／ＹＵＶ変換部２０１と、ＹＵＶ／ＲＧＢ変換部２０２と、ヒストグラム作成部２１０と、標準偏差計算部２２１と、コントラスト補正量計算部２３１と、ＬＵＴ作成部２６４と、Ｙ補正処理部２６５と、を備える。ここで、ＲＧＢ／ＹＵＶ変換部２０１、ＹＵＶ／ＲＧＢ変換部２０２、ヒストグラム作成部２１０、標準偏差計算部２２１及びコントラスト補正計算部２３１は図６に示す第２実施形態のものと同様であるので説明は省略する。

ＬＵＴ作成部２６４の構成例を図１９に示す。入力される０〜２５５の入力階調値に基づいて決まる係数Ｆ［］とコントラスト補正量ΔＹとの積が入力階調値に加算され、ＬＵＴ値としてＬＵＴメモリに格納される。ＬＵＴメモリはＹ補正処理部２６５内に設けることができる。図１８に示すように、Ｙ補正処理部２６５は、ＲＧＢ／ＹＵＶ変換部２０１から供給された元データｙを入力階調値としてＬＵＴメモリを参照し、出力階調値を決定してＹＵＶ／ＲＧＢ変換部２０２へ出力する。

本実施形態では、ＬＵＴメモリ内にＬＵＴが作成されるまでの間は図１９に示すＬＵＴ作成部２６４により積和演算を実行して迅速にＬＵＴを作成することができる。また、ＬＵＴが作成された後は、入力画像データに対して当該ＬＵＴを参照して補正後のデータを得ることができるので、消費電力の増加を抑制することができる。

なお、以上はコントラスト補正について説明したが、同様に明度補正を行うこともできる。

［第８実施形態］
次に本発明の第８実施形態を説明する。第８実施形態は、第６実施形態による補正曲線のＬＵＴ作成に関し、それを彩度補正に適用した例である。但し、単純に彩度補正に適用すると、ＵデータとＶデータについて各々１つのＬＵＴメモリが必要となるが、それらに記憶すべき内容は同一であるので、メモリの無駄使いになる。よって、ＵデータとＶデータの共通のＬＵＴメモリを設け、彩度補正処理の実行中には当該共通のＬＵＴメモリを時分割で読み出して補正を行うこととする。

図２０に本実施形態の画像処理システムの構成を示す。本発明の画像処理システム２０ｇは、コントラスト補正の代わりに彩度補正を行う点以外は、基本的に図１８に示した第７実施形態の画像処理システム２０ｆと同様である。具体的には、図２０に本実施形態におけるヒストグラム作成部２１０、標準偏差計算部２２１、及びコントラスト補正量計算部２３１の代わりに、彩度総和計算部２１３、彩度平均値計算部２２３及び彩度補正量計算部２３３が設けられる。また、彩度総和計算部２１３、彩度平均値計算部２２３及び彩度補正量計算部２３３の構成は、図１１に示した第４実施形態のおけるものと同一である。

図２１に補正ＬＵＴ作成部２６４ａの構成を示す。ｕ＋１２８、ｖ＋１２８が入力され、入力に対応する係数と彩度補正量計算部２３３から与えられた補正量ΔＳとの積を入力データに加算することによりＬＵＴ値が計算され、これがＬＵＴメモリに格納される。補正ＬＵＴの作成処理においては、ｕ＋１２８又はｖ＋１２８の一方について階調値０〜２５５を入力としてＬＵＴメモリを作成すればよい。

図２２は、そうして作成されたＬＵＴメモリを利用した彩度補正処理のタイミングチャートである。ｕ＋１２８とｖ＋１２８の２つの入力データを時分割で処理するので、入力データの２倍のクロックで処理を行うことになる。図２２において、入力ｕ＋１２８とｖ＋１２８について、時分割で入力データの階調値に対応するＬＵＴアドレス（ＬＵＴメモリ内のアドレス）を指定し、そのアドレスからのリードデータをバッファに一時的に格納する。このバッファは、ＬＵＴメモリを用いた彩度補正後のＵデータを格納して、Ｖデータとのタイミング調整を行うために設けられている。そして、次のタイミングで彩度補正後のＶデータ（Ｖ＋１２８）が得られると、それはバッファ内に一時的に格納されている補正後のＵデータ（Ｕ＋１２８）とともにＹＵＶ／ＲＧＢ変換部２０２へ出力される。

なお、本実施形態では、メモリのクロック周波数は入力画像データの周波数の２倍の周波数を必要とするが、一般の画像レートでの画素周波数に比してメモリの動作可能周波数は十分に高いので、その点は問題にはならない。よって、ＵデータとＶデータに共通のＬＵＴを時分割で使用することにより、ＬＵＴメモリ分のコスト削減効果が得られる。

本発明による画像処理システムの構成を示す。図１に示す画像処理システムの詳細構成を示す。第１実施形態による画像処理装置の構成を示す。第１実施形態による階調補正曲線の例を示す。第１実施形態による補正量計算部の構成を示す。第２実施形態による画像処理装置の構成を示す。第２実施形態によるコントラスト補正曲線の例を示す。第２実施形態によるＹ補正処理部の構成を示す。第３実施形態による画像処理装置の構成を示す。第３実施形態による明度補正曲線の例を示す。第４実施形態による画像処理装置の構成を示す。第４実施形態による彩度補正曲線の例を示す。第４実施形態によるＵＶ補正処理部の構成を示す。第５実施形態による画像処理装置の構成を示す。第５実施形態によるコントラスト／彩度補正処理部の構成を示す。コントラスト／彩度補正処理のタイムチャートを示す。第６実施形態によるＬＵＴ作成部の構成を示す。第７実施形態による画像処理装置の構成を示す。第７実施形態によるＬＵＴ作成部の構成を示す。第８実施形態による画像処理装置の構成を示す。第８実施形態によるＬＵＴ作成部の構成を示す。第８実施形態による彩度補正処理のタイムチャートを示す。

符号の説明

１０…画像入力装置、２０…画像処理装置、３０…画像出力装置、２０１…ＲＧＢ／ＹＵＶ変換部、２０２…ＹＵＶ／ＲＧＢ変換部、２１０…ヒストグラム作成部、２２０…画像統計量計算部、２３０〜２３３…補正量計算部、２４０〜２４２…Ｙ補正処理部、２４３…ＵＶ補正処理部、２４４…コントラスト／彩度補正処理部、２６４…ＬＵＴ作成部。

Claims

所定の階調範囲を有する入力画像データの補正を行う画像処理装置において、
前記階調範囲の補正に使用する補正曲線であって、その形状が、少なくとも１つの補正点を元に変形された第１の曲線パターン部分を１つ以上有する形状である前記補正曲線の前記第１の曲線パターン部分の補正係数を保持する係数保持手段と、
一のフレームにおける前記入力画像データ中の画素の階調値の統計的情報に基づいて補正量を決定する補正量決定手段と、
前記一のフレームの次のフレームにおける前記入力画像データの値に対応して前記係数保持手段から読み出された前記補正係数と、前記補正量決定手段で決定された前記補正量との積を前記一のフレームの次のフレームにおける前記入力画像データに加算する補正手段と、
を含むことを特徴とする画像処理装置。
前記補正曲線の形状が、前記第１の曲線パターン部分を前記補正曲線の水平軸を基準軸としたときに対称となる形状となる第２の曲線パターン部分を有する請求項１に記載の画像処理装置。
前記補正曲線の形状が、前記第１の曲線パターン部分を前記補正曲線の垂直軸を基準軸としたときに対称となる形状となる第３の曲線パターン部分を有する請求項１乃至２のいずれかに記載の画像処理装置。
前記補正曲線の形状が、前記入力画像データの値の取り得る範囲の中間値に対応する前記補正曲線上の点に対して、点対称となる曲線部分を含む請求項１乃至３のいずれかに記載の画像処理装置。
前記補正曲線の形状が、曲線の一部に直線部分を含むことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
前記入力画像データの輝度に対する補正及び前記入力画像データの色差に対する補正に、同一の前記補正係数を使用する請求項１乃至請求項５のいずれか記載の画像処理装置。
前記補正曲線の形状として、第１の補正曲線の形状または前記第１の補正曲線の形状の両端部を結んだ直線の中間点に対して前記第１の補正曲線の形状と点対称の形状となる第２の補正曲線の形状のいずれかを使用するかを、前記入力画像データの値に応じて選択する請求項１乃至請求項６のいずれかに記載の画像処理装置。
前記補正手段は、前記係数保持手段を時分割で参照することにより、前記輝度に対する補正と前記色差に対する補正を並行して行うことを特徴とする請求項１乃至請求項７に記載の画像処理装置。
所定の階調範囲を有する入力画像データの補正を行う画像処理方法において、
前記階調範囲の補正に使用する補正曲線であって、その形状が、少なくとも１つの補正点を元に変形された第１の曲線パターン部分を１つ以上有する形状である前記補正曲線の前記第１の曲線パターン部分の補正係数を保持する工程と、
一のフレームにおける前記入力画像データ中の画素の階調値の統計的情報に基づいて補正量を決定する工程と、
前記一のフレームの次のフレームにおける前記入力画像データの値に対応して前記係数保持手段から読み出された前記補正係数と、前記補正量を決定する工程で決定された前記補正量との積を前記一のフレームの次のフレームにおける前記入力画像データに加算して前記入力画像データの階調補正を行う工程と、
を含むことを特徴とする画像処理方法。
所定の階調範囲を有する入力画像データの補正を行う画像処理プログラムにおいて、
前記階調範囲の補正に使用する補正曲線であって、その形状が、少なくとも１つの補正点を元に変形された第１の曲線パターン部分を１つ以上有する形状である前記補正曲線の前記第１の曲線パターン部分の補正係数を保持するステップと、
一のフレームにおける前記入力画像データ中の画素の階調値の統計的情報に基づいて補正量を決定するステップと、
前記一のフレームの次のフレームにおける前記入力画像データの値に対応して前記係数保持手段から読み出された前記補正係数と、前記補正量を決定するステップで決定された前記補正量との積を前記一のフレームの次のフレームにおける前記入力画像データに加算して前記入力画像データの階調補正を行うステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。