JP3948229B2 - 画像撮像装置及び方法 - Google Patents
画像撮像装置及び方法 Download PDFInfo
- Publication number
- JP3948229B2 JP3948229B2 JP2001234038A JP2001234038A JP3948229B2 JP 3948229 B2 JP3948229 B2 JP 3948229B2 JP 2001234038 A JP2001234038 A JP 2001234038A JP 2001234038 A JP2001234038 A JP 2001234038A JP 3948229 B2 JP3948229 B2 JP 3948229B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- image
- limit value
- gradations
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 23
- 239000002131 composite material Substances 0.000 claims description 56
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012886 linear function Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 description 130
- 230000001186 cumulative effect Effects 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 7
- 101100074792 Danio rerio lhx1a gene Proteins 0.000 description 3
- 101100511184 Dictyostelium discoideum limB gene Proteins 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、異なる露光量で同一の被写体を複数回撮像し、撮像して得られた複数の画像を合成して、ダイナミックレンジの広い画像を生成する画像撮像装置及び方法に関するものである。
【０００２】
【従来の技術】
デジタルスチルカメラでは、撮像素子として、一般にＣＣＤ（Charge Coupled Device）イメージセンサが用いられている。しかしながら、ＣＣＤイメージセンサは、銀塩写真フィルムに比べて、撮影可能な輝度領域のダイナミックレンジが非常に狭い。このＣＣＤイメージセンサのダイナミックレンジの狭さを補填するため、従来より、異なる露光量で同一の被写体を複数回撮像し、撮像して得られた露光量の異なる複数の画像を加算合成して、ダイナミックレンジの広い画像を生成するといった機能を有したデジタルスチルカメラが提案されている。
【０００３】
ところで、このようにダイナミックレンジを確保するために複数画像を加算合成した場合、合成後の画像の階調数が大きくなる。例えば、ＣＣＤイメージセンサから得られる通常の画像データの階調数が８ビットであるとするならば、露光量が異なる４枚の画像を加算合成すれば、加算合成後の画像の階調数は１０ビットとなる。しかしながら、デジタルスチルカメラで得られた撮像画像を記録するメディアのフォーマット、撮像画像を表示するディスプレイのフォーマット或いは撮像画像を出力するインターフェースのフォーマットの階調数は、予め決まっている。そのため、このようなデジタルスチルカメラでは、合成後の画像の階調数を圧縮して、これらのフォーマットに適合する階調数に変換する必要があった。
【０００４】
階調数を圧縮する場合、単純に線形的に行うのであれば、例えば、合成画像の各画素の下位ビットを切り捨てるといった処理を行えばよい。例えば、１０ビットの階調数の画像を８ビットの階調数に圧縮したい場合には、１０ビットのうち下２ビットを切り捨てればよい。しかしながら、複数の画像を合成したものをこのように線形的に階調圧縮したのでは、コントラストが曖昧となり表示したときに見づらい画像となる場合がある。そのため、このような画像合成をしてダイナミックレンジを広くした画像に対して階調圧縮をする場合、コントラストがはっきりした見やすい画像とするように、輝度レベルの補正も同時に行われるのが一般的である。
【０００５】
階調圧縮とともに輝度レベルの補正を行う技術として、従来より、ヒストグラム平均化法を利用した階調圧縮手法が知られている。
【０００６】
以下、このヒストグラム平均化法を利用した階調圧縮の基本的なアルゴリズムについて説明をする。
【０００７】
まず、入力画像（変換前の画像）に対して全ての輝度値に対する頻度分布を示すヒストグラムを検出する。
【０００８】
続いて、検出したヒストグラムに基づき、低い輝度値から高い輝度値へ、順番にその頻度を累積していき、累積ヒストグラムを生成する。この累積ヒストグラムは、横軸を入力画像（変換前の画像）の輝度レベル、縦軸を頻度としたグラフに表すことができる。
【０００９】
続いて、累積ヒストグラムの縦軸を、出力画像の輝度値に置き換えて、補正曲線を生成する。このとき、累積ヒストグラムの最大累積頻度（つまり、入力画像の画素数に対応した値）を、出力画像（変換後の画像）の階調数の最大値（Ｙｍａｘ）に対応させ、さらに、累積ヒストグラムの最小累積頻度（つまり、０）を、出力画像の階調数の最小値（Ｙｍｉｎ）に対応させるようにする。例えば、出力画像の階調数が８ビットであれば、累積ヒストグラムの最大累積頻度を“２５５”という輝度値に対応させ、累積ヒストグラムの最小累積頻度を“０”という輝度値に対応させた補正曲線を生成する。
【００１０】
さらに、このように作成した補正曲線を、変換テーブルとしてメモリに格納する。
【００１１】
そして、実際の階調圧縮処理を行う際に、この変換テーブルを参照しながら入力された画像の輝度値に対する出力画像の輝度値を検出し、階調数の変換をする。
【００１２】
このようにヒストグラムを作成して輝度値の変換を行うことによって、出力画像の画像全体における輝度の分布が均一化され、コントラストが強調された画像となる。そのため、以上のヒストグラム平均化法を利用した階調圧縮手法では、コントラスト等の画像特性を補正しながら、高い階調数の入力画像を低い階調数に変換することができる。
【００１３】
【発明が解決しようとする課題】
ところが、このようなヒストグラム平均化法を利用した階調圧縮手法を用いた場合であっても、最適に輝度値の補正が行われず、変換後の画像が見づらい画像となってしまう場合がある。
【００１４】
例えば、輝度の頻度にピーク特性を有する画像が入力された場合、ヒストグラム平均化法を利用した方法では、ピーク付近にある同一レベルの輝度が、広い範囲に分散されてしまう。そのため、このような場合は、近い輝度レベルの画素同士が、大きな輝度差を持った画素に変換されてしまい、出力画像が非常に見づらくなってしまう。また、例えば、輝度差が少ない画像が入力された場合、ヒストグラム平均化法を利用した方法では、その輝度差を全階調領域に分散するように補正してしまう。そのため、このような場合は、出力画像が全体的に明るくなり過ぎて、見た目に不自然な画像となってしまう。
【００１５】
本発明は、このような実状を鑑みてなされたものであり、異なる露光量で同一の被写体を撮像して、その画像を合成することによりダイナミックレンジの広い合成画像を生成し、生成した合成画像の階調数を圧縮して、通常の階調数に変換する。本発明は、その階調変換の際に、輝度値の過度な補正によって見づらい画像とすることなく、自然な出力画像を得られるように補正を行うことができる画像撮像装置及び方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上述の課題を解決するために、本発明にかかる画像撮像装置は、異なる露出条件で同一の被写体を複数回撮像し、露出量が異なった複数画面分の画像を生成する撮像手段と、上記複数画面分の画像を合成して、各画素の輝度値が第１の階調数で表現された１つの合成画像を生成する画像合成手段と、上記合成画像の輝度値の頻度分布を示すヒストグラムを検出するヒストグラム検出手段と、上記合成画像の階調数を、第２の階調数に変換して、各画素の輝度値が第２の階調数で表現された出力画像を生成する階調数変換手段とを備え、上記階調数変換手段は、第１の階調数と第２の階調数との比に基づき定まる直線関数と、上記ヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換する。
【００１７】
本発明にかかる画像撮像方法は、異なる露出条件で同一の被写体を複数回撮像し、露出量が異なった複数画面分の画像を生成し、上記複数画面分の画像を合成して、各画素の輝度値が第１の階調数で表現された１つの合成画像を生成し、上記合成画像の輝度値の頻度分布を示すヒストグラムを検出し、第１の階調数と第２の階調数との比に基づき定まる直線関数と、上記ヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換して、各画素の輝度値が第２の階調数で表現された出力画像を生成する。
【００１８】
本発明にかかる画像撮像装置及び方法では、第１の階調数と第２の階調数との比に基づき定まる直線関数と、入力画像の輝度分布を示すヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換する。
【００１９】
【発明の実施の形態】
本発明の実施の形態として、本発明を適用したデジタルスチルカメラについて説明をする。なお、ここで説明をするデジタルスチルカメラは、異なる露光量で同一の被写体を複数回撮像し、撮像して得られた露光量の異なる複数の画像を加算合成して、ダイナミックレンジの広い画像を生成し、さらに、そのダイナミックレンジの広い画像の階調数を通常の出力フォーマットに適合した階調数に落として画像を出力するカメラである。
【００２０】
図１に、本発明の実施の形態のデジタルスチルカメラのブロック構成図を示す。
【００２１】
デジタルスチルカメラ１は、図１に示すように、レンズ１０と、絞りシャッタ機構１１と、ＣＣＤ１２と、タイミングジェネレータ（ＴＧ）１３と、Ｓ／Ｈ回路１４と、アナログ信号処理回路１５と、アナログ／デジタル（Ａ／Ｄ）コンバータ１６と、画像データ加算回路１７と、画像メモリ１８と、ホワイトバランス回路１９と、ガンマ補正回路２０と、補間回路２１と、Ｙマトリクス回路２２と、Ｃマトリクス回路２３と、Ｙ階調補正回路２４と、Ｙヒストグラム検波回路２５と、乗算回路２６と、Ｃ階調ゲイン設定回路２７と、記録回路２８と、コントローラ２９とを備えて構成される。
【００２２】
レンズ１０は、被写体からの光をＣＣＤ１２上に結像させる光学素子である。絞りシャッタ機構１１は、ＣＣＤ１２へ照射される光の露光量や照射時間を制御するための機構である。ＣＣＤ１２は、照射された被写体像を光電変換して、電気信号を出力する。タイミングジェネレータ１３は、ＣＣＤ１２の電荷転送タイミング，読み出しタイミング，シャッタータイミング等を生成する。ＣＣＤ１２から出力された信号は、Ｓ／Ｈ回路１４に供給される。
【００２３】
Ｓ／Ｈ回路１４は、入力信号に対して相関二重サンプリング処理を施し、アナログ画像信号を生成する。Ｓ／Ｈ回路１４から出力されたアナログ画像信号は、アナログ信号処理回路１５に供給される。アナログ信号処理回路１５は、アナログ画像信号を所定のレベルに増幅し、白／黒バランス調整等の各種アナログ信号処理を行う。アナログ信号処理回路１５から出力されたアナログ画像信号は、Ａ／Ｄコンバータ１６に供給される。Ａ／Ｄコンバータ１６は、アナログ画像信号をデジタルの画像信号に変換する。Ａ／Ｄコンバータ１６から出力されたデジタル画像信号は、画像データ加算回路１７に供給される。
【００２４】
画像データ加算回路１７は、異なる露光量で撮像された複数の同一の被写体の画像をメモリ１８に格納しておき、これらを加算合成して合成画像データを生成する。ここで、合成画像データの階調数は、合成前の元画像の階調数に、合成した枚数を乗じた階調数となる。例えば、階調数が８ビット（２５６階調）の４枚の元画像を加算合成するのであれば、合成画像データの階調数は、１０ビット（２５６×４階調）となる。画像データ加算回路１７により生成された合成画像データは、ホワイトバランス回路１９に供給される。
【００２５】
ホワイトバランス回路１９は、合成画像データに対して、ホワイトバランス処理を行う。ホワイトバランス回路１９から出力された合成画像データは、ガンマ補正回路２０に供給される。ガンマ補正回路２０は、合成画像データに対してガンマ補正を行う。ガンマ補正回路２０から出力された合成画像データは、補間回路２１に供給される。補間回路２１は、補色で構成される合成画像データに対して色補間処理を行い、Ｒ，Ｇ，Ｂ成分から構成される画像データに変換する。Ｒ，Ｇ，Ｂ成分から構成される合成画像データは、Ｙマトリクス回路２２及びＣマトリクス回路２３に供給される。
【００２６】
Ｙマトリクス回路２２は、Ｒ，Ｇ，Ｂ成分から構成される合成画像データに対してマトリクス演算を行い、合成画像の輝度（Ｙ）成分を抽出する。抽出された輝度データは、Ｙ階調補正回路２４、Ｙヒストグラム検波回路２５及びＣ階調ゲイン設定回路２７に供給される。Ｃマトリクス回路２３は、Ｒ，Ｇ，Ｂ成分から構成される合成画像データに対してマトリクス演算を行い、合成画像の色差（Ｃｒ／Ｃｂ）成分を抽出する。抽出された色差データは、乗算回路２６に供給される。
【００２７】
Ｙ階調補正回路２４は、内部にＹ階調補正テーブルを有し、このＹ階調補正テーブルを参照して、入力された輝度データ（Ｙｉｎ）の値を、所定の値に変換する。Ｙ階調補正テーブルには、入力輝度データ（Ｙｉｎ）のビット数単位で表された輝度値に対応して、出力輝度データ（Ｙｏｕｔ）のビット単位で表された輝度値が示されている。Ｙ階調補正回路２４は、このＹ階調補正テーブルに記述された対応関係に従い、入力された輝度値の階調数を変換する。Ｙ階調補正回路２４は、例えば、１０ビットの階調数の入力輝度データ（Ｙｉｎ）を、８ビットの階調数の出力輝度データ（Ｙｏｕｔ）に圧縮する。従って、Ｙ階調補正回路２４により、輝度データの階調数が所定の階調数に圧縮され、それとともに、Ｙ階調補正テーブルに記述された特性に応じて、輝度レベルの補正が行われる。なお、Ｙ階調補正テーブルは、コントローラ２９により設定されるが、その設定内容については詳細を後述する。Ｙ階調補正回路２４により階調数が圧縮された輝度データ（Ｙｏｕｔ）は、記録回路２８に供給される。
【００２８】
Ｙヒストグラム検波回路２５は、Ｙマトリクス回路２２から合成画像１画面分の輝度データが入力され、入力された輝度データに基づき合成画像１画面内の各輝度値の発生頻度を示すヒストグラムを検出する。例えば、このヒストグラムは、例えば、入力された１画面分の合成画像内の全輝度データを検索し、検索して得られた全輝度データを同一の輝度（或いは所定の範囲の輝度）毎に分類して、その分類毎に画素数を算出する。そして、算出した画素数を低い輝度値から順番に羅列したデータ群を作成する。これがヒストグラムとなる。従って、ヒストグラムは、横軸を輝度値（或いはある一定の輝度範囲）とし、縦軸をその画面内における発生頻度としたグラフとして表すことができる。Ｙヒストグラム検波回路２５により生成されたヒストグラムは、コントローラ２９に供給され、Ｙ階調補正テーブルの生成、並びに、Ｃ補正ゲインテーブルの生成のために利用される。
【００２９】
乗算回路２６は、Ｃマトリクス回路２３から供給された色差データ（Ｃｉｎ）に、Ｃ階調ゲイン設定回路２７から供給される補正ゲイン（Ｃｇ）を乗算して、入力された色差データの階調数を変換するとともに、入力される補正ゲインの特性に応じた色差レベルの補正が行われる。例えば、乗算回路２６は、１０ビットの階調数の入力色差データ（Ｃｉｎ）を、８ビットの階調数の出力色差データ（Ｃｏｕｔ）に変換する。乗算回路２６により階調数が圧縮された色差データ（Ｃｏｕｔ）は、記録回路２８に供給される。
【００３０】
Ｃ階調ゲイン設定回路２７は、内部にＣ補正ゲインテーブルを有し、このＣ補正ゲインテーブルを参照して、入力された輝度データ（Ｙｉｎ）の値に対応した補正ゲイン（Ｃｇ）を出力する。Ｃ補正ゲインテーブルには、入力輝度データ（Ｙｉｎ）のビット数単位で表された輝度値に対応して、補正ゲイン（Ｃｇ）が示されている。Ｃ階調ゲイン設定回路２７は、このＣ補正ゲインテーブルに記述された対応関係に従い、補正ゲイン（Ｃｇ）を出力する。本デジタルスチルカメラ１では、輝度値の階調圧縮とともにレベル補正を行っているが、輝度値を補正した場合、同様に色差値も補正しなければ、出力される色がくるってしまう。そのため、本デジタルスチルカメラ１では、入力された輝度値に対応させた色差データの補正量（補正ゲイン（Ｃｇ））を生成し、この補正量をＣマトリクス回路２３から出力された色差データ（Ｃｉｎ）に乗じることとしている。またさらに、この補正ゲイン（Ｃｇ）を乗じることによって、色差データの階調数も、圧縮している。なお、Ｃ補正ゲインテーブルは、コントローラ２９により設定されるが、その設定内容については詳細を後述する。
【００３１】
記録回路２８は、階調圧縮がされた輝度データ及び色差データが入力され、これらのデータを内部の記録媒体に記録する。
【００３２】
コントローラ２９は、異なる露光量で同一の被写体を複数回撮像するための絞り量やシャッタ速度の制御，画像データの取り込み等の制御、合成画像データの生成制御、Ｙ階調補正回路２４に格納するＹ階調補正テーブルの生成、Ｃ階調ゲイン設定回路２７に格納されるＣ補正ゲインテーブルの生成等の各種制御を行う。
【００３３】
以上のような構成のデジタルスチルカメラ１では、異なる露光量で同一の被写体を複数回撮像する高ダイナミックレンジの撮影モードを有している。デジタルスチルカメラ１は、この高ダイナミックレンジモードに入ると以下のような動作を行う。
【００３４】
まず、コントローラ２９は、絞りシャッタ機構１１を制御して、段階的に絞りを変化させながら、同一被写体の画像を複数枚撮像する。この結果、同一の被写体に対して露光量が異なる複数枚の画像データが生成される。また、例えば、コントローラ２９は、タイミングジェネレータ１３を制御して、段階的に電子シャッタスピードを変化させながら同一の被写体の画像を複数枚撮像しても良いし、また、アナログ信号処理回路１５を制御して段階的にゲインを変化させながら同一の被写体の画像を複数枚撮像してもよい。このようにシャッタスピードやゲインを変化させても、同一の被写体に対して露光量が異なる複数枚の画像データを生成することができる。撮像された複数枚の画像は、一旦画像メモリ１８に格納される。
【００３５】
画像データ加算回路１７は、複数枚の画像の撮像を終了した後、画像メモリ１８に格納されている複数枚の画像データを加算合成して、合成画像データを生成する。例えば、８ビットの階調数の画像データを４枚合成して、１０ビットの階調数の合成画像データを生成する。
【００３６】
合成画像データを生成すると、続いて、Ｙヒストグラム検波回路２５によって、この合成画像データの輝度値のヒストグラムを検出する。検出したヒストグラムは、コントローラ２９に供給される。コントローラ２９は、検出したヒストグラムに基づき、Ｙ階調補正テーブル及びＣ補正ゲインテーブルを作成する。コントローラ２９により作成されたＹ階調補正テーブルはＹ階調補正回路２４に格納される。また、コントローラ２９により作成されたＣ補正ゲインテーブルは、Ｃ階調ゲイン設定回路２７に格納される。
【００３７】
各テーブルが格納されると、続いて、合成画像データの階調圧縮処理が開始される。すなわち、輝度データの階調数がＹ階調補正回路２４で圧縮され、色差データの階調数が乗算回路２６によって圧縮される。例えば１０ビット階調の輝度データ及び色差データが、８ビット階調のデータに変換される。このことにより、合成画像データは、記録フォーマットに対応した階調数のデータに変換される。そして、記録回路２８が、階調圧縮された輝度データ及び色差データを記録媒体に記録する。
【００３８】
以上のように本デジタルスチルカメラ１では、ダイナミックレンジが広い画像を撮像することができる。
【００３９】
つぎに、輝度データの階調圧縮をするためのＹ階調補正テーブルの作成アルゴリズムについて説明をする。
【００４０】
図２に、Ｙ階調補正テーブルの作成アルゴリズムを実現するための機能ブロックを示す。
【００４１】
Ｙ階調補正テーブルの作成アルゴリズムは、図２に示すように、累積ヒストグラム生成部３１と、ヒストグラム補正カーブ生成部３２と、単純補正直線生成部３３と、合成部３４とから構成される。
【００４２】
累積ヒストグラム生成部３１には、Ｙヒストグラム検波回路２５から、合成画像の輝度のヒストグラムが入力される。ヒストグラムは、横軸が合成画像の輝度値Ｘｎ（ｎ＝１，２，３，…，ｍａｘ）、縦軸が輝度の頻度Ｈ（Ｘｎ）としたグラフ上に表した場合、図３（Ａ）に示すようになる。
【００４３】
累積ヒストグラム生成部３１は、Ｙヒストグラム検波２５から供給される以上のようなヒストグラムを、低い輝度値（Ｘ１）からもっとも高い輝度値（Ｘｍａｘ）まで累積加算していき、図３（Ｂ）に示すような、累積ヒストグラムを生成する。例えば、輝度Ｘｎの頻度をＨ（Ｘｎ）とするならば累積頻度ΣＨ（Ｘｎ）は以下のようになる。
ΣＨ（Ｘ１）＝Ｈ（Ｘ１）
ΣＨ（Ｘ２）＝Ｈ（Ｘ１）＋Ｈ（Ｘ２）
ΣＨ（Ｘ３）＝Ｈ（Ｘ０１）＋Ｈ（Ｘ２）＋Ｈ（Ｘ３）
…
ΣＨ（Ｘｍａｘ）＝Ｈ（Ｘ１）＋Ｈ（Ｘ２）＋Ｈ（Ｘ３）＋ … ＋Ｈ（Ｘｍａｘ）。
【００４４】
ヒストグラム補正カーブ生成部３２には、累積ヒストグラム生成部３１により生成された累積ヒストグラムが入力される。ヒストグラム補正カーブ生成部３２は、図３（Ｃ）に示すように、累積ヒストグラムの縦軸ΣＨ（ｘｎ）を、出力画像の輝度値（Ｙｎ）に置き換えて、ヒストグラム補正曲線を生成する。このとき、ヒストグラム補正曲線は、累積ヒストグラムの最大累積頻度（ΣＨ（Ｘｍａｘ））を、出力画像の階調数の最大値（Ｙｍａｘ）に対応させ、さらに、累積ヒストグラムの最小累積頻度（つまり、０）を、出力画像の階調数の最小値（Ｙｍｉ ｎ）に対応させるように設定する。例えば、出力画像の階調数が８ビットであれば、累積ヒストグラムの最大累積頻度を“２５５”という輝度値に対応させ、累積ヒストグラムの最小累積頻度を“０”という輝度値に対応させたヒストグラム補正曲線を生成する。
【００４５】
なお、ヒストグラム補正曲線を生成する場合、Ｘｍａｘの値は、合成画像の階調数の最大値としてもよいし、或いは、実際に得られる輝度データの最大値としてもよい。Ｘｍａｘの値を実際に得られる輝度データの最大値とすると、高輝度領域に信号成分がない画像の場合に、出力画像の階調範囲を最大限利用したダイナミックレンジの広い画像を生成することができる。
【００４６】
単純補正直線生成部３３は、単純補正直線を生成する。この単純補正直線は、図４（Ａ）に示すように、Ｙｎ＝（Ｙｍａｘ／Ｘｍａｘ）Ｘｎで表される直線である。Ｙｍａｘは、出力画像の階調数の最大値であり、Ｘｍａｘは合成画像（変換前の画像）の階調数の最大値である。例えば、出力画像が８ビット階調であればＹｍａｘは２５６となり、合成画像が１０ビット階調であればＸｍａｘは１０２４となり、Ｙｎ＝（１／４）Ｘｎといった直線となる。
【００４７】
なお、単純補正直線を生成する場合、Ｘｍａｘの値は、合成画像の階調数の最大値とせずに、実際に得られる輝度データの最大値としてもよい。Ｘｍａｘの値を実際に得られる輝度データの最大値とすることにより、高輝度領域に信号成分がない画像の場合に、出力画像の階調範囲を最大限利用したダイナミックレンジの広い画像を生成することができる。
【００４８】
合成部３４は、ヒストグラム補正曲線と単純補正直線とを所定の合成比を乗じて、加算合成をする。例えば、合成比Ｇを０〜１の範囲で設定し、ヒストグラム補正曲線には“Ｇ”を乗算し、単純補正直線には、このＧの補数（１−Ｇ）を乗算し、その後両者を加算合成する。このように加算合成すると、図４（Ｂ）に示すような、合成補正曲線を生成することができる。合成部３４は、生成した合成補正曲線を、Ｙ階調補正テーブルとして、Ｙ階調補正回路２４内のメモリに格納する。
【００４９】
なお、ヒストグラム補正曲線と単純補正直線との合成比Ｇを適宜最適に変更することによって、輝度レベルの補正割合を変更することができる。例えば、ヒストグラムの分布の様子などを観察して、あまり輝度補正を行いたくない場合には単純補正直線の比率を多くし、強めに輝度補正をしたい場合にはヒストグラム補正曲線の比率を多くすればよい。
【００５０】
つぎに、Ｃ階調ゲイン補正テーブルの作成アルゴリズムについて説明をする。
【００５１】
図５に、Ｃ階調ゲイン補正テーブルの作成アルゴリズムを実現するための機能ブロックを示す。
【００５２】
Ｃ階調ゲイン補正テーブルの作成アルゴリズムは、図５に示すように、ヒストグラムゲイン補正カーブ生成部４１と、単純補正ゲイン直線生成部４２と、合成部４３とから構成される。
【００５３】
ヒストグラムゲイン補正カーブ生成部４１には、Ｙヒストグラム検波回路２５から、合成画像の輝度のヒストグラムが入力され、このヒストグラムに基づきヒストグラム補正ゲイン曲線を生成する。このヒストグラム補正ゲイン曲線は、図６（Ａ）に示すように、入力される合成画像の輝度値に対する、補正ゲインＣｇの値を示した曲線である。すなわち、このヒストグラム補正ゲイン曲線は、ヒストグラムに基づき輝度値を補正した場合における色差データの補正割合を示した曲線である。
【００５４】
単純補正ゲイン直線生成部４２は、単純補正ゲイン直線を生成する。この単純補正ゲイン直線は、輝度値を補正しない場合における色差データの補正量を示している。すなわち、輝度値を補正しなければ、輝度値も補正しなくて良いため、図６（Ｂ）に示すように、この単純補正ゲイン直線生成部４２により生成される補正ゲインＣｇは、合成画像の輝度値に関わらず常に“１”という値となる。
【００５５】
合成部４３は、ヒストグラム補正ゲイン曲線と単純補正ゲイン直線とを所定の合成比を乗じて、加算合成をする。例えば、合成比Ｇを０〜１の範囲で設定し、ヒストグラム補正ゲイン曲線には“Ｇ”を乗算し、単純補正ゲイン直線には、このＧの補数（１−Ｇ）を乗算し、その後両者を加算合成する。このように加算合成すると、図６（Ｃ）に示すような、合成補正ゲイン曲線を生成することができる。合成部４３は、生成した合成補正ゲイン曲線を、Ｃ補正ゲインテーブルとして、Ｃ階調ゲイン設定回路２７内のメモリに格納する。
【００５６】
本デジタルスチルカメラ１では、以上のような合成補正ゲイン曲線に基づき得られる補正ゲインＣｇが、色差データに乗算されることによって、色差値の補正が行われる。さらに、例えば、この補正された色差データの下位ビットを切り捨てることによって、階調変換が行われる。
【００５７】
以上のように本発明の実施の形態の本デジタルスチルカメラ１では、階調数を単純に直線変換する単純補正直線と、ヒストグラムに基づき輝度値が平均化されるように補正するヒストグラム補正曲線とを所定の合成比を乗じて、加算合成した補正曲線により、階調変換が行われる。
【００５８】
このような補正曲線により階調変換がされると、輝度の頻度にピーク特性を有する画像や、輝度差が少ない画像が入力された場合であっても、見た目に不自然な画像となることを抑制することができる。
【００５９】
なお、本実施の形態では、ヒストグラム補正曲線と単純補正直線との合成比Ｇを、全ての輝度レベルに対して均一にした例を示したが、図７に示すように低輝度領域又は高輝度領域或いはその両者に、リミット値（lim1,lim2）を設定し、低輝度領域、中間領域、高輝度領域で、それぞれで合成比Ｇを変えるようにしてもよい。例えば、低輝度領域と高域度領域をともに直線比率を“１”に設定すれば（つまり、ヒストグラム補正曲線の割合が０）、これらの領域にはヒストグラムによる平均化処理が行われず、例えば、全体的に黒が浮いてしまってしまりのない画像になることを抑制することができる。
【００６０】
また、例えば、図８に示すように、低輝度領域については、出力画像の輝度値を全て０とし、高輝度領域については出力画像の輝度値を全て最大値とするような、補正曲線としてもよい。この場合、リミット値は、入力値の最小値と最大値に設定したり、或いは、上下所定の割合（例えば、上下３パーセント）といったように設定してもよい。このように設定することにより、高輝度領域及び低輝度領域に多く含まれているノイズを除去することができる。なお、この際の単純補正直線は、以下のように設定される。
Ｘｎ＜ｌｉｍ１ ：Ｙｎ＝０
ｌｉｍ１≦Ｘｎ≦ｌｉｍ２ ：Ｙｎ＝｛Ｙｍａｘ／（ｌｉｍ２−ｌｉｍ１）｝Ｘｎ
Ｘｎ＞ｌｉｍ２ ：Ｙｎ＝Ｙｍａｘ 。
【００６１】
また、本実施の形態では、Ｙヒストグラム検波回路２５でヒストグラムを検波する際に、合成画像の全画素の輝度レベルを検波する例を示したが、全画素の輝度レベルではなく、部分的に抽出する画素を間引いて輝度レベルを検波してもよい。画像のある程度の輝度分布特性を得られれば、補正曲線を生成することができるためである。また、同一条件で再度撮影を行う場合には、過去に撮影したヒストグラム又は階調補正テーブル等を保存しておき、再度それらのデータを利用すれば、処理時間の短縮化を図ることができる。
【００６２】
【発明の効果】
本発明にかかる画像撮像装置及び方法では、第１の階調数と第２の階調数との比に基づき定まる直線関数と、入力画像の輝度分布を示すヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換する。
【００６３】
これにより、本発明では、異なる露光量で同一の被写体を撮像して、その画像を合成することによりダイナミックレンジの広い合成画像を生成し、生成した合成画像の階調数を圧縮して、通常の階調数に変換することができる。その際に、本発明では、輝度値の過度な補正によって見づらい画像とすることなく、自然な出力画像を得られるように補正を行うことができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラのブロック図である。
【図２】Ｙ階調補正テーブルの作成アルゴリズムを説明するためのブロック図である。
【図３】ヒストグラム、累積ヒストグラム並びにコントラスト補正曲線を説明するための図である。
【図４】単純補正直線、合成補正曲線を説明するための図である。
【図５】Ｃゲイン補正テーブルの作成アルゴリズムを説明するためのブロック図である。
【図６】コントラスト補正ゲイン曲線、単純補正ゲイン直線、合成補正ゲイン曲線を説明するための図である。
【図７】Ｙ階調補正テーブルの変形例を説明するための図である。
【図８】Ｙ階調補正テーブルの他の変形例を説明するための図である。
【符号の説明】
１ デジタルスチルカメラ、１０ レンズ、１１ 絞りシャッタ機構、１２ ＣＣＤ、１３ タイミングジェネレータ、１４ Ｓ／Ｈ回路、１５ アナログ信号処理回路、１６ アナログ／デジタルコンバータ、１７ 画像データ加算回路、１８ 画像メモリ、１９ ホワイトバランス回路、２０ ガンマ補正回路、２１ 補間回路、２２ Ｙマトリクス回路、２３ Ｃマトリクス回路、２４ Ｙ階調補正回路、２５ Ｙヒストグラム検波回路、２６ 乗算回路、２７ Ｃ階調ゲイン設定回路、２８ 記録回路、２９ コントローラ
【発明の属する技術分野】
本発明は、異なる露光量で同一の被写体を複数回撮像し、撮像して得られた複数の画像を合成して、ダイナミックレンジの広い画像を生成する画像撮像装置及び方法に関するものである。
【０００２】
【従来の技術】
デジタルスチルカメラでは、撮像素子として、一般にＣＣＤ（Charge Coupled Device）イメージセンサが用いられている。しかしながら、ＣＣＤイメージセンサは、銀塩写真フィルムに比べて、撮影可能な輝度領域のダイナミックレンジが非常に狭い。このＣＣＤイメージセンサのダイナミックレンジの狭さを補填するため、従来より、異なる露光量で同一の被写体を複数回撮像し、撮像して得られた露光量の異なる複数の画像を加算合成して、ダイナミックレンジの広い画像を生成するといった機能を有したデジタルスチルカメラが提案されている。
【０００３】
ところで、このようにダイナミックレンジを確保するために複数画像を加算合成した場合、合成後の画像の階調数が大きくなる。例えば、ＣＣＤイメージセンサから得られる通常の画像データの階調数が８ビットであるとするならば、露光量が異なる４枚の画像を加算合成すれば、加算合成後の画像の階調数は１０ビットとなる。しかしながら、デジタルスチルカメラで得られた撮像画像を記録するメディアのフォーマット、撮像画像を表示するディスプレイのフォーマット或いは撮像画像を出力するインターフェースのフォーマットの階調数は、予め決まっている。そのため、このようなデジタルスチルカメラでは、合成後の画像の階調数を圧縮して、これらのフォーマットに適合する階調数に変換する必要があった。
【０００４】
階調数を圧縮する場合、単純に線形的に行うのであれば、例えば、合成画像の各画素の下位ビットを切り捨てるといった処理を行えばよい。例えば、１０ビットの階調数の画像を８ビットの階調数に圧縮したい場合には、１０ビットのうち下２ビットを切り捨てればよい。しかしながら、複数の画像を合成したものをこのように線形的に階調圧縮したのでは、コントラストが曖昧となり表示したときに見づらい画像となる場合がある。そのため、このような画像合成をしてダイナミックレンジを広くした画像に対して階調圧縮をする場合、コントラストがはっきりした見やすい画像とするように、輝度レベルの補正も同時に行われるのが一般的である。
【０００５】
階調圧縮とともに輝度レベルの補正を行う技術として、従来より、ヒストグラム平均化法を利用した階調圧縮手法が知られている。
【０００６】
以下、このヒストグラム平均化法を利用した階調圧縮の基本的なアルゴリズムについて説明をする。
【０００７】
まず、入力画像（変換前の画像）に対して全ての輝度値に対する頻度分布を示すヒストグラムを検出する。
【０００８】
続いて、検出したヒストグラムに基づき、低い輝度値から高い輝度値へ、順番にその頻度を累積していき、累積ヒストグラムを生成する。この累積ヒストグラムは、横軸を入力画像（変換前の画像）の輝度レベル、縦軸を頻度としたグラフに表すことができる。
【０００９】
続いて、累積ヒストグラムの縦軸を、出力画像の輝度値に置き換えて、補正曲線を生成する。このとき、累積ヒストグラムの最大累積頻度（つまり、入力画像の画素数に対応した値）を、出力画像（変換後の画像）の階調数の最大値（Ｙｍａｘ）に対応させ、さらに、累積ヒストグラムの最小累積頻度（つまり、０）を、出力画像の階調数の最小値（Ｙｍｉｎ）に対応させるようにする。例えば、出力画像の階調数が８ビットであれば、累積ヒストグラムの最大累積頻度を“２５５”という輝度値に対応させ、累積ヒストグラムの最小累積頻度を“０”という輝度値に対応させた補正曲線を生成する。
【００１０】
さらに、このように作成した補正曲線を、変換テーブルとしてメモリに格納する。
【００１１】
そして、実際の階調圧縮処理を行う際に、この変換テーブルを参照しながら入力された画像の輝度値に対する出力画像の輝度値を検出し、階調数の変換をする。
【００１２】
このようにヒストグラムを作成して輝度値の変換を行うことによって、出力画像の画像全体における輝度の分布が均一化され、コントラストが強調された画像となる。そのため、以上のヒストグラム平均化法を利用した階調圧縮手法では、コントラスト等の画像特性を補正しながら、高い階調数の入力画像を低い階調数に変換することができる。
【００１３】
【発明が解決しようとする課題】
ところが、このようなヒストグラム平均化法を利用した階調圧縮手法を用いた場合であっても、最適に輝度値の補正が行われず、変換後の画像が見づらい画像となってしまう場合がある。
【００１４】
例えば、輝度の頻度にピーク特性を有する画像が入力された場合、ヒストグラム平均化法を利用した方法では、ピーク付近にある同一レベルの輝度が、広い範囲に分散されてしまう。そのため、このような場合は、近い輝度レベルの画素同士が、大きな輝度差を持った画素に変換されてしまい、出力画像が非常に見づらくなってしまう。また、例えば、輝度差が少ない画像が入力された場合、ヒストグラム平均化法を利用した方法では、その輝度差を全階調領域に分散するように補正してしまう。そのため、このような場合は、出力画像が全体的に明るくなり過ぎて、見た目に不自然な画像となってしまう。
【００１５】
本発明は、このような実状を鑑みてなされたものであり、異なる露光量で同一の被写体を撮像して、その画像を合成することによりダイナミックレンジの広い合成画像を生成し、生成した合成画像の階調数を圧縮して、通常の階調数に変換する。本発明は、その階調変換の際に、輝度値の過度な補正によって見づらい画像とすることなく、自然な出力画像を得られるように補正を行うことができる画像撮像装置及び方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上述の課題を解決するために、本発明にかかる画像撮像装置は、異なる露出条件で同一の被写体を複数回撮像し、露出量が異なった複数画面分の画像を生成する撮像手段と、上記複数画面分の画像を合成して、各画素の輝度値が第１の階調数で表現された１つの合成画像を生成する画像合成手段と、上記合成画像の輝度値の頻度分布を示すヒストグラムを検出するヒストグラム検出手段と、上記合成画像の階調数を、第２の階調数に変換して、各画素の輝度値が第２の階調数で表現された出力画像を生成する階調数変換手段とを備え、上記階調数変換手段は、第１の階調数と第２の階調数との比に基づき定まる直線関数と、上記ヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換する。
【００１７】
本発明にかかる画像撮像方法は、異なる露出条件で同一の被写体を複数回撮像し、露出量が異なった複数画面分の画像を生成し、上記複数画面分の画像を合成して、各画素の輝度値が第１の階調数で表現された１つの合成画像を生成し、上記合成画像の輝度値の頻度分布を示すヒストグラムを検出し、第１の階調数と第２の階調数との比に基づき定まる直線関数と、上記ヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換して、各画素の輝度値が第２の階調数で表現された出力画像を生成する。
【００１８】
本発明にかかる画像撮像装置及び方法では、第１の階調数と第２の階調数との比に基づき定まる直線関数と、入力画像の輝度分布を示すヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換する。
【００１９】
【発明の実施の形態】
本発明の実施の形態として、本発明を適用したデジタルスチルカメラについて説明をする。なお、ここで説明をするデジタルスチルカメラは、異なる露光量で同一の被写体を複数回撮像し、撮像して得られた露光量の異なる複数の画像を加算合成して、ダイナミックレンジの広い画像を生成し、さらに、そのダイナミックレンジの広い画像の階調数を通常の出力フォーマットに適合した階調数に落として画像を出力するカメラである。
【００２０】
図１に、本発明の実施の形態のデジタルスチルカメラのブロック構成図を示す。
【００２１】
デジタルスチルカメラ１は、図１に示すように、レンズ１０と、絞りシャッタ機構１１と、ＣＣＤ１２と、タイミングジェネレータ（ＴＧ）１３と、Ｓ／Ｈ回路１４と、アナログ信号処理回路１５と、アナログ／デジタル（Ａ／Ｄ）コンバータ１６と、画像データ加算回路１７と、画像メモリ１８と、ホワイトバランス回路１９と、ガンマ補正回路２０と、補間回路２１と、Ｙマトリクス回路２２と、Ｃマトリクス回路２３と、Ｙ階調補正回路２４と、Ｙヒストグラム検波回路２５と、乗算回路２６と、Ｃ階調ゲイン設定回路２７と、記録回路２８と、コントローラ２９とを備えて構成される。
【００２２】
レンズ１０は、被写体からの光をＣＣＤ１２上に結像させる光学素子である。絞りシャッタ機構１１は、ＣＣＤ１２へ照射される光の露光量や照射時間を制御するための機構である。ＣＣＤ１２は、照射された被写体像を光電変換して、電気信号を出力する。タイミングジェネレータ１３は、ＣＣＤ１２の電荷転送タイミング，読み出しタイミング，シャッタータイミング等を生成する。ＣＣＤ１２から出力された信号は、Ｓ／Ｈ回路１４に供給される。
【００２３】
Ｓ／Ｈ回路１４は、入力信号に対して相関二重サンプリング処理を施し、アナログ画像信号を生成する。Ｓ／Ｈ回路１４から出力されたアナログ画像信号は、アナログ信号処理回路１５に供給される。アナログ信号処理回路１５は、アナログ画像信号を所定のレベルに増幅し、白／黒バランス調整等の各種アナログ信号処理を行う。アナログ信号処理回路１５から出力されたアナログ画像信号は、Ａ／Ｄコンバータ１６に供給される。Ａ／Ｄコンバータ１６は、アナログ画像信号をデジタルの画像信号に変換する。Ａ／Ｄコンバータ１６から出力されたデジタル画像信号は、画像データ加算回路１７に供給される。
【００２４】
画像データ加算回路１７は、異なる露光量で撮像された複数の同一の被写体の画像をメモリ１８に格納しておき、これらを加算合成して合成画像データを生成する。ここで、合成画像データの階調数は、合成前の元画像の階調数に、合成した枚数を乗じた階調数となる。例えば、階調数が８ビット（２５６階調）の４枚の元画像を加算合成するのであれば、合成画像データの階調数は、１０ビット（２５６×４階調）となる。画像データ加算回路１７により生成された合成画像データは、ホワイトバランス回路１９に供給される。
【００２５】
ホワイトバランス回路１９は、合成画像データに対して、ホワイトバランス処理を行う。ホワイトバランス回路１９から出力された合成画像データは、ガンマ補正回路２０に供給される。ガンマ補正回路２０は、合成画像データに対してガンマ補正を行う。ガンマ補正回路２０から出力された合成画像データは、補間回路２１に供給される。補間回路２１は、補色で構成される合成画像データに対して色補間処理を行い、Ｒ，Ｇ，Ｂ成分から構成される画像データに変換する。Ｒ，Ｇ，Ｂ成分から構成される合成画像データは、Ｙマトリクス回路２２及びＣマトリクス回路２３に供給される。
【００２６】
Ｙマトリクス回路２２は、Ｒ，Ｇ，Ｂ成分から構成される合成画像データに対してマトリクス演算を行い、合成画像の輝度（Ｙ）成分を抽出する。抽出された輝度データは、Ｙ階調補正回路２４、Ｙヒストグラム検波回路２５及びＣ階調ゲイン設定回路２７に供給される。Ｃマトリクス回路２３は、Ｒ，Ｇ，Ｂ成分から構成される合成画像データに対してマトリクス演算を行い、合成画像の色差（Ｃｒ／Ｃｂ）成分を抽出する。抽出された色差データは、乗算回路２６に供給される。
【００２７】
Ｙ階調補正回路２４は、内部にＹ階調補正テーブルを有し、このＹ階調補正テーブルを参照して、入力された輝度データ（Ｙｉｎ）の値を、所定の値に変換する。Ｙ階調補正テーブルには、入力輝度データ（Ｙｉｎ）のビット数単位で表された輝度値に対応して、出力輝度データ（Ｙｏｕｔ）のビット単位で表された輝度値が示されている。Ｙ階調補正回路２４は、このＹ階調補正テーブルに記述された対応関係に従い、入力された輝度値の階調数を変換する。Ｙ階調補正回路２４は、例えば、１０ビットの階調数の入力輝度データ（Ｙｉｎ）を、８ビットの階調数の出力輝度データ（Ｙｏｕｔ）に圧縮する。従って、Ｙ階調補正回路２４により、輝度データの階調数が所定の階調数に圧縮され、それとともに、Ｙ階調補正テーブルに記述された特性に応じて、輝度レベルの補正が行われる。なお、Ｙ階調補正テーブルは、コントローラ２９により設定されるが、その設定内容については詳細を後述する。Ｙ階調補正回路２４により階調数が圧縮された輝度データ（Ｙｏｕｔ）は、記録回路２８に供給される。
【００２８】
Ｙヒストグラム検波回路２５は、Ｙマトリクス回路２２から合成画像１画面分の輝度データが入力され、入力された輝度データに基づき合成画像１画面内の各輝度値の発生頻度を示すヒストグラムを検出する。例えば、このヒストグラムは、例えば、入力された１画面分の合成画像内の全輝度データを検索し、検索して得られた全輝度データを同一の輝度（或いは所定の範囲の輝度）毎に分類して、その分類毎に画素数を算出する。そして、算出した画素数を低い輝度値から順番に羅列したデータ群を作成する。これがヒストグラムとなる。従って、ヒストグラムは、横軸を輝度値（或いはある一定の輝度範囲）とし、縦軸をその画面内における発生頻度としたグラフとして表すことができる。Ｙヒストグラム検波回路２５により生成されたヒストグラムは、コントローラ２９に供給され、Ｙ階調補正テーブルの生成、並びに、Ｃ補正ゲインテーブルの生成のために利用される。
【００２９】
乗算回路２６は、Ｃマトリクス回路２３から供給された色差データ（Ｃｉｎ）に、Ｃ階調ゲイン設定回路２７から供給される補正ゲイン（Ｃｇ）を乗算して、入力された色差データの階調数を変換するとともに、入力される補正ゲインの特性に応じた色差レベルの補正が行われる。例えば、乗算回路２６は、１０ビットの階調数の入力色差データ（Ｃｉｎ）を、８ビットの階調数の出力色差データ（Ｃｏｕｔ）に変換する。乗算回路２６により階調数が圧縮された色差データ（Ｃｏｕｔ）は、記録回路２８に供給される。
【００３０】
Ｃ階調ゲイン設定回路２７は、内部にＣ補正ゲインテーブルを有し、このＣ補正ゲインテーブルを参照して、入力された輝度データ（Ｙｉｎ）の値に対応した補正ゲイン（Ｃｇ）を出力する。Ｃ補正ゲインテーブルには、入力輝度データ（Ｙｉｎ）のビット数単位で表された輝度値に対応して、補正ゲイン（Ｃｇ）が示されている。Ｃ階調ゲイン設定回路２７は、このＣ補正ゲインテーブルに記述された対応関係に従い、補正ゲイン（Ｃｇ）を出力する。本デジタルスチルカメラ１では、輝度値の階調圧縮とともにレベル補正を行っているが、輝度値を補正した場合、同様に色差値も補正しなければ、出力される色がくるってしまう。そのため、本デジタルスチルカメラ１では、入力された輝度値に対応させた色差データの補正量（補正ゲイン（Ｃｇ））を生成し、この補正量をＣマトリクス回路２３から出力された色差データ（Ｃｉｎ）に乗じることとしている。またさらに、この補正ゲイン（Ｃｇ）を乗じることによって、色差データの階調数も、圧縮している。なお、Ｃ補正ゲインテーブルは、コントローラ２９により設定されるが、その設定内容については詳細を後述する。
【００３１】
記録回路２８は、階調圧縮がされた輝度データ及び色差データが入力され、これらのデータを内部の記録媒体に記録する。
【００３２】
コントローラ２９は、異なる露光量で同一の被写体を複数回撮像するための絞り量やシャッタ速度の制御，画像データの取り込み等の制御、合成画像データの生成制御、Ｙ階調補正回路２４に格納するＹ階調補正テーブルの生成、Ｃ階調ゲイン設定回路２７に格納されるＣ補正ゲインテーブルの生成等の各種制御を行う。
【００３３】
以上のような構成のデジタルスチルカメラ１では、異なる露光量で同一の被写体を複数回撮像する高ダイナミックレンジの撮影モードを有している。デジタルスチルカメラ１は、この高ダイナミックレンジモードに入ると以下のような動作を行う。
【００３４】
まず、コントローラ２９は、絞りシャッタ機構１１を制御して、段階的に絞りを変化させながら、同一被写体の画像を複数枚撮像する。この結果、同一の被写体に対して露光量が異なる複数枚の画像データが生成される。また、例えば、コントローラ２９は、タイミングジェネレータ１３を制御して、段階的に電子シャッタスピードを変化させながら同一の被写体の画像を複数枚撮像しても良いし、また、アナログ信号処理回路１５を制御して段階的にゲインを変化させながら同一の被写体の画像を複数枚撮像してもよい。このようにシャッタスピードやゲインを変化させても、同一の被写体に対して露光量が異なる複数枚の画像データを生成することができる。撮像された複数枚の画像は、一旦画像メモリ１８に格納される。
【００３５】
画像データ加算回路１７は、複数枚の画像の撮像を終了した後、画像メモリ１８に格納されている複数枚の画像データを加算合成して、合成画像データを生成する。例えば、８ビットの階調数の画像データを４枚合成して、１０ビットの階調数の合成画像データを生成する。
【００３６】
合成画像データを生成すると、続いて、Ｙヒストグラム検波回路２５によって、この合成画像データの輝度値のヒストグラムを検出する。検出したヒストグラムは、コントローラ２９に供給される。コントローラ２９は、検出したヒストグラムに基づき、Ｙ階調補正テーブル及びＣ補正ゲインテーブルを作成する。コントローラ２９により作成されたＹ階調補正テーブルはＹ階調補正回路２４に格納される。また、コントローラ２９により作成されたＣ補正ゲインテーブルは、Ｃ階調ゲイン設定回路２７に格納される。
【００３７】
各テーブルが格納されると、続いて、合成画像データの階調圧縮処理が開始される。すなわち、輝度データの階調数がＹ階調補正回路２４で圧縮され、色差データの階調数が乗算回路２６によって圧縮される。例えば１０ビット階調の輝度データ及び色差データが、８ビット階調のデータに変換される。このことにより、合成画像データは、記録フォーマットに対応した階調数のデータに変換される。そして、記録回路２８が、階調圧縮された輝度データ及び色差データを記録媒体に記録する。
【００３８】
以上のように本デジタルスチルカメラ１では、ダイナミックレンジが広い画像を撮像することができる。
【００３９】
つぎに、輝度データの階調圧縮をするためのＹ階調補正テーブルの作成アルゴリズムについて説明をする。
【００４０】
図２に、Ｙ階調補正テーブルの作成アルゴリズムを実現するための機能ブロックを示す。
【００４１】
Ｙ階調補正テーブルの作成アルゴリズムは、図２に示すように、累積ヒストグラム生成部３１と、ヒストグラム補正カーブ生成部３２と、単純補正直線生成部３３と、合成部３４とから構成される。
【００４２】
累積ヒストグラム生成部３１には、Ｙヒストグラム検波回路２５から、合成画像の輝度のヒストグラムが入力される。ヒストグラムは、横軸が合成画像の輝度値Ｘｎ（ｎ＝１，２，３，…，ｍａｘ）、縦軸が輝度の頻度Ｈ（Ｘｎ）としたグラフ上に表した場合、図３（Ａ）に示すようになる。
【００４３】
累積ヒストグラム生成部３１は、Ｙヒストグラム検波２５から供給される以上のようなヒストグラムを、低い輝度値（Ｘ１）からもっとも高い輝度値（Ｘｍａｘ）まで累積加算していき、図３（Ｂ）に示すような、累積ヒストグラムを生成する。例えば、輝度Ｘｎの頻度をＨ（Ｘｎ）とするならば累積頻度ΣＨ（Ｘｎ）は以下のようになる。
ΣＨ（Ｘ１）＝Ｈ（Ｘ１）
ΣＨ（Ｘ２）＝Ｈ（Ｘ１）＋Ｈ（Ｘ２）
ΣＨ（Ｘ３）＝Ｈ（Ｘ０１）＋Ｈ（Ｘ２）＋Ｈ（Ｘ３）
…
ΣＨ（Ｘｍａｘ）＝Ｈ（Ｘ１）＋Ｈ（Ｘ２）＋Ｈ（Ｘ３）＋ … ＋Ｈ（Ｘｍａｘ）。
【００４４】
ヒストグラム補正カーブ生成部３２には、累積ヒストグラム生成部３１により生成された累積ヒストグラムが入力される。ヒストグラム補正カーブ生成部３２は、図３（Ｃ）に示すように、累積ヒストグラムの縦軸ΣＨ（ｘｎ）を、出力画像の輝度値（Ｙｎ）に置き換えて、ヒストグラム補正曲線を生成する。このとき、ヒストグラム補正曲線は、累積ヒストグラムの最大累積頻度（ΣＨ（Ｘｍａｘ））を、出力画像の階調数の最大値（Ｙｍａｘ）に対応させ、さらに、累積ヒストグラムの最小累積頻度（つまり、０）を、出力画像の階調数の最小値（Ｙｍｉ ｎ）に対応させるように設定する。例えば、出力画像の階調数が８ビットであれば、累積ヒストグラムの最大累積頻度を“２５５”という輝度値に対応させ、累積ヒストグラムの最小累積頻度を“０”という輝度値に対応させたヒストグラム補正曲線を生成する。
【００４５】
なお、ヒストグラム補正曲線を生成する場合、Ｘｍａｘの値は、合成画像の階調数の最大値としてもよいし、或いは、実際に得られる輝度データの最大値としてもよい。Ｘｍａｘの値を実際に得られる輝度データの最大値とすると、高輝度領域に信号成分がない画像の場合に、出力画像の階調範囲を最大限利用したダイナミックレンジの広い画像を生成することができる。
【００４６】
単純補正直線生成部３３は、単純補正直線を生成する。この単純補正直線は、図４（Ａ）に示すように、Ｙｎ＝（Ｙｍａｘ／Ｘｍａｘ）Ｘｎで表される直線である。Ｙｍａｘは、出力画像の階調数の最大値であり、Ｘｍａｘは合成画像（変換前の画像）の階調数の最大値である。例えば、出力画像が８ビット階調であればＹｍａｘは２５６となり、合成画像が１０ビット階調であればＸｍａｘは１０２４となり、Ｙｎ＝（１／４）Ｘｎといった直線となる。
【００４７】
なお、単純補正直線を生成する場合、Ｘｍａｘの値は、合成画像の階調数の最大値とせずに、実際に得られる輝度データの最大値としてもよい。Ｘｍａｘの値を実際に得られる輝度データの最大値とすることにより、高輝度領域に信号成分がない画像の場合に、出力画像の階調範囲を最大限利用したダイナミックレンジの広い画像を生成することができる。
【００４８】
合成部３４は、ヒストグラム補正曲線と単純補正直線とを所定の合成比を乗じて、加算合成をする。例えば、合成比Ｇを０〜１の範囲で設定し、ヒストグラム補正曲線には“Ｇ”を乗算し、単純補正直線には、このＧの補数（１−Ｇ）を乗算し、その後両者を加算合成する。このように加算合成すると、図４（Ｂ）に示すような、合成補正曲線を生成することができる。合成部３４は、生成した合成補正曲線を、Ｙ階調補正テーブルとして、Ｙ階調補正回路２４内のメモリに格納する。
【００４９】
なお、ヒストグラム補正曲線と単純補正直線との合成比Ｇを適宜最適に変更することによって、輝度レベルの補正割合を変更することができる。例えば、ヒストグラムの分布の様子などを観察して、あまり輝度補正を行いたくない場合には単純補正直線の比率を多くし、強めに輝度補正をしたい場合にはヒストグラム補正曲線の比率を多くすればよい。
【００５０】
つぎに、Ｃ階調ゲイン補正テーブルの作成アルゴリズムについて説明をする。
【００５１】
図５に、Ｃ階調ゲイン補正テーブルの作成アルゴリズムを実現するための機能ブロックを示す。
【００５２】
Ｃ階調ゲイン補正テーブルの作成アルゴリズムは、図５に示すように、ヒストグラムゲイン補正カーブ生成部４１と、単純補正ゲイン直線生成部４２と、合成部４３とから構成される。
【００５３】
ヒストグラムゲイン補正カーブ生成部４１には、Ｙヒストグラム検波回路２５から、合成画像の輝度のヒストグラムが入力され、このヒストグラムに基づきヒストグラム補正ゲイン曲線を生成する。このヒストグラム補正ゲイン曲線は、図６（Ａ）に示すように、入力される合成画像の輝度値に対する、補正ゲインＣｇの値を示した曲線である。すなわち、このヒストグラム補正ゲイン曲線は、ヒストグラムに基づき輝度値を補正した場合における色差データの補正割合を示した曲線である。
【００５４】
単純補正ゲイン直線生成部４２は、単純補正ゲイン直線を生成する。この単純補正ゲイン直線は、輝度値を補正しない場合における色差データの補正量を示している。すなわち、輝度値を補正しなければ、輝度値も補正しなくて良いため、図６（Ｂ）に示すように、この単純補正ゲイン直線生成部４２により生成される補正ゲインＣｇは、合成画像の輝度値に関わらず常に“１”という値となる。
【００５５】
合成部４３は、ヒストグラム補正ゲイン曲線と単純補正ゲイン直線とを所定の合成比を乗じて、加算合成をする。例えば、合成比Ｇを０〜１の範囲で設定し、ヒストグラム補正ゲイン曲線には“Ｇ”を乗算し、単純補正ゲイン直線には、このＧの補数（１−Ｇ）を乗算し、その後両者を加算合成する。このように加算合成すると、図６（Ｃ）に示すような、合成補正ゲイン曲線を生成することができる。合成部４３は、生成した合成補正ゲイン曲線を、Ｃ補正ゲインテーブルとして、Ｃ階調ゲイン設定回路２７内のメモリに格納する。
【００５６】
本デジタルスチルカメラ１では、以上のような合成補正ゲイン曲線に基づき得られる補正ゲインＣｇが、色差データに乗算されることによって、色差値の補正が行われる。さらに、例えば、この補正された色差データの下位ビットを切り捨てることによって、階調変換が行われる。
【００５７】
以上のように本発明の実施の形態の本デジタルスチルカメラ１では、階調数を単純に直線変換する単純補正直線と、ヒストグラムに基づき輝度値が平均化されるように補正するヒストグラム補正曲線とを所定の合成比を乗じて、加算合成した補正曲線により、階調変換が行われる。
【００５８】
このような補正曲線により階調変換がされると、輝度の頻度にピーク特性を有する画像や、輝度差が少ない画像が入力された場合であっても、見た目に不自然な画像となることを抑制することができる。
【００５９】
なお、本実施の形態では、ヒストグラム補正曲線と単純補正直線との合成比Ｇを、全ての輝度レベルに対して均一にした例を示したが、図７に示すように低輝度領域又は高輝度領域或いはその両者に、リミット値（lim1,lim2）を設定し、低輝度領域、中間領域、高輝度領域で、それぞれで合成比Ｇを変えるようにしてもよい。例えば、低輝度領域と高域度領域をともに直線比率を“１”に設定すれば（つまり、ヒストグラム補正曲線の割合が０）、これらの領域にはヒストグラムによる平均化処理が行われず、例えば、全体的に黒が浮いてしまってしまりのない画像になることを抑制することができる。
【００６０】
また、例えば、図８に示すように、低輝度領域については、出力画像の輝度値を全て０とし、高輝度領域については出力画像の輝度値を全て最大値とするような、補正曲線としてもよい。この場合、リミット値は、入力値の最小値と最大値に設定したり、或いは、上下所定の割合（例えば、上下３パーセント）といったように設定してもよい。このように設定することにより、高輝度領域及び低輝度領域に多く含まれているノイズを除去することができる。なお、この際の単純補正直線は、以下のように設定される。
Ｘｎ＜ｌｉｍ１ ：Ｙｎ＝０
ｌｉｍ１≦Ｘｎ≦ｌｉｍ２ ：Ｙｎ＝｛Ｙｍａｘ／（ｌｉｍ２−ｌｉｍ１）｝Ｘｎ
Ｘｎ＞ｌｉｍ２ ：Ｙｎ＝Ｙｍａｘ 。
【００６１】
また、本実施の形態では、Ｙヒストグラム検波回路２５でヒストグラムを検波する際に、合成画像の全画素の輝度レベルを検波する例を示したが、全画素の輝度レベルではなく、部分的に抽出する画素を間引いて輝度レベルを検波してもよい。画像のある程度の輝度分布特性を得られれば、補正曲線を生成することができるためである。また、同一条件で再度撮影を行う場合には、過去に撮影したヒストグラム又は階調補正テーブル等を保存しておき、再度それらのデータを利用すれば、処理時間の短縮化を図ることができる。
【００６２】
【発明の効果】
本発明にかかる画像撮像装置及び方法では、第１の階調数と第２の階調数との比に基づき定まる直線関数と、入力画像の輝度分布を示すヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換する。
【００６３】
これにより、本発明では、異なる露光量で同一の被写体を撮像して、その画像を合成することによりダイナミックレンジの広い合成画像を生成し、生成した合成画像の階調数を圧縮して、通常の階調数に変換することができる。その際に、本発明では、輝度値の過度な補正によって見づらい画像とすることなく、自然な出力画像を得られるように補正を行うことができる。
【図面の簡単な説明】
【図１】本発明を適用したデジタルスチルカメラのブロック図である。
【図２】Ｙ階調補正テーブルの作成アルゴリズムを説明するためのブロック図である。
【図３】ヒストグラム、累積ヒストグラム並びにコントラスト補正曲線を説明するための図である。
【図４】単純補正直線、合成補正曲線を説明するための図である。
【図５】Ｃゲイン補正テーブルの作成アルゴリズムを説明するためのブロック図である。
【図６】コントラスト補正ゲイン曲線、単純補正ゲイン直線、合成補正ゲイン曲線を説明するための図である。
【図７】Ｙ階調補正テーブルの変形例を説明するための図である。
【図８】Ｙ階調補正テーブルの他の変形例を説明するための図である。
【符号の説明】
１ デジタルスチルカメラ、１０ レンズ、１１ 絞りシャッタ機構、１２ ＣＣＤ、１３ タイミングジェネレータ、１４ Ｓ／Ｈ回路、１５ アナログ信号処理回路、１６ アナログ／デジタルコンバータ、１７ 画像データ加算回路、１８ 画像メモリ、１９ ホワイトバランス回路、２０ ガンマ補正回路、２１ 補間回路、２２ Ｙマトリクス回路、２３ Ｃマトリクス回路、２４ Ｙ階調補正回路、２５ Ｙヒストグラム検波回路、２６ 乗算回路、２７ Ｃ階調ゲイン設定回路、２８ 記録回路、２９ コントローラ
Claims (6)
- 異なる露出条件で同一の被写体を複数回撮像し、露出量が異なった複数画面分の画像を生成する撮像手段と、
上記複数画面分の画像を合成して、各画素の輝度値が第１の階調数で表現された１つの合成画像を生成する画像合成手段と、
上記合成画像の輝度値の頻度分布を示すヒストグラムを検出するヒストグラム検出手段と、
上記合成画像の階調数を、第２の階調数に変換して、各画素の輝度値が第２の階調数で表現された出力画像を生成する階調数変換手段とを備え、
上記階調数変換手段は、第１の階調数と第２の階調数との比に基づき定まる直線関数と、上記ヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換する画像撮像装置。 - 上記階調数変換手段は、合成画像の輝度値に下限リミット値と、この下限リミット値より高い上限リミット値とを設定し、
上記合成関数は、下限リミット値以下の部分及び／又は上限リミット値以上の部分が、上記直線関数となっていることを特徴とする請求項１記載の画像撮像装置。 - 上記階調数変換手段は、
合成画像の輝度値に下限リミット値と、この下限リミット値より高い上限リミット値とを設定し、
合成画像の輝度値が下限リミット値以下の値のときには、出力値が０となり、
合成画像の輝度値が上限リミット値以上の値のときには、出力値が最大値となり、
合成画像の輝度値が下限リミット値から上限リミット値までの値のときには、
上限リミット値と下限リミット値との差分値と、第２の階調数との比に基づき定まる直線関数と、上記ヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換することを特徴とする請求項１記載の画像撮像装置。 - 異なる露出条件で同一の被写体を複数回撮像し、露出量が異なった複数画面分の画像を生成し、
上記複数画面分の画像を合成して、各画素の輝度値が第１の階調数で表現された１つの合成画像を生成し、
上記合成画像の輝度値の頻度分布を示すヒストグラムを検出し、
第１の階調数と第２の階調数との比に基づき定まる直線関数と、上記ヒストグラムに対応した特性を有するヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換して、各画素の輝度値が第２の階調数で表現された出力画像を生成する画像撮像方法。 - 合成画像の輝度値に下限リミット値と、この下限リミット値より高い上限リミット値とを設定し、
上記合成関数は、下限リミット値以下の部分及び／又は上限リミット値以上の部分が、上記直線関数となっていることを特徴とする請求項４記載の画像撮像方法。 - 合成画像の輝度値に下限リミット値と、この下限リミット値より高い上限リミット値とを設定し、
合成画像の輝度値が下限リミット値以下の値のときには、出力値が０となり、
合成画像の輝度値が上限リミット値以上の値のときには、出力値が最大値となり、
合成画像の輝度値が下限リミット値から上限リミット値までの値のときには、上限リミット値と下限リミット値との差分値と、第２の階調数との比に基づき定まる直線関数と、上記ヒストグラム関数とを所定の合成比を乗じて、加算合成した合成関数に基づき設定される変換規則によって、第１の階調数で表現された各画素の輝度値を、第２の階調数で表現された輝度値に変換することを特徴とする請求項４記載の画像撮像方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001234038A JP3948229B2 (ja) | 2001-08-01 | 2001-08-01 | 画像撮像装置及び方法 |
| EP02749380A EP1424852A4 (en) | 2001-08-01 | 2002-07-29 | IMAGE RECORDING AND IMAGE RECORDING |
| US10/398,043 US7352398B2 (en) | 2001-08-01 | 2002-07-29 | Image pick-up apparatus and method for picking up and synthesizing plural images to generate a dynamic range image |
| PCT/JP2002/007682 WO2003013129A1 (fr) | 2001-08-01 | 2002-07-29 | Dispositif et procede pour prise de vues |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001234038A JP3948229B2 (ja) | 2001-08-01 | 2001-08-01 | 画像撮像装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003046859A JP2003046859A (ja) | 2003-02-14 |
| JP3948229B2 true JP3948229B2 (ja) | 2007-07-25 |
Family
ID=19065728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001234038A Expired - Fee Related JP3948229B2 (ja) | 2001-08-01 | 2001-08-01 | 画像撮像装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7352398B2 (ja) |
| EP (1) | EP1424852A4 (ja) |
| JP (1) | JP3948229B2 (ja) |
| WO (1) | WO2003013129A1 (ja) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4280904B2 (ja) * | 2003-03-25 | 2009-06-17 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
| US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
| US7880771B2 (en) * | 2004-03-16 | 2011-02-01 | Olympus Corporation | Imaging apparatus, image processing apparatus, image processing system and image processing method |
| US7551776B2 (en) * | 2004-07-22 | 2009-06-23 | Seiko Epson Corporation | Histogram generation apparatus and method for operating the same |
| JP4803982B2 (ja) * | 2004-09-14 | 2011-10-26 | オリンパス株式会社 | 画像処理装置、画像記録装置、及び画像処理方法 |
| US8285041B2 (en) | 2004-09-14 | 2012-10-09 | Olympus Corporation | Image processing apparatus, image recording apparatus, and image processing method |
| JP4499527B2 (ja) * | 2004-10-19 | 2010-07-07 | オリンパス株式会社 | 画像処理装置、画像記録装置、及び画像処理方法 |
| US7860168B2 (en) * | 2004-10-27 | 2010-12-28 | Lsi Corporation | Method and apparatus for improved increased bit-depth display from a transform decoder by retaining additional inverse transform bits |
| JP4595569B2 (ja) * | 2005-02-03 | 2010-12-08 | 株式会社ニコン | 撮像装置 |
| JP2006295595A (ja) * | 2005-04-12 | 2006-10-26 | Sharp Corp | 画像表示装置及び画像処理方法 |
| US20070127909A1 (en) | 2005-08-25 | 2007-06-07 | Craig Mowry | System and apparatus for increasing quality and efficiency of film capture and methods of use thereof |
| JP2007067815A (ja) * | 2005-08-31 | 2007-03-15 | Olympus Imaging Corp | 画像処理装置及び画像処理方法 |
| JP4774915B2 (ja) * | 2005-10-26 | 2011-09-21 | カシオ計算機株式会社 | 撮像装置、階調補正方法及びプログラム |
| US8111887B2 (en) * | 2005-12-09 | 2012-02-07 | Konica Minolta Holdings, Inc. | Image processing method, image processing apparatus and image processing program |
| US8537893B2 (en) * | 2006-01-23 | 2013-09-17 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | High dynamic range codecs |
| JP2007201985A (ja) * | 2006-01-30 | 2007-08-09 | Matsushita Electric Ind Co Ltd | 広ダイナミックレンジ撮像装置 |
| JP4325627B2 (ja) * | 2006-02-21 | 2009-09-02 | ソニー株式会社 | 画像表示方法および画像表示装置並びに撮像装置 |
| WO2008090730A1 (ja) * | 2007-01-23 | 2008-07-31 | Nikon Corporation | 画像処理装置、電子カメラ、画像処理方法および画像処理プログラム |
| JP4821626B2 (ja) * | 2007-01-23 | 2011-11-24 | 株式会社ニコン | 画像処理装置、電子カメラ、および画像処理プログラム |
| JP4306750B2 (ja) * | 2007-03-14 | 2009-08-05 | ソニー株式会社 | 撮像装置、撮像方法、露光制御方法、プログラム |
| ES2396318B1 (es) * | 2007-07-25 | 2013-12-16 | Tay HIOK NAM | Control de exposicion para un sistema de formacion de imagenes |
| JP5052365B2 (ja) * | 2008-02-15 | 2012-10-17 | オリンパス株式会社 | 撮像システム及び画像処理方法並びに画像処理プログラム |
| JP2009253834A (ja) * | 2008-04-09 | 2009-10-29 | Olympus Corp | 画像信号処理装置、撮像システム、画像信号処理プログラム、画像信号処理方法 |
| JP5083046B2 (ja) * | 2008-06-03 | 2012-11-28 | ソニー株式会社 | 撮像装置及び撮像方法 |
| JP4818393B2 (ja) * | 2009-05-07 | 2011-11-16 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| FR2947082B1 (fr) | 2009-06-22 | 2014-12-12 | St Ericsson France Sas | Procede et dispositif de traitement d'une image numerique pour eclaircir ladite image. |
| CN102186020A (zh) * | 2010-01-13 | 2011-09-14 | 株式会社尼康 | 图像处理装置、图像处理方法 |
| JP5672796B2 (ja) * | 2010-01-13 | 2015-02-18 | 株式会社ニコン | 画像処理装置、画像処理方法 |
| JP2011228807A (ja) * | 2010-04-15 | 2011-11-10 | Nikon Corp | 画像処理プログラム、画像処理装置、および画像処理方法 |
| JP5147912B2 (ja) * | 2010-09-08 | 2013-02-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラムおよび記録媒体 |
| US9584733B2 (en) | 2010-09-30 | 2017-02-28 | Apple Inc. | High dynamic range transition |
| JP5644444B2 (ja) | 2010-12-03 | 2014-12-24 | 富士通株式会社 | 画像表示装置、画像表示方法、および画像処理装置 |
| US9077910B2 (en) | 2011-04-06 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Multi-field CCD capture for HDR imaging |
| JP5473981B2 (ja) * | 2011-04-27 | 2014-04-16 | Ｅｉｚｏ株式会社 | 画像生成装置、画像生成システム、画像表示装置、コンピュータプログラム及び画像生成方法 |
| JP2013055567A (ja) * | 2011-09-06 | 2013-03-21 | Olympus Imaging Corp | 撮像装置 |
| JP5975642B2 (ja) * | 2011-12-28 | 2016-08-23 | 三菱電機株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
| JP5932392B2 (ja) * | 2012-02-28 | 2016-06-08 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP5319814B2 (ja) * | 2012-03-22 | 2013-10-16 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
| JP2014096752A (ja) * | 2012-11-12 | 2014-05-22 | Konica Minolta Inc | 画像処理装置および画像処理方法ならびに撮像装置 |
| US9449375B2 (en) * | 2013-01-31 | 2016-09-20 | Mitsubishi Electric Corporation | Image processing apparatus, image processing method, program, and recording medium |
| JP5929849B2 (ja) * | 2013-07-08 | 2016-06-08 | 株式会社デンソー | 画像生成装置、画像生成方法及び画像生成プログラム |
| JP6543786B2 (ja) * | 2014-05-07 | 2019-07-17 | ハンファテクウィン株式会社 | 画像処理装置および画像処理方法 |
| JP6525543B2 (ja) * | 2014-10-21 | 2019-06-05 | キヤノン株式会社 | 画像処装置および画像処理方法、並びにプログラム |
| CN107409191B (zh) * | 2015-03-27 | 2020-03-27 | 松下知识产权经营株式会社 | 信号处理装置、录像再生装置、信号处理方法以及存储介质 |
| US20170257682A1 (en) * | 2016-03-01 | 2017-09-07 | Yaniv SHTALRYD | Monitoring Device, System and Method for Monitoring an Individual |
| JP6805968B2 (ja) * | 2016-08-01 | 2020-12-23 | 株式会社リコー | 画像処理装置、画像投影装置、及び画像処理方法 |
| JP7133930B2 (ja) * | 2018-01-31 | 2022-09-09 | シャープ株式会社 | 表示装置、画像処理装置、画像処理方法、および制御プログラム |
| KR102533723B1 (ko) * | 2018-09-14 | 2023-05-18 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| TWI723435B (zh) * | 2019-06-24 | 2021-04-01 | 聚晶半導體股份有限公司 | 影像輸出方法與電子裝置 |
| EP4014479B1 (en) | 2019-08-12 | 2024-03-20 | Dolby Laboratories Licensing Corporation | Adaptive image data linearization for hdr image sensors |
| JP7554566B2 (ja) * | 2020-03-13 | 2024-09-20 | キヤノン株式会社 | 画像処理装置、制御方法及びプログラム |
| US11595589B2 (en) | 2021-07-22 | 2023-02-28 | Arthrex, Inc. | Surgical camera system with high dynamic range |
| CN117819160B (zh) * | 2024-03-04 | 2024-06-25 | 宝鸡杭叉工程机械有限责任公司 | 基于图像处理的带式输送机煤流自动监测方法及系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL87306A0 (en) * | 1988-08-02 | 1989-01-31 | Technion Res & Dev Foundation | Wide dynamic range camera |
| US6219097B1 (en) * | 1996-05-08 | 2001-04-17 | Olympus Optical Co., Ltd. | Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined |
| JP3153147B2 (ja) * | 1997-03-14 | 2001-04-03 | 松下電器産業株式会社 | 撮像装置 |
| JP2951910B2 (ja) | 1997-03-18 | 1999-09-20 | 松下電器産業株式会社 | 撮像装置の階調補正装置及び階調補正方法 |
| NZ332626A (en) * | 1997-11-21 | 2000-04-28 | Matsushita Electric Ind Co Ltd | Expansion of dynamic range for video camera |
| US6204940B1 (en) * | 1998-05-15 | 2001-03-20 | Hewlett-Packard Company | Digital processing of scanned negative films |
| JP3813362B2 (ja) | 1998-11-19 | 2006-08-23 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US6825884B1 (en) * | 1998-12-03 | 2004-11-30 | Olympus Corporation | Imaging processing apparatus for generating a wide dynamic range image |
| JP2001008216A (ja) | 1999-06-21 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
| JP4869474B2 (ja) | 2000-10-26 | 2012-02-08 | オリンパス株式会社 | 撮像装置 |
| JP2002290707A (ja) | 2001-03-26 | 2002-10-04 | Olympus Optical Co Ltd | 画像処理装置 |
-
2001
- 2001-08-01 JP JP2001234038A patent/JP3948229B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-29 WO PCT/JP2002/007682 patent/WO2003013129A1/ja active Application Filing
- 2002-07-29 US US10/398,043 patent/US7352398B2/en not_active Expired - Fee Related
- 2002-07-29 EP EP02749380A patent/EP1424852A4/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1424852A1 (en) | 2004-06-02 |
| WO2003013129A1 (fr) | 2003-02-13 |
| US20040004666A1 (en) | 2004-01-08 |
| US7352398B2 (en) | 2008-04-01 |
| JP2003046859A (ja) | 2003-02-14 |
| EP1424852A4 (en) | 2008-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3948229B2 (ja) | 画像撮像装置及び方法 | |
| JP4163353B2 (ja) | 画像処理装置 | |
| JP5018770B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP3458741B2 (ja) | 撮像方法及び撮像装置、画像処理方法及び画像処理装置 | |
| JP3668014B2 (ja) | 画像処理方法及び装置 | |
| JP2001054013A (ja) | 撮像信号処理装置およびその処理方法 | |
| JP2000224490A (ja) | 撮像制御装置および撮像制御方法 | |
| US9083936B2 (en) | Wide dynamic range electronic image recording and reproducing system | |
| KR20120025415A (ko) | 화상처리장치 및 화상처리방법 | |
| KR20120025414A (ko) | 화상처리장치, 화상처리방법, 및 기록매체 | |
| JP4217041B2 (ja) | フィルタ処理 | |
| JPH0630330A (ja) | 階調補正回路及び撮像装置 | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP2004363726A (ja) | 画像処理方法及びデジタルカメラ | |
| JP3495768B2 (ja) | 画像合成装置 | |
| JP4479527B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ | |
| EP2515543B1 (en) | Image capturing apparatus and image capturing method | |
| JP2002288650A (ja) | 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体 | |
| JP3988760B2 (ja) | 固体撮像装置 | |
| JP3748031B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP4335728B2 (ja) | 画像処理装置および方法 | |
| JPH11155108A (ja) | 映像信号処理装置と処理方法、それを用いたビデオカメラ | |
| JP4028395B2 (ja) | デジタルカメラ | |
| JP2003333422A (ja) | シェーディング補正方法およびディジタルカメラ | |
| JP3540567B2 (ja) | 電子的撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070409 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100427 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110427 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120427 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130427 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140427 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |