[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7507554B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7507554B2
JP7507554B2 JP2019209824A JP2019209824A JP7507554B2 JP 7507554 B2 JP7507554 B2 JP 7507554B2 JP 2019209824 A JP2019209824 A JP 2019209824A JP 2019209824 A JP2019209824 A JP 2019209824A JP 7507554 B2 JP7507554 B2 JP 7507554B2
Authority
JP
Japan
Prior art keywords
image
contrast
brightness
color
lightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019209824A
Other languages
English (en)
Other versions
JP2021082069A (ja
Inventor
緋子 神崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019209824A priority Critical patent/JP7507554B2/ja
Priority to US17/099,612 priority patent/US11647298B2/en
Publication of JP2021082069A publication Critical patent/JP2021082069A/ja
Application granted granted Critical
Publication of JP7507554B2 publication Critical patent/JP7507554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
近年、ダイナミックレンジが拡大したHDR対応表示機器の普及が進んでいる。HDR画像は、従来に比べてより明るい映像表現が可能であり、その結果、従来のSDR画像に比べて対比効果が顕著に現れるようになった。本明細書における対比効果とは、背景の明るさや彩度が変化すると前景の明るさや彩度の見え方が変化する現象を指す。例えば、背景が明るくなったり彩度が高くなったりすると、前景が暗く見えたり、色がくすんで見えたり、コントラストが高くなったりしたように見える。
対比効果によって、HDR画像における主被写体の明るさや彩度の見え方が従来のSDR画像と比べると異なることが、一部のシーンで課題となっている。例えば、HDR画像の人物シーンでは、逆光等で背景が明るい時、背景と前景の人物の明暗差が対比効果によって強調されて人物の顔が暗く見えてしまう。
また、SDRモニタでもHDR画像を鑑賞するためにHDR画像をSDR画像に変換する技術があるが、HDR画像とSDR画像を見比べた際に対比効果によってコントラストが異なって見えることが、一部のシーンで課題となっている。例えば、HDR画像の夜景シーンでは、イルミネーションの光源付近が対比効果によってコントラストが高くきらめいて見える。しかしながら、変換したSDR画像では対比効果が薄れてコントラストが低くなり、HDR画像で見た時の印象と変わってしまう。
特許文献1は、ウェーブレット分解した輝度画像のそれぞれに対して、画素ごとの輝度値を光環境の設計の分野で一般的に使われている人間の明るさの感覚の形容詞(非常に暗い~非常に明るい)を便宜的に数値で割り振った値に変換する処理を行い、ウェーブレット合成を行うことで、複数の周波数を考慮した画像を生成する技術を開示している。また、特許文献2は、入力画像のダイナミックレンジに対応する階調変換カーブに対して、明部と暗部の輝度変化が視覚的に同等となるように調整して階調変換を行う技術を開示している。
特許第4016072号公報 特開2019―071568号公報
しかしながら、特許文献1に開示された技術では、ウェーブレット変換によるアーティファクトが画像で発生するため、直接画像を補正するのには適さない。また、特許文献2に開示された技術では、階調変換カーブを用いて調整を行うため、空間方向における対比の影響度合いの分布が考慮されず、画面一律に補正が行われてしまう。
本発明はこのような状況に鑑みてなされたものであり、画像における対比の影響度合いの分布を示す情報を生成する技術を提供することを目的とする。なお、対比効果はHDR画像に限らず発生し得るので、ここで言う「画像」はHDR画像に限定されない。
上記課題を解決するために、本発明は、第1の画像における明度成分の分布を示す第1の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第1のフィルタ手段であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第1のフィルタ手段と、前記複数の明度用のフィルタ処理結果を合成することにより、前記第1の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第1の合成手段と、前記明度対比影響情報に基づいて前記第1の明度成分画像を補正する第1の補正手段と、前記補正された前記第1の明度成分画像と、前記第1の画像における色成分の分布を示す第1の色成分画像とを合成することにより、明度対比の影響が補正された第1の補正画像を生成する第1の生成手段と、を備えることを特徴とする画像処理装置を提供する。
本発明によれば、画像における対比の影響度合いの分布を示す情報を生成することが可能となる。
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
画像処理装置を備える撮像装置100(例えば、デジタルカメラ)の構成を示すブロック図。 第1の実施形態に係る画像処理部104において対比補正処理に関与する部分の詳細な構成を示すブロック図。 明度対比影響情報生成部202の詳細な構成を示すブロック図。 彩度対比影響情報生成部203の詳細な構成を示すブロック図。 第1の実施形態に係る画像処理部104が実行する対比補正処理のフローチャート。 図5のS502の処理(明度対比影響情報生成部202が実行する処理)の詳細を示すフローチャート。 図5のS503の処理(彩度対比影響情報生成部203が実行する処理)の詳細を示すフローチャート。 明度対比影響マップの構成について説明する図。 (a)(b)対比影響情報の生成に用いるフィルタの概念図、(c)フィルタ処理結果を説明する図。 対比影響情報の生成に用いるフィルタのゲインを説明する図。 第2の実施形態に係る画像処理部104において対比補正処理に関与する部分の詳細な構成を示すブロック図。 HDR/SDR変換部1102の詳細な構成を示すブロック図。 第2の実施形態に係る画像処理部104が実行する対比補正処理のフローチャート。 図13のS1304の処理(HDR画像をSDR画像に変換する処理)の詳細を示すフローチャートである。 ガンマ変換をリニア空間で表現した図。 ローカルトーンマッピング処理の一例について説明する図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
図1は、画像処理装置を備える撮像装置100(例えば、デジタルカメラ)の構成を示すブロック図である。図1において、光学系101は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、及びシャッター装置を備えている。光学系101は、撮像部102に到達する被写体像の倍率、ピント位置、及び光量などを調整する。
撮像部102は、光学系101を通過した被写体の光束を光電変換により電気信号に変換する、CCDやCMOSセンサ等の光電変換素子である。A/D変換部103は、入力された映像信号をデジタルの画像に変換する。
画像処理部104は、通常の信号処理の他に、露光量算出処理、及び顔検出等の被写体検出処理を行う。加えて、画像処理部104は、対比影響に関する評価値(対比影響情報)を生成する処理、及び評価値を用いて画像を補正する処理を行う。画像処理部104は、A/D変換部103から出力された画像のみでなく、記録部109から読み出した画像に対しても同様の画像処理を行うことができる。画像処理部104の詳細な構成及び動作については後述する。
露光量制御部105は、画像処理部104によって算出された露光量を実現するために、光学系101及び撮像部102を制御して、絞り、シャッタースピード、及びセンサのアナログゲインを制御する。
システム制御部106は、撮像装置100全体の動作を制御、統括する制御機能部である。システム制御部106は、画像処理部104で処理された画像から得られる輝度値や操作部107から送信された指示に基づいて、光学系101や撮像部102の駆動制御も行う。
表示部108は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイで構成され、画像処理部104で生成された画像や、記録部109から読み出した画像を表示する。記録部109は、画像を記録する機能を有する。記録部109は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。
バス110は、画像処理部104、システム制御部106、表示部108、及び、記録部109の間で画像をやり取りするために用いられる。
以下では、HDR画像の各位置における対比影響の度合い(HDR画像における対比影響の度合いの分布)を示す対比影響情報を生成し、生成した対比影響情報を用いてHDR画像を補正する処理(対比補正処理)について説明する。対比影響情報のうち、明度に関する対比影響情報を明度対比影響情報と呼び、色に関する対比影響情報を色対比影響情報と呼ぶ。色対比の例としては彩度対比や色相対比があるが、本実施形態では彩度対比を例に説明し、彩度に関する対比影響情報を彩度対比影響情報と呼ぶ。なお、本実施形態において、対比補正処理の対象画像はHDR画像に限定されず、例えばSDR画像を対象画像として用いてもよい。
図2は、画像処理部104において対比補正処理に関与する部分の詳細な構成を示すブロック図である。画像処理部104は、明度・色分離部201、明度対比影響情報生成部202、彩度対比影響情報生成部203、明度対比補正部204、彩度対比補正部205、及び明度・色統合部206を含む。
明度・色分離部201には、画像処理部104の通常の信号処理によって現像されたHDR画像が入力され、対比補正処理が行われたHDR画像が明度・色統合部206から出力される。入力されるHDR画像は、例えば、撮像部102により撮像されたRAW画像を画像処理部104が現像することにより生成されたHDR画像である。現像は、例えば、ST2084のガンマ(PQガンマ)とRec.2020の色空間とを用いて行われる。出力されるHDR画像も、入力されるHDR画像と同様のガンマ特性及び色空間に対応する画像である。また、入力画像及び出力画像は、RGB又はYUVで構成される。
図5は、画像処理部104が実行する対比補正処理のフローチャートである。処理対象のHDR画像が明度・色分離部201に入力されると、本フローチャートの処理が開始する。なお、特に断らない限り、システム制御部106は、ROM(不図示)に格納された制御プログラムに従って画像処理部104の各部を含む撮像装置100の各部を必要に応じて制御することにより、対比補正処理の制御を行う。
S501で、明度・色分離部201は、入力されたHDR画像を明度成分画像と色成分画像とに分離する。具体的には、明度・色分離部201は、HDR画像を人間の視覚特性を考慮したICtCp色空間に変換し、明度成分画像と色成分画像とに分離する。Iが明度成分画像、Ct,Cpが色成分画像を指す。ここではICtCp色空間を用いて説明を行っているが、Labによる知覚均等色空間(Lab色空間)によって明度成分画像及び色成分画像の分離(取得)を行ってもよい。また、分離した明度成分画像又は色成分画像に対して縮小処理を行ってもよい。
S502で、明度対比影響情報生成部202は、S501で分離した明度成分画像に基づいて、HDR画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する。明度対比影響情報は、例えば、位置ごとに明度対比の影響度合いを表すマップの形式を持つ。以下の説明において、このマップを明度対比影響マップと呼ぶ。
図8を参照して、明度対比影響マップの構成について説明する。図8(a)に示すように、明度対比影響マップには、左上の座標を(0,0)として、座標(x,y)ごとに明度対比の影響度合いを示す信号値が格納されている。例えば、図8(b)に示すような逆光人物シーンでは、明度対比の影響度合いを表したマップは、図8(c)に示すようになり、明度対比の影響で暗く見える(影響度合いが大きい)部分ほど、白く表現される。
本実施形態では、明度対比影響マップは、明度対比の影響がない部分を0として、影響が大きくにつれて値が大きくなる信号値を持つ。例えば明度対比影響マップを8bitで表現した場合は、明度対比の影響が大きくなるにつれて0から255へ近づくような信号値となっている。本実施形態では、明度対比影響情報生成部202は、入力された明度成分画像に対して、複数の異なる周波数帯域でフィルタ処理を行い、その結果を合成することで明度対比影響マップを生成する。明度対比影響情報を生成する処理の更なる詳細については後述する。
本実施形態では、明度対比影響情報生成部202は入力された明度成分画像と同じサイズで明度対比影響マップを生成するが、縮小した明度成分画像から明度対比影響マップを生成した場合は、生成した明度対比影響マップを拡大して出力してもよい。
S503で、彩度対比影響情報生成部203は、S501で分離した色成分画像から、HDR画像における彩度対比の影響度合いの分布を示す彩度対比影響情報を生成する。彩度対比影響情報は、例えば、S502において説明した明度対比影響情報と同様に、位置ごとに彩度対比の影響度合いを表すマップの形式を持つ。以下の説明において、このマップを彩度対比影響マップと呼ぶ。彩度対比影響マップは、彩度対比の影響で彩度が低くくすんで見える(影響度合いが大きい)部分ほど、大きい信号値を持つ。
本実施形態では、彩度対比の影響度合いは比率で表現されており、彩度対比影響マップは、彩度対比の影響がない部分を1倍として、影響が大きくなるにつれて比率が大きくなるような信号値を持つ。本実施形態では、彩度対比影響情報生成部203は、入力された色成分画像に対して、複数の異なる周波数帯域でフィルタ処理を行い、その結果を合成することで彩度対比影響マップを生成する。彩度対比影響情報を生成する処理の更なる詳細については後述する。
本実施形態では、彩度対比影響情報生成部203は、入力された色成分画像と同じサイズで彩度対比影響マップを生成するが、縮小した色成分画像から彩度対比影響マップを生成した場合は、生成した彩度対比影響マップを拡大して出力してもよい。
S504で、明度対比補正部204は、S502において生成された明度対比影響マップに基づいて、S501においてHDR画像から分離した明度成分画像に対して明度対比補正処理を行う。明度成分画像の座標(x,y)における信号値をI(x,y)、明度対比影響マップの座標(x,y)における信号値をMap_I(x,y)とすると、明度対比補正処理後の明度成分画像の座標(x,y)における信号値 I’(x,y)は、式1に従って算出される。

I’(x,y)=I(x,y)+Map_I(x,y) …(1)

前述した通り、明度対比影響マップは、明度対比の影響で暗く見える部分ほど、信号値が大きい。そのため、明度成分画像の信号値に対して明度対比影響マップの信号値を加算することで、明度対比の影響で暗く見える部分を明るく補正する(明度対比の影響を軽減する)ことが可能である。
なお、明度対比の影響を補正する処理は、明度対比の影響を軽減する処理に限定されない。例えば、式1において明度対比影響マップの信号値を加算する代わりに減算することで、明度対比の影響を拡大するように補正を行ってもよい。このように明度対比の影響を拡大するように補正を行うことにより、例えば、夜景シーンにおいて明るい被写体を更に強調することができる。
S505で、彩度対比補正部205は、S503において生成された彩度対比影響マップに基づいて、S501においてHDR画像から分離した色成分画像に対して彩度対比補正処理を行う。色成分画像の座標(x,y)における信号値をCt(x,y),Cp(x,y)、彩度対比影響マップの座標(x,y)における信号値をMap_CtCp(x,y)とすると、彩度対比補正処理後の色成分画像の座標(x,y)における信号値Ct’(x,y),Cp’(x,y)は、式1に従って算出される。
Figure 0007507554000001
前述した通り、彩度対比影響マップは、彩度対比の影響でくすんで見える部分ほど、信号値が大きい。そのため、色成分画像の信号値に対して彩度対比影響マップの信号値を乗算することで、彩度対比の影響で彩度が低くくすんで見える部分を、彩度が高くなるように補正することが可能である。
なお、彩度対比の影響を補正する処理は、彩度対比の影響を軽減する処理に限定されない。例えば、式2において彩度対比影響マップの信号値による乗算を行う代わりに除算を行うことで、彩度対比の影響を拡大するように補正を行ってもよい。このように彩度対比の影響を拡大するように補正を行うことにより、例えば、背景に比べて色鮮やかな被写体を更に強調ことができる。
また、上の説明では、明度成分画像の信号値に対して明度対比影響マップの信号値を加算することで明度対比補正処理を行い、色成分画像の信号値に対して彩度対比影響マップの信号値を乗算することで彩度対比補正処理を行うものとした。しかしながら、明度対比影響マップを彩度対比影響マップのように比率を示す信号値で表現し、明度成分画像の信号値に対して明度対比影響マップの信号値を乗算することで明度対比補正処理を行う構成を採用することも可能である。また、彩度対比影響マップを明度対比影響マップのように影響度合いを示す信号値で表現し、色成分画像の信号値に対して彩度対比影響マップの信号値を加算することで彩度対比補正処理を行う構成を採用することも可能である。
S506で、明度・色統合部206は、S504において明度対比補正処理が行われた明度成分画像と、S505において彩度対比補正処理が行われた色成分画像とを統合(合成)する。本実施形態では、明度・色統合部206は、明度対比補正処理が行われた明度成分画像(I画像)と、彩度対比補正処理が行われた色成分画像(Ct画像、Cp画像)とをICtCp画像として統合する。そして、明度・色統合部206は、統合したICtCp画像をRGB画像又はYUV画像に変換する。
以上の処理により、入力されたHDR画像から、対比の影響度合いの分布を示す対比影響情報を生成し、対比補正が行われた(対比の影響が軽減又は拡大された)HDR画像(補正画像)を生成することができる。
なお、上の説明では、S501においてHDR画像から分離した明度成分画像と色成分画像の両方に対して対比補正処理を行うものとした。しかしながら、明度成分画像と色成分画像のどちらか一方に対してのみ対比補正処理を行ってもよい。例えば、明度成分画像に対して対比補正処理を行い、色成分画像に対して対比補正処理を行わない場合を考える。この場合、S503及びS505の処理は省略され、S506では、S504において明度対比補正処理が行われた明度成分画像と、S501において分離された色成分画像とを統合する処理が行われる。
次に、図3及び図6を参照して、図5のS502の処理(明度対比影響情報を生成する処理)の詳細について説明する。前述した通り、本実施形態では明度対比影響情報の例として明度対比影響マップを用いる。
図3は、明度対比影響情報生成部202の詳細な構成を示すブロック図である。明度対比影響情報生成部202は、第1のフィルタ処理部301、第2のフィルタ処理部302、第3のフィルタ処理部303、及び合成部304を含む。第1のフィルタ処理部301、第2のフィルタ処理部302、及び第3のフィルタ処理部303には、明度・色分離部201から明度成分画像が入力される。合成部304からは、明度対比影響マップが明度対比補正部204へと出力される。
図6は、図5のS502の処理(明度対比影響情報生成部202が実行する処理)の詳細を示すフローチャートである。
S601で、第1のフィルタ処理部301は、明度・色分離部201から入力された明度成分画像に対して、第1の周波数帯域で第1のフィルタ処理を行う。第1のフィルタ処理の詳細については後述する。
S602で、第2のフィルタ処理部302は、明度・色分離部201から入力された明度成分画像に対して、第1の周波数帯域とは異なる第2の周波数帯域で第2のフィルタ処理を行う。第2のフィルタ処理の詳細については後述する。
S603で、第3のフィルタ処理部303は、明度・色分離部201から入力された明度成分画像に対して、第1の周波数帯域及び第2の周波数帯域とは異なる第3の周波数帯域で第3のフィルタ処理を行う。第3のフィルタ処理の詳細については後述する。
S604で、合成部304は、第1のフィルタ処理、第2のフィルタ処理、及び第3のフィルタ処理の結果を合成する。座標(x,y)における第1のフィルタ処理の結果の信号値をF(x,y)、第2のフィルタ処理の結果の信号値をF(x,y)、第3のフィルタ処理の結果の信号値をF(x,y)とすると、合成処理後の座標(x,y)における信号値Map_I(x,y)は、下記の式3に従って算出される。

Map_I(x,y)=Max[F(x,y),F(x,y),F(x,y)]
…(3)
なお、式3の例では複数のフィルタ処理結果のうちの最大値が合成処理後の信号値として選択されるが、下記の式4のように複数のフィルタ処理結果の平均値を算出することにより合成処理後の信号値を生成する構成を採用してもよい。

Map_I(x,y)=(F(x,y)+F(x,y)+F(x,y))÷3
…(4)
以上の処理により、明度対比影響マップが生成される。
なお、図3及び図6の例では、3つの異なる周波数帯域でフィルタ処理を行っているが、周波数帯域の数は3に限定されず、2以上(複数)であれば任意の数でよい。換言すると、明度対比影響情報生成部202(第1のフィルタ手段)は、明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する。明度対比影響情報生成部202は、周波数帯域の数に応じた数のフィルタ処理部を持つように構成され、合成部304は、明度対比影響情報生成部202が持つ複数のフィルタ処理部からの複数の明度用のフィルタ処理結果を合成する。
次に、図4及び図7を参照して、図5のS503の処理(彩度対比影響情報を生成する処理)の詳細について説明する。前述した通り、本実施形態では彩度対比影響情報の例として彩度対比影響マップを用いる。彩度対比影響情報を生成する処理は、入力された色成分画像に直接フィルタ処理を行うのではなく、入力された色成分画像から彩度成分画像を生成し、生成された彩度成分画像に対してフィルタ処理を行う点で、明度対比影響情報を生成する処理と異なる。
図4は、彩度対比影響情報生成部203の詳細な構成を示すブロック図である。彩度対比影響情報生成部203は、彩度信号生成部401、第1のフィルタ処理部402、第2のフィルタ処理部403、第3のフィルタ処理部404、及び合成部405を含む。彩度信号生成部401には、明度・色分離部201から色成分画像が入力される。合成部405からは、彩度対比影響マップが彩度対比補正部205へと出力される。
図7は、図5のS503の処理(彩度対比影響情報生成部203が実行する処理)の詳細を示すフローチャートである。
S701で、彩度信号生成部401は、入力された色成分画像から彩度成分画像を生成する。本実施形態では、色成分画像としてCt,Cp画像が使用されている。Ct,Cp画像の座標(x,y)における信号値をCt(x,y),Cp(x,y)とすると、彩度成分画像の座標(x,y)における信号値S(x,y)は、下記の式5に従って算出される。
Figure 0007507554000002
S702で、第1のフィルタ処理部402は、彩度信号生成部401から入力された彩度成分画像に対して、第1の周波数帯域で第1のフィルタ処理を行う。S702における第1のフィルタ処理はS601における第1のフィルタ処理と同様であるが、S702における第1の周波数帯域は、S601における第1の周波数帯域と同じであってもよいし、異なっていてもよい。
S703で、第2のフィルタ処理部403は、彩度信号生成部401から入力された彩度成分画像に対して、第1の周波数帯域とは異なる第2の周波数帯域で第2のフィルタ処理を行う。S703における第2のフィルタ処理はS602における第2のフィルタ処理と同様であるが、S703における第2の周波数帯域は、S602における第2の周波数帯域と同じであってもよいし、異なっていてもよい。
S704で、第3のフィルタ処理部404は、彩度信号生成部401から入力された彩度成分画像に対して、第1の周波数帯域及び第2の周波数帯域とは異なる第3の周波数帯域で第3のフィルタ処理を行う。S704における第3のフィルタ処理はS603における第3のフィルタ処理と同様であるが、S704における第3の周波数帯域は、S603における第3の周波数帯域と同じであってもよいし、異なっていてもよい。
S705で、合成部405は、第1のフィルタ処理、第2のフィルタ処理、及び第3のフィルタ処理の結果を合成する。ここでの合成方法は、S604における合成方法と同様である。
以上の処理により、彩度対比影響マップが生成される。
なお、図4及び図7の例では、3つの異なる周波数帯域でフィルタ処理を行っているが、周波数帯域の数は3に限定されず、2以上(複数)であれば任意の数でよい。換言すると、彩度対比影響情報生成部203(第2のフィルタ手段)は、彩度成分画像に対して、周波数帯域が異なる複数の彩度用のフィルタを個別に適用することにより、複数の彩度用のフィルタ処理結果を生成する。彩度対比影響情報生成部203は、周波数帯域の数に応じた数のフィルタ処理部を持つように構成され、合成部405は、彩度対比影響情報生成部203が持つ複数のフィルタ処理部からの複数の彩度用のフィルタ処理結果を合成する。
次に、図9及び図10を参照して、図6のS601~S603及び図7のS702~S704におけるフィルタ処理の詳細について説明する。前述の通り、図7のS702~S704におけるフィルタ処理は、図6のS601~S603におけるフィルタ処理と同様であり、いずれのフィルタ処理においても、人間のコントラスト検出に関する視覚特性に基づく空間フィルタが用いられる。但し、前述の通り、図7のS702~S704におけるフィルタの周波数帯域は、図6のS601~S603におけるフィルタの周波数帯域と必ずしも同一ではない。
図9(a)は、人間の視覚特性のうちコントラスト検出の特性に基づいたガウシアンの2次微分関数を利用したフィルタを1次元で表した図である。前記フィルタは、中心領域と周辺領域の差分をとるようなメキシカンハット型となっている。入力画像の対象画素(x,y)に対する前記フィルタ結果をGf(x,y)で表すと、式6のようになる。
Figure 0007507554000003
式6において、rijはフィルタの対象画素(x,y)から座標(i,j)までの距離、σはフィルタのパラメータ、wijは座標(i,j)におけるフィルタの重み、pix(i,j)は入力画像の座標(i,j)の信号値である。kはフィルタの識別番号であり、フィルタの数がn個ある場合は、k=0,1,2,…,n-1で示す。
σは、検出する周波数帯域によって変化する。3つの異なる周波数帯域で検出した時の式6のフィルタの形状を1次元で表すと、図9(b)のようになる。フィルタは、σの値が大きくなるほど低周波の帯域で検出する特性を持ち、小さい値から大きい値に向かって、図9(b)のフィルタ901、フィルタ902、フィルタ903のような形状に変化する。
本実施形態では、式6のフィルタを用いて下記の式7のような演算を行うことで、フィルタ処理結果の信号値F(x,y)が生成される。

(x,y)=-1×(Gf(x,y)-pix(x,y))×gain
…(7)

式7において、pix(x,y)は入力画像の座標(x,y)の信号値である。gainは、検出する周波数帯域に応じたゲインであり、gainの算出方法については後述する。
また、フィルタ処理結果を差分値ではなく比率で表現する場合は、下記の式8のような演算を行うことで、フィルタ処理結果を生成することができる。
Figure 0007507554000004
本実施形態では、明度対比影響マップの生成に式7を用い、彩度対比影響マップの生成に式8を用いる。明度対比影響マップを生成する場合は、pix(x,y)として明度成分信号値I(x,y)を用い、彩度対比影響マップを生成する場合は、pix(x,y)として彩度成分信号値S(x,y)を用いる。
なお、明度対比影響マップを生成する場合に、pix(x,y)として明度成分信号値I(x,y)をそのまま用いる代わりに、式9に示すようにST2084記載のモニタガンマ(EOTF)によって明度成分信号値I(x,y)をリニアに変換した信号をpix(x,y)として用いてもよい。
Figure 0007507554000005
式9において、p_outは、明度成分信号値I(x,y)を0.0~1.0に正規化した信号であり、1.0は出力ビット数に応じた上限値、0.0は出力ビット数に応じた下限値に対応する。例えば、出力ビット数が10ビットである場合、上限値は1023、下限値は0である。p_inは、明度成分信号値I(x,y)をリニアに変換した信号であり、0.0~1.0に正規化されている。変換信号を10ビットで表現する場合には、0.0を0として扱い、1.0を1023として扱う。
図9(c)は、前述した図9(b)に示すような3つの異なる周波数帯域で入力画像に対してフィルタ処理を行った結果の概念図である。第1のフィルタ処理結果が905は、入力画像904に対して第1の周波数帯域に対応するフィルタ901を用いてフィルタ処理を行った結果を示す。第2のフィルタ処理結果906は、入力画像904に対して第2の周波数帯域に対応するフィルタ902を用いてフィルタ処理を行った結果を示す。第3のフィルタ処理結果907は、入力画像904に対して第3の周波数帯域に対応するフィルタ903を用いてフィルタ処理を行った結果を示す。フィルタ901のような高周波帯域では、人物と背景の境界に近い部分の対比の影響の検出が可能となり、フィルタ903の様な低周波帯域では、人物の顔の中まで検出が可能となる。前述のガウシアンの2次微分関数を利用したフィルタを用いて、入力画像に対して複数の周波数帯域でフィルタ処理を行うことで、大きさの異なる被写体の対比の影響を検出することが可能となっている。
続いて、前述の式7及び式8で用いる周波数帯域に応じたゲインgainの算出方法について詳細に説明を行う。最初に、ゲインgainの算出方法の説明に必要なパラメータについて説明を行う。
図10(a)は、前述のガウシアンの2次微分関数を利用したフィルタを領域分割した図である。符号1001で示しているフィルタの正の領域に相当する範囲をフィルタの中心領域、符号1002で示しているフィルタの負の領域に相当する範囲をフィルタの周辺領域とする。中心領域1001及び周辺領域1002に相当する範囲の輝度の平均値を、それぞれフィルタの中心輝度x、フィルタの周辺輝度yとし、中心領域1001の範囲の大きさをzとする。
本実施形態では、周波数帯域に応じたゲインgainを、フィルタの中心輝度x、周辺輝度y、及び中心領域の大きさzに基づくゲインf_gain(x,y,z)とし、式10のように表現する。

gain=f_gain(x,y,z) …(10)

以下、ゲインf_gain(x,y,z)について説明を行う。
ゲインf_gain(x,y,z)は、フィルタの中心輝度x、周辺輝度y、及びフィルタの中心領域の大きさzの3つのパラメータを与えると1つのゲインが決まるような、予め決められたテーブルである。図10(b)は、1つのパラメータを変化させ、他の2つのパラメータを固定とした時のゲインgainを表した図である。テーブルは、フィルタの中心輝度xが高くなるほどゲインが小さくなり、フィルタの周辺輝度yが高くなるほどゲインが大きくなり、フィルタの中心領域の大きさzが大きくなるほどゲインが小さくなるような性質を持つ。このように、テーブルf_gain(x,y,z)は、対比の影響に基づいてゲインが変化するテーブルとなっている。
なお、上の説明では、周波数帯域に応じたゲインgainをf_gain(x,y,z)と規定しているが、他の方法によりgainを規定してもよい。例えば、下記の式11のような、シーンに基づいて主被写体の対比の影響を優先して補正するゲインscn_gain(z/M)を用いてゲインgainを規定してもよい。
Figure 0007507554000006
式11において、Mは主被写体の大きさ、zはフィルタの中心領域の大きさである。主被写体の大きさMは、被写体領域の検出結果のサイズ(顔検出結果の枠サイズ等)である。
図10(c)は、主被写体の大きさMに対するフィルタの中心領域の大きさzの比率を横軸とした時の、scn_gain(z/M)を表した図である。scn_gain(z/M)の算出は、図10(c)のように予め決められたテーブルを用いて行うことができる。主被写体の大きさMよりフィルタの中心領域の大きさzが小さいフィルタによって対比の影響を補正すると、主被写体の内部の陰影等も補正してしまう特徴がある。そのため、主被写体の大きさMに対するフィルタの中心領域の大きさzの比率が小さい場合はscn_gain(z/M)を小さくすることで、主被写体の陰影を残すことができるようなゲインを得ることができる。
なお、上の説明では、ゲインgainの算出方法について、明度対比影響マップの生成時に用いるゲインの算出方法を説明しているが、彩度対比影響マップの生成時も、明度対比影響マップの生成時と同じゲインを用いることができる。或いは、上の説明における中心輝度及び周辺輝度の部分を中心彩度及び周辺彩度と読み替えることにより、彩度対比影響マップの生成時に用いるゲインを別途算出してもよい。
本実施形態におけるゲインgainの算出方法についてここまで説明を行ってきたが、gainの算出方法は上で説明した方法に限定されない。例えば、ゲインとして固定値を用いてもよい。
以上説明したように、第1の実施形態によれば、撮像装置100は、HDR画像における明度成分の分布を示す明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する。複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである。そして、撮像装置100は、複数の明度用のフィルタ処理結果を合成することにより、HDR画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する。
また、撮像装置100は、HDR画像における彩度成分の分布を示す彩度成分画像に対して、周波数帯域が異なる複数の彩度用のフィルタを個別に適用することにより、複数の彩度用のフィルタ処理結果を生成する。複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである。そして、撮像装置100は、複数の彩度用のフィルタ処理結果を合成することにより、HDR画像における彩度対比の影響度合いの分布を示す彩度対比影響情報を生成する。
これにより、画像における対比の影響度合いの分布を示す情報を生成することが可能となる。
[第2の実施形態]
第2の実施形態では、HDR画像から生成された対比影響情報に基づいて、HDR画像から変換されたSDR画像に対して対比の影響を補正する処理を行う構成について説明する。本実施形態において、撮像装置100の基本的な構成は第1の実施形態と同様である。以下、主に第1の実施形態と異なる点について説明する。
図11は、第2の実施形態に係る画像処理部104において対比補正処理に関与する部分の詳細な構成を示すブロック図である。画像処理部104は、明度・色分離部1101、HDR/SDR変換部1102、明度対比影響情報生成部1103、及び彩度対比影響情報生成部1104を含む。画像処理部104はまた、明度・色分離部1105、明度対比補正部1106、彩度対比補正部1107、及び明度・色統合部1108を含む。
明度・色分離部1101には、画像処理部104の通常の信号処理によって現像されたHDR画像が入力され、対比補正処理が行われたSDR画像が明度・色統合部1108から出力される。入力されるHDR画像は、例えば、撮像部102により撮像されたRAW画像を画像処理部104が現像することにより生成されたHDR画像である。現像は、例えば、ST2084のガンマ(PQガンマ)とRec.2020の色空間とを用いて行われる。出力されるSDR画像は、例えばsRGBガンマとsRGB色域とを用いて現像された画像である。また、入力画像及び出力画像は、RGB又はYUVで構成される。
なお、第1の実施形態と同様、入力画像はHDR画像に限定されない。また、出力画像はSDR画像に限定されず、入力画像よりも明度成分及び色成分のダイナミックレンジが小さい画像であれば、任意の形式の画像でよい。
図13は、第2の実施形態に係る画像処理部104が実行する対比補正処理のフローチャートである。処理対象のHDR画像が明度・色分離部1101に入力されると、本フローチャートの処理が開始する。なお、特に断らない限り、システム制御部106は、ROM(不図示)に格納された制御プログラムに従って画像処理部104の各部を含む撮像装置100の各部を必要に応じて制御することにより、対比補正処理の制御を行う。
S1301~S1303で、明度・色分離部1101、明度対比影響情報生成部1103、及び彩度対比影響情報生成部1104は、図5のS501~S503と同様の処理を行う。
S1304で、HDR/SDR変換部1102は、HDR画像をSDR画像に変換する処理(HDR画像からSDR画像を生成する画像生成処理)を行う。S1304の処理の詳細については後述する。
S1305で、明度・色分離部1105は、S1304において生成されたSDR画像を明度成分画像と色成分画像とに分離する。分離方法の詳細については、図5のS501及び図13のS1301と同様である。
S1306で、明度対比補正部1106は、S1302において生成された明度対比影響マップに基づいて、S1305においてSDR画像から分離した明度成分画像に対して明度対比補正処理を行う。本実施形態における明度対比補正処理は、第1の実施形態における図5のS504とは異なる。明度成分画像の座標(x,y)における信号値をI(x,y)、明度対比影響マップの座標(x,y)における信号値をMap_I(x,y)とすると、本実施形態における明度対比補正処理後の明度成分画像の座標(x,y)における信号値I’(x,y)は、式12により表される。

I’(x,y)=I(x,y)-Map_I(x,y) …(12)

前述した通り、明度対比影響マップは明度対比の影響で暗く見える部分程、信号値が高い。そのため、明度成分画像の信号値から明度対比影響マップの信号値を減算することで、HDR画像からSDR画像への変換に起因してHDR画像と比べて明度対比によるコントラスト感が薄れて見える部分に対して、コントラストを加えることが可能となる。
なお、明度対比の影響を補正する処理は、明度対比の影響を拡大する処理に限定されない。例えば、式12において明度対比影響マップの信号値を減算する代わりに加算することで、明度対比の影響を軽減するように補正を行ってもよい。このように、SDR画像に対しても、第1の実施形態と同様に明度対比の影響を軽減するように補正を行ってもよい。
S1307で、彩度対比補正部1107は、S1303において生成された彩度対比影響マップに基づいて、S1305においてSDR画像から分離した色成分画像に対して彩度対比補正処理を行う。本実施形態における彩度対比補正処理は、第1の実施形態における図5のS505とは異なる。色成分画像の座標(x,y)における信号値をCt(x,y),Cp(x,y)、彩度対比影響マップの座標(x,y)における信号値をMap_CtCp(x,y)とすると、本実施形態における彩度対比補正処理後の色成分画像の座標(x,y)における信号値Ct’(x,y),Cp’(x,y)は、式13により表される。
Figure 0007507554000007
前述した通り、彩度対比影響マップは、彩度対比の影響でくすんで見える部分程、信号値が高い。そのため、色成分画像の信号値に対して彩度対比影響マップの信号値を乗算することで、HDR画像からSDR画像への変換に起因してHDR画像と比べて彩度対比による彩度感が薄れて見える部分に対して、彩度を強調することが可能となる。
なお、彩度対比の影響を補正する処理は、彩度対比の影響を拡大する処理に限定されない。例えば、式13において彩度対比影響マップの信号値による除算を行う代わりに乗算を行うことで、彩度対比の影響を軽減するように補正を行ってもよい。このように、SDR画像に対しても、第1の実施形態と同様に彩度対比の影響を軽減する補正を行ってもよい。
S1308で、明度・色統合部1108は、S1106において明度対比補正処理が行われた明度成分画像と、S1107において彩度対比補正処理が行われた色成分画像とを統合(合成)する。統合方法の詳細については、図5のS506と同様である。
以上の処理により、入力されたHDR画像から、対比の影響度合いの分布を示す対比影響情報を生成し、対比補正が行われた(対比の影響が拡大又は軽減された)SDR画像(補正画像)を生成することができる。
なお、上の説明では、S1305においてSDR画像から分離した明度成分画像と色成分画像の両方に対して対比補正処理を行うものとした。しかしながら、明度成分画像と色成分画像のどちらか一方に対してのみ対比補正処理を行ってもよい。例えば、明度成分画像に対して対比補正処理を行い、色成分画像に対して対比補正処理を行わない場合を考える。この場合、S1303及びS1307の処理は省略され、S1308では、S1306において明度対比補正処理が行われた明度成分画像と、S1305において分離された色成分画像とを統合する処理が行われる。
次に、図12及び図14を参照して、図13のS1304の処理(HDR画像をSDR画像に変換する処理)の詳細について説明する。
図12は、HDR/SDR変換部1102の詳細な構成を示すブロック図である。HDR/SDR変換部1102は、ガンマ変換部1201、ローカルトーンマッピング処理部1202、及び色域変換部1203を含む。入力画像は、ガンマはST2084記載のPQガンマ、色空間はRec.2020で現像されたHDR画像であり、出力画像は、ガンマはsRGBガンマ、色空間はsRGB色域で現像されたSDR画像である。
図14は、図13のS1304の処理(HDR画像をSDR画像に変換する処理)の詳細を示すフローチャートである。
S1401で、ガンマ変換部1201は、入力されたHDR画像に対し、SDR画像に対応するガンマ変換を行う。ガンマ変換とは、HDR画像で適用されているガンマをリニア空間に戻して、SDR画像に適用すべきガンマに変換する処理を指す。
最初に、ガンマ変換部1201は、HDR画像で適用されているガンマをリニア空間に戻すために、HDR画像に適用されているガンマの逆特性であるモニタガンマ(EOTF)を適用する。本実施形態では、前述の式9に記載されている様なST2084記載のモニタガンマ(EOTF)が適用される。前述の式9のp_outは、HDR画像の出力信号を0.0~1.0に正規化したR,G,Bの信号であり、1.0は出力ビット数に応じた上限値、0.0は下限値に対応する。例えば、出力ビット数が10ビットである場合は、上限値は1023、下限値は0である。p_inは、HDR画像をリニア空間に戻した入力信号を0.0~1.0に正規化したR,G,Bの信号であり、0.0が0cd/m、1.0が10000cd/mの輝度値を示す。
次に、ガンマ変換部1201は、リニア空間に戻した信号値に対してSDRのガンマ(OETF)を適用する。前述の式9で算出したp_inは、0.0が0cd/m、1.0が10000cd/mに対応している。p_inに後述の式15のSDRのガンマを適用するため、下記の式14のように、p_inを0.0が0cd/m、1.0が100cd/mに対応するように正規化し直す必要がある。p_in’は正規化し直した信号値を指す。

p_in’=100×p_in …(14)
式14によって正規化し直した信号値p_in’を後述の式15のp_inとして適用することでガンマ変換を実現できる。p_inは、リニアである入力信号を0.0~1.0に正規化したR,G,Bの信号であり、0.0が0cd/m、1.0が100cd/mの輝度値を示す。p_outは出力信号を0.0~1.0に正規化したR,G,Bの信号であり、1.0は出力ビット数に応じた上限値、0.0は下限値に対応する。例えば、出力ビット数が10ビットである場合は、上限値は1023、下限値は0に対応する。
Figure 0007507554000008
図15は、ガンマ変換をリニア空間で表現した図である。横軸は、入力のリニア信号、縦軸は、出力のリニア信号に対応する。点線で示した特性1501は、HDR画像の入出力特性、実線で示した特性1502は、ガンマ変換後のSDR画像の入出力特性を指す。図15のように、ガンマ変換後のSDR画像の入出力特性は、HDR画像の入出力特性を線形に押し込めた形となる。
S1402で、ローカルトーンマッピング処理部1202は、S1401においてガンマ変換を行った画像に対し、ローカルトーンマッピング処理を行う。ローカルトーンマッピング処理によって、暗部や明部の明るさを変化させつつ、階調圧縮等が起きる輝度域に対し、コントラストを高める処理を実施する。ローカルトーンマッピングの処理には、異なる周波数帯域の画像や領域の判別結果を用いて、局所的に階調特性が変化するようなゲインマップを生成し、生成したゲインマップを参照しながら階調処理を実施するような、一般的な手法を用いる。
図16を参照して、S1402のローカルトーンマッピング処理の一例について説明を行う。図16は、ローカルトーンマッピングで使用する階調特性の一例を表している。入力信号は、S1401でSDRガンマに変換された信号、出力信号は、ローカルトーンマッピングで処理した時に目標となる出力信号である。入力されたHDR画像に対してSDR画像に対応するガンマ変換が行われた信号は、前述の図15を用いた説明の通り、広いダイナミックレンジの信号をSDRのレンジに収めているため、HDR画像で表現されていた明るさに比べて一律に暗くなる。そのため、図16の階調特性1602のように、元の階調特性1601に対し、低輝度から中輝度を明るく補正する特性を作成する。図16での階調特性をy=tm(x)とすると、ガンマ変換後の画像信号をpとし、ガンマ変換後の画像信号に対しLPF処理などで生成した低周波画像をp_lpfとすると、ローカルトーンマッピングによる出力信号p_outは式16で表される。
Figure 0007507554000009
S1403で、色域変換部1203は、S1401において入力されたHDR画像のRec.2020色域からSDR画像のsRGB色域に変換する処理を行う。この処理については、単純なマトリクス変換による処理でもよいし、ルックアップテーブルを用いた色域マッピング処理でもよい。
以上の処理により、HDR画像がSDR画像に変換される。
以上説明したように、第2の実施形態によれば、撮像装置100は、HDR画像から生成された対比影響情報に基づいて、HDR画像から変換されたSDR画像に対して対比の影響を補正する処理を行う。これにより、HDR画像からSDR画像への変換に起因してHDR画像と比べて対比の影響が薄れて見える部分に対して、対比の影響を拡大したり、更に軽減したりすることが可能となる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100…撮像装置、104…画像処理部、106…システム制御部、201…明度・色分離部、202…明度対比影響情報生成部、203…彩度対比影響情報生成部、204…明度対比補正部、205…彩度対比補正部、206…明度・色統合部

Claims (25)

  1. 第1の画像における明度成分の分布を示す第1の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第1のフィルタ手段であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第1のフィルタ手段と、
    前記複数の明度用のフィルタ処理結果を合成することにより、前記第1の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第1の合成手段と、
    前記明度対比影響情報に基づいて前記第1の明度成分画像を補正する第1の補正手段と、
    前記補正された前記第1の明度成分画像と、前記第1の画像における色成分の分布を示す第1の色成分画像とを合成することにより、明度対比の影響が補正された第1の補正画像を生成する第1の生成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記第1の補正手段は、前記補正された前記第1の明度成分画像を含む前記第1の補正画像における明度対比の影響が軽減されるように、前記第1の明度成分画像を補正する
    ことを特徴とする請求項に記載の画像処理装置。
  3. ICtCp色空間又はLab色空間において、前記第1の画像から前記第1の明度成分画像及び前記第1の色成分画像を取得する取得手段を更に備える
    ことを特徴とする請求項又はに記載の画像処理装置。
  4. 前記複数の明度用のフィルタは、ガウシアンの2次微分関数を利用したフィルタである
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  5. 前記第1のフィルタ手段は、前記第1の明度成分画像のガンマをリニアに変換した後に、前記複数の明度用のフィルタを個別に適用する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  6. 前記第1のフィルタ手段は、前記第1の明度成分画像を縮小した後に、前記複数の明度用のフィルタを個別に適用する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  7. 前記第1の明度成分画像に対して前記複数の明度用のフィルタを個別に適用することは、対応する明度用のフィルタの周波数帯域に応じたゲインを適用することを含む
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  8. 前記第1の合成手段は、前記第1の画像の各位置における明度対比の影響度合いを示す値として、前記複数の明度用のフィルタ処理結果の対応する位置における最大値を割り当てることにより、前記第1の画像における明度対比の影響度合いの分布を示す前記明度対比影響情報を生成する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  9. 前記第1の合成手段は、前記第1の画像の各位置における明度対比の影響度合いを示す値として、前記複数の明度用のフィルタ処理結果の対応する位置における平均値を割り当てることにより、前記第1の画像における明度対比の影響度合いの分布を示す前記明度対比影響情報を生成する
    ことを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  10. 第1の画像における明度成分の分布を示す第1の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第1のフィルタ手段であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第1のフィルタ手段と、
    前記複数の明度用のフィルタ処理結果を合成することにより、前記第1の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第1の合成手段と、
    前記第1の画像における色成分の分布を示す第1の色成分画像に対して、周波数帯域が異なる複数の色用のフィルタを個別に適用することにより、複数の色用のフィルタ処理結果を生成する第2のフィルタ手段であって、前記複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第2のフィルタ手段と、
    前記複数の色用のフィルタ処理結果を合成することにより、前記第1の画像における色対比の影響度合いの分布を示す色対比影響情報を生成する第2の合成手段と、
    前記明度対比影響情報に基づいて前記第1の明度成分画像を補正する第1の補正手段と、
    前記色対比影響情報に基づいて前記第1の色成分画像を補正する第2の補正手段と、
    前記補正された前記第1の明度成分画像と、前記補正された前記第1の色成分画像とを合成することにより、明度対比の影響及び色対比の影響が補正された第1の補正画像を生成する第1の生成手段と、
    を備えることを特徴とする画像処理装置。
  11. 前記第1の補正手段は、前記補正された前記第1の明度成分画像を含む前記第1の補正画像における明度対比の影響を軽減するように、前記第1の明度成分画像を補正し、
    前記第2の補正手段は、前記補正された前記第1の色成分画像を含む前記第1の補正画像における色対比の影響を軽減するように、前記第1の色成分画像を補正する
    ことを特徴とする請求項10に記載の画像処理装置。
  12. 前記第1の画像から、前記第1の画像よりも明度成分のダイナミックレンジが小さい第2の画像を生成する画像生成手段と、
    前記明度対比影響情報に基づいて、前記第2の画像における明度成分の分布を示す第2の明度成分画像を補正する第3の補正手段と、
    前記補正された前記第2の明度成分画像と、前記第2の画像における色成分の分布を示す第2の色成分画像とを合成することにより、明度対比の影響が補正された第2の補正画像を生成する第2の生成手段と、
    を更に備えることを特徴とする請求項1乃至のいずれか1項に記載の画像処理装置。
  13. 前記第3の補正手段は、前記補正された前記第2の明度成分画像を含む前記第2の補正画像における明度対比の影響を拡大するように、前記第2の明度成分画像を補正する
    ことを特徴とする請求項12に記載の画像処理装置。
  14. 前記第1の画像から、前記第1の画像よりも明度成分及び色成分のダイナミックレンジが小さい第2の画像を生成する画像生成手段と、
    前記明度対比影響情報に基づいて、前記第2の画像における明度成分の分布を示す第2の明度成分画像を補正する第3の補正手段と、
    前記色対比影響情報に基づいて、前記第2の画像における色成分の分布を示す第2の色成分画像を補正する第4の補正手段と、
    前記補正された前記第2の明度成分画像と、前記補正された前記第2の色成分画像とを合成することにより、明度対比の影響及び色対比の影響が補正された第2の補正画像を生成する第2の生成手段と、
    を更に備えることを特徴とする請求項10又は11に記載の画像処理装置。
  15. 前記第3の補正手段は、前記補正された前記第2の明度成分画像を含む前記第2の補正画像における明度対比の影響を拡大するように、前記第2の明度成分画像を補正し
    前記第4の補正手段は、前記補正された前記第2の色成分画像を含む前記第2の補正画像における色対比の影響を拡大するように、前記第2の色成分画像を補正する
    ことを特徴とする請求項14に記載の画像処理装置。
  16. 請求項1乃至15のいずれか1項に記載の画像処理装置と、
    前記第1の画像を生成する撮像手段と、
    を備えることを特徴とする撮像装置。
  17. 画像における色成分の分布を示す色成分画像に対して、周波数帯域が異なる複数の色用のフィルタを個別に適用することにより、複数の色用のフィルタ処理結果を生成するフィルタ手段であって、前記複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、フィルタ手段と、
    前記複数の色用のフィルタ処理結果を合成することにより、前記画像における色対比の影響度合いの分布を示す色対比影響情報を生成する合成手段と、
    前記色対比影響情報に基づいて前記色成分画像を補正する補正手段と、
    を備えることを特徴とする画像処理装置。
  18. 画像における彩度成分の分布を示す彩度成分画像に対して、周波数帯域が異なる複数の彩度用のフィルタを個別に適用することにより、複数の彩度用のフィルタ処理結果を生成するフィルタ手段であって、前記複数の彩度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、フィルタ手段と、
    前記複数の彩度用のフィルタ処理結果を合成することにより、前記画像における彩度対比の影響度合いの分布を示す彩度対比影響情報を生成する合成手段と、
    前記彩度対比影響情報に基づいて前記彩度成分画像を補正する補正手段と、
    を備えることを特徴とする画像処理装置。
  19. 画像処理装置が実行する画像処理方法であって、
    第1の画像における明度成分の分布を示す第1の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第1のフィルタ工程であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第1のフィルタ工程と、
    前記複数の明度用のフィルタ処理結果を合成することにより、前記第1の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第1の合成工程と、
    前記明度対比影響情報に基づいて前記第1の明度成分画像を補正する第1の補正工程と、
    前記補正された前記第1の明度成分画像と、前記第1の画像における色成分の分布を示す第1の色成分画像とを合成することにより、明度対比の影響が補正された第1の補正画像を生成する第1の生成工程と、
    を備えることを特徴とする画像処理方法。
  20. 画像処理装置が実行する画像処理方法であって、
    第1の画像における明度成分の分布を示す第1の明度成分画像に対して、周波数帯域が異なる複数の明度用のフィルタを個別に適用することにより、複数の明度用のフィルタ処理結果を生成する第1のフィルタ工程であって、前記複数の明度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第1のフィルタ工程と、
    前記複数の明度用のフィルタ処理結果を合成することにより、前記第1の画像における明度対比の影響度合いの分布を示す明度対比影響情報を生成する第1の合成工程と、
    前記第1の画像における色成分の分布を示す第1の色成分画像に対して、周波数帯域が異なる複数の色用のフィルタを個別に適用することにより、複数の色用のフィルタ処理結果を生成する第2のフィルタ工程であって、前記複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、第2のフィルタ工程と、
    前記複数の色用のフィルタ処理結果を合成することにより、前記第1の画像における色対比の影響度合いの分布を示す色対比影響情報を生成する第2の合成工程と、
    前記明度対比影響情報に基づいて前記第1の明度成分画像を補正する第1の補正工程と、
    前記色対比影響情報に基づいて前記第1の色成分画像を補正する第2の補正工程と、
    前記補正された前記第1の明度成分画像と、前記補正された前記第1の色成分画像とを合成することにより、明度対比の影響及び色対比の影響が補正された第1の補正画像を生成する第1の生成工程と、
    を備えることを特徴とする画像処理方法。
  21. 画像処理装置が実行する画像処理方法であって、
    画像における色成分の分布を示す色成分画像に対して、周波数帯域が異なる複数の色用のフィルタを個別に適用することにより、複数の色用のフィルタ処理結果を生成するフィルタ工程であって、前記複数の色用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、フィルタ工程と、
    前記複数の色用のフィルタ処理結果を合成することにより、前記画像における色対比の影響度合いの分布を示す色対比影響情報を生成する合成工程と、
    前記色対比影響情報に基づいて前記色成分画像を補正する補正工程と、
    を備えることを特徴とする画像処理方法。
  22. 画像処理装置が実行する画像処理方法であって、
    画像における彩度成分の分布を示す彩度成分画像に対して、周波数帯域が異なる複数の彩度用のフィルタを個別に適用することにより、複数の彩度用のフィルタ処理結果を生成するフィルタ工程であって、前記複数の彩度用のフィルタは、人間のコントラスト検出に関する視覚特性に基づく空間フィルタである、フィルタ工程と、
    前記複数の彩度用のフィルタ処理結果を合成することにより、前記画像における彩度対比の影響度合いの分布を示す彩度対比影響情報を生成する合成工程と、
    前記彩度対比影響情報に基づいて前記彩度成分画像を補正する補正工程と、
    を備えることを特徴とする画像処理方法。
  23. コンピュータを、請求項1乃至15のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
  24. コンピュータを、請求項17に記載の画像処理装置の各手段として機能させるためのプログラム。
  25. コンピュータを、請求項18に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2019209824A 2019-11-20 2019-11-20 画像処理装置、撮像装置、画像処理方法、及びプログラム Active JP7507554B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019209824A JP7507554B2 (ja) 2019-11-20 2019-11-20 画像処理装置、撮像装置、画像処理方法、及びプログラム
US17/099,612 US11647298B2 (en) 2019-11-20 2020-11-16 Image processing apparatus, image capturing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019209824A JP7507554B2 (ja) 2019-11-20 2019-11-20 画像処理装置、撮像装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021082069A JP2021082069A (ja) 2021-05-27
JP7507554B2 true JP7507554B2 (ja) 2024-06-28

Family

ID=75908300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019209824A Active JP7507554B2 (ja) 2019-11-20 2019-11-20 画像処理装置、撮像装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US11647298B2 (ja)
JP (1) JP7507554B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7318656B2 (ja) * 2018-10-04 2023-08-01 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039859A (ja) 2000-07-24 2002-02-06 Rikogaku Shinkokai 輝度の対比を定量する定量方法および定量装置、ならびに、コンピュータ読み取り可能な記録媒体
JP2012058849A (ja) 2010-09-06 2012-03-22 Iwasaki Electric Co Ltd 目立ち画像生成装置及び目立ち画像生成プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4016072B2 (ja) 2005-06-06 2007-12-05 国立大学法人東京工業大学 画像変換装置および画像変換プログラム
JP4435843B1 (ja) * 2008-09-10 2010-03-24 ミツミ電機株式会社 映像表示装置
KR20100101426A (ko) * 2009-03-09 2010-09-17 삼성전자주식회사 영상처리장치 및 그 제어 방법
JP5201038B2 (ja) * 2009-03-18 2013-06-05 株式会社Jvcケンウッド 映像信号処理方法及び映像信号処理装置
GB2488283B (en) * 2009-12-04 2015-10-21 Canon Kk Image Processing device
JP5136665B2 (ja) * 2010-07-21 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
JP7071084B2 (ja) 2017-10-10 2022-05-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN108646999B (zh) * 2018-05-04 2021-04-16 南京邮电大学 一种基于多频段亮度补偿的显示屏节能降耗方法
JP2021124638A (ja) * 2020-02-06 2021-08-30 キヤノン株式会社 表示制御装置、表示制御方法、プログラムおよび記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002039859A (ja) 2000-07-24 2002-02-06 Rikogaku Shinkokai 輝度の対比を定量する定量方法および定量装置、ならびに、コンピュータ読み取り可能な記録媒体
JP2012058849A (ja) 2010-09-06 2012-03-22 Iwasaki Electric Co Ltd 目立ち画像生成装置及び目立ち画像生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
福田雄太 他,局所的な明暗順応に基づいたHDR画像レンダリングとその評価 HDR Image Rendering based on Local Adaptation to Luminosity and Its Evaluation,映像情報メディア学会技術報告,日本,(社)映像情報メディア学会,2010年10月11日,第34巻第41号,p17-20

Also Published As

Publication number Publication date
US20210152727A1 (en) 2021-05-20
US11647298B2 (en) 2023-05-09
JP2021082069A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
JP6185453B2 (ja) シーン分類に基づく高ダイナミックレンジ画像処理のための最適アルゴリズムの自動選択
CN110378859B (zh) 一种新的高动态范围图像生成方法
EP2624204B1 (en) Image processing apparatus and method of controlling the same
JP4208909B2 (ja) 画像処理装置と撮影装置
EP1302898A2 (en) System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines
JP6478499B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP7104575B2 (ja) 画像処理装置、制御方法、及びプログラム
JP5457652B2 (ja) 画像処理装置およびその方法
JP7117915B2 (ja) 画像処理装置、制御方法、及びプログラム
US7130485B2 (en) Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
KR20120114899A (ko) 영상 처리 방법 및 영상 처리 장치
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
US11503215B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium that notify a user of a region in which tone characteristics can be restored
JP7507554B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP4479527B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP2020136928A (ja) 画像処理装置、画像処理方法、およびプログラム
KR20160001582A (ko) 화상 처리 장치 및 화상 처리 방법
JP2007151094A (ja) 画像の階調変換装置、プログラム、電子カメラ、およびその方法
JP4359662B2 (ja) カラー画像の露出補正方法
JP6543786B2 (ja) 画像処理装置および画像処理方法
JP7332325B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016170637A (ja) 画像処理装置および画像処理方法
JP2013127818A (ja) 画像処理装置及び画像処理方法
JP2011040952A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240618