JP7373299B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関し、特にハイダイナミックレンジ（ＨＤＲ）信号の取り扱い技術に関する。

発光素子（例えばＬＥＤ）の性能向上などにより、従来よりも輝度のダイナミックレンジが広いハイダイナミックレンジ（ＨＤＲ）画像をそのまま表示することができる表示装置が実現されている。このような表示装置では、ＨＤＲ画像の輝度ダイナミックレンジ（Ｄレンジ）を生かした表示が可能なため、従来のＤレンジ（ＳＤＲ）では表現できなかった高輝度域の色やディテールを有する画像をより忠実に表示することができる。

ＨＤＲではＳＤＲよりも白とびに対する耐性が高いとはいえ、白とびは発生しうる。白とびした領域は階調を復元することができないため、例えば撮影時にＨＤＲ表示においても白とびする領域が把握できることが望ましい。ＳＤＲの撮像機器では、閾値を超える輝度を有する画素に縞模様（ゼブラパターン）を重畳表示する技術（ゼブラ表示）が知られている（特許文献１）。

特開２０１４－１６７６０９号公報

しかしながら、絶対輝度方式のＨＤＲにおいては、ガンマカーブの形状によって出力可能な最大輝度が異なる場合がある。そのため、ＳＤＲにおけるゼブラ表示のように、固定閾値を超える輝度の画素を白とびする画素として抽出する方法では、適切な警告表示が実現できない場合がある。

本発明はこのような従来技術の課題に鑑みてなされたものであり、ＨＤＲ画像において表示輝度が高くなる領域を適切に把握することを可能にする画像処理装置およびその制御方法の提供を目的とする。

上述の目的は、画像処理装置であって、ＨＤＲ（ハイダイナミックレンジ）規格に従って生成されたＨＤＲ信号を取得する取得手段と、ＨＤＲ信号のピーク輝度を示す情報を特定する特定手段と、ＨＤＲ信号に対して閾値を適用して、ハイライト警告表示を行う領域を検出する検出手段と、検出手段が検出した領域について、ハイライト警告表示を行う表示制御手段と、を有し、ＨＤＲ規格は輝度を絶対値で扱う規格であり、ピーク輝度を示す情報は、画像処理装置に予め設定された異なる複数の出力ダイナミックレンジのうち、ＨＤＲ信号の撮影条件に応じた１つの出力ダイナミックレンジのピーク輝度を示す情報であり、検出手段は、ピーク輝度を示す情報に基づく閾値をＨＤＲ信号に対して適用することで、ハイライト警告表示を行う領域を検出する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、ＨＤＲ画像において表示輝度が高くなる領域を適切に把握することを可能にする画像処理装置およびその制御方法を提供することができる。

実施形態に係る画像処理装置の一例としてのデジタルカメラの断面図 図１のデジタルカメラの機能構成例を示すブロック図 図１の信号処理回路２５の動作を説明するための機能ブロック図 ＰＱ(Perceptual Quantization)のＥＯＴＦ特性と、撮影感度ごとの入出力特性例を示した図 出力ピーク輝度の異なる撮影モードと、対応するガンマカーブの例を示す図 実施形態におけるＨＤＲ信号のハイライト警告表示動作に関する機能ブロック図 実施形態におけるｍａｘＤＲＬの算出動作に関するフローチャート ＨＤＲ信号に対するハイライト警告表示に関する模式図 第３実施形態に係るハイライト警告閾値を算出するためのガンマカーブの例を示す図

●（第１実施形態）
以下、添付図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。なお、説明する実施形態は単なる例示であり、本発明の範囲を限定するものではない。例えば、以下では本発明をデジタルカメラに適用した実施形態を説明する。しかし、デジタルカメラは本発明を適用可能な画像処理装置の一例にすぎない。本発明は任意の電子機器において実施可能である。このような電子機器には、デジタルカメラやデジタルビデオカメラといった撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。

図１は実施形態に係るデジタルカメラ（以下、カメラ）１００の、主な光学部材やセンサ等の配置例を示す断面図である。カメラ１００はカメラ本体１と交換レンズ２を有する。ただし、本発明は撮像素子を用いたカメラ全般に適用可能であり、レンズ交換が可能か否か、ミラーボックスを有するか否かといった構造の差異や、カメラの用途には依存しない。本発明はスマートフォンに内蔵されたカメラや、医療機器、産業機器、自動車などに用いられるカメラにも適用可能である。カメラ本体１において撮像素子１０は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、複数の画素（光電変換素子）が配列されている。撮像素子１０にはまた、画素から得られる信号を処理する増幅回路などの周辺回路が設けられている。撮像素子１０の前方近傍に設けられていたメカニカルシャッタ１１は、撮像素子１０の露出タイミングおよび露出時間を制御する。

主ミラー３と、主ミラー３の背面に配置された第１の反射ミラー７は、撮影時には交換レンズ２から撮像素子１０に向かう光を遮らないように上方に移動する。主ミラー３の少なくとも一部はハーフミラーであり、第１の反射ミラー７は主ミラー３の透過光を反射する。第２の反射ミラー８は、第１の反射ミラー７が反射した光をさらに反射し、焦点検出用センサ（ＡＦセンサ）９に入射させる。ＡＦセンサ９は例えば画素数が撮像素子１０よりも少ない撮像素子であってよい。

第１の反射ミラー７、第２の反射ミラー８およびＡＦセンサ９は、撮影画面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。測光用センサ（ＡＥセンサ）６はペンタプリズム４および第３の反射ミラー５で反射された撮影画面の像を受光する。ＡＥセンサ６は受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。受光部の分割数に制限はなく、分割数が動的に変更されてもよい。

ペンタプリズム４によってファインダー光学系が構成される。ペンタプリズム４で反射された被写体像はアイピースから観察可能である。ＡＥセンサ６には主ミラー３によって反射され、ピント板１２によって拡散された光の一部が入射する。交換レンズ２はカメラ本体１に設けられたレンズマウントの接点を通じて電気的に接続され、カメラ本体１から電源の供給を受けたり、カメラ本体１と通信したりする。なお、ライブビュー表示および動画記録時には主ミラー３が上方に移動した状態のため、ＡＥセンサ６やＡＦセンサ９は使用できない。そのため、撮像素子１０で撮像された画像から得られる情報を使用して露出制御や焦点調節制御を行う。

図２は、図１に示したカメラ本体１とその交換レンズ２の電気回路の構成例を示すブロック図である。カメラ本体１において制御部２１は例えば内部にＡＬＵ(ARITHMETIC and Logic Unit)、ＲＯＭ、ＲＡＭやＡ／Ｄコンバータ、タイマー、シリアル通信ポート（ＳＰＩ）等を内蔵したワンチップマイクロコンピュータである。制御部２１は、例えばＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより、カメラ本体１および交換レンズ２の動作を制御する。制御部２１の具体的な動作については後述する。

ＡＦセンサ９及びＡＥセンサ６の出力信号は、制御部２１のＡ／Ｄコンバータ入力端子に接続される。信号処理回路２５は制御部２１の指示に従って撮像素子１０を制御し、撮像素子１０が出力する画素信号にノイズ低減処理やＡ／Ｄ変換などの前処理を行ってＲＡＷ画像データを生成する。また、信号処理回路２５は、ＲＡＷ画像データに対して、色補間やホワイトバランス処理といった現像処理を適用し、画像信号（画像データ）を生成する。また信号処理回路２５は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。

メモリ２８はＤＲＡＭ等であり、信号処理回路２５が種々の信号処理を行う際のワークメモリとして使われたり、後述する表示器２７に画像を表示する際のＶＲＡＭとして使われたりする。表示器２７はカメラ本体１の背面液晶ディスプレイや、外部ディスプレイであり、カメラ１００の設定値などの情報やメッセージ、メニュー画面等のＧＵＩ、また撮像画像などを表示する。表示器２７はＨＤＲ表示可能であるものとする。表示器２７は制御部２１からの指示により制御される。記憶部２６は例えば半導体メモリカードである。記憶部２６には、信号処理回路２５により記録用の画像信号（動画または静止画データ）が、所定形式のデータファイルとして記録される。

モーター２２は、制御部２１の制御に従い、主ミラー３及び第１の反射ミラー７のアップ・ダウンやメカニカルシャッタ１１のチャージを行う。操作部２３はユーザーがカメラ１００を操作するために用いるスイッチなどの入力デバイス群である。操作部２３には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部２９はレンズマウントに設けられ、交換レンズ２が装着されるとレンズ側の接点部５０と接触する。接点部２９は交換レンズ２に電源を供給したり交換レンズ２と通信したりするために用いられ、制御部２１のシリアル通信ポートの入出力信号が接続される。シャッタ駆動部２４は制御部２１の出力端子に接続されてメカニカルシャッタ１１を駆動する。

交換レンズ２には、接点部２９と対をなす接点部５０が設けられている。接点部５０には、制御部２１と同様のワンチップマイクロコンピュータであるレンズ制御部５１が接続されている。レンズ制御部５１は接点部５０を通じてカメラ本体１の制御部２１と通信することができる。レンズ制御部５１は例えばマイクロプロセッサ、ＲＯＭ、およびＲＡＭを有し、ＲＯＭに記憶されたプログラムをＲＡＭにロードして実行することにより、制御部２１からの指示に基づいて交換レンズ２の動作を制御する。ＲＯＭにはまた、カメラ１００の設定値、ＧＵＩデータなどが格納されている。また、レンズ制御部５１は交換レンズ２の状態などの情報を、制御部２１に通知する。フォーカスレンズ駆動部５２はレンズ制御部５１の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部５３は、レンズ制御部５１の制御に従い、交換レンズ２の画角を変更する。絞り駆動部５４は、レンズ制御部５１の制御に従い、絞りの開口量を調整する。

交換レンズ２がカメラ本体１に装着されると接点部２９および５０が接触する。これによりレンズ制御部５１とカメラ本体１の制御部２１とが電気的に接続され、データ通信可能となる。また、接点部２９および５０を通じ、交換レンズ２内のモーターやアクチュエータを駆動するための電力も本体１から供給される。制御部２１が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等がレンズ制御部５１から制御部２１へ、データ通信によって供給される。また、制御部２１による焦点検出処理や露出演算処理で得られた焦点調節情報や絞り情報は制御部２１からレンズ制御部５１にデータ通信によって供給される。レンズ制御部５１は、焦点調節情報に従ってフォーカスレンズを駆動したり、絞り情報に従って絞りの開口量を制御したりする。

以下、第１実施形態における撮影から現像までの具体的な動作について、説明する。図２の操作部２３に含まれる電源スイッチがオンされるなどにより、制御部２１が動作可能になると、制御部２１は初期化処理を実行する。初期化処理において制御部２１は、交換レンズ２のレンズ制御部５１から、焦点検出や露出演算に必要なレンズ情報を取得する。初期化処理が完了すると制御部２１は撮影スタンバイ状態における動作を実行する。撮影スタンバイ状態において制御部２１は例えば動画の撮影と、撮影された動画の表示を継続的に実行し、ライブビュー表示を実現する。また、制御部２１は操作部２３を監視し、操作部２３に対するユーザ操作に応じた処理を実行する。

例えば、操作部２３に含まれるレリーズスイッチの半押し操作が検出された場合、制御部２１は静止画の撮影準備処理を実行する。撮影準備処理には、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理などが含まれる。また、レリーズスイッチの全押し操作が検出された場合、制御部２１は静止画の撮影処理を実行する。撮影処理では、撮影準備処理で得られた焦点検出処理や露出演算の結果に基づいてフォーカスレンズの位置を調整したり、メカニカルシャッタ１１の動作を制御したりする。

撮像素子１０の露光が終了し、画素信号が読み出されると、信号処理回路２５においてＲＡＷ画像データに対する現像処理が行われる。本実施形態のカメラ１００は、撮像で得られた画像をＳＤＲ画像として記録するか、ＨＤＲ画像として記録するかを設定可能である。信号処理回路２５は、ＳＤＲ画像の記録が設定されている場合はＳＤＲ用のパラメータを用いて現像処理を実行し、８ビットのＳＤＲ画像データを生成する。また、信号処理回路２５は、ＨＤＲ画像の記録が設定されている場合はＨＤＲ用のパラメータを用いて現像処理を実行し、１０ビットのＨＤＲ画像データを生成する。ここで、８ビット、１０ビットは色成分（Ｒ、Ｇ、Ｂ）のビット深度である。なお、ＲＡＷ画像データを記録し、現像処理は後で適用してもよい。

ＨＤＲ画像における映像信号レベルと表示輝度との関係を表す信号特性はＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）で規定される。そして、ＥＯＴＦにはＳＭＰＴＥ ＳＴ ２０８４で規格化されているＰＱ(Perceptual Quantization)と、ＡＲＩＢ ＳＴＤ－Ｂ６７で規格化されているＨＬＧ(Hybrid Log Gamma)の２つがある。ＨＬＧは、ＳＤＲと同様に表示輝度を相対値として扱うため、最大表示輝度（表示ピーク輝度）は表示装置によって変化する。一方、ＰＱは図４（ａ）に示すように、表示輝度を最大１００００ｎｉｔｓ（またはｃｄ／ｍ^２）の絶対値として扱うため、表示ピーク輝度は表示装置に依存せずに一定である。そのため、出力ダイナミックレンジが変化するような撮影モードで撮影を行うと、ＰＱに従って生成したＨＤＲ画像では表示ピーク輝度が変化する場合がある。

図５は出力ダイナミックレンジが変化する２つの撮影モードの入出力特性（ガンマカーブ）４１、４２の例を示す。横軸は入力段数、縦軸は出力輝度である。各撮影モードのガンマカーブ４１、４２を比較すると、入力段数の大きな高輝度域以外は共通の特性を有するが、ピーク輝度４３、４４が異なる。なお、本実施形態では、特に記載が無い限り、ＨＤＲ画像の信号特性は輝度を絶対値として取り扱うＥＯＴＦ（例えばＰＱ）に準拠しているものとする。したがって、信号処理回路２５は、ＰＱに従った輝度値を有するＨＤＲ画像データを生成する。

ＲＡＷ画像の現像処理について図３を用いて説明する。図３において、４０２～４０５、４０８～４１２は、信号処理回路２５が行う処理を機能ブロックとして記載したものであるが、機能ブロックの１つ以上が制御部２１によって実施されてもよい。ＲＡＷ画像データ４０１を構成する画素データのそれぞれは、対応する画素に設けられたカラーフィルタの色の強度を表し、他の色の情報は有していない。ここでは撮像素子１０の各画素にはＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが設けられているものとする。

ホワイトバランス部４０２では、光源による色かぶりを補正して白を再現するための処理がなされる。具体的にはホワイトバランス部４０２は、ＲＡＷ画像データ４０１を構成する各画素のＲＧＢデータを、例えばｘｙ色空間等の所定の色空間にプロットする。そして、ホワイトバランス部４０２は、その色空間において光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのＲ，Ｇ，Ｂを積分し、その積分値からＲ及びＢ成分のホワイトバランス係数Ｇ／Ｒ及びＧ／Ｂを求める。ホワイトバランス部４０２はホワイトバランス係数を画像データに適用することによりホワイトバランス処理を実施する。

色補間部４０３ではノイズリダクション処理や、色補間処理により、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。生成されたカラー画像は、マトリクス変換部４０４およびガンマ変換部４０５を経て基本的なカラー画像が生成される。ここでガンマ変換部４０５は、輝度取得部４０９が取得したガンマカーブ（コントラスト調整用カーブ４０７）を用いる。ＨＤＲ画像を得る場合のガンマカーブは、ＥＯＴＦの逆特性(Inverse EOTF)であり、例えば図４（ａ）に示すＰＱ(Perceptual Quantization)の逆特性である。なお、Inverse EOTFとＯＯＴＦ(Opto-Optical Transfer Function)特性を組み合わせたＯＥＴＦ(Optical-Electro Transfer Function)を用いてもよい。

＜ピーク輝度＞
カメラ１００には、図５に示したような、出力ダイナミックレンジが異なる複数の撮影モードが用意されている。ユーザは例えば撮影するシーンのコントラストや明るさ、撮影した画像を表示するディスプレイが対応する出力輝度などに応じて、適切な撮影モードを選択することができる。

ここで、本明細書におけるピーク輝度とは、画像データの輝度階調数（１０ビットであれば信号値０～１０２３に相当）のうち、現像後の画像データが取り得る最大の輝度値である。また、ピーク輝度に対応する信号値を上限としたダイナミックレンジが出力ダイナミックレンジである。したがって、ピーク輝度が１０２３より低い場合、ＨＤＲ信号でも出力ダイナミックレンジは０～１０２３の範囲より狭くなる。

ピーク輝度は撮影モードごとに予め定められる。本実施形態のカメラ１００はＨＤＲ撮影モードとして第１のモードと第２のモードを有し、第１のモードよりも第２のモードの方が、ピーク輝度が高いものとする。例えば図５の例であれば、ピーク輝度４３を有するガンマカーブ４１が第１のモード、ピーク輝度４４を有するカーブ４２が第２のモードの入出力特性である。本実施形態では、第１のモードのピーク輝度は２８８ｎｉｔｓ（対応する信号値６３２）、第２のモードのピーク輝度は６４８ｎｉｔｓ（対応する信号値７２１）に予め定められているものとする。

本実施形態のように輝度を絶対値として扱う場合、表示輝度は表示装置に依存しないため、表示輝度と信号値との関係が特定可能である。したがって、撮影モード間のピーク輝度の差は、出力Ｄレンジの差となる。本実施形態では、ピーク輝度に対応する信号値（またはピーク輝度値［ｎｉｔｓ］）を、ｍａｘＤＲＬ(maximum Dynamic Range Level)と呼ぶ。第１のモードのｍａｘＤＲＬは６３２、第２のモードのｍａｘＤＲＬは７２１である。ＨＤＲ画像の輝度値が１０ビットの階調を有する場合、信号値のダイナミックレンジは０～１０２３である。しかし、第１のモード、第２のモードのいずれも、ｍａｘＤＲＬは１０２３より小さい。

ピーク輝度の差が出力ダイナミックレンジの差となる場合、撮影感度（ＩＳＯ感度）によっても出力ダイナミックレンジが異なる場合がある。撮像素子１０でゲインを適用しない（信号値を増幅しない）標準感度（例えばＩＳＯ１００）よりも、ゲインが適用される撮影感度（例えばＩＳＯ２００）で撮影する場合の方が、フォトダイオードの容積に対して電荷量が少ない。そのため、高感度で撮影する方がダイナミックレンジが広くなる。なお、ここでいうゲインは、Ａ／Ｄ変換前に適用されるアナログゲインであっても、Ａ／Ｄ変換後に適用されるデジタルゲインであってもよい。

また、ゲインを適用するために用いるアンプによっては、１段未満の刻みの撮影感度（中間ＩＳＯ感度）を、代表感度からのゲインアップもしくはゲインダウンで実現する。このような構成において、ゲインダウンされた場合には飽和信号レベルが下がるため、ダイナミックレンジは狭くなる。

このように、撮影条件、特に撮影感度に応じてピーク輝度が異なる場合がある。従って、撮影モードと撮影感度の組み合わせに応じたガンマカーブをコントラスト調整用カーブ４０７として制御部２１のＲＯＭに予め格納しておく。図４（ｂ）は、ある撮影モードについて３つの撮影感度に応じて格納されるガンマカーブの例を示す。ガンマ選択部４０８は、現在設定されている撮影条件（撮影モードおよびＩＳＯ感度）４０６を、例えばメモリ２８を参照して取得する。そして、ガンマ選択部４０８は、取得した撮影条件（撮影モードとＩＳＯ感度の組み合わせ）に対応するコントラスト調整用カーブ４０７を、制御部２１から取得し、輝度取得部４０９に出力する。

輝度取得部４０９は、取得したコントラスト調整用カーブ４０７をガンマ変換部４０５に供給する。また、輝度取得部４０９は、コントラスト調整用カーブ４０７の最大出力値を含む複数の出力値について、対応する絶対輝度を取得する。絶対輝度は、ＳＭＰＴＥ ＳＴ２０８４で規格化されているＰＱ方式のＥＯＴＦ（図４（ａ））から求めることができる。そして、輝度取得部４０９は、コントラスト調整用カーブ４０７の最大出力値または、最大出力値に対応する絶対輝度［ｎｉｔｓ］（ｍａｘＤＲＬ）を例えばメモリ２８に格納する。絶対輝度は、図４（ｂ）のｏｕｔ１～ｏｕｔ３に相当する。

色輝度調整部４１０は、ガンマ変換部４０５がガンマ変換して生成したカラー画像データに対して、画像の見栄えを改善するための画像処理を適用する。色輝度調整部４１０は例えば、カラー画像に対してシーン検出処理を適用し、予め定められたシーンであると判定された場合には、シーンに関連づけられた画像処理を適用する。例えば夕景シーンであると判定された場合、色輝度調整部４１０は、彩度を強調する画像処理をカラー画像データに対して適用する。

色輝度調整部４１０の出力する画像データは、圧縮部４１１でデータ量削減のために符号化される。符号化方法は例えばＨＥＶＣ規格に準拠した方法であってよいが、他の方法でもよい。記録部４１２は、符号化された画像データを格納した所定形式のデータファイルを生成する。また、記録部４１２は、ガンマ選択部４０８で選択されたコントラスト調整用カーブ４０７について輝度取得部４０９が取得したｍａｘＤＲＬを、データファイルのメタデータとして例えばヘッダに記載する。このようにして、記録部４１２は、ＨＤＲ信号４１３を生成し、出力する。なお、記録部４１２は、表示用の画像を生成する際には画像データをデータファイルに格納せずに、ｍａｘＤＲＬと関連づけてメモリ２８に格納してもよい。

＜ハイライト警告表示＞
次に、ハイライト警告表示動作について説明する。本実施形態におけるハイライト警告表示とは、画像のうち、現在の撮影条件では「白飛びしている領域」や「ほぼ白飛びしている領域」をユーザが把握することを可能にする機能である。なお、白飛びしている領域は、輝度が飽和した領域であるため、画像処理によって階調を復元することが困難である。そのため、白飛びしている領域や、ほぼ白飛びしている領域をユーザに報知することにより、ユーザはその白飛びが意図しないものであれば、白飛びする領域が減るように露出条件を変更することができる。また、意図的に白飛びさせる場合には、意図した領域が白飛びすることを確認したり、意図した領域が白飛びするように露出条件を変更したりすることができる。

特に輝度を絶対値として扱うＨＤＲ規格に準拠したＨＤＲ画像については、ハイライト警告表示に関して特有の課題が存在する。ＳＤＲ画像や、輝度を相対値として取り扱うＨＤＲ規格に準拠したＨＤＲ画像の場合、表示ピーク輝度は出力デバイスの能力に応じた値になる。したがって、画像データの最大値（ビット深度が８ビットであれば、２５５）に近い値（例えば２４８）を閾値として、閾値以上の値を有する画素についてハイライト警告を行えばよい。このようにすれば、常に画像全体のダイナミックレンジのうち所定の割合の高輝度域（例えばダイナミックレンジの高輝度域側２％）に対してハイライト警告表示を行うことができる。

しかし、ＰＱ方式のように、輝度を絶対値として扱うＨＤＲ規格に準拠したＨＤＲ画像については、画像データの値が表示輝度に対応する。そのため、固定閾値によるハイライト警告は、所望の結果とならない場合がある。例えば、図５に示した例において、第２の撮影モードのピーク輝度４４に対応した固定閾値でハイライト警告を行うケースを考える。この場合、第２の撮影モードで撮影されたＨＤＲ画像データについては、ＳＤＲ画像と同様に、固定閾値を用いたハイライト警告が可能である。しかし、第１の撮影モードで撮影されたＨＤＲ画像データについては、固定閾値がピーク輝度４３よりも大きいため、ハイライト警告が全くなされない。このような課題に対応するため、本実施形態では、ｍａｘＤＲＬに基づく閾値を用いてハイライト警告を行う。

以下、本実施形態のハイライト警告表示動作について、図６および図７を用いて説明する。図６は、ＨＤＲ信号４１３に基づくハイライト警告表示に関する信号処理回路２５の動作を、機能ブロックとして記載した図である。信号処理回路２５は、図３を用いて説明した処理によって生成したＨＤＲ信号４１３に基づく表示を行う際、ハイライト警告表示がオンに設定されていると、以下の動作を実行する。なお、図６に示す機能ブロック６０１～６０４の１つ以上を、制御部２１がＲＯＭに記憶されているプログラムを実行することにより実現してもよい。

Ｓ７０１にて、輝度取得部４０９は、記憶部２６に保存されている記録済みＨＤＲ信号を表示するのか、ライブビュー画像のように記録されていない（撮影中の）ＨＤＲ信号を表示するのかを判定する。輝度取得部４０９は、記録済みＨＤＲ信号を表示すると判定されればＳ７０２に、記録されていないＨＤＲ信号を表示すると判定されればＳ７０３に、処理を進める。

Ｓ７０２で閾値算出部６０２は、表示するＨＤＲ信号が記録されたデータファイルのメタデータに記載されているｍａｘＤＲＬを取得する。また、Ｓ７０３で閾値算出部６０２は、ガンマ選択部４０８が現在の撮影条件（撮影モード、撮影感度）に応じて選択したコントラスト調整用カーブ４０７から輝度取得部４０９が取得したｍａｘＤＲＬを、例えばメモリ２８から取得する。そして、閾値算出部６０２は、ｍａｘＤＲＬに応じたハイライト警告閾値を算出する。

ハイライト警告閾値の算出方法の一例について説明する。本実施形態では、ＳＤＲ信号に対するハイライト警告表示と同様に、知覚均等色空間の一つであり、ＩＴＵ－Ｒ ＢＴ．２１００で規定されるＩＣｔＣｐ色空間を用いるものとする。ＳＤＲ信号が取り得る最大値をｍａｘＳＤＲとし、ＳＤＲ信号に対するハイライト警告に用いる閾値（ＳＤＲ信号用閾値）をｔｈｒＳとする。例えばＳＤＲ信号のビット深度が８ビットであり、ｍａｘＳＤＲが２５５、ｔｈｒＳが２４８に予め設定されており、例えば制御部２１のＲＯＭに記憶されているものとする。ここで、ある画素ＸのＲＧＢ値（Ｘｒ、Ｘｇ、Ｘｂ）を、ＩＣｔＣｐ色空間の値に変換し、得られたＩ値（輝度値）をＩ（Ｘ）と表記する。このとき、ｍａｘＳＤＲとｔｈｒＳそれぞれに対応するＩ値の差分値をΔＩとすると、ΔＩは以下の式１で算出できる。
ΔＩ＝Ｉ（ｍａｘＳＤＲ）－Ｉ（ｔｈｒＳ） 式１

閾値算出部６０２は、ＨＤＲ信号に対して用いるハイライト警告閾値ｔｈｒＨ１に対応したＩ値、Ｉ（ｔｈｒＨ１）を以下の式２により求める。
Ｉ（ｔｈｒＨ１）＝Ｉ（ｍａｘＤＲＬ）－ΔＩ 式２
そして、Ｉ（ｔｈｒＨ１）を、ＲＧＢ色空間に逆変換することにより、ＲＧＢ値に対する閾値ｔｈｒＨ１を求めることができる。

このように、ＨＤＲ画像用の閾値とＨＤＲ画像の最大値との差ΔＩを、ＳＤＲ画像用の閾値とＳＤＲ画像の最大値との差ΔＩと等しくする。これにより、ＳＤＲ画像とＨＤＲ画像とで、ハイライト警告をされ始める明るさと、その画像の取り得る最大の明るさの差が同様となるようにハイライト警告が表示される。そのため、ＳＤＲ画像であってもＨＤＲ画像であっても、ユーザが白飛びと感じる度合いが同様の明るさの領域にハイライト警告が表示されるようになる。

次に、警告領域検出部６０３（検出手段）は、表示するＨＤＲ信号に対して閾値ｔｈｒＨ１を適用して閾値処理を行い、ハイライト警告の対象となる領域（画素）を検出する。例えば、警告領域検出部６０３は、閾値ｔｈｒＨ１以上の値を有する画素を警告対象の画素とする。ここでは、警告領域検出部６０３が、ハイライト警告の対象となるかならないかによりＨＤＲ画像を２値化した警告マップｍａｐＨを求めるものとする。例えば、図８（ａ）に示すＨＤＲ画像に対して得られた警告マップｍａｐＨの例を図８（ｂ）に示す。警告対象の画素を１（白）、警告対象外の画素を０（黒）とした警告マップｍａｐＨの例を示している。

なお、警告マップｍａｐＨを求める際には、閾値ｔｈｒＨ１をＲＧＢ空間の値に変換し、ＨＤＲ画像データのＲ、Ｇ、Ｂ値それぞれに対して閾値処理を行ってもよい。この場合、Ｒ、Ｇ、Ｂの全成分について、閾値以上の画素を警告対象の画素とする。また、ＨＤＲ画像データにＲＧＢ色空間からＹＣｂＣｒ色空間への変換を適用した後、輝度信号Ｙに対して閾値ｔｈｒＨ１を適用してもよい。また、他の方法で閾値処理を行ってもよい。

警告表示部６０４（表示制御手段）は、警告領域検出部６０３が生成した警告マップｍａｐＨに基づいて、ＨＤＲ画像に警告表示を追加する。警告表示の方法に特に制限はなく、視覚的に領域が判別可能な任意の方法を用いることができる。例えば対象領域に対してゼブラパターンのような特定のパターンを（常時あるいは周期的に）重畳表示したり、対象領域内の画素値を（常時あるいは周期的に）特定の値に変更したり、対象領域内の画素を点滅表示したりすることができる。これらは単なる例示であり、対象領域と非対象領域とが視覚的に判別可能な任意の方法を用いることができる。警告表示部６０４は、メモリ２８のうち、ＶＲＡＭとして用いられている領域に対してパターンデータを書き込んだり、画素値を変更するなどしてハイライト警告表示を実現することができる。図８（ｃ）に、図８（ｂ）の警告マップｍａｐＨに基づくハイライト警告表示が行われた状態の例を示す。

以上説明したように、本実施形態によれば、輝度値を絶対値として扱うＨＤＲ規格に準じたＨＤＲ画像データに対してハイライト警告表示を行う場合、画像データの最大値に応じた閾値を用いるようにした。そのため、撮影モードによってピーク輝度が異なる場合であっても、適切なハイライト警告表示を行うことができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、閾値算出部６０２の動作が第１実施形態と異なる。したがって、以下では、本実施形態におけるハイライト警告閾値ｔｈｒＨ２の求め方について説明する。

本実施形態において閾値算出部６０２は、ＳＤＲ信号の出力最大値ｍａｘＳＤＲとハイライト警告閾値ｔｈｒＳの比率と同じになるように、ＨＤＲ信号用のハイライト警告閾値を算出する。
閾値算出部６０２は制御部２１のＲＯＭからｍａｘＳＤＲおよびｔｈｒＳを取得し、比率ｒを以下の式３に従って算出する。
ｒ＝ｔｈｒＳ／ｍａｘＳＤＲ 式３
そして、閾値算出部６０２は、ＨＤＲ信号用のハイライト警告閾値ｔｈｒＨ２を、以下の式４にしたがって算出する。
ｔｈｒＨ２＝ｒ×ｍａｘＤＲＬ 式４

ハイライト警告閾値ｔｈｒＨ２を用いることにより、ＳＤＲ信号とＨＤＲ信号とで、それぞれの出力最大値に対して同じ比率以上の値を有する画素についてハイライト警告表示を行うことができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、閾値算出部６０２の動作が第１および第２実施形態と異なる。したがって、以下では、本実施形態におけるハイライト警告閾値ｔｈｒＨ３の求め方について説明する。

本実施形態において閾値算出部６０２は、ガンマ変換処理前の信号値、つまり撮像素子１０の信号値を用いる。
図９に、ＳＤＲ画像およびＨＤＲ画像に対してガンマ変換部４０５が適用するコントラスト調整用カーブ４０７（ガンマカーブ）の入出力特性の例を示す。図９において、Ｖａｌ２は撮像素子１０の飽和時の信号値を表す。Ｖａｌ１はＳＤＲ信号に対するハイライト警告閾値ｔｈｒＳに対応する撮像素子１０の信号値を表す。

閾値算出部６０２は、入力値Ｖａｌ１がＨＤＲ画像に適用するコントラスト調整用カーブ４０７によって変換される出力値を、ＨＤＲ信号用のハイライト警告閾値ｔｈｒＨ３として求める。

このようなハイライト警告閾値ｔｈｒＨ３を用いることで、ＳＤＲ信号とＨＤＲ信号とで、ガンマ変換前の信号値が同一範囲である画素についてハイライト警告表示を行うことができる。そのため、ＳＤＲ信号とＨＤＲ信号とで同じ領域に対してハイライト警告を行うことができる。

●（第４実施形態）
次に、本発明の第４実施形態について説明する。本実施形態は、閾値算出部６０２の動作が第１～第３実施形態と異なる。したがって、以下では、本実施形態におけるハイライト警告閾値ｔｈｒＨ４の求め方について説明する。

第１～第３実施形態では、それぞれ異なる算出方法により得られたハイライト警告閾値を用いた。しかし、これら複数のハイライト警告閾値を組み合わせて用いてもよい。本実施形態において閾値算出部６０２は、第１～第３実施形態で算出される閾値の２つ以上を用いてハイライト警告閾値を算出する。

ここでは、第１～第３実施形態で算出される閾値を加重加算し、さらに定数を加算することでハイライト警告閾値を算出する場合について説明する。定数をα１、α２、α３およびβ１とすると、閾値算出部６０２は、ハイライト警告閾値ｔｈｒＨ４を以下の式５により算出する。
ｔｈｒＨ４＝α１×ｔｈｒＨ１＋α２×ｔｈｒＨ２＋α３×ｔｈｒＨ３＋β１ 式５

各閾値の重みである定数α１、α２、α３と、他の定数β１を調整することにより、ガンマ変換後の出力ダイナミックレンジと、ガンマ変換前の撮像素子１０のダイナミックレンジとをバランスよく考慮したハイライト警告表示を実現できる。定数は例えば試行錯誤的に定めることができる。

●（第５実施形態）
次に、本発明の第５実施形態について説明する。第１～第４実施形態では、ＨＤＲ信号に対してハイライト警告表示を行う方法について説明した。生成したＨＤＲ信号を表示するディスプレイがＳＤＲ信号にしか対応していないこともある。本実施形態では、ＨＤＲ信号の表示環境に応じたハイライト警告表示を実現する。

表示するＨＤＲ信号に対するハイライト警告閾値を、第１～第４実施形態のいずれかに従って閾値算出部６０２によって求め、さらに、警告領域検出部６０３により対応する警告マップｍａｐＨを求めておく。警告表示部６０４は、ＨＤＲ信号の表示先がＳＤＲ信号にのみ対応している場合、ＨＤＲ信号をＳＤＲ信号にトーンマッピングする。なお、トーンマッピング方法の一例として、ＨＤＲ信号を、現像時のガンマ変換の逆特性を用いてリニア信号にし、さらにＳＤＲ信号現像用のガンマ変換を行う方法などが考えられるが、他の方法を用いても良い。

そして、警告表示部６０４は、作成されたＳＤＲ信号のうち、警告マップｍａｐＨで示されるハイライト領域に対してハイライト警告表示を行う。なお、表示先の能力については、例えば表示器２７が外部装置であれば接続時に制御部２１との通信によって取得することができる。また、ユーザ設定によりＳＤＲ表示が選択されている場合にはトーンマッピングを行うように構成してもよい。

本実施形態によれば、ＨＤＲ信号を表示する装置がＨＤＲ信号に対応しておらず、ＨＤＲ信号をＳＤＲ信号としてしか表示できない場合であっても、ＨＤＲ信号に対応した表示装置で表示した場合と同じ領域にハイライト警告表示を実現できる。

●（第６実施形態）
第１～第４実施形態では、１つのハイライト警告閾値に基づいて、１種類のハイライト警告表示を実施するものであった。本実施形態では、複数の閾値を用いて、段階的なハイライト警告表示を行う。

段階的な関係を満たしさえすれば、複数の閾値を求める方法に特に制限はない。例えば、第１～第４実施形態で得られる閾値を組み合わせてもよい。ここでは、１つの方法（例えば第１実施形態で説明した方法）を用いて段階的に閾値を求める方法について説明する。

例えば、閾値算出部６０２は、式６や式７のように、第１実施形態においてΔＩを減じる回数を増加させることにより、段階的なハイライト警告閾値ｔｈｒＨ６＿１、ｔｈｒＨ６＿２を求めることができる。ここで、Ｉ（ｔｈｒＨ６＿１）は、第１実施形態で用いたＩ（ｔｈｒＨ１）に等しい。
Ｉ（ｔｈｒＨ６＿１）＝Ｉ（ｍａｘＤＲＬ）－ΔＩ 式６
Ｉ（ｔｈｒＨ６＿２）＝Ｉ（ｔｈｒＨ６＿１）－ΔＩ 式７

Ｉ（ｔｈｒＨ６＿１）、Ｉ（ｔｈｒＨ６＿２）をＲＧＢ色空間に逆変換することにより、ＲＧＢ値に対する閾値ｔｈｒＨ６＿１、ｔｈｒＨ６＿２を求めることができる。

警告領域検出部６０３は、閾値ごとに警告マップを作成する。なお、最も大きな閾値から順に警告マップを生成し、既に警告対象と判定された画素については警告対象外として次の閾値に対する警告マップを生成することができる。
警告表示部６０４は、個々の警告マップに基づいて、段階に応じて視覚的に異なるハイライト警告表示を実行する。

本実施形態では、一例として第１実施形態の方法を用いて２つの閾値を決定して用いる構成について説明した。しかし、閾値は３つ以上であってもよく、また段階的な閾値を決定する方法も第１実施形態の方法に限定されない。例えば、第１～第４実施形態で説明した方法を適宜組み合わせて用いてもよい。さらに、第５実施形態のようにＨＤＲ信号をＳＤＲ信号にトーンマッピングしてから複数の閾値を適用して、段階的なハイライト警告表示を行うように構成してもよい。

本実施形態によれば、ハイライト部分について段階的な警告表示が可能になるため、ユーザは画像中のハイライトの分布をより細かく把握することが可能になる。

（その他の実施形態）
上述したハイライト警告表示動作には撮影に係る機能は必須でない。したがって、上述した実施形態は、カメラで撮影された画像を表示するディスプレイなどの表示装置や、表示装置での画像の表示を制御するパーソナルコンピュータ等の制御装置で実施することもできる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１…カメラ本体、２…交換レンズ、１０…撮像素子、２１…制御部、２５…信号処理回路、５１…レンズ制御部、４０５…ガンマ変換部、４０７…コントラスト調整用カーブ、４０８…ガンマ選択部、４０９…輝度取得部

Claims (13)

1. 画像処理装置であって、
   ＨＤＲ（ハイダイナミックレンジ）規格に従って生成されたＨＤＲ信号を取得する取得手段と、
   前記ＨＤＲ信号のピーク輝度を示す情報を特定する特定手段と、
   前記ＨＤＲ信号に対して閾値を適用して、ハイライト警告表示を行う領域を検出する検出手段と、
   前記検出手段が検出した前記領域について、ハイライト警告表示を行う表示制御手段と、を有し、
   前記ＨＤＲ規格は輝度を絶対値で扱う規格であり、
   前記ピーク輝度を示す情報は、前記画像処理装置に予め設定された異なる複数の出力ダイナミックレンジのうち、前記ＨＤＲ信号の撮影条件に応じた１つの出力ダイナミックレンジのピーク輝度を示す情報であり、
   前記検出手段は、前記ピーク輝度を示す情報に基づく閾値を前記ＨＤＲ信号に対して適用することで、前記ハイライト警告表示を行う領域を検出する、
   ことを特徴とする画像処理装置。
2. 前記画像処理装置が撮像装置であり、
   前記閾値が、現在設定されている撮影条件に基づく、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件が撮影感度を含むことを特徴とする、請求項２に記載の画像処理装置。
4. 前記閾値は、前記ＨＤＲ信号のうち、ＳＤＲ信号に対してハイライト警告表示が行われる明るさと知覚的に同様の明るさを有する領域に対してハイライト警告表示が行われるように設定されることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記閾値は、ハイライト警告表示が開始される明るさと信号の取り得る最大の明るさのと差が前記ＨＤＲ信号とＳＤＲ信号とで知覚的に同様となるように設定されることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記閾値は、知覚均等色空間における輝度値を用いて設定されることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記閾値は、前記ＨＤＲ信号の最大値に対して、ＳＤＲ信号に対してハイライト警告表示を行うために用いるＳＤＲ信号用の閾値の、前記ＳＤＲ信号が取り得る最大値に対する比率を乗じた値であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
8. 前記閾値は、ＳＤＲ信号に対してハイライト警告表示を行うために用いるＳＤＲ信号用の閾値に対応する入力値に対する、前記ＨＤＲ信号の生成に用いられたガンマカーブの出力値であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
9. 前記閾値が、
   前記ＨＤＲ信号のうち、ＳＤＲ信号に対してハイライト警告表示が行われる明るさと知覚的に同様の明るさを有する領域に対してハイライト警告表示が行われるように設定される値と、
   ハイライト警告表示が開始される明るさと信号の取り得る最大の明るさとの差が、前記ＨＤＲ信号とＳＤＲ信号とで知覚的に同様となるように設定される値と、
   前記ＨＤＲ信号の最大値に対して、ＳＤＲ信号に対してハイライト警告表示を行うために用いるＳＤＲ信号用の閾値の、前記ＳＤＲ信号が取り得る最大値に対する比率を乗じた値である値と、
   ＳＤＲ信号に対してハイライト警告表示を行うために用いるＳＤＲ信号用の閾値に対応する入力値に対する、前記ＨＤＲ信号の生成に用いられたガンマカーブの出力値である値とのうち、２つ以上を所定の比率で合成して得られることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
10. 前記検出手段が複数の閾値を適用し、
    前記表示制御手段が、前記複数の閾値のそれぞれに応じたハイライト警告表示を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
11. 前記ＨＤＲ信号をＳＤＲ信号に変換し、
    前記表示制御手段は、前記ＳＤＲ信号のうち、前記検出手段が前記ＨＤＲ信号を用いて検出した前記領域に対して前記ハイライト警告表示を行う、
    ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
12. 画像処理装置の制御方法であって、
    取得手段が、ＨＤＲ（ハイダイナミックレンジ）規格に従って生成されたＨＤＲ信号を取得する取得工程と、
    特定手段が、前記ＨＤＲ信号のピーク輝度を示す情報を特定する特定工程と、
    検出手段が、前記ＨＤＲ信号に対して閾値を適用して、ハイライト警告表示を行う領域を検出する検出工程と、
    表示制御手段が、前記検出工程で検出された前記領域について、ハイライト警告表示を行う表示制御工程と、を有し、
    前記ＨＤＲ規格は輝度を絶対値で扱う規格であり、
    前記ピーク輝度を示す情報は、前記画像処理装置に予め設定された異なる複数の出力ダイナミックレンジのうち、前記ＨＤＲ信号の撮影条件に応じた１つの出力ダイナミックレンジのピーク輝度を示す情報であり、
    前記検出工程では、前記ピーク輝度を示す情報に基づく閾値を前記ＨＤＲ信号に対して適用することで、前記ハイライト警告表示を行う領域を検出する、
    ことを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images