JP2021170066A - 表示制御装置および方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】表示画像の視認性の向上と消費電力の削減を両立することが可能な表示制御装置を提供する。【解決手段】ハイダイナミックレンジ画像を表示可能な表示装置への画像の表示を制御する表示制御装置であって、画像からユーザーが注目する注目領域を判定する判定部と、画像を前記表示装置に表示させる場合に、表示装置による表示の最大階調の値と注目領域の最大階調の値の関係に基づいて、注目領域の表示のピーク輝度が、スタンダードダイナミックレンジでの表示におけるピーク輝度以上で、且つハイダイナミックレンジでの表示におけるピーク輝度以下となるように、表示装置の表示輝度を制御する制御部とを備える。【選択図】 図２

Description

本発明は、ＨＤＲ表示が可能な表示装置における表示制御技術に関するものである。

デジタルカメラやデジタルビデオカメラなどの撮像装置では、撮像画像をＥＶＦ（電子ビューファインダー）に表示しながら撮影（画像の撮像および記録）を行うことができる。例えば、撮像装置が備える表示パネルや撮像装置に接続された表示装置（外部装置）がＥＶＦとして用いられ、撮影者は、ＥＶＦに表示された撮像画像を見て、撮像画像の各種特徴量を確認する。撮影者が確認したい特徴量には、撮像画像の輝度値（輝度レベル）も含まれる。

近年、ＯＶＦ（光学ファインダー）に近い見え方を実現するために、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）より広いダイナミックレンジ（輝度レンジ）であるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）での撮影や表示が本格化している。ＨＤＲに関連した規格化や製品化が進められており、例えば、ＨＤＲ１０＋などの規格では、シーン毎にシーンの最大輝度値を示すＭａｘＣＬＬ（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｉｇｈｔ Ｌｅｖｅｌ）などの付加情報が定義されている。

ＨＤＲ表示は画質が向上する一方で、消費電力が増加してしまうという課題がある。具体的には、ＭａｘＣＬＬはシーンの最大階調に基づき決められているため、ユーザーが見ている領域が最大階調部分でない場合、必要以上に輝度が高い状態となり無駄に電力を消費してしまう。

例えば、特許文献１には、取得した映像データに含まれるピーク輝度情報（ＭａｘＣＬＬ）と表示装置のピーク輝度とに基づいて映像の輝度を変換する装置が開示されている。

特開２０１６−２１３８０９号公報

しかしながら、上述の特許文献１に開示された従来技術では、ユーザーが注目している領域については考慮されていないため、消費電力の低減を図ることはできない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、表示画像の視認性の向上と消費電力の削減を両立することが可能な表示制御装置を提供することである。

本発明に係わる表示制御装置は、ハイダイナミックレンジ画像を表示可能な表示装置への画像の表示を制御する表示制御装置であって、画像からユーザーが注目する注目領域を判定する判定手段と、前記画像を前記表示装置に表示させる場合に、前記表示装置による表示の最大階調の値と前記注目領域の最大階調の値の関係に基づいて、前記注目領域の表示のピーク輝度が、スタンダードダイナミックレンジでの表示におけるピーク輝度以上で、且つハイダイナミックレンジでの表示におけるピーク輝度以下となるように、前記表示装置の表示輝度を制御する制御手段と、を備えることを特徴とする。

本発明によれば、表示画像の視認性の向上と消費電力の削減を両立することが可能な表示制御装置を提供することが可能となる。

本発明の第１の実施形態に係わるデジタルカメラの外観を示す図。 デジタルカメラのブロック構成を示す図。 第１の実施形態における注目領域に応じて表示のピーク輝度を制御する動作を示すフローチャート。 第１の実施形態における映像信号の階調特性の例を示す図。 第１の実施形態における注目領域の判定動作を示すフローチャート。 第１の実施形態における注目領域の判定の例を示す図。 第１の実施形態における構図切り替えの例を示す図。 第２の実施形態における注目領域に応じて映像信号の階調特性を制御する動作を示すフローチャート。 第２の実施形態における映像信号の階調特性の例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わるデジタルカメラ１００の外観を示す図である。図１（ａ）はデジタルカメラ１００の前面斜視図であり、図１（ｂ）はデジタルカメラ１００の背面斜視図である。

図１において、表示部２８は、ハイダイナミックレンジ画像を表示可能で、画像や各種情報を表示する、カメラ背面に設けられた表示部である。タッチパネル７０ａは、表示部２８の表示面（操作面）に対するタッチ操作を検出することができる。ファインダー外表示部４３は、カメラ上面に設けられた表示部であり、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

シャッターボタン６１は、撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。端子カバー４０は外部機器との接続ケーブルとデジタルカメラ１００とを接続するコネクタ（不図示）を保護するカバーである。コネクタには、ＵＳＢケーブルの接続端子（不図示）と、ＨＤＭＩ（登録商標）出力端子である出力Ｉ／Ｆ２０（図２参照）が含まれる。

メイン電子ダイヤル７１は、操作部７０に含まれる回転操作部材であり、このメイン電子ダイヤル７１を回すことにより、シャッター速度や絞りなどの設定値の変更等を行うことができる。電源スイッチ７２はデジタルカメラ１００の電源のＯＮ及びＯＦＦを切り替える操作部材である。サブ電子ダイヤル７３は操作部７０に含まれる回転操作部材であり、選択枠の移動や画像送りなどを行うことができる。

十字キー７４は、操作部７０に含まれ、上、下、左、右部分をそれぞれ押し込み可能な十字キー（４方向キー）である。十字キー７４の押した部分に応じた操作が可能である。ＳＥＴボタン７５は操作部７０に含まれ、押しボタンであり、主に選択項目の決定などに用いられる。動画ボタン７６は、動画撮影（記録）の開始、停止の指示に用いられる。ＡＥロックボタン７７は操作部７０に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。

拡大ボタン７８は、操作部７０に含まれ、撮影モードのライブビュー表示において拡大モードのＯＮ、ＯＦＦを行うための操作ボタンである。拡大モードをＯＮとしてからメイン電子ダイヤル７１を操作することにより、ライブビュー画像の拡大、縮小を行うことができる。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン７９は操作部７０に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン７９を押下することにより再生モードに移行し、記録媒体２００に記録された画像のうち最新の画像を表示部２８、ＥＶＦ２９、または外部機器２１０に表示させることができる。

メニューボタン８１は、操作部７０に含まれ、押下することにより各種の設定可能なメニュー画面が表示部２８、ＥＶＦ２９、または外部機器２１０に表示される。ユーザーは、表示部２８、ＥＶＦ２９、または外部機器２１０に表示されたメニュー画面と、十字キー７４やＳＥＴボタン７５を用いて直感的に各種設定を行うことができる。通信端子１０はデジタルカメラ１００が後述するレンズユニット１５０（着脱可能）と通信を行うための通信端子である。

接眼部１６は、接眼ファインダー（覗き込み型のファインダー）の接眼部であり、ユーザーは、接眼部１６を介して内部のハイダイナミックレンジ画像を表示可能なＥＶＦ２９に表示された映像を視認することができる。接眼検知部５７は、接眼部１６に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋２０２は、記録媒体２００を格納したスロットの蓋である。

グリップ部９０は、ユーザーがデジタルカメラ１００を構えた際に右手で握りやすい形状とした保持部である。グリップ部９０を右手の小指、薬指、中指で握ってデジタルカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン６１、メイン電子ダイヤル７１が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル７３が配置されている。

図２は、本実施形態のデジタルカメラ１００のブロック構成を示す図である。

図２において、レンズユニット１５０は、交換可能な撮影レンズを搭載するレンズユニットである。レンズ１０３は通常、複数枚のレンズから構成されるが、ここでは簡略化して一枚のレンズのみで示している。通信端子６はレンズユニット１５０がデジタルカメラ１００と通信を行うための通信端子である。レンズユニット１５０は、この通信端子６とデジタルカメラ１００側の通信端子１０を介してシステム制御部５０と通信する。そして、内部のレンズシステム制御回路４によって絞り駆動回路２を介して絞り１の制御を行い、ＡＦ駆動回路３を介して、レンズ１０３を変位させることで焦点を合わせる。

シャッター１０１は、システム制御部５０の制御で撮像部２２の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、後述するメモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行う。画像処理部２４により得られた演算結果に基づいてシステム制御部５０が露光制御、焦点調節制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

メモリ制御部１５は、Ａ／Ｄ変換器２３、画像処理部２４、メモリ３２間のデータ送受信を制御する。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４およびメモリ制御部１５を介して、あるいは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８、ＥＶＦ２９、または外部機器２１０に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１９は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８、ＥＶＦ２９に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１９を介して表示部２８、ＥＶＦ２９により表示される。表示部２８、ＥＶＦ２９は、ＬＣＤや有機ＥＬ等の表示器上に、Ｄ／Ａ変換器１９からのアナログ信号に応じた表示を行う。

出力Ｉ／Ｆ２０は、メモリ３２に格納されている画像表示用のデータをデジタル信号のまま外部機器２１０に供給する。こうして、メモリ３２に書き込まれた表示用の画像データは外部機器２１０に表示される。Ａ／Ｄ変換器２３によってＡ／Ｄ変換されメモリ３２に蓄積されたデータを、表示部２８、ＥＶＦ２９、または外部機器２１０に逐次転送して表示することで、ライブビュー表示（ＬＶ表示）を行うことができる。以下、ライブビューで表示される画像をライブビュー画像（ＬＶ画像）と称する。

赤外発光ダイオード１６６は、ファインダー画面内におけるユーザーの視線位置を検出するための発光素子であり、ユーザーの眼球（目）１６１に赤外光を照射する。赤外発光ダイオード１６６から発した赤外光は眼球（目）１６１で反射し、その赤外反射光はダイクロイックミラー１６２に到達する。ダイクロイックミラー１６２は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ１６３を介して視線検知センサー１６４の撮像面に結像する。結像レンズ１６３は視線検知光学系を構成する光学部材である。視線検知センサー１６４は、ＣＣＤ型イメージセンサ等の撮像デバイスから成る。

視線検知センサー１６４は、入射された赤外反射光を電気信号に光電変換して視線検出回路１６５へ出力する。視線検出回路１６５は、視線検知センサー１６４の出力信号に基づき、ユーザーの眼球（目）１６１の動きからユーザーの視線位置を検出し、検出情報をシステム制御部５０および注視判定部１７０に出力する。このようにダイクロイックミラー１６２、結像レンズ１６３、視線検知センサー１６４、赤外発光ダイオード１６６、視線検出回路１６５により視線検出手段１６０が構成され、接眼部１６は視線操作部として機能する。これ以外の視線検出手段の構成としてもよい。

注視判定部１７０は、所定の閾値を有しており、視線検出回路１６５から受け取った検出情報に基づいて、撮影者の視線がある領域に固定されている時間がその所定の閾値を越えた場合に、その領域を注視していると判定する。なお、上記の所定の閾値は任意に変更可能である。

ファインダー外表示部４３には、ファインダー外表示部駆動回路４４を介して、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＦｌａｓｈ−ＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態において後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、少なくとも１つのプロセッサーまたは回路からなる制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、例えばＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等が展開される。また、システム制御部５０はメモリ３２、表示部２８、ＥＶＦ２９等を制御することにより表示制御も行う。その際、映像信号変換部１８１は、表示部２８、ＥＶＦ２９、または外部機器２１０に出力する映像信号の階調特性を制御する。ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）とＳＤＲより広いダイナミックレンジ（輝度レンジ）であるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）の表示モード切り替えはここで制御する。また、表示輝度制御部１８２は、表示部２８、ＥＶＦ２９、または外部機器２１０の表示輝度を制御する。表示輝度の制御方法は後述する。注目領域判定部１８０は、表示部２８における撮影者の注目領域を判定する。注目領域の判定方法は後述する。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）、がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ６０により、ユーザーは、これらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ６０で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから撮像された画像を画像ファイルとして記録媒体２００に書き込むまでの一連の撮影処理の動作を開始する。

操作部７０は、ユーザーからの操作を受け付ける入力部としての各種操作部材を有する。操作部７０には、少なくとも以下の操作部が含まれる。シャッターボタン６１、タッチパネル７０ａ、メイン電子ダイヤル７１、電源スイッチ７２、サブ電子ダイヤル７３、十字キー７４、ＳＥＴボタン７５、動画ボタン７６、ＡＥロックボタン７７、拡大ボタン７８、再生ボタン７９、メニューボタン８１である。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やＬｉイオン電池等の二次電池、ＡＣアダプター等からなる。

記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

通信部５４は、無線または有線ケーブルによって外部機器と接続し、映像信号や音声信号の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。また、通信部５４は、Bluetooth（登録商標）や Bluetooth Low Energyでも外部機器と通信可能である。通信部５４は撮像部２２で撮像した画像（ＬＶ画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。

姿勢検知部５５は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。姿勢検知部５５である、加速度センサーやジャイロセンサーを用いて、デジタルカメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部５７は、ファインダーの接眼部１６に対する眼球（目）１６１の接近（接眼）および離脱（離眼）を検知する（接近検知）、接眼検知センサーである。システム制御部５０は、接眼検知部５７で検知された状態に応じて、表示部２８とＥＶＦ２９の表示（表示状態）／非表示（非表示状態）を切り替える。より具体的には、少なくとも撮影待機状態で、かつ、表示先の切替が自動切替である場合において、非接眼中は表示先を表示部２８として表示をオンとし、ＥＶＦ２９は非表示とする。また、接眼中は表示先をＥＶＦ２９として表示をオンとし、表示部２８は非表示とする。接眼検知部５７は、例えば赤外線近接センサーを用いることができ、ＥＶＦ２９を内蔵するファインダーの接眼部１６への何らかの物体の接近を検知することができる。物体が接近した場合は、接眼検知部５７の投光部（図示せず）から投光した赤外線が反射して赤外線近接センサーの受光部（図示せず）に受光される。受光された赤外線の量によって、物体が接眼部１６からどの距離まで近づいているか（接眼距離）も判別することができる。このように、接眼検知部５７は、接眼部１６への物体の近接距離を検知する接眼検知を行う。

非接眼状態（非接近状態）から、接眼部１６に対して所定距離以内に近づく物体が検出された場合に、接眼されたと検出するものとする。接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検出するものとする。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは一例であって、接眼検知部５７には、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。

視線入力設定部１６７は、視線検出回路１６５による視線検出の有効または無効を設定する。あるいは、システム制御部５０の視線入力による処理の有効または無効を設定する。例えば、メニュー設定によりユーザーが設定可能なものとする。システム制御部５０は接眼部１６への以下の操作、あるいは状態を検出できる。
・接眼部１６へ入力されていなかった視線が新たに接眼部１６に入力されたこと。すなわち、視線入力の開始。
・接眼部１６へ視線入力している状態であること。
・接眼部１６へ注視している状態であること。
・接眼部１６へ入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部１６へ何も視線入力していない状態。

これらの操作・状態や、接眼部１６上に視線が入力している位置は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいて接眼部１６上にどのような操作（視線操作）が行なわれたかを判定する。

タッチパネル７０ａと表示部２８とは一体的に構成することができる。例えば、タッチパネル７０ａは光の透過率が表示部２８の表示を妨げないように構成され、表示部２８の表示面の上層に取り付けられる。そして、タッチパネル７０ａにおける入力座標と、表示部２８の表示画面上の表示座標とを対応付ける。これにより、あたかもユーザーが表示部２８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザーインターフェース）を提供できる。システム制御部５０はタッチパネル７０ａへの以下の操作、あるいは状態を検出できる。
・タッチパネル７０ａにタッチしていなかった指やペンが新たにタッチパネル７０ａにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Touch-Down）と称する）。
・タッチパネル７０ａを指やペンでタッチしている状態であること（以下、タッチオン（Touch-On）と称する）。
・タッチパネル７０ａを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Touch-Move）と称する）。
・タッチパネル７０ａへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Touch-Up）と称する）。
・タッチパネル７０ａに何もタッチしていない状態（以下、タッチオフ（Touch-Off）と称する）。

タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル７０ａ上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知され、システム制御部５０は通知された情報に基づいてタッチパネル７０ａ上にどのような操作（タッチ操作）が行なわれたかを判定する。タッチムーブについてはタッチパネル７０ａ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル７０ａ上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行なわれたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル７０ａ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）と称する。タッチパネル７０ａは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。

次に、図３〜図７を参照して、本発明の第１の実施形態における、注目領域に応じて表示のピーク輝度を制御する方法について説明する。

図３は、第１の実施形態における注目領域に応じて表示のピーク輝度を制御する動作を示すフローチャートである。図３のフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。図３のフローチャートは、デジタルカメラ１００が起動されると開始される。

デジタルカメラ１００が起動されると、ステップＳ３０１では、システム制御部５０は、ＨＤＲ表示モードであるか否かを判定する。ＨＤＲ表示モードである場合はステップＳ３０２へ進み、ＨＤＲ表示モードでない場合はステップＳ３０８へ進む。

ステップＳ３０２では、システム制御部５０は、注目領域６０４を判定して、ステップＳ３０３へ進む。注目領域６０４の判定方法については、図５、図６を用いて後述する。

ステップＳ３０３では、システム制御部５０は、判定した注目領域６０４に基づき表示のピーク輝度Ｌａ[ｃｄ／ｍ²]を算出する。例えば、表示の最大階調Ｔｍａｘ、ＨＤＲ表示時のピーク輝度Ｌｈ[ｃｄ／ｍ²]、ＳＤＲ表示時のピーク輝度Ｌｓ[ｃｄ／ｍ²]、注目領域６０４の最大階調Ｔａより、以下のように算出する。

Ｌａ＝｛Ｔａ（Ｌｈ−Ｌｓ）／Ｔｍａｘ｝＋Ｌｓ …（１）
つまり、表示の最大階調Ｔｍａｘに対する注目領域６０４の最大階調Ｔａの比（関係）に基づいて、注目領域６０４の表示のピーク輝度Ｌａを、スタンダードダイナミックレンジ表示時のピーク輝度以上、且つハイダイナミックレンジ表示時のピーク輝度以下の値に制御する。なお、小数点以下の端数は四捨五入で丸めるものとする。具体的に、Ｔｍａｘ＝２５５、Ｌｈ＝１０００、Ｌｓ＝２００、Ｔａ＝２０４とすると、Ｌａ＝８４０となる。このように、注目領域６０４に基づく表示のピーク輝度Ｌａ[ｃｄ／ｍ²]を算出して、ステップＳ３０４へ進む。

ステップＳ３０４では、システム制御部５０は、算出した注目領域６０４に基づく表示のピーク輝Ｌａ[ｃｄ／ｍ²]により表示を行い、ステップＳ３０５へ進む。例えば、表示部２８、ＥＶＦ２９、または外部機器２１０の輝度設定を変更して実現する。画像データの特性を変更してもよい。

ステップＳ３０５では、システム制御部５０は、輝度の再設定条件を満たしているか否かを判定する。例えば、図７のように構図が切り替わった場合、または操作部７０を用いて輝度の再設定操作が行われた場合は輝度の再設定条件を満たしていると判定する。輝度の再設定条件を満たしている場合はステップＳ３０２へ戻り、輝度の再設定条件を満たしていない場合はステップＳ３０６へ進む。図７の詳細については後述する。

ステップＳ３０６では、システム制御部５０は、ＳＤＲ表示モードへ切り替わったか否かを判定する。ＳＤＲ表示モードへ切り替わった場合はステップＳ３０８へ進み、ＳＤＲ表示モードへ切り替わらなかった場合はステップＳ３０７へ進む。

ステップＳ３０７では、システム制御部５０は、表示が消灯したか否かを判定する。表示が消灯した場合はこのフローを終了し、表示が消灯していない場合はステップＳ３０５へ戻る。

ステップＳ３０８では、システム制御部５０は、ＳＤＲ表示を行い、ステップＳ３０９へ進む。

ステップＳ３０９では、システム制御部５０は、ＨＤＲ表示モードへ切り替わったか否かを判定する。ＨＤＲ表示モードへ切り替わった場合はステップＳ３０２へ戻り、ＨＤＲ表示モードへ切り替わらなかった場合はステップＳ３１０へ進む。

ステップＳ３１０では、システム制御部５０は、表示が消灯したか否かを判定する。表示が消灯した場合はこのフローを終了し、表示が消灯していない場合はステップＳ３０９へ戻る。

図４は、本発明の第１の実施形態における映像信号の階調特性の例を示す図である。

第１の階調４０１は表示の最大階調である。第２の階調４０２は注目領域６０４の最大階調である。

第１のＥＯＴＦ特性４０３はＳＤＲ表示用の特性である。第１のピーク輝度４０４はＳＤＲ表示時のピーク輝度である。第１の輝度４０５はＳＤＲ表示時の注目領域６０４の輝度である。

第２のＥＯＴＦ特性４０６はＨＤＲ表示用の特性であり、第１のＥＯＴＦ特性４０３とは異なる特性である。例えば、ＨＬＧ（Ｈｙｂｒｉｄ Ｌｏｇ−Ｇａｍｍａ）方式の特性である。第２のピーク輝度４０７はＨＤＲ表示時のピーク輝度である。第２の輝度４０８はＨＤＲ表示時の注目領域６０４の輝度である。

第３のＥＯＴＦ特性４０９は注目領域６０４に基づいたＨＤＲ表示用の特性であり、第２のＥＯＴＦ特性４０６に対して、規格化した場合の特性を維持するようピーク輝度の変更に応じて全体輝度を圧縮した特性となっている。第３のピーク輝度４１０は注目領域６０４に基づいたＨＤＲ表示時のピーク輝度である。第３の輝度４１１は注目領域６０４に基づいたＨＤＲ表示時の注目領域６０４の輝度であり、式（１）で示したように第１の輝度４０５よりも大きく、第２の輝度４０８よりも小さい値となる。

図５は、第１の実施形態におけるユーザーの注目領域を判定する動作を示すフローチャートである。図６は、第１の実施形態における注目領域判定の例を示す図である。図５のフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。図５のフローチャートは、図３のステップＳ３０２において実行される。以下、図５、図６を参照して、注目領域の判定動作について説明する。

ステップＳ５０１では、システム制御部５０は、図６（ａ）に示すように、注目領域の指示方法が視線入力であるか否かを判定する。視線入力である場合はステップＳ５０２へ進み、視線入力でない場合はステップＳ５０４へ進む。

ステップＳ５０２では、システム制御部５０は、視線入力を検知したか否かを判定する。視線入力を検知した場合はステップＳ５０３へ進み、視線入力を検知していない場合はステップＳ５０２を繰り返す。

ステップＳ５０３では、システム制御部５０は、図６（ｂ）、図６（ｃ）に示すように、視線入力位置６０６を中心とした第１の幅６０４ａ、第２の幅６０４ｂの領域を注目領域６０４として設定し、このフローを終了する。

ステップＳ５０４では、システム制御部５０は、図６（ｄ）に示すように、注目領域の指示方法がタッチ入力であるか否かを判定する。タッチ入力である場合はステップＳ５０５へ進み、タッチ入力でない場合はステップＳ５０７へ進む。

ステップＳ５０５では、システム制御部５０は、タッチ入力を検知したか否かを判定する。タッチ入力を検知した場合はステップＳ５０６へ進み、タッチ入力を検知していない場合はステップＳ５０５を繰り返す。

ステップＳ５０６では、システム制御部５０は、図６（ｅ）、図６（ｆ）に示すように、タッチ入力位置６０８を中心とした第１の幅６０４ａ、第２の幅６０４ｂの領域を注目領域６０４として設定し、このフローを終了する。

ステップＳ５０７では、システム制御部５０は、図６（ｇ）に示すように、注目領域の指示方法がＡＦ枠であると判定して、ステップＳ５０８へ進む。

ステップＳ５０８では、システム制御部５０は、ＡＦ枠位置が指定されたか否かを判定する。ＡＦ枠位置が指定された場合はステップＳ５０９へ進み、ＡＦ枠位置が指定されていない場合はステップＳ５０８を繰り返す。

ステップＳ５０９では、図６（ｈ）、図６（ｉ）に示すように、ＡＦ枠６０９を注目領域６０４として設定し、このフローを終了する。

図６についてもう少し詳しく説明する。注目領域６０４はユーザーの操作に基づき選択される領域であり、ここではＥＶＦ２９上の表示で示す。第１の幅６０４ａ、第２の幅６０４ｂはそれぞれ注目領域の横方向、縦方向の幅である。表示６００は注目領域６０４の指示設定用のＭＥＮＵ表示である。第１の設定６０１は視線入力による指示設定、第２の設定６０２はタッチ入力による指示設定、第３の設定６０３はＡＦ枠による指示設定を示す。情報表示６０５はＥＶＦ２９上にＬＶ画像とともに表示される情報である。例えばシャッター速度や絞り値、ＩＳＯ感度などの撮影設定に関する情報や電池残量情報などが表示される。

図６（ａ）、図６（ｂ）、図６（ｃ）は、視線入力に基づき注目領域を判定する場合の表示６００ の設定状態、ＥＶＦ２９上の視線入力例、ＥＶＦ２９上の表示例をそれぞれ示している。眼球（目）１６１からの視線入力位置６０６に基づき、注目領域６０４の位置が決定される。具体的には、視線入力位置６０６を中心とした第１の幅６０４ａ、第２の幅６０４ｂの領域となる。

図６（ｄ）、図６（ｅ）、図６（ｆ）は、タッチ入力に基づき注目領域を判定する場合の表示６００ の設定状態、タッチパネル７０ａ上のタッチ入力例、ＥＶＦ２９上の表示例をそれぞれ示している。指６０７によるタッチ入力位置６０８に基づき、注目領域６０４の位置が決定される。具体的には、タッチ入力位置６０８を中心とした第１の幅６０４ａ、第２の幅６０４ｂの領域となる。タッチ位置の指定は絶対／相対どちらでも同様に動作する。

図６（ｇ）、図６（ｈ）、図６（ｉ）は、ＡＦ枠位置に基づき注目領域を判定する場合の表示６００の設定状態、ＥＶＦ２９上のＡＦ枠の位置の例、ＥＶＦ２９上の表示例をそれぞれ示している。ＡＦ枠６０９の位置に基づき注目領域６０４の位置が決定される。具体的には、ＡＦ枠６０９と同じ領域（第１の幅６０４ａ、第２の幅６０４ｂはＡＦ枠６０９の大きさ）となる。

図７は、本発明の第１の実施形態における構図切り替えの例を、ＥＶＦ２９上の表示で示した図である。

図７（ａ）は、構図切り替え前の構図をＥＶＦ２９上に表示した例を示している。図７（ｂ）は、図７（ａ）に対してズームを行い、画角が変化した場合のＥＶＦ２９上の表示例を示している。例えば、レンズユニット１５０内のズームリングなどの操作の有無で変化の有無を判定する。

図７（ｃ）は、図７（ａ）に対して新たな被写体７０１を検知した場合のＥＶＦ２９上の表示例を示している。例えば、画像処理部２４で被写体７０１の有無を判定する。

図７（ｄ）は、図７（ａ）に対して注目領域６０４内の主被写体を見失った場合のＥＶＦ２９上の表示例を示している。例えば、画像処理部２４で注目領域６０４内の被写体の有無を判定する。

以上のように、第１の実施形態においては、注目領域に応じて表示のピーク輝度を制御する。これにより、ユーザーの視認性を損なわない輝度設定を実現することができる。また、従来の最大階調に応じて設定される表示輝度よりも低い輝度設定とすることができ、消費電力の低減を実現することができる。

（第２の実施形態）
以下、図８及び図９を参照して、本発明の第２の実施形態における注目領域に応じて映像信号の階調特性を制御する動作について説明する。この第２の実施形態におけるデジタルカメラの構成は、第１の実施形態のデジタルカメラ１００の構成と同様であるため、説明を省略する。以下では、第１の実施形態と異なる部分について説明する。

図８は、第２の実施形態における注目領域に応じて映像信号の階調特性を制御する動作を示すフローチャートである。図８のフローチャートにおける各処理は、システム制御部５０が、不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行し、各機能ブロックを制御することにより実現される。なお、図３のフローチャートと同一のステップについては同一の記号で示し、その説明を省略する。図８のフローチャートは、デジタルカメラ１００が起動されると開始される。

デジタルカメラ１００が起動されると、図３のフローチャートのステップＳ３０１と同様の処理を実行する。

ステップＳ８０１では、システム制御部５０は、判定した注目領域６０４に基づき、映像信号の階調特性を補正して、ステップＳ８０２へ進む。例えば、図９に示した第４のＥＯＴＦ特性９０１とする。

ステップＳ８０２では、システム制御部５０は、補正した階調特性で表示を行い、ステップＳ３０５へ進む。

図９は、第２の実施形態における映像信号の階調特性の例を示す図である。

第４のＥＯＴＦ特性９０１は注目領域６０４に基づいたＨＤＲ表示用の特性であり、例えば、第２の輝度４０８をピーク輝度とするＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚａｔｉｏｎ）方式の特性である。

以上のように、第２の実施形態によれば、注目領域に応じて映像信号の階調特性を制御する。これにより、ユーザーの視認性を損なわない輝度設定を実現することができる。また、従来の最大階調に応じて設定される表示輝度よりも低い輝度設定とすることができ、消費電力の低減を実現することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明をその好適な実施形態としてデジタルカメラに基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、表示手段を有する電子機器であれば、あらゆるものに適用可能である。例えば画像ビューアのような表示装置に適用しても構わない。例えば音楽プレーヤのような、音声装置に適用しても構わない。また、パーソナルコンピュータやＰＤＡ、携帯電話端末や、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイ等のウェアラブル機器などに適用可能である。

また、本実施形態では、表示のピーク輝度Ｌａ[ｃｄ／ｍ²]を、表示の最大階調Ｔｍａｘ、ＨＤＲ表示時のピーク輝度Ｌｈ[ｃｄ／ｍ²]、ＳＤＲ表示時のピーク輝度Ｌｓ[ｃｄ／ｍ²]、注目領域６０４の最大階調Ｔａを用いて算出したが、これ以外の値を用いて算出してもよい。例えば、注目領域６０４の平均階調を使用してもよい。また、輝度の再設定条件を構図が切り替わった場合、または操作部７０を用いて輝度の再設定操作が行われた場合としたが、これ以外の条件でもよい。例えば、条件を設けず逐次輝度の再設定を行うものとしてもよい。また、注目領域の判定を視線入力、タッチ入力、ＡＦ枠により行うものとしたが、これら以外でもよい。また、注目領域６０４を第１の幅６０４ａ、第２の幅６０４ｂにより規定したが、これ以外で規定してもよいし、形状を変えてもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２８：表示部、２９：ＥＶＦ、７０ａ：タッチパネル、１６０：視線検出手段、１８０：注目領域判定部、１８１：映像信号変換部、１８２：表示輝度制御部

Claims (13)

1. ハイダイナミックレンジ画像を表示可能な表示装置への画像の表示を制御する表示制御装置であって、
   画像からユーザーが注目する注目領域を判定する判定手段と、
   前記画像を前記表示装置に表示させる場合に、前記表示装置による表示の最大階調の値と前記注目領域の最大階調の値の関係に基づいて、前記注目領域の表示のピーク輝度が、スタンダードダイナミックレンジでの表示におけるピーク輝度以上で、且つハイダイナミックレンジでの表示におけるピーク輝度以下となるように、前記表示装置の表示輝度を制御する制御手段と、
   を備えることを特徴とする表示制御装置。
2. 前記制御手段は、前記表示装置による表示の最大階調の値に対する前記注目領域の最大階調の値の比と、スタンダードダイナミックレンジでの表示におけるピーク輝度と、ハイダイナミックレンジでの表示におけるピーク輝度とに基づいて、前記注目領域の表示のピーク輝度を算出することを特徴とする請求項１に記載の表示制御装置。
3. 前記制御手段は、前記画像の階調特性を補正することにより、前記注目領域の表示のピーク輝度を制御することを特徴とする請求項１または２に記載の表示制御装置。
4. 前記制御手段は、前記画像の構図または画角が変化した場合に、前記注目領域の表示のピーク輝度の再設定を行うことを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 前記制御手段は、ユーザーによる操作を受けて前記注目領域の表示のピーク輝度の再設定を行うことを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
6. 前記判定手段は、ユーザーの視線を検出することにより、前記注目領域を判定することを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
7. 前記判定手段は、タッチパネルを用いて前記注目領域を判定することを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
8. 前記判定手段は、ＡＦ枠を用いて前記注目領域を判定することを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
9. 前記表示装置をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の表示制御装置。
10. 被写体を撮像する撮像手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の表示制御装置。
11. ハイダイナミックレンジ画像を表示可能な表示装置への画像の表示を制御する表示制御方法であって、
    画像からユーザーが注目する注目領域を判定する判定工程と、
    前記画像を前記表示装置に表示させる場合に、前記表示装置による表示の最大階調の値と前記注目領域の最大階調の値の関係に基づいて、前記注目領域の表示のピーク輝度が、スタンダードダイナミックレンジでの表示におけるピーク輝度以上で、且つハイダイナミックレンジでの表示におけるピーク輝度以下となるように、前記表示装置の表示輝度を制御する制御工程と、
    を有することを特徴とする表示制御方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラム。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images