JP6764446B2

JP6764446B2 - 画像処理装置およびキャリブレーション方法

Info

Publication number: JP6764446B2
Application number: JP2018150668A
Authority: JP
Inventors: 寛三上; 健一郎横田; 心渡部
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2018-08-09
Filing date: 2018-08-09
Publication date: 2020-09-30
Anticipated expiration: 2038-08-09
Also published as: US10803569B2; JP2020027136A; US20200051525A1

Description

本発明は、表示装置に画像を表示させる画像処理装置およびそれが行うキャリブレーション方法に関する。

従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したＨＤＲ（High Dynamic Range）の信号を処理する技術が普及しつつある。従来のＳＤＲ（Standard Dynamic Range）と比較し、ＨＤＲは輝度の許容範囲が１００倍程になるため、太陽光の反射など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、ＨＤＲでの表現により、仮想世界をより臨場感のあるものにできる（例えば特許文献１参照）。

特開２０１６−５８８４８号公報

広大な輝度空間を存分に利用してダイナミックな画像表現を実現しようとしても、それを表示する表示装置が出力可能な輝度レンジや表示に至るまでの信号処理などに起因して、元の画像の世界観や画像作成者の意図を忠実に再現するのが困難な場合がある。例えば元の画像で与えられている輝度レンジより、表示装置が対応できる輝度レンジが小さい場合、一般的には高輝度領域で輝度の階調を圧縮するような変換がなされる。

その結果、画像内の明るい場所や空などにオブジェクトを詳細に描写しても、その情報のいくらかが失われ、ユーザに視認されないことがあり得る。また、実際に表示された画像における各画素の輝度は、表示装置内部での制御方式、画像内の輝度分布、素子の発光時間などに依存して変化する。このため、データとしての画像が同じでも、それらの要因に応じて見やすさが変化してしまうことも考えられる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、意図された画像表現を、表示装置に安定的に表すことのできる技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、表示装置に表示させたキャリブレーション画面に対するユーザ操作に基づき、表示装置の輝度特性を取得するキャリブレーション部と、当該輝度特性に基づき、画像の画素値を構成する輝度のレンジを、表示画像として出力可能な輝度のレンジに変換する輝度変換部と、変換後の輝度を画素値とする画像のデータを出力する出力部と、を備え、キャリブレーション部は、表示装置固有の情報に基づき、キャリブレーション画面の初期状態を調整したうえで当該表示装置に表示させることを特徴とする。

本発明のさらに別の態様はキャリブレーション方法に関する。このキャリブレーション方法は画像処理装置が、表示装置に表示させたキャリブレーション画面に対するユーザ操作に基づき、表示装置の輝度特性を取得するステップと、当該輝度特性に基づき、画像の画素値を構成する輝度のレンジを、表示画像として出力可能な輝度のレンジに変換するステップと、変換後の輝度を画素値とする画像のデータを出力するステップと、を含み、輝度特性を取得するステップは、表示装置固有の情報に基づき、キャリブレーション画面の初期状態を調整したうえで当該表示装置に表示させることを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、意図された画像表現を、表示装置に安定的に表すことができる。

本実施の形態における画像処理システムの構成例を示す図である。トーンマッピングで従来用いられる変換関数を例示する図である。本実施の形態における表示装置の輝度特性を例示する図ある。本実施の形態における有効輝度レンジの最小値、最大値、ピーク設定輝度と、生成するトーンカーブの関係を例示する図である。本実施の形態における画像処理装置の内部回路構成を示す図である。本実施の形態における画像処理装置および表示装置の機能ブロックの構成を示す図である。本実施の形態における画像処理装置が、画像データを生成して表示装置に出力する処理手順を示すフローチャートである。図７のＳ１４においてキャリブレーション部がキャリブレーションを実施する処理手順を示すフローチャートである。本実施の形態においてキャリブレーション部が表示装置に表示させるキャリブレーション画面を例示する図である。本実施の形態においてキャリブレーション部が表示装置に表示させるキャリブレーション画面の別の例を示す図である。本実施の形態においてキャリブレーション部が表示装置に表示させるキャリブレーション画面の別の例を示す図である。表示装置のエッジ強調機能によるキャリブレーションへの影響を説明するための図である。本実施の形態における、表示装置によるエッジ強調機能を考慮したキャリブレーション用画像を含むキャリブレーション画面を例示する図である。本実施の形態において、リファレンスと調整対象の領域の間に輝度遷移帯を設けた場合の設定輝度および出力輝度の変化を例示する図である。本実施の形態において、輝度遷移帯における輝度の変化を非線形としたときの効果を説明するための図である。

図１は本実施の形態における画像処理システムの構成例を示す。画像報処理システムは、画像処理装置１０、入力装置１４、表示装置１６を含む。図示するように画像処理装置１０はインターネットなどのネットワーク８を介して各種コンテンツを提供するサーバー等と接続可能としてもよい。入力装置１４はコントローラ、キーボード、マウス、ジョイスティック、タッチパッドなどユーザ操作が可能な一般的な入力装置のほか、ユーザなど実世界を撮影する撮像装置、音声を取得するマイク、各種物理値を検出するセンサや、それらのうちいずれかの組み合わせでもよい。

表示装置１６は、画像を表示する液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどで実現する。さらに音声を出力するスピーカを備えていてもよい。入力装置１４および表示装置１６は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また入力装置１４、表示装置１６、画像処理装置１０の外観形状は図示するものに限らず、例えばそれらのうち２つ以上が一体的に形成されていてもよい。

画像処理装置１０は、ユーザ操作に係る信号を入力装置１４から受信し、それに応じた処理を実施して表示画像のデータを生成し、表示装置１６に出力する。画像処理装置１０はゲーム機、パーソナルコンピュータ、タブレット端末、携帯端末、携帯電話などのいずれであってもよい。そのような画像処理装置１０の形態や、ユーザが選択したアプリケーションやコンテンツなどに応じて、画像処理装置１０が行う処理の内容は様々であってよい。

例えば画像処理装置１０は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のフレームレートで描画し出力する。あるいはネットワーク８を介してサーバーから動画のデータストリームを取得し、それを順次復号して出力してもよい。記録媒体に格納された動画のデータを読み出し、順次復号して出力してもよい。以後、画像処理装置１０自体による描画、および他で生成された画像データの復号を、画像処理装置１０による画像の「生成」と総称する。

このような構成において画像処理装置１０は、例えば１６ビット浮動小数で画素ごとに各色の輝度を表した画像を生成し、それを量子化することで１０ビットなどの電気信号として表示装置１６に送信する。表示装置１６は当該電気信号を逆量子化により輝度としたうえ、電圧に変換してディスプレイパネルを駆動させることにより画像を出力する。ここで、出力可能な輝度レンジは表示装置１６によって様々であるため、元の画像で表されている広い輝度レンジを、出力可能な輝度レンジに収めるための輝度の変換処理、いわゆるトーンマッピングを行う。

図２は、トーンマッピングで従来用いられる変換関数（以後、「トーンカーブ」と呼ぶ）を例示している。同図は代表的なトーンカーブであるReinhard関数を示しており、人の視覚特性を考慮して低輝度領域から高輝度側へ向かうほど階調を抑えるような変換を実現している。これにより、輝度レンジがどのような表示装置であっても、輝度レンジの圧縮による見た目への影響を少なくできる。またこのようなトーンカーブを、本来の画像の平均輝度を考慮して決定することにより、圧縮された輝度レンジの中間部分、ひいては低輝度領域と高輝度領域のおよその区別を、画像全体の明るさに応じて調整できる。

一方、このようなトーンマッピングでは、画像内の明るい場所ほど、本来の画像で与えられていた詳細な表現が、階調の圧縮により失われやすくなる。高輝度領域の階調圧縮による詳細度の損失は、表示装置１６における出力輝度の特性によっても起こり得る。図３は、表示装置１６の輝度特性を例示している。同図のグラフにおいて、横軸はトーンマッピングによる変換後の輝度（設定輝度）、縦軸はそれに基づきディスプレイの素子を発光させたときの出力輝度を示している。

図２に示したトーンカーブにおける変換後の輝度が、図３の「設定輝度」に対応する。輝度ＩＮ_ｌｉｍは、その表示装置１６で数値上、設定可能な輝度の上限値であり、設定輝度を０からＩＮ_ｌｉｍまで変化させれば、当然、出力輝度も増加する傾向となる。しかしながら、トーンカーブと同様、高輝度領域では出力輝度が飽和していく。例えば輝度特性８２ａの場合、設定輝度がＩＮ_ｍｉｎ以上ＩＮ_ｍａｘ以下であれば出力輝度も０からＯＵＴ_ｍａｘまで大きく変化するが、設定輝度がそれより大きいと、設定輝度を増加させても出力輝度に大きな変化がない。すなわち実質的な出力輝度の最大値はおよそ輝度ＯＵＴ_ｍａｘである。

また設定輝度がＩＮ_ｍｉｎより小さくても、出力輝度はほぼ０のまま変化しない。以後、実質的に出力輝度を変化させられる設定輝度の範囲を「有効輝度レンジ」と呼ぶ。輝度特性は、表示された画像上の輝度分布によっても変化する。すなわち一般的な表示装置は、画像の輝度分布によって表示上の明るさを制御することにより、消費電力が規定値を超えないようにしている。このため同図右側に示すように、高輝度領域の面積が小さい画像８０ｂと比較して、高輝度領域の面積が大きい画像８０ａを表示する際は、最大の出力輝度が抑えられる。

結果として、高輝度領域の面積が小さい画像８０ｂを表示する場合は、同じ設定輝度でもより高い輝度で出力されるような輝度特性８２ｂとなる。このように実質的に出力できる輝度のレンジが広がると、有効輝度レンジも広くなることが考えられる。図示した例では、高輝度領域の面積が大きい画像８０ａを表示したときの、有効輝度レンジの最大値ＩＮ_ｍａｘに対し、高輝度領域の面積が小さい画像８０ｂを表示したときの有効輝度レンジの最大値ＩＮ_ｐｅａｋが大きくなっている。このような輝度特性８２ｂにより、より高い出力輝度ＯＵＴ_ｐｅａｋまでのダイナミックな表現が可能となる。

輝度特性の振る舞いは図示したものに限らず、表示装置１６がＨＤＲに対応しているか否か、どのようなポリシーで出力輝度を制御しているか、といった様々な要因によっても大きく変化する。結果として、同じアルゴリズムで描画された同じオブジェクトであっても、表示装置や画像の構成などに依存して、表示される像の見かけが大きく変化し得る。例えば対戦ゲームにおいて、仮想空間の明るい場所にいる敵オブジェクトが表示装置によって見やすかったり見にくかったりすると、ゲーム自体の公平性に関わる問題となる。

そこで本実施の形態では、表示装置１６に実際に表示された画像に基づき、図示するような輝度特性を規定する所定のパラメータを取得し、それに応じてトーンカーブを生成することにより、表示装置１６に入力する設定輝度の範囲を好適に調整する。例えば画像８０ａのように、画面に対する高輝度領域の面積割合が所定値以上の画像を表示したうえで、有効輝度レンジの最小値ＩＮ_ｍｉｎおよび最大値ＩＮ_ｍａｘを取得する。

また画像８０ｂのように、画面に対する高輝度領域の面積割合が所定値より小さい画像を表示したうえで、有効輝度レンジの最大値ＩＮ_ｐｅａｋを取得する。本実施の形態は、実際にユーザが見た状態で、本来意図された画像が好適に視認されることを目的としている。したがって上述のようなパラメータを、ユーザの主観で容易に判定できるように、パラメータごとに適切なキャリブレーション画面を提示する。

以後、高輝度領域の面積割合が所定値以上の画像を表示したときの、有効輝度レンジの最大値ＩＮ_ｍａｘに対し、高輝度領域の面積割合が所定値より小さい画像を表示したときの、有効輝度レンジの最大値ＩＮ_ｐｅａｋを単に「ピーク設定輝度」と呼ぶ。また、キャリブレーションにより取得するそれらのパラメータを「表示装置の輝度特性」と総称する場合がある。

図４は、有効輝度レンジの最小値ＩＮ_ｍｉｎ、最大値ＩＮ_ｍａｘ、ピーク設定輝度ＩＮ_ｐｅａｋと、生成するトーンカーブの関係を例示している。図２と同様、横軸はトーンマッピングによる変換前の輝度、縦軸は変換後の輝度、つまり表示装置１６に入力する設定輝度である。また横軸に矢印で示した「制御輝度レンジ」は、上述の敵オブジェクトのように、画像を提供する側が詳細度を維持したいと考える対象の、元のデータにおける輝度の範囲である。図示するトーンカーブではまず、制御輝度レンジが、変換後に有効輝度レンジの最大値ＩＮ_ｍａｘ以下になるようにしている。

また、元のデータでの黒色（輝度＝０）が、変換後に有効輝度レンジの最小値ＩＮ_ｍｉｎとなるようにしている。これらの対応づけにより、画面における高輝度領域の面積やオブジェクトの輝度レンジによらず階調が確保され、表示における詳細度が保証される。さらに元のデータでの輝度の最大値あるいは上限が、変換後にピーク設定輝度ＩＮ_ｐｅａｋとなるようにしている。これにより、暗い場所での閃光や煌めきのように、表示装置が出力可能な輝度を最大限に利用したい対象について、ダイナミックな表現が可能となる。結果として、元の画像世界を尊重しながら要所の表現や視認性の損失を抑えられる。

ただしキャリブレーションにより取得するパラメータや、それを利用したトーンカーブの生成規則をこれに限る趣旨ではない。また制御輝度レンジは厳密なデータでなくてもよい。例えばコンテンツ全体において重要なオブジェクトの表現上の輝度レンジを取得し、それに所定量のマージンを与えることによって制御輝度レンジを決定してもよい。あるいはコンテンツのシーンごと、フレームごとなどで比較的詳細に求めてもよい。この場合、シーン単位やフレーム単位でトーンカーブを生成する。あるいはコンテンツによらず制御輝度レンジを固定としてもよい。

また本実施の形態における「輝度」は主に、ＲＧＢの各色に対し画素値として与えられている輝度を想定しているが、ＲＧＢ画像を輝度画像、色差画像など異なる属性の画像に変換した場合の画素値や、ＲＧＢの輝度の組み合わせによって表される、色空間における座標などに置き換えることもできる。

図５は、画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、ネットワーク８などへ接続する有線または無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、入力装置１４や表示装置１６からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。通信部３２はまた、ネットワーク８を介してサーバーなど外部の装置と通信を確立し、表示装置１６に係る情報や電子コンテンツのデータを取得したり、画像処理装置１０内部で生成されたデータを送信したりしてもよい。

ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６から出力することにより、表示装置１６に画像を表示させる。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は、画像処理装置１０および表示装置１６の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図５に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理装置１０は、入力装置１４やネットワーク８から必要なデータを取得する入力情報取得部５０、表示装置１６の輝度特性の概略値を取得する表示装置特性取得部５２、キャリブレーションを実施するキャリブレーション部５４、画像を生成する画像生成部５８、画像生成に用いるデータを格納する画像データ記憶部５６、トーンマッピングを実施する輝度変換部６０、および、表示装置１６へ画像のデータを出力する画像データ出力部６６を含む。

入力情報取得部５０は入力部３８やＣＰＵ２３などで実現され、ユーザ操作の内容を示すデータを入力装置１４から取得する。具体的には入力情報取得部５０は、キャリブレーション部５４が表示装置１６に表示させたキャリブレーション画面に対するユーザ操作の内容を取得する。入力情報取得部５０はこのほか、実行するアプリケーションや出力するコンテンツの選択、処理の開始／終了、アプリケーションに対するコマンド入力など、一般的なコンテンツ処理に対しなされるユーザ操作の内容を適宜取得する。

入力装置１４として撮像装置や各種センサを導入する場合、入力情報取得部５０は撮影画像やセンサの出力値などのデータを取得してもよい。入力情報取得部５０はまた、動画など電子コンテンツのデータや、後述する表示装置１６の輝度特性に係る情報などを、ネットワーク８を介してサーバーから取得してもよい。入力情報取得部５０は取得したデータを、表示装置特性取得部５２、キャリブレーション部５４、および画像生成部５８に適宜供給する。

表示装置特性取得部５２は入力部３８やＣＰＵ２３などで実現され、キャリブレーションによって取得される、表示装置１６の輝度特性を表すパラメータの概略値を取得する。このため表示装置特性取得部５２はまず、表示装置１６から当該表示装置自体の所定の情報を取得する。例えば一般的な表示装置１６が内部で保持するＥＤＩＤ（Extended Display Identification Data）を利用することが考えられる。ＥＤＩＤはディスプレイに係る識別データの規格であり、製品ＩＤ、製造年、メーカーＩＤ、アスペクト比、ガンマ値などが格納される。

表示装置特性取得部５２は、それらのデータのうち少なくともいずれかを、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標)など一般的な通信手段により取得したうえ、表示装置１６の輝度特性の概略値を取得する。このため表示装置特性取得部５２の内部には、製品ＩＤなど表示装置１６から得られる情報と、具体的な輝度特性の値とを対応づけたデータベースを準備しておく。例えば事前に、設定輝度に対する出力輝度の変化を、実機を用いて計測することにより各種輝度特性を求め、製品ＩＤなどと対応づけてデータベースを作成しておく。

このようなデータベースを、ネットワーク８を介して接続可能なサーバーに準備しておき、表示装置１６から取得した情報に基づき表示装置特性取得部５２が問い合わせることにより、輝度特性が得られるようにしてもよい。ただし表示装置特性取得部５２が表示装置１６から取得する情報の種類は特に限定されず、表示装置１６から直接、輝度特性が得られる場合は、それを取得してもよい。

キャリブレーション部５４は、表示装置１６に所定のキャリブレーション用画像を表示させ、それに対するユーザ操作を受け付けることにより、トーンカーブの作成に用いる輝度特性の値を最適化する。すなわち、表示装置特性取得部５２が取得した輝度特性の概略値を、実際の見え方を確認したうえでユーザが調整できるようにする。これにより、表示装置１６の経年変化や表示環境における明るさなど、書誌的な情報からは得られにくい様々な要因による見え方の変化を踏まえた最適な輝度変換を行える。

上述したように、表示装置１６がＨＤＲに対応しているか否かや、表示装置内部での出力輝度の制御ポリシーなどによって、輝度特性は大きく変化する。このためキャリブレーション時に、実際に接続されている表示装置１６から導出される輝度特性の概略値を提示したうえでユーザからの調整を受け付けることにより、キャリブレーションを効率化できる。またユーザにとってキャリブレーション操作の難易度が下がるため、最適な状態へ到達しやすい。

さらに不慣れなユーザが調整をせずにキャリブレーションを終了させても、概略値が設定されることにより、最適な状態からかけ離れた画像表示を回避できる。このように本実施の形態におけるキャリブレーションは、概略値の最適化といった意味合いがある。そのため、上述のように表示装置１６の輝度特性として複数種類のパラメータを取得する場合、表示装置特性取得部５２は、それぞれについて概略値を取得する。

キャリブレーションの余地を残すことにより、表示装置特性取得部５２が取得する輝度特性の概略値には、ある程度の誤差が許容される。したがって表示装置特性取得部５２は、表示装置１６固有の輝度特性を厳密に取得するのでなく、ＨＤＲに対応しているか否かなど、比較的大きな表示装置の分類に基づき輝度特性の概略値を取得してもよい。キャリブレーション部５４によるキャリブレーションの手順の具体例は後に述べる。

画像生成部５８はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、入力情報取得部５０から取得したユーザ操作等の情報に従い表示画像のデータを生成する。例えばユーザがゲームを選択した場合、画像生成部５８はユーザ操作やセンサの出力値などに応じたゲーム画像を所定のフレームレートで描画する。

この際、画像生成部５８は、ゲームを進捗させるためのプログラムや、画像を描画するためのオブジェクトモデルのデータなどを、画像データ記憶部５６から適宜読み出す。あるいは画像生成部５８は、ユーザが指定した動画や静止画のデータを復号、伸張してもよい。当該画像のデータは、画像データ記憶部５６に格納しておいたものでもよいし、ネットワーク８を介してサーバーから配信されたものでもよい。あるいは入力装置１４に含まれる撮像装置が撮影した画像のデータを取得し、復号、伸張してもよい。画像生成部５８はさらに、それらの画像データに対応する制御輝度レンジに係る情報も取得する。

例えばゲーム画像を表示する態様では、あらかじめゲームのプログラムやオブジェクトモデルの付加情報として、詳細度を維持したい対象オブジェクトを指定しておく。そして画像生成部５８は画像フレームを描画する際、当該対象オブジェクトが表されている輝度の範囲あるいはその最大値を、制御輝度レンジに係る情報として取得する。この場合、対象オブジェクトの移動や仮想空間での照度の変化などにより、制御輝度レンジも時間変化することになる。

あるいはそのようなゲーム画像であっても、制御輝度レンジを固定とすることもできる。例えば、対象オブジェクトに想定される輝度の変化をゲームの作成段階で取得しておき、その最大輝度をゲームプログラムやオブジェクトモデルの付加情報とする。この場合、画像生成部５８はゲームの処理を開始する際などに、当該付加情報を読み出せばよい。なお制御輝度レンジの拠り所となる対象は、特定のオブジェクトでなくてもよい。

例えば画像における前景領域や文字情報を表す領域など、何らかの規則によって特定される画像内の領域でもよい。場合によっては画像の内容に関わらず、制御輝度レンジを直接指定してもよい。あるいは画像生成部５８は、ライトマップなど仮想空間における光源の位置と仮想スクリーンの位置に基づき、所定の規則で制御輝度レンジを導出してもよい。この場合、例えば光源が近くにあることにより画像が全体的に明るすぎて詳細が見づらくなるような状態を回避するなど、画像全体の輝度レンジに対する自然な調整を行える。

また別途準備されたコンテンツの画像を表示する態様では、コンテンツのデータに、制御輝度レンジに係る情報を付加しておき、画像生成部５８が処理の開始時などにそれを読み出す。コンテンツが動画の場合、制御輝度レンジの時間変化を付加情報としてもよいし、全編にわたる制御輝度レンジの変動を取得し、そのうちの最大輝度を付加情報としてもよい。画像生成部５８は、生成した画像のデータと、制御輝度レンジに係る情報を、輝度変換部６０に順次供給する。

輝度変換部６０はＧＰＵ２４やメインメモリ２６などで実現され、輝度の変換規則を表すトーンカーブを生成するトーンカーブ生成部６２と、画像の輝度を変換する変換部６４を含む。トーンカーブ生成部６２は、キャリブレーション部５４が取得した表示装置１６の輝度特性の値に基づき、図４で説明したような所定の規則でトーンカーブを生成する。制御輝度レンジを固定とする場合、表示装置１６が接続された時点、あるいは最初にコンテンツを処理する際などに、トーンカーブを一度生成すればよい。制御輝度レンジをシーンごと、あるいは逐次変化させる場合は、トーンカーブ生成部６２はその変化に合わせてトーンカーブを逐次生成する。

変換部６４は、そのように生成されたトーンカーブを用いて、画像生成部５８が生成した画像の画素値が表す各色の輝度をそれぞれ変換する。画像データ出力部６６はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、変換部６４によって変換された輝度を所定の伝達関数を用いて量子化し、それを画素値とする画像の電子データを表示装置１６に出力する。画像データ出力部６６はさらに、キャリブレーション部５４からの要求に従い、キャリブレーション用の画像の電子データも表示装置１６に出力する。

ここでキャリブレーション部５４は、入力装置１４に対するユーザ操作に従い、キャリブレーション用画像のうち所定の領域の設定輝度を変化させる。この画像を、画像データ出力部６６を介して表示装置１６に表示させることにより、設定輝度の変化に対する出力輝度の変化が目に見える形で提示される。そして、設定輝度を変化させても表示上の輝度に変化が見えないなど所定の状態となった時点をユーザに判定入力させることにより、そのときの設定輝度を最終的な輝度特性の値として取得する。このようにキャリブレーション用画像のデータは、ユーザが直接調整可能な設定輝度で定義されるため、輝度変換部６０による輝度変換の必要はない。

表示装置１６は、表示装置１６自体の情報を格納する表示装置情報記憶部７０、当該情報を画像処理装置１０へ出力する表示装置情報出力部７２、画像処理装置１０からコンテンツの画像データを取得する画像データ取得部７４、画像データの電気信号の情報を輝度の値に変換する輝度取得部７６、および、変換後の輝度でディスプレイを駆動させるディスプレイ駆動部７８を含む。

表示装置情報記憶部７０は、上述のＥＤＩＤのように表示装置１６自体の情報を格納する。表示装置情報出力部７２は、画像処理装置１０からの問い合わせなどに応じて、表示装置情報記憶部７０から情報を読み出し、画像処理装置１０へ出力する。画像データ取得部７４は、画像処理装置１０から画像フレームのデータを取得する。このデータは上述のとおり、トーンマッピング後の輝度を量子化した電子データである。画像データ取得部７４はまた、画像処理装置１０からキャリブレーション画面のデータも取得する。

輝度取得部７６は、画像フレームのデータを逆量子化することにより、各画素の設定輝度を取得する。ディスプレイ駆動部７８は、変換後の輝度に基づく電圧でディスプレイを駆動させることにより画像を表示する。このときの設定輝度と出力輝度の関係は図３で例示したとおりであるが、画像処理装置１０から送信されたデータに、表示装置１６に合わせた輝度変換が施されていることにより、表示装置１６によらず最適な階調割り当てで画像が表現される。

次に、これまで述べた構成によって実現される画像処理装置１０の動作について説明する。図７は本実施の形態における画像処理装置１０が、画像データを生成して表示装置に出力する処理手順を示すフローチャートである。このフローチャートは、画像処理装置１０と表示装置１６が通信を確立したときに開始される。この状態で入力情報取得部５０は、入力装置１４を介したユーザ操作の内容取得を開始する（Ｓ１０）。以後の処理では随時、ユーザからの操作を受け付けるものとする。

表示装置特性取得部５２はユーザによる処理の開始要求などに応じて、接続されている表示装置１６から、当該表示装置１６に係る情報を取得したうえ、それに基づき必要な輝度特性の概略値を取得する（Ｓ１２）。すなわち画像処理装置１０の製品ＩＤなどに基づき、画像処理装置１０内部、またはネットワークを介して接続したサーバーなどに格納しておいたデータベースを検索することより、対応づけられた輝度特性の値を取得する。

次にキャリブレーション部５４は、表示装置１６にキャリブレーション用の画像を表示させ、それを見ながらキャリブレーションを実施するようユーザを促す（Ｓ１４）。具体的には、キャリブレーション用画像とともに、その設定輝度を変化させるためのユーザインタフェースを提供する。そして設定輝度を変化させても見た目の変化がなくなったなど、所定の基準に達したときの設定輝度で確定入力させる。このときの設定輝度の始点を、Ｓ１２で取得した概略値とする。取得すべき輝度特性を複数種類とする場合は、種類ごとにキャリブレーションを実施する。

次に輝度変換部６０のトーンカーブ生成部６２は、キャリブレーション部５４が取得した表示装置１６の輝度特性を用いて、図４に例示したようにトーンカーブを生成する（Ｓ１６）。この際、ユーザが指定したコンテンツを画像生成部５８が適宜処理することにより制御輝度レンジを取得し、トーンカーブの生成に用いてよい。また画像生成部５８は、当該コンテンツの画像フレームを、描画あるいは復号することにより生成する（Ｓ１８）。

輝度変換部６０の変換部６４は、Ｓ１６で生成されたトーンカーブを用いて、Ｓ１８で生成された画像の輝度を変換する（Ｓ２０）。続いて画像データ出力部６６は、変換後の輝度を所定の伝達関数を用いて量子化し、画素ごと、色ごとの電気信号として表示装置１６に出力する（Ｓ２２）。全フレームの出力が完了していなければ（Ｓ２４のＮ）、次の画像フレームについてＳ１８からＳ２２の処理を繰り返す。表示装置では一般的な処理により画素ごとに輝度を取得し出力することにより、フレームごとに適切な輝度で画像が表示される。

表示すべき全フレームの出力が完了したら処理を終了する（Ｓ２４のＹ）。なお図示する処理手順は、画像処理装置１０に表示装置１６が接続され、初めてコンテンツを処理する場合などに有効であるが、以降のコンテンツ処理では適宜省略が可能である。例えばＳ１２、Ｓ１４における輝度特性の取得は、接続される表示装置１６に変更がなければ一度のみ実施し、得られた輝度特性はトーンカーブ生成部６２内部に格納しておけばよい。

コンテンツごとに制御輝度レンジを変化させない場合は、Ｓ１６のトーンカーブ生成処理も一度のみ実施し、生成されたトーンカーブは変換部６４内部に格納しておけばよい。この場合、その後のコンテンツ処理はＳ１８〜Ｓ２４の処理のみですむことになる。一方、コンテンツごと、コンテンツのフレームごと、あるいはシーンごとなどで制御輝度レンジの変化に応じた輝度変換を実現する場合は、それらの単位でＳ１６のトーンカーブ生成処理を適宜実施する。

図８は、図７のＳ１４においてキャリブレーション部５４がキャリブレーションを実施する処理手順を示すフローチャートである。キャリブレーション部５４はまず、取得すべき輝度特性のうちキャリブレーションの対象とする輝度特性を１つ定める（Ｓ３０）。そして当該輝度特性を得るために作成されたキャリブレーション用の画像とともに、表示装置特性取得部５２が取得した当該輝度特性の概略値を、キャリブレーション画面に表示する（Ｓ３２、Ｓ３４）。

概略値は数値として表示する場合に限らず、ユーザがキャリブレーション用画像の設定輝度を調整する際の初期状態として提示してもよい。ユーザは当該概略値をヒントに、キャリブレーション用画像の少なくとも一部の領域の設定輝度を調整し、見た目が所定の基準に達したら確定させる。キャリブレーション部５４はこれらの一連の操作を受け付け（Ｓ３６）、確定入力がなされた時点の設定輝度を、輝度特性として取得する（Ｓ３８）。取得すべき輝度特性が全て取得できるまで、Ｓ３０からＳ３８の処理を繰り返し（Ｓ４０のＮ）、全ての輝度特性を取得できたら処理を終了する（Ｓ４０のＹ）。

Ｓ３２で表示するキャリブレーション用画像およびＳ３４で提示する概略値を、取得すべき輝度特性ごとに準備することにより、キャリブレーションの難易度が下がるとともに作業を効率化できる。またＳ３６においてユーザが設定輝度の調整を行わずに確定入力しても、概略値が輝度特性として取得されることにより一定以上の視認性は保証される。

図９は、図８のＳ３２、Ｓ３４において、キャリブレーション部５４が表示装置１６に表示させるキャリブレーション画面を例示している。この例のキャリブレーション画面は、輝度の異なる２種類の正方形を横方向、縦方向に交互に配置したキャリブレーション用画像１００ａと、一方の種類の正方形の設定輝度を変化させるためのＧＵＩ（Graphical User Interface）である設定輝度調整バー１０２を含む。ただしキャリブレーション用画像１００ａは、ＧＵＩにより設定輝度の調整が可能な領域と、リファレンスとして設定輝度が固定の領域の２種類の領域を含めば、その図柄は特に限定されない。

例えば円形や多角形の配列でもよいし、背景と何らかのマークなどでもよい。また例示する設定輝度調整バー１０２は、ハンドル１０４を上方に移動させるほど設定輝度が増加するような構成としているが、その形状や表示位置も特に限定されない。同図は輝度特性として有効輝度レンジの最大値を取得する場合を想定している。この場合、キャリブレーション用画像１００ａを極力広範囲に表示させる。図示する例では画面全体に表示している。

また一方の種類の正方形（例えば正方形１０６ｂ）の設定輝度を、設定可能な上限値などで固定とすることで白色のリファレンスとし、他方の種類の正方形（例えば正方形１０６ａ）を調整対象とする。さらにハンドル１０４の初期位置を、表示装置特性取得部５２が有効輝度レンジの最大値に対し取得した概略値、またはそれより所定量小さい値に定める。これにより調整対象の正方形１０６ａの色は、ハンドル１０４の初期位置の設定輝度を反映したものとなる。図ではわかりやすさのために比較的濃いグレーとしている。

有効輝度レンジの最大値は上述のとおり、広範囲に高輝度領域が分布する画像を表示したとき、出力輝度に変化を与えることのできる設定輝度の最大値である。換言すれば、グレースケールの画像において、設定輝度をそれ以上増加させても、視覚上、白色から変化しなくなる境界値である。したがってユーザは、調整対象の正方形１０６ａが白色に近づくように、設定輝度調整バー１０２のハンドル１０４を上方に移動させる。

そしてリファレンスの正方形１０６ｂと区別がつかなくなる境界、すなわちキャリブレーション用画像１００ａ全体が白く見えた時点でハンドル１０４を止め、入力装置１４の図示しない確定手段により確定入力を行う。キャリブレーション部５４は、確定入力がなされたときの設定輝度を、有効輝度レンジの最大値として取得する。なおキャリブレーション画面には、このようなユーザがなすべき操作を教示するための文字情報をさらに表示してもよい。以後述べるキャリブレーション画面でも同様である。

図１０は、キャリブレーション部５４が表示装置１６に表示させるキャリブレーション画面の別の例を示している。この例は輝度特性として、有効輝度レンジの最小値を取得する場合を想定している。このパラメータは上述のとおり、出力輝度に変化を与えることのできる設定輝度の最小値である。換言すればグレースケールの画像において、設定輝度をそれ以上減少させても、視覚上、黒色から変化しなくなる境界値である。この画面でのキャリブレーション用画像の表示面積は特に限定されないが、同図は図９と同様の構成としている。

そして一方の種類の正方形（例えば正方形１０６ｃ）の設定輝度を０などで固定とすることで黒色のリファレンスとし、他方の種類の正方形（例えば正方形１０６ｄ）を調整対象とする。またハンドル１０４の初期位置を、表示装置特性取得部５２が有効輝度レンジの最小値に対し取得した概略値、またはそれより所定量大きい値に定める。これにより調整対象の正方形１０６ｄの色は、ハンドル１０４の初期位置の設定輝度を反映したものとなる。

ユーザは、調整対象の正方形１０６ｄが黒色に近づくように、設定輝度調整バー１０２のハンドル１０４を下方に移動させる。そしてリファレンスの正方形１０６ｃと区別がつかなくなる境界、すなわちキャリブレーション用画像１００ａ全体が黒く見えた時点でハンドル１０４を止め、入力装置１４により確定入力を行う。キャリブレーション部５４は、確定入力がなされたときの設定輝度を、有効輝度レンジの最小値として取得する。

図１１は、キャリブレーション部５４が表示装置１６に表示させるキャリブレーション画面のさらに別の例を示している。この例は輝度特性としてピーク設定輝度を取得する場合を想定している。ピーク設定輝度は上述のとおり、表示装置１６の最大出力輝度、またはそれに近い輝度が得られる状態において、出力輝度に変化を与えることのできる設定輝度の最大値である。表示装置１６の特性として、最大の出力輝度が得られるのは、高輝度領域の面積が小さいときである。したがって図示するキャリブレーション画面では、キャリブレーション用画像１００ｃを、図９で示したキャリブレーション用画像１００ａより小さい面積で表示し、残りの領域を黒色としている。

最大出力輝度が得られるときの、高輝度領域の面積割合は、表示装置１６の性能や輝度制御のポリシーによって様々である。したがって表示装置特性取得部５２は、接続された表示装置１６において最大出力輝度が得られるときの高輝度領域の面積割合を、その他の輝度特性の概略値と同様の手順により取得してもよい。そしてキャリブレーション部５４が、そのデータに基づきキャリブレーション用画像１００ｃの表示面積を決定することにより、表示装置１６が実際に表示できる輝度のレンジを十分に活かした画像表現を行える。ただしキャリブレーション用画像１００ｃの表示面積の割合は、表示装置１６によらず固定としてもよいし、表示装置１６が属する大まかな分類によって決定してもよい。

このようにキャリブレーション用画像１００ｃを小面積にする以外は、図９で示した有効輝度レンジの最大値のキャリブレーションと同様の手順でピーク設定輝度を取得できる。すなわち一方の種類の正方形（例えば正方形１０６ｆ）の設定輝度を、設定可能な上限値などで固定とすることで白色のリファレンスとし、他方の種類の正方形（例えば正方形１０６ｅ）を調整対象とする。さらにハンドル１０４の初期位置を、表示装置特性取得部５２がピーク設定輝度に対し取得した概略値、またはそれより所定量小さい値に定める。

ユーザは、調整対象の正方形１０６ｅが白色に近づくように、設定輝度調整バー１０２のハンドル１０４を上方に移動させる。そしてリファレンスの正方形１０６ｆと区別がつかなくなる境界でハンドル１０４を止め、入力装置１４により確定入力を行う。キャリブレーション用画像１００ｃの表示面積が小さいことにより、リファレンスである正方形１０６ｆの白色は、図９で示したキャリブレーション用画像１００ａにおけるリファレンスの正方形１０６ｂの白色より輝度が高くなる。したがって図１１のキャリブレーション画面における設定輝度の到達点は、図９の場合より高くなる。キャリブレーション部５４は、確定入力がなされたときの設定輝度を、ピーク設定輝度として取得する。

上述のとおり、表示装置１６固有、あるいは表示装置１６が属するグループ固有の値として、各輝度特性の概略値や、最大出力輝度が得られるときの高輝度領域の面積割合を特定しておくことにより、キャリブレーションを高精度かつ高効率に行える。この目的において、表示装置特性取得部５２が取得するパラメータや、キャリブレーション部５４がそれに基づき変化させるキャリブレーション画面内の構成要素は限定されない。例えば輝度特性の概略値に基づいて、ハンドル１０４の初期位置を異ならせるほか、設定輝度調整バー１０２が表す設定輝度の可変範囲を異ならせてもよい。これにより、設定輝度が明らかに誤った範囲に移動してしまうのを防ぐことができる。

これまで述べたキャリブレーション画面は、ユーザが見て、隣接するリファレンスの正方形との区別がつかなくなるまで、調整対象の正方形の設定輝度を変化させることを基本としていた。しかしながら表示装置１６が一般的に有する表示画像のエッジ強調機能により、キャリブレーションの精度に悪影響が及ぶ可能性がある。図１２は、表示装置１６のエッジ強調機能によるキャリブレーションへの影響を説明するための図である。同図上段はキャリブレーション用画像の一部領域１０８を示しており、そのうち線分ＡＢ上の設定輝度および出力輝度の変化を下段に示している。位置Ｃが正方形の境界である。

下段左側の設定輝度１１０ａに示すように、位置Ｂを含むリファレンスの正方形に与える設定輝度は、設定可能な上限値ＩＮ_ｌｉｍであり、例えば１００００ｎｉｔなどである。そのような設定輝度としても、出力輝度１１２ａに示すように、当該領域で実際に出力される輝度は、表示装置１６の実質的な出力輝度の最大値ＯＵＴ_ｍａｘ、例えば１０００ｎｉｔなどとなる。上述したキャリブレーションによれば、位置Ａを含む正方形の設定輝度を低い値から増加させ、有効輝度レンジの最大値ＩＮ_ｍａｘに到達させる。

設定輝度１１０ａはそのときの理想的な状態を示している。この場合、出力輝度１１２ａに示すように、全ての位置で実質的な出力輝度の最大値ＯＵＴ_ｍａｘとなるため、正方形の区別が視認されなくなり、ユーザの確定操作により有効輝度レンジの最大値ＩＮ_ｍａｘが適正に取得される。しかしながら表示装置１６がエッジ強調機能、すなわち物の像をはっきり見せるように輪郭を強調するような機能を搭載していると、キャリブレーションにおいても正方形の境界が強調されてしまう。

すなわち右側の設定輝度１１０ｂに示すように、境界近傍で設定輝度にオーバーシュートおよびアンダーシュートが生じるような加工がなされる。設定輝度が表示装置で設定可能な輝度の上限値ＩＮ_ｌｉｍを超える場合、当該上限値での設定となるため、オーバーシュートの影響は無視できる。一方、アンダーシュートについては、下に拡大して示すように、輝度０を下限として、正方形の境界近傍にその影響が反映された出力輝度１１２ｂとなる。この場合、キャリブレーションにおいて設定輝度をＩＮ_ｍａｘまで調整しても、境界近傍に暗い線状の像が残ることで正方形が区別されて見えてしまう。

するとユーザは、正方形の区別がつかなくなるまで設定輝度をさらに上げていくことになり、正しい輝度特性が得られない。ピーク設定輝度や有効輝度レンジの最小値を取得する場合も同様である。そこでキャリブレーション用画像を工夫することにより、エッジ強調機能の影響を回避することが考えられる。

図１３は、表示装置１６によるエッジ強調機能を考慮したキャリブレーション用画像を含むキャリブレーション画面を例示している。この例は図９と同様、輝度特性として有効輝度レンジの最大値を取得する場合を想定している。このキャリブレーション用画像１２０は、正方形の境界近傍で輝度が空間的に滑らかに変化するようにしている。すなわちリファレンスの正方形（例えば正方形１２２ｂ）と調整対象の正方形（例えば正方形１２２ａ）の境界に、位置に対して輝度が徐々に変化する輝度遷移帯（例えば輝度遷移帯１２４）を設けている。

このような輝度分布とすることにより、キャリブレーション用画像１２０は、各正方形の輪郭がぼやけた状態となる。ユーザは図９の場合と同様、設定輝度調整バー１０２のハンドル１０４を移動させることにより設定輝度を変化させ、正方形の区別がつかなくなる状態、すなわちキャリブレーション用画像１２０全体が白色になったと感じた時点でハンドル１０４を止める。

図１４は、リファレンスと調整対象の領域の間に輝度遷移帯を設けた場合の設定輝度および出力輝度の変化を例示している。図の表し方は図１２と同様であり、図の最上段にキャリブレーション用画像１２０の一部を示すとおり、正方形の境界を中心として、位置に対する設定輝度および出力輝度の変化を示している。エッジ強調機能は、エッジすなわち輝度の傾きが大きい箇所を検出し、その傾きをさらに強調させる。

同図左側の設定輝度１３０ａに示すように、キャリブレーション部５４は、正方形の境界に輝度遷移帯１２４を設けることにより、輝度の傾きが常に所定値以下となるようにする。実際には図示する状態となるまでに調整対象の正方形の設定輝度が変化するが、キャリブレーション部５４は、常にリファレンスの正方形の設定輝度ＩＮ_ｌｉｍと線形につながるように輝度遷移帯１２４における設定輝度を決定する。

これにより同図右側の設定輝度１３０ｂに示すように、エッジ強調処理を介してもアンダーシュートやオーバーシュートが抑えられる。結果として、正方形の境界近傍においてほぼ均一な出力輝度１３２が得られ、ユーザは正方形の区別がつかなくなる適切なタイミングで設定輝度を確定させることができる。輝度遷移帯１２４の幅が広いほどエッジ強調の影響を抑えることができるが、広すぎるとユーザは、調整対象の正方形とリファレンスの正方形の輝度の差を比較しづらくなり、キャリブレーション操作を行いにくい。そのため両者のバランスを踏まえ、実験などにより最適値を設定しておく。

図１４は輝度遷移帯１２４における輝度の変化を線形としていたが、位置に対する輝度の変化はそれに限らない。図１５は、輝度遷移帯１２４における輝度の変化を非線形としたときの効果を説明するための図である。図の表し方は図１４と同様である。この例では同図左側の設定輝度１３４ａに示すように、輝度遷移帯１２４における輝度の変化をべき乗の曲線としている。これにより調整対象の正方形の輝度、すなわち輝度が小さい側からの立ち上がりにおける輝度の傾きを所定値より小さくしている。なお図１４と同様、実際には図示する状態となるまでに調整対象の正方形の設定輝度が変化するが、キャリブレーション部５４は、常にリファレンスの正方形の設定輝度ＩＮ_ｌｉｍと同様の形状でつながるように輝度遷移帯１２４における設定輝度を決定する。

これにより同図右側の設定輝度１３４ｂに示すように、出力輝度に影響を与えるアンダーシュートを特に抑えることができる。結果として図１４に示す線形での変化より、正方形の境界近傍においてさらに均一な出力輝度１３６が得られる。輝度遷移帯１２４のうちリファレンスの正方形側の輝度は、傾きが大きくなることからオーバーシュートが大きくなるが、上述のとおり設定可能な輝度の上限値ＩＮ_ｌｉｍを超えても実質的な影響は生じない。

そのような特性を利用してオーバーシュートの出現を許容しつつアンダーシュートを抑えるようにすれば、輝度遷移帯１２４の幅を小さくすることができる。結果として、調整対象の正方形とリファレンスの正方形の輝度を近い距離で容易に比較できるとともに、両者の区別がつかなくなる最適なタイミングで、有効輝度レンジの最大値ＩＮ_ｍａｘを確定させることができる。なお輝度遷移帯１２４のうち調整対象の正方形側で傾きを小さく、リファレンスの正方形側で傾きを大きくするような輝度変化が得られれば、設定輝度の変化はべき乗の曲線に限らず、別の曲線でもよいし、異なる傾きの直線を接続したものでもよい。

また図１０や図１１で示したキャリブレーション画面においても、正方形の境界に同様の輝度遷移帯を設けることにより、各種輝度特性の取得において同様の効果が得られる。さらに上述したように、調整対象の領域とリファレンスの領域は正方形に限らない。したがって輝度遷移帯の形状も特に限定されない。

以上述べた本実施の形態によれば、表示装置にキャリブレーション用画像を表示させ、設定輝度に対する出力輝度の変化の特性を表す所定の輝度特性を、ユーザ操作を介して取得する。そして当該輝度特性に基づき生成したトーンカーブを用いてコンテンツ画像の画素値を表す設定輝度を決定することにより、表示装置や表示環境など個別の状況によらず画像として表される対象に同様の視認性を与えることができる。

ここで、実際に接続されている表示装置から得られる情報に基づき、キャリブレーション画面を最適化したうえで提示する。例えば取得すべき輝度特性の概略値を取得しておき、キャリブレーション時にはそれを基準として調整できるようにする。そのほか、キャリブレーション画面におけるキャリブレーション用画像の表示面積や、設定輝度の可変範囲を、表示装置に応じて最適化する。

これらの最適化により、例えばＨＤＲに対応しているか否かといった表示装置の性能によって、調整すべき数値の桁が大きく異なっていたとしても、容易に正確な値へ到達させることができる。また、ユーザなどが調整操作をせずにキャリブレーションを終了させても、概略値を利用できるため一定以上の視認性が保証される。結果として、ユーザのスキルや表示装置の性能を問わず、安定した表示環境でコンテンツを楽しむことができる。また、将来的に表示装置がいかに進化しても、既存のコンテンツを容易に対応させることができる。

またキャリブレーション操作として、リファレンスの輝度を有する領域との区別がつかなくなるように、隣接する領域の設定輝度を変化させる場合、キャリブレーション用画像における２つの領域の境界に、位置に対して輝度を徐々に変化させる輝度遷移帯を設ける。輝度遷移帯においては少なくとも、設定輝度を変化させる領域からの輝度の傾きが所定値より小さくなるようにする。これにより、エッジ強調機能を備えた表示装置であっても、領域の境界がエッジとして認識されることがなくなる。結果としてユーザは、設定輝度の調整がそのまま反映された画像を見ながら、正確なキャリブレーションを行える。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えばバックライトを備えた液晶などの表示装置では、バックライトの温度上昇に伴って輝度が増加する特性を有するため、出力輝度の特性は発光からの時間によっても変動する。これを考慮して、キャリブレーション画面においてキャリブレーション用画像の表示位置を時間的に変化させてもよい。すなわち有効輝度レンジの最大値やピーク設定輝度を得る場合に、リファレンスの正方形の輝度が時間経過とともに低下すると、それらの輝度特性も暗い状態での出力輝度に合わせることになり正確な値が得られないことが考えられる。

したがってキャリブレーション部５４の内部のタイマーで、キャリブレーション用画像の表示時間を計測し、所定のしきい値を超えた時点で、少なくともリファレンスの領域が画面上の別の領域に表示されるようにキャリブレーション画面をリフレッシュする。これにより、キャリブレーションに要した時間によって結果が異なるといった不都合を回避でき、常に同じ条件下で適正な輝度特性を得ることができる。

８ネットワーク、１０画像処理装置、１４入力装置、１６表示装置、２３ＣＰＵ、２４ＧＰＵ、２６メインメモリ、５０入力情報取得部、５２表示装置特性取得部、５４キャリブレーション部、５６画像データ記憶部、５８画像生成部、６０輝度変換部、６２トーンカーブ生成部、６４変換部、６６画像データ出力部、７０表示装置情報記憶部、７２表示装置情報出力部、７４画像データ取得部、７６輝度取得部、７８ディスプレイ駆動部。

Claims

表示装置に表示させたキャリブレーション画面に対するユーザ操作に基づき、前記表示装置の輝度特性を取得するキャリブレーション部と、
前記輝度特性に基づき、画像の画素値を構成する輝度のレンジを、表示画像として出力可能な輝度のレンジに変換する輝度変換部と、
変換後の輝度を画素値とする画像のデータを出力する出力部と、
を備え、
前記キャリブレーション部は、前記表示装置固有の情報に基づき、前記キャリブレーション画面の初期状態を調整したうえで当該表示装置に表示させることを特徴とする画像処理装置。
前記キャリブレーション部は、前記キャリブレーション画面として、ユーザが設定輝度を調整可能な領域を有するキャリブレーション用画像を表示させ、前記設定輝度の調整の結果、前記キャリブレーション用画像が所定の基準に到達したことをユーザに判定させることにより、その時点における前記設定輝度を前記輝度特性として取得することを特徴とする請求項１に記載の画像処理装置。
前記キャリブレーション部は、前記設定輝度を調整するためのＧＵＩ（Graphical User Interface）を前記キャリブレーション画面に表示させ、当該設定輝度の初期値を、前記表示装置固有の情報に基づき調整することを特徴とする請求項２に記載の画像処理装置。
前記キャリブレーション部は、前記設定輝度を調整するためのＧＵＩ（Graphical User Interface）を前記キャリブレーション画面に表示させ、当該設定輝度の可変範囲を、前記表示装置固有の情報に基づき調整することを特徴とする請求項２または３に記載の画像処理装置。
前記キャリブレーション部は、画面に対する前記キャリブレーション用画像の表示面積の割合を、前記表示装置固有の情報に基づき調整することを特徴とする請求項２から４のいずれかに記載の画像処理装置。
前記キャリブレーション部は、前記キャリブレーション画面に対するユーザ操作に基づき、複数種類の前記輝度特性を取得することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
前記輝度特性の種類ごとに、当該輝度特性の概略値を、前記表示装置から取得した情報に基づき特定する表示装置特性取得部をさらに備え、
前記キャリブレーション部は、前記輝度特性の種類ごとに、前記概略値に基づき前記キャリブレーション画面の初期状態を切り替えることを特徴とする請求項６に記載の画像処理装置。
前記キャリブレーション部は、前記キャリブレーション用画像において、ユーザが設定輝度を調整可能な領域と、設定輝度が固定のリファレンスの領域とを並べて表すことにより、両者の領域の区別がつかなくなることを、判定すべき前記所定の基準とし、
前記設定輝度を調整可能な領域と前記リファレンスの領域の間に、輝度の変化の傾きを調整する輝度遷移帯を設けることを特徴とする請求項２から５のいずれかに記載の画像処理装置。
前記キャリブレーション部は少なくとも、前記輝度遷移帯のうち、前記リファレンスの領域より輝度の低い、前記調整可能な領域側の前記設定輝度の立ち上がりにおいて、輝度の変化の傾きが所定値より小さくなるように変化させることを特徴とする請求項８に記載の画像処理装置。
前記キャリブレーション部は前記輝度遷移帯において、前記設定輝度を非線形に変化させることを特徴とする請求項８または９に記載の画像処理装置。
前記キャリブレーション部は、表示上の輝度に視認可能な変化を与えることのできる設定輝度の範囲をユーザに判定させることにより、当該範囲の最大値を前記輝度特性として取得し、
前記輝度変換部は、前記画像に対し設定された制御対象の輝度レンジが、前記最大値以下となるように、輝度レンジの変換規則を決定することを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
前記表示装置特性取得部は、表示装置から取得できる情報と前記輝度特性の概略値を対応づけて保持するデータベースを検索することにより、前記表示装置の輝度特性の概略値を取得することを特徴とする請求項７に記載の画像処理装置。
前記表示装置特性取得部は、ネットワークを介して提供される、前記データベースを検索することにより、前記表示装置の輝度特性の概略値を取得することを特徴とする請求項１２に記載の画像処理装置。
表示装置に表示させたキャリブレーション画面に対するユーザ操作に基づき、前記表示装置の輝度特性を取得するステップと、
前記輝度特性に基づき、画像の画素値を構成する輝度のレンジを、表示画像として出力可能な輝度のレンジに変換するステップと、
変換後の輝度を画素値とする画像のデータを出力するステップと、
を含み、
前記輝度特性を取得するステップは、前記表示装置固有の情報に基づき、前記キャリブレーション画面の初期状態を調整したうえで当該表示装置に表示させることを特徴とする画像処理装置によるキャリブレーション方法。
表示装置に表示させたキャリブレーション画面に対するユーザ操作に基づき、前記表示装置の輝度特性を取得する機能と、
前記輝度特性に基づき、画像の画素値を構成する輝度のレンジを、表示画像として出力可能な輝度のレンジに変換する機能と、
変換後の輝度を画素値とする画像のデータを出力する機能と、
をコンピュータに実現させ、
前記輝度特性を取得する機能は、前記表示装置固有の情報に基づき、前記キャリブレーション画面の初期状態を調整したうえで当該表示装置に表示させることを特徴とするコンピュータプログラム。