JP6821269B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、表示装置に画像を表示させる画像処理装置およびそれが行う画像処理方法に関する。

従来、テレビジョン放送や配信動画などの映像表示において画質を向上させるための様々な技術が開発されてきた。近年では解像度や色域を向上させる技術に加え、輝度のレンジを拡大したＨＤＲ（High Dynamic Range）の信号を処理する技術が普及しつつある。従来のＳＤＲ（Standard Dynamic Range）と比較し、ＨＤＲは輝度の許容範囲が１００倍程になるため、太陽光の反射光など実世界で眩しいと感じるような対象を、画像上でもよりリアルに表現することができる。テレビジョン放送や配信動画のみならず、ゲーム画像などコンピュータグラフィクスの世界でも、ＨＤＲで表現することによって仮想世界により臨場感を与えられる（例えば特許文献１参照）。

特開２０１６−５８８４８号公報

ＳＤＲとＨＤＲでは信号の規格や表示装置内部での変換処理が異なる。そのため、双方の輝度レンジを処理できる表示装置を用いた場合、コンテンツの設定輝度レンジによって内部での切り替え処理が必要となる。そのような切り替え処理が画面上にも表れると、ユーザの興味がそがれたり違和感を与えたりすることが考えられる。また、ＨＤＲに対応した表示装置を用いても、ＳＤＲで表されたコンテンツを変わりなく鑑賞したいという要求もある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、コンテンツの設定輝度レンジによらず、好適な状態の画像を安定して表示できる技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、画像のデータを生成して表示装置に出力する画像処理装置であって、表示装置が内部で実施する画像の補正処理に用いるメタデータを取得するメタデータ取得部と、当該メタデータを用いて、画像に対し前記補正処理の少なくとも一部を実施する補正部と、補正後の画像のデータを補正部から取得して、表示装置に出力する画像出力部と、を備えたことを特徴とする。

本発明の別の態様は画像処理方法に関する。この画像処理方法は画像のデータを生成して表示装置に出力する画像処理装置による画像処理方法であって、表示装置が内部で実施する画像の補正処理に用いるメタデータを取得するステップと、メタデータを用いて、画像に対し前記補正処理の少なくとも一部を実施するステップと、補正後の画像のデータを取得して、表示装置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、コンテンツの設定輝度レンジによらず、好適な状態の画像を安定して表示できる。

本実施の形態における画像処理システムの構成例を示す図である。 本実施の形態において画像処理装置が生成する画像の一例を模式的に示す図である。 本実施の形態において輝度空間の異なる画像の表示までの処理経路の概略を示す図である。 本実施の形態における画像処理装置の内部回路構成を示す図である。 本実施の形態における画像処理装置と表示装置の機能ブロックの構成を示す図である。 複数の画像を合成する態様に本実施の形態を適用した場合の効果を説明するための図である。 本実施の形態における画像処理装置が、画像データを生成して表示装置に出力する処理手順を示すフローチャートである。

図１は本実施の形態における画像処理システムの構成例を示す。画像処理システムは、画像処理装置１０、入力装置１４、表示装置１６を含む。図示するように画像処理装置１０はインターネットなどのネットワーク８を介して各種コンテンツを提供するサーバ等と接続可能としてもよい。入力装置１４はコントローラ、キーボード、マウス、ジョイスティック、タッチパッドなどユーザ操作が可能な一般的な入力装置のほか、ユーザなど実世界を撮影する撮像装置、音声を取得するマイク、各種物理値を検出するセンサや、それらのうちいずれかの組み合わせでもよい。

表示装置１６は、画像を表示する液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどで実現する。さらに音声を出力するスピーカを備えていてもよい。入力装置１４および表示装置１６は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また入力装置１４、表示装置１６、画像処理装置１０の外観形状は図示するものに限らず、例えばそれらのうち２つ以上が一体的に形成されていてもよい。

画像処理装置１０は、ユーザ操作に係る信号を入力装置１４から受信し、それに応じた処理を実施して表示画像のデータを生成し、表示装置１６に出力する。画像処理装置１０はゲーム機、コンテンツ再生装置、パーソナルコンピュータ、タブレット端末、携帯端末、携帯電話などのいずれであってもよい。そのような画像処理装置１０の形態や、ユーザが選択したアプリケーションなどに応じて、画像処理装置１０が行う処理の内容は様々であってよい。例えば画像処理装置１０は、ユーザが指定した電子ゲームをユーザ操作に応じて進捗させ、そのゲーム画面のデータを所定のフレームレートで生成し出力する。

あるいは、ＯＴＴ（Over-The-Top）によりネットワーク８を介して配信された動画やテレビジョン放送された番組のデータストリームを取得したり、ＤＶＤ（Digital Versatile Disc）やＢｌｕｅ−ｒａｙ Ｄｉｓｃなどの記録媒体に記録された動画データを読み出したりして、それを逐次復号して出力してもよい。このように画像処理装置１０の使用目的は様々であってよく、それに応じて実施する情報処理の内容も異なってよい。以後、ゲーム画面などの画像をその場で描画する場合も、符号化された動画などのコンテンツのデータを復号する場合も、画像の「生成」と総称し、生成された画像の処理に主眼を置いて説明する。

図２は、本実施の形態において画像処理装置１０が生成する画像の一例を模式的に示している。この例は複数の動画から１つを選択し、それを再生する態様を想定している。同図上段は動画の選択画面２００であり、複数の動画のタイトル画像（例えばタイトル画像２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ）が選択肢として表されている。ユーザがそのいずれかを選択すると、選択された動画の再生画面２０４が表示される。

具体的にはユーザが入力装置１４を介してタイトル画像の１つを指定する入力を行うと、画像処理装置１０が、選択された動画のデータを記録媒体やネットワークから取得し、それを復号して表示装置１６に出力する。ここで、選択画面２００に示された選択候補の動画に、ＳＤＲの輝度空間で表されたものとＨＤＲの輝度空間で表されたものとが混在しているとする。

図３は、輝度空間の異なる画像の表示までの処理経路の概略を示している。この例において表示装置は、ＳＤＲとＨＤＲのどちらにも対応しているとする。一般にＳＤＲの画像はＢＴ．７０９やＢＴ．２０２０、ＨＤＲの画像はＢＴ．２１００といった独立した規格で信号処理される。両者は元の画像が表す輝度のレンジが異なるほか、電気信号のビット深度、色域、輝度を電気信号へ変換するための伝達関数なども異なる。そのため従来は、（ａ）に示すように、動画がＳＤＲかＨＤＲかによって異なる信号が画像処理装置から表示装置へ入力される。

表示装置は、例えばＳＤＲの信号については、ＳＤＲ用に準備されたルックアップテーブル「ＬＵＴ１」を用いて色補正を行うとともに、ディスプレイ固有のガンマカーブにより各色の輝度値を画素ごとに取得し、それに基づく駆動電圧でディスプレイを駆動させる。一方、ＨＤＲの信号については、ＨＤＲ用に準備されたルックアップテーブル「ＬＵＴ２」を用いて色補正を行うとともに、ＨＤＲの画像信号を生成したときと逆の関数により各色の輝度値を画素ごとに取得し、それに基づく駆動電圧でディスプレイを駆動させる。

これにより、同じ１０ｂｉｔの信号であっても、ＳＤＲの画像は０〜１００ｎｉｔ、ＨＤＲの画像は０〜１００００ｎｉｔなど異なる輝度レンジでの画像表現を実現できる。なお電気信号から輝度値への変換処理と色補正の処理の順序は、様々に考えられることは当業者には理解されるところである。いずれにしろこのような従来技術においては、表示装置は規格の異なる電気信号を受信する都度、処理系を切り替える必要がある。

つまりＳＤＲで表されたコンテンツとＨＤＲで表されたコンテンツが混在するような状況においては、どちらが選択されたかによって、ルックアップテーブルを呼び出し直すなどの切り替え処理が必要となる。結果として、例えば、図２に示した動画の選択画面２００から、ユーザが指定した動画の再生画面２０４へシームレスに移行させるような演出を期待しても、一時的に何も表示されないブラックアウトの状態が生じたり、選択から再生までに時間を要したりすることが考えられる。動画を次々に指定してザッピングするようなケースでは、そのような待機時間がユーザに多大なストレスを与え得る。

そこで本実施の形態における画像処理装置１０は、元々ＳＤＲであった画像の輝度レンジを、ＨＤＲの輝度レンジにマッピングすることで、ＨＤＲの電気信号として表示装置１６に出力する。このようにすると、表示装置１６はＨＤＲの規格に基づく処理のみを行えばよくなることから、上述のような輝度レンジに応じた切り替え処理が発生しない。例えばＳＤＲとＨＤＲの輝度が同じ１０ビットで表されるとき、前者の階調に０．５など所定の圧縮率Ｒ（０＜Ｒ＜１．０）を乗算することにより、ＳＤＲの最大輝度をＨＤＲの最大輝度のＲ倍に圧縮できる。

しかしながら、このような単純な輝度のマッピングによると、次のような問題が生じる。すなわち、ＳＤＲのコンテンツを表示させる装置は、これまでの長い歴史における様々な技術革新の結果、電気信号として乗せられている元の画像の輝度を表示時の輝度に変換する際に独自の工夫をこらすことにより、表示された画像がより精彩に見えるようにしている。例えば入力された信号の階調数より高い階調数への変換を経て、良好な表示色を抽出するといったことがなされる。

このような複雑な演算を前もって実施しておき、入力信号から表示色を表す信号を直接引けるようにするのが、図において「ＬＵＴ１」と表記したルックアップテーブルである。ルックアップテーブルには、ＲＧＢのそれぞれに対し、変換前後の値を対応づけた１次元ルックアップテーブルや、変換前のＲＧＢの値のセットに対し変換後のＲＧＢの値のセットを対応づけた３次元ルックアップテーブルなどがある。なお変換前後のデータは電気信号でも輝度値でもよい。

ルックアップテーブル「ＬＵＴ１」は上述した経緯から、表示装置１６のメーカーや型格などに依存した独自性を有する。色補正は上述のようにＨＤＲの信号に対しても実施され得るが、ＨＤＲの画像をＨＤＲとして表す際は元から多彩な表現が可能なため、そのルックアップテーブル「ＬＵＴ２」はＳＤＲのために進化したルックアップテーブル「ＬＵＴ１」とは異なることが多い。そのため上述のように、単純に輝度レンジをマッピングした場合、異なるルックアップテーブル「ＬＵＴ２」が用いられた結果、従来のＳＤＲに対する色補正の結果と比較し貧弱な印象の画像となることが考えられる。

そこで本実施の形態では、図３の（ｂ）に示すように、表示装置１６がＳＤＲの信号に対し実施していた色補正の処理を、画像処理装置１０が代わりに実施したうえで、ＨＤＲの輝度レンジにマッピングする。例えば表示装置に実装されているルックアップテーブル「ＬＵＴ１」のデータを取得して色補正を行う。これにより表示装置１６では、元の動画がＳＤＲかＨＤＲかに関わらず、ＨＤＲのための信号処理を一律に行えばよいため、切り替え処理のための遅延が生じないうえ、ＳＤＲの信号に対し従来得られていたのと同等の画像を表示できる。

なお画像処理装置１０が取得するデータは、色補正のためのルックアップテーブルに限らない。例えば表示装置１６が、ルックアップテーブルを持たずに関数により画素値の変換を行っている場合は当該関数でもよい。また、表示装置においてＳＤＲの階調をＨＤＲの階調に圧縮する際の圧縮率Ｒ、ｘｙ色度図におけるＲＧＢなどのプライマリカラーや白色点の位置座標、表示装置１６が表示できる最大輝度あるいはその平均値、黒を表現する際の最大輝度、などの少なくともいずれかでよい。すなわち、表示装置１６がＳＤＲの信号、あるいは当該信号を変換してなる輝度の値に対し行っている補正や変換に用いるデータのいずれであってもよい。以後、そのようなデータを「色制御メタデータ」と呼ぶ。

図４は画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、ネットワーク８などへ接続する有線または無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、入力装置１４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。通信部３２はまた、ネットワーク８を介してサーバなど外部の装置と通信を確立し、動画像など電子コンテンツのデータを取得したり、画像処理装置１０内部で生成されたデータを送信したりしてもよい。

ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６から出力することにより、表示装置１６に画像を表示させる。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は、画像処理装置１０と表示装置１６の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図４に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像処理装置１０は、入力装置１４からの入力情報を取得する入力情報取得部５０、表示装置１６の色制御メタデータを取得するメタデータ取得部５２、画像のデータを生成する画像生成部５６、画像の生成に用いるデータを格納する画像データ記憶部５４、ＳＤＲの画像に対し色補正や輝度レンジのマッピングを行う補正・変換部５８、画像のデータを表示装置１６に出力する画像出力部６０を含む。

入力情報取得部５０は入力部３８、通信部３２、ＣＰＵ２３などで実現され、ユーザ操作の内容を示すデータを入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションや出力するコンテンツの選択、処理の開始／終了、アプリケーションに対するコマンド入力など、一般的なコンテンツ処理に対しなされるものでよい。入力装置１４として撮像装置や各種センサを導入する場合、入力情報取得部５０は撮影画像やセンサの出力値などのデータを取得してもよい。

入力情報取得部５０はまた、動画など電子コンテンツのデータを、ネットワーク８を介してサーバから取得してもよい。入力情報取得部５０は取得したデータを画像生成部５６に供給する。メタデータ取得部５２は入力部３８、通信部３２、ＣＰＵ２３などで実現され、表示装置１６が最初に接続された際など所定のタイミングで、表示装置１６から色制御メタデータを取得する。ただし色制御メタデータの取得タイミングや取得元はこれに限定されない。例えばメタデータ取得部５２は、表示装置の型格と色制御メタデータとを対応づけたデータベースを有する図示しないサーバに問い合わせることにより、接続された表示装置１６に対応する色制御メタデータを取得してもよい。

そのようなデータベースを、表示装置１６やメタデータ取得部５２自体が内部で保持していてもよい。またメタデータ取得部５２は、接続された表示装置１６内部でＳＤＲの画像データに対しなされる補正や変換処理に用いる全てのメタデータを取得しなくてもよい。例えばメタデータ取得部５２には、表示装置共通の一般的なメタデータを格納しておき、接続された表示装置１６から取得した一部のメタデータと組み合わせることにより色補正などを行えるようにしてもよい。場合によっては、当該一般的なメタデータのみで色補正などを行うようにしてもよい。

画像生成部５６はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、入力情報取得部５０から取得したユーザ操作等の情報に従い表示画像のデータを生成する。例えばユーザがゲームを選択した場合、画像生成部５６はユーザ操作やセンサの出力値などに応じたゲーム画像を所定のフレームレートで描画する。この際、画像生成部５６は、ゲームを進捗させるためのプログラムや、画像を描画するためのオブジェクトモデルのデータなどを、画像データ記憶部５４から適宜読み出す。

あるいは画像生成部５６は、ユーザが指定した動画や静止画のデータを復号、伸張してもよい。当該画像のデータは、画像データ記憶部５４に格納しておいたものでもよいし、ネットワーク８を介してサーバから配信されたものでもよい。あるいは入力装置１４に含まれる撮像装置が撮影した画像のデータを取得し、復号、伸張してもよい。

補正・変換部５８はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、画像生成部５６が生成した画像のデータのうち、ＳＤＲの輝度レンジで表現されているデータをＨＤＲの輝度レンジでのデータに変換する。この際、補正・変換部５８は、メタデータ取得部５２が取得した色制御メタデータを用い、表示装置１６内部でＳＤＲの信号に対しなされる色補正処理などと同等の処理を実施する。

補正・変換部５８は例えば、各画素に対するＲＧＢの輝度のセットを、ルックアップテーブルを用いて変換することにより色補正を行う。そして変換後の輝度をＨＤＲの電気信号の階調に量子化する。あるいはＳＤＲの量子化されたデータを、ルックアップテーブルを用いて色補正したあと、ＨＤＲの輝度レンジにおける階調となるようにさらに変換する。ＳＤＲ輝度空間での階調をＨＤＲ輝度空間での階調に割り当てる際の圧縮率Ｒとして、メタデータ取得部５２が表示装置１６から取得した値を用いてもよい。

また、表示装置１６のディスプレイが実際に表すことのできる最大輝度や、黒を表現するための最大輝度は、表示装置固有のものである。表示装置は一般に、入力された画像の輝度を、実際に表すことのできる輝度の範囲に収めるための変換も行っている。したがって補正・変換部５８は、当該輝度の範囲を色制御メタデータとして取得し、同等の変換処理を行ってもよい。このように補正・変換部５８が行う補正、変換の内容は、その一部が実質的に表示装置１６でなされる補正や変換と同等であればよく、厳密に同一である必要はない。

例えば表示装置１６でなされる色補正のための処理と、ＳＤＲの階調をＨＤＲの階調に割り当てる処理を同時に実現するルックアップテーブルを作成しておくことで、運用時の処理を高速化してもよい。あるいはＳＤＲの階調をＨＤＲの階調に割り当てる処理を実施したあとに色補正のための処理を実施してもよい。画像出力部６０はＣＰＵ２３、ＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、画像生成部５６が生成した画像のデータをＨＤＲの規格に従い量子化するなどして表示装置１６に出力する。画像生成部５６が生成した画像がＳＤＲの場合、画像出力部６０は、色補正やＨＤＲへの輝度のマッピングがなされたデータを補正・変換部５８から取得して出力する。

補正・変換部５８の機能にＨＤＲの電気信号への変換を含める場合は、画像出力部６０はその処理を省略できる。画像生成部５６が生成した画像が元からＨＤＲの場合は、画像出力部６０はそのデータを画像生成部５６から直接取得し、ＨＤＲの電気信号に変換して出力する。あるいは画像出力部６０は後述するように、補正・変換部５８がＳＤＲからＨＤＲの輝度レンジに変換した画像と、画像生成部５６から直接取得したＨＤＲの画像とを合成して出力してもよい。いずれの場合も画像出力部６０は、ＨＤＲの規格に従う信号を表示装置１６に出力する。

表示装置１６は、色制御メタデータを格納するメタデータ記憶部７０、メタデータを画像処理装置１０へ出力するメタデータ出力部７２、画像処理装置１０から画像のデータを取得する画像データ取得部７４、画像のデータを表示時の輝度の値に変換する輝度取得部７６、および、ディスプレイを駆動させて画像を表示する表示部７８を含む。

メタデータ記憶部７０は、表示装置１６がＳＤＲの画像の信号を受信した際、当該画像に対し内部で行うべき色補正などに用いる色制御メタデータを格納する。メタデータ出力部７２は画像処理装置１０からの要求に応じて、メタデータ記憶部７０から読み出した色制御メタデータを画像処理装置１０へ出力する。画像データ取得部７４は、画像処理装置１０から画像のデータを取得する。このデータは上述のとおり、元の画像の輝度レンジによらずＨＤＲの信号である。ただし表示装置１６は従来どおり、画像処理装置１０からＳＤＲの信号を取得する系を有していてもよい。

輝度取得部７６は、画像のデータを逆量子化することにより、ＲＧＢの輝度のセットを画素ごとに取得する。画像処理装置１０から入力されるデータが、ＨＤＲの規格による信号で統一されていることから、逆量子化に用いる演算も統一される。また輝度取得部７６は、図３で示したようにルックアップテーブルを用いるなどして色補正を実施してもよいが、これもＨＤＲの画像に対する処理を一律に行えばよい。すなわち輝度取得部７６は、ＨＤＲの信号に対し一般的な表示装置が施す補正・変換処理を実施すればよい。

なお輝度取得部７６は、メタデータ記憶部７０から色制御メタデータを読み出すことにより色補正を行ったうえで輝度を取得するＳＤＲの信号用の処理機能を別途有していてよいが、本実施の形態においては必須でないため図示を省略している。表示部７８は、輝度取得部７６が取得した輝度で各画素の各色が表されるように、ディスプレイを駆動させることによって画像を表示する。これらの機能によって、表示装置１６での処理の切り替えの必要なく、元のデータの輝度レンジによらず最適な色調で画像を表示できる。

図６は、複数の画像を合成する態様に本実施の形態を適用した場合の効果を説明するための図である。同図（ａ）、（ｂ）はいずれも、ゲームや動画などコンテンツ自体を表すメインの画像２１０ａ、２１２ａに、コンテンツに対する設定や操作を行うためのＧＵＩ（Graphical User Interface）の画像２１０ｂ、２１２ｂを重畳させて表示する態様を示している。メインの画像２１０ａ、２１２ａはコンテンツを提供する側の都合や制作時期によって、ＳＤＲ輝度空間で表されたものとＨＤＲ輝度空間で表されたものとが混在し得る。

一方、ゲーム機やコンテンツ再生装置などが提供するＧＵＩの機能を呼び出す場合、ＧＵＩの画像２１０ｂ、２１２ｂは一律にＳＤＲの輝度空間で表されていることが考えられる。（ａ）に示すように、メインの画像２１０ａとＧＵＩの画像２１０ｂがどちらもＳＤＲで表現されている場合、各画素の値を所定の割合で足し合わせるなど単純な処理で合成がなされ、合成画像２１０ｃを表示できる。

この際、ＳＤＲの信号を取得した表示装置１６では、ＳＤＲによる表現でもディスプレイの性能を最大限に活かすような色補正処理がなされる。（ｂ）に示すようにメイン画像２１２ａがＨＤＲ、ＧＵＩの画像２１２ｂがＳＤＲの輝度空間で表現されている場合、前者については元来有する豊富な階調表現が実現されている。一方、ＧＵＩの画像２１２ｂに対し、単純に圧縮率Ｒを乗算してＨＤＲの輝度レンジでの値に変換し合成すると、その合成画像におけるＧＵＩは、（ａ）のケースの合成画像２１０ｃにおけるＧＵＩより貧弱な色味となりやすい。

すなわちコンテンツ自体の設定輝度レンジに依存して、ＧＵＩなど重畳表示する画像の色調が変化することが起こり得る。本実施の形態の画像処理装置１０では、（ｂ）に図示するように、補正・変換部５８が合成処理の前段として、ＳＤＲの画像の色補正、ＨＤＲの輝度レンジへのマッピングを実施する。これにより、従来のＳＤＲのコンテンツに重畳表示させた場合と変わりない色調で、ＧＵＩを安定的に表示できる。

なお（ａ）のケースについても本実施の形態を適用することもできる。すなわち補正・変換部５８は、合成処理を経て生成されたＳＤＲの合成画像２１０ｃに対し色補正処理を施したうえＨＤＲの輝度レンジにマッピングする。または合成前の画像２１０ａ、２１ｂに対し色補正処理を施したうえで合成し、ＨＤＲの輝度レンジにマッピングする。このようにすると、（ａ）のケースと（ｂ）のケースで表示装置１６が取得する信号がＨＤＲに統一されるため、切り替え処理に時間を要することがない。ただしそのような即座の切り替えを必要としない環境においては、（ａ）のように画像データをＳＤＲの信号として出力する系と、（ｂ）のようにＨＤＲの信号として出力する系を併用するようにしてもよい。

次に、これまで述べた構成によって実現される画像処理装置１０の動作について説明する。図７は本実施の形態における画像処理装置１０が、画像データを生成して表示装置に出力する処理手順を示すフローチャートである。まずメタデータ取得部５２は、画像処理装置１０に接続されている表示装置１６の色制御メタデータを取得しておく（Ｓ１０）。上述のとおりこの処理は、画像生成処理に先立つ任意のタイミングで行ってよい。その後、入力情報取得部５０は、コンテンツ選択などのユーザ操作の情報の取得を開始する（Ｓ１２）。

次に画像生成部５６は、Ｓ１２で指定されたコンテンツを適宜処理し、画像フレームを描画あるいは復号することにより生成する（Ｓ１４）。生成した画像がＳＤＲの輝度レンジで表されている場合（Ｓ１６のＹ）、補正・変換部５８は当該データを、Ｓ１０で取得された色制御メタデータを用いて補正したり変換したりしてＨＤＲの輝度空間のデータとする（Ｓ１８）。画像出力部６０は、Ｓ１８で生成されたＨＤＲのデータ、または画像生成部５６が生成した、元からＨＤＲで表されていた画像（Ｓ１６のＮ）のデータを表示装置１６に出力する（Ｓ２０）。

この際、画像出力部６０がＨＤＲの規格に従い輝度を電気信号に変換してもよいし、補正・変換部５８が色補正と量子化を同時に行い、画像出力部６０はそれを順次出力するのみでもよい。また図６に示した画像の合成を実現する場合、画像出力部６０は、画像生成部５６が生成したメインの画像に、補正・変換部５８が色補正、変換したＧＵＩの画像を合成したうえで出力してもよい。全フレームの出力が完了していなければ（Ｓ２２のＮ）、次の画像フレームについてＳ１４からＳ２０の処理を繰り返す。表示装置１６ではＨＤＲの画像に対する一般的な処理により映像が表示される。表示すべき全フレームの出力が完了したら処理を終了する（Ｓ２２のＹ）。

以上述べた本実施の形態によれば、生成した画像をＳＤＲ、ＨＤＲに対応する表示装置に表示させる画像処理装置において、ＳＤＲの輝度空間で表された画像をＨＤＲの輝度空間にマッピングしたうえでＨＤＲの信号とする。これにより表示装置側では、入力された信号の輝度空間に依存した処理の切り替えが必要なくなる。輝度空間のマッピングに際しては、表示装置がＳＤＲの画像データに対し行う、表示装置固有の色補正処理を実施する。結果として、異なる輝度空間で表されたコンテンツが混在する状況においても、画質に影響を与えることなく、シームレスな切り替えを実現できる。

ＳＤＲの画像を、色補正しＨＤＲの輝度空間に変換する機能により、当該ＳＤＲの画像を単体で表示させる場合に加え、ＨＤＲの画像上に重畳表示させる場合も、同じ処理系を利用して容易な合成が可能となる。この場合も、ＳＤＲで表現された画像の色調を画像処理装置側で保証することにより、合成する画像の設定輝度空間の組み合わせによらず、安定した色調で画像を表示できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では画像処理装置が、ＳＤＲの画像をＨＤＲでのデータに変換することを想定したが、変換前後の輝度レンジは特に限定されない。また輝度レンジの変換以外の処理を実施してもよい。すなわち、表示装置が本来行うべき色補正処理を、色制御メタデータを用いて画像処理装置が代わりに行い、そのうえで何らかの加工や変換処理を行うような態様によれば、結果として表される画像の色調に影響を与えずに、当該加工や変換を、画像処理装置側で自由に行える、という効果を発揮する。その意味において、本願発明が処理の対象とする画像の輝度レンジや表示装置が対応する輝度レンジの組み合わせは特に限定されない。

８ ネットワーク、 １０ 画像処理装置、 １４ 入力装置、 １６ 表示装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ５０ 入力情報取得部、 ５２ メタデータ取得部、 ５４ 画像データ記憶部、 ５６ 画像生成部、 ５８ 補正・変換部、 ６０ 画像出力部、 ７０ メタデータ記憶部、 ７２ メタデータ出力部、 ７４ 画像データ取得部、 ７６ 輝度取得部、 ７８ 表示部。

Claims (7)

1. 画像のデータを生成して、第１の輝度空間で表された画像および第２の輝度空間で表された画像を切り替えて表示可能な表示装置に出力する画像処理装置であって、
   前記表示装置が内部で実施する、前記第１の輝度空間で表された画像の色補正の処理に用いるメタデータを取得するメタデータ取得部と、
   生成した前記第１の輝度空間で表された画像に対し、前記メタデータを用いた前記色補正の処理の少なくとも一部を、前記表示装置の代わりに実施したうえで、前記第２の輝度空間でのデータに変換する補正部と、
   前記第２の輝度空間に統一された画像のデータを前記補正部から取得して、前記表示装置に出力する画像出力部と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１の輝度空間で表された画像と、前記第２の輝度空間で表された画像とを生成する画像生成部をさらに備え、
   前記画像出力部は、前記第２の輝度空間で表された画像のデータを、前記画像生成部および前記補正部の少なくともいずれかから取得して前記表示装置に出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像出力部は、前記補正部から取得した画像と、前記画像生成部から取得した画像とを、前記第２の輝度空間において合成したうえ、前記表示装置に出力することを特徴とする請求項２に記載の画像処理装置。
4. 前記メタデータ取得部は、表示装置が画素値を変換するための変換規則、ｘｙ色度図におけるプライマリカラーの位置座標、同色度図における白色点の位置座標、の少なくともいずれかを、前記メタデータとして取得することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記メタデータ取得部は、前記画像処理装置に接続された前記表示装置の前記メタデータを、当該表示装置または、ネットワークを介して接続したサーバから取得することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 画像のデータを生成して、第１の輝度空間で表された画像および第２の輝度空間で表された画像を切り替えて表示可能な表示装置に出力する画像処理装置による画像処理方法であって、
   前記表示装置が内部で実施する、前記第１の輝度空間で表された画像の色補正の処理に用いるメタデータを取得するステップと、
   生成した前記第１の輝度空間で表された画像に対し、前記メタデータを用いた前記色補正の処理の少なくとも一部を、前記表示装置の代わりに実施したうえで、前記第２の輝度空間でのデータに変換するステップと、
   前記第２の輝度空間に統一された画像のデータを取得して、前記表示装置に出力するステップと、
   を含むことを特徴とする画像処理方法。
7. 画像のデータを生成して、第１の輝度空間で表された画像および第２の輝度空間で表された画像を切り替えて表示可能な表示装置に出力するコンピュータに、
   前記表示装置が内部で実施する、前記第１の輝度空間で表された画像の色補正の処理に用いるメタデータを取得する機能と、
   生成した前記第１の輝度空間で表された画像に対し、前記メタデータを用いた前記色補正の処理の少なくとも一部を、前記表示装置の代わりに実施したうえで、前記第２の輝度空間でのデータに変換する機能と、
   前記第２の輝度空間に統一された画像のデータを取得して、前記表示装置に出力する機能と、
   を実現させることを特徴とするコンピュータプログラム。