JP2012104879A - 画像撮像装置、画像表示装置、画像処理方法、画像処理プログラム、および画像撮像表示装置 - Google Patents

Abstract

【課題】 従来のデジタルカメラ等の撮像装置においては、人間の眼の収差は考慮されておらず、本来人間が見ている眼の収差を含むそのままの状態を再現することはできない。
【解決手段】 撮影時情報から撮影者の瞳孔径を推定し、瞳孔径から眼の収差量を求め、撮影画像に対してその補正を行い、人間の眼の収差を含む画像を再現することで、人間が撮影時に見ている、眼の収差を含むそのままの像を近似的して再現可能な画像撮像装置を提供する。
【選択図】 図１

Description

本発明は画像データ取得時の画像データ取得者の視覚特性を記録し、該画像データに記録保持する画像撮影装置、および前記視覚特性を考慮し画像データに補正処理を行う画像処理方法、および、該画像データを表示する画像表示装置に関する。

近年、デジタルカメラは小型・高性能化され、専用のカメラとして以外にも、携帯電話、モバイルパソコン、携帯ゲーム機等に搭載され、様々な用途で使用されている。

そして撮影時には、被写体の明るさや照明等、撮影環境に応じてピントや露出、ホワイトバランス等の各種調整が、自動または手動で行なわれ、その撮影結果ができるだけ実際の被写体と撮影した画像で物理的に近似するようにされている。

前記デジタルカメラ等に装着されている光学レンズには、一般に収差が抑制されるように設計されたものが用いられている。

一方、人間は、眼の水晶体により被写体の像を網膜上に光学的に結像させ、網膜上の視覚神経細胞により得られた信号を脳内で像として認識することで、物体や風景を知覚する。水晶体は、前記光学レンズのように収差が抑制されてはいないので、前記網膜像には少なからず収差が含まれている。

知覚された像に収差の影響が感じられにくいのは、網膜上の視覚神経細胞により得られた信号を脳内で像として認識する際に補正を行なっているためである。しかし、脳内でも補正しきれない収差が発生している場合、収差を伴った像として、知覚される。

その結果として、上記撮影画像は、必ずしも撮影者の知覚していた像と一致しているとは限らない。

撮影した画像に対して、眼で見た状態に近似させ、高い質感を与えるため、被写体の各部分までの距離情報を基に、合焦状態に応じたぼけ効果を付加する画像処理装置が提案されている。（特許文献１）

特開２０００−２０７５４９号公報

しかしながら、本発明者らが検討を行なったところ、特許文献１のような画像処理を行なったとしても、なお下記のような課題が残されていることが判明した。

人間の眼の瞳孔の大きさ（瞳孔径）が周辺環境光の明るさにより変化することは、一般的によく知られている。この瞳孔径と関連した収差として、球面収差や色収差などが挙げられる。色収差は、光の波長（色）による焦点位置のずれが原因で発生し、その結果、焦点のずれた色による像がぼけて知覚されるものである。また、その色収差の量は瞳孔径が大きい程増大するため、様々な条件によって瞳孔径が変化すると、それに伴って人間が知覚する見え方にも変化が起きていることがわかった。

以下、本発明は瞳孔径の変化に伴う色収差を例に説明する。

ただし前述のように瞳孔径の変化に伴う収差において球面収差などの色収差以外の収差についても同様に本発明を適用可能である。

本発明者らが行った実験によれば、眼に発生する色収差の違いによる影響は、人間が認識できるコントラスト感度の差として現れることがわかった。特にＲＧＢ３色の内、Ｂ（青色）におけるコントラスト感度がＲ（赤色）やＧ（緑色）のコントラスト感度に比較して、より低下し易いことが確認された。

＜コントラスト感度とぼけの関係＞
本発明者らは輝度の異なる２枚の矩形画像（テストパッチ）を隣接して配置し、その輝度差がどこまで判別できるかにより、コントラスト感度を評価した。その結果、瞳孔が大きく開いている場合、すなわち色収差が強く発生している場合、赤色や緑色に対するコントラスト感度より青色に対するコントラスト感度の方が低いことがわかった。

一方、ピンホールを通して見ることによって、瞳孔径が小さい場合を模した同様の実験では赤色、緑色、青色に対するコントラスト感度が同等、もしくは青色に対するコントラスト感度が赤色、緑色に対するそれに近づくという結果が得られた。これは瞳孔径が狭められた結果、眼の色収差が減少しコントラスト感度が向上したことによるものと推測される。

図１２を用いてその理由を概念的に説明する。

図１２は前述の輝度の異なる２枚の矩形画像（テストパッチ）を隣接して配置し、それぞれのパッチ領域の明るさ感覚量を示した図であり、横軸に空間座標、縦軸に明るさ感覚量を示してある。

テストパッチが赤色、緑色の時、その明るさ感覚は、二枚のパッチの位置に一致して感じられる（実線１２０１）。

一方、青色に対する明るさ感覚は、眼の青色波長領域に対する色収差の影響でボケが生じ、その明るさ感覚は、二枚のパッチの隣接部で混じり合い緩やかな勾配をもって変化するように感じる（破線１２０２と領域１２０３）。１２０１で表される感覚量の方が、１２０２で表される感覚量より高いコントラスト感度を示すことは明らかである。

以上のように明るさ感度の差であるコントラスト感度は眼の色収差に大きく影響され、色収差による空間解像力が悪くなるほどコントラスト感度も低下する。

前述では色収差によって青色においてぼけが起こり易いことについて説明した。視力によっては、眼の網膜上で発生している色収差、及び色収差のぼけへの影響の様子が異なることも見出されている。例えば近視の人の場合には、赤色にぼけが発生し易いことが知られている。これは、近視の人の場合は焦点距離が短い青色に焦点が合い易くなっているためと考えられる。

前述の通り、従来のデジタルカメラ等の撮像装置においては、撮影者の眼の色収差は考慮されておらず、撮影者の眼の色収差によって起こるぼけを含む画像、すなわち撮影者が知覚している被写体の像を近似して再現することはできなかった。

特許文献１に記載の技術では、距離情報を基にぼけ効果を付加し、仮想的な撮像光学系によって得られる像を再現しようとしている。更に、色収差についても考慮しているものの、撮影レンズの特性によって発生する色収差についてのみ考慮しており、撮影者の知覚した像を再現することは全く考慮されていない。従って、特許文献１に記載の技術を用いた場合でも、撮影者の眼に発生する色収差の影響を考慮することによる撮影者の知覚している被写体の像を近似して再現することは不可能であった。

本発明は、撮影者の眼に発生している収差に関する情報を撮影画像に付加し、それを利用することにより、撮影者が知覚していた被写体の像を近似して再現することで、人間の感覚に近づけた、感性的に高い評価値が得られる画像撮像表示装置を提供することを目的としている。

上記目的を達成するため、本発明による画像撮像装置では、撮影時情報を取得する撮影時情報取得部と、前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、前記瞳孔径推定部により得られた撮影者の瞳孔径情報を、前記画像データと共に前記記録媒体に記録する画像記録部と、を有することを特徴とする。

また、上記目的を達成するため、本発明による画像表示装置では、画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定部と、前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、を有することを特徴とする。

また、上記目的を達成するため、本発明による画像撮像表示装置では、撮影時情報を取得する撮影時情報取得部と、前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、前記瞳孔径推定部により得られた撮影者の瞳孔径情報から、収差補正のための収差補正量を決定する収差補正量決定部と、前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、を有することを特徴とする。

撮影者の眼に発生している収差に関する情報を撮影画像に付加し、それを利用することにより、撮影者が見ていた像を再現することで、人間の感覚に近づけた、感性的に高い評価値が得られる画像撮像表示装置を提供することができる。

実施例１および２の構成図である。 撮影スタイルのイメージ（ライブビュー）である。 シャッター速度と絞り値からのＥＶ値への換算表である。 ＥＶ値／照度／輝度の対応表である。 環境光輝度に対する瞳孔径の一般特性である。 実施例２での青色及び緑色に関するＭＴＦと色補正量の関係の説明図である。 実施例３の構成図である。 実施例３の背面サブカメラによる撮影者画像の撮影イメージである。 実施例３および４による画像記録部への保存ファイルデータである。 実施例４の構成図である。 実施例４による撮影時の外光照度の測定イメージである。 色収差によるぼけとコントラスト感度の関係についての説明図である。

本発明は、各種の撮影時情報から撮影者の瞳孔径を推定し、瞳孔径から撮影者の眼に発生している収差を求め、その収差に対する補正を画像に対して行うことを主旨とする撮像装置、表示装置、処理装置、処理プログラム、撮像表示装置である。

本発明において、画像とは、静止画だけでなく、動画も含む用語である。

（撮影時情報取得部）
本発明における撮影時情報とは、撮影者の瞳孔径を推測するために用いられる撮影時の各種状態情報であり、その代表的なものは、以下の３種類に分類される。
１．撮影時の周辺の光量、天気、気温、場所といった「環境に関する情報」
２．撮影者の表情や心拍数等、精神的、肉体的な状態、撮影者の眼を含む画像といった「撮影者自身の情報」
３．撮影時の露出、色温度等、主に撮影機材から得られる「撮影条件に関する情報」
例えば光量や天気であればフォトダイオードを用いた外光センサ、温度計、気圧計等を用いて測定可能である。

また、瞳孔径は周辺の明るさの変化だけでなく、精神的な要因によっても変化することが知られている。一例としては、興奮や感動状態にあるときは瞳孔径は大きくなり、緊張状態では瞳孔径は小さくなる。撮影者の精神的な状態を取得する方法としては、例えば、カメラのグリップ部に内蔵した心拍数のセンサで撮影者の心拍数情報を取得する方法、グリップ部に設けた抵抗計による皮膚表面の抵抗値を取得する方法等が挙げられる。

ただし、本発明に用いられる撮影時情報、及び撮影時情報取得部は、撮影者の瞳孔径を推定するために用いることができるものであれば、上記のものに限定されず、他のものも用いられ得る。

（瞳孔径推定部）
本発明における瞳孔径推定部では、前記撮影時情報から直接的に、もしくは間接的に撮影者の瞳孔径を推定する。

本発明の実施例においては、代表的なものとして、「環境に関する情報として環境光照度」、「撮影者自身の情報として撮影者の眼を含む画像」、「撮影条件に関する情報として画像の露出情報」を用いた例で説明している。ただし、本発明に用いられる瞳孔径推定部は、撮影者の瞳孔径を推定することができるものであれば、上記のものに限定されず、用いられ得る。

また、精度よく瞳孔径を推定するためには、複数の撮影時情報を併用する形がより望ましい。

（画像記録部）
本発明における画像記録部では、前記瞳孔径推定部で得られた撮影者の瞳孔径情報を画像データと共に記録媒体に記録する。

本発明においては、瞳孔径情報を記録する際に、瞳孔径の数値そのものを記録する場合に限らず、例えば所定の瞳孔径ランクのいずれに該当するかを記号化して記録するような場合も含む。また、瞳孔径情報と共に、前記撮影時情報も合わせて記録することは、撮影時の状況を記録する意味で、好ましい。

（収差補正量決定部）
本発明における収差補正量決定部では、前記瞳孔径情報から、撮影者の眼に発生していた収差の効果を近似的に再現する収差補正を行なうための収差補正量を決定する。

本発明の収差補正量決定部では、撮影者の眼に発生している収差を含む、撮影者が知覚した被写体の像を近似して表示するため、高調波成分の抑制のような空間周波数成分処理、平均化処理や階調処理のような処理により、視覚特性に合わせるように収差補正量を決定する。

（収差補正処理部）
本発明における収差補正処理部では、前記収差補正量決定部で決定した補正量を用いて、画像に対する収差補正処理を行う。

実施例１は、撮影時の露出情報から求めた環境輝度を用いて撮影者の瞳孔径を推定し、撮影した画像に瞳孔径情報を埋め込んで保存する機能を持つ画像撮像装置である。

以下、実施例１について図面を参照しながら説明する。

＜構成＞
本発明による実施例１の画像撮像装置は、図１（ａ）に示すような構成となっている。

構成中、画像取得部１０１、画像処理部１０２、画像記録部１０３は、一般的なデジタルカメラと共通な部分であるが、本実施例を説明する上で無関係な部分については、大幅にまとめて簡略化してある。

そしてこれらに加え、本実施例での特徴的な構成として、撮影時情報取得部１０４、瞳孔径推定部１０５、環境輝度に対する瞳孔径テーブル１１０を備えている。

各部の役割について簡単に説明する。

画像取得部１０１は、レンズ等の光学部品、シャッター等の機械部品、各種操作部であるユーザーＩ／Ｆ、撮像素子、Ａ／Ｄコンバータ等、撮影対象である被写体の光学情報が、デジタルデータに変換されるまでの機能を担う。

画像処理部１０２は、デジタル化された画像の生信号データから、汎用の画像ファイルへの生成処理を担う。

画像記録部１０３は、生成された画像を蓄えておく記録媒体（ＳＤカード等）である。

ここまでが、一般的なデジタルカメラと共通部分である。

続いて、本実施例での特徴的な構成部分の役割を簡単に説明する。

撮影時情報取得部１０４は、瞳孔径を推定するための情報として、撮影時の露出情報を得る。

瞳孔径推定部１０５は、撮影時情報（本実施例においては露出情報）を基に、撮影者の瞳孔径を推定するまでの処理を担う。

環境輝度に対する瞳孔径テーブル１１０は、環境輝度値から瞳孔径への変換値がＬＵＴとして保存されている。

＜処理の流れ＞
全体の処理の流れについて図１（ａ）を参照しながら説明する。

まず、撮影者が撮影を行うと、画像取得部１０１は、撮影した画像の取得を行う。

次に取得した画像から、画像処理部１０２でホワイトバランス等の各種パラメータに基づき、最終形態であるＪＰＥＧ等、一般画像形式ファイルの生成処理を行う。

次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部１０４は、画像取得部１０１から、撮影時の露出情報（シャッター速度、絞り値等）を得る。

次に瞳孔径推定部１０５で、露出情報を輝度へ変換する。

露出情報から輝度への変換は、一括で算出も可能だが、ここでは説明をわかり易くするため、３つのステップに分けて説明する。
（１）シャッター速度、絞り値からＥＶ値へ変換する。（図３参照）
（２）ＥＶ値から照度へ変換する。（図４参照）
（３）照度から輝度へ変換する。（図４参照）
各ステップでの算出方法について以下に説明する。

（１）シャッター速度Ｔと絞り値Ｆから決まる露出量であるＥＶ値を次式により求める。

（２）ＥＶ値から照度Ｌを次式により求める。

（３）照度Ｌから輝度Ｂを次式により求める。

露出情報から輝度への変換が終了したら、求めた輝度から、環境輝度に対する瞳孔径テーブル１１０を参照して瞳孔径を推定する。

環境輝度に対する瞳孔径テーブルには、人間の瞳孔径と輝度の一般的な関係を示すグラフ（図５、５０１）をＬＵＴ化した値が保存されている。

撮影者の瞳孔径を推定したら、撮影者瞳孔径情報を画像処理部１０２へ転送する。
画像処理部１０２では、生成した撮影画像ファイルにＥＸＩＦ等を利用して瞳孔径情報を埋め込む。

ここで、瞳孔径情報の保存に利用するＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）について説明する。

ＥＸＩＦは、デジタルカメラで撮影した画像データに、撮影条件に関する情報を追加して保存できる、画像ファイル形式の規格である。撮影した画像データと併せて、撮影した日時やデジタルカメラの機種、シャッター速度や絞り値、画素数、ＩＳＯ感度、色空間、
といった様々な情報をまとめて記録することができる。

これらの書き込みフォーマットは基本的には共通であり、独自のデータは埋め込めないが、別途メーカーノートと呼ばれるメーカー独自の形式で記録可能なデータ部分がある。本発明の実施例１では、このメーカーノート等を利用して、瞳孔径データを埋め込む。

最後に、画像記録部１０３（ＳＤカード等の記録媒体）に瞳孔径情報が埋め込まれた画像ファイルの保存を行い、一回の撮影に対する一通りの処理が終了となる。

次に実施例２について説明する。

実施例２は、実施例１の画像撮像装置で撮影した撮影者の瞳孔径情報が埋め込まれた画像を、その瞳孔径情報を基に、色収差の補正を行い、画像を表示可能な画像表示装置である。

＜構成＞
本発明による実施例２の画像表示装置は、図１（ｂ）に示すような構成となっている。

各部の役割について簡単に説明する。

画像記録部１０３は、処理対象となる瞳孔径情報が埋め込まれた画像が記録されている。

色補正量決定部１０６は、撮影者の瞳孔径情報から色収差を推定し、色収差の補正量を決定する処理を担う。

瞳孔径に対する色収差量テーブル１０７は、各瞳孔径での色収差量があらかじめＬＵＴとして保存してある。

色補正処理部１０８は、オリジナル画像に対して高調波成分の抑制による色補正処理を施し、補正画像の生成処理を担う。

画像表示部１０９は、液晶等の本表示装置に内蔵されたモニタであり、補正した画像を表示する。

ただし、画像表示部については、直接の表示デバイスを持たずに、外部モニタ等への出力機能として置き換え、外部モニタで表示するような形としてもよい。

また、画像記録部１０３は、ＰＣのハードディスク等の記録装置とし、色補正処理を含む全処理をＰＣで行わせる画像処理装置としてもよい。

＜処理の流れ＞
全体の処理の流れについて図１（ｂ）を参照しながら説明する。

まず、色補正量決定部１０６では、画像記録部１０３に保存されている処理対象の当該画像から、埋め込まれている撮影者瞳孔径情報を読み込み、撮影時の撮影者瞳孔径を得る。

次に瞳孔径に対する色収差量テーブル１０７を参照して、色収差推定値を得る。瞳孔径に対する色収差量テーブルには、あらかじめ光学シミュレーションで計算した値が、ＬＵＴとして保存してある。

ここで、色収差量テーブル１０７の作成方法について説明する。

色収差量は、瞳孔径と、統計的に得られる水晶体の形状・屈折率分布情報を用いた、ＭＴＦ（ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）の光学シミュレーションにより計算する。色収差推定値は、一般に光学設計で用いられる軸上色収差と物理的に同じものであるが、次工程以降で行われる画像補正に適するように、異なる色に関するＭＴＦの比（Ｒａｔｉｏ）を表す関数ＭＲ（ν，Ｒ）（数式４）とする。 ここで、変数νは補正対象となる空間周波数、Ｒは瞳孔径である。

ここで、ＭＴＦ_λ（ν，Ｒ）は、入射光の波長がλの場合に、空間周波数ν，瞳孔径Ｒで生じる眼のＭＴＦである。 ＭＴＦの入射光の波長は、分子分母各々に対し、４７０、５５０ｎｍとしている。これらの数値は、青色及び緑色画素の分光輝度が最大になる波長を想定したものである。続く工程において、青色・緑色画素を用いた色補正を行うために、このような波長を選択したのであるが、他の色の画素を扱う場合や、分光輝度分布が特殊な場合には、波長の変更や、近くの波長に対するＭＴＦとの平均を用いれば良い。

空間周波数ν，瞳孔径Ｒを変数としたＭＴＦの比ＭＲ（ν，Ｒ）が計算されると［数４］は入力２変数（空間周波数ν，瞳孔径Ｒ）、出力ＭＲ（ν，Ｒ）のルックアップテーブルとして瞳孔径に対する色収差テーブル１０７に記録される。

このように生成されたＭＴＦ比の関数ＭＲ（ν，Ｒ）が記録保持された色収差テーブル１０７は、撮影者瞳孔径情報から推定された瞳孔径Ｒ’を入力として、空間周波数νを変数としたデータ列であるｆ（ν）を出力し、色補正量決定部１０６に色収差推定値ｆ（ν）として入力する。
ｆ（ν）＝ ＭＲ（ν，Ｒ’） Ｒ’＝ｃｏｎｓｔ．
色補正量決定部１０６では、得られた色収差推定値から色補正量を算出する。ここで得られる色補正量は、画像データのＢ面の空間周波数抑制に関する数値であり、数式５で与えられる。

変数ν_ｍｉｎ， ν_ｍａｘは、補正対象となる空間周波数帯の最小及び最大値、ｎは空間周波数帯のサンプル点数である。数式５の内容を理解するには色補正処理の知識が必要となるので、次の色補正処理と合わせて説明する。

色補正処理部１０８では、画像記録部１０３から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。

ここで色補正処理の方法について説明する。

画像記録部１０３から読み込まれた画像データは、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３色の色信号からなるカラー画像であり、Ｒｅｄ信号からなるＲ面、Ｇｒｅｅｎ信号からなるＧ面、Ｂｌｕｅ信号からなるＢ面、の３枚のカラー画像平面（ＲＧＢ面）から構成される。

まず、画像データのＲＧＢ面の中から補正対象であるＢ面を抽出した後、フィルタ処理によりＢ面を低周波成分と高周波成分に分離する。フィルタ処理は任意に決められるが、本実施例では、ガウシアンフィルタを用いて低周波成分を抽出し、元データから低周波成分を減算することで、高周波成分を抽出する。カットオフ周波数については後述する。

次にＢ面の高周波成分に対し、色補正量を積算する。分離していた、低周波成分に、補正処理したＢ面の高調波成分を合成して、色補正後のＢ面を作成した後、Ｒ，Ｇ面と合わせることにより、色補正後画像データを生成する。

ここで、数式５の内容、および空間周波数成分の分離処理におけるカットオフ周波数の選び方について図６を用いて説明する。図６（ａ）は入射光の波長が５５０ｎｍ（緑色光）で瞳孔径が最大の場合に相当する緑色ＭＴＦ６０１、及び入射光の波長が４７０ｎｍ（青色光）で瞳孔径が最大の場合に相当する青色ＭＴＦ６０２を模式的に示している。色収差の影響で、緑色光と比較して青色光がぼけるため、高周波成分において差が生じていることが確認できる。

色補正処理部１０８では、処理後の画像における青色ＭＴＦがこれと同じ程度のＭＴＦ特性となるように、青色光が形成する光強度分布（つまりＢ面の画素値）の高周波数成分を抑制する。

理想的には、Ｂ面の空間周波数成分を細かく分離し、数式４で与えられる関数ｆを周波数成分毎に積算すれば良いが、空間周波数成分の抽出に計算時間がかかるために現実的ではない。そこで、空間周波数の分離は二つとし、高周波成分を一律に抑制する。補正後の青色ＭＴＦ６０３を図６（ｂ）に模式的に示す。このように、補正後は、高周波成分が抑制され、ＭＴＦ６０２と近い特性となっており、色収差が再現できていることがわかる。

数式５により与えられる関数ｇは、高周波成分に一律に積算される増幅率であり、数式４で与えられるＭＴＦ比率の平均（相乗平均）値を用いている。平均を求める空間周波数帯域は、ｇの変数であるν_ｍｉｎ， ν_ｍａｘにより指定され、空間周波数帯のサンプル点数はｎで指定される。ν_ｍｉｎ， ν_ｍａｘは、両者ともカットオフ周波数６０４付近の数値を選択する必要があるが、処理後の画像にノイズが目立つようであれば低周波の数値を選択する。

処理後の青色ＭＴＦ６０３の形状からわかるように、カットオフ周波数６０４付近で不連続の段差が生じて画質劣化の要因となりうるが、処理自体が高調波成分の抑制であるため、実用上は問題ない。

最後に、色補正された画像が、画像表示部１０９へと転送され表示される。

なお、本実施例では波長５５０ｎｍの緑色光と波長４７０ｎｍの青色光との比から色収差によるＭＴＦの差を補正する事を目的としたが、他の収差による補正の場合（数４）の分母を目標とするＭＴＦ、分子を眼のＭＴＦとして補正しても同様である。

次に実施例３について説明する。

実施例３は、撮影から補正画像の表示まで、同じ装置内で行うようにした、画像撮像表示装置である。

＜構成＞
本発明による実施例３の画像撮像表示装置の構成を図７に示した。基本的には、実施例１による画像撮像装置と、実施例２による画像表示装置を合わせたような構成となっている。

実施例１との撮像装置としての違いは、撮影者の瞳孔径を推定するための撮影時情報として、撮影時に同時に撮影する撮影者画像を用いる点である。それに伴い、撮影時情報取得部７０４が、本実施例では、本体背面に内蔵された撮影者自身の画像を撮影するサブカメラ（図８、８０１）になっており、メイン画像の撮影と同時に、撮影者自身の画像を撮影可能となっている。その他処理上の違いとして、推定した瞳孔径の保存に、画像と対応した瞳孔径ファイルを別途生成し、瞳孔径情報として書き込む形としている。

また、実施例２との画像表示装置としての違いは、視力補正を行っていない近視の観察者を想定し、Ｒ面に色補正を行っている。なお色補正のための画像処理は、高調波成分の抑制に替え、平均化処理にて行っている。

なお、実施例３では、具体的な操作方法についての説明は省略するが、観察者の視力と眼鏡・コンタクトレンズの有無に関する情報を事前に設定画面等から登録してあることを前提とする。これらの情報は、補正を施す色の種類に影響する。観察者の視力が正常、あるいは、近視だが眼鏡をかけている場合は、実施例２と同じくＢ面への処理となるので省略し、観察者が近視で、眼鏡をかけていない場合についてのみ述べる。

また、本実施例３では、撮影者の眼を含む画像を本体背面のサブカメラで撮影する都合上、図２のように、撮影者２０１は、片手または両手を伸ばすようにカメラ本体２０２を保持する。そして、カメラ背面の液晶モニタ２０３に表示された、レンズを通して撮像素子が撮像した画像を見ながら構図を決める、ライブビューと呼ばれるスタイルでの撮影を前提としている。

全体の処理の流れについて図７を参照しながら説明する。

＜撮影時の処理の流れ＞
まず、撮影者が撮影を行うと、画像取得部７０１は、撮影した画像の取得を行う。

次に取得した画像から、画像処理部７０２でホワイトバランス等の各種パラメータに基づき、最終形態であるＪＰＥＧ等、一般画像形式ファイルの生成処理を行い、画像記録部７０３に保存する。

次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部７０４では、撮影者自身の画像を本体背面に設置されたサブカメラで撮影して取得する。

そして瞳孔径推定部７０５では、取得した撮影者画像から撮影者の瞳孔径を推定する。
瞳孔径推定には、撮影者画像から顔認識技術を用いて顔部分を抽出し、さらに顔の各パーツの相対位置関係から眼を拡大抽出する。そして、瞳の虹彩と瞳孔の境界をエッジ検出することで瞳孔部分のみを領域分離し、撮影者の瞳孔径を求める。

撮影者画像からの瞳孔径推定の方法には様々な手法が考えられるが、本実施例では、その手法を限定するものではない。

瞳孔径が推定できたら、画像記録部７０３へ撮影者瞳孔径情報として別ファイルで保存する。

図９（ａ）は３枚の画像を撮影した後の画像記録部内へ保存されているファイルデータ９００の例を示している。オリジナル画像９０１として、Ｄ００００１．ＪＰＧからＤ００００３．ＪＰＧが保存されており、それに加えてそれぞれの瞳孔径を記録したファイル９０２である、Ｐ００００１．＃＃＃からＰ００００３．＃＃＃も保存されている。

＜再生時の処理の流れ＞
撮影者（観察者）が、再生ボタン等、不図示のユーザーインターフェースにより画像の表示を指示すると、色補正量決定部７０６では、画像記録部７０３に保存されている処理対象の当該画像に対応した、撮影者瞳孔径情報ファイルを読み込み、撮影時の撮影者瞳孔径を得る。

次に瞳孔径に対する色収差量テーブル７０７を参照して、色収差推定値を得る。瞳孔径に対する色収差量テーブルには、あらかじめ光学シミュレーションで計算した値が、ＬＵＴとして保存してあるのは、実施例２と同様である。

また、瞳孔径から色収差推定値得る際にも、実施例２同様数式４により色収差推定値を算出するが、分母のＭＴＦの波長を赤色画素の分光輝度が最大になる６３０ｎｍとする。上述したように、本実施例では、観察者が近視で眼鏡をかけずに表示画面を見ていることを想定している。焦点距離が短い青色光側にピントが合いやすく、赤色光がぼけやすい状態であるので、補正対象色を赤色とした。より補正効果を高めたいならば、視力に応じて青色と赤色の割合を変え、両方の色を同時に補正しても良い。

さらに色補正量決定部７０６では、得られた色収差推定値から色補正量を算出する。色補正量は、数式５で与えられる実施例２における色補正量を、平均化処理のパラメータに変換した値である。平均化処理パラメータへの変換関数は、事前に主観評価実験により作成する。具体的には、実施例２の色補正を行った画像と、Ｒ面に平均化処理を施した画像をいくつか生成し、その中から類似性が高い組を複数抽出する。実施例２の補正量と平均化処理パラメータの組がいくつかできるので、関数フィッティングにより両者の関係を関数化できる。

色補正処理部７０８では、画像記録部７０３から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。

ここで色補正処理の方法について説明する。

基本的には実施例２での処理と同様であるが、違いは実施例２では空間周波数に関する処理だったのに対し、実施例３では平均化処理になった点だけであるので、ここでは、平均化処理についての説明のみ行う。

平均化処理は、数式６で与えられるフィルタを使用する線形フィルタ処理である。

パラメータαは強調の程度を表すパラメータであり、色補正量はパラメータαを用いている。実施例２での高周波成分抑制処理と同様に、画像の高周波成分を抑制できる。計算負荷が実施例２の高周波成分強調処理より小さいため、高速に処理可能である。数式６で与えられるフィルタは３×３の大きさのものを使用しているが、平均化性能を高めたければ、より大きいサイズのものを使用しても良い。

最後に、色補正された画像が、画像表示部７０９へと転送され表示される。

次に実施例４について説明する。

実施例４は、実施例３と同様に、撮影から補正画像の表示まで、同じ装置内で行うようにした、画像撮像表示装置である。

＜構成＞
本発明による実施例４の画像撮像表示装置の構成を図１０に示した。基本的には、実施例３による画像撮像表示装置と同じような構成となっている。

実施例３との違いは、撮影時情報として外光照度を用いる点にある。そのため、外光照度を測定するためのセンサ（図１１、１１０１）が、本体上部に設置されている。

また、処理上の大きな違いとして、色補正処理量の決定において、撮影者の瞳孔径に加え、観察者の瞳孔径も考慮するようにしたことにある。なお、この観察者の瞳孔径の推定についても、外光測定用のセンサで測定した照度が用いられ、その処理は画像再生時に行われる。そして、色補正のための画像処理は、階調処理（階調変換）のみで行っている。

実施例２や３にでは、補正された画像を観察する際、明るい視環境、すなわち瞳孔が十分閉じており、眼の色収差の少ない状態で観察することを前提としている。これは、観察時に瞳孔が開いている、すなわち色収差が大きい場合、補正された画像をさらに色収差のある肉眼で観察することになるため、二重に補正されたような状態となってしまうことを避けるためである。

そこで、実施例４では、再生時も外光センサで測定した照度から観察時の瞳孔径を推定し、撮影時と観察時の瞳孔径を比較し、瞳孔径が同じなら補正はせず、異なった場合にのみ補正を行う。

これにより、環境を選ばず、いつでも精度の高い状態で補正画像の確認が行える。

全体の処理の流れについて図１０を参照しながら説明する。

＜撮影時の処理の流れ＞
まず、撮影者が撮影を行うと、画像取得部１００１は、撮影した画像の取得を行う。

次に取得した画像から、画像処理部１００２でホワイトバランス等の各種パラメータに基づき、最終形態であるＪＰＥＧ等、一般画像形式ファイルの生成処理を行い、画像記録部１００３に保存する。

次に撮影者が撮影を行うのとほぼ同じタイミングで、撮影時情報取得部１００４は、本体上部に設置された外光照度センサから、撮影時の環境照度を取得する。

次に瞳孔径推定部１００５で、撮影時の照度を輝度へ変換し、求めた輝度から、環境輝度に対する瞳孔径テーブル１０１０を参照して撮影時の瞳孔径を推定する。

照度から輝度への変換は、次式を用いて算出する。

瞳孔径が推定できたら、画像記録部１００３へ撮影者瞳孔径情報として別ファイルで保存する。

実施例３では、オリジナル画像と１対１で瞳孔径ファイルを保存したが、実施例４では、図９（ｂ）のように、全画像分の瞳孔径情報をまとめて一つのファイル９１２とし、順次追記していく形としている。

＜再生時の処理の流れ＞
観察者が、再生ボタン等、不図示のユーザーインターフェースにより画像の表示を指示すると、撮影時情報取得部１００４は、本体上部に設置された外光照度センサから、再生時の環境照度を取得する。

次に瞳孔径推定部１００５で、再生時の照度を、撮影時同様な方法で輝度へ変換し、求めた輝度から環境輝度に対する瞳孔径テーブル１０１０を参照して、再生時の観察者の瞳孔径を推定する。推定した瞳孔径は色補正量決定部１００６へ転送される。

さらに色補正量決定部１００６では、画像記録部１００３に保存されている瞳孔径情報ファイルを読み込み、当該画像に対応した撮影時の撮影者瞳孔径も得る。

次に瞳孔径に対する色収差量テーブル１００７を参照して、ＬＵＴより再生時と撮影時それぞれにおける色収差推定値を得る。他の実施例における色収差推定値はＭＴＦの比としていたが、本実施例においては階調変換により行っている。

色収差の副次的効果として、色の異なる点像のピーク値の明るさが低下することが知られている。本実施例における色収差推定値は、明るさ感覚量の比である。ただし、再生時と撮影時では逆の補正処理を行うため、再生時の色収差推定値と撮影時の色収差推定値の算出においては、分母分子が逆となっている。再生時と撮影時の色収差推定値を掛け合わせることで、再生時と撮影時を合わせた色収差推定値を求めることができる。（数式８）
また、ここで求めた色収差推定値は、そのまま色補正量となる。

ｆ’は撮影時の色収差推定値、ｆは再生時の色収差推定値である。ＳＥＮ_Ｔ，Ｒは、瞳孔径Ｒのときに色の種類Ｔの明るさに関する感覚量である。具体的には、部屋の照明の明るさを変化させて観察者の瞳孔径を操作し、瞳孔径が安定している状態で、色と明るさが異なる矩形パターンの比較を繰り返すような、主観評価実験で求めることができる。

色補正処理部１００８では、画像記録部１００３から保存されている処理対象の当該画像を読み込み、決定された色補正量に従い画像データに色補正処理を行う。

色補正処理は、実施例２での空間周波数関連の処理を階調変換に置き換えれば、実施例２と同じである。階調変換は、Ｂ面の全画素に対し、色補正量を一律に積算する階調変換処理を行う色補正となる。

最後に、色補正された画像が、画像表示部１００９へと転送され表示される。

１０１ 画像取得部
１０２ 画像処理部
１０３ 画像記録部
１０４ 撮影時情報取得部
１０５ 瞳孔径推定部
１０６ 収差補正量決定部
１０７ 瞳孔径に対する色収差量テーブル
１０８ 収差補正処理部
１０９ 画像表示部
１１０ 環境輝度に対する瞳孔径テーブル

Claims (10)

1. 被写体を撮像して画像データを生成し、前記画像データを記録媒体に記録する画像撮像装置において、
   撮影時情報を取得する撮影時情報取得部と、
   前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、
   前記瞳孔径推定部により得られた撮影者の瞳孔径情報を、前記画像データと共に前記記録媒体に記録する画像記録部と、
   を有することを特徴とする画像撮像装置。
2. 前記撮影時情報は、撮影を行なう際の露出、外光センサで測定された光量及び撮影者の眼を含む画像のうち少なくとも一つを含むことを特徴とする、請求項１に記載の画像撮像装置。
3. 記録媒体に記録された画像データを読み込み、画像表示手段に画像を表示可能な画像表示装置において、
   前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定部と、
   前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、
   を有することを特徴とする画像表示装置。
4. 前記収差補正処理は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを含むことを特徴とする、請求項３に記載の画像表示装置。
5. 記録媒体に記録された画像データを読み込み、画像表示手段に表示させるために画像を処理する画像処理方法において、
   前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定工程と、
   前記収差補正量決定工程により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理工程と、
   を有することを特徴とする画像処理方法。
6. 前記収差補正工程は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを行なうことを特徴とする、請求項５に記載の画像処理方法。
7. 記録媒体に記録された画像データを読み込み、画像表示手段に表示させるために画像を処理する画像処理プログラムにおいて、
   前記画像データと共に記録されている撮影者の瞳孔径情報を読み込み、前記瞳孔径情報から収差補正のための収差補正量を決定する収差補正量決定工程と、
   前記収差補正量決定工程により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理工程と、
   をコンピュータに行なわせることを特徴とする画像処理プログラム。
8. 被写体を撮像して画像データを生成し、前記画像データを記録媒体に記録し、画像表示手段に画像を表示可能な画像撮像表示装置において、
   撮影時情報を取得する撮影時情報取得部と、
   前記撮影時情報取得部により得られた撮影時情報から、撮影者の瞳孔径を推定する瞳孔径推定部と、
   前記瞳孔径推定部により得られた撮影者の瞳孔径情報から、収差補正のための収差補正量を決定する収差補正量決定部と、
   前記収差補正量決定部により得られた収差補正量を用いて前記画像に対する収差補正処理を行う収差補正処理部と、
   を有することを特徴とする画像撮像表示装置。
9. 前記撮影時情報は、撮影を行なう際の露出、外光センサで測定された光量及び撮影者の眼を含む画像のうち少なくとも一つを含むことを特徴とする、請求項８に記載の画像撮像表示装置。
10. 前記収差補正処理は、空間周波数成分処理、平均化処理、および階調処理のうち少なくとも一つを含むことを特徴とする、請求項９に記載の画像撮像表示装置。

Images