JP6384595B2 - 撮像装置、データ生成装置および画像処理装置 - Google Patents

Description

本発明は、撮像装置に関する。

互いに中心波長が異なる非可視の３波長帯のそれぞれに可視の３原色（ＲＧＢ）を割り当てる撮像システムが知られている。
［先行技術文献］
［特許文献］
［特許文献１］国際公開番号ＷＯ２００７／０８３４３７号公報

非可視の波長帯域から可視の波長帯域への変換が装置毎に恣意的に実行されていたので、可視色空間における色域を十分に利用することができなかった。

本発明の一態様における撮像装置は、可視外帯域に受光感度を有する撮像部と、撮像部の出力信号から生成される撮像データを可視色空間における画像データへ変換するための、被写体光束の波長に対する撮像部の出力特性である感度特性に基づいて定義される可視外波長情報を生成する生成部と、撮像データに可視外波長情報を関連付ける処理部と備える。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラの構成を説明する図である。 撮像素子の各光電変換部上に配置されたバンドパスフィルタを説明する図である。 撮像素子の出力特性を説明する図である。 撮像素子の出力特性により定義される空間を説明する図である。 撮像系色空間と表示系色空間の対応関係を説明する図である。 表示系色空間の色分布を説明する図である。 基準点を説明する図である。 撮像ファイルのファイル構造を示す図である。 バンドパスフィルタの種別と撮像系色空間の関係を説明する図である。 バンドパスフィルタと被写体スペクトルの関係を説明する図である。 デジタルカメラの処理の流れを示すフロー図である。 撮像系色空間情報の一例を示す図である。 撮像系色空間と表示系色空間の対応関係を説明する図である。 色割り当ての一例を説明する図である。 色割り当ての他の例を説明する図である。 色割り当ての他の例を説明する図である。 デジタルカメラの処理の流れを示すフロー図である。 撮像系色空間と表示系色空間の対応関係の他の例を説明する図である。 撮像系色空間と表示系色空間の対応関係の他の例を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る撮像装置の一例としてのデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、可視外帯域の被写体光束を撮像する撮像装置である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０と、撮像素子１００とを備える。撮影レンズ２０は、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、撮影レンズ２０および撮像素子１００に加えて、制御部２０１、Ａ／Ｄ変換回路２０２、ワークメモリ２０３、駆動部２０４、画像処理部２０５、システムメモリ２０６、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０、および通信部２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向をＸ軸プラス方向、紙面上へ向かう方向をＹ軸プラス方向と定める。撮影における構図との関係は、Ｘ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。この場合には、カメラボディが撮像装置として機能する。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、可視外帯域に受光感度を有する赤外用のイメージセンサである。本実施形態においては、その一例として、撮像素子１００は、近赤外帯域である８００ｎｍから２５００ｎｍのうち８００ｎｍから２０００ｎｍの範囲に受光感度を有する。なお、この近赤外帯域及び受光感度の範囲は、本例に限られない。

撮像素子１００は、二次元的に配列された複数の画素を備える。複数の画素のそれぞれは、光電変換部と、当該光電変換部に対応して設けられたバンドパスフィルタとを備える。詳しくは後述するが、本実施形態においては、３種類のバンドパスフィルタが存在し、複数の光電変換部のそれぞれには、いずれかのバンドパスフィルタが設けられている。

撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する出力信号としての画素信号をデジタル信号に変換する。そして、デジタル変換により得られた撮像データをワークメモリ２０３へ出力する。

制御部２０１は、撮像素子１００の出力信号から生成された撮像データを可視色空間における画像データへ変換するための可視外波長情報の一例としての赤外波長情報を生成する生成部としての役割を担う。可視色空間は、予め定められた表色系で扱える色の範囲を示す。換言すると、表色系が扱える色の範囲を示すので、本明細書では可視色空間を表示系色空間と記す場合もある。詳しくは後述するが、赤外波長情報は、被写体光束の波長に対する撮像素子１００の出力特性である感度特性に基づいて定義される。

画像処理部２０５は、ワークメモリ２０３をワークスペースとして、撮像データに対して輝度補正処理等の種々の処理を施す。また、画像処理部２０５は、種々の処理が施された撮像データにタグ情報として赤外波長情報を関連付ける処理部としての役割を担う。そして、撮像データと赤外波長情報が関連付けられた撮像ファイルを、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録する。

制御部２０１および画像処理部２０５は協働して、赤外波長情報を用いて撮像データを可視色空間における画像データに変換する。変換の詳細は、後述する。

画像処理部２０５は、３種類のバンドパスフィルタの波長帯域のそれぞれに互いに異なる可視帯域を割り当てることにより、赤外波長帯域に基づく撮像データを可視波長帯域に変換して画像データを生成することができる。

生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。詳しくは後述するが、例えば水と油のように、可視波長帯域に基づく画像では色弁別することが困難な被写体であっても、赤外波長帯域に基づく画像では色弁別することができる。表示部２０９には、各種設定のためのメニュー画面も表示される。例えば、後述する基準点の設定に関するメニュー画面が表示される。また、生成された画像データは、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

システムメモリ２０６は、デジタルカメラ１０を制御するプログラム、各種パラメータ等を記録する。本実施形態においては、撮像パラメータを記憶している。撮像パラメータは、光源特性を示す情報、３種類のバンドパスフィルタの透過率を示す情報、撮像素子１００の受光感度を示す情報等を含む。透過率を示す情報は、一定間隔の波長帯域毎に透過率が対応付けられたテーブルとして記憶されてもよいし、波長帯域に応じた透過率を算出するための関数として記憶されてもよい。

操作部２０８は、ユーザの操作を受け付けて、操作に応じた操作信号を制御部２０１に出力する。例えば、基準点の設定に関するメニュー画面が表示部２０９に表示された場合に、操作に応じて、基準点の設定に関する操作信号を制御部２０１に出力する。ユーザは、操作部２０８を介して、基準点の設定方法等を選択することができる。

また、操作部２０８はレリーズスイッチ、十字キー、ＯＫキー等の操作部材を含む。レリーズスイッチは、押下げ方向に２段階に検知できる押しボタンで構成されている。制御部２０１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ、ＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１００による被写体像の取得動作を実行する。なお、本実施形態においてＡＦは、赤外波長帯域で被写体像が合焦するように実行される。

通信部２１１は、他の装置と通信する。通信部２１１は、操作部２０８を介したユーザの操作に応じて撮像ファイルを他の装置に送信する。他の装置として、パーソナルコンピュータ、スマートフォン、タブレット等の表示部を備えた装置、インターネット上のサーバ装置等を挙げることができる。

なお、一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。

図２は、撮像素子１００の各光電変換部上に配置されたバンドパスフィルタの説明図である。３種類のバンドパスフィルタのそれぞれは、被写体光束のうち連続する近赤外帯域の一部を通過させる。通過させる帯域は、３種類のバンドパスフィルタで互いに異なる。図示されるように、本実施形態においては、３種類のバンドパスフィルタとしてＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタが設けられている。ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタは、２画素×２画素からなる４画素１０１に対してベイヤー配列のように割り当てられる。より詳細には、ＮＩＲ２フィルタが左上と右下の２画素に、ＮＩＲ１フィルタが左下の１画素に、ＮＩＲ３フィルタが右上の１画素に割り当てられる。なお、バンドパスフィルタの配置は、本例に限られない。

撮像素子１００の全体としては、２次元的に配列された複数の画素のそれぞれが離散的にＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタのいずれかを備えることになる。したがって、撮像素子１００は、入射する被写体光束をそれぞれの波長帯域に分離して検出すると言える。換言すれば、撮像素子１００は、受光面に結像する被写体像を赤外帯域であって互いに異なる３つの波長帯域に分離して光電変換する。

図３は、撮像素子１００の出力特性を説明する図である。図３（ａ）は、バンドパスフィルタを説明する図である。横軸は波長［ｎｍ］を示し、縦軸は透過率［％］を示す。図３（ｂ）は、撮像素子１００の受光感度を説明する図である。横軸は波長［ｎｍ］を示し、縦軸は受光感度を示す。ここでは、最大感度波長での受光感度を１００として正規化した場合を示す。なお、説明を簡単にするべく、受光感度が１００の場合には、変換効率は１００％であるとする。図３（ｃ）は、バンドパスフィルタと撮像素子１００の受光感度によって定まる出力特性を示す図である。横軸は波長［ｎｍ］を示し、縦軸は受光感度を示す。破線は、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタの透過率の分布を示し、一点鎖線は、撮像素子１００の受光感度の感度分布を示す。実線は、出力特性の感度分布を示す。

図３（ａ）に示すように、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタの透過率の分布形状のそれぞれは、全体的に略同一である。より詳細には、ＮＩＲ１フィルタは、約７００ｎｍから約１５５０ｎｍに透過率を有し、ＮＩＲ１フィルタのピーク波長λａは１１５０ｎｍである。ＮＩＲ２フィルタは、約９５０ｎｍから約１８００ｎｍに透過率を有し、ＮＩＲ２フィルタのピーク波長λｂは１４００ｎｍである。ＮＩＲ３フィルタは、約１２５０ｎｍから約２１００ｎｍに透過率を有し、ＮＩＲ３フィルタのピーク波長λｃは１６５０ｎｍである。

ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタのそれぞれは、他のバンドフィルタのピーク波長で透過率を有する。具体的には、ＮＩＲ１フィルタは、ＮＩＲ２フィルタのピーク波長で透過率を有する。同様に、ＮＩＲ３フィルタは、ＮＩＲ２フィルタのピーク波長で透過率を有する。また、ＮＩＲ２フィルタは、ＮＩＲ１フィルタおよびＮＩＲ３フィルタのピーク波長のそれぞれで透過率を有する。

図３（ｂ）に示すように、撮像素子１００は、約８００ｎｍから約２０００ｎｍに受光感度を有する。より詳細には、受光感度は、約８００ｎｍから約１０５０ｎｍにかけて急激に上昇する。受光感度は、約１０５０ｎｍから約１７５０ｎｍの範囲で１００である。受光感度は、約１７５０ｎｍから約２０００ｎｍにかけて急激に下降する。

ここで、撮像素子１００の出力特性は、バンドパスフィルタの透過率と撮像素子１００の受光感度との掛け算により算出される。本実施形態では、撮像素子１００の出力特性は、掛け算により算出される受光感度のうち予め定められる閾値以上の受光感度（例えば１％）を有する範囲として定義される。

図３（ｃ）に示すように、約１０５０ｎｍから約１７５０ｎｍの範囲では、撮像素子１００の受光感度が１００であるので、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタの透過率がそのまま出力特性となる。一方、約８００ｎｍから約１０５０ｎｍの範囲、および約１７５０ｎｍから約２０００ｎｍの範囲では、撮像素子１００の受光感度が１００ではないので、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタの透過率がそのまま出力特性とはならない。約８００ｎｍから約１０５０ｎｍの範囲では、出力特性は、ＮＩＲ１フィルタおよびＮＩＲ２フィルタの透過率のそれぞれに撮像素子１００の受光感度が掛け算されることにより算出される。同様に、約１７５０ｎｍから約２０００ｎｍの範囲では、ＮＩＲ２フィルタおよびＮＩＲ３フィルタの透過率のそれぞれに撮像素子１００の受光感度が掛け算されることにより算出される。結果として、出力特性の下限値は８５０ｎｍとなり、上限値は１９５０ｎｍとなる。

図４は、撮像素子１００の出力特性により定義される空間を説明する図である。本実施形態においては、出力特性の範囲、すなわち非可視の波長帯域を可視の波長帯域と同様に扱うべく、可視のＣＩＥ表色系に対応させた仮想的な表色系を定義する。具体的には、出力特性の下限値および上限値により定義される領域３０１（点線で囲まれる領域）を、後述する色度図の可視領域に対応する領域として定義する。つまり、領域３０１の曲線部を、下限値である８５０ｎｍから上限値である１９５０ｎｍまでの連続する波長により定義する。可視領域は一般に馬蹄形で表現されるので、領域３０１を可視領域と相似形とすることにより、領域３０１を可視領域の全体に対応させることができる。このように領域３０１を定義することにより、後述するように領域３０１が可視領域に変換される場合に、領域３０１の全体を可視領域に含めることができ、かつ、可視領域の全体を利用することができる。なお、図４は、色度座標のｘ、ｙに対応するｘ'、ｙ'を座標軸として図示している。横軸がｘ'であり、縦軸はｙ'である。なお、本実施形態においては、領域３０１は可視領域に倣って馬蹄形で表現されたが、その形状は馬蹄形に限られない。領域３０１は後述する領域３０３で示される三角形を含んでいればよい。

領域３０１が定義されると、続いて基準点ＲｅｆＰの座標（ｍ，ｎ）が設定される。詳しくは後述するが、本実施形態においては、基準点ＲｅｆＰの座標（ｍ，ｎ）は、デフォルトの位置として後述する基準白色に対応する位置に設定される。下限値、上限値、および基準点ＲｅｆＰが決定されると、基準点ＲｅｆＰの座標（ｍ，ｎ）を（０．３３，０．３３）に設定するべく、基準点ＲｅｆＰと領域３０１の曲線部の各点における波長との関係性が定まる。つまり、ピーク波長λａ、ピーク波長λｂ、およびピーク波長λｃの座標が一意に定まる。

領域３０２は、ピーク波長λａ、ピーク波長λｂ、およびピーク波長λｃのそれぞれの点を直線で結んだ領域である。領域３０２は、後述する領域３０２で示される領域よりも広い。

領域３０３は、ピーク波長λａと基準点ＲｅｆＰを結ぶ直線上の点ＡＢと、ピーク波長λｂと基準点ＲｅｆＰを結ぶ直線上の点ＣＤと、ピーク波長λｃと基準点ＲｅｆＰを結ぶ直線上の点ＥＦとを直線で結んだ領域である。領域３０３は、実際に再現可能な色空間を示す。なお、領域３０３は、赤外波長帯域の領域であるので、実際には色として視認することができない領域であるが、本明細書では、説明の便宜上、色空間と呼ぶ。本明細書においては、表示系色空間に対応する空間として領域３０３を撮像系色空間と記す。また、領域３０３を可視色空間に対応させて仮想色空間と記す場合もある。撮像系色空間においては、各バンドパスフィルタが通過させた赤外波長帯域が数値の組み合わせで表現される。領域３０３は、各バンドパスフィルタの透過率の分布によって決定される。

基準点ＲｅｆＰの座標（ｍ，ｎ）が設定されると、表示の分解能が決定される。換言すると、ピーク波長λａ、ピーク波長λｂ、およびピーク波長λｃのそれぞれの点から領域３０３の対応する各頂点までの距離が決定される。つまり、点ＡＢの座標（ａ，ｂ）、点ＣＤの座標（ｃ，ｄ）、点ＥＦの座標（ｅ，ｆ）が決定される。これにより、領域３０３の面積、すなわち彩度が決定される。

図５は、撮像系色空間と表示系色空間の対応関係を説明する図である。図５（ａ）は、図４と同一である。図５（ｂ）は、可視の表色系色度図を示す。横軸がｘであり、縦軸はｙである。

上述したように、図５（ａ）の領域３０１は、図５（ｂ）における、可視領域を示す領域４０１に対応付けられる。具体的には、領域３０１の下限値である８５０ｎｍと、領域４０１の下限値である３８０ｎｍとが対応付けられ、領域３０１の上限値である１９５０ｎｍと、領域４０１の上限値である７００ｎｍとが対応付けられる。図５（ｂ）の領域４０１の曲線部における各点の波長間の幅は、一定ではない。基準白色ＲｅｆＷの座標（ｏ，ｐ）を（０．３３，０．３３）に設定するべく、基準白色ＲｅｆＷと領域４０１の曲線部の各点における波長との関係性は定まる。具体的には、波長間の幅は、３８０ｎｍから４７０ｎｍの範囲では細かく、４７０ｎｍから６２０ｎｍの範囲では粗く、６２０ｎｍから７００ｎｍの範囲では細かく設定される。図５（ａ）の領域３０１の曲線部における各点の波長間の幅も同様に、下限値付近および上限値付近では細かく、それ以外では粗くなるように設定される。なお、領域４０１の下限値および上限値は、人間の視覚特性に応じて決定されるので、固定である。一方、詳しくは後述するが、領域３０１の下限値および上限値は、赤外波長帯域であり、人間の視覚特性とは無関係に決定されるので、可変である。

本実施形態においては、基準点ＲｅｆＰの座標（ｍ，ｎ）は、特定座標としての、基準白色ＲｅｆＷの座標（ｏ，ｐ）に対応付けられる。図５（ａ）の領域３０３（すなわち仮想色空間）は、図５（ｂ）の領域４０３（すなわち可視色空間）に対応付けられる。具体的には、頂点ＡＢの座標（ａ，ｂ）は頂点ＧＨの座標（ｇ，ｈ）に対応付けられる。すなわち、頂点ＡＢの座標（ａ，ｂ）付近の座標は、青系統の色に対応付けられる。頂点ＣＤの座標（ｃ，ｄ）は頂点ＩＪの座標（ｉ，ｊ）に対応付けられる。すなわち、頂点ＣＤの座標（ｃ，ｄ）付近の座標は、緑系統の色に対応付けられる。頂点ＥＦの座標（ｅ，ｆ）は頂点ＫＬの座標（ｋ，ｌ）に対応付けられる。すなわち、頂点ＥＦの座標（ｅ，ｆ）付近の座標は、赤系統の色に対応付けられる。被写体を表す座標が領域３０３にマッピングされれば、当該座標を領域４０３の座標に変換することができる。すなわち、可視の色に変換することができる。なお、領域３０３の頂点ＡＢは、基準点ＲｅｆＰとピーク波長λａとの線上に位置するので、基準点ＲｅｆＰとピーク波長λａを結ぶ直線に対するピーク波長λａと頂点ＡＢを結ぶ直線の割合が定まる。可視の表色系色度図でも同様の割合で表現することができる。つまり、領域３０３の頂点ＡＢとピーク波長λａとが定まれば、頂点ＧＨの座標（ｇ，ｈ）を決定することができる。同様に、頂点ＩＪの座標（ｉ，ｊ）、頂点ＫＬの座標（ｋ，ｌ）を決定することができる。

図６は、表示系色空間の色分布を説明する図である。図６は、図５（ｂ）と同様に、可視の表色系色度図を示しており、横軸がｘであり、縦軸はｙである。上述のように、領域４０３は可視色空間である。可視色空間では、色が連続的に変化するが、ここでは説明を簡単にするべく、破線によって示されるように、領域４０３が「青系」、「緑系」、「赤系」の三つの領域に区分されるとして説明する。

図７は、基準点ＲｅｆＰを説明する図である。図７（ａ）は、被写体スペクトルを説明する図である。横軸は波長［ｎｍ］を示し、縦軸は正規化されたスペクトル強度を示す。被写体として油および水を例に挙げる。実線は油のスペクトルを示し、破線は水のスペクトルを示す。

図示されるように、油は、９００ｎｍから１７００ｎｍの間の広範囲にわたってスペクトル強度を有している。より詳細には、油のスペクトル強度は、９００ｎｍから１３５０ｎｍ付近にかけては、１１５０ｎｍ付近から１２００ｎｍ付近の間で若干下降するものの、全体的には上昇しており、０．１付近から１付近まで上昇する。１３５０ｎｍ付近から１７００ｎｍ付近にかけては、１４１０ｎｍ付近から１４８０付近ｎｍの間で一旦上昇するものの、全体的には下降しており、１付近から０．１付近まで下降する。

水のスペクトル強度は、９００ｎｍから１１００ｎｍ付近にかけて０．２弱から１付近まで上昇する。１１００ｎｍ付近から１４００ｎｍ付近にかけては、１１５０ｎｍ付近から１２７０ｎｍ付近の間で一旦上昇するものの、全体的には下降しており、１付近から０．２付近まで下降する。１４００ｎｍ付近から１７００ｎｍ付近にかけては、略横ばいに推移し、１６５０ｎｍ付近から１７００の間で若干下降する。

油のスペクトル強度は近赤外の波長帯域の比較的広範囲にわたるので、油は可視に変換後の画像では水に比べて白っぽい色として認識される。一方、水のスペクトル強度は、１１００ｎｍ付近まで急激に上昇し、１２５０ｎｍ付近以降に急激に下降するので、１１００ｎｍ付近までの帯域および１２００ｎｍ付近以降の帯域において油のスペクトル強度とは大きな差がある。ＮＩＲ２フィルタおよびＮＩＲ３フィルタの波長帯域に相当するスペクトル強度が相対的に小さいので、水は可視に変換後の画像において全体的に青系統の色として認識される。

図７（ｂ）、（ｃ）、（ｄ）、（ｅ）は、基準点ＲｅｆＰの位置を説明する図である。ここでは、図面を簡略化するべく仮想色空間のみを抽出して図示している。各図において、領域５０１は仮想色空間に対して水がマッピングされた領域を示し、領域５０２は仮想色空間に対して油がマッピングされた領域を示す。上述のように、基準点ＲｅｆＰは、基準白色ＲｅｆＷに対応付けられる。水に割り当てられる色と油に割り当てられる色とは、基準点ＲｅｆＰと領域５０１および領域５０２との相対的な位置関係で決定される。

図７（ｂ）の例では、基準点ＲｅｆＰは、図４および図５で示した基準点ＲｅｆＰと同一の位置に設定されている。この場合には、上述したように、水は青系統の色として認識され、油は白っぽい色として認識される。

図７（ｃ）の例では、基準点ＲｅｆＰは図７（ｂ）で示した基準点ＲｅｆＰの位置よりも領域５０１寄りに設定されている。基準点ＲｅｆＰと領域５０１との相対的な距離が小さくなるので、水は、青系統の色というよりも白っぽい色として認識される。一方、油は、白っぽい色というよりも濃い黄色として認識される。これは、基準点ＲｅｆＰが領域５０１寄り、すなわち青色寄りに設定されることにより、基準点ＲｅｆＰと領域５０２との相対的な距離が大きくなるからである。

図７（ｄ）の例では、基準点ＲｅｆＰは図７（ｂ）で示した基準点ＲｅｆＰの位置よりも領域５０２寄りに設定されている。基準点ＲｅｆＰと領域５０１との相対的な距離が大きくなるので、水はより濃い青色として認識される。一方、油は、白色に近い色として認識される。これは、基準点ＲｅｆＰが領域５０２寄り、すなわち赤色寄りに設定されることにより、基準点ＲｅｆＰと領域５０２との相対的な距離が小さくなるからである。

図７（ｅ）の例では、基準点ＲｅｆＰは図７（ｂ）で示した基準点ＲｅｆＰの位置よりも紙面下側寄りに設定されている。この場合には、色相が変化するので、青は青緑のような色として認識され、油は黄緑のような色として認識される。

以上のように、可視に変換後の被写体の色は、基準点ＲｅｆＰの位置により調整することができる。被写体スペクトルに応じて基準点ＲｅｆＰの位置を設定することにより、被写体を色弁別し易くできる。マックアダム楕円等の色差の識別閾が予めシステムメモリ２０６に記憶されていれば、当該識別閾を参照して、色弁別がし易くなるように、基準点ＲｅｆＰの位置を設定するとよい。なお、以上の説明では、水と油の色弁別を例に挙げたが、水に混入した異物を弁別する場合には、領域５０１内に基準点ＲｅｆＰを設定するとよい。

図７（ｆ）、（ｇ）、（ｈ）、（ｉ）は、仮想色空間に割り当てられた仮想的な色分布を示す。可視色空間の色分布は、人間の視覚特性に応じて決定される。したがって、基準値ＲｅｆＰの位置の変化に関わらず、可視色空間の色分布は固定される。基準値ＲｅｆＰの位置が変化すると、仮想色空間の波長と可視色空間の波長の対応関係が変化する。例えば、基準値ＲｅｆＰが図７（ｂ）で示した位置に設定されていた場合には、１１５０ｎｍと４７０ｎｍが対応するが、基準値ＲｅｆＰが図７（ｃ）で示した位置に設定されていた場合には、１３００ｎｍと４７０ｎｍが対応する。つまり、赤外波長帯域のより広範囲の帯域が青系統の色に対応付けられることになる。換言すると、仮想色空間に仮に色分布を割り当てた場合に、青系統の色の領域が広くなることを意味する。そこで、ここでは、仮想色空間の波長と可視の色空間の波長の対応関係を、仮想色空間に仮に色分布を割り当てることにより説明する。

図７（ｆ）は、図７（ｂ）の基準値ＲｅｆＰの場合の色分布を示す。この場合には、基準値ＲｅｆＰの位置と基準白色ＲｅｆＷの位置が対応しているので、色分布は、図６で示した可視空間の色分布と同一になる。

図７（ｇ）は、図７（ｃ）の基準値ＲｅｆＰの場合の色分布を示す。この場合には、基準点ＲｅｆＰが領域５０１寄りに設定されているので、仮想色空間において基準点ＲｅｆＰよりも紙面左側に位置する領域が狭くなり、反対に紙面右側に位置する領域が広くなる。基準点ＲｅｆＰに対応する基準白色ＲｅｆＷの位置は固定されているので、可視色空間においては、仮想色空間の左側に位置する狭い領域が相対的に広い領域に割り当てられることになる。反対に仮想色空間の右側に位置する広い領域が相対的に狭い領域に割り当てられることになる。そうすると、仮想色空間に対する色分布においては、青系統の色の領域が増大し、反対に赤系統の色および緑系統の色の領域が減少することになる。つまり、基準点ＲｅｆＰが領域５０１寄りに設定されることにより、青系統の色の表現のバリエーションを増加させることができる。

図７（ｈ）は、図７（ｄ）の基準値ＲｅｆＰの場合の色分布を示す。この場合には、基準点ＲｅｆＰが領域５０２寄りに設定されているので、仮想色空間において基準点ＲｅｆＰよりも紙面左側に位置する領域が広くなり、反対に紙面右側に位置する領域が狭くなる。したがって、可視色空間においては、仮想色空間の左側に位置する広い領域が相対的に狭い領域に割り当てられることになる。反対に仮想色空間の右側に位置する狭い領域が相対的に広い領域に割り当てられることになる。そうすると、仮想色空間に対する色分布においては、青系統の色および緑系統の色の領域が減少し、反対に赤系統の色の領域が増加することになる。つまり、基準点ＲｅｆＰが領域５０２寄りに設定されることにより、赤系統の色の表現のバリエーションを増加させることができる。

図７（ｉ）は、図７（ｅ）の基準値ＲｅｆＰの場合の色分布を示す。この場合には、基準点ＲｅｆＰが紙面下側寄りに設定されているので、仮想色空間において基準点ＲｅｆＰよりも紙面上側に位置する領域が広くなり、反対に紙面下側に位置する領域が狭くなる。したがって、可視色空間においては、仮想色空間の上側に位置する広い領域が相対的に狭い領域に割り当てられることになる。反対に仮想色空間の下側に位置する狭い領域が相対的に広い領域に割り当てられることになる。そうすると、仮想色空間に対する色分布においては、緑系統の色の領域が減少し、反対に青系統の色および赤系統の色の領域が増加することになる。つまり、基準点ＲｅｆＰが紙面下側寄りに設定されることにより、青系統の色および赤系統の色の表現のバリエーションを増加させることができる。

図８は、撮像ファイルのファイル構造を示す図である。上述したように、撮像ファイルは、撮像データそのものである本撮像データ、および撮像データのタグ情報である赤外波長情報を主な要素とするファイル構造を有する。

赤外波長情報は、図示するように、カテゴリごとに分類されて様々な情報が記述されている。以下に主な情報について説明する。

ファイル情報のカテゴリには、種類、サイズ、画像情報等が記述されている。具体的には、種類として「ＪＰＧイメージ」が記され、サイズとして「４．０９ＭＢ」が記されている。画像情報として本画像データのｘ方向およびｙ方向のドット数、並びに各ドットが有する色数であるビット数が記されている。具体的には、ドット数として「２０２０×１６２４ドット」が記され、ビット数として「２４ビット」が記されている。

撮影情報のカテゴリには、撮影日時、露出時間、Ｆ値、ＩＳＯ感度、焦点距離等が記述されている。ここでは、撮影日時として「２０１４／１１／２８ １４：２２：２２」が記され、露出時間として「１／５００」が記され、Ｆ値として「４」が記され、ＩＳＯ感度として「２００」が記され、焦点距離として「５０ｍｍ」が記されている。

撮像系色空間情報のカテゴリには、光源特性、ピーク波長λａ、ピーク波長λｂ、ピーク波長λｃ、原刺激値１（頂点ＡＢ）、原刺激値２（頂点ＣＤ）、原刺激値３（頂点ＥＦ）、基準点、輝度補正、色処理、表示色空間、対象帯域の下限値および上限値等が記述されている。

光源特性は、撮影条件下での光源の種類を示す。ここでは、「ハロゲン光」が記されている。ピーク波長λａは、ＮＩＲ１フィルタのピーク波長である。ここでは、「１１５０ｎｍ」が記されている。ピーク波長λｂは、ＮＩＲ２フィルタのピーク波長である。ここでは、「１４００ｎｍ」が記されている。ピーク波長λｃは、ＮＩＲ３フィルタのピーク波長である。ここでは、「１６５０ｎｍ」が記されている。これらのピーク波長から図４で説明した領域３０２を定義することができる。

原刺激値１は、ＮＩＲ１フィルタのピーク波長λａおよび半値幅と、撮像素子１００の受光感度とから決定される。同様に、原刺激値２は、ＮＩＲ２フィルタのピーク波長λｂおよび半値幅と、撮像素子１００の受光感度とから決定され、原刺激値３は、ＮＩＲ３フィルタのピーク波長λｃおよび半値幅と、撮像素子１００の受光感度とから決定される。なお、図４で既に説明したように、原刺激値１（頂点ＡＢ）はピーク波長λａと基準点ＲｅｆＰを結ぶ直線上に位置したが、ピーク波長λａと基準点ＲｅｆＰを結ぶ直線上に位置していなくてもよい。原刺激値２（頂点ＣＤ）および原刺激値３（頂点ＥＦ）についても同様である。例えば被写体及び照明環境等に応じて原刺激値１から３のいずれかまたは全てを任意に設定することも可能である。既に図４等で説明したように、ｘ'、ｙ'を座標軸として仮想的な表色系が定義されているので、原刺激値１、原刺激値２、原刺激値３を座標で表すことができる。より詳細には、原刺激値１（頂点ＡＢ）、原刺激値２（頂点ＣＤ）、および原刺激値３（頂点ＥＦ）のそれぞれは、図４で説明した領域３０３の頂点の座標に相当する。ここでは、原刺激値１（頂点ＡＢ）として「（０．１７，０．２０）」が記され、原刺激値２（頂点ＣＤ）として「（０．１３，０．６５）」が記され、原刺激値３（頂点ＥＦ）として「（０．６３，０．３５）」が記されている。原刺激値１（頂点ＡＢ）、原刺激値２（頂点ＣＤ）、および原刺激値３（頂点ＥＦ）のそれぞれを、例えば図５で説明した可視色空間の頂点ＧＨ、頂点ＩＪ、および頂点ＫＬの対応する頂点に対応付けることにより、仮想色空間と可視色空間を対応付けることができる。

基準点には、基準点の座標として「（０．３３，０．３３）」が記されている。この座標は、基準点がデフォルトに設定されている場合の座標であり、基準白色に対応する座標である。ユーザにより基準点が設定された場合には、設定された基準点の座標が記される。輝度補正には、「γ＝１」が記されている。

色処理は、表示の分解能を示す。色処理には、「水と油の分離」が記されている。この情報から、色弁別の対象となる被写体に応じたゲインを決定し、表示の分解能を決定することができる。

表示色空間は、表示系で設定されるべき色域を示す。ここでは、表示色空間には、「ｓＲＧＢ」が記されている。この情報は、基準白色ＲｅｆＷの座標と、ｓＲＧＢにおける３つの原刺激値の座標とを含む。図５で説明した可視色空間を例に挙げると、基準白色ＲｅｆＷの座標（ｏ，ｐ）として（０．３３，０．３３）が記される。また、ここでは、頂点ＧＨの座標（ｇ，ｈ）として（０．１４，０．０６）が記され、頂点ＩＪの座標（ｉ，ｊ）として（０．２０，０．６８）が記され、頂点ＫＬの座標（ｋ，ｌ）として（０．６３，０．３２）が記される。表示色空間にＡｄｏｂｅＲＧＢ等の他の色域を示す情報が記されていれば、３つの原刺激値として上記と異なる値が記されることになる。詳しくは後述するが、表示色空間の情報から、仮想色空間の３原刺激値と可視色空間の３原刺激値を対応付け、基準点と基準白色を対応付けることができる。

対象帯域の下限値および上限値は、撮像素子１００の出力特性の範囲を示す。ここでは、下限値として「８５０ｎｍ」が記され、上限値として「１９５０ｎｍ」が記されている。上述したように、この情報により図４で説明した領域３０１が定義される。

以上のような赤外波長情報が生成されると、汎用の画像フォーマットへの変換規則さえ決まっていれば、当該変換規則に従って赤外波長情報を汎用の画像フォーマットに変換することができる。つまり、既に説明したように、仮想色空間から可視色空間への対応付けがなされていると、特定の被写体に関する赤外波長情報に対して同一の変換を実行することができる。これにより、特定の被写体に対して可視の特定の色が対応付けられる。同一の被写体は、同一の色で表示されることになるので、再生の再現性を確保することができる。例えば被写体としての水を青系統の色で表示し、油を白っぽい色で表示することができる。また、表示装置の種類に関わらず、再生の互換性を確保することができる。以上のことから、汎用の画像フォーマットへ変換するために必要な情報として赤外波長情報を生成するということもできる。

以上の説明では、撮像素子１００は、出力特性として下限値および上限値がそれぞれ８５０ｎｍ、１９５０ｎｍとなる３種類のバンドパスフィルタを備えたが、他のバンドパスフィルタを備えてもよい。以下、詳細に説明する。

図９は、バンドパスフィルタの種別と撮像系色空間の関係を説明する図である。図９（ａ）は、既に説明した撮像素子１００の出力特性の感度分布を示す図である。横軸は波長［ｎｍ］を示し、縦軸は受光感度を示す。出力特性の下限値は８５０ｎｍであり、上限値は１９５０ｎｍである。図９（ｂ）は、図面を簡略化するべく、図４に示した図のうち領域３０１、領域３０２、および領域３０３を抽出した図である。図９（ｃ）は、他の３種類のバンドパスフィルタが備えられた撮像素子の出力特性の感度分布を示す図である。当該撮像素子に設けられた３種類のバンドパスフィルタの半値幅は、撮像素子１００に設けられた３種類のバンドパスフィルタの半値幅よりも狭い。横軸は波長［ｎｍ］を示し、縦軸は受光感度を示す。出力特性の下限値は１０００ｎｍであり、上限値は１８００である。図９（ｄ）は、図９（ｃ）に示す出力特性に応じた、領域３０１、領域３０２、および領域３０３に対応する領域６０１、領域６０２、および領域６０３を示す図である。

既に説明した可視色空間では、基準白色ＲｅｆＷから遠ざかるほど色の純度が増す。換言すると、可視色空間の領域が広いほど、より純度の高い色を表現することができる。赤外波長帯域に基づく画像を生成する場合にも同様のことが言える。すなわち、仮想色空間の領域が広いほど、対応する可視色空間の領域が広くなり、結果として、より純度の高い色を表現することができる。

図９（ａ）の感度分布と図９（ｃ）の感度分布とを比較すると、図９（ｃ）の感度分布に示す各感度分布の半値幅は、図９（ａ）に示す各感度分布の半値幅よりも狭いことがわかる。したがって、出力特性として図９（ｃ）の感度分布を有する撮像素子の各画素は、より制限された帯域幅の波長に基づく画素値を持つ。その結果、より純度の高い色を表現することができる。したがって、図９（ｄ）の仮想色空間の領域６０３に面積、すなわち彩度は、図９（ｂ）の仮想色空間の領域３０３の面積、すなわち彩度よりも大きくなる。

なお、本例では、図９（ａ）に示した出力特性の下限値および上限値と、図９（ｃ）に示した出力特性の下限値および上限値とは互いに異なるが、領域３０１の形状と領域６０１の形状とは同一である。つまり、出力特性の下限値および上限値は可変であり、領域３０１と領域６０１では、隣り合う波長間の刻み幅が異なる。

以上の説明では、撮像素子１００は３種類のバンドパスフィルタを備える構成であったが、さらに別の３種類のバンドパスフィルタを備える構成でもよい。すなわち、２種類のフィルタセットが混在して設けられてもよい。この場合には、被写体に応じて色弁別し易いフィルタセットを選択しておくとよい。分光の段階である程度の色相の違いを生じさせることにより、色弁別がし易いように、基準点の位置を調整する段階でより効果的な処理が期待できる。

図１０は、バンドパスフィルタと被写体スペクトルの関係を説明する図である。本例では、撮像素子１００は７００ｎｍから２０００ｎｍの範囲に受光感度を有する。図１０（ａ）は、既に説明した撮像素子１００の出力特性の感度分布と被写体Ｐおよび被写体Ｑのスペクトルとを示す図である。横軸は波長［ｎｍ］を示し、縦軸は受光感度を示す。出力特性の下限値は８５０ｎｍであり、上限値は１９５０ｎｍである。図１０（ｂ）は、図面を簡略化するべく、図４に示した図のうち領域３０１、領域３０２、および領域３０３を抽出した図である。図１０（ｃ）は、別の３種類のバンドパスフィルタが選択された場合の出力特性の感度分布と被写体Ｐおよび被写体Ｑのスペクトルとを示す図である。図１０（ｃ）に示す感度分布の波形と、図１０（ａ）に示す感度分布の波形とは、略同一である。ただし、別の３種類のバンドパスフィルタは、図３で示したバンドパスフィルタに比べて、より短波長側の波長帯域を通過させる。横軸は波長［ｎｍ］を示し、縦軸は受光感度を示す。出力特性の下限値は７００ｎｍであり、上限値は１８００ｎｍである。ピーク波長λｄは１０００ｎｍであり、ピーク波長λｅは１２５０であり、ピーク波長λｆは１５００である。図１０（ｄ）は、図１０（ｃ）に示す出力特性に応じた、領域３０１、領域３０２、および領域３０３に対応する領域７０１、領域７０２、および領域７０３を示す図である。また、図１０（ｂ）および図１０（ｄ）において、領域ｐは、仮想色空間に対して被写体Ｐがマッピングされた領域を示し、領域ｑは、仮想色空間に対して被写体Ｑがマッピングされた領域を示す。

被写体Ｐおよび被写体Ｑのスペクトルに対してどのようにフィルタを設定するかによって、仮想色空間に対して被写体Ｐおよび被写体Ｑがマッピングされる領域は変化する。図１０（ａ）と図１０（ｃ）を比較すると、被写体Ｐと被写体Ｑとのギャップｔは、被写体Ｐと被写体Ｑとのギャップｒよりも広くなっている。同様に、被写体Ｐと被写体Ｑとのギャップｕは、被写体Ｐと被写体Ｑとのギャップｓよりも広くなっている。

図１０（ｃ）に示すように、被写体Ｐと被写体Ｑとのギャップが比較的小さい箇所にフィルタが設定されると、図１０（ｄ）に示すように、領域ｐと領域ｑは互いに近接した領域にマッピングされる。色相に大きな違いが生じないので、色弁別が困難になる場合があり得る。

一方で、図１０（ａ）に示すように、被写体Ｐと被写体Ｑとのギャップが比較的大きい箇所にフィルタが設定されると、図１０（ｂ）に示すように、領域ｐと領域ｑは互いに離れた領域にマッピングされる。色相に違いが生じるので、色弁別がし易くなる。

図１１は、デジタルカメラ１０の処理の流れを示すフロー図である。本フローは、ユーザによる電源がオンされると開始される。

制御部２０１は、ＳＷ１が押下されたか否かを判定する（ステップＳ１０１）。ＳＷ１が押下されたと判定した場合には（ステップＳ１０１でＹＥＳ）、制御部２０１は、ＳＷ２が押下されたことか否かを判定する（ステップＳ１０２）。ＳＷ２が押下されたと判定した場合には（ステップＳ１０２でＹＥＳ）、制御部２０１は、撮影処理を行う（ステップＳ１０３）。

制御部２０１は、システムメモリ２０６から撮像パラメータとして３種類のバンドパスフィルタの透過率を示す情報、撮像素子１００の受光感度を示す情報を読み出す。そして、出力特性の下限値および上限値を算出する（ステップＳ１０４）。例えば、図３に関連して説明したように、バンドパスフィルタの透過率と撮像素子１００の受光感度との掛け算により出力特性を算出する。これにより、図４に示した領域３０１が定義される。

制御部２０１は、ユーザから基準点に対する指示があるかを判定する（ステップＳ１０５）。基準点に対する指示があると判定した場合には（ステップＳ１０５でＹＥＳ）、ユーザからの指示に従い基準点を設定する（ステップＳ１０６）。例えば、図７に関連して説明したように、仮想色空間内に基準点を設定する。基準点に対する指示がないと判定した場合には（ステップＳ１０５でＮＯ）、デフォルトの位置に基準点を設定する（ステップＳ１０７）。例えば、図５に関連して説明したように、基準白色に対応する位置に基準点を設定する。

画像処理部２０５は、デジタル変換により得られた撮像データに種々の処理を施すことにより、本撮像データを生成する（ステップＳ１０８）。一方、制御部２０１は、赤外波長情報を生成する（ステップＳ１０９）。例えば、図８に示したフォーマットに従って赤外波長情報を生成する。

画像処理部２０５は、本撮像データに赤外波長情報を関連付けて（ステップＳ１１０）、ファイル化することより、撮像ファイルを生成する（ステップＳ１１１）。画像処理部２０５は、撮像ファイルをメモリカード２２０に記憶する（ステップＳ１１２）。制御部２０１は、赤外波長情報を可視色空間情報に変換する（ステップＳ１１３）。例えば、図５で説明したように、仮想色空間を可視色空間に変換したり、基準点を基準白色に変換したりする。画像処理部２０５は、可視色空間情報を参照して、既に説明したように、本撮像データに対して画像処理を施して（ステップＳ１１４）、画像処理後のデータをＬＣＤ駆動回路２１０により表示信号に変換した後、表示部２０９に表示する（ステップＳ１１５）。制御部２０１は、電源がオフされたかを判定し（ステップ１１６）、電源がオンのままであると判定すれば（ステップＳ１１６でＮＯ）、ステップＳ１０１に移行し、電源がオフされたと判定すれば（ステップＳ１１６でＹＥＳ）、一連の処理を終了する。

以上の説明では、制御部２０１は、赤外波長情報をタグ情報として撮像データに関連付けたが、リンクファイルとして撮像データに関連付けてもよい。以上の説明では、可視の表色系としてＣＩＥ表色系を例に挙げたが、他の表色系であってもよい。

以上の説明では、撮像装置の一例としてのデジタルカメラ１０が表示部２０９を備える構成であったが、撮像装置は表示部２０９を備えない構成でもよい。この場合に、撮像装置は、表示部を備える他の装置に撮像ファイルを送信してもよい。他の装置は、図１１のステップＳ１１３からステップＳ１１５の処理を実行することにより、赤外波長に基づく撮像データを画像データに変換し表示することができる。

以上の説明では、バンドパスフィルタは撮像素子１００に設けられたが、バンドパスフィルタの配置場所は撮像素子１００に限られない。バンドパスフィルタは、フィルタユニットとして、撮影レンズ２０の後段に光軸２１に交差して設けられてもよい。この場合には、制御部２０１は、ユーザによる設定に従って、３種類のバンドパスフィルタを被写体光束の範囲に順に配置すると共に、それぞれの配置に同期して撮影動作を行う。そして、画像処理部２０５は、３つの撮像データを、全画素の撮像データから構成される撮像プレーンデータとして撮像素子１００から順次取得する。フィルタユニットを用いた構成によれば、全画素に対して３種類のバンドパスフィルタのそれぞれに対応した撮像データを得ることができるので、上述の補間処理をしなくてもよい。

デジタルカメラ１０が交換レンズ式のデジタルカメラであり、フィルタユニットが交換レンズと一体的に構成される場合には、撮像パラメータは、交換レンズ内のレンズメモリに記憶されてもよい。カメラボディは、レンズメモリから撮像パラメータを取得してもよい。

以上の説明では、基準点は基準白色に対応付けられたが、基準点はあくまで色を分離する目的で設定される点であるので、必ずしも基準白色に対応付けられなくてもよい。例えば、二つの被写体を色弁別する場合に、仮想色空間に対してマッピングされた二つの被写体の領域の真ん中に設定されてもよい。また、基準点は領域３０３内に設定されたが、領域３０２内に設定されていれば、領域３０３外に設定されてもよい。以上の説明では、基準点の座標は、ユーザの設定により可変であったが、固定であってもよい。この場合には、図８で説明したフォーマットに基準値の項目はなくてもよい。また、撮像データの各画素値を可視のどの波長帯域に関連付けるかという観点によれば、頂点ＡＢ、頂点ＣＤ、および頂点ＥＦの項目もなくてもよい。以上の説明では、対象領域の下限値、上限値、および基準点の三点を設定することにより、ピーク波長λａ、ピーク波長λｂ、ピーク波長λｃの位置が一意に定められたが、下限値および上限値と、基準点以外の点との三点を設定してもよい。例えば、ピーク波長λｂの座標を設定することにより、残りのピーク波長λａおよびピーク波長λｃが一意に定められてもよい。

以上の説明では、仮想色空間は、横軸をｘ'、縦軸をｙ'として定義されたが、仮想色空間は、そもそも赤外波長領域の空間を仮想的に色空間として定義したものであるので、横軸および縦軸をそれぞれ他の軸として定義してもよい。以上の説明では、領域３０１の下限値から上限値にかけての波長の刻み幅を領域４０１と同じ態様に設定したが、均等幅に設定してもよい。以上の説明では、領域３０１の下限値および上限値は可変であったが、下限値および上限値は固定であってもよい。この場合には、領域３０１の形状が可変となる。

以上の説明では、仮想色空間と可視色空間とを対応付けるべく、対象帯域の下限値同士および上限値同士をそれぞれ対応付けた上で、基準点と基準白色とを対応付けたが、仮想色空間における３つの原刺激値と可視色空間における３つの原刺激値とを対応付け、かつ基準点と基準白色とを対応付けてもよい。この場合には、対象帯域の下限値同士および上限値同士のそれぞれは必ずしも対応付けられなくてもよい。馬蹄形の領域４０１は、あくまで単色光により定められる範囲であり、可視色空間は領域４０３で表されるからである。また、仮想色空間の３原刺激値と可視色空間の３原刺激値とを対応付ける場合には、撮像系色空間情報に、仮想色空間の３原刺激値のそれぞれが対応付けられる可視色空間の原刺激値を示す情報が記述されてもよい。

図１２は、撮像系色空間情報の一例を示す図である。図１２（ａ）の撮像系色空間情報のカテゴリには、既に図８で説明した光源特性、ピーク波長λａ、ピーク波長λｂ、ピーク波長λｃ、原刺激値１（頂点ＡＢ）、原刺激値２（頂点ＣＤ）、原刺激値３（頂点ＥＦ）、基準点、輝度補正、色処理、表示色空間、対象帯域の下限値および上限値に加えて、対応原刺激値１（頂点ＧＨ）、対応原刺激値２（頂点ＩＪ）、対応原刺激値３（頂点ＫＬ）が記述されている。なお、仮想色空間の頂点（すなわち頂点ＡＢ、頂点ＣＤ、頂点ＥＦ）、可視色空間の頂点（すなわち頂点ＧＨ、頂点ＩＪ、頂点ＫＬ）、基準点ＲｅｆＰ、および基準白色ＲｅｆＷは、図５で説明した通りである。

対応原刺激値１（頂点ＧＨ）は、仮想色空間の原刺激値１が対応付けられる可視色空間の原刺激値を示す。同様に、対応原刺激値２は、仮想色空間の原刺激値２が対応付けられる可視色空間の原刺激値を示し、対応原刺激値３は、仮想色空間の原刺激値３が対応付けられる可視色空間の原刺激値を示す。ここでは、対応原刺激値１として頂点ＧＨの座標「（０．１４，０．０６）」が記され、対応原刺激値２として頂点ＩＪの座標「（０．２０，０．６８）」が記され、対応原刺激値３として頂点ＫＬの座標「（０．６３，０．３２）」が記されている。つまり、仮想色空間の原刺激値１（頂点ＡＢ）が可視色空間の頂点ＧＨに対応付けられ、仮想色空間の原刺激値２（頂点ＣＤ）が可視色空間の頂点ＩＪに対応付けられ、仮想色空間の原刺激値３（頂点ＥＦ）が可視色空間の頂点ＫＬに対応付けられる。また、基準点ＲｅｆＰの座標は、（０．３３，０．３３）に対応付けられる。なお、既に説明したように、（０．３３，０．３３）はデフォルトに設定されている場合の基準点ＲｅｆＰの座標であり、ユーザは自由に基準点の座標を設定することができる。この場合でも、基準点ＲｅｆＰの座標は、基準白色ＲｅｆＷの座標である（０．３３，０．３３）に対応付けられる。

また、既に図８で説明したように、表示色空間は、基準白色ＲｅｆＷの座標を含む。したがって、この情報から、基準点ＲｅｆＰの座標を基準白色ＲｅｆＷの座標に対応付けることができる。なお、後述するように、仮想色空間の３原刺激値と可視色空間の３原刺激値との関連付けの組み合わせは、一通りではない。そこで、この例では、対応関係を一意に定めるべく、対応付けられる可視色空間の原刺激値を示す情報が記されている。仮想色空間と可視色空間とを対応付ける場合と同様に、被写体を表す座標が領域３０３にマッピングされれば、当該座標を領域４０３の座標に変換することができる。すなわち、可視の色に変換することができる。

以上の説明では、仮想色空間の３原刺激値のそれぞれは、対応刺激値１、対応刺激値２、対応刺激値３により、対応する可視色空間の原刺激値に対応付けられたが、仮想色空間の３原刺激値と可視色空間の３原刺激値は他の方法により関連付けられてもよい。例えば、３原刺激値の記述の順序を利用することにより、仮想色空間の３原刺激値と可視色空間の３原刺激値とを対応付けることができる。具体的には、一番目に記述された原刺激値は、可視色空間の頂点ＧＨの座標（０．１４，０．０６）に対応付けられ、二番目に記述された原刺激値は、可視色空間の頂点ＩＪの座標（０．２０，０．６８）に対応付けられ、三番目に記述された原刺激値は、可視色空間の頂点ＫＬの座標（０．６３，０．３２）に対応付けられる。

ここで、既に説明したように、表示色空間として「ｓＲＧＢ」が記されていれば、頂点ＧＨの座標（ｇ，ｈ）として（０．１４，０．０６）が記され、頂点ＩＪの座標（ｉ，ｊ）として（０．２０，０．６８）が記され、頂点ＫＬの座標（ｋ，ｌ）として（０．６３，０．３２）が記される一方、他の色域を示す情報が記されていれば、３つの原刺激値として上記と異なる値が記されることになる。すなわち、表示色空間として記される情報と可視色空間における３つの原刺激値とは１対１に対応している。したがって、３原刺激値の記述の順序を利用する場合には、画像データ毎に可視色空間の３原刺激値を記さなくても、表示色空間さえ指定すればよい。表示系は、上述した３原刺激値の記述の順序に関する規則に則って、指定された表示色空間に応じて仮想色空間の３原刺激値を可視色空間の３原刺激値に対応付けることができる。

既に説明した図１２（ａ）を例に挙げると、原刺激値１（頂点ＡＢ）、原刺激値２（頂点ＣＤ）、原刺激値３（頂点ＥＦ）の順に記述されている。したがって、対応刺激値１が記されていなくても、一番目に記述された原刺激値１（頂点ＡＢ）が可視色空間の頂点ＧＨの座標（０．１４，０．０６）に対応付けられる。同様に、対応刺激値２が記されていなくても、二番目に記述された原刺激値２（頂点ＣＤ）が可視色空間の頂点ＩＪの座標（０．２０，０．６８）に対応付けられ、対応刺激値３が記されていなくても、三番目に記述された原刺激値３（頂点ＥＦ）が可視色空間の頂点ＫＬの座標（０．６３，０．３２）に対応付けられる。以上のように、３原刺激値の記述の順序を利用することにより、仮想色空間の３原刺激値と可視色空間の３原刺激値とを対応付ける場合には、図１２（ａ）の撮像系色空間情報は、対応刺激値１、対応刺激値２、対応刺激値３を含まなくてもよい。

以上の説明では、仮想色空間の３原刺激値と可視色空間の３原刺激値とはそれぞれ、波長に応じて対応付けられた。すなわち、短波長側の原刺激値同士が関連付けられ、長波長側の原刺激値同士が関連付けられ、短波長側と長波長側の間の波長の原刺激値同士が関連付けられたが、関連付けはこれに限られない。以下に詳細に説明する。以下の例においては、３原刺激値の記述の順序を利用することにより、仮想色空間の３原刺激値と可視色空間の３原刺激値とを対応付ける場合を説明する。したがって、図示されるように、図１２（ｂ）の撮像系色空間情報は、対応刺激値１、対応刺激値２、対応刺激値３を含まない。なお、仮想色空間の３原刺激値と可視色空間の３原刺激値とを、対応刺激値１、対応刺激値２、対応刺激値３を用いて対応付ける場合にも同様のことが言える。

図１２（ｂ）の撮像系色空間情報における３原刺激値の記述の順序は、図１２（ａ）の撮像系色空間情報における３原刺激値の記述の順序とは異なる。具体的には、原刺激値２（頂点ＣＤ）、原刺激値１（頂点ＡＢ）、原刺激値３（頂点ＥＦ）の順に記述されている。したがって、一番目に記述された原刺激値２（頂点ＣＤ）が可視色空間の頂点ＧＨの座標（０．１４，０．０６）に対応付けられる。同様に、二番目に記述された原刺激値１（頂点ＡＢ）が可視色空間の頂点ＩＪの座標（０．２０，０．６８）に対応付けられ、三番目に記述された原刺激値３（頂点ＥＦ）が可視色空間の頂点ＫＬの座標（０．６３，０．３２）に対応付けられる。以上のように関連付けることにより、仮想色空間の３原刺激値に割り当てる色を変化させることができる。具体的には、原刺激値２（頂点ＣＤ）の座標（０．１３，０．６５）は頂点ＧＨの座標（０．１４，０．０６）に対応付けられるので、青系統の色に対応付けられる。原刺激値１（頂点ＡＢ）の座標（０．１７，０．２０）は頂点ＩＪの座標（０．２０，０．６８）に対応付けられるので、緑系統の色に対応付けられる。原刺激値３（頂点ＥＦ）の座標（０．６３，０．３５）は頂点ＫＬの座標（０．６３，０．３２）に対応付けられるので、赤系統の色に対応付けられる。

以上の説明では、可視外帯域として近赤外帯域を例に挙げたが、可視外の帯域であれば他の帯域であってもよい。例えば、撮像素子１００が紫外帯域に受光感度を有する場合には、制御部２０１は、紫外帯域に基づく撮像データを可視色空間における画像データへ変換するための紫外波長情報を生成することができる。

図１３は、撮像系色空間と表示系色空間の対応関係を説明する図である。図１３（ａ）は、撮像素子１００の出力特性により定義される空間を説明する図である。図４と同様に、色度座標のｘ、ｙに対応するｘ'、ｙ'を座標軸として図示している。横軸がｘ'であり、縦軸はｙ'である。本例では、一例として出力特性の下限値は２００ｎｍであり、上限値は４００ｎｍである。すなわち、出力特性により定義される空間は、紫外帯域の空間である。図１３（ｂ）は、可視の表色系色度図を示す。横軸がｘであり、縦軸はｙである。本例では、仮想色空間の３原刺激値と可視色空間の３原刺激値とを対応付け、基準点と基準白色とを対応付ける場合を説明する。

仮想色空間の原刺激値１である頂点ＡＢは、可視色空間の頂点ＧＨに対応付けられる。同様に、仮想色空間の原刺激値２である頂点ＣＤは可視色空間の頂点ＩＪに対応付けられ、仮想色空間の原刺激値３である頂点ＥＦは可視色空間の頂点ＫＬに対応付けられる。また、基準点ＲｅｆＰは、基準白色ＲｅｆＷに対応付けられる。赤外波長帯域の場合と同様に、被写体を表す座標が領域３０３にマッピングされれば、当該座標を領域４０３の座標に変換することができる。すなわち、可視の色に変換することができる。

以上の説明では、ＮＩＲ１フィルタおよびＮＩＲ３フィルタはＮＩＲ２フィルタのピーク波長で透過率を有し、ＮＩＲ２フィルタは、ＮＩＲ１フィルタおよびＮＩＲ３フィルタのピーク波長のそれぞれで透過率を有したが、図３（ｃ）で既に説明した撮像素子１００の出力特性（例えば１％以上の受光感度を有する範囲）において、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタが全て１％以上の透過率を有することが好ましい。このような構成によれば、ＮＩＲ１フィルタが設けられた画素は、１１５０ｎｍ付近で高感度を有すると共に、上限値付近でも多少の感度を有する。同様に、ＮＩＲ２フィルタが設けられた画素は、１４００ｎｍ付近で高感度を有すると共に、下限値および上限値付近でも多少の感度を有し、ＮＩＲ３フィルタが設けられた画素は、１６５０ｎｍ付近で高感度を有すると共に、下限値付近でも多少の感度を有する。

画像処理部２０５が赤外波長帯域に基づく撮像データを可視波長帯域に変換して画像データを生成する場合に、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタのそれぞれを互いに異なる可視の波長帯域に対応付けるだけでなく、それぞれの波長帯域の画素信号を用いて、可視の波長帯域の画素信号に変換する。例えば、ＮＩＲ１フィルタの波長帯域の画素信号を、当該画素信号に加えてＮＩＲ２フィルタの波長帯域の画素信号およびＮＩＲ３フィルタの波長帯域の画素信号を用いて、可視の波長帯域の画素信号に変換する。このように、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタの全ての波長帯域の画素信号を用いることにより、分解能の高い色表現をすることができる。

色表現の分解能を高めるために、上述のように、撮像素子１００の出力特性において、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタは全て１％以上の透過率を有することが好ましい。しかしながら、色表現の分解能を高める構成は、これに限られない。少なくとも、最も短波長側であるＮＩＲ１フィルタの波長帯域のピーク波長において、最も長波長側であるＮＩＲ３フィルタの波長帯域が重複している構成であってもよい。具体的には、ＮＩＲ１フィルタの波長帯域のピーク波長である１１５０ｎｍにおいて、ＮＩＲ３フィルタが１％以上の透過率を有してもよい。一方、少なくとも、最も長波長側であるＮＩＲ３フィルタの波長帯域のピーク波長において、最も短波長側であるＮＩＲ１フィルタの波長帯域が重複している構成であってもよい。具体的には、ＮＩＲ３フィルタの波長帯域のピーク波長である１６５０ｎｍにおいて、ＮＩＲ１フィルタが１％以上の透過率を有してもよい。このような組み合わせでも、ＮＩＲ１フィルタ、ＮＩＲ２フィルタ、およびＮＩＲ３フィルタは、少なくともそれぞれのピーク波長を含む範囲の波長帯域にわたって互いに重複するので、多色での色表現が可能になる。

図１４は、色割り当ての一例を説明する図である。図１４（ａ）は図５（ａ）と同一であり、図１４（ｂ）は図５（ｂ）と同一である。

図１４の例においては、点ＡＢの座標（ａ，ｂ）は点ＧＨの座標（ｇ，ｈ）に対応付けられる。すなわち、点ＡＢの座標（ａ，ｂ）付近の座標は、青系統の色に対応付けられる。点ＣＤの座標（ｃ，ｄ）は点ＩＪの座標（ｉ，ｊ）に対応付けられる。すなわち、点ＣＤの座標（ｃ，ｄ）付近の座標は、緑系統の色に対応付けられる。点ＥＦの座標（ｅ，ｆ）は点ＫＬの座標（ｋ，ｌ）に対応付けられる。すなわち、点ＥＦの座標（ｅ，ｆ）付近の座標は、赤系統の色に対応付けられる。

図７（ａ）を用いて既に説明したように、水のスペクトル強度は、１１００ｎｍ付近まで急激に上昇し、１２５０ｎｍ付近以降に急激に下降するので、１１００ｎｍ付近までの帯域および１２００ｎｍ付近以降の帯域において油のスペクトル強度とは大きな差がある。ＮＩＲ２フィルタおよびＮＩＲ３フィルタの波長帯域に相当するスペクトル強度が相対的に小さいので、水Ｏｂｊｗは表色系色度図において点ＧＨに近い位置にマッピングされる。よって、可視に変換後の画像において全体的に青系統の色として認識される。一方、油のスペクトル強度は近赤外の波長帯域の比較的広範囲にわたるので、油Ｏｂｊｏは表色系色度図において基準白色ＲｅｆＷに近い位置にマッピングされる。よって、可視に変換後の画像では水に比べて若干白っぽい色として認識される。

図１５は、色割り当ての他の例を説明する図である。図１５（ａ）は図５（ａ）と同一であり、図１５（ｂ）は図５（ｂ）と同一である。

図１５の例においては、点ＡＢの座標（ａ，ｂ）は点ＩＪの座標（ｉ，ｊ）に対応付けられる。すなわち、点ＡＢの座標（ａ，ｂ）付近の座標は、緑系統の色に対応付けられる。点ＣＤの座標（ｃ，ｄ）は点ＫＬの座標（ｋ，ｌ）に対応付けられる。すなわち、点ＣＤの座標（ｃ，ｄ）付近の座標は、赤系統の色に対応付けられる。点ＥＦの座標（ｅ，ｆ）は点ＧＨの座標（ｇ，ｈ）に対応付けられる。すなわち、点ＥＦの座標（ｅ，ｆ）付近の座標は、青系統の色に対応付けられる。

この例においては、水Ｏｂｊｗは表色系色度図において点ＩＪに近い位置にマッピングされる。よって、可視に変換後の画像において全体的に緑系統の色として認識される。一方、油Ｏｂｊｏは表色系色度図において基準白色ＲｅｆＷに近い位置にマッピングされる。よって、可視に変換後の画像では水に比べて若干白っぽい色として認識される。

図１６は、色割り当ての他の例を説明する図である。図１６（ａ）は図５（ａ）と同一であり、図１６（ｂ）は図５（ｂ）と同一である。

図１６の例においては、点ＡＢの座標（ａ，ｂ）は点ＫＬの座標（ｋ，ｌ）に対応付けられる。すなわち、点ＡＢの座標（ａ，ｂ）付近の座標は、赤系統の色に対応付けられる。点ＣＤの座標（ｃ，ｄ）は点ＧＨの座標（ｇ，ｈ）に対応付けられる。すなわち、点ＣＤの座標（ｃ，ｄ）付近の座標は、青系統の色に対応付けられる。点ＥＦの座標（ｅ，ｆ）は点ＩＪの座標（ｉ，ｊ）に対応付けられる。すなわち、点ＥＦの座標（ｅ，ｆ）付近の座標は、緑系統の色に対応付けられる。

この例においては、水Ｏｂｊｗは表色系色度図において点ＫＬに近い位置にマッピングされる。よって、可視に変換後の画像において全体的に赤系統の色として認識される。一方、油Ｏｂｊｏは表色系色度図において基準白色ＲｅｆＷに近い位置にマッピングされる。よって、可視に変換後の画像では水に比べて若干白っぽい色として認識される。

以上説明したように、仮想色空間の３原刺激値と可視色空間の３原刺激値とをどのように関連付けるかによって、観察対象物を異なる色で表すことができる。人間は、一般的に、緑系統の色よりも青系統および赤系統の色の違いに敏感であることが知られている。そこで、本実施形態においては、水および油を色弁別するための観察情報は、点ＡＢの座標（ａ，ｂ）を点ＫＬの座標（ｋ，ｌ）に対応付け、点ＣＤの座標（ｃ，ｄ）を点ＧＨの座標（ｇ，ｈ）に対応付け、点ＥＦの座標（ｅ，ｆ）を点ＩＪの座標（ｉ，ｊ）に対応付けることを示す。画像処理部２０５は、この観察情報に従って色割り当てを行うことにより、ＮＩＲ１フィルタ、ＮＩＲ２フィルタおよびＮＩＲ３フィルタのそれぞれの波長帯域に相当するスペクトル強度のうち、最も強いスペクトル強度に対応する原刺激値を、点ＫＬすなわち赤系統の色に割り当てることができる。なお、観察情報が、点ＡＢの座標（ａ，ｂ）を点ＧＨの座標（ｇ，ｈ）、すなわち青系統の色に対応付け、点ＣＤの座標（ｃ，ｄ）を点ＩＪの座標（ｉ，ｊ）に対応付け、点ＥＦの座標（ｅ，ｆ）を点ＫＬの座標（ｋ，ｌ）に対応付けることを示すように生成されてもよい。以上のように、被写体スペクトルに応じて、人間の視覚特性に合わせて色の関連付けを適宜入れ替えることにより、可視画像において被写体を色弁別し易くできる。

図１７は、デジタルカメラ１０の処理の流れを示すフロー図である。本フローは、ユーザによる電源がオンされると開始される。なお、既に説明した観察対象物の設定に関するメニュー画面を通して、色弁別の対象となる２つの観察対象物として水および油が設定されており、ユーザは水および油を撮影するものとする。

制御部２０１は、ＳＷ１が押下されたか否かを判定する（ステップＳ２０１）。ＳＷ１が押下されたと判定した場合には（ステップＳ２０１でＹＥＳ）、制御部２０１は、ＳＷ２が押下されたことか否かを判定する（ステップＳ２０２）。ＳＷ２が押下されたと判定した場合には（ステップＳ２０２でＹＥＳ）、制御部２０１は、撮影処理を行う（ステップＳ１０３）。

画像処理部２０５は、デジタル変換により得られた撮像データに種々の処理を施すことにより、本撮像データを生成する（ステップＳ２０４）。画像処理部２０５は、設定されている観察対象物に対応する観察情報をシステムメモリ２０６から取得する（ステップＳ２０５）。ここでは、水および油を色弁別するための観察情報を取得する。画像処理部２０５は、仮想色空間の３原刺激値および可視色空間の３原刺激値を取得する（ステップＳ２０６）。画像処理部２０５は、取得した観察情報、並びに仮想色空間および可視色空間の３原刺激値を用いて、色割り当てを決定する（ステップＳ２０７）。図１４−１６で既に説明したように、例えば、点ＡＢの座標（ａ，ｂ）を点ＫＬの座標（ｋ，ｌ）に対応付け、点ＣＤの座標（ｃ，ｄ）を点ＧＨの座標（ｇ，ｈ）に対応付け、点ＥＦの座標（ｅ，ｆ）を点ＩＪの座標（ｉ，ｊ）に対応付ける。そして、決定した色割り当てに従って、本撮像データに対して画像処理を施してカラー画像データを生成する（ステップＳ２０８）。

カラー画像データをＬＣＤ駆動回路２１０により表示信号に変換した後、表示部２０９に表示する（ステップＳ２０９）。制御部２０１は、電源がオフされたかを判定し（ステップＳ２１０）、電源がオンのままであると判定すれば（ステップＳ２１０でＮＯ）、ステップＳ２０１に移行し、電源がオフされたと判定すれば（ステップＳ２１０でＹＥＳ）、一連の処理を終了する。

以上の説明では、画像処理部２０５は、仮想色空間の３原刺激値のそれぞれを可視色空間内の点に対応付けたが、仮想色空間の３原刺激値の少なくとも１つを可視色空間外の点に対応付けてもよい。図１８は、撮像系色空間と表示系色空間の対応関係の他の例を説明する図である。図１８（ａ）は、図５（ａ）と同一である。図１８（ｂ）は、可視の表色系色度図を示す。横軸がｘであり、縦軸はｙである。

図１８の例においては、点ＡＢの座標（ａ，ｂ）は点ＧＨの座標（ｇ，ｈ）に対応付けられる。点ＣＤの座標（ｃ，ｄ）は点Ｉ'Ｊ'の座標（ｉ'，ｊ'）に対応付けられる。点Ｉ'Ｊ'は、可視色空間を示す領域４０３外の点である。点ＥＦの座標（ｅ，ｆ）は点ＫＬの座標（ｋ，ｌ）に対応付けられる。領域４０１においては、外側に向かうほど彩度が高くなる。したがって、点ＣＤの座標（ｃ，ｄ）を、点ＩＪの座標（ｉ，ｊ）よりも外側の点Ｉ'Ｊ'の座標（ｉ'，ｊ'）に対応付けることにより、緑系統の彩度を向上させることができる。より詳細には、点ＣＤの座標（ｃ，ｄ）が点ＩＪの座標（ｉ，ｊ）に対応付けされた場合に、観察対象物が基準白色ＲｅｆＷ付近にマッピングされると、観察対象物は全体的に白っぽい色で表現されるが、点Ｉ'Ｊ'の座標（ｉ'，ｊ'）に対応付けされることにより、観察対象物がマッピングされる位置は外側に移動する。結果として、より強い緑系統の色で表現されるので、観察対象物の色付きを向上させることができる。

以上の説明では、仮想色空間の３原刺激値の少なくとも１つを可視色空間外の点に対応付けたが、可視色空間外でなくてもよい。例えば、点ＩＪの座標（ｉ，ｊ）に対して、領域４０１の外側に向かう方向に増幅ゲインをかけることによって、彩度を向上させることができれば、可視色空間内の点に対応付けられてもよい。なお、点ＩＪの座標（ｉ，ｊ）以外の他の原刺激値に増幅ゲインをかけてもよいし、複数の原刺激値に増幅ゲインをかけてもよい。

以上の説明では、画像処理部２０５は、最も強いスペクトル強度に対応する原刺激値を点ＫＬまたは点ＧＨに対応付けたが、システムメモリ２０６が色差の識別閾を記憶している場合には、この色差の識別閾を用いて対応付けを行ってもよい。色差の識別閾の一例として、マックアダム楕円に応じた識別閾を用いることができる。

図１９は、撮像系色空間と表示系色空間の対応関係の他の例を説明する図である。図１９（ａ）、（ｃ）は、図５（ａ）と同一である。図１９（ｂ）、（ｄ）は、可視の表色系色度図を示す。横軸がｘであり、縦軸はｙである。図１９（ｂ）、（ｄ）の領域４０１内の楕円は、マックアダム楕円を示す。

図１９（ａ）および（ｂ）の例においては、図１４の例と同様に、点ＡＢの座標（ａ，ｂ）は点ＧＨの座標（ｇ，ｈ）に対応付けられる。点ＣＤの座標（ｃ，ｄ）は点ＩＪの座標（ｉ，ｊ）に対応付けられる。点ＥＦの座標（ｅ，ｆ）は点ＫＬの座標（ｋ，ｌ）に対応付けられる。観察対象物Ｏｂｊ１および観察対象物Ｏｂｊ２は、同一のマックアダム楕円内にマッピングされている。この場合に、ユーザが観察対象物Ｏｂｊ１と観察対象物Ｏｂｊ２を色弁別することは非常に困難である。

図１９（ｃ）および（ｄ）の例においては、図１５の例と同様に、点ＡＢの座標（ａ，ｂ）は点ＩＪの座標（ｉ，ｊ）に対応付けられる。点ＣＤの座標（ｃ，ｄ）は点ＫＬの座標（ｋ，ｌ）に対応付けられる。点ＥＦの座標（ｅ，ｆ）は点ＧＨの座標（ｇ，ｈ）に対応付けられる。観察対象物Ｏｂｊ１および観察対象物Ｏｂｊ２は、同一のマックアダム楕円内にマッピングされていない。この場合、ユーザは観察対象物Ｏｂｊ１と観察対象物Ｏｂｊ２を色弁別し易くなる。

以上のことから、画像処理部２０５は、観察対象物Ｏｂｊ１および観察対象物Ｏｂｊ２が同一のマックアダム楕円にマッピングされる場合に、色割り当てを変更するとよい。例えば、図１９（ｃ）および（ｄ）で説明した色割り当てに変更するとよい。これにより、色弁別し難い色から色弁別し易い色に変換することができる。なお、色差の識別閾は、マックアダム楕円に応じた識別閾に限られない。例えば、ユニバーサルカラーデザイン等の他の原理に応じた識別閾であってもよい。

画像処理部２０５は、操作部２０８が受け付けたユーザ操作に応じて、領域に関連付けられた少なくとも１つの画素データの色相、彩度、輝度、階調特性のいずれか一つまたは複数を変化させてもよい。例えば、色相を変化させることによって、より色弁別し易い色に変換することができる。

以上の説明では、観察情報は、仮想色空間の３原刺激値と可視色空間の３原刺激値とをどのように関連付けるかを示したが、観察対象物のスペクトルそのものを示す情報であってもよい。この場合には、画像処理部２０５は、撮像素子１００の出力特性と観察情報とから仮想色空間の３原刺激値と可視色空間の３原刺激値とをどのように関連付けるかを決定するとよい。例えば、上述のように、最も強いスペクトル強度に対応する原刺激値を点ＫＬまたは点ＧＨに対応付けてもよい。

制御部２０１は、撮像素子１００の出力信号から生成された撮像データを可視色空間における画像データへ変換するための可視外波長情報の一例としての赤外波長情報を生成してもよい。詳しくは後述するが、赤外波長情報は、被写体光束の波長に対する撮像素子１００の出力特性である感度特性に基づいて定義される。

画像処理部２０５は、種々の処理が施された撮像データにタグ情報として赤外波長情報を関連付けた撮像ファイルをメモリカード２２０に記録してもよい。そして、赤外波長情報を用いて、赤外波長帯域に基づく撮像データを可視波長帯域に変換してカラー画像データを生成してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の撮影動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ ワークメモリ、２０４ 駆動部、２０５ 画像処理部、２０６ システムメモリ、２０７ メモリカードＩＦ、２０８ 操作部、２０９
表示部、２１０ ＬＣＤ駆動回路、２１１ 通信部、２２０ メモリカード、３０１ 領域、３０２ 領域、３０３ 領域、４０１ 領域、４０３ 領域、５０１ 領域、５０２ 領域、６０１ 領域、６０２ 領域、６０３ 領域、７０１ 領域、７０２ 領域、７０３ 領域

Claims (19)

1. 可視外帯域に受光感度を有する撮像部と、
   前記撮像部の出力信号から生成される撮像データを可視色空間における画像データへ変換するための、被写体光束の波長に対する前記撮像部の出力特性である感度特性に基づいて定義される可視外波長情報を生成する生成部と、
   前記撮像データに前記可視外波長情報を関連付ける処理部と
   を備える撮像装置。
2. 前記被写体光束のうち連続する前記可視外帯域の互いに異なる一部を通過させる複数のバンドパスフィルタを備え、
   前記生成部は、前記複数のバンドパスフィルタが通過させる前記可視外帯域の波長帯域と前記撮像部の前記受光感度とから決定される前記出力特性に基づいて定義される前記可視外波長情報を生成する請求項１に記載の撮像装置。
3. 前記可視外波長情報は、前記複数のバンドパスフィルタの各ピーク波長および前記各ピーク波長に対応する半値幅と、前記撮像部の前記受光感度とから決定される複数の可視外原刺激値を含む請求項２に記載の撮像装置。
4. 前記複数の可視外原刺激値は、前記可視色空間の互いに異なる領域に関する情報に対応付けられる請求項３に記載の撮像装置。
5. 前記可視外波長情報は、前記複数の可視外原刺激値を前記可視色空間上の可視原刺激値に対応付けるための情報を含む請求項４に記載の撮像装置。
6. 前記生成部は、連続する前記可視外帯域における前記感度特性の下限感度と上限感度の情報を、前記可視外波長情報として生成する請求項２から請求項５のいずれか１項に記載の撮像装置。
7. 前記下限感度は前記可視色空間における青色領域の座標に対応付けられ、前記上限感度は前記可視色空間における赤色領域の座標に対応付けられる請求項６に記載の撮像装置。
8. 前記可視外波長情報は、前記可視色空間における特定座標に対応付けられる基準値を含む請求項２から請求項７のいずれか１項に記載の撮像装置。
9. 前記特定座標は、白色基準座標である請求項８に記載の撮像装置。
10. 前記基準値は、撮像系色空間内の値である請求項８に記載の撮像装置。
11. 前記複数のバンドパスフィルタは、３つ以上のバンドパスフィルタであり、
    前記基準値は、前記３つ以上のバンドパスフィルタのそれぞれのピーク波長に基づいて決定される請求項８に記載の撮像装置。
12. 前記生成部は、前記撮像部により撮像される被写体のスペクトルに基づいて、前記基準値を設定する請求項８から請求項１１のいずれか１項に記載の撮像装置。
13. 前記可視外波長情報は、前記画像データに基づく画像が表示されるべき色域を示す情報を含む請求項２から請求項１２のいずれか１項に記載の撮像装置。
14. 可視外帯域の光を受光して撮像部で撮像された撮像データを取得する取得部と、
    前記撮像データを可視色空間における画像データへ変換するための、被写体光束の波長に対する前記撮像部の出力特性である感度特性に基づいて定義される可視外波長情報を生成する生成部と、
    前記撮像データに前記可視外波長情報を関連付ける処理部と
    を備えるデータ生成装置。
15. 通過させた可視外帯域の波長帯域ごとに対応する少なくとも３種類の撮像要素を含む可視外撮像データを撮像部から取得する可視外撮像データ取得部と、
    観察対象物の情報である観察情報を取得する観察情報取得部と、
    前記観察情報に基づいて、前記撮像要素のそれぞれに、可視色空間における互いに異なる領域を関連付けてカラー画像データを生成する画像生成部と
    を備える画像処理装置。
16. 前記観察情報取得部は、前記観察情報として、前記観察対象物のスペクトルに関する情報を取得する請求項１５に記載の画像処理装置。
17. 前記可視外撮像データを生成した、被写体光束の波長に対する前記撮像部の出力特性である感度特性を示す特性情報を取得する特性取得部を備え、
    前記画像生成部は、前記特性情報に基づいて、前記撮像要素のそれぞれに前記領域を関連付ける請求項１５または請求項１６に記載の画像処理装置。
18. 前記画像生成部は、色差の識別閾に基づいて、前記撮像要素のそれぞれに前記領域を関連付ける請求項１５から請求項１７のいずれか１項に記載の画像処理装置。
19. 前記画像生成部は、前記撮像要素の少なくとも１つに、前記可視色空間外の領域を対応付ける請求項１５から請求項１８のいずれか１項に記載の画像処理装置。