JP2004320119A

JP2004320119A - 画像記録装置

Info

Publication number: JP2004320119A
Application number: JP2003107641A
Authority: JP
Inventors: Makoto Tsugita; 誠次田
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2003-04-11
Filing date: 2003-04-11
Publication date: 2004-11-11

Abstract

【課題】低輝度部の画像情報と高輝度部の画像情報とをＲＡＷデータ記録する際にデータ量が大きくなり過ぎるのを防ぐことができる画像記録装置を提供する。
【解決手段】相対的に高感度の主感光画素と相対的に低感度の副感光画素と備えたＣＣＤ２０を搭載したカメラ５０において、操作部６４にはＲＡＷデータ記録を行うか否かを選択するためのＲＡＷ記録ＯＮ／ＯＦＦスイッチ６５が設けられる。ＲＡＷデータ記録を行う場合、副感光画素で撮像した高輝度部画像の情報量をカメラ５０がチェックし、情報量が少なかったら自動的に高輝度部の画像情報を記録しないように制御する。また、副感光画素で撮像した高輝度部画像の記録の有無をユーザが選択できるように選択スイッチを設ける態様、或いは、副感光画素で撮像した高輝度部の画像に対してのみ圧縮処理を施す態様がある。
【選択図】図９

Description

【０００１】
【発明の属する技術分野】
本発明は画像記録装置に係り、特に広ダイナミックレンジ画像の記録が可能なデジタルスチルカメラなどに好適な画像記録処理技術であって、ＣＣＤなどの撮像素子から出力された生のデータ（ＲＡＷデータ）をそのまま記録するＲＡＷデータ記録機能に利用される技術に関する。
【０００２】
【従来の技術】
デジタルスチルカメラ（ＤＳＣ）は、撮像素子が捉えた画像情報に対して色々な処理を加え、好ましい画像にした後記録する。記録時には、容量の限られた記録メディアに記録するので、画像を圧縮し、データ量を少なくしてから記録するのが一般的である。これに対し、画像処理を自分なりの手法で行いたいと考えるユーザーのために、撮像素子が捉えた画像情報に処理を加えない、いわゆるＲＡＷ画像を記録できるようにしたＤＳＣも一部には存在する。このＲＡＷ画像記録は圧縮処理を加えないので、画像データ量が大きくなってしまうという問題がある。
【０００３】
一方、特許文献１に記載されているように、一つの画素に感度の異なる第一と第２の撮像セルが構成された撮像素子を備えたカメラも提案されている。これは、シーンの低輝度の情報を高感度の撮像セルで捉えると同時に、高輝度部の情報を低感度の撮像セルで捉え、これら二種類の撮像セルの信号を合成して輝度レンジの広い画像を得るという特徴を有している。
【０００４】
【特許文献１】
特公平８−３１９８８号公報
【０００５】
【発明が解決しようとする課題】
高感度の撮像セルと低感度の撮像セルとを備えた撮像素子を用いるカメラの場合も、撮像素子が捉えた画像情報に手を加えないＲＡＷ画像を記録しておき、撮影後に色々な画像処理を加えることができるような構成にすることが考えられる。ただし、この場合、高感度の撮像セルで捉えた画像（高感度撮像画）と低感度の撮像セルで捉えた画像（低感度撮像画）との両方をＲＡＷ記録することになるので、画像データ量が更に大きいものになる。
【０００６】
本発明はこのような事情に鑑みてなされたもので、ＲＡＷ画像記録を行うときに、データ量が大きくなり過ぎるのを防ぐことができる画像記録装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は前記目的を達成するために、被写体の光学像を電気信号に変換し、相対的に低輝度部の画像情報を得る第１の撮像手段と、前記被写体の光学像を電気信号に変換し、相対的に高輝度部の画像情報を得る第２の撮像手段と、前記第１の撮像手段により取得された低輝度部のＲＡＷ画像データ及び前記第２の撮像手段により得られた高輝度部のＲＡＷ画像データのうち少なくとも前記低輝度部のＲＡＷ画像データを記録部に記録するデータ記録手段、を備えた画像記録装置であって、該画像記録装置は、前記第２の撮像手段により取得された高輝度部の画像情報から当該高輝度部のＲＡＷ画像データを前記記録部に記録するか否かを判定する判定手段と、前記判定手段の判定結果に従い前記高輝度部のＲＡＷ画像データの記録処理を制御する記録制御手段、を備えていることを特徴とする。
【０００８】
本発明によれば、第１及び第２の撮像手段を介して撮像した画像の生データ（ＲＡＷ画像データ）を記録する際に、第２の撮像手段によって撮像された画像情報を分析して高輝度部の画像情報を記録する必要性（有効性）について自動的に判定し、記録すべきものと判断した場合には、低輝度部の情報とともに高輝度部のＲＡＷ画像データを記録する。その一方、前記判定において記録不要と判断した場合には高輝度部のＲＡＷ画像データについては記録を行わず、低輝度部のＲＡＷ画像データのみを記録するように制御している。
【０００９】
例えば、黒っぽい服装を身につけた人物を黒い壁の前で曇天時に撮影した場合、第２の撮像手段で撮像した高輝度部画像には情報量が少なく、この高輝度部の情報を削除しても最終画像には影響が小さいと考えられる。したがって、撮影したシーンから高輝度部の情報量が少ないと判断された場合には、高輝度部のＲＡＷ画像データを記録しないという制御態様が採用される。
【００１０】
こうして、最終画像の画質にあまり影響しないレベルの高輝度部の情報を記録しないことによって、データ量が削減され、限られた容量の記録部に記録可能なショット数（画像数）を増やすことができる。
【００１１】
前記判定手段は、予め定められた判定条件の情報を保持する条件格納手段と、前記高輝度部の画像情報を分析して前記判定条件と対比する演算手段と、を含む態様がある。
【００１２】
また、本発明の画像記録装置において、前記判定手段と記録制御手段とによる高輝度部ＲＡＷ画像データの自動記録制御を行うか否かを切り替える切替手段を備える態様も好ましい。
【００１３】
更にまた、撮影した画像について所定の信号処理を施し汎用的なファイル形式に変換してデータを記録するモード（通常記録モード）と、撮影した画像のＲＡＷデータを記録するモード（ＲＡＷデータ記録モード）と、を切り替えるモード切替手段を備える態様も好ましい。
【００１４】
本発明の他の態様によれば、被写体の光学像を電気信号に変換し、相対的に低輝度部の画像情報を得る第１の撮像手段と、前記被写体の光学像を電気信号に変換し、相対的に高輝度部の画像情報を得る第２の撮像手段と、前記第１の撮像手段により取得された低輝度部のＲＡＷ画像データ及び前記第２の撮像手段により得られた高輝度部のＲＡＷ画像データのうち少なくとも前記低輝度部のＲＡＷ画像データを記録部に記録するデータ記録手段と、を備えた画像記録装置であって、該画像記録装置は、前記第２の撮像手段により取得された高輝度部のＲＡＷ画像データを前記記録部に記録するか否かを選択的に指定する選択操作手段と、前記選択操作手段の指定に従い前記高輝度部のＲＡＷ画像データの記録処理を制御する記録制御手段と、を備えていることを特徴とする。
【００１５】
ＲＡＷ画像記録が可能な画像記録装置を使用するユーザは写真に親しんでいる人が多く、撮影したシーンが高輝度部すなわち画像のハイライト情報を多く含んでいるかどうか、高輝度部を削除しても最終画像には影響が小さいかどうかを判断できる場合も多いと考えられる。本発明では、ＲＡＷ画像記録を行う際、第２の撮像手段で撮像した高輝度部画像の記録の有無をユーザが選択できるように構成されており、ユーザ自身が高輝度部の記録の必要性を判断して、記録の要否を指定できる。これにより、最終画像の画質にあまり影響しないと思われるレベルの高輝度部の情報記録を省略することが可能となり、データ量が過大になるのを防ぐことができる。
【００１６】
また、上記態様の画像記録装置において、撮影実行の指示を入力する撮影指示入力手段と、前記撮影指示入力手段からの指示に基づいて前記第１及び第２の撮像手段による撮像動作が行われた後に、当該撮像動作で取得される前記高輝度部のＲＡＷ画像データについて記録処理を行うか否かの指定の入力を促す情報を提示する情報提示手段と、を備えていることを特徴とする態様がある。
【００１７】
撮影指示入力手段から与えられる撮影開始の指示の入力に応動して前記第１及び第２の撮像手段による撮像が行われる。この撮像動作の後（好ましくは直後）に、ユーザに対して高輝度部の記録可否を尋ねる情報を提示して、記録可否の指示を受け付け、ユーザからの指示に従って高輝度部の情報を記録し、或いは記録しないという制御を行う。なお、撮影指示入力手段から撮影開始の指示を入力する前に、高輝度部のＲＡＷ画像データの記録の要否をユーザが指定する態様もある。
【００１８】
本発明の更に他の態様に係る画像記録装置は、被写体の光学像を電気信号に変換し、相対的に低輝度部の画像情報を得る第１の撮像手段と、前記被写体の光学像を電気信号に変換し、相対的に高輝度部の画像情報を得る第２の撮像手段と、前記第２の撮像手段により取得された高輝度部のＲＡＷ画像データを圧縮する圧縮処理手段と、前記第１の撮像手段により取得された低輝度部のＲＡＷ画像データを非圧縮で記録部に記録するとともに、前記圧縮処理手段によって圧縮された高輝度部のＲＡＷ画像データを前記記録部に記録するデータ記録手段、を備えていることを特徴とする。
【００１９】
本発明によれば、ＲＡＷ画像記録を行う際、第２の撮像手段で撮像した高輝度部の画像に対して圧縮をかける。高輝度部は画像中のハイライト情報なので、圧縮／伸長の過程を経ても最終画像には影響が小さいと考えられる。
【００２０】
圧縮によってデータ量を削減することができ、かつ画質への影響も少ないという利点がある。
【００２１】
上記態様の画像記録装置において更に、前記高輝度部のＲＡＷ画像データを圧縮するか否かを選択的に指定する選択操作手段と、前記選択操作手段の指定に従い前記圧縮処理手段における前記高輝度部のＲＡＷ画像データの圧縮処理を制御する圧縮制御手段と、を備えていることを特徴とする態様がある。
【００２２】
また、本発明の更に他の態様として、前記記録部の空き容量を検出する手段を備え、この空き容量検出手段の検出情報に基づき、前記記録部の空き容量が所定の判定基準値よりも小さくなったと判断した場合に、例えば、▲１▼前記高輝度部のＲＡＷ画像データの記録の可否を自動判定する制御を行う態様、▲２▼前記高輝度部のＲＡＷ画像データの記録の可否をユーザに問い合わせる態様、▲３▼前記高輝度部のＲＡＷ画像データについて圧縮処理を行う態様、▲４▼前記高輝度部のＲＡＷ画像データについて圧縮処理の可否をユーザに問い合わせる態様−などがある。なお、これら▲１▼〜▲４▼の各態様を適宜組み合わせることも可能である。
【００２３】
本発明の他の態様は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の副感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記副感光画素からそれぞれ画像信号を取り出すことができる構造を有する撮像素子が用いられ、前記主感光画素は前記第１の撮像手段として機能し、前記副感光画素は前記第２の撮像手段として機能することを特徴とする。
【００２４】
この態様に用いる撮像素子は、主感光画素と副感光画素とを組み合わせた複合画素の構造を有している。主感光画素と副感光画素とは光学的に同位相の情報を取得することができ、一回の撮像によってダイナミックレンジの異なる２つの画像情報を取得することができる。
【００２５】
本発明の画像記録装置における一態様として、前記撮像素子は、各受光セルが少なくとも前記主感光画素及び前記副感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記副感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられていることを特徴とする。
【００２６】
かかる構造の撮像素子は、同一受光セル（画素セル）内の主感光画素と副感光画素の画素位置は略同一の位置にあるものとして取り扱うことができる。したがって、時間的に同位相で空間的にも略同位置の２つの画像情報を一回の撮像で取得することができる。
【００２７】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００２８】
〔撮像素子の構造〕
まず、本発明が適用される電子カメラに用いられる広ダイナミックレンジ撮像用の撮像素子の構造について説明する。図１はＣＣＤイメージセンサ（以下、ＣＣＤという。）２０の受光面の構造例を示す平面図である。図１では２つの受光セル（画素ＰＩＸ）が横に並んでいる様子を示すが、実際には多数の画素ＰＩＸが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配列されている。
【００２９】
各画素ＰＩＸは、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、主たる感光部（以下、主感光画素という）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、従たる感光部（以下、副感光画素という。）を構成する。画素ＰＩＸの右側には垂直転送路（ＶＣＣＤ）２３が形成されている。
【００３０】
図１に示した構成はハニカム構造の画素配列であり、図示した２つの画素ＰＩＸ上側及び下側には不図示の画素が横方向に半ピッチずれた位置に配置される。図１上に示した各画素ＰＩＸの左側に示されている垂直転送路２３は、これら画像ＰＩＸの上側及び下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【００３１】
図１中点線で示すように、四相駆動（φ１，φ２，φ３，φ４）に必要な転送電極２４、２５、２６、２７（まとめてＥＬで示す。）が垂直転送路２３の上方に配置される。例えば、２層ポリシリコンで転送電極を形成する場合、φ１のパルス電圧が印加される第１の転送電極２４と、φ３のパルス電圧が印加される第３の転送電極２６とは第１層ポリシリコン層で形成され、φ２のパルス電圧が印加される第２の転送電極２５と、φ４のパルス電圧が印加される第４の転送電極２７とは第２層ポリシリコン層で形成される。なお、転送電極２４は副感光画素２２から垂直転送路２３への電荷読み出しも制御する。転送電極２５は主感光画素２１から垂直転送路２３への電荷読み出しも制御する。
【００３２】
図２は図１の２−２線に沿う断面図であり、図３は図１の３−３線に沿う断面図である。図２に示したように、ｎ型半導体基板３０の一表面にｐ型ウエル３１が形成されている。ｐ型ウエル３１の表面領域に２つのｎ型領域３３、３４が形成され、フォトダイオードを構成している。符号３３で示したｎ型領域のフォトダイオードが主感光画素２１に相当し、符号３４で示したｎ型領域のフォトダイオードが副感光画素２２に相当している。ｐ^＋型領域３６は、画素ＰＩＸ、垂直転送路２３等の電気的な分離を行うチャネルストップ領域である。
【００３３】
図３に示すように、フォトダイオードを構成するｎ型領域３３の近傍に垂直転送路２３を構成するｎ型領域３７が配置されている。ｎ型領域３３、３７の間のｐ型ウエル３１が読み出しトランジスタを構成する。
【００３４】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ＥＬが形成される。転送電極ＥＬは、垂直転送路２３の上方を覆うように配置されている。転送電極ＥＬの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路２３等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜３８がタングステン等により形成されている。
【００３５】
遮光膜３８を覆うようにホスホシリケートガラス等で形成された層間絶縁膜３９が形成され、その表面が平坦化されている。層間絶縁膜３９の上にカラーフィルタ層（オンチップカラーフィルタ）４０が形成されている。カラーフィルタ層４０は、例えば赤色領域、緑色領域、及び青色領域等の３色以上の色領域を含み、各画素ＰＩＸについて一色の色領域が割り当てられている。
【００３６】
カラーフィルタ層４０の上に各画素ＰＩＸに対応してマイクロレンズ（オンチップマイクロレンズ）４１がレジスト材料等により形成されている。マイクロレンズ４１は、各画素ＰＩＸの上に１つ形成されており、上方より入射する光を遮光膜３８が画定する開口内に集光させる機能を有する。
【００３７】
マイクロレンズ４１を介して入射した光は、カラーフィルタ層４０によって色分解され、主感光画素２１及び副感光画素２２の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路２３に読み出される。
【００３８】
主感光画素２１と副感光画素２２とは光学的に同位相の情報を取得することができ、同一画素セル２０内の主感光画素２１と副感光画素２２の画素位置は略同一の位置にあるものとして取り扱うことができる。
【００３９】
こうして、１つの画素ＰＩＸから感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【００４０】
図４は、ＣＣＤ２０の受光領域ＰＳ内の画素ＰＩＸ及び垂直転送路２３の配置を示す。画素ＰＩＸは、セルの幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素ＰＩＸの行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００４１】
図４において画素ＰＩＸが配列された受光領域ＰＳの右側には、転送電極ＥＬにパルス電圧を印加するＶＣＣＤ駆動回路４４が配置される。各画素ＰＩＸは上述のように主感光画素２１と副感光画素２２とを含む。垂直転送路２３は各列に近接して蛇行して配置されている。
【００４２】
また、受光領域ＰＳの下側（垂直転送路２３の下端側）には、垂直転送路２３から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４５が設けられている。
【００４３】
水平転送路４５は、２相駆動の転送ＣＣＤで構成されており、水平転送路４５の最終段（図４上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素ＰＩＸで光電変換した信号が点順次の信号列として出力される。
【００４４】
図５にＣＣＤ２０の他の構造例を示す。図５は平面図、図６は図５の６−６線に沿う断面図である。これらの図面中図１及び図２に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。
【００４５】
図５及び図６に示したように、主感光画素２１と副感光画素２２の間にｐ^＋型分離領域４８が形成されている。この分離領域４８はチャネルストップ領域（チャネルストッパ）として機能し、フォトダイオード領域の電気的な分離を行う。また、分離領域４８の上方には分離領域４８に対応した位置に遮光膜４９が形成されている。
【００４６】
遮光膜４９と分離領域４８とを用いることにより、入射する光を効率的に分離するとともに、主感光画素２１及び副感光画素２２に蓄積された電荷がその後混合することを防止する。その他の構成は図１及び図２に示した例と同様である。
【００４７】
また、画素ＰＩＸのセル形状や開口形状は図１や図５に示した例に限定されず、多角形、円形など多様な形態をとり得る。更に、各受光セルの分離形状（分割形態）についても、図１や図５に示した形状に限定されない。
【００４８】
図７にＣＣＤ２０の更に他の構造例を示す。図７中図１及び図５に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。図７は、２つの感光部（２１、２２）が斜め方向に分離されている構成を示す。
【００４９】
このように、それぞれの分割感光エリアで蓄積された電荷を別々に垂直転送路に読み出すことができればよく、分割形状や分割数、面積の大小関係などは適宜設計される。ただし、副感光画素の面積を主感光画素の面積に比べて小さい値とする。また、主感光部の面積減少を抑制し、感度低下を最小限に抑えることが好ましい。
【００５０】
図８は、主感光画素２１と副感光画素２２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。
【００５１】
同図に示すように、主感光画素２１と副感光画素２２の感度比は１：１／ａとなっている（ただし、ａ＞１、本例ではａ＝１６）。主感光画素２１の出力は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝４０９５）に達する。以後、入射光量が増加しても主感光画素２１の出力は一定となる。この「ｃ」を主感光画素２１の飽和光量と呼ぶことにする。
【００５２】
一方、副感光画素２２の感度は、主感光画素２１の感度の１／ａであり、入射光量がα×ｃのときにＱＬ値＝４０９５／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ、本例ではｂ＝４，α＝４）。このときの「α×ｃ」を副感光画素２２の飽和光量と呼ぶ。
【００５３】
このように、異なる感度と飽和を持つ主感光画素２１と副感光画素２２とを組み合わせることにより、主感光画素のみの構成よりもＣＣＤ２０のダイナミックレンジをα倍に拡大できる。本例では感度比１／１６、飽和比１／４でダイナミックレンジを約４倍に拡大している。主感光画素のみを使用する場合の最大ダイナミックレンジを１００％とするとき、本例では副感光画素を活用することによって最大で約４００％までダイナミックレンジが拡大される。
【００５４】
上述したように、ＣＣＤ等の撮像素子ではＲＧＢ又はＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）等のカラーフィルタを通してフォトダイオードで受けた光を前記信号に変える。このうち、どれだけの光の情報に対して信号が得られるかはレンズを含めた光学系、ＣＣＤ感度及び飽和に依存する。相対的に感度は高いが蓄積可能な電荷量が少ない素子と、相対的に感度は低いが蓄積可能な電荷量が大きい素子とでは、後者の方が入射される光の強弱が強い場合に対しても適切な信号を供することが可能であり、ダイナミックレンジが広い。
【００５５】
光の強弱に対してどのように応答可能かを設定する手段としては、▲１▼フォトダイオードに入る光の量を調整する、▲２▼光を受けて電圧に変えるソースフォロアのアンプゲインを変える、などの態様がある。▲１▼の場合は、フォトダイオードに対し、上層部にあるマイクロレンズの光透過特性や相対位置関係によって調整できる。その一方、蓄積できる電荷量としては、フォトダイオードの大きさ等で決定される。図１乃至図７で説明したように、大きさの異なる２つのフォトダイオード（２１、２２）を並べることにより、異なる光のコントラスト比に対して応答可能な信号を得ることができ、更にこれらの２つのフォトダイオード（２１、２２）の感度を調整することで、最終的に広いダイナミックレンジを有する撮像デバイス（ＣＣＤ２０）を実現できる。
【００５６】
〔広ダイナミックレンジ撮像可能なカメラの例〕
次に、上述した広ダイナミックレンジ撮像用のＣＣＤ２０を搭載した電子カメラについて説明する。
【００５７】
図９は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ５０は、撮像素子５１として上記のＣＣＤ２０が搭載されており、ＣＣＤ２０を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディアなどの画像記録部５２に記録するデジタルカメラである。
【００５８】
カメラ５０は表示部５４を備えており、撮像中の映像や記録した画像データの再生画像等を表示部５４に表示させることができる。
【００５９】
カメラ５０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）５６によって統括制御される。ＣＰＵ５６は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御など各種演算を実施する演算手段として機能する。
【００６０】
ＣＰＵ５６は不図示のバスを介してメモリ６０と接続されている。メモリ６０は、ＣＰＵ５６が実行するプログラム及び制御に必要な各種データなどが格納される不揮発性メモリ（ＲＯＭ）領域と、プログラムの展開領域及びＣＰＵ５６の演算作業用領域として利用される揮発性メモリ（ＲＡＭ）領域とを含むブロックである。ＲＡＭ領域は、画像データの一時記憶領域としても利用される。また、メモリ６０はＲＡＷ記録条件格納領域６１を有し、この領域６１には、ＲＡＷ記録時の高輝度部自動カット判定に用いる条件データなどＲＡＷ画像記録に関する条件データが格納されている。
【００６１】
表示部５４には、例えば、カラー液晶ディスプレイが用いられている。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いてもよい。表示部５４は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段、或いは記録前の画像内容を確認するプレビュー表示の手段として利用される。また、表示部５４は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。
【００６２】
カメラ５０にはユーザが各種の指令を入力するための操作部６４が設けられている。操作部６４は、シャッタボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッタボタンは、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ２オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り替えるための操作手段である。
【００６３】
また、操作部６４には、上記の他、撮影目的に応じて最適な動作モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、表示部５４にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタン、表示部５４のＯＮ／ＯＦＦや表示方法の切り替え、或いはオンスクリーンディスプレイ（ＯＳＤ）の表示／非表示切り替えなどを行うための表示ボタン、ＲＡＷ記録ＯＮ／ＯＦＦスイッチ６５、高輝度部のＲＡＷ記録自動カットＯＮ／ＯＦＦスイッチ６６などの操作手段も含まれる。
【００６４】
ＲＡＷ記録ＯＮ／ＯＦＦスイッチ６５は、ＲＡＷデータの記録を行うか否かの選択を行うための操作スイッチである。このスイッチ６５によって、ＲＡＷデータ記録モードと、通常の画像記録モード（所定の信号処理アルゴリズムに従って画像信号の処理を施したデータを記録するモード）とを適宜切り替えることができる。
【００６５】
通常の画像記録モードは、撮影した画像データに対してカメラ内部で様々な処理を施し、ＪＰＥＧやＴＩＦＦなどに代表される汎用的な画像ファイル形式に変換してデータを記録するモードである。このモードで記録された画像データは、一般的な画像ビューワ（画像閲覧ソフトウェア等）によって簡単に閲覧・管理できるという利点があるが、この汎用的な画像ファイル形式で記録したものは、後処理の工程で画像の加工をする際の自由度が低いという制約がある。
【００６６】
これに対し、ＲＡＷデータ記録モードは、ＣＣＤ２０から出力された生のデータをそのまま記録するモードである。このモードで記録されるＲＡＷ画像データは、画像処理用のアプリケーションソフトウェア等のツールを用いることによって、豊富な階調を損なうことなく、高品位かつ柔軟性の高いデータ加工が可能である。したがって、大型プリントや高品位印刷などのように画像の使用目的や撮影者の表現意図に応じた画像処理作業を行う場合に適している。
【００６７】
ＲＡＷ記録自動カットＯＮ／ＯＦＦスイッチ６６は、ＲＡＷデータ記録モード下で高輝度部画像情報の記録の必要性を自動判定して高輝度部の記録を実行したり、記録を省略したりする制御を行う自動カットモードのＯＮ／ＯＦＦを選択するための操作スイッチである。
【００６８】
なお、操作部６４の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００６９】
操作部６４からの信号はＣＰＵ５６に入力される。ＣＰＵ５６は操作部６４からの入力信号に基づいてカメラ５０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、ＣＣＤ２０からの電荷読出制御、画像処理制御、画像データの記録／再生制御、画像記録部５２内のファイル管理、画像記録部５２の容量管理（空き容量の検出を含む）、表示部５４の表示制御などを行う。
【００７０】
次に、カメラ５０の撮影機能について説明する。
【００７１】
カメラ５０の撮像部には、撮影レンズ７０と、絞り７１と、メカシャッタ７２と、撮像素子５１とが設けられている。本例では撮像素子５１としてＣＣＤ２０を用いているが、ＣＣＤ２０に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。
【００７２】
撮影レンズ７０は電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００７３】
撮影者によって操作部６４のズームスイッチが操作されると、そのスイッチ操作に応じてＣＰＵ５６からレンズ駆動部７４に対して光学系制御信号が出力される。レンズ駆動部７４は、ＣＰＵ５６からの制御信号に基づいてレンズ駆動用の信号を生成し、モータ（不図示）に与える。こうして、モータが作動し、撮影レンズ７０内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズ７０の焦点距離（光学ズーム倍率）が変更される。
【００７４】
撮影レンズ７０を通過した光は、絞り７１及びメカシャッタ７２を介してＣＣＤ２０の受光面に入射する。ＣＣＤ２０の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。なお、ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００７５】
ＣＣＤ２０の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ２０は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。
【００７６】
ＣＣＤ２０の各フォトセンサに蓄積された信号電荷は、ＣＰＵ５６の指令に従い撮像素子駆動部７６から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ２０から出力された画像信号は、Ａ／Ｄ変換器７７によってデジタル信号に変換された後、信号処理部７８に送られる。
【００７７】
信号処理部７８は、メモリ６０の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部７８は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路、圧縮伸張回路、表示用信号生成回路等を含む画像処理手段であり、ＣＰＵ５６からのコマンドに従ってメモリ６０を活用しながら画像信号を処理する。
【００７８】
Ａ／Ｄ変換後にメモリ６０に格納されたデータ（ＣＣＤＲＡＷデータ）は、バスを介して信号処理部７８に送られる。信号処理部７８に送られた画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ６０に格納される。
【００７９】
撮影画像を表示部５４にモニタ出力する場合、メモリ６０から画像データが読み出され、信号処理部７８の表示変換回路に送られる。表示変換回路に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、表示部５４に出力される。ＣＣＤ２０から出力される画像信号によってメモリ６０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示部５４に供給されることにより、撮像中の映像（スルー画）がリアルタイムに表示部５４に表示される。撮影者は表示部５４に映し出されるスルー画の映像によって画角（構図）を確認できる。
【００８０】
撮影者が画角を決めてシャッタボタンを押下すると、ＣＰＵ５６はこれを検知し、シャッタボタンの半押し（Ｓ１＝ＯＮ）に応動してＡＥ処理及びＡＦ処理などの撮影準備動作を行い、シャッタボタンの全押し（Ｓ２＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００８１】
すなわち、ＣＰＵ５６は、Ｓ１＝ＯＮに応動して取り込まれた画像データから焦点評価演算やＡＥ演算などの各種演算を行い、その演算結果に基づいてレンズ駆動部７４に制御信号を送り、不図示のＡＦモータを制御してフォーカスレンズを合焦位置に移動させる。
【００８２】
また、オート演算部のＡＥ演算部は撮影画像の１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ５６に提供する。ＲＧＢの各色信号について積算値を求めてもよいし、これらのうちの一色（例えば、Ｇ信号）のみについて積算値を求めてもよい。
【００８３】
ＣＰＵ５６は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００８４】
ＣＰＵ５６は、上述のＡＥ演算結果に基づいて絞りとシャッタスピードを決定する。そして、ＣＰＵ５６は、Ｓ２＝ＯＮに応動して、絞り駆動部７９及びシャッタ駆動部８０を制御し、記録用画像取得時の露光量を制御する。
【００８５】
本例のカメラ５０は、スルー画中は主感光画素２１のみからデータの読み出しを行い、主感光画素２１の画像信号からスルー画用の画像を作成する。また、シャッタボタンのＳ１＝ＯＮに伴うＡＥ処理及びＡＦ処理は主感光画素２１から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、又は、ＡＥの結果（ＩＳＯ感度や測光値）又はホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッタボタンのＳ２＝ＯＮに応動してＣＣＤ２０の露光を行い、露光後にメカシャッタ７２を閉じて光の進入を遮断した状態で垂直駆動信号（ＶＤ）に同期して、まず、主感光画素２１の電荷を読み出し、その後、副感光画素２２の電荷の読み出しを行う。このように、一回の撮像によってダイナミックレンジの異なる２つの画像情報を取得することができる。
【００８６】
なお、図９には示されていないが、カメラ５０はストロボ装置を有している。ストロボ装置は、発光部としての放電管（例えば、キセノン管）、トリガー回路、放電用エネルギーを蓄積するメインコンデンサ及びその充電回路などを含むブロックである。ＣＰＵ５６は必要に応じてストロボ装置にコマンドを送り、ストロボ装置の発光を制御する。
【００８７】
こうして、シャッタボタンの全押し（Ｓ２＝ＯＮ）に応動して取り込まれた画像データは、信号処理部７８においてＹＣ処理その他の所定の信号処理を経た後、必要に応じて所定の圧縮フォーマット（例えば、ＪＰＥＧ方式）に従って圧縮され、メディアインターフェース部（図９中不図示）を介して画像記録部５２に記録される。圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００８８】
本カメラ５０は、上記通常の画像記録（圧縮画像の記録）に代えて、又はこれと併せて、非圧縮画像データを記録したり、或いは、同時化やＹＣ処理などの信号処理を施さないＲＡＷデータを記録したりすることができる。
【００８９】
ＲＡＷデータを記録するモードの場合も、そのデータに基づいて通常の画像生成処理が施され、間引き処理によって縮小画像（サムネイル画像）のデータが生成され、ＲＡＷデータとともにサムネイル画像のデータが記録ファイル（例えばヘッダー部）に格納される。
【００９０】
画像データを保存する手段は、ｘＤピクチャーカード（商標）、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ５０に内蔵された記録媒体（内部メモリ）であってもよい。
【００９１】
操作部６４のモード選択スイッチによって再生モードが選択されると、画像記録部５２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。画像記録部５２から読み出された画像ファイルのデータは、信号処理部７８において伸張処理その他の必要な処理が施された後、表示用の信号に変換されて表示部５４に出力される。
【００９２】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送り指定に係る次のファイルが画像記録部５２から読み出され、表示画像が更新される。なお、再生対象ファイルがＲＡＷデータ記録されたファイルの場合には、ファイルのヘッダー部に格納されているサムネイル画像のデータが再生表示されるようになっている。
【００９３】
図１０は信号処理部７８における信号処理フローを示した要部ブロック図である。ＣＣＤ２０の高感度画素（主感光画素）から読み出された画像信号は、相対的に低輝度部の情報を示している。また、ＣＣＤ２０の低感度画素（副感光画素）から読み出された画像信号は、相対的に高輝度部の情報を示している。
【００９４】
図示のとおり信号処理部７８は、ゲイン調整回路８１，８２と、ガンマ補正回路８３，８４と合成・圧縮回路８５と、を含む。
【００９５】
ゲイン調整回路８１，８２は、Ｒ，Ｇ，Ｂの色信号のレベルを増減するためのゲイン可変アンプを含み、ＣＰＵ５６からの指令に基づいて各色信号のゲイン調整を行う。ゲイン調整回路８１，８２にてゲイン処理された信号は、ガンマ補正回路８３，８４に送られる。
【００９６】
ガンマ補正回路８３，８４は、ＣＰＵ５６の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正回路８３，８４から出力された信号は合成・圧縮回路８５に送られる。
【００９７】
合成・圧縮回路８５は、低輝度部の画像データに係数を乗算する乗算部と、高輝度部の画像データに係数を乗算する乗算部と、係数乗算後の低感度部画像データと高感度部画像データとを加算（合成）する加算部と、加算部から得られた合成画像データから画像生成（ＹＣ処理など）や各種補正を行う信号変換部と、信号変換部にて生成された画像データを圧縮する圧縮部と、を含む処理ブロックである。なお、低感度部の画像データ及び高感度部の画像データに乗算される各係数（加算割合を示す係数）はＣＰＵ５６によって可変設定される。
【００９８】
広ダイナミックレンジ画像の記録を行う場合、ＣＣＤ２０の主感光画素から得られた低輝度部の画像情報は、ゲイン調整回路８１においてゲイン調整がなされた後、ガンマ補正回路８３にてガンマ補正されて合成・圧縮回路８５に送られる。
【００９９】
続いて、ＣＣＤ２０の副感光画素から得られた高輝度部の画像情報は、ゲイン調整回路においてゲイン調整がなされた後、ガンマ補正回路８４にてガンマ補正されて合成・圧縮回路８５に送られる。
【０１００】
低輝度部の画像情報と高輝度部の画像情報は、合成・圧縮回路８５にて合成されるとともに、所要の信号処理が施されて画像生成が行われる。その後、所定の圧縮フォーマットに従って圧縮され、画像記録部５２へ送られる。
【０１０１】
その一方、ＲＡＷデータ記録モードが選択されている場合においては、上記のゲイン調整などの信号処理が省略され、低輝度部のＲＡＷデータ及び高輝度部のＲＡＷデータがそれぞれ画像記録部５２に送られ、別々のファイルとして記録保存される。
【０１０２】
ＲＡＷデータ記録モードでは、既述のとおり、ＣＣＤ２０から出力された画像信号のＡ／Ｄ変換出力がそのまま（未加工のまま）記録される。すなわち、ＲＡＷデータは、ガンマ変換、ホワイトバランス調整、同時化（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）などの信号処理が行われていない生の画像データである。ただし、「未加工のデータ」といっても、一切の信号処理を排除するものではなく、例えば、撮像素子の欠陥画素（キズ）のデータを補間する欠陥画素補正処理を行って得られた画像データ、或いは更にゲイン調整のみを実施したデータなどについても、汎用フォーマットに変換されていないという点でＲＡＷデータの概念に含まれるものとする。
【０１０３】
ＲＡＷデータ記録モードによって取得された低輝度部画像データのファイルと高輝度部画像データのファイルは相互に関連付けられて記録される。二つのファイルの関連性を確保する関連付けの方法としては、例えば、ファイル名の一部を共通化して他の一部を変更する態様、同じファイル名で拡張子を変更する態様、関連付け情報をファイルの付属情報（例えば、タグ情報）として記録する態様、或いはこれらの組み合わせなどがある。
【０１０４】
ＲＡＷデータの再生時には上記の関連付けに従って２つのファイルを読み出すことが可能である。低輝度部画像データと高輝度部画像データとを利用することにより、輝度レンジの広い画像の再現が可能となる。なお、本発明の実施に際しては、低輝度部画像データのファイルと高輝度部画像データのファイルとを別ファイルで保存する態様に限定されず、低輝度部のＲＡＷデータと高輝度部のＲＡＷデータを１つのファイルにまとめて記録する態様もあり得る。
【０１０５】
上記の如く構成されたカメラ５０の動作について説明する。
【０１０６】
図１１及び図１２は、カメラ５０における撮影モード時の制御手順を示すフローチャートである。
【０１０７】
撮影モードを選択した状態でカメラ電源をＯＮしたとき、又は電源ＯＮの状態で再生モードから撮影モードに切り替えられたときに、図１１の制御フローがスタートする。
【０１０８】
撮影モードの処理がスタートすると（ステップＳ１００）、ＣＰＵ５６は所定の初期処理を行った後にレリーズ操作を受け付ける（ステップＳ１１０）。ＣＰＵ５６はシャッタボタンからの信号入力を監視し、Ｓ１スイッチがＯＮしたか否かの判定を行う（ステップＳ１１２）。Ｓ１スイッチがＯＦＦの状態であれば、ステップＳ１１０に戻り、撮影指示の入力を待機する。
【０１０９】
その後、撮影者によってシャッタボタンが押され、撮影準備の指示が入力されると（ＣＰＵ５６がＳ１＝ＯＮを検出すると）、ステップＳ１１４に進み、ＡＥ及びＡＦ処理を行う。ＡＥ処理によって撮影条件が決定され、ＡＦ処理によってフォーカス調整が行われる。
【０１１０】
その後、ＣＰＵ５６はシャッタボタンのＳ２スイッチからの信号入力を判定する（ステップＳ１１６）。ステップＳ１１６でＳ２スイッチがＯＮしていない場合は、Ｓ１が解除されたか否かを判定する（ステップＳ１１８）。ステップＳ１１８でＳ１が解除されていれば、ステップＳ１１０に戻り、撮影指示の入力待ち状態になる。
【０１１１】
一方、ステップＳ１１８でＳ１が解除されていなければステップＳ１１６に戻り、撮影スタンバイ状態のままＳ２＝ＯＮの入力を待機する。ステップＳ１１８においてＳ２＝ＯＮの入力が検出されると、ステップＳ１２０に進み、記録用画像を取得するための撮影動作（ＣＣＤ露光）が実行される。
【０１１２】
露光後メカシャッタを閉じて、まず、主感光画素２１から信号の読み出しが行われ（ステップＳ１２２）、その画像データ（主感光部データ）はメモリ６０に記憶される。
【０１１３】
次に、副感光画素２２から信号の読み出しが行われ（ステップＳ１２４）、その画像データ（副感光部データ）はメモリ６０に記憶される。
【０１１４】
次いで、ＣＰＵ５６は、ＲＡＷデータ記録モードが選択されているか否かの判定を行う（ステップＳ１２６）。この判定は、操作部６４のＲＡＷ記録ＯＮ／ＯＦＦスイッチ６５の状態に基づいて行われる。ステップＳ１２６においてＮＯ判定、すなわち、通常の記録モードが選択されている場合には、ステップＳ１２８に進む。
【０１１５】
ステップＳ１２８では、主感光画素２１から得られたデータ（低輝度部の信号）を処理し、ゲイン調整やガンマ補正などを行う（図１０参照）。
【０１１６】
また、副感光画素２２から得られたデータ（高輝度部の信号）についても、図１０で説明したように、ゲイン調整やガンマ補正などの信号処理を行う（図１１のステップＳ１３０）。
【０１１７】
その後、ステップＳ１２８で得られた低輝度画像データとステップＳ１３０で得られた高輝度画像データとを合成して一枚の広ダイナミックレンジ画像を生成するとともに、その画像データを圧縮して（ステップＳ１３２）、画像記録部５２に保存する（ステップＳ１３４）。こうして、合成処理された画像が画像記録部５２に記録され、撮影処理を終了する（ステップＳ１３６）。
【０１１８】
ステップＳ１２６においてＲＡＷデータ記録モードが選択されている場合には、図１２のステップＳ１４０に移行する。
【０１１９】
ステップＳ１４０では、高輝度部情報の記録処理の自動カットモードがＯＮに設定されているか否かを判定する。この判定処理は、操作部６４のＲＡＷ記録自動カットＯＮ／ＯＦＦスイッチ６６の操作に基づいて行われる。
【０１２０】
自動カットモードがＯＦＦに設定されている場合には、主感光画素２１から得られたＲＡＷデータ（低輝度部のＲＡＷデータ）の記録処理が行われるとともに（ステップＳ１４２）、副感光画素２２から得られたＲＡＷデータ（高輝度部のＲＡＷデータ）の記録処理が行われる（ステップＳ１４４）。こうして、低輝度部及び高輝度部のそれぞれのＲＡＷデータが画像記録部５２に保存される。
【０１２１】
ステップＳ１４０において、自動カットモードがＯＮに設定されている場合には、ステップＳ１５２に移行して高輝度部データの解析を行う。高輝度部のＲＡＷ画像の全データまたは適宜サンプリングしたデータをチェックし、予め定められている高輝度部情報記録処理の自動カット条件の成否を判定する（ステップＳ１５４）。例えば、８ビットのデジタル値によって画像信号を表した場合に、高輝度ＲＡＷデータの最大値ＲＡＷ−ｈ（Ｍａｘ）が所定の値（例えば、２５５中の「５０」）よりも小さい場合には、高輝度部のＲＡＷ画像は情報量が少ないものと判断して、高輝度部のＲＡＷデータ記録を行わないものと定められている。
【０１２２】
本発明の実施に際して、自動カット条件は上記の例に限定されない、上記の他、例えば、高輝度部のＲＡＷ画像の全データ中、所定の判定基準値（例えば、２５５中の「５０」）を下回る画素が所定の判定基準割合（例えば、全データの９５％）を超える場合に、高輝度部のＲＡＷデータ記録を行わないという設定もあり得る。このような、自動カット条件の情報は図１中符号６１で示したメモリ領域に格納されており、ＣＰＵ５６はこの条件に基づいて、図１２のステップＳ１５４における判定処理を行う。
【０１２３】
ステップＳ１５４において、自動カット条件を満たさない場合、すなわち、高輝度部のＲＡＷ画像の情報量が比較的多いと判断した場合には、高輝度部のＲＡＷデータ記録処理（ステップＳ１５６）と、低輝度部のＲＡＷデータ記録処理（ステップＳ１５８）とが行われ、それぞれのＲＡＷデータが画像記録部５２に保存される。
【０１２４】
ステップＳ１５４において、自動カット条件を満たした場合、すなわち、高輝度部のＲＡＷ画像の情報量が比較的少ないと判断した場合には、高輝度部のＲＡＷデータ記録を省略して、低輝度部のＲＡＷデータのみを記録する処理を行う（ステップＳ１５８）。
【０１２５】
上記のようにしてＲＡＷデータの記録処理が完了したら、本撮影シーケンスを終了する（ステップＳ１６０）。
【０１２６】
上記実施形態では、ＲＡＷ記録自動カットＯＮ／ＯＦＦスイッチ６６のユーザ操作に応じて、自動カットモードのＯＮ／ＯＦＦを切り替える例を述べたが、本発明の実施に際して、自動カットモードの選択を自動的に制御する態様も可能である。例えば、画像記録部５２の空き容量を監視し、ＲＡＷデータ記録モード設定中に、画像記録部５２の空き容量が所定の判定基準容量よりも少なくなったら、自動的に自動カットモードの選択スイッチをＯＮにするような制御も可能である。この場合、「所定の判定基準容量」の一例として、低輝度部と高輝度部とをともにＲＡＷ記録した場合に書き込み可能な画像数が５枚以下になったときに、自動的に高輝度部記録の自動カットモードに移行するようにする態様がある。
【０１２７】
次に、本発明の第２の実施形態について説明する。
【０１２８】
図１３は第２の実施形態に係る電子カメラのブロック図である。図１３中図９と同一又は類似する部分には、同一の符号を付し、その説明は省略する。図１３に示した例では、ＲＡＷ記録を選択した場合、更に、撮影直後に高輝度部についてＲＡＷ記録の可否確認を行うか否かを選択するための選択スイッチ（ＲＡＷ記録可否確認ＯＮ／ＯＦＦスイッチ）６７が設けられている。
【０１２９】
この選択スイッチ６７をＯＮに設定し、ＲＡＷデータ記録モード下で撮影を実行すると、撮影直後に表示部５４の画面上に高輝度部のＲＡＷ画像を記録するかどうかをユーザに尋ねるメッセージが表示される。ユーザは撮影したシーンが高輝度部、すなわち画像のハイライト情報を多く含んでいるかどうかを判断して、高輝度部のＲＡＷ画像を記録するか否かを決める。
【０１３０】
ハイライト情報が少ない場合には、高輝度部のＲＡＷ画像記録を削除しても最終画像にとって影響が小さいと判断できる。逆に、ハイライト情報が多いシーンを撮影したときには、高輝度部のＲＡＷ画像記録を削除してしまうと最終画像の生成に大きく影響するため、高輝度部のＲＡＷ画像を記録したほうがよいと判断できる。
【０１３１】
このように、高輝度部の画像の記録の要否をユーザ自身が判断して、所定のユーザインターフェースを通じて高輝度部の記録の可否をユーザが指定できるように構成されている。
【０１３２】
図１３に示したカメラにおける撮影シーケンスの要部フローチャートを図１４に示す。図１２で説明したフローチャートに代えて、図１４のフローチャートを適用することができる。すなわち、図１１のステップＳ１２６において、ＲＡＷデータ記録モードが選択されている場合に、図１４のステップＳ２４０に移行する。
【０１３３】
ステップＳ２４０では、高輝度部の記録についてユーザに可否を尋ねるモードが選択されているか否かを判定する。この判定処理は、操作部６４のＲＡＷ記録可否確認ＯＮ／ＯＦＦスイッチ６７からの設定に基づいて行われる。
【０１３４】
高輝度部の記録について可否確認を行わないモードになっている場合（ステップＳ２４０にてＮＯ判定のとき）は、ユーザに対して記録の可否を尋ねないで、撮影動作後直ちに主感光画素２１から得られたＲＡＷデータ（低輝度部のＲＡＷデータ）の記録処理が行われるとともに（ステップＳ２４２）、副感光画素２２から得られたＲＡＷデータ（高輝度部のＲＡＷデータ）の記録処理が行われる（ステップＳ２４４）。こうして、低輝度部及び高輝度部のそれぞれのＲＡＷデータが画像記録部５２に保存される。
【０１３５】
その一方、ステップＳ２４０において、高輝度部記録の可否確認を行うモードが選択されている場合（ステップＳ２４０にてＹＥＳ判定のとき）は、ステップＳ２５０に移行し、表示部５４にて撮影画像のプレビュー表示を行う。このときのプレビュー表示は、主感光画素２１から得られた画像信号（低輝度部画像）から生成された画像が表示される。このプレビュー表示とともに、表示部５４には高輝度部のＲＡＷデータ記録の可否の指示入力をユーザに促すメッセージ文（例えば、「高輝度部のＲＡＷデータを記録しますか？」というメッセージ文）が表示される。また、このメッセージ文とともに記録可否の指示を入力する際の操作案内も表示される。
【０１３６】
カメラ５０のＣＰＵ５６は、操作部６４を監視して高輝度部記録の可否を示す指示入力を受け付ける（ステップＳ２５２）。ユーザによって記録の可否を示す指示の入力が行われると、ＣＰＵ５６は高輝度部の記録指示であるか否かを判定する（ステップＳ２５４）。
【０１３７】
高輝度部を記録する旨の指示が入力されると、高輝度部のＲＡＷデータ記録処理（ステップＳ２５６）と、低輝度部のＲＡＷデータ記録処理（ステップＳ２５８）とが行われ、それぞれのＲＡＷデータが画像記録部５２に保存される。
【０１３８】
ステップＳ２５４において、高輝度部を記録しない旨の指示が入力されると、高輝度部のＲＡＷデータ記録を省略して、低輝度部のＲＡＷデータのみを記録する処理を行う（ステップＳ２５８）。
【０１３９】
上記のようにしてＲＡＷデータの記録処理が完了したら、本撮影シーケンスを終了する（ステップＳ２６０）。
【０１４０】
上記第２の実施形態では、選択スイッチ６７のユーザ操作に応じて、「高輝度部の記録可否確認をユーザに尋ねる／尋ねない」の切り替えを行う例を述べたが、本発明の実施に際して、記録可否確認の有無の選択を自動的に制御する態様も可能である。例えば、画像記録部５２の空き容量を監視し、ＲＡＷ画像記録モード設定中に、画像記録部５２の空き容量が所定の判定基準容量よりも少なくなったら、自動的に記録可否確認の選択スイッチをＯＮにするような制御も可能である。この場合、「所定の判定基準容量」の一例として、低輝度部と高輝度部とをともにＲＡＷ記録した場合に書き込み可能な画像数が５枚以下になったときに、自動的に記録可否確認モードに移行する態様がある。
【０１４１】
次に、本発明の第３の実施形態について説明する。
【０１４２】
図１５及び図１６は第２の実施形態に係る電子カメラのブロック図である。図１５及び図１６中、図９及び図１０と同一又は類似する部分には、同一の符号を付し、その説明は省略する。図１５に示した例では、ＲＡＷ記録を選択した場合、更に高輝度部のＲＡＷ画像を圧縮するか否かを選択するための選択スイッチ（高輝度部圧縮ＯＮ／ＯＦＦスイッチ）６８が設けられている。
【０１４３】
また、図１６に示したように、信号処理部７８における高輝度部の信号処理経路内には必要に応じてＲＡＷデータの圧縮処理を行う圧縮回路８６が設けられている。この圧縮回路８６は、入力された高輝度部のＲＡＷデータに対して圧縮処理を実施するモードと、圧縮処理を行わない無処理モードと、を有しており、図１５で示した選択スイッチ６８の設定に応じてＣＰＵ５６から出力される指令信号に動作モードが切り替えられる。
【０１４４】
高輝度部の情報を圧縮するか否かについては、撮影ごとにユーザが判断して所定のユーザインターフェースを通じてその選択指示を入力してもよいし、ＲＡＷデータ記録モードを選ぶ際に高輝度部の情報を圧縮するか否かを指定させる態様でもよい。
【０１４５】
図１５及び図１６に示したカメラ５０における撮影シーケンスの要部フローチャートを図１７に示す。図１２で説明したフローチャートに代えて、図１７のフローチャートを適用することができる。すなわち、図１１のステップＳ１２６において、ＲＡＷ記録モードが選択されている場合に、図１７のステップＳ３４０に移行する。
【０１４６】
ステップＳ３４０では、高輝度部のＲＡＷデータについて圧縮して記録するモードが選択されているか否かを判定する。この判定処理は、操作部６４の選択スイッチ６８からの設定に基づいて行われる。
【０１４７】
高輝度部のＲＡＷデータを圧縮せずに記録するモードになっている場合（ステップＳ３４０にてＮＯ判定のとき）は、主感光画素２１から得られたＲＡＷデータ（低輝度部のＲＡＷデータ）の非圧縮記録処理が行われるとともに（ステップＳ３４２）、副感光画素２２から得られたＲＡＷデータ（高輝度部のＲＡＷデータ）についても圧縮を行わず、無処理のまま非圧縮記録処理が行われる（ステップＳ３４４）。こうして、低輝度部及び高輝度部のそれぞれのＲＡＷデータが圧縮されずに画像記録部５２に保存される。
【０１４８】
その一方、ステップＳ３４０において、高輝度部のＲＡＷデータについて圧縮記録するモードが選択されている場合（ステップＳ３４０にてＹＥＳ判定のとき）は、ステップＳ３５２に移行し、低輝度部のＲＡＷデータについては非圧縮記録処理を行い（ステップＳ３５２）、高輝度部のＲＡＷデータについては圧縮処理を行ってから（ステップＳ３５４）、その圧縮データを画像記録部５２に記録する（ステップＳ３５６）。こうして、低輝度部及び高輝度部のそれぞれのＲＡＷデータが画像記録部５２に保存される。
【０１４９】
上記のようにしてＲＡＷデータの記録処理が完了したら、本撮影シーケンスを終了する（ステップＳ３６０）。
【０１５０】
上記第３の実施形態において、画像記録部５２の空き容量を監視し、ＲＡＷ画像記録モード設定中に、画像記録部５２の空き容量が所定の判定基準容量よりも少なくなったら、高輝度部の圧縮の有無をユーザに問い合わせて圧縮可否の指示入力を促すような制御も可能である。
【０１５１】
また、本発明の実施に際しては、上記した第１乃至第３の実施形態を適宜組み合わせた態様もあり得る。
【０１５２】
上述の説明では、ハニカム構造の画素配列を有するＣＣＤを例に説明したが、本発明の適用範囲はこれに限定されず、全画素が正方行列的に配列された画素配列の撮像素子を用いることもできる。
【０１５３】
また、上記実施形態においては、各画素セルが主感光画素と副感光画素に分割された構造の撮像素子を用いたが、本発明の実施に際しては、低輝度部の画像情報と、高輝度部の画像情報とを得るための手段はこの例に限定されない。
【０１５４】
撮像素子の受光面において主感光画素の画素セルと、副感光画素の画素セルとがそれぞれ開口の異なる受光部を形成している態様でもよい。
【０１５５】
また、主感光画素と副感光画素といった区別のない、単一種類の画素セルで構成されている撮像素子を用いて露光条件を変えて複数回（少なくとも２回）の撮像を行うことによって、低輝度部の画像情報と高輝度部の画像情報とを取得する態様も可能である。
【０１５６】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、ビデオカメラ、ＤＶＤカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルコンピュータなど、電子撮像機能を備えた他の撮影装置についても本発明を適用できる。
【０１５７】
【発明の効果】
以上説明したように本発明によれば、ＲＡＷ画像記録に際して、高輝度部の画像情報から該高輝度部情報の記録の必要性（有効性）を自動的に判定し、記録不要と判断した場合には高輝度部のＲＡＷ画像データを記録しないようにしたので、ＲＡＷ画像記録時のデータ量が過度に大きくなるのを防ぐことができ、かつ画質への影響も少ないという効果を奏する。
【０１５８】
また、本発明の他の態様によれば、ＲＡＷ画像記録を行う際、高輝度部情報の記録の有無をユーザが選択できるように構成したので、ユーザ自身が高輝度部の記録の必要性を判断して、記録の要否を指定できる。これにより、最終画像の画質に影響しない高輝度部の情報記録を省略することが可能となり、データ量が過大になるのを防ぐことができる。
【０１５９】
本発明の更に他の態様によれば、ＲＡＷ画像記録を行う際、高輝度部の画像に対して圧縮をかけるようにしたので、圧縮によってデータ量を削減することができ、かつ画質への影響も少ないという効果を奏する。
【図面の簡単な説明】
【図１】ＣＣＤ撮像素子の受光面の構造例を示す平面図
【図２】図１の２−２線に沿う断面図
【図３】図１の３−３線に沿う断面図
【図４】図１に示すＣＣＤの全体構成を示す平面模式図
【図５】ＣＣＤの他の構造例を示す平面図
【図６】図５の６−６線に沿う断面図
【図７】ＣＣＤの更に他の構造例を示す平面図
【図８】主感光画素と副感光画素の光電変換特性を示すグラフ
【図９】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図１０】図９に示した信号処理部の要部構成を示すブロック図
【図１１】本例のカメラにおける撮影モード時の制御手順を示すフローチャート
【図１２】本例のカメラにおける撮影モード時の制御手順を示すフローチャート
【図１３】本発明の第２の実施形態に係る電子カメラの構成を示すブロック図
【図１４】第２の実施形態に係る電子カメラにおける撮影シーケンスの要部を示すフローチャート
【図１５】本発明の第３の実施形態に係る電子カメラの構成を示すブロック図
【図１６】図１５に示した信号処理部の要部構成を示すブロック図
【図１７】第３の実施形態に係る電子カメラにおける撮影シーケンスの要部を示すフローチャート
【符号の説明】
２０…ＣＣＤ、２１…フォトダイオード領域（主感光画素）、２２…フォトダイオード領域（副感光画素）、２３…垂直転送路、４０…カラーフィルタ層、４１…マイクロレンズ、５０…カメラ、５１…撮像素子、５２…画像記録部、５４…表示部、５６…ＣＰＵ、６０…メモリ、６４…操作部、６５…ＲＡＷ記録ＯＮ／ＯＦＦスイッチ、６６…ＲＡＷ記録自動カットＯＮ／ＯＦＦスイッチ、６７…選択スイッチ（ＲＡＷ記録可否確認ＯＮ／ＯＦＦスイッチ）、６８…選択スイッチ（高輝度部圧縮ＯＮ／ＯＦＦスイッチ）、７８…信号処理部、８６…圧縮回路

Claims

被写体の光学像を電気信号に変換し、相対的に低輝度部の画像情報を得る第１の撮像手段と、
前記被写体の光学像を電気信号に変換し、相対的に高輝度部の画像情報を得る第２の撮像手段と、
前記第１の撮像手段により取得された低輝度部のＲＡＷ画像データ及び前記第２の撮像手段により得られた高輝度部のＲＡＷ画像データのうち少なくとも前記低輝度部のＲＡＷ画像データを記録部に記録するデータ記録手段、を備えた画像記録装置であって、該画像記録装置は、
前記第２の撮像手段により取得された高輝度部の画像情報に基づき当該高輝度部のＲＡＷ画像データを前記記録部に記録するか否かを判定する判定手段と、
前記判定手段の判定結果に従い前記高輝度部のＲＡＷ画像データの記録処理を制御する記録制御手段、
を備えていることを特徴とする画像記録装置。
被写体の光学像を電気信号に変換し、相対的に低輝度部の画像情報を得る第１の撮像手段と、
前記被写体の光学像を電気信号に変換し、相対的に高輝度部の画像情報を得る第２の撮像手段と、
前記第１の撮像手段により取得された低輝度部のＲＡＷ画像データ及び前記第２の撮像手段により得られた高輝度部のＲＡＷ画像データのうち少なくとも前記低輝度部のＲＡＷ画像データを記録部に記録するデータ記録手段、を備えた画像記録装置であって、該画像記録装置は、
前記第２の撮像手段により取得された高輝度部のＲＡＷ画像データを前記記録部に記録するか否かを選択的に指定する選択操作手段と、
前記選択操作手段の指定に従い前記高輝度部のＲＡＷ画像データの記録処理を制御する記録制御手段、
を備えていることを特徴とする画像記録装置。
撮影実行の指示を入力する撮影指示入力手段と、
前記撮影指示入力手段からの指示に基づいて前記第１及び第２の撮像手段による撮像動作が行われた後に、当該撮像動作で取得される前記高輝度部のＲＡＷ画像データについて記録処理を行うか否かの指定の入力を促す情報を提示する情報提示手段、
を備えていることを特徴とする請求項２記載の画像記録装置。
被写体の光学像を電気信号に変換し、相対的に低輝度部の画像情報を得る第１の撮像手段と、
前記被写体の光学像を電気信号に変換し、相対的に高輝度部の画像情報を得る第２の撮像手段と、
前記第２の撮像手段により取得された高輝度部のＲＡＷ画像データを圧縮する圧縮処理手段と、
前記第１の撮像手段により取得された低輝度部のＲＡＷ画像データを非圧縮で記録部に記録するとともに、前記圧縮処理手段によって圧縮された高輝度部のＲＡＷ画像データを前記記録部に記録するデータ記録手段、
を備えていることを特徴とする画像記録装置。
前記高輝度部のＲＡＷ画像データを圧縮するか否かを選択的に指定する選択操作手段と、
前記選択操作手段の指定に従い前記圧縮処理手段における前記高輝度部のＲＡＷ画像データの圧縮処理を制御する圧縮制御手段、
を備えていることを特徴とする請求項４記載の画像記録装置。
相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の副感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記副感光画素からそれぞれ画像信号を取り出すことができる構造を有する撮像素子が用いられ、
前記主感光画素は前記第１の撮像手段として機能し、前記副感光画素は前記第２の撮像手段として機能することを特徴とする請求項１乃至５の何れか１項記載の画像記録装置。
前記撮像素子は、各受光セルが少なくとも前記主感光画素及び前記副感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記副感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられていることを特徴とする請求項６記載の画像記録装置。