JP3958219B2

JP3958219B2 - 撮像装置及び輪郭補正方法

Info

Publication number: JP3958219B2
Application number: JP2003001779A
Authority: JP
Inventors: 雅彦杉本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-01-08
Filing date: 2003-01-08
Publication date: 2007-08-15
Anticipated expiration: 2023-01-08
Also published as: JP2004215134A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び輪郭補正方法に係り、特に、感度の異なる画像信号を出力することができる撮像素子を備えた撮像装置と、当該撮像装置における輪郭補正方法に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ（Charge Coupled Device、電荷結合素子）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の撮像素子の高解像度化に伴い、デジタルカメラの需要が急増している。
【０００３】
ところで、現在広く普及しているデジタルカメラ等の撮像装置における撮像素子のダイナミックレンジは、写真フィルムに比べると一般的に狭い。このため、高輝度の被写体を撮影する場合には、受光量がダイナミックレンジを超え、撮像素子の出力信号が飽和してしまい、被写体の情報が欠落してしまう場合があった。
【０００４】
このような問題を解決するため、従来、撮影により得られた高感度の画像信号と低感度の画像信号とを合成することにより、ダイナミックレンジの拡大を図る技術がある（例えば、特許文献１参照。）。
【０００５】
この技術では、マスクを用いて、１つの画像中で部分毎に高感度の画像を低感度の画像に置き換えて合成画像を生成している。
【０００６】
しかしながら、この技術では、画像の各画素について着目すると、高感度の画像信号と低感度の画像信号の何れか一方のみを用いているので、必ずしもダイナミックレンジを有効に拡大できるとは限らない、という問題点があった。
【０００７】
そこで、この問題点を解決するために、画像の各画素毎に高感度の画像信号と低感度の画像信号とを合成して用いる技術が考えられる。
【０００８】
【特許文献１】
特開２０００−３０７９６３号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、この技術では、低感度の画像信号はＳ／Ｎ比（信号対雑音比、Signal to Noise Ratio）が悪いため、合成する低感度の画像信号の高感度の画像信号に対する割合が大きくなるほど合成によって得られる合成信号にノイズが発生しやすくなる。
【００１０】
このため、上記割合が大きな場合に、上記合成信号により示される被写体像の輪郭部を強調する輪郭補正を行った場合、当該輪郭部のノイズが強調されてしまい、被写体像の画質が低下する、という問題点があった。
【００１１】
本発明は上記問題点を解決するためになされたものであり、感度の異なる画像信号を合成して用いるときの輪郭補正に起因する画質の低下を防止することのできる撮像装置及び輪郭補正方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の撮像装置は、被写体を第１の感度で撮像して被写体像を示す第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示す第２画像信号を出力する撮像素子と、前記第１画像信号と前記第２画像信号とを合成して合成信号を生成する合成手段と、輪郭補正の度合いを示す予め設定された補正係数を用いて前記合成信号により示される被写体像に対して輪郭補正処理を行う輪郭補正手段と、前記合成手段により合成される前記第２画像信号の前記第１画像信号に対する割合が大きくなるほど小さな値となるように前記補正係数を設定する設定手段と、を備えている。
【００１３】
請求項１に記載の撮像装置によれば、撮像素子により、被写体が第１の感度で撮像されて被写体像を示す第１画像信号が出力されると共に、上記被写体が第１の感度より低い第２の感度で撮像されて上記被写体像を示す第２画像信号が出力され、合成手段により、上記第１画像信号と上記第２画像信号とが合成されて合成信号が生成される。これによって、撮像素子のダイナミックレンジを拡大することができる。
【００１４】
なお、上記合成手段により合成される第１画像信号及び第２画像信号は、アナログ信号でもデジタル信号でもよい。また、上記撮像素子には、ＣＣＤ、ＣＭＯＳイメージ・センサ等の固体撮像素子を含めることができる。
【００１５】
また、本発明では、輪郭補正手段により、輪郭補正の度合いを示す予め設定された補正係数が用いられて上記合成信号により示される被写体像に対して輪郭補正処理が行われる。
【００１６】
ここで、本発明では、合成手段により合成される第２画像信号の第１画像信号に対する割合が大きくなるほど小さな値となるように設定手段により上記補正係数が設定される。
【００１７】
すなわち、本発明では、合成信号に対して行う輪郭補正処理を、補正の度合いを示す補正係数を用いて行うものとすると共に、この補正係数を、合成される第２画像信号（低感度側の画像信号）の第１画像信号（高感度側の画像信号）に対する割合が大きくなるほど小さな値となるように設定しており、これによって当該割合が大きくなるほど発生しやすくなるノイズの輪郭補正による強調の度合いを的確に抑制できるようにし、この結果として輪郭補正に起因する被写体像の画質の低下を防止することができるようにしている。
【００１８】
このように、請求項１に記載の撮像装置によれば、撮像素子によって被写体を第１の感度で撮像して被写体像を示す第１画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示す第２画像信号を出力し、合成手段により上記第１画像信号と上記第２画像信号とを合成して合成信号を生成し、輪郭補正手段によって輪郭補正の度合いを示す予め設定された補正係数を用いて上記合成信号により示される被写体像に対して輪郭補正処理を行うに際し、合成手段により合成される上記第２画像信号の上記第１画像信号に対する割合が大きくなるほど小さな値となるように上記補正係数を設定しているので、感度の異なる画像信号を合成して用いるときの輪郭補正に起因する画質の低下を防止することができる。
【００１９】
一方、本発明の設定手段は、必ずしも上記割合に応じて連続的に補正係数を設定する必要はなく、請求項２に記載の発明のように、前記割合に応じて前記補正係数を段階的に設定するものとすることもできる。
【００２０】
一方、上記目的を達成するために、請求項３記載の輪郭補正方法は、被写体を第１の感度で撮像して被写体像を示す第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示す第２画像信号を出力する撮像素子と、前記第１画像信号と前記第２画像信号とを合成して合成信号を生成する合成手段と、を備えた撮像装置の輪郭補正方法であって、前記合成手段により合成される前記第２画像信号の前記第１画像信号に対する割合が大きくなるほど小さな値となるように輪郭補正の度合いを示す補正係数を設定し、前記補正係数を用いて前記合成信号により示される被写体像に対して輪郭補正処理を行うものである。
【００２１】
従って、請求項３に記載の輪郭補正方法によれば、請求項１記載の発明と同様に作用するので、請求項１記載の発明と同様に、感度の異なる画像信号を合成して用いるときの輪郭補正に起因する画質の低下を防止することができる。
【００２２】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下では、本発明をデジタルカメラに適用した場合について説明する。
【００２３】
まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の構成を説明する。同図に示されるように、このデジタルカメラ１０には、光学レンズ１２と、光学レンズ１２を通過する光量を調整する絞り１４と、光の通過時間を調整するシャッタ１６と、光学レンズ１２、絞り１４及びシャッタ１６を通過した被写体像を示す入射光に基づき、被写体を高感度及び低感度のそれぞれの受光素子により撮像して被写体像を示すＲ（赤）、Ｇ（緑）、Ｂ（青）３色のカラーアナログ画像信号を出力する撮像素子としてのＣＣＤ１８と、が設けられている。
【００２４】
ＣＣＤ１８には、ＣＣＤ１８により入力された高感度及び低感度の信号に対して所定のアナログ信号処理を施すアナログ信号処理部２０と、アナログ信号処理部２０から入力された高感度及び低感度のアナログ信号をそれぞれデジタルデータに変換するアナログ／デジタル変換器（以下、「Ａ／Ｄ変換器」という。）２２と、が順に接続されている。なお、Ａ／Ｄ変換器２２から出力された高感度のデジタルデータを以下では「高感度データ」といい、低感度のデジタルデータを以下では「低感度データ」という。
【００２５】
また、デジタルカメラ１０には、光学レンズ１２を駆動するための駆動部２４と、絞り１４を駆動するための駆動部２６と、シャッタ１６を駆動するための駆動部２８と、ＣＣＤ１８に対する撮影時のタイミング制御を行うＣＣＤ制御部３０と、シャッタスイッチ等の各種操作スイッチにより構成されたカメラ操作部７２と、が設けられている。
【００２６】
Ａ／Ｄ変換器２２から出力された高感度データ及び低感度データ（Ｒ、Ｇ、Ｂ信号のデジタルデータ）は、制御回路６０（詳細は後述）に入力されると共に、デジタル信号処理回路３４に入力される。
【００２７】
デジタル信号処理回路３４は、ＹＣ処理回路３６と、ＹＣ処理回路３７と、合成手段としての合成処理回路４０と、Ｋｎｅｅ処理回路４２と、ホワイトバランス（ＷＢ）調整処理回路４４と、ガンマ処理回路４６と、ＹＣ処理回路４９と、輪郭補正手段としての輪郭補正回路４７と、メモリ４８と、記録制御部５０と、表示制御部５２と、を含んで構成されている。
【００２８】
ＹＣ処理回路３６は、Ａ／Ｄ変換器２２から入力されたＲ、Ｇ、Ｂの高感度データに対して全ての画素でＲ、Ｇ、Ｂ３面のデータが揃うように補間処理した後に、当該３面分のデータを用いて輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂを生成する。同様に、ＹＣ処理回路３７は、Ａ／Ｄ変換器２２から入力されたＲ、Ｇ、Ｂの低感度データに対して全ての画素でＲ、Ｇ、Ｂ３面のデータが揃うように補間処理した後に、当該３面分のデータを用いて輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂを生成する。
【００２９】
一方、合成処理回路４０は、Ａ／Ｄ変換器２２から入力されたＲ、Ｇ、Ｂの高感度データ及び低感度データを色毎に後述するように合成して合成データ（本発明の「合成信号」に相当。）として出力する。
【００３０】
Ｋｎｅｅ処理回路４２は、入力されたＲ、Ｇ、Ｂの各合成データにおける高輝度側の入出力特性を、予め設定されたＲ、Ｇ、Ｂ毎のＫｎｅｅ特性に応じて変更する。ＷＢ調整処理回路４４は、入力されたＲ、Ｇ、Ｂの各合成データの各々にゲインを乗算して増減するための３つの乗算器（図示省略）を含んで構成されており、Ｒ、Ｇ、Ｂの各合成データは、各乗算器にそれぞれ入力される。更に、乗算器には、ホワイトバランスを制御するためのゲイン値Ｒｇ、Ｇｇ、Ｂｇが制御回路６０より入力され、乗算器の各々はこれら２入力を乗算する。この乗算によりホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’の各合成データはガンマ処理回路４６に入力される。
【００３１】
ガンマ処理回路４６は、ホワイトバランスが調整されたＲ’、Ｇ’、Ｂ’の各合成データが所定のガンマ特性となるように入出力特性を変更し、また、１０ビットの信号が８ビットの信号となるように変更し、ＹＣ処理回路４９に出力する。
【００３２】
ＹＣ処理回路４９は、ガンマ処理回路４６から入力されたＲ’、Ｇ’、Ｂ’の各合成データに対して全ての画素でＲ、Ｇ、Ｂ３面のデータが揃うように補間処理した後に、当該３面分のデータを用いて輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂを生成する。
【００３３】
輪郭補正回路４７は、ＹＣ処理回路４９から入力された輝度信号Ｙに対して、ＹＣ処理回路３６及びＹＣ処理回路３７の各々から入力された輝度信号Ｙに基づいて演算された、輪郭補正の度合いを示すゲイン（本発明の「補正係数」に相当。）を用いて輪郭補正処理を行い、メモリ４８に格納する。
【００３４】
なお、ＹＣ処理回路４９において生成されたクロマ信号Ｃｒ、Ｃｂもメモリ４８に格納される。
【００３５】
一方、記録制御部５０は、スマートメディアとして構成された記録メディア８０をデジタルカメラ１０に装着するための役割を有するものであり、合成処理回路４０により合成されて各種処理後にメモリ４８に記憶された合成データ（輝度信号Ｙ及びクロマ信号Ｃｒ、Ｃｂ）を当該メモリ４８から読み出して記録メディア８０に記録する処理を行う。また、表示制御部５２は、メモリ４８に記憶された合成データを読み出し、当該合成データを用いた液晶ディスプレイ（以下、「ＬＣＤ」という。）８２への画像表示のための処理を行う。
【００３６】
上記構成に加え、デジタルカメラ１０は、ＣＰＵ（中央演算処理装置）６２と、ＲＯＭ６４と、ＲＡＭ６６と、を備えたマイクロ・コンピュータで構成された制御回路６０を備えている。
【００３７】
制御回路６０は、デジタルカメラ１０全体の動作を制御する。また、ＲＯＭ６４には、ＣＰＵ６２で実行される各種処理ルーチンのプログラムが記憶されている。
【００３８】
更に、デジタルカメラ１０は、被写体までの距離を検出する測距センサ３２を備えている。測距センサ３２で検出された被写体までの距離を示す信号は、制御回路６０に入力される。シャッタスイッチが半押しされると、制御回路６０により、測距センサ３２で得られた被写体までの距離に基づいてＡＦ（Auto Focus、自動合焦）機能が働いて合焦制御される。
【００３９】
ここで、本実施の形態に係るＣＣＤ１８の構造について説明する。ＣＣＤ１８には、図２に示すようなハニカムＣＣＤを採用することができる。
【００４０】
このＣＣＤ１８の撮像部は、図２に示すように、１画素の１色について１つずつ割り当てられると共に、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で、かつ隣接する受光素子ＰＤ１が垂直方向及び水平方向にずらされて２次元配置された複数の受光素子ＰＤ１と、この受光素子ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置され、かつ受光素子ＰＤ１からの信号（電荷）を取り出して垂直方向に転送する垂直転送電極ＶＥＬと、垂直方向最下に位置する垂直転送電極ＶＥＬの垂直方向下側に配置され、垂直転送電極ＶＥＬから転送されてきた信号を外部へ転送する水平転送電極ＨＥＬと、を備えている。なお、同図に示す例では、開口部ＡＰを八角形のハニカム形状に形成している。
【００４１】
ここで、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、各々垂直転送駆動信号Ｖ１、Ｖ２、・・・、Ｖ８の何れか１つを同時に印加することができるように構成されている。なお、同図に示す例では、１段目の垂直転送電極群に対して垂直転送駆動信号Ｖ３が、２段目の垂直転送電極群に対して垂直転送駆動信号Ｖ４が、３段目の垂直転送電極群に対して垂直転送駆動信号Ｖ５が、４段目の垂直転送電極群に対して垂直転送駆動信号Ｖ６が、５段目の垂直転送電極群に対して垂直転送駆動信号Ｖ７が、６段目の垂直転送電極群に対して垂直転送駆動信号Ｖ８が、７段目の垂直転送電極群に対して垂直転送駆動信号Ｖ１が、８段目の垂直転送電極群に対して垂直転送駆動信号Ｖ２が、各々印加できるように構成されている。
【００４２】
一方、各受光素子ＰＤ１は隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されるように構成されている。同図に示す例では、各受光素子ＰＤ１が右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されるように構成されている。
【００４３】
なお、同図において‘Ｒ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは赤色の光を透過する色分離フィルタ（カラーフィルタ）で覆われており、‘Ｇ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは緑色の光を透過する色分離フィルタで覆われており、‘Ｂ’が記入された受光素子ＰＤ１の前面に形成された開口部ＡＰは青色の光を透過する色分離フィルタで覆われている。すなわち、‘Ｒ’が記入された受光素子ＰＤ１は赤色光を、‘Ｇ’が記入された受光素子ＰＤ１は緑色光を、‘Ｂ’が記入された受光素子ＰＤ１は青色光を、各々受光し、受光した光量に応じたアナログ信号を各々出力する。
【００４４】
ＣＣＤ１８は、更に、上述の受光素子ＰＤ１に比較して低感度な受光素子ＰＤ２を備えている。受光素子ＰＤ２は図２に示される如く、複数の受光素子ＰＤ１間に設けられている。この受光素子ＰＤ２も受光素子ＰＤ１と同様に、その前面に受光素子ＰＤ１の開口部より面積が小さい開口部ＡＰが形成され、隣接する１つの垂直転送電極ＶＥＬに対して転送ゲートＴＧにより電気的に接続されている。また、この受光素子ＰＤ２には、その前面に形成された開口部ＡＰに、受光素子ＰＤ１と同様にＲ、Ｇ、Ｂ何れかのカラーフィルタが装着されている。このように、受光素子ＰＤ２の受光面積を受光素子ＰＤ１の受光面積より小さくしているので、受光素子ＰＤ１に比較して低感度なＲ、Ｇ、Ｂ信号が得られる。
【００４５】
なお、受光素子ＰＤ２の転送ゲートＴＧが接続される電極は、隣接する受光素子ＰＤ１の転送ゲートＴＧが接続される電極とは異なるように設けられている。また、本実施の形態においては、先に受光素子ＰＤ１の電荷を読み出してから受光素子ＰＤ２の電荷を読み出すようにしている。
【００４６】
次に、図３を参照して、本実施の形態に係る輪郭補正回路４７の構成について説明する。同図に示すように、輪郭補正回路４７は、予め定められた高周波数帯域を通過させるバンド・パス・フィルタ（以下、「ＢＰＦ」という。）４７Ａと、乗算器４７Ｂと、加算器４７Ｃと、ゲイン演算回路４７Ｄと、を含んで構成されている。
【００４７】
ゲイン演算回路４７Ｄは、ＹＣ処理回路３６及びＹＣ処理回路３７の各々から入力された輝度信号Ｙに基づいて輪郭補正の度合いを示すゲインを演算する。
【００４８】
ＢＰＦ４７Ａは、入力端がＹＣ処理回路４９の輝度信号Ｙを出力する出力端に接続されており、ＹＣ処理回路４９から出力された輝度信号Ｙから所定高周波帯域の成分を抽出して乗算器４７Ｂに出力する。例えば、ＹＣ処理回路４９から出力された輝度信号Ｙが図４（Ａ）に示すような状態である場合、ＢＰＦ４７Ａから乗算器４７Ｂに、図４（Ｂ）に示すような輝度信号Ｙのエッジの位置に対応するパルス（以下、「エッジ・パルス」という。）が出力される。すなわち、ＢＰＦ４７Ａは、輝度信号Ｙにより示される被写体像の輪郭を抽出する役割を有している。
【００４９】
乗算器４７Ｂでは、ＢＰＦ４７Ａから入力されたエッジ・パルスに対してゲイン演算回路４７Ｄにより演算されたゲインを乗算して、一方の入力端がＹＣ処理回路４９の輝度信号Ｙを出力する出力端に接続された加算器４７Ｃの他方の入力端に出力する。
【００５０】
従って、加算器４７Ｃでは、ＹＣ処理回路４９から出力された輝度信号Ｙに対して、乗算器４７Ｂによって増幅されたエッジ・パルスが加算されて、一例として図４（Ｃ）に示すような、被写体像の輪郭が強調された状態の輝度信号Ｙが生成され、メモリ４８に記憶される。
【００５１】
すなわち、本実施の形態に係る輪郭補正回路４７は、ＹＣ処理回路４９によって生成された合成データの輝度信号Ｙに対して行う輪郭補正処理を、補正の度合いを示すゲインを用いて行うものとして構成されている。
【００５２】
以下、このような構成のデジタルカメラ１０の撮影時における作用を詳細に説明する。
【００５３】
まず、光学レンズ１２、絞り１４、及びシャッタ１６を通過した被写体像を示す入射光は、ＣＣＤ１８の感度の異なる受光素子ＰＤ１及びＰＤ２の双方により受光され、被写体像を示すアナログ画像信号としてアナログ信号処理部２０に出力される。また、ユーザがデジタルカメラ１０にて被写体を撮影するためにカメラ操作部７２のシャッタスイッチを半押しすると、このとき測距センサ３２から入力された信号に基づいて被写体までの距離Ｔが導出され、駆動部２４の制御の下にＡＦ機能が働いて合焦制御される。
【００５４】
アナログ信号処理部２０は、ＣＣＤ１８から入力された高感度及び低感度の双方のアナログ画像信号に対して所定のアナログ信号処理を施す。これらのアナログ画像信号は、Ａ／Ｄ変換器２２により各々高感度データ及び低感度データに変換される。Ａ／Ｄ変換器２２から出力された高感度データ及び低感度データは、デジタル信号処理回路３４及び制御回路６０に入力される。
【００５５】
デジタル信号処理回路３４では、高感度データがＹＣ処理回路３６に入力されて、当該高感度データに基づいて輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂが前述したように生成され、このうちの輝度信号Ｙが輪郭補正回路４７のゲイン演算回路４７Ｄに出力される。同様に、低感度データがＹＣ処理回路３７に入力されて、当該低感度データに基づいて輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂが前述したように生成され、このうちの輝度信号Ｙが輪郭補正回路４７のゲイン演算回路４７Ｄに出力される。
【００５６】
ゲイン演算回路４７Ｄでは、ＹＣ処理回路３６から入力された輝度信号Ｙの値ｈｉｇｈ［Ｙ］とＹＣ処理回路３７から入力された輝度信号Ｙの値ｌｏｗ［Ｙ］とを用いて、画素毎でかつ色毎に次の（１）式によりゲインを算出する。
【００５７】
【数１】

【００５８】
ここで、ゲイン係数ｋ₁は値ｈｉｇｈ［Ｙ］と値ｌｏｗ［Ｙ］との合成比に応じて変動するゲインを制御するための係数であり、デジタルカメラ１０の製造者又はユーザによって予め設定されるものである。また、ゲインｋ₂は上記合成比に応じて変動するゲインとは独立に輪郭補正の度合いを制御するためのゲインであり、これもデジタルカメラ１０の製造者又はユーザによって予め設定されるものである。従って、合成処理回路４０による合成処理の影響を輪郭補正に反映させたくない場合には、ｋ₁＝０とすることによりｋ₂のみ傾き、通常の処理と同様の輪郭補正が実行される。
【００５９】
そして、輪郭補正回路４７では、算出された当該ゲインが乗算器４７Ｂに入力され、ＹＣ処理回路４９から出力された輝度信号Ｙに対して、当該ゲインに応じた度合いの輪郭補正が行われてメモリ４８に記憶されることになる。
【００６０】
すなわち、輪郭補正回路４７では、輪郭補正の度合いを示すゲインを、合成処理回路４０により合成される低感度データの高感度データに対する割合が大きくなるほど小さな値となるように設定しており、これによって当該割合が大きくなるほど発生しやすくなるノイズの輪郭補正による強調の度合いを的確に抑制できるようにし、この結果として輪郭補正に起因する被写体像の画質の低下を防止することができるようにしている。
【００６１】
一方、合成処理回路４０では、Ａ／Ｄ変換器２２から入力された高感度データ及び低感度データを、真数加算方式を用いて次の（２）式に示すように合成する。
【００６２】
【数２】

【００６３】
ここで、Ｓは、高感度信号と低感度信号の比（感度比）を示すものであり、その値は１以上となる。ｔｈは、画像形成において合成データｄａｔａの合成開始レベルを示す閾値である。また、ｈｉｇｈは、高感度データの値であり、ｗ_hは、高感度データの重みを示す値である。ｌｏｗは、低感度データの値であり、ｗ_lは、低感度データの重みを示す値である。なお、上記（２）式を簡略化するために、本実施の形態では、重みｗ_hと重みｗ_lの合計値を１とするものとされている。
【００６４】
なお、上記閾値ｔｈは、高感度データにより示される階調値が当該値未満であれば当該高感度データにより示される被写体像に白とびが発生しないと見なすことのできる値として、実際のＣＣＤ１８を用いた実験や、ＣＣＤ１８の設計仕様に基づくコンピュータ・シミュレーション等によって予め得られた値等を適用する。
【００６５】
図５は、このとき、合成処理回路４０によって、被写体からの光を受光して得られた高感度データと、その高感度データに低感度データを上述のように合成して得られた合成データとの関係を示した図である。図中の細線が合成前の高感度データであり、太線が合成処理により得られた合成データである。また、被写体輝度において、Ｘ₁は合成処理を行わない場合に表現可能な被写体輝度の最大値を示しており、Ｘ₂は合成後に表現可能となった被写体輝度の最大値を示している。この場合の撮影対象である被写体の輝度Ｘ₂はＸ₁のレベルより高い。なお、本図は、Ｒ、Ｇ、Ｂ何れか１色についてのデータを示している。
【００６６】
図から明らかなように、上述した合成処理により表現可能な被写体輝度のレベルはＸ₁からＸ₂まで拡大されている。このため、被写体がＸ₁のレベルより高い輝度を有する場合には、合成処理を施すことにより好適にダイナミックレンジが拡大され、表現可能な領域を拡大することができる。
【００６７】
合成処理回路４０により得られた合成データはＫｎｅｅ処理回路４２に出力され、Ｋｎｅｅ処理回路４２での予め設定されたＫｎｅｅ特性に応じた処理後、ＷＢ調整処理回路４４及びガンマ処理回路４６で所定の処理が行われた後、当該合成データに基づいてＹＣ処理回路４９によって前述したように輝度信号Ｙ及びクロマ信号Ｃｒ、Ｃｂが生成され、当該輝度信号Ｙは輪郭補正回路４７に出力され、クロマ信号Ｃｒ、Ｃｂはメモリ４８の所定領域に記憶される。
【００６８】
そして、輪郭補正回路４７では、ＹＣ処理回路４９から入力された輝度信号Ｙに対して前述したように高感度データの輝度信号Ｙ及び低感度データの輝度信号Ｙに基づきゲイン演算回路４７Ｄで算出されたゲインを用いた輪郭補正処理が行われ、メモリ４８の所定領域に記憶される。
【００６９】
そして、表示制御部５２は、メモリ４８に記憶された各種処理後の合成データ（輝度信号Ｙ及びクロマ信号Ｃｒ、Ｃｂ）を用いたＬＣＤ８２への画像表示のための処理を実行する。また、記録制御部５０は、カメラ操作部７２のシャッタスイッチが全押しされたときに制御回路６０から入力された指示信号に応じて、メモリ４８に記憶された合成データの記録メディア８０への記録を行う。これによって撮影がなされる。
【００７０】
ここで、参考までに、本実施の形態に係るデジタルカメラ１０のＫｎｅｅ処理回路４２におけるＲ、Ｇ、Ｂ毎のＫｎｅｅ特性の決定方法について、図６に示される４象限グラフを参照しつつ説明する。なお、図６における第１象限は合成処理回路４０により得られる合成データ（同図では、「１２ｂｉｔＱＬ」と表記）の受光光量に対する特性を示す領域であり、第２象限はＫｎｅｅ処理回路４２で用いられるＫｎｅｅ特性を示す領域であり、第３象限はＷＢ調整処理回路４４で用いられるゲイン値の特性を示す領域であり、第４象限はＷＢ調整処理回路４４から出力される合成データの受光光量に対する特性を示す領域である。また、同図における各象限内の破線で示される折線は‘Ｇ’に対応するものであり、実線で示される折線は‘Ｒ’に対応するものである。更に、ここでは、合成処理回路４０により得られる‘Ｇ’及び‘Ｒ’の合成データの受光光量に対する特性が同図▲１▼であり、撮影シーンに応じて制御回路６０により定められたＷＢ調整処理回路４４における‘Ｇ’及び‘Ｒ’のゲイン値の特性が各々同図▲３▼及び▲６▼であるものとして説明する。
【００７１】
まず、デジタルカメラ１０の設計者は、‘Ｇ’のＫｎｅｅ特性を同図▲２▼のように決定する。
【００７２】
従って、合成処理回路４０から出力されると共に同図▲１▼で示される特性とされた‘Ｇ’の合成データは、Ｋｎｅｅ処理回路４２において同図▲２▼で示される‘Ｇ’のＫｎｅｅ特性に応じたＫｎｅｅ処理が行われた後、ＷＢ調整処理回路４４において同図▲３▼で示される‘Ｇ’のゲイン値特性に応じたＷＢ調整処理が行われることになり、当該ＷＢ調整処理回路４４から出力される‘Ｇ’の合成データの受光光量に対する特性は同図▲４▼に示されるものに一意的に決定される。
【００７３】
ここで、ＷＢ調整処理回路４４から出力された合成データにより示されるグレーの被写体像はＲ＝Ｇ＝Ｂとなっている、と仮定し、ＷＢ調整処理回路４４から出力される‘Ｒ’の合成データの受光光量に対する特性が同図▲４▼で示される‘Ｇ’のものと同一であるものとして（同図▲５▼）、当該特性と、合成処理回路４０により得られる‘Ｒ’の合成データの受光光量に対する特性（同図▲１▼の実線側）と、同図▲６▼で示される‘Ｒ’のゲイン値の特性と、を用いることにより‘Ｒ’のＫｎｅｅ特性を同図▲７▼で示されるものとして一意的に決定する。
【００７４】
また、上記と同様に‘Ｂ’のＫｎｅｅ特性を一意的に決定する。
【００７５】
以上詳細に説明したように、本実施の形態に係るデジタルカメラ１０は、ＣＣＤ１８によって被写体を第１の感度で撮像して被写体像を示す高感度の画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示す低感度の画像信号を出力し、合成処理回路４０により上記高感度の画像信号に基づく高感度データと上記低感度の画像信号に基づく低感度データとを合成して合成データを生成し、輪郭補正回路４７によって輪郭補正の度合いを示す予め設定されたゲインを用いて上記合成データにより示される被写体像に対して輪郭補正処理を行うに際し、合成処理回路４０により合成される低感度データの高感度データに対する割合が大きくなるほど小さな値となるように上記ゲインを設定しているので、感度の異なる画像信号を合成して用いるときの輪郭補正に起因する画質の低下を防止することができる。
【００７６】
なお、本実施の形態では、図７（Ａ）に示すように、輪郭補正回路４７をＹＣ処理回路４９とメモリ４８との間に介在させた場合について説明したが、本発明はこれに限定されるものではなく、図７（Ｂ）に示すように、輪郭補正回路４７’をＷＢ調整処理回路４４とメモリ４８との間に、ＹＣ処理回路４９と並列的に介在させる形態とすることもできる。
【００７７】
この場合、同図に示されるように、ＢＰＦ４７Ａの入力端は、ＹＣ処理回路４９と同様の構成とされたＹＣ処理回路４７Ｅを介してガンマ処理回路４６の入力端に接続される。従って、この場合は、ガンマ処理前の合成データの輝度信号Ｙにより示される被写体像の輪郭が抽出され、これに基づいてガンマ処理後の合成データの輝度信号Ｙに対して輪郭補正が行われることになる。この場合も、本実施の形態と同様の効果を奏することができる。
【００７８】
また、本実施の形態では、輪郭補正に用いるゲインを、合成される低感度データの高感度データに対する割合が大きくなるほど小さな値となるように、（１）式を用いて連続的に設定する場合について説明したが、本発明はこれに限定されるものではなく、上記ゲインを上記割合に応じて段階的に設定する形態とすることもできる。
【００７９】
この場合の形態例としては、ゲイン演算回路４７Ｄにおいて、上記割合の採り得る範囲を複数に分割し、各分割領域に対応する上記ゲインの値を予め記憶しておき、当該ゲインの値の設定時に、上記割合が属する分割領域に対応するゲインの値を適用する形態を例示することができる。この場合も、本実施の形態と同様の効果を奏することができる。
【００８０】
また、本実施の形態では、輪郭補正回路４７において本発明の補正係数としてのゲインを設定する場合について説明したが、本発明はこれに限定されるものではなく、制御回路６０において当該ゲインを設定する形態とすることもできる。
【００８１】
この場合、制御回路６０において、Ａ／Ｄ変換器２２から入力された高感度データの輝度信号Ｙの値ｈｉｇｈ［Ｙ］と、低感度データの輝度信号Ｙの値ｌｏｗ［Ｙ］を導出し、これらの値と、予め設定されたゲイン係数ｋ₁及びゲインｋ₂とを用いて、上記（１）式により当該ゲインを算出する。この場合も、本実施の形態と同様の効果を奏することができる。
【００８２】
また、本実施の形態では、合成処理回路４０によって、Ａ／Ｄ変換器２２から入力された高感度データ及び低感度データを、ホワイトバランス調整やガンマ補正を行う前に合成する例について説明したが、本発明はこれに限定されるものではなく、合成前にホワイトバランス調整及びガンマ補正を高感度データ及び低感度データのそれぞれに対して行い、その後に対数加算方式により合成処理する形態とすることもできる。
【００８３】
図８は、この形態に係るデジタル信号処理回路３４Ｂの構成を示している。デジタル信号処理回路３４Ｂは、高感度データ側のホワイトバランスを調整する高感度側ＷＢ（ホワイトバランス）調整処理回路７２と、低感度データ側のホワイトバランスを調整する低感度側ＷＢ調整処理回路７４と、高感度側ＷＢ調整処理回路７２に接続された高感度データ側のガンマ補正を行う高感度側γ処理回路７６と、低感度側ＷＢ調整処理回路７４に接続された低感度データ側のガンマ補正を行う低感度側γ処理回路７８と、合成手段としての合成処理回路８０と、本実施の形態と同様の構成とされたＹＣ処理回路４９、輪郭補正回路４７、メモリ４８、記録制御部５０及び表示制御部５２と、を含んで構成されている。
【００８４】
図８の構成によれば、合成処理回路８０による合成処理の前に、高感度データ及び低感度データは、高感度側ＷＢ調整処理回路７２及び低感度側ＷＢ調整処理回路７４によりそれぞれの特性に応じたホワイトバランス調整が行われ、更に高感度側γ処理回路７６及び低感度側γ処理回路７８によりそれぞれガンマ補正が行われて合成処理回路８０に入力される。合成処理回路８０では、入力された高感度データ及び低感度データを、対数加算方式を用いて次の（３）式に示すように合成する。
【００８５】
【数３】

【００８６】
ここで、ｔｈは、高感度データと低感度データが１対１の割合で加算される閾値である。また、ｈｉｇｈは高感度データの値であり、ｌｏｗは低感度データの値である。更に、ｐは、加算データ全体に対するゲイン（通常は０．８〜０．９程度の値。）であり、これによってダイナミックレンジの制御を行う。このゲインｐが小さいほどダイナミックレンジは広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高いシーン（真夏の晴天等）では０．８、曇りや日陰では０．８６、室内蛍光灯下では０．９といったようにシーンに応じてこの値を変化させることにより、８ビット階調値を有効に使用することが可能となる。
【００８７】
図９には、ゲインｐによってダイナミックレンジが変化する様子が示されている。なお、ここで適用したゲインｐの範囲における最小値に対応するものが破線で示されたものであり、最大値に対応するものが２点鎖線で示されたものである。
【００８８】
同図に示すように、この場合、ゲインｐの値を小さくするほどダイナミックレンジは広くなることになる。
【００８９】
なお、この場合も、輪郭補正回路４７は本実施の形態と同様に作用するため、本実施の形態と同様の効果を奏することができる。
【００９０】
また、本実施の形態では、高感度の受光素子ＰＤ１と低感度の受光素子ＰＤ２の各々を設け、高感度信号及び低感度信号を得る例について説明したが、図１０に示されるように、１つの受光素子ＰＤの受光領域をチャネルストッパ９４により高感度の受光を行う受光面積が広い高感度受光領域９２と低感度の受光を行う受光面積が狭い低感度受光領域９０とに分割し、それぞれの領域により高感度信号及び低感度信号が得られるような構成としてもよい。なお、受光素子ＰＤにはチャネルストッパ９４が設けられているため、高感度で受光された信号と低感度で受光された信号とが混合されずに、双方の信号を別々に受光することができる。
【００９１】
また、本実施の形態では、合成データの輝度信号Ｙに対して輪郭補正を行う場合について説明したが、本発明はこれに限定されるものではなく、合成データに対して輪郭補正を行う形態とすることもできる。この場合は、本実施の形態で必要とされたＹＣ処理回路３６、ＹＣ処理回路３７及びＹＣ処理回路４９は必要がなくなる。また、この場合、ゲイン演算回路４７Ｄでは、上記（１）式における値ｈｉｇｈ［Ｙ］及びｌｏｗ［Ｙ］を各々高感度データ及び低感度データに置き換えた演算式によりゲインを算出することになる。この場合も、本実施の形態と同様の効果を奏することができる。
【００９２】
また、本実施の形態に係るデジタルカメラ１０の構成（図１参照）は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。
【００９３】
更に、本発明は上記デジタルカメラに限られるものではなく、様々な撮像装置に適用可能である。
【００９４】
【発明の効果】
以上説明した如く本発明によれば、撮像素子によって被写体を第１の感度で撮像して被写体像を示す第１画像信号を出力すると共に、上記被写体を第１の感度より低い第２の感度で撮像して上記被写体像を示す第２画像信号を出力し、合成手段により上記第１画像信号と上記第２画像信号とを合成して合成信号を生成し、輪郭補正手段によって輪郭補正の度合いを示す予め設定された補正係数を用いて上記合成信号により示される被写体像に対して輪郭補正処理を行うに際し、合成手段により合成される上記第２画像信号の上記第１画像信号に対する割合が大きくなるほど小さな値となるように上記補正係数を設定しているので、感度の異なる画像信号を合成して用いるときの輪郭補正に起因する画質の低下を防止することができる、という効果が得られる。
【図面の簡単な説明】
【図１】実施の形態に係るデジタルカメラの構成を示すブロック図である。
【図２】実施の形態に係るデジタルカメラで適用されているＣＣＤの構成を示す概略図である。
【図３】実施の形態に係る輪郭補正回路４７の構成を示すブロック図である。
【図４】実施の形態に係る輪郭補正回路４７の動作の説明に供する波形図である。
【図５】合成前の高感度データと、合成処理されて得られた合成データとの関係を示すグラフである。
【図６】実施の形態に係るＫｎｅｅ処理回路４２におけるＲ、Ｇ、Ｂ毎のＫｎｅｅ特性の決定方法の説明に供する４象限グラフである。
【図７】輪郭補正回路の他の構成例を示すブロック図である。
【図８】デジタル信号処理回路の他の構成例を示すブロック図である。
【図９】高感度データ及び低感度データを対数加算方式で合成する場合に適用される（３）式において、ゲインｐによりダイナミックレンジが変化する様子を示す光量対合成データ（最終画像８ｂｉｔＱＬ）のグラフである。
【図１０】高感度と低感度の信号の双方を受光することができる受光素子が設けられたＣＣＤの構成を示す概略図である。
【符号の説明】
１０デジタルカメラ
１８ＣＣＤ（撮像素子）
４０合成処理回路（合成手段）
４７輪郭補正回路（輪郭補正手段）
４７Ｄゲイン演算回路（設定手段）

Claims

被写体を第１の感度で撮像して被写体像を示す第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示す第２画像信号を出力する撮像素子と、
前記第１画像信号と前記第２画像信号とを合成して合成信号を生成する合成手段と、
輪郭補正の度合いを示す予め設定された補正係数を用いて前記合成信号により示される被写体像に対して輪郭補正処理を行う輪郭補正手段と、
前記合成手段により合成される前記第２画像信号の前記第１画像信号に対する割合が大きくなるほど小さな値となるように前記補正係数を設定する設定手段と、
を備えた撮像装置。
前記設定手段は、前記割合に応じて前記補正係数を段階的に設定する
請求項１記載の撮像装置。
被写体を第１の感度で撮像して被写体像を示す第１画像信号を出力すると共に、前記被写体を第１の感度より低い第２の感度で撮像して前記被写体像を示す第２画像信号を出力する撮像素子と、前記第１画像信号と前記第２画像信号とを合成して合成信号を生成する合成手段と、を備えた撮像装置の輪郭補正方法であって、
前記合成手段により合成される前記第２画像信号の前記第１画像信号に対する割合が大きくなるほど小さな値となるように輪郭補正の度合いを示す補正係数を設定し、
前記補正係数を用いて前記合成信号により示される被写体像に対して輪郭補正処理を行う
輪郭補正方法。