JP4137648B2

JP4137648B2 - Image data synthesizing apparatus and method

Info

Publication number: JP4137648B2
Application number: JP2003006769A
Authority: JP
Inventors: 学兵藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-01-15
Filing date: 2003-01-15
Publication date: 2008-08-20
Anticipated expiration: 2023-01-15
Also published as: JP2004221928A

Description

【０００１】
【技術分野】
この発明は，画像データ合成装置および方法ならびに画像データ合成プログラムに関する。
【０００２】
【発明の背景】
ディジタル・スチル・カメラの撮像素子に利用されるＣＣＤは，一般的にダイナミック・レンジが狭い。ダイナミック・レンジを広げるために，異なる露光条件で２回撮像し，得られた２種類の映像信号同士を加算するものがある（例えば，特許文献１）。
【０００３】
【特許文献１】
特願平11−271239号公報
【０００４】
このような方法によりダイナミック・レンジを広げる場合には，ダイナミック・レンジは固定とされる。ダイナミック・レンジを変更することはできないことが多い。ダイナミック・レンジを広げて得られた合成画像を表示する場合，合成画像の確認が難しいことがある。
【０００５】
【発明の開示】
この発明は，ダイナミック・レンジを広げて得られた合成画像を表示し，低感度画像を分割したときに得られる分割領域の積算値の最大値近傍の画像を拡大できるようにすることを目的とする。
【０００６】
この発明による画像データ合成装置は，ダイナミック・レンジを設定するダイナミック・レンジ設定手段（レベル調整された低感度画像データと合成された場合に，非飽和状態となるように），上記ダイナミック・レンジ設定手段による設定に応じて，与えられる高感度画像データのレベルを調整する第１の調整手段（）上記第１の調整手段によってレベル調整された高感度画像データと合成された場合に非飽和状態となるように），上記ダイナミック・レンジ設定手段による設定に応じて，与えられる低感度画像データのレベルを調整する第２の調整手段，および上記第１の調整手段によってレベルが調整された高感度画像データと上記第２の調整手段によってレベルが調整された低感度画像データとを合成して合成画像データを出力する画像データ合成手段を備えていることを特徴とする。
【０００７】
この発明は，上記画像データ合成装置に適した方法も提供している。すなわち，この方法は，ダイナミック・レンジを設定し（レベル調整された低感度画像データと合成された場合に，非飽和状態となるように），設定されたダイナミック・レンジに応じて，与えられる高感度画像データのレベルを調整し（レベル調整された高感度画像データと合成された場合に非飽和状態となるように），設定されたダイナミック・レンジに応じて，与えられる低感度画像データのレベルを調整し，レベルが調整された高感度画像データとレベルが調整された低感度画像データとを合成して合成画像データを出力するものである。
【０００８】
また，この発明は，画像データ合成のプログラムおよびそのプログラムを格納した記録媒体も提供している。
【０００９】
この発明によると，ダイナミック・レンジが設定される。ダイナミック・レンジは，ボリュウム，スイッチ，ボタンなどの設定器によりユーザが手動で設定可能なものでもよいし，高感度画像データ，低感度画像データにもとづいて自動設定するものでもよい。
【００１０】
高感度画像データと低感度画像データとが与えられる。高感度画像データは，レベル調整された低感度画像データと合成された場合に，非飽和状態となるように，設定されたダイナミック・レンジに応じてそのレベルが調整される。同様に，低感度画像データは，レベル調整された高感度画像データと合成された場合に，非飽和状態となるように，設定されたダイナミック・レンジに応じてそのレベルが調整される。レベル調整された高感度画像データとレベル調整された低感度画像データとが合成されて，合成画像を表す合成画像データが得られる。
【００１１】
設定されたダイナミック・レンジに応じた合成画像データが得られるようになる。高感度画像データと低感度画像データとは互いに合成された場合に，非飽和状態となるようにレベル調整されるので，合成画像データが飽和してしまうことを未然に防止できる。
【００１２】
被写体を撮像し，被写体像を表す上記高感度画像データと上記低感度画像データとを出力する固体電子撮像装置をさらに備えるようにしてもよい。この場合，上記第１の調整手段は，上記固体電子撮像装置から出力された上記高感度画像データを与えられ，上記第２の調整手段は上記固体電子撮像装置から出力された上記低感度画像データを与えられるものとなろう。
【００１３】
上記画像データ合成手段から出力される合成画像データによって表される画像を表示画面上に表示するように表示装置を制御する第１の表示制御手段，記録指令を与える記録指令スイッチ，および上記記録指令スイッチから記録指令が与えられたことに応答して，上記第１の表示制御手段の制御にもとづいて表示画面上に表示される画像を表す合成画像データを記録媒体に記録する記録制御手段をさらに備えるようにしてもよい。
【００１４】
ダイナミック・レンジが調整された合成画像が表示装置の表示画面上に表示されるので，その表示された合成画像を確認した後に，合成画像データを記録媒体に記録することができる。
【００１５】
上述したように，上記ダイナミック・レンジ設定手段は，ユーザによってダイナミック・レンジが設定される設定器であってもよいし，上記ダイナミック・レンジ設定手段は，与えられる高感度画像データおよび与えられる低感度画像データの少なくとも一方にもとづいて，ダイナミック・レンジを設定するものでもよい。
【００１６】
上記ダイナミック・レンジ設定手段は，例えば，与えられる低感度画像データによって表される低感度画像を複数の領域に分割する分割手段，および上記分割手段によって分割された複数の領域内の画像を表す低感度画像データをそれぞれ積算し，複数の積算値を算出する算出手段を備える。この場合，上記算出手段によって算出された複数の積算値にもとづいてダイナミック・レンジを設定するものとなろう。
【００１７】
得られた画像が飽和しないようにダイナミック・レンジを設定できる。
【００１８】
また，上記画像データ合成手段から出力される合成画像データによって表される画像を表示画面上に表示するように表示装置を制御する第２の表示制御手段，および上記第２の表示制御手段の制御のもとに上記表示画面に表示された画像のうち，上記算出手段によって算出された複数の積算値の最大値をもつ領域近傍の画像を拡大する画像拡大手段をさらに備えるようにしてもよい。
【００１９】
画像が拡大されているので，画像が飽和してしまっているかどうかを確認できる。
【００２０】
好ましくは，記録指令を与える記録指令スイッチ，および上記記録指令スイッチから記録指令が与えられたことに応答して，上記第２の表示制御手段の制御にもとづいて表示画面に表示される画像を表す合成画像データを記録媒体に記録する記録制御手段をさらに備える。
【００２１】
表示画面に表示された合成画像を確認したあとに，その合成画像を表す合成画像データを記録媒体に記録することができるようになる。
【００２２】
上記ダイナミック・レンジ設定手段によって設定されたダイナミック・レンジにもとづいて，上記画像データ合成手段から出力された合成画像データによって表される画像の色（彩度）を補正する色（彩度）補正手段をさらに備えるようにしてもよい。
【００２３】
ダイナミック・レンジに応じて比較的適切に色（彩度）補正を行うことができるようになる。
【００２４】
上記高感度画像データおよび上記低感度画像データが記録されている記録媒体から上記高感度画像データおよび上記低感度画像データを読み取る読み取り手段をさらに備えるようにしてもよい。この場合，上記読み取り手段から読み取られた高感度画像データを上記第１の調整手段に与え，上記読み取り手段によって読み取られた上記低感度画像データを上記第２の調整手段に与えるものとなろう。
【００２５】
記録媒体に記録されている高感度画像データおよび低感度画像データを読み取り，上述したようにダイナミック・レンジを設定して合成画像データを生成することができる。
【００２６】
上記低感度画像データによって表される低感度画像を分割することにより得られる複数の領域内のそれぞれの画像を表す低感度画像データの積算値のうちの最大値の位置を示すデータが上記記録媒体に記録されていてもよい。この場合，上記読み取り手段は，上記位置データも読み取るものとなろう。
【００２７】
そして，上記画像データ合成手段から出力される合成画像データによって表される合成画像を表示画面上に表示するように表示装置を制御する第３の表示制御手段，および上記第３の表示制御手段の制御のもとに表示された合成画像のうち，上記読み取り手段によって読み取られた位置データによって表される位置近傍を拡大して表示するように上記表示装置を制御する第４の表示制御手段をさらに備えることとなろう。
【００２８】
最大値に合わせたダイナミック・レンジを設定しているので，飽和しない合成画像を得ることができる。
【００２９】
上記ダイナミック・レンジ設定手段は，設定可能なダイナミック・レンジの範囲およびその範囲中の所望の位置を指定するスライダを表示するように上記表示装置を制御する第５の表示制御手段，および上記スライダの位置を指定する指定手段を備えるものでもよい。この場合，上記指定手段によって指定されるスライダの位置にもとづいて上記ダイナミック・レンジを設定するものとなろう。
【００３０】
上記ダイナミック・レンジの範囲の上限が，上記ダイナミック・レンジ設定手段によって設定可能なダイナミック・レンジの最大値であることが好ましい。設定できない位置を指定することを未然に防止できるからである。
【００３１】
上記ダイナミック・レンジ設定手段が，ダイナミック・レンジを設定するダイナミック・レンジ設定パラメータを入力する入力手段，上記入力手段から入力されたパラメータによって設定されるダイナミック・レンジが設定可能な範囲外かどうかを判定する判定手段，および上記判定手段により設定可能な範囲外と判定されたことに応答して警告する警告手段をさらに備えるようにしてもよい。
【００３２】
上記ダイナミック・レンジ設定手段によって設定されたダイナミック・レンジに応じたガンマ補正係数を決定するガンマ補正係数決定手段，ならびに上記第１の調整手段によってレベルが調整された高感度画像データおよび上記第２の調整手段によってレベルが調整された低感度画像データとの少なくとも一方を，上記ガンマ補正係数決定手段によって決定されたガンマ補正係数にもとづいてガンマ補正するガンマ補正手段をさらに備えるようにしてもよい。この場合，上記画像データ合成手段は，上記ガンマ補正手段によってガンマ補正された画像データを用いて合成画像データを生成するものとなう。
【００３３】
【実施例の説明】
図１は，この発明の実施例によるディジタル・スチル・カメラに用いられるＣＣＤ５を模式的に示している。
【００３４】
ＣＣＤ５には，水平方向および垂直方向に多数のフォトダイオード20が配列されている。フォトダイオード20は，奇数列は奇数行に配置され，偶数列は偶数行に配置されている。偶数列は奇数行に配置し，奇数列は偶数行に配置するようにしてもよい。
【００３５】
フォトダイオード20は，その受光領域が２つに分けられている。一方の受光領域21を主受光領域，他方の受光領域22を副受光領域ということにする。主受光領域21に蓄積された信号電荷と副受光領域22に蓄積された信号電荷とは混ざらないようにフォトダイオード20が形成されている。主受光領域21の受光面積と副受光領域22の受光面積との比率は，４対１に規定されている。もっとも，その他の比率でもよいのはいうまでもない。
【００３６】
フォトダイオード20の右側には，フォトダイオード20に蓄積された信号電荷を垂直方向に転送する垂直転送路23が設けられている。フォトダイオード20に蓄積された信号電荷のうち，主受光領域21に蓄積された信号電荷（主信号電荷という）がフォトダイオード20から垂直転送路22にシフトされる。主信号電荷は，水平転送路24に与えられ，水平方向に転送させられる。主信号電荷は，増幅回路25において増幅され，一駒分の画像を表す高感度映像信号としてＣＣＤ５から出力される。
【００３７】
高感度映像信号の出力が終了すると，フォトダイオード20の副受光領域22に蓄積された信号電荷（副信号電荷という）が垂直転送路23にシフトされる。主信号電荷と同様に，副信号電荷は，垂直転送路23内を垂直方向に転送させられ，水平転送路24に与えられる。副信号電荷は，水平転送路24内を水平方向に転送させられ，増幅回路25を介して低感度映像信号としてＣＣＤ５から出力される。
【００３８】
主受光領域21の受光面積は，副受光領域22の受光面積の４倍であるから，同一の被写体を撮像した場合高感度映像信号のレベルは低感度映像信号のレベルの４倍となる。
【００３９】
図２は，ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００４０】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ２によって統括される。
【００４１】
ディジタル・スチル・カメラには，操作装置１が含まれている。この操作装置１には，シャッタ・レリーズ・ボタン，ダイナミック・レンジ調整ボリュウム，プレビュー・レック・ボタンなどの各種ボタンが含まれている。操作装置１からの出力信号は，ＣＰＵ２に入力する。ダイナミック・レンジ調整ボリュウムは，６段階の設定が可能であり，６種類のダイナミック・レンジを指定することができる。もちろん，さらに多くの種類の指定ができるようにしてもよいのはいうまでもない。
【００４２】
ディジタル・スチル・カメラには，被写体にストロボ光を照射するためのストロボ発光装置３が含まれている。
【００４３】
また，ディジタル・スチル・カメラには，各種クロック・パルス等を生成するためのタイミング・ジェネレータ４が含まれている。このタイミング・ジェネレータ４から出力されるクロック・パルス等は，ＣＣＤ５およびアナログ信号処理回路６に与えられる。
【００４４】
プレビュー・レック・ボタンにより，プレビュー・レック・モードが設定されると，次に述べるように，メモリ・カード12に画像データが記録される前にメモリ８に画像データが一時的に記憶される。メモリ８に記憶されている画像データによって表される画像が表示装置11の表示画面上に表示される。表示された画像を見ながら，ダイナミック・レンジ調整ボリュウムを用いて表示画面上に表示されている画像のダイナミック・レンジが調整される。その後，シャッタ・レリーズ・ボタンが押されることにより，メモリ８に一時的に記憶されていた画像データがメモリ・カード12に記録される。
【００４５】
プレビュー・レック・モードが設定されると，ＣＣＤ５によって被写体が撮像され，上述のように，被写体像を表す高感度映像信号と低感度映像信号とが順に出力される。高感度映像信号および低感度映像信号は，それぞれ順にアナログ信号処理回路６に入力し，相関二重サンプリング処理およびアナログ／ディジタル変換処理が行われ，高感度画像データおよび低感度画像データが得られる。高感度画像データおよび低感度画像データは，ディジタル信号処理回路７を通過して，メモリ８に与えられ，一時的に記憶される。高感度画像データおよび低感度画像データは，メモリ８から読み出され，ディジタル信号処理回路７に入力し，所定の傷補正処理が行われる。傷補正処理が行われた高感度画像データおよび低感度画像データは，メモリ８に与えられ，再び記憶される。
【００４６】
高感度画像データおよび低感度画像データは，メモリ８から再び読み出され，ディジタル信号処理回路７に入力する。ディジタル信号処理回路７において，画像合成処理が行われ，合成画像を表す合成画像データが生成れる。この画像合成処理について詳しくは後述する。合成画像データは，表示装置11に与えられ，表示画面上に合成画像が表示される。
【００４７】
表示装置11の表示画面上に最初に表示される合成画像のダイナミック・レンジは，後述するように低感度画像データの緑成分の最大レベルにもとづいて決定される。その後，ユーザが操作装置１に含まれるダイナミック・レンジ調整ボリュウムを操作することにより，ダイナミック・レンジが変更された合成画像が表示装置11の表示画面上に表示される。
【００４８】
プレビュー・レック・モードが設定されている場合に，シャッタ・レリーズ・ボタン（記録指令スイッチ）が押されると，表示装置11の表示画面上に表示されている合成画像を表す画像データがメモリ８から圧縮回路９に与えられ，JPEG（joint photographic experts group）などにもとづくデータ圧縮が行われる。圧縮された合成画像データは，メモリ・カード・インターフェイス10を介してメモリ・カード12に与えられ，記録される。
【００４９】
図３から図６は，この実施例による画像データの合成の仕方を説明するためのグラフである。
【００５０】
この実施例による画像データの合成は，式１にもとづいて行われる。
【００５１】
data＝[high＋MIN(high／th,1)×low]×MAX[lg(high／th)＋1,p]・・・式１
【００５２】
ただし，highは後述するようにガンマ補正後の高感度画像データのレベルを示し，lowは後述するようにガンマ補正後の低感度画像データのレベルを示し，th，lgおよびｐは，合成パラメータを示し，MIN（ａ，ｂ）は，ａまたはｂのうちいずれか小さい方を採用することを示し，MAX（ａ，ｂ）は，ａまたはｂのうちいずれか大きい方を採用することを示している。
【００５３】
図３は，ガンマ補正後の高感度画像データhigh，ガンマ補正後の低感度画像データlowおよび式１の第１項｛high＋MIN（high／th，１）×low｝における相対的被写体輝度と画像データのレベルとの関係を示している。相対的被写体輝度とは，高感度画像データが飽和する時点のレベルを与える被写体輝度を100％としたものである。画像データは，８ビットのものであり，十進数の表現では，画像データは，０から255の間の値となる。
【００５４】
高感度画像データhighは，相対被写体輝度が100％となるまでの間は，相対被写体輝度が高くなるにつれて，そのレベルが徐々に高くなる。相対被写体輝度が100％となると，高感度画像データhighのレベルは，「255」となり飽和する。相対被写体輝度が100％を越えると飽和状態がつづき，高感度画像データのレベルは「255」が維持される。
【００５５】
低感度画像データlowは，副信号電荷にもとづいて得られるものである。上述したようにＣＣＤ５のフォトダイオード20の副受光領域22の受光面積は，主受光領域21の受光面積の１／４である。このために，相対被写体輝度が400％となったときに，低感度画像データlowのレベルは，「63 」となり，飽和する。相対被写体輝度が400％となるまでの間は，相対被写体輝度が高くなるにつれ，低感度画像データlowのレベルは高くなる。
【００５６】
式１の第１項は，高感度画像データhighと低感度画像データlowとの合成（加算）を表している。重み付け係数MIN（high／th，１）が乗じられた低感度画像データlowと高感度画像データhighとが合成される。
【００５７】
図４は，重み付け係数を示すグラフである。
【００５８】
重み付け係数は，高感度画像データhighのレベルに依存する。高感度画像データhighが合成パラメータth（しきい値を示すパラメータである）までの間は，（１／th）highにしたがって徐々に大きくなる。高感度画像データhighが合成パラメータthの値以上となると，重み付け係数は１となる。
【００５９】
図３にもどって，合成パラメータthに対応する相対被写体輝度Ｌthまでは，（high／th）の重み付け係数が乗じられた低感度画像データlowが高感度画像データhighに加算されることにより画像データの合成が行われる。合成パラメータthに対応する相対被写体輝度Ｌthとなると，重み付け係数は１となり，高感度画像データhighと低感度画像データlowとが単純に加算される。
【００６０】
高感度画像データhighと低感度画像データlowとが加算されると，加算された画像データのレベルは「255」を超え，飽和することとなる。このために，式１の第２項によって，加算された画像データのレベルが「255」以下となるように抑圧処理が行われる。
【００６１】
図５は，式１の第２項の高感度画像データhighと合成パラメータｐとの関係を示すグラフである。
【００６２】
高感度画像データhighが合成パラメータthになるまでの間は，抑圧率はlg（high／th）＋１となる。この場合の抑圧率は合成パラメータlgにも依存することとなる。高感度画像データhighが高くなるにつれて，抑圧率は徐々に小さくなる。合成パラメータlgは，式２にもとづいて算出することができる。
【００６３】
lg＝［１−｛Sh／（Sh＋Sl）｝］・・・式２
【００６４】
ただし，Shは，主受光領域の面積を示し，Slは，副受光領域の面積を示している。実際には，Shは主受光領域の飽和量であり，Slは副受光領域の飽和量であるが，主受光領域の面積と副受光領域の面積とをそれぞれの飽和量と見なしている。
【００６５】
合成パラメータlgは，高感度画像データhighが合成パラメータth以上となると，抑圧率はｐ（ｐは，１未満であり，たとえば0.8）となる。
【００６６】
図６は，抑圧後の合成画像データを示している。
【００６７】
図３を参照して説明したように，高感度画像データhighと低感度画像データlowとが加算されると，加算後の画像データのレベルが「255」を超えることがあるために，抑圧処理が行われる。この抑圧処理は，相対被写体輝度がＬthとなるまでは加算後の画像データが（１−lg・high／th）倍される。相対被写体輝度がＬth以上となるとｐ倍される。
【００６８】
上述したダイナミック・レンジ調整ボタンの調整量に応じて，合成パラメータthおよびｐが変わる。合成パラメータthおよびｐが変わることにより，合成画像データのダイナミック・レンジが変わることが理解されよう（後述する図13参照）。たとえば，高感度画像データhighのみで画像を表現する場合のダイナミック・レンジを100％とすると，図６においては，ダイナミック・レンジが400％にまで広げられている。
【００６９】
この実施例においては，プレビュー・レック・モードが設定されたときに表示装置11の表示画面に最初に表示される画像のダイナミック・レンジは，低感度画像データlowにもとづいて決定される。
【００７０】
図７は，低感度画像データlowによって表される低感度画像のメモリ上の配置を示している。図８は，図７の一部を拡大して示している。
【００７１】
低感度画像は図８に示すように，奇数行はＲ（赤）色の成分を示す画素（Ｒで示す）とＢ（青）色の成分を示す画素（Ｂで示す）とが交互に現れ，偶数行はＧ（緑）色の成分を示す画素が現れるように，メモリ（後述するように積算回路内のメモリ）上に画像データが配置される。
【００７２】
一例として，水平方向1416画素垂直方向2128画素の画像26が得られる。この画像26のうち，上下のそれぞれ104画素，両端部のそれぞれの68画素を除いた水平方向1280画素垂直方向1920画素からなる領域27が積算領域として設定される。
【００７３】
積算領域27が，水平方向80画素垂直方向120画素からなるブロックBrに分割される。積算領域27内は，水平方向16個垂直方向16個の合計256個のブロックBrに分割される。
【００７４】
それぞれのブロックBrごとに緑色成分の平均が算出される。算出された平均値のうち，最大値Ｇmaxを用いて初期画像のダイナミック・レンジＤiが算出される。初期画像のダイナミック・レンジＤiは，式３にもとづいて算出される。
【００７５】
Ｄi＝（Ｇmax×400［％］／4095）×1.25［％］・・・式３
【００７６】
式３は，Ｇmaxが低感度画像データlowの最大値4095であったときに，最大のダイナミック・レンジである400％となるように初期画像のダイナミック・レンジＤiが決定されるものである。また，式３において「1.25」が乗じられているのは，後述するように，ホワイト・バランス／ゲイン回路において低感度画像データlowが1.25倍されるのに対して，積算回路における積算処理に使用される低感度画像データlowは1.25倍される前のものが用いられるからである。
【００７７】
図９は，ディジタル信号処理回路７に含まれる画像データ合成回路の電気的構成を示すブロック図である。
【００７８】
式１は，式４のように書き換えることができる。
【００７９】
data＝MAX［-lg(high／th)＋1,p]＋[MAX[-lg(high／th)＋1,p]×MIN(high／th,1)］×low・・・式４
【００８０】
式４において，第１項のMAX[-lg(high／th)＋1,p]をｈgainと置き換え，第２項のMAX[-lg(high／th)＋1,p]×MIN(high／th,1)をｌgainと置き換えると，式４はさらに，式５によって表される。
【００８１】
data＝ｈgain×high＋ｌgain×low・・・式５
【００８２】
図９に示す画像データ合成回路は，式５にしたがって画像合成をするものである。
【００８３】
上述のように，メモリ８に記憶されている高感度画像データ（Ｈ）および低感度画像データ（Ｌ）が読み取られ，画像合成回路に入力する。高感度画像データＨおよび低感度画像データＬは，それぞれオフセット処理回路31および41においてそれぞれオフセット処理が行われる。オフセット処理回路31および41からそれぞれ出力された高感度RAW画像データおよび低感度RAW画像データは，リニア・マトリクス回路32および42においてＣＣＤ５の分光特性を補正する色調補正処理が行われる。また，この実施例においては，高感度RAW画像データおよび低感度RAW画像データをメモリ・カード12に記録することもできる。このためにオフセット処理回路31および41から出力される高感度RAW画像データおよび低感度RAW画像データは，メモリ・カード12にも与えられる。
【００８４】
リニア・マトリクス回路32および42から出力された高感度画像データおよび低感度画像データは，ホワイト・バランス／ゲイン調整回路33および43にそれぞれ与えられ，レベルが1.25倍となるようにゲイン調整処理が行われ，かつ白バランス調整が行われる。ホワイト・バランス／ゲイン調整回路33および43から出力された高感度画像データおよび低感度画像データは，それぞれガンマ補正回路34および44に与えられる。
【００８５】
低感度画像データ用のリニア・マトリクス回路42から出力された低感度画像データは，積算回路51にも与えられる。積算回路51において，上述したように，ブロック分割処理，緑成分の平均値算出処理，緑成分の最大値Ｇmax算出処理等が行われる。算出された緑成分の最大値Ｇmaxを表すデータは，Ｄレンジ算出回路52に与えられる。Ｄレンジ算出回路52において，上述したように初期画像のダイナミック・レンジＤiが算出される。
【００８６】
Ｄレンジ算出回路52には，メモリ（図示略）も内蔵されており，そのメモリ内に図11に示すパラメータ等決定テーブルを示すデータが格納されている。
【００８７】
図11を参照して，ダイナミック・レンジ調整ボリュウムは，上述したようにｖ０からｖ５までの６個の位置に位置決めできる。ボリュウムの位置ｖ０からｖ５に対応して，ダイナミック・レンジＤ０からＤ５，低感度画像データ用のガンマ補正回路44のガンマ係数γ０またはγ１，上述した合成パラメータｐおよびthならびに後述する色差マトリクス回路56における色差補正ゲインＣｒおよびＣｂが決定するようにテーブルに各データが格納されている。
【００８８】
図12は，低感度画像データ用のγ補正回路44に適用されるガンマ補正係数によって表されるガンマ曲線を示している。
【００８９】
後述するように，ダイナミック・レンジが広くされた場合に，ダイナミック・レンジを示す曲線がダイナミック・レンジの割合に応じて均等とならないことが多い。ダイナミック・レンジを示す曲線がダイナミック・レンジの割合に応じて均等になるように，決定されるダイナミック・レンジに応じてガンマ係数が決定される。決定されたダイナミック・レンジが狭いほど隣接するダイナミック・レンジを示す曲線同士が近づくので，急峻の特性を有するガンマ曲線を表すガンマ補正係数γ０が選択される。
【００９０】
上述のように，初期画像のダイナミック・レンジＤiが，テーブルに格納されているダイナミック・レンジＤ０からＤ５のうち対応するものが見つけられる。ダイナミック・レンジＤ０からＤ５のうち対応するダイナミック・レンジにもとづいて，低感度γ，合成パラメータｐおよびthならびに色差補正ゲインＣｒおよびＣｂが見つけられる。見つけられた低感度γを示すデータは，低感度用画像データ用のγ補正回路44に，合成パラメータｐおよびthをそれぞれ示すデータは，ＬＵＴ（ルックアップ・テーブル）35に，色差補正ゲインＣｒおよびＣｂをそれぞれ示すデータは，色差マトリクス回路56にそれぞれ与えられる。また，これらのパラメータ等はメモリ・カードに与えられ，記録される。
【００９１】
高感度画像データ用ガンマ補正回路34から出力された高感度画像データhighは，LUT35および第１の乗算回路36に与えられ，低感度画像データ用ガンマ補正回路44から出力された低感度画像データlowは，第２の乗算回路46に与えられる。
【００９２】
LUT35において，Ｄレンジ算出回路52から与えられた合成パラメータｐおよびthにもとづいて上述した高感度画像データhighの係数ｈgainおよび低感度画像データlowの係数ｌgainが得られる（合成パラメータlgはこの実施例ではたとえば−0.2と固定される）。係数ｈgainは，第１の乗算回路36に，係数ｌgainは，第２の乗算回路46にそれぞれ与えられる。第１の乗算回路36において高感度画像データhighに係数ｈgainが乗じられ（high×ｈgain），第２の乗算回路46において低感度画像データlowに係数ｌgainが乗じられる（low×ｌgain）。
【００９３】
第１の乗算回路36から出力されたデータ（high×ｈgain）および第２の乗算回路46から出力されたデータ（low×ｌgain）が加算されて上述した式５により表され，初期画像のダイナミック・レンジＤiをもつ合成画像データdataが得られる。
【００９４】
合成画像データは，リミッタ54において振幅が制限されてＹ／Ｃ処理回路55において合成輝度データおよび合成色差データが生成される。生成された合成輝度データおよび合成色差データは，色差マトリクス回路56において，Ｄレンジ算出回路52から与えられた色差ゲイン補正ＣｒおよびＣｂに基準のゲインが乗じられて合成色差データが補正される。色差マトリクス回路56においては，ダイナミック・レンジが広がるほど色差ゲイン補正値が大きくなっている。
【００９５】
色差マトリクス回路56から出力された合成輝度データおよび合成色差データがメモリ８に与えられ，一時的に記憶される。合成輝度データおよび合成色差データがメモリ８から読み出され，表示装置11に与えられる。初期画像のダイナミック・レンジＤiをもつ初期画像が表示装置11の表示画面上に表示される。
【００９６】
図10は，表示装置11の表示画面上に表示される初期画像の一例である。
【００９７】
表示装置11の表示画面60には，上述のようにして初期のダイナミック・レンジＤiをもつ合成画像61が表示されている。また，表示画面60の右上には，拡大画像表示領域62が形成されている。この拡大画像表示領域62は，上述した緑成分の最大値Ｇmax（最大値Ｇmaxをもつブロックが符号63で示されている。）近傍の画像の拡大画像を表示する領域である。拡大画像の生成処理は，ＣＰＵ２によって行われるのはいうまでもない。
【００９８】
緑成分の最大値Ｇmax近傍の画像の拡大画像62が表示されるので，合成画像が飽和しているかどうかを比較的簡単に確認できる。
【００９９】
この実施例によるディジタル・スチル・カメラは，上述のようにダイナミック・レンジ調整ボリュウムを用いてユーザの所望のダイナミック・レンジを設定することができる。
【０１００】
操作装置１に含まれているダイナミック・レンジ調整ボリュウムのボリュウム位置を示す信号はＣＰＵ２を介してディジタル信号処理回路７に与えられ，Ｄレンジ算出回路52に入力する。図11に示すように，ダイナミック・レンジ調整ボリュウムの位置に応じてダイナミック・レンジ，低感度γ，合成パラメータｐおよびthならびに色差補正ゲインＣｒおよびＣｂが決定される。
【０１０１】
上述したように，決定した低感度γを表すデータが低感度画像データ用γ補正回路44に与えられ，合成パラメータｐおよびthを表すデータがLUT35に与えられ，色差補正ゲインＣｒおよびＣｂを表すデータが色差マトリクス回路56に与えられる。上述したのと同様に，ダイナミック・レンジ調整ボリュウムの位置に応じたダイナミック・レンジをもつ合成画像が表示装置11の表示画面上に表示されることが理解されよう。
【０１０２】
図13は，合成画像データのレベルを相対的被写体輝度との関係を示している。
【０１０３】
上述のようにダイナミック・レンジ調整ボリュウムの位置ｖ０〜ｖ５に応じて，合成画像データのダイナミック・レンジがＤ０〜Ｄ５（相対的被写体輝度では100%から400%）に変わる
【０１０４】
所望のダイナミック・レンジをもつ合成画像が得られると，ユーザによってシャッタ・レリーズ・ボタンが押される。表示装置11の表示画面上に表示されている合成画像を表す合成画像データがメモリ・カード12に記録されることとなる。
【０１０５】
図14および図15は，ディジタル・スチル・カメラの処理手順を示すフローチャートである。
【０１０６】
プレビュー・レック・スイッチによりプレビュー・レック・モードが設定されると，被写体が撮像され（ステップ71），被写体像を表す高感度画像データおよび低感度画像データ（画像データ合成回路に入力する前のそれぞれの画像データ）がメモリ８に与えられ，一時的に記憶される（ステップ72）。
【０１０７】
ディジタル・スチル・カメラに設定可能なダイナミック・レンジの最大値Ｄmaxが読み取られ（ステップ73）（Dレンジ算出回路52内のメモリに格納されている），上述のように緑成分の最大値Ｇmaxが算出される（ステップ74）。すると，初期のダイナミック・レンジＤiが決定される（ステップ75）。決定されたダイナミック・レンジＤiを与える合成パラメータｐおよびthが決定される（ステップ76）。決定されたパラメータｐおよびthを用いて画像データが合成される（ステップ77）。得られた合成画像データが表示装置11に与えられることにより，上述したように表示装置11の表示画面上に初期のダイナミック・レンジＤiをもつ画像が表示される（ステップ78）。上述したように，最大の緑成分Ｇmaxを表す画像近傍が拡大されて表示されるのはいうまでもない。
【０１０８】
ダイナミック・レンジ調整ボリュウムを用いてダイナミック・レンジの調整が行われずに（ステップ79でＮＯ），シャッタ・レリーズ・ボタンが押されると（ステップ80でＹＥＳ），合成画像データがメモリ・カードに記録される（ステップ81）。
【０１０９】
ユーザによってダイナミック・レンジ調整ボリュウムが操作されると（ステップＹＥＳ），操作位置によって特定されるダイナミック・レンジが設定可能な最大のダイナミック・レンジＤmax超えてしまったかどうかが確認される（ステップ82）。超えていたら（ステップ82でＹＥＳ），最大のダイナミック・レンジＤmaxに制限される（ステップ83）。ダイナミック・レンジ調整ボリュウムの位置に応じて，ダイナミック・レンジ決定処理（ステップ75），合成パラメータｐおよびthの算出処理（ステップ76），画像データ合成処理（ステップ77）が行われ，合成画像が表示される（ステップ78）。シャッタ・レリーズ・ボタンが押されることにより，合成画像データがメモリ・カードに記録される（ステップ81）。
【０１１０】
図16から図20は，他の実施例を示すものである。上述した実施例は，被写体を撮像して得られた合成画像データをメモリ・カードに記録する前に，所望のダイナミック・レンジとなるように調整し，ダイナミック・レンジ調整後の合成画像データをメモリ・カードに記録している。これに対して，次に述べる実施例は，ダイナミック・レンジを調整する前に，高感度画像データおよび低感度画像データをメモリ・カードに記録し，メモリ・カードに記録された高感度画像データおよび低感度画像データを読み出して所望のダイナミック・レンジをもつ合成画像データを生成するものである。
【０１１１】
図16は，メモリ・カードのデータ構造（ファイル構造）を示している。
【０１１２】
メモリ・カードの記録領域には，Exif（exchangeble image file format）記録領域，高感度画像データ用パラメータ記録領域，低感度画像データ用パラメータ記録領域，高感度RAW画像データ記録領域および低感度RAW画像データ記録領域が含まれている。
【０１１３】
Exif記録領域には，ディジタル・スチル・カメラを用いて撮像されたときの撮影情報（シャッタ速度，絞り値，撮影日など）などを表すデータが記録される。
【０１１４】
高感度画像データ用パラメータ記録領域には，上述したように初期画像のダイナミック・レンジＤiを決定するために必要なLMTX値，WBゲイン値，Ｄi，Ｄmax，ハイライト位置情報などのパラメータ等が記録される。LMTX値は，リニア・マトリクス回路32における色調補正を行うために用いられるパラメータである。WBゲイン値は，WB／ゲイン回路33において行われるゲイン調整において用いられるゲイン値を示すものである。Ｄｉは，上述したように初期のダイナミック・レンジである。Ｄmaxは，上述したように設定可能なダイナミック・レンジの最大値である。ハイライト位置情報は，最大値Ｇmaxを与える位置を示す情報である。
【０１１５】
低感度画像データ用パラメータ記録領域にも，高感度画像データ用パラメータ記録領域に記録されているパラメータ等と同様のパラメータが記録されている。
【０１１６】
高感度RAW画像データ記録領域および低感度RAW画像データ記録領域には，それぞれオフセット調整が行われた後の高感度画像データおよび低感度画像データが記録されている。
【０１１７】
図17は，画像合成装置の電気的構成を示すブロック図である。図17において，図９に示す回路と同一の回路については同一の符号を付して説明を省略する。
【０１１８】
画像合成装置の全体の動作は，制御装置97によって統括される。
【０１１９】
画像合成装置には，ＣＤドライブ96が含まれている。CD-ROM（コンパクト・ディスク−リード・オンリ・メモリ）95に，後述する動作を行わせるためのプログラムが格納されており，CD-R0M95に格納されているプログラムがＣＤドライブ96によって読み取られ，制御装置97にインストールされる。
【０１２０】
図16に示すデータ構造をもつメモリ・カード91が画像合成装置に装填され，インターフェイス92に接続される。インターフェイス92によって，メモリ・カード91に記録されている高感度RAW画像データ，低感度RAW画像データおよびパラメータが読み取られる。高感度RAW画像データは第１のリニア・マトリクス回路32に，低感度RAW画像データは第２のリニア・マトリクス回路42に，パラメータ等は，Ｄレンジ算出回路94にそれぞれ与えられる。
【０１２１】
Ｄレンジ算出回路94には，図18に示すパラメータ・テーブルが格納されている。
【０１２２】
バラメータ・テーブルには，上述した合成パラメータｐ，thおよびlg（lgは固定でもよい），副ガンマならびに色差ゲイン補正値がＤレンジ・パラメータに対応して格納されている。また，対応するダイナミック・レンジ（Ｄレンジ）もパラメータ・テーブルに格納されている。
【０１２３】
メモリ・カード91から与えられたパラメータ等のうち，初期のダイナミック・レンジＤiに対応する副ガンマ補正係数，パラメータｐ，thおよびlgならびに色差ゲイン補正値が読み取られる。読み取られた副ガンマ補正係数は，低感度用ガンマ補正回路44に与えられ，読み取られたパラメータｐ，thおよびlgは，LUT35に与えられ，読み取られた色差ゲイン補正値は色差マトリクス回路56に与えられる。読み取られた副ガンマ補正係数にもとづくガンマ補正が低感度画像データに対して行われ，初期のダイナミック・レンジＤiをもつ合成画像データが生成されることが理解されよう。また，色差マトリクス回路56においても初期のダイナミック・レンジＤiに対応した彩度補正処理が実行されることとなる。
【０１２４】
画像合成装置においても合成画像をユーザの所望のダイナミック・レンジをもつように調整することができる。このために，画像合成装置には，設定装置93が設けられている。設定装置93には，キーボード，マウスなどが含まれている。また，画像合成装置には，表示装置（図示略）も含まれており，その表示装置の表示画面上に，図20に示すダイナミック・レンジ設定ウインドウ100が表示される。
【０１２５】
図20を参照して，ダイナミック・レンジ設定ウインドウ100には，ダイナミック・レンジ設定領域101と指令入力領域105とが含まれている。
【０１２６】
ダイナミック・レンジ設定領域101には，Ｄレンジ・パラメータ軸102が形成されている。このＤレンジ・パラメータ軸102には，設定可能なＤレンジ・パラメータが表示されている。図20に示す例では，「０」から「Pi」までのＤレンジ・パラメータが設定可能である。最大のＤレンジ・パラメータは「Pi」であるから，設定可能なダイナミック・レンジは，最大400％となる。設定可能なダイナミック・レンジが変われば，Ｄレンジ・パラメータ軸102の最大値もその設定可能なダイナミック・レンジに対応して変わることとなる。
【０１２７】
Ｄレンジ・パラメータ軸102の下には，スライダ103が軸102に沿って移動自在に表示されている。スライダ103はマウスを用いて移動させることができる。このスライダ103の位置がユーザによって指定されたＤレンジ・パラメータとなる。すなわち，ユーザによってダイナミック・レンジが指定されることとなる。
【０１２８】
Ｄレンジ・パラメータ軸102の右上には，Ｄレンジ・パラメータ入力領域104が形成されている。この入力領域104に，マウスを用いてカーソル（図示略）を合わせて選択状態とすることにより，キーボードを用いてＤレンジ・パラメータ入力することができる。入力可能なＤレンジ・パラメータは最大のＤレンジ・パラメータＤmaxなのはいうまでもない。もっとも，最大のＤレンジ・パラメータＤmax以上のＤレンジ・パラメータを入力可能とし，最大のＤレンジ・パラメータＤmax以上のＤレンジが入力された場合には警告するようにしてもよい。
【０１２９】
指令入力領域105には，ＯＫ領域106，キャンセル領域107およびチェック・ボックス108が含まれている。ＯＫ領域106は，設定されたＤレンジ・パラメータで良いときにユーザによってクリックされる。キャンセル領域107がクリックされることにより，設定されたＤレンジ・パラメータがリセットされる。チェック・ボックス108は，合成画像データをメモリ・カード91に記録する前に，設定されたダイナミック・レンジをもつ合成画像を表示装置の表示画面上に表示する場合にユーザによってチェックされる。設定されたダイナミック・レンジ・レンジをもつ合成画像データをメモリ・カード91に記録する場合には，チェック・ボックス108のチェックが外された後にＯＫ領域106がクリックされる。
【０１３０】
図20に示すダイナミック・レンジ設定ウインドウ100を用いて設定されたＤレンジ・パラメータは，Ｄレンジ算出回路94に与えられ，設定されたＤレンジに対応するダイナミック・レンジをもつ合成画像を表す合成画像データが生成されるのこととなる。
【０１３１】
図21は，画像合成装置の処理手順の一部を示すフローチャートであり，図15に対応するものである。
【０１３２】
上述したように，メモリ・カード91が画像合成装置に装填されると，メモリ・カード91に格納されている高感度RAW画像データ，低感度RAW画像データおよびパラメータ等が読み取られる（ステップ75）。読み取られたパラメータ等に含まれる初期のＤレンジＤiから合成パラメータが決定する（ステップ75，76）。決定した合成パラメータを用い高感度画像データと低感度画像データとから合成画像データが生成される（ステップ77）。その後の処理は，上述したものと同様であり，図20に示したダイナミック・レンジ設定ウインドウ100をＤレンジ・パラメータが設定されると，設定されたＤレンジ・パラメータに対応するダイナミック・レンジをもつ合成画像が得られることとなる。
【０１３３】
上述した実施例においては，ハードウエア回路により構成されているがソフトウエアにより実現するようにしてもよい。
【０１３４】
上述した実施例においては，フォトダイオード20の主受光領域21に蓄積された信号電荷にもとづいて高感度映像信号を得，フォトダイオード20の副受光領域22に蓄積された信号電荷にもとづいて低感度映像信号を得ているが，露出量を変えて同一の被写体を２回撮像することにより高感度映像信号と低感度映像信号とを得るようにしてもよい。
【図面の簡単な説明】
【図１】ＣＣＤの模式図である。
【図２】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図３】相対被写体輝度と画像データとの関係を示している。
【図４】低感度画像データの重み係数を表している。
【図５】合成画像データの抑圧率を表している。
【図６】抑圧された合成画像データと相対被写体輝度との関係を示している。
【図７】メモリ上における画像の様子を示している。
【図８】図７の一部拡大図である。
【図９】画像合成回路の電気的構成を示すブロック図である。
【図１０】表示画面上に表示される画像の一例である。
【図１１】合成パラメータ・テーブルを示している。
【図１２】ガンマ補正曲線を示している。
【図１３】相対被写体輝度と合成画像データとの関係を示している。
【図１４】ディジタル・スチル・カメラの処理手順の一部を示すフローチャートである。
【図１５】ディジタル・スチル・カメラの処理手順の一部を示すフローチャートである。
【図１６】メモリ・カードのデータ構造を示している。
【図１７】画像合成装置の電気的構成を示すブロック図である。
【図１８】合成パラメータ・テーブルを示している。
【図１９】ダイナミック・レンジ設定ウインドウである。
【図２０】画像合成装置の処理手順の一部を示すフローチャートである。
【符号の説明】
１操作装置
２ＣＰＵ
５ＣＣＤ
７ディジタル信号処理回路
８メモリ
10，92 メモリ・カード・インターフェイス
11 表示装置
12，91 メモリ・カード
20 フォトダイオード
21 主受光領域
22 副受光領域
34，44 ガンマ補正回路
35 LUT
36，46 乗算回路
53 加算回路
51 積算回路
52，94 Ｄレンジ算出回路
56 色差マトリクス回路
61 合成画像
62 拡大画像
93 設定装置
95 CD-ROM
97 制御装置
100 ダイナミック・レンジ設定ウインドウ
102 Ｄレンジ・パラメータ軸[0001]
【Technical field】
The present invention relates to an image data composition apparatus and method, and an image data composition program.
[0002]
BACKGROUND OF THE INVENTION
A CCD used for an image sensor of a digital still camera generally has a narrow dynamic range. In order to widen the dynamic range, there is one in which images are taken twice under different exposure conditions, and two types of obtained video signals are added (for example, Patent Document 1).
[0003]
[Patent Document 1]
Japanese Patent Application No. 11-271239
[0004]
When the dynamic range is expanded by such a method, the dynamic range is fixed. Often the dynamic range cannot be changed. When displaying a composite image obtained by expanding the dynamic range, it may be difficult to confirm the composite image.
[0005]
DISCLOSURE OF THE INVENTION
An object of the present invention is to display a composite image obtained by expanding the dynamic range and to enlarge an image near the maximum integrated value of divided areas obtained when a low-sensitivity image is divided. To do.
[0006]
The image data synthesizing apparatus according to the present invention comprises a dynamic range setting means for setting a dynamic range (so as to be in a non-saturated state when synthesized with low-sensitivity image data whose level has been adjusted), First adjusting means for adjusting the level of the high-sensitivity image data given according to the setting by the means () When the high-sensitivity image data level-adjusted by the first adjusting means is combined with the non-saturated state The second adjustment means for adjusting the level of the low-sensitivity image data given according to the setting by the dynamic range setting means, and the high-sensitivity image whose level is adjusted by the first adjustment means The synthesized image data is output by synthesizing the data and the low-sensitivity image data whose level is adjusted by the second adjusting means. Characterized in that it comprises an image data combining means.
[0007]
The present invention also provides a method suitable for the image data synthesizing apparatus. In other words, this method sets the dynamic range (so that it becomes non-saturated when synthesized with low-sensitivity image data that has been level-adjusted), and is given a high range according to the set dynamic range. The level of the sensitivity image data is adjusted (so that it becomes non-saturated when synthesized with the level-adjusted high sensitivity image data), and the level of the low sensitivity image data given according to the set dynamic range The high-sensitivity image data whose level is adjusted and the low-sensitivity image data whose level is adjusted are synthesized to output composite image data.
[0008]
The present invention also provides an image data synthesis program and a recording medium storing the program.
[0009]
According to the present invention, a dynamic range is set. The dynamic range may be set manually by a user using a setting device such as a volume, switch, or button, or may be automatically set based on high-sensitivity image data and low-sensitivity image data.
[0010]
High sensitivity image data and low sensitivity image data are provided. The level of the high-sensitivity image data is adjusted according to the set dynamic range so that the high-sensitivity image data is brought into a non-saturated state when synthesized with the low-sensitivity image data whose level has been adjusted. Similarly, the level of the low-sensitivity image data is adjusted according to the set dynamic range so that the low-sensitivity image data is brought into a non-saturated state when it is combined with the level-adjusted high-sensitivity image data. The high-sensitivity image data whose level has been adjusted and the low-sensitivity image data whose level has been adjusted are combined to obtain combined image data representing a combined image.
[0011]
Composite image data corresponding to the set dynamic range can be obtained. When the high-sensitivity image data and the low-sensitivity image data are combined with each other, the level is adjusted so as to be in a non-saturated state, so that the combined image data can be prevented from being saturated.
[0012]
You may make it further provide the solid-state electronic imaging device which images a to-be-photographed object and outputs the said high sensitivity image data showing a to-be-photographed image, and the said low sensitivity image data. In this case, the first adjustment means is given the high-sensitivity image data output from the solid-state electronic imaging device, and the second adjustment means is the low-sensitivity image data output from the solid-state electronic imaging device. Will be given.
[0013]
First display control means for controlling the display device to display an image represented by the composite image data output from the image data synthesizing means on a display screen, a recording command switch for giving a recording command, and the recording command Recording control means for recording, on the recording medium, composite image data representing an image displayed on the display screen based on the control of the first display control means in response to the recording command given from the switch; You may make it prepare.
[0014]
Since the composite image with the adjusted dynamic range is displayed on the display screen of the display device, the composite image data can be recorded on the recording medium after confirming the displayed composite image.
[0015]
As described above, the dynamic range setting means may be a setting device in which the dynamic range is set by a user, or the dynamic range setting means may be provided with high-sensitivity image data provided and low sensitivity provided. A dynamic range may be set based on at least one of the image data.
[0016]
The dynamic range setting unit includes, for example, a dividing unit that divides a low-sensitivity image represented by given low-sensitivity image data into a plurality of regions, and a low-level image that represents an image in the plurality of regions divided by the dividing unit. Compensation image data is integrated, and a calculation means for calculating a plurality of integrated values is provided. In this case, the dynamic range will be set based on a plurality of integrated values calculated by the calculating means.
[0017]
The dynamic range can be set so that the obtained image is not saturated.
[0018]
Also, second display control means for controlling the display device to display an image represented by the composite image data output from the image data composition means on the display screen, and control of the second display control means An image enlarging means for enlarging an image in the vicinity of the region having the maximum of a plurality of integrated values calculated by the calculating means out of the images displayed on the display screen under the above.
[0019]
Since the image is enlarged, you can check if the image is saturated.
[0020]
Preferably, a recording command switch for giving a recording command and an image displayed on the display screen based on the control of the second display control means in response to the recording command being given from the recording command switch The apparatus further includes recording control means for recording the composite image data on a recording medium.
[0021]
After confirming the composite image displayed on the display screen, the composite image data representing the composite image can be recorded on the recording medium.
[0022]
Color (saturation) correction means for correcting the color (saturation) of the image represented by the composite image data output from the image data composition means based on the dynamic range set by the dynamic range setting means May be further provided.
[0023]
Color (saturation) correction can be performed relatively appropriately according to the dynamic range.
[0024]
You may make it further provide the reading means which reads the said high sensitivity image data and the said low sensitivity image data from the recording medium with which the said high sensitivity image data and the said low sensitivity image data are recorded. In this case, the high-sensitivity image data read from the reading unit will be given to the first adjustment unit, and the low-sensitivity image data read by the reading unit will be given to the second adjustment unit.
[0025]
High-sensitivity image data and low-sensitivity image data recorded on the recording medium can be read, and a dynamic range can be set as described above to generate composite image data.
[0026]
Data indicating the position of the maximum value among the integrated values of the low-sensitivity image data representing each image in a plurality of regions obtained by dividing the low-sensitivity image represented by the low-sensitivity image data is the recording medium May be recorded. In this case, the reading means will also read the position data.
[0027]
And third display control means for controlling the display device so as to display the composite image represented by the composite image data output from the image data composition means on the display screen, and the third display control means Fourth display control means for controlling the display device so as to enlarge and display the vicinity of the position represented by the position data read by the reading means among the composite images displayed under the control. I will prepare.
[0028]
Since the dynamic range is set according to the maximum value, a composite image that does not saturate can be obtained.
[0029]
The dynamic range setting means includes fifth display control means for controlling the display device so as to display a slider for designating a settable dynamic range range and a desired position in the range, and the slider. You may provide the designation | designated means to designate a position. In this case, the dynamic range will be set based on the position of the slider specified by the specifying means.
[0030]
The upper limit of the dynamic range is preferably the maximum value of the dynamic range that can be set by the dynamic range setting means. This is because it is possible to prevent a position that cannot be set from being specified.
[0031]
The dynamic range setting means determines whether the dynamic range set by the parameters input from the input means is outside the settable range, input means for inputting dynamic range setting parameters for setting the dynamic range And a warning means for giving a warning in response to a determination that the determination means is out of a settable range.
[0032]
Gamma correction coefficient determining means for determining a gamma correction coefficient according to the dynamic range set by the dynamic range setting means, high-sensitivity image data whose level is adjusted by the first adjusting means, and the second A gamma correction unit that performs gamma correction on the basis of the gamma correction coefficient determined by the gamma correction coefficient determination unit may be further provided. In this case, the image data synthesizing unit generates synthesized image data using the image data that has been gamma corrected by the gamma correction unit.
[0033]
[Explanation of Examples]
FIG. 1 schematically shows a CCD 5 used in a digital still camera according to an embodiment of the present invention.
[0034]
A number of photodiodes 20 are arranged in the CCD 5 in the horizontal and vertical directions. In the photodiode 20, odd-numbered columns are arranged in odd-numbered rows, and even-numbered columns are arranged in even-numbered rows. Even columns may be arranged in odd rows, and odd columns may be arranged in even rows.
[0035]
The light receiving area of the photodiode 20 is divided into two. One light receiving region 21 is called a main light receiving region, and the other light receiving region 22 is called a sub light receiving region. The photodiode 20 is formed so that the signal charge stored in the main light receiving region 21 and the signal charge stored in the sub light receiving region 22 are not mixed. The ratio between the light receiving area of the main light receiving region 21 and the light receiving area of the sub light receiving region 22 is defined as 4 to 1. Of course, other ratios may be used.
[0036]
On the right side of the photodiode 20, there is provided a vertical transfer path 23 for transferring the signal charge accumulated in the photodiode 20 in the vertical direction. Of the signal charges accumulated in the photodiode 20, the signal charges accumulated in the main light receiving region 21 (referred to as main signal charges) are shifted from the photodiode 20 to the vertical transfer path 22. The main signal charge is given to the horizontal transfer path 24 and transferred in the horizontal direction. The main signal charge is amplified by the amplifier circuit 25 and output from the CCD 5 as a high-sensitivity video signal representing an image for one frame.
[0037]
When the output of the high-sensitivity video signal is completed, the signal charge accumulated in the sub light receiving region 22 of the photodiode 20 (referred to as sub signal charge) is shifted to the vertical transfer path 23. Similar to the main signal charge, the sub signal charge is transferred in the vertical direction in the vertical transfer path 23 and applied to the horizontal transfer path 24. The sub-signal charge is transferred in the horizontal direction in the horizontal transfer path 24 and is output from the CCD 5 as a low-sensitivity video signal via the amplifier circuit 25.
[0038]
Since the light receiving area of the main light receiving region 21 is four times the light receiving area of the sub light receiving region 22, the level of the high sensitivity video signal is four times the level of the low sensitivity video signal when the same subject is imaged.
[0039]
FIG. 2 is a block diagram showing an electrical configuration of the digital still camera.
[0040]
The entire operation of the digital still camera is controlled by the CPU 2.
[0041]
The digital still camera includes an operation device 1. The operation device 1 includes various buttons such as a shutter release button, a dynamic range adjustment volume, and a preview recording button. An output signal from the controller device 1 is input to the CPU 2. The dynamic range adjustment volume can be set in six steps, and six types of dynamic ranges can be specified. Of course, it goes without saying that more types of designations may be made.
[0042]
The digital still camera includes a strobe light emitting device 3 for irradiating a subject with strobe light.
[0043]
The digital still camera includes a timing generator 4 for generating various clock pulses and the like. Clock pulses and the like output from the timing generator 4 are applied to the CCD 5 and the analog signal processing circuit 6.
[0044]
When the preview REC mode is set by the preview REC button, the image data is temporarily stored in the memory 8 before the image data is recorded on the memory card 12 as described below. An image represented by the image data stored in the memory 8 is displayed on the display screen of the display device 11. While viewing the displayed image, the dynamic range of the image displayed on the display screen is adjusted using the dynamic range adjustment volume. Thereafter, when the shutter release button is pressed, the image data temporarily stored in the memory 8 is recorded in the memory card 12.
[0045]
When the preview REC mode is set, the subject is imaged by the CCD 5, and the high-sensitivity video signal and the low-sensitivity video signal representing the subject image are sequentially output as described above. The high-sensitivity video signal and the low-sensitivity video signal are sequentially input to the analog signal processing circuit 6 and subjected to correlated double sampling processing and analog / digital conversion processing, whereby high-sensitivity image data and low-sensitivity image data are obtained. The high-sensitivity image data and the low-sensitivity image data pass through the digital signal processing circuit 7 and are given to the memory 8 to be temporarily stored. The high-sensitivity image data and the low-sensitivity image data are read from the memory 8 and input to the digital signal processing circuit 7 to perform a predetermined flaw correction process. The high-sensitivity image data and the low-sensitivity image data that have been subjected to the scratch correction processing are given to the memory 8 and stored again.
[0046]
High-sensitivity image data and low-sensitivity image data are read again from the memory 8 and input to the digital signal processing circuit 7. In the digital signal processing circuit 7, image composition processing is performed, and composite image data representing a composite image is generated. Details of this image composition processing will be described later. The composite image data is given to the display device 11, and the composite image is displayed on the display screen.
[0047]
The dynamic range of the composite image that is initially displayed on the display screen of the display device 11 is determined based on the maximum level of the green component of the low-sensitivity image data, as will be described later. Thereafter, when the user operates the dynamic range adjustment volume included in the operation device 1, the composite image with the changed dynamic range is displayed on the display screen of the display device 11.
[0048]
When the preview recording mode is set, when the shutter release button (recording command switch) is pressed, image data representing the composite image displayed on the display screen of the display device 11 is read from the memory 8. Data compression based on JPEG (joint photographic experts group) or the like is given to the compression circuit 9. The compressed composite image data is given to the memory card 12 via the memory card interface 10 and recorded.
[0049]
3 to 6 are graphs for explaining how to synthesize image data according to this embodiment.
[0050]
The synthesis of the image data according to this embodiment is performed based on Equation 1.
[0051]
data = [high + MIN (high / th, 1) × low] × MAX [lg (high / th) + 1, p] ・・・ Equation 1
[0052]
However, high indicates the level of high-sensitivity image data after gamma correction as described later, low indicates the level of low-sensitivity image data after gamma correction as described later, and th, lg, and p indicate synthesis parameters. MIN (a, b) indicates that the smaller of a or b is adopted, and MAX (a, b) indicates that the larger of a or b is adopted. Yes.
[0053]
FIG. 3 shows the relative object brightness and image data in the high-sensitivity image data high after gamma correction, the low-sensitivity image data low after gamma correction, and the first term {high + MIN (high / th, 1) × low} of Equation 1. The relationship with the level. Relative subject brightness is defined as 100% subject brightness that provides a level at which high-sensitivity image data is saturated. The image data is of 8 bits, and the image data takes a value between 0 and 255 in decimal notation.
[0054]
The high-sensitivity image data high gradually increases as the relative subject brightness increases until the relative subject brightness reaches 100%. When the relative subject brightness reaches 100%, the level of the high-sensitivity image data high becomes “255” and is saturated. When the relative subject brightness exceeds 100%, saturation continues, and the level of high-sensitivity image data is maintained at “255”.
[0055]
The low sensitivity image data low is obtained based on the sub-signal charge. As described above, the light receiving area of the sub light receiving region 22 of the photodiode 20 of the CCD 5 is ¼ of the light receiving area of the main light receiving region 21. For this reason, when the relative subject brightness reaches 400%, the level of the low-sensitivity image data low becomes “63” and is saturated. Until the relative subject brightness reaches 400%, the level of the low-sensitivity image data low increases as the relative subject brightness increases.
[0056]
The first term of Equation 1 represents the synthesis (addition) of the high sensitivity image data high and the low sensitivity image data low. The low sensitivity image data low multiplied by the weighting coefficient MIN (high / th, 1) and the high sensitivity image data high are combined.
[0057]
FIG. 4 is a graph showing weighting coefficients.
[0058]
The weighting coefficient depends on the level of the high sensitivity image data high. Until the high-sensitivity image data high reaches the synthesis parameter th (which is a parameter indicating a threshold value), it gradually increases according to (1 / th) high. When the high-sensitivity image data high is equal to or greater than the value of the synthesis parameter th, the weighting coefficient is 1.
[0059]
Returning to FIG. 3, up to the relative subject brightness Lth corresponding to the synthesis parameter th, the low-sensitivity image data low multiplied by the (high / th) weighting coefficient is added to the high-sensitivity image data high. Is synthesized. When the relative subject luminance Lth corresponding to the synthesis parameter th is reached, the weighting coefficient is 1, and the high-sensitivity image data high and the low-sensitivity image data low are simply added.
[0060]
When the high-sensitivity image data high and the low-sensitivity image data low are added, the level of the added image data exceeds “255” and is saturated. For this reason, suppression processing is performed according to the second term of Equation 1 so that the level of the added image data is “255” or less.
[0061]
FIG. 5 is a graph showing the relationship between the high-sensitivity image data high in the second term of Equation 1 and the synthesis parameter p.
[0062]
The suppression rate is lg (high / th) +1 until the high-sensitivity image data high becomes the synthesis parameter th. The suppression rate in this case also depends on the synthesis parameter lg. As the high-sensitivity image data high increases, the suppression rate gradually decreases. The synthesis parameter lg can be calculated based on Equation 2.
[0063]
lg = [1− {Sh / (Sh + Sl)}] Equation 2
[0064]
Here, Sh represents the area of the main light receiving region, and Sl represents the area of the sub light receiving region. Actually, Sh is the saturation amount of the main light receiving region, and Sl is the saturation amount of the sub light receiving region, but the area of the main light receiving region and the area of the sub light receiving region are regarded as the respective saturation amounts.
[0065]
When the high-sensitivity image data high is equal to or higher than the synthesis parameter th, the suppression parameter p is p (p is less than 1, for example, 0.8).
[0066]
FIG. 6 shows the composite image data after suppression.
[0067]
As described with reference to FIG. 3, when the high-sensitivity image data high and the low-sensitivity image data low are added, the level of the image data after the addition may exceed “255”. Is done. In this suppression processing, the image data after the addition is multiplied by (1−lg · high / th) until the relative subject luminance becomes Lth. When the relative subject luminance is equal to or greater than Lth, the value is multiplied by p.
[0068]
The synthesis parameters th and p change according to the adjustment amount of the dynamic range adjustment button described above. It will be understood that the dynamic range of the composite image data changes as the composite parameters th and p change (see FIG. 13 described later). For example, assuming that the dynamic range when an image is expressed only with the high-sensitivity image data high is 100%, in FIG. 6, the dynamic range is expanded to 400%.
[0069]
In this embodiment, the dynamic range of the image initially displayed on the display screen of the display device 11 when the preview REC mode is set is determined based on the low sensitivity image data low.
[0070]
FIG. 7 shows the arrangement of the low-sensitivity image represented by the low-sensitivity image data low on the memory. FIG. 8 shows an enlarged part of FIG.
[0071]
In the low-sensitivity image, as shown in FIG. 8, pixels (indicated by R) indicating R (red) color components and pixels (indicated by B) indicating B (blue) color components appear alternately in odd rows. , Image data is arranged on a memory (a memory in an integration circuit as will be described later) so that pixels indicating G (green) color components appear in even rows.
[0072]
As an example, an image 26 of 1416 pixels in the horizontal direction and 2128 pixels in the vertical direction is obtained. In this image 26, an area 27 composed of 1280 pixels in the horizontal direction and 1920 pixels in the vertical direction, excluding the upper and lower 104 pixels and the 68 pixels at both ends, is set as the integration area.
[0073]
The integration area 27 is divided into blocks Br consisting of 80 pixels in the horizontal direction and 120 pixels in the vertical direction. The integration area 27 is divided into a total of 256 blocks Br, 16 in the horizontal direction and 16 in the vertical direction.
[0074]
The average of the green component is calculated for each block Br. Of the calculated average values, the dynamic range Di of the initial image is calculated using the maximum value Gmax. The dynamic range Di of the initial image is calculated based on Equation 3.
[0075]
Di = (Gmax × 400 [%] / 4095) × 1.25 [%] Equation 3
[0076]
Equation 3 determines the dynamic range Di of the initial image so that the maximum dynamic range is 400% when Gmax is the maximum value 4095 of the low-sensitivity image data low. In addition, “1.25” is multiplied in Expression 3 because, as will be described later, the low-sensitivity image data low is multiplied by 1.25 in the white balance / gain circuit, whereas it is used for the integration processing in the integration circuit. This is because the low-sensitivity image data “low” to be used is the one before 1.25 times.
[0077]
FIG. 9 is a block diagram showing an electrical configuration of an image data synthesis circuit included in the digital signal processing circuit 7.
[0078]
Equation 1 can be rewritten as Equation 4.
[0079]
data = MAX [-lg (high / th) + 1, p] + [MAX [-lg (high / th) + 1, p] × MIN (high / th, 1)] × low (4)
[0080]
In Equation 4, MAX [-lg (high / th) + 1, p] in the first term is replaced with hgain, and MAX [-lg (high / th) + 1, p] × MIN (high / th, When 1) is replaced with lgain, Equation 4 is further expressed by Equation 5.
[0081]
data = hgain × high + lgain × low ... Formula 5
[0082]
The image data composition circuit shown in FIG. 9 performs image composition according to Equation 5.
[0083]
As described above, the high sensitivity image data (H) and the low sensitivity image data (L) stored in the memory 8 are read and input to the image composition circuit. The high-sensitivity image data H and the low-sensitivity image data L are subjected to offset processing in offset processing circuits 31 and 41, respectively. The high-sensitivity RAW image data and low-sensitivity RAW image data output from the offset processing circuits 31 and 41 are subjected to color tone correction processing for correcting the spectral characteristics of the CCD 5 in the linear matrix circuits 32 and 42, respectively. In this embodiment, high-sensitivity RAW image data and low-sensitivity RAW image data can also be recorded on the memory card 12. Therefore, the high sensitivity RAW image data and the low sensitivity RAW image data output from the offset processing circuits 31 and 41 are also supplied to the memory card 12.
[0084]
The high-sensitivity image data and low-sensitivity image data output from the linear matrix circuits 32 and 42 are given to the white balance / gain adjustment circuits 33 and 43, respectively, and gain adjustment processing is performed so that the level becomes 1.25 times. The white balance is adjusted. The high-sensitivity image data and low-sensitivity image data output from the white balance / gain adjustment circuits 33 and 43 are supplied to the gamma correction circuits 34 and 44, respectively.
[0085]
The low-sensitivity image data output from the linear matrix circuit 42 for low-sensitivity image data is also given to the integrating circuit 51. In the integrating circuit 51, as described above, block division processing, green component average value calculation processing, green component maximum value Gmax calculation processing, and the like are performed. Data representing the calculated maximum value Gmax of the green component is given to the D range calculation circuit 52. The D range calculation circuit 52 calculates the dynamic range Di of the initial image as described above.
[0086]
The D range calculation circuit 52 also includes a memory (not shown), in which data indicating a parameter determination table shown in FIG. 11 is stored.
[0087]
Referring to FIG. 11, the dynamic range adjustment volume can be positioned at six positions from v0 to v5 as described above. Corresponding to the volume positions v0 to v5, the dynamic ranges D0 to D5, the gamma coefficient γ0 or γ1 of the gamma correction circuit 44 for low-sensitivity image data, and the above-described synthesis parameters p and th and the color difference matrix circuit 56 described later Each data is stored in a table so that the color difference correction gains Cr and Cb are determined.
[0088]
FIG. 12 shows a gamma curve represented by a gamma correction coefficient applied to the γ correction circuit 44 for low-sensitivity image data.
[0089]
As will be described later, when the dynamic range is widened, the curve indicating the dynamic range is often not uniform according to the proportion of the dynamic range. The gamma coefficient is determined according to the determined dynamic range so that the curve indicating the dynamic range is uniform according to the proportion of the dynamic range. As the determined dynamic range is narrower, the curves indicating the adjacent dynamic ranges are closer to each other. Therefore, a gamma correction coefficient γ0 representing a gamma curve having a steep characteristic is selected.
[0090]
As described above, the dynamic range Di of the initial image is found corresponding to the dynamic range D0 to D5 stored in the table. Based on the corresponding dynamic range among the dynamic ranges D0 to D5, the low sensitivity γ, the synthesis parameters p and th, and the color difference correction gains Cr and Cb are found. The found data indicating the low sensitivity γ is supplied to the γ correction circuit 44 for the low sensitivity image data, and the data indicating the synthesis parameters p and th are supplied to the LUT (look-up table) 35, the color difference correction gain Cr and Data indicating Cb is supplied to the color difference matrix circuit 56, respectively. These parameters are given to the memory card and recorded.
[0091]
The high-sensitivity image data high output from the high-sensitivity image data gamma correction circuit 34 is provided to the LUT 35 and the first multiplication circuit 36, and the low-sensitivity image data low output from the low-sensitivity image data gamma correction circuit 44. Is supplied to the second multiplication circuit 46.
[0092]
In the LUT 35, the coefficient hgain of the high-sensitivity image data high and the coefficient lgain of the low-sensitivity image data low described above are obtained based on the synthesis parameters p and th given from the D-range calculation circuit 52 (the synthesis parameter lg is used in this embodiment). Then, for example, -0.2 is fixed). The coefficient hgain is given to the first multiplier circuit 36, and the coefficient lgain is given to the second multiplier circuit 46, respectively. In the first multiplication circuit 36, the high-sensitivity image data high is multiplied by a coefficient hgain (high × hgain), and in the second multiplication circuit 46, the low-sensitivity image data low is multiplied by a coefficient lgain (low × lgain).
[0093]
The data (high × hgain) output from the first multiplication circuit 36 and the data (low × lgain) output from the second multiplication circuit 46 are added and expressed by the above-described equation 5, and the dynamic Composite image data data having a range Di is obtained.
[0094]
The amplitude of the synthesized image data is limited by the limiter 54, and synthesized luminance data and synthesized color difference data are generated by the Y / C processing circuit 55. The generated synthesized luminance data and synthesized chrominance data are corrected in the chrominance matrix circuit 56 by multiplying the chrominance gain corrections Cr and Cb given from the D-range calculation circuit 52 by the reference gain. In the color difference matrix circuit 56, the color difference gain correction value increases as the dynamic range increases.
[0095]
The combined luminance data and the combined color difference data output from the color difference matrix circuit 56 are given to the memory 8 and temporarily stored. The combined luminance data and the combined color difference data are read from the memory 8 and given to the display device 11. An initial image having the dynamic range Di of the initial image is displayed on the display screen of the display device 11.
[0096]
FIG. 10 is an example of an initial image displayed on the display screen of the display device 11.
[0097]
On the display screen 60 of the display device 11, the composite image 61 having the initial dynamic range Di is displayed as described above. Further, an enlarged image display area 62 is formed at the upper right of the display screen 60. This enlarged image display area 62 is an area for displaying an enlarged image of an image in the vicinity of the maximum value Gmax of the green component described above (a block having the maximum value Gmax is indicated by reference numeral 63). It goes without saying that the enlarged image generation process is performed by the CPU 2.
[0098]
Since the enlarged image 62 of the image near the maximum value Gmax of the green component is displayed, it can be relatively easily confirmed whether or not the composite image is saturated.
[0099]
The digital still camera according to this embodiment can set a user's desired dynamic range using the dynamic range adjustment volume as described above.
[0100]
A signal indicating the volume position of the dynamic range adjustment volume included in the controller 1 is given to the digital signal processing circuit 7 via the CPU 2 and input to the D range calculation circuit 52. As shown in FIG. 11, the dynamic range, low sensitivity γ, synthesis parameters p and th, and color difference correction gains Cr and Cb are determined according to the position of the dynamic range adjustment volume.
[0101]
As described above, the data representing the determined low sensitivity γ is given to the γ correction circuit 44 for low sensitivity image data, the data representing the synthesis parameters p and th is given to the LUT 35, and the data representing the color difference correction gains Cr and Cb. Is supplied to the color difference matrix circuit 56. As described above, it will be understood that a composite image having a dynamic range corresponding to the position of the dynamic range adjustment volume is displayed on the display screen of the display device 11.
[0102]
FIG. 13 shows the relationship between the level of the composite image data and the relative subject brightness.
[0103]
As described above, the dynamic range of the composite image data changes from D0 to D5 (100% to 400% in relative subject brightness) according to the position v0 to v5 of the dynamic range adjustment volume.
[0104]
When a composite image having a desired dynamic range is obtained, the user releases the shutter release button. The composite image data representing the composite image displayed on the display screen of the display device 11 is recorded in the memory card 12.
[0105]
14 and 15 are flowcharts showing the processing procedure of the digital still camera.
[0106]
When the preview REC mode is set by the preview REC switch, the subject is imaged (step 71), and high-sensitivity image data and low-sensitivity image data representing the subject image (before being input to the image data synthesis circuit) Are provided to the memory 8 and temporarily stored (step 72).
[0107]
The maximum value Dmax of the dynamic range that can be set in the digital still camera is read (step 73) (stored in the memory in the D range calculation circuit 52), and the maximum value Gmax of the green component is calculated as described above. Calculated (step 74). Then, the initial dynamic range Di is determined (step 75). The synthesis parameters p and th giving the determined dynamic range Di are determined (step 76). Image data is synthesized using the determined parameters p and th (step 77). By providing the obtained composite image data to the display device 11, an image having an initial dynamic range Di is displayed on the display screen of the display device 11 as described above (step 78). As described above, it goes without saying that the vicinity of the image representing the maximum green component Gmax is enlarged and displayed.
[0108]
If the dynamic range is not adjusted using the dynamic range adjustment volume (NO in step 79), and the shutter release button is pressed (YES in step 80), the composite image data is recorded on the memory card. (Step 81).
[0109]
When the dynamic range adjustment volume is operated by the user (step YES), it is confirmed whether or not the dynamic range specified by the operation position has exceeded the maximum settable dynamic range Dmax (step 82). If exceeded (YES in step 82), the maximum dynamic range Dmax is limited (step 83). Depending on the position of the dynamic range adjustment volume, dynamic range determination processing (step 75), calculation processing of synthesis parameters p and th (step 76), and image data synthesis processing (step 77) are performed, and a composite image is displayed. (Step 78). By pressing the shutter release button, the composite image data is recorded on the memory card (step 81).
[0110]
16 to 20 show another embodiment. In the embodiment described above, the composite image data obtained by imaging the subject is adjusted to have a desired dynamic range before being recorded on the memory card, and the composite image data after the dynamic range adjustment is stored in the memory.・ It is recorded on the card. On the other hand, in the embodiment described below, high-sensitivity image data and low-sensitivity image data are recorded on a memory card before adjusting the dynamic range, and high-sensitivity image data recorded on the memory card and The low-sensitivity image data is read to generate composite image data having a desired dynamic range.
[0111]
FIG. 16 shows the data structure (file structure) of the memory card.
[0112]
The memory card recording area includes Exif (exchangeble image file format) recording area, high-sensitivity image data parameter recording area, low-sensitivity image data parameter recording area, high-sensitivity RAW image data recording area, and low-sensitivity RAW image data. A recording area is included.
[0113]
In the Exif recording area, data representing shooting information (shutter speed, aperture value, shooting date, etc.) when the image is taken using a digital still camera is recorded.
[0114]
In the parameter recording area for high-sensitivity image data, parameters such as the LMTX value, WB gain value, Di, Dmax, highlight position information necessary for determining the dynamic range Di of the initial image are recorded as described above. Is done. The LMTX value is a parameter used to perform color tone correction in the linear matrix circuit 32. The WB gain value indicates a gain value used in gain adjustment performed in the WB / gain circuit 33. Di is the initial dynamic range as described above. Dmax is the maximum value of the dynamic range that can be set as described above. The highlight position information is information indicating a position that gives the maximum value Gmax.
[0115]
The same parameters as those recorded in the high sensitivity image data parameter recording area are also recorded in the low sensitivity image data parameter recording area.
[0116]
High sensitivity image data and low sensitivity image data after offset adjustment are recorded in the high sensitivity RAW image data recording area and the low sensitivity RAW image data recording area, respectively.
[0117]
FIG. 17 is a block diagram showing an electrical configuration of the image composition apparatus. In FIG. 17, the same circuits as those shown in FIG. 9 are denoted by the same reference numerals and description thereof is omitted.
[0118]
The overall operation of the image composition device is controlled by the control device 97.
[0119]
The image composition device includes a CD drive 96. A CD-ROM (compact disk-read only memory) 95 stores a program for performing the operations described later, and the program stored in the CD-R0M95 is read by the CD drive 96 and controlled. Installed in device 97.
[0120]
A memory card 91 having the data structure shown in FIG. 16 is loaded into the image composition device and connected to the interface 92. The interface 92 reads high-sensitivity RAW image data, low-sensitivity RAW image data and parameters recorded on the memory card 91. The high-sensitivity RAW image data is supplied to the first linear matrix circuit 32, the low-sensitivity RAW image data is supplied to the second linear matrix circuit 42, and parameters are supplied to the D range calculation circuit 94.
[0121]
The D range calculation circuit 94 stores a parameter table shown in FIG.
[0122]
In the parameter table, the above-described synthesis parameters p, th and lg (lg may be fixed), sub-gamma, and color difference gain correction value are stored corresponding to the D range parameter. The corresponding dynamic range (D range) is also stored in the parameter table.
[0123]
Of the parameters given from the memory card 91, the sub-gamma correction coefficient corresponding to the initial dynamic range Di, the parameters p, th and lg, and the color difference gain correction value are read. The read sub-gamma correction coefficient is given to the low sensitivity gamma correction circuit 44, the read parameters p, th and lg are given to the LUT 35, and the read color difference gain correction value is given to the color difference matrix circuit 56. It is done. It will be understood that gamma correction based on the read sub-gamma correction coefficient is performed on the low-sensitivity image data to generate composite image data having an initial dynamic range Di. In the color difference matrix circuit 56, saturation correction processing corresponding to the initial dynamic range Di is executed.
[0124]
In the image synthesizing apparatus, the synthesized image can be adjusted to have the dynamic range desired by the user. Therefore, a setting device 93 is provided in the image composition device. The setting device 93 includes a keyboard and a mouse. The image composition device also includes a display device (not shown), and a dynamic range setting window 100 shown in FIG. 20 is displayed on the display screen of the display device.
[0125]
Referring to FIG. 20, dynamic range setting window 100 includes a dynamic range setting area 101 and a command input area 105.
[0126]
A D range parameter axis 102 is formed in the dynamic range setting area 101. The D range / parameter axis 102 displays settable D range / parameters. In the example shown in FIG. 20, D range parameters from “0” to “Pi” can be set. Since the maximum D range parameter is “Pi”, the maximum dynamic range that can be set is 400%. If the settable dynamic range changes, the maximum value of the D range parameter axis 102 also changes corresponding to the settable dynamic range.
[0127]
A slider 103 is displayed below the D range / parameter axis 102 so as to be movable along the axis 102. The slider 103 can be moved using a mouse. The position of the slider 103 becomes the D range parameter designated by the user. That is, the dynamic range is designated by the user.
[0128]
A D range / parameter input area 104 is formed at the upper right of the D range / parameter axis 102. By placing a cursor (not shown) in this input area 104 with a mouse (not shown) and selecting it, it is possible to input D range parameters using a keyboard. It goes without saying that the D range parameter that can be input is the maximum D range parameter Dmax. However, a D range parameter greater than the maximum D range parameter Dmax can be input, and a warning may be issued when a D range greater than the maximum D range parameter Dmax is input.
[0129]
The command input area 105 includes an OK area 106, a cancel area 107, and a check box 108. The OK area 106 is clicked by the user when the set D range parameter is acceptable. When the cancel area 107 is clicked, the set D range parameter is reset. The check box 108 is checked by the user when displaying a composite image having a set dynamic range on the display screen of the display device before recording the composite image data on the memory card 91. When recording the composite image data having the set dynamic range range on the memory card 91, the OK area 106 is clicked after the check box 108 is unchecked.
[0130]
The D range parameter set using the dynamic range setting window 100 shown in FIG. 20 is given to the D range calculation circuit 94, and a composite image representing a composite image having a dynamic range corresponding to the set D range. Data will be generated.
[0131]
FIG. 21 is a flowchart showing a part of the processing procedure of the image composition device, and corresponds to FIG.
[0132]
As described above, when the memory card 91 is loaded into the image synthesizer, the high-sensitivity RAW image data, low-sensitivity RAW image data and parameters stored in the memory card 91 are read (step 75). A synthesis parameter is determined from the initial D range Di included in the read parameters and the like (steps 75 and 76). Composite image data is generated from the high-sensitivity image data and the low-sensitivity image data using the determined composite parameter (step 77). The subsequent processing is the same as described above. When the D range parameter is set in the dynamic range setting window 100 shown in FIG. 20, the dynamic range corresponding to the set D range parameter is obtained. A composite image is obtained.
[0133]
In the above-described embodiment, it is configured by a hardware circuit, but may be realized by software.
[0134]
In the above-described embodiment, a high-sensitivity video signal is obtained based on the signal charge accumulated in the main light receiving region 21 of the photodiode 20, and the low sensitivity is obtained based on the signal charge accumulated in the sub light receiving region 22 of the photodiode 20. Although a video signal is obtained, a high-sensitivity video signal and a low-sensitivity video signal may be obtained by imaging the same subject twice with different exposure amounts.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a CCD.
FIG. 2 is a block diagram showing an electrical configuration of a digital still camera.
FIG. 3 shows a relationship between relative subject luminance and image data.
FIG. 4 shows a weighting coefficient of low sensitivity image data.
FIG. 5 shows a suppression rate of composite image data.
FIG. 6 shows a relationship between suppressed composite image data and relative subject brightness.
FIG. 7 shows a state of an image on a memory.
FIG. 8 is a partially enlarged view of FIG. 7;
FIG. 9 is a block diagram illustrating an electrical configuration of an image synthesis circuit.
FIG. 10 is an example of an image displayed on the display screen.
FIG. 11 shows a synthesis parameter table.
FIG. 12 shows a gamma correction curve.
FIG. 13 shows a relationship between relative subject luminance and composite image data.
FIG. 14 is a flowchart showing a part of the processing procedure of the digital still camera.
FIG. 15 is a flowchart showing a part of the processing procedure of the digital still camera.
FIG. 16 shows a data structure of a memory card.
FIG. 17 is a block diagram illustrating an electrical configuration of the image composition apparatus.
FIG. 18 shows a synthesis parameter table.
FIG. 19 is a dynamic range setting window.
FIG. 20 is a flowchart illustrating a part of the processing procedure of the image composition apparatus.
[Explanation of symbols]
1 Operation device
2 CPU
5 CCD
7 Digital signal processing circuit
8 memory
10,92 memory card interface
11 Display device
12, 91 memory card
20 photodiode
21 Main light receiving area
22 Sub-light-receiving area
34, 44 Gamma correction circuit
35 LUT
36, 46 Multiplier circuit
53 Adder circuit
51 Integration circuit
52,94 D range calculation circuit
56 Color difference matrix circuit
61 Composite image
62 Enlarged image
93 Setting device
95 CD-ROM
97 Control unit
100 Dynamic range setting window
102 D range / parameter axis

Claims

Dynamic range setting means for setting the dynamic range,
First adjusting means for adjusting the level of the high-sensitivity image data given in accordance with the setting by the dynamic range setting means;
Second adjustment means for adjusting the level of the low-sensitivity image data applied according to the setting by the dynamic range setting means; high-sensitivity image data whose level is adjusted by the first adjustment means; Image data synthesizing means for synthesizing the low-sensitivity image data whose level is adjusted by the adjusting means and outputting synthesized image data;
The dynamic range setting means is
Dividing means for dividing the low-sensitivity image represented by the given low-sensitivity image data into a plurality of areas, and low-sensitivity image data representing images in the plurality of areas divided by the dividing means, A calculating means for calculating the integrated value;
A dynamic range is set based on a plurality of integrated values calculated by the calculating means.
First display control means for controlling the display device so as to display an image represented by the composite image data output from the image data composition means on a display screen, and control of the first display control means. Image enlarging means for enlarging an image in the vicinity of the region having the maximum of the plurality of integrated values calculated by the calculating means among the images displayed on the display screen;
An image data synthesizing apparatus further comprising:

A solid-state electronic imaging device that images the subject and outputs the high-sensitivity image data representing the subject image and the low-sensitivity image data;
The first adjusting means is provided with the high-sensitivity image data output from the solid-state electronic imaging device;
The second adjusting means is provided with the low-sensitivity image data output from the solid-state electronic imaging device;
The image data synthesizing device according to claim 1.

Second display control means for controlling the display device to display an image represented by the composite image data output from the image data composition means on a display screen;
A recording command switch for giving a recording command, and a composite image representing an image displayed on the display screen under the control of the second display control means in response to the recording command being given from the recording command switch Recording control means for recording data on a recording medium;
The image data synthesis device according to claim 1, further comprising:

2. The image data synthesizing apparatus according to claim 1, wherein the dynamic range setting means is a setter for setting a dynamic range by a user.

2. The image data synthesizing apparatus according to claim 1, wherein the dynamic range setting means sets a dynamic range based on at least one of given high-sensitivity image data and given low-sensitivity image data.

A record command switch for giving a record command, and composite image data representing an image displayed on the display screen under the control of the first display control means in response to the record command being given from the record command switch Recording control means for recording on a recording medium,
The image data synthesis device according to claim 1, further comprising:

The color correction means for correcting the color of the image represented by the combined image data output from the image data combining means based on the dynamic range set by the dynamic range setting means. The image data synthesis device described.

A reading means for reading the high-sensitivity image data and the low-sensitivity image data from a recording medium on which the high-sensitivity image data and the low-sensitivity image data are recorded;
High-sensitivity image data read from the reading means is given to the first adjustment means, and the low-sensitivity image data read by the reading means is given to the second adjustment means.
The image data synthesizing device according to claim 1.

Data indicating the position of the maximum value among the integrated values of the low-sensitivity image data representing the respective images in a plurality of regions obtained by dividing the low-sensitivity image represented by the low-sensitivity image data is the recording medium Recorded in
The reading means is also for reading the position data,
Third display control means for controlling the display device to display a composite image represented by the composite image data output from the image data composition means on a display screen, and control of the third display control means Fourth display control means for controlling the display device so as to enlarge and display the vicinity of the position represented by the position data read by the reading means among the originally displayed composite image;
The image data synthesis device according to claim 8, further comprising:

Gamma correction coefficient determining means for determining a gamma correction coefficient corresponding to the dynamic range set by the dynamic range setting means, high-sensitivity image data whose level is adjusted by the first adjusting means, and the second Gamma correction means for gamma-correcting at least one of the low-sensitivity image data whose level is adjusted by the adjustment means based on the gamma correction coefficient determined by the gamma correction coefficient determination means,
The image data composition means
The composite image data is generated using the image data that has been gamma corrected by the gamma correction means.
The image data synthesizing device according to claim 1.

Set the dynamic range,
According to the set dynamic range, adjust the level of given high-sensitivity image data and given low-sensitivity image data,
Combining high-sensitivity image data with adjusted level and low-sensitivity image data with adjusted level, and outputting composite image data
The above dynamic range setting is
The low-sensitivity image represented by the given low-sensitivity image data is divided into multiple regions,
Each of the low-sensitivity image data representing the images in the divided areas is integrated to calculate a plurality of integrated values,
The dynamic range is set based on the calculated multiple integrated values.
Controlling the display device to display the image represented by the output composite image data on the display screen;
Of the images displayed on the display screen under the control, enlarge an image in the vicinity of the region having the maximum value of the plurality of calculated integrated values.
Image data synthesis method.

Set the dynamic range,
According to the set dynamic range, the level of the given high-sensitivity image data and the given low-sensitivity image data is adjusted,
The high-sensitivity image data with the adjusted level and the low-sensitivity image data with the adjusted level are combined to output composite image data.
The above dynamic range setting process
The low-sensitivity image represented by the given low-sensitivity image data is divided into multiple regions,
Each of the low-sensitivity image data representing the images in the divided areas is integrated, and a plurality of integrated values are calculated.
The dynamic range is set based on a plurality of integrated values calculated by the calculating means.
Controlling the display device to display the image represented by the output composite image data on the display screen;
A program for controlling the computer of the image composition apparatus so as to enlarge an image in the vicinity of a region having a maximum value of a plurality of calculated integrated values among images displayed on the display screen under the control.

13. A computer-readable recording medium storing the program according to claim 12.

Dynamic range setting means for setting the dynamic range,
First adjusting means for adjusting the level of the high-sensitivity image data given in accordance with the setting by the dynamic range setting means;
A second adjusting means for adjusting the level of the low-sensitivity image data given in accordance with the setting by the dynamic range setting means;
Image data synthesizing means for synthesizing the high-sensitivity image data whose level is adjusted by the first adjusting means and the low-sensitivity image data whose level is adjusted by the second adjusting means, and outputting synthesized image data; and A reading means for reading the high-sensitivity image data and the low-sensitivity image data from a recording medium on which the high-sensitivity image data and the low-sensitivity image data are recorded;
High sensitivity image data read from the reading means is given to the first adjusting means, and the low sensitivity image data read by the reading means is given to the second adjusting means,
Data indicating the position of the maximum value among the integrated values of the low-sensitivity image data representing the respective images in a plurality of regions obtained by dividing the low-sensitivity image represented by the low-sensitivity image data is the recording medium Recorded in
The reading means is also for reading the position data,
First display control means for controlling the display device to display a composite image represented by the composite image data output from the image data composition means on a display screen; and control of the first display control means Second display control means for controlling the display device so as to enlarge and display the vicinity of the position represented by the position data read by the reading means among the originally displayed composite image;
An image data synthesizing apparatus further comprising:

Set the dynamic range,
According to the set dynamic range, adjust the level of given high-sensitivity image data and given low-sensitivity image data,
Combining high-sensitivity image data with adjusted level and low-sensitivity image data with adjusted level, and outputting composite image data
Reading the high sensitivity image data and the low sensitivity image data from a recording medium on which the high sensitivity image data and the low sensitivity image data are recorded;
The read high-sensitivity image data is the given high-sensitivity image data, the read low-sensitivity image data is the given low-sensitivity image data,
Data indicating the position of the maximum value among the integrated values of the low-sensitivity image data representing the respective images in a plurality of regions obtained by dividing the low-sensitivity image represented by the low-sensitivity image data is the recording medium Recorded in
The reading process also reads the position data,
Controlling the display device to display the composite image represented by the composite image data output on the display screen;
Controlling the display device to enlarge and display the vicinity of the position represented by the read position data among the composite images displayed under the control;
Image data synthesis method.

Set the dynamic range,
According to the set dynamic range, the level of the given high-sensitivity image data and the given low-sensitivity image data is adjusted,
The high-sensitivity image data with the adjusted level and the low-sensitivity image data with the adjusted level are combined to output composite image data.
Reading the high-sensitivity image data and the low-sensitivity image data from a recording medium on which the high-sensitivity image data and the low-sensitivity image data are recorded;
The read high-sensitivity image data is the given high-sensitivity image data, the read low-sensitivity image data is the given low-sensitivity image data,
Data indicating the position of the maximum value among the integrated values of the low-sensitivity image data representing the respective images in a plurality of regions obtained by dividing the low-sensitivity image represented by the low-sensitivity image data is the recording medium Recorded in
The reading process also reads the position data,
Controlling the display device to display the composite image represented by the composite image data output on the display screen;
A program for controlling the computer of the image composition device to control the display device so as to enlarge and display the vicinity of the position represented by the read position data among the composite images displayed under the control. .

17. A computer-readable recording medium storing the program according to claim 16.