JP3727841B2 - Digital still camera - Google Patents
Digital still camera Download PDFInfo
- Publication number
- JP3727841B2 JP3727841B2 JP2000301451A JP2000301451A JP3727841B2 JP 3727841 B2 JP3727841 B2 JP 3727841B2 JP 2000301451 A JP2000301451 A JP 2000301451A JP 2000301451 A JP2000301451 A JP 2000301451A JP 3727841 B2 JP3727841 B2 JP 3727841B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure
- images
- photographed
- exposure control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 129
- 239000000203 mixture Substances 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 17
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 84
- 238000000034 method Methods 0.000 description 57
- 230000008569 process Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 20
- 238000005314 correlation function Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 5
- 238000001454 recorded image Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、同一の被写体に対して少なくとも2回連続撮影を行ない、この連続撮影によって得られた複数枚の撮影画像を所定の画像合成処理で合成して画質を改善したり、映像効果を高めた画像を得ることのできるデジタルスチルカメラに関する。
【0002】
【従来の技術】
近年、デジタルスチルカメラの技術分野においては、連続して撮影した複数枚の撮影画像を所定の画像処理を行なった後、合成することで、各撮影画像よりも画質や映像効果を高めた画像を得ることのできるデジタルスチルカメラが商品化されている。
【0003】
例えばビクター社製のデジタルスチルカメラ「GC−X1“PIXSTER”」は、撮像素子を微小変位させて連続して2回撮影を行い、両撮影画像を合成することで解像度の高い撮影画像を得ることができる機能を備えている。また、このデジタルスチルカメラは、被写体の明るい部分と暗い部分とに合わせて2種類の露出制御値を設定し、それらの露出制御値で連続して2回撮影を行い、両撮影画像を合成することで暗い部分から明るい部分まで適切な濃度の撮影画像を得ることができる機能も備えている。
【0004】
【発明が解決しようとする課題】
近年、デジタルスチルカメラに適用される撮像素子の高画素化が進み、200万〜300万画素の撮像素子を用いたものも商品化されているが、このような高密度の撮像素子を用いたデジタルスチルカメラに上述の画像合成機能を設けた場合、画質及び映像効果の高い画像が得られるという優れた価値をデジタルスチルカメラに付加するができる。
【0005】
しかし、撮影画像のデータ数が増大すると、画像合成処理の時間が長くなり、合成結果がなかなか得られないという不都合が生じる。更には画像合成用に撮影された複数枚の画像が適切でないときは、ユーザに長時間の画像合成処理を待たした上、不本意な合成画像を提供するという問題が生じる。
【0006】
デジタルスチルカメラで同一の被写体を連続撮影して得られた2枚の画像を合成する場合、基本的に両画像の内容は同一であることが必要であるが、被写体が静止状態であっても撮影者がデジタルスチルカメラを手に持って連続撮影する場合は、図23に示すように微小なカメラアングルの変化に起因して最初の撮影と2回目の撮影との間にフレーミング(撮影範囲)のずれが発生し、これにより両撮影画像の内容は完全に一致しないことになる。
【0007】
このため、2枚の撮影画像の画像合成処理においては、通常、両撮影画像の位置合わせ処理(画像マッチング処理)を行った後、対応する画素位置のデータについて所定の合成演算処理が行なわれる。しかし、画像合成処理おける位置合わせ処理は、一般に、一方の画像を基準(以下、基準画像という。)として他方の画像(以下、参照画像という。)を所定の移動量で平行移動や回転等を行なうとともに、移動位置毎に所相の相関関数を用いて相関値の演算を行ない、最も相関値の大きい移動量を両画像の位置ずれ量として算出するもので、参照画像の移動毎に相関値演算を繰り返すため、処理時間が長く、このため、画像合成処理の処理時間を長くする要因となっている。
【0008】
従って、デジタルスチルカメラに上述の画像合成機能を設ける場合、必ず画像号処理において位置合わせ処理を行なう必要があるから、データ数の増加に伴い画像合成処理に長時間を要するという問題は重要である。取り分け画像合成用の撮影画像が不適切であることに起因して合成画像が不本意なものになるという問題は、画像合成機能の効果を半減させ、その機能の付加価値を著しく低下させるだけでなく、例えば画像合成処理により不必要に電力を消費するという別の問題の要因ともなるから重大である。
【0009】
本発明は、上記課題に鑑みてなされたものであり、連続撮影した画像を合成することで画質や映像効果の高い画像を得ることのできるデジタルスチルカメラにおいて、撮影画像が不適切であるときは、ユーザに警告したり、画像合成処理を強制的に禁止することでそれに起因する問題を軽減し、画像合成処理機能を有効に活用することのできるデジタルスチルカメラを提供するものである。
【0010】
【課題を解決するための手段】
本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたものである。
【0011】
なお、上記撮影条件は、撮影画像間の輝度差、焦点位置のずれ量、色バランスのずれ量等である。
【0012】
上記構成によれば、レリーズが指示されると、撮像手段の露光動作が少なくとも2回連続して行なわれ、同じ被写体に対して少なくとも2枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化すると、これらの撮影画像を用いた画像合成処理が不適切であること示す警告が行なわれる。
【0013】
例えば本撮影画像間の輝度差が所定の閾値以上であると、両撮影画像の合成画像の濃度バランスが不適切になるので、警告が行なわれる。また、本撮影画像間の焦点位置のずれ量(ピントのずれ具合)が所定の閾値以上であると、両撮影画像の合成画像のピント調整が不適切になるので、警告が行なわれる。また、本撮影画像間の色バランスのずれ量が所定の閾値以上であると、両撮影画像を合成した画像の色バランスが不適切になるので、警告が行なわれる。
【0014】
また、本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたものである。
【0015】
上記構成によれば、レリーズが指示されると、露光動作が少なくとも2回連続して行なわれ、同じ被写体に対して少なくとも2枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化していると、これらの撮影画像を用いた画像合成処理が不適切であるので、その後の撮影画像を取り込むための露光動作が禁止される。従って、撮影画像は画像合成処理も行なわれない。
【0016】
【発明の実施の形態】
図1は本発明に係る画像処理システムに適用されるデジタルスチルカメラ(カラー撮像装置)のカメラ本体の正面図、図2は同デジタルスチルカメラに内蔵された主要部材の配置を示す上面図、図3は、同デジタルスチルカメラに内蔵された主要部材の配置を示す右側面図、図4は同デジタルスチルカメラの背面図である。
【0017】
デジタルスチルカメラ1は、カメラ本体2とこのカメラ本体2の正面略中央に着脱可能に装着されるズームレンズからなる交換レンズ3とからなる一眼レフレックスカメラで構成されている。カメラ本体2は、正面略中央に交換レンズ3が装着されるマウント部201が設けられ、正面左端部にグリップ部202が設けられている。
【0018】
グリップ部202の内部には電池収納室203とカード収納室204とが設けられ、電池収納室203には4本の単3形乾電池E1〜E4(カメラの電源電池)が収納され、カード収納室204には撮影画像の画像データを記録するためのメモリカードMCが着脱可能に収納されるようになっている。
【0019】
マウント部201の下部には装着された交換レンズ3との電気的接続を行なうための複数個の接点STと機械的接続を行なうための複数個のカプラーCPとが設けられている。電気的な接点STは、交換レンズ3に内蔵されたレンズROM301(図3参照)から当該レンズに関する固有の情報(開放F値や焦点距離等の情報)をカメラ本体2内の全体制御部(図6参照)に読み出したり、交換レンズ3内のズームレンズの位置やフォーカスレンズの位置の情報を全体制御部に出力するためのものである。カプラーCPはカメラ本体2内に設けられたズームレンズ駆動用のモータZM(図3参照)の駆動力とフォーカスレンズ駆動用のモータFM(図3参照)の駆動力とを交換レンズ3側に伝達するためのものである。
【0020】
マウント部201に交換レンズ3が装着されたときの当該レンズ3の光軸L上であってカメラ本体2内の適所にカラー撮像素子205が配設されている。カラー撮像素子205(以下、CCD205という。)は、図5に示すようにCCD(Charge-Coupled Device)からなるエリアセンサ205Aの各画素の表面に、R(赤),G(緑),B(青)のカラーフィルタ205Bが市松模様状に貼り付けられた、いわゆるベイヤー方式と呼ばれる単板式カラーエリアセンサで構成され、例えば1600×1200=192万個の画素数を有している。
【0021】
なお、図5に示すようにエリアセンサのi行j列目の画素位置を(i,j)(i=1,2,…n、j=1,2,…m)とし、n=1600、m=1200とすると、R,G,Bの各カラーフィルタは、
R;(2h+1,2k+1)
G;(2h+2,2k+1),(2h+1,2k+2)
B;(2h+2,2k+2)
但し、h=0,1,2,…n/2(=800)、k=0,1,2,…m/2(=600)の画素位置に配置されている。
【0022】
カメラ本体2のグリップ部202の上面にはシャッタボタン206が設けられている。シャッタボタン206の半押し操作と全押し操作とは後述するスイッチS1,S2により検出されるようになっている。スイッチS1がオンになると(シャッタボタン206が半押しされると)、被写体の静止画を撮影するための準備動作(露出制御値の設定や焦点調節等の準備動作)が行なわれ、スイッチS2がオンになると(シャッタボタン206が全押しされると)、撮影動作(CCD205を露光し、その露光によって得られた画像信号に所定の画像処理を行なってメモリカードMCに記録する一連の動作)が行なわれる。
【0023】
カメラ本体2の上面の略中央には電子ビューファインダ4(EVF;Electronic View Finder)とポップアップタイプのフラッシュ5とが設けられている。電子ビューファインダ4はCCD205で撮影された被写体のモニタ画像(撮影待機状態においてCCD205により動画撮影された被写体の画像)を表示するカラー液晶表示デバイスからなる表示部401(以下、LCD表示部401という。)とこのカラー液晶表示デバイスに表示されたモニタ画像をファインダ窓403の外側に導く接眼レンズ402とを備えている。
【0024】
撮影待機状態では電子ビューファインダ4に被写体のモニタ画像(動画像)が表示されるので、撮影者はファインダ窓403を覗くことによってモニタ画像により被写体を視認することができる。
【0025】
なお、モニタ画像はLCD表示部401に表示するためのものであるから、待機状態においては、CCD205を通常の静止画撮影と異なる動作モード、所謂ドラフトモードで動作させてLCD表示部401の表示サイズと同一のサイズのモニタ画像が撮影される。すなわち、本実施形態では、LCD表示部401は画素数200×150で構成されているので、待機状態においては、全画素で受光はするが、受光データの読み出しは縦横両方向について8画素ピッチで行なわれ(1/8の間引き読み出しが行なわれて)、これにより画素数200×150のモニタ画像が高速撮影可能になっている。
【0026】
カメラ本体2の背面の略中央にはカラー液晶表示デバイスからなる表示部207(以下、LCD表示部207という。)が設けられている。LCD表示部207は、記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカードMCに記録された撮影画像を再生表示するものである。
【0027】
撮影モードには露出制御に関するモードと画像合成処理に関するモードとが含まれる。露出制御に関するモードとはレリーズ時の露出制御値(絞りの絞り値と露光時間)の決定の仕方に関するモードである。露出制御に関するモードには少なくともプログラムモード、シャッタ優先モード、絞り優先モードが含まれる。露出制御値は予め設定された複数のプログラム線図のいずれか1つを用いて設定されるようになっており、プログラムモードでは標準的なプログラム線図を用いて露出制御値が設定され、シャッタ優先モードでは絞り値よりシャッタ速度(露光時間)を優先するようなプログラム線図を用いて露出制御値が設定され、絞り優先モードではシャッタ速度より絞り値を優先するようなプログラム線図を用いて露出制御値が設定される。
【0028】
画像合成処理に関するモードとは、レリーズ時に撮影条件を変えて、若しくは撮影条件をそのままで連続して2回撮影を行ない、その撮影によって得られた2枚の撮影画像を所定の画像合成処理により合成して元の撮影画像よりも画質や映像効果の高い1の画像を作成し、メモリカードMCに記録するモードである。
【0029】
画像合成処理に関するモードには少なくとも「ボケ味調整モード」、「階調調整モード」、「超解像モード」が含まれる。ボケ味調整モードとは、1回のシャッタ操作で合焦位置を変化させて連続して2回の撮影動作を行い、例えば主被写体(例えば人物等)に対して焦点を合せた撮影画像Aと主被写体の背景に焦点を合わせた撮影画像Bとを取り込み、両撮影画像A,Bを合成して所望のボケ具合を有する画像を得るモードである。
【0030】
階調調整モードとは、1回のシャッタ操作で露出条件を変化させて連続して2回の撮影動作を行い、例えば主被写体に対して露出を合せた撮影画像Aと主被写体の背景に露出を合わせた撮影画像Bとを取り込み、両撮影画像A,Bを合成することにより、例えば画面全体に適正な濃度分布を有する画像や主被写体と背景とのコントラストを意図的に大きくし、創作性の強い画像を得るモードである。
【0031】
超解像モードとは、1回のシャッタ操作でピントや露出条件を変えないで連続して2回の撮影動作を行い、1回目の撮影と2回目の撮影とで僅かに異なるカメラアングルの差異により画面内の主被写体の位置が微小変化した撮影画像Aと撮影画像Bとを取り込み、両撮影画像A,Bを合成することにより、元の撮影画像よりも解像度の高い画像を得るモードである。
【0032】
LCD表示部207の左側には電源スイッチ208が設けられている。この電源スイッチ208は記録モード(写真撮影の機能を果たすモード)及び再生モード(記録画像をLCD表示部207に再生するモード)を切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ208は3点スライドスイッチからなり、接点を中央の「OFF」位置に設定すると、電源がオフになり、接点を上方の「REC」位置に設定すると、電源がオンになるとともに記録モードが設定され、接点を下方の「PLAY」位置に設定すると、電源がオンになるとともに再生モードが設定される。
【0033】
LCD表示部207の右側上方位置には4連スイッチ209が設けられている。4連スイッチ209は円形の操作ボタンを有し、この操作ボタンにおける上下左右の4方向の押圧操作がそれぞれ検出されるようになっている。4連スイッチ209は多機能化され、例えばLCD表示部207に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するための操作スイッチとして機能するとともに、左右方向のスイッチは交換レンズ3のズーム比を変更するためのスイッチとしても機能するようになっている。
【0034】
メニュー画面では、例えば複数の項目が配列表示され、現在選択されている項目に選択状態を示す表示(例えばカーソルや反転表示等)が行なわれる。例えば撮影モードの画像合成処理に関するモードを選択する場合、LCD表示部207には、図6に示すようなメニュー画面が表示される。このメニュー画面における「通常撮影」の項目は、銀塩カメラにおける撮影動作と同様の通常の撮影を行なうモードである。
【0035】
図6のメニュー画面において、4連スイッチ209の上方向スイッチが押されると、黒三角印のカーソルKの表示位置(すなわち、カーソルKが示す項目)が上方向にサイクリックに移動し、4連スイッチ209の下方向スイッチが押されると、カーソルKが示す項目表示位置が下方向にサイクリックに移動する。そして、スイッチ群210の確定スイッチ210bが押されると、その時カーソルKで指示されている項目(図6では階調調整モード)が撮影モードとして設定される。
【0036】
従って、撮影者は撮影モード選択用のメニュー画面において、4連スイッチ209を上下方向に操作して所望の撮影モードを選択し、確定スイッチ210dを操作することでその撮影モードを設定することができる。なお、露出制御に関するモードについても同様の方法で所望の撮影モードを設定することができる。
【0037】
また、インデックス画面ではメモリカードMCに記録されている全ての画像から9コマ分のサムネイル画像が配列表示され、現在選択されているコマに選択されている表示(例えば点滅表示や枠表示等)が行なわれる。4連スイッチ209の上下左右の何れかの方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示がその方向の項目やコマに移動する。例えば上方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示が上方向の項目やコマに移動する。
【0038】
交換レンズ3のズーム操作では、4連スイッチ209の右方向スイッチを押圧すると、交換レンズ3がワイド側に連続的に移動し、4連スイッチ209の左方向スイッチを押圧すると、交換レンズ3がテレ側に連続的に移動する。
【0039】
LCD表示部207の右側下方位置にはLCD表示部207の表示や表示内容に関する操作を行なうためスイッチ群210が設けられている。スイッチ群210には取消スイッチ210a、確定スイッチ210b、メニュー表示スイッチ210c及び表示スイッチ210dが含まれる。
【0040】
取消スイッチ210aはメニュー画面で選択された内容を取り消すためのスイッチである。確定スイッチ210bはメニュー画面で選択された内容を確定するためのスイッチである。メニュー表示スイッチ210cはLCD表示部207にメニュー画面を表示させたり、メニュー画面の内容切り換えるためのスイッチである。メニュー表示スイッチ210cを押圧する毎にメニュー画面に切り換わる。表示スイッチ210dはLCD表示部207への表示を行なわせたり、メニュー画面の内容を切換えたりするスイッチである。電源電池E1〜E4の節電を図るため、カメラ起動時はLCD表示部207の表示は行なわれないようになっている。表示スイッチ210dを押圧する毎にLCD表示部207の表示と非表示とが交互に行なわれる。
【0041】
図7は、デジタルスチルカメラ1の内部構成を示すブロック構成図である。
【0042】
デジタルスチルカメラ1は、主にレンズ101、撮像部102、信号処理部103、発光制御部104、レンズ制御部105、表示部106、操作部107及び全体制御部108で構成されている。
【0043】
レンズ101は交換レンズ3に相当するものである。レンズ101はフォーカス用レンズ101a及びズーム用レンズ101bを備え、内部に透過光量を調節するための絞り101cが設けられている。
【0044】
撮像部102はレンズ101を通して入射した被写体光像を画像信号(電気画像)に光電変換して取り込むものである。撮像部102にはCCD205に相当するCCD102a、このCCD102aの撮像動作を制御するタイミングジェネレータ102b及びタイミングジェネレータ102bの駆動を制御するタイミング制御回路102cが含まれる。
【0045】
CCD102aはタイミングジェネレータ102bから入力される駆動制御信号(積分開始信号/積分終了信号)に基づいて被写体光像を所定の時間(露光時間)だけ受光して画像信号(電荷蓄積信号)に変換し、その画像信号をタイミングジェネレータ102bから入力される読出制御信号(水平同期信号、垂直同期信号、転送信号等)を用いて信号処理部103に出力する。このとき、画像信号はR,G,Bの各色成分に分離されて信号処理部103に出力される。すなわち、画素位置(2h+1,2k+1)の各画素で受光された画像信号を順次読み出すことでRの色成分の画像信号が出力され、画素位置(2h+2,2k+1),(2h+1,2k+2)の各画素で受光された画像信号を順次読み出すことでGの色成分の画像信号が出力され、画素位置(2h+2,2k+2)の各画素で受光された画像信号を順次読み出すことでBの色成分の画像信号が出力される。
【0046】
タイミングシェネレータ102bはタイミング制御回路102cから入力される制御信号に基づいて駆動制御信号を生成するとともに、基準クロックに基づいて読出制御信号を生成し、CCD102aに出力する。タイミング制御回路102cは撮像部102の撮影動作を制御するものである。タイミング制御回路102cは全体制御部108から入力される制御信号に基づいて撮影制御信号を生成する。この撮影制御信号には記録モードにおいて撮影待機中に被写体の動画像(以下、ライブビュー画像という。)を電子ビューファインダ4にモニタ表示するための撮影の制御信号、シャッタボタン6が操作されて被写体の静止画(以下、記録画像という。)を撮影するための制御信号、基準クロック、CCD102aから出力された画像信号を信号処理部103で信号処理するためのタイミング信号(同期クロック)などが含まれる。このタイミング信号は信号処理部103内の信号処理回路103a及びA/D変換回路103bに入力される。
【0047】
信号処理部103はCCD102aから出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は当該画像データを構成する各画素の受光信号毎に行なわれる。以下、説明の便宜上、各画素の受光信号とこれらの集合により撮影画像を構成する画像信号とを区別するため、必要に応じて各画素の受光信号を画素信号(アナログ信号)もしくは画素データ(デジタル信号)という。
【0048】
信号処理部103にはアナログ信号処理回路103a、A/D変換回路103b、黒レベル補正回路103c、WB回路103d、γ補正回路103e及び画像メモリ103fが含まれる。なお、黒レベル補正回路103c、WB回路103d及びγ補正回路103eはデジタル信号処理を行う回路を構成するものである。
【0049】
アナログ信号処理回路103aは主にCDS回路(相関二重サンプリング)回路及びAGC(オートゲインコントロール)回路からなり、CCD102aから出力される画像信号(各画素で受光された信号。アナログ信号)のサンプリングノイズの低減と信号レベルの調整を行う。
【0050】
AGC回路におけるゲインコントロールには、絞り101cの絞り値とCCD205の露光時間とで適正露出が得られなかった場合(例えば非常に低輝度の被写体を撮影する場合等)の撮影画像のレベル不足を補償する場合も含まれる。
【0051】
A/D変換回路102bはアナログ信号処理回路103aから出力される画像信号をデジタルの信号(以下、画像データという。)に変換するものである。A/D変換回路102bは各画素で受光された画素信号を、例えば10ビットの画素データに変換する。
【0052】
黒レベル補正回路103cはA/D変換された各画素データの黒レベルを基準の黒レベルに補正するものである。WB回路103dは撮影画像のホワイトバランスを調整するものである。WB回路103dは全体制御部108から入力されるレベル変換テーブルを用いてR,G,Bの各色成分の画素データのレベルを変換することで撮影画像のホワイトバランスを調整する。なお、レベル変換テーブルの各色成分の変換係数は全体制御部108から撮影画像毎に設定される。γ補正回路103eは画素データのγ特性を補正するものである。γ補正回路103eは予め設定された補正テーブルを用いて各画素データのレベルを補正する。
【0053】
画像メモリ103fは信号処理の終了した画像データを一時保存するメモリである。画像メモリ103fは少なくとも2フレーム分の画像データを記憶し得る容量を有している。これは、ボケ味調整モード等の撮影では2回連続して露光が行なわれ、2フレーム分の画像データが取り込まれるから、これらをそれぞれ保存できるようにするためである。なお、1フレーム分の画像データを記憶し得る記憶容量は、例えばCCD102aの画素数を1600×1200=192万とすると、192万個の画素データを記憶し得る容量である。
【0054】
発光制御部104は全体制御部108から入力される発光制御信号に基づいてフラッシュ5の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。発光制御部104は全体制御部108から発光準備の指示があると、メインコンデンサを充電して発光可能状態にし、発光タイミング信号に同期してメインコンデンサの蓄積電荷を放電することによりフラッシュ5を発光させる。そして、全体制御部108から入力される発光停止信号に基づいてメインコンデンサの蓄積電荷の放電を停止させる。これによりフラッシュ5は所要の発光量で発光される。
【0055】
レンズ制御部105はレンズ101内のフォーカス用レンズ101a、ズーム用レンズ101b及び絞り101cの各部材の駆動を制御するものである。レンズ制御部105は絞り101cの絞り値を制御する絞り制御回路105a、フォーカスモータFMの駆動を制御するフォーカス制御回路105b及びズームモータZMの駆動を制御するズーム制御回路105cを備えている。
【0056】
絞り制御回路105aは全体制御部108から入力される絞り値に基づいて絞り101aを駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路105bはフォーカスモータFMの駆動を制御し、フォーカスモータFMの駆動力はカプラーCP1を介してフォーカス用レンズ101aに伝達される。フォーカス制御回路105bは全体制御部108から入力されるAF制御信号(例えば駆動パルス数等の制御値)に基づいてフォーカスモータFMを駆動し、フォーカス用レンズを焦点位置に設定する。ズーム制御回路105cは全体制御部108から入力されるズーム制御信号(4連スイッチ209の操作情報)に基づいてズームモータZMを駆動し、ズーム用レンズ101bを4連スイッチ209で指定された方向に移動させる。すなわち、ズーム制御回路105cは全体制御部108から4連スイッチ209の右方向の操作情報が入力されると、ズームモータZMを正方向に駆動してズーム用レンズ101bをワイド側に移動させ、4連スイッチ209の左方向の操作情報が入力されると、ズームモータZMを逆方向に駆動してズーム用レンズ101bをテレ側に移動させる。
【0057】
表示部106はLCD表示部207への表示と電子ビューファインダ4への表示とを行うものである。表示部106にはLCD表示部207に相当するディスプレイ106a及びVRAM106bと電子ビューファインダ4内のLCD表示部401に相当するディスプレイ106c及びVRAM106dとが含まれる。ディスプレイ106aは、例えば200×150=30000の画素数を有し、ディスプレイ106cは、例えば200×150=30000の画素数を有している。従って、VRAM106bはディスプレイ106aの画素数に対応して略3万個の画素データが記憶可能になされ、VRAM106dはディスプレイ106cの画素数に対応して略3万個の画素データが記憶可能になっている。
【0058】
撮影待機中ではCCD102aがドラフトモードで駆動され、CCD102aから画素数200×150のフレーム画像が順次、出力される。各フレーム画像の画像信号は所定の信号処理が行なわれた後、画像メモリ103fに格納されるとともに、順次、全体制御部108に読み出され、VRAM106dに転送される。これにより被写体のライブビュー画像がディスプレイ106c(LCD表示部401の表示面)に表示される。また、表示スイッチ210dに操作によりLCD表示部207の表示が指示されると、VRAM106bに転送され、これにより被写体のモニタ画像がディスプレイ106a(LCD表示部207の表示面)にも表示される。
【0059】
更にメニュースイッチ210cの操作によりメニュー表示が指示されると、全体制御部108内のR0M108aに記憶されたメニュー画面の画像データがVRAM106bに読み出され、これによりディスプレイ106aの表示内容がメニュー画面に切り換えられる。
【0060】
再生モードでは全体制御部108によりメモリカードMCに記録された各コマ画像ファイルから撮影画像のサムネイル画像が読み出され、所定のフォーマットに従って配列されてインデックス表示用の画像データが作成され、その画像データがVRAM106bに読み出される。これによりディスプレイ106aにはメモリカードMCに記録された撮影画像の一覧が表示される。そして、4連スイッチ209の操作により再生すべきコマが指定されると、メモリカードMCに記録されたそのコマに対応する画像ファイルからCCDRAW形式で記録された撮影画像の画像データが読み出され、ディスプレイ106aの表示サイズに調整されてVRAM106bに転送される。これにより撮影画像がディスプレイ106a(LCD表示部207の表示面)に再生表示される。
【0061】
操作部107はカメラ本体2に設けられた撮影や再生に関する操作部材の操作情報を全体制御部108に入力するものである。操作部107から入力される操作情報にはシャッタボタン206、電源スイッチ208、4連スイッチ209、スイッチ群210等の各操作部材の操作情報が含まれる。
【0062】
全体制御部108はデジタルスチルカメラ1の有する撮影機能及び再生機能を集中制御するものである。全体制御部108にはカードインターフェース109を介してメモリカードMCが接続されている。また、通信用インターフェース110を介してコンピュータPCが外部接続されるようになっている。
【0063】
全体制御部108はマイクロコンクピュータからなり、撮影機能及び再生機能における種々の具体的な処理を行なうための処理プログラムや上述の撮像部102、信号処理部103、発光制御部104、レンズ制御部105、表示部106等の駆動を制御するための制御プログラムが記憶されたROM108aと処理プログラム及び制御プログラムに従って種々の演算作業を行なうためのRAM108bを備えている。
【0064】
全体制御部108の行なう具体的な処理には、ライブビュー画像を取り込んだり、被写体を撮影する際の露出制御値(CCD102aの露光時間Tv〔Ev値〕と絞り101cの絞り値Av〔Ev値〕)を算出する処理(露出制御値演算処理)、記録モードにおいてCCD102aから画像メモリ103fに取り込まれたライブビュー画像を電子ビューファイダ4に表示したり、再生モードにおいてメモリカードMCから画像メモリ103fに読み出された記録画像をLCD表示部207に表示する処理(画像表示処理)、記録モードにおいてCCD102aから画像メモリ103fに取り込まれた記録画像をカードメモリMCに記録する処理(記録処理)、再生モードにおいてメモリカードMCから再生すべき記録画像を画像メモリ103fに読み出す処理(再生処理)、ボケ味調整モード等の特殊撮影モードにおいて連続して露光動作を行なうとともに、各露光動作の前後で連続撮影画像の位置ずれ量を算出するための画像を取り込むための露光動作を行なわせる処理(特殊露光制御処理)及びその露光制御で得られた2枚の撮影画像の合成を行なう処理(画像合成処理)等が含まれる。
【0065】
露出値演算部108c、表示制御部108d、記録制御部108e、再生制御部108f、特殊露光制御部108g及び画像処理部108hは全体制御部108における上述の各処理を機能ブロックで表わしたものである。
【0066】
露出値定部108cは露出値演算処理を行なうもので、ライブビュー画像のGの色成分の画像データを用いて被写体の輝度を判定し、その判定結果に基づいて露出制御値を演算する。
【0067】
表示制御部108dは画像表示処理を行なうもので、上述の表示部106の表示動作、すなわち、画像メモリ103fに一時保存されている画像データを読み出し、必要に応じて画像サイズを表示先の画像サイズに調整した後、VRAM106cまたはVRAM106dに転送する動作を行なう。
【0068】
記録制御部108eは記録処理を行なうものである。記録制御部108eは、通常撮影モードにおいて、シャッタボタン206により撮影が指示されると、撮影指示後に画像メモリ103fに一時記憶された画像データ(静止画の画像データ)をRAM108bに読み出し、例えば2次元DCT変換、ハフマン符号化等のJPEG方式による所定の圧縮処理を行なって記録用の画像データを作成する。
【0069】
また、レリーズ直前にドラフトモードで撮影され、画像メモリ103fに格納されたフレーム画像をRAM108bに読み出すことで、画素数200×150のサムネイル画像を作成する。更に、これらの記録用の画像データに付随して記録される撮影画像に関するタグ情報を作成する。このタグ情報にはレンズ名称、コマ番号、撮影時の焦点距離、撮影時のFナンバー、焦点位置、被写体輝度、ホワイトバランス調整値、撮影モード、圧縮率、撮影日、フラッシュ発光の有無等が含まれる。
【0070】
そして、記録制御部108eは圧縮された撮影画像及びサムネイル画像の画像データにタグ情報を添付してEXIF(Exchangeable Image File Format)形式の画像ファィルを作成し、この画像ファィルをメモリカードMCに記録する。
【0071】
なお、ボケ味調整モード、階調調整モード及び超解像モードの撮影モードにおいては、画像処理部108hで合成された合成画像に対して2次元DCT変換、ハフマン符号化等のJPEG方式による所定の圧縮処理を行なって記録用の画像データを作成し、この圧縮合成画像及びサムネイル画像の画像データにタグ情報を添付してTIFF(Tag Image File Format)形式の画像ファィルを作成し、この画像ファィルをメモリカードMCに記録する。
【0072】
従って、合成前の2枚の撮影画像はメモリカードMCに記録されない。これは、カメラ本体で画像合成処理まで行なうため、メモリカードMCを効率よく活用するためである。パソコン等で別途画像合成をする際の利便性を考慮して合成前の2枚の撮影画像をメモリカードMCに記録させるようにしてもよい。
【0073】
図8は、メモリカードMCへの画像ファイルの記録方法を示す図である。
【0074】
メモリカードMCには先頭から各画像ファイルがファイル番号Xの順に記憶される。各画像ファイルには、「Pn.Y」のファイル名が付与され、「n」は画像ファイルが作成された順番を示す6桁の番号であり、「Y」は画像データの形式を示す記号である。例えば「Y」が「JPG」である場合、画像データはJPEG方式で圧縮されているを示す。
【0075】
メモリカードMCにおける各画像ファイルの記録領域は3つの領域からなり、上から各領域にタグ情報のデータ、撮影画像のデータ及びサムネイル画像のデータが記憶される。タグ情報データ及びサムネイル画像データのデータサイズは画像ファィルによって変化しないが、撮影画像データのデータサイズは圧縮率や撮影モードによって変化する。このため、メモリカードMCの画像ファィルの記憶領域に記憶可能なファイル数は各画像ファィルの撮影画像データのデータサイズによって変化する。
【0076】
再生制御部108fはメモリカードMCに記録された撮影画像のLCD表示部207への再生処理を行なうものである。再生制御部108fは、電源スイッチ208により再生モードが設定されると、メモリカードMCに記録された各画像ファイルからサムネイル画像を読み出し、順次、所定のインデックスフォーマットに従ってVRAM106bに記憶する。例えば1ページ当たり、9枚のサムネイル画像が3×3に2次配列されるようにVRAM106bに記憶する。従って、これによりLCD表示部207に9枚の2次元配列されたサムネイル画像がインデックス表示される。
【0077】
インデックス表示されたサムネイル画像に対して再生すべきコマのサムネイル画像が4連スイッチ209及びスイッチ群210によって指定されると、再生処理部108fは、そのコマに対応する画像ファィルから撮影画像のデータを読み出し、所定の伸長処理を行なった後、画像メモリ103fに記憶する。この画像メモリ103fに読み出されたデータは、上述したように表示制御部108dによりデータサイズが調整されてVRAM106bに転送され、これによりLCD表示部207に再生表示される。
【0078】
特殊露光制御部108gは、ボケ味調整モード、階調調整モード及び超解像モードが設定されている状態でシャッタボタン6が全押しされたときのCCD102aの露光動作を制御する。特殊露光制御部108gは、基本的にS2スイッチがオンになると、画像合成用の画像(以下、この画像を本撮影画像という。)を取り込むため、連続してCCD102aの露光動作を2回繰り返すが、この2枚の本撮影画像の位置ずれ量を演算するための画像(以下、この画像を演算用画像という。)を少なくとも2枚取り込むため、本撮影画像用の各露光動作の前後で演算用画像用の露光動作を行なわす。
【0079】
演算用画像は位置ずれ量を算出するためのもので、本撮影画像のように高画質を必要しないので、本実施の形態では、ドラフトモードでCCD102aを駆動して演算用画像を取り込むようにしている。すなわち、演算用画像の撮影は、本撮影画像よりも少ない画素数で行なっている。
【0080】
撮影待機状態においては、CCD102aはドラフトモードで露光動作が繰り返されているので、この状態でS2スイッチがオンになると、特殊露光制御部108gは、例えばCCD102aの駆動モードをドラフトモード(全画素の受光データのうち、所定の画素数だけ間引いて読み出すモード。本実施形態では画素数の間引率を1/8としている。)からノーマルモード(全画素の受光データを読み出すモード)に切り換えて1回目の本撮影画像用の露光動作を行ない、この後、再度ドラフトモードに切り換えて演算用画像用の露光動作を少なくとも2回行い、更にノーマルモードに切り換えて2回目の本撮影画像用の露光動作を行なう。なお、演算用画像は、本撮影画像の前後であれば、必ずしも連続的に取り込まれる必要はなく、本撮影画像と演算用画像とを交互に取りこむようにしてもよい。
【0081】
なお、ボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作の詳細は後述する。
【0082】
画像処理部108hは、ボケ味調整モード、階調調整モード及び超解像モードで連続的に撮影された2枚の本撮影画像のレジストレーション処理(位置合わせ処理)をした後、両本撮影画像の対応する画素位置毎に両本撮影画像のデータを用いて所定の演算処理を行なって合成画像のデータを作成する。
【0083】
レジストレーション処理は、画像合成処理において画面内の同一の図柄を正確に合成するため、合成対象となる2枚の画像の位置を合わせるものである。レジストレーション処理は、一般に、例えば一方の撮影画像Aを基準にして他方の撮影画像Bを拡大/縮小、平行移動、回転等を行ないつつ両撮影画像A,Bを照合して、両撮影画像A,Bが一致する撮影画像Bの拡大率、平行移動量及び回転角等が算出される。一方の撮影画像Aに対する他方の撮影画像Bの一致度は、例えば撮影画像Bの平行移動量を引数とする両撮影画像A,Bのデータのレベル差の絶対値の総和(相関関数)が最小となる平行移動量が撮影画像Bを撮影画像Aに一致させるための移動量(すなわち、位置ずれ量)として算出される。
【0084】
なお、本実施形態では、2枚の画像が連続して撮影された画像で、カメラぶれによる両本撮影画像の位置ずれが主として直線的なぶれに起因することを考慮して、本撮影画像Bを本撮影画像Aに一致させるための平行移動量(X,Y)(すなわち、本撮影画像A,B間の位置ずれ量)だけを演算するようにしている。また、この演算は撮影画像Bを所定のピッチで移動させつつ相関関数の演算を繰り返すため、192万の画素データを有する本撮影画像を用いて直接、レジストレーション処理をしたのでは、繰返演算の処理回数が膨大となるので、本実施形態では、本撮影画像よりも画素数の少ない撮影画像(本撮影画像の露光動作の前後でドラフトモードによって撮影した演算用画像で、実質的に本撮影画像のデータを1/8に間引いた画像に相当するもの。)を用いてレジストレーション処理を行い、この処理結果に対して間引き率の8を乗じた数(例えばサムネイル画像の移動量が(3,4)であれば、(24,32)とする。)を本撮影画像でのレジストレーション処理における本撮影画像Bの移動量の初期値とするようにしている。
【0085】
従って、画像処理部108hは、特殊露光制御部108gによりCCD102aで複数枚の演算用画像が取り込まれると、これらの演算用画像を用いて上述のレジストレーション処理を行ない、最初の本撮影画像Aと2回目の本撮影画像Bとの間の位置ずれ量(X,Y)を算出する。
【0086】
また、露光動作終了後の画像処理における2枚の本撮影画像A,Bのレジストレーション処理では、例えば最初の本撮影画像Aに対して2回目の本撮影画像Bを位置ずれ量(8X,8Y)だけ移動させた状態を初期状態として、本撮影画像Bを(8X±m,8Y±n)の範囲で1画素ピッチずつ移動させて上述の相関関数を演算し、この相関関数が最小となる平行移動量を算出することで本撮影画像A,B間の位置ずれ量を算出する。初期状態で2回目の本撮影画像Bの最初の本撮影画像Aに対する位置ずれ量は微小になっているので、比較的少ない繰返演算回数で平行移動量(X,Y)が算出される。
【0087】
次に、デジタルスチルカメラ1のボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作を詳細に説明する。
【0088】
図9はボケ味調整モードにおける撮影動作を示すタイムチャートである。
【0089】
同図において、上段の波形図は、シャッタボタン6に操作に基づくS1スイッチ及びS2スイッチのオンタイミングを示すものである。2段目の波形図は、CCD102aの露光動作を示すもので、オン期間は露光期間を示し、オフ期間は露光期間に蓄積されたデータの読み出し等が行なわれている期間を示している。
【0090】
S2スイッチがオンになる前に短い周期でCCD102aの露光動作が繰り返されているが、これは撮影待機状態でライブビュー画像が取り込まれていることを示している。撮影待機状態では、CCD102aはドラフトモードで露光が繰り返され、1/30秒毎にフレーム画像が取り込まれる。一方、S2スイッチがオンになった直後の長いオン期間E1は、最初の本撮影画像Aを取り込むための露光期間であり、その後の長いオン期間E2は、2回目の本撮影画像Bを取り込むための露光期間である。以下、これらの露光動作に対応する撮影をそれぞれ本撮影Q1,Q2という。
【0091】
また、オン期間E1とオン期間E2との間の3個の短いオン期間E3,E4,E5は、演算用画像を取り込むために露光動作が3回繰り返されていることを示している。この露光動作は、撮影待機状態におけるライブビュー画像の取り込みと同じである。以下、これらの露光動作に対応する撮影をそれぞれ間引撮影MQ1,MQ2,MQ3という。
【0092】
間引撮影MQ1,MQ2,MQ3をドラフトモードで行なっているのは、本撮影Q1と本撮影Q2との間隔をできるだけ短くして本撮影画像A,B間の位置ずれ量をできるだけ小さくするためである。なお、間引撮影MQ1,MQ2,MQ3をドラフトモードで行なうことによりCCD102aから出力される画像信号のレベルが低くなるが、この分、アナログ信号処理回路103aでレベル調整を行なうので、移動量の演算精度を低下させることはない。
【0093】
また、オン期間E2の後に再び短い周期でCCD102aの露光動作が繰り返されているが、これは撮影待機状態に戻ったことを示し、再びライブビュー画像が取り込まれていることを示している。
【0094】
3段目の波形図は、全体制御部108で制御される主な処理内容を示すものである。オン期間若しくはオン信号は、ボケ味調整モードの撮影に直接関係した所定の制御処理をしていることを示している。S1スイッチがオンになった直後の処理期間C1は、その後のレリーズに備えてS1スイッチがオンになる直前のフレーム画像を用いての測距及びその測距結果に基づくAF(Auto Focus)演算(以下、第1AF演算という。)と同フレーム画像を用いてのAE(Automatic Exposure)演算(以下、第1AE演算という。)及びAWB(Automatic White Balance)演算(以下、第1AWB演算という。)とが行なわれていることを示している。オン信号S1,S3は、CCD102aの駆動モードをドラフトモードからノーマルモードに切り換えるものであり、オン信号S2,S4は、CCD102aの駆動モードをノーマルモードからドラフトモードに切り換えるものである。
【0095】
間引撮影MQ3の直後の処理期間C2は、間引撮影MQ3で得られた演算用画像を用いて2回目の本撮影Q2のためのAF演算(以下、第2AF演算という。)と同演算用画像を用いてAE演算(以下、第2AE演算という。)及びAWB演算(以下、第2AWB演算という。)とを行なっていることを示している。
【0096】
処理期間C3は、間引撮影MQ1,MQ2,MQ3で得られた3枚の演算用画像を用いて最初の本撮影画像Aに対する2回目の本撮影画像Bの移動量(X,Y)を演算していることを示している。また、処理期間C4は本撮影画像A,BのAWB調整及びγ補正等の信号処理を行なっていることを示し、処理期間C5は両本撮影画像A,Bの画像合成処理(レジストレーション処理及びボケ味調整のための合成処理)を行なっていることを示し、処理期間C6は両本撮影画像A,Bの合成画像を圧縮してメモリカードMCに記録する処理を行なっていることを示している。
【0097】
最下段の波形図は、フォーカス用レンズ101bの相対的な位置の変化を示しすものである。処理期間C1の直後での波形の上昇変化R1は、フォーカス用レンズ101bが現在位置から被写体距離∞の位置に移動していることを示している。本実施形態では、ボケ味調整モードで、最初∞位置に焦点調節して本撮影Q1を行ない、その後、予め設定された所定の被写体距離(例えば1m)に焦点調節をして2回目の本撮影Q2を行ない、本撮影Q1,Q2で得られた本撮影画像A,Bを合成するようにしているので、S1信号、処理期間C1でのAF演算処理及びフォーカス用レンズ101bの移動R1は、シャッタボタン6の半押しによりシャッタボタン6の全押し(レリーズ指示)に備えてボケ味調整モードでの最初の本撮影Q1に対するAF処理をしていることを示している。
【0098】
また、本撮影Q1の終了後における波形の下降変化R2は、2回目の本撮影Q2に対するAF処理を示し、フォーカス用レンズ101bは現在位置から所定の被写体距離(1m)の焦点位置に移動していることを示している。
【0099】
図9に示すタイムチャートから、ボケ味調整モードにおいては、撮影待機状態でシャッタボタン6が半押しされてS1スイッチがオンになると、∞位置に対してAF処理が行なわれるとともに、露出制御値(絞り101cの絞り値及びCCD102aの露光時間)及びWB調整値が設定され、その後、シャッタボタン6が全押しされてS2がオンになると、CCDの駆動モードをノーマルモードに切り換え、設定された露光時間E1でCCD102aの露光動作を行なって最初の本撮影Q1が行なわれる。
【0100】
この露光動作が終了すると、CCD102aから全画素の画像信号が読み出され、フォーカス用レンズ101bは現在位置から被写体距離1mの焦点位置に移動される。また、画像信号の読み出しが終了すると、このフォーカス用レンズ101bの移動期間を利用して、引き続き、CCDの駆動モードをドラフトモードに切り換えて所定の露光時間でCCD102aの露光動作を連続3回行なって間引撮影MQ1,MQ2,MQ3が行なわれるとともに、間引撮影MQ3で得られた演算用画像を用いて本撮影Q2に対するAE演算が行なわれる。
【0101】
ボケ味調整モードでは焦点位置を変更して本撮影Q1,Q2を行なうため、最初の本撮影Q1に対する露出値と2回目の本撮影Q1に対する露出値とが変化する可能性が大きいので、第2AE演算では本撮影Q2の直前に行なう間引撮影MQ3で得られた演算用画像を用いて本撮影Q2に対する露出制御値を設定するようにしている。
【0102】
なお、本撮影Q2は本撮影Q1に続いて連続的に行なわれるが、ボケ味調整モードにおいては、絞り値を本撮影Q1と同じ状態(例えば開放絞り値)で撮影しないと、ボケ味調整の効果は得られない。そのため、本撮影Q2では絞り101cの絞り値は固定し、CCD102aの露光時間のみで露出制御を行なうようにしている。従って、この露出制御では絞り優先でCCD102aの露光時間が設定される。
【0103】
被写体移動を考慮すると、本撮影Q1と本撮影Q2との撮影間隔はできるだけ短くするのが望ましいため、本撮影Q1のときではAGCのゲインを4倍にし、露出時間を1/4にしている。なお、露光時間が十分に短い場合は、ゲインを上げる必要はない。また、図10に示すようにレンズ101とCCD102aとの間にNDフィルタ102dを当該レンズ101の光軸上に挿脱可能に設けるとともに、このNDフィルタ102dの挿脱動作を制御する駆動回路102eを設け、NDフィルタ102dとの組み合わせによって本撮影Q2に好適の露光時間を設定するようにしてもよい。
【0104】
また、本実施形態では、露出制御値の演算に本撮影Q2の直前に行なわれる間引撮影MQ3の撮影画像を利用しているが、本撮影Q1と本撮影Q2との間に行なわれる他の間引撮影MQ1,MQ2で得られた画像を用いるようにしてもよい。
【0105】
また、間引撮影MQ3で得られた演算用画像を用いて第2AF演算と第2AWB演算とが行なわれ、これらの演算結果を用いて最初の本撮影Q1と2回目の本撮影Q1との間における被写体輝度、被写体距離、光源色等の撮影条件の変化の判定処理が行なわれる。
【0106】
撮影条件の変化の判定処理は、図11に示すフローチャートを用いて以下の手順で行なわれる。
【0107】
まず、第2AF演算、第2AE演算及び第2AWB演算でそれぞれ被写体距離Dv2、被写体輝度Bv2、AWB調整ゲイン(R2/G2,B2/G2)が算出される(#1,#3)。続いて、被写体距離Dv2、被写体輝度Bv2、AWB調整ゲイン(R2/G2,B2/G2)が第1AF演算、第1AE演算及び第1AWB演算でそれぞれ算出された被写体距離Dv1、被写体輝度Bv1、AWB調整ゲイン(R1/G1,B1/G1)と各々比較される(#5)。
【0108】
被写体輝度差ΔBv=|Bv2−Bv1|が所定値(例えば1EV)を超えている、被写体距離差ΔDv=|Dv2−Dv1|が所定値(例えば1m)を超えている、若しくはAWB調整ゲイン差ΔGAWB=|R2/G2−R1/G1|+|B2/G2−B1/G1|が所定値(例えば0.5)を超えているのいずれかであれば(#7,#9,#11でNO)、本撮影Q1と本撮影Q2との間で撮影条件が大きく変化したと推定され、適切な合成画像が得られないので、本撮影F2の露光動作が禁止されるとともに、EVF4のインファィンダ画面内にその旨の警告が表示される(#17)。この警告表示は、例えば表示色を特定の警告色にしたり、点滅表示をすることで行なわれる。なお、文字による警告メッセージを表示させるようにしてもよく、警告音を発するようにしてもよい。
【0109】
この撮影禁止及び警告処理より実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードMCに記録されることがなく、記録効率も低下することがない。
【0110】
一方、本撮影Q1と本撮影Q2との間で撮影条件が大きく変化していない場合、すなわち、被写体輝度差ΔBv=|Bv2−Bv1|、被写体距離差ΔDv=|Dv2−Dv1|及びAWB調整ゲイン差ΔGAWBがいずれも所定値以下であれば(#7,#9,#11でYES)、本撮影Q2のために被写体輝度Bv2に基づき露出制御値(絞り値,露光時間)が設定され(#13)、処理を終了する。
【0111】
図9に戻り、フォーカス用レンズ101bの被写体距離1mの焦点位置への移動が終了すると、2回目の本撮影Q2が禁止されていなければ、CCDの駆動モードをドラフトモードに切り換え、再度設定された露光時間E2でCCD102aの露光動作を行なって本撮影Q2が行なわれる。また、この露光期間中に間引撮影MQ1,MQ2,MQ3で得られた3枚の演算用画像を用いて本撮影Q1で得られた本撮影画像Aに対する本撮影Q2で得られる本撮影画像Bの移動量(X,Y)が演算される。
【0112】
本撮影画像の移動量(X,Y)の演算処理は、図12に示すフローチャートを用いて以下の手順で行なわれる。
【0113】
間引撮影MQ1で得られる画像MF1に対して間引撮影MQ2,MQ3で得られる画像MF2,MF3が図13に示すように移動しているとする。間引撮影MQ1,MQ2,MQ3で3枚の画像MF1,MF2,MF3が得られると(#21)、まず、演算用画像MF1に対する演算用画像MF2の移動量(x1,y1)がGの色成分のデータを用いて算出される(#23)。なお、Gの色成分データを用いているのは、他の色成分よりもデータ数が多く、画像のコントラストも他の色成分より明瞭であるから、容易かつ迅速に移動量(x1,y1)の演算ができるからである。移動量(x1,y1)は、演算用画像MF1を基準として演算用画像MF2を1画素ピッチずつx方向に0〜40ピクセルまで、y方向に0〜30ピクセルまでそれぞれ移動させつつ演算用画像MF1と演算用画像MF2との相関関数を演算し、その相関関数が最小となるx方向及びy方向の移動量で算出される。
【0114】
なお、この演算における演算用画像MF2の移動量をx方向に40ピクセル,y方向に30ピクセルにしているのは、演算用画像MF1,MF2が連続撮影されたもので、カメラぶれによる位置ずれは微小であること、演算用画像MF1,MF2の画素数が200(y方向)×150(x方向)であるから、両方向についてそれぞれ全体サイズの1/5程度移動させれば、異常なカメラぶれでない限り、通常は相関関数の最小値を算出することができると考えられるからである。
【0115】
移動量(x1,y1)が算出されると、その移動量(x1,y1)に対する相関関数が0.5以上であるか否かが判別され(#25)、相関関数が0.5以上であれば(#25でYES)、演算用画像MF1と演算用画像MF2とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、本撮影画像A,Bにおいても位置合わせができず、適切な合成画像が得られないので、本撮影F2の露光動作が中断されるとともに、EVF4のインファィンダ画面内にその旨の警告が表示される(#35)。これにより実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードMCに記録されることがなく、記録効率も低下させることがない。
【0116】
一方、相関関数が0.5よりも小さければ(#25でNO)、上述の方法と同様の方法で演算用画像MF2に対する演算用画像MF3の移動量(x2,y2)がGの色成分のデータを用いて算出される(#27)。そして、移動量(x2,y2)が算出されると、その移動量(x2,y2)に対する相関関数が0.5以上であるか否かが判別され(#29)、相関関数が0.5以上であれば(#29でYES)、演算用画像MF2と演算用画像MF3とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、ステップ#35に移行して本撮影F2の撮影が中断されるとともに、EVF4のインファィンダ画面内にその旨の警告が表示される。
【0117】
一方、相関関数が0.5よりも小さければ(#29でNO)、本撮影Q1,Q2及び間引撮影MQ1,MQ2,MQ3のタイミングと移動量(x1,y1),(x2,y2)とから本撮影Q1と本撮影Q2との間での移動量(x,y)が算出される(#31)。
【0118】
具体的には、例えば移動量xの場合は、間引撮影MQ1,MQ2,MQ3のタイミングT1,T2,T3と移動量x1,x2との関係は図14に示すようになるから、この関係図からタイミングT1,T2,T3におけるx方向の相対的な位置P1,P2,P3を決定することができる。従って、この3点P1〜P3を用いてx方向の移動量曲線N(T)が近似できるから、この近似曲線N(T)と本撮影Q1,Q2のタイミングT4,T5とから本撮影Q1と本撮影Q2との間でのx方向における移動量xがx=N(T5)−N(T4)により算出される。なお、移動量yについても同様の方法で算出される。
【0119】
そして、移動量(x,y)を8倍して本撮影画像Aに対する本撮影画像Bの移動量(X=8x,Y=8y)が算出されて(#33)、処理を終了する。なお、移動量(x,y)を8倍しているのは、演算用画像MF1〜MF3のサイズは本撮影画像A,Bの1/8であるから、演算用画像のサイズで算出した移動量(x,y)を本撮影画像のサイズでの移動量(X,Y)に換算するものである。
【0120】
図9に戻り、本撮影Q2が終了すると、撮影待機状態となり、CCDの駆動モードをドラフトモードに切り換えてCCD102aでライブビュー画像が取り込まれ、EVF4に表示される。
【0121】
また、本撮影Q2が正常に行なわれている場合は、本撮影Q1,Q2で撮影された本撮影画像A,Bについてそれぞれ所定の信号処理が行なわれた後、図15に示すフローチャートに従ってレジストレーション処理が行なわれるとともに(#41,#43)、所定の画像合成処理が行なわれてボケ味調整画像が作成され(#45,#47,#49)、そのボケ味調整画像がメモリカードMCに記録される(#51)。
【0122】
本撮影画像A,Bのレジストレーション処理もGの色成分のデータを用いて行なわれる。まず、本撮影画像Bを移動量(X,Y)だけ移動させて、図16に示すように本撮影画像Aに対して(X,Y)だけ位置がずれた状態にする。そして、本撮影画像Aを基準として本撮影画像Bを1画素ピッチずつ、例えばx方向に(X−40)〜(X+40)ピクセルまで、y方向に(Y−30)〜(Y+30)ピクセルまでそれぞれ移動させつつ本撮影画像と本撮影画像Bとの相関関数を演算し、その相関関数が最小となるx方向及びy方向の移動量(X1,Y1)が算出される(#43)。
【0123】
本撮影画像A,Bの画像合成処理は、R,G,Bの色成分毎に行なわれ、まず、本撮影画像Bを移動量(X1,Y1)だけ平行移動させて、図17に示すように本撮影画像Aと画像を一致させた状態にした後、両本撮影画像A,Bのデータから重複しないデータ(斜線で示す部分のデータ)を削除して合成処理用のデータが作成される(#47)。図17の例では、本撮影画像Aから作成される合成処理用データはi=1〜(n−Y1),j=(X1+1)〜mの範囲にある画素位置のデータで構成され、本撮影画像Bから作成される合成処理用データはi=(Y1+1)〜n,j=1〜(m−X1)の範囲にある画素位置のデータで構成される。
【0124】
そして、両本撮影画像A,Bの合成処理用データの対応する画素位置のデータを、例えば平均したり、加重平均することでボケ味調整画像のデータが作成される。すなわち、両本撮影画像A,Bの合成処理が行なわれる(#49)。図17の例では、白抜き部分に含まれるデータについて、新たに画素位置のアドレス(k,h)(k=1,2,…(n−X1),h=1,2,…(m−Y1))を設定し、本撮影画像Aの合成処理用データをDA(k,h)、本撮影画像Bの合成処理用データをDB(k,h)とすると、例えば(wA・DA(k,h)+wB・DB(k,h))/2を演算することによりボケ味調整画像のデータDC(k,h)が作成される。
【0125】
そして、このボケ味調整画像のデータDC(k,h)はJPEG方式で圧縮された後、メモリカードMCに記録される。
【0126】
図18は階調調整モードにおける撮影動作を示すタイムチャートである。
【0127】
各段の波形の内容は、図9に示すものと同一である。また、図9に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【0128】
同図に示すように、基本的な撮影動作はボケ味調整モードの撮影動作と同一である。従って、ここではボケ味調整モードの撮影動作と異なる部分や階調調整モードに特有の動作について説明する。
【0129】
図18の露光動作の波形図に示すように、本実施の形態では間引撮影を2回しか行なっていない。1回目の間引撮影MQ1は本撮影Q1,Q2の間に行なわれ、2回目の間引撮影MQ1は本撮影Q2の終了直後に行なわれている。このため、移動量(X,Y)の演算は、2回目の本撮影Q2が終了し、撮影待機状態になってから行なわれている。また、階調調整モードでは、本撮影画像Aと本撮影画像Bのピント状態は同一でなければならないから、S1スイッチのオンによりAF処理が行なわれると(図18のフォーカス用レンズの移動R1参照)、その後は焦点位置は固定される。
【0130】
ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードでは可及的に本撮影Q1と本撮影Q2との間を短くして両本撮影間でのカメラぶれを低減することが望ましいが、ボケ味調整モードでは本撮影Q1と本撮影Q2との間で意図的にフォーカス用レンズを移動させているため、フォーカス用レンズの移動が完了するまで2回目の本撮影Q2はできない。そのため、両本撮影間に一定の間隔を設ける必要があり、この期間を有効利用して間引撮影を3回行なうことにより本撮影の位置ずれを予測した。しかし、階調調整モードではそのような制限はないので、本撮影Q1と本撮影Q2との間隔をできるだけ短くするため、1回目の間引撮影MQ1だけ行い、本撮影Q2の直後に2回目の間引撮影MQ2を行なうようしている。また、本撮影Q1,間引撮影MQ1及び本撮影Q2は等間隔で行うようにしている。
【0131】
本撮影Q1,Q2の前後で複数回の間引撮影MQ1,MQ2,…を行なうのは、本撮影画像A,Bのレジストレーション処理の負担を軽減するためのものであるから、間引撮影MQ1,MQ2で得られた演算用画像MF1,MF2を用いて算出される移動量(X,Y)の精度をできるだけ高くするため、間引撮影MQ1,Q2はそれぞれ本撮影Q1,Q2の直後に行うようにするとよい。また、本実施の形態では、間引撮影MQ1,Q2をそれぞれ本撮影Q1,Q2の直後に行っているが、間引撮影MQ1,Q2をそれぞれ本撮影Q1,Q2の直前で行うようにしてもよい。
【0132】
また、本実施形態では、本撮影Q1と本撮影Q2との間隔をできるだけ短くするため、本撮影Q1と本撮影Q2の間で上述の撮影条件の変化の判別処理はしていないが、この判別処理を行うようにしてもよい。また、本実施形態では、間引撮影を2回しか行なっていないが、3回以上行なうようにしてもよい。
【0133】
なお、階調調整モードでの画像合成処理も上述したボケ味調整モードでの画像号合成処理と同様の方法で行なわれる。すなわち、本撮影画像A,Bについてレジストレーション処理を行なった後、それぞれ合成処理用データを作成し、この合成用データの対応する画素位置のデータを、例えば平均したり、加重平均することで階調調整画像のデータが作成される。
【0134】
図19は、超解像モードにおける撮影動作を示すタイムチャートである。
【0135】
各段の波形の内容は、図9に示すものと同一である。また、図9に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【0136】
同図に示すように、超解像モードにおける撮影動作も基本的にボケ味調整モードの撮影動作と同一である。従って、ここでもボケ味調整モードの撮影動作と異なる部分や超解像モードに特有の動作について説明する。
【0137】
図19の露光動作の波形図に示すように、本実施形態では本撮影Q1,Q2の間に間引撮影を2回行なっている。超解像モードにおいても本撮影Q1から本撮影Q2までの撮影動作をできるだけ短くするため、本撮影Q1、間引撮影MQ1、間引撮影MQ2及び本撮影Q2は等間隔で行うようにしている。この実施形態では、本撮影Q1,Q2の間で間引撮影MQ1,MQ2が行なわれているので、移動量(X,Y)の演算が2回目の本撮影Q2の露光動作中に行なわれている。
【0138】
なお、これと同じ露光処理を階調調整モードでも行なうことができる。一方、超階調モードでも本撮影Q1と本撮影Q2との間に一定の期間を設けなければならないという制限はないので、階調調整モードで説明した間引撮影のタイミング及び回数に関する変形例を超解像モードに適用することができる。
【0139】
また、本実施形態では間引撮影を本撮影Q1,Q2の間で2回しか行なっていないが、2回目の本撮影Q2の直後に3回目の間引撮影を行うようにしてもよい。このようにすると、移動量演算のためのデータ数が増えるので、移動量の演算精度が向上する。従って、間引撮影の態様としては、本撮影Q1の直後に1回,本撮影Q2の直前若しくは直後で1回の計2回の間引撮影を基本態様として本撮影Q1,Q2の間で2回以上の間引撮影を行なう態様、本撮影Q1,Q2の間で2回以上の間引撮影を行なうとともに、本撮影Q2の直後に少なくとも1回間引撮影を行なう態様が考えられ、特殊撮影モードの内容に応じて適宜、適切な撮影態様を選択することができる。
【0140】
また、超解像モードでも本撮影画像Aと本撮影画像Bのピント状態は同一でなければならないから、S1スイッチのオンによりAF処理が行なわれると(図19のフォーカス用レンズの移動R1参照)、その後は焦点位置は固定される。
【0141】
また、本実施形態でも本撮影Q1と本撮影Q2との間隔をできるだけ短くするため、本撮影Q1と本撮影Q2の間で上述の撮影条件変化の判別処理はしていないが、この判別処理を行うようにしてもよい。
【0142】
超解像モードでの画像合成処理は、上述したボケ味調整モードや階調調整モードでの画像号合成処理と異なっている。
【0143】
ここで、超解像処理の内容について、図20を用いて簡単に説明する。なお、説明の便宜上、一次元の画像データについて説明する。
【0144】
被写体に対して撮影者がカメラを構えてシャッタ操作を行なったときに、連続して2回の露光動作を行って得られた2枚の撮影画像は、通常、撮影者が完全に静止していることはないから、微小なカメラぶれに起因して互いに被写体に対する撮影位置がわずかに変位したものとなっている。
【0145】
超解像処理は、最初の本撮影画像Aと2回目の本撮影画像Aとをそれぞれ補間処理するとともに、両本撮影画像A,Bの位置合わせをして合成することより、解像度の高い高精細の画像を得るものである。
【0146】
すなわち、最初の本撮影画像Aの画像データを図20(a)とし、2枚目の本撮影画像Bの画像データを図20(b)とし、2枚目の本撮影画像Bは最初の本撮影画像Bに対して被写体に対する撮影位置が右側にΔxだけずれているとする。なお、図20(a)(b)において、曲線Pは被写体の輝度特性を示し、a(1),a(2),…及びb(1),b(2),…は画素位置、C(1),C(2),…及びD(1),D(2),…は各画素の受光レベルを示している。また、C(1)’,C(2)’,…は、受光レベルC(1),C(2),…を用いて画素位置a(1),a(2),…の間を補間したレベルであり、D(1)’,D(2)’,…は、受光レベルD(1),D(2),…を用いて画素位置b(1),b(2),…の間を補間したレベルである。
【0147】
図20(a)(b)に示すように、最初の本撮影画像Aにおける各画素の被写体に対する受光位置と2枚目の本撮影画像Bにおける各画素の被写体に対する受光位置とは相違しているから、両本撮影画像A,Bの画像データから撮像素子より2倍の画素位置の画像データが得られる。
【0148】
従って、同図(c)に示すように、最初の本撮影画像Aと2枚目の本撮影画像Bの位置合わせをして両画像データを単純に合成することにより撮像素子の画素密度に対して2倍の画素密度を有する画像データが得られる。
【0149】
なお、本実施形態では、カメラぶれに基づく被写体に対する撮像素子の受光位置のずれを利用しているから、画素位置a(i)と画素位置b(i)とのずれ量Δxは一定せず、画素位置b(i)は画素位置a(i)と画素位置a(i+1)との中間に必ず位置するとは限らないので、ずれ量Δxが非常に小さい場合は、両本画像画像A,Bの位置合わせが十分な精度で行なえなくなる虞がある。
【0150】
そこで、これを改善するため、本実施の形態では最初の本撮影画像Aの画像データと2枚目の本撮影画像Bの画像データとをそれぞれ補間処理した後、合成するようにしている。このようにすることで、図20(c)に示すように、画素位置b(i)と画素位置a(i+1)との間に画像データC(i)’,D(i)’が補間され、2枚の本撮影画像A,Bは高い精度で位置合わせが行なわれるので、解像度の高い画像が得られる。
【0151】
従って、超解像モードでの画像合成処理では、本撮影画像A,Bについてそれぞれ所定の補間処理によりデータ数を増加させた後、レジストレーション処理が行なわれる。そして、両本撮影画像A,Bからそれぞれ合成処理用データが作成され、その合成処理用データの対応する画素位置のデータを平均化することで超解像画像のデータが作成される。
【0152】
以上のように、本実施形態に係るデジタルスチルカメラ1では、ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードにおいては、シャッタボタン6が全押しされてレリーズが指示されると、連続して2回、本撮影Q1,Q2行なわれるが、これら本撮影Q1,Q2の前後で少なくとも2回、間引撮影MQ1,MQ2を行ない、その間引撮影で得られた少なくとも2枚の演算用画像を用いて本撮影画像A,B間の位置ずれ量(X,Y)を演算するようにしたので、本撮影画像A,Bを位置合わせてして所定の画像合成を行なう際の位置合わせ処理の処理負担が軽減され、処理時間の短縮を図ることができる。
【0153】
なお、上記実施形態では、間引撮影を連続して最大3回しか行なっていなかったが、図21に示すように間引撮影を連続して4回以上行なってもよく、この場合は、同図に示すように、2回目の間引撮影MQ2が終了した時点で間引撮影MQ1,MQ2で得られた2枚の演算用画像を用いて直ちに本撮影画像A,B間の位置ずれ量(X,Y)を行なうとよい。このようにすれば、位置ずれ量(X,Y)を迅速に算出することができる。
【0154】
また、上記実施形態では、本撮影画像A,Bとは別に演算用画像MF1,MF2,…を撮影するようにしていたが、図22に示すように最初の本撮影画像Aを演算用画像MF1として利用するようにしてもよいる。図22の例では、本撮影画像Aのための露光動作を正規の露光時間よりも短くする一方、これによる露光不足を信号処理でのレベル調整で補正し、処理期間C2’でこの本撮影画像Aのデータを間引いて演算用画像MF1を取得している。そして、本撮影Q2の露光期間中に、この演算用画像MF1と間引撮影MQ2で撮影された演算用画像MF2とを用いて移動量(X,Y)の演算を行なうようにしている。このようにすれば間引撮影MQ1が省略できるので、本撮影Q1と本撮影Q2との間隔をより狭くすることができ、本撮影画像A,B間の位置ずれ量(X,Y)を小さくすることができる利点がある。
【0155】
また、本実施形態に係るデジタルスチルカメラ1では、2回目の本撮影Q2の露光期間中に移動量演算を行ない、その演算結果によって本撮影画像A,B間の位置ずれ量が大きいときは、本撮影Q2を中断し、その旨をEVF4に警告するようにしたので、また、本撮影Q1と本撮影Q2との間で間引撮影MQ1,MQ2を行い、この間引撮影で得られた画像を用いて本撮影Q1と本撮影Q2の間で被写体輝度、被写体距離及び光源の色バランス等の撮影条件が変化したか否かを判別し、その判別結果で撮影条件が変化しているときは、本撮影Q2を中止し、その旨をEVF4に警告するようにしたので、実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがない。また、合成価値のない画像のデータがメモリカードMCに記録されることがなく、記録効率の低下を防止することができる。
【0156】
なお、本実施形態は、連続して2枚の撮影画像を取り込む場合について説明したが、本発明は、3枚以上の撮影画像を取り込む場合にも適用することができる。また、本実施形態は、複数の間引撮影MQによる撮影画像を用いて撮影条件の変化を検出するものであったが、間引撮影MQを行なわない場合には、本撮影画像そのものを用いて(例えば、本撮影画像のデータを適当に間引いて画像サイズを小さくした画像を用いて)撮影条件の変化を検出するものであってもよい。
【0157】
【発明の効果】
以上説明したように、本発明によれば、同一の被写体に対して少なくとも2回連続的に撮影し、その撮影で得られた少なくとも2枚の撮影画像に対して画像相互の位置合わせ処理と所定の合成演算処理とを行って1の画像を作成することのできるデジタルスチルカメラにおいて、2枚の撮影画像を得るための露光動作の間で撮影条件が変化したか否かを判別し、撮影条件が変化していると、警告をするようにしたので、ユーザはその警告により撮影後の無用な画像合成処理を中止させることで、撮影処理の効率低下を防止することができる。
【0158】
また、撮影条件が変化していると、その後の露光動作を禁止するようにしたので、無駄な撮影が防止され、撮影処理の効率低下が確実に防止することができる。
【図面の簡単な説明】
【図1】 本発明に係るデジタルスチルカメラのカメラ本体の正面図である。
【図2】 同デジタルスチルカメラの主要部材の配置を示す図である。
【図3】 同デジタルスチルカメラのに内蔵された主要部材の配置を示す右側面図である。
【図4】 同デジタルスチルカメラの背面図である。
【図5】 カラー撮像素子の撮像面の構成を示す図である。
【図6】 撮影モードの選択方法を説明するための図である。
【図7】 デジタルスチルカメラの内部構成を示すブロック図である。
【図8】 メモリカードへの画像ファイルの記録方法を示す図である。
【図9】 ボケ味調整モードでの撮影動作を示すタイムチャートである。
【図10】 レンズとCCDとの間にNDフィルタを挿脱可能に設けた他のデジタルスチルカメラの内部構成を示すブロック構成図である。
【図11】 間引撮影で得られた3枚の演算用画像を用いて本撮影で得られる2枚の本撮影画像間の撮影条件の変化を判別する処理を示すフローチャートである。
【図12】 間引撮影で得られた3枚の演算用画像を用いて本撮影で得られる2枚の本撮影画像間の移動量を演算する処理を示すフローチャートである。
【図13】 3枚の演算用画像相互の移動量の一例を示す図である。
【図14】 3回の間引撮影の各タイミングと各間引撮影で得られた画像相互の移動量とから2枚の本撮影画像相互の移動量を算出する方法を説明するための図である。
【図15】 2枚の本撮影画像を合成してボケ味調整画像を作成する処理手順を示すフローチャートである。
【図16】 本撮影画像でのレジストレーション処理の初期状態を示す図である。
【図17】 レジストレーション処理後の2枚の本撮影画像のデータから画像合成処理用のデータを作成する方法を説明するための図である。
【図18】 階調調整モードでの撮影動作を示すタイムチャートである。
【図19】 超解像モードでの撮影動作を示すタイムチャートである。
【図20】 超解像処理を説明するための図である。
【図21】 間引撮影の他の態様を示すタイムチャートである。
【図22】 最初の本撮影を1回目の間引撮影と兼用する間引撮影の態様を示すタイムチャートである。
【図23】 連続して露光動作をした場合にカメラアングルが変化する様子を示す図である。
【符号の説明】
1 デジタルスチルカメラ
101 レンズ
102 撮像部
102a CCD(撮像手段)
103 信号処理部
104 発光制御部
105 レンズ制御部
106 表示部
107 操作部
108 カードI/F
108 全体制御部(判別手段)
108a ROM
108b RAM
108c 露出値演算部
108d 表示制御部
108e 記録制御部
108f 再生制御部
108g 特殊露光制御部(露光制御手段,露光禁止手段)
108h 画像処理部(画像合成手段)
109 カードインターフェース
110 通信用インターフェース
2 カメラ本体
205 カラー撮像素子
206 シャッタボタン
207 表示部(警告手段)
208 電源スイッチ
209 4連スイッチ
210 スイッチ群
3 交換レンズ
4 電子ビューファインダ(警告手段)
5 フラッシュ
MC メモリカード[0001]
BACKGROUND OF THE INVENTION
In the present invention, continuous shooting is performed at least twice on the same subject, and a plurality of captured images obtained by the continuous shooting are combined by a predetermined image combining process to improve the image quality or enhance the video effect. The present invention relates to a digital still camera that can obtain an image.
[0002]
[Prior art]
In recent years, in the technical field of digital still cameras, a plurality of continuously photographed images are subjected to predetermined image processing and then combined to produce an image with higher image quality and video effect than each captured image. Digital still cameras that can be obtained have been commercialized.
[0003]
For example, the digital still camera “GC-X1“ PIXSTER ”” manufactured by Victor Co., Ltd. takes two continuous shots with a slight displacement of the image sensor, and combines the two shot images to obtain a high-resolution shot image. It has a function that can. In addition, this digital still camera sets two types of exposure control values according to the bright part and dark part of the subject, shoots twice continuously with these exposure control values, and synthesizes both captured images. Thus, it has a function of obtaining a photographed image having an appropriate density from a dark part to a bright part.
[0004]
[Problems to be solved by the invention]
In recent years, an increase in the number of pixels of an image sensor applied to a digital still camera has progressed, and products using an image sensor with 2 to 3 million pixels have been commercialized. When the above-described image composition function is provided in a digital still camera, an excellent value that an image with high image quality and video effect can be obtained can be added to the digital still camera.
[0005]
However, when the number of captured image data increases, the time required for image composition processing increases, and there is a problem in that it is difficult to obtain a composition result. Furthermore, when a plurality of images photographed for image composition are not appropriate, there is a problem that an unintentional composite image is provided after waiting for a long time image composition processing.
[0006]
When combining two images obtained by continuously shooting the same subject with a digital still camera, the contents of both images must be basically the same, but even if the subject is stationary When a photographer continuously holds a digital still camera in his / her hand, framing (shooting range) between the first shooting and the second shooting due to a minute change in camera angle as shown in FIG. Therefore, the contents of the two captured images do not completely match.
[0007]
For this reason, in the image composition processing of two captured images, usually, after performing the alignment processing (image matching processing) of both captured images, a predetermined composition operation processing is performed on the data at the corresponding pixel positions. However, the alignment processing in the image composition processing is generally performed by performing parallel movement, rotation, or the like on the other image (hereinafter referred to as a reference image) with a predetermined amount of movement using one image as a reference (hereinafter referred to as a reference image). The correlation value is calculated for each movement position using the correlation function of the phase, and the movement amount with the largest correlation value is calculated as the positional deviation amount between both images. Since the calculation is repeated, the processing time is long, and this is a factor for increasing the processing time of the image composition processing.
[0008]
Therefore, when the above-described image composition function is provided in a digital still camera, it is necessary to perform alignment processing in the image signal processing. Therefore, the problem that the image composition processing takes a long time as the number of data increases is important. . The problem that the composite image becomes unintentional due to the improperly taken image for image composition is that the effect of the image composition function is halved and the added value of the function is significantly reduced. However, it is also serious because it causes another problem that power is unnecessarily consumed by, for example, image synthesis processing.
[0009]
The present invention has been made in view of the above problems, and in a digital still camera capable of obtaining an image with high image quality and video effect by synthesizing continuously shot images, when the shot image is inappropriate It is intended to provide a digital still camera that can warn a user or forcibly prohibit image composition processing to reduce problems caused by it and effectively use an image composition processing function.
[0010]
[Means for Solving the Problems]
The present invention relates to an image pickup means for photoelectrically converting a subject light image into an image signal and outputting it, an exposure control means for performing an exposure operation of the image pickup means on the same subject at least twice in succession, and the exposure control. In a digital still camera provided with image composition means for creating one image having different image quality from the photographed image by performing a predetermined composition operation using at least two photographed images photographed by exposure control by means Determining means for determining whether or not the photographing condition has changed to a predetermined threshold value or more between the captured images; and warning means for warning if the determining means determines that the photographing condition has changed to a predetermined threshold value or more. WithIt is.
[0011]
Note that the above shooting conditions are between shot images.ofFor example, luminance difference, focus position shift amount, color balance shift amount, and the like.
[0012]
According to the above configuration, when the release is instructed, the exposure operation of the imaging unit is continuously performed at least twice, and at least two images are taken with respect to the same subject. Then, it is discriminated whether or not the shooting condition has changed to a predetermined threshold value or more between the shot images by the discriminating unit, and when the shooting condition has changed to a predetermined threshold value or more between the shot images, image synthesis using these shot images A warning is given indicating that the process is inappropriate.
[0013]
For exampleBookIf the luminance difference between the captured images is equal to or greater than a predetermined threshold, the density balance of the composite image of both captured images becomes inappropriate, and a warning is issued. Also,BookIf the amount of focus position shift (focus shift) between the captured images is equal to or greater than a predetermined threshold, the focus adjustment of the composite image of both captured images becomes inappropriate, and a warning is issued. Also,BookIf the amount of color balance deviation between the captured images is equal to or greater than a predetermined threshold value, a warning is issued because the color balance of the image obtained by combining both captured images becomes inappropriate.
[0014]
The present invention also provides an imaging unit that photoelectrically converts an object light image into an image signal and outputs the exposure signal, an exposure control unit that performs an exposure operation of the imaging unit on the same subject at least twice, and A digital still provided with an image composition means for creating one image having a different image quality from the photographed image by performing a predetermined composition operation using at least two photographed images photographed by exposure control by the exposure control means In the camera, a determination unit that determines whether or not the shooting condition has changed to a predetermined threshold value or more between the captured images, and the determination unit determines that the shooting condition has changed to a predetermined threshold value or more. Exposure prohibiting means for prohibiting the exposure operation for capturing the actual captured imageIt is.
[0015]
According to the above configuration, when the release is instructed, the exposure operation is continuously performed at least twice, and at least two images are taken for the same subject. Then, it is determined whether or not the shooting condition has changed between the captured images by a determination means, and if the shooting condition has changed between the captured images by more than the predetermined threshold, these captured images are used. Therefore, the subsequent exposure operation for capturing a captured image is prohibited. Therefore, the photographed image is not subjected to image composition processing.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a front view of a camera body of a digital still camera (color imaging apparatus) applied to an image processing system according to the present invention, and FIG. 2 is a top view showing an arrangement of main members built in the digital still camera. 3 is a right side view showing an arrangement of main members built in the digital still camera, and FIG. 4 is a rear view of the digital still camera.
[0017]
The
[0018]
A
[0019]
A plurality of contacts ST for electrical connection with the mounted
[0020]
A
[0021]
As shown in FIG. 5, the pixel position of the i-th row and j-th column of the area sensor is (i, j) (i = 1, 2,... N, j = 1, 2,... M), and n = 1600, If m = 1200, the R, G, B color filters are
R; (2h + 1, 2k + 1)
G; (2h + 2, 2k + 1), (2h + 1, 2k + 2)
B; (2h + 2, 2k + 2)
However, h = 0, 1, 2,... N / 2 (= 800), k = 0, 1, 2,... M / 2 (= 600).
[0022]
A
[0023]
An electronic view finder 4 (EVF; Electronic View Finder) and a pop-up
[0024]
Since the monitor image (moving image) of the subject is displayed on the
[0025]
Since the monitor image is for display on the
[0026]
A display unit 207 (hereinafter referred to as an LCD display unit 207) made up of a color liquid crystal display device is provided in the approximate center of the back surface of the
[0027]
The shooting mode includes a mode related to exposure control and a mode related to image composition processing. The mode related to exposure control is a mode related to how to determine an exposure control value (aperture value and exposure time) at the time of release. The modes relating to exposure control include at least a program mode, a shutter priority mode, and an aperture priority mode. The exposure control value is set using any one of a plurality of preset program diagrams. In the program mode, the exposure control value is set using a standard program diagram, and the shutter is set. In the priority mode, the exposure control value is set using a program diagram that prioritizes the shutter speed (exposure time) over the aperture value, and in the aperture priority mode, the program diagram that prioritizes the aperture value over the shutter speed is used. An exposure control value is set.
[0028]
The mode related to image composition processing is to shoot two times continuously while changing the shooting conditions at the time of release or with the shooting conditions as they are, and synthesize two shot images obtained by the shooting by a predetermined image composition processing In this mode, one image having higher image quality and video effect than the original photographed image is created and recorded in the memory card MC.
[0029]
The mode relating to the image composition processing includes at least a “blur adjustment mode”, a “tone adjustment mode”, and a “super-resolution mode”. In the blur adjustment mode, a shooting operation is performed twice in succession by changing the in-focus position by one shutter operation. For example, the shot image A is focused on a main subject (for example, a person). In this mode, a captured image B focused on the background of the main subject is captured, and the captured images A and B are combined to obtain an image having a desired blur condition.
[0030]
In the gradation adjustment mode, the exposure condition is changed by a single shutter operation, and two shooting operations are continuously performed. For example, the captured image A in which the exposure is adjusted for the main subject and the background of the main subject are exposed. Is taken together, and both the captured images A and B are combined to intentionally increase the contrast between, for example, an image having an appropriate density distribution over the entire screen or the main subject and the background, thereby creating creativity. This mode obtains a strong image.
[0031]
Super-resolution mode means that the camera operation is performed twice in succession without changing the focus and exposure conditions with a single shutter operation, and the camera angle difference slightly differs between the first and second shooting. Is a mode in which a captured image A and a captured image B in which the position of the main subject in the screen is slightly changed are captured and an image with a higher resolution than the original captured image is obtained by combining the captured images A and B. .
[0032]
A
[0033]
A
[0034]
On the menu screen, for example, a plurality of items are displayed in an array, and a display (for example, a cursor or a reverse display) showing the selected state is performed on the currently selected item. For example, when a mode related to image composition processing in the shooting mode is selected, a menu screen as shown in FIG. 6 is displayed on the
[0035]
In the menu screen of FIG. 6, when the up switch of the
[0036]
Accordingly, the photographer can set the shooting mode by operating the
[0037]
In addition, on the index screen, thumbnail images for nine frames from all the images recorded on the memory card MC are arranged and displayed, and a display selected for the currently selected frame (for example, blinking display or frame display) is displayed. Done. When one of the up / down / left / right direction switches of the
[0038]
In the zoom operation of the
[0039]
A
[0040]
The cancel
[0041]
FIG. 7 is a block configuration diagram showing the internal configuration of the digital
[0042]
The digital
[0043]
The
[0044]
The
[0045]
The
[0046]
The
[0047]
The
[0048]
The
[0049]
The analog
[0050]
The gain control in the AGC circuit compensates for insufficient level of the captured image when an appropriate exposure cannot be obtained with the aperture value of the
[0051]
The A /
[0052]
The black
[0053]
The
[0054]
The light
[0055]
The
[0056]
The
[0057]
The
[0058]
During the shooting standby, the
[0059]
When the menu display is instructed by operating the
[0060]
In the playback mode, thumbnail images of captured images are read from each frame image file recorded on the memory card MC by the
[0061]
The
[0062]
The
[0063]
The
[0064]
Specific processing performed by the
[0065]
The exposure
[0066]
The
[0067]
The
[0068]
The
[0069]
Also, a thumbnail image having a pixel number of 200 × 150 is created by reading out a frame image shot in the draft mode immediately before the release and stored in the
[0070]
Then, the
[0071]
Note that, in the shooting mode of the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode, a predetermined image by a JPEG method such as two-dimensional DCT conversion or Huffman coding is applied to the synthesized image synthesized by the
[0072]
Therefore, the two captured images before synthesis are not recorded on the memory card MC. This is to efficiently use the memory card MC because the camera body performs the image composition processing. In consideration of the convenience of separately combining images on a personal computer or the like, the two photographed images before combining may be recorded on the memory card MC.
[0073]
FIG. 8 is a diagram illustrating a method of recording an image file on the memory card MC.
[0074]
Each image file is stored in the memory card MC in the order of the file number X from the top. Each image file is given a file name of “Pn.Y”, “n” is a 6-digit number indicating the order in which the image files were created, and “Y” is a symbol indicating the format of the image data. is there. For example, when “Y” is “JPG”, the image data is compressed by the JPEG method.
[0075]
The recording area of each image file in the memory card MC is composed of three areas, and tag information data, photographed image data, and thumbnail image data are stored in each area from the top. The data sizes of the tag information data and the thumbnail image data do not change depending on the image file, but the data size of the photographed image data varies depending on the compression rate and the photographing mode. For this reason, the number of files that can be stored in the image file storage area of the memory card MC varies depending on the data size of the captured image data of each image file.
[0076]
The
[0077]
When a thumbnail image of a frame to be reproduced is designated by the
[0078]
The special
[0079]
The calculation image is used to calculate the amount of misregistration, and does not require a high image quality like the actual captured image. In this embodiment, the calculation image is captured by driving the
[0080]
In the photographing standby state, the
[0081]
The details of the shooting operation in the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode will be described later.
[0082]
The
[0083]
The registration process aligns the positions of two images to be combined in order to accurately combine the same symbols in the screen in the image combining process. In the registration process, for example, both the captured images A and B are collated while enlarging / reducing, translating, rotating, and the like of the other captured image B on the basis of one captured image A. , B, the enlargement ratio, the parallel movement amount, the rotation angle, and the like of the captured image B are calculated. The degree of coincidence between one captured image A and the other captured image B is, for example, the sum of absolute values (correlation functions) of the level difference between the data of both captured images A and B with the parallel movement amount of the captured image B as an argument. The parallel movement amount is calculated as a movement amount (that is, a positional deviation amount) for matching the captured image B with the captured image A.
[0084]
Note that, in the present embodiment, in consideration of the fact that the positional deviation between the two captured images due to the camera shake is mainly caused by the linear blur in the image in which two images are continuously captured. Only the parallel movement amount (X, Y) (that is, the amount of positional deviation between the actual captured images A and B) for making the actual captured image A coincide with each other is calculated. In addition, since this calculation repeats the calculation of the correlation function while moving the captured image B at a predetermined pitch, if the registration process is directly performed using the actual captured image having 1.92 million pixel data, iterative calculation is performed. Therefore, in this embodiment, the captured image having a smaller number of pixels than the actual captured image (the calculation image captured in the draft mode before and after the exposure operation of the actual captured image is substantially the actual captured image). A registration process is performed using the image data corresponding to an image obtained by thinning the image data to 1/8. The number obtained by multiplying the result of the process by 8 (for example, the moving amount of the thumbnail image is (3 4), (24, 32) is set as the initial value of the amount of movement of the actual captured image B in the registration process for the actual captured image.
[0085]
Therefore, when a plurality of calculation images are captured by the
[0086]
Further, in the registration processing of the two main captured images A and B in the image processing after the exposure operation is completed, for example, the second actual captured image B with respect to the first actual captured image A is misaligned (8X, 8Y). ), The above-mentioned correlation function is calculated by moving the actual captured image B by one pixel pitch within the range of (8X ± m, 8Y ± n), and the correlation function is minimized. By calculating the amount of translation, the amount of positional deviation between the captured images A and B is calculated. Since the amount of positional deviation of the second actual captured image B from the first actual captured image A in the initial state is very small, the parallel movement amount (X, Y) is calculated with a relatively small number of repeated calculations.
[0087]
Next, photographing operations in the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode of the digital
[0088]
FIG. 9 is a time chart showing the photographing operation in the blur adjustment mode.
[0089]
In the figure, the upper waveform diagram shows the ON timing of the S1 switch and the S2 switch based on the operation of the
[0090]
The exposure operation of the
[0091]
In addition, three short ON periods E3, E4, and E5 between the ON period E1 and the ON period E2 indicate that the exposure operation is repeated three times in order to capture the calculation image. This exposure operation is the same as capturing a live view image in the shooting standby state. Hereinafter, photographing corresponding to these exposure operations is referred to as thinned photographing MQ1, MQ2, MQ3, respectively.
[0092]
The reason why the thinned-out photographing MQ1, MQ2, MQ3 is performed in the draft mode is to make the interval between the main photographing Q1 and the main photographing Q2 as short as possible and to minimize the amount of positional deviation between the main photographing images A and B. is there. Note that the level of the image signal output from the
[0093]
Further, the exposure operation of the
[0094]
The third-stage waveform diagram shows the main processing contents controlled by the
[0095]
The processing period C2 immediately after the thinned-out photographing MQ3 is used for the same calculation as the AF operation for the second main photographing Q2 (hereinafter referred to as the second AF calculation) using the calculation image obtained by the thinned-out photographing MQ3. It shows that AE calculation (hereinafter referred to as second AE calculation) and AWB calculation (hereinafter referred to as second AWB calculation) are performed using the image.
[0096]
In the processing period C3, the movement amount (X, Y) of the second actual captured image B with respect to the first actual captured image A is calculated using the three calculation images obtained by the thinned-out images MQ1, MQ2, MQ3. It shows that you are doing. The processing period C4 indicates that signal processing such as AWB adjustment and γ correction of the captured images A and B is performed, and the processing period C5 is an image synthesis process (registration processing and The processing period C6 indicates that the composite image of both the captured images A and B is compressed and recorded in the memory card MC. Yes.
[0097]
The lowermost waveform diagram shows a change in the relative position of the focusing
[0098]
Further, the waveform falling change R2 after the end of the main photographing Q1 indicates an AF process for the second main photographing Q2, and the focusing
[0099]
From the time chart shown in FIG. 9, in the blur adjustment mode, when the
[0100]
When this exposure operation is completed, image signals of all the pixels are read out from the
[0101]
In the bokeh adjustment mode, since the main photographing Q1 and Q2 are performed by changing the focal position, the exposure value for the first main photographing Q1 and the exposure value for the second main photographing Q1 are likely to change. In the calculation, the exposure control value for the main photographing Q2 is set using the calculation image obtained by the thinning photographing MQ3 performed immediately before the main photographing Q2.
[0102]
Note that the main shooting Q2 is performed continuously following the main shooting Q1, but in the blur adjustment mode, if the aperture value is not set in the same state as the main shooting Q1 (for example, an open aperture value), the blur adjustment is not performed. There is no effect. Therefore, in the main photographing Q2, the aperture value of the
[0103]
Considering subject movement, it is desirable to make the shooting interval between the main shooting Q1 and the main shooting Q2 as short as possible. Therefore, in the main shooting Q1, the AGC gain is quadrupled and the exposure time is set to ¼. If the exposure time is sufficiently short, there is no need to increase the gain. As shown in FIG. 10, an
[0104]
Further, in the present embodiment, the photographed image of the thinned-out photograph MQ3 performed immediately before the main photographing Q2 is used for the calculation of the exposure control value. However, other operations performed between the main photographing Q1 and the main photographing Q2 are used. You may make it use the image obtained by thinning imaging MQ1 and MQ2.
[0105]
Further, the second AF calculation and the second AWB calculation are performed using the calculation image obtained by the thinning-out shooting MQ3, and using these calculation results, between the first main shooting Q1 and the second main shooting Q1. A process for determining changes in shooting conditions such as subject brightness, subject distance, and light source color is performed.
[0106]
The determination process of the change of the photographing condition is performed by the following procedure using the flowchart shown in FIG.
[0107]
First, the subject distance Dv2, the subject luminance Bv2, and the AWB adjustment gain (R2 / G2, B2 / G2) are calculated by the second AF calculation, the second AE calculation, and the second AWB calculation (# 1, # 3), respectively. Subsequently, the subject distance Dv1, the subject brightness Bv2, and the AWB adjustment gain (R2 / G2, B2 / G2) calculated by the first AF calculation, the first AE calculation, and the first AWB calculation, respectively, are adjusted. Each is compared with the gain (R1 / G1, B1 / G1) (# 5).
[0108]
Subject brightness difference ΔBv = | Bv2-Bv1 | exceeds a predetermined value (for example, 1 EV), subject distance difference ΔDv = | Dv2-Dv1 | exceeds a predetermined value (for example, 1 m), or AWB adjustment gain difference ΔGAWB= | R2 / G2-R1 / G1 | + | B2 / G2-B1 / G1 | exceeds any predetermined value (for example, 0.5) (NO in # 7, # 9, # 11) ) Since it is presumed that the shooting conditions have changed greatly between the main shooting Q1 and the main shooting Q2, and an appropriate composite image cannot be obtained, the exposure operation of the main shooting F2 is prohibited, and the EVF4 infender screen A warning to that effect is displayed (# 17). This warning display is performed, for example, by changing the display color to a specific warning color or blinking. Note that a warning message using characters may be displayed, or a warning sound may be emitted.
[0109]
Due to this shooting prohibition and warning processing, shooting that is substantially failed shooting is stopped, the processing efficiency of the shooting operation is not reduced, and image data having no composite value is not recorded in the memory card MC. Recording efficiency is not reduced.
[0110]
On the other hand, when the shooting conditions are not significantly changed between the main shooting Q1 and the main shooting Q2, that is, the subject luminance difference ΔBv = | Bv2-Bv1 |, the subject distance difference ΔDv = | Dv2-Dv1 |, and the AWB adjustment gain. Difference ΔGAWBAre all equal to or smaller than a predetermined value (YES in # 7, # 9, and # 11), an exposure control value (aperture value, exposure time) is set based on the subject brightness Bv2 for the actual photographing Q2 (# 13). The process is terminated.
[0111]
Returning to FIG. 9, when the movement of the
[0112]
The calculation process of the movement amount (X, Y) of the actual captured image is performed in the following procedure using the flowchart shown in FIG.
[0113]
Assume that the images MF2 and MF3 obtained by the thinning-out photography MQ2 and MQ3 are moved as shown in FIG. 13 with respect to the image MF1 obtained by the thinning-out photography MQ1. When three images MF1, MF2, and MF3 are obtained by the thin-out photographing MQ1, MQ2, and MQ3 (# 21), first, the movement amount (x1, y1) of the calculation image MF2 with respect to the calculation image MF1 is G color. Calculation is performed using the component data (# 23). The G color component data is used because the number of data is larger than that of the other color components and the contrast of the image is clearer than the other color components, so that the moving amount (x1, y1) can be easily and quickly performed. This is because the calculation can be performed. The movement amount (x1, y1) is calculated by moving the calculation image MF2 from 0 to 40 pixels in the x direction by 0 to 40 pixels in the x direction and from 0 to 30 pixels in the y direction on the basis of the calculation image MF1. And the image MF2 for calculation are calculated, and the movement amount in the x direction and the y direction that minimizes the correlation function is calculated.
[0114]
Note that the movement amount of the calculation image MF2 in this calculation is set to 40 pixels in the x direction and 30 pixels in the y direction because the calculation images MF1 and MF2 are continuously photographed, and the displacement due to camera shake is Since it is very small and the number of pixels of the calculation images MF1 and MF2 is 200 (y direction) × 150 (x direction), it is not abnormal camera shake if they are moved about 1/5 of the total size in both directions. This is because the minimum value of the correlation function can usually be calculated.
[0115]
When the movement amount (x1, y1) is calculated, it is determined whether the correlation function for the movement amount (x1, y1) is 0.5 or more (# 25), and the correlation function is 0.5.If it is above (YES in # 25)The calculation image MF1 and the calculation image MF2 do not match, that is, it is estimated that an abnormal camera shake has occurred. Since an image cannot be obtained, the exposure operation of the main photographing F2 is interrupted and a warning to that effect is displayed in the infender screen of the EVF 4 (# 35). As a result, shooting that is substantially failed shooting is stopped, the processing efficiency of the shooting operation is not reduced, and image data having no composite value is not recorded on the memory card MC, and the recording efficiency is also reduced. I will not let you.
[0116]
On the other hand, the correlation function is 0.5Is smaller (NO at # 25)The movement amount (x2, y2) of the calculation image MF3 with respect to the calculation image MF2 is calculated using the G color component data by the same method as described above (# 27). When the movement amount (x2, y2) is calculated, it is determined whether the correlation function for the movement amount (x2, y2) is 0.5 or more (# 29), and the correlation function is 0.5.If it is above (YES in # 29)Since the calculation image MF2 and the calculation image MF3 do not match, that is, it is estimated that an abnormal camera shake has occurred, the process shifts to step # 35 and the shooting of the main shooting F2 is interrupted. , A warning to that effect is displayed in the infender screen of EVF4.
[0117]
On the other hand, the correlation function is 0.5Is smaller (NO at # 29)From the timings and movement amounts (x1, y1), (x2, y2) of the main photographing Q1, Q2 and thinned photographing MQ1, MQ2, MQ3, the movement amount (x, y) is calculated (# 31).
[0118]
Specifically, for example, in the case of the movement amount x, the relationship between the timings T1, T2, T3 of the thinned-out photographing MQ1, MQ2, MQ3 and the movement amounts x1, x2 is as shown in FIG. From these, relative positions P1, P2, and P3 in the x direction at timings T1, T2, and T3 can be determined. Accordingly, since the movement amount curve N (T) in the x direction can be approximated using these three points P1 to P3, the main photographing Q1 and the timings T4 and T5 of the main photographing Q1 and Q2 can be approximated from the approximate curve N (T). The movement amount x in the x direction with respect to the main photographing Q2 is calculated by x = N (T5) −N (T4). Note that the movement amount y is also calculated by the same method.
[0119]
Then, the movement amount (x, y) is multiplied by 8 to calculate the movement amount (X = 8x, Y = 8y) of the actual captured image B with respect to the actual captured image A (# 33), and the process is terminated. Note that the movement amount (x, y) is multiplied by 8 because the size of the calculation images MF1 to MF3 is 1/8 of the main captured images A and B. The amount (x, y) is converted into a movement amount (X, Y) at the size of the actual captured image.
[0120]
Returning to FIG. 9, when the main photographing Q2 is completed, the photographing standby state is set, the CCD driving mode is switched to the draft mode, the live view image is captured by the
[0121]
Further, when the main photographing Q2 is normally performed, predetermined signal processing is performed on the main photographed images A and B photographed in the main photographing Q1 and Q2, respectively, and then the registration is performed according to the flowchart shown in FIG. The processing is performed (# 41, # 43), and a predetermined image composition process is performed to create a blur adjustment image (# 45, # 47, # 49), and the blur adjustment image is stored in the memory card MC. It is recorded (# 51).
[0122]
The registration processing of the captured images A and B is also performed using the data of the G color component. First, the actual captured image B is moved by the movement amount (X, Y) so that the position is shifted by (X, Y) with respect to the actual captured image A as shown in FIG. Then, with the actual captured image A as a reference, the actual captured image B is one pixel pitch, for example, from (X-40) to (X + 40) pixels in the x direction and from (Y-30) to (Y + 30) pixels in the y direction. A correlation function between the actual captured image and the actual captured image B is calculated while being moved, and movement amounts (X1, Y1) in the x and y directions that minimize the correlation function are calculated (# 43).
[0123]
The image composition processing of the main captured images A and B is performed for each of the R, G, and B color components. First, the main captured image B is translated by the movement amount (X1, Y1), as shown in FIG. After the actual captured image A and the image are made to coincide with each other, non-overlapping data (data indicated by hatching) is deleted from the data of the actual captured images A and B, and data for the composition processing is created. (# 47). In the example of FIG. 17, the composition processing data created from the actual captured image A is composed of data at pixel positions in the range of i = 1 to (n−Y1) and j = (X1 + 1) to m. The composition processing data created from the image B is composed of data at pixel positions in the range of i = (Y1 + 1) to n, j = 1 to (m−X1).
[0124]
Then, for example, the data of the pixel positions corresponding to the synthesis processing data of the main photographed images A and B are averaged or weighted averaged to generate the blur adjustment image data. In other words, the composite processing of both the captured images A and B is performed (# 49). In the example of FIG. 17, for the data included in the white portion, a new pixel position address (k, h) (k = 1, 2,... (N−X1), h = 1, 2,. Y1)) is set, and the composite processing data of the actual captured image A is set to DA(k, h), D for the composition processing data of the actual captured image BBIf (k, h), for example, (wA・ DA(k, h) + wB・ DB(k, h)) / 2 to calculate the blur adjustment image data DC(k, h) is created.
[0125]
The data D of this blur adjustment imageC(k, h) is recorded in the memory card MC after being compressed by the JPEG method.
[0126]
FIG. 18 is a time chart showing the photographing operation in the gradation adjustment mode.
[0127]
The contents of the waveform at each stage are the same as those shown in FIG. Further, the same reference numerals are given to signals and processing periods having the same contents as the signals and processing periods shown in FIG.
[0128]
As shown in the figure, the basic shooting operation is the same as the shooting operation in the blur adjustment mode. Therefore, here, a part different from the shooting operation in the blur adjustment mode and an operation specific to the gradation adjustment mode will be described.
[0129]
As shown in the waveform diagram of the exposure operation in FIG. 18, in this embodiment, thinning imaging is performed only twice. The first thinned-out photographing MQ1 is performed between the main photographing Q1 and Q2, and the second thinning-out photographing MQ1 is performed immediately after the end of the main photographing Q2. For this reason, the movement amount (X, Y) is calculated after the second main photographing Q2 is completed and the photographing standby state is entered. Further, in the gradation adjustment mode, the focus state of the actual captured image A and the actual captured image B must be the same. Therefore, when the AF process is performed by turning on the S1 switch (see the movement R1 of the focus lens in FIG. 18). After that, the focal position is fixed.
[0130]
In special shooting modes such as the bokeh adjustment mode, gradation adjustment mode, and super-resolution mode, shorten the distance between the main shooting Q1 and the main shooting Q2 as much as possible to reduce camera shake between the two main shootings. However, since the focus lens is intentionally moved between the main photographing Q1 and the main photographing Q2 in the blur adjustment mode, the second main photographing Q2 cannot be performed until the movement of the focusing lens is completed. . Therefore, it is necessary to provide a certain interval between the two main photographing, and the positional deviation of the main photographing is predicted by performing the thinning photographing three times by effectively using this period. However, since there is no such limitation in the gradation adjustment mode, in order to make the interval between the main shooting Q1 and the main shooting Q2 as short as possible, only the first thinned-out shooting MQ1 is performed, and the second shooting immediately after the main shooting Q2. Thinning-out photography MQ2 is performed. Further, the main photographing Q1, the thinned-out photographing MQ1, and the main photographing Q2 are performed at equal intervals.
[0131]
The plural thinned-out photographs MQ1, MQ2,... Before and after the main photographing Q1, Q2 are for reducing the burden of registration processing of the main photographed images A, B. Therefore, the thinned-out photographing MQ1. , MQ2 are performed immediately after the main photographing Q1 and Q2, respectively, in order to make the accuracy of the movement amount (X, Y) calculated using the calculation images MF1 and MF2 obtained by MQ2 as high as possible. It is good to do. In this embodiment, the thinned-out photographing MQ1 and Q2 are performed immediately after the main photographing Q1 and Q2, respectively. However, the thinned-out photographing MQ1 and Q2 are performed immediately before the main photographing Q1 and Q2, respectively. Good.
[0132]
In the present embodiment, in order to make the interval between the main photographing Q1 and the main photographing Q2 as short as possible, the above-described change determination process of the photographing conditions is not performed between the main photographing Q1 and the main photographing Q2. Processing may be performed. Further, in this embodiment, thinning-out photographing is performed only twice, but it may be performed three or more times.
[0133]
The image synthesis process in the gradation adjustment mode is also performed in the same manner as the image number synthesis process in the blur adjustment mode described above. That is, after registration processing is performed on the captured images A and B, data for synthesis processing is created, and the data of pixel positions corresponding to the data for synthesis is averaged or weighted averaged, for example. Data of the adjustment image is created.
[0134]
FIG. 19 is a time chart showing a shooting operation in the super-resolution mode.
[0135]
The contents of the waveform at each stage are the same as those shown in FIG. Further, the same reference numerals are given to signals and processing periods having the same contents as the signals and processing periods shown in FIG.
[0136]
As shown in the figure, the shooting operation in the super-resolution mode is basically the same as the shooting operation in the blur adjustment mode. Therefore, here, a different part from the shooting operation in the blur adjustment mode and an operation specific to the super-resolution mode will be described.
[0137]
As shown in the waveform diagram of the exposure operation in FIG. 19, in the present embodiment, thinning-out photographing is performed twice between the main photographing Q1 and Q2. Even in the super-resolution mode, in order to minimize the photographing operation from the main photographing Q1 to the main photographing Q2, the main photographing Q1, the thinned photographing MQ1, the thinned photographing MQ2, and the main photographing Q2 are performed at equal intervals. In this embodiment, since the thinned-out photographs MQ1 and MQ2 are performed between the main photographing Q1 and Q2, the movement amount (X, Y) is calculated during the second main photographing Q2 exposure operation. Yes.
[0138]
The same exposure process can be performed in the gradation adjustment mode. On the other hand, there is no restriction that a certain period must be provided between the main shooting Q1 and the main shooting Q2 even in the super gradation mode. Therefore, the modification example regarding the timing and number of times of thinning shooting described in the gradation adjustment mode. It can be applied to the super-resolution mode.
[0139]
Further, in this embodiment, the thinned-out photographing is performed only twice between the main photographing Q1 and Q2, but the third thinning-out photographing may be performed immediately after the second main photographing Q2. In this way, since the number of data for the movement amount calculation increases, the calculation accuracy of the movement amount is improved. Therefore, as a mode of thinning-out shooting, two times between the main shootings Q1 and Q2 are set as a basic mode of thinning-out shooting once, immediately after the main shooting Q1, and immediately before or after the main shooting Q2. A mode in which thinning shooting is performed more than once, a mode in which thinning shooting is performed twice or more between main shooting Q1 and Q2, and at least one thinning shooting is performed immediately after main shooting Q2, is considered special shooting. An appropriate shooting mode can be selected as appropriate in accordance with the contents of the mode.
[0140]
Even in the super-resolution mode, the focus state of the actual captured image A and the actual captured image B must be the same. Therefore, when the AF process is performed by turning on the S1 switch (refer to the focus lens movement R1 in FIG. 19). Thereafter, the focal position is fixed.
[0141]
Also in this embodiment, in order to make the interval between the main shooting Q1 and the main shooting Q2 as short as possible, the above-described shooting condition change determination process is not performed between the main shooting Q1 and the main shooting Q2. You may make it perform.
[0142]
The image composition process in the super-resolution mode is different from the image number composition process in the above-described blur adjustment mode and gradation adjustment mode.
[0143]
Here, the contents of the super-resolution processing will be briefly described with reference to FIG. For convenience of explanation, one-dimensional image data will be described.
[0144]
When a photographer holds a camera and performs a shutter operation on a subject, two photographed images obtained by performing two consecutive exposure operations usually have the photographer completely stopped. Therefore, the shooting position with respect to the subject is slightly displaced from each other due to minute camera shake.
[0145]
In the super-resolution processing, the first actual captured image A and the second actual captured image A are interpolated, and both the captured actual images A and B are aligned and combined, thereby achieving a high resolution. A fine image is obtained.
[0146]
That is, the image data of the first actual captured image A is shown in FIG. 20A, the image data of the second actual captured image B is shown in FIG. 20B, and the second actual captured image B is the first actual captured image B. Assume that the shooting position of the subject with respect to the shot image B is shifted to the right by Δx. 20 (a) and 20 (b), the curve P indicates the luminance characteristics of the subject, a (1), a (2),... And b (1), b (2),. (1), C (2),... And D (1), D (2),. C (1) ′, C (2) ′,... Are interpolated between the pixel positions a (1), a (2),... Using the light reception levels C (1), C (2),. D (1) ′, D (2) ′,... Of the pixel positions b (1), b (2),... Using the received light levels D (1), D (2),. It is the level which interpolated between.
[0147]
As shown in FIGS. 20A and 20B, the light receiving position of each pixel in the first actual captured image A with respect to the subject is different from the light receiving position of each pixel in the second actual captured image B. Thus, image data at twice the pixel position from the image sensor can be obtained from the image data of both the captured images A and B.
[0148]
Therefore, as shown in FIG. 3C, the first actual captured image A and the second actual captured image B are aligned, and the two image data are simply combined to match the pixel density of the image sensor. Thus, image data having twice the pixel density is obtained.
[0149]
In the present embodiment, since the shift of the light receiving position of the image sensor with respect to the subject due to camera shake is used, the shift amount Δx between the pixel position a (i) and the pixel position b (i) is not constant, Since the pixel position b (i) is not necessarily located between the pixel position a (i) and the pixel position a (i + 1), if the shift amount Δx is very small, the two image images A and B There is a possibility that the alignment cannot be performed with sufficient accuracy.
[0150]
Therefore, in order to improve this, in the present embodiment, the image data of the first actual captured image A and the image data of the second actual captured image B are interpolated and then combined. By doing so, as shown in FIG. 20C, the image data C (i) ′ and D (i) ′ are placed between the pixel position b (i) and the pixel position a (i + 1). Interpolation is performed and the two main captured images A and B are aligned with high accuracy, so that an image with high resolution can be obtained.
[0151]
Therefore, in the image composition processing in the super-resolution mode, the registration processing is performed after increasing the number of data for each of the main captured images A and B by a predetermined interpolation processing. Then, composite processing data is created from both the captured images A and B, and data of pixel positions corresponding to the composite processing data is averaged to create super-resolution image data.
[0152]
As described above, in the digital
[0153]
In the above embodiment, the thinning-out photographing is performed only three times at the maximum continuously. However, as shown in FIG. 21, the thinning-out photographing may be performed four times or more continuously. As shown in the figure, when the second thinned-out photographing MQ2 is completed, the positional deviation amount between the main-captured images A and B immediately using the two calculation images obtained by the thinned-out photographing MQ1 and MQ2 ( X, Y) may be performed. In this way, the positional deviation amount (X, Y) can be calculated quickly.
[0154]
In the above embodiment, the calculation images MF1, MF2,... Are taken separately from the main captured images A and B. However, as shown in FIG. 22, the first main captured image A is calculated as the calculation image MF1. You may make it use as. In the example of FIG. 22, the exposure operation for the actual captured image A is made shorter than the normal exposure time, while the underexposure due to this is corrected by level adjustment in signal processing, and this actual captured image is processed in the processing period C2 ′. The calculation image MF1 is acquired by thinning out the data of A. Then, during the exposure period of the main photographing Q2, the movement amount (X, Y) is calculated using the calculation image MF1 and the calculation image MF2 photographed by the thinning-out photographing MQ2. In this way, since the thinned-out photographing MQ1 can be omitted, the interval between the main photographing Q1 and the main photographing Q2 can be further narrowed, and the positional deviation amount (X, Y) between the main photographing images A and B can be reduced. There are advantages that can be done.
[0155]
Further, in the digital
[0156]
Although the present embodiment has been described for the case of capturing two captured images in succession, the present invention can also be applied to the case of capturing three or more captured images. Further, in the present embodiment, a change in shooting condition is detected using a plurality of images obtained by thinning-out shooting MQ. However, when thinning-out shooting MQ is not performed, the actual shooting image itself is used. For example, a change in photographing condition may be detected (for example, using an image obtained by thinning out the data of the actual photographed image to reduce the image size).
[0157]
【The invention's effect】
As described above, according to the present invention, the same subject is continuously photographed at least twice, and image mutual alignment processing and predetermined processing are performed on at least two photographed images obtained by the photographing. In the digital still camera capable of creating one image by performing the above-mentioned composite calculation processing, it is determined whether or not the shooting conditions have changed between the exposure operations for obtaining two shot images, and the shooting conditions Since the user is warned if the change has occurred, the user can prevent the efficiency of the photographing process from being lowered by canceling useless image composition processing after photographing by the warning.
[0158]
Further, if the shooting conditions are changed, the subsequent exposure operation is prohibited, so that useless shooting is prevented and the reduction in efficiency of the shooting process can be surely prevented.
[Brief description of the drawings]
FIG. 1 is a front view of a camera body of a digital still camera according to the present invention.
FIG. 2 is a diagram showing an arrangement of main members of the digital still camera.
FIG. 3 is a right side view showing an arrangement of main members built in the digital still camera.
FIG. 4 is a rear view of the digital still camera.
FIG. 5 is a diagram illustrating a configuration of an imaging surface of a color imaging element.
FIG. 6 is a diagram for explaining a method of selecting a shooting mode.
FIG. 7 is a block diagram showing an internal configuration of a digital still camera.
FIG. 8 is a diagram illustrating a method of recording an image file on a memory card.
FIG. 9 is a time chart showing a shooting operation in a blur adjustment mode.
FIG. 10 is a block configuration diagram showing an internal configuration of another digital still camera in which an ND filter is detachably provided between a lens and a CCD.
FIG. 11 is a flowchart illustrating a process for determining a change in shooting condition between two main captured images obtained by actual photographing using three arithmetic images obtained by thinning photographing.
FIG. 12 is a flowchart showing a process of calculating a movement amount between two actual captured images obtained by actual photographing using three arithmetic images obtained by thinning photographing.
FIG. 13 is a diagram illustrating an example of an amount of movement between three calculation images.
FIG. 14 is a diagram for explaining a method of calculating a movement amount between two actual captured images from each timing of three thinning shootings and a movement amount between images obtained by each thinning shooting; is there.
FIG. 15 is a flowchart illustrating a processing procedure for synthesizing two main captured images to create a blur adjustment image.
FIG. 16 is a diagram illustrating an initial state of a registration process for a real captured image.
FIG. 17 is a diagram for explaining a method of creating data for image composition processing from data of two main captured images after registration processing.
FIG. 18 is a time chart showing a photographing operation in the gradation adjustment mode.
FIG. 19 is a time chart showing a shooting operation in the super-resolution mode.
FIG. 20 is a diagram for explaining super-resolution processing.
FIG. 21 is a time chart showing another aspect of thinning shooting.
FIG. 22 is a time chart showing an aspect of thinned-out photography in which the first actual photography is also used as the first thinned-out photography.
FIG. 23 is a diagram showing how the camera angle changes when the exposure operation is continuously performed.
[Explanation of symbols]
1 Digital still camera
101 lens
102 Imaging unit
102a CCD (imaging means)
103 Signal processor
104 Light emission controller
105 Lens control unit
106 Display section
107 Operation unit
108 Card I / F
108 Overall control unit (discriminating means)
108a ROM
108b RAM
108c Exposure value calculator
108d Display control unit
108e Recording control unit
108f Playback control unit
108g Special exposure control unit (exposure control means, exposure prohibition means)
108h Image processing unit (image composition means)
109 card interface
110 Communication interface
2 Camera body
205 color image sensor
206 Shutter button
207 Display section (warning means)
208 Power switch
209 Quad switch
210 Switch group
3 interchangeable lenses
4 Electronic viewfinder (warning means)
5 Flash
MC memory card
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000301451A JP3727841B2 (en) | 2000-09-29 | 2000-09-29 | Digital still camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000301451A JP3727841B2 (en) | 2000-09-29 | 2000-09-29 | Digital still camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002112075A JP2002112075A (en) | 2002-04-12 |
JP3727841B2 true JP3727841B2 (en) | 2005-12-21 |
Family
ID=18782988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000301451A Expired - Fee Related JP3727841B2 (en) | 2000-09-29 | 2000-09-29 | Digital still camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3727841B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5011504B2 (en) * | 2005-07-22 | 2012-08-29 | カシオ計算機株式会社 | Image composition apparatus, image composition method, and program |
JP4818031B2 (en) | 2005-10-27 | 2011-11-16 | キヤノン株式会社 | Image processing apparatus and image processing method |
KR101446941B1 (en) * | 2007-12-10 | 2014-10-06 | 삼성전자주식회사 | Apparatus and method for storing image when the image is speedly captured |
JPWO2012033005A1 (en) * | 2010-09-08 | 2014-01-20 | 日本電気株式会社 | Imaging apparatus and imaging method |
-
2000
- 2000-09-29 JP JP2000301451A patent/JP3727841B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002112075A (en) | 2002-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3395770B2 (en) | Digital still camera | |
JP4904108B2 (en) | Imaging apparatus and image display control method | |
JP2001177741A (en) | Electronic camera and display system | |
JP2005269562A (en) | Photographing apparatus | |
JP2008182485A (en) | Photographing device and photographing method | |
JP2009147730A (en) | Moving image generating apparatus, moving image shooting apparatus, moving image generating method, and program | |
JP2008180906A (en) | Photographing device and focusing control method | |
JP2008028960A (en) | Photographing apparatus and exposure control method | |
JP2002112008A (en) | Image processing system and recording medium recording image processing program | |
JP3859131B2 (en) | Digital camera | |
JP4189820B2 (en) | Imaging apparatus and image recording method | |
JP3444281B2 (en) | IMAGE PROCESSING SYSTEM, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROCESSING PROGRAM OF THE METHOD | |
JP2007235640A (en) | Photographing device and method | |
JP4033456B2 (en) | Digital camera | |
JP2004023747A (en) | Electronic camera | |
JP2003051979A (en) | Electronic camera provided with image processing function and a computer-readable recording medium recording program enabling the electronic camera to realize the image processing function | |
JP4049291B2 (en) | Digital still camera | |
JP3601500B2 (en) | Digital camera | |
JP2000307941A (en) | Digital camera | |
JP2002209125A (en) | Digital camera | |
JP3727841B2 (en) | Digital still camera | |
JP4013026B2 (en) | Electronic camera and image display method during automatic focus adjustment | |
JP3843689B2 (en) | Digital camera | |
JP2008005248A (en) | Imaging apparatus | |
JP3395769B2 (en) | Digital still camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030401 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20041217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041224 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20041224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050929 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081007 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101007 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111007 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121007 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131007 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |