[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3727841B2 - Digital still camera - Google Patents

Digital still camera Download PDF

Info

Publication number
JP3727841B2
JP3727841B2 JP2000301451A JP2000301451A JP3727841B2 JP 3727841 B2 JP3727841 B2 JP 3727841B2 JP 2000301451 A JP2000301451 A JP 2000301451A JP 2000301451 A JP2000301451 A JP 2000301451A JP 3727841 B2 JP3727841 B2 JP 3727841B2
Authority
JP
Japan
Prior art keywords
image
exposure
images
photographed
exposure control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000301451A
Other languages
Japanese (ja)
Other versions
JP2002112075A (en
Inventor
勝仁 新川
康裕 森本
広明 久保
吉宏 原
Original Assignee
コニカミノルタフォトイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタフォトイメージング株式会社 filed Critical コニカミノルタフォトイメージング株式会社
Priority to JP2000301451A priority Critical patent/JP3727841B2/en
Publication of JP2002112075A publication Critical patent/JP2002112075A/en
Application granted granted Critical
Publication of JP3727841B2 publication Critical patent/JP3727841B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、同一の被写体に対して少なくとも2回連続撮影を行ない、この連続撮影によって得られた複数枚の撮影画像を所定の画像合成処理で合成して画質を改善したり、映像効果を高めた画像を得ることのできるデジタルスチルカメラに関する。
【0002】
【従来の技術】
近年、デジタルスチルカメラの技術分野においては、連続して撮影した複数枚の撮影画像を所定の画像処理を行なった後、合成することで、各撮影画像よりも画質や映像効果を高めた画像を得ることのできるデジタルスチルカメラが商品化されている。
【0003】
例えばビクター社製のデジタルスチルカメラ「GC−X1“PIXSTER”」は、撮像素子を微小変位させて連続して2回撮影を行い、両撮影画像を合成することで解像度の高い撮影画像を得ることができる機能を備えている。また、このデジタルスチルカメラは、被写体の明るい部分と暗い部分とに合わせて2種類の露出制御値を設定し、それらの露出制御値で連続して2回撮影を行い、両撮影画像を合成することで暗い部分から明るい部分まで適切な濃度の撮影画像を得ることができる機能も備えている。
【0004】
【発明が解決しようとする課題】
近年、デジタルスチルカメラに適用される撮像素子の高画素化が進み、200万〜300万画素の撮像素子を用いたものも商品化されているが、このような高密度の撮像素子を用いたデジタルスチルカメラに上述の画像合成機能を設けた場合、画質及び映像効果の高い画像が得られるという優れた価値をデジタルスチルカメラに付加するができる。
【0005】
しかし、撮影画像のデータ数が増大すると、画像合成処理の時間が長くなり、合成結果がなかなか得られないという不都合が生じる。更には画像合成用に撮影された複数枚の画像が適切でないときは、ユーザに長時間の画像合成処理を待たした上、不本意な合成画像を提供するという問題が生じる。
【0006】
デジタルスチルカメラで同一の被写体を連続撮影して得られた2枚の画像を合成する場合、基本的に両画像の内容は同一であることが必要であるが、被写体が静止状態であっても撮影者がデジタルスチルカメラを手に持って連続撮影する場合は、図23に示すように微小なカメラアングルの変化に起因して最初の撮影と2回目の撮影との間にフレーミング(撮影範囲)のずれが発生し、これにより両撮影画像の内容は完全に一致しないことになる。
【0007】
このため、2枚の撮影画像の画像合成処理においては、通常、両撮影画像の位置合わせ処理(画像マッチング処理)を行った後、対応する画素位置のデータについて所定の合成演算処理が行なわれる。しかし、画像合成処理おける位置合わせ処理は、一般に、一方の画像を基準(以下、基準画像という。)として他方の画像(以下、参照画像という。)を所定の移動量で平行移動や回転等を行なうとともに、移動位置毎に所相の相関関数を用いて相関値の演算を行ない、最も相関値の大きい移動量を両画像の位置ずれ量として算出するもので、参照画像の移動毎に相関値演算を繰り返すため、処理時間が長く、このため、画像合成処理の処理時間を長くする要因となっている。
【0008】
従って、デジタルスチルカメラに上述の画像合成機能を設ける場合、必ず画像号処理において位置合わせ処理を行なう必要があるから、データ数の増加に伴い画像合成処理に長時間を要するという問題は重要である。取り分け画像合成用の撮影画像が不適切であることに起因して合成画像が不本意なものになるという問題は、画像合成機能の効果を半減させ、その機能の付加価値を著しく低下させるだけでなく、例えば画像合成処理により不必要に電力を消費するという別の問題の要因ともなるから重大である。
【0009】
本発明は、上記課題に鑑みてなされたものであり、連続撮影した画像を合成することで画質や映像効果の高い画像を得ることのできるデジタルスチルカメラにおいて、撮影画像が不適切であるときは、ユーザに警告したり、画像合成処理を強制的に禁止することでそれに起因する問題を軽減し、画像合成処理機能を有効に活用することのできるデジタルスチルカメラを提供するものである。
【0010】
【課題を解決するための手段】
本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたものである。
【0011】
なお、上記撮影条件は、撮影画像間輝度差、焦点位置のずれ量、色バランスのずれ量等である。
【0012】
上記構成によれば、レリーズが指示されると、撮像手段の露光動作が少なくとも2回連続して行なわれ、同じ被写体に対して少なくとも2枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化すると、これらの撮影画像を用いた画像合成処理が不適切であること示す警告が行なわれる。
【0013】
例えば撮影画像間の輝度差が所定の閾値以上であると、両撮影画像の合成画像の濃度バランスが不適切になるので、警告が行なわれる。また、撮影画像間の焦点位置のずれ量(ピントのずれ具合)が所定の閾値以上であると、両撮影画像の合成画像のピント調整が不適切になるので、警告が行なわれる。また、撮影画像間の色バランスのずれ量が所定の閾値以上であると、両撮影画像を合成した画像の色バランスが不適切になるので、警告が行なわれる。
【0014】
また、本発明は、被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたものである。
【0015】
上記構成によれば、レリーズが指示されると、露光動作が少なくとも2回連続して行なわれ、同じ被写体に対して少なくとも2枚の画像が撮影される。そして、判別手段で撮影画像間で撮影条件が所定の閾値以上に変化したか否かが判別され、撮影画像間で撮影条件が所定の閾値以上に変化していると、これらの撮影画像を用いた画像合成処理が不適切であるので、その後の撮影画像を取り込むための露光動作が禁止される。従って、撮影画像は画像合成処理も行なわれない。
【0016】
【発明の実施の形態】
図1は本発明に係る画像処理システムに適用されるデジタルスチルカメラ(カラー撮像装置)のカメラ本体の正面図、図2は同デジタルスチルカメラに内蔵された主要部材の配置を示す上面図、図3は、同デジタルスチルカメラに内蔵された主要部材の配置を示す右側面図、図4は同デジタルスチルカメラの背面図である。
【0017】
デジタルスチルカメラ1は、カメラ本体2とこのカメラ本体2の正面略中央に着脱可能に装着されるズームレンズからなる交換レンズ3とからなる一眼レフレックスカメラで構成されている。カメラ本体2は、正面略中央に交換レンズ3が装着されるマウント部201が設けられ、正面左端部にグリップ部202が設けられている。
【0018】
グリップ部202の内部には電池収納室203とカード収納室204とが設けられ、電池収納室203には4本の単3形乾電池E1〜E4(カメラの電源電池)が収納され、カード収納室204には撮影画像の画像データを記録するためのメモリカードMCが着脱可能に収納されるようになっている。
【0019】
マウント部201の下部には装着された交換レンズ3との電気的接続を行なうための複数個の接点STと機械的接続を行なうための複数個のカプラーCPとが設けられている。電気的な接点STは、交換レンズ3に内蔵されたレンズROM301(図3参照)から当該レンズに関する固有の情報(開放F値や焦点距離等の情報)をカメラ本体2内の全体制御部(図6参照)に読み出したり、交換レンズ3内のズームレンズの位置やフォーカスレンズの位置の情報を全体制御部に出力するためのものである。カプラーCPはカメラ本体2内に設けられたズームレンズ駆動用のモータZM(図3参照)の駆動力とフォーカスレンズ駆動用のモータFM(図3参照)の駆動力とを交換レンズ3側に伝達するためのものである。
【0020】
マウント部201に交換レンズ3が装着されたときの当該レンズ3の光軸L上であってカメラ本体2内の適所にカラー撮像素子205が配設されている。カラー撮像素子205(以下、CCD205という。)は、図5に示すようにCCD(Charge-Coupled Device)からなるエリアセンサ205Aの各画素の表面に、R(赤),G(緑),B(青)のカラーフィルタ205Bが市松模様状に貼り付けられた、いわゆるベイヤー方式と呼ばれる単板式カラーエリアセンサで構成され、例えば1600×1200=192万個の画素数を有している。
【0021】
なお、図5に示すようにエリアセンサのi行j列目の画素位置を(i,j)(i=1,2,…n、j=1,2,…m)とし、n=1600、m=1200とすると、R,G,Bの各カラーフィルタは、
R;(2h+1,2k+1)
G;(2h+2,2k+1),(2h+1,2k+2)
B;(2h+2,2k+2)
但し、h=0,1,2,…n/2(=800)、k=0,1,2,…m/2(=600)の画素位置に配置されている。
【0022】
カメラ本体2のグリップ部202の上面にはシャッタボタン206が設けられている。シャッタボタン206の半押し操作と全押し操作とは後述するスイッチS1,S2により検出されるようになっている。スイッチS1がオンになると(シャッタボタン206が半押しされると)、被写体の静止画を撮影するための準備動作(露出制御値の設定や焦点調節等の準備動作)が行なわれ、スイッチS2がオンになると(シャッタボタン206が全押しされると)、撮影動作(CCD205を露光し、その露光によって得られた画像信号に所定の画像処理を行なってメモリカードMCに記録する一連の動作)が行なわれる。
【0023】
カメラ本体2の上面の略中央には電子ビューファインダ4(EVF;Electronic View Finder)とポップアップタイプのフラッシュ5とが設けられている。電子ビューファインダ4はCCD205で撮影された被写体のモニタ画像(撮影待機状態においてCCD205により動画撮影された被写体の画像)を表示するカラー液晶表示デバイスからなる表示部401(以下、LCD表示部401という。)とこのカラー液晶表示デバイスに表示されたモニタ画像をファインダ窓403の外側に導く接眼レンズ402とを備えている。
【0024】
撮影待機状態では電子ビューファインダ4に被写体のモニタ画像(動画像)が表示されるので、撮影者はファインダ窓403を覗くことによってモニタ画像により被写体を視認することができる。
【0025】
なお、モニタ画像はLCD表示部401に表示するためのものであるから、待機状態においては、CCD205を通常の静止画撮影と異なる動作モード、所謂ドラフトモードで動作させてLCD表示部401の表示サイズと同一のサイズのモニタ画像が撮影される。すなわち、本実施形態では、LCD表示部401は画素数200×150で構成されているので、待機状態においては、全画素で受光はするが、受光データの読み出しは縦横両方向について8画素ピッチで行なわれ(1/8の間引き読み出しが行なわれて)、これにより画素数200×150のモニタ画像が高速撮影可能になっている。
【0026】
カメラ本体2の背面の略中央にはカラー液晶表示デバイスからなる表示部207(以下、LCD表示部207という。)が設けられている。LCD表示部207は、記録モードにおいて撮影モードや撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカードMCに記録された撮影画像を再生表示するものである。
【0027】
撮影モードには露出制御に関するモードと画像合成処理に関するモードとが含まれる。露出制御に関するモードとはレリーズ時の露出制御値(絞りの絞り値と露光時間)の決定の仕方に関するモードである。露出制御に関するモードには少なくともプログラムモード、シャッタ優先モード、絞り優先モードが含まれる。露出制御値は予め設定された複数のプログラム線図のいずれか1つを用いて設定されるようになっており、プログラムモードでは標準的なプログラム線図を用いて露出制御値が設定され、シャッタ優先モードでは絞り値よりシャッタ速度(露光時間)を優先するようなプログラム線図を用いて露出制御値が設定され、絞り優先モードではシャッタ速度より絞り値を優先するようなプログラム線図を用いて露出制御値が設定される。
【0028】
画像合成処理に関するモードとは、レリーズ時に撮影条件を変えて、若しくは撮影条件をそのままで連続して2回撮影を行ない、その撮影によって得られた2枚の撮影画像を所定の画像合成処理により合成して元の撮影画像よりも画質や映像効果の高い1の画像を作成し、メモリカードMCに記録するモードである。
【0029】
画像合成処理に関するモードには少なくとも「ボケ味調整モード」、「階調調整モード」、「超解像モード」が含まれる。ボケ味調整モードとは、1回のシャッタ操作で合焦位置を変化させて連続して2回の撮影動作を行い、例えば主被写体(例えば人物等)に対して焦点を合せた撮影画像Aと主被写体の背景に焦点を合わせた撮影画像Bとを取り込み、両撮影画像A,Bを合成して所望のボケ具合を有する画像を得るモードである。
【0030】
階調調整モードとは、1回のシャッタ操作で露出条件を変化させて連続して2回の撮影動作を行い、例えば主被写体に対して露出を合せた撮影画像Aと主被写体の背景に露出を合わせた撮影画像Bとを取り込み、両撮影画像A,Bを合成することにより、例えば画面全体に適正な濃度分布を有する画像や主被写体と背景とのコントラストを意図的に大きくし、創作性の強い画像を得るモードである。
【0031】
超解像モードとは、1回のシャッタ操作でピントや露出条件を変えないで連続して2回の撮影動作を行い、1回目の撮影と2回目の撮影とで僅かに異なるカメラアングルの差異により画面内の主被写体の位置が微小変化した撮影画像Aと撮影画像Bとを取り込み、両撮影画像A,Bを合成することにより、元の撮影画像よりも解像度の高い画像を得るモードである。
【0032】
LCD表示部207の左側には電源スイッチ208が設けられている。この電源スイッチ208は記録モード(写真撮影の機能を果たすモード)及び再生モード(記録画像をLCD表示部207に再生するモード)を切換設定するモード設定スイッチを兼ねている。すなわち、電源スイッチ208は3点スライドスイッチからなり、接点を中央の「OFF」位置に設定すると、電源がオフになり、接点を上方の「REC」位置に設定すると、電源がオンになるとともに記録モードが設定され、接点を下方の「PLAY」位置に設定すると、電源がオンになるとともに再生モードが設定される。
【0033】
LCD表示部207の右側上方位置には4連スイッチ209が設けられている。4連スイッチ209は円形の操作ボタンを有し、この操作ボタンにおける上下左右の4方向の押圧操作がそれぞれ検出されるようになっている。4連スイッチ209は多機能化され、例えばLCD表示部207に表示されるメニュー画面で選択された項目を変更したり、インデックス画面で選択された再生対象のコマを変更するための操作スイッチとして機能するとともに、左右方向のスイッチは交換レンズ3のズーム比を変更するためのスイッチとしても機能するようになっている。
【0034】
メニュー画面では、例えば複数の項目が配列表示され、現在選択されている項目に選択状態を示す表示(例えばカーソルや反転表示等)が行なわれる。例えば撮影モードの画像合成処理に関するモードを選択する場合、LCD表示部207には、図6に示すようなメニュー画面が表示される。このメニュー画面における「通常撮影」の項目は、銀塩カメラにおける撮影動作と同様の通常の撮影を行なうモードである。
【0035】
図6のメニュー画面において、4連スイッチ209の上方向スイッチが押されると、黒三角印のカーソルKの表示位置(すなわち、カーソルKが示す項目)が上方向にサイクリックに移動し、4連スイッチ209の下方向スイッチが押されると、カーソルKが示す項目表示位置が下方向にサイクリックに移動する。そして、スイッチ群210の確定スイッチ210bが押されると、その時カーソルKで指示されている項目(図6では階調調整モード)が撮影モードとして設定される。
【0036】
従って、撮影者は撮影モード選択用のメニュー画面において、4連スイッチ209を上下方向に操作して所望の撮影モードを選択し、確定スイッチ210dを操作することでその撮影モードを設定することができる。なお、露出制御に関するモードについても同様の方法で所望の撮影モードを設定することができる。
【0037】
また、インデックス画面ではメモリカードMCに記録されている全ての画像から9コマ分のサムネイル画像が配列表示され、現在選択されているコマに選択されている表示(例えば点滅表示や枠表示等)が行なわれる。4連スイッチ209の上下左右の何れかの方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示がその方向の項目やコマに移動する。例えば上方向スイッチを押圧すると、メニュー画面やインデックス画面の選択状態を示す表示が上方向の項目やコマに移動する。
【0038】
交換レンズ3のズーム操作では、4連スイッチ209の右方向スイッチを押圧すると、交換レンズ3がワイド側に連続的に移動し、4連スイッチ209の左方向スイッチを押圧すると、交換レンズ3がテレ側に連続的に移動する。
【0039】
LCD表示部207の右側下方位置にはLCD表示部207の表示や表示内容に関する操作を行なうためスイッチ群210が設けられている。スイッチ群210には取消スイッチ210a、確定スイッチ210b、メニュー表示スイッチ210c及び表示スイッチ210dが含まれる。
【0040】
取消スイッチ210aはメニュー画面で選択された内容を取り消すためのスイッチである。確定スイッチ210bはメニュー画面で選択された内容を確定するためのスイッチである。メニュー表示スイッチ210cはLCD表示部207にメニュー画面を表示させたり、メニュー画面の内容切り換えるためのスイッチである。メニュー表示スイッチ210cを押圧する毎にメニュー画面に切り換わる。表示スイッチ210dはLCD表示部207への表示を行なわせたり、メニュー画面の内容を切換えたりするスイッチである。電源電池E1〜E4の節電を図るため、カメラ起動時はLCD表示部207の表示は行なわれないようになっている。表示スイッチ210dを押圧する毎にLCD表示部207の表示と非表示とが交互に行なわれる。
【0041】
図7は、デジタルスチルカメラ1の内部構成を示すブロック構成図である。
【0042】
デジタルスチルカメラ1は、主にレンズ101、撮像部102、信号処理部103、発光制御部104、レンズ制御部105、表示部106、操作部107及び全体制御部108で構成されている。
【0043】
レンズ101は交換レンズ3に相当するものである。レンズ101はフォーカス用レンズ101a及びズーム用レンズ101bを備え、内部に透過光量を調節するための絞り101cが設けられている。
【0044】
撮像部102はレンズ101を通して入射した被写体光像を画像信号(電気画像)に光電変換して取り込むものである。撮像部102にはCCD205に相当するCCD102a、このCCD102aの撮像動作を制御するタイミングジェネレータ102b及びタイミングジェネレータ102bの駆動を制御するタイミング制御回路102cが含まれる。
【0045】
CCD102aはタイミングジェネレータ102bから入力される駆動制御信号(積分開始信号/積分終了信号)に基づいて被写体光像を所定の時間(露光時間)だけ受光して画像信号(電荷蓄積信号)に変換し、その画像信号をタイミングジェネレータ102bから入力される読出制御信号(水平同期信号、垂直同期信号、転送信号等)を用いて信号処理部103に出力する。このとき、画像信号はR,G,Bの各色成分に分離されて信号処理部103に出力される。すなわち、画素位置(2h+1,2k+1)の各画素で受光された画像信号を順次読み出すことでRの色成分の画像信号が出力され、画素位置(2h+2,2k+1),(2h+1,2k+2)の各画素で受光された画像信号を順次読み出すことでGの色成分の画像信号が出力され、画素位置(2h+2,2k+2)の各画素で受光された画像信号を順次読み出すことでBの色成分の画像信号が出力される。
【0046】
タイミングシェネレータ102bはタイミング制御回路102cから入力される制御信号に基づいて駆動制御信号を生成するとともに、基準クロックに基づいて読出制御信号を生成し、CCD102aに出力する。タイミング制御回路102cは撮像部102の撮影動作を制御するものである。タイミング制御回路102cは全体制御部108から入力される制御信号に基づいて撮影制御信号を生成する。この撮影制御信号には記録モードにおいて撮影待機中に被写体の動画像(以下、ライブビュー画像という。)を電子ビューファインダ4にモニタ表示するための撮影の制御信号、シャッタボタン6が操作されて被写体の静止画(以下、記録画像という。)を撮影するための制御信号、基準クロック、CCD102aから出力された画像信号を信号処理部103で信号処理するためのタイミング信号(同期クロック)などが含まれる。このタイミング信号は信号処理部103内の信号処理回路103a及びA/D変換回路103bに入力される。
【0047】
信号処理部103はCCD102aから出力される画像信号に所定のアナログ信号処理及びデジタル信号処理を行うものである。画像信号の信号処理は当該画像データを構成する各画素の受光信号毎に行なわれる。以下、説明の便宜上、各画素の受光信号とこれらの集合により撮影画像を構成する画像信号とを区別するため、必要に応じて各画素の受光信号を画素信号(アナログ信号)もしくは画素データ(デジタル信号)という。
【0048】
信号処理部103にはアナログ信号処理回路103a、A/D変換回路103b、黒レベル補正回路103c、WB回路103d、γ補正回路103e及び画像メモリ103fが含まれる。なお、黒レベル補正回路103c、WB回路103d及びγ補正回路103eはデジタル信号処理を行う回路を構成するものである。
【0049】
アナログ信号処理回路103aは主にCDS回路(相関二重サンプリング)回路及びAGC(オートゲインコントロール)回路からなり、CCD102aから出力される画像信号(各画素で受光された信号。アナログ信号)のサンプリングノイズの低減と信号レベルの調整を行う。
【0050】
AGC回路におけるゲインコントロールには、絞り101cの絞り値とCCD205の露光時間とで適正露出が得られなかった場合(例えば非常に低輝度の被写体を撮影する場合等)の撮影画像のレベル不足を補償する場合も含まれる。
【0051】
A/D変換回路102bはアナログ信号処理回路103aから出力される画像信号をデジタルの信号(以下、画像データという。)に変換するものである。A/D変換回路102bは各画素で受光された画素信号を、例えば10ビットの画素データに変換する。
【0052】
黒レベル補正回路103cはA/D変換された各画素データの黒レベルを基準の黒レベルに補正するものである。WB回路103dは撮影画像のホワイトバランスを調整するものである。WB回路103dは全体制御部108から入力されるレベル変換テーブルを用いてR,G,Bの各色成分の画素データのレベルを変換することで撮影画像のホワイトバランスを調整する。なお、レベル変換テーブルの各色成分の変換係数は全体制御部108から撮影画像毎に設定される。γ補正回路103eは画素データのγ特性を補正するものである。γ補正回路103eは予め設定された補正テーブルを用いて各画素データのレベルを補正する。
【0053】
画像メモリ103fは信号処理の終了した画像データを一時保存するメモリである。画像メモリ103fは少なくとも2フレーム分の画像データを記憶し得る容量を有している。これは、ボケ味調整モード等の撮影では2回連続して露光が行なわれ、2フレーム分の画像データが取り込まれるから、これらをそれぞれ保存できるようにするためである。なお、1フレーム分の画像データを記憶し得る記憶容量は、例えばCCD102aの画素数を1600×1200=192万とすると、192万個の画素データを記憶し得る容量である。
【0054】
発光制御部104は全体制御部108から入力される発光制御信号に基づいてフラッシュ5の発光を制御する。発光制御信号には発光準備の指示、発光タイミング及び発光量とが含まれる。発光制御部104は全体制御部108から発光準備の指示があると、メインコンデンサを充電して発光可能状態にし、発光タイミング信号に同期してメインコンデンサの蓄積電荷を放電することによりフラッシュ5を発光させる。そして、全体制御部108から入力される発光停止信号に基づいてメインコンデンサの蓄積電荷の放電を停止させる。これによりフラッシュ5は所要の発光量で発光される。
【0055】
レンズ制御部105はレンズ101内のフォーカス用レンズ101a、ズーム用レンズ101b及び絞り101cの各部材の駆動を制御するものである。レンズ制御部105は絞り101cの絞り値を制御する絞り制御回路105a、フォーカスモータFMの駆動を制御するフォーカス制御回路105b及びズームモータZMの駆動を制御するズーム制御回路105cを備えている。
【0056】
絞り制御回路105aは全体制御部108から入力される絞り値に基づいて絞り101aを駆動し、その開口量を当該絞り値に設定する。フォーカス制御回路105bはフォーカスモータFMの駆動を制御し、フォーカスモータFMの駆動力はカプラーCP1を介してフォーカス用レンズ101aに伝達される。フォーカス制御回路105bは全体制御部108から入力されるAF制御信号(例えば駆動パルス数等の制御値)に基づいてフォーカスモータFMを駆動し、フォーカス用レンズを焦点位置に設定する。ズーム制御回路105cは全体制御部108から入力されるズーム制御信号(4連スイッチ209の操作情報)に基づいてズームモータZMを駆動し、ズーム用レンズ101bを4連スイッチ209で指定された方向に移動させる。すなわち、ズーム制御回路105cは全体制御部108から4連スイッチ209の右方向の操作情報が入力されると、ズームモータZMを正方向に駆動してズーム用レンズ101bをワイド側に移動させ、4連スイッチ209の左方向の操作情報が入力されると、ズームモータZMを逆方向に駆動してズーム用レンズ101bをテレ側に移動させる。
【0057】
表示部106はLCD表示部207への表示と電子ビューファインダ4への表示とを行うものである。表示部106にはLCD表示部207に相当するディスプレイ106a及びVRAM106bと電子ビューファインダ4内のLCD表示部401に相当するディスプレイ106c及びVRAM106dとが含まれる。ディスプレイ106aは、例えば200×150=30000の画素数を有し、ディスプレイ106cは、例えば200×150=30000の画素数を有している。従って、VRAM106bはディスプレイ106aの画素数に対応して略3万個の画素データが記憶可能になされ、VRAM106dはディスプレイ106cの画素数に対応して略3万個の画素データが記憶可能になっている。
【0058】
撮影待機中ではCCD102aがドラフトモードで駆動され、CCD102aから画素数200×150のフレーム画像が順次、出力される。各フレーム画像の画像信号は所定の信号処理が行なわれた後、画像メモリ103fに格納されるとともに、順次、全体制御部108に読み出され、VRAM106dに転送される。これにより被写体のライブビュー画像がディスプレイ106c(LCD表示部401の表示面)に表示される。また、表示スイッチ210dに操作によりLCD表示部207の表示が指示されると、VRAM106bに転送され、これにより被写体のモニタ画像がディスプレイ106a(LCD表示部207の表示面)にも表示される。
【0059】
更にメニュースイッチ210cの操作によりメニュー表示が指示されると、全体制御部108内のR0M108aに記憶されたメニュー画面の画像データがVRAM106bに読み出され、これによりディスプレイ106aの表示内容がメニュー画面に切り換えられる。
【0060】
再生モードでは全体制御部108によりメモリカードMCに記録された各コマ画像ファイルから撮影画像のサムネイル画像が読み出され、所定のフォーマットに従って配列されてインデックス表示用の画像データが作成され、その画像データがVRAM106bに読み出される。これによりディスプレイ106aにはメモリカードMCに記録された撮影画像の一覧が表示される。そして、4連スイッチ209の操作により再生すべきコマが指定されると、メモリカードMCに記録されたそのコマに対応する画像ファイルからCCDRAW形式で記録された撮影画像の画像データが読み出され、ディスプレイ106aの表示サイズに調整されてVRAM106bに転送される。これにより撮影画像がディスプレイ106a(LCD表示部207の表示面)に再生表示される。
【0061】
操作部107はカメラ本体2に設けられた撮影や再生に関する操作部材の操作情報を全体制御部108に入力するものである。操作部107から入力される操作情報にはシャッタボタン206、電源スイッチ208、4連スイッチ209、スイッチ群210等の各操作部材の操作情報が含まれる。
【0062】
全体制御部108はデジタルスチルカメラ1の有する撮影機能及び再生機能を集中制御するものである。全体制御部108にはカードインターフェース109を介してメモリカードMCが接続されている。また、通信用インターフェース110を介してコンピュータPCが外部接続されるようになっている。
【0063】
全体制御部108はマイクロコンクピュータからなり、撮影機能及び再生機能における種々の具体的な処理を行なうための処理プログラムや上述の撮像部102、信号処理部103、発光制御部104、レンズ制御部105、表示部106等の駆動を制御するための制御プログラムが記憶されたROM108aと処理プログラム及び制御プログラムに従って種々の演算作業を行なうためのRAM108bを備えている。
【0064】
全体制御部108の行なう具体的な処理には、ライブビュー画像を取り込んだり、被写体を撮影する際の露出制御値(CCD102aの露光時間Tv〔Ev値〕と絞り101cの絞り値Av〔Ev値〕)を算出する処理(露出制御値演算処理)、記録モードにおいてCCD102aから画像メモリ103fに取り込まれたライブビュー画像を電子ビューファイダ4に表示したり、再生モードにおいてメモリカードMCから画像メモリ103fに読み出された記録画像をLCD表示部207に表示する処理(画像表示処理)、記録モードにおいてCCD102aから画像メモリ103fに取り込まれた記録画像をカードメモリMCに記録する処理(記録処理)、再生モードにおいてメモリカードMCから再生すべき記録画像を画像メモリ103fに読み出す処理(再生処理)、ボケ味調整モード等の特殊撮影モードにおいて連続して露光動作を行なうとともに、各露光動作の前後で連続撮影画像の位置ずれ量を算出するための画像を取り込むための露光動作を行なわせる処理(特殊露光制御処理)及びその露光制御で得られた2枚の撮影画像の合成を行なう処理(画像合成処理)等が含まれる。
【0065】
露出値演算部108c、表示制御部108d、記録制御部108e、再生制御部108f、特殊露光制御部108g及び画像処理部108hは全体制御部108における上述の各処理を機能ブロックで表わしたものである。
【0066】
露出値定部108cは露出値演算処理を行なうもので、ライブビュー画像のGの色成分の画像データを用いて被写体の輝度を判定し、その判定結果に基づいて露出制御値を演算する。
【0067】
表示制御部108dは画像表示処理を行なうもので、上述の表示部106の表示動作、すなわち、画像メモリ103fに一時保存されている画像データを読み出し、必要に応じて画像サイズを表示先の画像サイズに調整した後、VRAM106cまたはVRAM106dに転送する動作を行なう。
【0068】
記録制御部108eは記録処理を行なうものである。記録制御部108eは、通常撮影モードにおいて、シャッタボタン206により撮影が指示されると、撮影指示後に画像メモリ103fに一時記憶された画像データ(静止画の画像データ)をRAM108bに読み出し、例えば2次元DCT変換、ハフマン符号化等のJPEG方式による所定の圧縮処理を行なって記録用の画像データを作成する。
【0069】
また、レリーズ直前にドラフトモードで撮影され、画像メモリ103fに格納されたフレーム画像をRAM108bに読み出すことで、画素数200×150のサムネイル画像を作成する。更に、これらの記録用の画像データに付随して記録される撮影画像に関するタグ情報を作成する。このタグ情報にはレンズ名称、コマ番号、撮影時の焦点距離、撮影時のFナンバー、焦点位置、被写体輝度、ホワイトバランス調整値、撮影モード、圧縮率、撮影日、フラッシュ発光の有無等が含まれる。
【0070】
そして、記録制御部108eは圧縮された撮影画像及びサムネイル画像の画像データにタグ情報を添付してEXIF(Exchangeable Image File Format)形式の画像ファィルを作成し、この画像ファィルをメモリカードMCに記録する。
【0071】
なお、ボケ味調整モード、階調調整モード及び超解像モードの撮影モードにおいては、画像処理部108hで合成された合成画像に対して2次元DCT変換、ハフマン符号化等のJPEG方式による所定の圧縮処理を行なって記録用の画像データを作成し、この圧縮合成画像及びサムネイル画像の画像データにタグ情報を添付してTIFF(Tag Image File Format)形式の画像ファィルを作成し、この画像ファィルをメモリカードMCに記録する。
【0072】
従って、合成前の2枚の撮影画像はメモリカードMCに記録されない。これは、カメラ本体で画像合成処理まで行なうため、メモリカードMCを効率よく活用するためである。パソコン等で別途画像合成をする際の利便性を考慮して合成前の2枚の撮影画像をメモリカードMCに記録させるようにしてもよい。
【0073】
図8は、メモリカードMCへの画像ファイルの記録方法を示す図である。
【0074】
メモリカードMCには先頭から各画像ファイルがファイル番号Xの順に記憶される。各画像ファイルには、「Pn.Y」のファイル名が付与され、「n」は画像ファイルが作成された順番を示す6桁の番号であり、「Y」は画像データの形式を示す記号である。例えば「Y」が「JPG」である場合、画像データはJPEG方式で圧縮されているを示す。
【0075】
メモリカードMCにおける各画像ファイルの記録領域は3つの領域からなり、上から各領域にタグ情報のデータ、撮影画像のデータ及びサムネイル画像のデータが記憶される。タグ情報データ及びサムネイル画像データのデータサイズは画像ファィルによって変化しないが、撮影画像データのデータサイズは圧縮率や撮影モードによって変化する。このため、メモリカードMCの画像ファィルの記憶領域に記憶可能なファイル数は各画像ファィルの撮影画像データのデータサイズによって変化する。
【0076】
再生制御部108fはメモリカードMCに記録された撮影画像のLCD表示部207への再生処理を行なうものである。再生制御部108fは、電源スイッチ208により再生モードが設定されると、メモリカードMCに記録された各画像ファイルからサムネイル画像を読み出し、順次、所定のインデックスフォーマットに従ってVRAM106bに記憶する。例えば1ページ当たり、9枚のサムネイル画像が3×3に2次配列されるようにVRAM106bに記憶する。従って、これによりLCD表示部207に9枚の2次元配列されたサムネイル画像がインデックス表示される。
【0077】
インデックス表示されたサムネイル画像に対して再生すべきコマのサムネイル画像が4連スイッチ209及びスイッチ群210によって指定されると、再生処理部108fは、そのコマに対応する画像ファィルから撮影画像のデータを読み出し、所定の伸長処理を行なった後、画像メモリ103fに記憶する。この画像メモリ103fに読み出されたデータは、上述したように表示制御部108dによりデータサイズが調整されてVRAM106bに転送され、これによりLCD表示部207に再生表示される。
【0078】
特殊露光制御部108gは、ボケ味調整モード、階調調整モード及び超解像モードが設定されている状態でシャッタボタン6が全押しされたときのCCD102aの露光動作を制御する。特殊露光制御部108gは、基本的にS2スイッチがオンになると、画像合成用の画像(以下、この画像を本撮影画像という。)を取り込むため、連続してCCD102aの露光動作を2回繰り返すが、この2枚の本撮影画像の位置ずれ量を演算するための画像(以下、この画像を演算用画像という。)を少なくとも2枚取り込むため、本撮影画像用の各露光動作の前後で演算用画像用の露光動作を行なわす。
【0079】
演算用画像は位置ずれ量を算出するためのもので、本撮影画像のように高画質を必要しないので、本実施の形態では、ドラフトモードでCCD102aを駆動して演算用画像を取り込むようにしている。すなわち、演算用画像の撮影は、本撮影画像よりも少ない画素数で行なっている。
【0080】
撮影待機状態においては、CCD102aはドラフトモードで露光動作が繰り返されているので、この状態でS2スイッチがオンになると、特殊露光制御部108gは、例えばCCD102aの駆動モードをドラフトモード(全画素の受光データのうち、所定の画素数だけ間引いて読み出すモード。本実施形態では画素数の間引率を1/8としている。)からノーマルモード(全画素の受光データを読み出すモード)に切り換えて1回目の本撮影画像用の露光動作を行ない、この後、再度ドラフトモードに切り換えて演算用画像用の露光動作を少なくとも2回行い、更にノーマルモードに切り換えて2回目の本撮影画像用の露光動作を行なう。なお、演算用画像は、本撮影画像の前後であれば、必ずしも連続的に取り込まれる必要はなく、本撮影画像と演算用画像とを交互に取りこむようにしてもよい。
【0081】
なお、ボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作の詳細は後述する。
【0082】
画像処理部108hは、ボケ味調整モード、階調調整モード及び超解像モードで連続的に撮影された2枚の本撮影画像のレジストレーション処理(位置合わせ処理)をした後、両本撮影画像の対応する画素位置毎に両本撮影画像のデータを用いて所定の演算処理を行なって合成画像のデータを作成する。
【0083】
レジストレーション処理は、画像合成処理において画面内の同一の図柄を正確に合成するため、合成対象となる2枚の画像の位置を合わせるものである。レジストレーション処理は、一般に、例えば一方の撮影画像Aを基準にして他方の撮影画像Bを拡大/縮小、平行移動、回転等を行ないつつ両撮影画像A,Bを照合して、両撮影画像A,Bが一致する撮影画像Bの拡大率、平行移動量及び回転角等が算出される。一方の撮影画像Aに対する他方の撮影画像Bの一致度は、例えば撮影画像Bの平行移動量を引数とする両撮影画像A,Bのデータのレベル差の絶対値の総和(相関関数)が最小となる平行移動量が撮影画像Bを撮影画像Aに一致させるための移動量(すなわち、位置ずれ量)として算出される。
【0084】
なお、本実施形態では、2枚の画像が連続して撮影された画像で、カメラぶれによる両本撮影画像の位置ずれが主として直線的なぶれに起因することを考慮して、本撮影画像Bを本撮影画像Aに一致させるための平行移動量(X,Y)(すなわち、本撮影画像A,B間の位置ずれ量)だけを演算するようにしている。また、この演算は撮影画像Bを所定のピッチで移動させつつ相関関数の演算を繰り返すため、192万の画素データを有する本撮影画像を用いて直接、レジストレーション処理をしたのでは、繰返演算の処理回数が膨大となるので、本実施形態では、本撮影画像よりも画素数の少ない撮影画像(本撮影画像の露光動作の前後でドラフトモードによって撮影した演算用画像で、実質的に本撮影画像のデータを1/8に間引いた画像に相当するもの。)を用いてレジストレーション処理を行い、この処理結果に対して間引き率の8を乗じた数(例えばサムネイル画像の移動量が(3,4)であれば、(24,32)とする。)を本撮影画像でのレジストレーション処理における本撮影画像Bの移動量の初期値とするようにしている。
【0085】
従って、画像処理部108hは、特殊露光制御部108gによりCCD102aで複数枚の演算用画像が取り込まれると、これらの演算用画像を用いて上述のレジストレーション処理を行ない、最初の本撮影画像Aと2回目の本撮影画像Bとの間の位置ずれ量(X,Y)を算出する。
【0086】
また、露光動作終了後の画像処理における2枚の本撮影画像A,Bのレジストレーション処理では、例えば最初の本撮影画像Aに対して2回目の本撮影画像Bを位置ずれ量(8X,8Y)だけ移動させた状態を初期状態として、本撮影画像Bを(8X±m,8Y±n)の範囲で1画素ピッチずつ移動させて上述の相関関数を演算し、この相関関数が最小となる平行移動量を算出することで本撮影画像A,B間の位置ずれ量を算出する。初期状態で2回目の本撮影画像Bの最初の本撮影画像Aに対する位置ずれ量は微小になっているので、比較的少ない繰返演算回数で平行移動量(X,Y)が算出される。
【0087】
次に、デジタルスチルカメラ1のボケ味調整モード、階調調整モード及び超解像モードにおける撮影動作を詳細に説明する。
【0088】
図9はボケ味調整モードにおける撮影動作を示すタイムチャートである。
【0089】
同図において、上段の波形図は、シャッタボタン6に操作に基づくS1スイッチ及びS2スイッチのオンタイミングを示すものである。2段目の波形図は、CCD102aの露光動作を示すもので、オン期間は露光期間を示し、オフ期間は露光期間に蓄積されたデータの読み出し等が行なわれている期間を示している。
【0090】
S2スイッチがオンになる前に短い周期でCCD102aの露光動作が繰り返されているが、これは撮影待機状態でライブビュー画像が取り込まれていることを示している。撮影待機状態では、CCD102aはドラフトモードで露光が繰り返され、1/30秒毎にフレーム画像が取り込まれる。一方、S2スイッチがオンになった直後の長いオン期間E1は、最初の本撮影画像Aを取り込むための露光期間であり、その後の長いオン期間E2は、2回目の本撮影画像Bを取り込むための露光期間である。以下、これらの露光動作に対応する撮影をそれぞれ本撮影Q1,Q2という。
【0091】
また、オン期間E1とオン期間E2との間の3個の短いオン期間E3,E4,E5は、演算用画像を取り込むために露光動作が3回繰り返されていることを示している。この露光動作は、撮影待機状態におけるライブビュー画像の取り込みと同じである。以下、これらの露光動作に対応する撮影をそれぞれ間引撮影MQ1,MQ2,MQ3という。
【0092】
間引撮影MQ1,MQ2,MQ3をドラフトモードで行なっているのは、本撮影Q1と本撮影Q2との間隔をできるだけ短くして本撮影画像A,B間の位置ずれ量をできるだけ小さくするためである。なお、間引撮影MQ1,MQ2,MQ3をドラフトモードで行なうことによりCCD102aから出力される画像信号のレベルが低くなるが、この分、アナログ信号処理回路103aでレベル調整を行なうので、移動量の演算精度を低下させることはない。
【0093】
また、オン期間E2の後に再び短い周期でCCD102aの露光動作が繰り返されているが、これは撮影待機状態に戻ったことを示し、再びライブビュー画像が取り込まれていることを示している。
【0094】
3段目の波形図は、全体制御部108で制御される主な処理内容を示すものである。オン期間若しくはオン信号は、ボケ味調整モードの撮影に直接関係した所定の制御処理をしていることを示している。S1スイッチがオンになった直後の処理期間C1は、その後のレリーズに備えてS1スイッチがオンになる直前のフレーム画像を用いての測距及びその測距結果に基づくAF(Auto Focus)演算(以下、第1AF演算という。)と同フレーム画像を用いてのAE(Automatic Exposure)演算(以下、第1AE演算という。)及びAWB(Automatic White Balance)演算(以下、第1AWB演算という。)とが行なわれていることを示している。オン信号S1,S3は、CCD102aの駆動モードをドラフトモードからノーマルモードに切り換えるものであり、オン信号S2,S4は、CCD102aの駆動モードをノーマルモードからドラフトモードに切り換えるものである。
【0095】
間引撮影MQ3の直後の処理期間C2は、間引撮影MQ3で得られた演算用画像を用いて2回目の本撮影Q2のためのAF演算(以下、第2AF演算という。)と同演算用画像を用いてAE演算(以下、第2AE演算という。)及びAWB演算(以下、第2AWB演算という。)とを行なっていることを示している。
【0096】
処理期間C3は、間引撮影MQ1,MQ2,MQ3で得られた3枚の演算用画像を用いて最初の本撮影画像Aに対する2回目の本撮影画像Bの移動量(X,Y)を演算していることを示している。また、処理期間C4は本撮影画像A,BのAWB調整及びγ補正等の信号処理を行なっていることを示し、処理期間C5は両本撮影画像A,Bの画像合成処理(レジストレーション処理及びボケ味調整のための合成処理)を行なっていることを示し、処理期間C6は両本撮影画像A,Bの合成画像を圧縮してメモリカードMCに記録する処理を行なっていることを示している。
【0097】
最下段の波形図は、フォーカス用レンズ101bの相対的な位置の変化を示しすものである。処理期間C1の直後での波形の上昇変化R1は、フォーカス用レンズ101bが現在位置から被写体距離∞の位置に移動していることを示している。本実施形態では、ボケ味調整モードで、最初∞位置に焦点調節して本撮影Q1を行ない、その後、予め設定された所定の被写体距離(例えば1m)に焦点調節をして2回目の本撮影Q2を行ない、本撮影Q1,Q2で得られた本撮影画像A,Bを合成するようにしているので、S1信号、処理期間C1でのAF演算処理及びフォーカス用レンズ101bの移動R1は、シャッタボタン6の半押しによりシャッタボタン6の全押し(レリーズ指示)に備えてボケ味調整モードでの最初の本撮影Q1に対するAF処理をしていることを示している。
【0098】
また、本撮影Q1の終了後における波形の下降変化R2は、2回目の本撮影Q2に対するAF処理を示し、フォーカス用レンズ101bは現在位置から所定の被写体距離(1m)の焦点位置に移動していることを示している。
【0099】
図9に示すタイムチャートから、ボケ味調整モードにおいては、撮影待機状態でシャッタボタン6が半押しされてS1スイッチがオンになると、∞位置に対してAF処理が行なわれるとともに、露出制御値(絞り101cの絞り値及びCCD102aの露光時間)及びWB調整値が設定され、その後、シャッタボタン6が全押しされてS2がオンになると、CCDの駆動モードをノーマルモードに切り換え、設定された露光時間E1でCCD102aの露光動作を行なって最初の本撮影Q1が行なわれる。
【0100】
この露光動作が終了すると、CCD102aから全画素の画像信号が読み出され、フォーカス用レンズ101bは現在位置から被写体距離1mの焦点位置に移動される。また、画像信号の読み出しが終了すると、このフォーカス用レンズ101bの移動期間を利用して、引き続き、CCDの駆動モードをドラフトモードに切り換えて所定の露光時間でCCD102aの露光動作を連続3回行なって間引撮影MQ1,MQ2,MQ3が行なわれるとともに、間引撮影MQ3で得られた演算用画像を用いて本撮影Q2に対するAE演算が行なわれる。
【0101】
ボケ味調整モードでは焦点位置を変更して本撮影Q1,Q2を行なうため、最初の本撮影Q1に対する露出値と2回目の本撮影Q1に対する露出値とが変化する可能性が大きいので、第2AE演算では本撮影Q2の直前に行なう間引撮影MQ3で得られた演算用画像を用いて本撮影Q2に対する露出制御値を設定するようにしている。
【0102】
なお、本撮影Q2は本撮影Q1に続いて連続的に行なわれるが、ボケ味調整モードにおいては、絞り値を本撮影Q1と同じ状態(例えば開放絞り値)で撮影しないと、ボケ味調整の効果は得られない。そのため、本撮影Q2では絞り101cの絞り値は固定し、CCD102aの露光時間のみで露出制御を行なうようにしている。従って、この露出制御では絞り優先でCCD102aの露光時間が設定される。
【0103】
被写体移動を考慮すると、本撮影Q1と本撮影Q2との撮影間隔はできるだけ短くするのが望ましいため、本撮影Q1のときではAGCのゲインを4倍にし、露出時間を1/4にしている。なお、露光時間が十分に短い場合は、ゲインを上げる必要はない。また、図10に示すようにレンズ101とCCD102aとの間にNDフィルタ102dを当該レンズ101の光軸上に挿脱可能に設けるとともに、このNDフィルタ102dの挿脱動作を制御する駆動回路102eを設け、NDフィルタ102dとの組み合わせによって本撮影Q2に好適の露光時間を設定するようにしてもよい。
【0104】
また、本実施形態では、露出制御値の演算に本撮影Q2の直前に行なわれる間引撮影MQ3の撮影画像を利用しているが、本撮影Q1と本撮影Q2との間に行なわれる他の間引撮影MQ1,MQ2で得られた画像を用いるようにしてもよい。
【0105】
また、間引撮影MQ3で得られた演算用画像を用いて第2AF演算と第2AWB演算とが行なわれ、これらの演算結果を用いて最初の本撮影Q1と2回目の本撮影Q1との間における被写体輝度、被写体距離、光源色等の撮影条件の変化の判定処理が行なわれる。
【0106】
撮影条件の変化の判定処理は、図11に示すフローチャートを用いて以下の手順で行なわれる。
【0107】
まず、第2AF演算、第2AE演算及び第2AWB演算でそれぞれ被写体距離Dv2、被写体輝度Bv2、AWB調整ゲイン(R2/G2,B2/G2)が算出される(#1,#3)。続いて、被写体距離Dv2、被写体輝度Bv2、AWB調整ゲイン(R2/G2,B2/G2)が第1AF演算、第1AE演算及び第1AWB演算でそれぞれ算出された被写体距離Dv1、被写体輝度Bv1、AWB調整ゲイン(R1/G1,B1/G1)と各々比較される(#5)。
【0108】
被写体輝度差ΔBv=|Bv2−Bv1|が所定値(例えば1EV)を超えている、被写体距離差ΔDv=|Dv2−Dv1|が所定値(例えば1m)を超えている、若しくはAWB調整ゲイン差ΔGAWB=|R2/G2−R1/G1|+|B2/G2−B1/G1|が所定値(例えば0.5)を超えているのいずれかであれば(#7,#9,#11でNO)、本撮影Q1と本撮影Q2との間で撮影条件が大きく変化したと推定され、適切な合成画像が得られないので、本撮影F2の露光動作が禁止されるとともに、EVF4のインファィンダ画面内にその旨の警告が表示される(#17)。この警告表示は、例えば表示色を特定の警告色にしたり、点滅表示をすることで行なわれる。なお、文字による警告メッセージを表示させるようにしてもよく、警告音を発するようにしてもよい。
【0109】
この撮影禁止及び警告処理より実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードMCに記録されることがなく、記録効率も低下することがない。
【0110】
一方、本撮影Q1と本撮影Q2との間で撮影条件が大きく変化していない場合、すなわち、被写体輝度差ΔBv=|Bv2−Bv1|、被写体距離差ΔDv=|Dv2−Dv1|及びAWB調整ゲイン差ΔGAWBがいずれも所定値以下であれば(#7,#9,#11でYES)、本撮影Q2のために被写体輝度Bv2に基づき露出制御値(絞り値,露光時間)が設定され(#13)、処理を終了する。
【0111】
図9に戻り、フォーカス用レンズ101bの被写体距離1mの焦点位置への移動が終了すると、2回目の本撮影Q2が禁止されていなければ、CCDの駆動モードをドラフトモードに切り換え、再度設定された露光時間E2でCCD102aの露光動作を行なって本撮影Q2が行なわれる。また、この露光期間中に間引撮影MQ1,MQ2,MQ3で得られた3枚の演算用画像を用いて本撮影Q1で得られた本撮影画像Aに対する本撮影Q2で得られる本撮影画像Bの移動量(X,Y)が演算される。
【0112】
本撮影画像の移動量(X,Y)の演算処理は、図12に示すフローチャートを用いて以下の手順で行なわれる。
【0113】
間引撮影MQ1で得られる画像MF1に対して間引撮影MQ2,MQ3で得られる画像MF2,MF3が図13に示すように移動しているとする。間引撮影MQ1,MQ2,MQ3で3枚の画像MF1,MF2,MF3が得られると(#21)、まず、演算用画像MF1に対する演算用画像MF2の移動量(x1,y1)がGの色成分のデータを用いて算出される(#23)。なお、Gの色成分データを用いているのは、他の色成分よりもデータ数が多く、画像のコントラストも他の色成分より明瞭であるから、容易かつ迅速に移動量(x1,y1)の演算ができるからである。移動量(x1,y1)は、演算用画像MF1を基準として演算用画像MF2を1画素ピッチずつx方向に0〜40ピクセルまで、y方向に0〜30ピクセルまでそれぞれ移動させつつ演算用画像MF1と演算用画像MF2との相関関数を演算し、その相関関数が最小となるx方向及びy方向の移動量で算出される。
【0114】
なお、この演算における演算用画像MF2の移動量をx方向に40ピクセル,y方向に30ピクセルにしているのは、演算用画像MF1,MF2が連続撮影されたもので、カメラぶれによる位置ずれは微小であること、演算用画像MF1,MF2の画素数が200(y方向)×150(x方向)であるから、両方向についてそれぞれ全体サイズの1/5程度移動させれば、異常なカメラぶれでない限り、通常は相関関数の最小値を算出することができると考えられるからである。
【0115】
移動量(x1,y1)が算出されると、その移動量(x1,y1)に対する相関関数が0.5以上であるか否かが判別され(#25)、相関関数が0.5以上であれば(#25でYES)、演算用画像MF1と演算用画像MF2とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、本撮影画像A,Bにおいても位置合わせができず、適切な合成画像が得られないので、本撮影F2の露光動作が中断されるとともに、EVF4のインファィンダ画面内にその旨の警告が表示される(#35)。これにより実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがなくなるとともに、合成価値のない画像のデータがメモリカードMCに記録されることがなく、記録効率も低下させることがない。
【0116】
一方、相関関数が0.5よりも小さければ(#25でNO)、上述の方法と同様の方法で演算用画像MF2に対する演算用画像MF3の移動量(x2,y2)がGの色成分のデータを用いて算出される(#27)。そして、移動量(x2,y2)が算出されると、その移動量(x2,y2)に対する相関関数が0.5以上であるか否かが判別され(#29)、相関関数が0.5以上であれば(#29でYES)、演算用画像MF2と演算用画像MF3とは一致していない、すなわち、異常なカメラぶれが生じていると推定されるから、ステップ#35に移行して本撮影F2の撮影が中断されるとともに、EVF4のインファィンダ画面内にその旨の警告が表示される。
【0117】
一方、相関関数が0.5よりも小さければ(#29でNO)、本撮影Q1,Q2及び間引撮影MQ1,MQ2,MQ3のタイミングと移動量(x1,y1),(x2,y2)とから本撮影Q1と本撮影Q2との間での移動量(x,y)が算出される(#31)。
【0118】
具体的には、例えば移動量xの場合は、間引撮影MQ1,MQ2,MQ3のタイミングT1,T2,T3と移動量x1,x2との関係は図14に示すようになるから、この関係図からタイミングT1,T2,T3におけるx方向の相対的な位置P1,P2,P3を決定することができる。従って、この3点P1〜P3を用いてx方向の移動量曲線N(T)が近似できるから、この近似曲線N(T)と本撮影Q1,Q2のタイミングT4,T5とから本撮影Q1と本撮影Q2との間でのx方向における移動量xがx=N(T5)−N(T4)により算出される。なお、移動量yについても同様の方法で算出される。
【0119】
そして、移動量(x,y)を8倍して本撮影画像Aに対する本撮影画像Bの移動量(X=8x,Y=8y)が算出されて(#33)、処理を終了する。なお、移動量(x,y)を8倍しているのは、演算用画像MF1〜MF3のサイズは本撮影画像A,Bの1/8であるから、演算用画像のサイズで算出した移動量(x,y)を本撮影画像のサイズでの移動量(X,Y)に換算するものである。
【0120】
図9に戻り、本撮影Q2が終了すると、撮影待機状態となり、CCDの駆動モードをドラフトモードに切り換えてCCD102aでライブビュー画像が取り込まれ、EVF4に表示される。
【0121】
また、本撮影Q2が正常に行なわれている場合は、本撮影Q1,Q2で撮影された本撮影画像A,Bについてそれぞれ所定の信号処理が行なわれた後、図15に示すフローチャートに従ってレジストレーション処理が行なわれるとともに(#41,#43)、所定の画像合成処理が行なわれてボケ味調整画像が作成され(#45,#47,#49)、そのボケ味調整画像がメモリカードMCに記録される(#51)。
【0122】
本撮影画像A,Bのレジストレーション処理もGの色成分のデータを用いて行なわれる。まず、本撮影画像Bを移動量(X,Y)だけ移動させて、図16に示すように本撮影画像Aに対して(X,Y)だけ位置がずれた状態にする。そして、本撮影画像Aを基準として本撮影画像Bを1画素ピッチずつ、例えばx方向に(X−40)〜(X+40)ピクセルまで、y方向に(Y−30)〜(Y+30)ピクセルまでそれぞれ移動させつつ本撮影画像と本撮影画像Bとの相関関数を演算し、その相関関数が最小となるx方向及びy方向の移動量(X1,Y1)が算出される(#43)。
【0123】
本撮影画像A,Bの画像合成処理は、R,G,Bの色成分毎に行なわれ、まず、本撮影画像Bを移動量(X1,Y1)だけ平行移動させて、図17に示すように本撮影画像Aと画像を一致させた状態にした後、両本撮影画像A,Bのデータから重複しないデータ(斜線で示す部分のデータ)を削除して合成処理用のデータが作成される(#47)。図17の例では、本撮影画像Aから作成される合成処理用データはi=1〜(n−Y1),j=(X1+1)〜mの範囲にある画素位置のデータで構成され、本撮影画像Bから作成される合成処理用データはi=(Y1+1)〜n,j=1〜(m−X1)の範囲にある画素位置のデータで構成される。
【0124】
そして、両本撮影画像A,Bの合成処理用データの対応する画素位置のデータを、例えば平均したり、加重平均することでボケ味調整画像のデータが作成される。すなわち、両本撮影画像A,Bの合成処理が行なわれる(#49)。図17の例では、白抜き部分に含まれるデータについて、新たに画素位置のアドレス(k,h)(k=1,2,…(n−X1),h=1,2,…(m−Y1))を設定し、本撮影画像Aの合成処理用データをDA(k,h)、本撮影画像Bの合成処理用データをDB(k,h)とすると、例えば(wA・DA(k,h)+wB・DB(k,h))/2を演算することによりボケ味調整画像のデータDC(k,h)が作成される。
【0125】
そして、このボケ味調整画像のデータDC(k,h)はJPEG方式で圧縮された後、メモリカードMCに記録される。
【0126】
図18は階調調整モードにおける撮影動作を示すタイムチャートである。
【0127】
各段の波形の内容は、図9に示すものと同一である。また、図9に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【0128】
同図に示すように、基本的な撮影動作はボケ味調整モードの撮影動作と同一である。従って、ここではボケ味調整モードの撮影動作と異なる部分や階調調整モードに特有の動作について説明する。
【0129】
図18の露光動作の波形図に示すように、本実施の形態では間引撮影を2回しか行なっていない。1回目の間引撮影MQ1は本撮影Q1,Q2の間に行なわれ、2回目の間引撮影MQ1は本撮影Q2の終了直後に行なわれている。このため、移動量(X,Y)の演算は、2回目の本撮影Q2が終了し、撮影待機状態になってから行なわれている。また、階調調整モードでは、本撮影画像Aと本撮影画像Bのピント状態は同一でなければならないから、S1スイッチのオンによりAF処理が行なわれると(図18のフォーカス用レンズの移動R1参照)、その後は焦点位置は固定される。
【0130】
ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードでは可及的に本撮影Q1と本撮影Q2との間を短くして両本撮影間でのカメラぶれを低減することが望ましいが、ボケ味調整モードでは本撮影Q1と本撮影Q2との間で意図的にフォーカス用レンズを移動させているため、フォーカス用レンズの移動が完了するまで2回目の本撮影Q2はできない。そのため、両本撮影間に一定の間隔を設ける必要があり、この期間を有効利用して間引撮影を3回行なうことにより本撮影の位置ずれを予測した。しかし、階調調整モードではそのような制限はないので、本撮影Q1と本撮影Q2との間隔をできるだけ短くするため、1回目の間引撮影MQ1だけ行い、本撮影Q2の直後に2回目の間引撮影MQ2を行なうようしている。また、本撮影Q1,間引撮影MQ1及び本撮影Q2は等間隔で行うようにしている。
【0131】
本撮影Q1,Q2の前後で複数回の間引撮影MQ1,MQ2,…を行なうのは、本撮影画像A,Bのレジストレーション処理の負担を軽減するためのものであるから、間引撮影MQ1,MQ2で得られた演算用画像MF1,MF2を用いて算出される移動量(X,Y)の精度をできるだけ高くするため、間引撮影MQ1,Q2はそれぞれ本撮影Q1,Q2の直後に行うようにするとよい。また、本実施の形態では、間引撮影MQ1,Q2をそれぞれ本撮影Q1,Q2の直後に行っているが、間引撮影MQ1,Q2をそれぞれ本撮影Q1,Q2の直前で行うようにしてもよい。
【0132】
また、本実施形態では、本撮影Q1と本撮影Q2との間隔をできるだけ短くするため、本撮影Q1と本撮影Q2の間で上述の撮影条件の変化の判別処理はしていないが、この判別処理を行うようにしてもよい。また、本実施形態では、間引撮影を2回しか行なっていないが、3回以上行なうようにしてもよい。
【0133】
なお、階調調整モードでの画像合成処理も上述したボケ味調整モードでの画像号合成処理と同様の方法で行なわれる。すなわち、本撮影画像A,Bについてレジストレーション処理を行なった後、それぞれ合成処理用データを作成し、この合成用データの対応する画素位置のデータを、例えば平均したり、加重平均することで階調調整画像のデータが作成される。
【0134】
図19は、超解像モードにおける撮影動作を示すタイムチャートである。
【0135】
各段の波形の内容は、図9に示すものと同一である。また、図9に示す信号及び処理期間と同じ内容の信号及び処理期間には同一の符号を付している。
【0136】
同図に示すように、超解像モードにおける撮影動作も基本的にボケ味調整モードの撮影動作と同一である。従って、ここでもボケ味調整モードの撮影動作と異なる部分や超解像モードに特有の動作について説明する。
【0137】
図19の露光動作の波形図に示すように、本実施形態では本撮影Q1,Q2の間に間引撮影を2回行なっている。超解像モードにおいても本撮影Q1から本撮影Q2までの撮影動作をできるだけ短くするため、本撮影Q1、間引撮影MQ1、間引撮影MQ2及び本撮影Q2は等間隔で行うようにしている。この実施形態では、本撮影Q1,Q2の間で間引撮影MQ1,MQ2が行なわれているので、移動量(X,Y)の演算が2回目の本撮影Q2の露光動作中に行なわれている。
【0138】
なお、これと同じ露光処理を階調調整モードでも行なうことができる。一方、超階調モードでも本撮影Q1と本撮影Q2との間に一定の期間を設けなければならないという制限はないので、階調調整モードで説明した間引撮影のタイミング及び回数に関する変形例を超解像モードに適用することができる。
【0139】
また、本実施形態では間引撮影を本撮影Q1,Q2の間で2回しか行なっていないが、2回目の本撮影Q2の直後に3回目の間引撮影を行うようにしてもよい。このようにすると、移動量演算のためのデータ数が増えるので、移動量の演算精度が向上する。従って、間引撮影の態様としては、本撮影Q1の直後に1回,本撮影Q2の直前若しくは直後で1回の計2回の間引撮影を基本態様として本撮影Q1,Q2の間で2回以上の間引撮影を行なう態様、本撮影Q1,Q2の間で2回以上の間引撮影を行なうとともに、本撮影Q2の直後に少なくとも1回間引撮影を行なう態様が考えられ、特殊撮影モードの内容に応じて適宜、適切な撮影態様を選択することができる。
【0140】
また、超解像モードでも本撮影画像Aと本撮影画像Bのピント状態は同一でなければならないから、S1スイッチのオンによりAF処理が行なわれると(図19のフォーカス用レンズの移動R1参照)、その後は焦点位置は固定される。
【0141】
また、本実施形態でも本撮影Q1と本撮影Q2との間隔をできるだけ短くするため、本撮影Q1と本撮影Q2の間で上述の撮影条件変化の判別処理はしていないが、この判別処理を行うようにしてもよい。
【0142】
超解像モードでの画像合成処理は、上述したボケ味調整モードや階調調整モードでの画像号合成処理と異なっている。
【0143】
ここで、超解像処理の内容について、図20を用いて簡単に説明する。なお、説明の便宜上、一次元の画像データについて説明する。
【0144】
被写体に対して撮影者がカメラを構えてシャッタ操作を行なったときに、連続して2回の露光動作を行って得られた2枚の撮影画像は、通常、撮影者が完全に静止していることはないから、微小なカメラぶれに起因して互いに被写体に対する撮影位置がわずかに変位したものとなっている。
【0145】
超解像処理は、最初の本撮影画像Aと2回目の本撮影画像Aとをそれぞれ補間処理するとともに、両本撮影画像A,Bの位置合わせをして合成することより、解像度の高い高精細の画像を得るものである。
【0146】
すなわち、最初の本撮影画像Aの画像データを図20(a)とし、2枚目の本撮影画像Bの画像データを図20(b)とし、2枚目の本撮影画像Bは最初の本撮影画像Bに対して被写体に対する撮影位置が右側にΔxだけずれているとする。なお、図20(a)(b)において、曲線Pは被写体の輝度特性を示し、a(1),a(2),…及びb(1),b(2),…は画素位置、C(1),C(2),…及びD(1),D(2),…は各画素の受光レベルを示している。また、C(1)’,C(2)’,…は、受光レベルC(1),C(2),…を用いて画素位置a(1),a(2),…の間を補間したレベルであり、D(1)’,D(2)’,…は、受光レベルD(1),D(2),…を用いて画素位置b(1),b(2),…の間を補間したレベルである。
【0147】
図20(a)(b)に示すように、最初の本撮影画像Aにおける各画素の被写体に対する受光位置と2枚目の本撮影画像Bにおける各画素の被写体に対する受光位置とは相違しているから、両本撮影画像A,Bの画像データから撮像素子より2倍の画素位置の画像データが得られる。
【0148】
従って、同図(c)に示すように、最初の本撮影画像Aと2枚目の本撮影画像Bの位置合わせをして両画像データを単純に合成することにより撮像素子の画素密度に対して2倍の画素密度を有する画像データが得られる。
【0149】
なお、本実施形態では、カメラぶれに基づく被写体に対する撮像素子の受光位置のずれを利用しているから、画素位置a(i)と画素位置b(i)とのずれ量Δxは一定せず、画素位置b(i)は画素位置a(i)と画素位置a(i+1)との中間に必ず位置するとは限らないので、ずれ量Δxが非常に小さい場合は、両本画像画像A,Bの位置合わせが十分な精度で行なえなくなる虞がある。
【0150】
そこで、これを改善するため、本実施の形態では最初の本撮影画像Aの画像データと2枚目の本撮影画像Bの画像データとをそれぞれ補間処理した後、合成するようにしている。このようにすることで、図20(c)に示すように、画素位置b(i)と画素位置a(i+1)との間に画像データC(i)’,D(i)’が補間され、2枚の本撮影画像A,Bは高い精度で位置合わせが行なわれるので、解像度の高い画像が得られる。
【0151】
従って、超解像モードでの画像合成処理では、本撮影画像A,Bについてそれぞれ所定の補間処理によりデータ数を増加させた後、レジストレーション処理が行なわれる。そして、両本撮影画像A,Bからそれぞれ合成処理用データが作成され、その合成処理用データの対応する画素位置のデータを平均化することで超解像画像のデータが作成される。
【0152】
以上のように、本実施形態に係るデジタルスチルカメラ1では、ボケ味調整モード、階調調整モード及び超解像モード等の特殊撮影モードにおいては、シャッタボタン6が全押しされてレリーズが指示されると、連続して2回、本撮影Q1,Q2行なわれるが、これら本撮影Q1,Q2の前後で少なくとも2回、間引撮影MQ1,MQ2を行ない、その間引撮影で得られた少なくとも2枚の演算用画像を用いて本撮影画像A,B間の位置ずれ量(X,Y)を演算するようにしたので、本撮影画像A,Bを位置合わせてして所定の画像合成を行なう際の位置合わせ処理の処理負担が軽減され、処理時間の短縮を図ることができる。
【0153】
なお、上記実施形態では、間引撮影を連続して最大3回しか行なっていなかったが、図21に示すように間引撮影を連続して4回以上行なってもよく、この場合は、同図に示すように、2回目の間引撮影MQ2が終了した時点で間引撮影MQ1,MQ2で得られた2枚の演算用画像を用いて直ちに本撮影画像A,B間の位置ずれ量(X,Y)を行なうとよい。このようにすれば、位置ずれ量(X,Y)を迅速に算出することができる。
【0154】
また、上記実施形態では、本撮影画像A,Bとは別に演算用画像MF1,MF2,…を撮影するようにしていたが、図22に示すように最初の本撮影画像Aを演算用画像MF1として利用するようにしてもよいる。図22の例では、本撮影画像Aのための露光動作を正規の露光時間よりも短くする一方、これによる露光不足を信号処理でのレベル調整で補正し、処理期間C2’でこの本撮影画像Aのデータを間引いて演算用画像MF1を取得している。そして、本撮影Q2の露光期間中に、この演算用画像MF1と間引撮影MQ2で撮影された演算用画像MF2とを用いて移動量(X,Y)の演算を行なうようにしている。このようにすれば間引撮影MQ1が省略できるので、本撮影Q1と本撮影Q2との間隔をより狭くすることができ、本撮影画像A,B間の位置ずれ量(X,Y)を小さくすることができる利点がある。
【0155】
また、本実施形態に係るデジタルスチルカメラ1では、2回目の本撮影Q2の露光期間中に移動量演算を行ない、その演算結果によって本撮影画像A,B間の位置ずれ量が大きいときは、本撮影Q2を中断し、その旨をEVF4に警告するようにしたので、また、本撮影Q1と本撮影Q2との間で間引撮影MQ1,MQ2を行い、この間引撮影で得られた画像を用いて本撮影Q1と本撮影Q2の間で被写体輝度、被写体距離及び光源の色バランス等の撮影条件が変化したか否かを判別し、その判別結果で撮影条件が変化しているときは、本撮影Q2を中止し、その旨をEVF4に警告するようにしたので、実質的に失敗撮影となる撮影が中止され、撮影動作の処理効率を低下させることがない。また、合成価値のない画像のデータがメモリカードMCに記録されることがなく、記録効率の低下を防止することができる。
【0156】
なお、本実施形態は、連続して2枚の撮影画像を取り込む場合について説明したが、本発明は、3枚以上の撮影画像を取り込む場合にも適用することができる。また、本実施形態は、複数の間引撮影MQによる撮影画像を用いて撮影条件の変化を検出するものであったが、間引撮影MQを行なわない場合には、本撮影画像そのものを用いて(例えば、本撮影画像のデータを適当に間引いて画像サイズを小さくした画像を用いて)撮影条件の変化を検出するものであってもよい。
【0157】
【発明の効果】
以上説明したように、本発明によれば、同一の被写体に対して少なくとも2回連続的に撮影し、その撮影で得られた少なくとも2枚の撮影画像に対して画像相互の位置合わせ処理と所定の合成演算処理とを行って1の画像を作成することのできるデジタルスチルカメラにおいて、2枚の撮影画像を得るための露光動作の間で撮影条件が変化したか否かを判別し、撮影条件が変化していると、警告をするようにしたので、ユーザはその警告により撮影後の無用な画像合成処理を中止させることで、撮影処理の効率低下を防止することができる。
【0158】
また、撮影条件が変化していると、その後の露光動作を禁止するようにしたので、無駄な撮影が防止され、撮影処理の効率低下が確実に防止することができる。
【図面の簡単な説明】
【図1】 本発明に係るデジタルスチルカメラのカメラ本体の正面図である。
【図2】 同デジタルスチルカメラの主要部材の配置を示す図である。
【図3】 同デジタルスチルカメラのに内蔵された主要部材の配置を示す右側面図である。
【図4】 同デジタルスチルカメラの背面図である。
【図5】 カラー撮像素子の撮像面の構成を示す図である。
【図6】 撮影モードの選択方法を説明するための図である。
【図7】 デジタルスチルカメラの内部構成を示すブロック図である。
【図8】 メモリカードへの画像ファイルの記録方法を示す図である。
【図9】 ボケ味調整モードでの撮影動作を示すタイムチャートである。
【図10】 レンズとCCDとの間にNDフィルタを挿脱可能に設けた他のデジタルスチルカメラの内部構成を示すブロック構成図である。
【図11】 間引撮影で得られた3枚の演算用画像を用いて本撮影で得られる2枚の本撮影画像間の撮影条件の変化を判別する処理を示すフローチャートである。
【図12】 間引撮影で得られた3枚の演算用画像を用いて本撮影で得られる2枚の本撮影画像間の移動量を演算する処理を示すフローチャートである。
【図13】 3枚の演算用画像相互の移動量の一例を示す図である。
【図14】 3回の間引撮影の各タイミングと各間引撮影で得られた画像相互の移動量とから2枚の本撮影画像相互の移動量を算出する方法を説明するための図である。
【図15】 2枚の本撮影画像を合成してボケ味調整画像を作成する処理手順を示すフローチャートである。
【図16】 本撮影画像でのレジストレーション処理の初期状態を示す図である。
【図17】 レジストレーション処理後の2枚の本撮影画像のデータから画像合成処理用のデータを作成する方法を説明するための図である。
【図18】 階調調整モードでの撮影動作を示すタイムチャートである。
【図19】 超解像モードでの撮影動作を示すタイムチャートである。
【図20】 超解像処理を説明するための図である。
【図21】 間引撮影の他の態様を示すタイムチャートである。
【図22】 最初の本撮影を1回目の間引撮影と兼用する間引撮影の態様を示すタイムチャートである。
【図23】 連続して露光動作をした場合にカメラアングルが変化する様子を示す図である。
【符号の説明】
1 デジタルスチルカメラ
101 レンズ
102 撮像部
102a CCD(撮像手段)
103 信号処理部
104 発光制御部
105 レンズ制御部
106 表示部
107 操作部
108 カードI/F
108 全体制御部(判別手段)
108a ROM
108b RAM
108c 露出値演算部
108d 表示制御部
108e 記録制御部
108f 再生制御部
108g 特殊露光制御部(露光制御手段,露光禁止手段)
108h 画像処理部(画像合成手段)
109 カードインターフェース
110 通信用インターフェース
2 カメラ本体
205 カラー撮像素子
206 シャッタボタン
207 表示部(警告手段)
208 電源スイッチ
209 4連スイッチ
210 スイッチ群
3 交換レンズ
4 電子ビューファインダ(警告手段)
5 フラッシュ
MC メモリカード
[0001]
BACKGROUND OF THE INVENTION
In the present invention, continuous shooting is performed at least twice on the same subject, and a plurality of captured images obtained by the continuous shooting are combined by a predetermined image combining process to improve the image quality or enhance the video effect. The present invention relates to a digital still camera that can obtain an image.
[0002]
[Prior art]
In recent years, in the technical field of digital still cameras, a plurality of continuously photographed images are subjected to predetermined image processing and then combined to produce an image with higher image quality and video effect than each captured image. Digital still cameras that can be obtained have been commercialized.
[0003]
For example, the digital still camera “GC-X1“ PIXSTER ”” manufactured by Victor Co., Ltd. takes two continuous shots with a slight displacement of the image sensor, and combines the two shot images to obtain a high-resolution shot image. It has a function that can. In addition, this digital still camera sets two types of exposure control values according to the bright part and dark part of the subject, shoots twice continuously with these exposure control values, and synthesizes both captured images. Thus, it has a function of obtaining a photographed image having an appropriate density from a dark part to a bright part.
[0004]
[Problems to be solved by the invention]
In recent years, an increase in the number of pixels of an image sensor applied to a digital still camera has progressed, and products using an image sensor with 2 to 3 million pixels have been commercialized. When the above-described image composition function is provided in a digital still camera, an excellent value that an image with high image quality and video effect can be obtained can be added to the digital still camera.
[0005]
However, when the number of captured image data increases, the time required for image composition processing increases, and there is a problem in that it is difficult to obtain a composition result. Furthermore, when a plurality of images photographed for image composition are not appropriate, there is a problem that an unintentional composite image is provided after waiting for a long time image composition processing.
[0006]
When combining two images obtained by continuously shooting the same subject with a digital still camera, the contents of both images must be basically the same, but even if the subject is stationary When a photographer continuously holds a digital still camera in his / her hand, framing (shooting range) between the first shooting and the second shooting due to a minute change in camera angle as shown in FIG. Therefore, the contents of the two captured images do not completely match.
[0007]
For this reason, in the image composition processing of two captured images, usually, after performing the alignment processing (image matching processing) of both captured images, a predetermined composition operation processing is performed on the data at the corresponding pixel positions. However, the alignment processing in the image composition processing is generally performed by performing parallel movement, rotation, or the like on the other image (hereinafter referred to as a reference image) with a predetermined amount of movement using one image as a reference (hereinafter referred to as a reference image). The correlation value is calculated for each movement position using the correlation function of the phase, and the movement amount with the largest correlation value is calculated as the positional deviation amount between both images. Since the calculation is repeated, the processing time is long, and this is a factor for increasing the processing time of the image composition processing.
[0008]
Therefore, when the above-described image composition function is provided in a digital still camera, it is necessary to perform alignment processing in the image signal processing. Therefore, the problem that the image composition processing takes a long time as the number of data increases is important. . The problem that the composite image becomes unintentional due to the improperly taken image for image composition is that the effect of the image composition function is halved and the added value of the function is significantly reduced. However, it is also serious because it causes another problem that power is unnecessarily consumed by, for example, image synthesis processing.
[0009]
The present invention has been made in view of the above problems, and in a digital still camera capable of obtaining an image with high image quality and video effect by synthesizing continuously shot images, when the shot image is inappropriate It is intended to provide a digital still camera that can warn a user or forcibly prohibit image composition processing to reduce problems caused by it and effectively use an image composition processing function.
[0010]
[Means for Solving the Problems]
The present invention relates to an image pickup means for photoelectrically converting a subject light image into an image signal and outputting it, an exposure control means for performing an exposure operation of the image pickup means on the same subject at least twice in succession, and the exposure control. In a digital still camera provided with image composition means for creating one image having different image quality from the photographed image by performing a predetermined composition operation using at least two photographed images photographed by exposure control by means Determining means for determining whether or not the photographing condition has changed to a predetermined threshold value or more between the captured images; and warning means for warning if the determining means determines that the photographing condition has changed to a predetermined threshold value or more. WithIt is.
[0011]
Note that the above shooting conditions are between shot images.ofFor example, luminance difference, focus position shift amount, color balance shift amount, and the like.
[0012]
According to the above configuration, when the release is instructed, the exposure operation of the imaging unit is continuously performed at least twice, and at least two images are taken with respect to the same subject. Then, it is discriminated whether or not the shooting condition has changed to a predetermined threshold value or more between the shot images by the discriminating unit, and when the shooting condition has changed to a predetermined threshold value or more between the shot images, image synthesis using these shot images A warning is given indicating that the process is inappropriate.
[0013]
For exampleBookIf the luminance difference between the captured images is equal to or greater than a predetermined threshold, the density balance of the composite image of both captured images becomes inappropriate, and a warning is issued. Also,BookIf the amount of focus position shift (focus shift) between the captured images is equal to or greater than a predetermined threshold, the focus adjustment of the composite image of both captured images becomes inappropriate, and a warning is issued. Also,BookIf the amount of color balance deviation between the captured images is equal to or greater than a predetermined threshold value, a warning is issued because the color balance of the image obtained by combining both captured images becomes inappropriate.
[0014]
The present invention also provides an imaging unit that photoelectrically converts an object light image into an image signal and outputs the exposure signal, an exposure control unit that performs an exposure operation of the imaging unit on the same subject at least twice, and A digital still provided with an image composition means for creating one image having a different image quality from the photographed image by performing a predetermined composition operation using at least two photographed images photographed by exposure control by the exposure control means In the camera, a determination unit that determines whether or not the shooting condition has changed to a predetermined threshold value or more between the captured images, and the determination unit determines that the shooting condition has changed to a predetermined threshold value or more. Exposure prohibiting means for prohibiting the exposure operation for capturing the actual captured imageIt is.
[0015]
According to the above configuration, when the release is instructed, the exposure operation is continuously performed at least twice, and at least two images are taken for the same subject. Then, it is determined whether or not the shooting condition has changed between the captured images by a determination means, and if the shooting condition has changed between the captured images by more than the predetermined threshold, these captured images are used. Therefore, the subsequent exposure operation for capturing a captured image is prohibited. Therefore, the photographed image is not subjected to image composition processing.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a front view of a camera body of a digital still camera (color imaging apparatus) applied to an image processing system according to the present invention, and FIG. 2 is a top view showing an arrangement of main members built in the digital still camera. 3 is a right side view showing an arrangement of main members built in the digital still camera, and FIG. 4 is a rear view of the digital still camera.
[0017]
The digital still camera 1 includes a single-lens reflex camera that includes a camera body 2 and an interchangeable lens 3 that is a zoom lens that is detachably mounted in the front center of the camera body 2. The camera body 2 is provided with a mount portion 201 to which the interchangeable lens 3 is attached at the center of the front surface, and a grip portion 202 at the front left end portion.
[0018]
A battery storage chamber 203 and a card storage chamber 204 are provided inside the grip portion 202. The battery storage chamber 203 stores four AA batteries E1 to E4 (power supply batteries for the camera), and the card storage chamber. In 204, a memory card MC for recording image data of a photographed image is detachably stored.
[0019]
A plurality of contacts ST for electrical connection with the mounted interchangeable lens 3 and a plurality of couplers CP for mechanical connection are provided below the mount portion 201. The electrical contact ST is a lens controller 301 (see FIG. 3) built in the interchangeable lens 3 and receives information specific to the lens (information such as the open F value and focal length) in the overall control unit (see FIG. 6), and information on the position of the zoom lens and the position of the focus lens in the interchangeable lens 3 is output to the overall control unit. The coupler CP transmits the driving force of the zoom lens driving motor ZM (see FIG. 3) provided in the camera body 2 and the driving force of the focus lens driving motor FM (see FIG. 3) to the interchangeable lens 3 side. Is to do.
[0020]
A color image sensor 205 is disposed at an appropriate position in the camera body 2 on the optical axis L of the lens 3 when the interchangeable lens 3 is mounted on the mount unit 201. As shown in FIG. 5, a color image sensor 205 (hereinafter referred to as CCD 205) is provided with R (red), G (green), B (on the surface of each pixel of an area sensor 205A composed of a CCD (Charge-Coupled Device). It is composed of a so-called Bayer type single area color area sensor with a blue color filter 205B pasted in a checkered pattern, and has, for example, 1600 × 1200 = 19.2 million pixels.
[0021]
As shown in FIG. 5, the pixel position of the i-th row and j-th column of the area sensor is (i, j) (i = 1, 2,... N, j = 1, 2,... M), and n = 1600, If m = 1200, the R, G, B color filters are
R; (2h + 1, 2k + 1)
G; (2h + 2, 2k + 1), (2h + 1, 2k + 2)
B; (2h + 2, 2k + 2)
However, h = 0, 1, 2,... N / 2 (= 800), k = 0, 1, 2,... M / 2 (= 600).
[0022]
A shutter button 206 is provided on the upper surface of the grip portion 202 of the camera body 2. A half-pressing operation and a full-pressing operation of the shutter button 206 are detected by switches S1 and S2 described later. When the switch S1 is turned on (when the shutter button 206 is pressed halfway), a preparatory operation for capturing a still image of the subject (preparation operations such as setting of exposure control values and focus adjustment) is performed, and the switch S2 is switched on. When turned on (when the shutter button 206 is fully pressed), a photographing operation (a series of operations for exposing the CCD 205, performing predetermined image processing on the image signal obtained by the exposure, and recording the image signal on the memory card MC) is performed. Done.
[0023]
An electronic view finder 4 (EVF; Electronic View Finder) and a pop-up type flash 5 are provided at substantially the center of the upper surface of the camera body 2. The electronic viewfinder 4 is referred to as a display unit 401 (hereinafter referred to as an LCD display unit 401) composed of a color liquid crystal display device that displays a monitor image of a subject photographed by the CCD 205 (an image of a subject photographed by the CCD 205 in a photographing standby state). ) And an eyepiece lens 402 for guiding the monitor image displayed on the color liquid crystal display device to the outside of the finder window 403.
[0024]
Since the monitor image (moving image) of the subject is displayed on the electronic viewfinder 4 in the shooting standby state, the photographer can view the subject with the monitor image by looking through the viewfinder window 403.
[0025]
Since the monitor image is for display on the LCD display unit 401, in the standby state, the display size of the LCD display unit 401 is set by operating the CCD 205 in an operation mode different from normal still image shooting, so-called draft mode. A monitor image of the same size as is taken. In other words, in this embodiment, the LCD display unit 401 is configured with 200 × 150 pixels, so that light is received by all pixels in the standby state, but the light reception data is read at an 8-pixel pitch in both the vertical and horizontal directions. Thus, a monitor image having 200 × 150 pixels can be captured at high speed.
[0026]
A display unit 207 (hereinafter referred to as an LCD display unit 207) made up of a color liquid crystal display device is provided in the approximate center of the back surface of the camera body 2. The LCD display unit 207 displays a menu screen for setting the shooting mode, shooting conditions, and the like in the recording mode, and plays back and displays the shot image recorded on the memory card MC in the playback mode.
[0027]
The shooting mode includes a mode related to exposure control and a mode related to image composition processing. The mode related to exposure control is a mode related to how to determine an exposure control value (aperture value and exposure time) at the time of release. The modes relating to exposure control include at least a program mode, a shutter priority mode, and an aperture priority mode. The exposure control value is set using any one of a plurality of preset program diagrams. In the program mode, the exposure control value is set using a standard program diagram, and the shutter is set. In the priority mode, the exposure control value is set using a program diagram that prioritizes the shutter speed (exposure time) over the aperture value, and in the aperture priority mode, the program diagram that prioritizes the aperture value over the shutter speed is used. An exposure control value is set.
[0028]
The mode related to image composition processing is to shoot two times continuously while changing the shooting conditions at the time of release or with the shooting conditions as they are, and synthesize two shot images obtained by the shooting by a predetermined image composition processing In this mode, one image having higher image quality and video effect than the original photographed image is created and recorded in the memory card MC.
[0029]
The mode relating to the image composition processing includes at least a “blur adjustment mode”, a “tone adjustment mode”, and a “super-resolution mode”. In the blur adjustment mode, a shooting operation is performed twice in succession by changing the in-focus position by one shutter operation. For example, the shot image A is focused on a main subject (for example, a person). In this mode, a captured image B focused on the background of the main subject is captured, and the captured images A and B are combined to obtain an image having a desired blur condition.
[0030]
In the gradation adjustment mode, the exposure condition is changed by a single shutter operation, and two shooting operations are continuously performed. For example, the captured image A in which the exposure is adjusted for the main subject and the background of the main subject are exposed. Is taken together, and both the captured images A and B are combined to intentionally increase the contrast between, for example, an image having an appropriate density distribution over the entire screen or the main subject and the background, thereby creating creativity. This mode obtains a strong image.
[0031]
Super-resolution mode means that the camera operation is performed twice in succession without changing the focus and exposure conditions with a single shutter operation, and the camera angle difference slightly differs between the first and second shooting. Is a mode in which a captured image A and a captured image B in which the position of the main subject in the screen is slightly changed are captured and an image with a higher resolution than the original captured image is obtained by combining the captured images A and B. .
[0032]
A power switch 208 is provided on the left side of the LCD display unit 207. The power switch 208 also serves as a mode setting switch for switching and setting a recording mode (a mode for performing photography) and a reproduction mode (a mode for reproducing a recorded image on the LCD display unit 207). That is, the power switch 208 is a three-point slide switch. When the contact is set to the center “OFF” position, the power is turned off. When the contact is set to the upper “REC” position, the power is turned on and recording is performed. When the mode is set and the contact is set to the lower “PLAY” position, the power is turned on and the playback mode is set.
[0033]
A quadruple switch 209 is provided at an upper right position of the LCD display unit 207. The quadruple switch 209 has a circular operation button, and press operations in four directions of up, down, left, and right on the operation button are detected. The quadruple switch 209 is multi-functional and functions as an operation switch for changing an item selected on the menu screen displayed on the LCD display unit 207 or changing a playback target frame selected on the index screen, for example. In addition, the switch in the left-right direction also functions as a switch for changing the zoom ratio of the interchangeable lens 3.
[0034]
On the menu screen, for example, a plurality of items are displayed in an array, and a display (for example, a cursor or a reverse display) showing the selected state is performed on the currently selected item. For example, when a mode related to image composition processing in the shooting mode is selected, a menu screen as shown in FIG. 6 is displayed on the LCD display unit 207. The item “normal shooting” in this menu screen is a mode for performing normal shooting similar to the shooting operation in the silver halide camera.
[0035]
In the menu screen of FIG. 6, when the up switch of the quad switch 209 is pressed, the display position of the black triangle mark cursor K (that is, the item indicated by the cursor K) moves cyclically upward, and the quad switch When the downward switch of the switch 209 is pressed, the item display position indicated by the cursor K cyclically moves downward. When the confirmation switch 210b of the switch group 210 is pressed, the item (gradation adjustment mode in FIG. 6) designated by the cursor K at that time is set as the shooting mode.
[0036]
Accordingly, the photographer can set the shooting mode by operating the quad switch 209 in the vertical direction on the menu screen for selecting the shooting mode, selecting a desired shooting mode, and operating the confirmation switch 210d. . It should be noted that a desired shooting mode can be set in a similar manner for the mode relating to exposure control.
[0037]
In addition, on the index screen, thumbnail images for nine frames from all the images recorded on the memory card MC are arranged and displayed, and a display selected for the currently selected frame (for example, blinking display or frame display) is displayed. Done. When one of the up / down / left / right direction switches of the quadruple switch 209 is pressed, the display indicating the selection state of the menu screen or the index screen moves to the item or frame in that direction. For example, when the upward switch is pressed, the display indicating the selection state of the menu screen or the index screen moves to the upward item or frame.
[0038]
In the zoom operation of the interchangeable lens 3, when the right switch of the quad switch 209 is pressed, the interchangeable lens 3 continuously moves to the wide side, and when the left switch of the quad switch 209 is pressed, the interchangeable lens 3 is telephoto. Move continuously to the side.
[0039]
A switch group 210 is provided at a position on the lower right side of the LCD display unit 207 in order to perform operations related to display and display contents of the LCD display unit 207. The switch group 210 includes a cancel switch 210a, a confirmation switch 210b, a menu display switch 210c, and a display switch 210d.
[0040]
The cancel switch 210a is a switch for canceling the content selected on the menu screen. The confirmation switch 210b is a switch for confirming the content selected on the menu screen. The menu display switch 210c is a switch for displaying a menu screen on the LCD display unit 207 and switching the contents of the menu screen. Each time the menu display switch 210c is pressed, the menu screen is displayed. The display switch 210d is a switch for causing the display on the LCD display unit 207 to be displayed and switching the contents of the menu screen. In order to save the power source batteries E1 to E4, the LCD display unit 207 is not displayed when the camera is activated. Each time the display switch 210d is pressed, display and non-display of the LCD display unit 207 are alternately performed.
[0041]
FIG. 7 is a block configuration diagram showing the internal configuration of the digital still camera 1.
[0042]
The digital still camera 1 mainly includes a lens 101, an imaging unit 102, a signal processing unit 103, a light emission control unit 104, a lens control unit 105, a display unit 106, an operation unit 107, and an overall control unit 108.
[0043]
The lens 101 corresponds to the interchangeable lens 3. The lens 101 includes a focusing lens 101a and a zoom lens 101b, and a diaphragm 101c for adjusting the amount of transmitted light is provided inside.
[0044]
The imaging unit 102 captures a subject light image incident through the lens 101 by photoelectric conversion into an image signal (electrical image). The imaging unit 102 includes a CCD 102a corresponding to the CCD 205, a timing generator 102b that controls the imaging operation of the CCD 102a, and a timing control circuit 102c that controls driving of the timing generator 102b.
[0045]
The CCD 102a receives a subject light image for a predetermined time (exposure time) based on a drive control signal (integration start signal / integration end signal) input from the timing generator 102b, and converts it into an image signal (charge accumulation signal). The image signal is output to the signal processing unit 103 using a read control signal (horizontal synchronization signal, vertical synchronization signal, transfer signal, etc.) input from the timing generator 102b. At this time, the image signal is separated into R, G, and B color components and output to the signal processing unit 103. That is, by sequentially reading out the image signal received at each pixel at the pixel position (2h + 1, 2k + 1), an R color component image signal is output, and each pixel at the pixel position (2h + 2, 2k + 1), (2h + 1, 2k + 2). The image signal of the G color component is output by sequentially reading out the image signal received at, and the image signal of the B color component by sequentially reading out the image signal received at each pixel at the pixel position (2h + 2, 2k + 2). Is output.
[0046]
The timing generator 102b generates a drive control signal based on the control signal input from the timing control circuit 102c, generates a read control signal based on the reference clock, and outputs it to the CCD 102a. The timing control circuit 102c controls the shooting operation of the imaging unit 102. The timing control circuit 102c generates a shooting control signal based on the control signal input from the overall control unit 108. The shooting control signal includes a shooting control signal for displaying a moving image of a subject (hereinafter referred to as a live view image) on the electronic viewfinder 4 during shooting standby in the recording mode. Includes a control signal for capturing a still image (hereinafter referred to as a recorded image), a reference clock, a timing signal (synchronization clock) for signal processing of the image signal output from the CCD 102a by the signal processing unit 103, and the like. . This timing signal is input to the signal processing circuit 103a and the A / D conversion circuit 103b in the signal processing unit 103.
[0047]
The signal processing unit 103 performs predetermined analog signal processing and digital signal processing on the image signal output from the CCD 102a. The signal processing of the image signal is performed for each light reception signal of each pixel constituting the image data. Hereinafter, for the sake of convenience of explanation, in order to distinguish between the light reception signal of each pixel and the image signal that constitutes the photographed image by these sets, the light reception signal of each pixel is converted to a pixel signal (analog signal) or pixel data (digital Signal).
[0048]
The signal processing unit 103 includes an analog signal processing circuit 103a, an A / D conversion circuit 103b, a black level correction circuit 103c, a WB circuit 103d, a γ correction circuit 103e, and an image memory 103f. The black level correction circuit 103c, the WB circuit 103d, and the γ correction circuit 103e constitute a circuit that performs digital signal processing.
[0049]
The analog signal processing circuit 103a mainly includes a CDS circuit (correlated double sampling) circuit and an AGC (auto gain control) circuit, and sampling noise of an image signal (a signal received by each pixel, an analog signal) output from the CCD 102a. Reduction and signal level adjustment.
[0050]
The gain control in the AGC circuit compensates for insufficient level of the captured image when an appropriate exposure cannot be obtained with the aperture value of the aperture 101c and the exposure time of the CCD 205 (for example, when shooting a very low brightness subject). It is also included when doing.
[0051]
The A / D conversion circuit 102b converts the image signal output from the analog signal processing circuit 103a into a digital signal (hereinafter referred to as image data). The A / D conversion circuit 102b converts the pixel signal received by each pixel into, for example, 10-bit pixel data.
[0052]
The black level correction circuit 103c corrects the black level of each pixel data subjected to A / D conversion to a reference black level. The WB circuit 103d adjusts the white balance of the captured image. The WB circuit 103d adjusts the white balance of the photographed image by converting the level of the pixel data of the R, G, and B color components using the level conversion table input from the overall control unit. Note that the conversion coefficient of each color component in the level conversion table is set for each captured image from the overall control unit 108. The γ correction circuit 103e corrects the γ characteristic of the pixel data. The γ correction circuit 103e corrects the level of each pixel data using a preset correction table.
[0053]
The image memory 103f is a memory for temporarily storing image data for which signal processing has been completed. The image memory 103f has a capacity capable of storing image data for at least two frames. This is because exposure is performed twice in succession in shooting in the blur adjustment mode and the like, and image data for two frames is captured, so that they can be stored respectively. Note that the storage capacity capable of storing image data for one frame is a capacity capable of storing 1.92 million pixel data, for example, assuming that the number of pixels of the CCD 102a is 1600 × 1200 = 19.2 million.
[0054]
The light emission control unit 104 controls the light emission of the flash 5 based on the light emission control signal input from the overall control unit 108. The light emission control signal includes a light emission preparation instruction, a light emission timing, and a light emission amount. When there is an instruction for light emission preparation from the overall control unit 108, the light emission control unit 104 charges the main capacitor to make it ready for light emission, and discharges the flash 5 by discharging the accumulated charge of the main capacitor in synchronization with the light emission timing signal. Let Then, based on the light emission stop signal input from the overall control unit 108, the discharge of the accumulated charge in the main capacitor is stopped. Thereby, the flash 5 emits light with a required light emission amount.
[0055]
The lens control unit 105 controls driving of the focusing lens 101a, the zoom lens 101b, and the diaphragm 101c in the lens 101. The lens control unit 105 includes an aperture control circuit 105a that controls the aperture value of the aperture 101c, a focus control circuit 105b that controls the drive of the focus motor FM, and a zoom control circuit 105c that controls the drive of the zoom motor ZM.
[0056]
The aperture control circuit 105a drives the aperture 101a based on the aperture value input from the overall control unit 108, and sets the aperture amount to the aperture value. The focus control circuit 105b controls driving of the focus motor FM, and the driving force of the focus motor FM is transmitted to the focus lens 101a via the coupler CP1. The focus control circuit 105b drives the focus motor FM based on an AF control signal (for example, a control value such as the number of drive pulses) input from the overall control unit 108, and sets the focus lens to the focus position. The zoom control circuit 105c drives the zoom motor ZM based on the zoom control signal (operation information of the quad switch 209) input from the overall control unit 108, and moves the zoom lens 101b in the direction specified by the quad switch 209. Move. That is, when the right control information of the quad switch 209 is input from the overall control unit 108, the zoom control circuit 105c drives the zoom motor ZM in the forward direction to move the zoom lens 101b to the wide side. When operation information in the left direction of the continuous switch 209 is input, the zoom motor ZM is driven in the reverse direction to move the zoom lens 101b to the tele side.
[0057]
The display unit 106 performs display on the LCD display unit 207 and display on the electronic viewfinder 4. The display unit 106 includes a display 106 a and a VRAM 106 b corresponding to the LCD display unit 207, and a display 106 c and a VRAM 106 d corresponding to the LCD display unit 401 in the electronic viewfinder 4. The display 106a has, for example, 200 × 150 = 30000 pixels, and the display 106c has, for example, 200 × 150 = 30000 pixels. Therefore, the VRAM 106b can store approximately 30,000 pixel data corresponding to the number of pixels of the display 106a, and the VRAM 106d can store approximately 30,000 pixel data corresponding to the number of pixels of the display 106c. Yes.
[0058]
During the shooting standby, the CCD 102a is driven in the draft mode, and frame images of 200 × 150 pixels are sequentially output from the CCD 102a. The image signal of each frame image is subjected to predetermined signal processing, then stored in the image memory 103f, and sequentially read out to the overall control unit 108 and transferred to the VRAM 106d. As a result, the live view image of the subject is displayed on the display 106c (display surface of the LCD display unit 401). When the display switch 210d is instructed to display the LCD display unit 207 by an operation, it is transferred to the VRAM 106b, whereby a monitor image of the subject is also displayed on the display 106a (display surface of the LCD display unit 207).
[0059]
When the menu display is instructed by operating the menu switch 210c, the image data of the menu screen stored in the R0M 108a in the overall control unit 108 is read out to the VRAM 106b, whereby the display content of the display 106a is switched to the menu screen. It is done.
[0060]
In the playback mode, thumbnail images of captured images are read from each frame image file recorded on the memory card MC by the overall control unit 108, arranged in accordance with a predetermined format, and image data for index display is created. Is read into the VRAM 106b. As a result, a list of photographed images recorded on the memory card MC is displayed on the display 106a. When the frame to be reproduced is designated by the operation of the quad switch 209, the image data of the captured image recorded in the CCD RAW format is read from the image file corresponding to the frame recorded on the memory card MC, The display size is adjusted to the display 106a and transferred to the VRAM 106b. As a result, the captured image is reproduced and displayed on the display 106a (display surface of the LCD display unit 207).
[0061]
The operation unit 107 inputs operation information of operation members related to shooting and reproduction provided in the camera body 2 to the overall control unit 108. The operation information input from the operation unit 107 includes operation information of each operation member such as the shutter button 206, the power switch 208, the quad switch 209, and the switch group 210.
[0062]
The overall control unit 108 performs centralized control of the shooting function and playback function of the digital still camera 1. A memory card MC is connected to the overall control unit 108 via a card interface 109. Further, the computer PC is externally connected via the communication interface 110.
[0063]
The overall control unit 108 is a microcomputer, and includes a processing program for performing various specific processes in the photographing function and the reproduction function, the above-described imaging unit 102, signal processing unit 103, light emission control unit 104, and lens control unit 105. A ROM 108a storing a control program for controlling driving of the display unit 106 and the like and a RAM 108b for performing various arithmetic operations according to the processing program and the control program are provided.
[0064]
Specific processing performed by the overall control unit 108 includes an exposure control value (exposure time Tv [Ev value] of the CCD 102a and an aperture value Av [Ev value] of the aperture 101c) when capturing a live view image or photographing a subject. ) (Exposure control value calculation processing), a live view image captured from the CCD 102a to the image memory 103f in the recording mode is displayed on the electronic viewfinder 4, and read from the memory card MC to the image memory 103f in the reproduction mode. Processing for displaying the recorded image on the LCD display unit 207 (image display processing), processing for recording the recorded image taken in from the CCD 102a to the image memory 103f in the recording mode into the card memory MC (recording processing), and memory in the reproduction mode A recorded image to be reproduced from the card MC is stored in the image memory 103. For continuous reading in special shooting modes such as reading processing (playback processing) and blur adjustment mode, and capturing images for calculating the amount of positional deviation of continuously shot images before and after each exposure operation A process for performing an exposure operation (special exposure control process) and a process for synthesizing two captured images obtained by the exposure control (image synthesis process) are included.
[0065]
The exposure value calculation unit 108c, the display control unit 108d, the recording control unit 108e, the reproduction control unit 108f, the special exposure control unit 108g, and the image processing unit 108h represent the above-described processes in the overall control unit 108 as functional blocks. .
[0066]
The exposure value determiner 108c performs an exposure value calculation process, determines the luminance of the subject using the image data of the G color component of the live view image, and calculates the exposure control value based on the determination result.
[0067]
The display control unit 108d performs image display processing. The display control unit 108d reads the display operation of the display unit 106 described above, that is, reads the image data temporarily stored in the image memory 103f, and sets the image size to the display destination image size as necessary. After the adjustment, the operation of transferring to the VRAM 106c or VRAM 106d is performed.
[0068]
The recording control unit 108e performs a recording process. When the photographing is instructed by the shutter button 206 in the normal photographing mode, the recording control unit 108e reads the image data (still image data) temporarily stored in the image memory 103f after the photographing instruction to the RAM 108b. Predetermined compression processing by the JPEG method such as DCT conversion and Huffman coding is performed to create image data for recording.
[0069]
Also, a thumbnail image having a pixel number of 200 × 150 is created by reading out a frame image shot in the draft mode immediately before the release and stored in the image memory 103f to the RAM 108b. Further, tag information relating to the photographed image recorded in association with the image data for recording is created. This tag information includes the lens name, frame number, focal length at the time of shooting, F-number at the time of shooting, focus position, subject brightness, white balance adjustment value, shooting mode, compression rate, shooting date, presence / absence of flash emission, etc. It is.
[0070]
Then, the recording control unit 108e attaches tag information to the compressed captured image and thumbnail image data to create an EXIF (Exchangeable Image File Format) format image file, and records this image file on the memory card MC. .
[0071]
Note that, in the shooting mode of the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode, a predetermined image by a JPEG method such as two-dimensional DCT conversion or Huffman coding is applied to the synthesized image synthesized by the image processing unit 108h. The image data for recording is created by performing compression processing, tag information is attached to the compressed composite image and the image data of the thumbnail image to create an image file in a TIFF (Tag Image File Format) format, and this image file is Record in the memory card MC.
[0072]
Therefore, the two captured images before synthesis are not recorded on the memory card MC. This is to efficiently use the memory card MC because the camera body performs the image composition processing. In consideration of the convenience of separately combining images on a personal computer or the like, the two photographed images before combining may be recorded on the memory card MC.
[0073]
FIG. 8 is a diagram illustrating a method of recording an image file on the memory card MC.
[0074]
Each image file is stored in the memory card MC in the order of the file number X from the top. Each image file is given a file name of “Pn.Y”, “n” is a 6-digit number indicating the order in which the image files were created, and “Y” is a symbol indicating the format of the image data. is there. For example, when “Y” is “JPG”, the image data is compressed by the JPEG method.
[0075]
The recording area of each image file in the memory card MC is composed of three areas, and tag information data, photographed image data, and thumbnail image data are stored in each area from the top. The data sizes of the tag information data and the thumbnail image data do not change depending on the image file, but the data size of the photographed image data varies depending on the compression rate and the photographing mode. For this reason, the number of files that can be stored in the image file storage area of the memory card MC varies depending on the data size of the captured image data of each image file.
[0076]
The reproduction control unit 108f performs reproduction processing of the captured image recorded on the memory card MC on the LCD display unit 207. When the playback mode is set by the power switch 208, the playback control unit 108f reads thumbnail images from each image file recorded on the memory card MC, and sequentially stores them in the VRAM 106b according to a predetermined index format. For example, nine thumbnail images per page are stored in the VRAM 106b so as to be secondarily arranged in 3 × 3. Therefore, nine thumbnail images arranged two-dimensionally are displayed in an index on the LCD display unit 207.
[0077]
When a thumbnail image of a frame to be reproduced is designated by the quadruple switch 209 and the switch group 210 with respect to the thumbnail image displayed as an index, the reproduction processing unit 108f obtains the captured image data from the image file corresponding to the frame. After reading and performing a predetermined decompression process, it is stored in the image memory 103f. The data read out to the image memory 103f is adjusted in data size by the display control unit 108d as described above, transferred to the VRAM 106b, and reproduced and displayed on the LCD display unit 207.
[0078]
The special exposure control unit 108g controls the exposure operation of the CCD 102a when the shutter button 6 is fully pressed while the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode are set. The special exposure control unit 108g basically repeats the exposure operation of the CCD 102a twice in order to capture an image for image composition (hereinafter, this image is referred to as an actual captured image) when the S2 switch is turned on. Since at least two images for calculating the amount of positional deviation between the two actual captured images (hereinafter referred to as “calculation images”) are taken in, the calculation is performed before and after each exposure operation for the actual captured images. An image exposure operation is performed.
[0079]
The calculation image is used to calculate the amount of misregistration, and does not require a high image quality like the actual captured image. In this embodiment, the calculation image is captured by driving the CCD 102a in the draft mode. Yes. That is, the calculation image is captured with a smaller number of pixels than the actual captured image.
[0080]
In the photographing standby state, the CCD 102a repeats the exposure operation in the draft mode. When the S2 switch is turned on in this state, the special exposure control unit 108g sets the drive mode of the CCD 102a to the draft mode (light reception of all pixels), for example. A mode in which a predetermined number of pixels are read out and read out of the data (in this embodiment, the thinning rate of the number of pixels is set to 1/8) to a normal mode (a mode in which light reception data of all pixels is read) is switched to the first time. The exposure operation for the actual captured image is performed, and then the operation is switched to the draft mode again to perform the exposure operation for the calculation image at least twice, and further to the normal mode to perform the second exposure operation for the actual captured image. . Note that the calculation image does not necessarily need to be captured continuously as long as it is before and after the main captured image, and the main captured image and the calculation image may be captured alternately.
[0081]
The details of the shooting operation in the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode will be described later.
[0082]
The image processing unit 108h performs registration processing (positioning processing) of two actual captured images continuously captured in the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode, and then both the captured images. For each corresponding pixel position, a predetermined calculation process is performed using the data of both the captured images to generate composite image data.
[0083]
The registration process aligns the positions of two images to be combined in order to accurately combine the same symbols in the screen in the image combining process. In the registration process, for example, both the captured images A and B are collated while enlarging / reducing, translating, rotating, and the like of the other captured image B on the basis of one captured image A. , B, the enlargement ratio, the parallel movement amount, the rotation angle, and the like of the captured image B are calculated. The degree of coincidence between one captured image A and the other captured image B is, for example, the sum of absolute values (correlation functions) of the level difference between the data of both captured images A and B with the parallel movement amount of the captured image B as an argument. The parallel movement amount is calculated as a movement amount (that is, a positional deviation amount) for matching the captured image B with the captured image A.
[0084]
Note that, in the present embodiment, in consideration of the fact that the positional deviation between the two captured images due to the camera shake is mainly caused by the linear blur in the image in which two images are continuously captured. Only the parallel movement amount (X, Y) (that is, the amount of positional deviation between the actual captured images A and B) for making the actual captured image A coincide with each other is calculated. In addition, since this calculation repeats the calculation of the correlation function while moving the captured image B at a predetermined pitch, if the registration process is directly performed using the actual captured image having 1.92 million pixel data, iterative calculation is performed. Therefore, in this embodiment, the captured image having a smaller number of pixels than the actual captured image (the calculation image captured in the draft mode before and after the exposure operation of the actual captured image is substantially the actual captured image). A registration process is performed using the image data corresponding to an image obtained by thinning the image data to 1/8. The number obtained by multiplying the result of the process by 8 (for example, the moving amount of the thumbnail image is (3 4), (24, 32) is set as the initial value of the amount of movement of the actual captured image B in the registration process for the actual captured image.
[0085]
Therefore, when a plurality of calculation images are captured by the CCD 102a by the special exposure control unit 108g, the image processing unit 108h performs the above-described registration processing using these calculation images, and the first actual captured image A and A positional deviation amount (X, Y) from the second actual captured image B is calculated.
[0086]
Further, in the registration processing of the two main captured images A and B in the image processing after the exposure operation is completed, for example, the second actual captured image B with respect to the first actual captured image A is misaligned (8X, 8Y). ), The above-mentioned correlation function is calculated by moving the actual captured image B by one pixel pitch within the range of (8X ± m, 8Y ± n), and the correlation function is minimized. By calculating the amount of translation, the amount of positional deviation between the captured images A and B is calculated. Since the amount of positional deviation of the second actual captured image B from the first actual captured image A in the initial state is very small, the parallel movement amount (X, Y) is calculated with a relatively small number of repeated calculations.
[0087]
Next, photographing operations in the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode of the digital still camera 1 will be described in detail.
[0088]
FIG. 9 is a time chart showing the photographing operation in the blur adjustment mode.
[0089]
In the figure, the upper waveform diagram shows the ON timing of the S1 switch and the S2 switch based on the operation of the shutter button 6. The waveform diagram in the second stage shows the exposure operation of the CCD 102a. The ON period indicates the exposure period, and the OFF period indicates the period during which data stored in the exposure period is read.
[0090]
The exposure operation of the CCD 102a is repeated in a short cycle before the S2 switch is turned on, which indicates that a live view image is captured in a shooting standby state. In the shooting standby state, the CCD 102a is repeatedly exposed in the draft mode, and a frame image is captured every 1/30 seconds. On the other hand, a long on period E1 immediately after the S2 switch is turned on is an exposure period for capturing the first actual captured image A, and a subsequent long on period E2 is for capturing the second actual captured image B. Exposure period. Hereinafter, photographing corresponding to these exposure operations is referred to as main photographing Q1 and Q2, respectively.
[0091]
In addition, three short ON periods E3, E4, and E5 between the ON period E1 and the ON period E2 indicate that the exposure operation is repeated three times in order to capture the calculation image. This exposure operation is the same as capturing a live view image in the shooting standby state. Hereinafter, photographing corresponding to these exposure operations is referred to as thinned photographing MQ1, MQ2, MQ3, respectively.
[0092]
The reason why the thinned-out photographing MQ1, MQ2, MQ3 is performed in the draft mode is to make the interval between the main photographing Q1 and the main photographing Q2 as short as possible and to minimize the amount of positional deviation between the main photographing images A and B. is there. Note that the level of the image signal output from the CCD 102a is lowered by performing the thinning-out photography MQ1, MQ2, MQ3 in the draft mode. However, the analog signal processing circuit 103a adjusts the level accordingly, so that the movement amount is calculated. There is no reduction in accuracy.
[0093]
Further, the exposure operation of the CCD 102a is repeated again in a short cycle after the ON period E2, which indicates that the camera has returned to the shooting standby state, and that a live view image has been captured again.
[0094]
The third-stage waveform diagram shows the main processing contents controlled by the overall control unit 108. The ON period or ON signal indicates that a predetermined control process directly related to shooting in the blur adjustment mode is being performed. In the processing period C1 immediately after the S1 switch is turned on, distance measurement using a frame image immediately before the S1 switch is turned on and AF (Auto Focus) calculation based on the result of the distance measurement (in preparation for a subsequent release) Hereinafter, an AE (Automatic Exposure) calculation (hereinafter referred to as a first AE calculation) and an AWB (Automatic White Balance) calculation (hereinafter referred to as a first AWB calculation) using the same frame image. Indicates what is being done. The on signals S1 and S3 are for switching the driving mode of the CCD 102a from the draft mode to the normal mode, and the on signals S2 and S4 are for switching the driving mode of the CCD 102a from the normal mode to the draft mode.
[0095]
The processing period C2 immediately after the thinned-out photographing MQ3 is used for the same calculation as the AF operation for the second main photographing Q2 (hereinafter referred to as the second AF calculation) using the calculation image obtained by the thinned-out photographing MQ3. It shows that AE calculation (hereinafter referred to as second AE calculation) and AWB calculation (hereinafter referred to as second AWB calculation) are performed using the image.
[0096]
In the processing period C3, the movement amount (X, Y) of the second actual captured image B with respect to the first actual captured image A is calculated using the three calculation images obtained by the thinned-out images MQ1, MQ2, MQ3. It shows that you are doing. The processing period C4 indicates that signal processing such as AWB adjustment and γ correction of the captured images A and B is performed, and the processing period C5 is an image synthesis process (registration processing and The processing period C6 indicates that the composite image of both the captured images A and B is compressed and recorded in the memory card MC. Yes.
[0097]
The lowermost waveform diagram shows a change in the relative position of the focusing lens 101b. The rising change R1 of the waveform immediately after the processing period C1 indicates that the focusing lens 101b has moved from the current position to the subject distance ∞. In the present embodiment, in the blur adjustment mode, the main photographing Q1 is performed by first adjusting the focus to the ∞ position, and then the second main photographing is performed by adjusting the focus to a predetermined subject distance (for example, 1 m). Since Q2 is performed and the main captured images A and B obtained in the main imaging Q1 and Q2 are combined, the AF calculation processing and the movement R1 of the focusing lens 101b in the S1 signal, the processing period C1 are performed by the shutter. This shows that the AF processing for the first actual photographing Q1 in the blur adjustment mode is performed in preparation for the full depression (release instruction) of the shutter button 6 by half-pressing the button 6.
[0098]
Further, the waveform falling change R2 after the end of the main photographing Q1 indicates an AF process for the second main photographing Q2, and the focusing lens 101b is moved from the current position to a focal position of a predetermined subject distance (1 m). It shows that.
[0099]
From the time chart shown in FIG. 9, in the blur adjustment mode, when the shutter button 6 is half-pressed in the shooting standby state and the S1 switch is turned on, AF processing is performed for the ∞ position and the exposure control value ( The aperture value of the aperture 101c and the exposure time of the CCD 102a) and the WB adjustment value are set. After that, when the shutter button 6 is fully pressed and S2 is turned on, the drive mode of the CCD is switched to the normal mode, and the set exposure time At E1, the CCD 102a is exposed and the first actual photographing Q1 is performed.
[0100]
When this exposure operation is completed, image signals of all the pixels are read out from the CCD 102a, and the focusing lens 101b is moved from the current position to a focal position with a subject distance of 1 m. When the reading of the image signal is completed, the CCD driving mode is continuously switched to the draft mode using the moving period of the focusing lens 101b, and the exposure operation of the CCD 102a is continuously performed three times with a predetermined exposure time. Thinned-out photography MQ1, MQ2, MQ3 is performed, and AE calculation is performed on the actual photography Q2 using the calculation image obtained in the thinned-out photography MQ3.
[0101]
In the bokeh adjustment mode, since the main photographing Q1 and Q2 are performed by changing the focal position, the exposure value for the first main photographing Q1 and the exposure value for the second main photographing Q1 are likely to change. In the calculation, the exposure control value for the main photographing Q2 is set using the calculation image obtained by the thinning photographing MQ3 performed immediately before the main photographing Q2.
[0102]
Note that the main shooting Q2 is performed continuously following the main shooting Q1, but in the blur adjustment mode, if the aperture value is not set in the same state as the main shooting Q1 (for example, an open aperture value), the blur adjustment is not performed. There is no effect. Therefore, in the main photographing Q2, the aperture value of the aperture 101c is fixed, and exposure control is performed only by the exposure time of the CCD 102a. Therefore, in this exposure control, the exposure time of the CCD 102a is set with priority on the aperture.
[0103]
Considering subject movement, it is desirable to make the shooting interval between the main shooting Q1 and the main shooting Q2 as short as possible. Therefore, in the main shooting Q1, the AGC gain is quadrupled and the exposure time is set to ¼. If the exposure time is sufficiently short, there is no need to increase the gain. As shown in FIG. 10, an ND filter 102d is detachably provided on the optical axis of the lens 101 between the lens 101 and the CCD 102a, and a drive circuit 102e for controlling the insertion / removal operation of the ND filter 102d is provided. A suitable exposure time may be set for the main photographing Q2 by combination with the ND filter 102d.
[0104]
Further, in the present embodiment, the photographed image of the thinned-out photograph MQ3 performed immediately before the main photographing Q2 is used for the calculation of the exposure control value. However, other operations performed between the main photographing Q1 and the main photographing Q2 are used. You may make it use the image obtained by thinning imaging MQ1 and MQ2.
[0105]
Further, the second AF calculation and the second AWB calculation are performed using the calculation image obtained by the thinning-out shooting MQ3, and using these calculation results, between the first main shooting Q1 and the second main shooting Q1. A process for determining changes in shooting conditions such as subject brightness, subject distance, and light source color is performed.
[0106]
The determination process of the change of the photographing condition is performed by the following procedure using the flowchart shown in FIG.
[0107]
First, the subject distance Dv2, the subject luminance Bv2, and the AWB adjustment gain (R2 / G2, B2 / G2) are calculated by the second AF calculation, the second AE calculation, and the second AWB calculation (# 1, # 3), respectively. Subsequently, the subject distance Dv1, the subject brightness Bv2, and the AWB adjustment gain (R2 / G2, B2 / G2) calculated by the first AF calculation, the first AE calculation, and the first AWB calculation, respectively, are adjusted. Each is compared with the gain (R1 / G1, B1 / G1) (# 5).
[0108]
Subject brightness difference ΔBv = | Bv2-Bv1 | exceeds a predetermined value (for example, 1 EV), subject distance difference ΔDv = | Dv2-Dv1 | exceeds a predetermined value (for example, 1 m), or AWB adjustment gain difference ΔGAWB= | R2 / G2-R1 / G1 | + | B2 / G2-B1 / G1 | exceeds any predetermined value (for example, 0.5) (NO in # 7, # 9, # 11) ) Since it is presumed that the shooting conditions have changed greatly between the main shooting Q1 and the main shooting Q2, and an appropriate composite image cannot be obtained, the exposure operation of the main shooting F2 is prohibited, and the EVF4 infender screen A warning to that effect is displayed (# 17). This warning display is performed, for example, by changing the display color to a specific warning color or blinking. Note that a warning message using characters may be displayed, or a warning sound may be emitted.
[0109]
Due to this shooting prohibition and warning processing, shooting that is substantially failed shooting is stopped, the processing efficiency of the shooting operation is not reduced, and image data having no composite value is not recorded in the memory card MC. Recording efficiency is not reduced.
[0110]
On the other hand, when the shooting conditions are not significantly changed between the main shooting Q1 and the main shooting Q2, that is, the subject luminance difference ΔBv = | Bv2-Bv1 |, the subject distance difference ΔDv = | Dv2-Dv1 |, and the AWB adjustment gain. Difference ΔGAWBAre all equal to or smaller than a predetermined value (YES in # 7, # 9, and # 11), an exposure control value (aperture value, exposure time) is set based on the subject brightness Bv2 for the actual photographing Q2 (# 13). The process is terminated.
[0111]
Returning to FIG. 9, when the movement of the focus lens 101b to the focus position with the subject distance of 1 m is completed, if the second main photographing Q2 is not prohibited, the drive mode of the CCD is switched to the draft mode and set again. The exposure operation of the CCD 102a is performed at the exposure time E2, and the actual photographing Q2 is performed. Further, during this exposure period, the actual captured image B obtained by the actual photographing Q2 with respect to the actual captured image A obtained by the actual photographing Q1 using the three calculation images obtained by the thinned photographing MQ1, MQ2, MQ3. The movement amount (X, Y) is calculated.
[0112]
The calculation process of the movement amount (X, Y) of the actual captured image is performed in the following procedure using the flowchart shown in FIG.
[0113]
Assume that the images MF2 and MF3 obtained by the thinning-out photography MQ2 and MQ3 are moved as shown in FIG. 13 with respect to the image MF1 obtained by the thinning-out photography MQ1. When three images MF1, MF2, and MF3 are obtained by the thin-out photographing MQ1, MQ2, and MQ3 (# 21), first, the movement amount (x1, y1) of the calculation image MF2 with respect to the calculation image MF1 is G color. Calculation is performed using the component data (# 23). The G color component data is used because the number of data is larger than that of the other color components and the contrast of the image is clearer than the other color components, so that the moving amount (x1, y1) can be easily and quickly performed. This is because the calculation can be performed. The movement amount (x1, y1) is calculated by moving the calculation image MF2 from 0 to 40 pixels in the x direction by 0 to 40 pixels in the x direction and from 0 to 30 pixels in the y direction on the basis of the calculation image MF1. And the image MF2 for calculation are calculated, and the movement amount in the x direction and the y direction that minimizes the correlation function is calculated.
[0114]
Note that the movement amount of the calculation image MF2 in this calculation is set to 40 pixels in the x direction and 30 pixels in the y direction because the calculation images MF1 and MF2 are continuously photographed, and the displacement due to camera shake is Since it is very small and the number of pixels of the calculation images MF1 and MF2 is 200 (y direction) × 150 (x direction), it is not abnormal camera shake if they are moved about 1/5 of the total size in both directions. This is because the minimum value of the correlation function can usually be calculated.
[0115]
When the movement amount (x1, y1) is calculated, it is determined whether the correlation function for the movement amount (x1, y1) is 0.5 or more (# 25), and the correlation function is 0.5.If it is above (YES in # 25)The calculation image MF1 and the calculation image MF2 do not match, that is, it is estimated that an abnormal camera shake has occurred. Since an image cannot be obtained, the exposure operation of the main photographing F2 is interrupted and a warning to that effect is displayed in the infender screen of the EVF 4 (# 35). As a result, shooting that is substantially failed shooting is stopped, the processing efficiency of the shooting operation is not reduced, and image data having no composite value is not recorded on the memory card MC, and the recording efficiency is also reduced. I will not let you.
[0116]
On the other hand, the correlation function is 0.5Is smaller (NO at # 25)The movement amount (x2, y2) of the calculation image MF3 with respect to the calculation image MF2 is calculated using the G color component data by the same method as described above (# 27). When the movement amount (x2, y2) is calculated, it is determined whether the correlation function for the movement amount (x2, y2) is 0.5 or more (# 29), and the correlation function is 0.5.If it is above (YES in # 29)Since the calculation image MF2 and the calculation image MF3 do not match, that is, it is estimated that an abnormal camera shake has occurred, the process shifts to step # 35 and the shooting of the main shooting F2 is interrupted. , A warning to that effect is displayed in the infender screen of EVF4.
[0117]
On the other hand, the correlation function is 0.5Is smaller (NO at # 29)From the timings and movement amounts (x1, y1), (x2, y2) of the main photographing Q1, Q2 and thinned photographing MQ1, MQ2, MQ3, the movement amount (x, y) is calculated (# 31).
[0118]
Specifically, for example, in the case of the movement amount x, the relationship between the timings T1, T2, T3 of the thinned-out photographing MQ1, MQ2, MQ3 and the movement amounts x1, x2 is as shown in FIG. From these, relative positions P1, P2, and P3 in the x direction at timings T1, T2, and T3 can be determined. Accordingly, since the movement amount curve N (T) in the x direction can be approximated using these three points P1 to P3, the main photographing Q1 and the timings T4 and T5 of the main photographing Q1 and Q2 can be approximated from the approximate curve N (T). The movement amount x in the x direction with respect to the main photographing Q2 is calculated by x = N (T5) −N (T4). Note that the movement amount y is also calculated by the same method.
[0119]
Then, the movement amount (x, y) is multiplied by 8 to calculate the movement amount (X = 8x, Y = 8y) of the actual captured image B with respect to the actual captured image A (# 33), and the process is terminated. Note that the movement amount (x, y) is multiplied by 8 because the size of the calculation images MF1 to MF3 is 1/8 of the main captured images A and B. The amount (x, y) is converted into a movement amount (X, Y) at the size of the actual captured image.
[0120]
Returning to FIG. 9, when the main photographing Q2 is completed, the photographing standby state is set, the CCD driving mode is switched to the draft mode, the live view image is captured by the CCD 102a, and is displayed on the EVF 4.
[0121]
Further, when the main photographing Q2 is normally performed, predetermined signal processing is performed on the main photographed images A and B photographed in the main photographing Q1 and Q2, respectively, and then the registration is performed according to the flowchart shown in FIG. The processing is performed (# 41, # 43), and a predetermined image composition process is performed to create a blur adjustment image (# 45, # 47, # 49), and the blur adjustment image is stored in the memory card MC. It is recorded (# 51).
[0122]
The registration processing of the captured images A and B is also performed using the data of the G color component. First, the actual captured image B is moved by the movement amount (X, Y) so that the position is shifted by (X, Y) with respect to the actual captured image A as shown in FIG. Then, with the actual captured image A as a reference, the actual captured image B is one pixel pitch, for example, from (X-40) to (X + 40) pixels in the x direction and from (Y-30) to (Y + 30) pixels in the y direction. A correlation function between the actual captured image and the actual captured image B is calculated while being moved, and movement amounts (X1, Y1) in the x and y directions that minimize the correlation function are calculated (# 43).
[0123]
The image composition processing of the main captured images A and B is performed for each of the R, G, and B color components. First, the main captured image B is translated by the movement amount (X1, Y1), as shown in FIG. After the actual captured image A and the image are made to coincide with each other, non-overlapping data (data indicated by hatching) is deleted from the data of the actual captured images A and B, and data for the composition processing is created. (# 47). In the example of FIG. 17, the composition processing data created from the actual captured image A is composed of data at pixel positions in the range of i = 1 to (n−Y1) and j = (X1 + 1) to m. The composition processing data created from the image B is composed of data at pixel positions in the range of i = (Y1 + 1) to n, j = 1 to (m−X1).
[0124]
Then, for example, the data of the pixel positions corresponding to the synthesis processing data of the main photographed images A and B are averaged or weighted averaged to generate the blur adjustment image data. In other words, the composite processing of both the captured images A and B is performed (# 49). In the example of FIG. 17, for the data included in the white portion, a new pixel position address (k, h) (k = 1, 2,... (N−X1), h = 1, 2,. Y1)) is set, and the composite processing data of the actual captured image A is set to DA(k, h), D for the composition processing data of the actual captured image BBIf (k, h), for example, (wA・ DA(k, h) + wB・ DB(k, h)) / 2 to calculate the blur adjustment image data DC(k, h) is created.
[0125]
The data D of this blur adjustment imageC(k, h) is recorded in the memory card MC after being compressed by the JPEG method.
[0126]
FIG. 18 is a time chart showing the photographing operation in the gradation adjustment mode.
[0127]
The contents of the waveform at each stage are the same as those shown in FIG. Further, the same reference numerals are given to signals and processing periods having the same contents as the signals and processing periods shown in FIG.
[0128]
As shown in the figure, the basic shooting operation is the same as the shooting operation in the blur adjustment mode. Therefore, here, a part different from the shooting operation in the blur adjustment mode and an operation specific to the gradation adjustment mode will be described.
[0129]
As shown in the waveform diagram of the exposure operation in FIG. 18, in this embodiment, thinning imaging is performed only twice. The first thinned-out photographing MQ1 is performed between the main photographing Q1 and Q2, and the second thinning-out photographing MQ1 is performed immediately after the end of the main photographing Q2. For this reason, the movement amount (X, Y) is calculated after the second main photographing Q2 is completed and the photographing standby state is entered. Further, in the gradation adjustment mode, the focus state of the actual captured image A and the actual captured image B must be the same. Therefore, when the AF process is performed by turning on the S1 switch (see the movement R1 of the focus lens in FIG. 18). After that, the focal position is fixed.
[0130]
In special shooting modes such as the bokeh adjustment mode, gradation adjustment mode, and super-resolution mode, shorten the distance between the main shooting Q1 and the main shooting Q2 as much as possible to reduce camera shake between the two main shootings. However, since the focus lens is intentionally moved between the main photographing Q1 and the main photographing Q2 in the blur adjustment mode, the second main photographing Q2 cannot be performed until the movement of the focusing lens is completed. . Therefore, it is necessary to provide a certain interval between the two main photographing, and the positional deviation of the main photographing is predicted by performing the thinning photographing three times by effectively using this period. However, since there is no such limitation in the gradation adjustment mode, in order to make the interval between the main shooting Q1 and the main shooting Q2 as short as possible, only the first thinned-out shooting MQ1 is performed, and the second shooting immediately after the main shooting Q2. Thinning-out photography MQ2 is performed. Further, the main photographing Q1, the thinned-out photographing MQ1, and the main photographing Q2 are performed at equal intervals.
[0131]
The plural thinned-out photographs MQ1, MQ2,... Before and after the main photographing Q1, Q2 are for reducing the burden of registration processing of the main photographed images A, B. Therefore, the thinned-out photographing MQ1. , MQ2 are performed immediately after the main photographing Q1 and Q2, respectively, in order to make the accuracy of the movement amount (X, Y) calculated using the calculation images MF1 and MF2 obtained by MQ2 as high as possible. It is good to do. In this embodiment, the thinned-out photographing MQ1 and Q2 are performed immediately after the main photographing Q1 and Q2, respectively. However, the thinned-out photographing MQ1 and Q2 are performed immediately before the main photographing Q1 and Q2, respectively. Good.
[0132]
In the present embodiment, in order to make the interval between the main photographing Q1 and the main photographing Q2 as short as possible, the above-described change determination process of the photographing conditions is not performed between the main photographing Q1 and the main photographing Q2. Processing may be performed. Further, in this embodiment, thinning-out photographing is performed only twice, but it may be performed three or more times.
[0133]
The image synthesis process in the gradation adjustment mode is also performed in the same manner as the image number synthesis process in the blur adjustment mode described above. That is, after registration processing is performed on the captured images A and B, data for synthesis processing is created, and the data of pixel positions corresponding to the data for synthesis is averaged or weighted averaged, for example. Data of the adjustment image is created.
[0134]
FIG. 19 is a time chart showing a shooting operation in the super-resolution mode.
[0135]
The contents of the waveform at each stage are the same as those shown in FIG. Further, the same reference numerals are given to signals and processing periods having the same contents as the signals and processing periods shown in FIG.
[0136]
As shown in the figure, the shooting operation in the super-resolution mode is basically the same as the shooting operation in the blur adjustment mode. Therefore, here, a different part from the shooting operation in the blur adjustment mode and an operation specific to the super-resolution mode will be described.
[0137]
As shown in the waveform diagram of the exposure operation in FIG. 19, in the present embodiment, thinning-out photographing is performed twice between the main photographing Q1 and Q2. Even in the super-resolution mode, in order to minimize the photographing operation from the main photographing Q1 to the main photographing Q2, the main photographing Q1, the thinned photographing MQ1, the thinned photographing MQ2, and the main photographing Q2 are performed at equal intervals. In this embodiment, since the thinned-out photographs MQ1 and MQ2 are performed between the main photographing Q1 and Q2, the movement amount (X, Y) is calculated during the second main photographing Q2 exposure operation. Yes.
[0138]
The same exposure process can be performed in the gradation adjustment mode. On the other hand, there is no restriction that a certain period must be provided between the main shooting Q1 and the main shooting Q2 even in the super gradation mode. Therefore, the modification example regarding the timing and number of times of thinning shooting described in the gradation adjustment mode. It can be applied to the super-resolution mode.
[0139]
Further, in this embodiment, the thinned-out photographing is performed only twice between the main photographing Q1 and Q2, but the third thinning-out photographing may be performed immediately after the second main photographing Q2. In this way, since the number of data for the movement amount calculation increases, the calculation accuracy of the movement amount is improved. Therefore, as a mode of thinning-out shooting, two times between the main shootings Q1 and Q2 are set as a basic mode of thinning-out shooting once, immediately after the main shooting Q1, and immediately before or after the main shooting Q2. A mode in which thinning shooting is performed more than once, a mode in which thinning shooting is performed twice or more between main shooting Q1 and Q2, and at least one thinning shooting is performed immediately after main shooting Q2, is considered special shooting. An appropriate shooting mode can be selected as appropriate in accordance with the contents of the mode.
[0140]
Even in the super-resolution mode, the focus state of the actual captured image A and the actual captured image B must be the same. Therefore, when the AF process is performed by turning on the S1 switch (refer to the focus lens movement R1 in FIG. 19). Thereafter, the focal position is fixed.
[0141]
Also in this embodiment, in order to make the interval between the main shooting Q1 and the main shooting Q2 as short as possible, the above-described shooting condition change determination process is not performed between the main shooting Q1 and the main shooting Q2. You may make it perform.
[0142]
The image composition process in the super-resolution mode is different from the image number composition process in the above-described blur adjustment mode and gradation adjustment mode.
[0143]
Here, the contents of the super-resolution processing will be briefly described with reference to FIG. For convenience of explanation, one-dimensional image data will be described.
[0144]
When a photographer holds a camera and performs a shutter operation on a subject, two photographed images obtained by performing two consecutive exposure operations usually have the photographer completely stopped. Therefore, the shooting position with respect to the subject is slightly displaced from each other due to minute camera shake.
[0145]
In the super-resolution processing, the first actual captured image A and the second actual captured image A are interpolated, and both the captured actual images A and B are aligned and combined, thereby achieving a high resolution. A fine image is obtained.
[0146]
That is, the image data of the first actual captured image A is shown in FIG. 20A, the image data of the second actual captured image B is shown in FIG. 20B, and the second actual captured image B is the first actual captured image B. Assume that the shooting position of the subject with respect to the shot image B is shifted to the right by Δx. 20 (a) and 20 (b), the curve P indicates the luminance characteristics of the subject, a (1), a (2),... And b (1), b (2),. (1), C (2),... And D (1), D (2),. C (1) ′, C (2) ′,... Are interpolated between the pixel positions a (1), a (2),... Using the light reception levels C (1), C (2),. D (1) ′, D (2) ′,... Of the pixel positions b (1), b (2),... Using the received light levels D (1), D (2),. It is the level which interpolated between.
[0147]
As shown in FIGS. 20A and 20B, the light receiving position of each pixel in the first actual captured image A with respect to the subject is different from the light receiving position of each pixel in the second actual captured image B. Thus, image data at twice the pixel position from the image sensor can be obtained from the image data of both the captured images A and B.
[0148]
Therefore, as shown in FIG. 3C, the first actual captured image A and the second actual captured image B are aligned, and the two image data are simply combined to match the pixel density of the image sensor. Thus, image data having twice the pixel density is obtained.
[0149]
In the present embodiment, since the shift of the light receiving position of the image sensor with respect to the subject due to camera shake is used, the shift amount Δx between the pixel position a (i) and the pixel position b (i) is not constant, Since the pixel position b (i) is not necessarily located between the pixel position a (i) and the pixel position a (i + 1), if the shift amount Δx is very small, the two image images A and B There is a possibility that the alignment cannot be performed with sufficient accuracy.
[0150]
Therefore, in order to improve this, in the present embodiment, the image data of the first actual captured image A and the image data of the second actual captured image B are interpolated and then combined. By doing so, as shown in FIG. 20C, the image data C (i) ′ and D (i) ′ are placed between the pixel position b (i) and the pixel position a (i + 1). Interpolation is performed and the two main captured images A and B are aligned with high accuracy, so that an image with high resolution can be obtained.
[0151]
Therefore, in the image composition processing in the super-resolution mode, the registration processing is performed after increasing the number of data for each of the main captured images A and B by a predetermined interpolation processing. Then, composite processing data is created from both the captured images A and B, and data of pixel positions corresponding to the composite processing data is averaged to create super-resolution image data.
[0152]
As described above, in the digital still camera 1 according to the present embodiment, in the special shooting modes such as the blur adjustment mode, the gradation adjustment mode, and the super-resolution mode, the shutter button 6 is fully pressed and the release is instructed. Then, the main shootings Q1 and Q2 are performed twice in succession. At least two shots MQ1 and MQ2 are performed at least twice before and after the main shootings Q1 and Q2, and at least two images obtained by the thinning shooting are performed. Since the misalignment amount (X, Y) between the actual captured images A and B is calculated using the calculation image, the actual captured images A and B are aligned and a predetermined image composition is performed. The processing load of the alignment processing is reduced, and the processing time can be shortened.
[0153]
In the above embodiment, the thinning-out photographing is performed only three times at the maximum continuously. However, as shown in FIG. 21, the thinning-out photographing may be performed four times or more continuously. As shown in the figure, when the second thinned-out photographing MQ2 is completed, the positional deviation amount between the main-captured images A and B immediately using the two calculation images obtained by the thinned-out photographing MQ1 and MQ2 ( X, Y) may be performed. In this way, the positional deviation amount (X, Y) can be calculated quickly.
[0154]
In the above embodiment, the calculation images MF1, MF2,... Are taken separately from the main captured images A and B. However, as shown in FIG. 22, the first main captured image A is calculated as the calculation image MF1. You may make it use as. In the example of FIG. 22, the exposure operation for the actual captured image A is made shorter than the normal exposure time, while the underexposure due to this is corrected by level adjustment in signal processing, and this actual captured image is processed in the processing period C2 ′. The calculation image MF1 is acquired by thinning out the data of A. Then, during the exposure period of the main photographing Q2, the movement amount (X, Y) is calculated using the calculation image MF1 and the calculation image MF2 photographed by the thinning-out photographing MQ2. In this way, since the thinned-out photographing MQ1 can be omitted, the interval between the main photographing Q1 and the main photographing Q2 can be further narrowed, and the positional deviation amount (X, Y) between the main photographing images A and B can be reduced. There are advantages that can be done.
[0155]
Further, in the digital still camera 1 according to the present embodiment, the movement amount calculation is performed during the exposure period of the second main shooting Q2, and when the positional deviation amount between the main shooting images A and B is large according to the calculation result, Since the main photographing Q2 is interrupted and the EVF 4 is warned to that effect, the thinned photographing MQ1 and MQ2 are performed between the main photographing Q1 and the main photographing Q2, and the image obtained by the thinning photographing is obtained. It is used to determine whether or not shooting conditions such as subject brightness, subject distance and light source color balance have changed between the main shooting Q1 and the main shooting Q2, and when the shooting conditions have changed according to the determination result, Since the main shooting Q2 is stopped and the EVF 4 is warned to that effect, the shooting that is substantially failed shooting is stopped and the processing efficiency of the shooting operation is not reduced. Further, image data having no composite value is not recorded on the memory card MC, and a decrease in recording efficiency can be prevented.
[0156]
Although the present embodiment has been described for the case of capturing two captured images in succession, the present invention can also be applied to the case of capturing three or more captured images. Further, in the present embodiment, a change in shooting condition is detected using a plurality of images obtained by thinning-out shooting MQ. However, when thinning-out shooting MQ is not performed, the actual shooting image itself is used. For example, a change in photographing condition may be detected (for example, using an image obtained by thinning out the data of the actual photographed image to reduce the image size).
[0157]
【The invention's effect】
As described above, according to the present invention, the same subject is continuously photographed at least twice, and image mutual alignment processing and predetermined processing are performed on at least two photographed images obtained by the photographing. In the digital still camera capable of creating one image by performing the above-mentioned composite calculation processing, it is determined whether or not the shooting conditions have changed between the exposure operations for obtaining two shot images, and the shooting conditions Since the user is warned if the change has occurred, the user can prevent the efficiency of the photographing process from being lowered by canceling useless image composition processing after photographing by the warning.
[0158]
Further, if the shooting conditions are changed, the subsequent exposure operation is prohibited, so that useless shooting is prevented and the reduction in efficiency of the shooting process can be surely prevented.
[Brief description of the drawings]
FIG. 1 is a front view of a camera body of a digital still camera according to the present invention.
FIG. 2 is a diagram showing an arrangement of main members of the digital still camera.
FIG. 3 is a right side view showing an arrangement of main members built in the digital still camera.
FIG. 4 is a rear view of the digital still camera.
FIG. 5 is a diagram illustrating a configuration of an imaging surface of a color imaging element.
FIG. 6 is a diagram for explaining a method of selecting a shooting mode.
FIG. 7 is a block diagram showing an internal configuration of a digital still camera.
FIG. 8 is a diagram illustrating a method of recording an image file on a memory card.
FIG. 9 is a time chart showing a shooting operation in a blur adjustment mode.
FIG. 10 is a block configuration diagram showing an internal configuration of another digital still camera in which an ND filter is detachably provided between a lens and a CCD.
FIG. 11 is a flowchart illustrating a process for determining a change in shooting condition between two main captured images obtained by actual photographing using three arithmetic images obtained by thinning photographing.
FIG. 12 is a flowchart showing a process of calculating a movement amount between two actual captured images obtained by actual photographing using three arithmetic images obtained by thinning photographing.
FIG. 13 is a diagram illustrating an example of an amount of movement between three calculation images.
FIG. 14 is a diagram for explaining a method of calculating a movement amount between two actual captured images from each timing of three thinning shootings and a movement amount between images obtained by each thinning shooting; is there.
FIG. 15 is a flowchart illustrating a processing procedure for synthesizing two main captured images to create a blur adjustment image.
FIG. 16 is a diagram illustrating an initial state of a registration process for a real captured image.
FIG. 17 is a diagram for explaining a method of creating data for image composition processing from data of two main captured images after registration processing.
FIG. 18 is a time chart showing a photographing operation in the gradation adjustment mode.
FIG. 19 is a time chart showing a shooting operation in the super-resolution mode.
FIG. 20 is a diagram for explaining super-resolution processing.
FIG. 21 is a time chart showing another aspect of thinning shooting.
FIG. 22 is a time chart showing an aspect of thinned-out photography in which the first actual photography is also used as the first thinned-out photography.
FIG. 23 is a diagram showing how the camera angle changes when the exposure operation is continuously performed.
[Explanation of symbols]
1 Digital still camera
101 lens
102 Imaging unit
102a CCD (imaging means)
103 Signal processor
104 Light emission controller
105 Lens control unit
106 Display section
107 Operation unit
108 Card I / F
108 Overall control unit (discriminating means)
108a ROM
108b RAM
108c Exposure value calculator
108d Display control unit
108e Recording control unit
108f Playback control unit
108g Special exposure control unit (exposure control means, exposure prohibition means)
108h Image processing unit (image composition means)
109 card interface
110 Communication interface
2 Camera body
205 color image sensor
206 Shutter button
207 Display section (warning means)
208 Power switch
209 Quad switch
210 Switch group
3 interchangeable lenses
4 Electronic viewfinder (warning means)
5 Flash
MC memory card

Claims (7)

被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の輝度差が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の輝度差が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at Determining means for determining whether or not the luminance difference between the images has changed to a predetermined threshold value or more, and warning means for warning if the determining means determines that the luminance difference between the captured images has changed to a predetermined threshold value or more. And a digital still camera. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された撮影画像を記録媒体に記録する記録手段と、記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備え、画像合成処理に関するモードにおいて、当該画像合成手段により合成された上記1の画像のみをメモリカードに記録するデジタルスチルカメラにおいて、上記画像合成処理に関するモードにおいて、上記撮影画像間で撮影条件が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影条件が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止すると共に、合成価値のない画像をメモリカードに記録することを禁止する禁止手段とを備えたことを特徴とするデジタルスチルカメラ。Imaging means for photoelectrically converting a subject light image into an image signal and outputting; exposure control means for performing exposure operation of the imaging means on the same subject at least twice consecutively; and exposure control by the exposure control means different in recording means for recording the images picked up on the recording medium, and the photographed image by using at least two images captured by the exposure control by the upper Symbol exposure control means performs a predetermined composite operation An image synthesizing unit that creates one image having image quality, and a digital still camera that records only the one image synthesized by the image synthesizing unit in a memory card in a mode related to image synthesizing processing. A determination means for determining whether or not the shooting condition has changed to a predetermined threshold value or more between the captured images in the processing-related mode; When photographing condition by another means is determined to have changed more than a predetermined threshold value, thereby prohibiting subsequent exposure operation for taking in the captured image, to record an image without combining values in the memory card ban A digital still camera comprising a prohibiting means. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の輝度差が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の輝度差が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at Determining means for determining whether or not the luminance difference between the images has changed to a predetermined threshold value or more, and when the determining means determines that the luminance difference between the captured images has changed to a predetermined threshold value or more, the subsequent book A digital still camera comprising: an exposure prohibiting unit that prohibits an exposure operation for capturing a photographed image. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の焦点位置のずれ量が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の焦点位置のずれ量が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at A determination unit that determines whether or not the amount of deviation of the focal position between the images has changed to a predetermined threshold value or more, and the determination unit determines that the amount of deviation of the focal position between the captured images has changed to a predetermined threshold value or more. And a digital still camera that includes an exposure prohibiting unit that prohibits an exposure operation for capturing the actual captured image thereafter. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の色バランスのずれ量が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の色バランスのずれ量が所定の閾値以上に変化したと判別されると、その後の上記本撮影画像を取り込むための露光動作を禁止する露光禁止手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at A determination unit that determines whether or not the amount of color balance deviation between the images has changed to a predetermined threshold value or more; And a digital still camera that includes an exposure prohibiting unit that prohibits an exposure operation for capturing the actual captured image thereafter. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の焦点位置のずれ量が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の焦点位置のずれ量が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at A determination unit that determines whether or not the amount of deviation of the focal position between the images has changed to a predetermined threshold value or more; And a digital still camera comprising warning means for warning. 被写体光像を画像信号に光電変換して出力する撮像手段と、同一の被写体に対して少なくとも2回連続して上記撮像手段の露光動作を行なわせる露光制御手段と、上記露光制御手段による露光制御で撮影された少なくとも2枚の撮影画像を用いて所定の合成演算を行なうことにより上記撮影画像と異なる画質を有する1の画像を作成する画像合成手段とを備えたデジタルスチルカメラにおいて、上記撮影画像間の色バランスのずれ量が所定の閾値以上に変化したか否かを判別する判別手段と、上記判別手段で撮影画像間の色バランスのずれ量が所定の閾値以上に変化したと判別されると、警告する警告手段とを備えたことを特徴とするデジタルスチルカメラ。  Imaging means for photoelectrically converting a subject light image into an image signal and outputting it, exposure control means for performing the exposure operation of the imaging means on the same subject at least twice in succession, and exposure control by the exposure control means In the digital still camera provided with an image composition means for creating one image having an image quality different from that of the photographed image by performing a predetermined composition operation using at least two photographed images photographed at A determination unit that determines whether or not the amount of color balance deviation between the images has changed to a predetermined threshold value or more; And a digital still camera comprising warning means for warning.
JP2000301451A 2000-09-29 2000-09-29 Digital still camera Expired - Fee Related JP3727841B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000301451A JP3727841B2 (en) 2000-09-29 2000-09-29 Digital still camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000301451A JP3727841B2 (en) 2000-09-29 2000-09-29 Digital still camera

Publications (2)

Publication Number Publication Date
JP2002112075A JP2002112075A (en) 2002-04-12
JP3727841B2 true JP3727841B2 (en) 2005-12-21

Family

ID=18782988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000301451A Expired - Fee Related JP3727841B2 (en) 2000-09-29 2000-09-29 Digital still camera

Country Status (1)

Country Link
JP (1) JP3727841B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5011504B2 (en) * 2005-07-22 2012-08-29 カシオ計算機株式会社 Image composition apparatus, image composition method, and program
JP4818031B2 (en) 2005-10-27 2011-11-16 キヤノン株式会社 Image processing apparatus and image processing method
KR101446941B1 (en) * 2007-12-10 2014-10-06 삼성전자주식회사 Apparatus and method for storing image when the image is speedly captured
JPWO2012033005A1 (en) * 2010-09-08 2014-01-20 日本電気株式会社 Imaging apparatus and imaging method

Also Published As

Publication number Publication date
JP2002112075A (en) 2002-04-12

Similar Documents

Publication Publication Date Title
JP3395770B2 (en) Digital still camera
JP4904108B2 (en) Imaging apparatus and image display control method
JP2001177741A (en) Electronic camera and display system
JP2005269562A (en) Photographing apparatus
JP2008182485A (en) Photographing device and photographing method
JP2009147730A (en) Moving image generating apparatus, moving image shooting apparatus, moving image generating method, and program
JP2008180906A (en) Photographing device and focusing control method
JP2008028960A (en) Photographing apparatus and exposure control method
JP2002112008A (en) Image processing system and recording medium recording image processing program
JP3859131B2 (en) Digital camera
JP4189820B2 (en) Imaging apparatus and image recording method
JP3444281B2 (en) IMAGE PROCESSING SYSTEM, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROCESSING PROGRAM OF THE METHOD
JP2007235640A (en) Photographing device and method
JP4033456B2 (en) Digital camera
JP2004023747A (en) Electronic camera
JP2003051979A (en) Electronic camera provided with image processing function and a computer-readable recording medium recording program enabling the electronic camera to realize the image processing function
JP4049291B2 (en) Digital still camera
JP3601500B2 (en) Digital camera
JP2000307941A (en) Digital camera
JP2002209125A (en) Digital camera
JP3727841B2 (en) Digital still camera
JP4013026B2 (en) Electronic camera and image display method during automatic focus adjustment
JP3843689B2 (en) Digital camera
JP2008005248A (en) Imaging apparatus
JP3395769B2 (en) Digital still camera

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030401

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20041217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20041224

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20041224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050929

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081007

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121007

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131007

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees