JP3733353B2 - 撮像装置およびその処理方法 - Google Patents
撮像装置およびその処理方法 Download PDFInfo
- Publication number
- JP3733353B2 JP3733353B2 JP2002319982A JP2002319982A JP3733353B2 JP 3733353 B2 JP3733353 B2 JP 3733353B2 JP 2002319982 A JP2002319982 A JP 2002319982A JP 2002319982 A JP2002319982 A JP 2002319982A JP 3733353 B2 JP3733353 B2 JP 3733353B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- display
- shooting
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は撮像装置及びその処理方法に関するもので、特に電子ビューファインダとしてあるいは保存された撮影画像を表示するために用いられる表示器を具備するデジタルカメラ、データ通信機能を有するデジタルカメラ及び撮影保存された画像の消去機能を備えたデジタルカメラ等の撮像装置及びその処理方法に関するものである。
【０００２】
【従来の技術】
図１１は従来のデジタルカメラの構成例を示すブロック図である。
ＣＣＤ１が被写体を撮像して生成したＣＣＤアナログ信号２はＡ／Ｄ変換器３に入力され、そこでデジタル変換されたＣＣＤデジタル信号４は撮影画像信号生成部５に入力される。撮影画像信号生成部５では入力されたＣＣＤデジタル信号４から、ゲイン調整、ガンマ補正、ホワイトバランス補正、ＣＣＤフィルタマトリックス補正、色空間変換操作等を行って、フレーム単位で同期された撮影画像信号を生成し、撮影画像信号６として順次出力する。各補正パラメータおよび撮影パラメータ（露光時間等）は通常ＣＰＵ２７上のプログラムによって設定される。また、この撮影画像信号生成部５は通常ＤＳＰ等で構成される。
【０００３】
撮影画像信号６は撮影画像データ生成部７へ送られ、ここで目的とする空間解像度（画素数）に画素密度変換され、撮影タイミング指示ボタン９から出力される撮影タイミング指示信号１０に従ってフレームに同期した撮影画像データ８を出力する。この撮影画像データ生成部７で生成される撮影画像データ８の解像度としては、保存用の高解像度画像データと、ビューファインダ用の中解像度画像データの二種類がある。いずれの解像度の撮影画像データ８もバッファメモリ制御部１２を介してバッファメモリ１１上の所定部分にそれぞれ蓄積される。
【０００４】
撮影タイミング指示ボタン９が押下されていない状態においては、カラー液晶表示を用いた表示器１４上で電子ビューファインダを行うべく、撮影画像データ生成部７はフレーム毎にビューファインダ用の中解像度画像データのみを撮影画像データ８上にフレーム毎に生成し、バッファメモリ制御部１２に送出した後、最終的にバッファメモリ１１上のＭ１の部分に格納する。
【０００５】
撮影タイミング指示ボタン９が押下されると、撮影画像データ生成部７は保存用の高解像度画像データを生成し、バッファメモリ制御部１２を介して最終的にバッファメモリ１１内の所定部分Ｍ２に蓄積する。
【０００６】
バッファメモリ制御部１２は、バッファメモリ１１への書き込みおよび読み出しアクセスの制御をバッファメモリ制御信号１３を用いて行っている。バッファメモリ１１へのアクセス要求としては、撮影画像データ生成部７からの撮影画像データ８の書き込み要求と、表示制御部１５からの表示画像データ１６の読み出し要求と、画像圧縮符号化部１８からの保存画像データ１９の読み出し要求との３つがあり、それらのアクセス要求の調停制御およびアクセスの順序制御を行っている。
【０００７】
バッファメモリ１１内の上記撮影画像データ８の格納位置は図１１に示すように、ビューファインダ用の中解像度画像データはＭ１の部分へフレーム毎に蓄積される。撮影タイミング指示ボタン９が押下されてからの撮影画像に対応する高解像度画像データはＭ２の部分へ蓄積される。
【０００８】
表示制御部１５は、表示器１４に対する画面表示制御を表示制御信号１７を用いて行っている。表示器１４上に表示される画面を構成している表示画像データはバッファメモリ１１内のＭ０の範囲に蓄積されている。バッファメモリ制御部１２は表示制御部１５からの表示画像データの読み出し要求に応じて、Ｍ０の範囲に蓄積されている表示画像データを表示画像データ１６として送出する。
【０００９】
撮影タイミング指示ボタン９が押下されていない状態においては、表示器１４上で電子ビューファインダを行うべく、表示画像データ領域Ｍ０内の一部であるＭ１の部分へ撮影画像データ生成部７によってビューファインダ用の中解像度画像データがフレーム毎に蓄積されることから、結果的に表示器１４上のＤ１の部分に中解像度の撮影画像データが連続的に表示され、いわゆる電子ビューファインダとして動作する。
【００１０】
一方、撮影タイミング指示ボタン９が押下されると、画像圧縮符号化部１８は、バッファメモリ１１内のＭ２の部分に蓄積された高解像度画像データを保存画像データ１９として読み出し、圧縮符号化処理を施した後、ＣＰＵバス２０、不揮発性メモリ制御部２５を経由して、フラッシュＲＯＭ等の不揮発性メモリ２４の所定の位置Ｆ１に画像ファイルとして蓄積する。
【００１１】
なお、主メモリ制御部２２は、Ｄ−ＲＡＭ等で構成される主メモリ２１に対する書き込みおよび読み出しアクセスの制御を主メモリ制御信号２３を用いて行っている。この主メモリ２１へのアクセス要求としては、ＣＰＵ２７からのプログラムおよびデータアクセス要求がある。
【００１２】
操作者が再び撮影タイミング指示ボタン９を押下すると、画像圧縮符号化部１８は、バッファメモリ１１内のＭ２の部分に蓄積された高解像度画像データを保存画像データ１９として読み出し、圧縮符号化処理を施した後、ＣＰＵバス２０、不揮発性メモリ制御部２５を経由して不揮発性メモリ２４の所定の位置Ｆ２に画像ファイルとして蓄積する。
以後、操作者が撮影タイミング指示ボタン９を押下する度に上記動作が繰り返される。
【００１３】
上述したように、従来のデジタルカメラでは、撮影タイミング指示ボタン９を押下する度に圧縮符号化処理が行われ、こうして得られる画像ファイルが不揮発性メモリ２４に順次蓄積される。
【００１４】
次に、従来のデジタルカメラの他の構成例として、画像消去を行えるようにしたデジタルカメラについて説明する。
図１２、図１３は、表示器として一般的なカラー液晶モニタ付きデジタルカャ奄フ外観を正面と裏面から見たものを示す。１０１はレンズ、１０２はシャッタスイッチ、１０３は通常表示／サムネール表示を切替える表示切替えスイッチ、１０４、１０５は他のスイッチと組み合わせて露出やセルフタイマーなどを設定するスイッチ、１０６は画像の消去スイッチ、１０７、１０８は画像の選択スイッチを示す。１１０はバッテリ残量や撮影可能枚数などを表示するための白黒液晶パネル、１１１は撮影／再生モード切替えスイッチ、１１２は電源スイッチ、１１３は撮影画像／再生画像表示用のカラー液晶モニタを示す。
【００１５】
図１４は上記デジタルカメラの回路ブロック図である。１２１はＣＣＤ、１２２はＡ／Ｄコンバータ、１２３はＣＣＤ１２１の信号を一旦ストアして画像処理用のバッファとして使われるＤ−ＲＡＭ、１２４は画像処理用のＣＰＵであり、画像の色や濃度調整を行う。１２５は操作キーで、ＣＰＵ１２４はこのキー操作に対する処理も行う。１２６は処理した画像を圧縮・伸長する画像圧縮伸長部であり、これはＣＰＵ１２４で代用する場合もある。１１３は図１３のカラー液晶モニタ、１２８はカラー液晶モニタ表示用の画像を蓄積するＶ−ＲＡＭ、１２９はＤ／Ａコンバターである。１３０は画像圧縮伸長部１２６で圧縮した画像を保存するためのフラッシュメモリである。
【００１６】
なお、カラー液晶モニタ１１３のないタイプのデジタルカメラでは、カラー液晶モニタの代わりに光学式ファインダが搭載されると共に、カラー液晶モニタを駆動するための周辺回路（Ｖ−ＲＡＭ１２８、Ｄ／Ａコンバータ１２９等）が省かれているが、他の構成はカラー液晶モニタ付きのものと同様の構成である。
【００１７】
次に、上記カラー液晶モニタ付きデジタルカメラにおいて、撮影した画像を消去する手順について図１５と共に説明する。
この手順は主として次の処理１３１〜１３４の４つに別れる。
処理１３１．モード切替え
撮影後、撮影／再生モード切替えスイッチ１１１を再生側に切替え再生モードにする。
処理１３２．画像表示・選択
カメラを再生モードにすると、カラー液晶モニタ１１３にフラッシュメモリ１３０内に保存された画像が表示される。表示形態としては、通常の一枚表示１３５とサムネール表示１３６とを表示切替えスイッチ１０３を操作することで切替える。表示画像の切替えは選択スイッチ１０７、１０８を操作することで行う。通常表示モードでは撮影した順に送り・戻しを行い、サムネール表示モードでは、サムネール上のカーソル１３７を選択スイッチ１０７、１０８で操作することで行う。
【００１８】
処理１３３．消去確認
このようにして消去したい画像を表示させ、確認した後、消去スイッチ１０６を操作することにより、画面に「消去ＯＫ？」の消去確認メッセージが表示される。
処理１３４．消去
消去確認メッセージが表示された状態で、シャッタスイッチ１０２を押すことにより、選択された画像がフラッシュメモリ１３０から消去される。
【００１９】
以上の一連の操作により、フラッシュメモリ１３０内の任意の画像を消去することができる。
また、上記の方法の他に、フラッシュメモリ１３０内の画像を一括して消去することでも画像を消去することができる。
また、カラー液晶モニタのない機種の場合は、撮影した画像を確認する手段がないため、画像の消去方法としては、最後に撮影したものから順に遡って消去していく方法と、フラッシュメモリ内の全ての画像を一挙に消去する方法のどちらかである。
なお、上述した画像消去機能は、前述した図１１のデジタルカメラに設けることができる。
【００２０】
【発明が解決しようとする課題】
しかしながら、前記図１１の従来のデジタルカメラでは、連続撮影の操作を行った場合に、すべての撮影画像の画像ファイルが不揮発性メモリに蓄積され、撮影後それらの画像を表示器で見ながら、撮影に失敗したり気に入らなかった不要な画像があった場合は、その画像ファイルを画像消去機能を用いて不揮発性メモリから削除するという煩雑な操作を操作者に強いると共に、総書き込み回数に上限のある不揮発性メモリ素子に対して、余分な書き込みが行われたり消去操作が行われたりしている。
【００２１】
また、図１２〜図１５で述べた画像消去を行う従来のデジタルカメラでは、一般にカラー液晶モニタは、小型で低解像度のものが多く、このためカラー液晶モニタ上に表示される画像と実際のデータとではイメージのずれが大きかった。そのため、カラー液晶モニタ上では問題なく写っていても、一旦パソコンなどの機器にデータを転送してみるまで、露出ミスや手ぶれ等の撮影ミスに気づかないことが多い。
【００２２】
また、前記の画像消去方法はカラー液晶モニタを持たない光学式ファインダのデジタルカメラでは不可能であり、必ず一旦パソコンなどに画像を転送し、確認してから消去する必要があった。
【００２３】
従って、本発明の目的は、デジタルカメラにおいて、撮影した画像から撮影ミスと思われるものを抽出する機能を設け、撮影ミスの抽出が行われた後、それらの画像をメモリから一括して消去できるようにすることで、画像消去の手間を減らし、効率的にメモリを使用することである。
【００２４】
【課題を解決するための手段】
本発明の撮像装置は、被写体を撮像する撮像手段と、上記撮像手段によって得られる画像を前記画像から取り出される信号に基づいて所定の判断基準により評価する画像評価手段と、上記評価手段により評価された画像のうち、前記所定の判断基準により撮影ミスと判断された画像を蓄積手段から一括消去する消去手段とを有することを特徴とする。
【００２５】
本発明の撮像装置の処理方法は、被写体を撮像する撮像手段によって得られる画像を前記画像から取り出される信号に基づいて分析評価し、その評価された画像のうち所定の判断基準により撮影ミスと判断された画像を蓄積手段から一括消去することを特徴とする。
【００２６】
【発明の実施の形態】
以下、本発明の第１の実施の形態について説明する。
図１において、ＣＣＤ１が生成したＣＣＤアナログ信号２はＡ／Ｄ変換器３に入力され、そこでデジタル変換されたＣＣＤデジタル信号４は撮影画像信号生成部５に入力される。撮影画像信号生成部５では入力されたＣＣＤデジタル信号４から、ゲイン調整、ガンマ補正、ホワイトバランス補正、ＣＣＤフィルタマトリックス補正、色空間変換操作等を行って、フレーム単位で同期された撮影画像信号を生成し、撮影画像信号６として順次出力する。各補正パラメータおよび撮影パラメータ（露光時間等）は一般的な方法で、すなわちＣＰＵ２７上のプログラムによって設定される。また、この撮影画像信号生成部５はＤＳＰ等で構成される。
【００２７】
撮影画像信号６は撮影画像データ生成部７へ送られ、ここで目的とする空間解像度（画素数）に画素密度変換され、撮影タイミング指示ボタン９から出力される撮影タイミング指示信号１０に従って、フレームに同期した撮影画像データ８を出力する。この撮影画像データ生成部７で生成される撮影画像データの解像度としては、保存用の高解像度画像データと、ビューファインダ用の中解像度画像データと、保存選択用の低解像度画像データとの三種類がある。いずれの解像度の撮影画像データ８も、バッファメモリ制御部１２を介してバッファメモリ１１上の所定部分にそれぞれ蓄積される。
【００２８】
撮影タイミング指示ボタン９が押下されていない状態においては、表示器１４上で電子ビューファインダを行うべく、撮影画像データ生成部７はフレーム毎にビューファインダ用の中解像度画像データのみを撮影画像データ８上にフレーム毎に生成し、バッファメモリ制御部１２を介して最終的にバッファメモリ１１内のＭ１の部分に格納する。
【００２９】
撮影タイミング指示ボタン９が押下されると、撮影画像データ生成部７は連続する３つのフレームの撮影画像信号に対応して、それぞれ保存用の高解像度および保存選択用の低解像度の二種類の撮影画像データ８を生成し、それらすべての撮影画像データ８をバッファメモリ制御部１２を介して最終的に後述するようにバッファメモリ１１内の所定部分Ｍ２〜Ｍ４およびＭ５〜Ｍ７にそれぞれ蓄積する。
【００３０】
バッファメモリ制御部１２は、バッファメモリ１１への書き込みおよび読み出しアクセスの制御をバッファメモリ制御信号１３を用いて行っている。バッファメモリ１１へのアクセス要求としては、撮影画像データ生成部７からの撮影画像データ８の書き込み要求と、表示制御部１５からの表示画像データ１６の読み出し要求と、画像圧縮符号化部１８からの保存画像データ１９の読み出し要求との三つがあり、それらのアクセス要求の調停制御およびアクセスの順序制御を行っている。
【００３１】
バッファメモリ１１内の上記撮影画像データの格納位置は図１に示すように、ビューファインダ用の中解像度画像データはＭ１の部分へフレーム毎に蓄積される。撮影タイミング指示ボタン９が押下されてからの連続する３フレームの最初のフレームの撮影画像に対応する高解像度画像データはＭ２の部分へ、低解像度画像データはＭ５の部分へそれぞれ蓄積される。次のフレームの撮影画像の高解像度画像データはＭ３の部分へ、低解像度画像データはＭ６の部分へそれぞれ蓄積される。さらに最後のフレームの撮影画像の高解像度画像データはＭ４の部分へ、低解像度画像データはＭ７の部分へそれぞれ蓄積される。
【００３２】
表示制御部１５は、表示器１４に対する画面表示制御を表示制御信号１７を用いて行っている。表示器１４上に表示される画面を構成している表示画像データはバッファメモリ１１内のＭ０の範囲に蓄積されている。バッファメモリ制御部１２は表示制御部１５からの表示画像データの読み出し要求に応じて、Ｍ０の範囲に蓄積されている表示画像データを表示画像データ１６に送出する。
【００３３】
撮影タイミング指示ボタン９が押下されていない状態においては、表示器１４上で電子ビューファインダを行うべく、表示画像データ領域Ｍ０内の一部であるＭ１の部分へ撮影画像データ生成部７によってビューファインダ用の中解像度画像データがフレーム毎に蓄積されることから、結果的に表示器１４上のＤ１の部分に中解像度の撮影画像データが連続的に表示され、いわゆる電子ビューファインダとして動作する。
【００３４】
一方、撮影タイミング指示ボタン９が押下されると、表示画像データ領域Ｍ０内の一部であるＭ５〜Ｍ７の部分へ撮影画像データ生成部７によって連続する３フレームに対応する保存選択用の低解像度画像データがそれぞれ蓄積されることから、結果的に表示器１４上のＤ２〜Ｄ４の部分に低解像度の撮影画像データがそれぞれ表示されることになる。
【００３５】
画像圧縮符号化部１８は、バッファメモリ１１内のＭ２〜Ｍ４の部分に蓄積された３つの高解像度画像データを順次保存画像データ１９として読み出し、圧縮符号化処理を施した後、ＣＰＵバス２０、主メモリ制御部２２を経由して、主ャｃ鰍Q１の所定の位置Ｃ１〜Ｃ３に画像ファイルとして蓄積する。上記圧縮符号化動作は、撮影画像データ生成部７によって連続する３フレームに対応する保存用の高解像度画像データがバッファメモリ１１内のＭ２〜Ｍ４の部分にすべて蓄積された直後から即座に開始される。
【００３６】
主メモリ制御部２２は、Ｄ−ＲＡＭ等で構成される主メモリ２１に対する書き込みおよび読み出しアクセスの制御を主メモリ制御信号２３を用いて行っている。主メモリ２１へのアクセス要求としては、ＣＰＵ２７からのプログラムおよびデータアクセス要求の他に、画像圧縮符号化部１８からの画像ファイルの書き込み要求があり、それらのアクセス順序の調停制御およびアクセスの順序制御を行っている。
【００３７】
操作者は撮影タイミング指示ボタン９を押下した後、表示器１４上のＤ２〜Ｄ４の部分に表示された保存選択用の低解像度画像データを目視確認し、実際に保存する撮影画像を選択する。この保存画像を選択するための選択手段には特に制限は無いが、ここでは表示器１４を覆うタッチパネルによるＤ２〜Ｄ４部分の押下等による選択手段を想定している。
【００３８】
上記選択手段による操作者の選択操作が終了すると、ＣＰＵ２７は主メモリ２１上に一時蓄積されている画像ファイルＣ１〜Ｃ３の中から実際に選択された低解像度画像データに対応する画像ファイルを、不揮発性メモリ２４に転送する。
【００３９】
また、操作者による上記選択操作中、タッチパネル等で低解像度画像データを選択する（押下する）毎に、撮影画像データ生成部７はその選択された低解像度画像データに対応するバッファメモリ１１内の高解像度画像データをバッファャｃ叶ァ御部１２経由で読み出し、それをビューファインダ用の中解像度画像データに画素密度変換した後、バッファメモリ１１内のＭ１の部分に書き込む。
【００４０】
不揮発性メモリ制御部２５は、フラッシュＲＯＭ等で構成される不揮発性メモリ２４に対する書き込みおよび読み出しアクセスの制御を不揮発性メモリ制御信号２６を用いて行っている。不揮発性メモリ２４へのアクセス要求としては、ＣＰＵ２７からのデータ読み出しおよび書き込みアクセス要求である。
【００４１】
図１に示した例では、２番目のフレームに対応する＃２の撮影画像の画像ファイルが選択されたことを示しているが、もちろん複数枚数の撮影画像の選択であってもその動作は上記のように１枚を選択した場合と同様に行われる。
【００４２】
上記のようにして選択されたすべての画像ファイルを不揮発性メモリ２４に転送格納した後、ＣＰＵ２７は主メモリ２１上の一時蓄積領域Ｃ１〜Ｃ３から画像ファイルをすべて削除し、再び次の撮影動作に戻る。
【００４３】
なお、操作者が撮影タイミング指示ボタン９を押下してから一時蓄積される連続した３フレームの撮影画像は、それぞれ同じ撮影パラメータ（露光時間等）であっても、あるいは露光時間に代表される各種撮影パラメータをフレーム毎に変えたものであっても良い。さらには３つのフレームそれぞれのフレーム間隔を途切れなく連続したものであっても、一定数のフレーム間隔で離散する３つの撮影画像でも良い。
【００４４】
連続して一時蓄積する撮影画像枚数（フレーム数）を３としているが、これも２以上であれば特に限定するものは無い。ただしその上限は、バッファメモリ１１の容量、主メモリ２１の容量、表示器１４の大きさおよび表示解像度に依存してくるものである。
【００４５】
上述した第１の実施の形態によれば、操作者が撮影タイミング指示ボタン９を押下してから自動的に撮影および一時蓄積されている複数枚の撮影画像から、最適と考えるタイミングあるいは露光時間に代表される撮影パラメータで撮影された画像データをその場で選択することができる。不揮発性メモリ２４にはこのようにして選択された撮影画像ファイルのみが蓄積されることになり、不揮発性ャｃ鰍Q４の使用効率として無駄を排除できる。また総書き込み回数に上限のある不揮発性メモリ素子に対する余分な書き込みおよび消去操作を低減できるという効果も期待できる。
【００４６】
また選択操作時には、選択された（その部分のタッチパネルを押下された）低解像度画像データが表示器１４上のビューファインダ部分Ｄ１に拡大表示されるので、最終的に保存するあるいは保存しないの判断に役立つ。
【００４７】
なお、本実施の形態では、操作者による保存対象の撮影画像の選択後の動作として、主メモリ２１内にすでに圧縮符号化された画像ファイルＣ１〜Ｃ３から選択された撮影画像に対応する画像ファイルをそのまま不揮発性メモリ２４に転送していたが、オプション的な動作として、画像圧縮符号化部１８が選択された撮影画像に対応する高解像度画像データをふたたびバッファメモリ１１から読み出し、一回目とは別の圧縮率で圧縮符号化して主メモリ２１に蓄積した後、最終的に不揮発性メモリ２４に蓄積することも可能である。
【００４８】
これによって、操作者が保存対象の撮影画像の選択時に、特に気に入った撮影画像に対して、歪みが小さい低圧縮率で再圧縮符号化して得られる画像ファイルを保存することができる。また逆にあまり気に入らずとりあえず保存しておくような撮影画像に対して、ファイルサイズが小さい高圧縮率で再圧縮符号化して得られる画像ファイルを保存することができる。
【００４９】
また、不揮発性メモリ２４とその制御部２５をそのままデータ通信部として置き換えて考えると、操作者は転送する最適な撮影画像の選択を撮影直後にその場で行えることになる。
【００５０】
次に本発明の第２の実施の形態について説明する。本実施の形態は、前述したカラー液晶モニタ付きデジタルカメラにおける画像の消去方法に関するもので、その動作フローを図２に示す。なお、デジタルカメラとしては図１２、図１３に示すものが用いられる。
（１）モード切替え、画像表示・選択
はじめに、図１２、図１３の撮影／再生モード切替えスイッチ１１１を操作してカメラを再生モードにする。その後、表示切替えスイッチ１０３と選択スイッチ１０７、１０８により画像を表示・選択する。ここまでは、図１５の従来例で説明した処理１３１と１３２と同じである。
【００５１】
（２）消去モード選択
任意の画像を表示させた状態で、消去スイッチ１０６で所定の操作を行うことにより、消去モードを次の３つのいずれかに取り替える。
操作１４１：消去スイッチを短く押す
・・・通常消去モード
操作１４２：消去スイッチを所定の時間押し続ける
・・・撮影ミス判定モード１
操作１４３：消去スイッチを押しながらシャッタスイッチ１０２を押す
・・・撮影ミス判定モード２
【００５２】
次にそれぞれのモードについて説明する。
操作１４１による通常消去モードは、図１５の従来例における処理１３３、１３４と同様の表示・選択された画像をそのまま消去するモードである。
操作１４２による撮影ミス判定モード１は、表示・選択された１枚の画像について、撮影ミスがあるかを評価する。
操作１４３による撮影ミス判定モード２は、フラッシュメモリ内の全ての画像について、撮影ミスがあるかを評価する。
撮影ミス判定モード１及び２により撮影ミスと判断された画像は、画像上に撮影ミスの原因が表示される。
【００５３】
（３）撮影ミス抽出
次に、処理１４６に示した撮影ミス判定モード１、２の部分について図３を用いて説明する。これらのモードでは、画像データをフラッシュメモリ１３０から読み出し、後述する撮影ミス判断部の画像分析により、評価処理１４６でそれらの画像が撮影ミスであるかどうかをその原因と共に調べる。調べる画像は、モード１（図２の処理１４４）では現在表示している１枚、モード２（処理１４５）ではフラッシュメモリ１３０内の全画像である。なお、モード２の場合は、フラッシュメモリ内の順番に従い、一枚ずつ画像を評価することで実現されるので、内容的にはモード１と実質的に同じものである。
【００５４】
上記評価は、まずフラッシュメモリ１３０から図３の評価用バッファ２０１にデータを読み込む。その際、この画像が既に評価済みであるかを処理２０２で調べ、評価済みの場合はその画像をスキップし、次の画像を読み込む。
次に、処理２０３で画像の分析評価を行い、撮影ミスについてその程度を数値化して評価する。
【００５５】
上記の過程で撮影ミスと判断された画像は、その種類（手ぶれ・露出不足・露出過多など）と程度とに分類され（処理２０５〜２０７）、それらを示す情報が画像に付加される（処理２０８）。また、撮影ミスと判断されなかったもの（処理２０４）についても、一度評価したものは評価済みを示す情報が付加される（処理２０８）。この情報を付加することにより、評価済みの画像を再び選択したときは、自動的に評価をスキップすることで待ち時間を短縮できる。なお、これらの情報は画像ファイルのヘッダ領域に格納され、画像の内容には影響しない。
【００５６】
（４）撮影ミス画像の表示
次に、図２の処理１４７に示される、撮影ミスと判断された画像の表示について説明する。
評価された画像は、モード１の場合、図４（ａ）〜（ｄ）に示すように、カラー液晶モニタ上にその画像の撮影ミスの理由と程度とを示す文字または記号と共に表示される。
図４においては、３１・・・問題なし、３２・・・露出不足、３３・・・露出過多、３４・・・手ぶれを示している。
【００５７】
この状態から表示切替えスイッチ１０３と選択スイッチ１０７、１０８を操作することにより、図５のようにサムネール表示に切替えることができる。その際、撮影ミスと判断された画像は、サムネール状態でも判断できるように、４１で示すように色合いを変えて表示される。あるいは点滅させたり、ミスの種類によって色を変えても同様の効果が得られる。
【００５８】
次に、モード２の場合は、評価されたすべての画像のうち撮影ミスと判断されたものだけを抽出してサムネール表示される。その表示は図６の５１〜５３で示すように撮影ミスの種類別、及び５４で示すように撮影ミスの程度順に、消去スイッチ１０６により切替えることができる。また、この状態でも表示切替えスイッチ１０３と選択スイッチ１０７、１０８によりサムネール表示から通常表示５５に戻して見ることも可能である。
【００５９】
（５）撮影ミス画像の消去
次に、図２の処理１３４に示される、上記の操作により抽出された撮影ミス画像の消去方法について説明する。
モード１の場合、撮影ミスと表示された状態でシャッタスイッチ１０２を押すことにより、その画像が消去される。
モード２の場合、抽出された撮影ミスがサムネール表示された状態で、シャッタ１０２を押すことによりそれらが一括して消去される。通常表示に切替えている場合は、現在表示されている画像のみが消去される。
【００６０】
以上の動作により、使用者は明らかなミスだけでなく、小さな液晶モニタでは判断できない撮影ミスについてその原因を種類や程度別に知ることができ、その情報をもとに撮影姿勢を注意したり、露出を修正したりすることにより、適切な撮影を行うことができる。
また、撮影ミスと判断された画像を一枚ずつ、もしくはまとめて消去可能であり、その際、撮影ミスの種類や程度別に並べ替えることで、定量的な判断で消去を行うことができる。
【００６１】
図７にこのデジタルカメラの回路ブロック図を示す。図１４に示した従来のものに対して撮影ミス判断部１２０が追加された構成となっている。この撮影ミス判断部１２０は、フラッシュメモリ１３０にストアされた圧縮後の画像データを読み出し、画像処理によって露出不足・露出過多・手ぶれなどの撮影ミスを判断すると共に、その程度を定量的に判別する。設定範囲を超えて撮影ミスがあった場合は、その種類と程度を文字や記号に置き換え、Ｖ−ＲＡＭ１２８上の画像データに重ねてカラー液晶モニタ１１３に出力する。ＣＰＵ１２４は、操作キー１２５の操作を監視し、消去操作があった場合、フラッシュメモリ１３０内の画像を消去する。
【００６２】
なお、撮影ミス判断部１２０は説明上独立ユニットで示したが、もちろんＣＰＵ１２４を使用してソフト的に構成することも可能である。
【００６３】
次に、撮影ミスの判断方法について説明する。
撮影ミス判断部１２０で判断する撮影ミスの種類とその判別方法には色々な方法が考えられるが、一例として、図４の３２、３３に示す露出不足・過多の判断アルゴリズムについて図８により説明する。
まずフラッシュメモリ１３０内の画像データを撮影ミス判断部１２０内のバッファ２１１に取り込み、Ｙ／Ｃ分離回路７１により、輝度（Ｙ）信号を取り出し、輝度信号のヒストグラム分布を抽出する（処理７２）。次に、抽出した輝度ヒストグラム分布を評価し（処理７３）、設定範囲より低めに集中して分布するものは露出不足（処理７４）、高めに集中して分布するものは露出過剰（処理７５）、設定範囲以内なら露出に関しては正常（処理７６）と判断する。設定値から外れている場合は、それを示す警告メッセージを画像に重ね（処理７７）、Ｖ−ＲＡＭ１２８に出力する。以上の手順により、撮影済みの画像の露出不足・過剰の判断と警告が行われる。
【００６４】
次に、第３の実施の形態について説明する。
図９はカラー液晶モニタがなく、光学式ファインダが設けられているデジタルカメラにおける画像の消去手順を示す。
これは、カラー液晶モニタ付きの場合における図２の消去手順における、図４の３２〜３４で示す撮影画像の上に警告記号を重ねて表示する手法を、処理８３〜８５で示すように、警告記号の代わりにビープ音の回数で撮影ミスの種類を知らせるようにしたもので置き換えたものである。なお、この処理８３〜８５は、処理８１で撮影画像を圧縮・補正した後、処理８２で評価を行うことにより行われる。
【００６５】
このように実行することにより、カラー液晶モニタを持たないデジタルカメラにおいて撮影ミスの画像を音により判別できるため、第２の実施の形態と同様の効果を得ることができる。
【００６６】
図１０にこのデジタルカメラの回路ブロック図を示す。図７に対してカラー液晶モニタ１１３がないため、そのための周辺回路（Ｖ−ＲＡＭ１２８、Ｄ／Ａコンバータ１２９等）が省かれ、代わりに警告音を出力するためのスピーカ１００が追加されている。その外は図７と同様の構成である。
【００６７】
【発明の効果】
以上説明したように本発明によれば、従来、撮影後にパソコンなどに一旦転送して確認してみないとわからないような撮影ミスでも、その場で抽出できるので、メモリを効率的に使用できる。
【００６８】
また、抽出された撮影ミスの画像データを、一括消去できるので、従来のような一枚ずつ確認しながら消去する方法に比べて消去に要する手間が大幅に軽減される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるデジタルカメラのブロック図である。
【図２】第２の実施の形態によるデジタルカメラの画像消去手順を示すフローチャートである。
【図３】デジタルカメラの撮影ミス判断手順を示すフローチャートである。
【図４】デジタルカメラの表示の一例（通常表示）を示す構成図である。
【図５】デジタルカメラの表示の一例（通常表示−サムネール表示切替え）を示す構成図である。
【図６】デジタルカメラの表示の一例（サムネール表示）を示す構成図である。
【図７】第２の実施の形態によるデジタルカメラのブロック図である。
【図８】デジタルカメラの撮影ミス判断アルゴリズムの一例を示すフローチャートである。
【図９】第３の実施の形態によるデジタルカメラの撮影ミス判断手順を示すフローチャートである。
【図１０】第３の実施の形態によるデジタルカメラのブロック図である。
【図１１】従来のデジタルカメラのブロック図である。
【図１２】従来の液晶モニタ付きデジタルカメラの外観の正面図である。
【図１３】従来の液晶モニタ付きデジタルカメラの外観の背面図である。
【図１４】従来の液晶モニタ付きデジタルカメラのブロック図である。
【図１５】従来の液晶モニタ付きデジタルカメラの画像消去手順を示すフローチャートである。
【符号の説明】
１ ＣＣＤ
５ 撮影画像信号生成部
７ 撮影画像データ生成部
８ 撮影画像データ
９ 撮影タイミング指示ボタン
１１ バッファメモリ
１４ 表示器
１５ 表示制御部
１８ 画像圧縮符号化部
２１ 主メモリ
２４ 不揮発性メモリ
２７ ＣＰＵ
１００ スピーカ
１１３ カラー液晶モニタ
１２０ 撮影ミス判断部
１２４ ＣＰＵ
１２５ 操作キー
１３０ フラッシュメモリ
【発明の属する技術分野】
本発明は撮像装置及びその処理方法に関するもので、特に電子ビューファインダとしてあるいは保存された撮影画像を表示するために用いられる表示器を具備するデジタルカメラ、データ通信機能を有するデジタルカメラ及び撮影保存された画像の消去機能を備えたデジタルカメラ等の撮像装置及びその処理方法に関するものである。
【０００２】
【従来の技術】
図１１は従来のデジタルカメラの構成例を示すブロック図である。
ＣＣＤ１が被写体を撮像して生成したＣＣＤアナログ信号２はＡ／Ｄ変換器３に入力され、そこでデジタル変換されたＣＣＤデジタル信号４は撮影画像信号生成部５に入力される。撮影画像信号生成部５では入力されたＣＣＤデジタル信号４から、ゲイン調整、ガンマ補正、ホワイトバランス補正、ＣＣＤフィルタマトリックス補正、色空間変換操作等を行って、フレーム単位で同期された撮影画像信号を生成し、撮影画像信号６として順次出力する。各補正パラメータおよび撮影パラメータ（露光時間等）は通常ＣＰＵ２７上のプログラムによって設定される。また、この撮影画像信号生成部５は通常ＤＳＰ等で構成される。
【０００３】
撮影画像信号６は撮影画像データ生成部７へ送られ、ここで目的とする空間解像度（画素数）に画素密度変換され、撮影タイミング指示ボタン９から出力される撮影タイミング指示信号１０に従ってフレームに同期した撮影画像データ８を出力する。この撮影画像データ生成部７で生成される撮影画像データ８の解像度としては、保存用の高解像度画像データと、ビューファインダ用の中解像度画像データの二種類がある。いずれの解像度の撮影画像データ８もバッファメモリ制御部１２を介してバッファメモリ１１上の所定部分にそれぞれ蓄積される。
【０００４】
撮影タイミング指示ボタン９が押下されていない状態においては、カラー液晶表示を用いた表示器１４上で電子ビューファインダを行うべく、撮影画像データ生成部７はフレーム毎にビューファインダ用の中解像度画像データのみを撮影画像データ８上にフレーム毎に生成し、バッファメモリ制御部１２に送出した後、最終的にバッファメモリ１１上のＭ１の部分に格納する。
【０００５】
撮影タイミング指示ボタン９が押下されると、撮影画像データ生成部７は保存用の高解像度画像データを生成し、バッファメモリ制御部１２を介して最終的にバッファメモリ１１内の所定部分Ｍ２に蓄積する。
【０００６】
バッファメモリ制御部１２は、バッファメモリ１１への書き込みおよび読み出しアクセスの制御をバッファメモリ制御信号１３を用いて行っている。バッファメモリ１１へのアクセス要求としては、撮影画像データ生成部７からの撮影画像データ８の書き込み要求と、表示制御部１５からの表示画像データ１６の読み出し要求と、画像圧縮符号化部１８からの保存画像データ１９の読み出し要求との３つがあり、それらのアクセス要求の調停制御およびアクセスの順序制御を行っている。
【０００７】
バッファメモリ１１内の上記撮影画像データ８の格納位置は図１１に示すように、ビューファインダ用の中解像度画像データはＭ１の部分へフレーム毎に蓄積される。撮影タイミング指示ボタン９が押下されてからの撮影画像に対応する高解像度画像データはＭ２の部分へ蓄積される。
【０００８】
表示制御部１５は、表示器１４に対する画面表示制御を表示制御信号１７を用いて行っている。表示器１４上に表示される画面を構成している表示画像データはバッファメモリ１１内のＭ０の範囲に蓄積されている。バッファメモリ制御部１２は表示制御部１５からの表示画像データの読み出し要求に応じて、Ｍ０の範囲に蓄積されている表示画像データを表示画像データ１６として送出する。
【０００９】
撮影タイミング指示ボタン９が押下されていない状態においては、表示器１４上で電子ビューファインダを行うべく、表示画像データ領域Ｍ０内の一部であるＭ１の部分へ撮影画像データ生成部７によってビューファインダ用の中解像度画像データがフレーム毎に蓄積されることから、結果的に表示器１４上のＤ１の部分に中解像度の撮影画像データが連続的に表示され、いわゆる電子ビューファインダとして動作する。
【００１０】
一方、撮影タイミング指示ボタン９が押下されると、画像圧縮符号化部１８は、バッファメモリ１１内のＭ２の部分に蓄積された高解像度画像データを保存画像データ１９として読み出し、圧縮符号化処理を施した後、ＣＰＵバス２０、不揮発性メモリ制御部２５を経由して、フラッシュＲＯＭ等の不揮発性メモリ２４の所定の位置Ｆ１に画像ファイルとして蓄積する。
【００１１】
なお、主メモリ制御部２２は、Ｄ−ＲＡＭ等で構成される主メモリ２１に対する書き込みおよび読み出しアクセスの制御を主メモリ制御信号２３を用いて行っている。この主メモリ２１へのアクセス要求としては、ＣＰＵ２７からのプログラムおよびデータアクセス要求がある。
【００１２】
操作者が再び撮影タイミング指示ボタン９を押下すると、画像圧縮符号化部１８は、バッファメモリ１１内のＭ２の部分に蓄積された高解像度画像データを保存画像データ１９として読み出し、圧縮符号化処理を施した後、ＣＰＵバス２０、不揮発性メモリ制御部２５を経由して不揮発性メモリ２４の所定の位置Ｆ２に画像ファイルとして蓄積する。
以後、操作者が撮影タイミング指示ボタン９を押下する度に上記動作が繰り返される。
【００１３】
上述したように、従来のデジタルカメラでは、撮影タイミング指示ボタン９を押下する度に圧縮符号化処理が行われ、こうして得られる画像ファイルが不揮発性メモリ２４に順次蓄積される。
【００１４】
次に、従来のデジタルカメラの他の構成例として、画像消去を行えるようにしたデジタルカメラについて説明する。
図１２、図１３は、表示器として一般的なカラー液晶モニタ付きデジタルカャ奄フ外観を正面と裏面から見たものを示す。１０１はレンズ、１０２はシャッタスイッチ、１０３は通常表示／サムネール表示を切替える表示切替えスイッチ、１０４、１０５は他のスイッチと組み合わせて露出やセルフタイマーなどを設定するスイッチ、１０６は画像の消去スイッチ、１０７、１０８は画像の選択スイッチを示す。１１０はバッテリ残量や撮影可能枚数などを表示するための白黒液晶パネル、１１１は撮影／再生モード切替えスイッチ、１１２は電源スイッチ、１１３は撮影画像／再生画像表示用のカラー液晶モニタを示す。
【００１５】
図１４は上記デジタルカメラの回路ブロック図である。１２１はＣＣＤ、１２２はＡ／Ｄコンバータ、１２３はＣＣＤ１２１の信号を一旦ストアして画像処理用のバッファとして使われるＤ−ＲＡＭ、１２４は画像処理用のＣＰＵであり、画像の色や濃度調整を行う。１２５は操作キーで、ＣＰＵ１２４はこのキー操作に対する処理も行う。１２６は処理した画像を圧縮・伸長する画像圧縮伸長部であり、これはＣＰＵ１２４で代用する場合もある。１１３は図１３のカラー液晶モニタ、１２８はカラー液晶モニタ表示用の画像を蓄積するＶ−ＲＡＭ、１２９はＤ／Ａコンバターである。１３０は画像圧縮伸長部１２６で圧縮した画像を保存するためのフラッシュメモリである。
【００１６】
なお、カラー液晶モニタ１１３のないタイプのデジタルカメラでは、カラー液晶モニタの代わりに光学式ファインダが搭載されると共に、カラー液晶モニタを駆動するための周辺回路（Ｖ−ＲＡＭ１２８、Ｄ／Ａコンバータ１２９等）が省かれているが、他の構成はカラー液晶モニタ付きのものと同様の構成である。
【００１７】
次に、上記カラー液晶モニタ付きデジタルカメラにおいて、撮影した画像を消去する手順について図１５と共に説明する。
この手順は主として次の処理１３１〜１３４の４つに別れる。
処理１３１．モード切替え
撮影後、撮影／再生モード切替えスイッチ１１１を再生側に切替え再生モードにする。
処理１３２．画像表示・選択
カメラを再生モードにすると、カラー液晶モニタ１１３にフラッシュメモリ１３０内に保存された画像が表示される。表示形態としては、通常の一枚表示１３５とサムネール表示１３６とを表示切替えスイッチ１０３を操作することで切替える。表示画像の切替えは選択スイッチ１０７、１０８を操作することで行う。通常表示モードでは撮影した順に送り・戻しを行い、サムネール表示モードでは、サムネール上のカーソル１３７を選択スイッチ１０７、１０８で操作することで行う。
【００１８】
処理１３３．消去確認
このようにして消去したい画像を表示させ、確認した後、消去スイッチ１０６を操作することにより、画面に「消去ＯＫ？」の消去確認メッセージが表示される。
処理１３４．消去
消去確認メッセージが表示された状態で、シャッタスイッチ１０２を押すことにより、選択された画像がフラッシュメモリ１３０から消去される。
【００１９】
以上の一連の操作により、フラッシュメモリ１３０内の任意の画像を消去することができる。
また、上記の方法の他に、フラッシュメモリ１３０内の画像を一括して消去することでも画像を消去することができる。
また、カラー液晶モニタのない機種の場合は、撮影した画像を確認する手段がないため、画像の消去方法としては、最後に撮影したものから順に遡って消去していく方法と、フラッシュメモリ内の全ての画像を一挙に消去する方法のどちらかである。
なお、上述した画像消去機能は、前述した図１１のデジタルカメラに設けることができる。
【００２０】
【発明が解決しようとする課題】
しかしながら、前記図１１の従来のデジタルカメラでは、連続撮影の操作を行った場合に、すべての撮影画像の画像ファイルが不揮発性メモリに蓄積され、撮影後それらの画像を表示器で見ながら、撮影に失敗したり気に入らなかった不要な画像があった場合は、その画像ファイルを画像消去機能を用いて不揮発性メモリから削除するという煩雑な操作を操作者に強いると共に、総書き込み回数に上限のある不揮発性メモリ素子に対して、余分な書き込みが行われたり消去操作が行われたりしている。
【００２１】
また、図１２〜図１５で述べた画像消去を行う従来のデジタルカメラでは、一般にカラー液晶モニタは、小型で低解像度のものが多く、このためカラー液晶モニタ上に表示される画像と実際のデータとではイメージのずれが大きかった。そのため、カラー液晶モニタ上では問題なく写っていても、一旦パソコンなどの機器にデータを転送してみるまで、露出ミスや手ぶれ等の撮影ミスに気づかないことが多い。
【００２２】
また、前記の画像消去方法はカラー液晶モニタを持たない光学式ファインダのデジタルカメラでは不可能であり、必ず一旦パソコンなどに画像を転送し、確認してから消去する必要があった。
【００２３】
従って、本発明の目的は、デジタルカメラにおいて、撮影した画像から撮影ミスと思われるものを抽出する機能を設け、撮影ミスの抽出が行われた後、それらの画像をメモリから一括して消去できるようにすることで、画像消去の手間を減らし、効率的にメモリを使用することである。
【００２４】
【課題を解決するための手段】
本発明の撮像装置は、被写体を撮像する撮像手段と、上記撮像手段によって得られる画像を前記画像から取り出される信号に基づいて所定の判断基準により評価する画像評価手段と、上記評価手段により評価された画像のうち、前記所定の判断基準により撮影ミスと判断された画像を蓄積手段から一括消去する消去手段とを有することを特徴とする。
【００２５】
本発明の撮像装置の処理方法は、被写体を撮像する撮像手段によって得られる画像を前記画像から取り出される信号に基づいて分析評価し、その評価された画像のうち所定の判断基準により撮影ミスと判断された画像を蓄積手段から一括消去することを特徴とする。
【００２６】
【発明の実施の形態】
以下、本発明の第１の実施の形態について説明する。
図１において、ＣＣＤ１が生成したＣＣＤアナログ信号２はＡ／Ｄ変換器３に入力され、そこでデジタル変換されたＣＣＤデジタル信号４は撮影画像信号生成部５に入力される。撮影画像信号生成部５では入力されたＣＣＤデジタル信号４から、ゲイン調整、ガンマ補正、ホワイトバランス補正、ＣＣＤフィルタマトリックス補正、色空間変換操作等を行って、フレーム単位で同期された撮影画像信号を生成し、撮影画像信号６として順次出力する。各補正パラメータおよび撮影パラメータ（露光時間等）は一般的な方法で、すなわちＣＰＵ２７上のプログラムによって設定される。また、この撮影画像信号生成部５はＤＳＰ等で構成される。
【００２７】
撮影画像信号６は撮影画像データ生成部７へ送られ、ここで目的とする空間解像度（画素数）に画素密度変換され、撮影タイミング指示ボタン９から出力される撮影タイミング指示信号１０に従って、フレームに同期した撮影画像データ８を出力する。この撮影画像データ生成部７で生成される撮影画像データの解像度としては、保存用の高解像度画像データと、ビューファインダ用の中解像度画像データと、保存選択用の低解像度画像データとの三種類がある。いずれの解像度の撮影画像データ８も、バッファメモリ制御部１２を介してバッファメモリ１１上の所定部分にそれぞれ蓄積される。
【００２８】
撮影タイミング指示ボタン９が押下されていない状態においては、表示器１４上で電子ビューファインダを行うべく、撮影画像データ生成部７はフレーム毎にビューファインダ用の中解像度画像データのみを撮影画像データ８上にフレーム毎に生成し、バッファメモリ制御部１２を介して最終的にバッファメモリ１１内のＭ１の部分に格納する。
【００２９】
撮影タイミング指示ボタン９が押下されると、撮影画像データ生成部７は連続する３つのフレームの撮影画像信号に対応して、それぞれ保存用の高解像度および保存選択用の低解像度の二種類の撮影画像データ８を生成し、それらすべての撮影画像データ８をバッファメモリ制御部１２を介して最終的に後述するようにバッファメモリ１１内の所定部分Ｍ２〜Ｍ４およびＭ５〜Ｍ７にそれぞれ蓄積する。
【００３０】
バッファメモリ制御部１２は、バッファメモリ１１への書き込みおよび読み出しアクセスの制御をバッファメモリ制御信号１３を用いて行っている。バッファメモリ１１へのアクセス要求としては、撮影画像データ生成部７からの撮影画像データ８の書き込み要求と、表示制御部１５からの表示画像データ１６の読み出し要求と、画像圧縮符号化部１８からの保存画像データ１９の読み出し要求との三つがあり、それらのアクセス要求の調停制御およびアクセスの順序制御を行っている。
【００３１】
バッファメモリ１１内の上記撮影画像データの格納位置は図１に示すように、ビューファインダ用の中解像度画像データはＭ１の部分へフレーム毎に蓄積される。撮影タイミング指示ボタン９が押下されてからの連続する３フレームの最初のフレームの撮影画像に対応する高解像度画像データはＭ２の部分へ、低解像度画像データはＭ５の部分へそれぞれ蓄積される。次のフレームの撮影画像の高解像度画像データはＭ３の部分へ、低解像度画像データはＭ６の部分へそれぞれ蓄積される。さらに最後のフレームの撮影画像の高解像度画像データはＭ４の部分へ、低解像度画像データはＭ７の部分へそれぞれ蓄積される。
【００３２】
表示制御部１５は、表示器１４に対する画面表示制御を表示制御信号１７を用いて行っている。表示器１４上に表示される画面を構成している表示画像データはバッファメモリ１１内のＭ０の範囲に蓄積されている。バッファメモリ制御部１２は表示制御部１５からの表示画像データの読み出し要求に応じて、Ｍ０の範囲に蓄積されている表示画像データを表示画像データ１６に送出する。
【００３３】
撮影タイミング指示ボタン９が押下されていない状態においては、表示器１４上で電子ビューファインダを行うべく、表示画像データ領域Ｍ０内の一部であるＭ１の部分へ撮影画像データ生成部７によってビューファインダ用の中解像度画像データがフレーム毎に蓄積されることから、結果的に表示器１４上のＤ１の部分に中解像度の撮影画像データが連続的に表示され、いわゆる電子ビューファインダとして動作する。
【００３４】
一方、撮影タイミング指示ボタン９が押下されると、表示画像データ領域Ｍ０内の一部であるＭ５〜Ｍ７の部分へ撮影画像データ生成部７によって連続する３フレームに対応する保存選択用の低解像度画像データがそれぞれ蓄積されることから、結果的に表示器１４上のＤ２〜Ｄ４の部分に低解像度の撮影画像データがそれぞれ表示されることになる。
【００３５】
画像圧縮符号化部１８は、バッファメモリ１１内のＭ２〜Ｍ４の部分に蓄積された３つの高解像度画像データを順次保存画像データ１９として読み出し、圧縮符号化処理を施した後、ＣＰＵバス２０、主メモリ制御部２２を経由して、主ャｃ鰍Q１の所定の位置Ｃ１〜Ｃ３に画像ファイルとして蓄積する。上記圧縮符号化動作は、撮影画像データ生成部７によって連続する３フレームに対応する保存用の高解像度画像データがバッファメモリ１１内のＭ２〜Ｍ４の部分にすべて蓄積された直後から即座に開始される。
【００３６】
主メモリ制御部２２は、Ｄ−ＲＡＭ等で構成される主メモリ２１に対する書き込みおよび読み出しアクセスの制御を主メモリ制御信号２３を用いて行っている。主メモリ２１へのアクセス要求としては、ＣＰＵ２７からのプログラムおよびデータアクセス要求の他に、画像圧縮符号化部１８からの画像ファイルの書き込み要求があり、それらのアクセス順序の調停制御およびアクセスの順序制御を行っている。
【００３７】
操作者は撮影タイミング指示ボタン９を押下した後、表示器１４上のＤ２〜Ｄ４の部分に表示された保存選択用の低解像度画像データを目視確認し、実際に保存する撮影画像を選択する。この保存画像を選択するための選択手段には特に制限は無いが、ここでは表示器１４を覆うタッチパネルによるＤ２〜Ｄ４部分の押下等による選択手段を想定している。
【００３８】
上記選択手段による操作者の選択操作が終了すると、ＣＰＵ２７は主メモリ２１上に一時蓄積されている画像ファイルＣ１〜Ｃ３の中から実際に選択された低解像度画像データに対応する画像ファイルを、不揮発性メモリ２４に転送する。
【００３９】
また、操作者による上記選択操作中、タッチパネル等で低解像度画像データを選択する（押下する）毎に、撮影画像データ生成部７はその選択された低解像度画像データに対応するバッファメモリ１１内の高解像度画像データをバッファャｃ叶ァ御部１２経由で読み出し、それをビューファインダ用の中解像度画像データに画素密度変換した後、バッファメモリ１１内のＭ１の部分に書き込む。
【００４０】
不揮発性メモリ制御部２５は、フラッシュＲＯＭ等で構成される不揮発性メモリ２４に対する書き込みおよび読み出しアクセスの制御を不揮発性メモリ制御信号２６を用いて行っている。不揮発性メモリ２４へのアクセス要求としては、ＣＰＵ２７からのデータ読み出しおよび書き込みアクセス要求である。
【００４１】
図１に示した例では、２番目のフレームに対応する＃２の撮影画像の画像ファイルが選択されたことを示しているが、もちろん複数枚数の撮影画像の選択であってもその動作は上記のように１枚を選択した場合と同様に行われる。
【００４２】
上記のようにして選択されたすべての画像ファイルを不揮発性メモリ２４に転送格納した後、ＣＰＵ２７は主メモリ２１上の一時蓄積領域Ｃ１〜Ｃ３から画像ファイルをすべて削除し、再び次の撮影動作に戻る。
【００４３】
なお、操作者が撮影タイミング指示ボタン９を押下してから一時蓄積される連続した３フレームの撮影画像は、それぞれ同じ撮影パラメータ（露光時間等）であっても、あるいは露光時間に代表される各種撮影パラメータをフレーム毎に変えたものであっても良い。さらには３つのフレームそれぞれのフレーム間隔を途切れなく連続したものであっても、一定数のフレーム間隔で離散する３つの撮影画像でも良い。
【００４４】
連続して一時蓄積する撮影画像枚数（フレーム数）を３としているが、これも２以上であれば特に限定するものは無い。ただしその上限は、バッファメモリ１１の容量、主メモリ２１の容量、表示器１４の大きさおよび表示解像度に依存してくるものである。
【００４５】
上述した第１の実施の形態によれば、操作者が撮影タイミング指示ボタン９を押下してから自動的に撮影および一時蓄積されている複数枚の撮影画像から、最適と考えるタイミングあるいは露光時間に代表される撮影パラメータで撮影された画像データをその場で選択することができる。不揮発性メモリ２４にはこのようにして選択された撮影画像ファイルのみが蓄積されることになり、不揮発性ャｃ鰍Q４の使用効率として無駄を排除できる。また総書き込み回数に上限のある不揮発性メモリ素子に対する余分な書き込みおよび消去操作を低減できるという効果も期待できる。
【００４６】
また選択操作時には、選択された（その部分のタッチパネルを押下された）低解像度画像データが表示器１４上のビューファインダ部分Ｄ１に拡大表示されるので、最終的に保存するあるいは保存しないの判断に役立つ。
【００４７】
なお、本実施の形態では、操作者による保存対象の撮影画像の選択後の動作として、主メモリ２１内にすでに圧縮符号化された画像ファイルＣ１〜Ｃ３から選択された撮影画像に対応する画像ファイルをそのまま不揮発性メモリ２４に転送していたが、オプション的な動作として、画像圧縮符号化部１８が選択された撮影画像に対応する高解像度画像データをふたたびバッファメモリ１１から読み出し、一回目とは別の圧縮率で圧縮符号化して主メモリ２１に蓄積した後、最終的に不揮発性メモリ２４に蓄積することも可能である。
【００４８】
これによって、操作者が保存対象の撮影画像の選択時に、特に気に入った撮影画像に対して、歪みが小さい低圧縮率で再圧縮符号化して得られる画像ファイルを保存することができる。また逆にあまり気に入らずとりあえず保存しておくような撮影画像に対して、ファイルサイズが小さい高圧縮率で再圧縮符号化して得られる画像ファイルを保存することができる。
【００４９】
また、不揮発性メモリ２４とその制御部２５をそのままデータ通信部として置き換えて考えると、操作者は転送する最適な撮影画像の選択を撮影直後にその場で行えることになる。
【００５０】
次に本発明の第２の実施の形態について説明する。本実施の形態は、前述したカラー液晶モニタ付きデジタルカメラにおける画像の消去方法に関するもので、その動作フローを図２に示す。なお、デジタルカメラとしては図１２、図１３に示すものが用いられる。
（１）モード切替え、画像表示・選択
はじめに、図１２、図１３の撮影／再生モード切替えスイッチ１１１を操作してカメラを再生モードにする。その後、表示切替えスイッチ１０３と選択スイッチ１０７、１０８により画像を表示・選択する。ここまでは、図１５の従来例で説明した処理１３１と１３２と同じである。
【００５１】
（２）消去モード選択
任意の画像を表示させた状態で、消去スイッチ１０６で所定の操作を行うことにより、消去モードを次の３つのいずれかに取り替える。
操作１４１：消去スイッチを短く押す
・・・通常消去モード
操作１４２：消去スイッチを所定の時間押し続ける
・・・撮影ミス判定モード１
操作１４３：消去スイッチを押しながらシャッタスイッチ１０２を押す
・・・撮影ミス判定モード２
【００５２】
次にそれぞれのモードについて説明する。
操作１４１による通常消去モードは、図１５の従来例における処理１３３、１３４と同様の表示・選択された画像をそのまま消去するモードである。
操作１４２による撮影ミス判定モード１は、表示・選択された１枚の画像について、撮影ミスがあるかを評価する。
操作１４３による撮影ミス判定モード２は、フラッシュメモリ内の全ての画像について、撮影ミスがあるかを評価する。
撮影ミス判定モード１及び２により撮影ミスと判断された画像は、画像上に撮影ミスの原因が表示される。
【００５３】
（３）撮影ミス抽出
次に、処理１４６に示した撮影ミス判定モード１、２の部分について図３を用いて説明する。これらのモードでは、画像データをフラッシュメモリ１３０から読み出し、後述する撮影ミス判断部の画像分析により、評価処理１４６でそれらの画像が撮影ミスであるかどうかをその原因と共に調べる。調べる画像は、モード１（図２の処理１４４）では現在表示している１枚、モード２（処理１４５）ではフラッシュメモリ１３０内の全画像である。なお、モード２の場合は、フラッシュメモリ内の順番に従い、一枚ずつ画像を評価することで実現されるので、内容的にはモード１と実質的に同じものである。
【００５４】
上記評価は、まずフラッシュメモリ１３０から図３の評価用バッファ２０１にデータを読み込む。その際、この画像が既に評価済みであるかを処理２０２で調べ、評価済みの場合はその画像をスキップし、次の画像を読み込む。
次に、処理２０３で画像の分析評価を行い、撮影ミスについてその程度を数値化して評価する。
【００５５】
上記の過程で撮影ミスと判断された画像は、その種類（手ぶれ・露出不足・露出過多など）と程度とに分類され（処理２０５〜２０７）、それらを示す情報が画像に付加される（処理２０８）。また、撮影ミスと判断されなかったもの（処理２０４）についても、一度評価したものは評価済みを示す情報が付加される（処理２０８）。この情報を付加することにより、評価済みの画像を再び選択したときは、自動的に評価をスキップすることで待ち時間を短縮できる。なお、これらの情報は画像ファイルのヘッダ領域に格納され、画像の内容には影響しない。
【００５６】
（４）撮影ミス画像の表示
次に、図２の処理１４７に示される、撮影ミスと判断された画像の表示について説明する。
評価された画像は、モード１の場合、図４（ａ）〜（ｄ）に示すように、カラー液晶モニタ上にその画像の撮影ミスの理由と程度とを示す文字または記号と共に表示される。
図４においては、３１・・・問題なし、３２・・・露出不足、３３・・・露出過多、３４・・・手ぶれを示している。
【００５７】
この状態から表示切替えスイッチ１０３と選択スイッチ１０７、１０８を操作することにより、図５のようにサムネール表示に切替えることができる。その際、撮影ミスと判断された画像は、サムネール状態でも判断できるように、４１で示すように色合いを変えて表示される。あるいは点滅させたり、ミスの種類によって色を変えても同様の効果が得られる。
【００５８】
次に、モード２の場合は、評価されたすべての画像のうち撮影ミスと判断されたものだけを抽出してサムネール表示される。その表示は図６の５１〜５３で示すように撮影ミスの種類別、及び５４で示すように撮影ミスの程度順に、消去スイッチ１０６により切替えることができる。また、この状態でも表示切替えスイッチ１０３と選択スイッチ１０７、１０８によりサムネール表示から通常表示５５に戻して見ることも可能である。
【００５９】
（５）撮影ミス画像の消去
次に、図２の処理１３４に示される、上記の操作により抽出された撮影ミス画像の消去方法について説明する。
モード１の場合、撮影ミスと表示された状態でシャッタスイッチ１０２を押すことにより、その画像が消去される。
モード２の場合、抽出された撮影ミスがサムネール表示された状態で、シャッタ１０２を押すことによりそれらが一括して消去される。通常表示に切替えている場合は、現在表示されている画像のみが消去される。
【００６０】
以上の動作により、使用者は明らかなミスだけでなく、小さな液晶モニタでは判断できない撮影ミスについてその原因を種類や程度別に知ることができ、その情報をもとに撮影姿勢を注意したり、露出を修正したりすることにより、適切な撮影を行うことができる。
また、撮影ミスと判断された画像を一枚ずつ、もしくはまとめて消去可能であり、その際、撮影ミスの種類や程度別に並べ替えることで、定量的な判断で消去を行うことができる。
【００６１】
図７にこのデジタルカメラの回路ブロック図を示す。図１４に示した従来のものに対して撮影ミス判断部１２０が追加された構成となっている。この撮影ミス判断部１２０は、フラッシュメモリ１３０にストアされた圧縮後の画像データを読み出し、画像処理によって露出不足・露出過多・手ぶれなどの撮影ミスを判断すると共に、その程度を定量的に判別する。設定範囲を超えて撮影ミスがあった場合は、その種類と程度を文字や記号に置き換え、Ｖ−ＲＡＭ１２８上の画像データに重ねてカラー液晶モニタ１１３に出力する。ＣＰＵ１２４は、操作キー１２５の操作を監視し、消去操作があった場合、フラッシュメモリ１３０内の画像を消去する。
【００６２】
なお、撮影ミス判断部１２０は説明上独立ユニットで示したが、もちろんＣＰＵ１２４を使用してソフト的に構成することも可能である。
【００６３】
次に、撮影ミスの判断方法について説明する。
撮影ミス判断部１２０で判断する撮影ミスの種類とその判別方法には色々な方法が考えられるが、一例として、図４の３２、３３に示す露出不足・過多の判断アルゴリズムについて図８により説明する。
まずフラッシュメモリ１３０内の画像データを撮影ミス判断部１２０内のバッファ２１１に取り込み、Ｙ／Ｃ分離回路７１により、輝度（Ｙ）信号を取り出し、輝度信号のヒストグラム分布を抽出する（処理７２）。次に、抽出した輝度ヒストグラム分布を評価し（処理７３）、設定範囲より低めに集中して分布するものは露出不足（処理７４）、高めに集中して分布するものは露出過剰（処理７５）、設定範囲以内なら露出に関しては正常（処理７６）と判断する。設定値から外れている場合は、それを示す警告メッセージを画像に重ね（処理７７）、Ｖ−ＲＡＭ１２８に出力する。以上の手順により、撮影済みの画像の露出不足・過剰の判断と警告が行われる。
【００６４】
次に、第３の実施の形態について説明する。
図９はカラー液晶モニタがなく、光学式ファインダが設けられているデジタルカメラにおける画像の消去手順を示す。
これは、カラー液晶モニタ付きの場合における図２の消去手順における、図４の３２〜３４で示す撮影画像の上に警告記号を重ねて表示する手法を、処理８３〜８５で示すように、警告記号の代わりにビープ音の回数で撮影ミスの種類を知らせるようにしたもので置き換えたものである。なお、この処理８３〜８５は、処理８１で撮影画像を圧縮・補正した後、処理８２で評価を行うことにより行われる。
【００６５】
このように実行することにより、カラー液晶モニタを持たないデジタルカメラにおいて撮影ミスの画像を音により判別できるため、第２の実施の形態と同様の効果を得ることができる。
【００６６】
図１０にこのデジタルカメラの回路ブロック図を示す。図７に対してカラー液晶モニタ１１３がないため、そのための周辺回路（Ｖ−ＲＡＭ１２８、Ｄ／Ａコンバータ１２９等）が省かれ、代わりに警告音を出力するためのスピーカ１００が追加されている。その外は図７と同様の構成である。
【００６７】
【発明の効果】
以上説明したように本発明によれば、従来、撮影後にパソコンなどに一旦転送して確認してみないとわからないような撮影ミスでも、その場で抽出できるので、メモリを効率的に使用できる。
【００６８】
また、抽出された撮影ミスの画像データを、一括消去できるので、従来のような一枚ずつ確認しながら消去する方法に比べて消去に要する手間が大幅に軽減される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるデジタルカメラのブロック図である。
【図２】第２の実施の形態によるデジタルカメラの画像消去手順を示すフローチャートである。
【図３】デジタルカメラの撮影ミス判断手順を示すフローチャートである。
【図４】デジタルカメラの表示の一例（通常表示）を示す構成図である。
【図５】デジタルカメラの表示の一例（通常表示−サムネール表示切替え）を示す構成図である。
【図６】デジタルカメラの表示の一例（サムネール表示）を示す構成図である。
【図７】第２の実施の形態によるデジタルカメラのブロック図である。
【図８】デジタルカメラの撮影ミス判断アルゴリズムの一例を示すフローチャートである。
【図９】第３の実施の形態によるデジタルカメラの撮影ミス判断手順を示すフローチャートである。
【図１０】第３の実施の形態によるデジタルカメラのブロック図である。
【図１１】従来のデジタルカメラのブロック図である。
【図１２】従来の液晶モニタ付きデジタルカメラの外観の正面図である。
【図１３】従来の液晶モニタ付きデジタルカメラの外観の背面図である。
【図１４】従来の液晶モニタ付きデジタルカメラのブロック図である。
【図１５】従来の液晶モニタ付きデジタルカメラの画像消去手順を示すフローチャートである。
【符号の説明】
１ ＣＣＤ
５ 撮影画像信号生成部
７ 撮影画像データ生成部
８ 撮影画像データ
９ 撮影タイミング指示ボタン
１１ バッファメモリ
１４ 表示器
１５ 表示制御部
１８ 画像圧縮符号化部
２１ 主メモリ
２４ 不揮発性メモリ
２７ ＣＰＵ
１００ スピーカ
１１３ カラー液晶モニタ
１２０ 撮影ミス判断部
１２４ ＣＰＵ
１２５ 操作キー
１３０ フラッシュメモリ
Claims (3)
- 被写体を撮像する撮像手段と、
上記撮像手段によって得られる画像を前記画像から取り出される信号に基づいて所定の判断基準により評価する画像評価手段と、
上記評価手段により評価された画像のうち、前記所定の判断基準により撮影ミスと判断された画像を蓄積手段から一括消去する消去手段とを有することを特徴とする撮像装置。 - 上記第１の画像評価手段は、露出不足、露出過多、手ぶれののうち少なくとも一つを評価することを特徴とする請求項１記載の撮像装置。
- 被写体を撮像する撮像手段によって得られる画像を前記画像から取り出される信号に基づいて分析評価し、
その評価された画像のうち所定の判断基準により撮影ミスと判断された画像を蓄積手段から一括消去することを特徴とする撮像装置の処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319982A JP3733353B2 (ja) | 2002-11-01 | 2002-11-01 | 撮像装置およびその処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319982A JP3733353B2 (ja) | 2002-11-01 | 2002-11-01 | 撮像装置およびその処理方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17956697A Division JP3610195B2 (ja) | 1997-07-04 | 1997-07-04 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003204504A JP2003204504A (ja) | 2003-07-18 |
| JP3733353B2 true JP3733353B2 (ja) | 2006-01-11 |
Family
ID=27655782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002319982A Expired - Fee Related JP3733353B2 (ja) | 2002-11-01 | 2002-11-01 | 撮像装置およびその処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3733353B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7652709B2 (en) | 2003-07-31 | 2010-01-26 | Seiko Epson Corporation | Image forming device, image output device, image processing system, image retrieving method, image quality determining method and recording medium |
| KR100716977B1 (ko) * | 2004-07-23 | 2007-05-10 | 삼성전자주식회사 | 디지털 영상 기기 |
| JP2007164249A (ja) * | 2005-12-09 | 2007-06-28 | Seiko Epson Corp | 画像表示装置および印刷装置 |
| JP4936397B2 (ja) * | 2008-01-23 | 2012-05-23 | キヤノンソフトウェア株式会社 | 画像処理装置、その制御方法及びプログラム |
| JP7458770B2 (ja) * | 2019-12-18 | 2024-04-01 | キヤノン株式会社 | 制御装置およびその制御方法 |
-
2002
- 2002-11-01 JP JP2002319982A patent/JP3733353B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003204504A (ja) | 2003-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3610195B2 (ja) | 撮像装置 | |
| US20020057473A1 (en) | Electronic camera | |
| JP4507392B2 (ja) | 電子カメラ | |
| JP4916553B2 (ja) | 画像処理装置 | |
| JP2008258981A (ja) | 撮像装置及びその制御方法、プログラム | |
| US8842196B2 (en) | Data recording apparatus and camera configured to selectively process data stored in a recording medium | |
| US20050212943A1 (en) | Digital camera | |
| JP3733353B2 (ja) | 撮像装置およびその処理方法 | |
| JP2002152559A (ja) | 電子カメラ装置および画像処理装置 | |
| JP2000217022A (ja) | 電子スチルカメラおよびその画像デ―タ記録再生方法 | |
| JP3733345B2 (ja) | 撮像装置およびその処理方法 | |
| JP3999681B2 (ja) | デジタルカメラ | |
| JP4073588B2 (ja) | デジタルカメラ、画像処理方法、および記録媒体 | |
| US20050162520A1 (en) | Digital camera and method of controlling the same | |
| JP3935671B2 (ja) | デジタルカメラ | |
| JP4671989B2 (ja) | カメラ | |
| JP2003244507A (ja) | デジタルカメラ | |
| JP5614713B2 (ja) | 撮像装置およびプログラム | |
| JP4305473B2 (ja) | 電子スチルカメラ、画像情報の消去方法及び画像情報の状態設定方法 | |
| JP2008244899A (ja) | デジタルカメラ、及びその連写機能設定方法、連写機能設定プログラム | |
| JP2004193642A (ja) | デジタルカメラ | |
| JP4571111B2 (ja) | 情報処理装置および記録媒体 | |
| JPH10136294A (ja) | 画像処理装置、その画像処理方法及びその方法が記録された記録媒体 | |
| JP4210962B2 (ja) | 電子カメラ | |
| JP2004215072A (ja) | デジタルカメラ及び画像表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |