JP4288612B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、撮影に関する設定を、直感的に、かつ効率的に行うことができるようにした画像処理装置および方法、並びにプログラムに関する。

近年、ディジタルカメラの高機能化が進んでおり、それに伴い、ユーザ自身が選択することのできる撮影などに関する設定の数も多くなってきている。

各種の設定は、例えば、ディジタルカメラの背面側（レンズが設けられる側と反対側）に設けられたLCD(Liquid Crystal Display)などよりなる表示部に表示されるメニュー画面を見ながら、十字キーや決定ボタンを操作することにより行われる。

例えば、露出の設定を自ら変更しようとする場合、ユーザは、撮影に関する設定の項目をメニュー画面から選択し、選択したときに表示される項目の中から露出の設定の項目を選択し、さらに、露出の設定の項目を選択したときに表示される露出の具体的な値（EV値（・・，−１．０EV，−０．３EV,＋０．３EV,＋１．０EV，・・・））の中から、調整しようとする値を選択することによって露出の設定を変更することができる。ディジタルカメラのメニュー表示については例えば非特許文献１に開示されている。
"ITmediaライフスタイル：フルオートで楽しめる薄型大画面デジカメ「COOLPIX S1」[online]、平成１７年５月１１日、［平成１７年８月９日検索］、インターネット、<URL:http://www.itmedia.co.jp/lifestyle/articles/0505/11/news087_2.html>

しかしながら、撮影に関する各種の設定は、写真の知識がないユーザにとっては難しいという問題があった。例えば、上述した露出の設定だけを見ても、写真の知識がないユーザにとっては、表示される「・・，−１．０EV，−０．３EV,＋０．３EV,＋１．０EV，・・・」の中から、どの値を選択すれば、撮影される画像にどの程度の影響があるのかイメージがつかない。

ディジタルカメラにおいては、撮影時、そのとき取り込まれている被写体の画像が表示部に表示され、ユーザはそれを見て明るさを調整したりすることになるが、露出の調整をする前に、そもそも、取り込まれている画像自体の明るさが適切なものなのであるのかどうかの判断すら、表示部に表示されている画像からでは難しい。明るさを判断する指標として、画像の露出状態をヒストグラム化してリアルタイムで表示する機能が搭載されているものもあるが、このヒストグラムから露出状態を判断するのにも、ある程度の知識が求められる。

従って、ある設定を変更して撮影した方がよい状態になったとき、それをユーザに知らせる機能などがあれば、写真の知識がないユーザにとっても優しいインターフェースといえ、好ましい。例えば、ユーザが被写体を接写しようとしているときに、そのような状態のときにピントを合わせやすいことから選択した方がよいといえるモードがあることをユーザに通知することによって、ユーザは、それまでそのようなモードがあることを知らない場合であっても、モードを切り替えて、適切な設定で撮影を行うことができる。

このように、高機能化によって、機能が用意されていることをユーザが知らないといったことも生じている。また、機能があることを知っていても、選択可能な項目が多すぎる場合には、選択する項目をメニュー画面から探し出すことができないといったことも生じている。上述したような階層化されたメニュー画面から設定を変更するためには、ユーザは、階層の構造を把握している必要がある。

本発明はこのような状況に鑑みてなされたものであり、撮影に関する設定を、直感的に、かつ効率的に行うことができるようにするものである。

本発明の一側面の画像処理装置は、取り込み画像に基づいて、露出またはコントラストが適正であるか否かを判定する判定手段と、取り込み画像に基づいて、撮影に関する現在の設定である第１の設定と異なる第２の設定で撮影した場合に得られる画像を生成する生成手段と、前記判定手段により露出またはコントラストが適正でないと判定された場合、その旨を示す情報および前記生成手段により生成された画像を、前記取り込み画像とともに表示させる表示制御手段と、前記表示制御手段により表示された画像の中から前記生成手段により生成された画像が選択されたとき、前記第２の設定で撮影できるように設定を制御する制御手段とを備える。

前記生成手段には、複数の前記第２の設定で撮影した場合に得られる画像をそれぞれ生成させ、前記表示制御手段には、前記生成手段により生成されたそれぞれの画像を、前記取り込み画像より小さい大きさで、前記取り込み画像とともに表示させるようにすることができる。

前記生成手段には、前記第２の設定で撮影した場合に得られる画像として、前記取り込み画像の明るさと異なる明るさの画像を生成させるようにすることができる。

前記表示制御手段には、所定の明るさを基準として前記取り込み画像の明るさが明るい、または暗い場合、さらに、そのことを表すメッセージを、露出が適正でない旨を示す前記情報として表示させるようにすることができる。

前記生成手段には、前記第２の設定で撮影した場合に得られる画像として、前記取り込み画像よりコントラストの高い画像を生成させるようにすることができる。

前記生成手段には、さらに、前記取り込み画像よりコントラストの高い画像の一部を拡大した画像を生成させるようにすることができる。

前記表示制御手段には、所定のコントラストを基準として前記取り込み画像のコントラストが低い場合、さらに、フォーカスが合わないことを表すメッセージを、コントラストが適正でない旨を示す前記情報として表示させるようにすることができる。

本発明の一側面の画像処理方法またはプログラムは、取り込み画像に基づいて、露出またはコントラストが適正であるか否かを判定し、取り込み画像に基づいて、撮影に関する現在の設定である第１の設定と異なる第２の設定で撮影した場合に得られる画像を生成し、露出またはコントラストが適正でないと判定した場合、その旨を示す情報および生成された画像を、前記取り込み画像とともに表示させ、表示された画像の中から生成された画像が選択されたとき、前記第２の設定で撮影できるように設定を制御するステップを含む。

本発明の一側面においては、取り込み画像に基づいて、露出またはコントラストが適正であるか否かが判定され、取り込み画像に基づいて、撮影に関する現在の設定である第１の設定と異なる第２の設定で撮影した場合に得られる画像が生成され、露出またはコントラストが適正でないと判定された場合、その旨を示す情報および生成された画像が、前記取り込み画像とともに表示される。また、表示された画像の中から生成された画像が選択されたとき、前記第２の設定で撮影できるように設定が制御される。

本発明の一側面によれば、撮影に関する設定を、直感的に、かつ効率的に行うことができる。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明の一実施形態に係るディジタルカメラ１のハードウエア構成例を示すブロック図である。

レンズ部１１は、被写体からの光を集光するレンズやフォーカス（ピント）の調整をするためのフォーカスレンズ、絞り等の光学系のモジュールから構成される。レンズ部１１を構成するレンズにより集光された被写体からの光はCCD(Charge Coupled Device)１２に入射される。

CCD１２は、タイミングジェネレータ（TG）２３から供給されるタイミング信号にしたがって動作することにより、レンズ部１１を介して入射する被写体からの光を受光して光電変換を行い、（光の）受光量に応じた電気信号としてのアナログの画像信号をアナログ信号処理部１３に出力する。

アナログ信号処理部１３は、CPU(Central Processing Unit)１８の制御にしたがい、CCD１２からのアナログの画像信号を増幅等するアナログ信号処理を行い、そのアナログ信号処理の結果得られる画像信号をA/D(Analog/Digital)変換部１４に出力する。

A/D変換部１４は、CPU１８の制御にしたがい、アナログ信号処理部１３からのアナログ信号の画像信号をA/D変換し、その結果得られるディジタル信号の画像データをディジタル信号処理部１５に出力する。

ディジタル信号処理部１５は、CPU１８の制御にしたがい、A/D変換部１４からの画像データに対してノイズ除去処理等のディジタル信号処理を施し、信号処理により得られたデータに基づいて画像を表示部１６に表示させる。

また、ディジタル信号処理部１５は、A/D変換部１４からの画像データを、例えば、JPEG(Joint Photographic Experts Group)方式等で圧縮し、その結果得られる圧縮画像データを記録デバイス１７に供給して記録させたり、記録デバイス１７に記録された圧縮画像データを伸張し、その結果得られる画像データを表示部１６に表示させる。

さらに、ディジタル信号処理部１５は、CPU１８の制御にしたがい、撮影に関する設定をユーザが行うためのメニューなどを表示部１６に表示させる。

表示部１６はLCDなどより構成され、ディジタル信号処理部１５の制御にしたがい、CCD１２により取り込まれている画像や、設定の変更などを行うときに用いられるメニュー画面などを表示する。

記録デバイス１７は、例えば、半導体メモリよりなるメモリカード等のリムーバブル記録媒体であり、ディジタルカメラ１に対して容易に着脱可能になっている。ハードディスクドライブなどにより記録デバイス１７が構成されるようにしてもよい。

CPU１８は、プログラムROM(Read Only Memory)２１に記録されているプログラムを実行することにより、また、操作部１９からの信号に応じて、ディジタルカメラ１を構成する各部を制御して各種の処理を行う。

後に詳述するように、例えば、CPU１８は、取り込まれた画像の明るさ（露出）が、所定の明るさを基準として明るい場合（露出過多である場合）、または、暗い場合（露出過少である場合）、そのことを通知するメッセージを表示部１６に表示させるとともに、その取り込まれた画像に基づいて生成した、取り込まれた画像より明るい画像と暗い画像を表示させ、その画面から、露出の設定を変更することができるようにする。ユーザは、取り込まれた画像とともに表示部１６に表示される、取り込まれた画像より明るい画像を選択することによって、露出を上げた状態で撮影を行うことができ、取り込まれた画像より暗い画像を選択することによって、露出を抑えた状態で撮影を行うことができる。

操作部１９は、電源スイッチ、シャッタボタン、ズームボタン、モードダイヤル（撮影モードを変更するとき操作されるダイヤル）、十字キー、決定ボタンなどよりなり、ユーザによって操作されることに応じて、その操作に対応した信号をCPU１８に出力する。

EEPROM(Electrically Erasable Programmable ROM)２０は、CPU１８の制御にしたがい、ディジタルカメラに設定された各種の情報その他の、ディジタルカメラの電源がオフにされたときも保持しておく必要があるデータ等を記憶する。

プログラムROM２１は、CPU１８が実行するプログラム、さらには、CPU１８がプログラムを実行する上で必要なデータを記憶している。RAM(Read Only Memory)２２は、CPU１８が各種の処理を行う上で必要なプログラムやデータを一時記憶する。

タイミングジェネレータ２３は、CPU１８の制御にしたがい、タイミング信号をCCD１２に出力する。タイミングジェネレータ２３からCCD１２に供給されるタイミング信号によって、CCD１２における露出時間（シャッタスピード）等が制御される。

モータドライバ２４は、CPU１８の制御にしたがい、アクチュエータ（モータ）２５を駆動する。アクチュエータ２５が駆動されることにより、レンズ部１１を構成する絞りの調整や、レンズ部１１を構成するフォーカスレンズの移動が行われる。

ディジタルカメラ１にはオートフォーカス機能が搭載されている。オートフォーカス機能は、例えば、山登りサーボにより実現され、ユーザがシャッタボタンの半押し操作を行ったとき、所定の位置から開始して、フォーカスの合う位置が検出されるまでフォーカスレンズがモータドライバ２４による制御に従って順次移動される。例えば、CCD１２により取り込まれる画像の中心のコントラストが最も高い状態（高周波成分が最も大きくなる状態）が、フォーカスが合っている状態として判断される。

以上のように構成されるディジタルカメラ１においては、CCD１２が、レンズ部１１を介して入射する被写体からの光を受光して光電変換を行い、その結果得られるアナログの画像信号を出力する。CCD１２が出力するアナログの画像信号は、アナログ信号処理部１３およびA/D変換部１４を介することにより、ディジタル信号の画像データとされ、ディジタル信号処理部１５に供給される。

ディジタル信号処理部１５は、A/D変換部１４からの画像データを表示部１６に出力し、これにより、表示部１６には、いわゆる取り込み画像が表示される。ユーザは、表示部１６の表示を見て、被写体の明るさが適正な露出であるか、あるいは、フォーカスが合っているかなどを確認することになる。

その後、ユーザがシャッタボタンを操作すると、その操作に応じた信号が操作部１９からCPU１８に供給される。CPU１８は、シャッタボタンの操作に応じた信号が操作部１９から供給されたとき、ディジタル信号処理部１５を制御し、そのときA/D変換部１４からディジタル信号処理部１５に供給された画像データを圧縮させ、その結果得られる圧縮画像データを記録デバイス１７に記録させる。以上のようにして写真撮影が行われる。

また、以上のように構成されるディジタルカメラ１には、画像の明るさやフォーカスの調整をユーザにアドバイスする機能が搭載されており、ユーザは、それらのアドバイスに従って操作することによって、適正な露出で、あるいはピントの合った状態で撮影を行うことができる。

はじめに、画像の明るさの調整をアドバイスする機能（明るさ補正ナビゲート機能）について説明する。

図２は、明るさ補正ナビゲート機能により表示部１６に表示される画面の例を示す図である。

表示部１６のうちの比較的広い領域が割り当てられている取り込み画像表示領域３１には取り込み画像が表示される。取り込み画像は、現在の露出等の設定で撮影することのできる画像を表すものであり、ユーザは、この取り込み画像表示領域３１の表示を見て、現在の設定での画像の明るさを確認することができる。図２の例においては、取り込み画像表示領域３１には、子供を被写体とする画像が表示されている。

取り込み画像表示領域３１の右上方に表示されるアイコン３１Ａ乃至３１Ｃは、それぞれ、撮影する画像のファイルサイズ、画質、記録可能な画像の残り枚数を表す。

図２の例においては、取り込み画像の隣には、取り込み画像より小さい大きさの画像である画像３２乃至３４と、ブラケット撮影ボタン３５が縦に並べて表示されている。

画像３２乃至３４は、それぞれ、取り込み画像に基づいて生成された画像であり、それらの内容は取り込み画像の内容と同じものとなる。ユーザは、十字ボタンの上下を操作してカーソル３６を移動させ、決定ボタンを押すことによって、決定ボタンを押したときにカーソル３６により選択している画像の明るさで撮影が行われるように露出の設定を変更することができる。図２の例においては、カーソル３６は太線で示されており、画像３２を選択した状態となっている。

画像３２は現在の設定よりも所定のステップだけ露出を上げて（明るくして）撮影した場合に得られると想定される明るさの画像である。露出を上げて撮影したときに得られるものであることをユーザに通知するために、画像３２には、「明るく」の文字が重ねて表示されている。

画像３２にカーソル３６を合わせて決定ボタンを押すことによって、ユーザは、現在の設定より露出を上げた状態で撮影を行うことができる。

画像３３は、現在の設定で撮影した場合に得られる明るさの画像であり、その明るさは、取り込み画像表示領域３１に表示されている取り込み画像の明るさと同じものとなる。現在の設定で撮影したときに得られるものであることをユーザに通知するために、画像３３には、「現在」の文字が重ねて表示されている。

画像３３にカーソル３６を合わせて決定ボタンを押すことによって、ユーザは、現在の設定のまま撮影を行うことができる。

画像３４は現在の設定よりも所定のステップだけ露出を抑えて（暗くして）撮影した場合に得られると想定される明るさの画像である。露出を抑えて撮影したときに得られるものであることをユーザに通知するために、画像３４には、「暗く」の文字が重ねて表示されている。

画像３４にカーソル３６を合わせて決定ボタンを押すことによって、ユーザは、現在の設定より露出を抑えた状態で撮影を行うことができる。

ブラケット撮影ボタン３５は、１回のシャッタ操作で露出を変えて複数回の撮影が行われるブラケット撮影を選択するときに選択されるボタンである。ブラケット撮影ボタン３５にカーソル３６を合わせて決定ボタンを押すことによって、ユーザはブラケット撮影を行うことができる。

これらの画像３２乃至３４、およびブラケット撮影ボタン３５の下方には、メッセージ表示領域３７が設けられ、図２の例においては、現在の設定で撮影することができる画像の状態を表すものとして、「現在、やや暗めになっているようです。」のメッセージが表示されている。このメッセージは、取り込み画像から判断された現在の設定での明るさが、適正な露出と考えられる、基準の明るさよりも暗いことから選択され、表示されたものである。

このメッセージを確認することによって、ユーザは、現在の設定のままでは、暗めの画像が撮影されてしまうことを確認することができ、明るさを調整した方がよいと判断することができる。また、ユーザは、画像３２を選択することによって（画像３２にカーソル３６を合わせて決定ボタンを押すことによって）、露出を上げ、適正な露出で撮影を行うことができる。

「・・，−１．０EV，−０．３EV,＋０．３EV,＋１．０EV，・・・」などの数値の並びではなく、このように、露出を変えたときに得られると想定される画像が表示され、画像を選択することによって露出の設定を変更することができるから、写真の知識がない場合であっても、ユーザは、直感的に、露出の設定を変更することができる。

また、明るさを変えて表示される画像は、取り込み画像に基づいて生成されるものであるから、露出の設定を変更したときのイメージをユーザはつかみやすい。さらに、現在の設定における明るさの画像を中心として、明るめの画像と、暗めの画像が並べて表示されるから、ユーザは、容易に、現在の設定との比較をすることができる。

なお、図２に示されるような画面は、ユーザが明るさ補正ナビゲート機能のオン（実行）を選択し、撮影をしようとしているときに常に表示されるようにしてもよいし、明るさ補正ナビゲート機能のオンを選択し、撮影をしようとしている状態において取り込み画像の露出が適正露出でないことが検出されたときに表示されるようにしてもよい。すなわち、後者の場合、通常は取り込み画像が表示部１６全体に表示されており、そのように取り込み画像の露出が適正露出でないことが検出されたときに、図２の表示に切り替わることになる。

図３は、ブラケット撮影について説明する図である。

図３の左側に示されるように、ユーザがカーソル３６をブラケット撮影ボタン３５に合わせて決定ボタンを押したとき、ブラケット撮影を行うことができる状態となる。この状態でユーザによりシャッタボタンが１回操作されたとき、露出の設定を変えて、連続して例えば４回撮影が行われる。

４回の撮影により得られた画像は、例えば、図３の右側に示されるように一覧表示される。ユーザは、一覧表示された画像の中からカーソル４５を操作して好みの明るさの画像を選択することができる。選択された画像は記録デバイス１７に記録される。

図３の右側の例においては、画像４１は露出を−2.0EVとして撮影した画像であり、画像４２は露出を−1.0EVとして撮影した画像である。また、画像４３は露出を0.0EV（現在の設定のまま）として撮影した画像であり、画像４４は露出を＋1.0EVとして撮影した画像である。図３の右側の画面において、メッセージ表示領域３７には、画像４１乃至４４の中から画像を選択することを案内する「残したい写真を選択してください。」のメッセージが表示されている。

次に、フォーカスの調整をアドバイスする機能（マクロ撮影ナビゲート機能）について説明する。

例えば、オートフォーカス機能によりフォーカスを合わせることができる範囲を超えて、近い位置にある被写体をユーザが撮影しようとしていることにより、図４に示されるようにフォーカスを合わせることができない場合、マクロ撮影ナビゲート機能のオンを選択しているときには、マクロモード等に撮影モードを切り替えて撮影を行うことをアドバイスする画面が表示される。

図４の例においては、表示部１６の全体に取り込み画像が表示されている。被写体である花が点線で示されていることは、その花にフォーカスが合っていないことを表す。

上述したように、ディジタルカメラ１にはオートフォーカス機能が搭載されており、ユーザは、通常、このオートフォーカス機能を使って撮影を行うことになるが、それとは別に、オートフォーカス機能によってフォーカスを合わせることのできる合焦範囲（ワイド端での合焦範囲）の下限より近い位置にある被写体にフォーカスを合わせるための撮影モードとして、マクロモードと拡大鏡モードが例えばディジタルカメラ１には用意されている。

図５は、撮影モードについて説明する図である。

例えば、図５の左端に示されるように、被写体が近いことからオートフォーカス機能によってフォーカスを合わせることができない場合、マクロモードを選択することによって、ユーザは、図５の中央に示されるように、フォーカスが合った状態でそれを撮影することができる。また、拡大鏡モードを選択したとき、図５の右端に示されるように、マクロモードのときよりも大きな被写体の画像を撮影することが可能となる。すなわち、通常のオートフォーカス機能による撮影、マクロモードでの撮影、拡大鏡モードでの撮影においては、それぞれ合焦範囲が異なる。

レンズ部１１を構成するレンズの性能によって異なるが、例えば、通常のオートフォーカス機能の合焦範囲が０．５ｍ〜∞であるのに対し、マクロモードの合焦範囲は、ワイド端時には約０．０８ｍ〜∞、テレ端時には約０．２５ｍ〜∞となる。オートフォーカス機能の合焦範囲は、その範囲であれば、ユーザによりシャッタボタンが半押しされてから（撮影が動作が開始されてから）短い時間でフォーカスを合わせることができる範囲として設定される（マクロモード等を設定した場合、フォーカスを合わせるのに時間はかかるが、近い被写体を撮影できるようになる）。

拡大鏡モードの合焦範囲はワイド端で約０．０１ｍ〜０．２ｍとなる。拡大鏡モードにおいては、焦点距離はワイド端で固定される。

このような撮影モードであるマクロモードと拡大鏡モードを使うことが、オートフォーカス機能によってフォーカスを合わせることができない程近い被写体をユーザが撮影しようとしているときにマクロ撮影ナビゲート機能によりアドバイスされる。

図６は、マクロ撮影ナビゲート機能により表示部１６に表示される画面の例を示す図である。図２と対応する部分には同じ符号を付してある。

図６の例においては、取り込み画像表示領域３１には図４と同じ花を被写体とする取り込み画像が表示されている。

また、図６の例においては、取り込み画像の隣には、「ナビMENU」の名前が付されたメニューが表示されており、そこには、取り込み画像より小さい大きさの画像である画像５１と画像５２が縦に並べて表示されている。

画像５１と画像５２は、それぞれ、取り込み画像（フォーカスが合っていない状態の画像）に基づいて生成された画像である。ユーザは、十字ボタンを操作してカーソル５３を移動させ、決定ボタンを押すことによって、決定ボタンを押したときにカーソル５３により選択しているモードで撮影が行われるように撮影モードの設定を変更することができる。

画像５１は、マクロモードで撮影を行うときに選択される画像である。例えば、取り込み画像のエッジを強調することにより、マクロモードによって撮影したときに得られると想定される画像５１が生成される。画像５１の下の領域５１Ａには、画像５１を選択することによってマクロモードを選択することができることをユーザに通知するための「マクロモード」の文字とアイコン（花のマーク）が表示されている。

画像５１（画像５１と領域５１Ａ）にカーソル５３を合わせて決定ボタンを押すことによって、ユーザは、マクロモードで撮影を行うことができる。

画像５２は、拡大鏡モードで撮影を行うときに選択される画像である。例えば、画像５１の所定の位置を中心として拡大することにより、拡大鏡モードによって撮影したときに得られると想定される画像５２が生成される。画像５２の下の領域５２Ａには、画像５２を選択することによって拡大鏡モードを選択することができることをユーザに通知するための「拡大鏡モード」の文字とアイコン（虫眼鏡のマーク）が表示されている。

画像５２（画像５２と領域５２Ａ）にカーソル５３を合わせて決定ボタンを押すことによって、ユーザは、拡大鏡モードで撮影を行うことができる。

画像５１および画像５２の下方にあるメッセージ表示領域３７には、「フォーカスが合わないようです。・・・」のメッセージが表示されている。このメッセージは、オートフォーカス機能によって撮影することができるものより近い距離にある被写体をユーザが撮影しようとしていることが取り込み画像から判断されたことによって選択され、表示されたものである。

このメッセージを確認することによって、ユーザは、現在の設定のままでは（通常のオートフォーカス機能では）、フォーカスが合った画像を撮影することができないことを確認することができ、撮影モードの設定を変更した方がよいと判断することができる。ユーザは、例えば画像５１を選択することによって（画像５１と領域５１Ａにカーソル５３を合わせて決定ボタンを押すことによって）、撮影モードをマクロモードに切り替え、近い被写体であってもフォーカスが合った状態で撮影することができる。

図７は、図６の画面からマクロモードが選択されたときの取り込み画像の表示例を示す図である。

図７に示されるように、マクロモードを選択したとき、近い被写体であってもフォーカスが合った状態で画像を取り込むことができるようになる。図７の例においては、被写体である花が図６のような点線ではなく実線で示されており、これはフォーカスが合っていることを表す。また、図７の例において、取り込み画像表示領域３１の左下方に表示されているアイコン３１Ｄは、撮影モードとしてマクロモードが設定されていることを表す。

このように、フォーカスを合わせることができない場合に、撮影モードを設定することができる表示がなされるから、フォーカスが合っていないことを取り込み画像から確認し、撮影モードをメニュー画面から設定する場合に較べて、ユーザは、設定の変更を効率的に行うことができる。

すなわち、ユーザは、フォーカスが合っているのか合っていないのかを取り込み画像から確認する必要がない。ディジタルカメラに設けられる表示部は、機器の携帯性を確保するという点から比較的小さなものが用意されるが、このように小さな表示部に表示される取り込み画像からフォーカスが合っているのか合っていないのかを確認することは一般的に困難である。

また、ユーザは、メニュー画面のどこに、マクロモードなどの撮影モードを設定する項目があるのかを知っている必要がない。

さらに、撮影モードを設定するためのものとして表示される画像は、取り込み画像に基づいて生成されるものであるから、撮影モードの設定を変更したときのイメージをユーザはつかみやすい。

以上のような表示を行うディジタルカメラ１の動作についてはフローチャートを参照して後述する。

図８は、ディジタルカメラ１の機能構成例を示すブロック図である。図８に示す機能部のうちの少なくとも一部は、図１のCPU１８により所定のプログラムが実行されることによって実現される。

ディジタルカメラ１においては、撮影制御部６１、画像生成部６２、および表示制御部６３が実現される。撮影制御部６１は、明るさ検出部７１とフォーカス制御部７２を有している。

撮影制御部６１は、モータドライバ２４を制御し、撮影に関する全体的な動作を制御する。撮影制御部６１は、撮影モードや撮影環境に応じてシャッタスピード、絞り、露出等の設定を適宜変更し、撮影を行わせる。

例えば、撮影制御部６１は、明るさ補正ナビゲート機能により表示部１６に表示された画像の中からユーザにより所定の画像が選択されたとき、選択された画像の明るさと同じ明るさの画像を撮影することができるように露出の設定（シャッタスピード、絞り、ISO感度等の設定）を変更して、それ以降の撮影を行わせる。明るさ補正ナビゲート機能により画像生成部６２により生成され、表示部１６に表示された画像の明るさに関する情報は画像生成部６２から供給されてくる。

また、撮影制御部６１は、マクロ撮影ナビゲート機能により表示部１６に表示された画像の中からユーザによりマクロモードまたは拡大鏡モードを表す画像が選択されたとき、選択された画像により表される撮影モードを設定する。これにより、オートフォーカス機能によってフォーカスを合わせることができない程、近い位置にある被写体であっても、フォーカスを合わせて撮影することが可能となる。

撮影制御部６１のうちの明るさ検出部７１は、ディジタル信号処理部１５から供給されたデータに基づいて、取り込み画像の露出が適正露出であるか否かを判定する。露出過少、または露出過多であると判定した場合、明るさ検出部７１は、そのことを表す情報を表示制御部６３に出力するとともに、現在の露出の情報を画像生成部６２に出力する。

フォーカス制御部７２は、ディジタル信号処理部１５から供給された画像データのコントラストに基づいてフォーカスを制御し、オートフォーカス機能を実現する。また、フォーカス制御部７２は、所定の位置からフォーカス位置を徐々にディジタルカメラ１本体に近づけていき、オートフォーカス機能によってフォーカスを合わせることができる位置よりも近くにある被写体をユーザが撮影しようとしていると判定した場合（フォーカスの合う位置がない場合）、そのことを表す情報を画像生成部６２と表示制御部６３に出力する。

画像生成部６２は、取り込み画像の現在の露出の情報が明るさ検出部７１から供給されたとき、ディジタル信号処理部１５から供給された取り込み画像の輝度値を変更するなどして、現在の露出を基準として、明るめの画像と暗めの画像を生成する。画像生成部６２は、生成した画像を表示制御部６３に出力するとともに、生成した画像の明るさに関する情報を撮影制御部６１に出力する。

また、画像生成部６２は、オートフォーカス機能によってフォーカスを合わせることができる位置よりも近くにある被写体をユーザが撮影しようとしていることを表す情報がフォーカス制御部７２から供給されたとき、ディジタル信号処理部１５から供給された取り込み画像（フォーカスが合っていない画像）のエッジを強調するなどしてマクロモードを表す画像を生成する。さらに、画像生成部６２は、生成したマクロモードを表す画像の所定の位置を中心として拡大することによって拡大鏡モードを表す画像を生成する。画像生成部６２は、生成した画像（マクロモードを表す画像、拡大鏡モードを表す画像）を表示制御部６３に出力する。

表示制御部６３は、取り込み画像の露出が適正露出ではないことが明るさ検出部７１から通知されてきた場合、取り込み画像が暗めになっていること、または明るめになっていることをユーザに通知するメッセージを表示部１６のメッセージ表示領域３７に表示させる。また、表示制御部６３は、ディジタル信号処理部１５から供給されたデータに基づいて、取り込み画像を取り込み画像表示領域３１に表示させるとともに、画像生成部６２から供給されたデータに基づいて、現在の設定での露出状態を表す画像を中心とし、明るさの異なる画像を並べて表示させる。これにより、図２に示されるような画面が表示される。

また、表示制御部６３は、オートフォーカス機能によってフォーカスを合わせることができる位置よりも近くにある被写体をユーザが撮影しようとしていることがフォーカス制御部７２から通知されてきた場合、フォーカスが合っていないことをユーザに通知するメッセージを表示部１６のメッセージ表示領域３７に表示させる。さらに、表示制御部６３は、ディジタル信号処理部１５から供給されたデータに基づいて、取り込み画像を取り込み画像表示領域３１に表示させるとともに、画像生成部６２から供給されたデータに基づいて、マクロモードを表す画像と拡大鏡モードを表す画像を並べて表示させる。これにより、図６に示されるような画面が表示される。

次に、明るさ補正ナビゲート機能がオンにされているときと、マクロ撮影ナビゲート機能がオンにされているときのそれぞれの処理について説明する。

はじめに、図９のフローチャートを参照して、明るさ補正ナビゲート機能がオンにされているときの処理について説明する。

ステップＳ１において、撮影制御部６１は被写体からの光を取り込む。すなわち、撮影制御部６１は、タイミングジェネレータ２３を制御して、レンズ部１１を介して入射される被写体からの光の光電変換をCCD１２に行わせ、アナログ信号処理部１３、およびA/D変換部１４によりディジタル信号の画像データを取得させる。また、撮影制御部６１は、取得された画像データに対する処理をディジタル信号処理部１５に行わせる。ディジタル信号処理部１５により得られた画像データは、取り込み画像として表示部１６に表示されるとともに、撮影制御部６１に供給される。

ステップＳ２において、撮影制御部６１の明るさ検出部７１は、ディジタル信号処理部１５から供給されたデータに基づいて、取り込み画像の露出が適正露出であるか否かを判定し、露出過少、または露出過多であると判定した場合、そのことを表す情報を表示制御部６３に出力する。また、明るさ検出部７１は、現在の露出の情報を画像生成部６２に出力する。

ステップＳ３において、画像生成部６２は、ディジタル信号処理部１５から供給された取り込み画像に基づいて、現在の露出を基準として、明るめの画像と暗めの画像を生成し、生成した画像を表示制御部６３に出力する。また、画像生成部６２は、生成した画像の明るさの情報を撮影制御部６１に出力する。

ステップＳ４において、表示制御部６３は、ディジタル信号処理部１５と画像生成部６２から供給されたデータに基づいて、現在の設定での露出状態を表す画像、明るめの画像、および暗めの画像の、明るさの異なる３種類の画像を、表示部１６の取り込み画像のとなりに表示させる。また、このとき、表示制御部６３は、取り込み画像が暗めになっていること、または明るめになっていることをユーザに通知するメッセージをメッセージ表示領域３７に表示させる。

ステップＳ５において、撮影制御部６１は、ステップＳ４で表示された明るさの異なる画像の中から、１つの画像、すなわち撮影しようとする画像の明るさがユーザにより選択されたか否かを判定する。

撮影制御部６１は、ステップＳ５において、撮影しようとする画像の明るさがユーザにより選択されたと判定した場合、ステップＳ６に進み、シャッタスピード、絞り、ISO感度等の設定を変更して、ユーザにより選択された画像の明るさと同じ明るさの画像を撮影することができるように露出の設定を変更する。

シャッタボタンが押されたとき、ステップＳ７において、撮影制御部６１は、ステップＳ６で変更した露出で撮影を行う。撮影により得られた画像データはディジタル信号処理部１５により取得され、圧縮処理などが施される。

ステップＳ８において、撮影制御部６１は、ディジタル信号処理部１５を制御して、撮影により得られた画像を記録デバイス１７に保存させ、処理を終了させる。

一方、ステップＳ５において、ステップＳ４で表示された画面からブラケット撮影ボタン３５が選択されたことから、明るさが選択されていないと判定した場合、撮影制御部６１は、ステップＳ９に進み、シャッタボタンが１回押されることに応じて、露出の設定をそれぞれ変え、連続して撮影を行わせる。ディジタル信号処理部１５においては明るさの異なる複数の画像が取得される。

ステップＳ１０において、表示制御部６３は、ディジタル信号処理部１５により取得された明るさの異なる複数の画像を、例えば、図３の右側に示されるように表示し、保存する画像をユーザに選択させる。保存する画像が選択されたとき、処理はステップＳ８に進み、ユーザにより選択された画像が保存される。その後、処理は終了される。

以上の処理により、ユーザは、適正露出の画像を容易に撮影することができる。

次に、図１０のフローチャートを参照して、マクロ撮影ナビゲート機能がオンにされているときの処理について説明する。

ステップＳ２１において、撮影制御部６１は被写体からの光を取り込む。すなわち、撮影制御部６１は、タイミングジェネレータ２３を制御して、レンズ部１１を介して入射される被写体からの光の光電変換をCCD１２に行わせ、アナログ信号処理部１３、およびA/D変換部１４によりディジタル信号の画像データを取得させる。また、撮影制御部６１は、取得された画像データに対する処理をディジタル信号処理部１５に行わせる。ディジタル信号処理部１５により得られた画像データは、取り込み画像として表示部１６に表示されるとともに、撮影制御部６１に供給される。

ステップＳ２２において、フォーカス制御部７２は、ディジタル信号処理部１５から供給された画像データのコントラストに基づいて、被写体が近すぎることから、オートフォーカス機能によって被写体にフォーカスを合わせることができないか否かを判定し、フォーカスを合わせることができないと判定した場合、ステップＳ２３に進む。被写体にフォーカスを合わせることができないと判定された場合、そのことを表す情報がフォーカス制御部７２から画像生成部６２と表示制御部６３に出力される。

ステップＳ２３において、画像生成部６２は、ディジタル信号処理部１５から供給された取り込み画像のエッジを強調するなどしてマクロモードを表す画像を生成する。また、画像生成部６２は、生成した画像の所定の位置を中心として拡大することによって拡大鏡モードを表す画像を生成する。画像生成部６２は、マクロモードを表す画像と、拡大鏡モードを表す画像を表示制御部６３に出力する。

ステップＳ２４において、表示制御部６３は、画像生成部６２から供給されてきたデータに基づいて、マクロモードを表す画像と拡大鏡モードを表す画像を並べて表示させる。また、このとき、表示制御部６３は、フォーカスが合っていないことをユーザに通知するメッセージをメッセージ表示領域３７に表示させるとともに、取り込み画像を取り込み画像表示領域３１に表示させる。

ステップＳ２５において、撮影制御部６１は、ステップＳ２４で表示された撮影モードを表す画像の中から、１つの画像、すなわち撮影モードがユーザにより選択されたか否かを判定する。

撮影制御部６１は、ステップＳ２５において、撮影モードがユーザにより選択されたと判定した場合、ステップＳ２６に進み、撮影モードの設定をマクロモード、または拡大鏡モードに変更し、モータドライバ２４を制御してレンズ部１１の合焦範囲を切り替える。これにより、オートフォーカス機能によってはフォーカスを合わせて撮影することのできない距離にある被写体であっても、ユーザはフォーカスを合わせて撮影することが可能となる。

シャッタボタンが押されたとき、ステップＳ２７において、撮影制御部６１は、マクロモード、または拡大鏡モードによって撮影を行い、ステップＳ２８に進み、得られた画像を記録デバイス１７に保存させる。その後、処理は終了される。

一方、ステップＳ２２において、被写体にフォーカスが合っていると判定された場合、または、ステップＳ２５においてモードが選択されていないと判定された場合、処理はステップＳ２７に進み、それ以降の処理が行われる。すなわち、撮影モードの設定が変更されることなく、撮影が進められる。

以上の処理により、ユーザは、撮影モードの設定を容易に変更することができ、オートフォーカス機能によってはフォーカスを合わせることのできない被写体をも撮影することができる。

以上においては、撮影する画像の明るさを選択させる画像、あるいは撮影モードを選択させる画像として、取り込み画像に基づいて生成された画像が表示されるものとしたが、あらかじめ用意された画像が表示され、それを選択することにより画像の明るさや撮影モードが設定されるようにしてもよい。この場合、例えば、図６の画面においては、マクロモードを表すアイコン（花のマーク）、拡大鏡モードを表すアイコン（虫眼鏡のマーク）が、画像５１と画像５２に替えてそれぞれ表示される。

また、以上においては、明るさ補正ナビゲート機能がオンにされているときに表示される画面においては、現在の明るさを基準として、１つの明るめの画像と、１つの暗めの画像が表示されるものとしたが、さらに多くの明るさの異なる画像が表示され、その中から、好みの明るさを選択することができるようにしてもよい。

さらに、以上においては、明るさの調整や撮影モードをアドバイスする表示がなされる場合について説明したが、ホワイトバランスの調整をアドバイスする表示などの、他の設定についてアドバイスする表示がなされるようにしてもよい。

また、以上においては、ユーザが選択可能な撮影モードとして、マクロモードと拡大鏡モードが表示されるものとしたが、条件に応じて、他の撮影モードが表示されるようにしてもよい。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU１０１は、ROM１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。RAM１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。

なお、CPU１０１として、”Cell誕生”、日経エレクトロニクス、日経BP社、２００５年２月２８日、８９頁乃至１１７頁に記載されているCellを採用することができる。

CPU１０１にはまた、バス１０４を介して入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果を出力部１０７に出力する。

入出力インターフェース１０５に接続されている記憶部１０８は、例えばハードディスクからなり、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。

入出力インターフェース１０５に接続されているドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１、または、プログラムが一時的もしくは永続的に格納されるROM１０２や、記憶部１０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１０９を介して、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の一実施形態に係るディジタルカメラのハードウエア構成例を示すブロック図である。 明るさ補正ナビゲート機能により表示される画面の例を示す図である。 ブラケット撮影について説明する図である。 フォーカスが合わない場合の取り込み画像の表示例を示す図である。 撮影モードについて説明する図である。 マクロ撮影ナビゲート機能により表示される画面の例を示す図である。 マクロモードが選択されたときの取り込み画像の表示例を示す図である。 ディジタルカメラの機能構成例を示すブロック図である。 明るさ補正ナビゲート機能がオンにされているときの処理について説明するフローチャートである。 マクロ撮影ナビゲート機能がオンにされているときの処理について説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

６１ 撮影制御部， ６２ 画像生成部， ６３ 表示制御部， ７１ 明るさ検出部， ７２ フォーカス制御部

Claims (9)

1. 取り込み画像に基づいて、露出またはコントラストが適正であるか否かを判定する判定手段と、
   取り込み画像に基づいて、撮影に関する現在の設定である第１の設定と異なる第２の設定で撮影した場合に得られる画像を生成する生成手段と、
   前記判定手段により露出またはコントラストが適正でないと判定された場合、その旨を示す情報および前記生成手段により生成された画像を、前記取り込み画像とともに表示させる表示制御手段と、
   前記表示制御手段により表示された画像の中から前記生成手段により生成された画像が選択されたとき、前記第２の設定で撮影できるように設定を制御する制御手段と
   を備える画像処理装置。
2. 前記生成手段は、複数の前記第２の設定で撮影した場合に得られる画像をそれぞれ生成し、
   前記表示制御手段は、前記生成手段により生成されたそれぞれの画像を、前記取り込み画像より小さい大きさで、前記取り込み画像とともに表示させる
   請求項１に記載の画像処理装置。
3. 前記生成手段は、前記第２の設定で撮影した場合に得られる画像として、前記取り込み画像の明るさと異なる明るさの画像を生成する
   請求項１に記載の画像処理装置。
4. 前記表示制御手段は、所定の明るさを基準として前記取り込み画像の明るさが明るい、または暗い場合、さらに、そのことを表すメッセージを、露出が適正でない旨を示す前記情報として表示させる
   請求項３に記載の画像処理装置。
5. 前記生成手段は、前記第２の設定で撮影した場合に得られる画像として、前記取り込み画像よりコントラストの高い画像を生成する
   請求項１に記載の画像処理装置。
6. 前記生成手段は、さらに、前記取り込み画像よりコントラストの高い画像の一部を拡大した画像を生成する
   請求項５に記載の画像処理装置。
7. 前記表示制御手段は、所定のコントラストを基準として前記取り込み画像のコントラストが低い場合、さらに、フォーカスが合わないことを表すメッセージを、コントラストが適正でない旨を示す前記情報として表示させる
   請求項５に記載の画像処理装置。
8. 取り込み画像に基づいて、露出またはコントラストが適正であるか否かを判定し、
   取り込み画像に基づいて、撮影に関する現在の設定である第１の設定と異なる第２の設定で撮影した場合に得られる画像を生成し、
   露出またはコントラストが適正でないと判定した場合、その旨を示す情報および生成された画像を、前記取り込み画像とともに表示させ、
   表示された画像の中から生成された画像が選択されたとき、前記第２の設定で撮影できるように設定を制御する
   ステップを含む画像処理方法。
9. 取り込み画像に基づいて、露出またはコントラストが適正であるか否かを判定し、
   取り込み画像に基づいて、撮影に関する現在の設定である第１の設定と異なる第２の設定で撮影した場合に得られる画像を生成し、
   露出またはコントラストが適正でないと判定した場合、その旨を示す情報および生成された画像を、前記取り込み画像とともに表示させ、
   表示された画像の中から生成された画像が選択されたとき、前記第２の設定で撮影できるように設定を制御する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images