JP2015001609A - 制御装置、および記憶媒体 - Google Patents

Abstract

【課題】画角内の複数の被写体にフォーカスを合わせて撮像することが可能な制御装置、および記憶媒体を提供する。【解決手段】撮像された画像内の複数の被写体に順にフォーカスを合わせるよう制御するフォーカス制御部と、ユーザからのトリガに応じて、前記フォーカス制御部が前記複数の被写体に順にフォーカスを合わせて撮像した画像を記憶媒体に記録するように制御する記録制御部と、を備える、制御装置。【選択図】図１

Description

本開示は、制御装置、および記憶媒体に関する。

近年普及しているデジタルカメラには、被写体との距離を測定し、撮影レンズの焦点調整を自動的に行う機能が搭載されている。具体的には、例えば被写体に向けて赤外光を投光し、その反射光を受光して被写体までの距離を測るいわゆるアクティブ方式の測距装置が搭載されている。

このような被写体との距離に応じて撮影レンズの焦点調整を自動的に行うデジタルカメラの技術に関し、例えば下記特許文献１が提案されている。

下記特許文献１では、被写体が無限遠にあると誤判定された場合でも、無限遠の焦点深度を犠牲にせず、かつ、有限距離の被写体のボケを極力犠牲にしない撮影を行うことができるカメラが開示されている。また、下記特許文献１のカメラは、投射された光が被写体に当たらず、反射光が受光できずに無限遠の被写体と誤測距されてピントがボケてしまうことを防止することができる。

特開平８−１１０５４５号公報

しかしながら、上記特許文献１では、撮影対象範囲（画角内）にある一の被写体（オブジェクト）との距離に応じてピント（フォーカス）を合わせているが、複数の被写体それぞれに自動的にピントを合わせて撮影する点については何ら考慮されていない。

そこで、本開示では、画角内の複数の被写体にフォーカスを合わせて撮像することが可能な、新規かつ改良された制御装置、および記憶媒体を提案する。

本開示によれば、撮像された画像内の複数の被写体に順にフォーカスを合わせるよう制御するフォーカス制御部と、ユーザからのトリガに応じて、前記フォーカス制御部が前記複数の被写体に順にフォーカスを合わせて撮像した画像を記憶媒体に記録するように制御する記録制御部と、を備える、制御装置を提案する。

本開示によれば、コンピュータを、撮像された画像内の複数の被写体に順にフォーカスを合わせるよう制御するフォーカス制御部と、ユーザからのトリガに応じて、前記フォーカス制御部が前記複数の被写体に順にフォーカスを合わせて撮像した画像を記憶媒体に記録するように制御する記録制御部と、として実行させるためのプログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、画角内の複数の被写体にフォーカスを合わせて撮像することが可能となる。

本開示の一実施形態による撮影制御システムの概要を説明するための図である。 本実施形態によるデジタルカメラの内部構成例を示すブロック図である。 本実施形態によるＣＰＵの機能構成の一例を示すブロック図である。 複数の被写体に順にフォーカスが合わせられて撮像される画像について説明するための図である。 本実施形態によるオブジェクト階層画像について説明するための図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 本実施形態による撮影制御システムの動作処理を示すフローチャートである。 本開示の他のフォーカス制御を実現する場合のＣＰＵの機能構成を示すブロック図である。 本開示の他のフォーカス制御の動作処理を示すフローチャートである。 デジタルカメラ単体で撮影制御システムを実現する場合のＣＰＵの機能構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による撮影制御システムの概要
２．基本構成
２−１．デジタルカメラの構成
２−２．サーバの構成
３．動作処理
４．他の実施形態
４−１．他のフォーカス制御例
４−２．デジタルカメラ単体の構成
５．まとめ

＜＜１．本開示の一実施形態による撮影制御システムの概要＞＞
まず、本開示の一実施形態による撮影制御システムの概要について、図１を参照して説明する。

図１は、本開示の一実施形態による撮影制御システムの概要を説明するための図である。図１に示すように、本実施形態による撮影制御システムは、デジタルカメラ１（本開示による制御装置）と、サーバ２を含み、デジタルカメラ１とサーバ２は、無線／有線接続し、データの送受信を行う。具体的には、例えばデジタルカメラ１が、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ−Ｆｉ（登録商標）等の無線通信、または有線通信によりネットワークに接続し、ネットワーク上のサーバ２と接続してデータの送受信を行う。

デジタルカメラ１は、図１に示すようにデジタルカメラ１を形成する筐体の１面に表示部１８を有し、表示部１８が設けられている面と対向する側の面（不図示）には、撮像レンズやフラッシュが設けられている。表示部１８は、タッチセンサ１３ａ（操作入力部１３の一例）が積層されたタッチパネルディスプレイであってもよく、表示画面に対するユーザ操作が検出される。

また、デジタルカメラ１の上面には、図１に示すように、シャッターボタン１３ｂや、ズームレバー１３ｃ、電源ＯＮ／ＯＦＦボタン（不図示）が設けられている。

さらに、図１に示すように、表示部１８の横には、メニューボタンや再生ボタン、決定ボタン、削除ボタン、モード切替ボタン等を含む各種操作ボタン１３ｄが設けられている。モード切替ボタンは、マニュアル撮影モード、オート撮影モード、パノラマ撮影モード、ビデオ撮影モード等といった撮影モードの切り替えを行うためのボタンである。再生ボタンは、デジタルカメラ１に記憶されている撮像画像を表示部１８に再生するためのボタンである。

ユーザは、デジタルカメラ１の電源をＯＮにして、所定の撮影モードを設定すると、デジタルカメラ１の撮像レンズを、被写体に向ける。デジタルカメラ１は、撮像レンズで集光してＣＣＤ等の撮像素子で受光することにより逐次撮像される被写体像のデジタルデータであるスルー画像Ｐを、表示部１８に継続的に（リアルタイムで）表示する。ユーザは、このように表示部１８に表示されるスルー画像Ｐを見ながらフレーミングの状態を確認し、任意のタイミングでシャッターボタン１３ｂを押下して撮影操作を行う。

ここで、通常、画角内の被写体にピント（フォーカス）を合わせる場合、ユーザは、スルー画像Ｐの中央（または表示部１８に表示されるフォーカスマークに）に被写体が写るようデジタルカメラ１を動かしてフレーミングを調整し、シャッターボタン１３ｂを半押ししてオートフォーカスを作動させる。デジタルカメラ１は、シャッターボタン１３ｂが半押しされると、被写体との距離（撮影距離または被写体距離とも称す）を測定し、撮影距離に応じて撮像レンズの焦点距離を調整することで被写体にピントを合わせる。または、ユーザは、スルー画像Ｐに映る被写体をタップすることで任意の被写体にピントを合わせることも可能である。デジタルカメラ１は、タップされた位置に写る被写体との距離を測定し、撮影距離に応じて撮像レンズの焦点距離を調整することで被写体にピントを合わせる。

しかしながら、上述した通常の制御方法では、スルー画像Ｐ内の複数の被写体Ｓ１、Ｓ２、Ｓ３、Ｓ４のうち、いずれか一の被写体にしかピント（フォーカス）を合わせられず、他の被写体はボケてしまっていた。

そこで、本開示による撮影制御システムでは、画角内の複数の被写体にフォーカスを合わせてそれぞれ撮像し、各被写体にフォーカスが合った複数の撮影画像を取得し、これら複数の撮影画像を合成して画角内の複数の被写体にフォーカスがあった撮影画像を提供する。これにより、デジタルカメラ１の利便性をさらに向上させることが可能となる。

具体的には、デジタルカメラ１は、シャッターボタン１３ｂの押下をトリガとして、画角内の複数の被写体Ｓ１〜Ｓ４にフォーカス（ピント）を合わせてそれぞれ撮像し、各被写体にフォーカスが合った複数の撮影画像を取得する。そして、デジタルカメラ１は、これらの複数の撮影画像をサーバ２に送信し、サーバ２において、画角内の複数の被写体にフォーカスがあった撮影画像が合成される。合成された撮影画像は、再びデジタルカメラ１に送信されて表示部１８を介してユーザに提示されてもよいし、予め登録されたネットワーク上のユーザのストレージ領域に格納されてもよい。

以上、本開示の一実施形態における撮影制御システムの概要について説明した。続いて、本実施形態による撮影制御システムに含まれるデジタルカメラ１（本開示による制御装置）とサーバ２の構成について、図２〜図５を参照して詳細に説明する。

なお、図１に示す例では、本実施形態による制御装置の一例としてデジタルカメラ１を図示したが、本実施形態による制御装置はこれに限定されず、例えばデジタルビデオカメラや、撮像機能を有する携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＨＭＤ（ヘッドマウントディスプレイ）、シースルーＨＭＤ（メガネ型ＨＭＤ）、またはノートＰＣ等であってもよい。

また、図１に示すデジタルカメラ１の外観は一例であって、表示部１８の大きさや配置位置、およびシャッターボタン１３ｂ、ズームレバー１３ｃ、各種操作ボタン１３ｄの配置や有無は、図１に示す例に限定されない。例えば、表示部１８が、デジタルカメラ１の１面を全て覆うよう設けられ、シャッターボタン１３ｂ、ズームレバー１３ｃ、および各種操作ボタン１３ｄの機能は、表示部１８の画面上に表示されるボタン画像により実現されてもよい。

＜＜２．基本構成＞＞
＜２−１．デジタルカメラの構成＞
図２は、本実施形態によるデジタルカメラ１の内部構成例を示すブロック図である。図２に示すように、本実施形態によるデジタルカメラ１は、ＣＰＵ１０、ＲＯＭ１１、ＲＡＭ１２、操作入力部１３、距離情報取得部１５、カメラモジュール１６、撮像（撮影）画像メモリ１７、表示部１８、およびネットワークＩ／Ｆ１９を有する。

（操作入力部）
操作入力部１３は、ユーザ操作を検出し、操作入力を受け付けるデバイスである。具体的には、操作入力部１３は、表示部１８に積層されるタッチセンサ１３ａ、デジタルカメラ１の上面等に設けられるシャッターボタン１３ｂ、ズームレバー１３ｃ、各種操作ボタン１３ｄ等のユーザ操作を入力するためのデバイスにより実現される。操作入力部１３は、受け付けた操作入力の情報をＣＰＵ１０に供給する。なお、操作入力部１３は、マイクロフォンおよび音声信号処理部（不図示）により実現されてもよい。マイクロフォンおよび音声信号処理部が設けられることにより、ユーザによる音声入力が可能となる。

（カメラモジュール）
カメラモジュール１６（撮像部）は、撮像レンズを含む撮像光学系、撮像素子、および画像信号処理部を含む。撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャにより実現される。画像信号処理部は、ノイズ除去、階調補正、色補正、歪み補正、ぶれ補正、画像の圧縮伸長等を行うことができる。

カメラモジュール１６は、ＣＰＵ１０の制御に従って、複数の被写体にそれぞれピントを合わせた複数の撮像画像を取得する。被写体にピントを合わせる際は、距離情報取得部１５により取得された距離情報（被写体情報）が用いられる。

（距離情報取得部）
距離情報取得部１５は、カメラモジュール１６（撮像部）と被写体との距離（被写体距離）を示す距離情報を取得する機能を有する。具体的には、例えば距離情報取得部１５は、被写体に赤外線や超音波等を照射し、被写体からの反射波が戻るまでの時間や照射角度により距離を算出するアクティブ方式、赤外線等を用いずにレンズで捉えた画像を利用したパッシブ方式、または両方式の併用により、被写体距離を取得する。なお距離情報取得部１５は、撮像画像中の被写体（オブジェクト）毎に被写体距離を取得してもよいし、撮像画像中の画素毎に被写体距離を取得してもよい。

（撮像画像メモリ）
撮像画像メモリ１７は、所定のデータを記憶する記憶媒体であって、例えばカード型メモリなどのフラッシュメモリにより実現される。また、撮像画像メモリ１７は、ＣＰＵ１０の制御に従って、カメラモジュール１６により撮像された撮像画像を記憶したり、距離情報取得部１５により取得された、撮像画像内の複数の被写体のそれぞれの被写体距離を各被写体（撮像画像中の各被写体の座標位置）と対応付けて記憶したりする。また、撮像画像メモリ１７は、撮像画像中の画素毎に被写体距離を記憶してもよい。

（表示部１８）
表示部１８は、デジタルカメラ１からユーザへの出力情報を再生するデバイスである。表示部１８は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等により実現される。

（ネットワークＩ／Ｆ）
ネットワークＩ／Ｆ１９は、無線／有線によりネットワークに接続するためのインタフェースである。具体的には、例えばネットワークＩ／Ｆ１９は、無線ＬＡＮまたはＷｉ−Ｆｉ（登録商標）等により、アクセスポイントを介してネットワーク（クラウド）に接続する。また、ネットワークＩ／Ｆ１９は、ＣＰＵ１０の制御にしたがって、カメラモジュール１６で撮像された、複数の被写体にそれぞれピントが合った複数の撮像画像を、ネットワーク上のサーバ２に送信する。

（ＣＰＵ、ＲＯＭ、ＲＡＭ）
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０は、デジタルカメラ１の各構成を制御する。ＣＰＵ１０は、例えばマイクロプロセッサにより実現される。また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）は、ＣＰＵ１０が上記各機能を実行するためのプログラムを記憶する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）は、ＣＰＵ１０が上記各機能を実行する際にワークエリアとして利用される。

ここで、本実施形態によるＣＰＵ１０の具体的な機能構成について、図３を参照して説明する。図３は、本実施形態によるＣＰＵ１０−１の機能構成の一例を示すブロック図である。

図３に示すように、本実施形態によるＣＰＵ１０−１は、認識部１１０、フォーカス制御部１２０、撮像制御部１３０、および記録制御部１４０を有する。

認識部１１０は、カメラモジュール１６により撮像された画像内（例えばスルー画像内）から複数の被写体（以下、オブジェクトとも称す）を認識する。オブジェクトの認識は、例えば画像解析（特徴点、輪郭、色、形の抽出、顔認識、静物のパターン認識等）により行われる。これにより、認識部１１０は、例えば図１に示すスルー画像を解析して、複数のオブジェクト（被写体Ｓ１〜Ｓ４）を認識することができる。

また、認識部１１０は、各オブジェクトが動くもの（移動可能）であるか否かを判断し、判断結果をオブジェクトの認識結果に含めてもよい。各オブジェクトが動くものであるか否かは、例えば予め登録された物体のモデルデータベース（不図示）を参照して判断してもよい。モデルデータベースには、各物体の特徴（色や形等）と、その物体が動くものであるか否かの情報が含まれる。認識部１１０は、例えばスルー画像Ｐの画像解析によって抽出した被写体Ｓ１（オブジェクト）の形、大きさ、色等に基づいてモデルデータベースを参照し、被写体Ｓ１（オブジェクト）が人であること、また、動くもの（移動可能）であることが分かる。なお、認識部１１０は、人物や人物の顔を動くもの（移動可能）として判断する他、顔の各パーツ（鼻、口、眼、眉等）をオブジェクトとして認識し、それぞれが移動可能か否かを判断してもよい。例えば、眼にフォーカスする場合、眼は動くものと判断され、鼻にフォーカスする場合、鼻は動かないものと判断される。

認識部１１０は、認識結果をフォーカス制御部１２０および撮像制御部１３０に出力する。

フォーカス制御部１２０は、撮像された画像内の複数の被写体（オブジェクト）に順にフォーカス（ピント）を合わせるようカメラモジュール１６を制御する。具体的には、フォーカス制御部１２０は、認識部１１０により認識された複数のオブジェクト（被写体Ｓ１〜Ｓ４）に順にフォーカス（ピント）を合わせる。ここで、ピントを合わせる順は特に限定されず、例えばランダムであってもよい。

撮像制御部１３０は、フォーカス制御部１２０によりオブジェクトにピントを合わせたことが通知されると、撮像を行うようカメラモジュール１６を制御する。また、この際、撮像制御部１３０は、認識部１１０から出力された、オブジェクトが動くものであるか否かを示す認識結果に応じて、シャッタースピードの設定を制御する。例えば、撮像制御部１３０は、オブジェクトが動くもの（移動可能）である場合、細部をブレることなく撮影するか、軌跡を撮影するかに応じて、シャッタースピードの速度を設定する。例えば、走っている人の表情を撮影する場合は、細部をブレることなく、表情が分かるように撮影することが望まれる。一方、花火や車のヘッドライト（テールランプ）などを撮影する場合は、光の軌跡を写して躍動感が伝わるように撮影することが望まれる。そこで、撮像制御部１３０は、動く（移動する）オブジェクトの細部を撮影する場合は高速シャッターに設定し、動く（移動する）オブジェクトの軌跡を撮影する場合に低速シャッターを設定する。

なお、撮像制御部１３０は、シャッター速度の設定の他、自動露出、絞り等の他の撮像パラメータ設定を行ってもよい。

また、記録制御部１４０は、ユーザからのトリガ（例えばシャッターボタン１３ｂの押下）に応じて、フォーカス制御部１２０により複数の被写体に順にフォーカスが合わせられて撮像制御部１３０によりそれぞれ撮像された複数の撮像画像を、所定の記憶媒体に記録するように制御する。本実施形態において、所定の記憶媒体とは、少なくとも合成処理機能を有するサーバ２の記憶媒体（図６に示す撮像画像ＤＢ２４）を示す。記録制御部１４０は、ネットワークＩ／Ｆ１９からネットワークを介してサーバ２に複数の撮像画像を送信し、サーバ２の記憶媒体（図６に示す撮像画像ＤＢ２４）に記録させるよう制御する。また、地下などのネットワークに接続されていない状況においてサーバ２の記憶媒体に撮像画像を記憶させることができない場合を考慮し、記録制御部１４０が撮像画像を記憶させる記憶媒体に、デジタルカメラ１内蔵の記憶媒体を含めてもよい。ここで、図４を参照して、本実施形態による複数の被写体に順にフォーカスが合わせられて撮像される画像について説明する。

記録制御部１４０は、ユーザからのトリガに応じて、例えば図４上に示すように、まず被写体（オブジェクト）Ｓ１にフォーカスが合わせられ、他の被写体（オブジェクト）Ｓ２〜Ｓ４がボケている状態で撮像された撮像画像Ｐ１を記録する。次いで、記録制御部１４０は、図４中に示すように、被写体（オブジェクト）Ｓ２にフォーカスが合わせられ、他の被写体（オブジェクト）Ｓ１、Ｓ３、Ｓ４がボケている状態で撮像された撮像画像Ｐ２を記録する。次に、記録制御部１４０は、図４下に示すように、被写体（オブジェクト）Ｓ４にフォーカスが合わせられ、他の被写体（オブジェクト）Ｓ１〜Ｓ３がボケている状態で撮像された撮像画像Ｐ３を記録する。このように、記録制御部１４０は、ユーザからのトリガ（例えばシャッターボタン１３ｂの押下）に応じて、複数のオブジェクトに順にフォーカスが合わせられて撮像される複数の撮像画像を、サーバ２の記憶媒体（図６に示す撮像画像ＤＢ２４）に記録するよう制御する。

また、記録制御部１４０は、さらに距離情報取得部１５により取得された距離情報を各オブジェクトに対応づけて所定の記憶媒体に記録させてもよい。具体的には、記録制御部１４０は、認識部１１０により認識された複数の被写体Ｓ１〜Ｓ４それぞれの距離情報を、各被写体Ｓ１〜Ｓ４（または各被写体Ｓ１〜Ｓ４の座標位置）に対応付けて記録する。

また、記録制御部１４０は、複数のオブジェクトのうちの一のオブジェクトにフォーカスして撮像された画像を第１のオブジェクト階層画像とし、当該第１のオブジェクト階層画像の一部を所定量ズームして撮像した画像を第２のオブジェクト階層画像として所定の記憶媒体に記録させてもよい。ここで、図５を参照して、本実施形態によるオブジェクト階層画像について説明する。

図５左に示すように、例えば記録制御部１４０は、被写体（オブジェクト）Ｓ５にフォーカスが合わせられ、他の被写体（オブジェクト）Ｓ１〜Ｓ４がボケている状態で撮像された撮像画像Ｐ５を第１のオブジェクト階層画像として記録させる。そして、記録制御部１４０は、被写体（オブジェクト）Ｓ５を所定量拡大ズームして、図５右に示すように、木として認識されていた被写体Ｓ５の枝や葉を認識できる程度の解像度で撮像された撮像画像Ｐ６を第２のオブジェクト階層画像として記録させる。第２のオブジェクト階層画像（枝や葉がオブジェクトとしても認識され得る解像度レベル）は、第１のオブジェクト階層画像（木がオブジェクトとして認識され得る解像度レベル）の下位階層として位置付けられる。なお、通常、ズームは画角のセンターを中心に行われるところ、本実施形態によるカメラモジュール１６の撮像レンズが独立可動方式（独立して撮像方向を変更可能）である場合、被写体Ｓ５が画角のセンターに位置するよう撮像レンズの向きが制御されズーム撮影が行われる。若しくは、撮像制御部１３０の撮像レンズが複数から成る構造の場合、被写体Ｓ５が画角のセンターに位置する撮像レンズで光学的にズーム撮影が行われる。また、撮像レンズが複数から成る場合、上記第１のオブジェクト階層画像は、複数の撮像レンズにより撮像された複数の撮像画像を合成して生成される。

このように、本実施形態では、遠方の（被写体距離が長い）オブジェクトに対して予め拡大ズームを行って撮像し、記憶しておくことで、撮像画像（具体的には当該オブジェクトが抽出され合成された画像）の閲覧時にユーザが拡大表示した際、解像度が高い画像を提供することができる。ズーム量は特に限定しないが、例えばオブジェクトを階層化することができるよう、最初のオブジェクトが山であれば山に含まれる各々の木を認識できる解像度までズームし、さらに、木に含まれる葉や枝を認識できる解像度までズームしてもよい。

以上、本実施形態によるデジタルカメラ１の構成について詳細に説明した。続いて、本実施形態によるサーバ２の構成について図６を参照して説明する。

＜２−２．サーバの構成＞
図６は、本実施形態によるサーバ２の構成の一例を示すブロック図である。図６に示すように、サーバ２は、主制御部２０、通信部２２、および撮像画像ＤＢ２４を有する。

（主制御部）
主制御部２０は、サーバ２の各構成を制御する。主制御部２０は、例えばマイクロプロセッサにより実現される。また、本実施形態による主制御部２０は、図６に示すように、通信制御部２１０、記録制御部２２０、および合成部２３０として機能する。

・通信制御部
通信制御部２１０は、通信部２２による外部装置とのデータの送受信を制御する。具体的には、例えば通信制御部２１０は、合成部２３０により合成された画像を、通信部２２からデジタルカメラ１に送信するよう制御する。

・記録制御部
記録制御部２２０は、通信部２２がデジタルカメラ１から受信した撮像画像（具体的には、複数の被写体にそれぞれフォーカスが合った複数の撮像画像）を、撮像画像ＤＢ２４に記録するよう制御する。また、記録制御部２２０は、合成部２３０により合成された画像を撮像画像ＤＢ２４に記録させてもよい。この際、記録制御部２２０は、合成された画像に含まれる、フォーカスが合った複数の被写体（オブジェクト）に、各被写体の距離情報を対応付けて記録させる。

・合成部
合成部２３０は、デジタルカメラ１から送信された、複数の被写体にそれぞれフォーカスが合った複数の撮像画像に基づいて、各撮像画像からフォーカスが合っている被写体を切り出して（すなわち、フォーカスが合った各オブジェクトに対応する画素を優先して）合成し、複数の被写体全てにフォーカスが合った画像を生成する。

（撮像画像ＤＢ）
撮像画像ＤＢ（データベース）２４は、デジタルカメラ１から送信された撮影画像や、合成部２３０により合成された画像を保持する記憶媒体である。また、撮像画像ＤＢ２４は、主制御部２０が上記各機能を実行するためのプログラムが記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、主制御部２０が上記各機能を実行する際にワークエリアとして利用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。

（通信部）
通信部２２は、無線／有線接続により外部装置とデータの送受信を行う。具体的には、例えば通信部２２は、有線通信によりネットワークに接続し、ネットワークを介してデジタルカメラ１とデータの送受信を行う。

以上、本実施形態によるサーバ２の構成について詳細に説明した。続いて、本実施形態による撮影制御システムの動作処理について、図７を参照して具体的に説明する。

＜＜３．動作処理＞＞
図７は、本実施形態による撮影制御システムの動作処理を示すフローチャートである。図７に示すように、まず、ステップＳ１０３において、デジタルカメラ１は、スルー撮像を開始する。

次に、ステップＳ１０６において、デジタルカメラ１の認識部１１０は、スルー撮像された撮像画像（スルー画像）内からオブジェクトを認識する。

次いで、ステップＳ１０９において、フォーカス制御部１２０は、認識部１１０により認識された複数のオブジェクトのうち一のオブジェクトにフォーカスを合せるようカメラモジュール１６の撮像レンズを動かし、焦点距離を調整する。この際、距離情報取得部１５により取得された距離情報（カメラモジュール１６とオブジェクトとの被写体距離）が用いられる。

オブジェクトにフォーカスできた場合（ステップＳ１１２／Ｙｅｓ）、ステップＳ１１５において、撮像制御部１３０は、認識部１１０から出力された、対象のオブジェクトが動くもの（移動可能）であるか否かが示された判断結果を取得する。

オブジェクトが移動可能である場合（ステップＳ１１５／Ｙｅｓ）、撮像制御部１３０は、どのような撮影を行うかに応じたシャッター速度の設定の制御を行う。具体的には、上述したように、動く（移動する）オブジェクトの細部を撮影する場合は高速シャッターに設定し、動く（移動する）オブジェクトの軌跡を撮影する場合は低速シャッターを設定する。

一方、オブジェクトが移動不可能である場合または認識部１１０から何ら判断結果が出力されなかった（移動可能か否か不明）場合（ステップＳ１１５／Ｎｏ）、撮像制御部１３０によるシャッター速度の制御は行われない。

次に、ステップＳ１２１において、撮像制御部１３０は、カメラモジュール１６を制御して撮像を実行する。これにより、複数のオブジェクトのうち一のオブジェクトにフォーカスが合った撮像画像が取得される。また、記録制御部１４０は、当該撮像画像を、ネットワーク上のサーバ２の記憶媒体（撮像画像ＤＢ２４）に記録させるためにネットワークＩ／Ｆ１９から送信するよう制御する。なお、ここでは、一例としてデジタルカメラ１からサーバ２に当該撮像画像を送信しているが、本実施形態はこれに限定されない。例えばデジタルカメラ１側で、当該撮像画像からピントが合っている被写体領域の画像を切り出して（フォーカスが合ったオブジェクトに対応する画素を優先して）、切り出した画像をサーバ２に送信してもよい。

続いて、オブジェクトの拡大撮影を行う場合（ステップＳ１２４／Ｙｅｓ）、撮像制御部１３０は、オブジェクトの一部を拡大ズームして撮像を行う（図５参照）。この場合、記録制御部１４０は、ズーム前の撮像画像（上記Ｓ１２１で撮像された撮像画像）を第１のオブジェクト階層画像とし、ズーム後の当該撮像画像を第２のオブジェクト階層画像として記録するよう制御する。

次いで、ステップＳ１３０において、記録制御部１４０は、認識部１１０により認識された各オブジェクトの距離情報（被写体距離）を各オブジェクトに対応付けて記録するよう制御する。各オブジェクトの距離情報は、距離情報取得部１５により取得される。また、記録制御部１４０による各オブジェクトの距離情報の記録制御は、後述するステップＳ１３３において全てのオブジェクトの撮影が終了した後に行われてもよい。

次に、ステップＳ１３３において、認識部１１０により認識された複数のオブジェクト全てに対してフォーカス撮影が終了したと判断されるまで、上記ステップＳ１０９〜Ｓ１３０が繰り返される。具体的には、複数のオブジェクト全てに対してフォーカス撮影が終了していない場合（Ｓ１３３／Ｎｏ）、ステップＳ１０９において、フォーカス制御部１２０は、次のオブジェクトにフォーカスを合せるよう制御する。このように、デジタルカメラ１は、認識部１１０で認識された複数のオブジェクトそれぞれにフォーカスが合った複数の撮像画像を取得し、サーバ２に送信することができる。

そして、ステップＳ１３６において、サーバ２の合成部２３０は、デジタルカメラ１から送信された複数の撮像画像に基づいて、複数のオブジェクトにフォーカスが合った画像を合成する。具体的には、例えば合成部２３０は、複数の撮像画像から、それぞれピントが合っている被写体領域の画像を切り出して（フォーカスが合ったオブジェクトに対応する画素を優先して）、切り出した複数の画像を合成して、複数のオブジェクトにフォーカスが合った画像を生成する。これにより、本実施形態による撮像制御システムは、複数のオブジェクト全てにフォーカスが合った画像をユーザに提供することができる。

なお以上説明した処理は、ユーザによる一回の操作（シャッターボタン１３ｂの一回の押下等）をトリガとして行われてもよい。具体的には、例えばデジタルカメラ１は、上記Ｓ１０３に示すスルー撮像後、ユーザによるシャッターボタン１３ｂの押下操作をトリガとして、上記Ｓ１０６以降の処理を開始する。

＜＜４．他の実施形態＞＞
＜４−１．他のフォーカス制御例＞
上述した実施形態では、認識部１１０により認識された複数のオブジェクトに順にフォーカスが合うよう制御されているが、本開示によるフォーカス制御はこれに限定されない。以下、図８〜図９を参照して本開示による他のフォーカス制御について具体的に説明する。なお本実施形態による撮影制御システムは、デジタルカメラ１（制御装置）およびサーバ２から構成され、上述した実施形態と比較して、デジタルカメラ１が有するＣＰＵ１０の機能構成のみが異なる。

（機能構成）
図８は、本開示の他のフォーカス制御を実現する場合のデジタルカメラ１が有するＣＰＵ１０−２の機能構成を示すブロック図である。図８に示すように、ＣＰＵ１０−２は、フォーカス制御１２１、撮像制御部１３０、および記録制御部１４０として機能する。

フォーカス制御１２１は、遠方から近傍、または近傍から遠方にフォーカス位置を移行（焦点距離を調整）させることで、スルー画像内の複数の被写体に順にフォーカスを合わせる。例えば、図１に示すようなスルー画像Ｐが取得されている場合に、フォーカス制御１２１が遠方から近傍にフォーカス位置を移行させることで、被写体Ｓ４、Ｓ３、Ｓ２、Ｓ１の順にフォーカスを合せることができる。

撮像制御部１３０は、フォーカス制御部１２１により被写体にフォーカスが合わせられたタイミングで撮像するよう制御する。

また、記録制御部１４０は、フォーカス制御部１２１により被写体にフォーカスが合わせられた際に撮像制御部１３０により撮像された撮像画像を、所定の記憶媒体（具体的にはサーバ２の撮像画像ＤＢ２４）に記録するよう制御する。

以上説明したように、フォーカス制御部１２１が、遠方から近傍、または近傍から遠方にフォーカス位置を移行させることで、スルー画像内の複数の被写体に順にフォーカスを合わせ、複数の被写体にそれぞれフォーカスが合った際に撮像された複数の撮像画像が取得される。

（動作処理）
次に、本実施形態の動作処理について図９を参照して説明する。図９は、本開示の他のフォーカス制御の動作処理を示すフローチャートである。図９に示すように、まず、ステップＳ２０３において、デジタルカメラ１は、スルー撮像を開始する。ユーザは、スルー撮像された画像を確認しながらデジタルカメラ１を動かし、フレーミングを調整する。

次に、ステップＳ２０６において、フォーカス制御部１２１は、フォーカス位置を無限大に制御する。

次いで、ステップＳ２０９において、フォーカス制御部１２１は、無限大に制御した状態でピントが合っている部分（被写体）があるか否かを判断する。

次に、ピントが合っている部分がない場合（ステップＳ２０９／Ｎｏ）、ステップＳ２１２において、フォーカス制御部１２１は、フォーカス位置（焦点距離）が最短（カメラモジュール１６に近い）か否かを判断する。ここでは、フォーカス位置が無限大に制御されているので、最短ではないと判断される。

そして、フォーカス位置が最短ではないと判断された場合（ステップＳ２１２／Ｎｏ）、ステップＳ２１５において、フォーカス制御部１２１は、フォーカス位置を被写界深度の半分の距離だけ移動させる。例えば、フォーカス位置（焦点距離）が５０ｍで、被写界深度が３０ｍ〜８０ｍの場合、フォーカス制御部１２１は、フォーカス位置を近づける場合、３０ｍ〜５０ｍの半分の位置である４０ｍにフォーカス位置を移動させる。また、フォーカス制御部１２１は、フォーカス位置を遠ざける場合、５０ｍ〜８０ｍの半分の位置である６５ｍにフォーカス位置を移動させる。なお、ここでは一例としてフォーカス位置を被写界深度の半分の距離だけ移動させているが、本実施形態によるフォーカスの移動距離はこれに限定されず、例えば被写界深度の４分の１の距離だけ移動させてもよいし、被写界深度に関わらず予め設定された一定の距離だけ移動させてもよい。

次いで、上記Ｓ２０９でピントが合っている部分があると判断された場合（ステップＳ２０９／Ｙｅｓ）、ステップＳ２１８において、撮像制御部１３０は、被写体（オブジェクト）を最適条件で撮影するか否かを判断する。被写体を最適条件で撮影するか否かは、例えば撮像パラメータの設定がオートになっているか否かに応じて判断されてもよい。具体的には、撮像制御部１３０は、撮像パラメータの設定がオートになっている場合は被写体を最適条件で撮影すると判断し、撮像パラメータの設定がマニュアルになっている場合は最適条件設定を行わないと判断する。

被写体を最適条件で撮影する場合（Ｓ２１８／Ｙｅｓ）、ステップＳ２２１において、撮像制御部１３０は、ピントが合っている被写体について、シャッター速度、絞り、ズーム等の撮像パラメータを最適な条件に設定する。

一方、最適条件設定を行わない場合（Ｓ２１８／Ｎｏ）、撮像制御部１３０による撮像パラメータの設定制御は行われない。

次に、ステップＳ２２４において、撮像制御部１３０は、カメラモジュール１６を制御して撮像を実行する。これにより、複数の被写体のうち一の被写体にピントが合った撮像画像が取得される。

次いで、ステップＳ２２７において、記録制御部１４０は、当該撮像画像からピントが合っている被写体領域の画像を切り出して（フォーカスが合ったオブジェクトに対応する画素を優先して）、サーバ２の記憶媒体に記録させるためにネットワークＩ／Ｆ１９から送信するよう制御する。なお、ここでは、一例としてデジタルカメラ１側で当該撮像画像からピントが合っている被写体領域の画像を切り出しているが、本実施形態はこれに限定されない。例えばデジタルカメラ１からサーバ２に当該撮像画像を送信し、サーバ２側で、当該撮像画像からピントが合っている被写体領域の画像を切り出して（フォーカスが合ったオブジェクトに対応する画素を優先して）もよい。

次に、ステップＳ２３０において、記録制御部１４０は、撮影条件や、ピントが合っている被写体との距離を示す距離情報等を、上記撮像画像内の被写体座標位置または切り出した被写体領域の画像に対応付けてサーバ２に記録させるよう制御する。

次いで、ステップＳ２１２において、フォーカス位置が最短であると判断されるまで、上記ステップＳ２１５、Ｓ２０９、Ｓ２１８〜Ｓ２３０が繰り返される。具体的には、フォーカス位置が最短であると判断されない場合（Ｓ２１２／Ｎｏ）、ステップＳ２１５において、フォーカス制御部１２０は、さらにフォーカス位置を移動させる。このように、本実施形態によれば、フォーカス位置が徐々に移動されてピントが合った被写体を順次撮影することができる。

そして、ステップＳ２３３において、サーバ２の合成部２３０は、デジタルカメラ１から送信された複数の撮像画像に基づいて、複数のオブジェクトにフォーカスが合った画像を合成する。これにより、本実施形態による撮像制御システムは、複数のオブジェクト全てにフォーカスが合った画像をユーザに提供することができる。

以上、本開示による他のフォーカス制御について具体的に説明した。

＜４−２．デジタルカメラ単体の構成＞
上述した各実施形態による撮影制御システムは、いずれもデジタルカメラ１（制御装置）とサーバ２から成るが、本実施形態による撮影制御システムの主要な機能は、デジタルカメラ１単体で実行することも可能である。以下、このようなデジタルカメラ１単体で本開示による撮影制御システムを実現する場合について図１０を参照して説明する。なお本実施形態によるデジタルカメラ１（制御装置）の構成は、上述した実施形態と比較して、デジタルカメラ１が有するＣＰＵ１０の機能構成のみが異なる。また、本実施形態によるデジタルカメラ１は、サーバ２に撮像画像を送信する必要がないので、ネットワークＩ／Ｆ１９を有していなくともよい。

図１０は、デジタルカメラ１単体で撮影制御システムを実現する場合のデジタルカメラ１が有するＣＰＵ１０−３の機能構成を示すブロック図である。図１０に示すように、ＣＰＵ１０−３は、認識部１１０、フォーカス制御部１２０、撮像制御部１３０、記録制御部１４０、および合成部１５０として機能する。

認識部１１０、フォーカス制御部１２０、および撮像制御部１３０は、図３を参照して説明した同構成と同様であるので、ここでの説明は省略する。

記録制御部１４０は、フォーカス制御部１２０により複数の被写体に順にフォーカスが合わせられて撮像制御部１３０によりそれぞれ撮像された複数の撮像画像を、デジタルカメラ１内蔵の記憶媒体（具体的には、撮像画像メモリ１７）に記録するよう制御する。また、記録制御部１４０は、次に説明する合成部１５０により合成された画像を撮像画像メモリ１７に記録させるよう制御してもよい。この際、記録制御部１４０は、合成された画像に含まれる、フォーカスが合った複数の被写体（オブジェクト）に、各被写体の距離情報を対応付けて記録させる。

合成部１５０は、記録制御部１４０により記録された、複数の被写体にそれぞれフォーカスが合った複数の撮像画像に基づいて、各撮像画像からフォーカスが合っている被写体を切り出して（フォーカスが合った各オブジェクトに対応する画素を優先して）合成し、複数の被写体全てにフォーカスが合った画像を生成する。

このように、サーバ２で行っていた合成処理を、デジタルカメラ１で行うことで、サーバ２と通信できない場合でも、複数の被写体全てにフォーカスが合った画像をユーザに提供することができる。

＜＜５．まとめ＞＞
上述したように、本実施形態による撮影制御システムは、複数の被写体（オブジェクト）にフォーカスが合った、ピンボケの少ない明瞭な画像を提供することができる。具体的には、ユーザによるトリガ（シャッターボタン１３ｂの一回の押下等）に応じて、スルー画像内の複数の被写体に順にフォーカスを合せて自動で撮像を行い、撮像された複数の撮像画像に基づいて、複数の被写体（オブジェクト）にフォーカスが合った画像が生成される。

また、本実施形態による撮影制御システムでは、複数の被写体それぞれの距離情報（被写体距離情報）を、合成された画像に含まれる各被写体に対応付けて記録させることができる。

通常、１の被写体のみにフォーカスして撮影されるので、撮像画像には１の距離情報が付加されるが、本実施形態では、画像内の複数の被写体それぞれに距離情報（被写体距離の情報）が対応付けられるので、後に各オブジェクトの前後関係に基づく階層化や他のオブジェクトとの合成が行われる際に有用である。例えば、本実施形態により生成された合成画像に、他のシーンで撮像されたオブジェクトをさらに合成する場合、合成する当該オブジェクトに対応付けられた距離情報と合成画像内の各オブジェクトの距離情報とを参照して画像合成時のレイヤーの上下関係が決定される。例えば、合成する当該オブジェクトの距離情報が、図１に示す被写体Ｓ１とＳ２の間の位置を示す場合、被写体Ｓ１のレイヤーの下、かつ被写体Ｓ２のレイヤーの上に、当該オブジェクトのレイヤーが合成される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、デジタルカメラ１またはサーバ２に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したデジタルカメラ１またはサーバ２の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書のデジタルカメラ１またはサーバ２の処理における各ステップは、必ずしも添付した各シーケンス図、フローチャートにおいて開示された順序に沿って時系列に処理する必要はない。例えば、デジタルカメラ１またはサーバ２の処理における各ステップは、シーケンス図またはフローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
撮像された画像内の複数の被写体に順にフォーカスを合わせるよう制御するフォーカス制御部と、
ユーザからのトリガに応じて、前記フォーカス制御部が前記複数の被写体に順にフォーカスを合わせて撮像した画像を記憶媒体に記録するように制御する記録制御部と、
を備える、制御装置。
（２）
前記制御装置は、撮像された画像内から前記複数の被写体としてオブジェクトを認識する認識部をさらに備える、前記（１）に記載の制御装置。
（３）
前記制御装置は、前記認識部により認識された各オブジェクトと前記画像を撮像した撮像部との距離を取得する取得部をさらに備え、
前記記録制御部は、前記取得部により取得された距離情報を前記各オブジェクトに対応づけて前記記憶媒体に記録する、前記（２）に記載の制御装置。
（４）
前記認識部は、前記オブジェクトが動くものであるか否かを判断し、
前記制御装置は、動くものであるか否かを示す判断結果に応じて、前記オブジェクトにフォーカスを合せて撮像する際のシャッタースピードの設定を制御する撮像制御部をさらに備える、前記（２）または（３）に記載の制御装置。
（５）
前記記録制御部は、前記複数のオブジェクトのうちの一のオブジェクトにフォーカスして撮像された画像を第１のオブジェクト階層画像とし、前記第１のオブジェクト階層画像の一部を所定量ズームして撮像した画像を第２のオブジェクト階層画像として前記記憶媒体に記録する、前記（１）〜（４）のいずれか１項に記載の制御装置。
（６）
前記フォーカス制御部は、遠方から近傍、または近傍から遠方にフォーカス位置を移行させ、
前記記録制御部は、前記フォーカス制御部により前記複数の被写体にそれぞれフォーカスが合った際に撮像された画像を前記記憶媒体に記録するよう制御する、前記（１）に記載の制御装置。
（７）
前記制御装置は、前記記録制御部により記録された複数の画像に基づいて、フォーカスが合った各オブジェクトに対応する画素を優先するよう合成する合成部をさらに備える、前記（１）〜（６）のいずれか１項に記載の制御装置。
（８）
コンピュータを、
撮像された画像内の複数の被写体に順にフォーカスを合わせるよう制御するフォーカス制御部と、
ユーザからのトリガに応じて、前記フォーカス制御部が前記複数の被写体に順にフォーカスを合わせて撮像した画像を記憶媒体に記録するように制御する記録制御部と、
として実行させるためのプログラムが記憶された、記憶媒体。

１ デジタルカメラ
１０、１０−１〜１０−３ ＣＰＵ
１１０ 認識部
１２０、１２１ フォーカス制御部
１３０ 撮像制御部
１４０ 記録制御部
１５０ 合成部
１１ ＲＯＭ
１２ ＲＡＭ
１３ 操作入力部
１３ａ タッチセンサ
１３ｂ シャッターボタン
１３ｃ ズームレバー
１３ｄ 各種操作ボタン
１５ 距離情報取得部
１６ カメラモジュール
１７ 撮像画像メモリ
１８ 表示部
１９ ネットワークＩ／Ｆ
２ サーバ
２０ 主制御部
２１０ 通信制御部
２２０ 記録制御部
２３０ 合成部
２２ 通信部
２４ 撮像画像ＤＢ
Ｐ スルー画像
Ｐ１〜Ｐ６ 撮像画像
Ｓ１〜Ｓ５ 被写体（オブジェクト）

Claims (8)

1. 撮像された画像内の複数の被写体に順にフォーカスを合わせるよう制御するフォーカス制御部と、
   ユーザからのトリガに応じて、前記フォーカス制御部が前記複数の被写体に順にフォーカスを合わせて撮像した画像を記憶媒体に記録するように制御する記録制御部と、
   を備える、制御装置。
2. 前記制御装置は、撮像された画像内から前記複数の被写体としてオブジェクトを認識する認識部をさらに備える、請求項１に記載の制御装置。
3. 前記制御装置は、前記認識部により認識された各オブジェクトと前記画像を撮像した撮像部との距離を取得する取得部をさらに備え、
   前記記録制御部は、前記取得部により取得された距離情報を前記各オブジェクトに対応づけて前記記憶媒体に記録する、請求項２に記載の制御装置。
4. 前記認識部は、前記オブジェクトが動くものであるか否かを判断し、
   前記制御装置は、動くものであるか否かを示す判断結果に応じて、前記オブジェクトにフォーカスを合せて撮像する際のシャッタースピードの設定を制御する撮像制御部をさらに備える、請求項２に記載の制御装置。
5. 前記記録制御部は、前記複数のオブジェクトのうちの一のオブジェクトにフォーカスして撮像された画像を第１のオブジェクト階層画像とし、前記第１のオブジェクト階層画像の一部を所定量ズームして撮像した画像を第２のオブジェクト階層画像として前記記憶媒体に記録する、請求項１に記載の制御装置。
6. 前記フォーカス制御部は、遠方から近傍、または近傍から遠方にフォーカス位置を移行させ、
   前記記録制御部は、前記フォーカス制御部により前記複数の被写体にそれぞれフォーカスが合った際に撮像された画像を前記記憶媒体に記録するよう制御する、請求項１に記載の制御装置。
7. 前記制御装置は、前記記録制御部により記録された複数の画像に基づいて、フォーカスが合った各オブジェクトに対応する画素を優先するよう合成する合成部をさらに備える、請求項１に記載の制御装置。
8. コンピュータを、
   撮像された画像内の複数の被写体に順にフォーカスを合わせるよう制御するフォーカス制御部と、
   ユーザからのトリガに応じて、前記フォーカス制御部が前記複数の被写体に順にフォーカスを合わせて撮像した画像を記憶媒体に記録するように制御する記録制御部と、
   として実行させるためのプログラムが記憶された、記憶媒体。
   
   

Images