JP2020008785A

JP2020008785A - 撮像装置

Info

Publication number: JP2020008785A
Application number: JP2018131693A
Authority: JP
Inventors: 基範小倉; Motonori Ogura
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-07-11
Filing date: 2018-07-11
Publication date: 2020-01-16
Anticipated expiration: 2038-07-11
Also published as: US20200021745A1; US10917556B2; JP7002050B2

Abstract

【課題】オートフォーカス機能の追従性を向上した撮像装置を提供する。【解決手段】撮像装置は、フォーカスレンズを含む光学系を介して形成された被写体の像を撮像し、画像データを生成する撮像部と、撮像部で生成された画像データを用いて、被写体までの距離である被写体距離及び被写体の移動距離を算出する測距部と、算出した被写体距離または被写体の移動距離を用いてオートフォーカス動作を行う制御部と、を備える。測距部は、被写体が第１の位置にあるときに撮像部によって生成された第１の画像データと、第１の画像データを生成した時と前記フォーカスレンズが同じ位置にあって、かつ被写体が第２の位置にあるときに撮像部によって生成された第２の画像データと、被写体が第１の位置にあるときの合焦位置に対応した光学系の点拡がり関数(ＰＳＦ)を用いて、第１の位置と第２の位置の間の距離を求め、その求めた距離に基づき第２の画像データが示す画像について被写体距離及び被写体の移動距離を算出する。【選択図】図４

Description

本開示は、オートフォーカス（ＡＦ）機能を備えた撮像装置に関する。

特許文献１は、ＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）方式のシステムを採用した撮像装置を開示している。この撮像装置は、複数種類のボケが得られるようにフォーカス制御を実施し、撮像素子によりボケの大きさが異なる複数の画像を取得する。次に、撮像装置は、ボケの大きさが異なる複数の画像に基づいて、被写体距離を算出する。そして、撮像装置は、算出した被写体距離に基づいて、レンズ制御を実施する。

特開２０１１−１５１６３号公報

本開示は、オートフォーカス機能の追従性を向上した撮像装置を提供する。

本開示の第一の態様の撮像装置は、フォーカスレンズを含む光学系を介して形成された被写体の像を撮像し、画像データを生成する画像センサと、画像センサで生成された画像データを用いて、被写体までの距離である被写体距離及び被写体の移動距離を算出する測距部と、算出した被写体距離または被写体の移動距離を用いてオートフォーカス動作を行う制御部と、を備える。測距部は、被写体が第１の位置にあるときに画像センサによって生成された第１の画像データと、被写体が第２の位置にあるときに画像センサによって生成された第２の画像データと、被写体が第１の位置にあるときの合焦位置に対応した光学系の点拡がり関数を用いて、第１の位置と第２の位置の間の距離を求め、その求めた距離に基づき第２の画像データが示す画像について被写体距離及び被写体の移動距離を算出する。

本開示の第二の態様の撮像装置は、フォーカスレンズを含む光学系を介して形成された被写体の像を撮像し、画像データを生成する画像センサと、画像センサで静止された画像データを用いて、被写体までの距離である被写体距離及び被写体の移動距離を算出する測距部と、算出した被写体距離または被写体の移動距離を用いてオートフォーカス動作を行う制御部と、を備える。測距部は、被写体が第１の位置にあるときに画像センサによって生成された第１の画像データと、被写体が第２の位置にあるときに画像センサによって生成された第２の画像データと、被写体が第１の位置にあるときの合焦位置に対応した光学系の光伝達関数を用いて、第１の位置と第２の位置の間の距離を求め、その求めた距離に基づき第２の画像データが示す画像について被写体距離及び被写体の移動距離を算出する。

本開示の撮像装置によれば、フォーカスを移動させずに、被写体の移動に起因して生じる画像のボケ状態に基づき被写体までの距離を測定できる。このため、被写体までの距離を高速に測定でき、動きのある被写体に対して追従性を高めたオートフォーカス機能を実現できる。

実施の形態１におけるデジタルカメラの概略構成を示すブロック図被写体の移動を利用したＤＦＤ演算による測距の原理を説明した図実施の形態１における画像処理部の概略構成を示すブロック図実施の形態１におけるデジタルカメラの被写体の移動距離の算出方法を説明するための図実施の形態１におけるデジタルカメラのＤＦＤ演算を説明するための図実施の形態１における点拡がり関数を説明するための図実施の形態１におけるＤＦＤ演算によるＤｅｐｔｈマップの作成動作を示すフローチャート実施の形態１におけるデジタルカメラの動画記録時のオートフォーカス動作を示すフローチャート実施の形態１におけるデジタルカメラの静止画記録時のオートフォーカス動作を示すフローチャート実施の形態２における、点拡がり関数（ＰＳＦ）に代えて光伝達関数（ＯＴＦ）を用いたＤＦＤ演算を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらによって特許請求の範囲に記載の主題を限定することは意図されていない。

以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。

（実施の形態１）
以下、本開示の実施の形態における撮像装置の構成および動作について説明する。

〔１．構成〕
図１は実施の形態における撮像装置であるデジタルカメラ１００の電気的構成を示すブロック図である。デジタルカメラ１００は、１つ以上のレンズからなる光学系１１０を備える。光学系１１０は被写体からの光により被写体像を画像センサであるＣＭＯＳイメージセンサ１４０上に形成する。形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０は撮像した被写体像に基づいて画像データを生成する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、ＡＤＣ１５０でデジタル信号に変換された後、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。

実施の形態における光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸１１０Ａに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸に沿って移動させることによりフォーカスを調整することができる。また、手振れ補正レンズ１１２は、光学系１１０の光軸に垂直な面内で移動可能である。デジタルカメラ１００のブレを打ち消す方向に手振れ補正レンズ１１２を移動させることで、デジタルカメラ１００のブレが撮像画像に与える影響を低減できる。また、絞り１１４は光軸上に位置する開口を有し、使用者の手動設定に応じてまたは自動で開口の大きさを調整し、絞り１１４を透過する光の量を調整する。

レンズ駆動部１２０は、ズームレンズ１１１を駆動するズームアクチュエータや、手振れ補正レンズ１１２を駆動する手振れ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。レンズ駆動部１２０は、コントローラ１８０からの制御にしたがい、ズームアクチュエータ、フォーカスアクチュエータ、および手振れ補正アクチュエータそれぞれを制御する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０を介して形成された被写体像を撮像してアナログ信号であるアナログ画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル信号であるデジタル画像データに変換する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成され、デジタル信号に変換された画像データに対して各種の信号処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの信号処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は半導体素子などで実現できる。画像処理部１６０の機能は、ハードウェアとソフトウェア（アプリケーションプログラム）の協働により実現しても、所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。すなわち、画像処理部１６０は、ＣＰＵ、ＭＰＵのみならず、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、マイコン等で構成することができる。

コントローラ１８０は、デジタルカメラ１００全体を制御する。コントローラ１８０は半導体素子などで実現できる。コントローラ１８０の機能は、ハードウェアとソフトウェア（アプリケーションプログラム）の協働により実現しても、所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。すなわち、コントローラ１８０は、ＣＰＵ、ＭＰＵのみならず、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、マイコン等で構成することができる。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０はメモリカード２００を着脱可能に保持する。カードスロット１９０は機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納できる。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラム等を記憶する。また、内部メモリ２４０は、ＤＦＤ演算に必要な点拡がり関数（ＰＳＦ：Point Spread Function）を格納する。点拡がり関数（ＰＳＦ）の詳細は後述する。

操作部材２１０は使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者が合焦指示を行うレリーズボタン、録画ボタン、使用者からの操作を受け付ける十字キー、決定釦、または／およびタッチパネル等を含む。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像、および、メモリカード２００から読み出された画像データが示す画像を表示する画面を有する。表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も画面に表示できる。表示モニタ２２０の画面上にはタッチパネルが配置されている。タッチパネルは使用者によりタッチされて各種タッチ操作を受け付けることができる操作部材の１つである。タッチパネルに対するタッチ操作が示す指示はコントローラ１８０に通知され各種処理が行われる。

角速度センサ２５０は、手振れ等に起因してデジタルカメラ１００に発生した角速度を検出する。角速度センサ２５０は例えば、ジャイロセンサである。角速度センサ２５０が検出した角速度はコントローラ１８０に通知される。コントローラ１８０は、角速度センサ２５０から通知された角速度により、デジタルカメラ１００に発生した角速度に基づく画像のブレを解消するよう手振れ補正レンズ１１２を駆動させることができる。

〔２．動作〕
デジタルカメラ１００は、ＤＦＤ演算の結果を用いてオートフォーカス動作を行う。特に、デジタルカメラ１００は、フォーカスレンズ１１３は移動させずに、被写体の移動による画像のボケ状態に基づき移動後の被写体の被写体距離を算出し、オートフォーカス動作を行う。

厳密には、被写体距離は光学系１１０の主点から被写体までの距離であるが、説明を容易にするため、光学系１１０における焦点距離、およびＦ値を固定とし、光学系１１０の主点の変化は、フォーカスレンズ１１３の位置Ｌの変化に寄るものとして、以下、図２を参照し、被写体の移動に伴う画像のボケ状態の変化に基づき被写体距離を算出する原理について説明する。

図２は、被写体の移動を利用したＤＦＤ演算による測距の原理を説明した図である。図２において、フォーカスレンズ１１３が位置Ｌにある状態で、被写体Ｏｂが位置Ｐ１にある場合と、被写体Ｏｂが位置Ｐ１からΔｄだけ離れた位置Ｐ２にある場合とで、ＣＭＯＳイメージセンサ１４０で生成される画像のボケ状態とに差が生じる。本実施の形態では、ＤＦＤ演算を行って、このボケ状態の差に基づき位置Ｐ１と位置Ｐ２間の距離Δｄを求める。被写体Ｏｂが位置Ｐ１のときの被写体距離Ｄ１及び被写体Ｏｂが位置Ｐ２のときの被写体距離Ｄ２のいずれかが既知である場合、既知の被写体距離と距離Δｄから、未知の被写体距離を求めることができる。

図３は実施の形態１におけるデジタルカメラ１００のＤＦＤ演算の結果を用いたフォーカスレンズ制御の概要を説明するための図である。

画像処理部１６０はＤＦＤ演算回路１６１を含んでいる。ＤＦＤ演算回路１６１は、ＤＦＤ演算を実施してＤｅｐｔｈマップ５０を作成する。Ｄｅｐｔｈマップ５０は、画素毎に、画素が示す被写体の移動距離を示す情報を含む画像である。ＤＦＤ演算回路１６１は、被写体の移動により作り出されたボケ量の異なる２枚の画像である観測画像Ａ及び参照画像Ｂと、点拡がり関数とから、各画素について、参照画像Ｂの被写体の位置から観測画像Ａの被写体の位置の間の距離（被写体の移動距離）を求める。これによりＤｅｐｔｈマップ５０が作成される。

次に、ＤＦＤ演算回路１６１は、作成したＤｅｐｔｈマップ５０をコントローラ１８０に通知する。コントローラ１８０は、通知されたＤｅｐｔｈマップ５０に基づいて、観測画像Ａについて被写体距離を算出し、算出した被写体距離に基づき、フォーカスレンズ１１３を合焦位置に移動させるようにレンズ駆動部１２０を制御する。

〔２−１．ＤＦＤ演算結果を用いた被写体移動距離の算出〕
以下、図３に示したＤＦＤ演算回路１６１によるＤＦＤ演算と、コントローラ１８０による被写体の移動距離の算出処理について詳細に説明する。

最初に、ＤＦＤ演算回路１６１によるＤＦＤ演算について説明する。

図４は、実施の形態におけるデジタルカメラ１００のＤＦＤ演算におけるフォーカスレンズ１１３の移動を説明するためのイメージ図である。本ＤＦＤ演算において、被写体の移動により生成された、ボケ量の異なる２枚の画像を使用する。具体的には、図４に示すように、コントローラ１８０は、時刻ｔ１において、フォーカスレンズ１１３が位置Ｌ１にあるときにCMOSイメージセンサ１４０で位置Ｐ１にある被写体を撮像し、撮像画像を生成する。この撮像画像を参照画像Ｂとする。その後、時刻ｔ２において被写体が位置Ｐ２へ移動したとする。時刻ｔ２で、ＣＭＯＳイメージセンサ１４０は、同じレンズ位置Ｌ１で移動後の被写体を撮像して撮像画像を生成する。この撮像画像を観測画像Aとする。参照画像Bと観測画像Ａとは、撮像されたときのフォーカスレンズ１１３の位置は同じであるが、被写体の位置が異なるので、同一被写体を撮像した画像ではあるが互いにボケ量が異なる。

図５は、本実施の形態におけるデジタルカメラ１００のＤＦＤ演算による被写体の移動距離の算出方法を説明するための図である。

ＤＦＤ演算回路１６１は、観測画像Ａを構成する各観測画素PＡと、参照画像Ｂを構成する各参照画素PＢとに対してＤＦＤ演算を行い、各観測画素PＡについて被写体の移動距離を算出し、Ｄｅｐｔｈマップ５０を作成する。ＤＦＤ演算回路１６１は、観測画素ＰＡに複数の点拡がり関数を畳み込んで得られた結果である複数の観測画素ＣＡを、観測画素ＣＡと画像上の座標と同じ座標にある参照画素ＰＢと照合する。

ここで、点拡がり関数について説明する。点拡がり関数とは、光学系の点光源に対する応答を示す関数であり、ボケ量の変化を示す。点拡がり関数を、点光源の集合に対応する画像に畳み込む（Ｃｏｎｖｏｌｕｔｉｏｎ）ことで、人為的にボケ画像を生成することができる。点拡がり関数は光学系ごとに異なる関数であり、例えば、交換レンズごとに異なる。さらに、同じ交換レンズにおいても、焦点距離、Ｆ値、フォーカス位置などによっても異なる。内部メモリ２４０は、複数の点拡がり関数を予め記憶している。

図６は、本実施の形態で使用する点拡がり関数（ＰＳＦ）を説明するための図である。本実施の形態の点拡がり関数ＰＳＦは、図６に示すように、被写体距離Ｄにある被写体Ｏｂにフォーカスレンズ位置Ｌで合焦している状態において、被写体Ｏｂから移動距離Δｄだけ離れた位置にある被写体Ｏｂのボケ量を与えるように定義される。ここで、点拡がり関数ＰＳＦは、複数のレンズ位置Ｌと被写体距離Ｄの組み合わせに対して設定される。さらに、レンズ位置Ｌと被写体距離Ｄの各組み合わせに対して、16個の移動距離Δｄ１〜Δｄ１６に対する１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６が設定される。移動距離Δｄ１〜Δｄ１６は、・・・、−３０，−２０、−１０、＋１０、＋２０，＋３０，・・・のように正負の値を含むように設定される。このように正負の値を設定することにより、被写体Ｏｂの光軸上の移動方向がわかる。以上のように点拡がり関数ＰＳＦは、レンズ位置Ｌ、被写体距離Ｄ及び移動距離Δｄに基づき複数設定される。

コントローラ１８０は、内部メモリ２４０から、レンズ位置Ｌと被写体距離Ｄの組み合わせに基づき、点拡がり関数ＰＳＦ１〜ＰＳＦ１６を読み出し、読み出した点拡がり関数ＰＳＦ１〜ＰＳＦ１６をＤＦＤ演算回路１６１に通知する。

図７は、画像処理部１６０におけるＤＦＤ演算回路１６１よるＤｅｐｔｈマップ５０の作成処理を示すフローチャートである。以下、図４〜図７を参照し、ＤＦＤ演算回路１６１によるＤｅｐｔｈマップ５０の作成動作を説明する。

ＤＦＤ演算回路１６１は、各観測画素ＰＡに対して１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６を各観測画素ＰＡに畳み込むことで、各観測画素ＰＡでの被写体の移動距離に対応した１６個の観測画素ＣＡ１〜ＣＡ１６を生成する（Ｓ１）。このため、ＤＦＤ演算回路１６１は、参照画像Ｂの被写体距離Ｄ１とフォーカスレンズ位置Ｌ１に基づき内部メモリ２４０から、移動距離Δｄが異なる１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６を読み出し、読み出した点拡がり関数ＰＳＦ１〜ＰＳＦ１６を用いて観測画素ＰＡに対して畳み込みを行う。

１６個の観測画素ＣＡ１〜ＣＡ１６のそれぞれは、畳み込み演算に使用された点拡がり関数がそれぞれ異なるので、それぞれ異なるボケ画像を形成する。畳み込み演算後の観測画素ＣＡ１〜ＣＡ１６のそれぞれは、被写体が、観測画素ＰＡが撮影された位置から光軸方向に各移動距離Δｄ１〜Δｄ１６だけ移動したときに観測される各画素ＰＡのボケた状態を示す。

続いて、ＤＦＤ演算回路１６１は、各観測画素ＰＡについて、観測画素ＣＡ１〜ＣＡ１６のそれぞれを参照画素ＰＢと比較し、それらの類似度を計算する（Ｓ２）。ＤＦＤ演算回路１６１は、観測画素ＣＡ１〜ＣＡ１６のうち参照画素ＰＢとの類似度が最大となる観測画素ＣＡｍｉｎを特定する（Ｓ３）。そして、ＤＦＤ演算回路１６１は、特定した観測画素ＣＡｍｉｎに畳み込まれている点拡がり関数ＰＳＦに対応する移動距離Δｄｍｉｎを観測画素ＰＡの移動距離として決定する（Ｓ４）。このようにして決定された移動距離は、参照画像Ｂが撮像されたときの参照画素ＰＢにある被写体の位置Ｐ１から、観測画像Ａが撮像されたときの観測画素ＰＡにある被写体の位置Ｐ２までの被写体の移動距離となる。

例えば、観測画素ＣＡ３と参照画素ＰＢとの類似度が、観測画素ＣＡ１〜ＣＡ１６のそれぞれと参照画素ＰＢとの類似度の中で最大となる場合、ＤＦＤ演算回路１６１は、観測画素ＣＡ３を生成する際に観測画素ＰＡに畳み込んだ点拡がり関数ＰＳＦ３に対応する移動距離Δｄ３を観測画素ＰＡの被写体移動距離として決定する。そして、ＤＦＤ演算回路１６１は、その被写体移動距離を示す距離情報を出力する。

以上の動作を観測画像Ａの各画素について実施した結果を用いて、ＤＦＤ演算回路１６１は観測画像Ａの各画素ＰＡについての被写体移動距離の分布であるＤｅｐｔｈマップ５０を生成する（Ｓ５）。本実施の形態では、被写体の移動距離に対応した１６個の点拡がり関数を用いたので、Ｄｅｐｔｈマップ５０における被写体の移動距離は１６階調で表される。このようにして生成されたＤｅｐｔｈマップ５０の各画素は、前回の合焦時の被写体の位置からの被写体の移動距離を示す。

〔２−２．オートフォーカス動作〕
図８は、デジタルカメラ１００の動画記録時のオートフォーカス動作を示すフローチャートである。図８を参照し、デジタルカメラ１００の動画記録時のオートフォーカス動作を説明する。図８のフローチャートの処理は、ユーザから録画開始指示を検出したときに開始する。ユーザから録画開始指示は、例えば、録画ボタンの押下操作により与えられる。

録画開始指示の後、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０で撮像された画像の画像データを取得する（Ｓ１１）。そして、コントローラ１８０は、画像データに基づきフォーカスレンズの合焦位置を求め（Ｓ１２）、フォーカスレンズ１１３をその合焦位置に移動させる合焦動作を行う（Ｓ１３）。ここでの合焦位置を求める方法としては、ＤＦＤ方式を用いてもよいし、コントラストＡＦ方式を用いてもよい。また、後のＤＦＤ演算のために、合焦時の被写体距離及び合焦時に撮像された画像のデータは内部メモリ２４０に記憶される。

その後、コントローラ１８０は、ユーザから録画終了指示を受け付けたか否かを判定する（Ｓ１４）。録画終了指示は、例えば。録画ボタンの再度の押下操作によりなされる。録画終了指示を受け付けた場合は（Ｓ１４でＹＥＳ）、本処理を終了する。

録画終了指示を受け付けていない場合（Ｓ１４でＮＯ）、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０から画像データを取得するとともに、その画像データが示す画像を参照画像Ｂに設定する（Ｓ１５）。参照画像Ｂに設定された画像データは内部メモリ２４０に記録される。

さらに、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０から次の画像データを取得するとともに、その画像データが示す画像を観測画像Ａに設定する（Ｓ１６）。観測画像Ａに設定された画像データは内部メモリ２４０に記録される。

そして、コントローラ１８０は、画像処理部１６０に対してＤｅｐｔｈマップ５０の生成を指示する（Ｓ１７）。画像処理部１６０は、コントローラ１８０の指示にしたがいＤｅｐｔｈマップ５０を生成する。具体的には、画像処理部１６０は、内部メモリ２４０から、参照画像Ｂの画像データと、観測画像Ａの画像データとを読み出し、図６に示すフローチャートにしたがいＤｅｐｔｈマップ５０を生成する。

コントローラ１８０は、Ｄｅｐｔｈマップ５０を用いて、移動後の被写体についての移動距離（Δｄ）と被写体距離を算出する（Ｓ１８）。具体的には、コントローラ１８０はまず、Ｄｅｐｔｈマップ５０を参照して、所定の被写体（または、領域）について移動距離（Δｄ）を求める。ここで、所定の被写体は、使用者が手動で指定したものでもよいし、自動で検出されたもの（例えば、顔）でもよい。コントローラ１８０は、内部メモリ２４０から、前回の被写体距離（Ｄold）を読み出す。コントローラ１８０は、読み出した前回の被写体距離（Ｄold）と、今回Ｄｅｐｔｈマップ５０から求めた移動距離（Δｄ）とから移動後の被写体距離（Ｄnew）を次式で算出する。
Ｄnew＝Ｄold＋Δｄ

コントローラ１８０は、このようにして求めた今回の被写体距離（Ｄnew）と前回の被写体距離（Ｄold）を比較し、その距離差を判定する（Ｓ１９）。距離差が所定値より大きい場合（Ｓ１９でＹＥＳ）、コントローラ１８０はステップＳ１２に戻り、再度合焦動作を行う。この場合、被写体が大きく移動している可能性が高いため、再度の合焦動作を行うことで、被写体距離の検出精度をより高めている。

被写体距離の差が所定値以下の場合（Ｓ１９でＮＯ）、コントローラ１８０は、被写体の光軸方向の移動があったか否かを判断する（Ｓ２０）。例えば、移動距離（Δｄ）が判定値以上の場合に被写体の光軸方向の移動があったと判断する。

被写体の光軸方向の移動がない場合（Ｓ２０でＮＯ）、コントローラ１８０はステップＳ１６に戻り、観測画像を取得し直して上記の処理を繰り返す。この場合、被写体の移動がないので、フォーカスレンズを移動させる必要がないからである。

被写体の光軸方向の移動があった場合（Ｓ２０でＹＥＳ）、コントローラ１８０は、レンズ駆動部１２０を制御することによりフォーカスレンズ１１３を移動距離（Δｄ）に対応する距離だけ移動させ、合焦位置へ移動させる（Ｓ２１）。これにより、フォーカスレンズ１１３を、移動した被写体に対して自動で合焦させることができる。合焦時の被写体距離は内部メモリ２４０に記憶され、次のＤＦＤ演算の際に被写体距離（Ｄold）として使用される。

録画終了指示を受け付けるまで、コントローラ１８０は上記の処理（Ｓ１２〜Ｓ２２）を繰り返す。

図９は、デジタルカメラの静止画記録時のオートフォーカス動作を示すフローチャートである。デジタルカメラの静止画記録時のオートフォーカス動作について図９を参照して説明する。図９のフローチャートに示す処理は、レリーズボタンの半押し操作が検出されたときに開始する。

コントローラ１８０は、まず、ＣＭＯＳイメージセンサ１４０で撮像された画像の画像データを取得する（Ｓ３０）。そして、コントローラ１８０は、画像データに基づきフォーカスレンズの駆動位置（合焦位置）を決定し（Ｓ３１）、決定した駆動位置にフォーカスレンズを駆動する（Ｓ３２）。コントローラ１８０は例えば、ＤＦＤ方式またはコントラストＡＦ方式を用いて、フォーカスレンズの駆動位置を決定する。後のＤＦＤ演算のために、そのときの被写体距離及び撮像された画像データが内部メモリ２４０に記憶される。

その後、コントローラ１８０は、レリーズボタンが全押しされたか否かを判定する（Ｓ３３）。レリーズボタンの全押し操作は、画像の撮像及び記録を指示するための操作であるため、レリーズボタンが全押しされた場合（Ｓ３３でＹＥＳ）、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０で撮像された画像の画像データを取得し、所定の画像処理を施した後、メモリカード２００に記録する（Ｓ４２）。画像データの記録完了後、本処理は終了する。

レリーズボタンが全押しされていない場合（Ｓ３３でＮＯ）、コントローラ１８０は、半押し状態になって所定時間経過したか否かを判断する（Ｓ３４）。半押し状態になって所定時間が経過するまでは（Ｓ３４でＮＯ）、コントローラ１８０はステップＳ３０に戻り、上記の処理（Ｓ３０〜Ｓ３３）を繰り返す。この間、レリーズボタンの半押しが終了した場合（Ｓ４４でＹＥＳ）、本処理を終了する。

半押し状態になって所定時間が経過したときは（Ｓ４４でＹＥＳ）、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０で撮像された画像の画像データを取得し、取得した画像を参照画像Ｂに設定する（Ｓ３５）。参照画像Ｂに設定された画像データは内部メモリ２４０に記録される。

さらに、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０で撮像された別の画像の画像データを取得し、取得した画像を観測画像Ａに設定する（Ｓ３６）。観測画像Ａに設定された画像データは内部メモリ２４０に記録される。

そして、コントローラ１８０は、画像処理部１６０に対してＤｅｐｔｈマップ５０の生成を指示する（Ｓ３７）。Ｄｅｐｔｈマップ５０の生成処理は前述のとおりである。

コントローラ１８０は、Ｄｅｐｔｈマップ５０を用いて、移動後の被写体についての移動距離（Δｄ）と被写体距離を算出する（Ｓ３８）。

コントローラ１８０は、算出した今回の被写体距離（Ｄnew）と前回の被写体距離（Ｄold）を比較し、その距離差を判定する（Ｓ３９）。距離差が所定値より大きい場合（Ｓ３９でＹＥＳ）、コントローラ１８０はステップＳ３１に戻り、再度合焦動作を行う。この場合、被写体が大きく移動している可能性が高いため、再度の合焦動作を行うことで、被写体距離の検出精度をより高めている。

距離差が所定値以下の場合（Ｓ３９でＮＯ）、コントローラ１８０は、被写体の光軸方向の移動があったか否かを判断する（Ｓ４０）。

被写体の光軸方向の移動がない場合（Ｓ４０でＮＯ）、コントローラ１８０は、ステップ３６に戻る。このとき、コントローラ１８０は、レリーズボタンが全押しされたか（Ｓ４６）、またはレリーズボタンの半押しが終了したか（Ｓ４５）を検出する。

レリーズボタンが全押しされた場合（Ｓ４６でＹＥＳ）、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０で撮像された別の画像の画像データを取得し、所定の画像処理を施した後、メモリカード２００に記録し（Ｓ４３）、本処理を終了する。レリーズボタンの半押しが終了した場合（Ｓ４５でＹＥＳ）、コントローラ１８０は本処理を終了する。

一方、被写体の光軸方向の移動があった場合（Ｓ４０でＹＥＳ）、コントローラ１８０は、レンズ駆動部１２０を制御することによりフォーカスレンズ１１３を移動距離（Δｄ）に対応する距離だけ移動させて、合焦位置へ移動させる（Ｓ４１）。これにより、フォーカスレンズ１１３を、移動した被写体に対して自動で合焦させることができる。合焦時の被写体距離は内部メモリ２４０に記憶され、次のＤＦＤ演算の際に被写体距離（Ｄold）として使用される。

その後、コントローラ１８０は、レリーズボタンが全押しされたかを検出する（Ｓ４２）。レリーズボタンの全押しが検出された場合（Ｓ４２でＹＥＳ）、コントローラ１８０は、画像データをメモリカード２００に記録し（Ｓ４３）、本処理を終了する。

レリーズボタンの全押しが検出されなかった場合（Ｓ４２でＮＯ）、コントローラ１８０はステップＳ３５に戻り、上記の処理を繰り返す。なお、この間、レリーズボタンの半押しの終了、または、レリーズボタンの全押しを検出したときは、コントローラ１８０は、上述の処理を実行し、本処理を終了する。

以上のように、静止画記録の場合においても、ＤＦＤ方式による合焦動作が実施されるため、高速な合焦動作を実現することができる。このことは、例えば、陸上競技において短距離選手のスタート時の画像を撮影したいような場合に有利である。この場合、撮影者は、スタート直前においてレリーズボタンの半押しにより、所望の選手に予め合焦させた状態でスタートを待ち、選手がスタートすると即座にレリーズボタンを全押しすることにより撮影を行う。本実施の形態のデジタルカメラ１００によれば、このような状況においても、高速に合焦動作が実施されるため、ピンぼけがない鮮明な画像を撮像することができる。

〔３．効果、等〕
以上のように、本実施形態のデジタルカメラ１００（撮像装置の一例）は、フォーカスレンズ１１３を含む光学系１１０を介して形成された被写体の像を撮像し、画像データを生成するＣＭＯＳイメージセンサ１４０（画像センサの一例）と、ＣＭＯＳイメージセンサ１４０で生成された画像データを用いて、被写体までの距離である被写体距離（ｄ）及び被写体の移動距離（Δｄ）を算出する画像処理部１６０（またはＤＦＤ演算回路１６１）（測距部の一例）と、算出した被写体距離または被写体の移動距離（Δｄ）を用いてオートフォーカス動作を行うコントローラ１８０（制御部の一例）と、を備える。画像処理部１６０は、被写体が第１の位置（Ｐ１）にあるときにＣＭＯＳイメージセンサ１４０によって生成された参照画像Ｂ（第１の画像データが示す画像の一例）と、同じフォーカスレンズ位置でかつ被写体が第２の位置（Ｐ２）にあるときにＣＭＯＳイメージセンサ１４０によって生成された観測画像Ａ（第２の画像データが示す画像の一例）と、被写体が第１の位置（Ｐ１）にあるときの合焦位置（Ｌ１）に対応した光学系１１０に対する点拡がり関数(ＰＳＦ１〜ＰＳＦ１６)を用いて、第１の位置（Ｐ１）と第２の位置（Ｐ）間の距離（Δｄ）を算出し、その距離（Δｄ）を用いて観測画像Ａについて被写体距離（Ｄ）及び被写体の移動距離（Δｄ）を算出する。

以上の構成により、デジタルカメラ１００は、被写体が移動したときに被写体の移動に起因して発生するボケ差分を利用することで、フォーカスレンズ１１３を移動させることなく、移動後の被写体までの距離を計測することができる。これにより高速に被写体距離を測距できるため、オートフォーカス動作における動く被写体に対する追従性を高めることができる。これは特に動画撮影時または高速連写時に有効である。

（実施の形態２）
実施の形態１では、ＤＦＤ演算において、点拡がり関数（ＰＳＦ）を用いた。ＤＦＤ演算において、この点拡がり関数（ＰＳＦ）に代えて、点拡がり関数をフーリエ変換して得られる光伝達関数（ＯＴＦ:Optical Transfer Function）を用いてもよい。本実施の形態では、光伝達関数（ＯＴＦ）を用いたＤＦＤ演算を行うデジタルカメラ１００を説明する。本実施の形態のデジタルカメラ１００は、光伝達関数（ＯＴＦ）を用いたＤＦＤ演算を行う以外は、実施の形態１のものと同様の構成を有し、同様の動作を行う。

図１０は、本実施の形態におけるデジタルカメラ１００のＤＦＤ演算による被写体の移動距離の算出方法を説明するための図である。光伝達関数ＯＴＦ１〜ＯＴＦ１６はそれぞれ、点拡がり関数ＰＳＦ１〜ＰＳＦ１６を高速フーリエ変換（ＦＦＴ：First Fourier transform）して得られた関数である。

ＤＦＤ演算回路１６１は、観測画像ＡをＦＦＴ処理し、観測画像Ａｆを得る。観測画像Ａｆは複数の観測画素ＰＡｆで構成される。また、ＤＦＤ演算回路１６１は、参照画像ＢをＦＦＴ処理し、参照画像Ｂｆを得る。参照画像Ｂｆは複数の参照画素ＰＢｆで構成される。

ＤＦＤ演算回路１６１は、観測画像Ａｆを構成する各観測画素PＡｆと、参照画像Ｂｆを構成する各参照画素ＰＢｆとに対してＤＦＤ演算を行い、各観測画素PＡについて被写体の移動距離を算出し、Ｄｅｐｔｈマップ５０を作成する。

具体的には、ＤＦＤ演算回路１６１は、観測画素ＰＡｆに光伝達関数ＯＴＦ１〜ＯＴＦ１６を作用させて観測画素ＣＡｆ１〜ＣＡｆ１６を得る。ＤＦＤ演算回路１６１は、得られた複数の観測画素ＣＡｆ１〜ＣＡｆ１６を、各観測画素ＣＡｆ１〜ＣＡｆ１６と画像上の座標と同じ座標にある参照画素ＰＢｆと照合する。そして、振幅成分の類似度が最も高い観測画素ＣＡｆｍｉｎを特定する。ＤＦＤ演算回路１６１は、特定した観測画素ＣＡｆを生成した光伝達関数ＯＴＦに対応する移動距離を観測画素ＰＡｆの移動距離、すなわち、観測画素ＰＡの移動距離として決定する。

以上のようにして、光伝達関数（ＯＴＦ）を用いても、点拡がり関数（ＰＳＦ）の場合と同様にＤｅｐｔｈマップを作成することができ、これを用いて被写体の移動距離を検出することができる。光伝達関数を用いた場合、被写体の動きに関する振幅成分のみが反映され、位相成分が除去されるため、位置ずれ（ｘｙ方向の動き）に対する検出精度がより向上できる。

すなわち、本実施の形態のデジタルカメラは、フォーカスレンズを含む光学系１１０を介して形成された被写体の像を撮像し、画像データを生成するCMOSイメージセンサ１４０と、CMOSイメージセンサ１４０で生成された画像データを用いて、被写体までの距離である被写体距離及び被写体の移動距離Δｄを算出するＤＦＤ演算回路（測距部の一例）１６１と、算出した被写体距離または被写体の移動距離を用いてオートフォーカス動作を行うコントローラ１８０と、を備える。ＤＦＤ演算回路１６１は、被写体が第１の位置（Ｐ１）にあるときに画像センサ１４０によって生成された第１の画像データ（参照画像Ｂ）と、同じフォーカスレンズ位置でかつ被写体が第２の位置（Ｐ２）にあるときにCMOSイメージセンサ１４０によって生成された第２の画像データ（観測画像Ａ）と、被写体が第１の位置（Ｐ１）にあるときの合焦位置（Ｌ１）に対応した光学系１１０の光学伝達関数(ＯＴＦ)を用いて、第１の位置（Ｐ１）と第２の位置（Ｐ）の間の距離（Δｄ）を求め、求めた距離に基づき第２の画像データが示す画像について被写体距離及び被写体の移動距離（Δｄ）を算出する。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

（１）上記の実施の形態では、レンズ位置Ｌと被写体距離Ｄの各組み合わせに対して、１６個の移動距離Δｄに対して点拡がり関数ＰＳＦを設定したが、移動距離の数はこれに限定されない。より多くの、または、より少ない個数（ｎ）の移動距離に対して点拡がり関数ＰＳＦ１〜ＰＳＦｎを設けてもよい。

（２）上記の実施形態に開示した思想は、レンズ交換式カメラ及びレンズ一体型カメラの双方の種類のデジタルカメラに対して適用できる。

（３）上記の実施形態では、撮像装置の一例としてデジタルカメラを用いて説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルカメラ、スマートフォン、ウェアラブルカメラ等のオートフォーカス機能を有する種々の撮像装置に対して適用することができる。

（４）上記の実施形態では、画像センサをＣＭＯＳイメージセンサで構成したが、画像センサはこれに限定されない。画像センサはＣＣＤまたはＮＭＯＳイメージセンサで構成してもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、動画を撮影できる撮像装置に対して適用可能である。具体的には、デジタルカメラ、デジタルカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。

１００デジタルカメラ
１１０光学系
１１１ズームレンズ
１１２手振れ補正レンズ
１１３フォーカスレンズ
１２０レンズ駆動部
１４０ＣＭＯＳイメージセンサ
１５０Ａ／Ｄコンバータ
１６０画像処理部
１６１ＤＦＤ演算回路
１７０バッファ
１８０コントローラ
１９０カードスロット
２００メモリカード
２１０操作部材
２２０表示モニタ
２４０内部メモリ
２５０角速度センサ

Claims

フォーカスレンズを含む光学系を介して形成された被写体の像を撮像し、画像データを生成する画像センサと、
前記画像センサで生成された画像データを用いて、被写体までの距離である被写体距離及び被写体の移動距離を算出する測距部と、
算出した被写体距離または被写体の移動距離を用いてオートフォーカス動作を行う制御部と、
を備え、
前記測距部は、
前記被写体が第１の位置にあるときに前記画像センサによって生成された第１の画像データと、
前記被写体が第２の位置にあるときに前記画像センサによって生成された第２の画像データと、
前記被写体が第１の位置にあるときの合焦位置に対応した前記光学系の点拡がり関数を用いて、前記第１の位置と前記第２の位置の間の距離を求め、前記求めた距離に基づき前記第２の画像データが示す画像について被写体距離及び被写体の移動距離を算出する、
撮像装置。
フォーカスレンズを含む光学系を介して形成された被写体の像を撮像し、画像データを生成する画像センサと、
前記画像センサで生成された画像データを用いて、被写体までの距離である被写体距離及び被写体の移動距離を算出する測距部と、
算出した被写体距離または被写体の移動距離を用いてオートフォーカス動作を行う制御部と、
を備え、
前記測距部は、
前記被写体が第１の位置にあるときに前記画像センサによって生成された第１の画像データと、
前記被写体が第２の位置にあるときに前記画像センサによって生成された第２の画像データと、
前記被写体が第１の位置にあるときの合焦位置に対応した前記光学系の光学伝達関数を用いて、前記第１の位置と前記第２の位置の間の距離を求め、前記求めた距離に基づき前記第２の画像データが示す画像について被写体距離及び被写体の移動距離を算出する、
撮像装置。
前記測距部は、前記第２の画像データが示す画像の各画素に対する前記第１の位置と前記第２の位置の間の距離を示す情報を含むマップを作成する、請求項１または２に記載の撮像装置。
前記フォーカスレンズを駆動するレンズ駆動部をさらに備え、
前記制御部は、前記算出した被写体距離に基づき前記レンズ駆動部を制御する
請求項１または２に記載の撮像装置。
前記制御部は、前記被写体が光軸方向に移動したことを検出したときに、求めた被写体の移動距離に基づき前記レンズ駆動部を制御する、
請求項４に記載の撮像装置。