JP6762313B2 - 撮像装置、内視鏡装置及び撮像装置の作動方法 - Google Patents

Description

本発明は、撮像装置、内視鏡装置及び撮像装置の作動方法等に関係する。

内視鏡システムにおいては医師の診断・処置に支障をきたさないように、できるだけ深い被写界深度が要求される。しかし近年では、内視鏡システムにおいても高画素の撮像素子が使用され、被写界深度が浅くなってきている。そのため、細やかなピント調整が必要となり、オートフォーカス（以下、ＡＦ）制御を行う内視鏡システムが提案されている。

ＡＦ制御は通常、画像上に設定されるＡＦ領域内の被写体に合焦するようにフォーカスレンズを制御する。このため、奥行きを持つ被写体の一部に注目領域が存在する場合や、注目領域をＡＦ領域に入れることが困難な場合には、注目領域に合焦できない可能性がある。このような場合に対応するため、ＡＦモードとマニュアルフォーカス（以下、ＭＦ）モードを切り替え可能な内視鏡システムが考えられる。このような内視鏡システムでは、ＡＦ制御により注目領域への合焦が困難な場合は、ユーザーがＭＦによるピント調整を行うことで、注目領域に合焦させる。

特許文献１では、ＡＦ制御による注目領域への合焦が困難な場合に、ＭＦ用の操作部材をユーザーが操作することで、ＡＦモードからＭＦモードへ切り替えを行うカメラシステムが開示されている。特許文献１において開示されている発明では、ＭＦ用の操作部材をユーザーが操作することで、ＡＦモードからＭＦモードへの切り替えを行った後、レリーズボタンの半押しを解除することでＡＦモードに復帰する。

特許文献２では、シーン変化検出部を備え、ＭＦモード中にシーン変化が検出された場合に、ＭＦモードからＡＦモードへの切り替えを行う内視鏡システムが開示されている。

特開２００１−０１３３９８号公報 特開２０１３−１４６２８９号公報

特許文献１では、内視鏡システムに適応可能なＭＦモードからＡＦモードへの切替方法については開示されていない。

また、特許文献２に記載されているように、内視鏡システムにおいて、シーン変化時にＡＦモードに切り替える目的は、ユーザーの手間を軽減することである。しかし、シーン変化時にＡＦモードに移行し、ＡＦ制御を行ったとしても、被写体の注目領域に合焦するまでに、ＭＦ制御を行うよりも時間がかかってしまうと、合焦制御（合焦動作）が完了するまで待ちきれずに、再度ユーザーがＭＦ制御に切り替える事態を招きかねない。これでは、ユーザーの手間を軽減できたとは言えない。すなわち、ユーザーの手間を軽減するためには、ＡＦモードに移行後に、ＭＦ制御を行うよりも素早く被写体の注目領域に合焦させる必要がある。

しかし、特許文献２では、モード切り替え後のＡＦ制御の詳細については触れられていない。つまり、特許文献２には、シーン変化が検出された場合に、ＭＦモードからＡＦモードに移行することまでは開示されているが、ＡＦモードに移行した際に、どのようにＡＦ制御を行うかといった点については開示されていない。

本発明の幾つかの態様によれば、ＡＦモードに切り替えた後のＡＦ制御をより高速に行うことができる撮像装置、内視鏡装置及び撮像装置の作動方法等を提供することができる。

本発明の一態様は、マニュアルフォーカス制御を行うマニュアルフォーカスモードと、オートフォーカス制御を行うオートフォーカスモードとの切替制御処理を行い、撮像部のフォーカスレンズの駆動を制御する処理を行うフォーカス制御部と、前記マニュアルフォーカスモード中のシーン変化の検出処理と、前記撮像部と被写体との距離変化を表す距離変化情報の推定処理を行うシーン状態判定部と、を含み、前記フォーカス制御部は、前記マニュアルフォーカスモードでは、フォーカスレンズ操作部を介してユーザーにより入力されたレンズ駆動情報に基づいて、前記フォーカスレンズの駆動を制御し、前記シーン状態判定部により前記シーン変化が検出された場合に、前記マニュアルフォーカスモードから前記オートフォーカスモードへの切替制御を行い、前記オートフォーカスモードでは、前記シーン状態判定部で推定される前記距離変化情報に基づいて、前記被写体に合焦するように前記フォーカスレンズの駆動を制御する撮像装置に関係する。

本発明の一態様では、マニュアルフォーカスモードでは、フォーカスレンズ操作部を介してユーザーにより入力されたレンズ駆動情報に基づいて、フォーカスレンズの駆動を制御する。そして、シーン変化が検出された場合に、マニュアルフォーカスモードからオートフォーカスモードへの切替制御を行う。オートフォーカスモードでは、シーン状態判定部で推定される距離変化情報に基づいて、被写体に合焦するようにフォーカスレンズの駆動を制御する。よって、オートフォーカスモードに切り替えた後のオートフォーカス制御をより高速に行うことが可能となる。

また、本発明の他の態様では、前記撮像装置を含む内視鏡装置に関係する。

また、本発明の他の態様では、マニュアルフォーカス制御を行うマニュアルフォーカスモードと、オートフォーカス制御を行うオートフォーカスモードとの切替制御処理を行い、撮像部のフォーカスレンズの駆動を制御する処理を行い、前記マニュアルフォーカスモード中のシーン変化の検出処理を行い、前記撮像部と被写体との距離変化を表す距離変化情報の推定処理を行い、前記マニュアルフォーカスモードでは、フォーカスレンズ操作部を介してユーザーにより入力されたレンズ駆動情報に基づいて、前記フォーカスレンズの駆動を制御し、前記シーン変化が検出された場合に、前記マニュアルフォーカスモードから前記オートフォーカスモードへの切替制御を行い、前記オートフォーカスモードでは、前記距離変化情報に基づいて、前記被写体に合焦するように前記フォーカスレンズの駆動を制御する撮像装置の作動方法に関係する。

撮像装置の構成例。 内視鏡装置の構成例。 特徴量算出部を有するシーン状態判定部の構成例。 動き算出部を有するシーン状態判定部の構成例。 本実施形態の処理の流れを説明するフローチャート。 シーン安定判定を行う場合のシーン状態判定部の構成例。 シーン安定判定を行う場合のシーン状態判定部の他の構成例。 第１の変形例の処理の流れを説明するフローチャート。 合焦困難シーン判定を行う場合のシーン状態判定部の構成例。 第２の変形例の処理の流れを説明するフローチャート。 第３の変形例の処理の流れを説明するフローチャート。 図１２（Ａ）〜図１２（Ｄ）は、ロック操作部の説明図。 図１３（Ａ）〜図１３（Ｃ）は、モード表示部の説明図。

以下、本実施形態について説明する。なお、以下で説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

例えば以下では撮像装置が外科内視鏡装置である場合を例に説明するが、本発明はこれに限定されず、種々の撮像装置（例えば消化器用内視鏡装置、工業用内視鏡装置、顕微鏡、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付き携帯電話等）に適用できる。

１．撮像装置
前述したように、シーン変化時にオートフォーカス（以下、ＡＦ）モードに切り替える目的は、ユーザーの手間を軽減することである。しかし、その際のＡＦ制御がマニュアルフォーカス（以下、ＭＦ）制御よりも時間がかかってしまうと、例えば合焦制御が完了するまでユーザーが待ちきれずに、再度、ＭＦ制御に切り替えてしまうことがある。これでは、ユーザーの手間を軽減できたとは言い難い。また、ＭＦ制御に切り替えなくても、合焦制御が完了するまでの待ち時間には、例えば手術等の作業がストップしてしまうことも考えられる。そのため、待ち時間は短ければ短いほどよい。従って、ユーザーの手間を軽減するためには、ＡＦモードに移行した後に、ＭＦ制御を行うよりも素早く被写体の注目領域に合焦させる（合焦動作を完了させる）必要がある。

図１に、上記のような課題を解決できる撮像装置の構成例を示す。撮像装置は、処理部３００と、撮像部２００と、記憶部７１０と、操作部７２０と、表示部４００とを含む。処理部３００は、少なくともシーン状態判定部３６０と、フォーカス制御部３１５とを含む。

処理部３００（プロセッサ）は、撮像装置の各部の制御や、例えば画像処理等の種々の情報処理を行う。処理部３００は、後述するように、例えばハードウェアで構成されるプロセッサである。

記憶部７１０（メモリ）は、例えば撮像部２００により撮像された画像データや撮像装置の設定データ等を記憶する。或いは、記憶部７１０は、処理部３００の一時記憶メモリ（ワーキングメモリ）として利用される。

撮像部２００は、画像（動画像、静止画像）を撮影するものであり、例えば撮像素子や光学系、光学系のフォーカス機構を駆動する駆動装置等で構成できる。

操作部７２０は、ユーザーが撮像装置を操作するための入力装置であり、例えばボタンやレバー、回転リング、マウス、キーボード、タッチパネル等で構成できる。操作部７２０は、図２を用いて後述するフォーカスレンズ操作部２１０や、図１２（Ａ）〜図１２（Ｄ）を用いて後述するロック操作部２６０であってもよい。この場合、操作部７２０は、撮像部２００に設けられるが、本実施形態はそれに限定されない。なお、ユーザーとは内視鏡システムの操作者のことである。

表示部４００（ディスプレイ、表示モニタ）は、撮像部２００により撮像された撮像画像や、処理部３００により処理された画像を表示する表示装置である。表示部４００は、例えば液晶表示装置やＥＬ（Electro-Luminescence）表示装置等で構成できる。以下では、撮像部２００により撮像された画像のことを、撮像画像と呼ぶ。

なお、撮像装置及びこれを含む内視鏡装置は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

以下、本実施形態の撮像装置の動作を説明する。

本実施形態の撮像装置は、フォーカス制御部３１５と、シーン状態判定部３６０と、を含む。

フォーカス制御部３１５は、ＭＦ制御を行うＭＦモードと、ＡＦ制御を行うＡＦモードとの切替制御処理を行い、撮像部２００のフォーカスレンズ２２０の駆動を制御する処理を行う。

シーン状態判定部３６０は、ＭＦモード中のシーン変化の検出処理と、撮像部２００と被写体との距離変化を表す距離変化情報の推定処理を行う。例えば、シーン状態判定部３６０は、シーン変化を検出した場合に、シーン変化が検出されるまでの所定期間であるシーン変化検出期間における距離変化を表す距離変化情報を推定する。

そして、フォーカス制御部３１５は、ＭＦモードでは、フォーカスレンズ操作部２１０を介してユーザーにより入力されたレンズ駆動情報に基づいて、フォーカスレンズ２２０の駆動を制御する。

ＭＦモードに設定されている場合には、フォーカス制御部３１５は、シーン状態判定部３６０によりシーン変化が検出された場合に、ＭＦモードからＡＦモードへの切替制御を行う。

さらに、フォーカス制御部３１５は、ＡＦモードでは、シーン状態判定部３６０で（ＭＦモードにおいて）推定される距離変化情報に基づいて、被写体に合焦するようにフォーカスレンズ２２０の駆動を制御する。例えば、フォーカス制御部３１５は、推定された距離変化情報に基づいて、ＡＦ制御の開始時の初期制御パラメーターを特定し、特定した初期制御パラメーターに基づいて、フォーカスレンズ２２０の駆動を制御する。

より具体的に言えば、フォーカス制御部３１５は、距離変化情報に基づいて、ＡＦ制御開始時の目標移動方向、目標移動量、目標位置及びＡＦ制御方式のうち、少なくともいずれか１つの初期制御パラメーターを決定する。そして、フォーカス制御部３１５は、決定した初期制御パラメーターに基づいて、ＡＦ制御を行う。例えば、上記の初期制御パラメーターのうち、目標移動方向を決定した場合には、フォーカス制御部３１５は、撮像部２００と被写体との距離変化に対応する方向にフォーカスレンズ２２０を動かすことができる。

例えばこのような処理を行わず、ＡＦ制御の開始時にたまたま、撮像部２００と被写体との距離変化に対応する方向と逆の方向に、フォーカスレンズ２２０を動かしてしまうと、フォーカスレンズ２２０を動かす方向が誤っていたと判定するまで、同じ方向にフォーカスレンズ２２０を動かすことになる。そして、その後に、正しい方向にフォーカスレンズ２２０を動かすことになり、最終的に合焦状態になるまで時間がかかる。従って、本例はこのような場合に比べて、素早く合焦動作を完了することができる。

このように、シーン状態判定部３６０でＭＦモードにおいて推定される距離変化情報を用いてＡＦ制御を行うため、シーン変化時にＡＦモードに切り替えた後のＡＦ制御をより高速に行うことが可能となる。その結果、ユーザーの操作負担を軽減することができる。さらに具体的な処理は後述する。

また前述したように、シーン状態判定部３６０でＭＦモードにおいて推定される距離変化情報に基づいてＡＦ制御の初期制御パラメーターを求めることにより、撮像部２００と被写体の直前の距離変化に対応する方向に、フォーカスレンズ２２０を移動させて、合焦動作をより素早く完了させること等が可能になる。

ここで、フォーカス制御とは、オートフォーカス制御、マニュアルフォーカス制御及びそれらの制御を切り替える制御等を含み、撮像部２００のフォーカスを制御する処理の全体を指す。

また、オートフォーカス制御（ＡＦ制御）とは、フォーカス制御に関するユーザーの操作を必要とせず、撮像装置が自動で行うフォーカス制御のことである。そして、ＡＦ制御を行うように設定されるフォーカス制御モードを、ＡＦモードと呼ぶ。ＡＦ制御の手法として、例えばコントラスト法（山登り法）や、ウォブリングにより合焦方向を判定する手法等を用いることができる。

一方、マニュアルフォーカス制御（ＭＦ制御、手動フォーカス制御）とは、ユーザーの操作に基づいて、フォーカスレンズを駆動させるフォーカス制御のことである。そして、ＭＦ制御を行うように設定されるフォーカス制御モードを、ＭＦモードと呼ぶ。なお、フォーカス制御モードとは、ＡＦ制御及びＭＦ制御のうち、いずれかのフォーカス制御を行うように設定されるモードのことであり、フォーカス制御モードとしてはＡＦモード及びＭＦモードのいずれか一方を設定可能である。

さらに、シーン変化は、撮像部２００と被写体の相対距離が変わるシーンや、ユーザーの操作により観察部位が変わるシーン等が想定される。ここで、観察部位が変わるシーンは、観察部位の形状や色が変わるシーンではなく、ユーザーの操作により観察部位が第１の部位から他の第２の部位に変わるシーンなどである。ただし、同一の観察部位であっても、形状等が変化することにより、合焦物体位置が変化する場合は、シーン変化として扱ってもよい。

また、距離変化情報は、シーン変化検出期間における撮像部２００と被写体の距離変化を表す情報である。距離変化情報は、例えば撮像部２００と被写体の距離変化の方向や、距離変化量、距離変化後の撮像部２００に対する被写体の相対位置等を表す情報である。シーン変化検出期間は、シーン変化が検出されるまでの所定期間である。

レンズ駆動情報は、フォーカスレンズ２２０の移動を指示する情報であり、例えばフォーカスレンズ２２０の移動方向、移動量、移動位置等を指定する情報である。レンズ駆動情報は、後述するように、フォーカスレンズ操作部２１０を介してユーザーによって入力される。

初期制御パラメーターは、ＡＦ制御を開始する際に用いる制御パラメーターである。例えば、初期制御パラメーターは、フォーカスレンズ２２０の目標移動方向、目標移動量、目標位置及びＡＦ制御方式等を指定する情報である。ただし、ＡＦ制御を行う際には、初期制御パラメーターに基づいて、フォーカスレンズ２２０を実際に駆動させる際に用いる各種パラメーターを算出し、算出した各種パラメーターに基づいて、ＡＦ制御を行ってもよい。

なお、本実施形態では以下のような構成としてもよい。即ち、撮像装置は、情報（例えばプログラムや各種のデータ）を記憶するメモリ（記憶部７１０）と、メモリに記憶された情報に基づいて動作するプロセッサ（処理部３００、ハードウェアで構成されるプロセッサ）と、を含む。プロセッサは、ＭＦモードでは、フォーカスレンズ操作部２１０を介してユーザーにより入力されたレンズ駆動情報に基づいて、フォーカスレンズ２２０の駆動を制御し、シーン変化が検出された場合に、ＭＦモードからＡＦモードへの切替制御を行い、ＡＦモードでは、距離変化情報に基づいて、被写体に合焦するようにフォーカスレンズ２２０の駆動を制御する。

プロセッサ（処理部３００）は、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただしプロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣ（Application Specific Integrated Circuit）によるハードウェア回路でもよい。メモリ（記憶部７１０）は、例えばＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部３００の各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

本実施形態の動作は例えば以下のように実現される。すなわち、撮像部２００により画像（撮像画像）が撮像され、その画像データが処理部３００（プロセッサ）で処理されて記憶部７１０（メモリ）に記憶される。そして処理部３００は、記憶部７１０から撮像画像を読み出し、読み出した撮像画像の特徴量（例えば輝度など）を求め、求めた特徴量を記憶部７１０に記憶させる。そして、シーン状態判定部３６０は、記憶部７１０から撮像画像の特徴量を読み出して、読み出した特徴量に基づいて、撮像部２００と被写体との距離変化を表す距離変化情報の推定処理を行い、推定した距離変化情報を記憶部７１０に記憶させる。フォーカス制御部３１５は、記憶部７１０から距離変化情報を読み出し、読み出した距離変化情報に基づいて、フォーカスレンズ２２０の駆動を制御する。また、フォーカス制御部３１５は、記憶部７１０から読み出した距離変化情報に基づいて、ＡＦ制御の開始時の初期制御パラメーターを特定し、特定した初期制御パラメーターを記憶部７１０に記憶させる。フォーカス制御部３１５は、記憶部７１０から初期制御パラメーターを読み出し、読み出した初期制御パラメーターに基づいて、ＡＦ制御を行う。

２．内視鏡装置
以下、上述した撮像装置を内視鏡装置（外科内視鏡装置、内視鏡システム）に適用した場合の詳細構成と動作を説明する。

２．１．システム構成例
図２に、内視鏡装置の構成例を図示する。図２に示すように、本実施形態における内視鏡装置は、体内への挿入部である硬性鏡１００と、硬性鏡１００に接続される撮像部２００と、処理部３００と、表示部４００と、外部Ｉ／Ｆ（インターフェース）部５００と、光源部６００を備えている。なお、図２では、画像データの流れを実線で示し、それ以外の制御データ（制御信号）の流れを点線で示す。後述する図３、図４、図６、図７、図９においても同様である。

例えば、硬性鏡１００、撮像部２００、処理部３００、表示部４００、光源部６００が、それぞれ硬性鏡、カメラヘッド、ビデオプロセッサ（処理装置）、ディスプレイ、光源装置として別体に構成される。そして、カメラヘッドに設けられたチャック機構により硬性鏡がカメラヘッドに着脱される。カメラヘッド、ディスプレイ、光源装置は、それぞれケーブルによりビデオプロセッサに接続される。硬性鏡は、ライトガイドケーブルにより光源装置に接続される。なお、撮像装置や内視鏡装置の構成はこれに限定されるものではない。

硬性鏡１００を用いた内視鏡装置は、例えば腹腔鏡手術等の外科手術に用いられる内視鏡装置である。即ち、生体の腹部等に小孔を空けて、その小孔から硬性鏡１００を挿入し、同一の小孔又は別の小孔から処置具を挿入し、硬性鏡１００の視野において処置具による外科的処置を行う。処置具としては、例えばメスや鉗子、縫合用の針・糸、洗浄用の注水・吸水器具等の種々の器具が想定される。なお、本実施形態のフォーカス制御切替の手法は、硬性鏡１００を用いた内視鏡装置への適用に限定されるものではなく、軟性鏡を用いた内視鏡装置への適用も可能である。

以下、各部の構成や動作を説明する。

光源部６００は、白色光を発生する白色光源６１０と、白色光源６１０からの出射光を硬性鏡１００に導光するライトガイドケーブル６２０を備えている。

硬性鏡１００は、体内への挿入部である。硬性鏡１００は、レンズ系１１０と、ライトガイド部１２０を含む。レンズ系１１０は、対物レンズ、リレーレンズ、接眼レンズ等を含んで構成される。ライトガイド部１２０は、ライトガイドケーブル６２０からの出射光を、硬性鏡１００の先端まで導光する。

撮像部２００は、被写体からの反射光から画像を生成する。撮像部２００は、フォーカスレンズ操作部２１０と、フォーカスレンズ２２０と、フォーカスレンズ駆動部２３０と、対物レンズ系２４０と、撮像素子２５０とを含む。

フォーカスレンズ２２０は、合焦物体位置（フォーカス）を調整するためのレンズである。

フォーカスレンズ駆動部２３０は、フォーカスレンズ２２０を駆動する。フォーカスレンズ駆動部２３０は、例えばボイスコイルモーター（ＶＣＭ）等の任意のアクチュエータである。

対物レンズ系２４０は、ライトガイド部１２０からの出射光が被写体に反射された反射光を結像する（被写体像を結像させる）。

撮像素子２５０は、対物レンズ系２４０で結像された反射光（被写体像）を光電変換して画像を生成する。撮像素子２５０は、例えばＲＧＢのいずれかのカラーフィルタがベイヤ配列で配置されている原色ベイヤ型の撮像素子である。ここでは他にも、補色カラーフィルタを用いた撮像素子や、カラーフィルタを用いずに１つの画素で異なる波長の光を受光可能な積層型の撮像素子、カラーフィルタを用いないモノクロ撮像素子など、被写体を撮像して画像を得られるものであれば、任意の撮像素子を使用できる。

フォーカスレンズ操作部２１０は、ユーザーがフォーカスレンズ２２０を直接操作するためのインターフェースである。フォーカスレンズ操作部２１０を操作することにより、レンズ駆動情報を入力することができる。ユーザーがフォーカスレンズ操作部２１０を操作することでフォーカスレンズ２２０が駆動され、合焦物体位置が調整される。フォーカスレンズ操作部２１０は、例えば図２に図示されるように、近点側にフォーカスを移動させるボタン、遠点側にフォーカスを移動させるボタンである。或いは、フォーカスリング、マウスホイール、クリックホイールといったインターフェースであっても構わない。

ここで、前述した合焦物体位置とは、撮像部２００のフォーカスが合っている物体（被写体）の位置である。具体的には、対物レンズ系２４０において像面（又は像側焦点）に対応して合焦物体位置（又は物体側焦点）が決まるが、その像面が撮像素子２５０の撮像面に一致する場合の合焦物体面の位置が合焦物体位置である。合焦物体位置は、撮像部２００と合焦物体面との間の相対的な位置であり、例えば撮像部２００の基準点（例えば対物レンズ系２４０の先端や、硬性鏡１００の先端等）から合焦物体面（光学系の物体側においてフォーカスが合っている面）までの距離で表される。合焦物体位置は、例えばフォーカスレンズ２２０の制御情報（位置）と、対物レンズ系２４０及び硬性鏡１００のレンズ系１１０の光学特性（設計値）から知ることができる。

処理部３００は、画像処理を含む信号処理を行う。処理部３００は、ＡＤ変換部３１０と、前処理部３２０と、画像処理部３３０と、ＡＦ制御部３４０と、ＭＦ制御部３５０と、シーン状態判定部３６０と、切替制御部３７０と、制御部３８０と、アクチュエータ制御部３９０と、を含む。処理部３００は、後述するように、例えばハードウェアで構成されるプロセッサである。また、図１に示すフォーカス制御部３１５は、ＡＦ制御部３４０と、ＭＦ制御部３５０と、切替制御部３７０と、アクチュエータ制御部３９０に相当する。

ＡＤ変換部３１０は、撮像素子２５０から出力されるアナログ信号をデジタルの画像に変換する。

前処理部３２０は、ＡＤ変換部３１０から出力された画像に対して、オプティカル・ブラック補正処理（ＯＢ処理）、補間処理（デモザイキング処理）、ＲＧＢ信号からＹＣ信号への変換処理等の画像処理を行う。

画像処理部３３０は、色変換処理、階調変換処理、エッジ強調処理、拡縮処理、ノイズリダクション等の画像処理を行う。

ＡＦ制御部３４０は、前処理部３２０から出力される画像に基づいてＡＦ制御を行う。例えば画像の輝度（Ｙ）信号からコントラスト値を算出し、これを用いてＡＦ制御を行う。ＡＦ制御は、例えば公知のウォブリング方式や山登り方式、スキャン方式を用いればよい。また、撮像素子２５０に像面位相センサを配置して、そこから得られる位相情報を使用してＡＦ制御を行ってもよい。

ＭＦ制御部３５０は、ユーザーの操作によりフォーカスレンズ操作部２１０から出力される、フォーカスレンズの駆動情報（駆動方向、速度等）に基づいて、ＭＦ制御を行う。

シーン状態判定部３６０は、例えば前処理部３２０から出力（取得）される画像に基づいて、シーン変化を検出する。なお、シーン状態判定部３６０は、例えばＡＤ変換部３１０や画像処理部３３０、その他の任意の位置（処理部３００の各部）から出力される画像に基づいて、シーン変化を検出してもよい。シーン状態判定部３６０の具体的な構成については、図３及び図４を用いて後述する。

切替制御部３７０は、現在設定されているフォーカス制御モードがＡＦモードかＭＦモードかを判定し、これらのモードの切替制御を行う。

制御部３８０は、処理部３００の各部（主に、ＡＦ制御部３４０、ＭＦ制御部３５０、切替制御部３７０等）と、撮像素子２５０と、外部Ｉ／Ｆ（インターフェース）部５００と、光源部６００などと相互に接続されており、制御信号の入出力を行う。

アクチュエータ制御部３９０は、ＡＦ制御部３４０またはＭＦ制御部３５０から出力されるアクチュエータの制御情報に従って、アクチュエータ（フォーカスレンズ駆動部２３０）の駆動信号を出力する。

表示部４００（ディスプレイ、表示モニタ）は、撮像部２００により撮像された画像や、処理部３００により処理された画像を表示される表示装置である。表示部４００は、例えば液晶表示装置やＥＬ（Electro-Luminescence）表示装置等で構成できる。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザーからの入力等を行うためのインターフェースであり、例えばＡＦ領域の位置やサイズを設定するための設定ボタン、画像処理のパラメーターを調整するための調整ボタンを含んで構成される。

２．２．シーン状態判定部
次に、シーン状態判定部３６０の詳細な構成例について、図３及び図４を用いて説明する。シーン状態判定部３６０は、画像特徴量に基づいてシーン変化を検出するか、撮像部２００の動きに基づいてシーン変化を検出するかによって、構成が異なる。

まず、図３に、画像特徴量に基づいてシーン変化を検出する場合のシーン状態判定部３６０の構成を図示する。この場合、シーン状態判定部３６０は、特徴量算出部３６１と、シーン変化検出部３６２と、距離変化推定部３６３と、を含む。

図３に示す場合、シーン状態判定部３６０は、撮像部２００により撮像された撮像画像の特徴量の変化量に基づいて、シーン変化の検出処理及び距離変化情報の推定処理を行う。

その際には例えば、特徴量算出部３６１は、前処理部３２０から出力された画像から、コントラスト値、輝度、色などの特徴量を算出する。

そして、シーン変化検出部３６２は、切替制御部３７０でＡＦモードからＭＦモードに切替制御された時の特徴量ｆ１を、図３においては不図示のメモリに記憶する。そして、シーン変化検出部３６２は、記憶された特徴量ｆ１とＭＦモード中の特徴量ｆ２の変化量（絶対値）が閾値以上であれば、シーン変化として検出する。

また、距離変化推定部３６３は、切替制御部３７０でＡＦモードからＭＦモードに切替制御された時の輝度ｂ１を、図３においては不図示のメモリに記憶する。そして、距離変化推定部３６３は、記憶された輝度ｂ１とシーン変化検出時の輝度ｂ２を比較して、撮像部２００と被写体の距離変化の方向を推定する。この際には、距離変化推定部３６３は、例えばシーン変化検出時の輝度ｂ２の方が大きければ、撮像部２００と被写体の距離が近づいたなどと推定する。さらに、距離変化推定部３６３は、輝度変化のレベルを用いて、距離変化の方向と度合いを推定してもよい。

これにより、例えば加速度センサ等を設けなくても、シーン変化の検出と、距離変化の推定を行うこと等が可能になる。

また、上記の場合にシーン状態判定部３６０（シーン変化検出部３６２）は、撮像画像の特徴量の変化量が、所与の時間以上、連続して所与の閾値を超えた場合に、シーン変化があったと判定してもよい。

これにより、例えばユーザーの誤操作等に起因して短期間だけ距離変化が発生し、すぐに元に戻るような場合を、シーン変化として誤検出することを防ぐこと等が可能になる。

また、前述したように、シーン状態判定部３６０は、撮像画像の特徴量である輝度の変化量に基づいて、シーン変化の検出処理及び距離変化情報の推定処理を行ってもよい。

具体例を挙げると、例えばシーン変化検出部３６２が、撮像画像の輝度の変化量が閾値を超えた場合にシーン変化があったと検出してもよい。そして、距離変化推定部３６３が、シーン変化検出時の輝度の変化の方向（明るくなったか、暗くなったのか）や、輝度の変化量の大きさを、距離変化情報として求めてもよい。さらに、ＡＦ制御部３４０が、例えば求められた輝度の変化の方向に基づいて、ＡＦ制御の開始時のフォーカスレンズ２２０の移動方向を決めたり、求められた輝度の変化量の大きさに基づいて、ＡＦ制御の開始時のフォーカスレンズ２２０の移動量を決めたりしてもよい。

これにより、例えば手術（処置）をすることにより被写体の観察部位の色が変わった場合でも、シーン変化や距離変化の誤検出を防ぐこと等が可能になる。また、シーン変化を検出した際に、そのシーン変化を検出する際に用いた情報（輝度）に基づいて距離変化情報を推定することができ、その距離変化情報に基づいてＡＦモードに切り替えた後の高速なＡＦ制御を実現できる。

ここで、内視鏡装置を用いる場合には、病変部の観察だけでなく、病変部に対する処置も行われる。このような場合、画像の特徴量（コントラスト値、輝度、色など）が大きく変化し、シーン変化として検出される可能性がある。しかし、処置中はユーザーが撮像部２００を大きく動かすことはないため、一度ＡＦ制御により被写体に合焦した後は、シーン変化がない限り、ＡＦ制御を実行する必要はない。さらに処置中は医師が表示画像を確認しながら繊細な作業を行うため、ＡＦ制御が実行されない方が、表示画像が安定していてよい。すなわち、実際にはシーン変化ではない場面をシーン変化として検出してしまうと、不要なＡＦ制御を行うことになり、ＡＦ制御中に表示画像がボヤけてしまい、処置の妨げになってしまうことがある。

そこで、そのような動作を行わないようにするためのシーン状態判定部３６０の構成を、図４に図示する。図４に示すシーン状態判定部３６０は、撮像部２００の動きに基づいてシーン変化を検出する。この場合、シーン状態判定部３６０は、動き算出部３６４と、シーン変化検出部３６２と、距離変化推定部３６３と、を含む。

図４に示す場合、シーン状態判定部３６０は、撮像部２００の動きに基づいて、シーン変化の検出処理及び距離変化情報の推定処理を行う。

その際には例えば、動き算出部３６４が、前処理部３２０から出力された画像を用いて、現在画像と過去画像間の動きベクトルを算出する。なお、過去画像は、例えば現在画像の１フレーム前の画像であるが、本実施形態はそれに限定されない。そして、動き算出部３６４は、算出した動きベクトルから、撮像部２００の動き（光軸方向の動き、光軸に垂直な動き、動き量など）を算出する。ここで、動き算出部３６４は、画像から一つの動きベクトルを算出し、これを用いて撮像部２００の動きを算出してもよいし、画像に設定した任意の領域から複数の動きベクトルを算出し、この結果を総合的に判断することで撮像部２００の動きを算出してもよい。また、動き算出部３６４は、例えば不図示の加速度センサ等を用いて、撮像部２００の動きを算出してもよい。

そして、シーン変化検出部３６２は、撮像部２００の動き量が閾値以上であると判定した場合に、シーン変化として検出する。

ここで、動き量とは、撮像部２００と被写体の間の相対的な位置の変化（例えばカメラの光軸方向を変えない移動）や相対的な向きの変化（例えばカメラの光軸方向が変わる回転（パン、チルト））に応じて変化する量である。例えば、画像から動きベクトルを検出する場合、撮像部２００の移動や回転に応じて動きベクトルの大きさや向きが変化する。或いは、モーションセンサを用いた場合、撮像部２００の移動や回転に応じた加速度、角加速度、角速度等が得られる。動き量は、動きの大きさの情報と向きの情報を表す量であり、或いは動きの大きさの情報と向きの情報の一方を表す量であってもよい。

また、この場合、距離変化推定部３６３は、シーン変化検出部３６２において、シーン変化検出に使用された撮像部２００の動き量のうち、光軸方向の動き量を用いて、撮像部２００と被写体の距離変化の方向と度合いを推定する。

このように、シーン変化検出部３６２が、撮像部２００の動き量に基づいてシーン変化を検出することで、例えば処置により、被写体（例えば病変部）の形状や色等が部分的に変化した場面をシーン変化として検出してしまうことを防ぐことができ、不要なＡＦ制御を実行することを避けること等が可能になる。

シーン変化検出部３６２は、動き算出部３６４から取得された撮像部２００の動きに関する情報に基づいて、被写体と撮像部２００の距離変化量を求める。そして、シーン変化検出部３６２は、求めた距離変化量が所与の閾値を超えた場合にシーン変化があったと検出する。距離変化推定部３６３は、シーン変化検出部３６２で求めたシーン変化検出時の距離変化の方向（遠くなったか、近くなったか）や、距離変化の大きさを、前述した距離変化情報とする。さらに、ＡＦ制御部３４０は、求めた距離変化の方向に基づいて、ＡＦ制御の開始時のフォーカスレンズ２２０の移動方向を決める。また、ＡＦ制御部３４０は、求めた距離変化の大きさに基づいて、ＡＦ制御の開始時のフォーカスレンズ２２０の移動量を決める。

このように、シーン変化を検出した際に、そのシーン変化を検出する際に用いた情報で距離変化情報を推定することができ、その距離変化情報に基づいてＡＦモードに切り替えた後の高速なＡＦ制御を実現できる。

また、図４に示すような場合には、シーン状態判定部３６０（距離変化推定部３６３）は、シーン変化の検出処理において求めた情報に基づいて、距離変化情報の推定処理を行う。

これにより、シーン変化検出処理と、距離変化情報の推定処理で、一部の処理を共通化することができ、処理量を軽減すること等が可能になる。

さらに、シーン変化があった場合には、フォーカス調整が必要となることが多いため、シーン変化を検出した場合には、切替制御部３７０がフォーカス制御モードをＡＦモードに切り替える。この時、距離変化推定部３６３は、シーン変化の前後において被写体と撮像部２００の相対的な位置関係にどのような変化があったのかを、シーン変化の検出処理結果から求めることが可能である。そして、距離変化推定部３６３が、シーン変化の検出処理において求められた情報に基づいて、距離変化情報の推定処理を行うことで、ＭＦモードで行うシーン変化の検出処理を有効に活用して、ＡＦモードに切り替えた後の高速なＡＦ制御を実現できる。

さらに、上記の場合に、シーン状態判定部３６０（シーン変化検出部３６２）は、推定された距離変化情報により表される距離変化量が、所与の時間以上、連続して所与の閾値を超えた場合に、シーン変化があったと判定してもよい。

これにより、例えばユーザーの誤操作等に起因して短期間だけ距離変化が発生し、すぐに元に戻るような場合を、シーン変化として誤検出することを防ぐこと等が可能になる。

また、シーン状態判定部３６０（シーン変化検出部３６２）は、推定された距離変化情報により表される距離変化量の積分値が、所与の閾値を越えたと判定した場合に、シーン変化があったと判定してもよい。

これにより、例えば手ぶれ等により撮像部２００が前後に往復運動を繰り返すような場面を、シーン変化として誤検出することを防ぐこと等が可能になる。

２．３．処理の詳細
次に、図５のフローチャートを用いて処理の詳細について説明する。

まず、切替制御部３７０が、現在のフォーカス制御モードがＡＦモードかＭＦモードかを判定する（Ｓ１０１）。

切替制御部３７０が、現在のフォーカス制御モードがＡＦモードであると判定した場合には、ＡＦ制御部３４０は、まずＡＦ制御の開始直後か否かを判定する（Ｓ１０２）。ＡＦ制御部３４０がＡＦ制御の開始直後であると判定した場合、ＡＦ制御部３４０は、後述する方法でＡＦ制御の初期制御パラメーターを設定する（Ｓ１０３）。

次に、ＡＦ制御部３４０は、設定されたＡＦ制御の初期制御パラメーターに基づいてＡＦ制御を実行し（Ｓ１０４）、フォーカスレンズ２２０の制御情報をアクチュエータ制御部３９０に出力する。なお、ステップＳ１０２において、ＡＦ制御部３４０がＡＦ制御の開始直後ではないと判定した場合には、そのままステップＳ１０４の処理を実行する。

そして、切替制御部３７０は、ユーザーがフォーカスレンズ操作部２１０を操作したか否か、すなわちフォーカスレンズ２２０の駆動情報が出力されたか否かの情報を検出する（Ｓ１０５）。ユーザーの操作が検出されたと判定した場合には（Ｓ１０６）、切替制御部３７０がフォーカス制御モードをＡＦモードからＭＦモードに切り替えて（Ｓ１０７）、ステップＳ１０１に戻る。ユーザーの操作が検出されていないと判定した場合には（Ｓ１０６）、直後にステップＳ１０１に戻る。

一方、ステップＳ１０１において、切替制御部３７０が、現在のフォーカス制御モードがＭＦモードであると判定した場合には、ＭＦ制御部３５０がＭＦ制御を行う（Ｓ１０８）。すなわち、ＭＦ制御部３５０が、フォーカスレンズ２２０の駆動情報に基づいて、フォーカスレンズ２２０の制御情報を生成し、アクチュエータ制御部３９０に出力する。

そして、シーン状態判定部３６０が、前述したいずれかの方法で、シーン変化を検出する（Ｓ１０９）。シーン変化が検出されたと判定した場合（Ｓ１１０）、シーン状態判定部３６０は、前述したいずれかの方法で、撮像部２００と被写体の距離変化を推定する（Ｓ１１１）。そして、切替制御部３７０が、フォーカス制御モードをＭＦモードからＡＦモードに切り替えて（Ｓ１１２）、ステップＳ１０１に戻る。ステップＳ１１０において、シーン変化が検出されていないと判定した場合には、直後にステップＳ１０１に戻る。

次に、前述したステップＳ１０３における、ＡＦ制御の初期制御パラメーターの設定方法について説明する。ＡＦ制御の初期制御パラメーターとしては、例えばＡＦ制御開始時のフォーカスレンズ２２０の目標移動方向、目標移動量、目標位置及びＡＦ制御の方式（の種別）等が挙げられる。本実施形態では、上記のいずれか一つを初期制御パラメーターとして求めてもよいし、上記のパラメーターのうちの複数又は全てのパラメーターを、初期制御パラメーターとして求めてもよい。

すなわち、フォーカス制御部３１５（ＡＦ制御部３４０）は、距離変化情報に基づいて、初期制御パラメーターの少なくとも一つのパラメーターとして、フォーカスレンズ２２０の目標移動方向を特定する。例えば、ＡＦ制御部３４０は、シーン状態判定部３６０で推定される距離変化情報に基づいて、撮像部２００と被写体の距離変化の方向を求める。そして、ＡＦ制御部３４０は、求めた距離変化の方向に基づいて、ＡＦ制御開始時のフォーカスレンズ２２０の目標移動方向を、初期制御パラメーターとして設定する。例えば、撮像部２００と被写体の距離変化の方向が、距離が小さくなる方向である場合、フォーカスレンズ２２０の目標移動方向を合焦物体位置が撮像部２００に近づく方向とする。

これにより、ＡＦ制御の開始時に、合焦レンズ位置に近付く方向にフォーカスレンズ２２０を移動させること等が可能になる。なお、合焦レンズ位置とは、合焦状態になる時のフォーカスレンズ２２０の位置のことであり、言い替えれば被写体に合焦する時のフォーカスレンズ２２０の位置である。

また、フォーカス制御部３１５（ＡＦ制御部３４０）は、距離変化情報に基づいて、初期制御パラメーターの少なくとも一つのパラメーターとして、フォーカスレンズ２２０の目標移動量を特定してもよい。例えば、ＡＦ制御部３４０は、シーン状態判定部３６０で推定される距離変化情報に基づいて、撮像部２００と被写体の距離変化の度合いを求める。そして、ＡＦ制御部３４０は、求めた距離変化の度合いに基づいて、ＡＦ制御開始時のフォーカスレンズ２２０の目標移動量を、初期制御パラメーターとして設定してもよい。例えば、撮像部２００と被写体の距離変化が大きい場合は、フォーカスレンズ２２０の移動量を大きくする。

これにより、ＡＦ制御の開始時に、撮像部２００と被写体の距離変化に対応する移動量で、フォーカスレンズ２２０を移動させること等が可能になる。

さらに、フォーカス制御部３１５（ＡＦ制御部３４０）は、距離変化情報に基づいて、初期制御パラメーターの少なくとも一つのパラメーターとして、フォーカスレンズ２２０の目標位置を特定してもよい。例えば、ＡＦ制御部３４０は、シーン状態判定部３６０で推定される距離変化情報に基づいて、撮像部２００と被写体の距離変化の方向と度合いを求める。そして、ＡＦ制御部３４０は、求めた距離変化の方向と度合いに基づいて、ＡＦ制御開始時のフォーカスレンズ２２０の目標位置を、初期制御パラメーターとして設定してもよい。

これにより、ＡＦ制御の開始時に、フォーカスレンズ２２０の目標位置を、合焦レンズ位置に近付くように設定すること等が可能になる。

また、フォーカス制御部３１５（ＡＦ制御部３４０）は、距離変化情報に基づいて、初期制御パラメーターの少なくとも一つのパラメーターとして、ＡＦ制御の制御方式を特定してもよい。例えば、ＡＦ制御部３４０は、シーン状態判定部３６０で推定される距離変化情報に基づいて、撮像部２００と被写体の距離変化の度合いを求める。そして、ＡＦ制御部３４０は、求めた距離変化の度合いに基づいて、使用するＡＦ制御の方式（の種別）を、初期制御パラメーターとして設定してもよい。例えば、撮像部２００と被写体の距離変化が大きい場合は、山登り方式やスキャン方式に設定し、距離変化が小さい場合はウォブリング方式に設定する。

これにより、ＡＦ制御開始時に、直前の距離変化に対して適切なＡＦ制御方式でＡＦ制御を行うこと等が可能になる。

以上のような処理を行うことで、ＡＦ制御の初期制御パラメーターを適切に設定することが可能になり、高速かつ高精度なＡＦ制御を実現することができる。

３．第１の変形例
３．１．概要
次に、第１の変形例について説明する。前提として、ＭＦ制御（ＭＦモード）よりもＡＦ制御（ＡＦモード）の方がユーザーの操作負担が軽いため、ＡＦ制御を行う方がユーザーにとっては楽である。そのため、まずはＡＦ制御を行い、後述する第２の変形例で説明するように、ＡＦ制御で、ユーザーが所望するようにピントを合わせることが出来ない場合には、ＭＦ制御を行う。

しかし、あるシーンにおいてＡＦ制御により注目領域にピントを合わせることができなかった場合でも、シーンが変化した場合には、ＡＦ制御により、注目領域にピントを合わせることが出来るようになる可能性がある。ＡＦ制御でピントを合わせることが可能ならば、その方がユーザーにとっては楽である。

そこで、第１の変形例では、シーンが変化し、かつシーンが安定していると判定された場合に、再度ＡＦ制御を行う。シーンが安定している状態とは、現時点（あるタイミング）を基準として所与の期間内にシーン変化が起こらない状態である。この際に、所与の期間には、現時点よりも過去の期間及び未来の期間の両方を含んでいてもよいし、過去の期間及び未来の期間の少なくとも一方の期間を含んでいても良い。

第１の変形例において、シーン状態判定部３６０は、図６に示すように、図３で説明した構成に加えて、シーン安定判定部３６５を含む。

シーン安定判定部３６５は、撮像部２００が撮像するシーンが安定したか否かを判定する。そして、フォーカス制御部３１５は、シーン安定判定部３６５によりシーンが安定したと判定された場合、ＡＦ制御を行う。

これにより、シーンが安定した場合に、ＡＦ制御を行い、ユーザーの操作負担を軽減すること等が可能になる。

また、シーン変化が検出された時点では、撮像部２００が引き続き動き続けている場合もある。例えば頻繁にシーン変化が起こる状態（シーン変化中）でＡＦ制御を実行すると、誤動作や、被写体に精度よく合焦できない状態を引き起こす可能性がある。そのため、本例では、シーンが安定していると判定された場合に、ＡＦ制御を行う。

具体的には、シーン安定判定部３６５は、シーン状態判定部３６０がシーン変化を検出した後に、シーンが安定したか否かを判定する。そして、フォーカス制御部３１５は、シーン安定判定部３６５によりシーンが安定したと判定された場合、ＡＦ制御を行う。

これにより、ＡＦ制御の誤動作を防止したり、被写体に精度よく合焦させたりすること等が可能になる。

３．２．シーン安定の判定処理
次に、シーンが安定しているか否かの判定処理の詳細について説明する。第１の変形例としては、前述したシーン変化検出部３６２と同様に、例えば２つの具体例が考えられる。１つ目の具体例は、シーン安定判定部３６５が、画像の特徴量に基づいて、シーンが安定したか否かを判定する例であり、その場合のシーン状態判定部３６０の構成例を図６に示す。

図６に示す例の場合には、シーン安定判定部３６５は、まず図６においては不図示のメモリに、任意のフレームの画像の特徴量ｆ１を基準値として記憶する。そして、シーン安定判定部３６５は、記憶された特徴量（基準値）ｆ１と、次のフレームの画像の特徴量ｆ２の差（絶対値）が閾値以下であると判定した場合に、シーンが安定していると判定する。一方、シーン安定判定部３６５は、２つの特徴量（ｆ１、ｆ２）の差が閾値よりも大きいと判定した場合に、シーンが安定していないと判定する。そして、シーン安定判定部３６５は、シーンが安定していないと判定した場合に、新しい特徴量ｆ２を用いて基準値を更新する。また、シーン安定判定部３６５は、２つの特徴量（ｆ１、ｆ２）の差が閾値以下である状態が一定時間以上連続した場合に、シーンが安定していると判定してもよい。

また、もう１つの具体例は、シーン安定判定部３６５が、撮像部２００の動きに基づいて、シーンが安定したか否かを判定する例であり、その場合のシーン状態判定部３６０の構成例を図７に示す。

図７に示す例の場合には、シーン安定判定部３６５は、撮像部２００の動き量が閾値以下であると判定した場合に、シーンが安定していると判定する。また、シーン安定判定部３６５は、撮像部２００の動き量が閾値以下となる状態が一定時間以上連続した場合に、シーンが安定していると判定してもよいし、一定期間の撮像部２００の動き量の積分値が閾値以下となった場合に、シーンが安定していると判定してもよい。

３．３．処理の詳細
次に、第１の変形例の処理の流れを図８に示す。図８において、ステップＳ２０１〜ステップＳ２０９の処理の流れは、前述した図５に示すステップＳ１０１〜ステップＳ１０９の処理の流れと同様であるため、説明を省略する。

第１の変形例では、図８に示すように、シーン変化検出部３６２がシーン変化を検出した場合に（Ｓ２１０）、シーン安定判定部３６５が、シーンが安定したか否かを判定する（Ｓ２１１）。シーン安定の判定処理は、例えば図６及び図７を用いて前述した方法により行う。そして、シーン安定判定部３６５により、シーンが安定したと判定された場合に（Ｓ２１２）、距離変化推定部３６３が撮像部２００と被写体の距離変化を推定する（Ｓ２１３）。なお、この際に、距離変化推定部３６３は、例えばシーン変化を検出したタイミングと、シーン安定を検出したタイミング間での輝度変化や、この間の動きベクトルを使って、距離変化を推定してもよい。さらに、切替制御部３７０が、フォーカス制御モードをＭＦモードからＡＦモードに切り替えて（Ｓ２１４）、ステップＳ２０１に戻る。

一方、シーン変化検出部３６２がシーン変化を検出していない場合（Ｓ２１０）、又はシーン変化は検出されているが、シーン安定判定部３６５によりシーンが安定していないと判定された場合（Ｓ２１２）には、そのままステップＳ２０１に戻る。

４．第２の変形例
４．１．概要
次に、第２の変形例について説明する。前述したように、ＭＦ制御（ＭＦモード）よりもＡＦ制御（ＡＦモード）の方がユーザーの操作負担が軽いため、ＡＦ制御を行う方がユーザーにとっては楽である。しかし、ＡＦ制御で、ユーザーが所望するようにピントを合わせることが出来ない場合には、ＭＦ制御を行った方が上手くピントを合わせることが出来る。

そこで、第２の変形例では、ＡＦ制御により被写体に合焦することが困難であると判定した場合に、ＭＦ制御を行う。

第２の変形例において、シーン状態判定部３６０は、図９に示すように、図３で説明した構成に加えて、合焦困難シーン判定部３６６を含む。

合焦困難シーン判定部３６６は、ＡＦ制御により被写体に合焦することが困難な合焦困難シーンを判定する。そして、フォーカス制御部３１５（切替制御部３７０）は、合焦困難シーン判定部３６６により合焦困難シーンと判定された場合に、ＡＦモードからＭＦモードへの切替制御を行う。

合焦困難シーン判定部３６６は、例えばＡＦ制御時にコントラスト値のピークを検出できない場合や、一定期間、合焦制御が完了しない場合、所定の回数、ＡＦ制御を実行しても合焦制御が完了しない場合などに、合焦困難シーンであると判定する。なお、合焦困難シーン判定部３６６は、コントラスト値により判定する場合には、特徴量算出部３６１からコントラスト値を含む特徴量を取得する。

これにより、ＡＦ制御により被写体に合焦することが困難である場合でも、ユーザーが所望するように被写体に合焦させること等が可能になる。

また、例えばＭＦモードに切り替えられた時に、被写体に全くピントが合わない位置に、フォーカスレンズ２２０を移動させておくと、ユーザーは、多少なりともピントが合う位置を探すことから始める必要がある。これに対し、例えばＭＦモードに切り替えられた時に、多少なりともピントが合う位置に、フォーカスレンズ２２０を移動させておけば、ユーザーはフォーカスレンズ２２０の位置を微調整するだけで済む。

そこで、フォーカス制御部３１５（アクチュエータ制御部３９０）は、合焦困難シーン判定部３６６の判定結果に基づいて、ＡＦモードからＭＦモードへの切替制御が行われた場合に、フォーカスレンズ２２０を所定の位置に移動させる。

ここで、所定の位置は、近点から遠点までバランスよくある程度ピントが合うように、事前に設定された位置であってもよいし、ユーザーが好みに応じて、外部Ｉ／Ｆ部５００を介して設定した任意の位置であってもよい。

これにより、ＭＦ制御によるピント調整作業をユーザーが容易に実施すること等が可能になる。

４．２．処理の詳細
次に、第２の変形例の処理の流れを図１０に示す。図１０において、ステップＳ３０１〜ステップＳ３０４、ステップＳ３１１〜ステップＳ３１５の処理の流れは、それぞれ、前述した図５に示すステップＳ１０１〜ステップＳ１０４、ステップＳ１０８〜ステップＳ１１２の処理の流れと同様であるため、説明を省略する。

第２の変形例では、図１０に示すように、ステップＳ３０４の後に、合焦困難シーン判定部３６６が、前述した合焦困難シーンの判定処理を行う（Ｓ３０５）。そして、合焦困難シーン判定部３６６により、現在のシーンが合焦困難シーンであると判定された場合には（Ｓ３０６）、アクチュエータ制御部３９０が、フォーカスレンズ２２０を所定の位置に移動させる（Ｓ３０７）。さらに、切替制御部３７０が、フォーカス制御モードをＡＦモードからＭＦモードへ切り替えて（Ｓ３１０）、ステップＳ３０１に戻る。なお、ステップＳ３０７とステップＳ３１０の処理は順序が逆であってもよい。

一方、合焦困難シーン判定部３６６により、現在のシーンが合焦困難シーンではないと判定された場合には（Ｓ３０６）、切替制御部３７０が、ユーザーがフォーカスレンズ操作部２１０を操作したか否かの情報を検出する（Ｓ３０８）。そして、ユーザーの操作が検出されたと判定した場合には（Ｓ３０９）、切替制御部３７０がフォーカス制御モードをＡＦモードからＭＦモードに切り替えて（Ｓ３１０）、ステップＳ３０１に戻る。ユーザーの操作が検出されていないと判定した場合には（Ｓ３０９）、直後にステップＳ３０１に戻る。

５．第３の変形例
また、本実施形態では、前述した第１の変形例と第２の変形例を組み合わせることも可能である。

例えばシーン変化を画像の特徴量に基づいて検出する場合には、本実施形態のシーン状態判定部３６０は、特徴量算出部３６１と、シーン変化検出部３６２と、距離変化推定部３６３と、シーン安定判定部３６５と、合焦困難シーン判定部３６６と、を含む。シーン変化検出部３６２、距離変化推定部３６３、シーン安定判定部３６５及び合焦困難シーン判定部３６６は、特徴量算出部３６１から得られる画像の特徴量に基づいて、各種処理を行う。

また、シーン変化を撮像部２００の動きに基づいて検出する場合には、シーン状態判定部３６０は、特徴量算出部３６１と、シーン変化検出部３６２と、距離変化推定部３６３と、動き算出部３６４と、シーン安定判定部３６５と、合焦困難シーン判定部３６６と、を含む。この場合、シーン変化検出部３６２は、動き算出部３６４から得られる撮像部２００の動き量に基づいて、シーン変化を検出する。距離変化推定部３６３は、シーン変化検出部３６２において用いた撮像部２００の動き量に基づいて、被写体と撮像部２００の距離変化を推定する。シーン安定判定部３６５及び合焦困難シーン判定部３６６は、特徴量算出部３６１から得られる画像の特徴量に基づいて、各種処理を行う。

第３の変形例の処理の流れを図１１に示す。図１１に示すステップＳ４０１〜ステップＳ４１０の処理の流れは、前述した図１０に示すステップＳ３０１〜ステップＳ３１０の処理の流れと同様である。また、図１１に示すステップＳ４１１〜ステップＳ４１７の処理の流れは、前述した図８に示すステップＳ２０８〜ステップＳ２１４の処理の流れと同様である。

６．第４の変形例
例えば内視鏡装置を用いて手術を行っている最中では、一度ユーザーが所望するように被写体に合焦した場合には、そのままの状態を維持することが望ましい。突然、ＭＦモードとＡＦモードが切り替わると、一瞬、表示部４００に表示する画像がボヤけたりすることがあるためである。

そこで、本実施形態の撮像装置又は内視鏡装置は、ユーザーによるロック操作を受け付けるロック操作部２６０を含む。そして、フォーカス制御部３１５は、ロック操作部２６０がロック操作を受け付けた場合に、ＭＦモード及びＡＦモードの切替制御処理を停止する。

これにより、ユーザーが意図せず突然に、ＭＦモードとＡＦモードが切り替わることを防ぐこと等が可能になる。

また、ロック操作がされて、ＭＦモード及びＡＦモードの切替制御処理を停止された状態では、ロック操作部２６０は、ユーザーによるロック解除操作を受け付けることができる。そして、フォーカス制御部３１５は、ロック操作部２６０がロック解除操作を受け付けた場合に、ＭＦモード及びＡＦモードの切替制御処理を開始する。

これにより、ＭＦモードとＡＦモードの切り替えが必要になった時に、ユーザーがＭＦモード及びＡＦモードの切替制御処理を再開させること等が可能になる。

ここで、ロック操作部２６０の具体例を図１２（Ａ）〜図１２（Ｄ）に示す。

図１２（Ａ）及び図１２（Ｂ）には、ロック操作部２６０が、撮像部２００の鏡筒の外側に設けられたリングＲＧである場合を例示しており、図１２（Ａ）はその斜視図であり、図１２（Ｂ）は側面図である。図１２（Ａ）及び図１２（Ｂ）の例では、リングＲＧをスラスト（光軸）方向ＹＪ１にスライド、又はラジアル方向（光軸と直角な方向）ＹＪ２に回転することで、フォーカス制御モードの切替制御処理をロック又はロック解除することができる。

なお、図１２（Ａ）及び図１２（Ｂ）では、ロック操作部２６０とフォーカスレンズ操作部２１０が別体となって構成されているが、一体として構成されていてもよい。その場合には、ロック操作部２６０とフォーカスレンズ操作部２１０がリングＲＧであり、リングＲＧをスラスト方向にスライドすることで、フォーカス制御モードの切替制御処理がロック又はロック解除され、リングＲＧをラジアル方向に回転させることでフォーカスレンズ２２０の移動を制御することができる。

また、ロック操作部２６０は、図１２（Ｃ）及び図１２（Ｄ）に示すように、ボタンＢＴであってもよい。図１２（Ｃ）はその斜視図であり、図１２（Ｄ）は側面図である。この場合には、ユーザーがボタンＢＴを押すことで、フォーカス制御モードの切替制御処理をロック又はロック解除することができる。なお、ロック操作部２６０として、ボタンＢＴの代わりにスイッチやレバー等を設けても良いし、フォーカスレンズ操作部２１０のボタンを長押しすることにより、ロック又はロック解除が可能な構成であってもよく、種々の変形実施が可能である。

７．第５の変形例
また、本実施形態の撮像装置又は内視鏡装置は、ＭＦモード及びＡＦモードのうち、設定されているモードを報知するモード報知部２７０を、さらに含む。

モード報知部２７０は、例えば図１３（Ａ）〜図１３（Ｃ）に示すモード表示部である。

図１３（Ａ）の例では、モニター（表示部）４００に撮像画像ＩＭを映しており、設定されているモードを表す画像ＭＩＧを、そのモニター４００の一部に表示する。画像ＭＩＧは、例えば表示画像ＩＭのイメージサークルＩＭＣの外側に表示する。図１３の例では、画像ＭＩＧにより、ＭＦモードに設定されていることが示されている。そして、図１３（Ａ）の例では、モニター４００が、モード報知部２７０に相当する。

また、図１３（Ｂ）の例では、撮像部２００の鏡筒にモニターＭＮが設けられており、そのモニターＭＮの一部に、設定されているモードを示す画像を表示する。図１３（Ｂ）の例では、モニターＭＮがモード報知部２７０に相当する。

さらに、図１３（Ｃ）の例では、撮像部２００の鏡筒にランプＬＴが設けられており、ランプ点灯の有無で、設定されているモードを表す。また、不図示であるが、ＡＦモード時に点灯するランプと、ＭＦモード時に点灯するランプを撮像部２００に設けて、それぞれのランプ点灯の有無で、設定されているモードを表してもよい。図１３（Ｃ）の例では、ランプＬＴがモード報知部２７０に相当する。なお、図１３（Ａ）〜図１３（Ｃ）の例は組み合わせることも可能であり、モード報知部２７０は種々の変形実施が可能である。また、モード報知部２７０は、モード表示部には限定されず、音や振動等によって設定されているモードを報知してもよい。

これにより、設定されているモードをユーザーが確認すること等が可能になる。

さらに、前述した第４の変形例のように、撮像装置又は内視鏡装置がロック操作部２６０を有している場合には、本実施形態の撮像装置又は内視鏡装置は、フォーカス制御モードの切替制御処理のロック状態を表示するロック状態報知部（不図示）をさらに有していても良い。ロック状態報知部は、例えばロック状態表示部である。ロック状態表示部は、前述したモード表示部と共通のモニターやライト等であってもよい。

なお、本実施形態の撮像装置及び内視鏡装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の撮像装置及び内視鏡装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、撮像装置及び内視鏡装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ 硬性鏡、１１０ レンズ系、１２０ ライトガイド部、２００ 撮像部、
２１０ フォーカスレンズ操作部、２２０ フォーカスレンズ、
２３０ フォーカスレンズ駆動部、２４０ 対物レンズ系、２５０ 撮像素子、
２６０ ロック操作部、２７０ モード報知部、３００ 処理部、３１０ ＡＤ変換部、
３１５ フォーカス制御部、３２０ 前処理部、３３０ 画像処理部、
３４０ オートフォーカス制御部（ＡＦ制御部）、
３５０ マニュアルフォーカス制御部（ＭＦ制御部）、３６０ シーン状態判定部、
３６１ 特徴量算出部、３６２ シーン変化検出部、３６３ 距離変化推定部、
３６４ 動き算出部、３６５ シーン安定判定部、３６６ 合焦困難シーン判定部、
３７０ 切替制御部、３８０ 制御部、３９０ アクチュエータ制御部、
４００ 表示部（モニター）、５００ 外部Ｉ／Ｆ部、６００ 光源部、６１０ 白色光源、
６２０ ライトガイドケーブル、７１０ 記憶部、７２０ 操作部

Claims (23)

1. マニュアルフォーカス制御を行うマニュアルフォーカスモードと、オートフォーカス制御を行うオートフォーカスモードとの切替制御処理を行い、撮像部のフォーカスレンズの駆動を制御する処理を行うフォーカス制御部と、
   前記マニュアルフォーカスモード中のシーン変化の検出処理と、前記撮像部と被写体との距離変化を表す距離変化情報の推定処理を行うシーン状態判定部と、
   を含み、
   前記フォーカス制御部は、
   前記マニュアルフォーカスモードでは、フォーカスレンズ操作部を介してユーザーにより入力されたレンズ駆動情報に基づいて、前記フォーカスレンズの駆動を制御し、
   前記シーン状態判定部により前記シーン変化が検出された場合に、前記マニュアルフォーカスモードから前記オートフォーカスモードへの切替制御を行い、
   前記オートフォーカスモードでは、前記マニュアルフォーカスモードにおいて前記シーン状態判定部で推定された前記距離変化情報に基づいて、前記オートフォーカス制御の開始時の初期制御パラメーターとして前記オートフォーカス制御の制御方式を特定し、
   前記距離変化情報とは異なる評価値に基づいて、特定した前記制御方式に従って、前記被写体に合焦するように前記フォーカスレンズの駆動を制御することを特徴とする撮像装置。
2. 請求項１において、
   前記フォーカス制御部は、
   山登り方式、スキャン方式及びウォブリング方式のうちの少なくとも１つを含む複数の 制御方式のうちの１つを選択し、選択した前記制御方式に従って、前記距離変化情報とは 異なる前記評価値に基づいて、前記フォーカスレンズの駆動を制御することを特徴とする 撮像装置。
3. マニュアルフォーカス制御を行うマニュアルフォーカスモードと、オートフォーカス制御を行うオートフォーカスモードとの切替制御処理を行い、撮像部のフォーカスレンズの駆動を制御する処理を行うフォーカス制御部と、
   前記マニュアルフォーカスモード中のシーン変化の検出処理と、前記撮像部と被写体との距離変化を表す距離変化情報の推定処理を行うシーン状態判定部と、
   を含み、
   前記フォーカス制御部は、
   前記マニュアルフォーカスモードでは、フォーカスレンズ操作部を介してユーザーにより入力されたレンズ駆動情報に基づいて、前記フォーカスレンズの駆動を制御し、
   前記シーン状態判定部により前記シーン変化が検出された場合に、前記マニュアルフォーカスモードから前記オートフォーカスモードへの切替制御を行い、
   前記オートフォーカスモードでは、前記マニュアルフォーカスモードにおいて前記シーン状態判定部で推定された前記距離変化情報に基づいて、前記オートフォーカス制御の開始時の初期制御パラメーターを特定し、
   特定した前記初期制御パラメーターに基づいて前記フォーカスレンズを駆動する制御を 行った後、前記距離変化情報とは異なる評価値に基づいて、前記被写体に合焦するように前記フォーカスレンズの駆動を制御することを特徴とする撮像装置。
4. 請求項３において、
   前記フォーカス制御部は、
   前記距離変化情報に基づいて、前記初期制御パラメーターの少なくとも一つのパラメーターとして、前記フォーカスレンズの目標移動方向を特定し、
   特定された前記目標移動方向に前記フォーカスレンズを駆動する制御を行うことを特徴とする撮像装置。
5. 請求項３において、
   前記フォーカス制御部は、
   前記距離変化情報に基づいて、前記初期制御パラメーターの少なくとも一つのパラメーターとして、前記フォーカスレンズの目標移動量を特定し、
   特定された前記目標移動量だけ前記フォーカスレンズを駆動する制御を行うことを特徴とする撮像装置。
6. 請求項３において、
   前記フォーカス制御部は、
   前記距離変化情報に基づいて、前記初期制御パラメーターの少なくとも一つのパラメーターとして、前記フォーカスレンズの目標位置を特定し、
   特定された前記目標位置に前記フォーカスレンズを駆動する制御を行うことを特徴とする撮像装置。
7. 請求項１又は３において、
   前記シーン状態判定部は、
   前記シーン変化の前記検出処理において求めた情報に基づいて、前記距離変化情報の前記推定処理を行うことを特徴とする撮像装置。
8. 請求項１又は３において、
   前記シーン状態判定部は、
   前記シーン変化を検出した場合に、前記シーン変化が検出されるまでの前記マニュアルフォーカスモードにおける所定期間であるシーン変化検出期間における前記距離変化を表す前記距離変化情報を推定することを特徴とする撮像装置。
9. 請求項１又は３において、
   前記シーン状態判定部は、
   前記撮像部が撮像するシーンが安定したか否かを判定するシーン安定判定部を含み、
   前記フォーカス制御部は、
   前記シーン安定判定部により前記シーンが安定したと判定された場合、前記オートフォーカス制御を行うことを特徴とする撮像装置。
10. 請求項９において、
    前記シーン安定判定部は、
    前記シーン状態判定部が前記シーン変化を検出した後に、前記シーンが安定したか否かを判定することを特徴とする撮像装置。
11. 請求項１又は３において、
    前記ユーザーによるロック操作を受け付けるロック操作部を含み、
    前記フォーカス制御部は、
    前記ロック操作部が前記ロック操作を受け付けた場合に、前記マニュアルフォーカスモード及び前記オートフォーカスモードの前記切替制御処理を停止させることを特徴とする撮像装置。
12. 請求項１又は３において、
    前記シーン状態判定部は、
    前記撮像部により撮像された撮像画像の特徴量の変化量に基づいて、前記シーン変化の前記検出処理及び前記距離変化情報の前記推定処理を行うことを特徴とする撮像装置。
13. 請求項１２において、
    前記シーン状態判定部は、
    前記撮像画像の前記特徴量の前記変化量が、所与の時間以上、連続して所与の閾値を超えた場合に、前記シーン変化があったと判定することを特徴とする撮像装置。
14. 請求項１２において、
    前記シーン状態判定部は、
    前記撮像画像の前記特徴量である輝度の変化量に基づいて、前記シーン変化の前記検出処理及び前記距離変化情報の前記推定処理を行うことを特徴とする撮像装置。
15. 請求項１又は３において、
    前記シーン状態判定部は、
    前記撮像部の動きに基づいて、前記シーン変化の前記検出処理及び前記距離変化情報の前記推定処理を行うことを特徴とする撮像装置。
16. 請求項１５において、
    前記シーン状態判定部は、
    推定された前記距離変化情報により表される距離変化量が、所与の時間以上、連続して所与の閾値を超えた場合に、前記シーン変化があったと判定することを特徴とする撮像装置。
17. 請求項１５において、
    前記シーン状態判定部は、
    推定された前記距離変化情報により表される距離変化量の積分値が、所与の閾値を越えたと判定した場合に、前記シーン変化があったと判定することを特徴とする撮像装置。
18. 請求項１又は３において、
    前記シーン状態判定部は、
    前記オートフォーカス制御により前記被写体に合焦することが困難な合焦困難シーンを判定する合焦困難シーン判定部を含み、
    前記フォーカス制御部は、
    前記合焦困難シーン判定部により前記合焦困難シーンと判定された場合に、前記オートフォーカスモードから前記マニュアルフォーカスモードへの前記切替制御を行うことを特徴とする撮像装置。
19. 請求項１８において、
    前記フォーカス制御部は、
    前記合焦困難シーン判定部の判定結果に基づいて、前記オートフォーカスモードから前記マニュアルフォーカスモードへの前記切替制御が行われた場合に、前記フォーカスレンズを所定の位置に移動させることを特徴とする撮像装置。
20. 請求項１又は３において、
    前記マニュアルフォーカスモード及び前記オートフォーカスモードのうち、設定されているモードを報知するモード報知部を、さらに含むことを特徴とする撮像装置。
21. 請求項１又は３に記載された撮像装置を含むことを特徴とする内視鏡装置。
22. マニュアルフォーカス制御を行うマニュアルフォーカスモードと、オートフォーカス制御を行うオートフォーカスモードとの切替制御処理を行い、
    撮像部のフォーカスレンズの駆動を制御する処理を行い、
    前記マニュアルフォーカスモード中のシーン変化の検出処理を行い、
    前記撮像部と被写体との距離変化を表す距離変化情報の推定処理を行い、
    前記マニュアルフォーカスモードでは、フォーカスレンズ操作部を介してユーザーにより入力されたレンズ駆動情報に基づいて、前記フォーカスレンズの駆動を制御し、
    前記シーン変化が検出された場合に、前記マニュアルフォーカスモードから前記オートフォーカスモードへの切替制御を行い、
    前記オートフォーカスモードでは、前記マニュアルフォーカスモードにおいて推定した前記距離変化情報に基づいて、前記オートフォーカス制御の開始時の初期制御パラメーターとして前記オートフォーカス制御の制御方式を特定し、
    前記距離変化情報とは異なる評価値に基づいて、特定した前記制御方式に従って、前記被写体に合焦するように前記フォーカスレンズの駆動を制御することを特徴とする撮像装置の作動方法。
23. マニュアルフォーカス制御を行うマニュアルフォーカスモードと、オートフォーカス制御を行うオートフォーカスモードとの切替制御処理を行い、
    撮像部のフォーカスレンズの駆動を制御する処理を行い、
    前記マニュアルフォーカスモード中のシーン変化の検出処理を行い、
    前記撮像部と被写体との距離変化を表す距離変化情報の推定処理を行い、
    前記マニュアルフォーカスモードでは、フォーカスレンズ操作部を介してユーザーにより入力されたレンズ駆動情報に基づいて、前記フォーカスレンズの駆動を制御し、
    前記シーン変化が検出された場合に、前記マニュアルフォーカスモードから前記オートフォーカスモードへの切替制御を行い、
    前記オートフォーカスモードでは、前記マニュアルフォーカスモードにおいて推定した前記距離変化情報に基づいて、前記オートフォーカス制御の開始時の初期制御パラメーターを特定し、特定した前記初期制御パラメーターに基づいて前記フォーカスレンズを駆動 する制御を行った後、前記距離変化情報とは異なる評価値に基づいて、前記被写体に合焦するように前記フォーカスレンズの駆動を制御することを特徴とする撮像装置の作動方法。