JP6841932B2 - 内視鏡装置及び内視鏡装置の作動方法 - Google Patents

Description

本発明は、内視鏡装置及び内視鏡装置の作動方法等に関する。

内視鏡装置（内視鏡システム）においては、ユーザが行う診断や処置に支障をきたさないように、可能な限り深い被写界深度が要求される。しかし近年では、内視鏡装置において多画素数の撮像素子が使用され、それに伴って被写界深度が浅くなってきている。

撮像装置において浅い被写界深度を補う技術として、被写界深度を拡大するＥＤＯＦ（Extended Depth Of Field）技術の導入が提案されている。例えば特許文献１には、マシンビジョンにおけるＥＤＯＦ技術が開示されている。特許文献１では、正弦波的にフォーカス位置を変化させ、複数のピーク位置の各々で画像を撮影する。そして、その複数の画像からフォーカスが合った領域を合成することにより、被写界深度を拡大する。

特開２０１７−４９２４９号公報

内視鏡装置では、診断や処置に適した明るさの画像をユーザに提示するため、画像の明るさを随時に調整する。例えば、内視鏡装置は、被写体に照射する照明光の光量を随時に調整する（以下、調光と呼ぶ）機能を有している。内視鏡装置にＥＤＯＦを採用した場合、上記のような画像の明るさの調整を行った画像をＥＤＯＦにより合成することになり、合成される画像の間に明るさのレベル差が存在する可能性がある。その場合、合成後の画像において実際の被写体には存在しないアーティファクト（例えば明るさムラ）を発生させる場合がある。

本発明の幾つかの態様によれば、適切な明るさの画像をユーザに提示しながらＥＤＯＦにおけるアーティファクトの発生を低減できる内視鏡装置及び内視鏡装置の作動方法等を提供できる。

本発明の一態様は、照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、前記撮像素子により順次に撮像された画像を取得する画像取得部と、前記画像取得部により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部と、を含み、前記フォーカス制御部は、前記Ｎフレームの画像の各画像が撮像されるタイミングにおいて前記フォーカス位置が異なるように、前記フォーカス位置を制御し、前記画像合成部は、前記照明光の発光量が一定に制御された前記Ｎフレームの画像、又は画像の明るさが一定となるように補正処理された前記Ｎフレームの画像を前記深度拡大画像に合成する内視鏡装置に関係する。

本発明の一態様によれば、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像が、１フレームの深度拡大画像に合成される。これにより、合成後の画像において実際の被写体には存在しないアーティファクトの発生を抑制できる。即ち、適切な明るさの画像をユーザに提示しながらＥＤＯＦにおけるアーティファクトの発生を低減できる。

また本発明の一態様は、照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、前記撮像素子により順次に撮像された画像を取得する画像取得部と、前記画像取得部により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部と、前記照明光を制御する照明制御部と、を含み、前記フォーカス制御部は、前記Ｎフレームの画像の各画像が撮像されるタイミングにおいて前記フォーカス位置が異なるように、前記フォーカス位置を制御し、前記画像合成部は、第１のＮフレームの画像を第１の深度拡大画像に合成し、前記第１のＮフレームの画像より後に撮像された第２のＮフレームの画像を第２の深度拡大画像に合成し、前記照明制御部は、前記第１のＮフレームの画像が撮像される期間と前記第２のＮフレームの画像が撮像される期間との間に、前記照明光の発光量を変化させる内視鏡装置に関係する。

また本発明の他の態様は、Ｎフレーム（Ｎは２以上の整数）の画像の各画像が撮像されるタイミングにおいて対物光学系のフォーカス位置が異なるように、前記フォーカス位置を制御し、撮像素子により撮像された前記Ｎフレームの画像を取得し、照明光の発光量が一定に制御された、又は画像の明るさが一定となるように補正処理された前記Ｎフレームの画像を、１フレームの深度拡大画像に合成する内視鏡装置の作動方法に関係する。

調光制御とＥＤＯＦを組み合わせた場合のアーティファクトの発生を説明する図。 本実施形態の内視鏡装置の構成例。 本実施形態の内視鏡装置の動作を説明する図。 内視鏡装置の詳細な構成例。 詳細な構成例の内視鏡装置の動作を説明する図。 フォーカス位置の変化パターンの第１の例。 フォーカス位置の変化パターンの第２の例。 フォーカス位置の変化パターンの第３の例。 フォーカス位置の変化パターンの第４の例。 発光量の制御手法の第１の例。 発光量の制御手法の第２の例。 フォーカス位置と発光タイミングの同期制御を説明する図。 撮像素子の露光と照明部の発光の同期制御を説明する図。 発光期間の中央とフォーカス位置が停止するタイミングが一致しない場合の動作を説明する図。 パルス発光を行う際の、フォーカス位置と発光タイミングの同期制御を説明する図。 画像合成部の詳細な構成例。 画像処理による明るさ補正を行う場合の合成出力部の詳細な構成例。 制御部の詳細な構成例。 手術支援システムの構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．内視鏡装置
図１は、調光制御とＥＤＯＦを組み合わせた場合のアーティファクトの発生を説明する図である。

図１に示すように、フレームＦ１、Ｆ２、Ｆ３、Ｆ４において、それぞれフォーカス位置ＰＡ、ＰＢ、ＰＡ、ＰＢで画像が撮像される。フォーカス位置ＰＡ、ＰＢは互いに異なるフォーカス位置である。フォーカス位置ＰＡでは、点線で示す円の内側が合焦しており、フォーカス位置ＰＢでは、円の外側が合焦しているとする。この場合、フォーカス位置ＰＡで撮像された画像の円の内側と、フォーカス位置ＰＢで撮像された画像の円の外側とが合成され、深度拡大画像が生成される。なお、点線は便宜的に示すものであり、実際には存在しない。

フレームＦ１、Ｆ２において照明光の発光量（画像の明るさ）が変化しなかった場合、合成の境界である円の内外で明るさの差がないので、深度拡大画像に明るさムラが発生しにくい。一方、フレームＦ３、Ｆ４において調光により照明光の発光量が変化した場合、合成の境界である円の内外で明るさの差が発生し、明るさムラが深度拡大画像に発生する。この明るさムラは、実際の被写体には存在しないものであり、アーティファクトとして見えるおそれがある。

図２は、本実施形態の内視鏡装置の構成例である。内視鏡装置は、撮像部２００（撮像装置）と処理部３００（制御装置）とを含む。

撮像部２００は、照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系（光学装置）と、撮像素子と、を含む。処理部３００は、対物光学系のフォーカス位置を制御するフォーカス制御部３５０と、撮像素子により順次に撮像された画像を取得する画像取得部３９０と、画像取得部３９０により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部３３０と、を含む。そして、フォーカス制御部３５０は、Ｎフレームの画像の各画像が撮像されるタイミングにおいてフォーカス位置が異なるように、フォーカス位置を制御する。画像合成部３３０は、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する。

例えば、図５等で後述するように、フォーカス制御部３５０が、画像ＩＡ１、ＩＡ２を撮像するタイミングにおいて、互い異なるフォーカス位置ＰＡ、ＰＢにフォーカス位置を設定する。そして画像合成部３３０が、２フレーム（Ｎ＝２）の画像ＩＡ１、ＩＡ２を１フレームの深度拡大画像ＥＩＡに合成する。或いは、図９で後述するように、フォーカス制御部３５０が、互い異なるフォーカス位置ＰＥ、ＰＦ、ＰＧにフォーカス位置を設定する。画像合成部３３０は、フォーカス位置ＰＥ、ＰＦ、ＰＧで撮像された３フレーム（Ｎ＝３）の画像を１フレームの深度拡大画像に合成する。なお、Ｎは２又は３に限定されない。

図１０等で後述するように、Ｎフレームの画像（例えばＩＡ１、ＩＡ２）の各画像を撮像する際の照明光の発光量は、同一の発光量となるように制御される。あるＮフレームの画像（例えばＩＡ１、ＩＡ２）を撮像する際の発光量と、別のＮフレームの画像（例えばＩＢ１、ＩＢ２）を撮像する際の発光量とは、異なっていてもよい。或いは、図１７で後述するように、Ｎフレームの画像の各画像の明るさが同一となるように、画像処理により画像の明るさが補正処理されてもよい。画像の明るさは、例えば輝度値やＧ画素値で表され、例えば輝度画像やＧ画像をフィルタ処理（平滑化処理）した画像の画素値で表される。即ち、画像の各局所領域（例えば各画素）において、その局所領域の明るさがＮフレームの画像の各画像で同一となるように補正処理される。

本実施形態によれば、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像が深度拡大画像に合成されるので、深度拡大画像におけるアーティファクトの発生を抑制できる。例えば、図３に示すように、１フレームの深度拡大画像として合成されるフレームＦ１、Ｆ２の画像では、照明光の発光量又は画像の明るさが同一である。同様に、１フレームの深度拡大画像として合成されるフレームＦ３、Ｆ４の画像では、照明光の発光量又は画像の明るさが同一である。これにより、合成の境界である円（点線）の内外で明るさの差が発生せず、明るさムラが深度拡大画像に発生しない。

ここで、フォーカス位置とは、被写体側においてフォーカスが合う位置（合焦面の位置、或いは合焦面と光軸の交点の位置）である。具体的には、撮像部の基準位置（例えば撮像素子又は対物レンズ先端の位置）から、被写体側においてフォーカスが合う位置（合焦面の位置）までの距離で表される。対物レンズ系においてフォーカスレンズ（フォーカス調整を行うレンズ）を動かすことでフォーカス位置が調整される。即ち、フォーカス位置とフォーカスレンズの位置は、互いに対応付けられている。

また、深度拡大画像とは、互いにフォーカス位置が異なる複数の画像に基づいて被写界深度が疑似的に拡大された画像である。例えば、画像の各局所領域（例えば各画素）において、Ｎフレームの画像の中から、その局所領域での合焦度合いが最も高い画像を選択し、その選択した各局所領域の画像で深度拡大画像を構成する。１フレームの深度拡大画像に合成されるＮフレームの画像は、撮像素子により順次に（連続したＮフレームで）撮像された画像である。

また、照明光の発光量とは、撮像素子の１回の露光期間における総発光量である。総発光量は、発光量の時間変化を露光期間において時間で積分した値に相当する。総発光量は、発光期間や単位時間あたりの発光量で制御される。或いは、パルス発光の場合には、パルス数や、各パルスの発光量で総発光量が制御される。

また本実施形態では、画像合成部３３０が、照明光の発光量が一定に制御されたＮフレームの画像を深度拡大画像に合成する場合において、内視鏡装置が照明制御部（図４の照明制御部３６０）を含む。照明制御部は、深度拡大画像の明るさ調整のための照明光の制御を行うと共に、Ｎフレームの画像が撮像される間は発光量を一定にする。

具体的には、照明制御部は、深度拡大画像の明るさが適正になるように照明光（発光量）を制御する。例えば、深度拡大画像の明るさが一定に維持されるように、或いは深度拡大画像の明るさの変化が（調光しない場合に比べて）低減されるように、照明光を制御する。また、照明制御部は、Ｎフレームの画像が撮像される間は照明光の発光量を維持し（変化させず）、Ｎフレームの画像の撮像が終了した後、次のＮフレームの画像の撮像が開始される前に、照明光の発光量を変化させる。このようにして、Ｎフレームの画像が撮像される間の発光量を一定にする。

例えば、図５等で後述するように、撮像素子は、深度拡大画像のフレームレートのＮ倍のフレームレートで撮像を行う。この場合、深度拡大画像に合成されるＮフレームの画像と、次の深度拡大画像に合成されるＮフレームの画像とが重複しない。例えば、全てのＮフレームの画像の各々について、照明光の発光量を一定にすることが可能である。なお、これに限定されず、一部のＮフレームの画像の各々について、照明光の発光量が一定になっていなくてもよい。即ち、照明光の発光量が一定に制御されたＮフレームの画像が存在していればよい。例えば、照明光の発光量が一定になっていないＮフレームの画像では、後述する補正処理により画像の明るさを一定にしてもよい。また、撮像素子が撮像するフレームレートが、深度拡大画像のフレームレートのＮ倍でなくてもよい。

本実施形態によれば、照明制御部が、Ｎフレームの画像が撮像される間は発光量を一定にすることで、画像合成部３３０が、照明光の発光量が一定に制御されたＮフレームの画像を深度拡大画像に合成できる。これにより、深度拡大画像におけるアーティファクトの発生を抑制できる。

また本実施形態では、照明制御部は、フォーカス位置が停止するタイミングを含む発光期間において照明光を発光する制御を行う。

例えば、図１２で後述するように、フォーカス位置が停止するタイミング（例えばｔａ１）と発光期間（ＴＬＡ１）の中央とが一致する。発光期間の中央は、発光期間が開始してから、発光期間の長さの１／２が経過したタイミングである。

本実施形態によれば、フォーカス位置が停止するタイミングを含む発光期間において照明光を発光させることで、発光期間におけるフォーカス位置の変化を小さくできる。内視鏡装置において、発光期間は実質的な撮像期間である。発光期間においてフォーカス位置が変化すると画質が低下するおそれがあるが、本実施形態によれば画質低下を抑制できる。

また本実施形態では、フォーカス制御部３５０は、第１のフォーカス位置と、第１のフォーカス位置とは異なる第２のフォーカス位置との間でフォーカス位置を往復させる。照明制御部は、フォーカス位置が第１のフォーカス位置となるタイミングを含む第１の発光期間と、フォーカス位置が第２のフォーカス位置となるタイミングを含む第２の発光期間とにおいて、照明光を照射する制御を行う。画像合成部３３０は、第１の発光期間で撮像された画像と第２の発光期間で撮像された画像とを含むＮフレームの画像を深度拡大画像に合成する。

例えば、図１２の例では、第１のフォーカス位置はＰＡであり、第１の発光期間はＴＬＡ１であり、第２のフォーカス位置はＰＢであり、第２の発光期間はＴＬＡ２である。そして、第１の発光期間ＴＬＡ１で撮像された画像ＩＡ１と第２の発光期間ＴＬＡ２で撮像された画像ＩＡ２が深度拡大画像ＥＩＡに合成される。なお、更に異なるフォーカス位置で画像が撮像され、その画像を含む３フレーム以上の画像が深度拡大画像に合成されてもよい。

本実施形態によれば、第１、第２のフォーカス位置は往復の折り返し位置となるので、フォーカス位置が第１、第２のフォーカス位置となるタイミングは、フォーカス位置が停止するタイミングである。これにより、第１、第２の発光期間は、フォーカス位置が停止するタイミングを含む発光期間となる。また、フォーカス位置を第１、第２のフォーカス位置の間で往復させることで、第１、第２のフォーカス位置で撮像された画像が順次に得られ、動画として撮像できる。そして、順次に深度拡大画像を合成することで、深度拡大画像による動画をユーザに提示できる。また、往復の折り返し点である第１、第２のフォーカス位置で撮像することで、最もフォーカス位置が離れた２つのフォーカス位置で撮像でき、効率的に深度を拡大できる。また、図５で後述するように、第１のフォーカス位置における被写体深度と第２のフォーカス位置における被写体深度とが連続していることが、より好適である。２つの被写体深度が連続していることで、第１、第２のフォーカス位置で撮像した画像を合成した際に、更に効率的に深度を拡大できる。

また本実施形態では、撮像素子は、ローリングシャッタ方式で画像を撮像してもよい。照明制御部は、撮像素子の有効画素領域の全ライン（全走査線、全画素）が露光状態となっている全画素露光期間において照明光を発光する制御を行う。

例えば、図１３で後述するように、全画素露光期間の中央と発光期間の中央とが一致する。全画素露光期間の中央は、全画素露光期間が開始してから、全画素露光期間の長さの１／２が経過したタイミングである。

本実施形態によれば、撮像素子の有効画素領域の全ラインが露光状態となっている全画素露光期間において被写体を撮像できる。これにより、ローリングシャッタ歪み（動く被写体をローリングシャッタ方式で撮像したときに生じる画像の歪み）を回避できる。

ここで、有効画素領域とは、撮像素子の画素アレイのうち、画像データとして用いられる（又は表示画像として表示される）画素の領域である。有効画素領域は、撮像素子の画素アレイの全体であってもよいし、一部であってもよい。例えば、撮像素子の画素アレイには、画像データとして用いられない（又は表示画像として表示されない）ダミー画素が設けられる場合がある。この場合、有効画素領域は、画素アレイからダミー画素を除いた有効画素の領域である。

また本実施形態では、照明制御部は、照明光の発光期間の長さを制御することで、画像が撮像される際の総発光量を制御する。

例えば、図１０で後述するように、単位時間あたりの発光量を変化させず、発光期間の長さ（１つの露光期間における発光期間の長さ）を変化させることで、総発光量を制御する。このとき、１フレームの深度拡大画像に合成されるＮフレームの画像（例えばＩＡ１、ＩＡ２）が撮像される際の発光期間の長さ（ＴＬＡ）は一定である。なお、発光期間の長さ及び単位時間あたりの発光量の両方を制御して、総発光量を制御してもよい。

本実施形態によれば、照明光の発光期間の長さを制御することで、画像が撮像される際の総発光量を制御できる。即ち、照明光の発光期間を長くするほど総発光量を大きくできる。また、照明光の発光期間の長さを制御することで、１フレームの深度拡大画像に合成されるＮフレームの画像が撮像される際の総発光量を一定に制御できる。

また本実施形態では、照明制御部は、照明光の単位時間当たりの発光量を制御することで、画像が撮像される際の総発光量を制御してもよい。

例えば、図１１で後述するように、発光期間の長さを変化させず、単位時間あたりの発光量を変化させることで、総発光量を制御する。このとき、１フレームの深度拡大画像に合成されるＮフレームの画像（例えばＩＡ１、ＩＡ２）が撮像される際の単位時間あたりの発光量（ＬＡＡ）は一定である。

本実施形態によれば、照明光の単位時間あたりの発光量を制御することで、画像が撮像される際の総発光量を制御できる。即ち、単位時間あたりの発光量を大きくするほど総発光量を大きくできる。また、単位時間あたりの発光量を制御することで、１フレームの深度拡大画像に合成されるＮフレームの画像が撮像される際の総発光量を一定に制御できる。

また本実施形態では、照明制御部は、撮像素子の露光期間の中央と発光期間の中央とが一致する発光期間において、照明光を発光させる制御を行う。

動画撮影において露光期間は所与の周期で繰り返される。この露光期間の中央と発光期間の中央を一致させることで、周期的に変化するフォーカス位置と発光期間の同期制御を簡素化できる。例えば露光期間の周期とフォーカス位置変化の周期を整数比に設定することで、フォーカス位置変化の所与の位相（例えばフォーカス位置が停止するタイミング）と露光期間の中央とを一致させることができる。そして、露光期間の中央と発光期間の中央を一致させることで、フォーカス位置変化の所与の位相での画像を撮像できる。例えば、発光期間の長さを変化させる場合、露光期間の中央と発光期間の中央を一致させておけば、フォーカス位置変化の位相と発光期間の中央の関係が変化しない。

ここで、露光期間とは、撮像素子の画素が電荷を蓄積可能な状態（露光状態）となっている期間である。図５で後述するようなグローバルシャッタ方式では、撮像素子の全画素（有効画素領域の全ライン）が同時に露光を開始し、同時に露光を停止する。この場合、その露光開始から露光停止までの期間が露光期間である。露光期間の中央とは、露光期間が開始してから、露光期間の長さの１／２が経過したタイミングである。

また本実施形態では、照明制御部は、撮像素子の露光期間において照明光を複数回パルス発光させる。このとき、パルス発光の総発光量の重心と、フォーカス位置が停止するタイミングとが一致する。

具体的には、露光期間のうちフォーカス位置が停止するタイミングより前の期間におけるパルス発光の総発光量と、露光期間のうちフォーカス位置が停止するタイミングより後の期間におけるパルス発光の総発光量とが一致してもよい。即ち、フォーカス位置が停止するタイミングより前のパルスの発光量の積算値と、フォーカス位置が停止するタイミングより後のパルスの発光量の積算値とが、一致していればよい。

例えば、図１５で後述するように、各パルスの発光量が同一であり、パルスの発光間隔が一定である場合、フォーカス位置が停止するタイミング（例えばｔａ１）より前のパルス数（２回）と、フォーカス位置が停止するタイミングより後のパルス数（２回）とが同一である。

本実施形態によれば、照明光がパルス発光である場合においても、フォーカス位置が停止するタイミングでの画像を取得できる。即ち、パルス発光開始から停止するまでの期間を撮影期間と考えれば、フォーカス位置が停止するタイミングを含む撮影期間での画像を取得できる。

また本実施形態では、画像合成部３３０は、第１のＮフレームの画像を第１の深度拡大画像に合成し、第１のＮフレームの画像より後に撮像された第２のＮフレームの画像を第２の深度拡大画像に合成する。照明制御部は、第１のＮフレームの画像が撮像される期間と第２のＮフレームの画像が撮像される期間との間に、照明光の発光量を変化させる。

例えば、図１０の例では、第１のＮフレームの画像は画像ＩＡ１、ＩＡ２であり、第１の深度拡大画像はＥＩＡであり、第２のＮフレームの画像は画像ＩＢ１、ＩＢ２であり、第２の深度拡大画像はＥＩＢである。そして、画像ＩＡ２の露光期間（又は発光期間）が終了した後、画像ＩＢ２の露光期間（又は発光期間）が開始する前に、照明光の発光量を変化させる。図１０の例では、発光期間をＴＬＡからＴＬＢに変化させている。なお、図１１のように単位時間あたりの発光量をＬＡＡからＬＡＢに変化させてもよい。

本実施形態によれば、第１のＮフレームの画像が撮像される期間と第２のＮフレームの画像が撮像される期間との間に、照明光の発光量を変化させることで、第１のＮフレームの画像が撮像される間では発光量を第１の発光量に維持し、第２のＮフレームの画像が撮像される間では発光量を第２の発光量に維持できる。これにより、１フレームの深度拡大画像に合成されるＮフレームの画像が撮像される間は照明光の発光量を一定にできる。

また本実施形態では、画像合成部３３０が、画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する場合において、内視鏡装置が、撮像素子により撮像される画像の明るさ調整のための照明光の制御を行う照明制御部を含む。そして、画像合成部が、Ｎフレームの画像の各画像の明るさが一定となるように補正処理を行い、その補正処理されたＮフレームの画像を深度拡大画像に合成する。

照明制御部により照明光が制御された場合、１フレームの深度拡大画像に合成されるＮフレームの画像の明るさが異なる場合がある。本実施形態では、Ｎフレームの画像の各画像の明るさが一定となるように補正処理を行うことで、１フレームの深度拡大画像に合成されるＮフレームの画像の明るさを一定にできる。これにより、深度拡大画像におけるアーティファクト（明るさムラ）の発生を抑制できる。

なお、図５等では、深度拡大画像のフレームレート（例えば６０ｆｐｓ）のＮ倍のフレームレート（例えばＮ＝２の場合、１２０ｆｐｓ）で撮像素子が撮像する場合を例に説明しているが、これに限定されない。例えば、深度拡大画像のフレームレートと同じフレームレートで撮像素子が撮像を行ってもよい。この場合、深度拡大画像に合成されるＮフレームの画像は重複する。例えば、図５の例では、画像ＩＡ１、ＩＡ２から第１の深度拡大画像を合成し、画像ＩＡ２、ＩＢ１から第２の深度拡大画像を合成し、画像ＩＢ１、ＩＢ２から第３の深度拡大画像を合成する。そうすると、撮像のフレームレート（１２０ｆｐｓ）と同じフレームレートの深度拡大画像が得られる。例えば、画像ＩＡ２とＩＢ１の間で調光を行うと、第２の深度拡大画像では明るさが異なる画像が合成されることになる。このとき、上述した画像処理により画像の明るさを補正処理することで、画像ＩＡ２とＩＢ１の明るさを揃え、第２の深度拡大画像を合成すればよい。

なお、本実施形態の内視鏡装置は以下のように構成されてもよい。即ち、本実施形態の内視鏡装置は、情報（例えばプログラムや各種のデータ）を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサ（ハードウェアを含むプロセッサ）と、を含む。プロセッサは、対物光学系のフォーカス位置を制御するフォーカス制御処理と、撮像素子により順次に撮像された画像を取得する画像取得処理と、Ｎフレームの画像を１フレームの深度拡大画像に合成する画像合成処理と、を実行する。そして、フォーカス制御処理は、Ｎフレームの画像の各画像が撮像されるタイミングにおいてフォーカス位置が異なるように、フォーカス位置を制御する。画像合成処理は、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する。

プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することができる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、内視鏡装置の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。内視鏡装置の各部は、例えば図２の処理部３００の各部（画像取得部３９０、画像合成部３３０、フォーカス制御部３５０）である。或いは、図４の処理部３００の各部（画像合成部３３０、フォーカス制御部３５０、前処理部３１０、制御部３４０、照明制御部３６０）である。

また、本実施形態の内視鏡装置の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、フォーカス制御部３５０は、対物光学系のフォーカス位置を制御するフォーカス制御モジュールとじて実現される。同様に、画像取得部３９０は、撮像素子により順次に撮像された画像を取得する画像取得モジュールとじて実現される。画像合成部３３０は、Ｎフレームの画像を１フレームの深度拡大画像に合成する画像合成モジュールとじて実現される。そして、フォーカス制御モジュールは、Ｎフレームの画像の各画像が撮像されるタイミングにおいてフォーカス位置が異なるように、フォーカス位置を制御する。画像合成モジュールは、照明光の発光量が一定に制御されたＮフレームの画像、又は画像の明るさが一定となるように補正処理されたＮフレームの画像を深度拡大画像に合成する。

また、本実施形態の内視鏡装置の各部が行う処理を実現するプログラムは、例えばコンピュータにより読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリー（ＲＯＭ）などにより実現できる。内視鏡装置（処理部３００）は、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体には、本実施形態の内視鏡装置の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

２．詳細な構成例
図４は、内視鏡装置の詳細な構成例である。内視鏡装置は、挿入部１００（スコープ）と処理部３００（制御装置、処理装置）と表示部４００（表示装置）と外部Ｉ／Ｆ部５００（インターフェース、操作部、操作装置）と照明部６００（照明装置、光源）とを含む。内視鏡装置としては、例えば消化管等に用いられる軟性鏡や、腹腔鏡等に用いられる硬性鏡を想定できる。

挿入部１００は、体内へ挿入される部分である。挿入部１００は、ライトガイド部１１０（ライトガイド）と撮像部２００（撮像装置）とを含む。

ライトガイド部１１０は、照明部６００からの出射光を、挿入部１００の先端まで導光する。照明部６００は、例えば白色光源６１０（例えばＬＥＤや、キセノンランプ）を含み、白色光の照明光を出射する。なお、照明光は白色光に限定されず、内視鏡装置に用いられる種々の帯域の照明光を採用できる。

撮像部２００は、被写体からの反射光を結像し、被写体の画像を撮像する。撮像部２００は、対物レンズ系２１０（対物レンズ）と撮像素子２２０（イメージセンサ）とＡ／Ｄ変換部２３０（Ａ／Ｄ変換回路）とを含む。

対物レンズ系２１０は、ライトガイド部１１０からの出射光が照射された被写体から反射した反射光を、被写体像として結像する。対物レンズ系２１０のフォーカス位置は変更可能であり、後述するフォーカス制御部３５０によって制御されている。

撮像素子２２０は、対物レンズ系２１０により結像された被写体像を光電変換して画像を撮像（生成）する。Ａ／Ｄ変換部２３０は、撮像素子２２０から順次出力されるアナログ信号をデジタルの画像に変換し、そのデジタルの画像を前処理部３１０に順次出力する。具体的には、撮像素子２２０により被写体の動画が撮像される。その動画の各フレームの画像がＡ／Ｄ変換され、デジタルの画像として前処理部３１０に出力される。

処理部３００は、画像処理を含む信号処理や、内視鏡装置の制御を行う。処理部３００は、前処理部３１０（前処理回路）と、フレームメモリ部３２０（メモリ）と、画像合成部３３０（画像合成回路）と、制御部３４０（制御回路、コントローラ）と、フォーカス制御部３５０（フォーカス位置制御部、フォーカス制御回路、フォーカスコントローラ）と、照明制御部３６０（照明制御回路、照明コントローラ）と、を含む。

前処理部３１０は、Ａ／Ｄ変換部２３０から順次出力された画像に対して、ホワイトバランス処理や補間処理（デモザイキング処理）等の画像処理を施し、その処理後の画像をフレームメモリ部３２０と画像合成部３３０に順次出力する。なお、図４では前処理部３１０が図２の画像取得部３９０に相当する。

フレームメモリ部３２０は、前処理部３１０から出力された画像を少なくとも１フレーム（１又は複数のフレーム）格納する。格納された画像は、画像合成部３３０に出力される。深度拡大画像に合成される画像のフレーム数をＮとして、フレームメモリ部３２０に格納される画像のフレーム数はＮ−１である。

画像合成部３３０は、フレームメモリ部３２０に格納された１フレーム以上の画像と、前処理部３１０から出力される画像とを、１フレームの深度拡大画像に合成し、その深度拡大画像を出力する。即ち、深度拡大画像の各局所領域について、Ｎフレームの画像のうち最もフォーカスが合っている画像の局所領域を選択し、１フレームの深度拡大画像を生成する。撮像素子２２０により撮像される動画のフレームから順次に深度拡大画像を合成することで、深度拡大画像をフレーム画像とする動画が得られる。

制御部３４０は、撮像素子２２０、前処理部３１０、フレームメモリ部３２０、画像合成部３３０、フォーカス制御部３５０及び照明制御部３６０と双方向に接続しており、これらを制御する。例えば、制御部３４０は、撮像素子２２０の露光期間とフォーカス位置（フォーカス制御部３５０から出力するフォーカス制御信号）と発光期間（照明制御部３６０から出力する照明制御信号）の同期を制御する。同期制御の詳細は後述する。

フォーカス制御部３５０は、対物レンズ系２１０のフォーカス位置を制御するフォーカス制御信号を出力する。具体的には、所定のフォーカス位置の範囲を所定の周期で往復するように対物レンズ系２１０のフォーカス位置を動かす。フォーカス位置の制御の詳細は後述する。互いにフォーカス位置が異なる複数のタイミング（Ｎフレーム）で画像が撮像され、これらＮフレームの画像を画像合成部３３０で１フレームに合成することで、被写界深度を拡大した深度拡大画像が得られる。

照明制御部３６０は、照明部６００が発光する発光量を制御する照明制御信号を出力する。具体的には、発光期間及び単位時間あたりの発光量を制御し、撮像素子２２０の１回の露光期間における総発光量を制御する。本実施形態では、深度拡大画像に合成されるＮフレームの画像を撮像している間は、各露光期間での発光量を変化させない（各露光期間での発光量を同一にする）。発光量の制御の詳細は後述する。

表示部４００は、画像合成部３３０から出力される深度拡大画像を順次表示する。即ち、深度拡大画像をフレーム画像とする動画を表示する。表示部４００は、例えば液晶ディスプレイやＥＬディスプレイ等である。

外部Ｉ／Ｆ部５００は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースである。即ち、内視鏡装置を操作するためのインターフェース、或いは内視鏡装置の動作設定を行うためのインターフェース等である。例えば、画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。

以下、本実施形態の内視鏡装置の動作について説明する。図５は、詳細な構成例の内視鏡装置の動作を説明する図である。

図５に示すように、撮像素子２２０は１２０ｆｐｓ（fps: frame per second）で撮像を行う。露光期間は、撮像素子２２０が露光状態（画素が光電変換による電荷を蓄積している状態）となっている期間である。読み出し期間は、撮像素子２２０の画素に蓄積された電荷が信号（画像）として読み出される期間である。照明制御部３６０は、露光期間中に照明部６００を発光させる。即ち、発光期間が露光期間に含まれ、その発光期間において照明制御部３６０が照明部６００を発光させる。フォーカス制御部３５０は、発光期間中にフォーカス位置をなるべく停止させ、発光期間中以外にフォーカス位置を変化させる。即ち、フォーカス制御部３５０はフォーカス位置ＰＡ（例えば遠点側のフォーカス位置）とフォーカス位置ＰＢ（例えば近点側のフォーカス位置）の間でフォーカス位置を往復させる。フォーカス位置ＰＡ、ＰＢの各々においてフォーカス位置が停止するタイミングがあり、発光期間は、そのタイミングを含む期間となっている。なお、発光期間は、フォーカス位置が停止するタイミングを含む期間である場合に限定されない。発光期間におけるフォーカス位置の変化が、発光期間以外の期間におけるフォーカス位置の変化よりも相対的に小さくなっていればよい。

以上の動作により、フォーカス位置ＰＡでの画像ＩＡ１、フォーカス位置ＰＢでの画像ＩＡ２、フォーカス位置ＰＡでの画像ＩＢ１、フォーカス位置ＰＢでの画像ＩＢ２が順次に撮像される。

なお、フォーカス位置ＰＡにおける被写界深度と、フォーカス位置ＰＢにおける被写界深度とが、連続していることが望ましい。例えばフォーカス位置ＰＡがフォーカス位置ＰＢより遠点側である場合、フォーカス位置ＰＡにおける被写界深度の近点側の端と、フォーカス位置ＰＢにおける被写界深度の遠点側の端とが、一致することが望ましい。なお、フォーカス位置ＰＡにおける被写界深度と、フォーカス位置ＰＢにおける被写界深度とが、その一部において重複してもよい。例えば、フォーカス位置ＰＡ、ＰＢにおける被写界深度の１／２以下の領域で重複してもよい。望ましくは、フォーカス位置ＰＡ、ＰＢにおける被写界深度の１／４以下の領域で重複してもよい。

画像合成部３３０は、画像ＩＡ１とＩＡ２を合成して深度拡大画像ＥＩＡとして出力し、画像ＩＢ１とＩＢ２を合成して深度拡大画像ＥＩＢとして出力する。画像ＩＡ１とＩＢ１を撮像する際の総発光量は、深度拡大画像の明るさが観察に最適になるよう適宜調整されるため異なる場合がある。一方、画像ＩＡ１とＩＡ２を撮像する際の総発光量は一定に維持され、画像ＩＢ１とＩＢ２を撮像する際の総発光量は一定に維持される。このようにすることで、画像合成時のアーティファクト発生を抑制できる。

３．フォーカス位置の制御
図６は、フォーカス位置の変化パターンの第１の例である。この例では、フォーカス位置を台形状に変化させ、露光期間の間はフォーカス位置を停止させる。

具体的には、第１の露光期間の間はフォーカス位置ＰＡに停止させ、次の第２の露光期間の間はフォーカス位置ＰＢに停止させる。露光期間以外の期間においてフォーカス位置を移動（例えば直線的に一定の速度で移動）させる。この動作を１／６０秒間に行い、以降は１／６０秒毎に同様の動作を繰り返す。

フォーカス位置が停止した第１、第２の露光期間において撮像を行うことで、撮像中のフォーカス位置変化に伴う画質低下を抑制できる。また、１／６０秒周期でフォーカス位置を変化させることで、フォーカス位置が異なる２つの画像を１／６０秒毎に取得できる（即ち、６０ｆｐｓの深度拡大画像が得られる）。

図７は、フォーカス位置の変化パターンの第２の例である。この例では、フォーカス位置を正弦波状に変化させ、露光期間は、フォーカス位置が停止するタイミングを含んでいる。

具体的には、フォーカス位置ＰＡ、ＰＢを頂点（極値点）とする正弦波でフォーカス位置を変化させる。第１の露光期間はフォーカス位置ＰＡの頂点を含み、次の第２の露光期間の間はフォーカス位置ＰＢの頂点を含む。正弦波の周期は１／６０秒である。

アクチュエータによる駆動の加速度が大きい（加減速が急である）と、アクチュエータの寿命（耐用年数）が短くなることが知られている。正弦波のような滑らかな波形でフォーカス位置を変化させることで、アクチュエータによる駆動の加速度を小さく（加減速を緩やかに）でき、アクチュエータの経年劣化を抑制できる。また、１／６０秒周期の正弦波でフォーカス位置を変化させることで、フォーカス位置が異なる２つの画像を１／６０秒毎に取得できる。

図８は、フォーカス位置の変化パターンの第３の例である。この例では、フォーカス位置を１／３０秒周期で変化させ、１／３０秒間にフォーカス位置ＰＢ、ＰＡ、ＰＡ、ＰＢの順に移動させる。

具体的には、フォーカス位置ＰＡより遠点側のフォーカス位置ＰＣと、フォーカス位置ＰＢより近点側のフォーカス位置ＰＤとの間で、１／３０秒周期でフォーカス位置を往復させる。第１の露光期間は、フォーカス位置がＰＢとなるタイミングを含み、次の第２の露光期間は、フォーカス位置がＰＡとなるタイミングを含み、次の第３の露光期間は、フォーカス位置がＰＡとなるタイミングを含み、次の第４の露光期間は、フォーカス位置がＰＢとなるタイミングを含む。例えば、第１、第４の露光期間の中央は、フォーカス位置がＰＢとなるタイミングであり、第２、第３の露光期間の中央は、フォーカス位置がＰＡとなるタイミングである。第１、第２の露光期間で撮像された画像を深度拡大画像に合成し、第３、第４の露光期間で撮像された画像を深度拡大画像に合成する。なお、図５ではフォーカス位置を直線的に移動させているが、これに限定されず、例えば１／３０秒周期の正弦波でフォーカス位置を移動させてもよい。

フォーカス位置を１／３０秒周期で変化させることで、アクチュエータに要求される最大速度を遅くできる。これにより、アクチュエータの経年劣化を抑制できる。また、にフォーカス位置をＰＢ、ＰＡ、ＰＡ、ＰＢの順に移動させることで、フォーカス位置ＰＡ、ＰＢで撮像された２つの画像を１／６０秒毎に取得できる。

図９は、フォーカス位置の変化パターンの第４の例である。この例では、フォーカス位置が停止するタイミングが１／６０秒間に３回あり、その停止タイミングを含む露光期間で撮像を行う。即ち、１８０ｆｐｓで撮像を行う。

具体的には、遠点側のフォーカス位置ＰＥと近点側のフォーカス位置ＰＧとの間で、１／６０秒周期でフォーカス位置を往復させる。フォーカス位置ＰＥからＰＧに移動する途中に、フォーカス位置ＰＦで停止させる（フォーカス位置ＰＦでのフォーカス位置変化の傾きはゼロである）。フォーカス位置ＰＦは、フォーカス位置ＰＥとＰＧの間のフォーカス位置であり、例えばフォーカス位置ＰＥとＰＧの中央である。フォーカス位置は、滑らかな波形で変化させる。第１の露光期間は、フォーカス位置がＰＥとなるタイミングを含み、次の第２の露光期間は、フォーカス位置がＰＦとなるタイミングを含み、次の第３の露光期間は、フォーカス位置がＰＧとなるタイミングを含む。例えば、第１の露光期間の中央は、フォーカス位置がＰＥとなるタイミングであり、第２の露光期間の中央は、フォーカス位置がＰＦとなるタイミングであり、第３の露光期間の中央は、フォーカス位置がＰＧとなるタイミングである。第１〜第３の露光期間で撮像された３つの画像を深度拡大画像に合成する。

フォーカス位置が停止するタイミングが１／６０秒間に３回あるため、フォーカス位置が互いに異なる３つの画像を１／６０秒毎に取得できる（即ち、６０ｆｐｓの深度拡大画像が得られる）。これにより、合成前の画像に比べて被写界深度を３倍に拡大できる。また、滑らかな波形でフォーカス位置を変化させることで、アクチュエータの劣化を抑制できる。

なお、図５〜図９ではフォーカス位置が違いに異なる２フレーム又は３フレームの画像を取得し、それを１フレームの深度拡大画像に合成する場合を例に説明したが、これに限定されない。即ち、フォーカス位置が違いに異なる２以上のフレーム（Ｎフレーム）を取得し、それを１フレームの深度拡大画像に合成すればよい。また、図５〜図９では１／６０秒間にＮフレームの画像を撮像し（Ｎ×６０ｆｐｓで撮像し）、６０ｆｐｓの深度拡大画像を生成する場合を例に説明したが、これに限定されない。例えば、１／３０秒（又は１／１２０秒）間にＮフレームの画像を撮像し、３０ｆｐｓ（又は１２０ｆｐｓ）の深度拡大画像を生成してもよい。

４．発光量の制御
図１０は、発光量の制御手法の第１の例である。この例では、単位時間あたりの発光量は一定であり、発光期間の長さで総発光量を制御する。総発光量は、１回の露光期間における発光量であり、発光量の時間変化を露光期間で積分したものである。単位時間あたりの発光量が一定の場合、総発光量は、単位時間あたりの発光量と発光期間の長さを乗算したものである。

具体的には、画像ＩＡ１、ＩＡ２を合成して深度拡大画像ＥＩＡを生成し、画像ＩＢ１、ＩＢ２を合成して深度拡大画像ＥＩＢを生成する。このとき、画像ＩＡ１、ＩＡ２を撮像する際の発光期間は、同一の発光期間ＴＬＡであり、画像ＩＢ１、ＩＢ２を撮像する際の発光期間は、同一の発光期間ＴＬＢである。

図１１は、発光量の制御手法の第２の例である。この例では、発光期間の長さは一定であり、単位時間あたりの発光量で総発光量を制御する。

具体的には、画像ＩＡ１、ＩＡ２を撮像する際の単位時間あたりの発光量は、同一の発光量ＬＡＡであり、画像ＩＢ１、ＩＢ２を撮像する際の単位時間あたりの発光量は、同一の発光量ＬＡＢである。

合成される画像間（例えば画像ＩＡ１とＩＡ２）に明るさの違いがあると、深度拡大画像に輝度ムラなどのアーティファクトが発生するおそれがあり、内視鏡画像としての品質を低下させる。図１０、図１１のように１フレームの深度拡大画像に合成されるＮフレームの画像を撮像する際に、各フレームでの総発光量を一定に維持することで、上記のような画質低下を抑制できる。

なお、以上では単位時間あたりの発光量又は発光期間を制御する場合を例に説明したが、総発光量の制御手法はこれに限定されない。即ち、１回の露光期間における発光量の時間変化を露光期間で積分した総発光量が、各露光期間で同一になっていればよい。例えばパルス発光する光源を用いた場合に、露光期間での発光回数を制御することで総発光量を制御してもよい。

５．同期制御
図１２は、フォーカス位置と発光タイミングの同期制御を説明する図である。図１２において、フォーカス位置を太実線で示し、発光量を細実線で示す。図１２に示すように、フォーカス位置が停止するタイミングに同期させて照明光を発光させる。

具体的には、タイミング（時間）ｔａ１、ｔｂ１においてフォーカス位置がＰＡに停止し、タイミングｔａ２、ｔｂ２においてフォーカス位置がＰＢに停止する。発光期間ＴＬＡ１は、その中央のタイミングがｔａ１に一致するように設定され、発光期間ＴＬＡ２は、その中央のタイミングがｔａ２に一致するように設定される。発光期間ＴＬＡ１、ＴＬＡ２における総発光量は同じである。同様に、発光期間ＴＬＢ１は、その中央のタイミングがｔｂ１に一致するように設定され、発光期間ＴＬＢ２は、その中央のタイミングがｔｂ２に一致するように設定される。発光期間ＴＬＢ１、ＴＬＢ２における総発光量は同じである。

内視鏡画像においては、被写体に照射される光の大部分は照明部６００が発生する照明光であり、撮像素子２２０の露光期間中に照明光を発光させることで、被写体画像が取得される。図１２のように、フォーカス位置が停止するタイミング（ｔａ１、ｔａ２、ｔｂ１、ｔｂ２）と同期させて照明光を発光することで、発光期間におけるフォーカス位置の変化が小さくなる。これにより、撮像中のフォーカス位置変化による画質低下を抑制できる。

図１３は、撮像素子の露光と照明部の発光の同期制御を説明する図である。図１３では、撮像素子２２０がローリングシャッタ方式で露光を行い、全画素露光期間内に発光期間を設定する。なお、ここでは撮像素子２２０の走査線（有効画素領域の走査線）が４８０本である場合を例に説明するが、走査線数はこれに限定されない。

ローリングシャッタ方式では、撮像素子２２０の第１の走査線の露光を開始し、次に第２の走査線の露光を開始する。これを第４８０の走査線まで順次に行う。第４８０の走査線の露光が開始された後、第１の走査線の露光を終了し、第１の走査線の画素値を読み出し、次に第２の走査線の露光を終了し、第２の走査線の画素値を読み出す。これを第４８０の走査線まで順次に行う。第４８０の走査線の露光が開始された後、第１の走査線の露光を終了するまでの期間は、第１〜第４８０の走査線が全て露光している状態である。この期間を全画素露光期間と呼ぶ。

発光期間は、全画素露光期間に含まれるように設定される。即ち、発光期間の長さは全画素露光期間の長さより短く、全画素露光期間の開始以降に発光期間が開始し、全画素露光期間の終了以前に発光期間が終了する。全画素露光期間の中央と発光期間の中央が一致するように発光期間を設定することが望ましい。なお、図１２で説明したように、フォーカス位置が停止するタイミングが発光期間に含まれるように、フォーカス位置を同期させる。

ローリングシャッタ方式では走査線を順次に露光していくため、被写体の動きに伴って被写体の画像が歪む現象（いわゆるローリングシャッタ歪み）が発生する。内視鏡装置では、照明光が照射された被写体が撮像されるので、露光期間中の走査線と露光していない走査線が存在するタイミングで発光させた場合にローリングシャッタ歪みが発生する。図１３のように、全画素露光期間において照明光を発光させることで、ローリングシャッタ歪みの発生を回避できる。

図１４に示すように、発光期間の中央とフォーカス位置が停止するタイミングが一致しない場合、フォーカス位置が停止するタイミングが発光期間に含まれなくなる場合がある。例えば、総発光量を発光期間の長さで制御した場合に、このような状況が生じる可能性がある。フォーカス位置の変化の位相を発光期間の長さに応じて調整することで、フォーカス位置が停止するタイミングを発光期間に含ませることが可能であるが、フォーカス位置の制御が複雑になってしまう。図１３では、全画素露光期間の中央と発光期間の中央を一致させる。これにより、発光期間の長さが変わる場合であっても、フォーカス位置が停止するタイミングを発光期間に含むようにできる。例えば、全画素露光期間の中央と発光期間の中央とフォーカス位置が停止するタイミングを一致させる。また、発光期間の長さに関わらず、各周期におけるフォーカス位置の変化の波形を同一にできる。

また、発光期間の中央とフォーカス位置が停止するタイミングを一致させた場合に、全画素露光期間の中央とフォーカス位置が停止するタイミングが一致（同期）していないと、発光期間の最大の長さが全画素露光期間の長さより短くなる。図１３では、全画素露光期間の中央と発光期間の中央とフォーカス位置が停止するタイミングを一致させているので、発光期間の最大の長さが全画素露光期間の長さと同一になる。これにより、最大総発光量を最大化できる。

図１５は、パルス発光を行う際の、フォーカス位置と発光タイミングの同期制御を説明する図である。図１５において、フォーカス位置を太実線で示し、発光量を細実線で示す。図１５に示すように、フォーカス位置が停止するタイミングとパルス発光の総発光量の重心とを一致させる。

具体的には、１つのパルスの発光量をＨＲ（ＨＲはパルス毎に異なってもよい）とし、そのパルスの発光タイミングをｔとする。このとき、露光期間内のｔ＜ｔｇｃにおける全パルスについてＨＲを積算した値と、露光期間内のｔ＞ｔｇｃにおける全パルスについてＨＲを積算した値とが等しくなるタイミングが、総発光量の重心に対応するタイミングである。このタイミングとフォーカス位置が停止するタイミングとを一致させればよい。

例えば、画像ＩＡ１の露光期間において、フォーカス位置がＰＡとなるタイミングｔａ１を基準として対称なタイミングで４回の同一発光量のパルス発光を行う場合、タイミングｔａ１の前に２回のパルス発光を行い、タイミングｔａ１の後に２回のパルス発光を行う。画像ＩＡ２、ＩＢ１、ＩＢ２の露光期間におけるパルス発光についても、フォーカス位置が停止するタイミングの前後でパルス発光の回数が同じである。

このように、フォーカス位置が停止するタイミングとパルス発光の総発光量の重心（又は中央）とを一致させることで、フォーカス位置とパルス発光のタイミングを適切に同期できる。即ち、発光回数や各パルスの発光量に関わらず、所望のフォーカス位置（フォーカス位置が停止する位置）での画像を取得できる。

なお、図５〜図１５では、深度拡大画像に合成されるＮフレームの画像の明るさを一定にする制御を、照明光の制御により実現しているが、これに限定されない。例えば、撮像された画像の明るさを画像処理で補正することで、深度拡大画像に合成されるＮフレームの画像の明るさを一定にしてもよい。或いは、照明光を制御する手法と、画像の明るさを画像処理で補正する手法とを組み合わせて、深度拡大画像に合成されるＮフレームの画像の明るさを一定にしてもよい。なお、画像の明るさを画像処理で補正する手法については後述する。

６．深度拡大画像の合成手法
図１６は、画像合成部３３０の詳細な構成例である。画像合成部３３０は、第１合焦度算出部３３１と第２合焦度算出部３３２と合成マップ生成部３３３と合成出力部３３４とを含む。

第１合焦度算出部３３１は、前処理部３１０から出力される画像の合焦度を画素毎に算出する。具体的には、画像に対してフィルタ処理（例えばハイパスフィルタ処理や、バンドパスフィルタ処理等）を行い、その処理結果を合焦度として出力する。第１合焦度算出部３３１は、算出した合焦度を第１合焦度として合成マップ生成部３３３に出力する。

第２合焦度算出部３３２は、フレームメモリ部３２０に格納された画像の合焦度を画素毎に算出する。例えば、画像に対してハイパスフィルタ処理又はバンドパスフィルタ処理を行い、その処理結果を合焦度として出力する。第２合焦度算出部３３２は、算出した合焦度を第２合焦度として合成マップ生成部３３３に出力する。

合成マップ生成部３３３は、画素毎に第１合焦度と第２合焦度とを比較し、その比較結果に基づき画像と同サイズの合成マップを生成する。合成マップは、各画素に「１」又は「０」が格納されたマップである。例えば、ある画素の第１合焦度が第２合焦度より大きければ、その画素に「１」を格納し、その画素の第１合焦度が第２合焦度以下であれば、その画素に「０」を格納する。

合成出力部３３４は、前処理部３１０から出力される画像と、フレームメモリ部３２０に格納された画像とから、合成マップの値に基づき画素毎にいずれかを選択し、その選択された画素で構成した画像を深度拡大画像として出力する。ここで、合成マップの画素の値が「１」であれば、前処理部３１０から出力される画像の画素値を選択し、合成マップの画素の値が「０」であれば、フレームメモリ部３２０に格納された画像の画素値を選択する。

なお、上記では、Ｎフレームの画像の中からいずれかの画像の画素値を選択する場合を例に説明したが、深度拡大画像の合成手法はこれに限定されない。例えば、第１合焦度と第２合焦度との大小関係に基づき合成マップを多値化し（ブレンド率を各画素に格納し）、前処理部３１０から出力される画像とフレームメモリ部３２０に格納された画像の画素値をブレンドして深度拡大画像を出力しても構わない。

また、より望ましくは、画像合成部３３０が不図示の位置合わせ部を含み、位置合わせ部が、前処理部３１０から出力される画像を基準にしてフレームメモリ部３２０に格納された画像を画素毎に位置合わせする。そして、合成出力部３３４が、前処理部３１０から出力される画像と、位置合わせされた画像とから、深度拡大画像を合成する。

７．画像処理による明るさ補正の手法
図１７は、画像処理による明るさ補正を行う場合の合成出力部３３４の詳細な構成例である。合成出力部３３４は、第１照明度算出部３３４１と第２照明度算出部３３４２と合成部３３４３とを含む。

第１照明度算出部３３４１は、前処理部３１０から出力される画像の照明度を画素毎に算出する。照明度は、画像の局所的な明るさを表す指標である。例えば、画像に対してローパスフィルタ処理又はバンドパスフィルタ処理を行い、その処理結果を照明度として出力する。第１照明度算出部３３４１は、算出した照明度を第１照明度として合成部３３４３に出力する。

第２照明度算出部３３４２は、フレームメモリ部３２０に格納された画像の照明度を画素毎に算出する。例えば、画像に対してローパスフィルタ処理又はバンドパスフィルタ処理を行い、その処理結果を照明度として出力する。第２照明度算出部３３４２は、算出した照明度を第２照明度として合成部３３４３に出力する。

合成部３３４３は、前処理部３１０から出力される画像と、フレームメモリ部３２０に格納された画像とから、合成マップの値に基づき画素毎にいずれかを選択し、選択した画素で構成した画像を深度拡大画像として出力する。ここで、フレームメモリ部３２０に格納された画像の画素値Ｉを第１照明度Ｂ１および第２照明度Ｂ２に基づき補正し、その補正後の画素値Ｉ’を選択する。例えば下式（１）又は下式（２）により画素値を補正する。

８．調光制御の手法
以下、調光制御の手法について説明する。図１８は、制御部３４０の詳細な構成例である。制御部３４０は、調光検波部３４１と調光補正部３４２とを含む。

調光検波部３４１は、前処理部３１０から出力される画像の画素値から、調光検波値を算出する。例えば、各画素の輝度信号を全画素で平均した値を調光検波値として出力する。調光検波部３４１は、調光検波値を調光補正部３４２に出力する。なお、画像の中央部に限定して輝度信号の平均値を算出してもよい。或いは、計算負荷低減のため適当な画素数の間隔で輝度信号をサンプリングして輝度信号の平均値を算出してもよい。

調光補正部３４２は、調光検波部３４１から出力される調光検波値Ｄと所定の調光基準値Ｓに基づき、照明補正係数Ｃを算出する。例えば下式（３）により照明補正係数を算出する。調光補正部３４２は照明補正係数を照明制御部３６０に出力する。

照明制御部３６０は、現時点の照明光の発光量Ｅ_０に対して、次のタイミングの照明光の発光量Ｅ_１を下式（４）のように制御する。

例えば、発光量Ｅ_０は図１０、図１１、図１５の画像ＩＡ１とＩＡ２を撮像する際の発光量（露光期間における総発光量）に対応し、発光量Ｅ_１は図１０、図１１、図１５の画像ＩＢ１とＩＢ２を撮像する際の発光量（露光期間における総発光量）に対応する。発光量Ｅ_１を制御する照明補正係数Ｃは、画像ＩＡ１、ＩＡ２の少なくとも一方に基づいて算出される。

なお、上記では調光検波部３４１が、前処理部３１０から出力される画像の画素値から調光検波値を算出したが、調光検波部３４１が、画像合成部３３０から出力される深度拡大画像から調光検波値を算出してもよい。具体的には、調光検波部３４１が図１０、図１１、図１５の深度拡大画像ＥＩＡから調光検波値を算出し、調光補正部３４２が照明補正係数を求め、照明制御部３６０が画像ＩＢ１とＩＢ２を撮像する際の発光量を制御する。

また、図１０、図１１、図１５において、画像ＩＡ１とＩＡ２、画像ＩＡ２とＩＢ１、画像ＩＢ１とＩＢ２を、順次深度合成してもよい。この場合、画像ＩＡ１とＩＡ２を合成した深度拡大画像から画像ＩＢ１を撮像する際の発光量を求め、画像ＩＡ２とＩＢ１を合成した深度拡大画像から画像ＩＢ２を撮像する際の発光量をもとめてもよい。合成される２の画像を撮像する際の発光量が異なる場合には、上述した画像処理による明るさ補正を行って深度拡大画像を合成する。

９．手術支援システム
本実施形態の内視鏡装置（内視鏡システム）としては、例えば図４のように制御装置（処理部）に挿入部（スコープ）が接続され、そのスコープをユーザが操作して体内を撮影するタイプのものが想定される。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。

図１９は、手術支援システムの構成例である。手術支援システム９００は、制御装置９１０（処理部）、ロボット９２０（ロボット本体）、スコープ９３０（例えば硬性鏡）を含む。制御装置９１０は、ロボット９２０を制御する装置である。即ち、ユーザが制御装置９１０の操作部を操作することでロボットを動作させ、ロボットを介して患者に対する手術を行うようになっている。また制御装置９１０の操作部を操作することでロボット９２０を介してスコープ９３０を操作し、手術領域を撮影できるようになっている。制御装置９１０は、図１又は図４の処理部３００を含んでいる。ユーザは、処理部３００が表示装置（不図示）に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システム９００における制御装置９１０に適用することが可能である。なお、制御装置９１０はロボット９２０と一体に構成（ロボット９２０に内蔵）されてもよいし、ロボット９２０の外部に別個の装置として設けられてもよい。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 挿入部、１１０ ライトガイド部、２００ 撮像部、
２１０ 対物レンズ系、２２０ 撮像素子、２３０ Ａ／Ｄ変換部、
３００ 処理部、３１０ 前処理部、３２０ フレームメモリ部、
３３０ 画像合成部、３３１ 第１合焦度算出部、
３３２ 第２合焦度算出部、３３３ 合成マップ生成部、
３３４ 合成出力部、３４０ 制御部、３４１ 調光検波部、
３４２ 調光補正部、３５０ フォーカス制御部、３６０ 照明制御部、
３９０ 画像取得部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ 照明部、６１０ 白色光源、９００ 手術支援システム、
９１０ 制御装置、９２０ ロボット、９３０ スコープ、
３３４１ 第１照明度算出部、３３４２ 第２照明度算出部、
３３４３ 合成部、
ＥＩＡ，ＥＩＢ 深度拡大画像、Ｆ１〜Ｆ４ フレーム、
ＩＡ１，ＩＡ２ 画像（Ｎフレームの画像）、
ＩＢ１，ＩＢ２ 画像（Ｎフレームの画像）、
ＬＡＡ，ＬＡＢ 発光量、ＰＡ〜ＰＧ フォーカス位置、
ＴＬＡ，ＴＬＢ 発光期間

Claims (14)

1. 照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、
   前記撮像素子により順次に撮像された画像を取得する画像取得部と、
   前記画像取得部により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部と、
   を含み、
   前記フォーカス制御部は、
   前記Ｎフレームの画像の各画像が撮像されるタイミングにおいて前記フォーカス位置が異なるように、前記フォーカス位置を制御し、
   前記画像合成部は、
   前記照明光の発光量が一定に制御された前記Ｎフレームの画像、又は画像の明るさが一定となるように補正処理された前記Ｎフレームの画像を前記深度拡大画像に合成することを特徴とする内視鏡装置。
2. 請求項１において、
   前記深度拡大画像の明るさ調整のための前記照明光の制御を行うと共に、前記Ｎフレームの画像が撮像される間は前記発光量を一定にする照明制御部を含むことを特徴とする内視鏡装置。
3. 請求項２において、
   前記照明制御部は、
   前記フォーカス位置が停止するタイミングを含む発光期間において前記照明光を発光する制御を行うことを特徴とする内視鏡装置。
4. 請求項２において、
   前記フォーカス制御部は、
   第１のフォーカス位置と、前記第１のフォーカス位置とは異なる第２のフォーカス位置との間で前記フォーカス位置を往復させ、
   前記照明制御部は、
   前記フォーカス位置が前記第１のフォーカス位置となるタイミングを含む第１の発光期間と、前記フォーカス位置が前記第２のフォーカス位置となるタイミングを含む第２の発光期間とにおいて、前記照明光を照射する制御を行い、
   前記画像合成部は、
   前記第１の発光期間で撮像された前記画像と前記第２の発光期間で撮像された前記画像とを含む前記Ｎフレームの画像を前記深度拡大画像に合成することを特徴とする内視鏡装置。
5. 請求項２において、
   前記撮像素子は、
   ローリングシャッタ方式で前記画像を撮像し、
   前記照明制御部は、
   前記撮像素子の有効画素領域の全ラインが露光状態となっている全画素露光期間において前記照明光を発光する制御を行うことを特徴とする内視鏡装置。
6. 請求項２において、
   前記照明制御部は、
   前記照明光の発光期間の長さを制御することで、前記画像が撮像される際の総発光量を制御することを特徴とする内視鏡装置。
7. 請求項２において、
   前記照明制御部は、
   前記照明光の単位時間当たりの発光量を制御することで、前記画像が撮像される際の総発光量を制御することを特徴とする内視鏡装置。
8. 請求項２において、
   前記照明制御部は、
   前記撮像素子の露光期間の中央と発光期間の中央とが一致する前記発光期間において、前記照明光を発光させる制御を行うことを特徴とする内視鏡装置。
9. 請求項２において、
   前記照明制御部は、
   前記撮像素子の露光期間において前記照明光を複数回パルス発光させ、
   前記パルス発光の総発光量の重心と、前記フォーカス位置が停止するタイミングとが一致し、
   前記重心は、前記フォーカス位置が停止するタイミング以前の前記パルス発光の総発光量と、前記フォーカス位置が停止するタイミング以後の前記パルス発光の総発光量とが一致するタイミングであることを特徴とする内視鏡装置。
10. 請求項２において、
    前記画像合成部は、
    第１のＮフレームの画像を第１の深度拡大画像に合成し、前記第１のＮフレームの画像より後に撮像された第２のＮフレームの画像を第２の深度拡大画像に合成し、
    前記照明制御部は、
    前記第１のＮフレームの画像が撮像される期間と前記第２のＮフレームの画像が撮像される期間との間に、前記照明光の発光量を変化させることを特徴とする内視鏡装置。
11. 請求項１において、
    前記撮像素子により撮像される画像の明るさ調整のための前記照明光の制御を行う照明制御部を含み、
    前記画像合成部は、
    前記Ｎフレームの画像の各画像の明るさが一定となるように前記補正処理を行い、前記補正処理された前記Ｎフレームの画像を前記深度拡大画像に合成することを特徴とする内視鏡装置。
12. 請求項１において、
    前記照明光を前記被写体に照射する照明部と、
    前記対物光学系と前記撮像素子とを有する撮像部と、
    を含むことを特徴とする内視鏡装置。
13. 照明光が照射された被写体からの反射光を撮像素子に結像する対物光学系のフォーカス位置を制御するフォーカス制御部と、
    前記撮像素子により順次に撮像された画像を取得する画像取得部と、
    前記画像取得部により取得されたＮフレーム（Ｎは２以上の整数）の画像を１フレームの深度拡大画像に合成する画像合成部と、
    前記照明光を制御する照明制御部と、
    を含み、
    前記フォーカス制御部は、
    前記Ｎフレームの画像の各画像が撮像されるタイミングにおいて前記フォーカス位置が異なるように、前記フォーカス位置を制御し、
    前記画像合成部は、
    第１のＮフレームの画像を第１の深度拡大画像に合成し、前記第１のＮフレームの画像より後に撮像された第２のＮフレームの画像を第２の深度拡大画像に合成し、
    前記照明制御部は、
    前記第１のＮフレームの画像が撮像される期間と前記第２のＮフレームの画像が撮像される期間との間に、前記照明光の発光量を変化させることを特徴とする内視鏡装置。
14. Ｎフレーム（Ｎは２以上の整数）の画像の各画像が撮像されるタイミングにおいて対物光学系のフォーカス位置が異なるように、前記フォーカス位置を制御し、
    撮像素子により撮像された前記Ｎフレームの画像を取得し、
    照明光の発光量が一定に制御された、又は画像の明るさが一定となるように補正処理された前記Ｎフレームの画像を、１フレームの深度拡大画像に合成することを特徴とする内視鏡装置の作動方法。

Images