[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6249769B2 - 内視鏡装置、内視鏡装置の作動方法及びプログラム - Google Patents

内視鏡装置、内視鏡装置の作動方法及びプログラム Download PDF

Info

Publication number
JP6249769B2
JP6249769B2 JP2013271151A JP2013271151A JP6249769B2 JP 6249769 B2 JP6249769 B2 JP 6249769B2 JP 2013271151 A JP2013271151 A JP 2013271151A JP 2013271151 A JP2013271151 A JP 2013271151A JP 6249769 B2 JP6249769 B2 JP 6249769B2
Authority
JP
Japan
Prior art keywords
image
focus
scene change
region
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013271151A
Other languages
English (en)
Other versions
JP2015123293A (ja
Inventor
浩一郎 吉野
浩一郎 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013271151A priority Critical patent/JP6249769B2/ja
Priority to EP14874528.4A priority patent/EP3087904A4/en
Priority to PCT/JP2014/075620 priority patent/WO2015098218A1/ja
Priority to CN201480070312.8A priority patent/CN105848558B/zh
Publication of JP2015123293A publication Critical patent/JP2015123293A/ja
Priority to US15/099,377 priority patent/US10574874B2/en
Application granted granted Critical
Publication of JP6249769B2 publication Critical patent/JP6249769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • G02B23/243Objectives for endoscopes
    • G02B23/2438Zoom objectives
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00036Means for power saving, e.g. sleeping mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
内視鏡装置(内視鏡システム)においてはユーザの診断、処置に支障をきたさないため、できるだけ広い被写界深度が要求される。しかし近年では、内視鏡システムにおいても高画素の撮像素子が使用されるに従ってその被写界深度が狭くなってきていることから、オートフォーカス(以下AF)を行う内視鏡システムが提案されている。従来技術では、動画撮影中の無駄な合焦動作を防止するため、以下のような手法が提案されている。
特許文献1では、合焦動作が完了した状態におけるAF評価値(合焦評価値)を記憶し、これに対して所定の閾値以上のAF評価値の変化が所定の待機時間以上継続した場合に、再度、合焦動作を実行する。これにより、必要以上に高頻度に合焦動作が行われることを抑止することができる。
特許文献2では、AF領域を画像の中央領域に配置し、合焦動作が完了した後に、現在画像と過去画像から、画像の周辺領域の類似度と画像の中央領域(AF領域)の類似度をそれぞれ算出する。ここでの類似度とは、画像が類似しているほど小さくなる値である。そして、画像の周辺領域の類似度が所定の閾値以上であり、画像の中央領域の類似度が所定の閾値以下の場合は合焦動作を行わせない。これにより、合焦後にフレーミングの変更等を行うことで画像の周辺領域の被写体が変化した場合も、画像の中央領域に位置する主要被写体までの距離が変化しない場合は、不必要な合焦動作が行われることを抑止することができる。
特開2006−208818号公報 特開2010−176061号公報
内視鏡システム(特に外科分野)においては、ユーザは病変部が画像の中央付近に位置するように内視鏡を操作し、電気メスやカンシ等の処置具を使用して病変の切除や縫合等の処置を行う。このため、内視鏡システムでは、AF領域を画像の中央付近に配置することが望ましい。また、ユーザが処置を行うために視野を固定し、AF制御による合焦動作が一度完了した後は、ユーザの意図しないピント位置の変化やAF制御の誤動作による画像のボケ等が発生することを抑止するため、合焦動作を停止させておくことが望ましい。
一方、ユーザが処置を行っている間は、前述したように画像の中央付近に位置した病変部に対して切除や縫合等が行われるため、画像の中央付近で処置具の大きな動きやこれに伴う病変部の位置や形状の変化が発生する。この結果、ユーザが処置を行っている間、画像の中央領域(AF領域)は類似した画像とならず、AF評価値も大きく変動する。このため、特許文献1や特許文献2のような手法を用いても、処置中の合焦動作を停止させることは困難である。
本発明の幾つかの態様によれば、ユーザ処置中の不必要な合焦動作を停止することで、意図しないピント位置の変化やAF制御の誤動作による画像のボケ等が発生することを抑止する内視鏡装置、内視鏡装置の制御方法及びプログラム等を提供することができる。
本発明の一態様は、撮像部が取得する撮像画像の像を結像する光学系が有するフォーカスレンズの位置を、前記撮像画像上における第1の領域から算出された合焦評価値に基づいて、合焦位置に制御するフォーカス制御を行うフォーカス制御部と、前記撮像画像上における少なくとも前記第1の領域とは異なる領域を含む第2の領域から、シーン変化の有無を検出するシーン変化検出部と、を備え、前記フォーカス制御部は、前記フォーカス制御によって前記フォーカスレンズの位置が前記合焦位置に制御されると、前記フォーカス制御を停止する待機状態となり、前記待機状態において、前記シーン変化検出部で前記シーン変化が検出された場合に、前記フォーカス制御を再開する内視鏡装置に関係する。
本発明の他の態様は、撮像部からの撮像画像上における第1の領域から、合焦評価値を算出し、前記合焦評価値に基づいて、前記撮像部が備える光学系のフォーカスレンズの位置を合焦位置に制御するフォーカス制御を行い、前記撮像画像上における、少なくとも前記第1の領域とは異なる領域を含む第2の領域から、シーン変化の有無を検出し、前記フォーカス制御によって前記フォーカスレンズの位置が前記合焦位置に制御されることによって、前記フォーカス制御が停止している待機状態において、前記シーン変化が検出された場合に、前記フォーカス制御を再開する内視鏡装置の制御方法に関係する。
本発明の他の態様は、撮像部からの撮像画像上における第1の領域から、合焦評価値を算出し、前記合焦評価値に基づいて、前記撮像部が備える光学系のフォーカスレンズの位置を合焦位置に制御するフォーカス制御を行い、前記撮像画像上における、少なくとも前記第1の領域とは異なる領域を含む第2の領域から、シーン変化の有無を検出し、前記フォーカス制御によって前記フォーカスレンズの位置が前記合焦位置に制御されることによって、前記フォーカス制御が停止している待機状態において、前記シーン変化が検出された場合に、前記フォーカス制御を再開するステップをコンピュータに実行させるプログラムに関係する。
本実施形態に係る内視鏡装置の構成例。 本実施形態に係る内視鏡装置の詳細な構成例。 AF部の構成例。 本実施形態の処理を説明するフローチャート。 図5(A)は第1の領域及び第2の領域の設定例、図5(B)は処置時における状況と第1,第2の領域の関係図。 図6(A)〜図6(D)は第2の領域の各ブロックでの動きベクトルの例。 図7(A)、図7(B)は出力画像とイメージサークルの関係図。 本実施形態に係る内視鏡装置の他の構成例。 処置具等と有効ブロック、無効ブロックの関係図。 図10(A)〜図10(C)は複数の画像に対する判定結果に基づいて第1の領域の有効ブロックを設定する例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
上述したように、内視鏡装置においても高画素の撮像素子が使用されるに従ってその被写界深度が狭くなってきていることから、AFを行う内視鏡装置が提案されている。しかしAFの実行時は合焦状態となるフォーカスレンズの位置を探索してフォーカスレンズの位置を調整するため、フォーカスレンズ位置を変化させることになる。具体的には、フォーカスレンズ位置を所与の方向に動かして合焦評価値(AF評価値)のピークを探索することで合焦動作中に、ピント位置が変化し画像のボケ等が発生する場合がある。また、ユーザが処置を行いやすくするために、処置対象ではない生体の一部を手前に引っ張るなどの動作を行った時に、その部分にピントが合うようにフォーカスレンズの位置を変更してしまい、処置対象となる部分がボケてしまう場合がある。
つまり、ユーザがAFの実行(合焦動作の実行)が不要であると考えている状況では、合焦動作を実行することでかえってユーザによる観察、診断、処置等を妨げてしまうおそれがある。特許文献1や特許文献2は以上の点を鑑みたものであり、AFを行う装置であっても、状況に応じて合焦動作を停止する、或いは停止状態(待機状態)にある合焦動作を再開させないといった制御を行う。
本発明においては、図5(B)に示したように、内視鏡装置の挿入部(撮像部200)の先端からカンシ等の処置具を出して、生体に対して何らかの処置を行う状況を想定している。この場合、そもそも処置対象である被写体に対してピントが合っていなければ、処置を適切に行えないことから、処置の開始時には合焦状態となっていることが想定される。また、処置が完了する前に、撮像部を大きく動かす等、合焦状態を大きく変化させる操作をユーザ(ドクター)が行うことは考えにくい。つまり、図5(B)のように処置を行っている状況では、合焦動作を行う(AFの待機状態を解除する)必要性は低く、むしろ合焦動作に伴うボケ等の悪影響を抑止する観点からも、合焦動作を行わない(待機状態を継続する)ことが望ましい。
しかし上述したように、ユーザが処置を行っている間は画像の中央付近に位置した病変部に対して切除や縫合等が行われるため、画像の中央付近で処置具の大きな動きやこれに伴う病変部の位置や形状の変化が発生する。このため、特許文献1や特許文献2のような手法を用いても、処置中の合焦動作を停止させることは困難である。
特に、AFでピントを合わせる対象となる被写体(以下、主要被写体とも表記する)は、処置の対象となる被写体であるため、処置対象である被写体の合焦評価値に対する寄与度が非常に高いものとなる。つまり、図5(B)に示したような処置を行う状況では、合焦評価値が合焦時から大きく変化する可能性が高く、合焦動作が不要な状況であるのに特許文献1の手法では合焦動作が実行されることになる。
また、特許文献2は画像中央領域が類似していれば、画像周辺領域の類似度によらず(周辺領域が非類似であっても)合焦動作を行わないという手法である。特許文献2では中央領域に主要被写体が撮像されることを想定しており、主要被写体が変化しないことが合焦動作を行わない条件となっている。しかし、上述したように処置中はむしろ主要被写体部分の変化が他の部分に比べて大きいものとなるため、特許文献2の手法であっても、合焦動作が不要な状況で合焦動作が実行されることになる。
そこで本出願人は、主要被写体とは異なる領域を含む領域から、シーンの変化を検出する手法を提案する。主要被写体とはAFの対象となる被写体であることから、合焦評価値の算出対象となる領域と、シーン変化の検出に用いる領域との関係を適切に設定すればよい。具体的には、本実施形態に係る内視鏡装置は図1に示したように、撮像部200が取得する撮像画像の像を結像する光学系280(図2の対物レンズ系270に対応)が有するフォーカスレンズ(図2のフォーカスレンズ220)の位置を、前記撮像画像上における第1の領域から算出された合焦評価値に基づいて、合焦位置に制御するフォーカス制御を行うフォーカス制御部347と、前記撮像画像上における少なくとも前記第1の領域とは異なる領域を含む第2の領域から、シーン変化の有無を検出するシーン変化検出部346とを備える。そして、フォーカス制御部347は、フォーカス制御によってフォーカスレンズの位置が合焦位置に制御されると、フォーカス制御を停止する待機状態となり、待機状態において、シーン変化検出部346でシーン変化が検出された場合に、フォーカス制御を再開する。
ここでシーン変化とは、撮像される被写体自体が異なる被写体に変化する場合や、撮像される被写体が同一であっても撮像部からの距離や方向等が大きく変化する場合に対応する。つまり、シーン変化が検出された場合とは、合焦動作をやり直す必要があると推定される状況である。なお、シーン変化検出手法の詳細については後述する。撮像部200からの撮像画像とは、撮像素子から出力される出力画像であってもよいし、出力画像から一部の領域を抽出した画像であってもよい。例えば、第2の実施形態において後述するように、イメージサークルが小さいことで出力画像内に、被写体像が結像する領域と結像しない領域が生じる場合、上記の撮像画像とは結像領域に対応する結像画像を表すものであってもよい。
また、ここでのフォーカス制御とは、合焦評価値を用いて合焦状態となるフォーカスレンズの位置(合焦位置、合焦レンズ位置)を探索する制御を指すものである。具体的には、後述する図4のフローチャートのS101〜S104のステップがフォーカス制御に対応する。ただし、本実施形態におけるフォーカス制御は、広義にはフォーカスレンズを合焦位置とする制御(合焦動作の制御)だけでなく、当該合焦動作を待機する制御や、待機中の合焦動作を再開する制御等を含むものであってもよい。具体的には、後述する図4のフローチャートの全体がフォーカス制御に相当し、その中にS101〜S104の合焦動作、及びS201〜S202の待機動作が含まれると考えることも可能である。
このようにすれば、シーン変化を第1の領域とは異なる領域を含む第2の領域を用いて検出することが可能になる。第1の領域とは上述したように合焦評価値の算出対象となる領域であり、処置時においては処置対象の被写体に対応する領域となる。そのため、処置により大きく変化するのは第1の領域の被写体であり、第1の領域とは異なる領域の被写体は変化(動き)が小さいものと考えることができる。つまり、第2の領域が少なくとも第1の領域とは異なる領域を含むことで、処置対象の被写体に変化があったとしても、全体としてはシーン変化はなかったと判定することができ、不要な合焦動作の実行を抑止することが可能になる。
なお、撮像される被写体自体が大きく変化する場合には、第1の領域とは異なる領域についても大きく変化するため、本実施形態の手法においても真に合焦動作の実行が必要な状況においては合焦動作を実行することが可能である。
また、本実施形態の内視鏡装置は、シーン変化が検出された場合に待機状態を解除して合焦動作を再開するものとしたが、合焦動作の再開条件はシーン変化に限定されるものではない。つまり、シーン変化の検出は合焦動作の再開条件の1つであり,他の条件に基づいて合焦動作を再開することは妨げられない。また、シーン変化とは、シーンが変化の検出(開始)のタイミングに加え、シーン変化検出後の当該シーン変化が終了するタイミングをも含んでもよい。
また、図1では撮像部200を内視鏡装置の外に記載した。内視鏡装置を用いた処置では、処置の内容に応じて硬性鏡100を交換する場合も多く、それに合わせて撮像部200も交換可能となることが考えられる。その場合、本実施形態に係るシーン変化検出処理等を行う装置と、撮像部200とが別体として製造、販売されることも考えられるため、本実施形態の内視鏡装置が撮像部200を含まないものであってもよい。ただし図2を用いて後述するように、本実施形態に係る内視鏡装置が撮像部200を含むものであってもよい。
以下、第1〜第3の実施形態について説明する。第1の実施形態では基本的な手法について説明し、第2の実施形態ではイメージサークル径を考慮した手法を説明し、第3の実施形態では第2の領域におけるブロックの有効無効を考慮した手法を説明する。
2.第1の実施形態
第1の実施形態に係る内視鏡システムについて、図2を用いて説明する。本実施形態に係る内視鏡システムは、体内への挿入部である硬性鏡100と、硬性鏡100に接続される撮像部200と、処理部300と、表示部400と、外部I/F部500と、光源部600を備えている。
光源部600は、白色光を発生する白色光源610と、白色光源610からの出射光を硬性鏡100に導光するライトガイドケーブル620を備えている。
硬性鏡100は結像レンズ、リレーレンズ、接眼レンズ等を含んで構成されるレンズ系110と、ライトガイドケーブル620からの出射光を、硬性鏡先端まで導光するライトガイド部120を備えている。
撮像部200は、レンズ系110からの出射光を結像する対物レンズ系270を備える。対物レンズ系270は、合焦物体位置を調整するフォーカスレンズ220と、光学倍率を調整するズームレンズ240を含んで構成されている。撮像部200はさらに、対物レンズ系270で結像された反射光を光電変換して画像を生成する撮像素子260と、フォーカスレンズ220を駆動するフォーカスレンズ駆動部230と、ズームレンズ240を駆動するズームレンズ駆動部250と、ズームレンズ位置を調整するズームボタン210を備えている。フォーカスレンズ駆動部230及びズームレンズ駆動部250は例えばボイスコイルモーター(以下、VCM)である。また、撮像素子260は例えばベイヤ配列の色フィルタを持つような固体撮像素子である。
処理部300はAD変換部310と、前処理部320と、画像処理部330と、AF部340と、制御部350を備えている。AD変換部310は、撮像素子260から順次出力されるアナログ信号をデジタルの画像に変換して、前処理部320に順次出力する。前処理部320はAD変換部310から出力された画像に対して、ホワイトバランス、補間処理(デモザイキング処理)、YCbCr変換処理等の画像処理を施し、画像処理部330とAF部340に順次出力する。AF部340の詳細については後述する。
画像処理部330は、前処理部320から出力された画像に対して色変換、階調変換、エッジ強調、ノイズリダクション等の画像処理を施し、表示部400に画像を順次出力する。表示部400は例えば液晶モニタであり、画像処理部330から順次出力される画像を表示する。
制御部350は外部I/F部500や画像処理部330、AF部340、撮像素子260、ズームボタン210などと相互に接続されており、制御信号の入出力を行う。外部I/F部500は、内視鏡装置に対するユーザからの入力等を行うためのインターフェースであり、例えばAFの開始、終了を行うためのAFボタンや画像処理のパラメータを調整するための調整ボタンなどを含んで構成されている。
次にAF部340の詳細について、図3を用いて説明する。AF部340は、シーン変化検出部346と、フォーカス制御部347を含む。そしてシーン変化検出部346は、シーン変化検出領域設定部341と、検出処理部342を備え、フォーカス制御部347は、AF領域設定部343と、AF評価値算出部344と、AF制御部345を備えている。
シーン変化検出領域設定部341は、例えば制御部350から出力される画像サイズ等の情報に基づいて、図5(A)に示すようなシーン変化検出領域(上述した第2の領域に対応)を設定する。その後、シーン変化検出領域設定部341は、設定したシーン変化検出領域情報を検出処理部342に出力する。本実施形態では、画像に9個の評価ブロックを設定し、これらの集合をシーン変化検出領域としている。ここでシーン変化検出領域として設定される評価ブロックの数は、任意に設定可能であることは言うまでもない。
検出処理部342は、シーン変化検出領域設定部341から出力されたシーン変化検出領域情報と、前処理部320から順次出力される画像に基づいて、シーン変化を検出する。その後、検出処理部342はシーン変化が検出されたか否かを表すシーン変化検出情報をAF制御部345に出力する。シーン変化の検出手法の詳細については後述する。
AF領域設定部343は、例えば制御部350から出力される画像サイズ等の情報に基づいて、図5(A)に示すようなAF領域(上述した第1の領域に対応)を設定する。その後、AF領域設定部343は、設定したAF領域情報をAF評価値算出部344に出力する。本実施形態では説明を簡単にするために、シーン変化検出領域として設定された複数の評価ブロックのうち、中央に位置する評価ブロックと同じ領域をAF領域としている。実際には評価ブロックとAF領域とが同じサイズである必要はないため、評価ブロックとは全く異なる大きさの領域をAF領域として画像の中央付近に設定してもよい。
AF評価値算出部344は、AF領域設定部343から出力されたAF領域情報と、前処理部320から順次出力される画像に基づいてAF評価値を順次算出する。ここでは例えば、AF領域に含まれるすべての画素のY信号に対して任意のBPF(バンドパスフィルタ)処理を行い、その出力の総和をAF評価値とすればよい。その後、AF評価値算出部344は、算出したAF評価値をAF制御部345に順次出力する。
AF制御部345は、検出処理部342から出力されるシーン変化検出情報と、AF評価値算出部344から出力されるAF評価値に基づいて、フォーカスレンズを制御することでAFを行う。フォーカスレンズ駆動部230はAF制御部345から出力されるフォーカスレンズの制御信号に基づいてフォーカスレンズを駆動する。
ここで、AF制御部345の詳細について、図4を用いて説明する。AF制御部345は、AFが開始されるとまず合焦動作を開始する。ここでAF制御部345は、まず公知のピーク検出やウォブリングによるピーク方向判定等の手法を用いて合焦動作が行われるように、フォーカスレンズを駆動し(S101)、AF評価値算出部344から出力されるAF評価値を取得する(S102)。次にAF制御部345は、公知の合焦判定処理等を行うことで合焦が完了したか否かの判断を行う(S103)。次にAF制御部345は、合焦が完了していない場合はS101からの動作を繰り返し、合焦が完了した場合は合焦動作を終了する(S104)。
合焦動作が終了した場合、AF制御部345は待機動作を開始する。待機動作が開始されると、AF制御部345は、まず検出処理部342から出力されるシーン変化検出情報を取得する(S201)。次にAF制御部345は、シーン変化が検出されない場合はS201からの動作を繰り返し、シーン変化が検出された場合は待機動作を終了する(S202)。なおここでは図示しないが、AF制御部345はシーン変化が長時間継続して発生するような場合は、例えばシーン変化の終了を待って待機動作を終了するような制御を行ってもよい。待機動作が終了した場合、AF制御部345は合焦動作を再開する。なお待機動作が実行されている間、AF制御部345は、例えばフォーカスレンズ位置を合焦動作が終了した時の位置に固定し、フォーカスレンズの駆動は行わない。
ここでAF制御部345がこのような制御を行う理由について、図5(B)を用いて説明する。図5(B)はユーザが処置を行っている間、内視鏡システムで取得される代表的な画像を表した図である。前述したように、ユーザは画像の中央付近に位置する病変部に対して、電気メスやカンシ等の処置具を使用して病変の切除や縫合等の処置を行う。このため、処置中は画像の中央付近で画像の変化が最も大きくなる。一方、ユーザが処置を行っている間は視野が固定され、さらに画像の周辺付近に対してはほとんど処置が行われため、画像の周辺付近では画像の変化が比較的小さくなる。
本実施形態では図5(A)に示したように、画像の周辺付近を含んだ領域をシーン変化検出領域として設定し、この領域から取得される情報を用いてシーン変化を検出し、これに基づいて合焦動作の開始(再開)制御を行っている。このような制御を行うことで、ユーザが処置を行っている間(シーンが変化しない間)の不必要な合焦動作を停止し、シーンが変化して実際に合焦動作が必要となる場面だけで合焦動作を再開することが可能になる。
ここで検出処理部342におけるシーン変化の検出手法について説明する。検出処理部342は、例えばまずシーン変化検出領域として設定された複数個のブロックb[i]の全てに対して、現在の画像からブロックの平均輝度b_Y[i][n]を算出して図示しないメモリに記憶する。ここでiは、設定されたそれぞれのブロックに対応づけられたブロック番号を表している。本実施形態においては、設定されたブロックの数は9個であるため、iは0から8の値をとる。また、nは画像が取得されたタイミングを表している。
次に検出処理部342は、例えば下式(1)を用いてシーン変化検出の評価値Vを算出する。ここでb_Y[i][n−x]は、現在の画像よりxフレーム前に取得された画像から算出された各ブロックの平均輝度である。ここでxは任意の数である。
上式(1)から分かるように、Vは現在画像から算出された各評価ブロックの平均輝度と、過去に取得された画像から算出された、各評価ブロックの平均輝度との差の絶対値の総和として算出されている。このためVは、現在の画像とxフレーム前に取得された画像とで違いが大きいほど大きな値をとることになる。
次に検出処理部342は、算出されたVを用いてシーン変化が発生したか否かの判定を行う。例えば検出処理部342は、Vが所定の閾値を超えた場合はシーン変化が発生したと判定する。また例えば検出処理部342は、Vが所定の閾値を超える画像が、任意の回数以上連続して入力された場合にシーン変化が発生したと判定してもよい。さらに、検出処理部342は、例えば一度シーン変化が発生した後、Vが所定の閾値以下となる画像が任意の回数以上連続して入力された場合にシーン変化が終了したと判定してもよい。次に検出処理部342は、この判定結果をシーン変化検出情報としてAF制御部345に出力する。
なお、ここではシーン変化を検出するための特徴量として平均輝度を使用しているが、実際にはこれに限らず、例えば評価ブロックの平均の色情報や評価ブロックから算出されるAF評価値など、画像の変化が検出できる特徴量であればどのようなものを使用してもよい。
また、前述したように、内視鏡システムではユーザが処置を行っている間、画像の中央付近で画像の変化が最も大きくなる。このため図6(A)に示すように、画像の中央を除いた領域をシーン変化検出領域として設定し、前述と同様の判定処理を行ってシーン変化を検出してもよい。
また検出処理部342は、各評価ブロックの動きベクトルを用いてシーン変化を検出してもよい。この場合検出処理部342は、まずすべての評価ブロックに対して公知の技術を用いて動きベクトルを算出する。次に、各評価ブロックの動きベクトルの算出結果を用いてシーンが変化したか否かを判定する。具体的には、例えばユーザが硬性鏡100を左方向に振って、観察する被写体の位置を変更した場合、各評価ブロックの動きベクトルは図6(B)のようになる。また例えば、ユーザが硬性鏡を被写体に近づけた場合、各評価ブロックの動きベクトルは図6(C)のようになる。また例えば、ユーザが硬性鏡を被写体から遠ざけた場合、各評価ブロックの動きベクトルは図6(D)のようになる。このため検出処理部342は、各評価ブロックの動きベクトルがこのような挙動を示した場合にシーン変化が発生したと判定する。また例えば検出処理部342はシーン変化とみなされる画像が任意の回数以上連続して入力された場合にシーン変化が発生したと判定してもよい。さらに、検出処理部342は例えば一度シーン変化が発生した後、シーン変化とみなされない画像が任意の回数以上連続して入力された場合にシーン変化が終了したと判定してもよい。このような処理を行うことで、被写体や処置具等の局所的な動きに惑わされず、精度よくシーン変化を検出することが可能になる。
このような制御を行うことで、本実施形態における内視鏡システムは、ユーザ処置を行っている間の意図しないピント位置の変化やAF制御の誤動作による画像のボケ等の発生を抑止でき、ユーザにとって使い勝手の良いAF制御機能を実現することが可能になる。
以上の本実施形態では、第2の領域(シーン変化検出領域)は、図5(A)や図6(A)に示したように、少なくとも撮像画像の周辺部を含む領域であってもよい。
図5(A)の例であれば、第2の領域は撮像画像の中央部及び周辺部(周縁部)を含む領域であり、図6(A)の例であれば、第2の領域は撮像画像の周辺部を含み中央部を含まない領域となる。なお、周辺部とは、中央部に比べて画像の中心から離れた撮像画像中の部分を表すものであり、周辺部と中央部の境界をどのように設定するかは種々の変形実施が可能である。例えば、ここでの中央部とは図5(B)に示したように、処置対象の被写体、すなわちユーザにとって注目度合いが高い主要被写体が撮像される領域となるため、画像全体に対して主要被写体がどの程度の割合で撮像されていると処置がしやすいか、といった観点から設定してもよい。この場合、各ユーザが自身の好みにあった値を入力してもよいし、典型的な値をあらかじめ記憶しておき当該値を用いてもよい。
上述したように、撮像画像の周辺部とは、処置対象とは異なる被写体(主要被写体以外の被写体)が撮像されることが想定されるため、処置中においても被写体の変化が小さい。そのため、第2の領域として周辺部を含む領域を用いることで、処置中でもシーン変化を検出することなく、合焦動作を行わないことが可能になる。
なお、第2の実施形態で後述するように、イメージサークルのサイズによっては、撮像素子の出力画像の一部にしか被写体像が結像されない場合もある。その場合、出力画像のうち、被写体像が結像される結像領域以外の領域を第2の領域に含めたとしても、当該領域ではどのような状況でも変化が起こらないため、シーン変化検出において有用ではない。よって、ここでの撮像画像とは、狭義には被写体像が結像される結像画像を表すものとしてもよい。
また、第2の領域は、図6(A)に示したように、撮像画像のうち、第1の領域(AF領域)とは異なる領域であってもよい。
第1の領域とは、AFの対象となる領域であり、上述したように主要被写体が撮像されることが想定される。そのため、処置時には変化が大きい領域となる。処置時に無駄な合焦動作を行わないためには、第2の領域においては、処置時には変化が少ないことが好ましい。つまり、変化が大きい第1の領域とは異なる領域を第2の領域とすることで、シーン変化検出の精度を向上させることが可能になる。
なお、撮像画像のうち第1の領域とは異なる領域とは、撮像画像のうち第1の領域を除いた全ての領域である必要はなく、図6(A)や後述する図7(A)、図7(B)に示したように、画像(結像画像)中に第1の領域でもなく、且つ第2の領域でもない領域が存在することは妨げられない。また、第1の領域と第2の領域が「異なる」とは、第1の領域と第2の領域が一致しないことであると考えてもよい。この場合、第1の領域と第2の領域とで重複する領域があってもよいことになり、図6(A)等のように重複領域が無いものには限定されない。重複領域があるケースとは典型的には図5(A)に示したように、第2の領域が第1の領域を包含するケースである。
また、シーン変化検出部346は、フォーカス制御部347におけるフォーカス制御の実行中は、シーン変化の有無を検出する処理を停止してもよい。ここでのフォーカス制御とは、上述してきた合焦動作(図4のフローチャートにおけるS101〜S104)の制御に対応するものであり、S201〜S202においてまでシーン変化の有無の検出処理を停止するものではない。つまり、シーン変化検出部346は、フォーカス制御部347における合焦動作の実行中は、シーン変化の有無を検出する処理を停止する、と言い換えることが可能である。
これにより、合焦動作中にシーン変化検出を行わなくてよいため,処理負荷を軽減することが可能になる。一度合焦動作を行い被写体にピントがあった場合には、その後被写体と撮像部200の相対的な位置関係等が変化しなければ、ボケが生じる可能性は低い。本実施形態においても、図4に示したように合焦が完了した場合には、合焦動作から待機動作へ移行している。そして、本実施形態におけるシーン変化の検出処理とは、以前の合焦動作の結果を用いても合焦状態とならず、再度の合焦動作が必要な場合か否かを判定する処理に相当する。つまり、シーン変化を検出する処理は、合焦動作再開(実行)のトリガーとして用いることが典型であるのだから、既に合焦動作を実行中であれば、シーン変化検出を行う必要性は低く、シーン変化検出を停止することで効率的な処理負荷軽減が可能となる。なお、本実施形態では動画像の撮像を想定しているため、AFとは狭義にはフルタイムAFであり、シーン変化検出処理は停止している合焦動作の「再開」のトリガーである。静止画撮像のようにAFが狭義にはシングルAFであれば、シーン変化検出は2度目(或いは3度目以降)の合焦動作の「実行」のトリガーとなる。
また、シーン変化検出部346は、撮像画像の周辺部で被写体の動きが非検出と判定された場合には、撮像画像の中央部で被写体の動きが検出と判定された場合であっても、シーン変化が無いと判定してもよい。
ここでの動き検出は、例えば図6(B)〜図6(D)のように動きベクトルを用いるものであってもよい。上述してきたように、処置時には画像中央部(例えば図6(A)のAF領域に対応する部分)の動きが大きく、周辺部(図6(A)のシーン変化検出領域)の動きは小さい。従来手法であれば、中央部の動きが大きい場合にはシーン変化有りと判定してしまうが、このようにすれば処置時にシーン変化があると誤判定する可能性を抑止できる。なお、ここでの動きの不検出とは、動きが0であることには限定されない。中央部の被写体に対して処置を行うことで周辺部の被写体も小さく動くことは充分考えられるし、撮像部200が手ぶれ等により動いたり、被写体の部位によっては拍動やぜん動等により動くことも考えられる。このような動きは小さいものであり、合焦動作が必要な状況ではなく、シーン変化を検出したと判定すべきではない。よって例えば、図6(B)〜図6(D)のような合焦動作が必要な状況に対応する大きい動きと、上記の小さい動きを識別可能な動き閾値を設定し、動き量が当該動き閾値より小さければ動きが非検出とし、動き量が動き閾値以上であれば動きが検出されたと判定するといった手法を用いればよい。
また、「撮像画像の中央部で被写体の動きが検出と判定された場合であっても」とは、画像中央部の被写体の動きの検出処理を必ず行うというものではなく、行った上でその検出結果を用いないものとしてもよいし、そもそも画像中央部では動きの検出処理を行わなくてもよい。例えば図6(A)に示したシーン変化検出領域を用いる場合、中央部の被写体の動きは検出対象とならない。
また、第2の領域は、複数のブロックの集合であり、シーン変化検出部346は、複数のブロックにおける被写体の動きパターンと、所与の基準動きパターンとの比較処理に基づいて、シーン変化の有無を検出してもよい。
ここで複数のブロックにおける被写体の動きパターンとは、各ブロックで求められた動き(狭義には動きベクトル)の集合であり、図6(A)のように第2の領域が8個のブロックから構成される場合であれば、動きパターンは8個の動きベクトルの集合となる。動きパターンを用いることで、図6(B)〜図6(D)に示したように、全てのブロックが一定の方向の動きが検出された、或いは画像の中央に対して放射状の動きが検出されたといった情報を取得できる。
そして、基準動きパターンとは、撮像部200と被写体の相対的な関係が変化した場合(狭義には撮像部200が移動された場合)の典型的な動きパターンをあらかじめ記憶しておいた情報である。例えば、光軸方向に交差(狭義には直交)する面内での撮像部200の移動があった場合、図6(B)に示したように一定方向の動きパターンが検出されるはずである。また、光軸方向に撮像部200の移動があった場合、放射状の動きパターンが検出されるはずである。これらの動きパターンを基準動きパターンとすればよい。
このように、撮像部200の典型的な移動と、当該移動に対応する基準動きパターンを記憶しておけば、実測時に基準動きパターンと同様の動きパターンが検出された場合に、当該基準動きパターンに対応する撮像部200の動きがあったと判定することができる。図6(B)〜図6(D)のように、撮像部200が大きく移動し、合焦動作の再開が必要な状況、すなわちシーン変化とすべき状況に対応する基準動きパターンを記憶しておくことで、当該基準動きパターンとの比較処理により動きパターンからシーン変化の有無を検出することが可能になる。
なお、本実施形態の内視鏡装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の内視鏡装置等が実現される。具体的には、情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶装置(コンピュータにより読み取り可能な装置)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリ(カード型メモリ、ROM等)などにより実現できる。そして、CPU等のプロセッサは、情報記憶装置に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
また、本実施形態の内視鏡装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただしプロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る内視鏡装置等の各部が実現されることになる。ここでのメモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスタやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
3.第2の実施形態
第2の実施形態に係る内視鏡システムについて説明する。本実施形態の内視鏡システムの構成は、第1の実施形態と同様である。
本実施形態の内視鏡システムは、例えば撮像部200に接続する硬性鏡100の種類や、ズームレンズ240の位置で決まる対物レンズ系270の光学倍率によって、撮像素子260上に結像される被写体像のイメージサークル径が変化する。図7(A)はイメージサークル径が大きい場合に撮像素子260で取得される画像を示した図であり、図7(B)はイメージサークル径が小さい場合に撮像素子260で取得される画像を示した図である。ここで被写体像は、イメージサークルの内側にのみ結像されるため、イメージサークルの外側にシーン変化検出領域を設定しても画像の変化を検出することができない。このため、本実施形態の内視鏡システムでは、イメージサークル径に応じてシーン変化検出領域を調整する必要がある。また、イメージサークル径が変化すると、画像上での被写体の大きさも変化するため、イメージサークル径に応じてAF領域のサイズも調整することが望ましい。
本実施形態の内視鏡システムは、例えば硬性鏡100は図示しない硬性鏡の種類情報を記憶したメモリを持ち、制御部350は硬性鏡100が撮像部200と接続されると、メモリから硬性鏡の種類情報を取得する。また、本実施形態の内視鏡システムは、例えばユーザが硬性鏡の種類情報を外部I/F部500に入力する構成としてもよい。この場合、外部I/F部500は入力された硬性鏡の種類情報を制御部350に出力する。さらに本実施形態の内視鏡システムは、例えばユーザがズームボタン210でズームレンズ240の位置を調整した場合、ズームレンズ位置情報を、制御部350に出力する。
制御部350は、硬性鏡の種類情報およびズームレンズ位置情報をシーン変化検出領域設定部341とAF領域設定部343に出力する。シーン変化検出領域設定部341は、硬性鏡の種類情報およびズームレンズ位置情報からイメージサークル径を算出し、これに応じてシーン変化検出領域を調整する。具体的には図7(A)〜図7(B)に示すように、シーン変化検出領域として設定される評価ブロックのサイズや数、および位置や配置方法を変更する。AF領域設定部343は、硬性鏡の種類情報およびズームレンズ位置情報からイメージサークル径を算出し、これに応じてAF領域を調整する。具体的には図7(A)〜図7(B)に示すように、AF領域のサイズや位置を変更する。
このような制御を行うことで、本実施形態における内視鏡システムは、硬性鏡100の種類や、ズームレンズ240の位置によって撮像素子260上に結像される被写体像のイメージサークル径が変化する場合も、シーン変化検出領域およびAF領域を最適化することが可能になる。
以上の本実施形態では、第2の領域は、複数のブロックの集合であり、光学系により撮像素子260上に結像される被写体像のイメージサークルのサイズに基づいて、ブロックの数、サイズ及び配置方法の少なくとも1つが変更される。
ここでブロックとは上述した評価ブロックに対応し、図5(A)等の例であれば3×3の9個のブロックである。図7(A)と図7(B)の間の変更の場合、ブロックの数が9個から11個に変更され、1ブロックのサイズは小さくなり、3×3の長方形の上下にブロックを追加する配置変更がされている。
このようにすることで、第2の領域を適切に設定することが可能になる。撮像素子260から出力される出力画像のうち、被写体像が結像されるのはイメージサークル内に限られる。そして上述したように硬性鏡100の種類や光学系のズーム倍率等によりイメージサークル径が異なるため、被写体像が結像される領域(結像画像)も変化する。本実施形態では、画像の一部(狭義には中央部)に処置対象であって変化が大きい主要被写体が撮像され、他の部分(狭義には周辺部)の被写体は変化が小さいことを想定している。そして、ここでの画像とは被写体像が結像される範囲を基準に考えるべきであり、結像画像を用いるとよい。
基本的には、イメージサークルが大きいほど結像画像も大きくなるため、同等のブロック数で第2の領域を構成するのであればブロックサイズも大きくするとよい。また、結像画像が大きくなった場合に、ブロックサイズを同等のままとするのであれば、ブロック数を増やすとよい。
また、第2の領域は、イメージサークルによって決定される被写体像の結像画像の形状情報に基づいて、ブロックの配置方法が変更されてもよい。
結像画像の形状は、イメージサークルが撮像素子260に対して充分大きければ長方形となり、図7(B)に示したようにイメージサークルが撮像素子260内に収まる場合には円形となり、その中間では図7(A)に示したように長方形と円形の中間となる。結像画像が長方形に近ければ、図7(A)に示したように第2の領域を長方形とすれば、広い範囲をカバーできる。それに対して、結像画像が円形になると、長方形の第2の領域では結像画像の周辺部分をカバーできず、適切なシーン変化検出ができない。その場合、第2の領域の形状も変化させるとよく、第2の領域を所定形状のブロックの集合とするのであれば、図7(B)に示したように当該ブロックの配置を変更することになる。
また、第1の領域は、光学系により撮像素子260上に結像される被写体像のイメージサークルのサイズに基づいて、サイズ及び位置の少なくとも一方が変更されてもよい。
イメージサークルの変化により、主要被写体の画像上での位置やサイズが変更されることは上述したとおりである。第1の領域とは合焦評価値の算出対象領域であり、これは主要被写体が撮像される領域に対応する。よって、第2の領域だけでなく第1の領域についても、イメージサークル径に基づいてサイズ等を変更することで適切なフォーカス制御を行うことが可能になる。
4.第3の実施形態
画像中に照明光の反射に起因する輝点が存在する場合、当該輝点では輝度値が非常に大きい値となってしまう。また、画像中のカンシ等の処置具が撮像された領域についても、処置具の色味は生体の色味と大きく異なるため、生体領域に比べて画素値や輝度値が大きく異なる。また、光が充分届かない暗部領域についても非常に小さいな輝度値が取得されることになり、通常の生体領域とは信号値が大きく異なる。
そのような特異な点の情報を用いた場合、シーン変化の有無の検出精度が低下する可能性も考えられる。よって本実施形態では、第2の領域の全ての領域の情報をシーン変化検出に用いるのではなく、輝点等の領域を除外する。このようにすることで、シーン変化の有無を精度よく判定することが可能になる。
具体的には、内視鏡装置は図8に示したように、有効ブロック判定部348を含んでもよい。第2の領域が複数のブロック(評価ブロック)から構成される場合に、有効ブロック判定部348は各ブロックに対して、当該ブロックが輝点等を含まない有効ブロックであるか、輝点等を含む無効ブロックであるかを判定する。シーン変化検出部346では、第2の領域に含まれるブロックのうち、有効ブロックのみを用いてシーン変化の有無を検出すればよい。
ここで、1つのブロックのサイズは種々の変形実施が可能であり、小さい例では1ブロックを1画素としてもよい。ただし、ブロックサイズを小さくして画像中に含まれるブロック数を多くすると、有効ブロックか否かの判定処理の負荷が増大する。一方、図5(A)のようにブロックサイズを大きくして画像中に含まれるブロック数を少なくしすぎると、画像中に占める輝点や処置具の領域がそれほど大きくなくても、大部分の(狭義には全ての)ブロックが無効と判定されてしまい、適切なシーン変化検出ができなくなるおそれもある。よってブロックサイズ(ブロック数)はバランスのとれた値とすることが好ましく、例えば図9に示したサイズ等を用いればよい。
有効ブロック判定部348は、各評価ブロックにおいて算出された特徴量を用いて、各評価ブロックが有効ブロックであるか否かの判定を行う。ここで有効ブロック判定部348は例えば、各評価ブロックに対して、当該ブロックに含まれるすべての画素のY信号(輝度値)の最大値が所定の閾値以上であるか否かの判定を行ってもよい。そして、閾値以上である場合は評価ブロック内に輝点が含まれるため有効ブロックではないと判定し、対応する評価ブロックの有効ブロック判定フラグを0とする。また輝度値の最大値が所定の閾値より小さい場合は、評価ブロック内に輝点が含まれないため有効ブロックと判定して対応する評価ブロックの有効ブロック判定フラグを1とする。
また有効ブロック判定部348は例えば、各評価ブロックに対して、当該ブロックに含まれるすべての画素のY信号(輝度値)の平均値が所定の閾値以下であるか否かの判定を行い、閾値以下である場合は評価ブロックが画像の非常に暗い領域に位置するため有効ブロックではないと判定し、対応する評価ブロックの有効ブロック判定フラグを0とする。またY信号の平均値が所定の閾値より大きい場合は、評価ブロックが画像の明るい領域に位置するため、有効ブロックと判定して評価ブロックの有効ブロック判定フラグを1とする。
さらに有効ブロック判定部348は例えば、各評価ブロックのCb,Cr信号のそれぞれの平均値が共に所定の閾値以下であるか否かの判定を行い、共に所定の閾値以下である場合は評価ブロックが画像のカンシの領域に位置するため有効ブロックではないと判定し、対応する評価ブロックの有効ブロック判定フラグを0とする。これは、カンシは主に黒や銀色であるため、カンシに対応する領域ではCb,Cr信号が共に0に近い値となるためである。またCb,Cr信号の平均値の両方、もしくはどちらか一方が所定の閾値より大きい場合は、評価ブロックはカンシの領域に位置しないため、有効ブロックと判定して対応する評価ブロックの有効ブロック判定フラグを1とする。
有効ブロック判定部348は上述した判定処理のうちの1つもしくは任意の組み合わせの判定を行い、すべての評価ブロックに対する有効ブロック判定フラグをシーン変化検出部346(検出処理部342)に出力する。ここで有効ブロック判定部348が複数の判定処理を行う場合は、すべての判定処理に対して有効ブロックであると判定された評価ブロックに対して、最終的に有効ブロック判定フラグを1とすればよい。また、複数の判定処理に対して、1つでも無効ブロックと判定された評価ブロックに対しては有効ブロック判定フラグを0とすればよい。
また有効ブロック判定部348では、必要に応じて上述していない任意の特徴量を算出し、算出した特徴量に応じて任意の判定処理を行い、各評価ブロックが有効ブロックであるか否かを判定してもよい。
以上の本実施形態では、第2の領域が、複数のブロックの集合である場合に、複数のブロックの各ブロックが有効か否かを判定する有効ブロック判定部348をさらに含み、シーン変化検出部346は、第2の領域の複数のブロックのうち、有効ブロック判定部348で有効と判定されたブロックから、シーン変化の有無を検出する。
このようにすれば、生体が正常に撮像されている領域に比べて特異な信号値が出力される領域、例えば輝点や暗部、処置具の領域の情報をシーン変化の検出処理から除外できるため、シーン変化の有無を精度よく判定することが可能になる。
なお、輝点、暗部、処置具の領域の情報が精度低下の要因となるのは、合焦評価値の算出処理においても同様である。よって、有効ブロック判定部348では、有効ブロックか否かの判定結果をフォーカス制御部347(AF評価値算出部344)に対して出力してもよく、その場合フォーカス制御部347では、第1の領域のうち、有効と判定されたブロックの情報を用いて合焦評価値を算出する。このようにすれば、合焦評価値についても算出精度を高くすることが可能になる。
ただし、合焦評価値の算出まで考慮した場合、各タイミングでの撮像画像から輝点やカンシが含まれるブロックを検出し、これらのブロックを第1の領域から除外して合焦制御を行うのでは不十分なことも考えられる。なぜなら、被写体となる生体がわずかに動いたこと等に起因して画像中の輝点の位置が変動した場合など、除外すべき被写体の画像中の位置が合焦動作中に変化することが考えられるためである。合焦評価値を用いた合焦動作では、各タイミングでの合焦評価値を比較し、相対的なピークを検出することで適切なフォーカスレンズ位置を決定する。そのため、第1のタイミングでの画像での有効ブロックの数、配置と、第2のタイミングでの有効ブロックの数、配置とが異なってしまえば、2つの画像の間で合焦評価値の算出条件が変化してしまうことになり、2つの合焦評価値の適切な比較ができない。
よって、1つのタイミングでの有効ブロックの情報だけを用いるのではなく、複数のタイミングでの有効ブロックの情報を合わせて用いて、第1の領域中の有効ブロックを決定する等の手法を用いてもよい。具体例を図10(A)〜図10(C)に示す。合焦動作中に第1の画像と第2の画像が取得され、第1の画像の有効ブロック判定結果が図10(A)、第2の画像の有効ブロックの判定結果が図10(B)であったとする。図10(A)、図10(B)ではフラグ=1が有効ブロック、フラグ=0が無効ブロックである。この場合、図10(C)に示したように、第1の画像と第2の画像の両方で有効と判定されたブロックの集合を、第1の領域中の有効ブロックとすればよい。このようにすれば、複数の画像において、合焦評価値を同一の条件で求めることができるため、合焦評価値の比較処理を適切に行うことができる。
以上、本発明を適用した3つの実施の形態1〜3およびその変形例について説明したが、本発明は、各実施の形態1〜3やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜3や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜3や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
100 硬性鏡、110 レンズ系、120 ライトガイド部、200 撮像部、
210 ズームボタン、220 フォーカスレンズ、230 フォーカスレンズ駆動部、240 ズームレンズ、250 ズームレンズ駆動部、260 撮像素子、
270 対物レンズ系、280 光学系、300 処理部、310 AD変換部、
320 前処理部、330 画像処理部、340 AF部、
341 シーン変化検出領域設定部、342 検出処理部、343 AF領域設定部、
344 AF評価値算出部、345 AF制御部、346 シーン変化検出部、
347 フォーカス制御部、348 有効ブロック判定部、350 制御部、
400 表示部、500 外部I/F部、600 光源部、610 白色光源、
620 ライトガイドケーブル

Claims (12)

  1. 撮像部が取得する撮像画像の像を結像する光学系が有するフォーカスレンズの位置を、前記撮像画像上における第1の領域から算出された合焦評価値に基づいて、合焦位置に制御するフォーカス制御を行うフォーカス制御部と、
    前記撮像画像上における少なくとも前記第1の領域とは異なる領域を含む第2の領域から、シーン変化の有無を検出するシーン変化検出部と、
    を備え、
    前記フォーカス制御部は、
    前記フォーカス制御によって前記フォーカスレンズの位置が前記合焦位置に制御されると、前記フォーカス制御を停止する待機状態となり、前記待機状態において、前記シーン変化検出部で前記シーン変化が検出された場合に、前記フォーカス制御を再開することを特徴とする内視鏡装置。
  2. 請求項1において、
    前記第2の領域は、少なくとも前記撮像画像の周辺部を含む領域であることを特徴とする内視鏡装置。
  3. 請求項1において、
    前記第2の領域は、前記撮像画像のうち、前記第1の領域とは異なる領域であることを特徴とする内視鏡装置。
  4. 請求項1において、
    前記第2の領域は、複数のブロックの集合であり、
    前記光学系により前記撮像部が有する撮像素子上に結像される被写体像のイメージサークルのサイズに基づいて、前記ブロックの数、サイズ及び配置方法の少なくとも1つが変更されることを特徴とする内視鏡装置。
  5. 請求項4において
    前記第2の領域は、前記イメージサークルによって決定される前記被写体像の結像画像の形状情報に基づいて、少なくとも前記ブロックの配置方法が変更されることを特徴とする内視鏡装置。
  6. 請求項1において、
    前記第1の領域は、前記光学系により前記撮像部が有する撮像素子上に結像される被写体像のイメージサークルのサイズに基づいて、サイズ及び位置の少なくとも一方が変更されることを特徴とする内視鏡装置。
  7. 請求項1において、
    前記シーン変化検出部は、
    前記フォーカス制御部における前記フォーカス制御の実行中は、前記シーン変化の有無を検出する処理を停止することを特徴とする内視鏡装置。
  8. 請求項1において、
    前記シーン変化検出部は、
    前記撮像画像の周辺部で被写体の動きが非検出と判定された場合には、前記撮像画像の中央部で前記被写体の動きが検出と判定された場合であっても、前記シーン変化が無いと判定することを特徴とする内視鏡装置。
  9. 請求項1において、
    前記第2の領域は、複数のブロックの集合であり、
    前記シーン変化検出部は、
    複数の前記ブロックにおける被写体の動きパターンと、所与の基準動きパターンとの比較処理に基づいて、前記シーン変化の有無を検出することを特徴とする内視鏡装置。
  10. 請求項1において、
    前記第2の領域が、複数のブロックの集合である場合に、
    複数の前記ブロックの各ブロックが有効か否かを判定する有効ブロック判定部をさらに含み、
    前記シーン変化検出部は、
    前記第2の領域の複数の前記ブロックのうち、前記有効ブロック判定部で有効と判定された前記ブロックから、前記シーン変化の有無を検出することを特徴とする内視鏡装置。
  11. フォーカス制御部と、シーン変化検出部と、を備えた内視鏡装置の作動方法であって、
    前記フォーカス制御部が、撮像部からの撮像画像上における第1の領域から、合焦評価値を算出し、前記合焦評価値に基づいて、前記撮像部が備える光学系のフォーカスレンズの位置を合焦位置に制御するフォーカス制御を行い、
    前記シーン変化検出部が、前記撮像画像上における、少なくとも前記第1の領域とは異なる領域を含む第2の領域から、シーン変化の有無を検出し、
    前記フォーカス制御部が、前記フォーカス制御によって前記フォーカスレンズの位置が前記合焦位置に制御されることによって、前記フォーカス制御が停止している待機状態において、前記シーン変化が検出された場合に、前記フォーカス制御を再開する、
    ことを特徴とする内視鏡装置の作動方法。
  12. 撮像部からの撮像画像上における第1の領域から、合焦評価値を算出し、
    前記合焦評価値に基づいて、前記撮像部が備える光学系のフォーカスレンズの位置を合焦位置に制御するフォーカス制御を行い、
    前記撮像画像上における、少なくとも前記第1の領域とは異なる領域を含む第2の領域から、シーン変化の有無を検出し、
    前記フォーカス制御によって前記フォーカスレンズの位置が前記合焦位置に制御されることによって、前記フォーカス制御が停止している待機状態において、前記シーン変化が検出された場合に、前記フォーカス制御を再開する、
    ステップをコンピュータに実行させるプログラム。
JP2013271151A 2013-12-27 2013-12-27 内視鏡装置、内視鏡装置の作動方法及びプログラム Active JP6249769B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013271151A JP6249769B2 (ja) 2013-12-27 2013-12-27 内視鏡装置、内視鏡装置の作動方法及びプログラム
EP14874528.4A EP3087904A4 (en) 2013-12-27 2014-09-26 Endoscopic device, method for controlling endoscopic device, and program
PCT/JP2014/075620 WO2015098218A1 (ja) 2013-12-27 2014-09-26 内視鏡装置、内視鏡装置の制御方法及びプログラム
CN201480070312.8A CN105848558B (zh) 2013-12-27 2014-09-26 内窥镜装置以及内窥镜装置的控制方法
US15/099,377 US10574874B2 (en) 2013-12-27 2016-04-14 Endoscope apparatus, method for controlling endoscope apparatus, and information storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013271151A JP6249769B2 (ja) 2013-12-27 2013-12-27 内視鏡装置、内視鏡装置の作動方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015123293A JP2015123293A (ja) 2015-07-06
JP6249769B2 true JP6249769B2 (ja) 2017-12-20

Family

ID=53478098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013271151A Active JP6249769B2 (ja) 2013-12-27 2013-12-27 内視鏡装置、内視鏡装置の作動方法及びプログラム

Country Status (5)

Country Link
US (1) US10574874B2 (ja)
EP (1) EP3087904A4 (ja)
JP (1) JP6249769B2 (ja)
CN (1) CN105848558B (ja)
WO (1) WO2015098218A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3249902A4 (en) * 2015-01-20 2018-08-22 Hitachi Automotive Systems, Ltd. On-vehicle camera device
JP6530067B2 (ja) * 2015-06-11 2019-06-12 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6762313B2 (ja) * 2015-10-27 2020-09-30 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
WO2017122287A1 (ja) 2016-01-13 2017-07-20 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6670853B2 (ja) 2016-01-15 2020-03-25 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
WO2017122349A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
DE112017002074T5 (de) * 2016-04-19 2019-01-24 Olympus Corporation Endoskopsystem
WO2018116371A1 (ja) * 2016-12-20 2018-06-28 オリンパス株式会社 自動焦点制御装置、内視鏡装置及び自動焦点制御装置の作動方法
JPWO2018179610A1 (ja) * 2017-03-27 2020-02-06 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置、内視鏡システム、処理方法およびプログラム
JP7016681B2 (ja) * 2017-12-01 2022-02-07 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
JP7159577B2 (ja) * 2018-03-20 2022-10-25 ソニーグループ株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
JP2019215489A (ja) * 2018-06-14 2019-12-19 オリンパス株式会社 撮像装置および焦点調節方法
JP7248415B2 (ja) * 2018-12-04 2023-03-29 オリンパス株式会社 内視鏡システム、プロセッサ
JP7247702B2 (ja) * 2019-03-27 2023-03-29 ソニーグループ株式会社 内視鏡システム、内視鏡制御方法、及び、撮像制御装置
US20210275000A1 (en) * 2020-03-05 2021-09-09 Stryker Corporation Systems and methods for endoscope type detection
WO2021250777A1 (ja) * 2020-06-09 2021-12-16 オリンパス株式会社 内視鏡システム及び内視鏡のフォーカス制御方法
CN114785948B (zh) * 2022-04-14 2023-12-26 常州联影智融医疗科技有限公司 内窥镜调焦方法、装置、内镜图像处理器及可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09253041A (ja) * 1996-03-26 1997-09-30 Olympus Optical Co Ltd 内視鏡装置
JP3980284B2 (ja) * 2001-03-02 2007-09-26 ペンタックス株式会社 内視鏡装置
US7522209B2 (en) 2002-12-26 2009-04-21 Hoya Corporation Automatic focusing apparatus including optical flow device calculation
JP2004205982A (ja) * 2002-12-26 2004-07-22 Pentax Corp 自動焦点調節装置
JP2006208818A (ja) 2005-01-28 2006-08-10 Sony Corp フォーカス制御装置、フォーカス制御方法
WO2008129552A1 (en) * 2007-04-19 2008-10-30 Dvp Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US8233075B2 (en) * 2007-05-24 2012-07-31 Gyrus Acmi, Inc. User-aided auto-focus
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
US8274596B2 (en) * 2008-04-30 2012-09-25 Motorola Mobility Llc Method and apparatus for motion detection in auto-focus applications
JP5407373B2 (ja) * 2009-02-02 2014-02-05 カシオ計算機株式会社 撮影装置、及びプログラム
US8717490B2 (en) * 2009-06-19 2014-05-06 Casio Computer Co., Ltd Imaging apparatus, focusing method, and computer-readable recording medium recording program
JP2011090048A (ja) * 2009-10-20 2011-05-06 Olympus Imaging Corp カメラ用自動焦点調節装置
JP2012125293A (ja) * 2010-12-13 2012-07-05 Olympus Corp 制御装置、内視鏡装置及びフォーカス制御方法
JP5948076B2 (ja) 2011-08-23 2016-07-06 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御方法
JP2013043007A (ja) * 2011-08-25 2013-03-04 Olympus Corp 焦点位置制御装置、内視鏡装置及び焦点位置制御方法
JP5988590B2 (ja) * 2012-01-17 2016-09-07 オリンパス株式会社 内視鏡装置
JP5953049B2 (ja) * 2012-01-24 2016-07-13 オリンパス株式会社 内視鏡システム
JP6120491B2 (ja) * 2012-05-01 2017-04-26 オリンパス株式会社 内視鏡装置及び内視鏡装置のフォーカス制御方法

Also Published As

Publication number Publication date
US20160234427A1 (en) 2016-08-11
EP3087904A1 (en) 2016-11-02
CN105848558B (zh) 2018-09-14
EP3087904A4 (en) 2017-11-01
US10574874B2 (en) 2020-02-25
JP2015123293A (ja) 2015-07-06
WO2015098218A1 (ja) 2015-07-02
CN105848558A (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
JP6249769B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP6453543B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP6453904B2 (ja) フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
WO2013051593A1 (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US10666852B2 (en) Focus control device, endoscope apparatus, and method for operating focus control device
US10771676B2 (en) Focus control device, endoscope apparatus, and method for operating focus control device
US20140307072A1 (en) Image processing device, image processing method, and information storage device
US20150334289A1 (en) Imaging device and method for controlling imaging device
CN107005647B (zh) 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
US9219854B2 (en) Imaging device, method for controlling imaging device, and information storage device
JP6574448B2 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
JP6533284B2 (ja) フォーカス制御装置、撮像装置、内視鏡システム、フォーカス制御装置の制御方法
US11141050B2 (en) Autofocus control device, endoscope apparatus, and operation method of autofocus control device
JP2012239644A (ja) 画像処理装置、内視鏡装置、画像処理方法
US10799085B2 (en) Endoscope apparatus and focus control method
US10945591B2 (en) Image capturing device, endoscope apparatus, and method for operating image capturing device
JPWO2018016002A1 (ja) 画像処理装置、内視鏡システム、プログラム及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171121

R151 Written notification of patent or utility model registration

Ref document number: 6249769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250