[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6743167B2 - 内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ - Google Patents

内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ Download PDF

Info

Publication number
JP6743167B2
JP6743167B2 JP2018546124A JP2018546124A JP6743167B2 JP 6743167 B2 JP6743167 B2 JP 6743167B2 JP 2018546124 A JP2018546124 A JP 2018546124A JP 2018546124 A JP2018546124 A JP 2018546124A JP 6743167 B2 JP6743167 B2 JP 6743167B2
Authority
JP
Japan
Prior art keywords
image
image information
bayer
endoscope
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018546124A
Other languages
English (en)
Other versions
JPWO2018073959A1 (ja
Inventor
直 菊地
直 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018073959A1 publication Critical patent/JPWO2018073959A1/ja
Application granted granted Critical
Publication of JP6743167B2 publication Critical patent/JP6743167B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタに関するものである。
従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。医療用の内視鏡装置は、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を患者等の被検体の体腔内に挿入することにより、被検体を切開しなくても体腔内の体内画像を取得することができるため、被検体への負担が少なく、普及が進んでいる。
このような内視鏡装置の観察方式としては、白色の照明光（白色照明光）を用いた白色光観察（ＷＬＩ：Ｗｈｉｔｅ Ｌｉｇｈｔ Ｉｍａｇｉｎｇ）方式と、青色光および緑色光の波長帯域にそれぞれ含まれる２つの挟帯域光からなる照明光（挟帯域照明光）を用いた挟帯域光観察（ＮＢＩ：Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）方式とが広く知られている。挟帯域光観察方式は、生体の粘膜表層（生体表層）に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができ、生体の粘膜表層における病変部をより的確に発見することができる。このような内視鏡装置の観察方法に関して、白色光観察方式と狭帯域光のような特殊光観察方式とを切り替えて観察することが望まれている。
上述した観察方式によりカラー画像を生成して表示する内視鏡装置においては、単板の撮像素子により撮像画像を取得すべく、撮像素子の受光面上にカラーフィルタが設けられ、撮像素子の各画素により、カラーフィルタを透過した波長帯域の光が受光されて、その波長帯域の光に応じた色成分の電気信号が生成される。そして、各画素においてカラーフィルタを透過せずに欠落した色成分の信号値を算出するデモザイキング処理を呼ばれる補間処理が行われて、カラー画像が生成される。撮像素子上に設けられるカラーフィルタは、一般的には赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の波長帯域の光を各々透過するフィルタを１つのフィルタ単位（ユニット）として画素毎に配列される。この配列は原色ベイヤ配列と呼ばれる。
近年、生体内において白色光観察方式と挟帯域光観察方式のどちらでも高い解像感を得るために原色カラーフィルタだけでなく、シアン（Ｃｙ）やマゼンタ（Ｍｇ）のような補色カラーフィルタを混在させたフィルタ配置が開示されている（例えば、特許文献１参照。）。原色画素にこれらの補色画素を混在させることにより、原色画素のみの場合に比べて青色波長帯域の情報を多く取得することが可能となり、挟帯域光観察の場合の毛細血管等の解像向上効果を得ることが可能となる。
ところが、一般的に、出力画像を生成するための画像処理装置は原色ベイヤ配列にのみ対応しており、フィルタ配置の異なる撮像素子を用いる場合には専用の画像処理装置を開発する必要がある。さらに、内視鏡装置のように撮像素子を有する内視鏡（スコープ）と画像処理装置が別体の場合には、内視鏡（スコープ）と画像処理装置の様々な組み合わせを考慮する必要がある。そのため、特許文献１に記載のフィルタ配置の撮像素子を有する内視鏡（スコープ）と原色ベイヤ配列用の画像処理装置が接続された場合は、正しい出力結果が得られないという問題がある。
このような問題に対して、原色画素と白（Ｗ）画素が混在したＲＧＢＷフィルタ配置の撮像データを原色ベイヤ配列に変換する手法が開示されている（例えば、特許文献２参照）。
特開２０１５−１１６３２８号公報 特許４６８３１２１号公報
しかしながら、特許文献２に記載の手法は、ＲＧＢＷ配列にしか対応できないことに加え、撮像素子と画像処理の組み合わせに応じて変換の有無及び変換手法を変えることができず、内視鏡（スコープ）と画像処理装置の様々な組み合わせに対応することができないという問題がある。
本発明は、上述した事情に鑑みてなされたものであって、撮像素子のフィルタ配列に関わらず、ベイヤ処理用の画像処理装置を改良することなく、ベイヤ処理用の画像処理装置により精度よく画像を生成することができる内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタを提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第１態様は、 被写体の画像情報を取得する撮像素子と、該撮像素子の画素上に配置される原色画素と補色画素とが混在したカラーフィルタと、該カラーフィルタを介して前記撮像素子により取得された画像情報に基づいて観察画像を生成する画像処理装置が、前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応しているか否かを検出する対応検出部と、該対応検出部により、前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応していないと検出された場合は、前記撮像素子から前記画像処理装置に送る前記画像情報をベイヤ配列に変換するベイヤ変換処理を施し、前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応していると検出された場合は、前記撮像素子から前記画像処理装置に送る前記画像情報に前記ベイヤ変換処理を施さない変換処理部とを備える内視鏡スコープである。
本態様によれば、画像処理装置に接続されて体腔内に挿入され、画像処理装置により被写体の観察画像を生成するための画像情報がカラーフィルタを介して撮像素子により取得される。この場合において、対応検出部により、画像処理装置が、原色画素と補色画素とが混在した配列からなる画像情報に対応しているか否かが検出される。
そして、対応検出部により、画像処理装置が原色画素と補色画素とが混在した配列からなる画像情報に対応していないと検出された場合は、変換処理部によって撮像素子からの画像情報がベイヤ変換処理されて画像処理装置に送られ、対応検出部により、画像処理装置が原色画素と補色画素とが混在した配列からなる画像情報に対応していると検出された場合は、変換処理部により、撮像素子からの画像情報がベイヤ変換処理されずに画像処理装置に送られる。
したがって、画像処理装置がベイヤ処理用の場合であっても、撮像素子のフィルタ配列に関わらず、ベイヤ処理用の画像処理装置を改良することなく、ベイヤ処理用の画像処理装置により精度よく観察画像を生成することができる。
上記態様においては、前記補色画素がＣｙ画素であってもよい。
このように構成することで、カラーフィルタが原色画素のみの場合に比べて、青色波長帯域の情報を多く取得することが可能となり、挟帯域光観察の場合の毛細血管等の解像向上効果を得ることが可能となる。
上記態様においては、前記カラーフィルタが、前記補色画素が市松状に配置されてなることとしてもよい。
このように構成することで、画像処理装置において、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記被写体に照射される照明光が白色光と該白色光に含まれる所定の狭帯域光のいずれであるかを検出する光種類検出部を備え、前記変換処理部が、前記対応検出部により前記画像処理装置が前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応しないと検出され、かつ、前記光種類検出部により前記照明光が前記白色光であると検出された場合は、前記画像情報をＧ画素が市松状になるように変換し、前記対応検出部により前記画像処理装置が前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応しないと検出され、かつ、前記光種類検出部により前記照明光が前記狭帯域光であると検出された場合は、前記画像情報をＣｙ画素が市松状になるように変換することとしてもよい。
変換処理部により、照明光が白色光の場合はＢ画素、Ｒ画素のどちらとも相関が高いＧ画素が市松状になるように画像情報を変換し、照明光が狭帯域光の場合はＢ画素、Ｇ画素のどちらとも相関が高いＣｙ画素が市松状になるように画像情報を変換することで、画像処理装置において、ベイヤ配列用のデモザイキング処理の性能をより活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記照明光が前記白色光の場合と前記狭帯域光の場合とで前記ベイヤ変換処理後に市松状に配置される画素の位置が一致するよう、前記画像情報を変換することとしてもよい。
このように構成することで、市松状に配置される画素の位置が照明光によらず一致することにより、画像処理装置のパラメータを照明光ごとに変えることなく、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記対応検出部により前記画像処理装置が前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応しないと検出された場合に、前記画像情報の前記補色画素に対して色変換し、原色画素のみのベイヤ配列に変換することとしてもよい。
このように構成することで、補色画素が含まれる場合でも、画像処理装置の処理回路を変更することなく、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記画像情報にエッジ強調処理を施した上で前記ベイヤ変換処理を施すこととしてもよい。
このように構成することで、画像処理装置によりデモザイキング処理が行われる場合に方向判別の精度が向上し、解像感が向上した観察画像を生成することができる。
本発明の第２態様は、内視鏡スコープの撮像素子により取得された画像情報に基づき観察画像を生成するベイヤ処理用の画像処理部と、接続される前記内視鏡スコープの前記撮像素子から出力される前記画像情報がベイヤ配列からなるか否かを検出する配列検出部と、該配列検出部により、前記ベイヤ配列からなると検出されない場合は、前記撮像素子から前記画像処理部に送られてくる前記画像情報をベイヤ配列に変換するベイヤ変換処理を施し、前記ベイヤ配列からなると検出された場合は、前記撮像素子から前記画像処理部に送られてくる前記画像情報に前記ベイヤ変換処理を施さない変換処理部とを備える内視鏡プロセッサである。
本態様によれば、内視鏡スコープを接続して体腔内に内視鏡スコープを挿入し、撮像素子により被写体の画像情報が取得されると、画像処理部により、その画像情報が処理されて観察画像が生成される。この場合において、配列検出部により、接続される内視鏡スコープの撮像素子から出力される画像情報がベイヤ配列からなるか否かが検出される。
そして、配列検出部により、画像情報がベイヤ配列からなると検出されない場合は、変換処理部により、撮像素子からの画像情報にベイヤ変換処理が施されて画像処理部に送られ、配列検出部により、画像情報がベイヤ配列からなると検出された場合は、変換処理部により、撮像素子からの画像情報にベイヤ変換処理が施されずに画像処理部に送られる。
したがって、ベイヤ処理用の画像処理部により、撮像素子のフィルタ配列に関わらず、ベイヤ処理用の画像処理部を改良することなく、ベイヤ処理用の画像処理部により精度よく観察画像を生成することができる。
上記態様においては、被写体に照射される照明光が白色光と該白色光に含まれる所定の狭帯域光のいずれであるのかを検出する光種類検出部を備え、前記変換処理部が、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されず、かつ、前記光種類検出部により前記照明光が前記白色光であると検出された場合は、前記画像情報をＧ画素が市松状になるように変換し、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されず、かつ、前記光種類検出部により前記照明光が前記狭帯域光であると検出された場合は、前記画像情報をＣｙ画素が市松状になるように変換することとしてもよい。
変換処理部により、照明光が白色光の場合はＢ画素、Ｒ画素のどちらとも相関が高いＧ画素が市松状になるように画像情報を変換し、照明光が狭帯域光の場合はＢ画素、Ｇ画素のどちらとも相関が高いＣｙ画素が市松状になるように画像情報を変換することで、画像処理部において、ベイヤ配列用のデモザイキング処理の性能をより活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記照明光が前記白色光の場合と前記狭帯域光の場合とで前記ベイヤ変換処理後に市松状に配置される画素の位置が一致するよう、前記画像情報を変換することとしてもよい。
このように構成することで、市松状に配置される画素の位置が照明光によらず一致することにより、画像処理部のパラメータを照明光ごとに変えることなく、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されない場合に、前記画像情報の補色画素に対して色変換し、原色画素のみのベイヤ配列に変換することとしてもよい。
このように構成することで、補色画素が含まれる場合でも、画像処理部の処理回路を変更することなく、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記画像情報にエッジ強調処理を施した上で前記ベイヤ変換処理を施すこととしてもよい。
このように構成することで、画像処理部によりデモザイキング処理が行われる場合に方向判別の精度が向上し、解像感が向上した観察画像を生成することができる。
本発明の第３態様は、被写体の画像情報を取得する撮像素子を備え体腔内に挿入される内視鏡スコープと、前記撮像素子により取得された画像情報に基づき観察画像を生成するベイヤ処理用の画像処理装置とを接続する内視鏡用アダプタであって、前記画像処理装置に接続する前記内視鏡スコープの前記撮像素子から出力される前記画像情報がベイヤ配列からなるか否かを検出する配列検出部と、該配列検出部により、前記ベイヤ配列からなると検出されない場合は、前記撮像素子から前記画像処理装置に送られる前記画像情報をベイヤ配列に変換するベイヤ変換処理を施し、前記ベイヤ配列からなると検出された場合は、前記撮像素子から前記画像処理装置に送られる前記画像情報に前記ベイヤ変換処理を施さない変換処理部とを備える内視鏡用アダプタである。
本態様によれば、内視鏡スコープと画像処理装置とを接続して内視鏡スコープを体腔内に挿入し、撮像素子により被写体の画像情報が取得されると、画像処理装置により、その画像情報が処理されて観察画像が生成される。この場合において、対応検出部により、内視鏡スコープの撮像素子から出力される画像情報がベイヤ配列からなるか否かが検出される。
そして、配列検出部により、画像情報がベイヤ配列からなると検出されない場合は、変換処理部により、撮像素子からの画像情報にベイヤ変換処理が施されて画像処理装置に送られ、配列検出部により、画像情報がベイヤ配列からなると検出された場合は、変換処理部により、撮像素子からの画像情報にベイヤ変換処理が施されずに画像処理装置に送られる。
したがって、ベイヤ処理用の画像処理装置により、撮像素子のフィルタ配列に関わらず、ベイヤ処理用の画像処理装置を改良することなく、ベイヤ処理用の画像処理装置により精度よく観察画像を生成することができる。
上記態様においては、前記被写体に照射される照明光が白色光と該白色光に含まれる所定の狭帯域光のいずれであるかを検出する光種類検出部を備え、前記変換処理部が、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されず、かつ、前記光種類検出部により前記照明光が前記白色光であると検出された場合は、前記画像情報をＧ画素が市松状になるように変換し、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されず、かつ、前記光種類検出部により前記照明光が前記狭帯域光であると検出された場合は、前記画像情報をＣｙ画素が市松状になるように変換することとしてもよい。
変換処理部により、照明光が白色光の場合はＢ画素、Ｒ画素のどちらとも相関が高いＧ画素が市松状になるように画像情報を変換し、照明光が狭帯域光の場合はＢ画素、Ｇ画素のどちらとも相関が高いＣｙ画素が市松状になるように画像情報を変換することで、画像処理装置において、ベイヤ配列用のデモザイキング処理の性能をより活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記照明光が前記白色光の場合と前記狭帯域光の場合とで前記ベイヤ変換処理後に市松状に配置される画素の位置が一致するよう、前記画像情報を変換することとしてもよい。
このように構成することで、市松状に配置される画素の位置が照明光によらず一致することにより、画像処理装置のパラメータを照明光ごとに変えることなく、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されない場合に、前記画像情報に対して補色画素を色変換し、原色画素のみのベイヤ配列に変換することとしてもよい。
このように構成することで、補色画素が含まれる場合でも、画像処理装置の処理回路を変更することなく、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像の生成が可能となる。
上記態様においては、前記変換処理部が、前記画像情報にエッジ強調処理を施した上で前記ベイヤ変換処理を施すこととしてもよい。
このように構成することで、画像処理装置によりデモザイキング処理が行われる場合に方向判別の精度が向上し、解像感が向上した観察画像を生成することができる。
本発明によれば、撮像素子のフィルタ配列に関わらず、ベイヤ処理用の画像処理装置を改良することなく、ベイヤ処理用の画像処理装置を用いて精度よく画像を生成することができるという効果を奏する。
本発明の第１実施形態に係る内視鏡を備える内視鏡装置の概略構成図である。 図１の内視鏡装置の構成を示すブロック図である。 図１の内視鏡装置のより詳細な構成を示すブロック図である。 カラーフィルタの一例を示す図である。 撮像素子の分光特性の一例を示すグラフである。 図１の内視鏡装置により観察画像を生成する方法を説明するフローチャートである。 図６のフローチャートの対応可否検出処理を説明するフローチャートである。 図１の内視鏡装置による画像データのベイヤ変換処理を説明する図である。 本発明の第１実施形態の変形例に係る内視鏡装置の構成を示すブロック図である。 図９の内視鏡装置により観察画像を生成する方法を説明するフローチャートである。 図９の内視鏡装置による画像データのベイヤ変換処理を説明する図である。 本発明の第２実施形態に係る内視鏡装置の構成を示すブロック図である。 本発明の第３実施形態に係る内視鏡装置の構成を示すブロック図である。 本発明の各実施形態の第１変形例としてのカラーフィルタの一例を示す図である。 本発明の各実施形態の第１変形例としての撮像素子の分光特性の一例を示す図である。 図１４のカラーフィルタを用いた場合の画像データのベイヤ変換処理を説明する図である。 本発明の各実施形態の第２変形例としてベイヤ変換処理の一例を説明する図である。 本発明の各実施形態の第３変形例としてベイヤ変換処理の一例を説明する図である。 本発明の各実施形態の第４変形例としてベイヤ変換処理の一例を説明する図である。 本発明の各実施形態の第５変形例としてベイヤ変換処理の一例を説明する図である。
〔第１実施形態〕
本発明の第１実施形態に係る内視鏡スコープについて図面を参照して以下に説明する。
本実施形態に係る内視鏡（内視鏡スコープ）１は、例えば、図１に示すような内視鏡装置１０１に用いられる。
内視鏡装置１０１は、図１、図２および図３に示すように、被検体（図示略）の体腔内に挿入する挿入部９を有し、挿入部９により観察部位の体内面像を撮像して画像信号（電気信号、画像情報）を生成する上記内視鏡１と、内視鏡１の挿入部９の先端から出射する照明光を発生する光源部３と、内視鏡１が取得した画像信号に所定の画像処理を施す画像処理部６３を有し、内視鏡装置１０１全体の動作を統括的に制御するプロセッサ部（内視鏡プロセッサ）５と、プロセッサ部５により画像処理が施された体内画像を表示する表示部７とを備えている。
内視鏡１は、可撓性を有する細長形状をなす前記挿入部９と、挿入部９の基端側に接続され、各種の操作信号の入力を受け付ける操作部１１と、操作部１１から挿入部９が延びる方向と異なる方向に延び、光源部３およびプロセッサ部５に接続する各種ケーブルを内蔵するユニバーサルコード１３とを備えている。
挿入部９は、光を受光する画素（フォトダイオード）が格子（マトリックス）状に配列され、当該画素が受光した光に対して光電変換を行うことにより画像信号を生成する撮像素子３１を内蔵した先端部１５と、複数の湾曲駒によって構成された湾曲自在な湾曲部１７と、湾曲部１７の基端側に接続され、可撓性を有する長尺上の可撓管部１９とを備えている。
操作部１１は、湾曲部１７を上下方向および左右方向に湾曲させる湾曲ノブ２１と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２３と、光源部３に照明光の切り替え動作を行わせるための指示信号、処置具やプロセッサ部５と接続する外部機器の操作指示信号、送水を行うための送水指示信号および吸引を行うための吸引指示信号などを入力する複数のスイッチ２５とを備えている。
処置具挿入部２３から挿入される処置具は、先端部１５の先端に設けられる処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出するようになっている。
ユニバーサルコード１３は、図３に示すようなライトガイド２７と、１または複数の信号線をまとめた集合ケーブル（図示略）とを少なくとも内蔵している。
集合ケーブルは、内視鏡１および光源部３とプロセッサ部５との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子３１を駆動するための駆動用のタイミング信号を送受信するための信号線などを含んでいる。
また、内視鏡１は、図２および図３に示すように、撮像光学系２９と、前記撮像素子３１と、Ａ／Ｄ変換部３３と、対応可否検出処理部（対応検出部）３５と、出力形式切替部３７と、ベイヤ変換処理部（変換処理部）３９と、撮像情報記憶部４１と、照明用レンズ４３とを備えている。
撮像光学系２９は、挿入部９の先端部１５に設けられ、少なくとも観察部位からの光を集光するようになっている。この撮像光学系２９は、１または複数のレンズを用いて構成されている。撮像光学系２９には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構が設けられていてもよい。
撮像素子３１は、撮像光学系２９の光軸に対して垂直に配置され、撮像光学系２９によって結ばれた光の像を光電変換して画像信号（電気信号、画像情報）を生成するようになっている。撮像素子３１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等を用いて実現される。
撮像素子３１を構成する各画素上には、図３および図４に示すようなカラーフィルタ３１ａが配置されている。
カラーフィルタ３１ａは、例えば、原色画素であるＲ画素、Ｇ画素およびＢ画素と、補色画素であるＣｙ画素とを有するフィルタ配置となっている。図４の例では、Ｃｙ画素が全体の１／２の割合で市松状に配置され、Ｇ画素が全体の１／４の割合で配置され、Ｂ画素およびＲ画素が全体の１／８の割合でそれぞれ配置されている。
また、撮像素子３１は、例えば、図５に示すような分光特性を示している。Ｂ画素は青色の波長帯域ＨＢに感度を有し、Ｇ画素は緑色の波長帯域ＨＧに感度を有し、Ｒ画素は赤色の波長帯域ＨＲに感度を有し、Ｃｙ画素は青色の波長帯域ＨＢおよび緑色の波長帯域ＨＧに感度を有している。
Ａ／Ｄ変換部３３は、撮像素子３１により生成されたアナログ形式の画像信号をデジタル形式の画像データに変換して、出力形式切替部３７に送るようになっている。
対応可否検出処理部３５は、プロセッサ部５の画像処理部６３が、カラーフィルタ３１ａにより原色画素と補色画素とが混在した配列からなる画像情報に対応しているか否か、すなわち、画像処理部６３が撮像素子３１のフィルタ配置に対応した処理を行うことが可能かを検出し、検出信号を出力形式切替部３７へ出力するようになっている。
出力形式切替部３７は、対応可否検出処理部３５の対応可否検出結果が、対応可の場合はＡ／Ｄ変換部３３からの画像データをそのままプロセッサ部５へ出力し、対応否の場合はＡ／Ｄ変換部３３からの画像データをベイヤ変換処理部３９へ出力するようになっている。
ベイヤ変換処理部３９は、出力形式切替部３７から送られてくる撮像素子３１のフィルタ配置の画像データにベイヤ変換処理を施してベイヤ配列に変換し、変換した画像データをプロセッサ部５へ出力するようになっている。
ライトガイド２７は、グラスファイバ等を用いて構成され、光源部３から出射された光を導光するようになっている。
照明用レンズ４３は、ライトガイド２７の先端近傍に配置され、ライトガイド２７により導光されてきた光を拡散して先端部１５の外部に出射するようになっている。
撮像情報記憶部４１は、内視鏡１を動作させるための各種プログラム、内視鏡１の動作に必要な各種パラメータ、および、内視鏡１の識別情報等を含むデータを記憶するようになっている。また、撮像情報記憶部４１は、図３に示すように、識別情報を記憶する識別情報記憶部４５を有している。識別情報には、内視鏡１の固有情報（ＩＤ）、年式、スペック情報、伝送方式およびカラーフィルタ３１ａにかかるフィルタの配列情報（フィルタ配列情報）等が含まれる。この撮像情報記憶部４１はフラッシュメモリ等を用いて実現される。
光源部３は、図３に示すように、照明部４７と、照明制御部４９とを備えている。
照明部４７は、照明制御部４９の制御により、波長帯域が互いに異なる複数の照明光を切り替えて出射するようになっている。この照明部４７は、光源５１と、光源ドライバ５３と、切り替えフィルタ５５と、駆動部５７と、駆動ドライバ５９と、集光レンズ６１とを備えている。
光源５１は、照明制御部４９の制御により、赤色、緑色および青色の波長帯域ＨＢ、ＨＧおよびＨＲの光を含む白色照明光を出射するようになっている。光源５１から発せられた白色照明光は、切り替えフィルタ５５、集光レンズ６１およびライトガイド２７を経由して挿入部９の先端部１５から外部に出射されるようになっている。この光源５１は、白色ＬＥＤやキセノンランプなどの白色光を発する光源を用いて実現される。
光源ドライバ５３は、照明制御部４９の制御により、光源５１に対して電流を供給して、光源５１から白色照明光を出射させるようになっている。
切り替えフィルタ５５は、光源５１から出射された白色照明光の内、青色の挟帯域光および緑色の挟帯域光のみを透過するようになっている。また、切り替えフィルタ５５は、照明制御部４９の制御により、光源５１から出射される白色照明光の光路上に挿脱可能に配置されている。
この切り替えフィルタ５５は、白色照明光の光路上に配置されることにより、２つの挟帯域光のみを透過するようになっている。具体的には、切り替えフィルタ５５は、波長帯域ＨＢに含まれる挟帯域ＴＢ（例えば３９０ｎｍ〜４４５ｎｍ）の光と、波長帯域ＨＧに含まれる挟帯域ＴＧ（例えば５３０ｎｍ〜５５０ｎｍ）の光とからなる挟帯域照明光を透過するようになっている。
この挟帯域ＴＢ，ＴＧは、血液中のヘモグロビンに吸収されやすい青色光および緑色光である。挟帯域ＴＢとして少なくとも４０５ｎｍ〜４２５ｎｍが含まれていればよい。この帯域に制限されて出射される光を挟帯域照明光といい、当該挟帯域照明による画像の観察を挟帯域光観察（ＮＢＩ）方式という。
駆動部５７は、ステッピングモータやＤＣモータ等により構成され、切り替えフィルタ５５を光源の光路から挿脱動作させるようになっている。
駆動ドライバ５９は、照明制御部４９の制御により、駆動部５７に所定の電流を供給するようになっている。
集光レンズ６１は、光源５１から出射された白色照明光または切り替えフィルタ５５を透過した挟帯域照明光を集光して、光源部３の外部（ライトガイド２７）に出射するようになっている。
照明制御部４９は、光源ドライバ５３により光源５１をオンオフ動作させるとともに、駆動ドライバ５９により光源５１の光路に対して切り替えフィルタ５５を挿脱動作させることによって、照明部４７から出射させる照明光の種類（帯域）を制御するようになっている。
具体的には、照明制御部４９は、切り替えフィルタ５５を光源５１の光路に対して挿脱動作させることによって、照明部４７から出射される照明光を白色照明光および挟帯域照明光のいずれかに切り替える制御を行うようになっている。換言すれば、照明制御部４９は、波長帯域ＨＢ、ＨＧおよびＨＲの光を含む白色照明光を用いた白色照明光観察（ＷＬＩ）方式と、挟帯域ＴＢ、ＴＧの光からなる挟帯域照明光を用いた挟帯域光観察（ＮＢＩ）方式とのいずれかの観察方式に切り替える制御を行うようになっている。
プロセッサ部５は、前記画像処理部６３と、入力部６５と、記憶部６７と、制御部６９とを備えている。
画像処理部６３は、内視鏡１から送られてくる画像データに対して所定の画像処理を実行して、表示部７により表示する表示画像信号を生成するようになっている。画像処理としては、デモザイキング処理のほか、ＯＢクランプ処理やゲイン調整などを行うようになっている。ＯＢクランプ処理では、内視鏡１から入力された画像データに対し、黒レベルのオフセット量を補正する処理を施すようになっている。ゲイン調整処理では、デモザイキング処理を施した画像データに対し、明るさレベルの調整処理を施すようになっている。
入力部６５は、プロセッサ部５に対するユーザからの入力等を行うためのインタフェースである。この入力部６５は、電源のオン／オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り替えるためのモード切り替えボタン、光源部３の照明光を切り替えるための照明光切り替えボタンなどを含んで構成されている。
記憶部６７は、内視鏡装置１０１を動作させるための各種プログラムおよび内視鏡装置１０１の動作に必要な各種パラメータを含むデータを記憶するようになっている。また、記憶部６７は、内視鏡１にかかる情報、例えば内視鏡１の固有情報（ＩＤ）とカラーフィルタ３１ａのフィルタ配置にかかる情報との関係テーブル（画像処理部６３の対応フィルタテーブル）などを記憶している。この記憶部６７は、フラッシュメモリやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリを用いて実現される。
制御部６９は、ＣＰＵ等を用いて構成され、内視鏡１および光源部３を含む各構成部の駆動制御および各構成部に対する情報の入出力制御などを行うようになっている。また、制御部６９は、記憶部６７に記録されている撮像制御のための設定データ（例えば、読み出し対象の画素など）や撮像タイミングにかかるタイミング信号等を所定の信号線を介して内視鏡１へ送信するようになっている。
表示部７は、プロセッサ部５により生成された表示画像信号を映像ケーブルを介して受信し、受信した表示画像信号に対応する体内画像を表示するようになっている。この表示部７は、液晶または有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成される。
このように構成された内視鏡装置１０１の作用について、図６のフローチャートを参照して説明する。
本実施形態に係る内視鏡装置１０１により観察画像を生成するには、まず、内視鏡１とプロセッサ部５とを接続する。撮像を開始する準備が整うと、対応可否検出処理部３５により、画像処理部６３が撮像素子３１のフィルタ配置に対応した処理を行うことが可能か否かが検出される（ステップＳＡ１）。
ここで、ステップＳＡ１の対応可否検出処理について、図７のフローチャートを参照して説明する。
まず、対応可否検出処理部３５により、内視鏡１の識別情報記憶部４５に記憶されている撮像素子３１のフィルタ配置情報が読み込まれるとともに（ステップＳＢ１）、記憶部６７に記憶されている画像処理部６３の対応フィルタテーブルが読み込まれ（ステップＳＢ２）、これらの情報が比較される（ステップＳＢ３）。
次いで、対応可否検出処理部３５により、内視鏡１とプロセッサ部５とが対応していると検出された場合は対応「可」が設定され（ステップＳＢ４）、内視鏡１とプロセッサ部５とが対応していないと検出された場合は対応「否」が設定され（ステップＳＢ５）、これらの対応可否検出結果が出力形式切替部３７へ出力される（ステップＳＢ６）。
図６のフローチャートに戻り、被写体の撮像が開始される（ステップＳＡ２）。光源部３により被検体に照明光が照射されて、内視鏡１の撮像素子３１により被写体が撮像され、撮像素子３１により取得された画像データにプロセッサ部５の画像処理部６３により各種信号処理が施されてカラー画像が生成される。
次いで、出力形式切替部３７により、対応可否検出処理部３５の対応可否結果に応じて、出力形式が切り替えられる（ステップＳＡ３）。具体的には、対応可否検出処理部３５により対応「可」が設定されている場合は、出力形式切替部３７により、ステップＳＡ２で撮像素子３１により取得された画像データがそのままプロセッサ部５へ出力される。
一方、対応可否検出処理部３５により対応「否」と設定されている場合は、出力形式切替部３７により、ステップＳＡ２で撮像素子３１により取得された画像データがベイヤ変換処理部３９へ出力される（ステップＳＡ４）。そして、ベイヤ変換処理部３９により、原色画素と補色画素とが混在した撮像素子３１のフィルタ配置の画像データが原色ベイヤ配列に変換される。
例えば、図８に示すように、撮像素子３１により取得された画素値が用いられて、補間処理により、画像データが原色ベイヤ配列のデータへと変換される。図８では全体の１／４の割合で配置されたＧ画素が全体の１／２に補間され、全体の１／８の割合で配置されたＲ画素およびＢ画素が全体の１／４にそれぞれ補間されて、ベイヤ配列へ変換されている。補間処理は既存の処理を用いることで実現でき、例えば、バイリニア補間、キュービック補間、方向判別補間などを用いることが可能である。ベイヤ変換処理部３９により変換された画像データはプロセッサ部５へ出力される。
プロセッサ部５においては、画像処理部６３により、内視鏡１から送られてくる画像データに対して各種画像処理が施されて表示画像信号が生成される（ステップＳＡ５）。画像処理部６３により生成された表示画像信号は表示部７に送られて、表示画像信号に対応する体内画像が表示部７に表示される（ステップＳＡ６）。
以上説明したように、本実施形態に係る内視鏡１を備える内視鏡装置１０１によれば、撮像素子３１と画像処理部６３との組み合わせに応じて内視鏡１の出力形式を切り替えることができる。したがって、原色画素と補色画素とが混在したフィルタ配置の撮像素子３１を用いて撮像する際に、画像処理部６３が撮像素子３１に対応している場合であっても、画像処理部６３が原色ベイヤ配列のみに対応している場合であっても、所望の出力画像を得ることができる。
そして、本実施形態に係る内視鏡１によれば、画像処理部６３が原色ベイヤ配列のみに対応している場合であっても、撮像素子３１のフィルタ配列に関わらず、ベイヤ処理用の画像処理部６３を改良することなく、ベイヤ処理用の画像処理部６３により精度よく観察画像を生成することができる。
本実施形態に係る内視鏡１は以下のように変形することができる。
例えば、図９に示すように、内視鏡１が、ベイヤ変換処理部３９に代えて、光源部３の種類に応じてベイヤ変換処理の内容を切り替えるベイヤ変換処理部７１を備え、さらに、照明光が白色照明光と狭帯域照明光のいずれかであるか、すなわち、光源部３の種類がＷＬＩ方式用とＮＢＩ方式用のいずれであるかを検出する光源種類検出処理部（光種類検出部）７３を備えることとしてもよい。
また、ベイヤ変換処理部７１は、照明光が白色照明光である場合、すなわち、光源種類検出処理部７３により光源部３がＷＬＩ方式用であると検出された場合に画像データをＧ画素が市松状になるベイヤ配列に変換するＷＬＩ用変換処理部７５と、照明光が狭帯域照明光である場合、すなわち、光源種類検出処理部７３により光源部３がＮＢＩ方式用であると検出された場合に画像データをＣｙ画素が市松状になるベイヤ配列に変換するＮＢＩ用変換処理部７７とを備えることとしてもよい。
この場合、図１０のフローチャートに示すように、ステップＳＡ３において、対応可否検出処理部３５により、画像処理部６３が撮像素子３１のフィルタ配置に対応していないと検出された場合は、光源種類検出処理部７３により光源部３の種類が検出される（ステップＳＣ１）。
そして、光源種類検出処理部７３により光源部３がＷＬＩ方式用と検出された場合は、ＷＬＩ用変換処理部７５により、ステップＳＡ２で撮像素子３１により取得された画像データのＧ画素が市松状になるベイヤ配列に変換される（ステップＳＣ２、ＷＬＩ用変換処理）。ＷＬＩ用変換処理は、図１１に示すように、図８に示す第１実施形態の処理と同様である。
一方、光源種類検出処理部７３により光源部３がＮＢＩ方式用と検出された場合は、ＮＢＩ用変換処理部７７により、ステップＳＡ２で撮像素子３１により取得された画像データのＣｙ画素が市松状になるベイヤ配列に変換される（ステップＳＣ３、ＮＢＩ用変換処理）。
図１１に示すＮＢＩ用変換処理は、Ｃｙ画素が市松状のまま残り、Ｒ画素位置のＢが補間処理によって求められたものとなっている。出力される画像データは原色ＲＧＢと色の種類は異なるが１種類が市松状に配置され、残りの２種類がそれぞれ全体の１／４の密度で配置されたベイヤ配列となっている。
ＮＢＩ方式の場合は、Ｂの挟帯域光とＧの挟帯域光を照射するため、Ｒ画素では情報を取得することができない。そのため、ＮＢＩ用変換処理の場合は、Ｒ画素を含まないＣｙ画素、Ｇ画素、Ｂ画素から構成されるベイヤ配列データへと変換される。
ＷＬＩ用変換処理部７５によりベイヤ変換された画像データおよびＮＢＩ用変換処理部７７によりベイヤ変換された画像データは、プロセッサ部５に送られる。プロセッサ部５においては、画像処理部６３により、内視鏡１から送られてくる画像データに対して各種画像処理が施されて表示画像信号が生成される（ステップＳＡ５）。
例えば、ＷＬＩ方式の場合は、市松状に配置されたＧ画素との相関が利用されて、画像データにＢ画素およびＲ画素のデモザイキング処理が施される。また、ＮＢＩ方式の場合は、市松状に配置されたＣｙ画素との相関が利用されて、画像データにＧ画素およびＢ画素のデモザイキング処理が施される。
いずれの場合においても、補間対象となる画素（ＷＬＩ方式ではＢ画素とＲ画素、ＮＢＩ方式ではＧ画素とＢ画素）と市松状の画素（ＷＬＩ方式ではＧ画素、ＮＢＩ方式ではＣｙ画素）の相関が高いために、ベイヤ配列用デモザイキング処理の性能を活かした高精度な補間画像を出力することができる。
本変形例によれば、上記本実施形態の効果に加えて、観察方式によらず高い解像度の画像を出力することが可能となる。ベイヤ配列用のデモザイキング処理では、市松状に配置された画素（原色ベイヤ配列におけるＧ画素）との相関が用いられて高精度な補間処理が行われる。ＷＬＩ方式の場合はＢ画素、Ｒ画素のどちらとも相関が高いＧ画素が市松状になるように変換し、ＮＢＩ方式の場合はＢ画素、Ｇ画素のどちらとも相関が高いＣｙ画素が市松状になるように変換することで、ベイヤ配列用デモザイキング処理の性能を活かした高精度な出力画像を生成することができる。
〔第２実施形態〕
次に、本発明の第２実施形態に係る内視鏡プロセッサについて、図面を参照して以下に説明する。
本実施形態に係るプロセッサ部（内視鏡プロセッサ）８１は、例えば、図１２に示すような内視鏡装置１０２に用いられる。
内視鏡装置１０２は、内視鏡１に代えて、対応可否検出処理部３５、出力形式切替部３７、ベイヤ変換処理部３９を備えない前記内視鏡８３を採用し、プロセッサ部８１が対応可否検出処理部（配列検出部）８５と、出力形式切替部３７と、ベイヤ変換処理部３９とを備える点で第１実施形態と異なる。
本実施形態の説明において、上述した第１実施形態に係る内視鏡装置１０１と構成を共通とする箇所には同一符号を付して説明を省略する。
対応可否検出処理部８５は、プロセッサ部８１に接続される内視鏡８３の撮像素子３１から出力される画像データがベイヤ配列からなるか否か、すなわち、撮像素子３１のフィルタ配置がプロセッサ部８１の画像処理部６３による処理に対応しているか否かを検出するようになっている。
本実施形態の画像処理部６３は原色ベイヤ配列のみに対応しているものとする。
このように構成された内視鏡装置１０２の作用について説明する。
内視鏡８３とプロセッサ部８１とが接続されると、対応可否検出処理部８５により、内視鏡８３とプロセッサ部８１とが対応していないと検出されて対応「否」が設定され（ステップＳＢ５）、対応可否検出結果が出力形式切替部３７へ出力される（ステップＳＢ６）。
次いで、対応可否検出処理部８５の対応可否結果（ここでは、対応「否」）に従い、出力形式切替部３７により、ステップＳＡ２で撮像素子３１により取得された画像データがベイヤ変換処理部３９へ出力される（ステップＳＡ４）。
そして、ベイヤ変換処理部３９により、原色画素と補色画素とが混在した撮像素子３１のフィルタ配置の画像データが原色ベイヤ配列に変換される。これにより、画像処理部６３において、原色ベイヤ配列に変換された画像データに各種画像処理が施されて表示画像信号が生成される（ステップＳＡ５）。
以上説明したように、本実施形態に係るプロセッサ部８１によれば、ベイヤ処理用の画像処理部６３により、撮像素子３１のフィルタ配列に関わらず、ベイヤ処理用の画像処理部６３を改良することなく、ベイヤ処理用の画像処理部６３により精度よく観察画像を生成することができる。
また、内視鏡８３内での処理が軽減され、内視鏡８３のコストを低減することができる。さらに、内視鏡８３に比べて、プロセッサ部８１の方が搭載されている回路基板が大きいために複雑な処理を行うことができ、ベイヤ変換処理部３９の処理の高精度化を図ることができる。
第２実施形態においても、第１実施形態の変形例と同様の変形が可能である。
すなわち、プロセッサ部８１が、ベイヤ変換処理部３９に代えて、光源部３の種類に応じてベイヤ変換処理の内容を切り替えるベイヤ変換処理部７１を備え、さらに、照明光が白色照明光と狭帯域照明光のいずれかであるか、すなわち、光源部３の種類がＷＬＩ方式用とＮＢＩ方式用のいずれであるかを検出する光源種類検出処理部７３を備えることとしてもよい。
この場合、対応可否検出処理部８５により、撮像素子３１のフィルタ配置がベイヤ処理用の画像処理部６３に対応していないと検出された場合は、光源種類検出処理部７３により光源部３の種類が検出されることとすればよい。
そして、照明光が白色照明光である場合、すなわち、光源種類検出処理部７３により光源部３がＷＬＩ方式用と検出された場合は、ＷＬＩ用変換処理部７５により、ステップＳＡ２で撮像素子３１により取得された画像データのＧ画素が市松状になるベイヤ配列に変換されることとすればよい。また、照明光が狭帯域照明光である場合、すなわち、光源種類検出処理部７３により光源部３がＮＢＩ方式用と検出された場合は、ＮＢＩ用変換処理部７７により、ステップＳＡ２で撮像素子３１により取得された画像データのＣｙ画素が市松状になるベイヤ配列に変換されることとすればよい。
本変形例においても、第１実施形態の変形例と同様に、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な出力画像を生成することができる。
〔第３実施形態〕
次に、本発明の第３実施形態に係る内視鏡用アダプタについて、図面を参照して以下に説明する。
本実施形態に係る内視鏡用アダプタ９１は、例えば、図１３に示すような内視鏡装置１０３に用いられ、内視鏡８３とプロセッサ部５とを接続するようになっている。
内視鏡装置１０３は、内視鏡用アダプタ９１が、対応可否検出処理部（配列検出部）９３、出力形式切替部３７、ベイヤ変換処理部３９を備える点で第１実施形態および第２実施形態と異なる。
本実施形態の説明において、上述した第１，第２実施形態に係る内視鏡装置１０１，１０２と構成を共通とする箇所には同一符号を付して説明を省略する。
対応可否検出処理部９３は、プロセッサ部５に接続される内視鏡８３の撮像素子３１から出力される画像データがベイヤ配列からなるか否か、すなわち、内視鏡８３の撮像素子３１のフィルタ配置が画像処理部６３による処理に対応しているか否かを検出するようになっている。
このように構成された内視鏡装置１０３の作用について説明する。
対応可否検出処理部９３により、内視鏡８３とプロセッサ部５とが対応していると検出された場合は対応「可」が設定され（ステップＳＢ４）、内視鏡８３とプロセッサ部５とが対応していないと検出された場合は対応「否」が設定され（ステップＳＢ５）、これらの対応可否検出結果が出力形式切替部３７へ出力される（ステップＳＢ６）。
次いで、対応可否検出処理部９３により対応「可」が設定されている場合は、出力形式切替部３７により、ステップＳＡ２で撮像素子３１により取得された画像データがそのままプロセッサ部５へ出力され、一方、対応可否検出処理部９３によりで対応「否」と設定されている場合は、出力形式切替部３７により、ステップＳＡ２で撮像素子３１により取得された画像データがベイヤ変換処理部３９へ出力される（ステップＳＡ４）。
そして、ベイヤ変換処理部３９により、原色画素と補色画素とが混在した撮像素子３１のフィルタ配置の画像データが原色ベイヤ配列に変換される。プロセッサ部５においては、画像処理部６３により、内視鏡８３から送られてくる画像データに対して各種画像処理が施されて表示画像信号が生成される（ステップＳＡ５）。
このように構成された内視鏡用アダプタ９１を備える内視鏡装置１０３によれば、内視鏡８３およびプロセッサ部５に変更を加えることなく第１実施形態と同様の効果を得ることができる。
以上説明したように、本実施形態に係る内視鏡用アダプタ９１によれば、画像処理部６３が原色ベイヤ配列のみに対応している場合であっても、撮像素子３１のフィルタ配列に関わらず、ベイヤ処理用の画像処理部６３を改良することなく、ベイヤ処理用の画像処理部６３により精度よく観察画像を生成することができる。また、このような内視鏡用アダプタ９１を備える内視鏡装置１０３によれば、内視鏡８３およびプロセッサ部５に変更を加えることなく第１実施形態と同様の効果を得ることができる。
第３実施形態においても、第１実施形態の変形例と同様の変形が可能である。
すなわち、プロセッサ部５が、ベイヤ変換処理部３９に代えて、光源部３の種類に応じてベイヤ変換処理の内容を切り替えるベイヤ変換処理部７１を備え、さらに、照明光が白色照明光と狭帯域照明光のいずれかであるか、すなわち、光源部３の種類がＷＬＩ方式用とＮＢＩ方式用のいずれであるかを検出する光源種類検出処理部７３を備えることとしてもよい。
この場合、対応可否検出処理部３５により、撮像素子３１のフィルタ配置が画像処理部６３による処理に対応していないと検出された場合は、光源種類検出処理部７３により光源部３の種類が検出されることとすればよい。
そして、照明光が白色照明光である場合、すなわち、光源種類検出処理部７３により光源部３がＷＬＩ方式用と検出された場合は、ＷＬＩ用変換処理部７５により、ステップＳＡ２で撮像素子３１により取得された画像データのＧ画素が市松状になるベイヤ配列に変換されることとすればよい。また、照明光が狭帯域照明光である場合、すなわち、光源種類検出処理部７３により光源部３がＮＢＩ方式用と検出された場合は、ＮＢＩ用変換処理部７７により、ステップＳＡ２で撮像素子３１により取得された画像データのＣｙ画素が市松状になるベイヤ配列に変換されることとすればよい。
本変形例においても、第１実施形態の変形例および第２実施形態の変形例と同様に、ベイヤ配列用デモザイキング処理の性能を活かした高精度な出力画像を生成することができる。
上記各実施形態は以下のように変形することができる。
上記各実施形態では、図４に示すカラーフィルタ３１ａを用いて説明したが、カラーフィルタ配置はこれに限るものではなく、原色画素と補色画素が混在したフィルタ配置であればよい。例えば、第１変形例としては、図１４に示すようなフィルタ配置のカラーフィルタ３１ｂを採用することとしてもよい。
図１４に示すフィルタ配置は、図４のフィルタ配置におけるＲ画素が補色のＭｇ画素に置き換わったものである。Ｍｇ画素は青色の波長帯域ＨＢおよび赤色の波長帯域ＨＲにそれぞれ感度を有している。
撮像素子３１は、例えば、図１５に示すような分光特性を示している。
図１４に示すフィルタ配置の場合、ベイヤ変換処理部３９によりベイヤ配列に変換された際に、画像データは補色のＭｇを含んだベイヤ配列となる。この際には、画像処理部６３により出力画像が生成される際に、色変換処理によりＲ画素が生成されることとなる。図１６では、デモザイキング処理後に色変換処理を行いＲ情報を生成しているが、当然、デモザイキング前にＭｇ画素位置のみ色変換してからデモザイキング処理を行うこととしてもよい。
このようにすることで、色変換処理のパラメータは外部入力できる場合が多いため、Ｍｇ画素を含む場合でもプロセッサ部５の処理回路を変更することなく上記各実施形態の効果を得ることができる。
また、第２変形例としては、図１７に示すように、ベイヤ変換処理部３９で色変換処理まで行い、画像データを原色画素のみのベイヤ配列に変換して出力することとしてもよい。
このようにすることで、Ｍｇ画素が含まれる場合でも、プロセッサ部５はパラメータも含めて何も変更することなく上記各実施形態の効果を得ることができる。すなわち、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像を生成することができる。
また、第３変形例としては、図１８に示すように、撮像素子３１のフィルタ配置用のデモザイキング処理により、画像データに対して全画素位置にＲＧＢの情報を生成して面順次画像を作成した後にベイヤ配列に並べて出力することとしてもよい。
このようにすることで、撮像素子３１用のデモザイキング処理が既に有る場合は、撮像素子３１からベイヤ配列へ変換するための補間処理を新たに開発する必要無く上記各実施形態の効果を得ることができる。
また、第４変形例としては、図１９に示すように、画像データに対してベイヤ変換処理部３９でエッジ強調処理を行った後にベイヤ配列に変換して出力することとしてもよい。
一旦エッジ強調処理することで、画像処理部６３でデモザイキング処理を行う場合に方向判別の精度が向上するなど、解像感が向上した観察画像を生成することができる。
第１実施形態の変形例の図１１では、ＷＬＩ用変換処理の場合とＮＢＩ用変換処理の場合とで市松状に配置される画素位置が違っていたが、第５変形例としては、図２０に示すように、ＷＬＩ用変換処理の場合とＮＢＩ用変換処理の場合とでベイヤ変換後の市松状に配置される画素位置が同じになるように、画像データをベイヤ変換することとしてもよい。
このようにすることで、市松状に配置される画素位置が光源部３によらず同じであるために、プロセッサ部５のパラメータを光源ごとに変えることなく、上記各実施形態の変形例と同じ効果を得ることができる。すなわち、ベイヤ配列用のデモザイキング処理の性能を活かした高精度な観察画像を生成することができる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
１，８３ 内視鏡（内視鏡スコープ）
３１ 撮像素子
３１ａ カラーフィルタ
３５ 対応可否検出処理部（対応検出部）
３９，７１ ベイヤ変換処理部（変換処理部）
６３ 画像処理部（画像処理装置）
７３ 光源種類検出処理部（光種類検出部）
８５，９３ 対応可否検出処理部（配列検出部）
８１ プロセッサ部（内視鏡プロセッサ）
９１ 内視鏡用アダプタ

Claims (17)

  1. 被写体の画像情報を取得する撮像素子と、
    該撮像素子の画素上に配置される原色画素と補色画素とが混在したカラーフィルタと、
    該カラーフィルタを介して前記撮像素子により取得された画像情報に基づいて観察画像を生成する画像処理装置が、前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応しているか否かを検出する対応検出部と、
    該対応検出部により、前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応していないと検出された場合は、前記撮像素子から前記画像処理装置に送る前記画像情報をベイヤ配列に変換するベイヤ変換処理を施し、前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応していると検出された場合は、前記撮像素子から前記画像処理装置に送る前記画像情報に前記ベイヤ変換処理を施さない変換処理部とを備える内視鏡スコープ。
  2. 前記補色画素がＣｙ画素である請求項１に記載の内視鏡スコープ。
  3. 前記カラーフィルタが、前記補色画素が市松状に配置されてなる請求項２に記載の内視鏡スコープ。
  4. 前記被写体に照射される照明光が白色光と該白色光に含まれる所定の狭帯域光のいずれであるかを検出する光種類検出部を備え、
    前記変換処理部が、前記対応検出部により前記画像処理装置が前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応しないと検出され、かつ、前記光種類検出部により前記照明光が前記白色光であると検出された場合は、前記画像情報をＧ画素が市松状になるように変換し、前記対応検出部により前記画像処理装置が前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応しないと検出され、かつ、前記光種類検出部により前記照明光が前記狭帯域光であると検出された場合は、前記画像情報をＣｙ画素が市松状になるように変換する請求項２または請求項３に記載の内視鏡スコープ。
  5. 前記変換処理部が、前記照明光が前記白色光の場合と前記狭帯域光の場合とで前記ベイヤ変換処理後に市松状に配置される画素の位置が一致するよう、前記画像情報を変換する請求項４に記載の内視鏡スコープ。
  6. 前記変換処理部が、前記対応検出部により前記画像処理装置が前記原色画素と前記補色画素とが混在した配列からなる前記画像情報に対応しないと検出された場合に、前記画像情報の前記補色画素に対して色変換し、原色画素のみのベイヤ配列に変換する請求項１から請求項５のいずれかに記載の内視鏡スコープ。
  7. 前記変換処理部が、前記画像情報にエッジ強調処理を施した上で前記ベイヤ変換処理を施す請求項１から請求項６のいずれかに記載の内視鏡スコープ。
  8. 内視鏡スコープの撮像素子により取得された画像情報に基づき観察画像を生成するベイヤ処理用の画像処理部と、
    接続される前記内視鏡スコープの前記撮像素子から出力される前記画像情報がベイヤ配列からなるか否かを検出する配列検出部と、
    該配列検出部により、前記ベイヤ配列からなると検出されない場合は、前記撮像素子から前記画像処理部に送られてくる前記画像情報をベイヤ配列に変換するベイヤ変換処理を施し、前記ベイヤ配列からなると検出された場合は、前記撮像素子から前記画像処理部に送られてくる前記画像情報に前記ベイヤ変換処理を施さない変換処理部とを備える内視鏡プロセッサ。
  9. 被写体に照射される照明光が白色光と該白色光に含まれる所定の狭帯域光のいずれであるのかを検出する光種類検出部を備え、
    前記変換処理部が、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されず、かつ、前記光種類検出部により前記照明光が前記白色光であると検出された場合は、前記画像情報をＧ画素が市松状になるように変換し、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されず、かつ、前記光種類検出部により前記照明光が前記狭帯域光であると検出された場合は、前記画像情報をＣｙ画素が市松状になるように変換する請求項８に記載の内視鏡プロセッサ。
  10. 前記変換処理部が、前記照明光が前記白色光の場合と前記狭帯域光の場合とで前記ベイヤ変換処理後に市松状に配置される画素の位置が一致するよう、前記画像情報を変換する請求項９に記載の内視鏡プロセッサ。
  11. 前記変換処理部が、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されない場合に、前記画像情報の補色画素に対して色変換し、原色画素のみのベイヤ配列に変換する請求項８から請求項１０のいずれかに記載の内視鏡プロセッサ。
  12. 前記変換処理部が、前記画像情報にエッジ強調処理を施した上で前記ベイヤ変換処理を施す請求項８から請求項１１のいずれかに記載の内視鏡プロセッサ。
  13. 被写体の画像情報を取得する撮像素子を備え体腔内に挿入される内視鏡スコープと、前記撮像素子により取得された画像情報に基づき観察画像を生成するベイヤ処理用の画像処理装置とを接続する内視鏡用アダプタであって、
    前記画像処理装置に接続する前記内視鏡スコープの前記撮像素子から出力される前記画像情報がベイヤ配列からなるか否かを検出する配列検出部と、
    該配列検出部により、前記ベイヤ配列からなると検出されない場合は、前記撮像素子から前記画像処理装置に送られる前記画像情報をベイヤ配列に変換するベイヤ変換処理を施し、前記ベイヤ配列からなると検出された場合は、前記撮像素子から前記画像処理装置に送られる前記画像情報に前記ベイヤ変換処理を施さない変換処理部とを備える内視鏡用アダプタ。
  14. 前記被写体に照射される照明光が白色光と該白色光に含まれる所定の狭帯域光のいずれであるかを検出する光種類検出部を備え、
    前記変換処理部が、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されず、かつ、前記光種類検出部により前記照明光が前記白色光であると検出された場合は、前記画像情報をＧ画素が市松状になるように変換し、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されず、かつ、前記光種類検出部により前記照明光が前記狭帯域光であると検出された場合は、前記画像情報をＣｙ画素が市松状になるように変換する請求項１３に記載の内視鏡用アダプタ。
  15. 前記変換処理部が、前記照明光が前記白色光の場合と前記狭帯域光の場合とで前記ベイヤ変換処理後に市松状に配置される画素の位置が一致するよう、前記画像情報を変換する請求項１４に記載の内視鏡用アダプタ。
  16. 前記変換処理部が、前記配列検出部により前記画像情報が前記ベイヤ配列からなると検出されない場合に、前記画像情報に対して補色画素を色変換し、原色画素のみのベイヤ配列に変換する請求項１３から請求項１５のいずれかに記載の内視鏡用アダプタ。
  17. 前記変換処理部が、前記画像情報にエッジ強調処理を施した上で前記ベイヤ変換処理を施す請求項１３から請求項１６のいずれかに記載の内視鏡用アダプタ。
JP2018546124A 2016-10-21 2016-10-21 内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ Active JP6743167B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/081289 WO2018073959A1 (ja) 2016-10-21 2016-10-21 内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ

Publications (2)

Publication Number Publication Date
JPWO2018073959A1 JPWO2018073959A1 (ja) 2019-08-15
JP6743167B2 true JP6743167B2 (ja) 2020-08-19

Family

ID=62019264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546124A Active JP6743167B2 (ja) 2016-10-21 2016-10-21 内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ

Country Status (5)

Country Link
US (1) US11571111B2 (ja)
JP (1) JP6743167B2 (ja)
CN (1) CN109788891A (ja)
DE (1) DE112016007230T5 (ja)
WO (1) WO2018073959A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069414A1 (ja) 2017-10-04 2019-04-11 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
JP6648375B2 (ja) * 2018-05-21 2020-02-14 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像システム、及び移動体
KR102709413B1 (ko) * 2019-07-03 2024-09-24 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
US20240206718A1 (en) * 2022-12-22 2024-06-27 Stryker Corporation Systems and methods for optical filter detection and identification

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530376A4 (en) * 2002-06-18 2006-05-24 Nokia Corp IMAGE PROCESSING DEVICE AND METHOD, IMAGE OUTPUT DEVICE, DIGITAL CAMERA, AND MOBILE DATA TERMINAL USING THE SAME
US7986358B1 (en) * 2003-02-25 2011-07-26 Matrox Electronic Systems, Ltd. Bayer image conversion using a graphics processing unit
JP4436733B2 (ja) * 2004-08-27 2010-03-24 オリンパス株式会社 撮像装置および再生装置
JP4606838B2 (ja) * 2004-10-20 2011-01-05 富士フイルム株式会社 電子内視鏡装置
JP2006211610A (ja) * 2005-01-31 2006-08-10 Olympus Corp 撮像システム
US7697046B2 (en) 2005-12-07 2010-04-13 Hoya Corporation Image signal processing device and method of image signal processing including pixel array pattern determination
JP2007184905A (ja) * 2005-12-07 2007-07-19 Pentax Corp 画像信号処理装置、および画像信号処理方法
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
TWI422020B (zh) 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP4683121B2 (ja) 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5460506B2 (ja) 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP2011156214A (ja) * 2010-02-02 2011-08-18 Hoya Corp 撮像装置、及び電子内視鏡システム
JP2013125861A (ja) * 2011-12-14 2013-06-24 Sony Corp 固体撮像素子および電子機器
CN104205808B (zh) * 2012-03-30 2020-06-05 株式会社尼康 摄像装置以及摄像元件
JP6017276B2 (ja) 2012-11-21 2016-10-26 オリンパス株式会社 撮像装置
JP6147097B2 (ja) 2013-05-31 2017-06-14 Hoya株式会社 内視鏡及び内視鏡システム
JP6196900B2 (ja) 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
JP6370604B2 (ja) 2014-05-16 2018-08-08 Hoya株式会社 内視鏡システム
EP3173011A1 (en) 2015-01-28 2017-05-31 Olympus Corporation Signal processing device and endoscope system
US10574910B2 (en) * 2015-02-26 2020-02-25 Sony Semiconductor Solutions Corporation Method and apparatus for controlling a luminance composition unit

Also Published As

Publication number Publication date
CN109788891A (zh) 2019-05-21
WO2018073959A1 (ja) 2018-04-26
JPWO2018073959A1 (ja) 2019-08-15
DE112016007230T5 (de) 2019-06-13
US11571111B2 (en) 2023-02-07
US20190231178A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
US10159404B2 (en) Endoscope apparatus
US10362930B2 (en) Endoscope apparatus
JP5274720B2 (ja) 撮像装置
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP6743167B2 (ja) 内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ
US20190082936A1 (en) Image processing apparatus
US20170296034A1 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
WO2017115442A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20170251915A1 (en) Endoscope apparatus
JP2016015995A (ja) 電子内視鏡システム及び電子内視鏡用プロセッサ
JP6392486B1 (ja) 内視鏡システム
JP5509233B2 (ja) 電子内視鏡装置及びその作動方法
WO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
CN109310272B (zh) 处理装置、设定方法以及存储介质
JP6254506B2 (ja) 内視鏡システム及びその作動方法
JP6258834B2 (ja) 内視鏡システム及びその作動方法
JP6586206B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R151 Written notification of patent or utility model registration

Ref document number: 6743167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250