[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6427356B2 - Image signal generating apparatus and electronic endoscope system - Google Patents

Image signal generating apparatus and electronic endoscope system Download PDF

Info

Publication number
JP6427356B2
JP6427356B2 JP2014159852A JP2014159852A JP6427356B2 JP 6427356 B2 JP6427356 B2 JP 6427356B2 JP 2014159852 A JP2014159852 A JP 2014159852A JP 2014159852 A JP2014159852 A JP 2014159852A JP 6427356 B2 JP6427356 B2 JP 6427356B2
Authority
JP
Japan
Prior art keywords
signal
image signal
pixel
image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014159852A
Other languages
Japanese (ja)
Other versions
JP2016036388A (en
Inventor
貴雄 牧野
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2014159852A priority Critical patent/JP6427356B2/en
Publication of JP2016036388A publication Critical patent/JP2016036388A/en
Application granted granted Critical
Publication of JP6427356B2 publication Critical patent/JP6427356B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Description

本発明は、生体組織の画像信号を生成する画像信号生成装置及び電子内視鏡システムに関する。   The present invention relates to an image signal generating device and an electronic endoscope system for generating an image signal of a living tissue.

患者の体腔内を観察するための電子内視鏡システムが知られている。この種の電子内視鏡システムでは、光源ランプより射出される照射光を体腔内に導いて体腔内を照射することにより、自然光の届かない体腔内を撮像することが可能となっている。   Electronic endoscope systems for observing a patient's body cavity are known. In this type of electronic endoscope system, it is possible to image a body cavity to which natural light does not reach by guiding the irradiation light emitted from the light source lamp into the body cavity and irradiating the body cavity.

体腔内の生体組織は、粘膜に覆われており光沢がある。そのため、照射光が正反射して撮像素子の受光面に入射されると、正反射領域に位置する生体組織が白飛びしハイライトとなって観察できない場合がある。この問題に鑑み、この種のハイライトを除去する電子内視鏡システムの具体的構成が、例えば特許文献1や特許文献2に記載されている。   The living tissue in the body cavity is covered with mucous membrane and is glossy. Therefore, when the irradiation light is specularly reflected and is incident on the light receiving surface of the imaging device, the biological tissue located in the specular reflection region may be blown out and may not be observed as a highlight. In view of this problem, a specific configuration of an electronic endoscope system for removing this type of highlight is described, for example, in Patent Document 1 and Patent Document 2.

特許文献1に記載の電子内視鏡システムは、同一対象が撮像された複数枚の画像を合成処理することで、処理対象画像のハイライト部分を除去する。具体的には、特許文献1に記載の電子内視鏡システムは、処理対象画像においてハイライト部分となって損失した生体組織を、他の画像の同生体組織に該当する部分の情報を用いて埋め合わせ処理することで復元する。   The electronic endoscope system described in Patent Document 1 removes a highlight portion of a processing target image by combining a plurality of images in which the same object is captured. Specifically, the electronic endoscope system described in Patent Document 1 uses the information of the portion corresponding to the same living tissue of the other images as the living tissue lost as the highlighted portion in the processing target image. Restore by compensation processing.

特許文献2に記載の電子内視鏡システムは、一対の光源を備えており、一方の光源の前段に偏光板が配置されている。特許文献2に記載の電子内視鏡システムは、一対の光源を交互に点灯させることにより、体腔内を直線偏光状態の照射光と無偏光状態の照射光とで交互に照射して撮像する。無偏光状態の照射光により照射された体腔内の画像は、ハイライト部分を含む画像(表面反射成分及び内部反射成分の両方からなる画像)となるが、直線偏光状態の照射光により照射された体腔内の画像は、ハイライト部分の無い画像(表面反射成分の無い内部反射成分だけからなる画像)となる。   The electronic endoscope system described in Patent Document 2 includes a pair of light sources, and a polarizing plate is disposed in front of one of the light sources. The electronic endoscope system described in Patent Document 2 alternately illuminates a body cavity with irradiation light in a linearly polarized state and irradiation light in a non-polarized state by alternately turning on a pair of light sources to capture an image. The image in the body cavity irradiated with the irradiation light in the non-polarization state becomes an image including the highlight part (an image consisting of both the surface reflection component and the internal reflection component), but is irradiated by the irradiation light in the linear polarization state The image in the body cavity is an image without a highlight portion (an image consisting of only an internal reflection component without a surface reflection component).

特開平5−108819号公報JP-A-5-108819 特開2014−18439号公報JP, 2014-18439, A

特許文献1に記載の電子内視鏡システムでは、ハイライト部分を多数の画像を用いて復元するため、演算コストが高いという問題が指摘される。また、ハイライト部分を除去する精度が低いという問題も指摘される。   In the electronic endoscope system described in Patent Document 1, the problem of high operation cost is pointed out because the highlight portion is restored using a large number of images. Moreover, the problem that the precision which removes a highlight part is low is also pointed out.

特許文献2に記載の電子内視鏡システムでは、細径化が強く要請される電子スコープの先端に偏光板を配置しなければならない。また、偏光板による色再現性の劣化を抑える必要がある。偏光板による色再現性の劣化を抑えるため、特許文献2に記載の電子内視鏡システムでは、使用可能な照射光の波長特性に制約がある。すなわち、使用可能な光源に制約があり、光源の選択肢が限られる。   In the electronic endoscope system described in Patent Document 2, it is necessary to dispose a polarizing plate at the tip of an electronic scope where reduction in diameter is strongly required. In addition, it is necessary to suppress the deterioration of color reproducibility due to the polarizing plate. In order to suppress the deterioration of the color reproducibility due to the polarizing plate, the electronic endoscope system described in Patent Document 2 has limitations in the wavelength characteristics of usable irradiation light. That is, the available light sources are limited, and the choice of light sources is limited.

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、演算コストを抑えつつもハイライト部分等の表面反射成分を精度良く除去することができ、且つ電子スコープの先端の細径化に有利であると共に偏光板による色再現性の劣化を考慮する必要の無い電子内視鏡システム及び該電子内視鏡システムを構成する画像信号生成装置を提供することである。   The present invention has been made in view of the above circumstances, and the object of the present invention is to reduce the calculation cost while accurately removing surface reflection components such as highlight portions, and the tip of an electronic scope. It is an object of the present invention to provide an electronic endoscope system which is advantageous for reducing the diameter of the optical system and which does not need to take into consideration deterioration of color reproducibility due to a polarizing plate, and an image signal generating device constituting the electronic endoscope system.

本発明の実施形態の画像信号生成装置は、生体組織の特定の内部構造を強調するための特定波長にピーク強度を持つ狭帯域光及び狭帯域光以外の少なくとも一部の帯域の光を含む照射光により照射された生体組織であって、所定の撮像装置により撮像された生体組織の画像信号の中から特定波長に対応する色信号を抽出する色信号抽出手段と、色信号抽出手段により抽出された色信号に基づいて生体組織の表面反射成分の画像信号を生成する第一の画像信号生成手段と、生体組織の画像信号から表面反射成分の画像信号を減算することにより、生体組織の内部反射成分の画像信号を生成する第二の画像信号生成手段とを備える。   An image signal generation apparatus according to an embodiment of the present invention is an illumination including at least a partial band of light other than narrow band light and peak light having a peak intensity at a specific wavelength for emphasizing a specific internal structure of living tissue. Color signal extraction means for extracting a color signal corresponding to a specific wavelength from among image signals of the living body tissue imaged by the predetermined imaging device, the living body tissue being irradiated with light; Means for generating an image signal of the surface reflection component of the living tissue based on the selected color signal, and subtracting the image signal of the surface reflection component from the image signal of the living tissue to obtain internal reflection of the living tissue And second image signal generating means for generating an image signal of the component.

このように、上記の狭帯域光を含む照射光により照射された生体組織の画像信号のうち、特定の内部構造を強調するための特定波長に対応する色信号を用いることで、生体組織の表面反射成分を精度良く表す画像信号が生成されることから、演算コストが抑えられつつも表面反射成分が精度良く除去された内部反射成分の画像信号が得られる。また、細径化が強く要請される電子スコープの先端に偏光板を配置する必要が無いため、電子スコープの細径化に有利であると共に偏光板による色再現性の劣化を考慮する必要が無い。   Thus, by using a color signal corresponding to a specific wavelength for emphasizing a specific internal structure among the image signals of the biological tissue irradiated with the irradiation light including the narrow band light described above, the surface of the biological tissue is obtained. Since the image signal representing the reflection component with high accuracy is generated, the image signal of the internal reflection component in which the surface reflection component is accurately removed is obtained while the calculation cost is suppressed. In addition, since it is not necessary to dispose a polarizing plate at the tip of the electronic scope where reduction in diameter is strongly required, it is advantageous for reducing the diameter of the electronic scope and it is not necessary to consider deterioration in color reproducibility by the polarizing plate. .

第一の画像信号生成手段は、特定波長に対応する色信号の基準値を算出し、各画素において色信号の画素値を基準値で減算し、基準値で減算された色信号に基づいて表面反射成分の画像信号を生成する構成としてもよい。   The first image signal generation means calculates a reference value of a color signal corresponding to a specific wavelength, subtracts the pixel value of the color signal at each pixel by the reference value, and generates a surface based on the color signal subtracted by the reference value. The image signal of the reflection component may be generated.

第一の画像信号生成手段により算出される基準値は、例えば、特定波長に対応する色信号に関する、平均画素値、画素値の中央値、又は最大値及び最小値の加重平均値である。   The reference value calculated by the first image signal generating means is, for example, an average pixel value, a median of pixel values, or a weighted average of maximum and minimum values for a color signal corresponding to a specific wavelength.

第一の画像信号生成手段は、特定波長に対応する色信号のうち画素値が所定の範囲に収まらないものを除外して基準値の計算を行う構成としてもよい。   The first image signal generation means may be configured to calculate the reference value excluding the color signals corresponding to the specific wavelength whose pixel values do not fall within the predetermined range.

特定波長は、例えば、ヘモグロビンによる吸収率の高い波長である。   The specific wavelength is, for example, a wavelength at which the absorptivity of hemoglobin is high.

照射光は、例えば、R(Red)成分、G(Green)成分、B(Blue)成分の各色成分内にピーク強度を持つ3つの狭帯域光である。   The irradiation light is, for example, three narrow band light having peak intensities in respective color components of R (Red) component, G (Green) component, and B (Blue) component.

本発明の実施形態の画像信号生成装置は、撮像装置により撮像された生体組織の画像信号にデモザイク処理を施すことにより、各画素にR信号、G信号、B信号の各色成分の信号を持たせるデモザイク処理手段を備える構成としてもよい。この場合、第一の画像信号生成手段は、B信号の基準値を算出し、各画素においてB信号の画素値を基準値で減算し、各画素においてR信号及びG信号の画素値を基準値で減算されたB信号と同一の画素値に置き換えることにより、表面反射成分の画像信号を生成する。また、第二の画像信号生成手段は、デモザイク処理された生体組織の画像信号から表面反射成分の画像信号を減算することにより、内部反射成分の画像信号を生成する。   The image signal generating apparatus according to the embodiment of the present invention applies demosaicing processing to an image signal of a living tissue imaged by an imaging device to provide each pixel with a signal of each color component of an R signal, a G signal, and a B signal. It is good also as composition provided with a demosaicing processing means. In this case, the first image signal generation means calculates the reference value of the B signal, subtracts the pixel value of the B signal in each pixel by the reference value, and calculates the pixel values of the R signal and the G signal in each pixel as a reference value. The image signal of the surface reflection component is generated by substituting the same pixel value as that of the B signal subtracted in the above. The second image signal generation means generates an image signal of the internal reflection component by subtracting the image signal of the surface reflection component from the image signal of the demosaiced biological tissue.

本発明の実施形態の画像信号生成装置は、表面反射成分の画像信号と内部反射成分の画像信号とを所定の重み係数で合成した合成画像を生成する合成画像生成手段を備える構成としてもよい。   The image signal generation apparatus according to the embodiment of the present invention may be configured to include a composite image generation unit that generates a composite image in which the image signal of the surface reflection component and the image signal of the internal reflection component are combined by a predetermined weighting coefficient.

本発明の実施形態の電子内視鏡システムは、生体組織の特定の内部構造を強調するための特定波長にピーク強度を持つ狭帯域光及び狭帯域光以外の少なくとも一部の帯域の光を含む照射光を射出して生体組織を照射する照射装置と、照射光により照射された生体組織を撮像して生体組織の画像信号を生成する撮像装置と、撮像装置により生成された生体組織の画像信号を処理する、上記の画像信号生成装置とを備える。   The electronic endoscope system according to an embodiment of the present invention includes narrowband light having a peak intensity at a specific wavelength and light of at least a partial band other than narrowband light for emphasizing a specific internal structure of living tissue. An irradiation device that emits irradiation light to irradiate living tissue, an imaging device that images living tissue irradiated by the irradiation light to generate an image signal of the living tissue, and an image signal of the living tissue generated by the imaging device And the image signal generation apparatus described above.

本発明の実施形態によれば、演算コストを抑えつつもハイライト部分等の表面反射成分を精度良く除去することができ、且つ電子スコープの先端の細径化に有利であると共に偏光板による色再現性の劣化を考慮する必要の無い電子内視鏡システム及び該電子内視鏡システムを構成する画像信号生成装置が提供される。   According to the embodiment of the present invention, surface reflection components such as highlight portions can be accurately removed while suppressing the calculation cost, and it is advantageous for reducing the diameter of the tip of the electronic scope and the color by the polarizing plate There is provided an electronic endoscope system and an image signal generating apparatus constituting the electronic endoscope system, which do not need to consider deterioration of reproducibility.

本発明の実施形態の電子内視鏡システムの構成を示すブロック図である。It is a block diagram showing composition of an electronic endoscope system of an embodiment of the present invention. 本発明の実施形態のプロセッサに備えられる回転フィルタ部を集光レンズ側から見た正面図である。It is the front view which looked at the rotation filter part with which the processor of embodiment of this invention is seen from the condensing lens side. 本発明の実施形態のプロセッサに備えられた光学フィルタの分光特性例を示す図である。It is a figure which shows the example of a spectrum characteristic of the optical filter with which the processor of embodiment of this invention was equipped. 本発明の実施形態のプロセッサに備えられる特殊画像処理回路による特殊画像生成フローを示す図である。It is a figure which shows the special image generation flow by the special image processing circuit with which the processor of embodiment of this invention is equipped. 特殊光を生体組織に照射したときのB成分の狭帯域光の様子を模式的に示す図である。It is a figure which shows typically the mode of the narrow-band light of B component when special light is irradiated to a biological tissue.

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following, an electronic endoscope system will be described by way of example as an embodiment of the present invention.

図1は、本実施形態の電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、プロセッサ200及びモニタ300を備えている。   FIG. 1 is a block diagram showing the configuration of the electronic endoscope system 1 of the present embodiment. As shown in FIG. 1, the electronic endoscope system 1 includes an electronic scope 100, a processor 200 and a monitor 300.

プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ212に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル218に接続されている。システムコントローラ202は、操作パネル218より入力される術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム1の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モードと特殊モードがある。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。   The processor 200 comprises a system controller 202 and a timing controller 204. The system controller 202 executes various programs stored in the memory 212 and controls the entire electronic endoscope system 1 in an integrated manner. In addition, the system controller 202 is connected to the operation panel 218. The system controller 202 changes each operation of the electronic endoscope system 1 and parameters for each operation in accordance with an instruction from the operator input from the operation panel 218. The input instruction by the operator includes, for example, an instruction to switch the operation mode of the electronic endoscope system 1. In the present embodiment, there are a normal mode and a special mode as operation modes. The timing controller 204 outputs clock pulses for adjusting the timing of operation of each unit to each circuit in the electronic endoscope system 1.

ランプ208は、ランプ電源イグナイタ206による始動後、照射光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプである。照射光Lは、主に可視光領域から不可視である赤外光領域に広がるスペクトルを持つ光(又は少なくとも可視光領域を含む光)である。ランプ208より射出された照射光Lは、回転フィルタ部260に入射される。   The lamp 208 emits the irradiation light L after being started by the lamp power igniter 206. The lamp 208 is, for example, a high-intensity lamp such as a xenon lamp, a halogen lamp, a mercury lamp, or a metal halide lamp. The irradiation light L is light (or light including at least a visible light region) having a spectrum extending mainly from a visible light region to an infrared light region which is invisible. The irradiation light L emitted from the lamp 208 is incident on the rotary filter unit 260.

図2は、回転フィルタ部260を集光レンズ210側から見た正面図である。回転フィルタ部260は、回転式ターレット261、DCモータ262、ドライバ263及びフォトインタラプタ264を備えている。図2に示されるように、回転式ターレット261には、通常光(白色光)用フィルタFn及び特殊光用フィルタFsが並べて配置されている。各光学フィルタは、約180°の角度範囲に広がる扇形状を有している。   FIG. 2 is a front view of the rotary filter unit 260 as viewed from the condenser lens 210 side. The rotary filter unit 260 includes a rotary turret 261, a DC motor 262, a driver 263 and a photo interrupter 264. As shown in FIG. 2, in the rotary turret 261, a filter Fn for normal light (white light) and a filter Fs for special light are arranged side by side. Each optical filter has a fan shape that extends over an angle range of about 180 °.

図3(a)、図3(b)はそれぞれ、通常光用フィルタFn、特殊光用フィルタFsの分光特性を示すグラフである。図3(a)、図3(b)の各図中、縦軸は透過率(正規化のため単位無し)を示し、横軸は波長(単位:nm)を示す。   FIGS. 3A and 3B are graphs showing spectral characteristics of the normal light filter Fn and the special light filter Fs, respectively. In each of FIGS. 3 (a) and 3 (b), the vertical axis represents transmittance (no unit for normalization), and the horizontal axis represents wavelength (unit: nm).

通常光用フィルタFnは、照射光Lを減光する減光フィルタである。そのため、図3(a)に示されるように、通常光用フィルタFnの分光特性はフラットである。なお、通常光用フィルタFnは、単なる開口(光学フィルタの無いもの)や絞り機能を兼ねたスリット(光学フィルタの無いもの)に置き換えてもよい。   The normal light filter Fn is a light reduction filter that reduces the light beam L. Therefore, as shown in FIG. 3A, the spectral characteristics of the normal light filter Fn are flat. The normal light filter Fn may be replaced by a simple opening (without an optical filter) or a slit (without an optical filter) that also serves as a stop function.

図3(b)に示されるように、特殊光用フィルタFsは、R(Red)成分、G(Green)成分、B(Blue)成分の各色成分内に透過ピーク波長を持つ半値幅の狭い狭帯域光フィルタである。B成分内の透過ピーク波長は、ヘモグロビンによる吸収率の高い波長(415nm付近)である。特殊光用フィルタFsを介した415nm付近にピーク波長を持つ狭帯域光は、生体組織の特定の内部構造(血管構造)の分光画像を撮影するのに適している。   As shown in FIG. 3B, the special light filter Fs has a narrow half bandwidth having a transmission peak wavelength in each color component of R (Red) component, G (Green) component, and B (Blue) component. It is a band pass optical filter. The transmission peak wavelength in the B component is a wavelength (near 415 nm) at which the absorptivity by hemoglobin is high. Narrow band light having a peak wavelength around 415 nm via the special light filter Fs is suitable for capturing a spectral image of a specific internal structure (blood vessel structure) of a living tissue.

ドライバ263は、システムコントローラ202による制御下でDCモータ262を駆動する。回転フィルタ部260は、回転式ターレット261がDCモータ262によって回転動作することにより、ランプ208より入射された照射光Lから、スペクトルの異なる二種類の照射光(通常光と特殊光)の一方を取り出す。   The driver 263 drives the DC motor 262 under the control of the system controller 202. The rotary filter unit 260 rotates the rotary turret 261 by the DC motor 262 to generate one of two types of irradiation light (normal light and special light) having different spectra from the irradiation light L incident from the lamp 208. Take out.

具体的には、ドライバ263は、通常モードに切り替えられると、回転式ターレット261を通常光用フィルタFnが照明光Lの光路に挿入される位置まで回転させ、特殊モードへの切り替えが無い限りは回転式ターレット261を当該位置で停止させる。また、ドライバ263は、特殊モードに切り替えられると、回転式ターレット261を特殊光用フィルタFsが照明光Lの光路に挿入される位置まで回転させ、通常モードへの切り替えが無い限りは回転式ターレット261を当該位置で停止させる。回転式ターレット261の回転位置や回転の位相は、回転式ターレット261の外周付近に形成された開口(不図示)をフォトインタラプタ264によって検出することにより制御される。   Specifically, when the driver 263 is switched to the normal mode, the rotary turret 261 is rotated to a position where the filter for normal light Fn is inserted into the light path of the illumination light L, and switching to the special mode is not performed. The rotary turret 261 is stopped at this position. When the driver 263 is switched to the special mode, the rotary turret 261 is rotated to a position where the special light filter Fs is inserted in the optical path of the illumination light L, and the rotary turret is used unless switched to the normal mode. The H. 261 is stopped at this position. The rotational position and rotational phase of the rotary turret 261 are controlled by detecting an opening (not shown) formed in the vicinity of the outer periphery of the rotary turret 261 by the photointerrupter 264.

[通常モード時の動作]
通常モード時の電子内視鏡システム1の動作を説明する。通常モードでは、通常光用フィルタFnが照明光Lの光路に挿入される。そのため、ランプ208より射出された照射光Lは、通常光用フィルタFnを透過して集光レンズ210に入射される。以下、説明の便宜上、通常光用フィルタFn透過後の照射光Lを「通常光Ln」と記す。集光レンズ210に入射された通常光Lnは、LCB(Light Carrying Bundle)102の入射端面に集光されてLCB102内に入射される。
[Operation in normal mode]
The operation of the electronic endoscope system 1 in the normal mode will be described. In the normal mode, the normal light filter Fn is inserted in the light path of the illumination light L. Therefore, the irradiation light L emitted from the lamp 208 passes through the normal light filter Fn and is incident on the condensing lens 210. Hereinafter, for convenience of the description, the irradiation light L after passing through the normal light filter Fn will be referred to as “normal light Ln”. The ordinary light Ln incident on the condensing lens 210 is condensed on the incident end face of a light carrying bundle (LCB) 102 and is incident on the LCB 102.

通常光Lnは、LCB102内を伝播して電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して被写体(体腔内の生体組織)を照射する。通常光Lnにより照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。   The normal light Ln propagates in the LCB 102 and is emitted from the emission end face of the LCB 102 disposed at the tip of the electronic scope 100, and illuminates the subject (living tissue in the body cavity) through the light distribution lens 104. The return light from the living tissue irradiated with the normal light Ln forms an optical image on the light receiving surface of the solid-state imaging device 108 via the objective lens 106.

固体撮像素子108は、ベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像(通常光Lnにより照射された生体組織からの戻り光)を光量に応じた電荷として蓄積して、R、G、Bの画像信号を生成して出力する。以下、固体撮像素子108より順次出力される各画素(各画素アドレス)の画像信号を「画素信号」と記す。なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子108はまた、補色系フィルタを搭載したものであってもよい。   The solid-state imaging device 108 is a single-plate color charge coupled device (CCD) image sensor having a Bayer-type pixel arrangement. The solid-state imaging device 108 accumulates the optical image (return light from the living tissue irradiated with the normal light Ln) formed by each pixel on the light receiving surface as the electric charge according to the light amount, Generate and output an image signal. Hereinafter, an image signal of each pixel (each pixel address) sequentially output from the solid-state imaging device 108 is referred to as a “pixel signal”. The solid-state imaging device 108 is not limited to the CCD image sensor, and may be replaced by a complementary metal oxide semiconductor (CMOS) image sensor or another type of imaging device. The solid-state imaging device 108 may also be equipped with a complementary color filter.

電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112には、通常光Lnにより照射された生体組織の画素信号が固体撮像素子108よりフレーム周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される画素信号をプロセッサ200の前段信号処理回路220に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、1/30秒、1/60秒である。   In the connection portion of the electronic scope 100, a driver signal processing circuit 112 is provided. The pixel signal of the living tissue irradiated with the normal light Ln is input to the driver signal processing circuit 112 from the solid-state imaging device 108 at a frame period. The driver signal processing circuit 112 outputs the pixel signal input from the solid-state imaging device 108 to the pre-stage signal processing circuit 220 of the processor 200. In the following description, “frame” may be replaced with “field”. In the present embodiment, the frame period and the field period are 1/30 seconds and 1/60 seconds, respectively.

ドライバ信号処理回路112はまた、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。   The driver signal processing circuit 112 also accesses the memory 114 to read out the unique information of the electronic scope 100. The unique information of the electronic scope 100 recorded in the memory 114 includes, for example, the number of pixels and sensitivity of the solid-state imaging device 108, an operable frame rate, and a model number. The driver signal processing circuit 112 outputs the unique information read from the memory 114 to the system controller 202.

システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。   The system controller 202 performs various operations based on the unique information of the electronic scope 100 to generate a control signal. The system controller 202 controls the operation and timing of various circuits in the processor 200 so that processing suitable for the electronic scope connected to the processor 200 is performed using the generated control signal.

タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。   The timing controller 204 supplies clock pulses to the driver signal processing circuit 112 in accordance with timing control by the system controller 202. The driver signal processing circuit 112 drives and controls the solid-state imaging device 108 at timing synchronized with the frame rate of the image processed on the processor 200 side according to the clock pulse supplied from the timing controller 204.

前段信号処理回路220は、ドライバ信号処理回路112よりフレーム周期で入力されるR、G、Bの各画素信号に対してデモザイク処理を施す。具体的には、Rの各画素信号についてG、Bの周辺画素による補間処理が施され、Gの各画素信号についてR、Bの周辺画素による補間処理が施され、Bの各画素信号についてR、Gの周辺画素による補間処理が施される。これにより、1つの色成分の情報しか持たなかった画素信号が全て、3つの色成分の情報(R信号、G信号及びB信号)を持つ画素信号に変換される。   The pre-stage signal processing circuit 220 performs demosaicing on each of the R, G, and B pixel signals input from the driver signal processing circuit 112 in a frame cycle. Specifically, interpolation processing is performed on each pixel signal of R by G and B peripheral pixels, interpolation processing is performed on each pixel signal of G by R and B peripheral pixels, and R is performed on each pixel signal of B , G peripheral pixels are subjected to interpolation processing. As a result, all pixel signals having information of only one color component are converted into pixel signals having information of three color components (R signal, G signal and B signal).

前段信号処理回路220は、デモザイク処理後の画素信号にマトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路230に出力する。   The pre-stage signal processing circuit 220 performs predetermined signal processing such as matrix operation, white balance adjustment processing, and gamma correction processing on the pixel signal after the demosaicing processing, and outputs the processed signal to the special image processing circuit 230.

特殊画像処理回路230は、前段信号処理回路220より入力される画素信号を後段信号処理回路240へスルー出力する。   The special image processing circuit 230 passes the pixel signal input from the front stage signal processing circuit 220 through to the rear stage signal processing circuit 240.

後段信号処理回路240は、特殊画像処理回路230より入力される画素信号に所定の信号処理を施してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、生体組織のカラー画像がモニタ300の表示画面に表示される。   The post-stage signal processing circuit 240 performs predetermined signal processing on the pixel signal input from the special image processing circuit 230 to generate screen data for monitor display, and the generated screen data for monitor display has a predetermined video format. Convert to a signal. The converted video format signal is output to the monitor 300. Thereby, the color image of the living tissue is displayed on the display screen of the monitor 300.

[特殊モード時の動作]
次に、特殊モード時の電子内視鏡システム1の動作を説明する。特殊モードでは、特殊光用フィルタFsが照明光Lの光路に挿入される。そのため、ランプ208より射出された照射光Lは、特殊光用フィルタFsを透過して集光レンズ210に入射される。以下、説明の便宜上、特殊光用フィルタFs透過後の照射光Lを「特殊光Ls」と記す。集光レンズ210に入射された特殊光Lsは、LCB102の入射端面に集光されてLCB102内に入射される。
[Operation in special mode]
Next, the operation of the electronic endoscope system 1 in the special mode will be described. In the special mode, the special light filter Fs is inserted into the light path of the illumination light L. Therefore, the irradiation light L emitted from the lamp 208 passes through the special light filter Fs and is incident on the condenser lens 210. Hereinafter, for convenience of description, the irradiation light L after passing through the special light filter Fs will be referred to as “special light Ls”. The special light Ls incident on the condensing lens 210 is condensed on the incident end face of the LCB 102 and is incident on the LCB 102.

特殊光Lsは、LCB102内を伝播してLCB102の射出端面より射出され、配光レンズ104を介して生体組織を照射する。特殊光Lsにより照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。   The special light Ls propagates in the LCB 102 and is emitted from the emission end surface of the LCB 102, and irradiates a living tissue via the light distribution lens 104. The return light from the biological tissue irradiated with the special light Ls forms an optical image on the light receiving surface of the solid-state imaging device 108 via the objective lens 106.

固体撮像素子108は、受光面上の各画素で結像した光学像(特殊光Lsにより照射された生体組織からの戻り光)を光量に応じた電荷として蓄積して、R、G、Bの各画素信号を生成して出力する。   The solid-state imaging device 108 accumulates an optical image (returned light from the living tissue irradiated by the special light Ls) formed by each pixel on the light receiving surface as a charge corresponding to the light amount to obtain R, G, B Each pixel signal is generated and output.

ドライバ信号処理回路112には、特殊光Lsにより照射された生体組織の画素信号が固体撮像素子108よりフレーム周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される画素信号を前段信号処理回路220に出力する。   The pixel signal of the living tissue illuminated by the special light Ls is input to the driver signal processing circuit 112 from the solid-state imaging device 108 at a frame period. The driver signal processing circuit 112 outputs a pixel signal input from the solid-state imaging device 108 to the previous-stage signal processing circuit 220.

前段信号処理回路220は、ドライバ信号処理回路112よりフレーム周期で入力される画素信号に対してデモザイク処理、マトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路230に出力する。   The pre-stage signal processing circuit 220 performs predetermined image processing such as demosaicing processing, matrix operation, white balance adjustment processing, and gamma correction processing on pixel signals input from the driver signal processing circuit 112 in a frame cycle to perform special image processing. It outputs to the circuit 230.

特殊画像処理回路230は、前段信号処理回路220より入力される画素信号を用いて下記の特殊画像処理フローを実行して特殊画像の画素信号を生成して後段信号処理回路240に出力する。後段信号処理回路240は、特殊画像処理回路230より入力される特殊画像の画素信号を所定のビデオフォーマット信号に変換してモニタ300に出力する。これにより、生体組織の特殊画像がモニタ300の表示画面に表示される。   The special image processing circuit 230 executes the following special image processing flow using the pixel signal input from the front stage signal processing circuit 220 to generate a pixel signal of a special image, and outputs it to the rear stage signal processing circuit 240. The post-stage signal processing circuit 240 converts the pixel signal of the special image input from the special image processing circuit 230 into a predetermined video format signal and outputs it to the monitor 300. Thereby, the special image of the living tissue is displayed on the display screen of the monitor 300.

[特殊画像処理回路230による特殊画像生成フロー]
図4は、特殊画像処理回路230による特殊画像処理フローを示す。
[Flow of Special Image Generation by Special Image Processing Circuit 230]
FIG. 4 shows a flow of special image processing by the special image processing circuit 230.

[図4のS11(特殊光用フィルタの光路への挿入)]
本処理ステップS11では、特殊モードへの切り替え後、特殊光用フィルタFsが照明光Lの光路に挿入される。
[S11 in FIG. 4 (insertion of the special light filter into the light path)]
In the main processing step S11, after switching to the special mode, the special light filter Fs is inserted into the light path of the illumination light L.

[図4のS12(現フレームの画素信号の入力)]
本処理ステップS12では、前段信号処理回路220より現フレームの画素信号(3つの色成分の情報(R信号、G信号及びB信号)を持つ画素信号)が入力される。
[S12 in FIG. 4 (input of pixel signal of current frame)]
In the main processing step S12, the pixel signal of the current frame (pixel signal having information of three color components (R signal, G signal and B signal)) is input from the previous stage signal processing circuit 220.

[図4のS13(注目画素の選択)]
本処理ステップS13では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
[S13 in FIG. 4 (selection of the target pixel)]
In the main processing step S13, one target pixel is selected from all the pixels in a predetermined order.

[図4のS14(B信号の画素値判定)]
本処理ステップS14では、処理ステップS13(注目画素の選択)にて選択された注目画素について、B信号の画素値が所定の範囲に収まる値か否かが判定される。所定の範囲の上限値を超えるB信号、下限値を下回るB信号はそれぞれ、ハイライト部分、陰影部分であり情報が損失している。すなわち、本処理ステップS14では、注目画素のB信号がハイライト部分であるか否か及び陰影部分であるか否かが判定される。
[S14 in FIG. 4 (pixel value determination of B signal)]
In the main processing step S14, it is determined whether or not the pixel value of the B signal falls within a predetermined range for the target pixel selected in the processing step S13 (selection of a target pixel). The B signal exceeding the upper limit value of the predetermined range and the B signal falling below the lower limit value are a highlight part and a shaded part, respectively, and information is lost. That is, in the main processing step S14, it is determined whether the B signal of the pixel of interest is a highlight portion and whether it is a shaded portion.

[図4のS15(画素値の加算)]
本処理ステップS15は、処理ステップS14(B信号の画素値判定)にて注目画素のB信号の画素値が所定の範囲に収まる値と判定された場合(S14:YES)に実行される。本処理ステップS15では、注目画素のB信号の画素値が計算用加算値に加算される。ここで、計算用加算値は、特殊画像処理回路230のバッファ230Aに格納された値であり、現フレームに対するこれまでの処理で所定の範囲に収まると判定されたB信号の画素値の合計値を示す。なお、計算用加算値は、次フレームに対する特殊画像処理フローの実行開始時にゼロにリセットされる。
[S15 in FIG. 4 (addition of pixel values)]
This processing step S15 is executed when it is determined that the pixel value of the B signal of the target pixel falls within the predetermined range in processing step S14 (pixel value determination of the B signal) (S14: YES). In the main processing step S15, the pixel value of the B signal of the pixel of interest is added to the calculation addition value. Here, the calculation addition value is a value stored in the buffer 230A of the special image processing circuit 230, and the total value of the pixel values of the B signals determined to be within the predetermined range by the processing so far for the current frame. Indicates The calculation addition value is reset to zero at the start of execution of the special image processing flow for the next frame.

[図4のS16(全画素に対する処理の実行完了判定)]
本処理ステップS16は、処理ステップS14(B信号の画素値判定)にて注目画素のB信号の画素値が所定の範囲に収まらない値と判定された場合(S14:NO)に、又は処理ステップS15(画素値の加算)にて注目画素のB信号の画素値が計算用加算値に加算されると実行される。本処理ステップS16では、現フレームの全ての画素に対して処理ステップS14(B信号の画素値判定)の画素値判定処理が実行されたか否かが判定される。
[S16 in FIG. 4 (determination of execution completion of processing for all pixels)]
When it is determined that the pixel value of the B signal of the target pixel does not fall within the predetermined range in the processing step S14 (pixel value determination of the B signal) in the main processing step S16 (S14: NO), or This is executed when the pixel value of the B signal of the pixel of interest is added to the calculation addition value in S15 (addition of pixel values). In the main processing step S16, it is determined whether or not the pixel value determination processing of the processing step S14 (pixel value determination of the B signal) has been performed on all the pixels of the current frame.

処理ステップS14(B信号の画素値判定)の画素値判定処理が未実行の画素が残っている場合(S16:NO)、本フローは処理ステップS13(注目画素の選択)に戻り、次の注目画素が選択され、選択された注目画素に対して処理ステップS14(B信号の画素値判定)の画素値判定処理が実行される。   If there are remaining pixels for which the pixel value determination process of the processing step S14 (pixel value determination of the B signal) has not been executed (S16: NO), this flow returns to the processing step S13 (selection of the target pixel) A pixel is selected, and pixel value determination processing in processing step S14 (pixel value determination of the B signal) is performed on the selected target pixel.

[図4のS17(基準値の算出)]
本処理ステップS17は、現フレームの全ての画素に対して処理ステップS14(B信号の画素値判定)の画素値判定処理が実行されたと判定された場合(S16:YES)に実行される。本処理ステップS17では、バッファ230Aに格納されている計算用加算値(所定の範囲に収まるB信号の画素値の合計値)が、B信号の画素値が所定の範囲に収まる画素の総数で除算されることにより、所定の基準値(所定の範囲に収まるB信号の平均画素値)が算出される。
[S17 in FIG. 4 (calculation of reference value)]
The process step S17 is performed when it is determined that the pixel value determination process of the process step S14 (pixel value determination of the B signal) has been performed on all the pixels of the current frame (S16: YES). In the main processing step S17, the addition value for calculation (total value of pixel values of B signals falling within a predetermined range) stored in the buffer 230A is divided by the total number of pixels in which pixel values of B signals fall within the predetermined range. As a result, a predetermined reference value (average pixel value of the B signal falling within the predetermined range) is calculated.

[図4のS18(表面反射成分の画素信号の生成)]
図5は、特殊光Lsを生体組織に照射したときのB成分の狭帯域光の様子を模式的に示す。図5に示されるように、特殊光Lsが生体組織に照射されると、B成分の狭帯域光は、一部が生体組織の表面(例えば粘膜等)で反射されて固体撮像素子108に受光され、一部が生体組織内での散乱や吸収を経た後に固体撮像素子108に受光される。但し、粘膜等の無い領域に照射されたB成分の狭帯域光は、生体組織の表面で実質的に反射せず、一部が生体組織内での散乱や吸収を経た後に固体撮像素子108に受光されるだけである。以下、説明の便宜上、生体組織の表面で反射されて固体撮像素子108に受光される成分を「表面反射成分」と記し、生体組織内での散乱や吸収を経た後に固体撮像素子108に受光される成分を「内部反射成分」と記す。
[S18 in FIG. 4 (generation of pixel signal of surface reflection component)]
FIG. 5 schematically shows the state of narrow band light of the B component when special tissue Ls is irradiated to a living tissue. As shown in FIG. 5, when the special light Ls is irradiated to the living tissue, narrow band light of the B component is partially reflected by the surface of the living tissue (for example, mucous membrane etc.) and received by the solid-state imaging device 108 The light is received by the solid-state imaging device 108 after being partially scattered or absorbed in the living tissue. However, the narrow band light of the B component irradiated to the area without the mucous membrane is not substantially reflected on the surface of the living tissue, and after being partially scattered or absorbed in the living tissue, the solid-state imaging device 108 It is only received. Hereinafter, for convenience of explanation, a component that is reflected by the surface of the living tissue and received by the solid-state imaging device 108 is referred to as “surface reflection component”, and after being scattered or absorbed in the living tissue, received by the solid-state imaging device 108 Component is referred to as "internal reflection component".

このように、固体撮像素子108の各画素に受光されるB成分は、415nm付近にピーク波長を持つ狭帯域光を用いることにより、表面反射成分と内部反射成分の両方の情報を含むものと、内部反射成分のみの情報を含むものとに大別することができる。表面反射成分は、ヘモグロビンによる吸収がないため強度が高いが、内部反射成分は、ヘモグロビンによる吸収が支配的であるため強度が低い。そのため、B成分について、表面反射成分と内部反射成分の両方の情報を含む画素は、処理ステップS17(基準値の算出)にて算出された基準値(平均画素値)よりも高い画素値で分布し、内部反射成分のみの情報を含む画素は、基準値(平均画素値)よりも低い画素値で分布する。なお、図5では、反射成分の強度が視覚的に容易に把握できるように、強度の高い表面反射成分が太線で示され、強度の低い内部反射成分が破線で示される。   As described above, the B component received by each pixel of the solid-state imaging device 108 includes information of both the surface reflection component and the internal reflection component by using narrow band light having a peak wavelength around 415 nm, It can be roughly divided into those including information of only the internal reflection component. The surface reflection component is high in intensity because it is not absorbed by hemoglobin, but the internal reflection component is low in intensity because absorption by hemoglobin is dominant. Therefore, for the B component, a pixel including information on both the surface reflection component and the internal reflection component is distributed with a pixel value higher than the reference value (average pixel value) calculated in processing step S17 (calculation of reference value). The pixels including information of only the internal reflection component are distributed at pixel values lower than the reference value (average pixel value). In FIG. 5, the surface reflection component with high intensity is shown by a thick line, and the internal reflection component with low intensity is shown by a broken line, so that the intensity of the reflection component can be easily grasped visually.

そこで、本実施形態では、B信号の画素値が基準値(平均画素値)よりも高い画素は、表面反射成分と内部反射成分の両方の情報を含む画素として取り扱われる。また、B信号の画素値が基準値(平均画素値)よりも低い画素は、内部反射成分のみの情報を含む画素として取り扱われる。   Therefore, in the present embodiment, a pixel whose pixel value of the B signal is higher than the reference value (average pixel value) is treated as a pixel including information of both the surface reflection component and the internal reflection component. Further, a pixel whose pixel value of the B signal is lower than the reference value (average pixel value) is treated as a pixel including information of only the internal reflection component.

本処理ステップS18では、現フレームの各画素において、B信号の画素値が基準値(平均画素値)で減算される。減算後にマイナスとなった画素値はゼロにリセットされる。次いで、各画素において、R信号及びG信号の画素値が基準値で減算されたB信号と同一の画素値に置き換えられることにより、表面反射成分の画素信号(以下、「表面反射画素信号」と記す。)が生成される。このように、各画素において、表面反射画素信号は、同一画素値のR信号、G信号及びB信号よりなる。   In the main processing step S18, the pixel value of the B signal is subtracted by the reference value (average pixel value) in each pixel of the current frame. The pixel values that become negative after subtraction are reset to zero. Then, in each pixel, the pixel value of the R signal and the G signal is replaced with the same pixel value as the B signal subtracted by the reference value, whereby the pixel signal of the surface reflection component (hereinafter referred to as “surface reflection pixel signal”) Note) is generated. As described above, in each pixel, the surface reflection pixel signal includes the R signal, the G signal, and the B signal of the same pixel value.

基準値減算後であっても画素値がプラスの画素は、表面反射成分と内部反射成分の両方を含む情報から内部反射成分の情報を減算したもの、すなわち、表面反射成分のみの情報を持つ画素とみなされる。また、基準値減算後に画素値がゼロ又はマイナスの(以後ゼロにリセットされた)画素は、内部反射成分の情報から内部反射成分の情報を減算したもの、すなわち、表面反射成分の情報も内部反射成分の情報も持たない画素とみなされる。   Even after the reference value subtraction, the pixel having a positive pixel value is the information obtained by subtracting the information of the internal reflection component from the information including both the surface reflection component and the internal reflection component, that is, a pixel having information of only the surface reflection component It is considered. In addition, the pixel whose pixel value is zero or negative (hereinafter reset to zero) after subtraction of the reference value is obtained by subtracting the information of the internal reflection component from the information of the internal reflection component, that is, the information of the surface reflection component is also internal reflection. It is considered as a pixel that does not have component information.

このように、本処理ステップS18では、処理ステップS17(基準値の算出)にて算出された基準値(平均画素値)によるB信号の減算処理並びにR信号及びG信号の置換処理を行うことにより、表面反射成分と内部反射成分とが混在する情報の中から表面反射成分の情報(表面反射画素信号)のみが生成される。表面反射成分と内部反射成分の両方の情報を含む画素と、内部反射成分のみの情報を含む画素とが基準値(平均画素値)によって精度良く区分されるため、表面反射成分の情報(表面反射画素信号)が精度良く抽出される。   As described above, in the present processing step S18, subtraction processing of the B signal and replacement processing of the R signal and the G signal with the reference value (average pixel value) calculated in the processing step S17 (calculation of the reference value) are performed. Only the information (surface reflection pixel signal) of the surface reflection component is generated from the information in which the surface reflection component and the internal reflection component are mixed. Information on the surface reflection component (surface reflection) because pixels including information on both the surface reflection component and the internal reflection component and pixels including information on only the internal reflection component are accurately classified by the reference value (average pixel value) The pixel signal is accurately extracted.

[図4のS19(内部反射成分の画素信号の生成)]
本処理ステップS19では、現フレームの画素信号(3つの色成分の情報(R信号、G信号及びB信号)を持つ画素信号)から処理ステップS18(表面反射成分の画素信号の生成)にて生成された表面反射画素信号が減算される。すなわち、表面反射成分と内部反射成分とが混在する情報の中から表面反射成分の情報が減算される。これにより、3つの色成分の情報(R信号、G信号及びB信号)を持つ内部反射成分の画素信号(以下、「内部反射画素信号」と記す。)が生成される。
[S19 in FIG. 4 (generation of pixel signal of internal reflection component)]
In the main processing step S19, processing is performed in processing step S18 (generation of a pixel signal of surface reflection component) from the pixel signal of the current frame (pixel signal having information (R signal, G signal and B signal) of three color components). The surface-reflected pixel signal is subtracted. That is, the information of the surface reflection component is subtracted from the information in which the surface reflection component and the internal reflection component are mixed. As a result, pixel signals of internal reflection components (hereinafter referred to as "internal reflection pixel signals") having information of three color components (R signal, G signal and B signal) are generated.

[図4のS20(表示モードの判定)]
術者は、操作パネル218を操作することにより、モニタ300の表示画面に表示させる特殊画像の表示モードを設定することができる。設定可能な表示モードには、例えば、表面反射画像表示モード、内部反射画像表示モード、合成画像表示モードがある。本処理ステップS20では、現在設定されている特殊画像の表示モードが判定される。
[S20 in FIG. 4 (determination of display mode)]
The operator can set the display mode of the special image to be displayed on the display screen of the monitor 300 by operating the operation panel 218. The display modes that can be set include, for example, a surface reflection image display mode, an internal reflection image display mode, and a composite image display mode. In the present processing step S20, the display mode of the currently set special image is determined.

[図4のS21(表面反射画素信号の出力)]
本処理ステップS21は、処理ステップS20(表示モードの判定)にて現在設定されている特殊画像の表示モードが表面反射画像表示モードと判定された場合(S20:表面反射画像表示モード)に実行される。本処理ステップS21では、処理ステップS18(表面反射成分の画素信号の生成)にて生成された表面反射画素信号が後段信号処理回路240に出力される。これにより、生体組織の表面反射成分の画像(主に生体組織を覆う粘膜の画像)がモニタ300の表示画面に表示される。疾患の中には粘膜の喪失を伴うものがある。生体組織の表面反射成分の画像は、この種の疾患に対する判断材料となる。
[S21 in FIG. 4 (output of surface reflection pixel signal)]
This processing step S21 is executed when the display mode of the special image currently set in processing step S20 (determination of display mode) is determined to be the surface reflection image display mode (S20: surface reflection image display mode). Ru. In the main processing step S21, the surface reflection pixel signal generated in the processing step S18 (generation of the pixel signal of the surface reflection component) is output to the post-stage signal processing circuit 240. Thereby, the image of the surface reflection component of the living tissue (image of the mucous membrane mainly covering the living tissue) is displayed on the display screen of the monitor 300. Some diseases are associated with mucosal loss. An image of the surface reflection component of the living tissue is a judgment material for this type of disease.

[図4のS22(内部反射画素信号の出力)]
本処理ステップS22は、処理ステップS20(表示モードの判定)にて現在設定されている特殊画像の表示モードが内部反射画像表示モードと判定された場合(S20:内部反射画像表示モード)に実行される。本処理ステップS22では、処理ステップS19(内部反射成分の画素信号の生成)にて生成された内部反射画素信号が後段信号処理回路240に出力される。これにより、生体組織の内部反射成分の画像がモニタ300の表示画面に表示される。
[S22 in FIG. 4 (output of internal reflection pixel signal)]
This processing step S22 is executed when the display mode of the special image currently set in the processing step S20 (determination of display mode) is determined to be the internal reflection image display mode (S20: internal reflection image display mode). Ru. In the main processing step S22, the internal reflection pixel signal generated in the processing step S19 (generation of the pixel signal of the internal reflection component) is output to the post-stage signal processing circuit 240. Thereby, the image of the internal reflection component of the living tissue is displayed on the display screen of the monitor 300.

[図4のS23(合成画素信号の生成及び出力)]
本処理ステップS23は、処理ステップS20(表示モードの判定)にて現在設定されている特殊画像の表示モードが合成画像表示モードと判定された場合(S20:合成画像表示モード)に実行される。本処理ステップS23では、処理ステップS18(表面反射成分の画素信号の生成)にて生成された表面反射画素信号と処理ステップS19(内部反射成分の画素信号の生成)にて生成された内部反射画素信号とが所定の重み係数で合成されることにより、合成画素信号が生成される。生成された合成画素信号は、後段信号処理回路240に出力される。これにより、例えば、生体組織の表面反射成分を弱めつつ内部反射成分を強めた合成画像がモニタ300の表示画面に表示される。合成時の重み係数は、操作パネル218の操作により適宜設定変更可能である。
[S23 in FIG. 4 (generation and output of combined pixel signal)]
The process step S23 is executed when the display mode of the special image currently set in the process step S20 (determination of the display mode) is determined to be the composite image display mode (S20: composite image display mode). In the main processing step S23, the surface reflection pixel signal generated in the processing step S18 (generation of the pixel signal of the surface reflection component) and the internal reflection pixel generated in the processing step S19 (generation of the pixel signal of the internal reflection component) A composite pixel signal is generated by combining the signal with a predetermined weighting factor. The generated composite pixel signal is output to the post-stage signal processing circuit 240. Thereby, for example, a composite image in which the internal reflection component is intensified while weakening the surface reflection component of the living tissue is displayed on the display screen of the monitor 300. The weighting factor at the time of combining can be appropriately set and changed by the operation of the operation panel 218.

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。例として、図4の処理ステップS17(基準値の算出)にて算出される基準値は、平均画素値に限らず、図4の処理ステップS14(B信号の画素値判定)にて所定の範囲に収まるB信号の画素値の中央値や、所定の範囲に収まるB信号の最大値及び最小値の加重平均値であってもよい。   The above is a description of an exemplary embodiment of the present invention. Embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention. For example, contents obtained by appropriately combining the embodiments explicitly illustrated in the specification or the obvious embodiments are also included in the embodiments of the present application. For example, the reference value calculated in processing step S17 (calculation of reference value) in FIG. 4 is not limited to the average pixel value, but a predetermined range in processing step S14 in FIG. 4 (pixel value determination for B signal). It may be a median value of pixel values of the B signal falling within the range, or a weighted average value of the maximum value and the minimum value of the B signal falling within the predetermined range.

1 電子内視鏡システム
100 電子スコープ
102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
112 ドライバ信号処理回路
114 メモリ
200 プロセッサ
202 システムコントローラ
204 タイミングコントローラ
206 ランプ電源イグナイタ
208 ランプ
210 集光レンズ
212 メモリ
218 操作パネル
220 前段信号処理回路
230 特殊画像処理回路
230A バッファ
240 後段信号処理回路
260 回転フィルタ部
261 回転式ターレット
Fn 通常光用フィルタ
Fs 特殊光用フィルタ
262 DCモータ
263 ドライバ
264 フォトインタラプタ
1 Electronic endoscope system 100 Electronic scope 102 LCB
DESCRIPTION OF SYMBOLS 104 Light distribution lens 106 Objective lens 108 Solid-state image sensor 112 Driver signal processing circuit 114 Memory 200 Processor 202 System controller 204 Timing controller 206 Lamp power igniter 208 Lamp 210 Condenser lens 212 Memory 218 Operation panel 220 Pre-stage signal processing circuit 230 Special image processing Circuit 230A Buffer 240 Post-stage signal processing circuit 260 Rotary filter section 261 Rotary turret Fn Filter for ordinary light Fs Filter for special light 262 DC motor 263 Driver 264 Photo interrupter

Claims (9)

生体組織の特定の内部構造を強調するための特定波長にピーク強度を持つ狭帯域光及び該狭帯域光以外の少なくとも一部の帯域の光を含む照射光により照射された生体組織であって、所定の撮像装置により撮像された生体組織の画像信号の中から前記特定波長に対応する色信号を抽出する色信号抽出手段と、
前記色信号抽出手段により抽出された色信号に基づいて前記生体組織の表面反射成分の画像信号を生成する第一の画像信号生成手段と、
前記生体組織の画像信号から前記表面反射成分の画像信号を減算することにより、該生体組織の内部反射成分の画像信号を生成する第二の画像信号生成手段と、
を備える、
画像信号生成装置。
A biological tissue irradiated with narrowband light having a peak intensity at a specific wavelength for emphasizing a specific internal structure of biological tissue and irradiation light including light of at least a part of the band other than the narrowband light, Color signal extraction means for extracting a color signal corresponding to the specific wavelength from image signals of a living tissue imaged by a predetermined imaging device;
First image signal generation means for generating an image signal of a surface reflection component of the living tissue based on the color signal extracted by the color signal extraction means;
Second image signal generating means for generating an image signal of an internal reflection component of the living tissue by subtracting the image signal of the surface reflection component from the image signal of the living tissue;
Equipped with
Image signal generator.
前記第一の画像信号生成手段は、
前記特定波長に対応する色信号の基準値を算出し、
各画素において前記色信号の画素値を前記基準値で減算し、
前記基準値で減算された色信号に基づいて前記表面反射成分の画像信号を生成する、
請求項1に記載の画像信号生成装置。
The first image signal generating means
Calculating a reference value of a color signal corresponding to the specific wavelength;
At each pixel, the pixel value of the color signal is subtracted by the reference value,
Generating an image signal of the surface reflection component based on the color signal subtracted by the reference value;
The image signal generation device according to claim 1.
前記基準値は、
前記特定波長に対応する色信号に関する、平均画素値、画素値の中央値、又は最大値及び最小値の加重平均値である、
請求項2に記載の画像信号生成装置。
The reference value is
An average pixel value, a median of pixel values, or a weighted average of maximum and minimum values for a color signal corresponding to the specific wavelength;
The image signal generation device according to claim 2.
前記第一の画像信号生成手段は、
前記特定波長に対応する色信号のうち画素値が所定の範囲に収まらないものを除外して前記基準値の計算を行う、
請求項3に記載の画像信号生成装置。
The first image signal generating means
The reference value is calculated excluding color signals corresponding to the specific wavelength whose pixel values do not fall within a predetermined range.
The image signal generation device according to claim 3.
前記特定波長は、
ヘモグロビンによる吸収率の高い波長である、
請求項1から請求項4の何れか一項に記載の画像信号生成装置。
The specific wavelength is
It is a wavelength with high absorption rate by hemoglobin,
The image signal generation device according to any one of claims 1 to 4.
前記照射光は、
R(Red)成分、G(Green)成分、B(Blue)成分の各色成分内にピーク強度を持つ3つの狭帯域光である、
請求項1から請求項5の何れか一項に記載の画像信号生成装置。
The irradiation light is
Three narrow band lights having peak intensities in each color component of R (Red) component, G (Green) component, and B (Blue) component,
The image signal generation device according to any one of claims 1 to 5.
前記撮像装置により撮像された生体組織の画像信号にデモザイク処理を施すことにより、各画素にR信号、G信号、B信号の各色成分の信号を持たせるデモザイク処理手段
を備え、
前記第一の画像信号生成手段は、
前記B信号の基準値を算出し、
各画素において前記B信号の画素値を前記基準値で減算し、
各画素において前記R信号及びG信号の画素値を前記基準値で減算されたB信号と同一の画素値に置き換えることにより、前記表面反射成分の画像信号を生成し、
前記第二の画像信号生成手段は、
前記デモザイク処理された生体組織の画像信号から前記表面反射成分の画像信号を減算することにより、前記内部反射成分の画像信号を生成する、
請求項6に記載の画像信号処理装置。
The image signal of the living tissue imaged by the imaging device is subjected to a demosaicing process, thereby providing demosaicing means for giving each pixel a signal of each color component of R signal, G signal and B signal,
The first image signal generating means
Calculate the reference value of the B signal,
At each pixel, the pixel value of the B signal is subtracted by the reference value,
An image signal of the surface reflection component is generated by replacing pixel values of the R signal and G signal with pixel values identical to the B signal subtracted by the reference value in each pixel,
The second image signal generating means
An image signal of the internal reflection component is generated by subtracting the image signal of the surface reflection component from the image signal of the demosaiced biological tissue.
The image signal processing apparatus according to claim 6.
前記表面反射成分の画像信号と前記内部反射成分の画像信号とを所定の重み係数で合成した合成画像を生成する合成画像生成手段
を備える、
請求項1から請求項7の何れか一項に記載の画像信号生成装置。
And a composite image generation unit configured to generate a composite image obtained by combining the image signal of the surface reflection component and the image signal of the internal reflection component with a predetermined weighting coefficient.
The image signal generating device according to any one of claims 1 to 7.
生体組織の特定の内部構造を強調するための特定波長にピーク強度を持つ狭帯域光及び該狭帯域光以外の少なくとも一部の帯域の光を含む照射光を射出して該生体組織を照射する照射装置と、
前記照射光により照射された生体組織を撮像して該生体組織の画像信号を生成する撮像装置と、
前記撮像装置により生成された生体組織の画像信号を処理する、請求項1から請求項8の何れか一項に記載の画像信号生成装置と、
を備える、
電子内視鏡システム。
A narrow band light having a peak intensity at a specific wavelength for emphasizing a specific internal structure of a living tissue and an irradiation light including light of at least a part of a band other than the narrow band light are emitted to irradiate the living tissue An irradiation device,
An imaging device for imaging a living tissue irradiated by the irradiation light to generate an image signal of the living tissue;
The image signal generation device according to any one of claims 1 to 8, wherein an image signal of a living tissue generated by the imaging device is processed;
Equipped with
Electronic endoscope system.
JP2014159852A 2014-08-05 2014-08-05 Image signal generating apparatus and electronic endoscope system Active JP6427356B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014159852A JP6427356B2 (en) 2014-08-05 2014-08-05 Image signal generating apparatus and electronic endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014159852A JP6427356B2 (en) 2014-08-05 2014-08-05 Image signal generating apparatus and electronic endoscope system

Publications (2)

Publication Number Publication Date
JP2016036388A JP2016036388A (en) 2016-03-22
JP6427356B2 true JP6427356B2 (en) 2018-11-21

Family

ID=55528058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014159852A Active JP6427356B2 (en) 2014-08-05 2014-08-05 Image signal generating apparatus and electronic endoscope system

Country Status (1)

Country Link
JP (1) JP6427356B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101761510B1 (en) 2016-05-27 2017-07-26 이화여자대학교 산학협력단 Apparatus and method for generating fundus image filters for vascular visualization of fundus image
JP6822475B2 (en) * 2016-07-12 2021-01-27 ソニー株式会社 Endoscope device and how to operate the endoscope device
CN118172266B (en) * 2024-05-14 2024-10-01 北京大学第三医院(北京大学第三临床医学院) Highlight removing endoscope based on self-adaptive light field reconstruction and low rank decomposition

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4274590B2 (en) * 1997-01-20 2009-06-10 オリンパス株式会社 Image processing device
JP2007075366A (en) * 2005-09-14 2007-03-29 Olympus Medical Systems Corp Infrared observation system

Also Published As

Publication number Publication date
JP2016036388A (en) 2016-03-22

Similar Documents

Publication Publication Date Title
WO2017145529A1 (en) Calculation system
EP2992805B1 (en) Electronic endoscope system
JP5968944B2 (en) Endoscope system, processor device, light source device, operation method of endoscope system, operation method of processor device, operation method of light source device
JP6097629B2 (en) Lesion evaluation information generator
JP6797925B2 (en) Electronic Endoscope Processor and Electronic Endoscope System
WO2017057680A1 (en) Endoscopic system and evaluation value calculation device
WO2017216782A1 (en) Electronic endoscope system
JP2016049370A (en) Electronic endoscope system
JP6427356B2 (en) Image signal generating apparatus and electronic endoscope system
WO2016158376A1 (en) Image processing apparatus
CN109475281B (en) Electronic endoscope system
WO2016185870A1 (en) Electronic endoscope system
JP6420358B2 (en) Endoscope system and evaluation value calculation device
US20190125229A1 (en) Analysis device
JP2010094152A (en) Electron endoscopic system
JP2013183911A (en) Electronic endoscope system
JP6251059B2 (en) Electronic endoscope system
JP6427355B2 (en) Image signal generating apparatus and electronic endoscope system
WO2016132940A1 (en) Light source device
CN117442144A (en) Endoscope system and imaging method thereof
JP2016152874A (en) Light source apparatus
JP6309489B2 (en) Image detection apparatus and image detection system
JP2003093343A (en) Endoscope system
JP2018130450A (en) Electronic endoscope system
JP6660695B2 (en) Light source device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170630

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6427356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250