JP6245710B2 - Endoscope system and operating method thereof - Google Patents
Endoscope system and operating method thereof Download PDFInfo
- Publication number
- JP6245710B2 JP6245710B2 JP2016177437A JP2016177437A JP6245710B2 JP 6245710 B2 JP6245710 B2 JP 6245710B2 JP 2016177437 A JP2016177437 A JP 2016177437A JP 2016177437 A JP2016177437 A JP 2016177437A JP 6245710 B2 JP6245710 B2 JP 6245710B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- endoscope
- color
- light
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Description
本発明は、狭帯域光観察を可能とする内視鏡システム及びその作動方法に関する。 The present invention relates to an endoscope system that enables narrow-band light observation and an operating method thereof.
近年の医療においては、光源装置、電子内視鏡、プロセッサ装置を備える内視鏡システムを用いた診断等が広く行われている。光源装置は、照明光を発生して検体内に照射する。電子内視鏡は、照明光が照射されて検体内を撮像素子により撮像して画像信号を生成する。プロセッサ装置は、電子内視鏡により生成された撮像信号を画像処理してモニタに表示するための観察画像を生成する。 In recent medical treatments, diagnosis and the like using an endoscope system including a light source device, an electronic endoscope, and a processor device are widely performed. The light source device generates illumination light and irradiates the specimen. The electronic endoscope is irradiated with illumination light, and the inside of the specimen is imaged by an image sensor to generate an image signal. The processor device performs image processing on the imaging signal generated by the electronic endoscope and generates an observation image for display on the monitor.
内視鏡システムで使用される観察方法としては、波長域の広い通常光(白色光)を照明光とする通常光観察の他に、波長域の狭い特殊光(狭帯域光)を照明光とする狭帯域光観察が知られている。狭帯域光観察は、例えば、白色光の場合に得られる光学情報では埋もれてしまい易い粘膜表層の血管走行の状態の視認性を向上させて表示することができる。このため、狭帯域光観察では、血管走行の中でも表層血管に着目し、その表層血管の形態によって、病変部の進行度や、深さ方向の深達度などを判断することができる。 As an observation method used in an endoscope system, in addition to normal light observation using ordinary light (white light) having a wide wavelength range as illumination light, special light (narrow band light) having a narrow wavelength range is used as illumination light. Narrow-band light observation is known. The narrow-band light observation can be displayed with improved visibility of the state of blood vessel running on the surface of the mucosa, which is easily buried with optical information obtained in the case of white light, for example. For this reason, in narrow-band light observation, attention can be paid to the superficial blood vessel even during blood vessel running, and the degree of progression of the lesioned part, the depth of the depth direction, and the like can be determined according to the form of the superficial blood vessel.
この狭帯域光観察では、血液中のヘモグロビンに吸収されやすい2つの狭帯域光(415nm付近に中心波長を有する青色狭帯域光と、540nm付近に中心波長を有する緑色狭帯域光)が用いられている。狭帯域光観察での撮像方式としては、青色狭帯域光と緑色狭帯域光とを交互に照射し、各狭帯域光の照射毎にモノクロの撮像素子を用いて撮像する面順次方式の他、青色狭帯域光と緑色狭帯域光とを同時照射して、カラーフィルタを有する同時式撮像素子で撮像する同時方式が知られている(特許文献1、2参照)。同時方式は、面順次方式に比べて解像度は低いが、画像にブレが生じにくいという利点や、内視鏡システムの構成が簡単化されるという利点がある。 In this narrow-band light observation, two narrow-band lights (blue narrow-band light having a center wavelength near 415 nm and green narrow-band light having a center wavelength near 540 nm) that are easily absorbed by hemoglobin in blood are used. Yes. As an imaging method in narrowband light observation, in addition to a surface sequential method of alternately illuminating blue narrowband light and green narrowband light and using a monochrome imaging device for each narrowband light irradiation, A simultaneous method is known in which blue narrow-band light and green narrow-band light are simultaneously irradiated and imaged with a simultaneous imaging device having a color filter (see Patent Documents 1 and 2). The simultaneous method has a lower resolution than the frame sequential method, but has the advantage that the image is less likely to be blurred and the configuration of the endoscope system is simplified.
同時式撮像素子には、原色系フィルタを有する原色系撮像素子と、補色系フィルタを有する補色系撮像素子とがある。原色系撮像素子は、補色系撮像素子と比べて感度は劣るものの色再現性に優れているため、色を重視する内視鏡システムで用いられる。一方、補色系撮像素子は、原色系撮像素子に比べて色再現性は劣るものの高感度であるため、感度を重視する内視鏡システムで用いられる。したがって、原色系撮像素子と補色系撮像素子はそれぞれ一長一短であるため、今後の内視鏡システムは、原色系撮像素子を内蔵した原色型内視鏡と、補色系撮像素子を内蔵した補色型内視鏡との両方が接続可能な内視鏡システムが求められている。 The simultaneous image sensor includes a primary color image sensor having a primary color filter and a complementary color image sensor having a complementary color filter. The primary color image sensor is inferior in sensitivity to the complementary color image sensor, but has excellent color reproducibility, and is therefore used in an endoscope system that places importance on color. On the other hand, the complementary color image pickup device is used in an endoscope system in which sensitivity is important because it has a high sensitivity although color reproducibility is inferior to a primary color image pickup device. Therefore, since the primary color image sensor and the complementary color image sensor are each pros and cons, future endoscope systems will be used in a primary color endoscope incorporating a primary color image sensor and a complementary color image sensor incorporating a complementary color image sensor. There is a need for an endoscope system that can be connected to both endoscopes.
特許文献1、2には、補色系撮像素子として、マゼンタ(Mg)、グリーン(G)、シアン(Cy)、イエロー(Ye)の4種の画素を有する補色市松色差線順次方式のものが示されている。この補色市松色差線順次方式では、フィールド読み出しにより、隣接する2行の各画素信号が混合(加算)されて読み出される。具体的には、Mg画素とCy画素、G画素とYe画素、Mg画素とYe画素、G画素とCy画素の4種の組み合わせで読み出される。この補色市松色差線順次方式は、4種の混合画素の信号に基づいて加減算を行うだけで、簡単にY/C信号及びRGB信号を生成することができるという利点がある。 Patent Documents 1 and 2 show complementary color checkered color difference line sequential systems having four types of pixels of magenta (Mg), green (G), cyan (Cy), and yellow (Ye) as complementary color imaging devices. Has been. In this complementary color checkered color difference line sequential method, pixel signals of two adjacent rows are mixed (added) and read by field reading. Specifically, it is read out by four combinations of Mg pixel and Cy pixel, G pixel and Ye pixel, Mg pixel and Ye pixel, G pixel and Cy pixel. This complementary checkered color difference line sequential method has an advantage that Y / C signals and RGB signals can be easily generated simply by performing addition / subtraction based on the signals of four types of mixed pixels.
上記の内視鏡システムで狭帯域光観察を行う場合、原色系撮像素子では、青色狭帯域光と緑色狭帯域光とが、ブルー(B)画素及びグリーン(G)画素によりそれぞれ個別に撮像されるため、色分離性がよく、表層血管の視認性(表層血管と粘膜とのコントラスト)に優れる画像が得られる。これに対して、補色系撮像素子では、青色狭帯域光と緑色狭帯域光との2つの狭帯域光が各混合画素により同時にセンシングされる(すなわち、混色が生じる)ため、色分離性が悪く、表層血管が散乱光の影響でボケることにより、表層血管の視認性が低下するという問題がある。 When performing narrow-band light observation with the endoscope system described above, in the primary color imaging device, blue narrow-band light and green narrow-band light are individually captured by blue (B) pixels and green (G) pixels, respectively. Therefore, an image having good color separation and excellent visibility of the superficial blood vessel (contrast between the superficial blood vessel and the mucous membrane) can be obtained. On the other hand, in the complementary color imaging device, two narrowband lights of blue narrowband light and green narrowband light are sensed simultaneously by each mixed pixel (that is, color mixing occurs), so that color separation is poor. There is a problem in that the visibility of the superficial blood vessels decreases due to the superficial blood vessels being blurred by the influence of scattered light.
また、特許文献2(図19、21)に示されているように、画素の分光感度にばらつきがあると混色成分の量が変動するので、光学的な方法により一律に混色補正を行うことは困難である。 Further, as shown in Patent Document 2 (FIGS. 19 and 21), if the spectral sensitivity of the pixels varies, the amount of the color mixture component varies, and therefore it is impossible to perform color mixture correction uniformly by an optical method. Have difficulty.
さらに、原色系撮像素子であっても、各画素が狭帯域光観察で用いられる2つの狭帯域光の両方に感度を有する場合には、補色系撮像素子の場合と同様に、色分離性及び表層血管の視認性が低下するという問題がある。 Further, even in the primary color image sensor, when each pixel has sensitivity to both of two narrow band lights used in narrow band light observation, as in the case of a complementary color image sensor, color separation and There is a problem that the visibility of the superficial blood vessels is lowered.
本発明は、狭帯域光観察において色分離性及び表層血管の視認性を向上させることを可能とする内視鏡システム及びその作動方法を提供することを目的とする。 It is an object of the present invention to provide an endoscope system and an operating method thereof that can improve color separation and surface blood vessel visibility in narrow-band light observation.
上記目的を達成するために、本発明の内視鏡システムは、ブルーまたはバイオレットの波長域中に中心波長を有する第1狭帯域光と、グリーンの波長域中に中心波長を有する第2狭帯域光とを同時に発生する光源装置と、レッド、グリーン、ブルーの各カラーフィルタセグメントからなる原色系色分離フィルタを有し、レッド画素からレッド画素信号Rが読み出され、グリーン画素からグリーン画素信号Gが読み出され、ブルー画素からブルー画素信号Bが読み出される原色系撮像素子と、レッド画素信号R、グリーン画素信号G、及びブルー画素信号Bを、下式(a)に基づいてマトリクス演算して、第1及び第2表示用信号D1,D2を生成するマトリクス演算部と、第1及び第2表示用信号D1,D2を、下式(b)に基づいて補正する混色補正部とを備える。
光源装置から第1及び第2狭帯域光をそれぞれ独立照射して得られる第1及び第2表示用信号の各信号値に基づき、第1及び第2補正係数K1,K2を算出して求める補正係数取得部を備えることが好ましい。 First and second correction coefficients K 1 and K 2 are calculated based on the signal values of the first and second display signals obtained by independently irradiating the first and second narrowband lights from the light source device, respectively. It is preferable to provide a correction coefficient acquisition unit to be obtained.
式(a)において、β11=β22=1、β12=β13 =β 21=β23=0であり、D1=B、D2=Gであってもよい。 In the formula (a), β 11 = β 22 = 1, β 12 = β 13 = β 21 = β 23 = 0, and D1 = B and D2 = G may be satisfied.
光源装置には、原色系撮像素子を有する原色型内視鏡と、補色系撮像素子を有する補色型内視鏡とが着脱自在に接続されることが好ましい。 The light source device, a primary color-type endoscope having a primary color system imaging device, and the complementary endoscope having a complementary color system imaging device preferably connected detachably.
補色型内視鏡及び原色型内視鏡は、それぞれ固有情報を記憶した情報記憶部を有しており、光源装置に接続された内視鏡の情報記憶部から固有情報を読み出して、内視鏡の種類を判定する制御部を備えることが好ましい。 Each of the complementary color type endoscope and the primary color type endoscope has an information storage unit that stores unique information, and reads out the unique information from the information storage unit of the endoscope connected to the light source device. It is preferable to provide a control unit for determining the type of mirror.
情報記憶部は、第1及び第2補正係数K1,K2を記憶しており、制御部は、光源装置に補色型内視鏡または原色型内視鏡が接続された場合に、情報記憶部から第1及び第2補正係数K1,K2を読み出して、混色補正部に入力することが好ましい。 The information storage unit stores the first and second correction coefficients K 1 and K 2 , and the control unit stores information when a complementary color type endoscope or a primary color type endoscope is connected to the light source device. It is preferable that the first and second correction coefficients K 1 and K 2 are read from the unit and input to the color mixture correction unit.
また、本発明の内視鏡システムは、ブルーまたはバイオレットの波長域中に中心波長を有する第1狭帯域光と、グリーンの波長域中に中心波長を有する第2狭帯域光とを同時に発生する光源装置と、レッド、グリーン、ブルーの各カラーフィルタセグメントからなる原色系色分離フィルタを有し、レッド画素からレッド画素信号Rが読み出され、グリーン画素からグリーン画素信号Gが読み出され、ブルー画素からブルー画素信号Bが読み出される原色系撮像素子と、レッド画素信号R、グリーン画素信号G、及びブルー画素信号Bを、下式(c)に基づいてマトリクス演算して、第1及び第2表示用信号D1,D2を生成するマトリクス演算部と、第1及び第2表示用信号D1,D2を、下式(d)に基づいて補正する混色補正部とを備える。
光源装置には、原色系撮像素子を有する原色型内視鏡と、補色系撮像素子を有する補色型内視鏡とが着脱自在に接続され、補色型内視鏡及び原色型内視鏡は、それぞれ第1及び第2混色率R1,R2を記憶した情報記憶部を有しており、光源装置に補色型内視鏡または原色系撮像素子が接続された場合に、情報記憶部から第1及び第2混色率R1,R2を読み出して、混色補正部に入力する制御部を備えることが好ましい。 The light source device, a primary color-type endoscope having a primary color system imaging device, and the complementary endoscope having a complementary color system imaging device is detachably connected, complementary endoscope and primary endoscope, Each of the information storage units stores the first and second color mixing ratios R 1 and R 2. When the complementary color type endoscope or the primary color image sensor is connected to the light source device, the information storage unit stores the first and second color mixing ratios R 1 and R 2 . It is preferable to provide a control unit that reads out the first and second color mixing ratios R 1 and R 2 and inputs them to the color mixing correction unit.
信号値D1’,D2’に基づく画像に対して血管強調処理を行う構造強調処理部を備え、構造強調処理部は、表層血管部分の強調度合いを、第1混色率R1が大きいほど高くすることが好ましい。また、式(c)において、β11=β22=1、β12=β13 =β 21=β23=0であり、D1=B、D2=Gであってもよい。 A structure enhancement processing unit that performs blood vessel enhancement processing on images based on the signal values D1 ′ and D2 ′ is provided, and the structure enhancement processing unit increases the degree of enhancement of the surface blood vessel portion as the first color mixing ratio R 1 increases. It is preferable. In the formula (c), β 11 = β 22 = 1, β 12 = β 13 = β 21 = β 23 = 0, and D1 = B and D2 = G may be satisfied.
また、本発明の内視鏡システムの作動方法は、光源装置が、ブルーまたはバイオレットの波長域中に中心波長を有する第1狭帯域光と、グリーンの波長域中に中心波長を有する第2狭帯域光とを同時に発生するステップと、レッド、グリーン、ブルーの各カラーフィルタセグメントからなる原色系色分離フィルタを有する原色系撮像素子が、レッド画素からレッド画素信号Rを出力し、グリーン画素からグリーン画素信号Gを出力し、ブルー画素からブルー画素信号Bを出力するステップと、マトリクス演算部が、レッド画素信号R、グリーン画素信号G、及びブルー画素信号Bを、下式(e)に基づいてマトリクス演算して、第1及び第2表示用信号D1,D2を生成するステップと、混色補正部が、第1及び第2表示用信号D1,D2を、下式(f)に基づいて補正するステップとを備える。
なお、式(e)において、β11=β22=1、β12=β13 =β 21=β23=0であり、D1=B、D2=Gであってもよい。
In the equation (e), β 11 = β 22 = 1, β 12 = β 13 = β 21 = β 23 = 0, and D1 = B and D2 = G may be used.
本発明によれば、第1及び第2狭帯域光の両方に感応する複数種の画素からの信号値をマトリクス演算して、第1及び第2表示用信号D1,D2を生成し、第1及び第2表示用信号D1,D2を混色補正するので、狭帯域光観察において色分離性及び表層血管の視認性が向上する。 According to the present invention, first and second display signals D1 and D2 are generated by performing matrix calculation on signal values from a plurality of types of pixels sensitive to both the first and second narrowband lights, Since the second display signals D1 and D2 are subjected to color mixing correction, color separation and surface blood vessel visibility are improved in narrowband light observation.
[第1実施形態]
図1において、内視鏡システム10は、光源装置11と、プロセッサ装置12と、光源装置11及びプロセッサ装置12に着脱自在に接続可能な電子内視鏡(以下、単に内視鏡という)13により構成されている。光源装置11は、照明光を発生して内視鏡13に供給する。内視鏡13は、先端側が検体の体腔内等に挿入されて、体腔内を撮像する。プロセッサ装置12は、内視鏡13の撮像制御を行うと共に、内視鏡13が取得した撮像信号に対して信号処理を施す。
[First Embodiment]
In FIG. 1, an endoscope system 10 includes a
プロセッサ装置12には、画像表示装置14及び入力装置15が接続されている。画像表示装置14は、液晶モニタ等であり、プロセッサ装置12により生成された検体内の画像を表す検体画像を表示する。入力装置15は、キーボードやマウスにより構成され、プロセッサ装置12に対して各種情報を入力する。
An
内視鏡13には、補色系撮像素子28(図2参照)を備える補色型内視鏡13aと、原色系撮像素子29(図2参照)を備える原色型内視鏡13bがあり、いずれも光源装置11及びプロセッサ装置12に接続可能である。補色型内視鏡13aと原色型内視鏡13bは、撮像素子以外は同一の構成であって、挿入部16と、操作部17と、ユニバーサルケーブル18と、ライトガイドコネクタ19aと、信号コネクタ19bにより構成されている。
The
挿入部16は、細長く、検体の体腔内等に挿入される。操作部17は、挿入部16の後端に接続されており、スコープスイッチや湾曲操作ダイヤル等が設けられている。スコープスイッチには、観察モードを切り替えるためのモード切替スイッチ17aが含まれている。
The
ユニバーサルケーブル18は、操作部17から延出されている。ライトガイドコネクタ19a及び信号コネクタ19bは、ユニバーサルケーブル18の端部に設けられている。ライトガイドコネクタ19aは、光源装置11に着脱自在に接続される。信号コネクタ19bは、プロセッサ装置12に着脱自在に接続される。
The
内視鏡システム10は、観察モードとして、通常光観察モードと狭帯域光観察モードとを有する。通常光観察モードでは、波長域が青色帯域から赤色帯域に及ぶ通常光(白色光)を検体に照射して撮像が行われ、通常光画像が生成される。狭帯域光観察モードでは、波長域の狭い狭帯域光(後述する紫色狭帯域光Vnと緑色狭帯域光Gn)を検体に照射して撮像が行われ、狭帯域光画像が生成される。この通常光観察モード及び狭帯域光観察モードは、補色型内視鏡13aと原色型内視鏡13bとのいずれを用いる場合にも可能である。
The endoscope system 10 has a normal light observation mode and a narrow-band light observation mode as observation modes. In the normal light observation mode, imaging is performed by irradiating the specimen with normal light (white light) whose wavelength range extends from the blue band to the red band, and a normal light image is generated. In the narrowband light observation mode, imaging is performed by irradiating the specimen with narrowband light (purple narrowband light Vn and green narrowband light Gn, which will be described later) having a narrow wavelength range, and a narrowband light image is generated. The normal light observation mode and the narrow-band light observation mode are possible when either the
通常光観察モードと狭帯域光観察モードとは、前述のモード切替スイッチ17aにより切り替え可能であるが、プロセッサ装置12に接続可能なフットスイッチ(図示せず)や、プロセッサ装置12のフロントパネルに設けられたボタン、入力装置15等により切り替え可能としても良い。
The normal light observation mode and the narrowband light observation mode can be switched by the
図2において、光源装置11は、複数のLED(Light Emitting Diode)光源20と、光源制御部21と、合波部24とを有している。LED光源20は、紫色LED(V−LED)20aと、白色LED(WL−LED)20bとにより構成されている。V−LED20aは、図3に示すような光強度スペクトルを有する、波長域が380〜440nmで中心波長が約405nmの紫色狭帯域光Vnを発生する。WL−LED20bは、図4に示すような光強度スペクトルを有する、広波長域の白色光WLを発生する。光源制御部21は、V−LED20a及びWL−LED20bの発光制御を行う。
In FIG. 2, the
合波部24は、図5に示すように、ダイクロイックミラー22と、第1〜第3レンズ23a〜23cとを有している。第1及び第2レンズ23a,23bは、それぞれLED20a,20bに対応して配置されており、各LED20a,20bから射出された光を集光して平行光とする。V−LED20a及びWL−LED20bは、光軸が直交するように配置されており、この光軸の交点にダイクロイックミラー22が配置されている。
As illustrated in FIG. 5, the multiplexing
ダイクロイックミラー22は、例えば530nm以上550nm未満の波長域の光を透過させると共に、530nm未満及び550nm以上の波長域の光を反射させる光学特性を有している。したがって、紫色狭帯域光Vnは、ダイクロイックミラー22により反射され、第3レンズ23cにより集光される。一方の白色光WLは、その一部がダイクロイックミラー22を透過し、図6に示すように、波長域が530〜550nmで中心波長が約540nmの緑色狭帯域光Gnとなって第3レンズ23cにより集光される。
The
狭帯域光観察モード時には、V−LED20a及びWL−LED20bが同時に点灯し、紫色狭帯域光Vnと緑色狭帯域光Gnとがダイクロイックミラー22により合波されて第3レンズ23cにより集光され、ライトガイド27に入射する。
In the narrow-band light observation mode, the V-
通常光観察モード時には、ダイクロイックミラー22は、移動機構(図示せず)によりWL−LED20bの光軸外に移動される。これにより、通常光観察モード時には、白色光WLは、第3レンズ23cに直接入射し、ライトガイド27に供給される。通常光観察モード時には、ダイクロイックミラー22が退避するので、V−LED20aから射出された紫色狭帯域光Vnはダイクロイックミラー22で反射されても第3レンズ23cには入射しない。このため、通常光観察モード時には、V−LED20aは点灯・非点灯のいずれでも良い。
In the normal light observation mode, the
紫色狭帯域光Vnは、中心波長が約405nmであり、可視光領域においてヘモグロビンの吸光係数が高い波長である。緑色狭帯域光Gnは、中心波長が約540nmであり、緑色光の波長域においてヘモグロビンの吸光係数が高い波長である。また、緑色狭帯域光Gnは、紫色狭帯域光Vnより粘膜での反射率が高いという特性を有する。 The purple narrow band light Vn has a center wavelength of about 405 nm, and has a high hemoglobin absorption coefficient in the visible light region. The green narrow band light Gn has a center wavelength of about 540 nm, and has a high hemoglobin absorption coefficient in the green light wavelength region. Further, the green narrow band light Gn has a characteristic that the reflectance at the mucous membrane is higher than that of the purple narrow band light Vn.
内視鏡13の挿入部16の先端には、照明窓と観察窓とが隣接して設けられており、照明窓に照明レンズ25が取り付けられており、観察窓に対物レンズ26が取り付けられている。内視鏡13内には、ライトガイド27が挿通されており、ライトガイド27の一端が照明レンズ25に対向している。ライトガイド27の他端は、ライトガイドコネクタ19aに配置され、光源装置11内に挿入される。
An illumination window and an observation window are provided adjacent to each other at the distal end of the
照明レンズ25は、光源装置11からライトガイド27に入射され、ライトガイド27から射出された光を集光して検体内に照射する。対物レンズ26は、検体の生体組織等からの反射光を集光して光学像を結像する。対物レンズ26の結像位置には、光学像を撮像して撮像信号を生成する撮像素子(補色型内視鏡13aの場合には補色系撮像素子28、原色型内視鏡13bの場合には原色系撮像素子29)が配置されている。補色系撮像素子28及び原色系撮像素子29は、CCD(Charge Coupled Device)イメージセンサである。
The
補色系撮像素子28の撮像面には、光学像を光学的に画素毎に色分離する補色系色分離フィルタ28aが設けられている。この補色系色分離フィルタ28aは、図7に示すように、マゼンタ(Mg)、グリーン(G)、シアン(Cy)、イエロー(Ye)の4種のカラーフィルタセグメントを有し、各カラーフィルタセグメントは画素単位で取り付けられている。したがって、補色系撮像素子28は、Mg、G、Cy、Yeの4種の画素を有し、奇数列を、Mg画素、Cy画素、Mg画素、Ye画素、・・・の順番、偶数列を、G画素、Ye画素、G画素、Cy画素、・・・の順番とするように、奇数行にMg画素とG画素とが交互に配置され、偶数行にCy画素とYe画素とが交互に配置されている。このカラーフィルタ配列は、補色市松色差線順次方式と呼ばれている。
A complementary color system
原色系撮像素子29の撮像面には、原色系色分離フィルタ29aが設けられている。この原色系色分離フィルタ29aは、図8に示すように、レッド(R)、グリーン(G)、ブルー(B)の3種のカラーフィルタセグメントを有し、各カラーフィルタセグメントは画素単位で取り付けられている。したがって、原色系撮像素子29は、R、G、Bの3種の画素を有し、奇数列にG画素とB画素とが交互に配置され、偶数列にR画素とG画素が交互に配置され、奇数行にG画素とR画素とが交互に配置され、偶数行にB画素とG画素とが交互に配置されている。このカラーフィルタ配列は、原色ベイヤー方式と呼ばれている。
A primary
内視鏡13には、フラッシュメモリ等の不揮発性メモリで構成された情報記憶部30が設けられている。情報記憶部30は、内視鏡13の固有情報(撮像素子のカラーフィルタ配列や画素数、後述する補正係数)等を記憶している。
The
プロセッサ装置12は、制御部31と、撮像制御部32と、相関二重サンプリング(CDS)回路33と、A/D変換回路34と、明るさ検出回路35と、調光回路36と、信号処理部37と、チャネル割当部38とを有する。
The
制御部31は、プロセッサ装置12内の各部と、光源装置11との制御を行う。制御部31は、光源装置11及びプロセッサ装置12に内視鏡13が接続された際に、情報記憶部30から内視鏡13の固有情報を読み取り、接続された内視鏡13が補色型内視鏡13aであるか原色型内視鏡13bであるかを判定する。撮像制御部32は、制御部31により判定された内視鏡13の種類に応じて、撮像素子(補色系撮像素子28または原色系撮像素子29)を駆動する。
The
撮像制御部32は、補色系撮像素子28の場合には、光源装置11の発光タイミングに合わせて、補色系撮像素子28をフィールド読み出し方式で駆動する。具体的には、フィールド読み出し方式では、奇数フィールドと偶数フィールドとの各読み出し時において、列方向に隣接する2画素を2行の各画素信号が混合(加算)して読み出される(図7参照)。この画素信号の混合は、CCDイメージセンサの水平転送路(図示せず)内で行われる。図9は、狭帯域光観察モード時の駆動タイミングを示している。通常光観察モード時の駆動タイミングは、照明光を白色光WLとすること以外は狭帯域光観察モード時と同一である。
In the case of the complementary
このフィールド読み出し方式より、補色系撮像素子28からは、奇数フィールドと偶数フィールドとのそれぞれにおいて、図10に示すように、Mg画素とCy画素との混合画素信号(以下、第1混合画素信号という)M1と、G画素とYe画素との混合画素信号(以下、第2混合画素信号という)M2と、Mg画素とYe画素との混合画素信号(以下、第3混合画素信号という)M3と、G画素とCy画素との混合画素信号(以下、第4混合画素信号という)M4が出力される。
With this field readout method, the complementary
補色系撮像素子28の各画素がカラーフィルタセグメントに応じて、例えば図11に示す分光感度特性を有することから、各混合画素は、例えば図12に示す分光感度特性を有する。この分光感度特性によると、第1〜第4混合画素のうち、第1混合画素(Mg+Cy)が紫色狭帯域光Vn(中心波長405nm)に対して最も高感度であり、第2混合画素(G+Ye)が緑色狭帯域光Gn(中心波長540nm)に対して最も高感度であることが分かる。ただし、第1混合画素(Mg+Cy)は、緑色狭帯域光Gnに対しても高い感度を有しており、第2混合画素(G+Ye)は、紫色狭帯域光Vnに対して若干の感度を有している。
Since each pixel of the complementary
撮像制御部32は、原色系撮像素子29の場合には、光源装置11の発光タイミングに合わせて、原色系撮像素子29を周知のプログレッシブ読み出し方式で駆動する。このプログレッシブ読み出し方式では、画素信号の混合は行われずに、1行ずつ順に1フレーム分の画素信号が個別に読み出される。
In the case of the primary
補色系撮像素子28及び原色系撮像素子29から出力された信号は、CDS回路33に入力される。CDS回路33は、入力された信号に対して相関二重サンプリングを行って、CCDイメージセンサで生じるノイズ成分を除去する。CDS回路33によりノイズ成分が除去された信号は、A/D変換回路34に入力されると共に、明るさ検出回路35に入力される。A/D変換回路34は、CDS回路33から入力された信号をデジタル信号に変換して、信号処理部37に入力する。
Signals output from the complementary
明るさ検出回路35は、CDS回路33から入力された信号に基づいて、明るさ(信号の平均輝度)を検出する。調光回路36は、明るさ検出回路35により検出された明るさ信号と、基準の明るさ(調光の目標値)との差分である調光信号を生成する。この調光信号は、光源制御部21に入力される。光源制御部21は、基準の明るさが得られるように、複数のLED光源20の発光量を調整する。
The brightness detection circuit 35 detects brightness (average luminance of the signal) based on the signal input from the
制御部31は、内視鏡13のモード切替スイッチ17aが操作された際に発せられるモード切替信号を受信し、受信したモード切替信号に基づいて、光源装置11の発光方式と信号処理部37の信号処理方式を切り替える。
The
信号処理部37は、セレクタ40と、補色用第1処理部41と、補色用第2処理部42と、原色用第1処理部43と、原色用第2処理部44と、補正係数取得部45とを有している。セレクタ40は、制御部31により判定された内視鏡13の種類及び観察モードに応じて、処理部41〜45のうちからいずれか1つを選択する。
The
補色用第1処理部41は、内視鏡13の種類が補色型で、かつ観察モードが通常光観察モードである場合に選択される。補色用第1処理部41には、補色系撮像素子28から第1〜第4混合画素信号M1〜M4(図10参照)が入力される。補色用第1処理部41は、補色市松色差線順次方式に用いられる周知のY/C変換を行って、輝度信号Yと色差信号Cr,Cbを生成し、さらにマトリクス演算により輝度信号Yと色差信号Cr,CbをRGB信号に変換する。このRGB信号は、チャネル割当部38に送られる。具体的には、輝度信号Yと色差信号Cr,Cbは、行方向に隣接する第1混合画素信号M1と第2混合画素信号M2との加減算と、行方向に隣接する第3混合画素信号M3と第4混合画素信号M4との加減算とにより算出される。
The first processing unit for complementary color 41 is selected when the type of the
補色用第2処理部42は、内視鏡13の種類が補色型で、かつ観察モードが狭帯域光観察モードである場合に選択される。補色用第2処理部42は、図13に示すように、マトリクス演算部46と、補間処理部47と、混色補正部48とを有する。
The complementary color
マトリクス演算部46は、補色系撮像素子28から入力される第1〜第4混合画素信号M1〜M4の各組に対して、式(1)で表されるマトリクス演算を行い、第1及び第2表示用信号D1,D2を生成する。具体的には、例えば、図10に示す相対的な位置関係にある第1〜第4混合画素信号M1〜M4をそれぞれ1組としてマトリクス演算を行う。
The
詳しくは後述するが、狭帯域光観察モード時には、第1表示用信号D1に基づいて、紫色狭帯域光Vnの画像化が行われ、第2表示用信号D2に基づいて緑色狭帯域光Gnの画像化が行われる。α11〜α24の8個の係数は、0以上1以下の値に設定されるが、第1〜第4混合画素信号M1〜M4のうち、第1混合画素信号M1が紫色狭帯域光Vnに対して最も感度が高く、第2混合画素信号M2が緑色狭帯域光Gnに対して最も感度が高いので、係数α11及びα22が他の係数より大きな値に設定される。すなわち、第1混合画素信号M1が第1表示用信号D1の主信号とされ、第2混合画素信号M2が第2表示用信号D2の主信号とされる。例えば、単純に、α11=α22=1、α12=α13=α14=α21=α23=α24=0(すなわち、D1=M1、D2=M2)と設定しても良い。 As will be described in detail later, in the narrowband light observation mode, the purple narrowband light Vn is imaged based on the first display signal D1, and the green narrowband light Gn is visualized based on the second display signal D2. Imaging is performed. The eight coefficients α 11 to α 24 are set to values of 0 or more and 1 or less, but the first mixed pixel signal M1 among the first to fourth mixed pixel signals M1 to M4 is purple narrowband light Vn. Since the second mixed pixel signal M2 has the highest sensitivity to the green narrowband light Gn, the coefficients α 11 and α 22 are set to values larger than the other coefficients. That is, the first mixed pixel signal M1 is the main signal of the first display signal D1, and the second mixed pixel signal M2 is the main signal of the second display signal D2. For example, α 11 = α 22 = 1, α 12 = α 13 = α 14 = α 21 = α 23 = α 24 = 0 (that is, D1 = M1, D2 = M2) may be set.
マトリクス演算部46により生成された第1及び第2表示用信号D1,D2は、補間処理部47に入力される。補間処理部47は、周知の画素補間処理を行い、各画素位置について1組の第1及び第2表示用信号D1,D2を生成する。混色補正部48は、式(2)を用いて混色補正処理を行う。
The first and second display signals D1 and D2 generated by the
ここで、K1は、紫色狭帯域光Vnのみを独立照射した場合に得られる第1表示用信号D1vに対する第2表示用信号D2vの比(D2v/D1v)である。K2は、緑色狭帯域光Gnのみを独立照射した場合に得られる第2表示用信号D2gに対する第1表示用信号D1gの比(D1g/D2g)である。 Here, K 1 is a ratio (D2v / D1v) of the second display signal D2v to the first display signal D1v obtained when only the purple narrowband light Vn is independently irradiated. K 2 is a ratio (D1g / D2g) of the first display signal D1g to the second display signal D2g obtained when only the green narrow-band light Gn is independently irradiated.
内視鏡システム10は、補正係数K1,K2を取得するためにキャリブレーションモードを有する。このキャリブレーションモードは、入力装置15等の操作により選択可能である。このキャリブレーションモードでは、制御部31は、V−LED20a及びWL−LED20bの光軸の交点にダイクロイックミラー22を配置した状態で、V−LED20aとWL−LED20bとを個別に点灯させて、図14に示すように、紫色狭帯域光Vnと緑色狭帯域光Gnとを時分割照射し、各照射タイミングに合わせて補色系撮像素子28を駆動する。
The endoscope system 10 has a calibration mode for acquiring the correction coefficients K 1 and K 2 . This calibration mode can be selected by operating the
補正係数取得部45は、キャリブレーションモード時に式(1)に基づくマトリクス演算により前述の第1表示用信号D1v,D1g及び第2表示用信号D2g,D2vを算出し、K1=D2v/D1v、K2=D1g/D2gの関係式に基づいて補正係数K1,K2を算出する。この補正係数K1,K2は、複数の第1表示用信号D1v,D1g及び第2表示用信号D2g,D2vの各平均値を用いて計算することが好ましい。補正係数取得部45により取得された補正係数K1,K2は、混色補正部48に入力される。混色補正部48は、入力された補正係数K1,K2を、キャリブレーションが再度行われるまでの間、保持し続けて混色補正処理に用いる。
The correction
また、この補正係数K1,K2は、製造段階で求められ、補色型内視鏡13aの情報記憶部30に予め記憶されている。補色型内視鏡13aが光源装置11及びプロセッサ装置12に接続された際に、制御部31が情報記憶部30から補正係数K1,K2を読み出し、混色補正部48に入力する。キャリブレーションが行われた場合には、補色型内視鏡13aの情報記憶部30に記憶された補正係数K1,K2は消去され、混色補正部48により算出された補正係数K1,K2に書き換えられる。
The correction coefficients K 1 and K 2 are obtained at the manufacturing stage and are stored in advance in the
式(2)の混色補正処理は、混色成分(第1表示用信号D1中の緑色狭帯域光Gn成分と、第2表示用信号D2中の紫色狭帯域光Vn成分)を低減させる。混色補正後の第1及び第2表示用信号D1’,D2’は、チャネル割当部38に送られる。
The color mixture correction processing of Expression (2) reduces the color mixture components (the green narrowband light Gn component in the first display signal D1 and the purple narrowband light Vn component in the second display signal D2). The first and second display signals D1 'and D2' after the color mixture correction are sent to the
原色用第1処理部43は、内視鏡13の種類が原色型で、かつ観察モードが通常光観察モードである場合に選択される。原色用第1処理部43には、原色系撮像素子29からRGB信号が入力される。このRGB信号は、1画素に、R、G、Bのいずれかの信号が割り当てられたものである。原色用第1処理部43は、周知の画素補間処理を行い、各画素についてR、G、Bの3つの信号を生成する。この画素補間処理後のRGB信号は、チャネル割当部38に送られる。
The primary color first processing
原色用第2処理部44は、内視鏡13の種類が原色型で、かつ観察モードが狭帯域光観察モードである場合に選択される。原色用第2処理部44には、原色系撮像素子29からRGB信号が入力される。原色用第2処理部44は、紫色狭帯域光Vn及び緑色狭帯域光Gnに感応するB信号及びG信号を抽出し、同様に画素補間処理を施すことにより、画素毎のB信号及びG信号を生成する。このB信号及びG信号は、チャネル割当部38に送られる。
The primary color second processing
チャネル割当部38は、観察モードが通常光観察モードである場合には、内視鏡13の種類によらずRGB信号が入力されるため、このR、G、Bの信号をそれぞれ画像表示装置14のRch、Gch、Bchの各チャネルに割り当てて表示させる。これにより、画像表示装置14には、通常光によって照明された検体の像が映し出された通常画像が表示される。
When the observation mode is the normal light observation mode, the
また、チャネル割当部38は、内視鏡13の種類が補色型で、かつ観察モードが狭帯域光観察モードである場合には、補色用第2処理部42から入力された第1及び第2表示用信号D1’,D2’を、式(3)に示すように画像表示装置14の各チャネルに割り当てて表示させる。
Further, when the type of the
これにより、画像表示装置14には、紫色狭帯域光Vn及び緑色狭帯域光Gnにより照明された検体の像が映し出された特殊画像が表示される。式(3)では、紫色狭帯域光Vnに対して高感度の第1表示用信号D1’を2つのチャネルに割り当てて表示させているので、特殊画像は、生体表層付近の表層血管(毛細血管など)等の構造が視認しやすい画像となる。なお、第1及び第2表示用信号D1’,D2’に、「1」,「0」以外の係数で重み付けを行ってチャネルに割り当てても良い。
As a result, a special image in which an image of the specimen illuminated by the purple narrow band light Vn and the green narrow band light Gn is displayed on the
さらに、チャネル割当部38は、内視鏡13の種類が原色型で、かつ観察モードが狭帯域光観察モードである場合には、原色用第2処理部44から入力されたB信号及びG信号を、式(4)に示すように画像表示装置14の各チャネルに割り当てて表示させる。
Furthermore, when the type of the
これにより、画像表示装置14には、紫色狭帯域光Vn及び緑色狭帯域光Gnにより照明された検体の像が映し出された特殊画像が表示される。この特殊画像は、生体表層付近の表層血管等の構造が視認しやすい画像である。同様に、B信号及びG信号に、「1」,「0」以外の係数で重み付けを行ってチャネルに割り当てても良い。
As a result, a special image in which an image of the specimen illuminated by the purple narrow band light Vn and the green narrow band light Gn is displayed on the
次に、混色補正処理の作用について説明する。まず、補色型内視鏡13aから検体内に同時照射される紫色狭帯域光Vn及び緑色狭帯域光Gnの光量をそれぞれ“X”、“Y”とし、第1表示用信号D1の紫色狭帯域光Vnに対する平均的な感度を“a1”、第1表示用信号D1の緑色狭帯域光Gnに対する平均的な感度を“b1”、第2表示用信号D2の緑色狭帯域光Gnに対する平均的な感度を“a2”、第2表示用信号D2の紫色狭帯域光Vnに対する平均的な感度を“b2”とすると、第1及び第2表示用信号D1,D2は、式(5)で表される。平均的な感度とは、各狭帯域光の波長域における感度を平均化したものである。
Next, the operation of the color mixture correction process will be described. First, the light amounts of the purple narrowband light Vn and the green narrowband light Gn that are simultaneously irradiated into the specimen from the
また、これらの感度a1,b1,a2,b2を用いて、混色補正処理に用いられる補正係数K1,K2は、式(6),(7)で表される。 Further, using these sensitivities a 1 , b 1 , a 2 , and b 2 , correction coefficients K 1 and K 2 used for the color mixture correction processing are expressed by equations (6) and (7).
式(5)で表される第1及び第2表示用信号D1,D2に対して、式(2)の混色補正処理を施すと、混色補正後の第1及び第2表示用信号D1’,D2’は、式(8),(9)で表され、混色成分が除去される。 When the color mixture correction processing of Formula (2) is performed on the first and second display signals D1, D2 represented by Formula (5), the first and second display signals D1 ′, D2 ′ is expressed by equations (8) and (9), and the color mixture component is removed.
式(8)、(9)において、「a1X」、「a2Y」は、それぞれ光量Xの紫色狭帯域光Vnのみを独立照射した場合の第1表示用信号D1vと、光量Yの緑色狭帯域光Gnのみを独立照射した場合の第2表示用信号D2gとに相当する。したがって、混色補正後の第1及び第2表示用信号D1’,D2’は、時分割照射を行った場合の第1及び第2表示用信号D1v,D2gに比べて、(1−K1K2)倍だけ信号値が低いことを表している。 In Expressions (8) and (9), “a 1 X” and “a 2 Y” are the first display signal D1v and the amount of light Y when the violet narrowband light Vn having the amount of light X is independently irradiated. This corresponds to the second display signal D2g when only the green narrow band light Gn is independently irradiated. Therefore, the first and second display signals D1 ′ and D2 ′ after the color mixture correction are (1−K 1 K) as compared to the first and second display signals D1v and D2g when the time-division irradiation is performed. 2 ) Indicates that the signal value is low by a factor of two .
特に、α11=α22=1、α12=α13=α14=α21=α23=α24=0(すなわち、D1=M1、D2=M2)の場合には、図12を参照すると、a1≒0.45、a2≒0.98、b1≒0.53、b2≒0.07であり、(1−K1K2)≒0.92となるため、信号値の低下率は8%程度である。 In particular, when α 11 = α 22 = 1, α 12 = α 13 = α 14 = α 21 = α 23 = α 24 = 0 (ie, D1 = M1, D2 = M2), refer to FIG. , A 1 ≈0.45, a 2 ≈0.98, b 1 ≈0.53, b 2 ≈0.07, and (1−K 1 K 2 ) ≈0.92, The reduction rate is about 8%.
次に、内視鏡システム10の作用を、図15に示すフローチャートに沿って説明する。術者により、内視鏡13が光源装置11及びプロセッサ装置12に接続されると、プロセッサ装置12の制御部31は、内視鏡13内の情報記憶部30から固有情報を読み取り、接続された内視鏡13が、補色型内視鏡13aであるか原色型内視鏡13bであるかを判定する。例えば、補色型内視鏡13aである場合には、制御部31は、光源装置11及びプロセッサ装置12を通常光観察モードに設定し、信号処理部37内のセレクタ40に補色用第1処理部41を選択させる。
Next, the operation of the endoscope system 10 will be described along the flowchart shown in FIG. When the
この通常光観察モードでは、光源装置11の合波部24内のダイクロイックミラー22が前述のように退避すると共に、WL−LED20bが点灯し、通常光(白色光)WLが生成されて、補色型内視鏡13a内のライトガイド27内に供給される。また、補色型内視鏡13a内の補色系撮像素子28は、撮像制御部32によりフィールド読み出し方式で駆動されて第1〜第4混合画素信号M1〜M4を出力する。この第1〜第4混合画素信号M1〜M4は、補色用第1処理部41により、Y/C変換後、RGB信号に変換されて、チャネル割当部38を介して画像表示装置14に表示される。これにより、画像表示装置14には、通常光のもとで撮像された通常画像が表示される。
In the normal light observation mode, the
術者は、補色型内視鏡13aの挿入部16を患者の体腔内に挿入することにより、内視鏡検査を行う。体腔内における患部等の検査対象組織の表層血管の走行状態等をより詳しく観察しようと思う場合には、術者によりモード切替スイッチ17aが操作される。モード切替スイッチ17aが操作された場合には、この操作信号が制御部31により検出されて、光源装置11及びプロセッサ装置12が狭帯域光観察モードに切り替えられる。
The surgeon performs endoscopy by inserting the
狭帯域光観察モードでは、セレクタ40により補色用第2処理部42が選択される。狭帯域光観察モードでは、合波部24内のダイクロイックミラー22がV−LED20a及びWL−LED20bの光軸の交点に配置されると共に、V−LED20aとWL−LED20bとが同時に点灯する。合波部24により紫色狭帯域光Vnと緑色狭帯域光Gnとが混合された狭帯域光が生成されて補色型内視鏡13a内のライトガイド27内に供給される。補色系撮像素子28は、フィールド読み出し方式で駆動されて第1〜第4混合画素信号M1〜M4を出力する。
In the narrow-band light observation mode, the complementary color
補色用第2処理部42では、マトリクス演算部46により第1〜第4混合画素信号M1〜M4がマトリクス演算され、第1及び第2表示用信号D1,D2が生成される。この第1及び第2表示用信号D1,D2は、補間処理部47により画素補間処理が行われた後、混色補正部48により前述の混色補正処理が行われる。混色補正後の第1及び第2表示用信号D1’,D2’は、チャネル割当部38により、Rchに第2表示用信号D2’が割り当てられ、Gch及びBchに第1表示用信号D1’が割り当てられて画像表示装置14に表示される。これにより、画像表示装置14には、狭帯域光のもとで撮像が行われた特殊画像が表示される。
In the second processing unit for
紫色狭帯域光Vnは、検体の表面から表層付近の第1透過距離まで透過可能であることから、紫色狭帯域光Vnに基づく第1画像には、表層血管など第1透過距離に含まれる構造の像が多く含まれている。この第1画像は、第1表示用信号D1に基づいて生成される。一方、緑色狭帯域光Gnは、検体の表面から中深層付近の第2透過距離まで透過可能であることから、緑色狭帯域光Gnに基づく第2画像には、中深層血管など第2透過距離に含まれる構造の像が多く含まれている。また、第2画像は、粘膜の微細模様等の視認性に優れる。この第2画像は、第2表示用信号D2に基づいて生成される。この第1画像と第2画像とが合成されたものが特殊画像である。 Since the purple narrowband light Vn can be transmitted from the surface of the specimen to the first transmission distance near the surface layer, the first image based on the purple narrowband light Vn includes a structure included in the first transmission distance such as a surface blood vessel. A lot of images are included. The first image is generated based on the first display signal D1. On the other hand, since the green narrow band light Gn can be transmitted from the surface of the specimen to the second transmission distance in the vicinity of the middle deep layer, the second transmission distance such as the middle depth blood vessel is included in the second image based on the green narrow band light Gn. There are many images of structures included in. Further, the second image is excellent in visibility of the fine pattern of the mucous membrane. The second image is generated based on the second display signal D2. A special image is a combination of the first image and the second image.
本実施形態では、混色補正処理により混色成分が除去されて、色分離性が向上すると共に、表層血管の視認性(表層血管と粘膜のコントラスト)が向上した特殊画像が得られる。 In this embodiment, the color mixture component is removed by the color mixture correction process, and a special image with improved color separation and improved visibility of the superficial blood vessels (the contrast between the superficial blood vessels and the mucous membrane) is obtained.
特殊画像の表示は、モード切替スイッチ17aが操作されるか、入力装置15により診断を終了するための終了操作が行われるまでの間繰り返し行われる。モード切替スイッチ17aが操作されると、通常光観察モードに戻り、終了操作が行われると、動作を終了する。
The display of the special image is repeatedly performed until the
一方、制御部31により、光源装置11及びプロセッサ装置12に原色型内視鏡13bが接続されたと判定されると、光源装置11及びプロセッサ装置12が通常光観察モードに設定される共に、セレクタ40により原色用第1処理部43が選択される。この通常光観察モードでは、補色型の場合と同様に、光源装置11により通常光(白色光)WLが生成されて、原色型内視鏡13bのライトガイド27内に供給される。
On the other hand, when the
この場合、原色系撮像素子29は、プログレッシブ読み出し方式で駆動されてRGB信号を出力する。このRGB信号は、原色用第1処理部43により画素補間処理等が行われて、チャネル割当部38を介して画像表示装置14に表示される。これにより、画像表示装置14には、通常光のもとで撮像された通常画像が表示される。
In this case, the primary color
この後、術者によりモード切替スイッチ17aが操作されると、光源装置11及びプロセッサ装置12が狭帯域光観察モードに切り替えられる。狭帯域光観察モードでは、セレクタ40により原色用第2処理部44が選択され、補色型の場合と同様に、光源装置11により紫色狭帯域光Vnと緑色狭帯域光Gnとが混合された狭帯域光が生成されて原色型内視鏡13bのライトガイド27内に供給される。
Thereafter, when the operator operates the
原色系撮像素子29は、同様にプログレッシブ読み出し方式で駆動されてRGB信号を出力する。このRGB信号は、原色用第2処理部44によりB信号及びG信号のみが抽出されて、画素補間処理等が行われ、チャネル割当部38を介して画像表示装置14に表示される。これにより、画像表示装置14には、狭帯域光のもとで撮像が行われた特殊画像が表示される。
Similarly, the primary
補色型の場合と同様に、特殊画像の表示は、モード切替スイッチ17aが操作されるか、入力装置15により終了操作が行われるまでの間繰り返し行われる。モード切替スイッチ17aが操作されると、通常光観察モードに戻り、終了操作が行われると、動作を終了する。
As in the case of the complementary color type, the display of the special image is repeatedly performed until the
また、光源装置11及びプロセッサ装置12に補色型内視鏡13aが接続されている場合には、入力装置15等の操作により、混色補正用の補正係数K1,K2を取得するためのキャリブレーションの実行が可能となっている。このキャリブレーションは、白色板などを撮像対象として行われる。
When the
キャリブレーションが実行されると、セレクタ40により補正係数取得部45が選択され、紫色狭帯域光Vnと緑色狭帯域光Gnとの時分割照射が行われる。このとき、補色系撮像素子28から出力された第1〜第4混合画素信号M1〜M4に基づき、第1表示用信号D1v,D1g及び第2表示用信号D2g,D2vがそれぞれ生成され、各信号値の平均値が求められる。そして、K1=D2v/D1v、K2=D1g/D2gの関係式に基づいて補正係数K1,K2が算出される。算出された補正係数K1,K2は、混色補正部48に入力されると共に、補色型内視鏡13a内の情報記憶部30に記憶されている補正係数K1,K2を消去して書き換える。補色型内視鏡13a内の情報記憶部30に記憶された補正係数K1,K2は、補色型内視鏡13aの次回の使用時に、制御部31に読み取られて混色補正部48に入力される。
When calibration is performed, the correction
[第2実施形態]
次に、第2実施形態の内視鏡システムについて説明する。本実施形態の内視鏡システムは、混色補正部48が、式(10)を用いて混色補正処理を行う点が第1実施形態の内視鏡システム10と異なる。
[Second Embodiment]
Next, an endoscope system according to a second embodiment will be described. The endoscope system according to the present embodiment is different from the endoscope system 10 according to the first embodiment in that the color mixing
ここで、R1は、第1表示用信号D1’中の緑色狭帯域光Gn成分の割合を表す第1混色率である。R2は、第2表示用信号D2’中の紫色狭帯域光Vn成分の割合を表す第2混色率である。R1,R2は、0以上1以下の値を取る。 Here, R 1 is a first color mixing ratio that represents the ratio of the green narrowband light Gn component in the first display signal D1 ′. R 2 is a second color mixing ratio that represents the ratio of the purple narrowband light Vn component in the second display signal D2 ′. R 1 and R 2 take values of 0 or more and 1 or less.
R1=0、R2=0の場合には、式(10)は第1実施形態の式(2)と同一であり、図16に示すように、混色成分が完全に除去される。一方、R1≠0、R2≠0の場合には、第1及び第2表示用信号D1’,D2’中に、緑色狭帯域光Gn成分及び紫色狭帯域光Vn成分が、それぞれ第1及び第2混色率R1,R2に応じて付加される。R1≠0、R2≠0の場合の第1及び第2表示用信号D1’,D2’は、式(11),(12)で表される。 When R 1 = 0 and R 2 = 0, the expression (10) is the same as the expression (2) of the first embodiment, and the color mixture component is completely removed as shown in FIG. On the other hand, when R 1 ≠ 0 and R 2 ≠ 0, the green narrowband light Gn component and the purple narrowband light Vn component are included in the first and second display signals D1 ′ and D2 ′, respectively. The second color mixing ratios R 1 and R 2 are added. The first and second display signals D1 ′ and D2 ′ in the case of R 1 ≠ 0 and R 2 ≠ 0 are expressed by equations (11) and (12).
第1及び第2混色率R1,R2の各値は、既存の光源装置(例えば、キセノンランプと狭帯域用波長制限フィルタとを有する光源装置)との互換性を保つように、混色補正部48内に設定されている。この第1及び第2混色率R1,R2を、補色型内視鏡13a内の情報記憶部30に記憶しておき、補色型内視鏡13aが光源装置11及びプロセッサ装置12に接続された際に、制御部31が情報記憶部30から取得して混色補正部48に入力するように構成しても良い。
Each value of the first and second color mixing ratios R 1 and R 2 is corrected for color mixing so as to maintain compatibility with existing light source devices (for example, a light source device having a xenon lamp and a narrowband wavelength limiting filter). This is set in the
また、R1=0、R2=0の場合には、第1及び第2表示用信号D1’,D2’は、時分割照射時の場合よりも信号値が低下するため、この低下量が大きい場合に、第1及び第2表示用信号D1’,D2’が所定レベルとなるように、式(11),(12)に基づいて第1及び第2混色率R1,R2を決定することも好ましい。 When R 1 = 0 and R 2 = 0, the signal values of the first and second display signals D1 ′ and D2 ′ are lower than in the case of time-division irradiation. The first and second color mixing ratios R 1 and R 2 are determined based on the equations (11) and (12) so that the first and second display signals D1 ′ and D2 ′ are at a predetermined level when it is larger. It is also preferable to do.
また、図17に示すように、第2実施形態の混色補正部48の後段に構造強調処理部49を設け、混色補正部48から出力される第1及び第2表示用信号D1’,D2’を、第1及び第2混色率R1,R2の少なくとも一方に基づいて構造強調処理を行っても良い。例えば、構造強調処理部49として、特開2013−013656号公報に開示された周波数フィルタリングを行う血管強調処理部を適用し、表層血管部分の強調度合いを、第1混色率R1が大きいほど高く設定する。これは、第1混色率R1が大きいほど、前述の表層血管のコントラストが低下するためである。
Further, as shown in FIG. 17, a structure
なお、上記各実施形態では、混色補正部48は、全ての第1及び第2表示用信号D1,D2を、1組の補正係数K1,K2を用いて混色補正を行っているが、第1及び第2表示用信号D1,D2の1組ごとに異なる補正係数K1,K2を用いて混色補正を行っても良い。この場合、例えば、図10に示す相対的な位置関係にある第1〜第4混合画素信号M1〜M4により生成される第1及び第2表示用信号D1,D2をそれぞれ1組とする。各補正係数K1,K2は、キャリブレーションモードにおいて、紫色狭帯域光Vn及び緑色狭帯域光Gnを独立照射した場合の第1及び第2表示用信号を用いて各組ごとに算出すれば良い。
In each of the above embodiments, the color mixing
また、上記各実施形態では、原色用第2処理部44は、RGB信号に含まれるB信号及びG信号をそのまま表示チャネルに割り当てているが、RGBの各信号が、紫色狭帯域光Vn及び緑色狭帯域光Gnの両方に感応する場合があるので、補色用第2処理部42と同様のマトリクス演算及び混色補正を行うことも好ましい。
In each of the above embodiments, the primary color second processing
具体的には、原色用第2処理部44に入力されるRGB信号(画素信号R,G,B)を、式(13)で表されるマトリクス演算を行い、第1及び第2表示用信号D1,D2を生成する。
Specifically, the RGB signals (pixel signals R, G, and B) input to the primary color second processing
β11〜β23の6個の係数は、0以上1以下の値である。具体的には、係数β11,β22が他の係数より大きく設定される。例えば、単純に、β11=β22=1、β12=β13=β21=β23=0(すなわち、D1=B、D2=G)と設定しても良い。 The six coefficients β 11 to β 23 are values of 0 or more and 1 or less. Specifically, the coefficients β 11 and β 22 are set larger than the other coefficients. For example, β 11 = β 22 = 1, β 12 = β 13 = β 21 = β 23 = 0 (that is, D1 = B, D2 = G) may be set.
混色補正は、補色用第2処理部42の場合と同様であり、式(2)または式(10)に基づく補正が行われる。補正係数K1,K2は、紫色狭帯域光Vnと緑色狭帯域光Gnとを時分割照射し、原色系撮像素子29から出力されるRGB信号をマトリクス演算して、第1表示用信号D1v,D1g及び第2表示用信号D2g,D2vを生成し、K1=D2v/D1v、K2=D1g/D2gの関係式に基づいて算出される。この補正係数K1,K2は、補色型の場合と同様に、原色型内視鏡13bの情報記憶部30に記憶される。その他、情報記憶部30からの補正係数K1,K2の読み出しや、補正係数K1,K2の書き換え等の動作は、補色型の場合と同一であるので説明は省略する。
The color mixture correction is the same as in the case of the complementary color
また、上記各実施形態では、LED光源20としてV−LED20aとWL−LED20bとを用いているが、V−LED20aに代えて、図18に示すように、紫色狭帯域光Vnより長波長側の青色狭帯域光Bnを発生する青色LEDを用いてもよい。この青色狭帯域光Bnの中心波長は約410nm〜420nmの範囲内であり、好ましくは約415nmである。
In each of the above embodiments, the V-
また、V−LED20aとWL−LED20bに代えて、発光波長域の異なる複数のLED(例えば、4個のLED)を設け、複数のLEDを全て点灯させることにより通常光(白色光)を生成し、複数のLEDのうちの2個のLEDにより2つの狭帯域光を生成するように構成しても良い。さらに、LEDに代えてLD(Laser Diode)等のその他の半導体光源を用いても良い。
In addition, instead of the V-
また、上記各実施形態の光源装置11に代えて、特許第4009626号公報等に開示された、白色光等の波長域の広い光を発するランプと、狭帯域用フィルタとにより構成された光源装置を用いてもよい。この狭帯域用フィルタは、2つの狭帯域にバンドパス特性を有する2峰性フィルタであり、観察モードに応じてランプの光軸上に挿脱される。
Moreover, it replaces with the
また、上記各実施形態では、図7に示す補色市松色差線順次方式の補色系色分離フィルタ28aを有する補色系撮像素子28を用いているが、図19に示す補色市松色差線順次方式の補色系色分離フィルタを有する補色系撮像素子を用いても良い。
Further, in each of the above embodiments, the complementary color
また、上記各実施形態では、Mg画素とCy画素との組み合わせを第1混合画素、G画素とYe画素との組み合わせを第2混合画素、Mg画素とYe画素との組み合わせを第3混合画素、G画素とCy画素との組み合わせを第4混合画素としているが、混合画素の組み合わせはこれに限られず適宜変更しても良い。 In each of the above embodiments, the combination of the Mg pixel and the Cy pixel is a first mixed pixel, the combination of the G pixel and the Ye pixel is a second mixed pixel, and the combination of the Mg pixel and the Ye pixel is a third mixed pixel, Although the combination of the G pixel and the Cy pixel is the fourth mixed pixel, the combination of the mixed pixels is not limited to this and may be changed as appropriate.
また、上記各実施形態では、撮像制御部32、CDS回路33、A/D変換回路34等をプロセッサ装置12内に設けているが、これらを内視鏡13内に設けても良い。
Further, in each of the above embodiments, the
また、上記各実施形態では、補色系撮像素子28及び原色系撮像素子29をCCDイメージセンサとしているが、これらはCMOSイメージセンサであっても良い。CMOSイメージセンサの場合には、イメージセンサが形成されたCMOS半導体基板内に、撮像制御部32、CDS回路33、A/D変換回路34等を形成することが可能である。
In the above embodiments, the complementary
また、上記各実施形態では、光源装置及びプロセッサ装置に、補色型内視鏡と原色型内視鏡とが接続可能であるが、補色型内視鏡のみが接続可能であっても良い。 In each of the above embodiments, the complementary color endoscope and the primary color endoscope can be connected to the light source device and the processor device, but only the complementary color endoscope may be connected.
また、上記各実施形態では、光源装置とプロセッサ装置とを別体の装置として構成しているが、これらを単一の装置としても良い。さらに、光源装置を、内視鏡内に組み込んでも良い。 In each of the above embodiments, the light source device and the processor device are configured as separate devices, but these may be a single device. Further, the light source device may be incorporated in the endoscope.
10 内視鏡システム
11 光源装置
12 プロセッサ装置
13 内視鏡
13a 補色型内視鏡
13b 原色型内視鏡
14 画像表示装置
16 挿入部
17 操作部
17a モード切替スイッチ
20 LED光源
22 緑色狭帯域フィルタ
24 合波部
27 ライトガイド
28 補色系撮像素子
28a 補色系色分離フィルタ
29 原色系撮像素子
29a 原色系色分離フィルタ
37 信号処理部
DESCRIPTION OF SYMBOLS 10
Claims (12)
レッド、グリーン、ブルーの各カラーフィルタセグメントからなる原色系色分離フィルタを有し、レッド画素からレッド画素信号Rが読み出され、グリーン画素からグリーン画素信号Gが読み出され、ブルー画素からブルー画素信号Bが読み出される原色系撮像素子と、
前記レッド画素信号R、前記グリーン画素信号G、及び前記ブルー画素信号Bを、下式(a)に基づいてマトリクス演算して、第1及び第2表示用信号D1,D2を生成するマトリクス演算部と、
前記第1及び第2表示用信号D1,D2を、下式(b)に基づいて補正する混色補正部と、
を備えることを特徴とする内視鏡システム。
It has a primary color separation filter composed of red, green, and blue color filter segments. The red pixel signal R is read from the red pixel, the green pixel signal G is read from the green pixel, and the blue pixel to the blue pixel. A primary color image sensor from which the signal B is read ;
Matrix calculation unit for generating first and second display signals D1, D2 by performing matrix calculation on the red pixel signal R, the green pixel signal G, and the blue pixel signal B based on the following equation (a). When,
A color mixing correction unit that corrects the first and second display signals D1 and D2 based on the following equation (b);
An endoscope system comprising:
前記光源装置に接続された内視鏡の前記情報記憶部から前記固有情報を読み出して、内視鏡の種類を判定する制御部を備えることを特徴とすることを特徴とする請求項4に記載の内視鏡システム。 Each of the complementary color endoscope and the primary color endoscope has an information storage unit that stores unique information.
5. The control unit according to claim 4, further comprising a control unit that reads out the unique information from the information storage unit of the endoscope connected to the light source device and determines a type of the endoscope. Endoscope system.
前記制御部は、前記光源装置に前記補色型内視鏡または前記原色型内視鏡が接続された場合に、前記情報記憶部から前記第1及び第2補正係数K1,K2を読み出して、前記混色補正部に入力することを特徴とする請求項5に記載の内視鏡システム。 The information storage unit stores the first and second correction coefficients K 1 and K 2 ,
The control unit reads the first and second correction coefficients K 1 and K 2 from the information storage unit when the complementary color type endoscope or the primary color type endoscope is connected to the light source device. The endoscope system according to claim 5, wherein the endoscope is input to the color mixture correction unit.
レッド、グリーン、ブルーの各カラーフィルタセグメントからなる原色系色分離フィルタを有し、レッド画素からレッド画素信号Rが読み出され、グリーン画素からグリーン画素信号Gが読み出され、ブルー画素からブルー画素信号Bが読み出される原色系撮像素子と、
前記レッド画素信号R、前記グリーン画素信号G、及び前記ブルー画素信号Bを、下式(c)に基づいてマトリクス演算して、第1及び第2表示用信号D1,D2を生成するマトリクス演算部と、
前記第1及び第2表示用信号D1,D2を、下式(d)に基づいて補正する混色補正部と、
を備えることを特徴とする内視鏡システム。
It has a primary color separation filter composed of red, green, and blue color filter segments. The red pixel signal R is read from the red pixel, the green pixel signal G is read from the green pixel, and the blue pixel to the blue pixel. A primary color image sensor from which the signal B is read ;
Matrix calculation unit for generating first and second display signals D1 and D2 by performing matrix calculation on the red pixel signal R, the green pixel signal G, and the blue pixel signal B based on the following equation (c). When,
A color mixing correction unit that corrects the first and second display signals D1 and D2 based on the following equation (d);
An endoscope system comprising:
前記光源装置に前記補色型内視鏡または前記原色系撮像素子が接続された場合に、前記情報記憶部から前記第1及び第2混色率R1,R2を読み出して、前記混色補正部に入力する制御部を備えることを特徴とする請求項7に記載の内視鏡システム。 Wherein the light source device, a primary color-type endoscope having the primary color system imaging device, and the complementary endoscope having a complementary color system imaging device is detachably connected, the complementary color type endoscope and within the primary mold The endoscope has an information storage unit that stores the first and second color mixing ratios R 1 and R 2 , respectively.
When the complementary color endoscope or the primary color image sensor is connected to the light source device, the first and second color mixing ratios R 1 and R 2 are read from the information storage unit, and the color mixing correction unit The endoscope system according to claim 7, further comprising a control unit for inputting.
前記構造強調処理部は、表層血管部分の強調度合いを、前記第1混色率R1が大きいほど高くすることを特徴とする請求項8に記載の内視鏡システム。 A structure enhancement processing unit for performing blood vessel enhancement processing on the image based on the signal values D1 ′ and D2 ′;
The endoscope system according to claim 8, wherein the structure enhancement processing unit increases the degree of enhancement of the surface blood vessel portion as the first color mixing ratio R 1 increases.
レッド、グリーン、ブルーの各カラーフィルタセグメントからなる原色系色分離フィルタを有する原色系撮像素子が、レッド画素からレッド画素信号Rを出力し、グリーン画素からグリーン画素信号Gを出力し、ブルー画素からブルー画素信号Bを出力するステップと、
マトリクス演算部が、前記レッド画素信号R、前記グリーン画素信号G、及び前記ブルー画素信号Bを、下式(e)に基づいてマトリクス演算して、第1及び第2表示用信号D1,D2を生成するステップと、
混色補正部が、前記第1及び第2表示用信号D1,D2を、下式(f)に基づいて補正するステップと、
を備えることを特徴とする内視鏡システムの作動方法。
A primary color imaging device having primary color separation filters composed of red, green, and blue color filter segments outputs a red pixel signal R from a red pixel, a green pixel signal G from a green pixel, and a blue pixel. Outputting a blue pixel signal B ;
A matrix operation unit performs a matrix operation on the red pixel signal R, the green pixel signal G, and the blue pixel signal B based on the following equation (e) to obtain the first and second display signals D1 and D2. Generating step;
A step of correcting the first and second display signals D1 and D2 based on the following equation (f):
An operation method of an endoscope system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016177437A JP6245710B2 (en) | 2016-09-12 | 2016-09-12 | Endoscope system and operating method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016177437A JP6245710B2 (en) | 2016-09-12 | 2016-09-12 | Endoscope system and operating method thereof |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013202556A Division JP6008812B2 (en) | 2013-09-27 | 2013-09-27 | Endoscope system and operating method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016214941A JP2016214941A (en) | 2016-12-22 |
JP6245710B2 true JP6245710B2 (en) | 2017-12-13 |
Family
ID=57579795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016177437A Expired - Fee Related JP6245710B2 (en) | 2016-09-12 | 2016-09-12 | Endoscope system and operating method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6245710B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7355967B1 (en) | 2022-04-15 | 2023-10-03 | 株式会社ニッスイ | Method for producing processed meat-like food, method for improving juiciness of processed meat-like food, method for suppressing breakage of emulsified gel, and frozen emulsified gel |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6987980B2 (en) * | 2018-04-23 | 2022-01-05 | 富士フイルム株式会社 | Medical image processing system |
WO2021131859A1 (en) * | 2019-12-27 | 2021-07-01 | 株式会社ソシオネクスト | Image processing device and image processing method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011162099A1 (en) * | 2010-06-24 | 2011-12-29 | オリンパスメディカルシステムズ株式会社 | Endoscopic device |
WO2012002115A1 (en) * | 2010-06-28 | 2012-01-05 | オリンパスメディカルシステムズ株式会社 | Endoscope device |
JP2013022219A (en) * | 2011-07-21 | 2013-02-04 | Hoya Corp | Image signal processor, imaging system, and electronic endoscope system |
-
2016
- 2016-09-12 JP JP2016177437A patent/JP6245710B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7355967B1 (en) | 2022-04-15 | 2023-10-03 | 株式会社ニッスイ | Method for producing processed meat-like food, method for improving juiciness of processed meat-like food, method for suppressing breakage of emulsified gel, and frozen emulsified gel |
Also Published As
Publication number | Publication date |
---|---|
JP2016214941A (en) | 2016-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5932748B2 (en) | Endoscope system | |
JP6008812B2 (en) | Endoscope system and operating method thereof | |
JP5925169B2 (en) | Endoscope system, operating method thereof, and light source device for endoscope | |
US8643710B2 (en) | Image pickup apparatus | |
JP5303012B2 (en) | Endoscope system, processor device for endoscope system, and method for operating endoscope system | |
US9456738B2 (en) | Endoscopic diagnosis system | |
JP5191090B2 (en) | Endoscope device | |
JP5670264B2 (en) | Endoscope system and method for operating endoscope system | |
WO2014125724A1 (en) | Endoscope device | |
JP6047467B2 (en) | Endoscope system and operating method thereof | |
JP5930474B2 (en) | Endoscope system and operating method thereof | |
JP5881658B2 (en) | Endoscope system and light source device | |
JP6245710B2 (en) | Endoscope system and operating method thereof | |
WO2014156604A1 (en) | Endoscope system, operational method therefor and processor device | |
US20170231469A1 (en) | Processor device for endoscope,operation method thereof, and non-transitory computer readable medium | |
JPWO2019069414A1 (en) | Endoscope equipment, image processing methods and programs | |
JP5558331B2 (en) | Endoscope system, processor device for endoscope system, and method for operating endoscope system | |
JP7551465B2 (en) | Medical image processing device and medical observation system | |
JP6396717B2 (en) | Sensitivity adjustment method and imaging apparatus | |
JP7224963B2 (en) | Medical controller and medical observation system | |
JP6175538B2 (en) | Endoscope system | |
JP2010042133A (en) | Method and device for acquiring image | |
WO2016203983A1 (en) | Endoscopic device | |
CN115280212A (en) | Medical observation system, control device, and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6245710 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |