CN109788891A - 内窥镜镜体、内窥镜处理器和内窥镜用适配器 - Google Patents
内窥镜镜体、内窥镜处理器和内窥镜用适配器 Download PDFInfo
- Publication number
- CN109788891A CN109788891A CN201680089947.1A CN201680089947A CN109788891A CN 109788891 A CN109788891 A CN 109788891A CN 201680089947 A CN201680089947 A CN 201680089947A CN 109788891 A CN109788891 A CN 109788891A
- Authority
- CN
- China
- Prior art keywords
- image information
- conversion process
- described image
- endoscope
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 255
- 238000006243 chemical reaction Methods 0.000 claims abstract description 166
- 238000000034 method Methods 0.000 claims abstract description 158
- 230000008569 process Effects 0.000 claims abstract description 134
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 230000000295 complement effect Effects 0.000 claims abstract description 43
- 238000005286 illumination Methods 0.000 claims description 90
- 238000012360 testing method Methods 0.000 claims description 52
- 239000003086 colorant Substances 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 6
- 238000012277 endoscopic treatment Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 51
- 241000894007 species Species 0.000 description 26
- 238000003780 insertion Methods 0.000 description 15
- 230000037431 insertion Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 5
- 238000001727 in vivo Methods 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000004992 fission Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
目的在于与摄像元件的滤光片排列无关地由拜尔处理用的图像处理部高精度地生成图像而不用改良拜尔处理用的图像处理部,本发明的内窥镜(1)具有:摄像元件(31);滤色器,在该滤色器中混合存在有配置在摄像元件(31)的像素上的原色像素和补色像素;可对应/不可对应检测处理部(35),其检测图像处理部(63)是否对应于由混合存在有原色像素和补色像素的排列构成的图像信息,该图像处理部(63)根据经由滤色器而由摄像元件(31)取得的被摄体的该图像信息来生成观察图像;以及拜尔转换处理部(39),在由可对应/不可对应检测处理部(35)检测出不对应的情况下,所述拜尔转换处理部(39)对从摄像元件(31)送到图像处理部(63)的图像信息实施拜尔转换处理,在检测出对应的情况下,所述拜尔转换处理部(39)不对从摄像元件(31)送到图像处理部(63)的图像信息实施拜尔转换处理。
Description
技术领域
本发明涉及内窥镜镜体、内窥镜处理器和内窥镜用适配器。
背景技术
以往,在医疗领域和工业领域中,广泛使用内窥镜装置以进行各种检査。医疗用的内窥镜装置通过将在前端设置有具有多个像素的摄像元件的、呈细长形状的挠性插入部插入到患者等被检体的体腔内,即使不切开被检体也能够取得体腔内的体内图像,所以给被检体带来的负担小,被广泛普及。
作为这样的内窥镜装置的观察方式,广泛公知有使用了白色的照明光(白色照明光)的白色光观察(WLI:White Light Imaging)方式和使用了由蓝色光和绿色光的波段所分别包含的2个窄带光构成的照明光(窄带照明光)的窄带光观察(NBI:Narrow BandImaging)方式。窄带光观察方式能够获得对存在于活体的粘膜表层(活体表层)的毛细血管和粘膜微细图案等进行强调显示的图像,能够更加准确地发现活体的粘膜表层上的病变部。关于这样的内窥镜装置的观察方法,优选对白色光观察方式和如窄带光的特殊光观察方式进行切换来观察。
在通过上述的观察方式生成彩色图像并显示的内窥镜装置中,为了由单板摄像元件取得拍摄图像,在摄像元件的受光面上设置有滤色器,利用摄像元件的各像素接收透过滤色器的波段的光,生成与该波段的光对应的颜色成分的电信号。然后,进行被称作去马赛克处理的插值处理,生成彩色图像,在该去马赛克处理中,计算在各像素中不透过滤色器而缺失的颜色成分的信号值。一般而言,将使红色(R)、绿色(G)、蓝色(B)的波段的光分别透过的滤光片作为1个滤光片单位(单元),按照每个像素排列有设置在摄像元件上的滤色器。该排列称作原色拜尔排列。
近年来,公开了如下滤光片配置:在该滤光片配置中,不仅存在滤色器,还混合存在如蓝绿色(Cy)、红紫色(Mg)的补色滤色器,以在活体内,在白色光观察方式和窄带光观察方式中的任意一个中都获得较高的分辨率(例如,参照专利文献1。)。通过在原色像素中混合存在这些补色像素,与仅存在原色像素的情况相比,能够更多获得蓝色波段的信息,能够获得提高窄带光观察的情况下的毛细血管等的分辨率的效果。
但是,一般而言,用于生成输出图像的图像处理装置仅对应于原色拜尔排列,在使用滤光片配置不同的摄像元件的情况下,需要开发专用的图像处理装置。并且,在如内窥镜装置那样具有摄像元件的内窥镜(镜体)和图像处理装置分体的情况下,需要考虑内窥镜(镜体)与图像处理装置的各种组合。因此,在将具有专利文献1所述的滤光片配置的摄像元件的内窥镜(镜体)与原色拜尔排列用的图像处理装置连接起来的情况下,存在无法获得准确的输出结果的问题。
针对这样的问题,公开了将原色像素与白色(W)像素混合存在的RGBW滤光片配置的拍摄数据转换为原色拜尔排列的方法(例如,参照专利文献2)。
现有技术文件
专利文献
专利文献1:日本特开2015-116328号公报
专利文献2:日本特许4683121号公报
发明内容
发明要解决的课题
但是,专利文献2所述的方法除了仅能够对应于RGBW排列以外,还存在无法与摄像元件和图像处理的组合对应地改变是否存在转换和转换方法、且无法对应于内窥镜(镜体)与图像处理装置的各种组合的问题。
本发明是鉴于上述情况而完成的,其目的在于提供一种内窥镜镜体、内窥镜处理器和内窥镜用适配器,能够与摄像元件的滤光片排列无关地由拜尔处理用的图像处理装置高精度地生成图像,而不用改良拜尔处理用的图像处理装置。
用于解决课题的手段
为了实现上述目的,本发明提供以下手段。
本发明的第1方式是一种内窥镜镜体,该内窥镜镜体具有:摄像元件,其取得被摄体的图像信息;滤色器,在该滤色器中混合存在有配置在该摄像元件的像素上的原色像素和补色像素;对应检测部,其检测图像处理装置是否对应于由混合存在有所述原色像素和所述补色像素的排列构成的图像信息,该图像处理装置根据经由该滤色器而由所述摄像元件取得的所述图像信息来生成观察图像;以及转换处理部,其在由该对应检测部检测出未对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息的情况下,实施将从所述摄像元件送到所述图像处理装置的所述图像信息转换为拜尔排列的拜尔转换处理,在检测出对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息的情况下,不对从所述摄像元件送到所述图像处理装置的所述图像信息实施所述拜尔转换处理。
根据本方式,内窥镜镜体与图像处理装置连接并插入体腔内,经由滤色器而由摄像元件取得用于由图像处理装置生成被摄体的观察图像的图像信息。在该情况下,由对应检测部检测图像处理装置是否对应于由混合存在有原色像素和补色像素的排列构成的图像信息。
然后,在由对应检测部检测出图像处理装置未对应于由混合存在有原色像素和补色像素的排列构成的图像信息的情况下,由转换处理部对来自摄像元件的图像信息进行拜尔转换处理并送到图像处理装置,在由对应检测部检测出图像处理装置对应于由混合存在有原色像素和补色像素的排列构成的图像信息的情况下,不由转换处理部对来自摄像元件的图像信息进行拜尔转换处理而送到图像处理装置。
因此,即使在图像处理装置为拜尔处理用的情况下,也能够与摄像元件的滤光片排列无关地由拜尔处理用的图像处理装置高精度地生成观察图像,而不用改良拜尔处理用的图像处理装置。
在上述方式中,也可以是,所述补色像素为Cy像素。
通过以这样的方式构成,与滤色器仅存在原色像素的情况相比,能够更多地获得蓝色波段的信息,能够获得提高窄带光观察的情况下的毛细血管等的分辨率的效果。
在上述方式中,也可以是,所述滤色器是由所述补色像素呈交替格子(市松)状地配置而成的。
通过以这样的方式构成,能够由图像处理装置生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,所述内窥镜镜体具有光种类检测部,该光种类检测部对照射到所述被摄体的照明光为白色光和该白色光中包含的规定的窄带光中的哪一个进行检测,在由所述对应检测部检测出所述图像处理装置未对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息、并且由所述光种类检测部检测出所述照明光为所述白色光的情况下,所述转换处理部对所述图像信息进行转换使得G像素的配置为交替格子状,在由所述对应检测部检测出所述图像处理装置未对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息、并且由所述光种类检测部检测出所述照明光为所述窄带光的情况下,所述转换处理部对所述图像信息进行转换使得Cy像素的配置为交替格子状。
利用转换处理部,在照明光为白色光的情况下,对图像信息进行转换使得与B像素、R像素均存在较高相关的G像素的配置为交替格子状,在照明光为窄带光的情况下,对图像信息进行转换使得与B像素、G像素均存在较高相关的Cy像素的配置为交替格子状,由此,能够由图像处理装置生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,所述转换处理部对所述图像信息进行转换,使得在所述照明光为所述白色光的情况和所述照明光为所述窄带光的情况下,在进行所述拜尔转换处理之后,呈交替格子状地配置的像素的位置一致。
通过以这样的方式构成,呈交替格子状地配置的像素的位置一致,而不取决于照明光,由此,能够在不按照每个照明光改变图像处理装置的参数的情况下,生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,在由所述对应检测部检测出所述图像处理装置未对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息的情况下,所述转换处理部对所述图像信息的所述补色像素进行颜色转换,转换为仅原色像素的拜尔排列。
通过以这样的方式构成,即使在包含补色像素的情况下,也能够在不变更图像处理装置的处理电路的情况下,生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,所述转换处理部在对所述图像信息实施边缘强调处理之后,实施所述拜尔转换处理。
通过以这样的方式构成,在由图像处理装置进行去马赛克处理的情况下,能够生成方向判別的精度提高、分辨感提高的观察图像。
本发明的第2方式是一种内窥镜处理器,该内窥镜处理器具有:拜尔处理用的图像处理部,其根据由内窥镜镜体的摄像元件取得的图像信息,生成观察图像;排列检测部,其检测从该内窥镜处理器所连接的所述内窥镜镜体的所述摄像元件输出的所述图像信息是否由拜尔排列构成;以及转换处理部,在由该排列检测部检测出未由所述拜尔排列构成的情况下,所述转换处理部实施将从所述摄像元件送到所述图像处理部的所述图像信息转换为拜尔排列的拜尔转换处理,在检测出由所述拜尔排列构成的情况下,所述转换处理部不对从所述摄像元件送到所述图像处理部的所述图像信息实施所述拜尔转换处理。
根据本方式,当与内窥镜镜体连接并将内窥镜镜体插入体腔内,并由摄像元件取得被摄体的图像信息时,由图像处理部对该图像信息进行处理,生成观察图像。在该情况下,由排列检测部检测从所连接的内窥镜镜体的摄像元件输出的图像信息是否由拜尔排列构成。
而且,在由排列检测部检测出未由拜尔排列构成图像信息的情况下,由转换处理部对来自摄像元件的图像信息实施拜尔转换处理并送到图像处理部,在由排列检测部检测出由拜尔排列构成图像信息的情况下,不由转换处理部对来自摄像元件的图像信息实施拜尔转换处理而送到图像处理部。
因此,根据拜尔处理用的图像处理部,能够与摄像元件的滤光片排列无关地由拜尔处理用的图像处理部高精度地生成观察图像,而不用改良拜尔处理用的图像处理部。
在上述方式中,也可以是,所述内窥镜处理器具有光种类检测部,该光种类检测部对照射到被摄体的照明光为白色光和该白色光中包含的规定的窄带光中的哪一个进行检测,在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成、并且由所述光种类检测部检测出所述照明光为所述白色光的情况下,所述转换处理部对所述图像信息进行转换使得G像素的配置为交替格子状,在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成、并且由所述光种类检测部检测出所述照明光为所述窄带光的情况下,所述转换处理部对所述图像信息进行转换使得Cy像素的配置为交替格子状。
利用转换处理部,在照明光为白色光的情况下,对图像信息进行转换使得与B像素、R像素均存在较高相关的G像素的配置为交替格子状,在照明光为窄带光的情况下,对图像信息进行转换使得与B像素、G像素均存在较高相关的Cy像素的配置为交替格子状,由此,能够由图像处理部生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,所述转换处理部对所述图像信息进行转换,使得在所述照明光为所述白色光的情况和所述照明光为所述窄带光的情况下,在进行所述拜尔转换处理之后,呈交替格子状地配置的像素的位置一致。
通过以这样的方式构成,呈交替格子状地配置的像素的位置一致,而不取决于照明光,由此,能够在不按照每个照明光改变图像处理部的参数的情况下,生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成的情况下,所述转换处理部对所述图像信息的补色像素进行颜色转换,转换为仅原色像素的拜尔排列。
通过以这样的方式构成,即使在包含补色像素的情况下,也能够在不变更图像处理部的处理电路的情况下,生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,所述转换处理部在对所述图像信息实施边缘强调处理之后,实施所述拜尔转换处理。
通过以这样的方式构成,在由图像处理部进行去马赛克处理的情况下,能够生成方向判別的精度提高、分辨感提高的观察图像。
本发明的第3方式是一种内窥镜用适配器,该内窥镜用适配器将内窥镜镜体与拜尔处理用的图像处理装置连接,该内窥镜镜体具有取得被摄体的图像信息的摄像元件,该内窥镜镜体被插入体腔内,该拜尔处理用的图像处理装置根据由所述摄像元件取得的图像信息来生成观察图像,其中,该内窥镜用适配器具有:排列检测部,其检测从与所述图像处理装置连接的所述内窥镜镜体的所述摄像元件输出的所述图像信息是否由拜尔排列构成;以及转换处理部,在由该排列检测部检测出未由所述拜尔排列构成的情况下,所述转换处理部实施将从所述摄像元件送到所述图像处理装置的所述图像信息转换为拜尔排列的拜尔转换处理,在检测出由所述拜尔排列构成的情况下,所述转换处理部不对从所述摄像元件送到所述图像处理装置的所述图像信息实施所述拜尔转换处理。
根据本方式,当将内窥镜镜体与图像处理装置连接并将内窥镜镜体插入体腔内,并由摄像元件取得被摄体的图像信息时,由图像处理装置对该图像信息进行处理,而生成观察图像。在该情况下,由对应检测部检测从内窥镜镜体的摄像元件输出的图像信息是否由拜尔排列构成。
而且,在由排列检测部检测出未由拜尔排列构成图像信息的情况下,由转换处理部对来自摄像元件的图像信息实施拜尔转换处理并送到图像处理装置,在由排列检测部检测出由拜尔排列构成图像信息的情况下,不由转换处理部对来自摄像元件的图像信息实施拜尔转换处理而送到图像处理装置。
因此,根据拜尔处理用的图像处理装置,能够与摄像元件的滤光片排列无关地由拜尔处理用的图像处理装置高精度地生成观察图像,而不用改良拜尔处理用的图像处理装置。
在上述方式中,也可以是,所述内窥镜适配器具有光种类检测部,该光种类检测部对照射到所述被摄体的照明光为白色光和该白色光中包含的规定的窄带光中的哪一个进行检测,在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成、并且由所述光种类检测部检测出所述照明光为所述白色光的情况下,所述转换处理部对所述图像信息进行转换使得G像素的配置为交替格子状,在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成、并且由所述光种类检测部检测出所述照明光为所述窄带光的情况下,所述转换处理部对所述图像信息进行转换使得Cy像素的配置为交替格子状。
利用转换处理部,在照明光为白色光的情况下,对图像信息进行转换使得与B像素、R像素均存在较高相关的G像素的配置为交替格子状,在照明光为窄带光的情况下,对图像信息进行转换使得与B像素、G像素均存在较高相关的Cy像素的配置为交替格子状,由此,能够由图像处理装置生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,所述转换处理部对所述图像信息进行转换,使得在所述照明光为所述白色光的情况和所述照明光为所述窄带光的情况下,在进行所述拜尔转换处理之后,呈交替格子状地配置的像素的位置一致。
通过以这样的方式构成,呈交替格子状地配置的像素的位置一致,而不取决于照明光,由此,能够在不按照每个照明光改变图像处理装置的参数的情况下,生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成的情况下,所述转换处理部对所述图像信息的补色像素进行颜色转换,转换为仅原色像素的拜尔排列。
通过以这样的方式构成,即使在包含补色像素的情况下,也能够在不变更图像处理装置的处理电路的情况下,生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
在上述方式中,也可以是,所述转换处理部在对所述图像信息实施边缘强调处理之后,实施所述拜尔转换处理。
通过以这样的方式构成,在由图像处理装置进行去马赛克处理的情况下,能够生成方向判別的精度提高、分辨感提高的观察图像。
发明效果
根据本发明,能够与摄像元件的滤光片排列无关地使用拜尔处理用的图像处理装置来高精度地生成观察图像,而不用改良拜尔处理用的图像处理装置。
附图说明
图1是具有本发明的第1实施方式的内窥镜的内窥镜装置的概略结构图。
图2是示出图1的内窥镜装置的结构的框图。
图3是示出图1的内窥镜装置的更加详细的结构的框图。
图4是示出滤色器的一例的图。
图5是示出摄像元件的分光特性的一例的适配器。
图6是说明由图1的内窥镜装置生成观察图像的方法的流程图。
图7是说明图6的流程图的可对应/不可对应检测处理的流程图。
图8是说明图1的内窥镜装置的图像数据的拜尔转换处理的图。
图9是示出本发明的第1实施方式的变形例的内窥镜装置的结构的框图。
图10是说明由图9的内窥镜装置生成观察图像的方法的流程图。
图11是说明图9的内窥镜装置的图像数据的拜尔转换处理的图。
图12是示出本发明的第2实施方式的内窥镜装置的结构的框图。
图13是示出本发明的第3实施方式的内窥镜装置的结构的框图。
图14是示出本发明的各实施方式的作为第1变形例的滤色器的一例的图。
图15是示出本发明的各实施方式的作为第1变形例的摄像元件的分光特性的一例的图。
图16是说明使用图14的滤色器的情况下的图像数据的拜尔转换处理的图。
图17是说明本发明的各实施方式的作为第2变形例的拜尔转换处理的一例的图。
图18是说明本发明的各实施方式的作为第3变形例的拜尔转换处理的一例的图。
图19是说明本发明的各实施方式的作为第4变形例的拜尔转换处理的一例的图。
图20是说明本发明的各实施方式的作为第5变形例的拜尔转换处理的一例的图。
具体实施方式
[第1实施方式]
下面,参照附图对本发明的第1实施方式的内窥镜镜体进行说明。
本实施方式的内窥镜(内窥镜镜体)1例如用于如图1所示的内窥镜装置101。
如图1、图2和图3所示,内窥镜装置101具有:上述内窥镜1,其具有插入被检体(省略图示)的体腔内的插入部9,由插入部9拍摄观察部位的体内图像而生成图像信号(电信号、图像信息);光源部3,其产生从内窥镜1的插入部9的前端射出的照明光;处理器部(内窥镜处理器)5,其具有对内窥镜1取得的图像信号实施规定的图像处理的图像处理部63,统一控制内窥镜装置101整体的动作;以及显示部7,其显示由处理器部5实施图像处理后的体内图像。
内窥镜1具有:所述插入部9,其具有挠性并呈细长形状;操作部11,其与插入部9的基端侧连接,受理各种操作信号的输入;以及通用缆线13,其从操作部11向与插入部9延伸的方向不同的方向延伸,并内置与光源部3和处理器部5连接的各种缆线。
插入部9具有:前端部15,其内置有摄像元件31,在该摄像元件31中,接收光的像素(光电二极管)呈格子(矩阵)状地排列,通过对该像素接收到的光进行光电转换而生成图像信号;弯曲部17,其由多个弯曲块构成,且弯曲自如;以及挠性管部19,其与弯曲部17的基端侧连接,呈长条状且具有挠性。
操作部11具有:弯曲旋钮21,其使弯曲部17在上下方向和左右方向上弯曲;处置器械插入部23,其将活体钳子、电刀和检査探针等处置器械插入到被检体的体腔内;以及多个开关25,其输入用于使光源部3进行照明光的切换动作的指示信号、与处置器械或处理器部5连接的外部设备的操作指示信号、用于进行送水的送水指示信号和用于进行抽吸的抽吸指示信号等。
从处置器械插入部23插入的处置器械经由设置于前端部15的前端的处置器械通道(未图示)从开口部(未图示)露出。
通用缆线13至少内置如图3所示的光导27和集中了一个或者多个信号线的集合缆线(省略图示)。
集合缆线是在内窥镜1和光源部3与处理器部5之间收发信号的信号线,且包含用于收发设定数据的信号线、用于收发图像信号的信号线、用于收发用于驱动摄像元件31的驱动用定时信号的信号线等。
此外,如图2和图3所示,内窥镜1具有摄像光学系统29、所述摄像元件31、A/D转换部33、可对应/不可对应检测处理部(对应检测部)35、输出形式切换部37、拜尔转换处理部(转换处理部)39、摄像信息存储部41和照明用透镜43。
摄像光学系统29设置于插入部9的前端部15,会聚至少来自观察部位的光。该摄像光学系统29使用一个或多个透镜构成。摄像光学系统29可以设置有使视场角变化的光学变焦机构和使焦点变化的对焦机构。
摄像元件31设置成与摄像光学系统29的光轴垂直,对通过摄像光学系统29形成的光的像进行光电转换而生成图像信号(电信号、图像信息)。摄像元件31使用CCD(ChargeCoupled Device;电荷耦合元件)图像传感器或CMOS(Complementary Metal OxideSemiconductor;互补性金属氧化膜半导体)图像传感器等来实现。
在构成摄像元件31的各像素上配置有如图3和图4所示的滤色器31a。
滤色器31a例如为滤光片配置,该滤光片配置具有作为原色像素的R像素、G像素和B像素、以及作为补色像素的Cy像素。在图4的例子中,Cy像素以整体的1/2的比例呈交替格子状地配置,G像素以整体的1/4的比例配置,B像素和R像素分别以整体的1/8的比例配置。
此外,摄像元件31例如示出图5所示的分光特性。B像素在蓝色的波段HB具有感光度,G像素在绿色的波段HG具有感光度,R像素在红色的波段HR具有感光度,Cy像素在蓝色的波段HB和绿色的波段HG具有感光度。
A/D转换部33将由摄像元件31生成的模拟形式的图像信号转换为数字形式的图像数据,送到输出形式切换部37。
可对应/不可对应检测处理部35检测处理器部5的图像处理部63是否对应于由利用滤色器31a使原色像素和补色像素混合存在的排列构成的图像信息、即、图像处理部63是否能够进行对应于摄像元件31的滤光片配置的处理,将检测信号输出到输出形式切换部37。
在可对应/不可对应检测处理部35的可对应/不可对应检测结果为可对应的情况下,输出形式切换部37将来自A/D转换部33的图像数据直接输出到处理器部5,在不可对应的情况下,输出形式切换部37将来自A/D转换部33的图像数据输出到拜尔转换处理部39。
拜尔转换处理部39对从输出形式切换部37送来的摄像元件31的滤光片配置的图像数据实施拜尔转换处理并转换为拜尔排列,将转换后的图像数据输出到处理器部5。
光导27使用玻璃纤维等构成,引导从光源部3射出的光。
照明用透镜43配置于光导27的前端附近,使由光导27引来导的光扩散并射出到前端部15的外部。
摄像信息存储部41存储数据,该数据包含用于使内窥镜1动作的各种程序、内窥镜1的动作所需的各种参数和内窥镜1的识别信息等。此外,如图3所示,摄像信息存储部41具有存储识别信息的识别信息存储部45。识别信息中包含内窥镜1的固有信息(ID)、年份、规格信息、传输方式和滤色器31a涉及的滤光片的排列信息(滤光片排列信息)等。该摄像信息存储部41使用闪存等来实现。
如图3所示,光源部3具有照明部47和照明控制部49。
照明部47根据照明控制部49的控制,切换射出波段相互不同的多个照明光。该照明部47具有光源51、光源驱动器53、切换滤光片55、驱动部57、驱动器59和聚光透镜61。
光源51根据照明控制部49的控制,射出包含红色、绿色和蓝色的波段HB、HG和HR的光在内的白色照明光。从光源51发出的白色照明光经由切换滤光片55、聚光透镜61和光导27而从插入部9的前端部15射出到外部。该光源51使用白色LED或氙气灯等发出白色光的光源来实现。
光源驱动器53根据照明控制部49的控制,对光源51供给电流,从光源51射出白色照明光。
切换滤光片55仅使从光源51射出的白色照明光中的蓝色的窄带光和绿色的窄带光透过。此外,切换滤光片55根据照明控制部49的控制,配置成能够在从光源51射出的白色照明光的光路上插拔。
该切换滤光片55通过配置在白色照明光的光路上,仅使两个窄带光透过。具体而言,切换滤光片55使由波段HB所包含的窄带TB(例如,390nm~445nm)的光和波段HG所包含的窄带TG(例如,530nm~550nm)的光构成的窄带照明光透过。
该窄带TB、TG是容易被血液中的血红蛋白吸收的蓝色光和绿色光。作为窄带TB,至少包含405nm~425nm即可。将受该波段限制而射出的光称作窄带照明光、将利用该窄带照明进行的图像的观察称作窄带光观察(NBI)方式。
驱动部57由步进电动机或DC电动机等构成,使切换滤光片55相对于光源的光路进行插拔动作。
驱动器59根据照明控制部49的控制,向驱动部57供给规定的电流。
聚光透镜61使从光源51射出的白色照明光或在切换滤光片55中透过的窄带照明光会聚而射出到光源部3的外部(光导27)。
照明控制部49由光源驱动器53使光源51进行开启和关闭动作,并且由驱动器59使切换滤光片55相对于光源51的光路进行插拔动作,由此控制从照明部47射出的照明光的种类(波段)。
具体而言,照明控制部49通过使切换滤光片55相对于光源51的光路进行插拔动作,进行将从照明部47射出的照明光切换为白色照明光和窄带照明光中的任意照明光的控制。换言之,照明控制部49进行切换到白色照明光观察(WLI)方式和窄带光观察(NBI)方式中的任意的观察方式的控制,该白色照明光观察(WLI)方式使用包含波段HB、HG和HR的光在内的白色照明光,该窄带光观察(NBI)方式使用由窄带TB、TG的光构成的窄带照明光。
处理器部5具有所述图像处理部63、输入部65、存储部67和控制部69。
图像处理部63对从内窥镜1送来的图像数据执行规定的图像处理,生成由显示部7显示的显示图像信号。作为图像处理,除了去马赛克处理以外,还进行OB钳位(clamp)处理或增益调整等。在OB钳位处理中,对从内窥镜1输入的图像数据,实施校正黑电平的偏移量的处理。在增益调整处理中,对实施去马赛克处理后的图像数据实施明亮度级别的调整处理。
输入部65是用于进行用户针对处理器部5的输入等的接口。该输入部65构成为包含用于进行电源的接通/断开的电源开关、用于切换摄影模式或其他各种模式的模式切换按钮、用于切换光源部3的照明光的照明光切换按钮等。
存储部67存储用于使内窥镜装置101动作的各种程序、以及包括内窥镜装置101的动作所需的各种参数在内的数据。此外,存储部67可以存储内窥镜1涉及的信息,例如内窥镜1的固有信息(ID)与滤色器31a的滤光片配置涉及的信息之间的关系表(图像处理部63的对应滤色器表)等。该存储部67使用闪存或DRAM(Dynamic Random Access Memory:动态随机存取存储器)等半导体存储器来实现。
控制部69使用CPU等构成,进行包含内窥镜1和光源部3的各结构部的驱动控制、以及针对各结构部的信息的输入输出控制等。此外,控制部69经由规定的信号线而向内窥镜1发送存储部67所记录的摄像控制用的设定数据(例如,读出对象的像素等)或摄像时刻涉及的时刻信号等。
显示部7经由影像缆线接收由处理器部5生成的显示图像信号,并显示与接收到的显示图像信号对应的体内图像。该显示部7使用液晶或有机EL(Electro Luminescence:电致发光)构成。
参照图6的流程图来说明以这样的方式构成的内窥镜装置101的作用。
为了由本实施方式的内窥镜装置101生成观察图像,首先,将内窥镜1与处理器部5连接。当开始拍摄的准备完成时,由可对应/不可对应检测处理部35检测图像处理部63是否能够进行对应于摄像元件31的滤光片配置的处理(步骤SA1)。
这里,参照图7的流程图来说明步骤SA1的可对应/不可对应检测处理。
首先,由可对应/不可对应检测处理部35读入内窥镜1的识别信息存储部45所存储的摄像元件31的滤光片配置信息(步骤SB1),并且读入存储部67所存储的图像处理部63的对应滤色器表(步骤SB2),对这些信息进行比较(步骤SB3)。
接着,在由可对应/不可对应检测处理部35检测出内窥镜1与处理器部5对应的情况下,设定为“可”对应(步骤SB4),在检测出内窥镜1与处理器部5未对应的情况下,设定为“不可”对应(步骤SB5),将这些可对应/不可对应检测结果输出到输出形式切换部37(步骤SB6)。
返回图6的流程图,开始被摄体的拍摄(步骤SA2)。由光源部3对被检体照射照明光,由内窥镜1的摄像元件31拍摄被摄体,由处理器部5的图像处理部63对由摄像元件31取得的图像数据实施各种信号处理,而生成彩色图像。
接着,由输出形式切换部37根据可对应/不可对应检测处理部35的可对应/不可对应结果切换输出形式(步骤SA3)。具体而言,在由可对应/不可对应检测处理部35设定为“可”对应的情况下,由输出形式切换部37将在步骤SA2中由摄像元件31取得的图像数据直接输出到处理器部5。
另一方面,在由可对应/不可对应检测处理部35设定为“不可”对应的情况下,由输出形式切换部37将在步骤SA2中由摄像元件31取得的图像数据输出到拜尔转换处理部39(步骤SA4)。而且,由拜尔转换处理部39将混合存在有原色像素和补色像素的摄像元件31的滤光片配置的图像数据转换为原色拜尔排列。
例如,如图8所示,使用由摄像元件31取得的像素值,通过插值处理将图像数据转换为原色拜尔排列的数据。在图8中以整体的1/4的比例配置的G像素被插补为整体的1/2,以整体的1/8的比例配置的R像素和B像素分别被插补为整体的1/4,而转换为拜尔排列。插值处理可以使用现有的处理来实现,例如,可以使用双线性插值、三次插值、方向判別插值等。由拜尔转换处理部39转换后的图像数据输出到处理器部5。
在处理器部5中,由图像处理部63对从内窥镜1送出的图像数据实施各种图像处理,而生成显示图像信号(步骤SA5)。由图像处理部63生成的显示图像信号送到显示部7,将与显示图像信号对应的体内图像显示到显示部7(步骤SA6)。
如以上所说明那样,根据具有本实施方式的内窥镜1的内窥镜装置101,能够与摄像元件31和图像处理部63的组合对应地切换内窥镜1的输出形式。因此,在使用混合存在有原色像素和补色像素的滤光片配置的摄像元件31来拍摄时,无论在图像处理部63对应于摄像元件31的情况下,还是图像处理部63仅对应于原色拜尔排列的情况下,都能够获得期望的输出图像。
而且,根据本实施方式的内窥镜1,即使在图像处理部63仅对应于原色拜尔排列的情况下,也能够与摄像元件31的滤光片排列无关地,在不改良拜尔处理用的图像处理部63的情况下由拜尔处理用的图像处理部63高精度地生成观察图像。
本实施方式的内窥镜1能够如下那样变形。
例如,如图9所示,内窥镜1可以替代拜尔转换处理部39,而具有与光源部3的种类对应地切换拜尔转换处理的内容的拜尔转换处理部71,并且,具有光源种类检测处理部(光种类检测部)73,该光源种类检测处理部73检测照明光为白色照明光和窄带照明光中的哪一个、即,光源部3的种类为WLI方式用和NBI方式用中的哪一个。
此外,拜尔转换处理部71可以具有:WLI用转换处理部75,其在照明光为白色照明光的情况、即、由光源种类检测处理部73检测出光源部3为WLI方式用的情况下,将图像数据转换成G像素为交替格子状的拜尔排列;以及NBI用转换处理部77,其在照明光为窄带照明光的情况、即、由光源种类检测处理部73检测出光源部3为NBI方式用的情况下,将图像数据转换成Cy像素为交替格子状的拜尔排列。
在该情况下,如图10的流程图所示,在步骤SA3中由可对应/不可对应检测处理部35检测出图像处理部63不对应于摄像元件31的滤光片配置的情况下,由光源种类检测处理部73检测光源部3的种类(步骤SC1)。
然后,在由光源种类检测处理部73检测出光源部3为WLI方式用的情况下,由WLI用转换处理部75转换成在步骤SA2中由摄像元件31取得的图像数据中的G像素为交替格子状的拜尔排列(步骤SC2、WLI用转换处理)。如图11所示,WLI用转换处理与图8所示的第1实施方式的处理相同。
另一方面,在由光源种类检测处理部73检测出光源部3为NBI方式用的情况下,由NBI用转换处理部77转换成在步骤SA2中由摄像元件31取得的图像数据中的Cy像素为交替格子状的拜尔排列(步骤SC3、NBI用转换处理)。
在图11所示的NBI用转换处理中,Cy像素以交替格子状的形式保留,通过插值处理求出了R像素位置的B。输出的图像数据成为如下的拜尔排列:颜色的种类与原色RGB不同,但一种呈交替格子状地配置,剩余的两种分别以整体的1/4的密度配置。
在NBI方式的情况下,照射B的窄带光和G的窄带光,因此,能够在R像素中取得信息。因此,在NBI用转换处理的情况下,转换为由不包含R像素的Cy像素、G像素、B像素构成的拜尔排列数据。
由WLI用转换处理部75进行拜尔转换后的图像数据和由NBI用转换处理部77进行拜尔转换后的图像数据送到处理器部5。在处理器部5中,由图像处理部63对从内窥镜1送来的图像数据实施各种图像处理,生成显示图像信号(步骤SA5)。
例如,在WLI方式的情况下,利用与呈交替格子状地配置的G像素相关来对图像数据实施B像素和R像素的去马赛克处理。此外,在NBI方式的情况下,利用与呈交替格子状地配置的Cy像素的相关来对图像数据实施G像素和B像素的去马赛克处理。
在任意一个的情况下,由于作为插值对象的像素(在WLI方式中,B像素和R像素,在NBI方式中,G像素和B像素)与交替格子状的像素(在WLI方式中,G像素,在NBI方式中,Cy像素)的相关都较高,因此能够输出活用了拜尔排列用去马赛克处理的性能的高精度的插值图像。
根据本变形例,除了上述本实施方式的效果以外,还能够不依赖于观察方式而输出较高的分辨率的图像。在拜尔排列用的去马赛克处理中,使用与呈交替格子状地配置的像素(原色拜尔排列中的G像素)的相关来进行高精度的插值处理。在WLI方式的情况下,进行转换使得与B像素、R像素均存在较高相关的G像素为交替格子状,在NBI方式的情况下,进行转换使得与B像素、G像素均存在较高相关的Cy像素为交替格子状,由此,能够生成活用了拜尔排列用去马赛克处理的性能的高精度的输出图像。
〔第2实施方式〕
下面,参照附图对本发明的第2实施方式的内窥镜处理器进行说明。
本实施方式的处理器部(内窥镜处理器)81例如用于图12所示的内窥镜装置102。
内窥镜装置102在以下方面与第1实施方式不同:替代内窥镜1,采用不具有可对应/不可对应检测处理部35、输出形式切换部37、拜尔转换处理部39的所述内窥镜83,并且处理器部81具有可对应/不可对应检测处理部(排列检测部)85、输出形式切换部37、拜尔转换处理部39。
在本实施方式的说明中,对结构与上述的第1实施方式的内窥镜装置101相同的部位标注同一标号并省略说明。
可对应/不可对应检测处理部85检测从与处理器部81连接的内窥镜83的摄像元件31输出的图像数据是否由拜尔排列构成、即、摄像元件31的滤光片配置是否对应于处理器部81的图像处理部63的处理。
本实施方式的图像处理部63仅对应于原色拜尔排列。
对这样的方式构成的内窥镜装置102的作用进行说明。
当将内窥镜83与处理器部81连接时,由可对应/不可对应检测处理部85检测出内窥镜83与处理器部81未对应而设定为“不可”对应(步骤SB5),将可对应/不可对应检测结果输出到输出形式切换部37(步骤SB6)。
接着,依照可对应/不可对应检测处理部85的可对应/不可对应结果(这里,“不可”对应),由输出形式切换部37将在步骤SA2中由摄像元件31取得的图像数据输出到拜尔转换处理部39(步骤SA4)。
而且,由拜尔转换处理部39将混合存在有原色像素和补色像素的摄像元件31的滤光片配置的图像数据转换为原色拜尔排列。由此,由图像处理部63对转换为原色拜尔排列的图像数据实施各种图像处理,生成显示图像信号(步骤SA5)。
如以上所说明那样,根据本实施方式的处理器部81,根据拜尔处理用的图像处理部63,能够与摄像元件31的滤光片排列无关地由拜尔处理用的图像处理部63在不改良拜尔处理用的图像处理部63的情况下高精度地生成观察图像。
此外,可减轻内窥镜83内的处理,能够减少内窥镜83的成本。并且,与搭载有内窥镜83相比,搭载有处理器部81的电路基板更大,因此,能够进行复杂的处理,能够实现拜尔转换处理部39的处理的高精度化。
在第2实施方式中,也能够进行与第1实施方式的变形例相同的变形。
即,处理器部81可以替代拜尔转换处理部39,而具有拜尔转换处理部71和光源种类检测处理部73,该拜尔转换处理部71与光源部3的种类对应地切换拜尔转换处理的内容,该光源种类检测处理部73检测照明光为白色照明光和窄带照明光中的哪一个、即、光源部3的种类为WLI方式用和NBI方式用中的哪一个。
在该情况下,在由可对应/不可对应检测处理部85检测出摄像元件31的滤光片配置未对应于拜尔处理用的图像处理部63的情况下,由光源种类检测处理部73检测光源部3的种类即可。
而且,在照明光为白色照明光的情况、即、由光源种类检测处理部73检测出光源部3为WLI方式用的情况下,由WLI用转换处理部75转换成在步骤SA2中由摄像元件31取得的图像数据中的G像素为交替格子状的拜尔排列。此外,在照明光为窄带照明光的情况、即、由光源种类检测处理部73检测出光源部3为NBI方式用的情况下,由NBI用转换处理部77转换成在步骤SA2中由摄像元件31取得的图像数据中的Cy像素为交替格子状的拜尔排列即可。
在本变形例中,也与第1实施方式的变形例同样,能够生成活用了拜尔排列用的去马赛克处理的性能的高精度的输出图像。
〔第3实施方式〕
下面,参照附图对本发明的第3实施方式的内窥镜用适配器进行说明。
本实施方式的内窥镜用适配器91例如用于图13所示的内窥镜装置103,将内窥镜83与处理器部5连接。
内窥镜装置103在以下方面与第1实施方式和第2实施方式不同:内窥镜用适配器91具有可对应/不可对应检测处理部(排列检测部)93、输出形式切换部37、拜尔转换处理部39。
在本实施方式的说明中,对结构与上述的第1、第2实施方式的内窥镜装置101、102相同的部位标注同一标号并省略说明。
可对应/不可对应检测处理部93检测从与处理器部5连接的内窥镜83的摄像元件31输出的图像数据是否由拜尔排列构成、即、内窥镜83的摄像元件31的滤光片配置是否对应于图像处理部63的处理。
对这样的方式构成的内窥镜装置103的作用进行说明。
由可对应/不可对应检测处理部93检测出内窥镜83与处理器部5对应的情况下,设定为“可”对应(步骤SB4),在检测出内窥镜83与处理器部5没有对应的情况下,设定为“不可”对应(步骤SB5),将这些可对应/不可对应检测结果输出到输出形式切换部37(步骤SB6)。
接着,在由可对应/不可对应检测处理部93设定为“可”对应的情况下,由输出形式切换部37将在步骤SA2中由摄像元件31取得的图像数据直接输出到处理器部5,另一方面,在由可对应/不可对应检测处理部93设定为“不可”对应的情况下,由输出形式切换部37将在步骤SA2中由摄像元件31取得的图像数据输出到拜尔转换处理部39(步骤SA4)。
而且,由拜尔转换处理部39将混合存在有原色像素和补色像素的摄像元件31的滤光片配置的图像数据转换为原色拜尔排列。在处理器部5中,由图像处理部63对从内窥镜83送来的图像数据实施各种图像处理,生成显示图像信号(步骤SA5)。
根据具有这样构成的内窥镜用适配器91的内窥镜装置103,能够在不对内窥镜83和处理器部5施加变更的情况下,获得与第1实施方式相同的效果。
如以上所说明那样,根据本实施方式的内窥镜用适配器91,即使在图像处理部63仅对应于原色拜尔排列的情况下,也能够与摄像元件31的滤光片排列无关地由拜尔处理用的图像处理部63在不改良拜尔处理用的图像处理部63的情况下高精度地生成观察图像。此外,根据具有这样的内窥镜用适配器91的内窥镜装置103,能够在不对内窥镜83和处理器部5施加变更的情况下,获得与第1实施方式相同的效果。
在第3实施方式中,也能够进行与第1实施方式的变形例相同的变形。
即,处理器部5可以替代拜尔转换处理部39,而具有拜尔转换处理部71和光源种类检测处理部73,该拜尔转换处理部71与光源部3的种类对应地切换拜尔转换处理的内容,该光源种类检测处理部73检测照明光为白色照明光和窄带照明光中的哪一个、即、光源部3的种类为WLI方式用和NBI方式用中的哪一个。
在该情况下,在由可对应/不可对应检测处理部35检测出摄像元件31的滤光片配置不对应于图像处理部63的处理的情况下,由光源种类检测处理部73检测光源部3的种类即可。
而且,在照明光为白色照明光的情况、即、由光源种类检测处理部73检测出光源部3为WLI方式用的情况下,由WLI用转换处理部75转换成在步骤SA2中由摄像元件31取得的图像数据中的G像素为交替格子状的拜尔排列。此外,在照明光为窄带照明光的情况、即、由光源种类检测处理部73检测出光源部3为NBI方式用的情况下,由NBI用转换处理部77转换成在步骤SA2中由摄像元件31取得的图像数据中的Cy像素为交替格子状的拜尔排列即可。
在本变形例中,也能够与第1实施方式的变形例和第2实施方式的变形例同样,生成活用了拜尔排列用去马赛克处理的性能的高精度的输出图像。
上述各实施方式能够如下那样变形。
在上述各实施方式中,使用图4所示的滤色器31a进行了说明,但滤色器配置不限于此,只要是混合存在有原色像素和补色像素的滤光片配置即可。例如,作为第1变形例,可以采用如图14所示的滤光片配置的滤色器31b。
图14所示的滤光片配置将图4的滤光片配置中的R像素置换为补色的Mg像素。Mg像素在蓝色的波段HB和红色的波段HR分别具有感光度。
摄像元件31例如示出图15所示的分光特性。
在图14所示的滤光片配置的情况下,在由拜尔转换处理部39转换为拜尔排列时,图像数据成为包含补色的Mg的拜尔排列。这时,在由图像处理部63生成输出图像时,通过颜色转换处理生成R像素。在图16中,在进行去马赛克处理之后进行颜色转换处理,生成R信息,但当然也可以在进行去马赛克之前仅对Mg像素位置进行颜色转换,之后进行去马赛克处理。
由此,由于颜色转换处理的参数大多能够从外部输入,所以即使在包含Mg像素的情况下,也能够在不变更处理器部5的处理电路的情况下,获得上述各实施方式的效果。
此外,作为第2变形例,如图17所示,也可以由拜尔转换处理部39进行颜色转换处理,将图像数据转换为仅原色像素的拜尔排列并输出。
由此,即使在包含Mg像素的情况下,处理器部5也可以在还包含参数在内不进行任何变更的情况下,获得上述各实施方式的效果。即,能够生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
此外,作为第3变形例,如图18所示,可以通过摄像元件31的滤光片配置用的去马赛克处理,针对图像数据在全部像素位置处生成RGB的信息而生成面序式图像,之后排列为拜尔排列并输出。
由此,在已经存在摄像元件31用的去马赛克处理的情况下,无需新开发用于从摄像元件31转换到拜尔排列的插值处理,能够获得上述各实施方式的效果。
此外,作为第4变形例,如图19所示,也可以在由拜尔转换处理部39对图像数据进行边缘强调处理之后,转换为拜尔排列并输出。
通过临时进行边缘强调处理,能够在由图像处理部63进行去马赛克处理的情况下,生成方向判別的精度提高等分辨感提高的观察图像。
在第1实施方式的变形例的图11中,在WLI用转换处理的情况和NBI用转换处理的情况下,呈交替格子状地配置的像素位置不同,但作为第5变形例,也可以如图20所示,在WLI用转换处理的情况和NBI用转换处理的情况下,以使拜尔转换后的呈交替格子状地配置的像素位置相同的方式对图像数据进行拜尔转换。
由此,呈交替格子状地配置的像素位置相同,而不取决于光源部3,因此,能够在不按照每个光源改变处理器部5的参数的情况下,获得与上述各实施方式的变形例相同的效果。即,能够生成活用了拜尔排列用的去马赛克处理的性能的高精度的观察图像。
以上,参照附图对本发明的实施方式进行了具体说明,但是具体结构不限于该实施方式,还包含不脱离本发明主旨范围的设计变更等。例如,不限于将本发明应用于上述各实施方式和变形例,还可以应用于适当组合了这些实施方式和变形例的实施方式,没有特别限定。
标号说明
1、83:内窥镜(内窥镜镜体);31:摄像元件;31a:滤色器;35:可对应/不可对应检测处理部(对应检测部);39、71:拜尔转换处理部(转换处理部);63:图像处理部(图像处理装置);73:光源种类检测处理部(光种类检测部);85、93:可对应/不可对应检测处理部(排列检测部);81:处理器部(内窥镜处理器);91:内窥镜用适配器。
Claims (17)
1.一种内窥镜镜体,其具有:
摄像元件,其取得被摄体的图像信息;
滤色器,其配置在该摄像元件的像素上,该滤色器中混合存在有原色像素和补色像素;
对应检测部,其检测图像处理装置是否对应于由混合存在有所述原色像素和所述补色像素的排列构成的图像信息,该图像处理装置根据经由该滤色器而由所述摄像元件取得的所述图像信息来生成观察图像;以及
转换处理部,其在由该对应检测部检测出未对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息的情况下,实施将从所述摄像元件送到所述图像处理装置的所述图像信息转换为拜尔排列的拜尔转换处理,在检测出对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息的情况下,不对从所述摄像元件送到所述图像处理装置的所述图像信息实施所述拜尔转换处理。
2.根据权利要求1所述的内窥镜镜体,其中,
所述补色像素为Cy像素。
3.根据权利要求2所述的内窥镜镜体,其中,
所述滤色器是由所述补色像素呈交替格子状地配置而成的。
4.根据权利要求2或3所述的内窥镜镜体,其中,
所述内窥镜镜体具有光种类检测部,该光种类检测部对照射到所述被摄体的照明光为白色光和该白色光中包含的规定的窄带光中的哪一个进行检测,
在由所述对应检测部检测出所述图像处理装置未对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息、并且由所述光种类检测部检测出所述照明光为所述白色光的情况下,所述转换处理部对所述图像信息进行转换使得G像素的配置为交替格子状,在由所述对应检测部检测出所述图像处理装置未对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息、并且由所述光种类检测部检测出所述照明光为所述窄带光的情况下,所述转换处理部对所述图像信息进行转换使得Cy像素的配置为交替格子状。
5.根据权利要求4所述的内窥镜镜体,其中,
所述转换处理部对所述图像信息进行转换,使得在所述照明光为所述白色光的情况和所述照明光为所述窄带光的情况下,在进行所述拜尔转换处理之后,呈交替格子状地配置的像素的位置一致。
6.根据权利要求1至5中的任意一项所述的内窥镜镜体,其中,
在由所述对应检测部检测出所述图像处理装置未对应于由混合存在有所述原色像素和所述补色像素的排列构成的所述图像信息的情况下,所述转换处理部对所述图像信息的所述补色像素进行颜色转换,转换为仅原色像素的拜尔排列。
7.根据权利要求1至6中的任意一项所述的内窥镜镜体,其中,
所述转换处理部在对所述图像信息实施边缘强调处理之后,实施所述拜尔转换处理。
8.一种内窥镜处理器,其具有:
拜尔处理用的图像处理部,其根据由内窥镜镜体的摄像元件取得的图像信息,生成观察图像;
排列检测部,其检测从所述内窥镜处理器所连接的所述内窥镜镜体的所述摄像元件输出的所述图像信息是否由拜尔排列构成;以及
转换处理部,在由该排列检测部检测出未由所述拜尔排列构成的情况下,所述转换处理部实施将从所述摄像元件送到所述图像处理部的所述图像信息转换为拜尔排列的拜尔转换处理,在检测出由所述拜尔排列构成的情况下,所述转换处理部不对从所述摄像元件送到所述图像处理部的所述图像信息实施所述拜尔转换处理。
9.根据权利要求8所述的内窥镜处理器,其中,
所述内窥镜处理器具有光种类检测部,该光种类检测部对照射到被摄体的照明光为白色光和该白色光中包含的规定的窄带光中的哪一个进行检测,
在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成、并且由所述光种类检测部检测出所述照明光为所述白色光的情况下,所述转换处理部对所述图像信息进行转换使得G像素的配置为交替格子状,在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成、并且由所述光种类检测部检测出所述照明光为所述窄带光的情况下,所述转换处理部对所述图像信息进行转换使得Cy像素的配置为交替格子状。
10.根据权利要求9所述的内窥镜处理器,其中,
所述转换处理部对所述图像信息进行转换,使得在所述照明光为所述白色光的情况和所述照明光为所述窄带光的情况下,在进行所述拜尔转换处理之后,呈交替格子状地配置的像素的位置一致。
11.根据权利要求8至10中的任意一项所述的内窥镜处理器,其中,
在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成的情况下,所述转换处理部对所述图像信息的补色像素进行颜色转换,转换为仅原色像素的拜尔排列。
12.根据权利要求8至11中的任意一项所述的内窥镜处理器,其中,
所述转换处理部在对所述图像信息实施边缘强调处理之后,实施所述拜尔转换处理。
13.一种内窥镜用适配器,其将内窥镜镜体与拜尔处理用的图像处理装置连接,该内窥镜镜体具有取得被摄体的图像信息的摄像元件,该内窥镜镜体被插入体腔内,该拜尔处理用的图像处理装置根据由所述摄像元件取得的图像信息来生成观察图像,其中,该内窥镜用适配器具有:
排列检测部,其检测从与所述图像处理装置连接的所述内窥镜镜体的所述摄像元件输出的所述图像信息是否由拜尔排列构成;以及
转换处理部,在由该排列检测部检测出未由所述拜尔排列构成的情况下,所述转换处理部实施将从所述摄像元件送到所述图像处理装置的所述图像信息转换为拜尔排列的拜尔转换处理,在检测出由所述拜尔排列构成的情况下,所述转换处理部不对从所述摄像元件送到所述图像处理装置的所述图像信息实施所述拜尔转换处理。
14.根据权利要求13所述的内窥镜用适配器,其中,
所述内窥镜用适配器具有光种类检测部,该光种类检测部对照射到所述被摄体的照明光为白色光和该白色光中包含的规定的窄带光中的哪一个进行检测,
在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成、并且由所述光种类检测部检测出所述照明光为所述白色光的情况下,所述转换处理部对所述图像信息进行转换使得G像素的配置为交替格子状,在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成、并且由所述光种类检测部检测出所述照明光为所述窄带光的情况下,所述转换处理部对所述图像信息进行转换使得Cy像素的配置为交替格子状。
15.根据权利要求14所述的内窥镜用适配器,其中,
所述转换处理部对所述图像信息进行转换,使得在所述照明光为所述白色光的情况和所述照明光为所述窄带光的情况下,在进行所述拜尔转换处理之后,呈交替格子状地配置的像素的位置一致。
16.根据权利要求13至15中的任意一项所述的内窥镜用适配器,其中,
在由所述排列检测部检测出所述图像信息未由所述拜尔排列构成的情况下,所述转换处理部对所述图像信息的补色像素进行颜色转换,转换为仅原色像素的拜尔排列。
17.根据权利要求13至16中的任意一项所述的内窥镜用适配器,其中,
所述转换处理部在对所述图像信息实施边缘强调处理之后,实施所述拜尔转换处理。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/081289 WO2018073959A1 (ja) | 2016-10-21 | 2016-10-21 | 内視鏡スコープ、内視鏡プロセッサおよび内視鏡用アダプタ |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109788891A true CN109788891A (zh) | 2019-05-21 |
Family
ID=62019264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680089947.1A Pending CN109788891A (zh) | 2016-10-21 | 2016-10-21 | 内窥镜镜体、内窥镜处理器和内窥镜用适配器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11571111B2 (zh) |
JP (1) | JP6743167B2 (zh) |
CN (1) | CN109788891A (zh) |
DE (1) | DE112016007230T5 (zh) |
WO (1) | WO2018073959A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116369824A (zh) * | 2023-04-11 | 2023-07-04 | 新光维医疗科技(苏州)股份有限公司 | 一种内窥镜图像处理系统及算法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019069414A1 (ja) | 2017-10-04 | 2019-04-11 | オリンパス株式会社 | 内視鏡装置、画像処理方法およびプログラム |
JP6648375B2 (ja) * | 2018-05-21 | 2020-02-14 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 撮像システム、及び移動体 |
KR102709413B1 (ko) | 2019-07-03 | 2024-09-24 | 삼성전자주식회사 | 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법 |
WO2024137967A1 (en) * | 2022-12-22 | 2024-06-27 | Stryker Corporation | Systems and methods for optical filter detection and identification |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1663285A (zh) * | 2002-06-18 | 2005-08-31 | 诺基亚公司 | 图像处理装置及方法、图象输出装置以及利用了它们的数字照相机装置及便携信息终端 |
JP2006067390A (ja) * | 2004-08-27 | 2006-03-09 | Olympus Corp | 撮像装置および再生装置 |
JP2006211610A (ja) * | 2005-01-31 | 2006-08-10 | Olympus Corp | 撮像システム |
CN101247529A (zh) * | 2007-01-26 | 2008-08-20 | 株式会社东芝 | 固体摄像装置 |
US7986358B1 (en) * | 2003-02-25 | 2011-07-26 | Matrox Electronic Systems, Ltd. | Bayer image conversion using a graphics processing unit |
JP2011156214A (ja) * | 2010-02-02 | 2011-08-18 | Hoya Corp | 撮像装置、及び電子内視鏡システム |
CN104205808A (zh) * | 2012-03-30 | 2014-12-10 | 株式会社尼康 | 摄像装置以及摄像元件 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4606838B2 (ja) | 2004-10-20 | 2011-01-05 | 富士フイルム株式会社 | 電子内視鏡装置 |
JP2007184905A (ja) * | 2005-12-07 | 2007-07-19 | Pentax Corp | 画像信号処理装置、および画像信号処理方法 |
US7697046B2 (en) | 2005-12-07 | 2010-04-13 | Hoya Corporation | Image signal processing device and method of image signal processing including pixel array pattern determination |
JP4683121B2 (ja) | 2008-12-08 | 2011-05-11 | ソニー株式会社 | 固体撮像装置、固体撮像装置の信号処理方法および撮像装置 |
TWI422020B (zh) | 2008-12-08 | 2014-01-01 | Sony Corp | 固態成像裝置 |
JP5460506B2 (ja) | 2009-09-24 | 2014-04-02 | 富士フイルム株式会社 | 内視鏡装置の作動方法及び内視鏡装置 |
JP2013125861A (ja) * | 2011-12-14 | 2013-06-24 | Sony Corp | 固体撮像素子および電子機器 |
JP6017276B2 (ja) | 2012-11-21 | 2016-10-26 | オリンパス株式会社 | 撮像装置 |
JP6147097B2 (ja) | 2013-05-31 | 2017-06-14 | Hoya株式会社 | 内視鏡及び内視鏡システム |
JP6196900B2 (ja) | 2013-12-18 | 2017-09-13 | オリンパス株式会社 | 内視鏡装置 |
JP6370604B2 (ja) | 2014-05-16 | 2018-08-08 | Hoya株式会社 | 内視鏡システム |
JP6038413B1 (ja) * | 2015-01-28 | 2016-12-07 | オリンパス株式会社 | 信号処理装置および内視鏡システム |
JP6732726B2 (ja) * | 2015-02-26 | 2020-07-29 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像方法、およびプログラム |
-
2016
- 2016-10-21 CN CN201680089947.1A patent/CN109788891A/zh active Pending
- 2016-10-21 JP JP2018546124A patent/JP6743167B2/ja active Active
- 2016-10-21 DE DE112016007230.9T patent/DE112016007230T5/de not_active Withdrawn
- 2016-10-21 WO PCT/JP2016/081289 patent/WO2018073959A1/ja active Application Filing
-
2019
- 2019-04-10 US US16/380,630 patent/US11571111B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1663285A (zh) * | 2002-06-18 | 2005-08-31 | 诺基亚公司 | 图像处理装置及方法、图象输出装置以及利用了它们的数字照相机装置及便携信息终端 |
US7986358B1 (en) * | 2003-02-25 | 2011-07-26 | Matrox Electronic Systems, Ltd. | Bayer image conversion using a graphics processing unit |
JP2006067390A (ja) * | 2004-08-27 | 2006-03-09 | Olympus Corp | 撮像装置および再生装置 |
JP2006211610A (ja) * | 2005-01-31 | 2006-08-10 | Olympus Corp | 撮像システム |
CN101247529A (zh) * | 2007-01-26 | 2008-08-20 | 株式会社东芝 | 固体摄像装置 |
JP2011156214A (ja) * | 2010-02-02 | 2011-08-18 | Hoya Corp | 撮像装置、及び電子内視鏡システム |
CN104205808A (zh) * | 2012-03-30 | 2014-12-10 | 株式会社尼康 | 摄像装置以及摄像元件 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116369824A (zh) * | 2023-04-11 | 2023-07-04 | 新光维医疗科技(苏州)股份有限公司 | 一种内窥镜图像处理系统及算法 |
Also Published As
Publication number | Publication date |
---|---|
JP6743167B2 (ja) | 2020-08-19 |
WO2018073959A1 (ja) | 2018-04-26 |
DE112016007230T5 (de) | 2019-06-13 |
US11571111B2 (en) | 2023-02-07 |
US20190231178A1 (en) | 2019-08-01 |
JPWO2018073959A1 (ja) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105792727B (zh) | 内窥镜装置 | |
CN105705075B (zh) | 图像处理装置及其工作方法 | |
CN105828693B (zh) | 内窥镜装置 | |
CN103262522B (zh) | 摄像装置 | |
CN103124515B (zh) | 摄像装置 | |
CN105101862B (zh) | 图像处理装置和内窥镜系统的工作方法 | |
CN107529969B (zh) | 图像处理装置以及内窥镜系统 | |
JP5222934B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 | |
CN109068945A (zh) | 图像处理装置、图像处理装置的工作方法及图像处理程序 | |
JP5914496B2 (ja) | 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法 | |
CN106999019B (zh) | 图像处理装置、图像处理方法、记录介质以及内窥镜装置 | |
CN109788891A (zh) | 内窥镜镜体、内窥镜处理器和内窥镜用适配器 | |
CN105163646B (zh) | 内窥镜 | |
CN108778091A (zh) | 内窥镜装置、图像处理装置、图像处理方法和程序 | |
CN106388756A (zh) | 图像处理装置及其工作方法以及内窥镜系统 | |
CN106455942B (zh) | 处理装置、内窥镜装置及系统、图像处理装置的工作方法 | |
CN105828692B (zh) | 内窥镜装置 | |
CN107105987B (zh) | 图像处理装置及其工作方法、记录介质和内窥镜装置 | |
CN105212885B (zh) | 医用图像处理装置及其工作方法、以及内窥镜系统 | |
CN107113405B (zh) | 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置 | |
JP6140100B2 (ja) | 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法 | |
CN107205629A (zh) | 图像处理装置和摄像系统 | |
CN104939791B (zh) | 医用图像处理装置及其工作方法 | |
JPH0479245B2 (zh) | ||
CN109310303A (zh) | 电子内窥镜处理器以及电子内窥镜系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20211231 |
|
AD01 | Patent right deemed abandoned |