[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2024166311A1 - 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置 - Google Patents

画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置 Download PDF

Info

Publication number
WO2024166311A1
WO2024166311A1 PCT/JP2023/004406 JP2023004406W WO2024166311A1 WO 2024166311 A1 WO2024166311 A1 WO 2024166311A1 JP 2023004406 W JP2023004406 W JP 2023004406W WO 2024166311 A1 WO2024166311 A1 WO 2024166311A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
processing device
image processing
pixel
Prior art date
Application number
PCT/JP2023/004406
Other languages
English (en)
French (fr)
Inventor
恭央 谷上
裕介 大塚
典子 黒田
隆昭 五十嵐
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to PCT/JP2023/004406 priority Critical patent/WO2024166311A1/ja
Publication of WO2024166311A1 publication Critical patent/WO2024166311A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an image processing device, a medical system, an operation method of an image processing device, and a learning device.
  • ESD endoscopic submucosal dissection
  • ESD the periphery of the diseased area of biological tissue is removed with an energy device such as a high-frequency knife.
  • an energy device such as a high-frequency knife.
  • AGEs advanced glycation end products
  • AGEs emit fluorescence when irradiated with excitation light, so the state of the thermal treatment can be visualized using a fluorescent image (see, for example, Patent Document 1).
  • the surgeon then performs hemostasis treatment by thermal coagulation on the removed area while observing the fluorescent image.
  • the present invention has been made in consideration of the above, and aims to provide an image processing device, a medical system, an operating method of an image processing device, and a learning device that can easily recognize areas where hemostatic treatment is insufficient.
  • an image processing device is an image processing device equipped with a processor having hardware, in which the processor obtains a fluorescence image by irradiating excitation light onto biological tissue and capturing fluorescence, extracts a first pixel in the fluorescence image having a brightness value equal to or greater than a first threshold, identifies a first region based on position information of the first pixel, extracts a second pixel in the first region of the fluorescence image having a brightness value equal to or less than a second threshold, identifies a second region based on position information of the second pixel, and outputs information in which the second region is superimposed on the fluorescence image.
  • the first threshold value is greater than the second threshold value.
  • the fluorescence image is an image obtained by capturing the fluorescence generated from a thermally denatured region of the biological tissue.
  • the thermally denatured region is formed by applying heat treatment to the biological tissue using an energy device.
  • the first threshold value and the second threshold value are set according to the brightness value of the fluorescence generated from advanced glycation end products that are generated by thermal denaturation of the biological tissue.
  • the processor outputs information in which the first region is superimposed on the fluorescence image.
  • the processor outputs information in which the second region is superimposed on a white light image obtained by irradiating the biological tissue with white light and capturing the return light.
  • the processor outputs information in which the first region is superimposed on a white light image obtained by irradiating the biological tissue with white light and capturing the return light.
  • the processor identifies a circular area formed by connecting the first pixels as the first area.
  • a medical system includes a light source device that irradiates excitation light onto biological tissue, an endoscope having an image sensor that outputs an image signal capturing fluorescence due to the excitation light, and an image processing device having a processor that generates a fluorescent image from the image signal, in which the processor extracts first pixels having a luminance value equal to or greater than a first threshold value in the fluorescent image, identifies a first region based on position information of the first pixels, extracts second pixels having a luminance value equal to or less than a second threshold value within the first region of the fluorescent image, identifies a second region based on position information of the second pixels, and outputs information in which the second region is superimposed on the fluorescent image.
  • Another aspect of the present invention is a method for operating an image processing device that includes a processor having hardware, in which the processor obtains a fluorescence image by irradiating biological tissue with excitation light and capturing fluorescence, extracts a first pixel in the fluorescence image that has a brightness value equal to or greater than a first threshold, identifies a first region based on position information of the first pixel, extracts a second pixel in the first region of the fluorescence image that has a brightness value equal to or less than a second threshold, identifies a second region based on position information of the second pixel, and outputs information in which the second region is superimposed on the fluorescence image.
  • a learning device includes a learning unit that generates a trained model by machine learning using training data in which a fluorescent image obtained by irradiating excitation light onto biological tissue and capturing fluorescence is used as input data, and in which output data is information obtained by superimposing on the fluorescent image a second region identified based on positional information of a second pixel whose luminance value is equal to or less than a second threshold within a first region identified based on a first pixel whose luminance value is equal to or greater than a first threshold in the fluorescent image.
  • the present invention provides an image processing device, a medical system, an operating method for an image processing device, and a learning device that can easily recognize areas where hemostasis treatment is insufficient.
  • FIG. 1 is a diagram illustrating a schematic diagram of an overall configuration of an endoscope system according to an embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of a main part of an endoscope system according to an embodiment.
  • FIG. 3 is a flowchart showing an outline of the process executed by the control device.
  • FIG. 4 is an example of a fluorescent image.
  • FIG. 5 is a diagram showing how the second region is superimposed on the fluorescent image.
  • FIG. 6 is a diagram showing how a second region is superimposed on a white light image.
  • an endoscopic system having an endoscope with a flexible insertion section will be described, but the present disclosure is not limited to this and can also be applied to, for example, rigid endoscopes and surgical robots. Furthermore, the present disclosure is not limited to this embodiment. Furthermore, in describing the drawings, identical parts are denoted by the same reference numerals. Furthermore, it should be noted that the drawings are schematic, and the relationship between the thickness and width of each component, the ratio of each component, etc., differ from reality. Furthermore, the drawings include parts with different dimensions and ratios.
  • FIG. 1 is a diagram showing a schematic diagram of an overall configuration of an endoscope system according to an embodiment.
  • the endoscope system 1 shown in Fig. 1 captures images of the inside of a subject's body by inserting an insertion portion of an endoscope into a body cavity or lumen of the subject, such as a patient, and displays an image based on the captured image signal on a display device.
  • the endoscope system 1 includes an endoscope 2, a light source device 3, a control device 4 as an image processing device, and a display device 5.
  • the endoscope 2 generates an imaging signal (RAW data) by imaging the inside of the subject's body, and outputs the generated imaging signal to the control device 4. Specifically, the endoscope 2 generates a first imaging signal by irradiating white light and imaging return light, and a second imaging signal by irradiating excitation light and imaging fluorescence.
  • the endoscope 2 includes an insertion section 21, an operation section 22, and a universal cord 23.
  • the insertion section 21 is inserted into the subject.
  • the insertion section 21 has a flexible, elongated shape.
  • the insertion section 21 has a tip section 24 that incorporates an imaging element (described later), a freely bendable bending section 25 composed of multiple bending pieces, and a long, flexible flexible tube section 26 that is connected to the base end side of the bending section 25.
  • the tip 24 is made of glass fiber or the like.
  • the tip 24 forms a light guide path for the illumination light supplied from the control device 4 via the universal cord 23 and the operation unit 22, and also generates an image signal capturing the return light of the illumination light and outputs it to the control device 4.
  • the operation unit 22 has a bending knob 221 for bending the bending portion 25 in the up-down and left-right directions, a treatment tool insertion portion 222 for inserting a treatment tool, and a number of switches 223 which are operation input portions for inputting, in addition to the control device 4, operation instruction signals for peripheral devices such as an air supply means, a water supply means, and a gas supply means, a pre-freeze signal for instructing the endoscope system 1 to take still images, or a switching signal for switching the observation mode of the endoscope system 1.
  • the treatment tool inserted from the treatment tool insertion portion 222 emerges from the opening via the treatment tool channel of the tip portion 24.
  • the universal cord 23 incorporates at least a light guide and a light collecting cable consisting of one or more cables.
  • the collecting cable is a signal line for transmitting and receiving signals between the endoscope 2 and the control device 4, and includes a signal line for transmitting and receiving an imaging signal (RAW data) and a signal line for transmitting and receiving a timing signal (synchronization signal and clock signal) for driving the imaging element described below.
  • the universal cord 23 has a connector section 27 that is detachable from the control device 4, and a connector section 28 at the extended end of the coiled cable 27a that is detachable from the control device 4.
  • the light source device 3 irradiates living tissue with white light and excitation light as illumination light.
  • One end of the light guide of the endoscope 2 is connected to the light source device 3, and the light source device 3 supplies illumination light to be irradiated into the subject to the one end of the light guide under the control of the control device 4.
  • the light source device 3 is realized using one or more light sources, such as an LED (Light Emitting Diode) light source, a xenon lamp, and a semiconductor laser element such as an LD (Laser Diode), a processor that is a processing device having hardware such as an FPGA (Field Programmable Gate Array) and a CPU (Central Processing Unit), and a memory that is a temporary storage area used by the processor.
  • the light source device 3 and the control device 4 may be configured to communicate individually as shown in FIG. 1, or may be configured as an integrated device.
  • the control device 4 controls each component of the endoscope system 1.
  • the control device 4 controls the light source device 3 to supply illumination light for the endoscope 2 to irradiate the subject.
  • the control device 4 also performs various image processing on the imaging signal input from the endoscope 2 and outputs the signal to the display device 5.
  • the display device 5 under the control of the control device 4, displays an image based on a video signal input from the control device 4.
  • the display device 5 is realized using a display panel such as an organic EL (Electro Luminescence) panel or a liquid crystal panel.
  • Fig. 2 is a block diagram showing the functional configuration of the main parts of the endoscope system 1.
  • the endoscope 2 includes an illumination optical system 201, an imaging optical system 202, a cut filter 203, an imaging element 204, an A/D conversion unit 205, a P/S conversion unit 206, an imaging recording unit 207, and an imaging control unit 208.
  • Each of the illumination optical system 201, the imaging optical system 202, the cut filter 203, the imaging element 204, the A/D conversion unit 205, the P/S conversion unit 206, the imaging recording unit 207, and the imaging control unit 208 is disposed in the tip portion 24.
  • the illumination optical system 201 irradiates the subject (biological tissue) with illumination light supplied from a light guide 231 formed of an optical fiber or the like.
  • the illumination optical system 201 is realized using one or more lenses or the like.
  • the imaging optical system 202 focuses light such as reflected light from the subject, return light from the subject, and fluorescence emitted by the subject, to form an image of the subject (light rays) on the light receiving surface of the image sensor 204.
  • the imaging optical system 202 is realized using one or more lenses, etc.
  • the cut filter 203 is disposed on the optical axis O1 between the imaging optical system 202 and the imaging element 204.
  • the cut filter 203 blocks light in the wavelength band of the excitation light supplied from the light source device 3, which is reflected or returned from the subject, and transmits light in a wavelength band longer than the wavelength band of the excitation light.
  • the imaging element 204 Under the control of the imaging control unit 208, the imaging element 204 receives the subject image (light rays) formed by the imaging optical system 202 and transmitted through the cut filter 203, performs photoelectric conversion to generate an imaging signal (RAW data), and outputs it to the A/D conversion unit 205.
  • the imaging element 204 is realized using a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) image sensor in which one of the color filters constituting a Bayer array (RGGB) is arranged on each of a plurality of pixels arranged in a two-dimensional matrix.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the A/D conversion unit 205 Under the control of the imaging control unit 208, the A/D conversion unit 205 performs A/D conversion processing on the analog imaging signal input from the imaging element 204 and outputs the result to the P/S conversion unit 206.
  • the A/D conversion unit 205 is realized using an A/D conversion circuit, etc.
  • the P/S conversion unit 206 performs parallel/serial conversion on the digital imaging signal input from the A/D conversion unit 205 under the control of the imaging control unit 208, and outputs the parallel/serial converted imaging signal to the control device 4 via the first transmission cable 232.
  • the P/S conversion unit 206 is realized using a P/S conversion circuit or the like. Note that in the first embodiment, instead of the P/S conversion unit 206, an E/O conversion unit that converts the imaging signal into an optical signal may be provided, and the imaging signal may be output to the control device 4 by the optical signal, or the imaging signal may be transmitted to the control device 4 by wireless communication such as Wi-Fi (Wireless Fidelity) (registered trademark).
  • Wi-Fi Wireless Fidelity
  • the imaging and recording unit 207 records various information related to the endoscope 2 (e.g., pixel information of the imaging element 204, characteristics of the cut filter 203).
  • the imaging and recording unit 207 also records various setting data and control parameters transmitted from the control device 4 via the second transmission cable 233.
  • the imaging and recording unit 207 is configured using a non-volatile memory and a volatile memory.
  • the imaging control unit 208 controls the operation of the imaging element 204, the A/D conversion unit 205, and the P/S conversion unit 206 based on the setting data received from the control device 4 via the second transmission cable 233.
  • the imaging control unit 208 is realized using a TG (Timing Generator), a processor which is a processing device having hardware such as a CPU, and a memory which is a temporary storage area used by the processor.
  • the light source device 3 includes a condenser lens 30 , a first light source unit 31 , a second light source unit 32 , and a light source control unit 33 .
  • the focusing lens 30 focuses the light emitted by each of the first light source unit 31 and the second light source unit 32 and emits the light to the light guide 231.
  • the focusing lens 30 is composed of one or more lenses.
  • the first light source unit 31 emits visible white light (normal light) under the control of the light source control unit 33, thereby supplying the white light as illumination light to the light guide 231.
  • the first light source unit 31 is configured using a collimator lens, a white LED lamp, a driving driver, etc.
  • the first light source unit 31 may supply visible white light by simultaneously emitting light using a red LED lamp, a green LED lamp, and a blue LED lamp.
  • the first light source unit 31 may also be configured using a halogen lamp, a xenon lamp, etc.
  • the second light source unit 32 emits excitation light having a predetermined wavelength band under the control of the light source control unit 33, thereby supplying the excitation light as illumination light to the light guide 231.
  • the excitation light has a wavelength that excites substances such as advanced glycation end products (AGEs) contained in the thermally denatured region, and has a wavelength band of 400 nm to 430 nm (center wavelength 415 nm), for example.
  • the thermally denatured region is a region in which biological tissue is denatured by heat as a result of thermal treatment performed by an energy device such as a high-frequency knife.
  • the excitation light irradiated by the second light source unit 32 is blocked by the cut filter 203, and the fluorescence (wavelength 540 nm) generated from the AGEs passes through the cut filter 203, so that a fluorescent image can be captured.
  • the second light source unit 32 is realized using a collimating lens, a semiconductor laser such as a violet LD (Laser Diode), a driver, etc.
  • the light source control unit 33 is configured using a processor, which is a processing device having hardware such as an FPGA (Field-Programmable Gate Array) or a CPU (Central Processing Unit), and a memory, which is a temporary storage area used by the processor.
  • the light source control unit 33 controls the light emission timing, light emission intensity, light emission time, etc. of each of the first light source unit 31 and the second light source unit 32 based on control data input from the control unit 405.
  • the control device 4 includes an S/P conversion unit 401 , an image processing unit 402 , an input unit 403 , a recording unit 404 , and a control unit 405 .
  • the S/P conversion unit 401 performs serial/parallel conversion on the imaging signal received from the endoscope 2 via the first transmission cable 232 and outputs it to the image processing unit 402.
  • the endoscope 2 outputs the imaging signal as an optical signal
  • an O/E conversion unit that converts the optical signal into an electrical signal may be provided instead of the S/P conversion unit 401.
  • a communication module capable of receiving wireless signals may be provided instead of the S/P conversion unit 401.
  • the image processing unit 402 is realized using a processor having hardware such as a CPU, a GPU (Graphics Processing Unit) or an FPGA, and a memory which is a temporary storage area used by the processor. Under the control of the control unit 405, the image processing unit 402 performs a predetermined image processing on the imaging signal input from the S/P conversion unit 401 and outputs the result to the display device 5.
  • the image processing unit 402 generates a white light image from the first imaging signal and generates a fluorescent image from the second imaging signal.
  • the image processing unit 402 has an image generation unit 402a, an acquisition unit 402b, an extraction unit 402c, an identification unit 402d, and an output unit 402e.
  • the image generating unit 402a generates a white light image from a first imaging signal obtained by irradiating white light from the first light source unit 31 onto biological tissue and capturing the return light.
  • the image generating unit 402a also generates a fluorescent image from a second imaging signal obtained by irradiating excitation light from the second light source unit 32 onto biological tissue and capturing the fluorescent light.
  • the acquisition unit 402b acquires a white light image and a fluorescent image from the image generation unit 402a.
  • the acquisition unit 402b also acquires a first imaging signal and a second imaging signal from the endoscope 2.
  • the extraction unit 402c extracts a first pixel in the fluorescence image whose luminance value is equal to or greater than a first threshold.
  • the extraction unit 402c also extracts a second pixel in the first region of the fluorescence image whose luminance value is equal to or less than a second threshold.
  • the first threshold is greater than the second threshold.
  • the identification unit 402d identifies the first region as a circular region formed by connecting the first pixels based on the position information of the first pixels.
  • the identification unit 402d also identifies the second region based on the position information of the second pixels.
  • the output unit 402e outputs information in which the first region and the second region are superimposed on the fluorescent image.
  • the output unit 402e may also output information in which the first region and the second region are superimposed on the white light image.
  • the input unit 403 receives inputs of various operations related to the endoscope system 1 and outputs the received operations to the control unit 405.
  • the input unit 403 is configured using a mouse, a foot switch, a keyboard, buttons, switches, a touch panel, etc.
  • the recording unit 404 is realized using a recording medium such as a volatile memory, a non-volatile memory, an SSD (Solid State Drive), an HDD (Hard Disk Drive), or a memory card.
  • the recording unit 404 records data including various parameters necessary for the operation of the endoscope system 1.
  • the recording unit 404 stores, for example, position information of the first pixel and the second pixel, position information of the first region and the second region, etc.
  • the recording unit 404 also has a program recording unit 404a that records various programs for operating the endoscope system 1.
  • the control unit 405 is realized using a processor having hardware such as an FPGA or a CPU, and a memory that is a temporary storage area used by the processor.
  • the control unit 405 comprehensively controls each part that constitutes the endoscope system 1.
  • FIG. 3 is a flowchart showing an outline of the process executed by the control device 10.
  • the acquisition unit 402b acquires a second imaging signal obtained by irradiating a living tissue with excitation light from the second light source unit 32 and capturing an image of fluorescence (step S1).
  • the image generating unit 402a generates a fluorescent image from the second imaging signal acquired by the acquiring unit 402b (step S2).
  • the fluorescent image generated by the image generating unit 402a is stored in the recording unit 404.
  • the acquisition unit 402b acquires the fluorescence image from the recording unit 404 (step S3).
  • the acquisition unit 402b may acquire the fluorescence image from an external server via an Internet line.
  • FIG 4 is an example of a fluorescence image.
  • Fluorescence image FI1 shown in Figure 4 is an image capturing the fluorescence generated by a thermally denatured region in biological tissue.
  • the thermally denatured region is formed by subjecting biological tissue to heat treatment using an energy device, and contains AGEs (advanced glycation end products).
  • AGEs advanced glycation end products
  • ESD ESD
  • AGEs generate fluorescence when irradiated with excitation light, so it can be seen that the area corresponding to the periphery of the lesion in the fluorescence image FI1 is white and roughly circular.
  • the extraction unit 402c extracts a first pixel in the fluorescence image FI1 whose brightness value is equal to or greater than a first threshold value (step S4). This makes it possible to extract the portion of the fluorescence image FI1 that has a high brightness value and was removed with the energy device.
  • the identification unit 402d identifies the first region as a circular region formed by connecting the first pixels based on the position information of the first pixels (step S5). By connecting parts with high brightness values in the fluorescence image FI1, it is possible to identify the circular first region indicated by the dashed line L1. Note that the first region is the entire area inside the dashed line L1.
  • the extraction unit 402c extracts second pixels in the first region of the fluorescence image FI1 whose brightness values are equal to or less than the second threshold value (step S6). This makes it possible to extract parts of the fluorescence image FI1 that have low brightness values and are insufficiently heat-treated.
  • the identification unit 402d identifies a second region based on the position information of the second pixel (step S7). It is possible to identify the second region indicated by the solid line L2 in the fluorescence image FI1, which has a low brightness value.
  • the output unit 402e outputs information in which the first region and the second region are superimposed on the fluorescence image FI1 (step S8).
  • the dashed line L1 indicating the first region and the solid line L2 indicating the second region are superimposed on the fluorescence image FI1 shown in FIG. 4 is displayed on the display device 5.
  • the solid line L2 indicating the second area is superimposed on the fluorescence image FI1, allowing the surgeon to easily recognize areas where hemostasis treatment is insufficient.
  • the display on the display device 5 switches from a white light image to a fluorescent image FI1 superimposed with a solid line L2 indicating the second region in Figure 4, and the surgeon can observe the fluorescent image FI1.
  • the surgeon then performs hemostasis treatment using the energy device while checking the condition of the second region. As a result, it is possible to prevent insufficient hemostasis treatment during ESD.
  • FIG. 5 is a diagram showing how the second region is superimposed on the fluorescence image. As shown in Fig. 5, the second region A1 may be superimposed on the fluorescence image FI2 by filling it with a specific color. This makes it easier to observe the second region.
  • FIG. 6 is a diagram showing how a second region is superimposed on a white light image. As shown in FIG. 6, a dashed line L1 indicating the first region and a solid line L2 indicating the second region may be superimposed on a white light image WI1. This makes it possible to grasp regions where hemostasis is insufficient while observing the white light image.
  • the fluorescent image FI1 shown in FIG. 4 and the white light image shown in FIG. 6 may be displayed side-by-side so that they can be observed simultaneously.
  • the control unit 405 may also have a function as a learning unit of the learning device that is the control device 4.
  • the control unit 405 may generate a trained model by machine learning using teacher data in which a fluorescent image obtained by irradiating a living tissue with excitation light and capturing fluorescence is used as input data, and in which a second region identified based on position information of a second pixel having a luminance value equal to or less than a second threshold in a first region identified based on a first pixel having a luminance value equal to or more than a first threshold in the fluorescent image is superimposed on the fluorescent image as output data.
  • the trained model is composed of a neural network in which each layer has one or more nodes.
  • the type of machine learning is not particularly limited, but it is sufficient that, for example, teacher data and training data in which fluorescent images of multiple subjects are associated with an image in which a second region identified from the multiple fluorescent images is superimposed on the fluorescent image are prepared, and the teacher data and training data are input into a calculation model based on a multilayer neural network for training.
  • a machine learning technique for example, a technique based on a deep neural network (DNN), which is a multilayer neural network such as a convolutional neural network (CNN) or a 3D-CNN, is used.
  • DNN deep neural network
  • CNN convolutional neural network
  • 3D-CNN 3D-CNN
  • a technique based on a recurrent neural network (RNN) or long short-term memory units (LSTM), which is an extension of an RNN may also be used.
  • RNN recurrent neural network
  • LSTM long short-term memory units
  • a learning unit of a learning device different from the control device 4 may execute these functions.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置は、ハードウェアを有するプロセッサを備える画像処理装置であって、前記プロセッサは、励起光を生体組織に照射して蛍光を撮像した蛍光画像を取得し、前記蛍光画像において輝度値が第１の閾値以上の第１の画素を抽出し、前記第１の画素の位置情報に基づいて、第１の領域を特定し、前記蛍光画像の前記第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出し、前記第２の画素の位置情報に基づいて、第２の領域を特定し、前記蛍光画像に前記第２の領域を重畳した情報を出力する。これにより、止血処置が不十分な領域を容易に認識することができる画像処理装置を提供する。

Description

画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置
　本発明は、画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置に関する。
　近年、医療分野では、内視鏡及び腹腔鏡等を用いた低侵襲治療が広く行われるようになっている。例えば、内視鏡及び腹腔鏡等を用いた低侵襲治療としては、内視鏡的粘膜下層剥離術（ＥＳＤ：Ｅｎｄｏｓｃｏｐｉｃ　Ｓｕｂｍｕｃｏｓａｌ　Ｄｉｓｓｅｃｔｉｏｎ）が広く行われている。
　ＥＳＤでは、生体組織の病変部の外周を高周波ナイフ等のエネルギーデバイスで切除する。エネルギーデバイスによる熱処置により生体組織が熱変性すると、ＡＧＥｓ（終末糖化産物）が生成される。ＡＧＥｓは、励起光を照射すると蛍光を発生するため、蛍光画像により熱処置の状態を可視化することができる（例えば、特許文献１参照）。そして、術者は、蛍光画像を観察しながら切除した部分に熱凝固による止血処置を施す。
国際公開第２０２０／０５４７２３号
　しかしながら、蛍光画像から止血処置が不十分な領域を認識することが困難な場合があった。
　本発明は、上記に鑑みてなされたものであって、止血処置が不十分な領域を容易に認識することができる画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置を提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、ハードウェアを有するプロセッサを備える画像処理装置であって、前記プロセッサは、励起光を生体組織に照射して蛍光を撮像した蛍光画像を取得し、前記蛍光画像において輝度値が第１の閾値以上の第１の画素を抽出し、前記第１の画素の位置情報に基づいて、第１の領域を特定し、前記蛍光画像の前記第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出し、前記第２の画素の位置情報に基づいて、第２の領域を特定し、前記蛍光画像に前記第２の領域を重畳した情報を出力する。
　また、本発明の一態様に係る画像処理装置は、前記第１の閾値は、前記第２の閾値より大きい。
　また、本発明の一態様に係る画像処理装置は、前記蛍光画像は、前記生体組織が熱変性した熱変性領域から発生する前記蛍光を撮像した画像である。
　また、本発明の一態様に係る画像処理装置は、前記熱変性領域は、エネルギーデバイスにより前記生体組織に熱処理を施すことにより形成される。
　また、本発明の一態様に係る画像処理装置は、前記第１の閾値及び前記第２の閾値は、前記生体組織が熱変性することにより生成される終末糖化産物から発生する前記蛍光の輝度値に応じて設定されている。
　また、本発明の一態様に係る画像処理装置は、前記プロセッサは、前記蛍光画像に前記第１の領域を重畳した情報を出力する。
　また、本発明の一態様に係る画像処理装置は、前記プロセッサは、白色光を前記生体組織に照射して戻り光を撮像した白色光画像に前記第２の領域を重畳した情報を出力する。
　また、本発明の一態様に係る画像処理装置は、前記プロセッサは、白色光を前記生体組織に照射して戻り光を撮像した白色光画像に前記第１の領域を重畳した情報を出力する。
　また、本発明の一態様に係る画像処理装置は、前記プロセッサは、前記第１の画素を連結して形成される円形状領域を前記第１の領域として特定する。
　また、本発明の一態様に係る医療システムは、生体組織に励起光を照射する光源装置と、前記励起光による蛍光を撮像した撮像信号を出力する撮像素子を有する内視鏡と、前記撮像信号から蛍光画像を生成するプロセッサを有する画像処理装置と、を備える医療システムであって、前記プロセッサは、前記蛍光画像において輝度値が第１の閾値以上の第１の画素を抽出し、前記第１の画素の位置情報に基づいて、第１の領域を特定し、前記蛍光画像の前記第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出し、前記第２の画素の位置情報に基づいて、第２の領域を特定し、前記蛍光画像に前記第２の領域を重畳した情報を出力する。
　また、本発明の一態様に係る画像処理装置の作動方法は、ハードウェアを有するプロセッサを備える画像処理装置の作動方法であって、前記プロセッサが、励起光を生体組織に照射して蛍光を撮像した蛍光画像を取得し、前記蛍光画像において輝度値が第１の閾値以上の第１の画素を抽出し、前記第１の画素の位置情報に基づいて、第１の領域を特定し、前記蛍光画像の前記第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出し、前記第２の画素の位置情報に基づいて、第２の領域を特定し、前記蛍光画像に前記第２の領域を重畳した情報を出力する。
　また、本発明の一態様に係る学習装置は、励起光を生体組織に照射して蛍光を撮像した蛍光画像を入力データとし、前記蛍光画像において輝度値が第１の閾値以上の第１の画素に基づいて特定された第１の領域内において、輝度値が第２の閾値以下の第２の画素の位置情報に基づいて特定した第２の領域を前記蛍光画像に重畳した情報を出力データとする教師データを用いて機械学習することにより学習済みモデルを生成する学習部を備える。
　本発明によれば、止血処置が不十分な領域を容易に認識することができる画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置を実現することができる。
図１は、一実施の形態に係る内視鏡システムの全体構成を模式的に示す図である。 図２は、一実施の形態に係る内視鏡システムの要部の機能構成を示すブロック図である。 図３は、制御装置が実行する処理の概要を示すフローチャートである。 図４は、蛍光画像の一例である。 図５は、蛍光画像に第２の領域を重畳する様子を示す図である。 図６は、白色光画像に第２の領域を重畳する様子を示す図である。
　以下、本開示を実施するための形態（以下、「実施の形態」という）として、挿入部が軟性の内視鏡を有する内視鏡システムについて説明するが、これに限定されることなく、例えば硬性鏡及び手術ロボット等であっても適用することができる。また、この実施の形態により、本開示が限定されるものでない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれる。
　〔内視鏡システムの構成〕
　図１は、一実施の形態に係る内視鏡システムの全体構成を模式的に示す図である。図１に示す内視鏡システム１は、患者等の被検体の体腔や管腔内へ内視鏡の挿入部を挿入することによって被検体の体内を撮像し、この撮像した撮像信号に基づく表示画像を表示装置に表示する。内視鏡システム１は、内視鏡２と、光源装置３と、画像処理装置としての制御装置４と、表示装置５と、を備える。
　〔内視鏡の構成〕
　まず、内視鏡２の構成について説明する。
　内視鏡２は、被検体の体内を撮像した撮像信号（ＲＡＷデータ）を生成し、この生成した撮像信号を制御装置４へ出力する。具体的には、内視鏡２は、白色光を照射して戻り光を撮像した第１撮像信号、及び励起光を照射して蛍光を撮像した第２撮像信号を生成する。内視鏡２は、挿入部２１と、操作部２２と、ユニバーサルコード２３と、を備える。
　挿入部２１は、被検体内に挿入される。挿入部２１は、可撓性を有する細長形状をなす。挿入部２１は、後述する撮像素子を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。
　先端部２４は、グラスファイバ等を用いて構成される。先端部２４は、ユニバーサルコード２３及び操作部２２を経由して制御装置４から供給された照明光の導光路をなし、かつ、照明光の戻り光を撮像した撮像信号を生成して制御装置４へ出力する。
　操作部２２は、湾曲部２５を上下方向及び左右方向に湾曲させる湾曲ノブ２２１と、処置具を挿入する処置具挿入部２２２と、制御装置４に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号や内視鏡システム１に静止画撮影を指示するプリフリーズ信号又は内視鏡システム１の観察モードを切り替える切替信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネルを経由して開口部から表出する。
　ユニバーサルコード２３は、ライトガイドと、１又は複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡２及び制御装置４の間で信号を送受信する信号線であって、撮像信号（ＲＡＷデータ）を送受信するための信号線及び後述する撮像素子を駆動するための駆動用のタイミング信号（同期信号及びクロック信号）を送受信するための信号線老を含む。ユニバーサルコード２３は、制御装置４に着脱自在なコネクタ部２７と、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端に制御装置４に着脱自在なコネクタ部２８と、を有する。
　〔光源装置の構成〕
　次に、光源装置の構成について説明する。
　光源装置３は、照明光として白色光及び励起光を生体組織に照射する。光源装置３は、内視鏡２のライトガイドの一端が接続され、制御装置４による制御のもと、ライトガイドの一端に被検体内に照射する照明光を供給する。光源装置３は、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）光源、キセノンランプ及びＬＤ（ｌａｓｅｒ　Ｄｉｏｄｅ）等の半導体レーザ素子のいずれかの１つ以上の光源と、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。なお、光源装置３及び制御装置４は、図１に示すように個別に通信する構成をしてもよいし、一体化した構成であってもよい。
　〔制御装置の構成〕
　次に、制御装置４の構成について説明する。
　制御装置４は、内視鏡システム１の各部を制御する。制御装置４は、光源装置３を制御し、内視鏡２が被検体に照射するための照明光を供給する。また、制御装置４は、内視鏡２から入力された撮像信号に対して、各種の画像処理を行って表示装置５へ出力する。
　〔表示装置の構成〕
　次に、表示装置５の構成について説明する。
　表示装置５は、制御装置４の制御のもと、制御装置４から入力された映像信号に基づく表示画像を表示する。表示装置５は、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）や液晶等の表示パネルを用いて実現される。
　〔内視鏡システムの要部の機能構成〕
　次に、上述した内視鏡システム１の要部の機能構成について説明する。図２は、内視鏡システム１の要部の機能構成を示すブロック図である。
　〔内視鏡の構成〕
　まず、内視鏡２の構成について説明する。
　内視鏡２は、照明光学系２０１と、撮像光学系２０２と、カットフィルタ２０３と、撮像素子２０４と、Ａ／Ｄ変換部２０５と、Ｐ／Ｓ変換部２０６と、撮像記録部２０７と、撮像制御部２０８と、を備える。なお、照明光学系２０１、撮像光学系２０２、カットフィルタ２０３、撮像素子２０４、Ａ／Ｄ変換部２０５、Ｐ／Ｓ変換部２０６、撮像記録部２０７及び撮像制御部２０８の各々は、先端部２４内に配置されている。
　照明光学系２０１は、光ファイバ等によって形成されてなるライトガイド２３１から供給された照明光を被検体（生体組織）に向けて照射する。照明光学系２０１は、１又は複数のレンズ等を用いて実現される。
　撮像光学系２０２は、被検体から反射された反射光、被検体からの戻り光、被検体が発光した蛍光等の光を集光することによって被写体像（光線）を撮像素子２０４の受光面上に結像する。撮像光学系２０２は、１又は複数のレンズ等を用いて実現される。
　カットフィルタ２０３は、撮像光学系２０２と撮像素子２０４との光軸Ｏ１上に配置される。カットフィルタ２０３は、光源装置３から供給された励起光であって、被検体からの励起光の反射光又は戻り光の波長帯域の光を遮光し、励起光の波長帯域より長波長側の波長帯域の光を透過する。
　撮像素子２０４は、撮像制御部２０８の制御のもと、撮像光学系２０２によって結像された被写体像（光線）であって、カットフィルタ２０３を透過した被写体像（光線）を受光し、光電変換を行って撮像信号（ＲＡＷデータ）を生成してＡ／Ｄ変換部２０５へ出力する。撮像素子２０４は、２次元マトリクス状に配置されている複数の画素の各々に、ベイヤー配列（ＲＧＧＢ）を構成するカラーフィルタのいずれか１つが配置されているＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のイメージセンサを用いて実現される。
　Ａ／Ｄ変換部２０５は、撮像制御部２０８による制御のもと、撮像素子２０４から入力されたアナログの撮像信号に対してＡ／Ｄ変換処理を行ってＰ／Ｓ変換部２０６へ出力する。Ａ／Ｄ変換部２０５は、Ａ／Ｄ変換回路等を用いて実現される。
　Ｐ／Ｓ変換部２０６は、撮像制御部２０８による制御のもと、Ａ／Ｄ変換部２０５から入力されたデジタルの撮像信号をパラレル／シリアル変換を行い、このパラレル／シリアル変換を行った撮像信号を、第１の伝送ケーブル２３２を経由して制御装置４へ出力する。Ｐ／Ｓ変換部２０６は、Ｐ／Ｓ変換回路等を用いて実現される。なお、実施の形態１では、Ｐ／Ｓ変換部２０６に換えて、撮像信号を光信号に変換するＥ／Ｏ変換部を設け、光信号によって制御装置４へ撮像信号を出力するようにしてもよいし、例えばＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線通信によって撮像信号を制御装置４へ送信するようにしてもよい。
　撮像記録部２０７は、内視鏡２に関する各種情報（例えば撮像素子２０４の画素情報、カットフィルタ２０３の特性）を記録する。また、撮像記録部２０７は、第２の伝送ケーブル２３３を経由して制御装置４から伝送されてくる各種設定データ及び制御用のパラメータを記録する。撮像記録部２０７は、不揮発性メモリや揮発性メモリを用いて構成される。
　撮像制御部２０８は、第２の伝送ケーブル２３３を経由して制御装置４から受信した設定データに基づいて、撮像素子２０４、Ａ／Ｄ変換部２０５及びＰ／Ｓ変換部２０６の各々の動作を制御する。撮像制御部２０８は、ＴＧ（Ｔｉｍｉｎｇ　Ｇｅｎｅｒａｔｏｒ）と、ＣＰＵ等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリを用いて実現される。
　〔光源装置の構成〕
　次に、光源装置３の構成について説明する。
　光源装置３は、集光レンズ３０と、第１の光源部３１と、第２の光源部３２と、光源制御部３３と、を備える。
　集光レンズ３０は、第１の光源部３１及び第２の光源部３２の各々が発光した光を集光してライトガイド２３１へ出射する。集光レンズ３０は、１又は複数のレンズを用いて構成される。
　第１の光源部３１は、光源制御部３３による制御のもと、可視光である白色光（通常光）を発光することによってライトガイド２３１へ白色光を照明光として供給する。第１の光源部３１は、コリメートレンズ、白色ＬＥＤランプ及び駆動ドライバ等を用いて構成される。なお、第１の光源部３１は、赤色ＬＥＤランプ、緑色ＬＥＤランプ及び青色ＬＥＤランプを用いて同時に発光することによって可視光の白色光を供給してもよい。もちろん、第１の光源部３１は、ハロゲンランプやキセノンランプ等を用いて構成されてもよい。
　第２の光源部３２は、光源制御部３３による制御のもと、所定の波長帯域を有する励起光を発光することによってライトガイド２３１へ励起光を照明光として供給する。ここで、励起光は、熱変性領域が含有する終末糖化産物（ＡＧＥｓ：Ａｄｖａｎｃｅｄ　Ｇｌｙｃａｔｉｏｎ　Ｅｎｄ　Ｐｒｏｄｕｃｔｓ）等の物質を励起する波長であり、例えば波長帯域が４００ｎｍ以上４３０ｎｍ以下（中心波長が４１５ｎｍ）である。熱変性領域は、高周波ナイフ等のエネルギーデバイスによって熱処置が施されることにより、生体組織が熱により変性した領域である。第２の光源部３２が照射した励起光は、カットフィルタ２０３に遮断され、ＡＧＥｓから発生する蛍光（波長５４０ｎｍ）は、カットフィルタ２０３を透過するため、蛍光画像を撮像することができる。第２の光源部３２は、コリメートレンズ、紫色ＬＤ（Ｌａｓｅｒ　Ｄｉｏｄｅ）等の半導体レーザ及び駆動ドライバ等を用いて実現される。
　光源制御部３３は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のハードウェアを有する処理装置であるプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて構成される。光源制御部３３は、制御部４０５から入力される制御データに基づいて、第１の光源部３１及び第２の光源部３２の各々の発光タイミング、発光強度及び発光時間等を制御する。
　〔制御装置の構成〕
　次に、制御装置４の構成について説明する。
　制御装置４は、Ｓ／Ｐ変換部４０１と、画像処理部４０２と、入力部４０３と、記録部４０４と、制御部４０５と、を備える。
　Ｓ／Ｐ変換部４０１は、制御部４０５による制御のもと、第１の伝送ケーブル２３２を経由して内視鏡２から受信した撮像信号に対してシリアル／パラレル変換を行って画像処理部４０２へ出力する。なお、内視鏡２が光信号で撮像信号を出力する場合、Ｓ／Ｐ変換部４０１に換えて、光信号を電気信号に変換するＯ／Ｅ変換部を設けてもよい。また、内視鏡２が無線通信によって撮像信号を送信する場合、Ｓ／Ｐ変換部４０１に換えて、無線信号を受信可能な通信モジュールを設けてもよい。
　画像処理部４０２は、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＦＰＧＡ等のハードウェアを有するプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。画像処理部４０２は、制御部４０５による制御のもと、Ｓ／Ｐ変換部４０１から入力された撮像信号に所定の画像処理を施して表示装置５へ出力する。画像処理部４０２は、第１撮像信号から白色光画像を生成し、第２撮像信号から蛍光画像を生成する。画像処理部４０２は、画像生成部４０２ａと、取得部４０２ｂと、抽出部４０２ｃと、特定部４０２ｄと、出力部４０２ｅと、を有する。
　画像生成部４０２ａは、第１の光源部３１から白色光を生体組織に照射して戻り光を撮像した第１撮像信号から白色光画像を生成する。また、画像生成部４０２ａは、第２の光源部３２から励起光を生体組織に照射して蛍光を撮像した第２撮像信号から蛍光画像を生成する。
　取得部４０２ｂは、画像生成部４０２ａから白色光画像、及び蛍光画像を取得する。また、取得部４０２ｂは、内視鏡２から第１撮像信号及び第２撮像信号を取得する。
　抽出部４０２ｃは、蛍光画像において輝度値が第１の閾値以上の第１の画素を抽出する。また、抽出部４０２ｃは、蛍光画像の第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出する。なお、第１の閾値は、第２の閾値より大きい。
　特定部４０２ｄは、第１の画素の位置情報に基づいて、第１の画素を連結して形成される円形状領域として第１の領域を特定する。また、特定部４０２ｄは、第２の画素の位置情報に基づいて、第２の領域を特定する。
　出力部４０２ｅは、蛍光画像に第１の領域及び第２の領域を重畳した情報を出力する。また、出力部４０２ｅは、白色光画像に第１の領域及び第２の領域を重畳した情報を出力してもよい。
　入力部４０３は、内視鏡システム１に関する各種操作の入力を受け付け、受け付けた操作を制御部４０５へ出力する。入力部４０３は、マウス、フットスイッチ、キーボード、ボタン、スイッチ及びタッチパネル等を用いて構成される。
　記録部４０４は、揮発性メモリ、不揮発性メモリ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等やメモリカード等の記録媒体を用いて実現される。記録部４０４は、内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記録する。記録部４０４は、例えば第１の画素及び第２の画素の位置情報、第１の領域及び第２の領域の位置情報等を記憶する。また、記録部４０４は、内視鏡システム１を動作させるための各種プログラムを記録するプログラム記録部４０４ａを有する。
　制御部４０５は、ＦＰＧＡ又はＣＰＵ等のハードウェアを有するプロセッサと、プロセッサが使用する一時的な記憶域であるメモリと、を用いて実現される。制御部４０５は、内視鏡システム１を構成する各部を統括的に制御する。
　〔制御装置の処理〕
　次に、制御装置４が実行する処理について説明する。
　図３は、制御装置が実行する処理の概要を示すフローチャートである。図３に示すように、まず、取得部４０２ｂは、第２の光源部３２から励起光を生体組織に照射して蛍光を撮像した第２撮像信号を取得する（ステップＳ１）。
　続いて、画像生成部４０２ａは、取得部４０２ｂが取得した第２撮像信号から蛍光画像を生成する（ステップＳ２）。画像生成部４０２ａが生成した蛍光画像は、記録部４０４に格納される。
　その後、取得部４０２ｂは、記録部４０４から蛍光画像を取得する（ステップＳ３）。なお、取得部４０２ｂは、インターネット回線を介して、外部のサーバから蛍光画像を取得してもよい。
　図４は、蛍光画像の一例である。図４に示す蛍光画像ＦＩ１は、生体組織が熱変性した熱変性領域が発生する蛍光を撮像した画像である。熱変性領域は、エネルギーデバイスにより生体組織に熱処理を施すことにより形成され、ＡＧＥｓ（終末糖化産物）を含む。ＥＳＤでは、生体組織の病変部の外周を高周波ナイフ等のエネルギーデバイスで切除する。ＡＧＥｓは、励起光を照射すると蛍光を発生するため、蛍光画像ＦＩ１において病変部の外周に対応する部分が略円形状に白くなっていることがわかる。
　図３に戻り、抽出部４０２ｃは、蛍光画像ＦＩ１において輝度値が第１の閾値以上の第１の画素を抽出する（ステップＳ４）。これにより、蛍光画像ＦＩ１において輝度値が高いエネルギーデバイスで切除した部分を抽出することができる。
　さらに、特定部４０２ｄは、第１の画素の位置情報に基づいて、第１の画素を連結して形成される円形状領域として第１の領域を特定する（ステップＳ５）。蛍光画像ＦＩ１において輝度値が高い部分を連結すると、破線Ｌ１で示す円形状の第１の領域を特定することができる。なお、第１の領域は、破線Ｌ１の内側全体である。
　続いて、抽出部４０２ｃは、蛍光画像ＦＩ１の第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出する（ステップＳ６）。これにより、蛍光画像ＦＩ１において輝度値が低く、熱処理が不十分な部分を抽出することができる。
　さらに、特定部４０２ｄは、第２の画素の位置情報に基づいて、第２の領域を特定する（ステップＳ７）。蛍光画像ＦＩ１において輝度値が低い実線Ｌ２で示す第２の領域を特定することができる。
　そして、出力部４０２ｅは、蛍光画像ＦＩ１に第１の領域及び第２の領域を重畳した情報を出力する（ステップＳ８）。その結果、図４に示す蛍光画像ＦＩ１に第１の領域を示す破線Ｌ１及び第２の領域示す実線Ｌ２を重畳した画像が表示装置５に表示される。
　以上説明した実施の形態によれば、蛍光画像ＦＩ１に第２の領域示す実線Ｌ２が重畳されているため、術者は止血処置が不十分な領域を容易に認識することができる。
　なお、ＥＳＤにおいて、術者は、病変部を切除した後に所定のボタンを押下すると、表示装置５の表示が白色光画像から切り換わり、図４の第２の領域示す実線Ｌ２が重畳された蛍光画像ＦＩ１を観察することができる。そして、術者は、第２の領域の状態を確認しながらエネルギーデバイスで止血処置を施す。その結果、ＥＳＤにおいて、止血処置が不十分となることを防止することができる。
（変形例）
　図５は、蛍光画像に第２の領域を重畳する様子を示す図である。図５に示すように、蛍光画像ＦＩ２に第２の領域Ａ１を特定の色で塗りつぶすように重畳してもよい。これにより、第２の領域が観察しやすくなる。
　図６は、白色光画像に第２の領域を重畳する様子を示す図である。図６に示すように、白色光画像ＷＩ１に第１の領域を示す破線Ｌ１及び第２の領域示す実線Ｌ２を重畳してもよい。これにより、白色光画像を観察しながら止血が不十分な領域を把握することができる。
　また、図４に示す蛍光画像ＦＩ１と図６に示す白色光画像とを並べて表示し、同時に観察できるようにしてもよい。
　また、制御部４０５は、制御装置４である学習装置の学習部としての機能を有していてもよい。制御部４０５は、励起光を生体組織に照射して蛍光を撮像した蛍光画像を入力データとし、蛍光画像において輝度値が第１の閾値以上の第１の画素に基づいて特定された第１の領域内において、輝度値が第２の閾値以下の第２の画素の位置情報に基づいて特定した第２の領域を蛍光画像に重畳した情報を出力データとする教師データを用いて機械学習することにより学習済みモデルを生成してもよい。ここで、学習済みモデルは、各層が一又は複数のノードを有するニューラルネットワークからなる。また、機械学習の種類は、特に限定されないが、例えば複数の被検体の蛍光画像と、この複数の蛍光画像から特定した第２領域を蛍光画像に重畳した画像と、を対応付けた教師データ及び学習用データを用意し、この教師用データ及び学習用データを多層ニューラルネットワークに基づいた計算モデルに入力して学習されるものであればよい。さらに、機械学習の手法としては、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、３Ｄ－ＣＮＮ等の多層のニューラルネットワークのＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）に基づく手法が用いられる。さらにまた、機械学習の手法としては、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）やＲＮＮを拡張したＬＳＴＭ（Ｌｏｎｇ　Ｓｈｏｒｔ－Ｔｅｒｍ　Ｍｅｍｏｒｙ　ｕｎｉｔｓ）等に基づく手法が用いられてもよい。なお、制御装置４とは異なる学習装置の学習部がこれらの機能を実行してもよい。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
　１　内視鏡システム
　２　内視鏡
　３　表示装置
　４　制御装置
　５　レーザ照射装置
　７　表示装置
　２１　挿入部
　２２　操作部
　２３　ユニバーサルコード
　２４　先端部
　２５　湾曲部
　２６　可撓管部
　２７　コネクタ部
　２７ａ　コイルケーブル
　２８　コネクタ部
　３０　集光レンズ
　３１　第１の光源部
　３２　第２の光源部
　３３　光源制御部
　２０１　照明光学系
　２０２　撮像光学系
　２０３　カットフィルタ
　２０４　撮像素子
　２０５　Ａ／Ｄ変換部
　２０６　Ｐ／Ｓ変換部
　２０７　撮像記録部
　２０８　撮像制御部
　２２１　湾曲ノブ
　２２２　処置具挿入部
　２２３　スイッチ
　２３１　ライトガイド
　２３２　第１の伝送ケーブル
　２３３　第２の伝送ケーブル
　４０１　Ｓ／Ｐ変換部
　４０２　画像処理部
　４０２ａ　画像生成部
　４０２ｂ　取得部
　４０２ｃ　抽出部
　４０２ｄ　特定部
　４０２ｅ　出力部
　４０３　入力部
　４０４　記録部
　４０４ａ　プログラム記録部
　４０５　制御部

Claims (12)

  1. 　ハードウェアを有するプロセッサを備える画像処理装置であって、
    　前記プロセッサは、
    　励起光を生体組織に照射して蛍光を撮像した蛍光画像を取得し、
    　前記蛍光画像において輝度値が第１の閾値以上の第１の画素を抽出し、
    　前記第１の画素の位置情報に基づいて、第１の領域を特定し、
    　前記蛍光画像の前記第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出し、
    　前記第２の画素の位置情報に基づいて、第２の領域を特定し、
    　前記蛍光画像に前記第２の領域を重畳した情報を出力する、
    　画像処理装置。
  2. 　前記第１の閾値は、前記第２の閾値より大きい、
    　請求項１に記載の画像処理装置。
  3. 　前記蛍光画像は、前記生体組織が熱変性した熱変性領域から発生する前記蛍光を撮像した画像である、
    　請求項１に記載の画像処理装置。
  4. 　前記熱変性領域は、エネルギーデバイスにより前記生体組織に熱処理を施すことにより形成される、
    　請求項３に記載の画像処理装置。
  5. 　前記第１の閾値及び前記第２の閾値は、前記生体組織が熱変性することにより生成される終末糖化産物から発生する前記蛍光の輝度値に応じて設定されている、
    　請求項１に記載の画像処理装置。
  6. 　前記プロセッサは、
    　前記蛍光画像に前記第１の領域を重畳した情報を出力する、
    　請求項１に記載の画像処理装置。
  7. 　前記プロセッサは、
    　白色光を前記生体組織に照射して戻り光を撮像した白色光画像に前記第２の領域を重畳した情報を出力する、
    　請求項１に記載の画像処理装置。
  8. 　前記プロセッサは、
    　白色光を前記生体組織に照射して戻り光を撮像した白色光画像に前記第１の領域を重畳した情報を出力する、
    　請求項１に記載の画像処理装置。
  9. 　前記プロセッサは、
    　前記第１の画素を連結して形成される円形状領域を前記第１の領域として特定する、
    　請求項１に記載の画像処理装置。
  10. 　生体組織に励起光を照射する光源装置と、
    　前記励起光による蛍光を撮像した撮像信号を出力する撮像素子を有する内視鏡と、
    　前記撮像信号から蛍光画像を生成するプロセッサを有する画像処理装置と、
    　を備える医療システムであって、
    　前記プロセッサは、
    　前記蛍光画像において輝度値が第１の閾値以上の第１の画素を抽出し、
    　前記第１の画素の位置情報に基づいて、第１の領域を特定し、
    　前記蛍光画像の前記第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出し、
    　前記第２の画素の位置情報に基づいて、第２の領域を特定し、
    　前記蛍光画像に前記第２の領域を重畳した情報を出力する、
    　医療システム。
  11. 　ハードウェアを有するプロセッサを備える画像処理装置の作動方法であって、
    　前記プロセッサが、
    　励起光を生体組織に照射して蛍光を撮像した蛍光画像を取得し、
    　前記蛍光画像において輝度値が第１の閾値以上の第１の画素を抽出し、
    　前記第１の画素の位置情報に基づいて、第１の領域を特定し、
    　前記蛍光画像の前記第１の領域内において、輝度値が第２の閾値以下の第２の画素を抽出し、
    　前記第２の画素の位置情報に基づいて、第２の領域を特定し、
    　前記蛍光画像に前記第２の領域を重畳した情報を出力する、
    　画像処理装置の作動方法。
  12. 　励起光を生体組織に照射して蛍光を撮像した蛍光画像を入力データとし、前記蛍光画像において輝度値が第１の閾値以上の第１の画素に基づいて特定された第１の領域内において、輝度値が第２の閾値以下の第２の画素の位置情報に基づいて特定した第２の領域を前記蛍光画像に重畳した情報を出力データとする教師データを用いて機械学習することにより学習済みモデルを生成する学習部を備える、
    　学習装置。
PCT/JP2023/004406 2023-02-09 2023-02-09 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置 WO2024166311A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/004406 WO2024166311A1 (ja) 2023-02-09 2023-02-09 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/004406 WO2024166311A1 (ja) 2023-02-09 2023-02-09 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置

Publications (1)

Publication Number Publication Date
WO2024166311A1 true WO2024166311A1 (ja) 2024-08-15

Family

ID=92262239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004406 WO2024166311A1 (ja) 2023-02-09 2023-02-09 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置

Country Status (1)

Country Link
WO (1) WO2024166311A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061390A1 (ja) * 2016-09-28 2018-04-05 パナソニック株式会社 表示システム
WO2020012563A1 (ja) * 2018-07-10 2020-01-16 オリンパス株式会社 内視鏡装置、処理装置及び処理方法
WO2020054723A1 (ja) * 2018-09-10 2020-03-19 オリンパス株式会社 熱侵襲観察装置，内視鏡システム，熱侵襲観察システム，熱侵襲観察方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061390A1 (ja) * 2016-09-28 2018-04-05 パナソニック株式会社 表示システム
WO2020012563A1 (ja) * 2018-07-10 2020-01-16 オリンパス株式会社 内視鏡装置、処理装置及び処理方法
WO2020054723A1 (ja) * 2018-09-10 2020-03-19 オリンパス株式会社 熱侵襲観察装置，内視鏡システム，熱侵襲観察システム，熱侵襲観察方法

Similar Documents

Publication Publication Date Title
US20230000330A1 (en) Medical observation system, medical imaging device and imaging method
JP5231511B2 (ja) 内視鏡診断装置
WO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP5393525B2 (ja) 画像処理装置及び画像処理装置の作動方法
WO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
US20230248209A1 (en) Assistant device, endoscopic system, assistant method, and computer-readable recording medium
JP7146925B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
EP3085299A1 (en) Endoscopic device
CN115607092A (zh) 内窥镜系统、医疗图像处理装置及其工作方法
WO2024166311A1 (ja) 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置
JP2011194082A (ja) 内視鏡画像補正装置および内視鏡装置
US12121219B2 (en) Medical image processing device, medical imaging device, medical observation system, image processing method, and computer-readable recording medium
WO2024166304A1 (ja) 画像処理装置、医療システム、画像処理装置の作動方法、及び学習装置
WO2019171703A1 (ja) 内視鏡システム
WO2024166310A1 (ja) 医療用装置、医療用システム、学習装置、医療用装置の作動方法およびプログラム
WO2024166329A1 (ja) 支援装置、支援装置の作動方法、支援装置の作動プログラム、医療システム、及び学習装置
WO2024166330A1 (ja) 医療用装置、医療用システム、医療用装置の作動方法およびプログラム
WO2024166308A1 (ja) 医療用装置、医療用システム、学習装置、医療用装置の作動方法およびプログラム
CN115381379A (zh) 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法
WO2024166328A1 (ja) 医療用装置、医療用システム、学習装置、医療用装置の作動方法およびプログラム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
WO2024166309A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置
JP2012100733A (ja) 内視鏡診断装置
WO2024166306A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23921142

Country of ref document: EP

Kind code of ref document: A1