[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2024180644A1 - 画像処理装置、画像処理方法、及び、記録媒体 - Google Patents

画像処理装置、画像処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2024180644A1
WO2024180644A1 PCT/JP2023/007208 JP2023007208W WO2024180644A1 WO 2024180644 A1 WO2024180644 A1 WO 2024180644A1 JP 2023007208 W JP2023007208 W JP 2023007208W WO 2024180644 A1 WO2024180644 A1 WO 2024180644A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
size
lesion candidate
resizing
lesion
Prior art date
Application number
PCT/JP2023/007208
Other languages
English (en)
French (fr)
Inventor
敦 丸亀
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2023/007208 priority Critical patent/WO2024180644A1/ja
Publication of WO2024180644A1 publication Critical patent/WO2024180644A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • This disclosure relates to image processing technology applied to endoscopic images.
  • Patent Document 1 discloses a technology for generating one frame of image data by performing signal processing such as color interpolation, color separation, color balance adjustment, gamma correction, and image enhancement processing on one frame of image signals input from an electronic endoscope.
  • Patent Document 1 also discloses a technology for generating display image data by performing image cropping, electronic enlargement, and mask processing on one frame of image data.
  • Patent Document 1 has the problem that when processing is performed to change the state of elements that represent the characteristics of a lesion, such as two-dimensional shape and surface pattern, from their original state (the state of the original image), the accuracy of diagnosing the lesion may decrease.
  • Patent Document 1 poses a problem corresponding to the aforementioned issue that the accuracy of diagnosing lesion candidates contained in endoscopic images may decrease.
  • One objective of the present disclosure is to provide an image processing device that can improve the diagnostic accuracy of lesion candidates contained in endoscopic images.
  • the image processing device has an image acquisition means for acquiring a lesion candidate image including lesion candidates detected from an endoscopic image, a resizing means for performing a resizing process for resizing the size of the lesion candidate image according to a target size while maintaining the aspect ratio of the lesion candidate image, and a padding means for performing a padding process for matching the size of the resized image obtained by the resizing process to the target size.
  • an image processing method includes acquiring a lesion candidate image including lesion candidates detected from an endoscopic image, performing a resizing process to resize the lesion candidate image in accordance with a target size while maintaining the aspect ratio of the lesion candidate image, and performing a padding process to match the size of the resized image obtained by the resizing process to the target size.
  • the recording medium records a program that causes a computer to execute a process of acquiring a lesion candidate image including lesion candidates detected from an endoscopic image, a resizing process of resizing the size of the lesion candidate image according to a target size while maintaining the aspect ratio of the lesion candidate image, and a padding process of matching the size of the resized image obtained by the resizing process to the target size.
  • This disclosure makes it possible to improve the accuracy of diagnosing lesion candidates contained in endoscopic images.
  • FIG. 1 is a block diagram showing a hardware configuration of an image processing apparatus according to a first embodiment.
  • FIG. 1 is a block diagram showing the functional configuration of an image processing apparatus according to a first embodiment.
  • 3A and 3B are views showing examples of endoscopic images to be processed by the image processing apparatus according to the first embodiment.
  • 1 is a view showing an overview of processing performed by an image processing apparatus according to a first embodiment;
  • 4 is a flowchart showing an example of processing performed in the image processing device according to the first embodiment.
  • FIG. 11 is a block diagram showing the functional configuration of an image processing apparatus according to a second embodiment.
  • 10 is a flowchart for explaining a process performed in an image processing device according to a second embodiment.
  • Fig. 1 is a block diagram showing the hardware configuration of an image processing device according to the first embodiment.
  • the image processing device 100 has an interface (IF) 111, a processor 112, a memory 113, a recording medium 114, and a database (DB) 115.
  • IF interface
  • DB database
  • IF111 inputs and outputs data to and from external devices.
  • an endoscopic image obtained by photographing a subject inside a body cavity with an endoscope is input to the image processing device 100 through IF111.
  • the description will be given assuming that an endoscopic image having R (red), G (green), and B (blue) color components is input to the image processing device 100.
  • the processor 112 is a computer such as a CPU (Central Processing Unit), and controls the entire image processing device 100 by executing a program prepared in advance. Specifically, the processor 112 performs, for example, processing related to the detection of lesion candidates such as tumors contained in an endoscopic image, and processing related to the acquisition of lesion candidate images containing the lesion candidates.
  • CPU Central Processing Unit
  • Memory 113 is composed of ROM (Read Only Memory), RAM (Random Access Memory), etc. Memory 113 is also used as working memory while various processes are being executed by processor 112.
  • the recording medium 114 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or semiconductor memory, and is configured to be detachable from the image processing device 100.
  • the recording medium 114 records various programs executed by the processor 112. When the image processing device 100 executes various processes, the programs recorded on the recording medium 114 are loaded into the memory 113 and executed by the processor 112.
  • DB115 stores, for example, endoscopic images input via IF111 and processing results obtained by processing by processor 112.
  • FIG. 2 is a block diagram showing the functional configuration of the image processing device according to the first embodiment.
  • the image processing device 100 has a lesion candidate detection unit 11, a brightness adjustment unit 12, a super-resolution processing unit 13, and a size adjustment unit 14.
  • the lesion candidate detection unit 11 functions as an image acquisition unit.
  • the lesion candidate detection unit 11 detects lesion candidates such as tumors contained in the endoscopic image input to the image processing device 100.
  • the detection of lesion candidates may be performed by image processing of the endoscopic image, or may be performed by a user visually checking the endoscopic image.
  • the lesion candidate detection unit 11 acquires a lesion candidate image including lesion candidates detected from the endoscopic image, and outputs the acquired lesion candidate image to the brightness adjustment unit 12.
  • FIG. 3 is a diagram showing an example of an endoscopic image processed by the image processing device according to the first embodiment.
  • the brightness adjustment unit 12 functions as a brightness adjustment means.
  • the brightness adjustment unit 12 generates a plurality of lesion candidate images having different brightnesses based on the brightness of the lesion candidate images output from the lesion candidate detection unit 11.
  • the brightness adjustment unit 12 obtains a composite image by synthesizing the plurality of lesion candidate images generated as described above, and outputs the obtained composite image to the super-resolution processing unit 13.
  • the brightness modification unit 12 converts the R, G, and B component values of each pixel of the lesion candidate image LGA output from the lesion candidate detection unit 11 into an H (hue), S (saturation), and V (luminance) component value.
  • the brightness modification unit 12 also performs arithmetic processing such as adding or subtracting a predetermined value (e.g., 10) to the V component value obtained by the above-mentioned conversion for each pixel of the lesion candidate image LGA to obtain multiple V component values that are different from each other.
  • the brightness modification unit 12 also generates a lesion candidate image HGA that has the H and S component values obtained by the above-mentioned conversion and the V component value obtained by the above-mentioned arithmetic processing.
  • the brightness modification unit 12 also generates multiple lesion candidate images HGA that correspond to each of the multiple V component values obtained by the above-mentioned arithmetic processing.
  • the brightness adjustment unit 12 obtains a composite image CGA by synthesizing multiple lesion candidate images HGA using a method related to HDR (High Dynamic Range) synthesis, and outputs the obtained composite image CGA to the super-resolution processing unit 13.
  • HDR High Dynamic Range
  • the method for HDR synthesis may be, for example, the method disclosed in Tom Mertens, et. al, "Exposure Fusion: A Simple and Practical Alternative to High Dynamic Range Photography," Computer Graphics Forum, vol. 28, no. 1, pp. 161-171, Mar. 2009.
  • the brightness adjustment unit 12 may acquire a composite image using the method described below instead of the method described in the specific example above, and output the acquired composite image to the super-resolution processing unit 13.
  • the brightness adjustment unit 12 detects the gamma characteristic (gamma curve) in the lesion candidate image LGA output from the lesion candidate detection unit 11.
  • the brightness adjustment unit 12 also performs arithmetic processing such as adding or subtracting a predetermined value to the gamma value in the gamma characteristic detected as described above, thereby obtaining multiple gamma values that are different from each other.
  • the brightness adjustment unit 12 also generates the lesion candidate image HGB by applying the gamma value obtained by the above-mentioned arithmetic processing to the gamma characteristic of the lesion candidate image LGA.
  • the brightness adjustment unit 12 also generates multiple lesion candidate images HGB corresponding to each of the multiple gamma values obtained by the above-mentioned arithmetic processing.
  • the brightness adjustment unit 12 also obtains a composite image CGB by combining the multiple lesion candidate images HGB using a method related to HDR combination, and outputs the obtained composite image CGB to the super-resolution processing unit 13.
  • the brightness adjustment unit 12 can adjust the brightness of the lesion candidate image.
  • the super-resolution processing unit 13 functions as a super-resolution processing means.
  • the super-resolution processing unit 13 also performs super-resolution processing to enlarge the size of the composite image output from the brightness adjustment unit 12 to a size larger than the size of the final output image output from the image processing device 100.
  • the super-resolution processing unit 13 performs super-resolution processing to increase the resolution of the composite image output from the brightness adjustment unit 12 to a resolution higher than the resolution of the final output image output from the image processing device 100.
  • the super-resolution processing unit 13 also outputs the enlarged image obtained by applying the above-mentioned super-resolution processing to the composite image to the size adjustment unit 14.
  • the super-resolution processing unit 13 can obtain the enlarged image EGA by, for example, performing super-resolution processing using a Lanczos filter on the composite image CGA (or CGB) output from the brightness adjustment unit 12.
  • the super-resolution processing unit 13 can obtain the enlarged image EGA by, for example, performing super-resolution processing using a Lanczos filter on the composite image CGA (or CGB) output from the brightness adjustment unit 12.
  • the super-resolution processing unit 13 may set the enlargement ratio in the super-resolution processing to any ratio, so long as the size of the composite image is enlarged to a size larger than the size of the final output image.
  • the size of the final output image is an example of a target size in this embodiment, and it is desirable to set it to a size appropriate for the use of the image.
  • the super-resolution processing unit 13 can perform super-resolution processing to enlarge the size of the brightness-adjusted lesion candidate image to a size larger than the target size.
  • the size adjustment unit 14 functions as a resizing means and a padding means.
  • the size adjustment unit 14 also performs a resizing process to reduce the size of the enlarged image output from the super-resolution processing unit 13 in accordance with the size of the final output image while maintaining the aspect ratio of the enlarged image.
  • the size adjustment unit 14 also performs a padding process to make the size of the resized image obtained by performing the above-mentioned resizing process on the enlarged image match the size of the final output image.
  • the size adjustment unit 14 also outputs the image obtained by performing the above-mentioned padding process on the resized image to the outside as the final output image.
  • FIG. 4 is a diagram showing an overview of the processing performed by the image processing device according to the first embodiment.
  • the size adjustment unit 14 obtains the vertical length SH and horizontal length SW of the final output image SGA.
  • the size adjustment unit 14 also obtains the length EX of the relatively larger of the vertical length EH and horizontal length EW of the enlarged image EGA.
  • the size adjustment unit 14 obtains the resized image RGA by reducing the enlarged image EGA so that the length EX matches the length SH while maintaining the aspect ratio of the enlarged image EGA. Also, for example, when the length SW is greater than the length SH, the size adjustment unit 14 obtains the resized image RGA by reducing the enlarged image EGA so that the length EX matches the length SW while maintaining the aspect ratio of the enlarged image EGA. Also, for example, when the length SW and the length SH are equal, the size adjustment unit 14 obtains the resized image RGA by reducing the enlarged image EGA so that the length EX matches the length SW or the length SH while maintaining the aspect ratio of the enlarged image EGA.
  • the size adjustment unit 14 obtains an R intermediate value MVR corresponding to the intermediate value of the R component value of each pixel included in the enlarged image EGA, a G intermediate value MVG corresponding to the intermediate value of the G component value of each pixel, and a B intermediate value MVB corresponding to the intermediate value of the B component value of each pixel.
  • the size adjustment unit 14 also generates a monochrome image MGA that has the same size (lengths SH and SW) as the size of the final output image SGA and corresponds to an image whose entire area is colored with the colors represented by the R intermediate value MVR, the G intermediate value MVG, and the B intermediate value MVB (see FIG. 4).
  • the size adjustment unit 14 also obtains a background image BGA that has the same size (lengths SH and SW) as the size of the final output image SGA by adding a noise image ZGA that represents irregular noise within a predetermined amplitude range to the monochrome image MGA generated as described above (see FIG. 4).
  • the noise image ZGA has the same size (lengths SH and SW) as the size of the final output image SGA.
  • the aforementioned predetermined amplitude is set to, for example, an amplitude that is sufficiently small relative to the dynamic range of the color component values of each pixel in the enlarged image EGA.
  • the aforementioned predetermined amplitude is set to 20.
  • the R intermediate value MVR of a pixel in the single-color image MGA is 220
  • the R component value of that pixel in the background image BGA can be set to any value between 200 and 240.
  • the size adjustment unit 14 obtains the final output image SGA by superimposing the resized image RGA on the central portion of the background image BGA (see FIG. 4).
  • the size adjustment unit 14 uses the background image BGA to perform padding processing to make the size of the resized image RGA match the size of the final output image SGA.
  • the size adjustment unit 14 performs padding processing to fill the blank areas on the left and right of the resized image RGA with the background image BGA.
  • the size adjustment unit 14 may perform padding processing to fill the blank areas on the top and bottom of the resized image RGA with the background image BGA based on the size of the final output image SGA and the size of the resized image RGA.
  • the size adjustment unit 14 performs the above-mentioned padding process on the resized image RGA to obtain the final output image SGA, which is then output to the outside of the image processing device 100.
  • the super-resolution processing unit 13 may output the composite image as is to the size adjustment unit 14.
  • the size adjustment unit 14 may perform resizing and padding on the composite image output from the super-resolution processing unit 13 instead of the enlarged image.
  • the above-described process makes it possible to obtain, as the final output image SGA, an image in which the two-dimensional shape and surface pattern of the lesion candidate LC contained in the endoscopic image NGA is maintained. Furthermore, the above-described process makes it possible to obtain, as the final output image SGA, an image containing the lesion candidate LC with higher image quality than that in the endoscopic image NGA.
  • the size adjustment unit 14 can perform a resizing process to resize the size of the lesion candidate image according to the target size while maintaining the aspect ratio of the lesion candidate image. Also, as described above, the size adjustment unit 14 can perform a padding process to match the size of the resized image obtained by the resizing process to the target size. Also, as described above, the size adjustment unit 14 can perform a resizing process on the lesion candidate image whose brightness has been adjusted. Also, as described above, the size adjustment unit 14 can perform a reduction process, as the resizing process, to reduce the size of the lesion candidate image on which the super-resolution process has been performed to the maximum size that fits within the target size.
  • the size adjustment unit 14 can perform a padding process to superimpose the resized image obtained by the reduction process on the center part of a background image having the same size as the target size. Also, as described above, the size adjustment unit 14 can generate a monochrome image whose entire area is colored with a color represented by the intermediate value of the color component values of each pixel included in the lesion candidate image on which the super-resolution process has been performed, and can obtain an image to which noise has been added to the monochrome image as the background image.
  • FIG. 5 is a flowchart showing an example of processing performed in the image processing device according to the first embodiment.
  • the image processing device 100 detects lesion candidates contained in the endoscopic image and obtains a lesion candidate image containing the detected lesion candidates (step S11).
  • the image processing device 100 generates multiple lesion candidate images having different brightnesses based on the brightness of the lesion candidate images obtained in step S11 (step S12).
  • the image processing device 100 processes the multiple lesion candidate images obtained in step S12 as follows: A composite image is obtained by compositing using a technique related to HDR compositing (step S13).
  • the image processing device 100 performs super-resolution processing on the composite image obtained in step S13 to enlarge the image to a size larger than the size of the final output image, thereby obtaining an enlarged image (step S14).
  • the image processing device 100 performs a resizing process to reduce the size of the enlarged image obtained in step S14 according to the size of the final output image while maintaining the aspect ratio of the enlarged image, thereby obtaining a resized image (step S15).
  • the image processing device 100 obtains a background image by adding a monochrome image generated based on the color component values of each pixel of the enlarged image obtained in step S14 to a noise image representing irregular noise within a predetermined amplitude range (step S16).
  • the monochrome image, noise image, and background image have the same size as the size of the final output image.
  • the entire monochrome image is colored with a color corresponding to the median value of the color component values of each pixel in the enlarged image obtained in step S14.
  • the image processing device 100 obtains the final output image by superimposing the resized image obtained in step S15 on the central part of the background image obtained in step S16 (step S17).
  • a resized image can be obtained in which elements such as a two-dimensional shape and surface pattern that represent the characteristics of the lesion candidate are maintained.
  • a padding process can be performed using a background image that has a similar color to the resized image but does not have the characteristics of a lesion candidate, and the size of the resized image can be matched to the size of the final output image. Therefore, according to this embodiment, for example, by using the final output image obtained through the padding process described above as training data, a machine learning model for diagnosing lesion candidates can be suitably trained.
  • FIG. 6 is a block diagram showing the functional configuration of an image processing apparatus according to the second embodiment.
  • the image processing device 500 has the same hardware configuration as the image processing device 100.
  • the image processing device 500 also has an image acquisition unit 511, a resizing unit 512, and a padding unit 513.
  • FIG. 7 is a flowchart for explaining the processing performed in the image processing device according to the second embodiment.
  • the image acquisition means 511 acquires a lesion candidate image including lesion candidates detected from the endoscopic image (step S51).
  • the resizing means 512 performs a resizing process to resize the lesion candidate image according to the target size while maintaining the aspect ratio of the lesion candidate image (step S52).
  • the padding means 513 performs padding processing to match the size of the resized image obtained by the resizing processing to the target size (step S53).
  • An image processing device comprising:
  • the method further includes a brightness adjustment means for adjusting the brightness of the lesion candidate image, 2.
  • the method further includes a super-resolution processing unit that performs a super-resolution process to enlarge the size of the lesion candidate image whose brightness has been adjusted to a size larger than the target size,
  • the image processing device of claim 2 wherein the resizing means performs a reduction process as the resizing process, to reduce a size of the lesion candidate image, on which the super-resolution process has been performed, to a maximum size that fits within the target size.
  • (Appendix 6) Obtaining a lesion candidate image including lesion candidates detected from the endoscopic image; performing a resizing process for resizing the size of the lesion candidate image according to a target size while maintaining an aspect ratio of the lesion candidate image;
  • the image processing method includes a padding process for matching the size of the resized image obtained by the resizing process to the target size.
  • Appendix 7 A process of acquiring a lesion candidate image including lesion candidates detected from an endoscopic image; a resizing process for resizing the size of the lesion candidate image according to a target size while maintaining an aspect ratio of the lesion candidate image; a padding process for matching the size of the resized image obtained by the resizing process to the target size.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

画像処理装置において、画像取得手段は、内視鏡画像から検出された病変候補を含む病変候補画像を取得する。リサイズ手段は、病変候補画像のアスペクト比を維持しつつ、病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行う。パディング手段は、リサイズ処理により得られたリサイズ画像のサイズを目標サイズに一致させるパディング処理を行う。

Description

画像処理装置、画像処理方法、及び、記録媒体
　本開示は、内視鏡画像に対して適用される画像処理の技術に係る。
　内視鏡画像または当該内視鏡画像に対応する信号等に対して処理を行う技術が従来提案されている。
　具体的には、例えば、特許文献１には、電子内視鏡から入力された１フレーム分の画像信号に対し、色補間、色分離、色バランス調整、ガンマ補正、及び、画像強調処理等の信号処理を行うことにより、１フレーム分の画像データを生成する技術が開示されている。また、特許文献１には、１フレーム分の画像データに対し、画像切り出し処理、電子拡大処理、及び、マスク処理を施すことにより、表示用画像データを生成する技術が開示されている。
特許第６３５２６７３号公報
　しかし、特許文献１に開示された技術によれば、例えば、２次元形状及び表面模様等のような、病変の特徴を表す要素の状態を本来の状態（原画像の状態）から変化させる処理が行われた場合において、当該病変の診断精度が低下し得る、という問題点がある。
　すなわち、特許文献１に開示された技術によれば、内視鏡画像に含まれる病変候補の診断精度が低下するおそれがある、という前述の問題点に応じた課題が生じている。
　本開示の１つの目的は、内視鏡画像に含まれる病変候補の診断精度を向上させることが可能な画像処理装置を提供することにある。
　本開示の一つの観点では、画像処理装置は、内視鏡画像から検出された病変候補を含む病変候補画像を取得する画像取得手段と、前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行うリサイズ手段と、前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理を行うパディング手段と、を有する。
　本開示の他の観点では、画像処理方法は、内視鏡画像から検出された病変候補を含む病変候補画像を取得し、前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行い、前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理を行う。
　本開示のさらに他の観点では、記録媒体は、内視鏡画像から検出された病変候補を含む病変候補画像を取得する処理と、前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理と、前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理と、をコンピュータに実行させるプログラムを記録する。
　本開示によれば、内視鏡画像に含まれる病変候補の診断精度を向上させることができる。
第１実施形態に係る画像処理装置のハードウェア構成を示すブロック図。 第１実施形態に係る画像処理装置の機能構成を示すブロック図。 第１実施形態に係る画像処理装置の処理対象となる内視鏡画像の例を示す図。 第１実施形態に係る画像処理装置により行われる処理の概要を示す図。 第１実施形態に係る画像処理装置において行われる処理の一例を示すフローチャート。 第２実施形態に係る画像処理装置の機能構成を示すブロック図。 第２実施形態に係る画像処理装置において行われる処理を説明するためのフローチャート。
　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［ハードウェア構成］
　図１は、第１実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。画像処理装置１００は、図１に示すように、インターフェース（ＩＦ）１１１と、プロセッサ１１２と、メモリ１１３と、記録媒体１１４と、データベース（ＤＢ）１１５と、を有している。
　ＩＦ１１１は、外部装置との間でデータの入出力を行う。例えば、体腔内の被写体を内視鏡で撮影することにより得られた内視鏡画像がＩＦ１１１を通じて画像処理装置１００に入力される。なお、本実施形態においては、特に言及のない限り、Ｒ（赤）、Ｇ（緑）及びＢ（青）の色成分を有する内視鏡画像が画像処理装置１００に入力されるものとして説明を行う。
　プロセッサ１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、画像処理装置１００の全体を制御する。具体的には、プロセッサ１１２は、例えば、内視鏡画像に含まれる腫瘍等の病変候補の検出に係る処理、及び、当該病変候補を含む病変候補画像の取得に係る処理等を行う。
　メモリ１１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１１３は、プロセッサ１１２による各種の処理の実行中に作業メモリとしても使用される。
　記録媒体１１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、画像処理装置１００に対して着脱可能に構成される。記録媒体１１４は、プロセッサ１１２が実行する各種のプログラムを記録している。画像処理装置１００が各種の処理を実行する際には、記録媒体１１４に記録されているプログラムがメモリ１１３にロードされ、プロセッサ１１２により実行される。
　ＤＢ１１５には、例えば、ＩＦ１１１を通じて入力された内視鏡画像、及び、プロセッサ１１２の処理により得られた処理結果等が格納される。
　［機能構成］
　図２は、第１実施形態に係る画像処理装置の機能構成を示すブロック図である。画像処理装置１００は、図２に示すように、病変候補検出部１１と、明るさ修整部１２と、超解像処理部１３と、サイズ調整部１４と、を有している。
　病変候補検出部１１は、画像取得手段としての機能を有している。また、病変候補検出部１１は、画像処理装置１００に入力された内視鏡画像に含まれる腫瘍等の病変候補を検出する。病変候補の検出は、内視鏡画像に対する画像処理により行われるものであってもよく、または、内視鏡画像を目視で確認するユーザにより行われるものであってもよい。また、病変候補検出部１１は、内視鏡画像から検出した病変候補を含む病変候補画像を取得し、当該取得した病変候補画像を明るさ修整部１２へ出力する。
　具体的には、病変候補検出部１１は、例えば、図３に示すような内視鏡画像ＮＧＡが画像処理装置１００に入力された場合に、当該内視鏡画像ＮＧＡに含まれる病変候補ＬＣを検出する。また、病変候補検出部１１は、内視鏡画像ＮＧＡから検出した病変候補ＬＣを含む矩形領域ＲＡを抽出し、当該矩形領域ＲＡに対応する画像を病変候補画像ＬＧＡとして取得する。そして、病変候補検出部１１は、病変候補画像ＬＧＡを明るさ修整部１２へ出力する。図３は、第１実施形態に係る画像処理装置により処理される内視鏡画像の例を示す図である。
　明るさ修整部１２は、明るさ修整手段としての機能を有している。また、明るさ修整部１２は、病変候補検出部１１から出力される病変候補画像の明度に基づき、互いに異なる明度を有する複数の病変候補画像を生成する。また、明るさ修整部１２は、前述のように生成した複数の病変候補画像を合成することにより合成画像を取得し、当該取得した合成画像を超解像処理部１３へ出力する。
　ここで、明るさ修整部１２の機能の具体例について説明する。
　明るさ修整部１２は、病変候補検出部１１から出力される病変候補画像ＬＧＡの画素各々におけるＲ成分値、Ｇ成分値及びＢ成分値を、Ｈ（色相）成分値、Ｓ（彩度）成分値及びＶ（明度）成分値に変換する。また、明るさ修整部１２は、病変候補画像ＬＧＡの画素各々について、前述の変換により得られたＶ成分値に対して所定値（例えば１０）を加算するまたは減算する等の演算処理を行うことにより、互いに異なる複数のＶ成分値を取得する。また、明るさ修整部１２は、前述の変換により得られたＨ成分値及びＳ成分値と、前述の演算処理により得られたＶ成分値と、を有する病変候補画像ＨＧＡを生成する。また、明るさ修整部１２は、前述の演算処理により得られた複数のＶ成分値各々に対応する複数の病変候補画像ＨＧＡを生成する。また、明るさ修整部１２は、ＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）合成に係る手法を用いて複数の病変候補画像ＨＧＡを合成することにより合成画像ＣＧＡを取得し、当該取得した合成画像ＣＧＡを超解像処理部１３へ出力する。
　本具体例においては、ＨＤＲ合成に係る手法として、例えば、Ｔｏｍ　Ｍｅｒｔｅｎｓ，　ｅｔ．ａｌ，“Ｅｘｐｏｓｕｒｅ　Ｆｕｓｉｏｎ：　Ａ　Ｓｉｍｐｌｅ　ａｎｄ　Ｐｒａｃｔｉｃａｌ　Ａｌｔｅｒｎａｔｉｖｅ　ｔｏ　Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ　Ｐｈｏｔｏｇｒａｐｈｙ,”　Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ　Ｆｏｒｕｍ，　ｖｏｌ．　２８，　ｎｏ．　１，　ｐｐ．　１６１－１７１，　Ｍａｒ．　２００９に開示されている手法を用いることができる。また、本具体例においては、ＨＤＲ合成に係る手法として、内視鏡画像ＮＧＡの露出に係る情報が無い状態であっても実施可能な手法を用いることが望ましい。
　なお、本実施形態によれば、明るさ修整部１２は、以上の具体例に述べた方法の代わりに、以下に述べるような方法で合成画像を取得し、当該取得した合成画像を超解像処理部１３へ出力するものであってもよい。
　明るさ修整部１２は、病変候補検出部１１から出力される病変候補画像ＬＧＡにおけるガンマ特性（ガンマカーブ）を検出する。また、明るさ修整部１２は、前述のように検出したガンマ特性におけるガンマ値に対して所定値を加算するまたは減算する等の演算処理を行うことにより、互いに異なる複数のガンマ値を取得する。また、明るさ修整部１２は、前述の演算処理により得られたガンマ値を病変候補画像ＬＧＡのガンマ特性に対して適用することにより、病変候補画像ＨＧＢを生成する。また、明るさ修整部１２は、前述の演算処理により得られた複数のガンマ値各々に対応する複数の病変候補画像ＨＧＢを生成する。また、明るさ修整部１２は、ＨＤＲ合成に係る手法を用いて複数の病変候補画像ＨＧＢを合成することにより合成画像ＣＧＢを取得し、当該取得した合成画像ＣＧＢを超解像処理部１３へ出力する。
　以上に述べたように、明るさ修整部１２は、病変候補画像の明るさを修整することができる。
　超解像処理部１３は、超解像処理手段としての機能を有している。また、超解像処理部１３は、明るさ修整部１２から出力される合成画像のサイズを、画像処理装置１００から出力される最終的な出力画像のサイズよりも大きなサイズに拡大する超解像処理を行う。換言すると、超解像処理部１３は、明るさ修整部１２から出力される合成画像の解像度を、画像処理装置１００から出力される最終的な出力画像の解像度よりも高い解像度に上げる超解像処理を行う。また、超解像処理部１３は、前述の超解像処理を合成画像に対して施すことにより得られた拡大画像をサイズ調整部１４へ出力する。
　具体的には、超解像処理部１３は、例えば、明るさ修整部１２から出力される合成画像ＣＧＡ（またはＣＧＢ）に対し、Ｌａｎｃｚｏｓフィルタを用いた超解像処理を施すことにより、拡大画像ＥＧＡを取得することができる。または、超解像処理部１３は、例えば、明るさ修整部１２から出力される合成画像ＣＧＡ（またはＣＧＢ）に対し、Ｂｅｅ　Ｌｉｍ，　ｅｔ．ａｌ，“Ｅｎｈａｎｃｅｄ　Ｄｅｅｐ　Ｒｅｓｉｄｕａｌ　Ｎｅｔｗｏｒｋｓ　ｆｏｒ　Ｓｉｎｇｌｅ　Ｉｍａｇｅ　Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ”，　２ｎｄ　ＮＴＩＲＥ：　Ｎｅｗ　Ｔｒｅｎｄｓ　ｉｎ　Ｉｍａｇｅ　Ｒｅｓｔｏｒａｔｉｏｎ　ａｎｄ　Ｅｎｈａｎｃｅｍｅｎｔ　ｗｏｒｋｓｈｏｐ　ａｎｄ　ｃｈａｌｌｅｎｇｅ　ｏｎ　ｉｍａｇｅ　ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ　ｉｎ　ｃｏｎｊｕｎｃｔｉｏｎ　ｗｉｔｈ　ＣＶＰＲ　２０１７に開示されている手法に基づく超解像処理を施すことにより、拡大画像ＥＧＡを取得することができる。
　なお、超解像処理部１３は、合成画像のサイズを最終的な出力画像のサイズよりも大きなサイズに拡大する限りにおいては、超解像処理における拡大倍率を任意の倍率に設定してもよい。また、最終的な出力画像のサイズは、本実施形態における目標サイズの一例であり、画像の用途に適したサイズとして設定されることが望ましい。
　以上に述べたように、超解像処理部１３は、明るさが修整された病変候補画像のサイズを目標サイズよりも大きなサイズに拡大する超解像処理を行うことができる。
　サイズ調整部１４は、リサイズ手段及びパディング手段としての機能を有している。また、サイズ調整部１４は、超解像処理部１３から出力される拡大画像のアスペクト比を維持しつつ、当該拡大画像のサイズを最終的な出力画像のサイズに応じて縮小するリサイズ処理を行う。また、サイズ調整部１４は、前述のリサイズ処理を拡大画像に対して施すことにより得られたリサイズ画像のサイズを最終的な出力画像のサイズに一致させるパディング処理を行う。また、サイズ調整部１４は、前述のパディング処理をリサイズ画像に対して施すことによりにより得られた画像を最終的な出力画像として外部へ出力する。
　ここで、サイズ調整部１４の機能の具体例について、図４を適宜参照しつつ説明する。なお、図４においては、図示の便宜上、拡大画像ＥＧＡに含まれる病変候補ＬＣ等の一部の要素を省略している。また、以下の具体例の説明においては、「長さ」を「画素数」と読み替えてもよい。図４は、第１実施形態に係る画像処理装置により行われる処理の概要を示す図である。
　サイズ調整部１４は、最終的な出力画像ＳＧＡにおける垂直方向の長さＳＨ及び水平方向の長さＳＷを取得する。また、サイズ調整部１４は、拡大画像ＥＧＡにおける垂直方向の長さＥＨ及び水平方向の長さＥＷのうち、相対的に大きな一の方向の長さＥＸを取得する。また、サイズ調整部１４は、長さＳＨと、長さＳＷと、長さＥＸと、に基づき、拡大画像ＥＧＡのアスペクト比を維持しつつ、最終的な出力画像ＳＧＡの内部に収まる最大のサイズまで当該拡大画像ＥＧＡのサイズを縮小することにより、リサイズ画像ＲＧＡを取得する（図４参照）。なお、図４は、ＥＨ＝ＥＸかつＳＨ＝ＳＷの場合の例を表している。
　具体的には、サイズ調整部１４は、例えば、長さＳＨが長さＳＷよりも大きい場合には、拡大画像ＥＧＡのアスペクト比を維持しつつ、長さＥＸが当該長さＳＨに一致するように当該拡大画像ＥＧＡを縮小することにより、リサイズ画像ＲＧＡを取得する。また、サイズ調整部１４は、例えば、長さＳＷが長さＳＨよりも大きい場合には、拡大画像ＥＧＡのアスペクト比を維持しつつ、長さＥＸが当該長さＳＷに一致するように当該拡大画像ＥＧＡを縮小することにより、リサイズ画像ＲＧＡを取得する。また、サイズ調整部１４は、例えば、長さＳＷと長さＳＨとが等しい場合には、拡大画像ＥＧＡのアスペクト比を維持しつつ、長さＥＸが当該長さＳＷまたは当該長さＳＨに一致するように当該拡大画像ＥＧＡを縮小することにより、リサイズ画像ＲＧＡを取得する。
　以上に述べた処理によれば、サイズ調整部１４は、例えば、ＳＷ＝ＳＨ＝４００、ＥＨ＝８００、かつ、ＥＷ＝６００の場合には、垂直方向の長さ＝４００かつ水平方向の長さ＝３００のリサイズ画像ＲＧＡを取得することができる。
　サイズ調整部１４は、拡大画像ＥＧＡに含まれる各画素のＲ成分値の中間値に相当するＲ中間値ＭＶＲと、当該各画素のＧ成分値の中間値に相当するＧ中間値ＭＶＧと、当該各画素のＢ成分値の中間値に相当するＢ中間値ＭＶＢと、を取得する。また、サイズ調整部１４は、最終的な出力画像ＳＧＡのサイズと同一のサイズ（長さＳＨ及びＳＷ）を有するとともに、Ｒ中間値ＭＶＲ、Ｇ中間値ＭＶＧ及びＢ中間値ＭＶＢにより表される色で全域を着色した画像に相当する単色画像ＭＧＡを生成する（図４参照）。また、サイズ調整部１４は、前述のように生成した単色画像ＭＧＡに対し、所定の振幅の範囲内における不規則なノイズを表すノイズ画像ＺＧＡを加算することにより、最終的な出力画像ＳＧＡのサイズと同一のサイズ（長さＳＨ及びＳＷ）を有する背景画像ＢＧＡを取得する（図４参照）。ノイズ画像ＺＧＡは、最終的な出力画像ＳＧＡのサイズと同一のサイズ（長さＳＨ及びＳＷ）を有している。また、前述の所定の振幅は、例えば、拡大画像ＥＧＡにおける各画素の色成分値のダイナミックレンジに対して十分に小さい振幅に設定されていることが望ましい。具体的には、例えば、拡大画像ＥＧＡにおける各画素の色成分値が０～２５５の範囲内に属する場合には、前述の所定の振幅が２０に設定されていることが望ましい。そして、例えば、前述の所定の振幅が２０に設定され、かつ、単色画像ＭＧＡにおける一の画素のＲ中間値ＭＶＲが２２０である場合には、背景画像ＢＧＡにおける当該一の画素のＲ成分値を２００～２４０のいずれかの値に設定することができる。
　サイズ調整部１４は、リサイズ画像ＲＧＡを背景画像ＢＧＡの中央部分に重畳することにより、最終的な出力画像ＳＧＡを取得する（図４参照）。換言すると、サイズ調整部１４は、背景画像ＢＧＡを用い、リサイズ画像ＲＧＡのサイズを最終的な出力画像ＳＧＡのサイズに一致させるパディング処理を行う。図４に示した例によれば、サイズ調整部１４は、リサイズ画像ＲＧＡの左右に存在する余白部分を背景画像ＢＧＡで埋めるようなパディング処理を行っている。また、本実施形態によれば、サイズ調整部１４は、最終的な出力画像ＳＧＡのサイズと、リサイズ画像ＲＧＡのサイズと、に基づき、当該リサイズ画像ＲＧＡの上下方向に存在する余白部分を背景画像ＢＧＡで埋めるようなパディング処理を行うものであってもよい。
　サイズ調整部１４は、前述のパディング処理をリサイズ画像ＲＧＡに対して行うことにより得られた最終的な出力画像ＳＧＡを画像処理装置１００の外部へ出力する。
　なお、本実施形態によれば、超解像処理部１３は、例えば、明るさ修整部１２から出力される合成画像のサイズが最終的な出力画像のサイズよりも大きい場合に、当該合成画像をそのままサイズ調整部１４へ出力するようにしてもよい。このような場合においては、サイズ調整部１４が、拡大画像の代わりに、超解像処理部１３から出力される合成画像に対してリサイズ処理及びパディング処理を行うようにすればよい。
　以上に述べた処理によれば、最終的な出力画像ＳＧＡとして、内視鏡画像ＮＧＡに含まれる病変候補ＬＣの２次元形状及び表面模様が維持された画像を取得することができる。また、以上に述べた処理によれば、最終的な出力画像ＳＧＡとして、内視鏡画像ＮＧＡにおける画質よりも高画質な病変候補ＬＣを含む画像を取得することができる。
　以上に述べたように、サイズ調整部１４は、病変候補画像のアスペクト比を維持しつつ、当該病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行うことができる。また、以上に述べたように、サイズ調整部１４は、リサイズ処理により得られたリサイズ画像のサイズを目標サイズに一致させるパディング処理を行うことができる。また、以上に述べたように、サイズ調整部１４は、明るさが修整された病変候補画像に対してリサイズ処理を行うことができる。また、以上に述べたように、サイズ調整部１４は、リサイズ処理として、超解像処理が行われた病変候補画像のサイズを目標サイズに収まる最大のサイズまで縮小する縮小処理を行うことができる。また、以上に述べたように、サイズ調整部１４は、パディング処理として、縮小処理により得られたリサイズ画像を、目標サイズと同一のサイズを有する背景画像の中央部分に重畳する処理を行うことができる。また、以上に述べたように、サイズ調整部１４は、超解像処理が行われた病変候補画像に含まれる各画素の色成分値の中間値により表される色で全域を着色した単色画像を生成し、当該単色画像に対してノイズを加えた画像を背景画像として取得することができる。
　［処理フロー］
　続いて、第１実施形態に係る画像処理装置において行われる処理の流れについて説明する。図５は、第１実施形態に係る画像処理装置において行われる処理の一例を示すフローチャートである。
　まず、画像処理装置１００は、内視鏡画像に含まれる病変候補を検出し、当該検出した病変候補を含む病変候補画像を取得する（ステップＳ１１）。
　次に、画像処理装置１００は、ステップＳ１１により得られた病変候補画像の明度に基づき、互いに異なる明度を有する複数の病変候補画像を生成する（ステップＳ１２）。
　続いて、画像処理装置１００は、ステップＳ１２により得られた複数の病変候補画像を、
ＨＤＲ合成に係る手法を用いて合成することにより、合成画像を取得する（ステップＳ１３）。
　続いて、画像処理装置１００は、ステップＳ１３により得られた合成画像に対し、最終的な出力画像のサイズよりも大きなサイズに拡大する超解像処理を施すことにより、拡大画像を取得する（ステップＳ１４）。
　続いて、画像処理装置１００は、ステップＳ１４により得られた拡大画像のアスペクト比を維持しつつ、当該拡大画像のサイズを最終的な出力画像のサイズに応じて縮小するリサイズ処理を行うことにより、リサイズ画像を取得する（ステップＳ１５）。
　続いて、画像処理装置１００は、ステップＳ１４により得られた拡大画像の各画素の色成分値に基づいて生成した単色画像と、所定の振幅の範囲内における不規則なノイズを表すノイズ画像と、を加算することにより、背景画像を取得する（ステップＳ１６）。前述の単色画像、ノイズ画像及び背景画像は、最終的な出力画像のサイズと同一のサイズを有している。また、前述の単色画像の全域は、ステップＳ１４により得られた拡大画像における各画素の色成分値の中間値に相当する色で着色されている。
　続いて、画像処理装置１００は、ステップＳ１５により得られたリサイズ画像を、ステップＳ１６により得られた背景画像の中央部分に重畳することにより、最終的な出力画像を取得する（ステップＳ１７）。
　以上に述べたように、本実施形態によれば、最終的な出力画像として、内視鏡画像に含まれる病変候補の特徴を表す２次元形状及び表面模様等の要素を維持しつつ、当該病変候補の詳細を把握可能な画像を得ることができる。そのため、本実施形態によれば、内視鏡画像に含まれる病変候補の診断精度を向上させることができる。
　以上に述べたように、本実施形態によれば、内視鏡画像から検出された病変候補を含む病変候補画像に対して超解像処理及びリサイズ処理を行うことにより、当該病変候補の特徴を表す２次元形状及び表面模様等の要素が維持されたリサイズ画像を得ることができる。また、以上に述べたように、本実施形態によれば、リサイズ画像の色と類似の色を有する一方で、病変候補としての特徴を有しない背景画像を用い、当該リサイズ画像のサイズを最終的な出力画像のサイズに一致させるパディング処理を行うことができる。そのため、本実施形態によれば、例えば、前述のパディング処理を経て得られた最終的な出力画像を学習データとして用いることにより、病変候補の診断用の機械学習モデルを好適に学習させることができる。
　＜第２実施形態＞
　図６は、第２実施形態に係る画像処理装置の機能構成を示すブロック図である。
　本実施形態に係る画像処理装置５００は、画像処理装置１００と同様のハードウェア構成を有している。また、画像処理装置５００は、画像取得手段５１１と、リサイズ手段５１２と、パディング手段５１３と、を有している。
　図７は、第２実施形態に係る画像処理装置において行われる処理を説明するためのフローチャートである。
　画像取得手段５１１は、内視鏡画像から検出された病変候補を含む病変候補画像を取得する（ステップＳ５１）。
　リサイズ手段５１２は、病変候補画像のアスペクト比を維持しつつ、当該病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行う（ステップＳ５２）。
　パディング手段５１３は、リサイズ処理により得られたリサイズ画像のサイズを目標サイズに一致させるパディング処理を行う（ステップＳ５３）。
　本実施形態によれば、内視鏡画像に含まれる病変候補の診断精度を向上させることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　内視鏡画像から検出された病変候補を含む病変候補画像を取得する画像取得手段と、
　前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行うリサイズ手段と、
　前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理を行うパディング手段と、
　を有する画像処理装置。
　（付記２）
　前記病変候補画像の明るさを修整する明るさ修整手段をさらに有し、
　前記リサイズ手段は、前記明るさが修整された前記病変候補画像に対して前記リサイズ処理を行う付記１の画像処理装置。
　（付記３）
　前記明るさが修整された前記病変候補画像のサイズを前記目標サイズよりも大きなサイズに拡大する超解像処理を行う超解像処理手段をさらに有し、
　前記リサイズ手段は、前記リサイズ処理として、前記超解像処理が行われた前記病変候補画像のサイズを前記目標サイズに収まる最大のサイズまで縮小する縮小処理を行う付記２の画像処理装置。
　（付記４）
　前記パディング手段は、前記パディング処理として、前記縮小処理により得られた前記リサイズ画像を、前記目標サイズと同一のサイズを有する背景画像の中央部分に重畳する処理を行う付記３の画像処理装置。
　（付記５）
　前記パディング手段は、前記超解像処理が行われた前記病変候補画像に含まれる各画素の色成分値の中間値により表される色で全域を着色した単色画像を生成し、当該単色画像に対してノイズを加えた画像を前記背景画像として取得する付記４の画像処理装置。
　（付記６）
　内視鏡画像から検出された病変候補を含む病変候補画像を取得し、
　前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行い、
　前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理を行う画像処理方法。
　（付記７）
　内視鏡画像から検出された病変候補を含む病変候補画像を取得する処理と、
　前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理と、
　前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理と、をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１１　病変候補検出部
　１２　明るさ修整部
　１３　超解像処理部
　１４　サイズ調整部
　１００　画像処理装置

Claims (7)

  1. 　内視鏡画像から検出された病変候補を含む病変候補画像を取得する画像取得手段と、
    　前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行うリサイズ手段と、
    　前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理を行うパディング手段と、
    　を有する画像処理装置。
  2. 　前記病変候補画像の明るさを修整する明るさ修整手段をさらに有し、
    　前記リサイズ手段は、前記明るさが修整された前記病変候補画像に対して前記リサイズ処理を行う請求項１に記載の画像処理装置。
  3. 　前記明るさが修整された前記病変候補画像のサイズを前記目標サイズよりも大きなサイズに拡大する超解像処理を行う超解像処理手段をさらに有し、
    　前記リサイズ手段は、前記リサイズ処理として、前記超解像処理が行われた前記病変候補画像のサイズを前記目標サイズに収まる最大のサイズまで縮小する縮小処理を行う請求項２に記載の画像処理装置。
  4. 　前記パディング手段は、前記パディング処理として、前記縮小処理により得られた前記リサイズ画像を、前記目標サイズと同一のサイズを有する背景画像の中央部分に重畳する処理を行う請求項３に記載の画像処理装置。
  5. 　前記パディング手段は、前記超解像処理が行われた前記病変候補画像に含まれる各画素の色成分値の中間値により表される色で全域を着色した単色画像を生成し、当該単色画像に対してノイズを加えた画像を前記背景画像として取得する請求項４に記載の画像処理装置。
  6. 　内視鏡画像から検出された病変候補を含む病変候補画像を取得し、
    　前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理を行い、
    　前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理を行う画像処理方法。
  7. 　内視鏡画像から検出された病変候補を含む病変候補画像を取得する処理と、
    　前記病変候補画像のアスペクト比を維持しつつ、前記病変候補画像のサイズを目標サイズに応じてリサイズするリサイズ処理と、
    　前記リサイズ処理により得られたリサイズ画像のサイズを前記目標サイズに一致させるパディング処理と、をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2023/007208 2023-02-28 2023-02-28 画像処理装置、画像処理方法、及び、記録媒体 WO2024180644A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/007208 WO2024180644A1 (ja) 2023-02-28 2023-02-28 画像処理装置、画像処理方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/007208 WO2024180644A1 (ja) 2023-02-28 2023-02-28 画像処理装置、画像処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2024180644A1 true WO2024180644A1 (ja) 2024-09-06

Family

ID=92589518

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/007208 WO2024180644A1 (ja) 2023-02-28 2023-02-28 画像処理装置、画像処理方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2024180644A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018211709A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 ブレ補正装置、内視鏡装置及びブレ補正方法
JP2020036773A (ja) * 2018-09-05 2020-03-12 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
WO2020054566A1 (ja) * 2018-09-11 2020-03-19 ソニー株式会社 医療用観察システム、医療用観察装置及び医療用観察方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018211709A1 (ja) * 2017-05-19 2018-11-22 オリンパス株式会社 ブレ補正装置、内視鏡装置及びブレ補正方法
JP2020036773A (ja) * 2018-09-05 2020-03-12 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
WO2020054566A1 (ja) * 2018-09-11 2020-03-19 ソニー株式会社 医療用観察システム、医療用観察装置及び医療用観察方法

Similar Documents

Publication Publication Date Title
US9020257B2 (en) Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
JP3668014B2 (ja) 画像処理方法及び装置
JP3880553B2 (ja) 画像処理方法および装置
KR101267404B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US8687883B2 (en) Method and a device for merging a plurality of digital pictures
US20140119595A1 (en) Methods and apparatus for registering and warping image stacks
JP2004030670A (ja) デジタル画像の色調特徴の強調方法
Klein et al. Simulating low-cost cameras for augmented reality compositing
US8369654B2 (en) Developing apparatus, developing method and computer program for developing processing for an undeveloped image
US7130485B2 (en) Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions
Kao High dynamic range imaging by fusing multiple raw images and tone reproduction
CN109478316A (zh) 实时自适应阴影和高光增强
Meylan et al. Color image enhancement using a Retinex-based adaptive filter
JP3779927B2 (ja) 電子的に取得した画像の色彩度を修正する方法及び装置
JP7296745B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US7387386B2 (en) Ophthalmologic image processing apparatus
WO2024180644A1 (ja) 画像処理装置、画像処理方法、及び、記録媒体
CN109104601A (zh) 检测装置、图像处理装置、检测方法以及图像处理方法
Johnson Cares and concerns of CIE TC8-08: spatial appearance modeling and HDR rendering
JP2006115445A (ja) 画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP7507554B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US7437016B2 (en) Image enhancement
JP3789911B2 (ja) 画像処理装置および顔画像処理装置
JP2006114006A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
TWI235608B (en) Method and apparatus for transforming a high dynamic range image into a low dynamic range image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23925201

Country of ref document: EP

Kind code of ref document: A1