WO2023153069A1 - 医療画像装置、内視鏡システム、及び、診断書作成システム - Google Patents
医療画像装置、内視鏡システム、及び、診断書作成システム Download PDFInfo
- Publication number
- WO2023153069A1 WO2023153069A1 PCT/JP2022/045860 JP2022045860W WO2023153069A1 WO 2023153069 A1 WO2023153069 A1 WO 2023153069A1 JP 2022045860 W JP2022045860 W JP 2022045860W WO 2023153069 A1 WO2023153069 A1 WO 2023153069A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- medical
- candidate
- candidate image
- medical imaging
- Prior art date
Links
- 230000003902 lesion Effects 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 54
- 238000002059 diagnostic imaging Methods 0.000 claims description 41
- 238000013441 quality evaluation Methods 0.000 claims description 29
- 238000001727 in vivo Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 19
- 238000002360 preparation method Methods 0.000 claims description 12
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000003745 diagnosis Methods 0.000 abstract description 12
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 10
- 210000002784 stomach Anatomy 0.000 description 10
- 238000005452 bending Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 7
- 210000003238 esophagus Anatomy 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 208000032843 Hemorrhage Diseases 0.000 description 4
- 208000034158 bleeding Diseases 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 4
- 210000002318 cardia Anatomy 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 208000005718 Stomach Neoplasms Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 206010017758 gastric cancer Diseases 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 201000011549 stomach cancer Diseases 0.000 description 3
- 206010003694 Atrophy Diseases 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 230000037444 atrophy Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 230000002757 inflammatory effect Effects 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 206010015150 Erythema Diseases 0.000 description 1
- 206010039580 Scar Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000001731 descending colon Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000001599 sigmoid colon Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000003384 transverse colon Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
Definitions
- the present invention relates to a medical imaging apparatus, an endoscope system, and a medical certificate creation system that acquire medical images used to create various medical reports such as endoscopic reports.
- Patent Document 1 For medical examinations, various medical reports are created.
- a medical examination for example, in an endoscopy as shown in Patent Document 1, a doctor takes a large number of still images during the examination, and after the examination, a high-quality image that matches the patient's findings is written in a medical certificate or report. The image to be used is selected.
- Patent Document 1 when a lesion or a site is detected from an endoscopic image and a probability score indicating the probability of a disease is displayed, a definitive diagnosis result, which is information on the site or disease, is stored in a storage area. I am letting
- the present invention provides a medical imaging apparatus, endoscopy, etc., capable of selecting an image that can be used for a medical certificate during an examination so that an image necessary for a medical certificate can be efficiently extracted after the examination.
- An object of the present invention is to provide a mirror system and a medical certificate preparation system.
- the medical imaging apparatus of the present invention includes a medical image processor that acquires a plurality of time-series medical images, calculates a score from each medical image, and uses the score for a diagnosis report based on the score. It selects a candidate image, notifies that it is a candidate image, and outputs the candidate image.
- the medical image processor calculates the lesion confidence obtained by lesion recognition processing based on medical images, the region confidence obtained by region recognition processing based on medical images, the image quality evaluation value obtained by image quality evaluation processing based on medical images, the medical image It is preferable to calculate the score using at least one of the treatment instrument certainty obtained by the treatment instrument recognition processing based on the medical image and the in-vivo aspect certainty obtained by the in-vivo aspect recognition processing based on the medical image.
- the medical image processor calculates the lesion confidence obtained by lesion recognition processing based on medical images, the region confidence obtained by region recognition processing based on medical images, the image quality evaluation value obtained by image quality evaluation processing based on medical images, the medical image A score can be calculated using a combination of two or more of the treatment instrument certainty obtained in the treatment instrument recognition process based on or the in-vivo aspect certainty obtained in the in-vivo aspect recognition process based on the medical image. preferable. It is preferable to calculate the score using a combination of the region confidence, the lesion confidence, the image quality evaluation value, the treatment instrument confidence, or the internal state confidence.
- Selection of candidate images is preferably based on user input in addition to scores.
- the score preferably varies according to user input. It is preferable to display candidate images whose scores are equal to or greater than the threshold on the display when outputting the candidate images.
- the medical image processor in addition to notifying that it is a candidate image, notifies part information indicating the part of the candidate image.
- the part information is the number of candidate images for each part, and the medical image processor preferably counts and notifies the number of candidate images for each part.
- the medical image processor notifies that the prescribed number has been reached, or after reaching the prescribed number, displays the candidate images for the region where the prescribed number has been reached. It is preferable to perform at least one of not notifying that it is.
- the medical image processor preferably notifies that the image is a candidate image when the score exceeds the reference score for each part and the score for the part is updated. It is preferable that the reference score can be set for each part.
- the medical image processor accepts a cancel operation to cancel the output of the candidate image while informing that it is a candidate image. It is preferable that the medical image processor accepts a confirmation operation for confirming the output of the candidate image while notifying that it is a candidate image.
- the endoscope system of the present invention includes the medical imaging apparatus of the present invention described above, and notification of candidate images is performed during examination.
- the diagnostic document preparation system of the present invention comprises a report processor, and the report processor receives candidate images from the medical imaging apparatus of the present invention described above and displays the candidate images on a display.
- a medical certificate preparation system of the present invention includes a report processor, the report processor receives candidate images with associated scores from the above-described medical imaging apparatus of the present invention, and according to a display mode based on the scores, candidates Display an image on the display.
- a diagnostic certificate preparation system of the present invention includes a report processor, the report processor receives a candidate image and a non-candidate image different from the candidate image from the above-described medical imaging apparatus of the present invention, and and images are displayed on the display in different display modes.
- a diagnostic certificate preparation system of the present invention includes a report processor, the report processor receives a candidate image and a non-candidate image different from the candidate image from the above-described medical imaging apparatus of the present invention, and Display control of the non-candidate images on the display is performed according to the display mode based on the degree of similarity with the image.
- the similarity is the image similarity between the candidate image and the non-candidate image, the temporal similarity between the candidate image and the non-candidate image, or the combined similarity of the image similarity and temporal similarity between the candidate image and the non-candidate image. Any one of them is preferable.
- the present invention it is possible to select an image that can be used for a medical certificate or the like during an examination, so that images required for a medical certificate or the like can be efficiently extracted after the examination.
- FIG. 1 is a schematic diagram of an endoscope system;
- FIG. 1 is a block diagram showing functions of a medical image processor device;
- FIG. (A) represents a medical image in the presence of a lesion, and (B) represents a medical image in the absence of a lesion.
- (A) represents a medical image when the diagnostic target is far, and (B) represents a medical image when the diagnostic target is near.
- FIG. 10 is an image diagram showing a display mode of a medical image display displayed when candidate images are selected;
- FIG. 4 is an image diagram showing a display mode of a medical image display that displays part information;
- FIG. 10 is an image diagram showing a display mode of the medical image display when the prescribed number of images for each region is reached;
- FIG. 10 is an image diagram showing a display mode of the medical image display when notification of candidate images is not performed;
- FIG. 10 is an image diagram showing a display mode of the medical image display when the reference score for each region is exceeded;
- FIG. 10 is an image diagram showing a display mode of the medical image display when a cancel operation or a confirmation operation is possible;
- 1 is a schematic diagram of a medical certificate creation system;
- FIG. 10 is an image diagram showing a display mode of a report display;
- FIG. 11 is an image diagram of a report display that displays candidate images according to a score-based display mode;
- FIG. 10 is an image diagram of a report display that displays candidate images and non-candidate images in different display modes.
- FIG. 10 is an image diagram of a report display displayed according to a display mode based on the degree of similarity between a candidate image and a non-candidate image;
- the endoscope system 10 acquires a medical image such as an endoscopic image by imaging an observation target.
- the medical certificate preparation system 100 receives medical images acquired by the endoscope system 10 and prepares various medical reports such as endoscopic reports.
- the endoscope system 10 and the medical certificate preparation system 100 can communicate with each other via a network NT such as a LAN.
- the endoscope system 10 includes an endoscope 12, a light source device 13, a processor device 14, a display 15, a processor-side user interface 16, and a medical imaging device 17.
- the endoscope 12 is optically or electrically connected to the light source device 13 and electrically connected to the processor device 14 .
- the medical imaging device 17 is electrically connected with the light source device 13 and the processor device 14 .
- the endoscope 12 has an insertion section 12a, an operation section 12b, a bending section 12c and a distal end section 12d.
- the insertion portion 12a is inserted into the body of the subject.
- the operation portion 12b is provided at the proximal end portion of the insertion portion 12a.
- the curved portion 12c and the distal end portion 12d are provided on the distal end side of the insertion portion 12a.
- the bending portion 12c is bent by operating the angle knob 12e of the operation portion 12b.
- the distal end portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
- a forceps channel (not shown) for inserting a treatment tool or the like is provided from the insertion portion 12a to the distal end portion 12d.
- the treatment instrument is inserted into the forceps channel from the forceps port 12j.
- An imaging optical system for forming a subject image and an illumination optical system for illuminating the subject with illumination light are provided inside the endoscope 12 .
- the operation unit 12b is provided with an angle knob 12e, a mode changeover switch 12f, a still image acquisition instruction switch 12h, and a zoom operation unit 12i.
- the mode changeover switch 12f is used for an observation mode changeover operation.
- a still image acquisition instruction switch 12h is used to instruct acquisition of a still image of a subject.
- the zoom operation unit 12i is used for operations for enlarging or reducing an observation target.
- the operation unit 12b may be provided with a scope-side user interface 19 for performing various operations on the processor unit 14 in addition to the mode switching switch 12f and the still image acquisition instruction switch 12h.
- the light source device 13 generates illumination light.
- the processor device 14 performs system control of the endoscope system 10 and further performs image processing on image signals transmitted from the endoscope 12 to generate medical images.
- Processor unit 14 transmits medical images to medical imaging device 17 as well as to display 15 .
- the display 15 displays medical images transmitted from the processor device 14 .
- the processor-side user interface 16 has a keyboard, a mouse, a microphone, a tablet, a foot switch, a user's line of sight detection, a touch pen, and the like, and receives input operations such as function settings by the user.
- the medical imaging device 17 includes a medical image processor device 20 and a medical image display 21 (display).
- the medical image processor device 20 receives medical images transmitted from the processor device 14, and performs various processes such as lesion recognition processing, part recognition processing, and image quality evaluation processing based on the received medical images.
- the medical image processor device 20 transmits not only the medical image but also various processing results to the medical image display 21 .
- the medical image processor device 20 also transmits information such as medical images and various processing results to the medical certificate preparation system 100 via the network NT.
- the medical image display 21 displays medical images and the like transmitted from the medical image processor device 20 .
- the endoscope system 10 has a normal mode, a lesion recognition mode, a part recognition mode, or a candidate image selection mode.
- a normal color image obtained by illuminating an observation target with white light is displayed on the display 15 as a medical image.
- lesion recognition mode lesion recognition processing is performed on the medical image, and when a lesion is recognized, the presence of the lesion is displayed on the medical image display 21 .
- region recognition mode the medical image is subjected to region recognition processing, and the type of the recognized region and the like are displayed on the medical image display 21 .
- the candidate image selection mode a candidate image to be used for a diagnosis report is selected from among medical images, and the selection of the candidate image is notified.
- the above normal mode, lesion recognition mode, site recognition mode, or candidate image selection mode can be set by the processor-side user interface 16 or the scope-side user interface 19.
- mode setting in addition to sequential switching, it is also possible to simultaneously execute two or more modes (for example, execute all of the lesion recognition mode, the site recognition mode, or the candidate image selection mode).
- a treatment instrument recognition mode or an in-vivo aspect recognition mode may be provided for each of the treatment instrument recognition process or the intra-body aspect recognition process, which will be described later.
- the medical image processor 20 includes an image acquisition unit 25, a score calculation unit 26, a candidate image selection unit 27, a notification control unit 28, an image output control unit 29, a candidate image and a memory 33 .
- programs related to various processes are stored in a program memory (not shown).
- a central control unit (not shown) composed of a medical image processor executes a program in a program memory to control an image acquisition unit 25, a score calculation unit 26, a candidate image selection unit 27, and a notification control unit. 28 and the functions of the image output control unit 29 are realized.
- the image acquisition unit 25 acquires a plurality of time-series medical images by sequentially acquiring medical images from the processor device 14 .
- endoscopic images obtained by the endoscope 12 are acquired as medical images, but other medical images such as ultrasound images, CT (Computed Tomography) images, and MRI (Magnetic Resonance Imaging) images are received. You may
- the score calculation unit 26 calculates a score from each medical image acquired by the image acquisition unit 25.
- the scores are used to select candidate images for use in diagnostic reports, as will be described later.
- the score is expressed in five stages from A to E, with A being the most likely to be selected as a candidate image, and B, C, D, and E being selected as candidate images in that order. less likely.
- the score is "A" when a lesion DA exists on the medical image, and as shown in FIG. is given an "E" score.
- the score is set so that the higher the possibility that it is a lesion, the higher the possibility that it is a site to be diagnosed, and the higher the possibility that the image quality is, the higher the score will be. Therefore, the score calculation unit 26 calculates the lesion confidence obtained by the lesion recognition processing based on the medical image, the region confidence obtained by the region recognition processing based on the medical image, the image quality evaluation value obtained by the image quality evaluation processing based on the medical image, It is preferable to calculate the score using either the treatment instrument certainty obtained by the treatment instrument recognition processing based on the medical image or the in-vivo aspect certainty obtained by the in-vivo aspect recognition processing based on the medical image.
- the score calculation unit 26 calculates a score using a combination of two or more of the lesion certainty, the site certainty, the image quality evaluation value, the treatment instrument certainty, and the in-vivo state certainty. . For example, when calculating a score that combines the lesion certainty and the treatment instrument certainty, a higher score is calculated when the lesion certainty is high and the treatment instrument certainty is high. and a useful image including a treatment tool can be easily selected as a candidate image.
- the score is calculated by combining the site confidence, the lesion confidence, the image quality evaluation value, the treatment tool confidence, or the body state confidence. is preferred. For example, by calculating a score by combining the region confidence and the lesion confidence, it becomes easier to select an image including a lesion (for example, stomach cancer) peculiar to each region as a candidate image. In addition, by calculating a score by combining the part certainty factor and the image quality evaluation value, it becomes easier to select an image including a part defined in the guideline (for example, the cardia) as a candidate image.
- a score by combining the part certainty factor and the treatment instrument certainty factor it becomes easier to select an image including a treatment instrument suitable for the part as a candidate image.
- calculating a score by combining the region confidence and the in-vivo aspect confidence it is possible to easily select an image including an in-vivo aspect peculiar to each region (for example, a region after resection of gastric cancer) as a candidate image. Become.
- the score by combining the lesion confidence and the image quality evaluation value it becomes easier to select images suitable for diagnosis as candidate images. Further, by calculating a score by combining the lesion certainty factor and the treatment instrument certainty factor, it becomes easier to select an image for confirming treatment for a lesion as a candidate image. Further, by calculating a score by combining the lesion certainty factor and the in-vivo aspect certainty factor, it becomes easier to select a lesion having a specific in-vivo aspect (for example, a marked lesion) as a candidate image. Further, by calculating a score by combining the treatment instrument certainty and the intra-body state certainty, it becomes easier to select an image in which a specific treatment is being performed as a candidate image.
- the image in which the biopsy was performed is selected as the candidate image. be done.
- the score may be calculated by combining at least three of the lesion certainty, the site certainty, the image quality evaluation value, the treatment instrument certainty, and the internal state certainty. For example, by calculating a score by combining the lesion certainty factor, the part certainty factor, and the image quality evaluation value, a high-quality image containing a lesion specific to each part (for example, stomach cancer) can be selected as a candidate. It becomes easy to be selected as an image.
- the lesion certainty is a numeric representation of the possibility of a lesion.
- the lesion confidence is represented by a decimal number between 0 and 1, and the larger the value, the lower the possibility of being a lesion.
- the lesion confidence is preferably associated with the score, for example, in increments of 0.2. In this case, the score is E for "0 to 0.2", the score is D for "0.2 to 0.4", and the score is C for "0.4 to 0.6". , and the score is B if it is "0.6 to 0.8", and it is A if it is "0.8 to 1".
- the site confidence is expressed as a decimal number between 0 and 1, and the higher the value, the higher the possibility of the site being diagnosed.
- the site to be diagnosed is preferably set in advance before diagnosis or set automatically.
- the image quality evaluation value is represented by a decimal number between 0 and 1, and the larger the value, the higher the possibility that the image quality of the medical image is high. It is preferable to associate the region confidence or the image quality evaluation value with the score at regular intervals (for example, increments of 0.2) similarly to the lesion confidence.
- the lesion certainty, the region certainty, or the image quality evaluation value it is preferable to weight them and add them together.
- Which of the lesion certainty, the region certainty, and the image quality evaluation value should be weighted is preferably set in advance before diagnosis or automatically set. For example, as shown in FIGS. 4A and 4B, when there are two medical images MP1 and MP2 for the same diagnostic object, one medical image MP1 is If the diagnosis target is far away and the image quality (brightness) is lower than that of the medical image MP2, the image quality evaluation value will be smaller than that of the medical image MP2, so the score of the medical image MP1 will be calculated as a lower score "D".
- FIG. 4B when the other medical image MP2 is closer to the diagnosis target and has higher image quality (brightness) than the medical image MP1, the image quality evaluation value is greater than the medical image MP1, and the medical The score of image MP2 is calculated as a higher "B".
- the score is set to be higher than when selecting candidate images based only on lesion confidence, site confidence, or image quality evaluation values, so that they are more likely to be selected as candidate images. is preferred.
- lesion recognition processing when lesion recognition processing is performed based on the lesion certainty, it is determined that no lesion is detected when the lesion certainty is equal to or less than the lesion threshold. Further, when part recognition processing is performed based on the part certainty factors, after calculating the part certainty factors for a plurality of parts, the parts having the part threshold values or more are output as "specified parts.” Further, when the treatment instrument recognition process is performed based on the treatment instrument certainty, the treatment instrument certainty is calculated for each of a plurality of treatment instruments (snare, forceps, clip, etc.), and then the treatment instrument certainty is If there are items equal to or greater than the instrument threshold, the instrument corresponding to the instrument certainty is detected.
- NN Neuronal Network
- CNN Convolutional Neural Network
- RNN Recurrent Neural Network
- Adaboost Adaboost
- a learning model obtained by learning using a random forest. That is, it is preferable to output the lesion certainty, the region certainty, the image quality evaluation value, the treatment instrument certainty, or the in-vivo state certainty for the medical image input to the learning model.
- the lesion confidence, the site confidence, the image quality evaluation value, the treatment instrument confidence, or the in-vivo state confidence are output.
- the pixel value gradient and the like are, for example, subject shapes (global undulations of mucous membranes, local depressions or elevations, etc.), colors (whitening caused by inflammation, bleeding, redness, or atrophy). , tissue characteristics (blood vessel thickness, depth, density, or a combination thereof, etc.), or structural characteristics (pit pattern, etc.).
- the lesion area detected by the lesion recognition process includes, for example, a lesion typified by cancer, a trace of treatment, a trace of surgery, a bleeding site, a benign tumor, an inflammatory site (so-called inflammation, bleeding or atrophy). (including parts with changes such as ).
- a lesion region A region that needs to be treated can be a lesion region.
- an area including at least one of a lesion, a benign tumor, and an inflammatory area is detected as a lesion area.
- the area detected by the treatment tool recognition process is an area that includes treatment tools such as clips and forceps.
- the regions detected by the recognition processing of the in-vivo state are the cauterized scars caused by heating, the marking portion marked by coloring with a coloring agent, a fluorescent agent, etc., the biopsy performing portion where the biopsy (so-called biopsy) was performed, and the processing.
- the site recognition processing recognizes which site is being imaged among a plurality of preset imaging target sites.
- part recognition processing medical images are learned and a learned model is generated in order to recognize a preset imaging target part. Then, in the part recognition process, the learned model is used to determine whether or not the set imaging target part is included in the medical image, and the likelihood of being the corresponding part is output as the part certainty.
- a plurality of imaging target sites are set according to the purpose of the examination. For example, when examining the inside of the stomach, the site is set to the vault, the upper part of the stomach body, the middle part of the stomach body, the lower part of the stomach body, the cardia, the angle of the stomach, and the like. Also, when examining the inside of the large intestine, the imaging target region can be set to the rectum, sigmoid colon, descending colon, transverse colon, or the like.
- the image quality is evaluated using indicators for determining blurring and brightness.
- the blurring determination is based on the input medical image to determine whether the medical image has blurring and/or blurring.
- Blur blur determination is performed by a blur blur determiner (not shown), and the blur blur determination of medical images is performed by a known technique such as Fast Fourier Transform (FFT).
- FFT Fast Fourier Transform
- the brightness determination is performed based on the input medical image, for example, based on the brightness of the medical image.
- the image quality recognition process may be set for each imaging target part specified in the part recognition process.
- the candidate image selection unit 27 selects candidate images to be used in the diagnosis report based on the score. Specifically, medical images with scores greater than or equal to a threshold value are selected as candidate images. For example, if the score is between "B" and "C", the medical images with scores "A" and "B” are selected as candidate images. Further, the candidate image selection unit 27 selects candidate images based on the user's input in addition to the score. In this case, the score is preferably varied according to user input. For example, when there is a user input, it is preferable to increase the score calculated by the score calculation unit 26 because it is a medical image that the user wants to save as a candidate image. Specifically, when the score calculated by the score calculation unit 26 is "C", it is preferable to raise the score to "B" according to the user's input.
- a bending sensor for recognizing the movement of the user's hand may be connected to the endoscope system 10 .
- the bend sensor preferably incorporates the bend sensor into the doctor's medical gloves.
- the resistance value of the bending sensor increases or decreases when the doctor folds or extends the hand or fingers from a bent state.
- the bending sensor recognizes a change in resistance value equal to or greater than a certain value, it is determined that there has been a user input, and is used to select a candidate image.
- the notification control unit 28 notifies that it is a candidate image. Notification of candidate images is preferably performed during inspection. Specifically, when a candidate image with a score equal to or higher than a threshold is selected, the notification control unit 28 displays on the medical image display 21 that it is a candidate image. For example, as shown in FIG. 5, it is preferable to highlight an outer frame 30a of a main screen 30 that displays a medical image as an examination moving image in real time with a color for selecting candidate images.
- the color for candidate image selection is preferably different from the color for lesion recognition when a lesion is recognized in lesion recognition processing. For example, when the color for candidate image selection is yellow, the color for lesion recognition processing is preferably blue, which is complementary to yellow.
- the still image is displayed on a sub-screen 31 different from the main screen 30 during moving image display.
- the outer frame 31a of the sub-screen 31 is highlighted with the color for selecting the candidate image, and a message MS1 (captured) representing acquisition of the still image is displayed above the sub-screen 31.
- the image output control unit 29 outputs candidate images. Specifically, when a candidate image is selected, the image output control section 29 stores the candidate image in the candidate image memory 33 . When storing the candidate images in the candidate image memory 33, the image output control unit 29 preferably stores the candidate images and scores in association with each other. After the examination, the image output control unit 29 transmits information such as the candidate images and scores stored in the candidate image memory 33 to the medical certificate preparation system 100 via the network NT.
- the candidate images include still images obtained by operating the still image acquisition instruction switch 12h, lesion images automatically acquired according to lesion recognition processing or part recognition processing, or It is preferable to include site images as well.
- the candidate image memory 33 preferably stores non-candidate images different from the candidate images, such as still images, lesion images, and site images.
- the notification control unit 28 may notify part information indicating the part of the candidate image in addition to notifying that it is a candidate image. Specifically, as shown in FIG. 6 , region information is displayed on a region information display screen 35 separate from the main screen 30 on the medical image display 21 .
- the part information is preferably the number of candidate images for each part.
- the notification control unit 28 counts and notifies the number of candidate images for each part each time a candidate image is selected.
- the notification control unit 28 preferably displays the number of candidate images for the esophagus and the number of candidate images for the stomach on the region information display screen 35 as the number of candidate images for each region.
- the number display section 36 for displaying the candidate images of the esophagus the number of images currently being counted in the esophagus (“6 images” of “6 images/8 images”) is displayed on the left side, and the specified number of images in the esophagus (“6 images”) is displayed on the right side. "8 sheets” in “sheets/8 sheets”).
- the number display unit 37 for displaying the number of candidate images of the stomach also displays the same number as the number display unit 36 (out of "3/8", "3" indicates the number of images currently being counted in the stomach). , "8" represents the prescribed number in the stomach).
- the notification control unit 28 notifies that the specified number of images has been reached, or the notification control unit 28 outputs the specified number after reaching the specified number. At least one of not notifying that it is a candidate image for a part that has reached the number of images. Specifically, as shown in FIG. 7, when the number of candidate images currently being counted in the esophagus reaches the specified number of eight, a message MS2 is displayed to the effect that the specified number has been reached. In the case of the esophagus, when a candidate image is selected after the specified number of eight images has been reached, as shown in FIG. do not have. In this case, it is preferable not to store the candidate images in the candidate image memory 33 .
- the notification control unit 28 notifies that the candidate image is a candidate image each time the candidate image is selected. It may be reported that It is preferable that the reference score can be set for each part. Specifically, as shown in FIG. 9, when the reference score of the esophagus is "B", when the candidate image of "A" having a higher score than "B" is selected, the candidate Notify that it is an image. In this case, when a candidate image with a score of "B” is selected, it is preferable not to notify that it is a candidate image. However, even a candidate image with a score of “B” is stored in the candidate image memory 33 . As for the stomach, since the reference score is "B", only the candidate image with the score of "A” is reported, and the candidate image with the score of "B” is only stored in the candidate image memory 33. , will not be notified.
- the image output control unit 29 may accept a cancel operation for canceling the output of the candidate image while the candidate image is being notified.
- the medical image display 21 displays an operation icon 40 (displayed as "cancel") indicating that the cancellation operation can be accepted.
- the user performs a cancel operation by operating the processor-side user interface 16 or the scope-side user interface 19 and performing an input operation on the operation icon 40 .
- the output of the candidate image such as the storage of the candidate image in the candidate image memory 33, is cancelled.
- the image output control unit 29 may accept a confirmation operation for confirming the output of the candidate image while notifying that it is a candidate image.
- the medical image display 21 displays an operation icon 41 (displayed as "confirm") indicating that the confirmation operation can be accepted.
- the user performs a confirmation operation by operating the processor-side user interface 16 or the scope-side user interface 19 and performing an input operation on the operation icon 41 .
- this cancellation operation the output of the candidate image such as storage of the candidate image in the candidate image memory 33 is confirmed.
- the notification of the candidate image has passed for a certain period of time and neither the cancellation operation nor the confirmation operation is performed, the confirmation of the output of the candidate image is automatically confirmed. you can go
- the medical certificate creation system 100 is used to create various medical reports such as endoscopic reports, and includes a report processor device 101 and a report display 102 (display). ing.
- the report processor device 101 receives the candidate images obtained by the endoscope system 10, and displays the candidate images on the report display 102. indicate.
- the report display 102 includes a candidate image display screen 105 provided in the right half for displaying the candidate images 103 and a report display screen 105 provided in the left half for displaying the report images of the candidate images 103 to be included in the report. is displayed.
- a candidate image 103 received from the endoscope system 10 is displayed on a candidate image display screen 105 .
- all candidate images 103 received from the endoscope system 10 are displayed.
- a candidate image selected by the user from among the candidate images displayed on the candidate image display screen 105 is moved to the report image display screen.
- Candidate images are moved by a report operation user interface (not shown).
- a scroll bar 107 is displayed. 103 can be displayed.
- the report processor device 101 may receive candidate images associated with scores, and the report display 102 may display the candidate images on the report display 102 according to the display mode based on the scores. Specifically, when candidate images with scores of "A” and "B" are received from the endoscope system 10, the display mode of the candidate image with the score of "A” is displayed on the candidate image display screen 105. , and the display mode of the candidate image with the score of "B".
- the candidate image 103a with the score "A" (solid line display), and not display the candidate image 103b with the score "B" (dotted line display).
- a candidate image with a higher score may be displayed so as to be positioned higher on the candidate image display screen 105 .
- only the candidate images with a score equal to or higher than a certain score may be arranged in chronological order and displayed.
- the report processor device 101 may receive a candidate image and a non-candidate image different from the candidate image, and display the candidate image and the non-candidate image on the report display 102 in different display modes. Specifically, as shown in FIG. 14, on the candidate image display screen 105, the outer frame of the candidate image 103 is doubled and highlighted, while the non-candidate image 109 is not highlighted. Since the candidate image 103 and the non-candidate image 109 are thus distinguished from each other, the user can easily select the report image.
- the report processor device 101 receives a candidate image and a non-candidate image different from the candidate image, and controls the display of the non-candidate image on the report display 102 according to the display mode based on the similarity between the candidate image and the non-candidate image.
- the similarity is the image similarity between the candidate image and the non-candidate image, the temporal similarity between the candidate image and the non-candidate image, or the combined similarity of the image similarity and temporal similarity between the candidate image and the non-candidate image. Any one of them is preferable.
- the image similarity is the similarity regarding the feature amount (color, brightness, etc.) between the candidate image and the non-candidate image.
- the temporal similarity is the similarity between the imaging or acquisition timing of a candidate image and the imaging or acquisition timing of a non-candidate image.
- the outer frame of the candidate image 103 is doubled and highlighted.
- the non-candidate images 109 the non-candidate images 109a whose degree of similarity with the candidate image is equal to or higher than a certain level are displayed without being highlighted.
- the non-candidate images 109b having less than a certain degree of similarity with the candidate images are hidden.
- the hardware structure of the processing unit that executes various processes such as the image acquisition unit, the score calculation unit, the candidate image selection unit, the notification control unit, and the image output control unit is shown below.
- processors such as Various processors include CPU (Central Processing Unit), GPU (Graphical Processing Unit), FPGA (Field Programmable Gate Array), etc.
- Programmable Logic Device which is a processor whose circuit configuration can be changed after manufacturing, and a dedicated electric circuit, which is a processor with a circuit configuration specially designed to perform various processes. .
- One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same or different type (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and A combination of GPUs, etc.).
- a plurality of processing units may be configured by one processor.
- configuring a plurality of processing units in one processor first, as represented by computers such as clients and servers, one processor is configured by combining one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
- SoC System On Chip
- the various processing units are configured using one or more of the above various processors as a hardware structure.
- the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
- the hardware structure of the storage unit is a storage device such as an HDD (hard disc drive) or SSD (solid state drive).
- endoscope system 12 endoscope 12a insertion portion 12b operation portion 12c bending portion 12d tip portion 12e angle knob 12f mode changeover switch 12h still image acquisition instruction switch 12i zoom operation portion 12j forceps port 13 light source device 14 processor device 15 display 16 Processor-side user interface 17 Medical imaging device 19 Scope-side user interface 20 Medical image processor device 21 Medical image display 25 Image acquisition unit 26 Score calculation unit 27 Candidate image selection unit 28 Notification control unit 29 Image output control unit 30 Main screen 30a Outer frame 31 Subscreen 31a Outer frame 33 Candidate image memory 35 Part information display screens 36, 37 Number display units 40, 41 Operation icons 100 Medical certificate creation system 101 Report processor device 102 Report displays 103, 103a, 103b Candidates Image 104 Report image 105 Candidate image display screen 106 Report image display screen 109, 109a, 109b Non-candidate image NT Network DA Lesion MS1, MS2 Message MP1, MP2 Medical image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
Abstract
検査中に、診断書用などに使用可能な画像を選定することができる医療画像装置、内視鏡システム、及び、診断書作成システムを提供する。 画像取得部（２５）は、時系列の複数の医療画像を取得する。スコア算出部（２６）は、各医療画像からスコアを算出する。候補画像選定部（２７）は、スコアに基づいて、診断レポートに用いる候補画像を選定する。報知制御部（２８）は、候補画像であることを報知する。画像出力制御部（２９）は、候補画像を出力する。
Description
本発明は、内視鏡レポートなどの各種医療用のレポートの作成に用いる医療画像を取得する医療画像装置、内視鏡システム、及び、診断書作成システムに関する。
医療検査においては、各種医療用のレポートが作成されている。医療検査として、例えば、特許文献１に示すような内視鏡検査では、医師は検査中に静止画を大量に撮影し、検査後に患者の所見に合った高画質な画像を診断書又はレポートに用いる画像として選択することが行われている。なお、特許文献１では、内視鏡画像内から病変や部位を検出し、疾患である確率を示す確率スコアを表示する場合において、部位や疾患の情報である確定診断結果を、記憶領域に記憶させている。
上記のように、診断書又はレポートに用いる画像を選択する場合において、多くの医師は検査中に診断書又はレポート用の画像に目星は付けるものの、検査後に大量の静止画の中から検査毎に適当な画像を抽出するのは医師の手間又は時間の負担が非常に大きく、重要な画像を見失う可能性もある。そこで、検査中に、所見あり又は高画質などの画像のように、診断書又はレポート作成用に使用可能な画像を選定するようにし、検査後に、選定した画像を中心に提示することによって、診断書又はレポートに必要な画像を効率よく抽出することが求められていた。
本発明は、検査後に、診断書等に必要な画像を効率よく抽出することができるように、検査中に、診断書用などに使用可能な画像を選定することができる医療画像装置、内視鏡システム、及び、診断書作成システムを提供することを目的とする。
本発明の医療画像装置は、医療画像用プロセッサを備え、医療画像用プロセッサは、時系列の複数の医療画像を取得し、各医療画像からスコアを算出し、スコアに基づいて、診断レポートに用いる候補画像を選定し、候補画像であることを報知し、候補画像を出力する。
医療画像用プロセッサは、医療画像に基づく病変認識処理で得られる病変確信度、医療画像に基づく部位認識処理で得られる部位確信度、医療画像に基づく画質評価処理で得られる画質評価値、医療画像に基づく処置具認識処理で得られる処置具確信度、又は、医療画像に基づく体内態様の認識処理で得られる体内態様確信度のうち少なくともいずれかを用いて、スコアを算出することが好ましい。
医療画像用プロセッサは、医療画像に基づく病変認識処理で得られる病変確信度、医療画像に基づく部位認識処理で得られる部位確信度、医療画像に基づく画質評価処理で得られる画質評価値、医療画像に基づく処置具認識処理で得られる処置具確信度、又は、医療画像に基づく体内態様の認識処理で得られる体内態様確信度のうち２以上を組み合わせたものを用いて、スコアを算出することが好ましい。部位確信度と、病変確信度、画質評価値、処置具確信度、又は、体内態様確信度とを組み合わせたものを用いて、スコアを算出することが好ましい。
候補画像の選定は、スコアに加えて、ユーザー入力に基づいて行われることが好ましい。スコアは、ユーザー入力に従って、変動することが好ましい。候補画像の出力は、スコアが閾値以上の候補画像をディスプレイに表示することが好ましい。
医療画像用プロセッサは、候補画像であることの報知に加えて、候補画像の部位を示す部位情報を報知することが好ましい。部位情報は、部位毎の候補画像の枚数であり、医療画像用プロセッサは、部位毎に候補画像の枚数をカウントして報知することが好ましい。医療画像用プロセッサは、候補画像の枚数が部位毎の規定枚数に達した場合には、規定枚数に達したことの報知、又は、規定枚数に達した後において規定枚数に達した部位に関して候補画像であることの報知を行わないことのうち少なくともいずれかを行うことが好ましい。
医療画像用プロセッサは、スコアが部位毎の基準スコアを超えて部位でのスコアが更新された場合に、候補画像であることを報知することが好ましい。基準スコアは、部位毎に設定可能であることが好ましい。
医療画像用プロセッサは、候補画像であることを報知している間は、候補画像の出力を取り消す取消操作を受け付けることが好ましい。医療画像用プロセッサは、候補画像であることを報知している間は、候補画像の出力を確定する確定操作を受け付けることが好ましい。本発明の内視鏡システムは、上記記載の本発明の医療画像装置を備え、候補画像の報知は、検査中に行われる。
本発明の診断書作成システムは、レポート用プロセッサを備え、レポート用プロセッサは、上記記載の本発明の医療画像装置から候補画像を受信し、候補画像をディスプレイに表示する。
本発明の診断書作成システムは、レポート用プロセッサを備え、レポート用プロセッサは、上記記載の本発明の医療画像装置から、スコアが関連付けられた候補画像を受信し、スコアに基づく表示態様に従って、候補画像をディスプレイに表示する。
本発明の診断書作成システムは、レポート用プロセッサを備え、レポート用プロセッサは、上記記載の本発明の医療画像装置から、候補画像及び候補画像と異なる非候補画像を受信し、候補画像と非候補画像とをそれぞれ異なる表示態様でディスプレイに表示する。
本発明の診断書作成システムは、レポート用プロセッサを備え、レポート用プロセッサは、上記記載の本発明の医療画像装置から、候補画像及び候補画像と異なる非候補画像を受信し、候補画像と非候補画像との類似度に基づく表示態様に従って、ディスプレイにおいて非候補画像を表示制御する。
類似度は、候補画像と非候補画像の画像類似度、候補画像と非候補画像との時間類似度、又は、候補画像と非候補画像の画像類似度と時間類似度を組み合わせた統合類似度のうちのいずれかであることが好ましい。
本発明によれば、検査中に、診断書用などに使用可能な画像を選定することができるため、検査後に、診断書等に必要な画像を効率よく抽出することができる。
図１に示すように、内視鏡システム１０は、観察対象を撮像して内視鏡画像などの医療画像を取得する。診断書作成システム１００は、内視鏡システム１０で取得した医療画像を受信し、内視鏡レポートなどの各種医療用のレポートを作成する。内視鏡システム１０と診断書作成システム１００とは、ＬＡＮなどのネットワークＮＴを介して、互いに通信可能である。
内視鏡システム１０は、内視鏡１２、光源装置１３、プロセッサ装置１４、ディスプレイ１５、及び、プロセッサ側ユーザーインターフェース１６、及び、医療画像装置１７を備える。内視鏡１２は、光源装置１３と光学的又は電気的に接続され、かつ、プロセッサ装置１４と電気的に接続される。医療画像装置１７は、光源装置１３及びプロセッサ装置１４と電気的に接続される。
内視鏡１２は、挿入部１２ａ、操作部１２ｂ、湾曲部１２ｃ及び先端部１２ｄを有している。挿入部１２ａは、被写体の体内に挿入される。操作部１２ｂは、挿入部１２ａの基端部分に設けられる。湾曲部１２ｃ及び先端部１２ｄは、挿入部１２ａの先端側に設けられる。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）を設けている。処置具は、鉗子口１２ｊから鉗子チャンネル内に挿入する。
内視鏡１２の内部には、被写体像を結像するための撮像光学系、及び、被写体に照明光を照射するための照明光学系が設けられる。操作部１２ｂには、アングルノブ１２ｅ、モード切替スイッチ１２ｆ、静止画像取得指示スイッチ１２ｈ及びズーム操作部１２ｉが設けられる。モード切替スイッチ１２ｆは、観察モードの切り替え操作に用いる。静止画像取得指示スイッチ１２ｈは、被写体の静止画像の取得指示に用いる。ズーム操作部１２ｉは、観察対象の拡大又は縮小の操作に用いる。なお、操作部１２ｂには、モード切替スイッチ１２ｆ及び静止画像取得指示スイッチ１２ｈの他、プロセッサ装置１４に対する各種の操作を行うためのスコープ側ユーザーインターフェース１９を設けてもよい。
光源装置１３は、照明光を発生する。プロセッサ装置１４は、内視鏡システム１０のシステム制御を行い、さらに、内視鏡１２から送信された画像信号に対して画像処理等を行うことによって医療画像を生成等する。プロセッサ装置１４は、ディスプレイ１５の他、医療画像装置１７に医療画像を送信する。ディスプレイ１５は、プロセッサ装置１４から送信される医療画像を表示する。プロセッサ側ユーザーインターフェース１６は、キーボード、マウス、マイク、タブレット、フットスイッチ、ユーザーの視線検知、及びタッチペン等を有し、ユーザーによる機能設定等の入力操作を受け付ける。
医療画像装置１７は、医療画像用プロセッサ装置２０と、医療画像用ディスプレイ２１（ディスプレイ）とを備えている。医療画像用プロセッサ装置２０は、プロセッサ装置１４から送信される医療画像を受信し、受信した医療画像に基づいて、病変認識処理、部位認識処理、又は、画質評価処理などの各種処理を行う。医療画像用プロセッサ装置２０は、医療画像の他、各種処理の結果を医療画像用ディスプレイ２１に送信する。また、医療画像用プロセッサ装置２０は、医療画像、各種処理の結果などの情報を、ネットワークＮＴを介して、診断書作成システム１００に送信する。医療画像用ディスプレイ２１は、医療画像用プロセッサ装置２０から送信される医療画像などを表示する。
内視鏡システム１０は、通常モード、病変認識モード、部位認識モード、又は、候補画像選定モードを備えている。通常モードは、医療画像として、白色光を観察対象に照明して得られるカラーの通常画像をディスプレイ１５に表示する。病変認識モードでは、医療画像に対して病変認識処理を行い、病変部を認識した場合に、病変部が存在することを医療画像用ディスプレイ２１で表示する。部位認識モードでは、医療画像に対して部位認識処理を行い、認識した部位の種類等を医療画像用ディスプレイ２１に表示する。候補画像選定モードでは、医療画像のうち診断レポートに用いる候補画像を選定し、候補画像に選定されたことを報知する。
以上の通常モード、病変認識モード、部位認識モード、又は、候補画像選定モードについては、プロセッサ側ユーザーインターフェース１６又はスコープ側ユーザーインターフェース１９によって設定が可能である。モードの設定については、順次切り替えの他、２つ以上のモードを同時に実行すること（例えば、病変認識モード、部位認識モード、又は、候補画像選定モードを全て実行する）も可能である。なお、後述する処置具認識処理、又は、体内態様の認識処理についても、それぞれの処理を行うための処置具認識モード、又は、体内態様認識モードを設けてもよい。
以下、候補画像選定モードを実施する医療画像用プロセッサ装置について、説明を行う。図２に示すように、医療画像用プロセッサ装置２０は、画像取得部２５と、スコア算出部２６と、候補画像選定部２７と、報知制御部２８と、画像出力制御部２９と、候補画像用メモリ３３とを備えている。医療画像用プロセッサ装置２０には、各種処理に関するプログラムがプログラム用メモリ（図示しない）に記憶されている。医療画像用プロセッサから構成される中央制御部（図示しない）がプログラム用メモリ内のプログラムを実行することによって、画像取得部２５と、スコア算出部２６と、候補画像選定部２７と、報知制御部２８と、画像出力制御部２９との機能が実現する。
画像取得部２５は、プロセッサ装置１４から順次医療画像を取得することによって、時系列の複数の医療画像を取得する。本実施形態では、医療画像として、内視鏡１２で得られる内視鏡画像を取得するが、超音波画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像などその他の医療画像を受信してもよい。
スコア算出部２６は、画像取得部２５で取得した各医療画像からスコアを算出する。スコアは、後述するように、診断レポートに用いる候補画像の選定に用いられる。具体的には、スコアは、Ａ～Ｅの５段階で表され、Ａが候補画像として選定される可能性が一番高く、Ｂ、Ｃ、Ｄ、Ｅの順で、候補画像として選定される可能性が低くなる。例えば、図３（Ａ）に示すように、医療画像上に病変ＤＡが存在する場合のスコアは「Ａ」とされ、図３（Ｂ）に示すように、医療画像上に病変が存在しない場合のスコアは「Ｅ」とされる。
また、スコアは、病変である可能性が高いほど、診断対象となる部位である可能性が高いほど、また、画質が高い可能性が高いほど、大きくなるように設定されている。そこで、スコア算出部２６は、医療画像に基づく病変認識処理で得られる病変確信度、医療画像に基づく部位認識処理で得られる部位確信度、医療画像に基づく画質評価処理で得られる画質評価値、医療画像に基づく処置具認識処理で得られる処置具確信度、又は、医療画像に基づく体内態様の認識処理で得られる体内態様確信度のうちいずれかを用いて、スコアを算出することが好ましい。
また、スコア算出部２６は、病変確信度、部位確信度、画質評価値、処置具確信度、又は、体内態様確信度のうち２以上を組み合わせたものを用いて、スコアを算出することが好ましい。例えば、病変確信度と処置具確信度を組み合わせたスコアを算出する場合には、病変確信度が高く、且つ、処置具確信度が高い場合に高めのスコアを算出するようにすることで、病変及び処置具を含む有用な画像を、候補画像として選定し易くなる。
また、上記２つ以上を組み合わせてスコアを算出する場合においては、部位確信度と、病変確信度、画質評価値、処置具確信度、又は、体内態様確信度とを組み合わせて、スコアを算出することが好ましい。例えば、部位確信度と病変確信度を組み合わせてスコアを算出することで、各部位に特有の病変（例えば、胃がん）が含まれる画像を、候補画像として選定し易くなる。また、部位確信度と画質評価値とを組み合わせてスコアを算出することで、ガイドラインに定められた部位（例えば、噴門部など）を含む画像を、候補画像として選定し易くなる。また、部位確信度と処置具確信度とを組み合わせてスコアを算出することで、部位に適した処置具が含まれる画像を、候補画像として選定し易くなる。また、部位確信度と体内態様確信度とを組み合わせてスコアを算出することで、各部位に特有の体内態様（例えば、胃がんの切除後の領域など）を含む画像を、候補画像として選定し易くなる。
病変確信度と画質評価値とを組み合わせてスコアを算出することで、診断に適した画像を候補画像として選定し易くなる。また、病変確信度と処置具確信度とを組み合わせてスコアを算出することで、病変に対する処置を確認するための画像を候補画像として選定し易くなる。また、病変確信度と体内態様確信度とを組み合わせてスコアを算出することで、特定の体内態様（例えば、マーキングされた病変）にある病変を候補画像として選定し易くなる。また、処置具確信度と体内態様確信度とを組み合わせてスコアを算出することで、特定の処置が実施されている画像を候補画像として選定し易くなる。例えば、医療画像において処置具確信度から生検鉗子が検出されたと判定され、かつ、体内態様確信度から生検実施部と判定された場合に、生検が実施された画像が候補画像として選定される。
また、病変確信度、部位確信度、画質評価値、処置具確信度、又は、体内態様確信度のうち少なくとも３つを組み合わせてスコアを算出してもよい。例えば、病変確信度と、部位確信度と、画質評価値とを組み合わせてスコアを算出することで、各部位に特有の病変（例えば、胃がん）が含まれ、且つ、高画質の画像が、候補画像として選定され易くなる。
病変確信度は、病変である可能性を数値で表したものであることが好ましい。例えば、病変確信度は、０～１の間の少数で表され、値が大きいほど、病変である可能性が低くなることを表している。病変確信度については、例えば、０．２刻みで、スコアと対応付けすることが好ましい。この場合、「０～０．２」の場合はスコアをＥとし、「０．２～０．４」の場合はスコアをＤとし、「０．４～０．６」の場合はスコアをＣとし、「０．６～０．８」の場合はスコアをＢとし、「０．８～１」の場合はスコアをＡとする。
また、部位確信度は、０～１の間の少数で表され、値が大きいほど、診断対象の部位である可能性が高いことを表している。診断対象の部位については、診断前に事前に設定すること、又は、自動で設定することが好ましい。また、画質評価値は、０～１の間の少数で表され、値が大きいほど、医療画像の画質が高い可能性が高いことを表している。部位確信度、又は、画質評価値についても、病変確信度と同様に、一定の間隔（例えば、０．２刻み）で、スコアと対応付けすることが好ましい。
また、病変確信度、部位確信度、又は、画質評価値のうち２以上を組み合わせる場合には、それらに重み付けをして足し合わせることが好ましい。病変確信度、部位確信度、又は、画質評価値のうちいずれの重み付けを大きくするかについては、診断前に事前に設定すること、又は、自動で設定することが好ましい。例えば、図４（Ａ）、（Ｂ）に示すように、同一の診断対象で２つの医療画像ＭＰ１、ＭＰ２が有る場合において、一方の医療画像ＭＰ１が、図４（Ａ）に示すように、診断対象が遠く画質（明るさ）が医療画像ＭＰ２よりも低い場合は、画質評価値が医療画像ＭＰ２よりも小さくなるため、医療画像ＭＰ１のスコアは低めの「Ｄ」として算出される。一方、図４（Ｂ）に示すように、他方の医療画像ＭＰ２が、診断対象が近く画質（明るさ）が医療画像ＭＰ１よりも高い場合は、画質評価値が医療画像ＭＰ１よりも大きく、医療画像ＭＰ２のスコアは高めの「Ｂ」として算出される。
また、病変確信度が「０」（病変検出無し）、部位確信度が「１」（診断対象の胃噴門部）、画質評価処理が「１」（高画質）である場合（胃噴門部のガイドラインに準拠した所見なしの画像である場合）、病変確信度、部位確信度、又は、画質評価値だけで候補画像を選定する場合よりもスコアが高くなるようにし、候補画像として選定されやすることが好ましい。
なお、本実施形態では、病変確信度に基づいて病変認識処理を行う場合には、病変確信度が病変用閾値以下の場合に、病変検出無しであると判定する。また、部位確信度に基づいて部位認識処理を行う場合には、複数の部位に対して部位確信度を算出した上で、部位用閾値以上の部位が「特定された部位として」出力される。また、処置具確信度に基づいて処置具認識処理を行う場合は、複数の処置具（スネア、鉗子、クリップなど）に対してそれぞれ処置具確信度を算出した上で、処置具確信度が処置具用閾値以上のものがある場合に、その処置具確信度に対応する処置具が検出される。
なお、病変認識処理、部位認識処理、画質認識処理、処置具認識処理、又は、体内態様の認識処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、Adaboost、ランダムフォレストを用いた学習により得られる学習モデルによる処理とすることが好ましい。すなわち、学習モデルに対する医療画像の入力に対して、病変確信度、部位確信度、画質評価値、処置具確信度、又は、体内態様確信度を出力することが好ましい。また、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、病変確信度、部位確信度、画質評価値、処置具確信度、又は、体内態様確信度を出力するようにしてもよい。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。
なお、病変認識処理で検出される病変領域は、例えば、がんに代表される病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が病変領域になり得る。病変認識処理は、病変部、良性腫瘍部、炎症部のうち少なくともいずれかを含む領域を病変領域として検出する。
また、処置具認識処理で検出される領域は、クリップやかん子などの処置具を含む領域である。また、体内態様の認識処理で検出される領域は、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、生体検査（いわゆる生検）を実施した生検実施部、処理の跡、手術の跡、または、出血箇所を含む領域である。
また、部位認識処理は、予め設定されている複数の撮影対象部位のうちのいずれの部位が撮影されているかを認識する。例えば、部位認識処理では、予め設定された撮影対象部位を認識するために、医療画像を学習し、学習済みのモデルを生成する。そして、部位認識処理では、学習済みモデルを利用して、医療画像に設定された撮影対象部位が含まれるか否かを判定し、該当する部位である確からしさを部位確信度として出力する。なお、撮影対象部位は、検査の目的等に応じて複数箇所設定される。例えば、胃内部を検査する場合には、部位は穹窿部、胃体上部、胃体中部、胃体下部、噴門部、胃角部等に設定される。また、大腸内部を検査する場合には、撮影対象部位は、直腸、Ｓ字結腸、下行結腸、横行結腸等に設定できる。
また、画質認識処理では、ボケぶれ判定、明るさ判定の指標によって画質評価を行う。ボケぶれ判定は、入力された医療画像に基づいて、医療画像がボケ及び／又はぶれを有していないかを判定する。ボケぶれ判定は、ボケぶれ判定器（図示しない）で行われ、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）などの公知の技術により、医療画像のボケぶれ判定を行う。また、明るさ判定は、入力された医療画像に基づいて、例えば、医療画像の輝度に基づいて明るさ判定が行われる。なお、画質認識処理は、部位認識処理で特定された撮影対象部位毎に設定してもよい。
候補画像選定部２７は、スコアに基づいて、診断レポートに用いる候補画像を選定する。具体的には、スコアが閾値以上の医療画像を、候補画像として選定する。例えば、スコアを「Ｂ」と「Ｃ」の間とした場合には、スコアが「Ａ」と「Ｂ」の医療画像が候補画像として選定される。また、候補画像選定部２７は、スコアに加えて、ユーザー入力に基づいて、候補画像の選定を行う。この場合、スコアは、ユーザー入力に従って、変動させることが好ましい。例えば、ユーザー入力が有る場合には、ユーザーが候補画像として保存しておきたい医療画像であることから、スコア算出部２６で算出したスコアを大きくすることが好ましい。具体的には、スコア算出部２６で算出したスコアが「Ｃ」である場合には、ユーザ入力に従って、スコアを「Ｂ」に繰り上げることが好ましい。
候補画像選定部２７でスコアとともに用いられるユーザー入力は、プロセッサ側ユーザーインターフェース１６又はスコープ側ユーザーインターフェース１９を用いることが好ましい。なお、ユーザー入力としては、ユーザーの手の動きを認識するための曲げセンサを内視鏡システム１０に接続してもよい。曲げセンサは、医師の医療用手袋の中に曲げセンサを仕込むことが好ましい。曲げセンサは、医師が手や指を折りたたみもしくは曲げた状態から延ばす動きを行うことによって抵抗値が増減する。曲げセンサが、一定以上の抵抗値の変化を認識した場合に、ユーザー入力があったと判断し、候補画像の選定に用いられる。
報知制御部２８は、候補画像であることを報知する。候補画像の報知は、検査中に行われることが好ましい。具体的には、報知制御部２８は、スコアが閾値以上の候補画像が選定された場合に、候補画像であることを医療画像用ディスプレイ２１に表示する。例えば、図５に示すように、検査中動画として医療画像をリアルタイムに表示するメイン画面３０の外枠３０ａを、候補画像選定用の色で強調表示することが好ましい。候補画像選定用の色は、病変認識処理で病変を認識した場合の病変認識用の色と異ならせることが好ましい。例えば、候補画像選定用の色を黄色とした場合には、病変認識処理用の色は、黄色に対して補色となる青色とすることが好ましい。なお、候補画像の選定に合わせて、静止画取得を行った場合には、動画表示中のメイン画面３０とは別のサブ画面３１に、静止画を表示する。加えて、サブ画面３１の外枠３１ａを候補画像選定用の色で強調表示し、合わせて、サブ画面３１の上方に、静止画取得を表すメッセージＭＳ１（captured）を表示する。
画像出力制御部２９は、候補画像を出力する。具体的には、画像出力制御部２９は、候補画像が選定された場合に、候補画像を候補画像用メモリ３３に記憶する。また、画像出力制御部２９は、候補画像を候補画像用メモリ３３に記憶する場合には、候補画像とスコアとを関連付けて記憶することが好ましい。また、検査終了後は、画像出力制御部２９は、候補画像用メモリ３３に記憶した候補画像及びスコアなどの情報を、ネットワークＮＴを介して、診断書作成システム１００に送信する。
なお、候補画像は、候補画像選定部２７で選定された候補画像の他、静止画像取得指示スイッチ１２ｈの操作によって得られる静止画、病変認識処理又は部位認識処理に従って自動的に取得した病変画像又は部位画像も含めることが好ましい。また、候補画像用メモリ３３には、候補画像を記憶する他、上記静止画、病変画像、部位画像など、候補画像と異なる非候補画像も記憶することが好ましい。
なお、報知制御部２８は、候補画像であることの報知に加えて、候補画像の部位を示す部位情報を報知してもよい。具体的には、図６に示すように、医療画像用ディスプレイ２１において、メイン画面３０とは別の部位情報表示画面３５に、部位情報が表示される。部位情報は、部位毎の候補画像の枚数であることが好ましい。報知制御部２８は、候補画像が選定される毎に、部位毎の候補画像の枚数をカウントして報知する。
例えば、報知制御部２８は、部位毎の候補画像の枚数として、食道における候補画像の枚数と胃における候補画像の枚数とを、部位情報表示画面３５に表示することが好ましい。食道における候補画像を表示する枚数表示部３６は、左側は現在食道でカウント中の枚数（「６枚／８枚」の「６枚」）を表しており、右側は食道における規定枚数（「６枚／８枚」の「８枚」）を表している。胃における候補画像の枚数を表示する枚数表示部３７についても、枚数表示部３６と同様の表示を行う（「３枚／８枚」のうち、「３枚」は現在胃でカウント中の枚数を、「８枚」は胃における規定枚数を表している）。
また、報知制御部２８は、候補画像の枚数が部位毎の規定枚数に達した場合には、規定枚数に達したことの報知、又は、報知制御部２８は、規定枚数に達した後において規定枚数に達した部位に関して候補画像であることの報知を行わないことのうち少なくともいずれかを行う。具体的には、図７に示すように、食道において、現在カウント中の候補画像の枚数が、規定枚数の８枚に達した場合には、規定枚数に達した旨のメッセージＭＳ２を表示する。また、食道においては、規定枚数の８枚に達した後に、候補画像が選定された場合には、図８に示すように、候補画像であることの報知として、外枠３０ａの強調を行われない。この場合には、候補画像の候補画像用メモリ３３への記憶を行わないことが好ましい。
なお、報知制御部２８は、候補画像が選定される毎に、候補画像であることを報知する他、スコアが部位毎の基準スコアを超えて部位でのスコアが更新された場合に、候補画像であることを報知してもよい。基準スコアは、部位毎に設定可能とすることが好ましい。具体的には、図９に示すように、食道での基準スコアが「Ｂ」である場合には、スコアが「Ｂ」よりも高い「Ａ」の候補画像が選定された場合には、候補画像であることを報知する。この場合、スコアが「Ｂ」の候補画像が選定された場合には、候補画像であることを報知しないことが好ましい。ただし、スコアが「Ｂ」の候補画像であっても、候補画像用メモリ３３への記憶は行う。なお、胃についても、基準スコアが「Ｂ」であるので、スコアが「Ａ」の候補画像のみ報知を行い、スコアが「Ｂ」の候補画像については、候補画像用メモリ３３への記憶のみ行い、報知は行わない。
なお、画像出力制御部２９は、候補画像であることを報知している間は、候補画像の出力を取り消す取消操作を受け付けてもよい。具体的には、図１０に示すように、医療画像用ディスプレイ２１に、取消操作の受け付けが可能であることを示す操作用アイコン４０（「キャンセル」と表示）が表示される。ユーザーは、プロセッサ側ユーザーインターフェース１６又はスコープ側ユーザーインターフェース１９を操作して、操作用アイコン４０に対する入力操作を行うことによって、取消操作が行われる。この取消操作に従って、候補画像の候補画像用メモリ３３への記憶などの候補画像の出力が取り消される。
なお、画像出力制御部２９は、候補画像であることを報知している間は、候補画像の出力を確定する確定操作を受け付けてもよい。具体的には、図１０に示すように、医療画像用ディスプレイ２１に、確定操作の受け付けが可能であることを示す操作用アイコン４１（「確定」と表示）が表示される。ユーザーは、プロセッサ側ユーザーインターフェース１６又はスコープ側ユーザーインターフェース１９を操作して、操作用アイコン４１に対する入力操作を行うことによって、確定操作が行われる。この取消操作に従って、候補画像の候補画像用メモリ３３への記憶などの候補画像の出力が確定する。なお、候補画像の出力の確定は、候補画像であることの報知が一定時間経過した場合に、取消操作及び確定操作のいずれも行われない場合に、自動的に、候補画像の出力の確定を行ってもよい。
図１１に示すように、診断書作成システム１００は、内視鏡レポートなどの各種医療用のレポートを作成するために用いられ、レポート用プロセッサ装置１０１と、レポート用ディスプレイ１０２（ディスプレイ）とを備えている。レポート用プロセッサ装置１０１は、レポート用プロセッサから構成される中央制御部（図示しない）によって各種処理が実行され、内視鏡システム１０で取得した候補画像を受信し、候補画像をレポート用ディスプレイ１０２に表示する。
図１２に示すように、レポート用ディスプレイ１０２は、右側半分に設けられ、候補画像１０３を表示する候補画像表示画面１０５と、左側半分に設けられ、候補画像１０３のうちレポートに掲載するレポート用画像を表示するレポート用画像表示画面１０６とが表示されている。内視鏡システム１０から受信した候補画像１０３は、候補画像表示画面１０５に表示される。図１２では、内視鏡システム１０から受信した全ての候補画像１０３が表示されている。候補画像表示画面１０５に表示された候補画像の中から、ユーザーが選択した候補画像を、レポート用画像表示画面に移動させる。候補画像の移動は、レポート操作用ユーザーインターフェース（図示しない）によって行われる。
なお、候補画像表示画面１０５において、候補画像１０３を一度に全て表示できない場合には、スクロールバー１０７が表示されて、スクロールバー１０７を操作することによって、上下方向に非表示となっている候補画像１０３を表示できるようになっている。
なお、レポート用プロセッサ装置１０１は、スコアが関連付けられた候補画像を受信し、レポート用ディスプレイ１０２は、スコアに基づく表示態様に従って、候補画像をレポート用ディスプレイ１０２に表示してもよい。具体的には、内視鏡システム１０から、スコアが「Ａ」と「Ｂ」の候補画像を受信した場合には、候補画像表示画面１０５において、スコアが「Ａ」の候補画像の表示態様と、スコアが「Ｂ」の候補画像の表示態様とを異ならせることが好ましい。
例えば、図１３に示すように、スコアが「Ａ」の候補画像１０３ａを表示（実線表示）する一方、スコアが「Ｂ」の候補画像１０３ｂは非表示（点線表示）とすることが好ましい。なお、スコアが高い候補画像ほど、候補画像表示画面１０５の上方に位置するように表示してもよい。また、一定のスコア以上の候補画像のみを時系列順に並べて表示してもよい。この場合には、候補画像表示画面１０５に時系列を表す時間軸を表示し、時間軸に沿って候補画像を並べて表示することが好ましい。
なお、レポート用プロセッサ装置１０１は、候補画像及び候補画像と異なる非候補画像を受信し、候補画像と非候補画像とをそれぞれ異なる表示態様でレポート用ディスプレイ１０２に表示してもよい。具体的には、図１４に示すように、候補画像表示画面１０５において、候補画像１０３の外側枠を二重にして強調表示する一方、非候補画像１０９は強調表示しない。これにより、候補画像１０３と非候補画像１０９との違いが区別されるため、ユーザーは、レポート用画像の選定をし易くなる。
なお、レポート用プロセッサ装置１０１は、候補画像及び候補画像と異なる非候補画像を受信し、候補画像と非候補画像との類似度に基づく表示態様に従って、レポート用ディスプレイ１０２において非候補画像を表示制御してもよい。類似度は、候補画像と非候補画像の画像類似度、候補画像と非候補画像との時間類似度、又は、候補画像と非候補画像の画像類似度と時間類似度を組み合わせた統合類似度のうちのいずれかであることが好ましい。画像類似度とは、候補画像と非候補画像の特徴量（色又は明るさなど）に関する類似度である。時間類似度は、候補画像の撮像又は取得タイミングと非候補画像の撮像又は取得タイミングに関する類似度である。
具体的には、図１５に示すように、候補画像表示画面１０５において、候補画像１０３の外側枠を二重にして強調表示する。一方、非候補画像１０９のうち候補画像との類似度が一定以上の非候補画像１０９ａは、強調表示しない状態で表示する。また、非候補画像１０９のうち候補画像との類似度が一定未満の非候補画像１０９ｂは、非表示にする。これにより、候補画像１０３との類似性が高い非候補画像１０９ａを表示することによって、ユーザーによるレポート用画像の選定の幅を広げることができる。
上記実施形態において、画像取得部、スコア算出部、候補画像選定部、報知制御部、画像出力制御部といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ モード切替スイッチ
１２ｈ 静止画像取得指示スイッチ
１２ｉ ズーム操作部
１２ｊ 鉗子口
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ プロセッサ側ユーザーインターフェース
１７ 医療画像装置
１９ スコープ側ユーザーインターフェース
２０ 医療画像用プロセッサ装置
２１ 医療画像用ディスプレイ
２５ 画像取得部
２６ スコア算出部
２７ 候補画像選定部
２８ 報知制御部
２９ 画像出力制御部
３０ メイン画面
３０ａ 外枠
３１ サブ画面
３１ａ 外枠
３３ 候補画像用メモリ
３５ 部位情報表示画面
３６、３７ 枚数表示部
４０、４１ 操作用アイコン
１００ 診断書作成システム
１０１ レポート用プロセッサ装置
１０２ レポート用ディスプレイ
１０３、１０３ａ、１０３ｂ 候補画像
１０４ レポート用画像
１０５ 候補画像表示画面
１０６ レポート用画像表示画面
１０９、１０９ａ、１０９ｂ 非候補画像
ＮＴ ネットワーク
ＤＡ 病変
ＭＳ１、ＭＳ２ メッセージ
ＭＰ１、ＭＰ２ 医療画像
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１２ｆ モード切替スイッチ
１２ｈ 静止画像取得指示スイッチ
１２ｉ ズーム操作部
１２ｊ 鉗子口
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ プロセッサ側ユーザーインターフェース
１７ 医療画像装置
１９ スコープ側ユーザーインターフェース
２０ 医療画像用プロセッサ装置
２１ 医療画像用ディスプレイ
２５ 画像取得部
２６ スコア算出部
２７ 候補画像選定部
２８ 報知制御部
２９ 画像出力制御部
３０ メイン画面
３０ａ 外枠
３１ サブ画面
３１ａ 外枠
３３ 候補画像用メモリ
３５ 部位情報表示画面
３６、３７ 枚数表示部
４０、４１ 操作用アイコン
１００ 診断書作成システム
１０１ レポート用プロセッサ装置
１０２ レポート用ディスプレイ
１０３、１０３ａ、１０３ｂ 候補画像
１０４ レポート用画像
１０５ 候補画像表示画面
１０６ レポート用画像表示画面
１０９、１０９ａ、１０９ｂ 非候補画像
ＮＴ ネットワーク
ＤＡ 病変
ＭＳ１、ＭＳ２ メッセージ
ＭＰ１、ＭＰ２ 医療画像
Claims (20)
- 医療画像用プロセッサを備え、
前記医療画像用プロセッサは、
時系列の複数の医療画像を取得し、
各医療画像からスコアを算出し、
前記スコアに基づいて、診断レポートに用いる候補画像を選定し、
前記候補画像であることを報知し、前記候補画像を出力する医療画像装置。 - 前記医療画像用プロセッサは、
前記医療画像に基づく病変認識処理で得られる病変確信度、前記医療画像に基づく部位認識処理で得られる部位確信度、前記医療画像に基づく画質評価処理で得られる画質評価値、前記医療画像に基づく処置具認識処理で得られる処置具確信度、又は、前記医療画像に基づく体内態様の認識処理で得られる体内態様確信度のうち少なくともいずれかを用いて、前記スコアを算出する請求項１記載の医療画像装置。 - 前記医療画像用プロセッサは、
前記医療画像に基づく病変認識処理で得られる病変確信度、前記医療画像に基づく部位認識処理で得られる部位確信度、前記医療画像に基づく画質評価処理で得られる画質評価値、前記医療画像に基づく処置具認識処理で得られる処置具確信度、又は、前記医療画像に基づく体内態様の認識処理で得られる体内態様確信度のうち２以上を組み合わせたものを用いて、前記スコアを算出する請求項１記載の医療画像装置。 - 前記部位確信度と、前記病変確信度、前記画質評価値、前記処置具確信度、又は、前記体内態様確信度とを組み合わせたものを用いて、前記スコアを算出する請求項３記載の医療画像装置。
- 前記候補画像の選定は、前記スコアに加えて、ユーザー入力に基づいて行われる請求項１ないし４いずれか１項記載の医療画像装置。
- 前記スコアは、ユーザー入力に従って、変動する請求項１ないし５いずれか１項記載の医療画像装置。
- 前記候補画像の出力は、前記スコアが閾値以上の候補画像をディスプレイに表示する請求項１ないし６いずれか１項記載の医療画像装置。
- 前記医療画像用プロセッサは、
前記候補画像であることの報知に加えて、前記候補画像の部位を示す部位情報を報知する請求項１ないし７いずれか１項記載の医療画像装置。 - 前記部位情報は、部位毎の候補画像の枚数であり、
前記医療画像用プロセッサは、
部位毎に前記候補画像の枚数をカウントして報知する請求項８記載の医療画像装置。 - 前記医療画像用プロセッサは、
前記候補画像の枚数が部位毎の規定枚数に達した場合には、前記規定枚数に達したことの報知、又は、前記規定枚数に達した後において前記規定枚数に達した部位に関して前記候補画像であることの報知を行わないことのうち少なくともいずれかを行う請求項９記載の医療画像装置。 - 前記医療画像用プロセッサは、
前記スコアが部位毎の基準スコアを超えて前記部位での前記スコアが更新された場合に、前記候補画像であることを報知する請求項１ないし１０いずれか１項記載の医療画像装置。 - 前記基準スコアは、部位毎に設定可能である請求項１１記載の医療画像装置。
- 前記医療画像用プロセッサは、
前記候補画像であることを報知している間は、前記候補画像の出力を取り消す取消操作を受け付ける請求項１ないし１２いずれか１項記載の医療画像装置。 - 前記医療画像用プロセッサは、
前記候補画像であることを報知している間は、前記候補画像の出力を確定する確定操作を受け付ける請求項１ないし１２いずれか１項記載の医療画像装置。 - 請求項１ないし１４いずれか１項記載の医療画像装置を備え、
前記候補画像の報知は、検査中に行われる内視鏡システム。 - レポート用プロセッサを備え、
前記レポート用プロセッサは、
請求項１ないし１４いずれか１項記載の医療画像装置から前記候補画像を受信し、
前記候補画像をディスプレイに表示する診断書作成システム。 - レポート用プロセッサを備え、
前記レポート用プロセッサは、
請求項１ないし１４いずれか１項記載の医療画像装置から、前記スコアが関連付けられた前記候補画像を受信し、
前記スコアに基づく表示態様に従って、前記候補画像をディスプレイに表示する診断書作成システム。 - レポート用プロセッサを備え、
前記レポート用プロセッサは、
請求項１ないし１４いずれか１項記載の医療画像装置から、前記候補画像及び前記候補画像と異なる非候補画像を受信し、
前記候補画像と前記非候補画像とをそれぞれ異なる表示態様でディスプレイに表示する診断書作成システム。 - レポート用プロセッサを備え、
前記レポート用プロセッサは、
請求項１ないし１４いずれか１項記載の医療画像装置から、前記候補画像及び前記候補画像と異なる非候補画像を受信し、
前記候補画像と前記非候補画像との類似度に基づく表示態様に従って、ディスプレイにおいて前記非候補画像を表示制御する診断書作成システム。 - 前記類似度は、前記候補画像と前記非候補画像の画像類似度、前記候補画像と前記非候補画像との時間類似度、又は、前記候補画像と前記非候補画像の画像類似度と時間類似度を組み合わせた統合類似度のうちのいずれかである請求項１９記載の診断書作成システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023580088A JPWO2023153069A1 (ja) | 2022-02-09 | 2022-12-13 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-018811 | 2022-02-09 | ||
| JP2022018811 | 2022-02-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023153069A1 true WO2023153069A1 (ja) | 2023-08-17 |
Family
ID=87564175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/045860 WO2023153069A1 (ja) | 2022-02-09 | 2022-12-13 | 医療画像装置、内視鏡システム、及び、診断書作成システム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JPWO2023153069A1 (ja) |
| WO (1) | WO2023153069A1 (ja) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007125373A (ja) * | 2005-09-30 | 2007-05-24 | Given Imaging Ltd | 生体内のフィーチャーを検出するためのシステム及び方法 |
| JP2009176234A (ja) * | 2008-01-28 | 2009-08-06 | Toshiba Corp | 医用情報システムおよび医用画像保管装置 |
| JP2012011149A (ja) * | 2010-06-29 | 2012-01-19 | Advance Co Ltd | 口腔内撮影システム |
| JP2012070936A (ja) * | 2010-09-28 | 2012-04-12 | Fujifilm Corp | 内視鏡システム、内視鏡画像取得支援方法、及びプログラム |
| WO2019082741A1 (ja) * | 2017-10-26 | 2019-05-02 | 富士フイルム株式会社 | 医療画像処理装置 |
| WO2019130924A1 (ja) * | 2017-12-26 | 2019-07-04 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム |
| JP2020081332A (ja) * | 2018-11-22 | 2020-06-04 | 富士フイルム株式会社 | 内視鏡情報管理システム |
| JP2021040324A (ja) * | 2017-05-25 | 2021-03-11 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| JP2022505154A (ja) * | 2018-10-19 | 2022-01-14 | ギブン イメージング リミテッド | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 |
-
2022
- 2022-12-13 WO PCT/JP2022/045860 patent/WO2023153069A1/ja unknown
- 2022-12-13 JP JP2023580088A patent/JPWO2023153069A1/ja active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007125373A (ja) * | 2005-09-30 | 2007-05-24 | Given Imaging Ltd | 生体内のフィーチャーを検出するためのシステム及び方法 |
| JP2009176234A (ja) * | 2008-01-28 | 2009-08-06 | Toshiba Corp | 医用情報システムおよび医用画像保管装置 |
| JP2012011149A (ja) * | 2010-06-29 | 2012-01-19 | Advance Co Ltd | 口腔内撮影システム |
| JP2012070936A (ja) * | 2010-09-28 | 2012-04-12 | Fujifilm Corp | 内視鏡システム、内視鏡画像取得支援方法、及びプログラム |
| JP2021040324A (ja) * | 2017-05-25 | 2021-03-11 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| WO2019082741A1 (ja) * | 2017-10-26 | 2019-05-02 | 富士フイルム株式会社 | 医療画像処理装置 |
| WO2019130924A1 (ja) * | 2017-12-26 | 2019-07-04 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム |
| JP2022505154A (ja) * | 2018-10-19 | 2022-01-14 | ギブン イメージング リミテッド | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 |
| JP2020081332A (ja) * | 2018-11-22 | 2020-06-04 | 富士フイルム株式会社 | 内視鏡情報管理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2023153069A1 (ja) | 2023-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5486432B2 (ja) | 画像処理装置、その作動方法およびプログラム | |
| US11436726B2 (en) | Medical image processing system | |
| US20230281968A1 (en) | Recording Medium, Method for Generating Learning Model, Surgical Support Device and Information Processing Method | |
| JP7125479B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム | |
| JP7138771B2 (ja) | 診断支援装置、診断支援方法及びプログラム | |
| JP7315576B2 (ja) | 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置、ならびに内視鏡システム | |
| EP3841957B1 (en) | Medical image processing system | |
| EP3841958B1 (en) | Endoscopic system | |
| EP4111938A1 (en) | Endoscope system, medical image processing device, and operation method therefor | |
| JP2008054763A (ja) | 医療画像診断装置 | |
| US20240087113A1 (en) | Recording Medium, Learning Model Generation Method, and Support Apparatus | |
| JP7389257B2 (ja) | 内視鏡システム及びその作動方法 | |
| JP7547164B2 (ja) | 内視鏡システム及び内視鏡装置 | |
| WO2023153069A1 (ja) | 医療画像装置、内視鏡システム、及び、診断書作成システム | |
| US20220240759A1 (en) | Instrument navigation in endoscopic surgery during obscured vision | |
| JP7146318B1 (ja) | コンピュータプログラム、学習モデルの生成方法、及び手術支援装置 | |
| WO2023100446A1 (ja) | 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム | |
| WO2022202401A1 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム | |
| EP4316338A1 (en) | Endoscope system and operation method of same | |
| EP3868281B1 (en) | Medical image processing system and learning method | |
| WO2023282144A1 (ja) | 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置 | |
| WO2022190740A1 (ja) | 内視鏡システム及びその作動方法 | |
| WO2022191128A1 (ja) | 内視鏡システム及びその作動方法 | |
| WO2023058503A1 (ja) | 内視鏡システム、医療画像処理装置及びその作動方法 | |
| JP7561382B2 (ja) | 大腸内視鏡観察支援装置、作動方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22926083 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2023580088 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |