[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111989025A - 诊断辅助装置、诊断辅助方法和诊断辅助程序 - Google Patents

诊断辅助装置、诊断辅助方法和诊断辅助程序 Download PDF

Info

Publication number
CN111989025A
CN111989025A CN201880091997.2A CN201880091997A CN111989025A CN 111989025 A CN111989025 A CN 111989025A CN 201880091997 A CN201880091997 A CN 201880091997A CN 111989025 A CN111989025 A CN 111989025A
Authority
CN
China
Prior art keywords
period
region
interest
setting unit
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880091997.2A
Other languages
English (en)
Other versions
CN111989025B (zh
Inventor
河野隆志
神田大和
谷口胜义
北村诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN111989025A publication Critical patent/CN111989025A/zh
Application granted granted Critical
Publication of CN111989025B publication Critical patent/CN111989025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

诊断辅助装置(41)具有：检测部(P1)，其从由内窥镜(21)取得的内窥镜图像(X)中检测关注区域(L)，输出关注区域(L)的位置信息；分类部(P2)，其根据与诊断指标对应的规定分类条件对关注区域(L)进行分类，输出表示关注区域(L)的严重度的诊断辅助信息(C)；以及显示控制部(43)，其将显示图像(Y)控制成，在第1区域(A1)中显示诊断辅助信息(C)的第1期间和在第2区域(A2)中与内窥镜图像(X)重叠地显示位置信息的第2期间彼此不同。

Description

诊断辅助装置、诊断辅助方法和诊断辅助程序
技术领域
本发明涉及诊断辅助装置、诊断辅助方法和诊断辅助程序。
背景技术
作为现有技术，存在如下的诊断辅助装置：对医用图像进行分析，通过显示分析结果来辅助医师的诊断。例如，在日本特开2006-115921号公报中公开了如下的诊断辅助装置：在医师的诊断中以能够没有遗漏地发现异常部位而不会削减针对读片的积极性的方式显示诊断用的医用图像，在医师的诊断结束后，重合显示通过分析而对病变候选标注了标记的医用图像和由医师记录了注释的医用图像。
但是，在先行专利文献的诊断辅助装置中，医师无法在诊断中看到分析的结果。此外，在诊断辅助装置中，诊断结束后显示的对病变候选标注的标记有时很难看到病变候选和病变候选周围的图像，有时妨碍医师观察医用图像。
因此，本发明的目的在于，提供如下的诊断辅助装置、诊断辅助方法和诊断辅助程序：以在手术医生的诊断中不会妨碍观察内窥镜图像的方式，输出关注区域的位置信息和表示关注区域的严重度的诊断辅助信息来辅助诊断。
发明内容
用于解决课题的手段
本发明的一个方式的诊断辅助装置具有：检测部，其从由内窥镜取得的内窥镜图像中检测关注区域，输出所述关注区域的位置信息；分类部，其根据与诊断指标对应的规定分类条件对所述关注区域进行分类，输出表示所述关注区域的严重度的诊断辅助信息；以及显示控制部，其将显示图像控制成，在第1区域中显示所述诊断辅助信息的第1期间和在第2区域中与所述内窥镜图像重叠地显示所述位置信息的第2期间彼此不同。
本发明的一个方式的诊断辅助程序用于使计算机执行以下代码：从由内窥镜取得的内窥镜图像中检测关注区域，输出所述关注区域的位置信息；根据与诊断指标对应的规定分类条件对所述关注区域进行分类，输出表示所述关注区域的严重度的诊断辅助信息；以及将显示图像控制成，在第1区域中显示所述诊断辅助信息的第1期间和在第2区域中与所述内窥镜图像重叠地显示所述位置信息的第2期间彼此不同。
在本发明的一个方式的诊断辅助方法中，通过检测部从由内窥镜取得的内窥镜图像中检测关注区域，输出所述关注区域的位置信息；通过分类部根据与诊断指标对应的规定分类条件对所述关注区域进行分类，输出表示所述关注区域的严重度的诊断辅助信息；以及通过显示控制部将显示图像控制成，在第1区域中显示所述诊断辅助信息的第1期间和在第2区域中与所述内窥镜图像重叠地显示所述位置信息的第2期间彼此不同。
附图说明
图1是示出本发明的第1实施方式的诊断辅助装置的结构的一例的框图。
图2是用于说明本发明的第1实施方式的诊断辅助装置的显示图像的一例的说明图。
图3是示出本发明的第1实施方式的诊断辅助装置的期间设定部的结构的一例的框图。
图4是示出本发明的第1实施方式的诊断辅助装置的诊断辅助处理的一例的流程图。
图5是用于说明本发明的第1实施方式的诊断辅助装置的显示图像的转变的一例的说明图。
图6是用于说明本发明的第2实施方式的诊断辅助装置的显示图像的转变的一例的说明图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
(第1实施方式的结构)
图1是示出本发明的第1实施方式的内窥镜系统Es的结构的一例的框图。图2是用于说明本发明的第1实施方式的诊断辅助装置41的显示图像Y的一例的说明图。
内窥镜系统Es具有光源装置11、内窥镜装置21、操作部31、诊断辅助装置41和显示部51。光源装置11与内窥镜装置21和诊断辅助装置41分别连接。内窥镜装置21与诊断辅助装置41连接。操作部31与诊断辅助装置41连接。诊断辅助装置41与显示部51连接。
光源装置11在诊断辅助装置41的控制下，向内窥镜装置21输出白色光、窄带光等照明光。
内窥镜21构成为能够对被检体内进行摄像。内窥镜装置21具有内窥镜镜体22、照明部23、摄像部24和图像处理部25。
内窥镜镜体22形成为细长状，以使得能够插入到被检体内。内窥镜镜体22在内部具有未图示的各种管路和信号线。内窥镜镜体22具有未图示的弯曲机构，根据手术医生的指示输入而弯曲。
在内窥镜镜体22的基端部设置有控制单元22a。控制单元22a与诊断辅助装置41连接。
照明部23被设置于内窥镜镜体22的前端部，对被检体照射从光源装置11输入的照明光。
摄像部24被设置于内窥镜镜体22的前端部。摄像部24由CMOS传感器、CCD等摄像元件构成。摄像部24对由照明部23照明的被检体进行摄像，将摄像信号输出到图像处理部25。
图像处理部25被设置于控制单元22a。图像处理部25对从摄像部24输入的摄像信号进行例如增益调整、白平衡调整、伽马校正、轮廓强调校正、放大缩小调整等图像处理，生成内窥镜图像X，将其输出到诊断辅助装置41。另外，也可以构成为在诊断辅助装置41内进行由图像处理部25进行的图像处理的全部或一部分。
操作部31与诊断辅助装置41连接，能够进行内窥镜镜体22的弯曲、从照明部23照射的照明光的切换、释放操作和冻结操作等各种指示输入。此外，操作部31还能够进行诊断辅助处理的开始和结束、诊断辅助信息C和标记M的信息显示的开始和结束等各种指示输入(图2)。操作部31与诊断辅助装置41的显示控制部43连接，将与指示输入对应的指示信号输出到显示控制部43。另外，操作部31也可以被设置于内窥镜装置21、诊断辅助装置41、显示部51等。
诊断辅助装置41是根据内窥镜图像X生成并输出显示图像Y的装置。诊断辅助装置41具有输入部42、显示控制部43、存储部44、输出部45。
输入部42是连接内窥镜装置21的电路。输入部42与内窥镜装置21和显示控制部43连接，从内窥镜装置21的图像处理部25依次输入内窥镜图像X，向显示控制部43输出内窥镜图像X。
显示控制部43是对内窥镜系统Es内的各部进行控制的电路。显示控制部43具有处理器43a。处理器43a读入并执行存储部44中存储的程序和各种信息，由此实现显示控制部43的功能。
此外，显示控制部43检测增益调整的量或内窥镜图像X的明亮度，输出控制信号，对光源装置11的发光量进行控制。
此外，显示控制部43根据内窥镜图像X生成显示图像Y，将其输出到输出部45。如图2所示，在显示图像Y中设置有显示诊断辅助信息C的第1区域A1和与第1区域A1不同的第2区域A2，该第2区域A2显示内窥镜图像X和关注区域L的位置信息。
位置信息例如通过内窥镜图像X上的包围关注区域L的标记M来显示。另外，位置信息不限于标记M，也可以通过箭头图像或图标等其他图像来显示。
此外，显示控制部43将显示图像Y控制成，在第1区域A1中显示诊断辅助信息C的第1期间和在第2区域A2中与内窥镜图像X重叠地显示位置信息的第2期间彼此不同。
存储部44具有RAM、ROM、闪存ROM、HDD或SSD等可读写的存储元件。
在存储部44中，除了存储有用于对内窥镜系统Es进行控制的各种数据或各种程序以外，还存储有检测部P1、分类部P2和期间设定部P3的程序。
此外，在存储部44中还存储有检测部P1中的匹配所使用的模型信息和分类部P2中使用的规定分类条件。规定分类条件例如预先被确定，以使得能够根据对肿瘤的严重度进行分类的NICE分类对关注区域L进行分类。存储部44还被用作暂时保存内窥镜图像X等信息的工作存储器。
输出部45是连接显示部51的电路。输出部45将由显示控制部43生成的显示图像Y输出到显示部51。
显示部51具有LCD、OLED等显示面板。显示部51与输出部45连接，显示从输出部45输入的显示图像Y。另外，显示部51也可以通过无线通信而与诊断辅助装置41连接。
(诊断辅助处理中使用的程序的结构)
接着，对检测部P1、分类部P2和期间设定部P3进行说明。检测部P1、分类部P2和期间设定部P3是诊断辅助装置41的诊断辅助处理中使用的程序。
检测部P1通过规定检测处理从由内窥镜21取得的内窥镜图像X中检测关注区域L，输出关注区域L的位置信息。在规定检测处理中，例如，通过规定轮廓提取处理从彼此相邻的像素的像素值的变化量中提取轮廓，与从存储部44读入的模型信息进行匹配，由此检测关注区域L。位置信息例如是关注区域L的中心的坐标。检测部P1还能够从内窥镜图像X中检测多个关注区域L。
此外，检测部P1还通过规定检测处理检测关注区域L的尺寸。关注区域L的尺寸例如是关注区域L的中心与外缘之间的距离信息。
此外，检测部P1还通过规定检测处理从内窥镜图像X中检测处置器具T，还输出处置器具T的位置信息(图2)。
另外，检测部P1的处理不限于此，例如，也可以通过计算内窥镜图像X的颜色、空间频率来进行，或者，也可以是通过使用机器学习等人工智能技术的运算装置检测关注区域L的处理。
分类部P2根据与诊断指标对应的规定分类条件对关注区域L进行分类，输出表示关注区域L的严重度的诊断辅助信息C。在规定分类条件中例如包含基于NICE分类的分类条件和基准图像。在诊断辅助信息C中也可以包含腺瘤性病变和非腺瘤性病变各自的准确度。
在从检测部P1被输入关注区域L后，分类部P2提取关注区域L的图像。分类部P2通过提取出的图像的亮度值来检测色调。分类部P2根据提取出的图像，通过规定轮廓提取处理检测血管图案和表面图案。分类部P2对检测结果和规定分类条件进行比较，通过规定运算来计算Type1～Type3各自的适合率，生成诊断辅助信息C。显示控制部43在第1期间中，在显示图像Y的第1区域A1显示诊断辅助信息C。
另外，分类部P2的处理不限于此，也可以通过使用人工智能技术的运算装置来进行处理。
图3是示出本发明的第1实施方式的诊断辅助装置41的期间设定部P3的结构的一例的框图。
期间设定部P3以使第1期间和第2期间彼此不同的方式，分别设定第1期间和第2期间。更具体而言，期间设定部P3以在第1期间中产生不与第2期间重叠的期间的方式，分别设定第1期间和第2期间。期间设定部P3具有第1设定部Q1和第2设定部Q2。
第1设定部Q1设定第1期间。更具体而言，第1设定部Q1设定第1期间开始的第1开始时刻Cs和第1期间结束的第1结束时刻Ce。如图3所示，第1设定部Q1具有持续判定部Q1a、处置器具判定部Q1b、指示输入判定部Q1c和延长判定部Q1d。
持续判定部Q1a根据检测部P1的检测结果，判定是否持续检测到关注区域L。例如，持续判定部Q1a对依次取得的内窥镜图像X的帧分别进行比较，判定是否在帧上持续表现出关注区域L。在由持续判定部Q1a判定为持续检测到关注区域L后，第1设定部Q1对第1开始时刻Cs设置当前时刻等规定控制信息，使第1期间开始。在第1期间开始后，显示控制部43在显示图像Y中显示诊断辅助信息C。另一方面，在由持续判定部Q1a判定为未持续检测到关注区域L时，第1设定部Q1对第1结束时刻Ce设置规定控制信息，使第1期间结束。在第1期间结束后，显示控制部43不显示显示图像Y的诊断辅助信息C。即，第1设定部Q1将持续检测到关注区域L的期间设定为第1期间。
处置器具判定部Q1b根据检测部P1的检测结果，判定是否检测到处置器具T。在第1期间内进行处置器具判定部Q1b的处理。在由处置器具判定部Q1b检测到处置器具T后，第1设定部Q1对第1结束时刻Ce设置规定控制信息，使第1期间结束。即，在内窥镜图像X内检测到处置器具T后，第1设定部Q1进行第1期间的结束的设定。
指示输入判定部Q1c根据从操作部31输入的指示信号，判定是否存在基于诊断辅助信息C和标记M的信息显示的开始或结束中的任意一个指示。在由指示输入判定部Q1c判定为存在信息显示的开始的指示信号后，第1设定部Q1对第1开始时刻Cs设置规定控制信息，使第1期间开始。另一方面，在由指示输入判定部Q1c判定为存在信息显示的结束的指示信号后，第1设定部Q1对第1结束时刻Ce设置规定控制信息，使第1期间结束。即，第1设定部Q1根据手术医生的指示输入进行第1期间的开始和结束中的至少任意一方的设定。
延长判定部Q1d判定第1结束时刻Ce与第2结束时刻Me之差。更具体而言，延长判定部Q1d判定第1期间和第2期间各自的结束时刻之差是否小于规定差。在判定为差小于规定差时，第1设定部Q1使第1期间延长规定延长时间，以使得容易看到诊断辅助信息C。通过经验或实验而预先确定规定延长时间。
第2设定部Q2根据第1期间的设定来设定第2期间。更具体而言，第2设定部Q2根据第1期间的设定和诊断辅助信息C，设定第2期间开始的第2开始时刻Ms和第2期间结束的第2结束时刻Me。第2设定部Q2具有严重度判定部Q2a、尺寸判定部Q2b、个数判定部Q2c、运动判定部Q2d和处置动作判定部Q2e。
严重度判定部Q2a根据从分类部P2输出的诊断辅助信息C判定严重度。在分类部P2输出具有腺瘤性病变和非腺瘤性病变各自的准确度的诊断辅助信息C后，严重度判定部Q2a根据准确度判定关注区域L是腺瘤性病变还是非腺瘤性病变。例如，在腺瘤性病变的准确度为规定程度以上时，严重度判定部Q2a判定为关注区域L是腺瘤性病变。此外，在非腺瘤性病变的准确度为规定程度以上时，严重度判定部Q2a判定为关注区域L是非腺瘤性病变。第2设定部Q2在判定为关注区域L是非腺瘤性病变时，与判定为关注区域L是腺瘤性病变时相比，将第2期间设定得更长，以使得能够较长地观察严重度更高的关注区域L。通过经验或实验而预先确定非腺瘤性病变和腺瘤性病变各自的第2期间的长度。在以下的尺寸判定部Q2b、个数判定部Q2c、运动判定部Q2d中，也同样通过经验或实验而预先确定与判定结果分别对应的第2期间的长度。
例如，在判定为是腺瘤性病变时的第2期间预先确定为1秒、判定为是非腺瘤性病变时的第2期间预先确定为2秒时，在由严重度判定部Q2a判定为关注区域L是非腺瘤性病变后，第2设定部Q2决定第2开始时刻Ms和第2结束时刻Me并设定第2期间，以使得第2期间的长度成为2秒。更具体而言，在判定为是非腺瘤性病变时，第2设定部Q2将第2开始时刻Ms设定为与第1开始时刻Cs相同的时刻，将对第2开始时刻Ms加上2秒而得到的时刻设定为第2结束时刻Me。
尺寸判定部Q2b判定由检测部P1检测到的关注区域L的尺寸。在检测部P1通过规定检测处理检测关注区域L的尺寸后，尺寸判定部Q2b判定尺寸是否小于规定尺寸。在判定为尺寸小于规定尺寸时，与判定为尺寸大于规定尺寸时相比，第2设定部Q2将第2期间设定得更长。
此外，尺寸判定部Q2b判定尺寸是否为5mm以下，以使得能够忽略较小的关注区域L。在判定为尺寸为5mm以下时，第2设定部Q2进行第2期间的设定的处理。
另外，第2设定部Q2也可以根据严重度判定部Q2a和尺寸判定部Q2b的判定结果双方设定第2期间。例如，在关注区域L为腺瘤性病变且判定为尺寸小于规定尺寸时，与判定为尺寸大于规定尺寸时相比，第2设定部Q2也可以将第2期间设定得更长。即，尺寸判定部Q2b判定尺寸，第2设定部Q2根据尺寸判定部Q2b的判定结果设定第2期间。
个数判定部Q2c判定从检测部P1输入的关注区域L的个数是否多于规定个数。在判定为个数多于规定个数时，与判定为个数少于规定个数时相比，第2设定部Q2将第2期间设定得更长。即，第2设定部Q2根据关注区域L的个数设定第2期间。
此外，在关注区域L的个数为多个时，第2设定部Q2针对关注区域L分别设定彼此不同的第2期间。在由检测部P1同时检测到多个关注区域L时，第2设定部Q2也可以使第2期间的开始彼此偏移规定时间，由此设定关注区域L各自的第2期间。例如，在检测到3个关注区域L且规定时间为0.5秒时，第2设定部Q2也可以设定成，在使第1个关注区域L的第2期间开始后，在经过0.5秒后使第2个关注区域L的第2期间开始，再经过0.5秒后使第3个关注区域L的第2期间开始。
运动判定部Q2d判定由检测部P1检测到的关注区域L的运动的。更具体而言，运动判定部Q2d判定内窥镜图像X内的关注区域L的运动方向和运动量。第2设定部Q2根据运动方向和运动量设定第2期间。
例如，运动判定部Q2d判定运动量是否大于规定量。在判定为运动量大于规定量时，与判定为运动量小于规定量时相比，第2设定部Q2将第2期间设定得更长。
此外，在判定为运动方向是朝向内窥镜图像X的中心的方向时，与判定为运动方向是朝向内窥镜图像X的外方的方向时相比，第2设定部Q2将第2期间设定得更长。
处置动作判定部Q2e判定由检测部P1检测到的处置器具T是否进行了规定处置动作。在判定为进行了规定处置动作时，第2设定部Q2进行第2期间的结束的设定。规定处置动作例如是使未图示的圈套器从处置器具T的前端部突出的动作。规定处置动作不限于此，例如，可以是使处置器具T接近关注区域L的动作，也可以是从处置器具T向关注区域L喷射流体的动作，还可以是进行关注区域L的标记的动作，或者可以是关注区域L的肿瘤的切除的动作。
第1设定部和第2设定部中的判定条件也可以构成为，能够在工厂出厂时或通过手术医生的指示输入而预先确定。该情况下，当第1期间和第2期间相同时，第1设定部Q1进一步使第1结束时刻Ce延迟，以使得在第1期间中产生不与第2期间重叠的期间。
例如，第1设定部Q1可以预先确定成，由于检测部P1检测到关注区域L而开始第1期间，也可以预先确定成，由于释放操作、冻结操作或信息显示的开始等手术医生的指示输入而开始第1期间。
此外，第1设定部Q1可以预先确定成，由于未检测到关注区域L而结束第1期间，也可以预先确定成，由于释放解除、冻结解除或信息显示的结束等手术医生的指示输入而结束第1期间，还可以预先确定成，由于从第1开始时刻Cs起经过规定第1时间而结束第1期间。
此外，第2设定部Q2可以预先确定成，根据第1期间的开始而开始第2期间，也可以预先确定成，由于手术医生的指示输入而开始第2期间。
此外，第2设定部Q2可以预先确定成，由于未检测到关注区域L而结束第2期间，也可以预先确定成，由于手术医生的指示输入而结束第2期间，还可以预先确定成，由于从第2开始时刻Ms起经过规定第2时间而结束第2期间。
(动作)
接着，对诊断辅助装置41的动作进行说明。
图4是示出本发明的第1实施方式的诊断辅助装置41的诊断辅助处理的一例的流程图。
在存在来自操作部31的诊断辅助处理的开始的指示输入后，显示控制部43从存储部44读入程序，开始诊断辅助处理。
取得内窥镜图像X(S1)。显示控制部43经由输入部42取得由内窥镜21取得的内窥镜图像X。
检测关注区域L的位置信息(S2)。通过检测部P1中的规定检测处理检测关注区域L，输出关注区域L的位置信息。
生成诊断辅助信息C(S3)。通过分类部P2的处理，根据规定分类条件对关注区域L进行分类，输出表示关注区域L的严重度的诊断辅助信息C。
设定第1期间和第2期间(S4)。通过期间设定部P3的处理，将第1期间和第2期间设定为彼此不同。
生成显示图像Y(S5)。显示控制部43在第2区域A2中显示内窥镜图像X。显示控制部43在第1期间中在第1区域A1中显示诊断辅助信息C。显示控制部43在第2期间中以包围第2区域A2的关注区域L的方式显示标记M。
即，诊断辅助程序使计算机执行以下代码：通过规定检测处理从由内窥镜21取得的内窥镜图像X中检测关注区域L，输出关注区域L的位置信息；根据规定分类条件对关注区域L进行分类，输出表示关注区域L的严重度的诊断辅助信息C；以及将显示图像Y控制成，在第1区域A1中显示诊断辅助信息C的第1期间和在第2区域A2中与内窥镜图像X重叠地显示位置信息的第2期间彼此不同。
此外，在诊断辅助方法中，通过检测部P1，通过规定检测处理从由内窥镜21取得的内窥镜图像X中检测关注区域L，输出关注区域L的位置信息，通过分类部P2根据规定分类条件对关注区域L进行分类，输出表示关注区域L的严重度的诊断辅助信息C，通过显示控制部43将显示图像Y控制成，在第1区域A1中显示诊断辅助信息C的第1期间和在第2区域A2中与内窥镜图像X重叠地显示位置信息的第2期间彼此不同。
图5是用于说明本发明的第1实施方式的诊断辅助装置的显示图像Y的转变的一例的说明图。
在图5的显示图像Y1中显示具有关注区域L的内窥镜图像X。在诊断辅助装置41中，虽然检测到关注区域L，但不显示显示图像Y1上的诊断辅助信息C和标记M，以使得手术医生能够通过目视进行关注区域L的诊断。
在手术医生经由操作部31进行信息显示的开始的指示输入后，指示输入判定部Q1c判定为存在信息显示的开始的指示输入。第1设定部Q1进行第1期间的开始的设定。显示控制部43从第1开始时刻Cs起在显示图像Y2中显示诊断辅助信息C。第2设定部Q2根据第1期间的开始，进行第2期间的开始的设定。显示控制部43从第2开始时刻Ms起在显示图像Y2中显示标记M。第2设定部Q2根据严重度判定部Q2a、尺寸判定部Q2b、个数判定部Q2c和运动判定部Q2d的判定结果设定第2结束时刻Me。
在成为第2结束时刻Me后，显示控制部43在显示诊断辅助信息C的状态下不显示标记M，以使得手术医生能够目视诊断辅助信息C和内窥镜图像X进行诊断。显示图像Y3示出显示诊断辅助信息C且不显示标记M的例子。
手术医生的目视诊断结束后，能够不显示诊断辅助信息C和标记M。在手术医生经由操作部31进行信息显示的结束的指示输入后，指示输入判定部Q1c判定为存在信息显示的结束的指示输入，第1设定部Q1进行第1期间的结束的设定。如显示图像Y4所示，显示控制部43在第1结束时刻Ce不显示诊断辅助信息C和标记M双方。另外，在由延长判定部Q1d判定为第1结束时刻Ce与第2结束时刻Me之差小于规定差时，第1设定部Q1使第1期间延长规定延长时间，以使得在第1期间中产生不与第2期间重叠的期间。
在内窥镜系统Es中，在检测到关注区域L后，在内窥镜图像X上显示标记M，在与内窥镜图像X不同的区域中显示诊断辅助信息C。接着，在内窥镜系统Es中，在显示诊断辅助信息C的状态下不显示标记M。由此，手术医生能够通过内窥镜图像上的标记M掌握关注区域L的位置，根据诊断辅助信息C掌握关注区域L的严重度，进行诊断。接着，手术医生能够目视未显示标记M的关注区域L，根据诊断辅助信息C掌握关注区域L的严重度，进行诊断。
根据第1实施方式，诊断辅助装置41能够以在手术医生的诊断中不会妨碍观察内窥镜图像X的方式，输出关注区域L的位置信息和表示关注区域L的严重度的诊断辅助信息C来辅助诊断。
(第2实施方式)
在第1实施方式中，第1期间和第2期间同时开始，但是，第1期间也可以响应于第2期间的结束而开始。
图6是用于说明本发明的第2实施方式的诊断辅助装置的显示图像Y的转变的一例的说明图。在本实施方式中，省略与其他实施方式相同的结构的说明。
第2期间结束判定部Q1e(图3的双点划线)判定第2期间是否结束。在由第2期间结束判定部Q1e判定为第2期间结束后，第1设定部Q1使第1期间开始。
指示输入判定部Q1c根据从操作部31输入的指示信号，判定是否存在信息显示的开始或结束中的任意一个指示。在由指示输入判定部Q1c判定为存在信息显示的开始的指示信号后，第2设定部Q2对第2开始时刻Ms设置规定控制信息，使第2期间开始。另一方面，在由指示输入判定部Q1c判定为存在第2期间的结束的指示信号后，第2设定部Q2对第2结束时刻Me设置规定控制信息，使第2期间结束。
图6的显示图像Z1、Z4与显示图像Y1相同，因此省略说明。
在手术医生经由操作部31进行信息显示的开始的指示输入后，指示输入判定部Q1c判定为存在信息显示的开始的指示输入，第2设定部Q2进行第2期间的开始的设定。显示控制部43从第2开始时刻Ms起在显示图像Z2中显示标记M。
在成为第2结束时刻Me而使第2期间结束后，第2期间结束判定部Q1e判定为第2期间结束。在判定为第2期间结束后，第1设定部Q1设定第1期间的开始。显示控制部43由于第1期间的开始而显示诊断辅助信息C，由于第2期间的结束而不显示标记M。显示图像Z3示出显示诊断辅助信息C、且不显示标记M的例子。
在内窥镜系统Es中，在检测到关注区域L后，在内窥镜图像X上显示标记M。接着，在内窥镜系统Es中，不显示标记M，显示诊断辅助信息C。由此，手术医生能够通过内窥镜图像上的标记M掌握关注区域L的位置，进行诊断。接着，手术医生能够目视未显示标记M的关注区域L，根据诊断辅助信息C掌握关注区域L的严重度，进行诊断。
根据第2实施方式，诊断辅助装置41能够以在手术医生的诊断中不会妨碍观察内窥镜图像X的方式，输出关注区域L的位置信息和表示关注区域L的严重度的诊断辅助信息C来辅助诊断。
另外，在实施方式中，期间设定部P3具有持续判定部Q1a、处置器具判定部Q1b、指示输入判定部Q1c、延长判定部Q1d、第2期间结束判定部Q1e、严重度判定部Q2a、尺寸判定部Q2b、个数判定部Q2c、运动判定部Q2d和处置动作判定部Q2e，但是，也可以构成为具有它们的一部分。
另外，在实施方式中，显示部51为一个，但是，也可以设置多个。例如，在设置2个显示部51时，可以将一方设为第1区域A1，将另一方设为第2区域A2。
另外，在实施方式的动作的说明中，根据手术医生的指示输入来进行信息显示的开始和结束，但是，也可以根据检测部P1对关注区域L的检测来进行信息显示的开始和结束。例如，在第1实施方式中，也可以将检测部P1对关注区域L的检测的开始到结束的期间设定为第1期间。例如，在第2实施方式中，也可以是，第2期间响应于检测部P1开始检测关注区域L而开始，第1期间由于未检测到关注区域L而结束。
另外，在第1实施方式中，第1期间和第2期间同时开始，但是，也可以不同时。例如，第1期间也可以在第2期间之前开始，第2期间也可以在第1期间之前开始。
另外，在第2实施方式中，第1期间响应于第2期间的结束而开始，不存在第1期间和第2期间彼此重叠的期间。在第1期间中设置不与第2期间重叠的期间即可，也可以存在第1期间和第2期间彼此重叠的期间。
另外，在实施方式中，第1期间在第2期间之后结束，但是，在第1期间中设置不与第2期间重叠的期间即可，第2期间也可以在第1期间之后结束。例如，如果第1期间在第2期间之前开始，则第2期间可以在第1期间之后结束。
关于本实施方式中的各顺序的各步骤，只要不违反其性质，则可以变更执行顺序，可以同时执行多个步骤，或者也可以在每次执行时按照不同的顺序来执行。进而，也可以通过硬件实现本实施方式中的各顺序的各步骤的全部或一部分。例如，检测部P1、分类部P2、期间设定部P3的全部或一部分也可以由电路构成。
本发明不限于上述实施方式，能够在不改变本发明主旨的范围内进行各种变更、改变等。

Claims (24)

1.一种诊断辅助装置，其具有：
检测部，其从由内窥镜取得的内窥镜图像中检测关注区域，输出所述关注区域的位置信息；
分类部，其根据与诊断指标对应的规定分类条件对所述关注区域进行分类，输出表示所述关注区域的严重度的诊断辅助信息；以及
显示控制部，其将显示图像控制成，在第1区域中显示所述诊断辅助信息的第1期间和在第2区域中与所述内窥镜图像重叠地显示所述位置信息的第2期间彼此不同。
2.根据权利要求1所述的诊断辅助装置，其中，
所述显示控制部具有期间设定部，
所述期间设定部以在所述第1期间中产生不与所述第2期间重叠的期间的方式，分别设定所述第1期间和所述第2期间。
3.根据权利要求2所述的诊断辅助装置，其中，
所述期间设定部具有第1设定部和第2设定部，
所述第1设定部设定所述第1期间，
所述第2设定部根据所述第1期间的设定来设定所述第2期间。
4.根据权利要求3所述的诊断辅助装置，其中，
所述第1设定部将持续检测到所述关注区域的期间设定为所述第1期间。
5.根据权利要求3所述的诊断辅助装置，其中，
在所述内窥镜图像内检测到处置器具后，所述第1设定部进行所述第1期间的结束的设定。
6.根据权利要求3所述的诊断辅助装置，其中，
所述第1设定部根据手术医生的指示输入，进行所述第1期间的开始和结束中的至少任意一方的设定。
7.根据权利要求3所述的诊断辅助装置，其中，
在所述第2期间结束后，所述第1设定部设定所述第1期间的开始。
8.根据权利要求3所述的诊断辅助装置，其中，
所述第2设定部根据所述第1期间的设定和所述诊断辅助信息设定所述第2期间。
9.根据权利要求8所述的诊断辅助装置，其中，
所述第2设定部根据所述严重度设定所述第2期间。
10.根据权利要求9所述的诊断辅助装置，其中，
所述分类部输出具有腺瘤性病变和非腺瘤性病变各自的准确度的所述诊断辅助信息，
所述期间设定部具有严重度判定部，
所述严重度判定部根据所述准确度判定所述关注区域是所述腺瘤性病变还是所述非腺瘤性病变，
在判定为所述关注区域是所述非腺瘤性病变时，与判定为所述关注区域是所述腺瘤性病变时相比，所述第2设定部将第2期间设定得更长。
11.根据权利要求3所述的诊断辅助装置，其中，
所述检测部检测所述关注区域的尺寸，
所述期间设定部具有尺寸判定部，
所述尺寸判定部判定所述尺寸，
所述第2设定部根据所述尺寸判定部的判定结果设定所述第2期间。
12.根据权利要求11所述的诊断辅助装置，其中，
所述尺寸判定部判定所述尺寸是否小于规定尺寸，
在判定为所述尺寸小于所述规定尺寸时，与判定为所述尺寸大于所述规定尺寸时相比，所述第2设定部将第2期间设定得更长。
13.根据权利要求11所述的诊断辅助装置，其中，
所述尺寸判定部判定所述尺寸是否为5mm以下，
在判定为所述尺寸为5mm以下时，所述第2设定部进行所述第2期间的设定的处理。
14.根据权利要求12所述的诊断辅助装置，其中，
所述分类部输出具有腺瘤性病变和非腺瘤性病变各自的准确度的所述诊断辅助信息，
所述期间设定部具有严重度判定部，
所述严重度判定部根据所述准确度判定所述关注区域是所述腺瘤性病变还是所述非腺瘤性病变，
在所述关注区域为所述腺瘤性病变且判定为所述尺寸小于所述规定尺寸时，与判定为所述尺寸大于所述规定尺寸时相比，所述第2设定部将所述第2期间设定得更长。
15.根据权利要求3所述的诊断辅助装置，其中，
所述第2设定部根据所述关注区域的个数设定所述第2期间。
16.根据权利要求15所述的诊断辅助装置，其中，
所述期间设定部具有个数判定部，
所述个数判定部判定所述个数是否多于规定个数，
在判定为所述个数多于所述规定个数时，与判定为所述个数少于所述规定个数时相比，所述第2设定部将所述第2期间设定得更长。
17.根据权利要求15所述的诊断辅助装置，其中，
在所述个数为多个时，所述第2设定部针对所述关注区域分别设定彼此不同的所述第2期间。
18.根据权利要求3所述的诊断辅助装置，其中，
所述期间设定部具有运动判定部，
所述运动判定部进行所述内窥镜图像内的所述关注区域的运动方向和运动量的判定，
所述第2设定部根据所述运动方向和所述运动量设定所述第2期间。
19.根据权利要求18所述的诊断辅助装置，其中，
所述运动判定部判定所述运动量是否大于规定量，
在判定为所述运动量大于所述规定量时，与判定为所述运动量小于所述规定量时相比，所述第2设定部将所述第2期间设定得更长。
20.根据权利要求18所述的诊断辅助装置，其中，
在判定为所述运动方向是朝向内窥镜图像的中心的方向时，与判定为所述运动方向是朝向内窥镜图像的外方的方向时相比，所述第2设定部将所述第2期间设定得更长。
21.根据权利要求3所述的诊断辅助装置，其中，
所述期间设定部具有处置动作判定部，
所述处置动作判定部判定由所述检测部检测到的处置器具是否进行了规定处置动作，
在判定为进行了所述规定处置动作时，所述第2设定部进行所述第2期间的结束的设定。
22.根据权利要求3所述的诊断辅助装置，其中，
所述第1设定部具有延长判定部，
所述延长判定部判定所述第1期间和所述第2期间各自的结束时刻之差是否小于规定差，
在判定为所述差小于所述规定差时，所述第1设定部使所述第1期间延长规定延长时间。
23.一种诊断辅助程序，其用于使计算机执行以下代码：
从由内窥镜取得的内窥镜图像中检测关注区域，输出所述关注区域的位置信息；
根据与诊断指标对应的规定分类条件对所述关注区域进行分类，输出表示所述关注区域的严重度的诊断辅助信息；以及
将显示图像控制成，在第1区域中显示所述诊断辅助信息的第1期间和在第2区域中与所述内窥镜图像重叠地显示所述位置信息的第2期间彼此不同。
24.一种诊断辅助方法，其中，
通过检测部从由内窥镜取得的内窥镜图像中检测关注区域，输出所述关注区域的位置信息；
通过分类部根据与诊断指标对应的规定分类条件对所述关注区域进行分类，输出表示所述关注区域的严重度的诊断辅助信息；以及
通过显示控制部将显示图像控制成，在第1区域中显示所述诊断辅助信息的第1期间和在第2区域中与所述内窥镜图像重叠地显示所述位置信息的第2期间彼此不同。
CN201880091997.2A 2018-03-30 2018-03-30 诊断辅助装置、计算机程序产品和图像处理方法 Active CN111989025B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013767 WO2019187049A1 (ja) 2018-03-30 2018-03-30 診断支援装置、診断支援方法及び診断支援プログラム

Publications (2)

Publication Number Publication Date
CN111989025A true CN111989025A (zh) 2020-11-24
CN111989025B CN111989025B (zh) 2024-10-18

Family

ID=68061104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091997.2A Active CN111989025B (zh) 2018-03-30 2018-03-30 诊断辅助装置、计算机程序产品和图像处理方法

Country Status (4)

Country Link
US (1) US11457876B2 (zh)
JP (1) JP6956853B2 (zh)
CN (1) CN111989025B (zh)
WO (1) WO2019187049A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059526A1 (ja) * 2018-09-18 2020-03-26 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
JP7488789B2 (ja) * 2021-05-12 2024-05-22 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法
CN113487609B (zh) * 2021-09-06 2021-12-07 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287955A (ja) * 1999-04-03 2000-10-17 Konica Corp 画像診断支援装置
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
CN103118598A (zh) * 2011-09-16 2013-05-22 株式会社东芝 超声波诊断装置、超声波图像显示装置及方法
CN103654686A (zh) * 2012-09-07 2014-03-26 富士胶片株式会社 内窥镜系统及其处理器装置、内窥镜图像的显示控制方法及胶囊内窥镜系统
JP2016067706A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
CN105992546A (zh) * 2015-01-21 2016-10-05 Hoya株式会社 内窥镜系统
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US20170091582A1 (en) * 2015-09-30 2017-03-30 Panasonic Intellectual Property Management Co., Ltd. Control method and recording medium
WO2017057574A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2017057392A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
CN107220975A (zh) * 2017-07-31 2017-09-29 合肥工业大学 宫颈图像智能辅助判断系统及其处理方法
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4651353B2 (ja) 2004-10-19 2011-03-16 株式会社日立メディコ 診断支援システム
US10339650B2 (en) * 2016-01-07 2019-07-02 Koios Medical, Inc. Method and means of CAD system personalization to reduce intraoperator and interoperator variation
JPWO2018078724A1 (ja) * 2016-10-25 2019-09-05 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287955A (ja) * 1999-04-03 2000-10-17 Konica Corp 画像診断支援装置
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
CN103118598A (zh) * 2011-09-16 2013-05-22 株式会社东芝 超声波诊断装置、超声波图像显示装置及方法
CN103654686A (zh) * 2012-09-07 2014-03-26 富士胶片株式会社 内窥镜系统及其处理器装置、内窥镜图像的显示控制方法及胶囊内窥镜系统
JP2016067706A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
CN105992546A (zh) * 2015-01-21 2016-10-05 Hoya株式会社 内窥镜系统
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2017057392A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2017057574A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
US20170091582A1 (en) * 2015-09-30 2017-03-30 Panasonic Intellectual Property Management Co., Ltd. Control method and recording medium
WO2017081976A1 (ja) * 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN107220975A (zh) * 2017-07-31 2017-09-29 合肥工业大学 宫颈图像智能辅助判断系统及其处理方法

Also Published As

Publication number Publication date
US11457876B2 (en) 2022-10-04
WO2019187049A1 (ja) 2019-10-03
US20210113159A1 (en) 2021-04-22
JP6956853B2 (ja) 2021-11-02
JPWO2019187049A1 (ja) 2021-03-18
CN111989025B (zh) 2024-10-18

Similar Documents

Publication Publication Date Title
US11457876B2 (en) Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region
CN108348145A (zh) 内窥镜装置
CN110868907B (zh) 内窥镜诊断辅助系统、存储介质和内窥镜诊断辅助方法
US20170112356A1 (en) Image processing apparatus, image processing method, computer-readable recording medium, and endoscope system
CN112312822B (zh) 内窥镜用图像处理装置、方法和计算机程序产品
WO2018198161A1 (ja) 内視鏡画像処理装置及び内視鏡画像処理方法
CN113164023B (zh) 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
US20210405344A1 (en) Control apparatus, recording medium recording learned model, and movement support method
JPWO2019244255A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法およびプログラム
CN113168699B (zh) 计算机程序、信息处理方法以及内窥镜用处理器
EP2671503A1 (en) Image processing apparatus
JP6677734B2 (ja) 少なくとも１つの医療機器を伴う外科的処置中に執刀者にイメージ化支援を提供する為の支援デバイス
US20190298159A1 (en) Image processing device, operation method, and computer readable recording medium
US11992177B2 (en) Image processing device for endoscope, image processing method for endoscope, and recording medium
CN110769731B (zh) 内窥镜系统、内窥镜用处理系统、图像处理方法
US20200126224A1 (en) Image processing device, recording medium, and image processing method
CN112969402A (zh) 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法
CN113226151B (zh) 内窥镜图像处理装置、显示控制方法及存储介质
US20220346632A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium storing computer program
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20240135642A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20240296563A1 (en) Image processing apparatus and endoscope system
US20240180395A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2016056408A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20120107780A1 (en) Inspection apparatus and inspection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant