[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102268771B1 - 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치 - Google Patents

인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치 Download PDF

Info

Publication number
KR102268771B1
KR102268771B1 KR1020200160908A KR20200160908A KR102268771B1 KR 102268771 B1 KR102268771 B1 KR 102268771B1 KR 1020200160908 A KR1020200160908 A KR 1020200160908A KR 20200160908 A KR20200160908 A KR 20200160908A KR 102268771 B1 KR102268771 B1 KR 102268771B1
Authority
KR
South Korea
Prior art keywords
image
result values
processing information
lesion
image processing
Prior art date
Application number
KR1020200160908A
Other languages
English (en)
Inventor
김경남
Original Assignee
주식회사 웨이센
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센 filed Critical 주식회사 웨이센
Priority to KR1020200160908A priority Critical patent/KR102268771B1/ko
Application granted granted Critical
Publication of KR102268771B1 publication Critical patent/KR102268771B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

실시예에 따른 영상 수신 장치는, 소화기관을 촬영하는 의료 영상 장치로부터 영상 프레임을 수신하는 통신부, 상기 영상 프레임에 대한 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하기 위한 제어부 및 상기 영상 프레임 상에 상기 결과값들로부터 생성된 이미지 가공 정보를 출력하기 위한 디스플레이부를 포함하고, 상기 결과값들은 상기 소화기관의 전벽에 위치하는 병변과 관련된 제1 결과값들이거나 또는 상기 소화기관의 후벽에 위치하는 병변과 관련된 제2 결과값들이고, 상기 제어부는 상기 전벽의 이미지 및 상기 후벽의 이미지와 함께, 상기 제1 결과값들로부터 생성되는 제1 이미지 가공 정보에 대응하는 제1 인디케이터 또는 상기 제2 결과값들로부터 생성되는 제2 이미지 가공 정보에 대응하는 제2 인디케이터를 생성하고, 상기 디스플레이부는 상기 전벽의 이미지 상에 상기 제1 인디케이터를 표시하거나, 상기 후벽의 이미지 상에 상기 제2 인디케이터를 표시할 수 있다.

Description

인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치 {Method for providing a user interface using the data receiving apparatus based on the image processing of the AI and Apparatus for using the same}
본 발명은 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치에 관한 것으로, 보다 구체적으로 병변의 위치를 정밀하게 확인할 수 있는 방법을 제공함과 동시에 사용자가 병변이 포함된 영상을 확인할 때 직관적으로 병변의 위치를 파악할 수 있는 UI를 제공하기 위한, 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치에 관한 것이다.
위에 생기는 악성 종양에는 위선암(gastric adenocarcinoma), 악성림프종(gastric lymphoma), 간질성 종양(gastrointestinal stromal tumor)등 여러 종류가 있으나 이 중 위선암이 가장 흔하다. 이때, 위암은 종양의 진행 정도에 따라, 조기 위암(early gastric cancer, EGC) 과 진행성 위암(advanced gastric cancer, AGC)으로 분류할 수 있다.
보다 구체적으로, 조기 위암은 림프절로의 전이 유무에 관계없이 종양 세포가 위의 점막층 또는 점막 하층까지 침범한 경우이고, 진행성 위암은 종양 세포가 점막하층을 지나 근육층 이상을 뚫고 침범된 경우로 주변 장기로의 침습이 가능하다.
위암의 진단 방법으로는, 위 내시경 검사가 가장 중요하다. 보다 구체적으로, 의료진은 내시경 스코프(scope)를 이용하여 위암 의심 개체에 대하여 촬영된 위 내시경 영상을 판독함으로써 위암을 진단하고, 이를 기초로 병변에 따른 치료를 제공할 수 있다. 한편, 내시경 영상에 기초한 진단 시스템은, 의료진 숙련도에 따른 진단의 편차가 있을 수 있다. 이러한 진단의 편차는, 오진, 치료 시점의 지연, 부적절한 치료가 수행되는 등의 의료 사고와도 연관이 있을 수 있다.
특히, 조기 위암의 경우 병소 부위가 매우 작게 존재하거나 정상 조직과의 구별이 어려울 수 있어, 의료진의 숙련도에 따른 진단의 편차가 보다 클 수 있다.
그리고, 의료 사고의 예방 및 의료 서비스의 향상 등을 위하여 진단의 정확성이 더욱 요구되고 있음에 따라, 질환 발병 여부 뿐만 아니라, 병변에 대한 위치를 제공할 수 있는 새로운 진단 방법의 개발이 지속적으로 요구되고 있는 실정이다.
한편, 병변에 대한 정확한 예측과 진단을 위하여 내시경 검사 장비에서 출력되는 영상을 실시간 인공지능 모델로 분석하여 빠르고 정확하게 처리를 하고자 하는 니즈는 줄곧 있어 왔다.
또한, 사용자가 출력 영상을 확인할 때 진단의 정밀성을 보다 향상시켜 의료 사고를 예방하는 것도 중요하다.
본 발명은 전술한 필요성에 의해 도출된 것으로 병변의 위치를 전반적으로 확인함과 동시에 보다 정밀하게 확인할 수 있도록 하는 데에 그 목적이 있다.
또한, 사용자가 출력 영상을 확인할 때 보다 직관적으로 병변의 위치를 파악할 수 있는 UI를 제공하고자 하는 데에 그 목적이 있다.
실시예에 따른 영상 수신 장치는 소화기관을 촬영하는 의료 영상 장치로부터 영상 프레임을 수신하는 통신부, 상기 영상 프레임에 대한 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하기 위한 제어부; 및 상기 영상 프레임 상에 상기 결과값들로부터 생성된 이미지 가공 정보를 출력하기 위한 디스플레이부;를 포함하고, 상기 결과값들은 상기 소화기관의 전벽에 위치하는 병변과 관련된 제1 결과값들이거나 또는 상기 소화기관의 후벽에 위치하는 병변과 관련된 제2 결과값들이고, 상기 제어부는 상기 전벽의 이미지 및 상기 후벽의 이미지와 함께, 상기 제1 결과값들로부터 생성되는 제1 이미지 가공 정보에 대응하는 제1 인디케이터 또는 상기 제2 결과값들로부터 생성되는 제2 이미지 가공 정보에 대응하는 제2 인디케이터를 생성하고, 상기 디스플레이부는 상기 전벽의 이미지 상에 상기 제1 인디케이터를 표시하거나, 상기 후벽의 이미지 상에 상기 제2 인디케이터를 표시할 수 있다.
상기 디스플레이부는 상기 전벽의 이미지 및 상기 후벽의 이미지를 서로 좌우 대칭되도록 출력할 수 있다.
소화기관을 촬영하는 의료 영상 장치로부터 영상 프레임을 수신하는 통신부; 상기 영상 프레임에 대한 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하기 위한 제어부; 및 상기 영상 프레임 상에 상기 결과값들로부터 생성된 이미지 가공 정보를 출력하기 위한 디스플레이부;를 포함하고, 상기 결과값들은 상기 소화기관의 전벽에 위치하는 병변과 관련된 제1 결과값들이거나 또는 상기 소화기관의 후벽에 위치하는 병변과 관련된 제2 결과값들이고, 상기 제어부는 상기 전벽의 이미지 또는 상기 후벽의 이미지와 함께, 상기 제1 결과값들로부터 생성되는 제1 이미지 가공 정보에 대응하는 제1 인디케이터 또는 상기 제2 결과값들로부터 생성되는 제2 이미지 가공 정보에 대응하는 제2 인디케이터를 생성하고, 상기 디스플레이부는 상기 전벽의 이미지 또는 상기 후벽의 이미지 상에 상기 제1 인디케이터 또는 상기 제2 인디케이터를 표시할 수 있다.
상기 제1 인디케이터와 상기 제2 인디케이터의 형태가 상이할 수 있다.
실시예에 따른 영상 수신 장치는 소화기관을 촬영하는 의료 영상 장치로부터 영상 프레임을 수신하는 통신부; 상기 영상 프레임에 대한 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하기 위한 제어부; 및 상기 영상 프레임 상에 상기 결과값들로부터 생성된 이미지 가공 정보를 출력하기 위한 디스플레이부;를 포함하고, 상기 제어부는 상기 소화기관의 전벽의 이미지 또는 후벽의 이미지 및 상기 소화기관이 절개된 형상의 이미지와 함께 상기 이미지 가공 정보에 대응하는 동일한 인디케이터를 두 개 생성하고, 상기 디스플레이부는 상기 전벽의 이미지 또는 상기 후벽의 이미지 상에 상기 두 개의 인디케이터 중 어느 하나를 표시하며, 상기 소화기관이 절개된 형상의 이미지 상에 상기 두 개의 인디케이터 중 다른 하나를 표시할 수 있다.
상기 디스플레이부는 상기 전벽의 이미지 또는 상기 후벽의 이미지 상에 혈관 및 림프절 정보 중 적어도 하나를 더 표시할 수 있다.
실시예에 따른 영상 수신 장치는 소화기관을 촬영하는 의료 영상 장치로부터 영상 프레임을 수신하는 통신부; 상기 영상 프레임에 대한 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하기 위한 제어부; 및 상기 영상 프레임 상에 상기 결과값들로부터 생성된 이미지 가공 정보를 출력하기 위한 디스플레이부;를 포함하고, 상기 제어부는 상기 소화기관이 절개된 형상의 이미지와 함께 상기 이미지의 가공 정보에 대응하는 인디케이터를 생성하고, 상기 디스플레이부는 상기 소화기관이 절개된 형상의 이미지 상에 상기 인디케이터를 출력할 수 있다.
상기 통신부는 상기 영상 프레임을 복수 개 수신하고, 상기 제어부는 상기 복수 개의 영상 프레임 각각으로부터 생성된 상기 이미지 가공 정보에 대응하는 인디케이터들을 각각 상이한 형태로 생성할 수 있다.
상기 제어부는 상기 결과값들을 기초로 히트맵을 생성하고, 상기 히트맵에 임계값을 적용하여 상기 히트맵으로부터 병변 영역을 추출하며, 상기 병변 영역을 참조하여 상기 이미지 가공 정보를 생성할 수 있다.
상기 신경망 모델은 복수 개이고, 상기 복수 개의 신경망 모델 각각을 이용한 상기 연산을 통해 서로 상이한 종류의 결과값들을 출력할 수 있다.
실시예에 따르면 병변의 위치를 다양한 형태의 UI를 통해 확인함으로써 보다 정밀하게 확인할 수 있게 된다.
실시예에 따르면 사용자가 출력 영상을 확인할 때 보다 직관적으로 병변의 위치를 파악할 수 있게 된다.
도 1은 실시예에 따른 영상 처리 시스템을 설명하기 위한 개념도이다.
도 2 내지 도 7은 실시예에 따른 영상 수신 장치에서 제공하는 사용자 인터페이스 화면의 예시이다.
도 8은 실시예에 따라 복수의 신경망 모델을 이용해 영상 프레임 상에 결과값들로부터 생성된 이미지 가공 정보를 출력하는 과정을 설명하기 위해 참조되는 도면이다.
도 9는 실시예에 따른 신경망 모델의 구조를 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면을 참조하여 본 발명의 구체적인 실시예에 대하여 설명한다.
도 1은 실시예에 따른 영상 처리 시스템을 설명하기 위한 개념도이다.
본 발명은 의료 영상 장치(110)로부터 출력되는 영상 신호를 분석 소프트웨어가 설치된 영상 수신 장치(120)에서 입력 받으면서, 인공지능 모델을 이용하여 실시간으로 병변을 예측/분석하고 결과를 제공하는 방법에 관한 것이다.
도 1에 도시한 바와 같이, 의료 영상 장치(110)는 대상물을 촬영하여 획득된 영상 프레임을 영상 수신 장치(120)로 전송할 수 있다. 실시예에 따른 영상 프레임은 소화기 내시경 검사 장비 같은 의료 기기에서 획득된 영상일 수 있으나, 본 발명의 권리범위는 이에 제한되지 않고 초음파나 MRI 등의 다른 종류의 의료기기에도 동일/유사하게 적용될 수 있다.
영상 수신 장치(120)는 신경망 모델(121a)을 통한 병변 예측 연산을 수행하여 입력 영상 프레임을 분석하기 위한 소프트웨어를 구동할 수 있는 PC, 노트북 등의 다양한 전자 기기를 포함할 수 있다.
영상 수신 장치(120)는 통신부(122), 제어부(121), 메모리(123), 및 디스플레이부(124)를 포함할 수 있다.
통신부(122)는 의료 영상 장치(110)로부터 영상 프레임을 수신하여 제어부(121)로 전송한다.
제어부(121)는 신경망 모델(121a)을 이용한 병변 예측 연산을 수행하여 입력 영상 프레임 상의 병변의 결과값(특성값 등)을 획득하고 이를 기초로 병변을 예측할 수 있다.
메모리(123)는 제어부(121)로부터 획득한 결과값 등 제어부(121)의 처리가 수행된 다양한 종류의 데이터를 저장한다.
제어부(121)의 제어하에 메모리(123)에 저장된 결과값이나 이미지 등이 독출되면 디스플레이부(124)는 해당 데이터를 출력하여 사용자에게 제공할 수 있다.
도 2는 실시예에 따른 영상 수신 장치에서 제공하는 사용자 인터페이스 화면의 예시이다.
실시예에 따르면, 제어부(121)는 (1) 영상 프레임 상에 이미지 가공 정보가 오버랩된 이미지 (2) (1)이 축소된 썸네일 형태의 이미지 (3) 기타 환자 정보, 환경 설정 정보, 의료 영상 장치(110)와의 연결 상태 (4) 소화기관의 전벽의 이미지 및/또는 후벽의 이미지 등을 디스플레이부(142) 상에 표시할 수 있다. 그리고 (1) 내지 (4)의 각 정보들은 전체 디스플레이 화면 상에서 별도의 박스 영역안에 구분되어 표시될 수 있다.
참고로, 본 발명에서 소화기관의 전벽의 이미지란 소화기관을 배쪽에서 바라본 측면 상의 이미지를 의미하고, 소화기관의 후벽의 이미지란 소화기관을 등쪽에서 바라본 측면 상의 이미지를 의미할 수 있다.
도 2를 참조하면, (1)과 관련하여, 이미지 가공 정보는 영상 프레임에 대한 신경망 모델(121a)을 이용한 연산을 수행하여 출력된 결과값들로부터 생성된 것으로, 해당 병변의 확률(L, 68.93%), 깊이(SM, 74.29%), 유형(D, 80.82%)에 해당하는 이미지 정보와 해당 병변 영역의 경계 정보를 포함할 수 있다. 또한, (1)의 정보를 포함하는 박스 영역은 병변이 발견되는 경우 경계가 하이라이트 처리되거나 특정 색상으로 볼드 처리되는 등으로 변경되어 병변의 발견을 알릴 수 있다.
또한, (4)와 관련하여, 제어부(121)는 신경망 모델(121a)을 이용한 연산을 통해 상기 소화기관의 전벽에 위치하는 병변과 관련된 제1 결과값들 또는 상기 소화기관의 후벽에 위치하는 병변과 관련된 제2 결과값들을 출력할 수 있다.
그리고, 제어부(121)는 소화기관의 전벽의 이미지 및 후벽의 이미지와 함께 제1 결과값들로부터 생성되는 제1 이미지 가공 정보에 대응하는 제1 인디케이터 또는 상기 제2 결과값들로부터 생성되는 제2 이미지 가공 정보에 대응하는 제2 인디케이터를 생성하고, 디스플레이부(124)는 도 2a와 같이 전벽의 이미지 상에 제1 인디케이터를 표시하거나, 도 2b와 같이 후벽의 이미지 상에 제2 인디케이터를 표시하여 사용자에게 제공할 수 있다.
한편, 실시예에 따르면, 도 2a 및 도 2b와 같이 병변이 소화기관 내측면으로 돌출되어 형성되거나 도 2c 및 도 2d와 같이 병변이 소화기관 외측면으로 돌출되어 형성된 경우, 해당 위치까지 표시하여 서로 구분할 수도 있다.
또한, 도 2의 각 실시예에 있어서, 디스플레이부(124)는 전벽의 이미지 및 후벽의 이미지가 서로 좌우 대칭되도록 출력하여 함께 표시할 수 있다.
(4)에 따르면, 전벽의 이미지와 후벽의 이미지를 함께 표시하면서, 이와 동시에 특정 병변의 이미지에 대한 연산이 수행되어 획득된 이미지 가공 정보가 소화기관의 전벽에 위치하는 병변에 해당하는 것인지 또는 소화기관의 후벽에 위치하는 병변에 해당하는 것인지까지 함께 식별할 수 있도록 함으로써, 위를 절개한 해부학적 구조 표시 방법을 이용하지 않고도 병변의 위치를 정확하게 식별할 수 있게 된다.
한편, 제1 인디케이터와 제2 인디케이터의 색상, 크기, 무늬 등의 형태를 서로 동일하게 구현할 수도 있으나, 실시예에 따라 상기 형태를 서로 상이하게 구현하여 해당 병변이 전벽에 위치한 것인지 또는 후벽에 위치한 것인지를 보다 직관적으로 확인할 수 있다.
이를 위하여, 각 병변 영역별 대응되는 각 인디케이터의 형태를 미리 정의하여 메모리(123)에 기록할 수 있고, 제어부(121)는 특정 병변이 발견되면, 해당 병변에 대응하는 인디케이터를 메모리(123)로부터 독출하여 디스플레이부(124)에 표시할 수 있다.
도 3은 다른 실시예에 따른 영상 수신 장치에서 제공하는 사용자 인터페이스 화면의 예시이다.
도 3의 경우에도, 도 2에서 전술한 기술적 내용이 동일/유사하게 적용될 수 있다.
이 중 특히, 위의 전벽의 이미지에서 위의 후벽에서 발견된 병변까지 용이하게 나타내기 위한 인터페이스에 대해서 설명하고자 한다.
실시예에 따르면, 제어부(121)는 신경망 모델(121a)을 이용한 연산을 통해 소화기관의 전벽에 위치하는 병변과 관련된 제1 결과값들 또는 소화기관의 후벽에 위치하는 병변과 관련된 제2 결과값들을 출력할 수 있다.
그리고, 제어부(121)는 소화기관의 전벽의 이미지 또는 후벽의 이미지와 함께 제1 결과값들로부터 생성되는 제1 이미지 가공 정보에 대응하는 제1 인디케이터 또는 상기 제2 결과값들로부터 생성되는 제2 이미지 가공 정보에 대응하는 제2 인디케이터를 생성하고, 디스플레이부(124)는 도 3a와 같이 전벽의 이미지 상에 제1 인디케이터를 표시하거나, 도 3b와 같이 후벽의 이미지 상에 제2 인디케이터를 표시하여 사용자에게 제공할 수 있다.
한편, 실시예에 따르면, 도 3a 및 도 3b와 같이 병변이 소화기관 내측면으로 돌출되어 형성되거나 도 3c 및 도 3d와 같이 병변이 소화기관 외측면으로 돌출되어 형성된 경우, 해당 위치까지 표시하여 서로 구분할 수도 있다.
도 3에 따르면, 예를 들어, 전벽의 이미지와 후벽의 이미지를 함께 표시하지 않고 전벽의 이미지만 표시하면서도, 이와 동시에 특정 병변의 이미지에 대한 연산이 수행되어 획득된 이미지 가공 정보가 소화기관의 전벽에 위치하는 병변에 해당하는 것일 뿐 아니라 후벽에 위치하는 병변에 해당하는 것일 경우, 이것까지 식별할 수 있도록 함으로써, 보다 용이하고 직관적으로 병변의 위치를 파악할 수 있게 된다.
실시예에 따르면, 도 3에 있어서 제1 인디케이터와 제2 인디케이터의 색상, 크기, 무늬 등의 형태를 서로 상이하게 구현하여 해당 병변이 전벽에 위치한 것인지 또는 후벽에 위치한 것인지를 보다 직관적으로 확인할 수 있다.
도 4는 다른 실시예에 따른 영상 수신 장치에서 제공하는 사용자 인터페이스 화면의 예시이다.
도 4의 경우에도, 도 2에서 전술한 기술적 내용이 동일/유사하게 적용될 수 있다.
한편, 도 4를 참조하면, 도 2 및 도 3의 각 실시예에 있어서, 소화기관의 전벽의 이미지 및/또는 후벽의 이미지 상에 동맥, 정맥 등의 혈관 및 림프절 정보 중 적어도 하나를 더 표시할 수 있다. 이 경우, 사용자는 병변 위치가 림프절 전이 가능성이 있는지 여부까지 확인할 수 있고, 또한 시술 도구 사용시 주의해야함을 알 수 있게 된다. 즉, 사용자는 이러한 추가적인 정보를 함께 진단 보조에 이용하여 세밀한 치료 전략을 수립할 수 있게 된다.
도 5는 다른 실시예에 따른 영상 수신 장치에서 제공하는 사용자 인터페이스 화면의 예시이다.
도 5의 경우에도, 도 2에서 전술한 기술적 내용이 동일/유사하게 적용될 수 있다.
우선 도 5a를 참조하면, 왼쪽에 위의 전면 또는 후면이 오른쪽에 위가 절개된 형상이 도시되어 있다. 오른쪽 도면에 의하면 위의 전체가 펼쳐진 도면으로 전반적으로 확인할 수 있고, 왼쪽 도면에 의하면 병변의 위치를 위체부, 위전정부, 위저부 등으로만 확인할 수 있으나, 오른쪽 도면에 의하면 소만/대만, 전벽/후벽 등으로까지 분할하여 병변의 위치를 보다 정밀하게 확인할 수 있게 된다.
한편, 도 5b를 참조하면, 제어부(121)는 소화기관이 절개된 형상의 이미지와 함께 이미지 가공 정보에 대응하는 인디케이터((a) 또는 (b))를 생성하고, 디스플레이부(124)는 소화기관이 절개된 형상의 이미지 상에 인디케이터를 출력할 수 있다.
그리고, 도 5b의 경우, 복수 개의 영상 프레임 수신 시, 각각의 영상 프레임으로부터 생성된 각 이미지 가공 정보에 대응하는 각 인디케이터들의 색상, 크기, 무늬 등의 형태를 상이하게 구현할 수도 있다.
즉, 도 5b에 따르면, 소화기관의 각 병변의 위치를 보다 상세하고 정밀하게 확인할 수 있을 뿐 아니라, 보다 직관적으로 확인할 수 있게 된다.
도 6은 다른 실시예에 따른 영상 수신 장치에서 제공하는 사용자 인터페이스 화면의 예시이다.
도 6의 경우에도, 도 2에서 전술한 기술적 내용이 동일/유사하게 적용될 수 있다.
도 6에 있어서, 제어부(121)는 소화기관의 전벽의 이미지 또는 후벽의 이미지 및 상기 소화기관이 절개된 형상의 이미지와 함께 이미지 가공 정보에 대응하는 동일한 인디케이터를 두 개 생성하고, 디스플레이부(124)는 전벽의 이미지 또는 후벽의 이미지 상에 두 개의 인디케이터 중 어느 하나를 표시하며, 소화기관이 절개된 형상의 이미지 상에 두 개의 인디케이터 중 다른 하나를 표시할 수 있다. 도 6에 따르면, 소화기관이 절개된 형상의 이미지만으로 해당 인디케이터의 병변이 전벽이나 후벽 중 어느 곳에서 발생한 것인지 정확하게 파악이 어려운 경우, 전벽의 이미지나 후벽의 이미지까지 함께 참조할 수 있도록 함으로써, 정확한 위치를 파악할 수 있게 된다.
한편, 도 6의 경우에 있어서도, 도 4에서 기술한 혈관 및 림프절 정보 중 적어도 하나를 더 표시하여 사용자에게 제공할 수도 있다.
그리고, 도 6에 있어서도, 각 인디케이터의 색상, 크기, 무늬 등의 형태를 상이하게 구현할 수도 있다.
도 6의 경우, 소화기관의 각 병변의 위치를 두 가지 종류의 상이한 이미지 형태로 확인하여, 보다 상세하고 정밀하게 확인할 수 있을 뿐 아니라, 보다 직관적으로 확인할 수 있게 된다.
도 7은 다른 실시예에 따른 영상 수신 장치에서 제공하는 사용자 인터페이스 화면의 예시이다.
도 7의 경우에도, 도 2에서 전술한 기술적 내용이 동일/유사하게 적용될 수 있다.
디스플레이부(124)는 도 2에서 전술한 (1) 내지 (4)의 항목 이외에 (5) 특정 영상 프레임에 대한 연산이 수행되면 출력가능한 결과값들에 대응하는 복수의 항목 이미지 (6) 병변의 위치 정보에 대응하는 병변과 관련된 권장 검사 부위 판별 모델을 통한 연산 수행 결과 획득된 결과값들을 분류한 정보를 더 표시할 수 있다.
(5)와 관련하여, 제어부(121)는 각 결과값들에 대응하는 복수의 항목을 상이한 크기, 무늬, 색상 등의 형태로 상이하게 표시할 수 있다. 다른 실시예에 따르면, 각 클래스에 대응하는 항목마다 별도의 색상으로 구분하고, 즉, 하나의 클래스에 포함되는 결과값들에 대응하는 항목들은 동일한 색상으로 표기하며, 하나의 클래스 안에서 해당 병변에 해당하는 결과값에 대응하는 항목은 하이라이트로 강조하여 표기할 수도 있다. 예를 들어, 도 12에서 M(Mucosa)과 SM(Submucosa), D(Differentiated)와 UD(Undifferentiated)는 서로 동일 색상으로 표시한 상태에서 해당 병변이 SM과 D에 해당할 경우, SM과 D 부분을 하이라이트로 처리하여 표기할 수도 있다.
(6)과 관련하여, 제어부(121)는 상기 연산 수행 결과 획득된 결과값들을 검사한 위치, 검사 중 위치, 미 검사 위치 등으로 분류할 수 있고, 제어부(121)는 소화기관의 전면 또는 후면 이미지 상에 상기 연산 수행 결과 획득된 후처리 수행 결과들에 대응하는 인디케이터들을 표시할 수 있다. 이 때, 각 인디케이터들은 서로 상이한 색상, 크기, 무늬 등의 상이한 형태로 표시될 수 있다.
도 8은 실시예에 따라 복수의 신경망 모델을 이용해 영상 프레임 상에 결과값들로부터 생성된 이미지 가공 정보를 출력하는 과정을 설명하기 위해 참조되는 도면이다.
도 8을 참조하면, 영상 프레임을 병변 검출 모델 또는 병변 판별 모델과 같은 신경망 모델(121a)의 입력 노드에 입력시키면, 신경망 모델(121a)을 이용한 추론을 수행하여 출력 노드로부터 결과값(L,N,M,SM,D,UD)을 출력할 수 있다. 이외에도, 영상 프레임 상의 병변의 위치 정보 판별 모델, 병변의 위치 정보에 대응하는 병변과 관련된 검사 진행 여부 판별 모델, 권장 검사 시간 알림 모델, 및 상기 병변 발생의 위험 알림 모델 등 병변 검출과 관련하여 구현된 모델이면 본 발명에 동일/유사하게 적용될 수 있다. 참고로, 본 발명에서 복수의 신경망 모델(121a)이 동작하는 경우, 각 신경망 모델(121a)은 병렬로 동시에 처리될 수 있다.
또한, 도 8에서는 신경망 모델(121a)로 CNN(Convolutional Neural Network) 을 이용한 것을 예시하였으나, 본 발명은 이에 제한되지 않고, FCN, RNN, DNN, GNN 등 다양한 종류의 신경망으로부터 생성된 신경망 모델인 경우에도 동일/유사하게 적용될 수 있다.
그리고, 영상 프레임으로부터 신경망 모델(121a)을 이용한 연산을 수행하여 출력된 결과값을 기초로 히트맵을 생성하고, 히트맵에 임계값을 적용하여 히트맵으로부터 병변 영역을 추출(또는 분리) 함으로써, 영상 프레임으로부터 병변 영역을 검출할 수 있다. 그리고, 검출된 병변 영역을 참조하여, 병변 영역의 경계 정보 및/또는 결과값들의 이미지 정보를 포함하는 이미지 가공 정보가 영상 프레임 상에 출력될 수 있다.
이하, 도 8의 신경망 모델에 대한 특징을 도 9와 함께 참조하여 기술한다.
도 8의 (1) 병변 검출 모델은 실시예에 따른 일대일 분류 모델을 나타내고, 도 8의 (2) 병변 판별 모델은 실시예에 따른 일대다 분류 모델을 나타낸다.
도 8에서 M(Mucosa)과 SM(Submucosa)은 클래스 Ⅰ에 속하는 특성들(병변의 깊이)을 나타내고, D(Differentiated)와 UD(Undifferentiated)는 클래스 Ⅱ에 속하는 특성들(병변의 유형)을 나타낸다. 클래스 Ⅰ의 분류 기준과 클래스 Ⅱ의 분류 기준은 상이할 수 있다. 이와 같이 복수의 클래스에 속하는 특성들을 본 명세서에서는 복합 특성이라 칭한다. 복합 특성을 갖는 입력은 복수의 특성, 즉 각 클래스별로 특성을 가질 수 있다.
도 8의 (2) 병변 판별 모델을 참조하면, 일대다 모델에서는 일부의 층, 즉 컨볼루션층과 풀링층이 클래스간에 공유되고, 완전결합층은 클래스별로 제공된다. 이때, 완전결합층이 클래스별로 제공되기 때문에, 특성 M과 SM의 예측 확률의 합은 100퍼센트이고, 특성 D와 UD의 예측 확률의 합은 100퍼센트이다. 따라서, 클래스 Ⅰ에서의 예측 결과와 클래스 Ⅱ에서의 예측 결과가 각각 제공되기 때문에 보다 정확한 예측 결과를 얻을 수 있다. 또한, 컨볼루션층이 클래스간에 공유되기 때문에 보다 계산량을 감소시키면서도 클래스간의 연관성을 반영시킬 수 있다.
도 9는 본 발명의 실시예에 따른 신경망 모델(121a)의 구조를 나타내는 도면이다. 도 9에서 NT개의 클래스(T1, T2, ... Tt, ... TNT)가 존재하고, 클래스 T1에는 2가지의 특성이 속하고, 클래스 T2에는 2가지의 특성이 속하고, 클래스 Tt에는 n가지의 특성이 속하고, 클래스 TNT에는 3가지의 특성이 속하는 것으로 가정하였다.
도 9를 참조하면, 본 발명의 실시예에 따른 신경망 모델(121a)은, 입력 영상 (xi)에 대해 컨볼루션 연산을 수행하기 위한 컨볼루션층(10)과, 상기 컨볼루션층(10)의 출력(oconv)에 대해 풀링을 수행하기 위한 풀링층(20)과, 복합 특성이 분류되는 복수의 클래스에 각각 대응하며, 상기 풀링층(20)의 출력에 대해 클래스별 가중치(wfc(Tt))를 곱한 값을 출력하는 복수의 클래스별 완전결합층(30)을 포함한다.
신경망 모델(121a)은, 상기 복수의 클래스별 완전결합층(30)에 각각 대응하며 각 클래스별 완전결합층(30)의 출력에 따라 클래스별 특성 확률을 연산하는 복수의 클래스별 분류기(40)를 더 포함할 수 있다.
컨볼루션층(10)은 입력 영상에 대해 복수의 컨볼루션 필터를 이용하여 컨볼루션 연산을 수행함으로써 특징맵을 추출한다. 도 9에 도시된 바와 같이 컨볼루션 연산은 복수회 수행될 수 있다. 컨볼루션층(10)의 출력, 즉 특징맵(oconv)은 높이(H), 너비(W), 채널 수(C)를 갖는 것으로 가정하였다.
풀링층(20)은 컨볼루션층(10)과 완전결합층(30)의 사이에 위치하며, 특징맵(oconv)의 크기를 감소시켜 후술하는 완전결합층(30)에서 필요한 연산을 감소시키고, 오버피팅을 방지하는 역할을 한다. 풀링층(20)은 특징맵(oconv)의 각 채널에 대해 평균값을 출력하는 전체 평균 풀링(Global Average Pooling)을 수행할 수 있다.
클래스별 완전결합층(30)은 풀링층(20)의 출력에 클래스별 가중치(wfc(T1), wfc(T2), ... wfc(Tt), ... wfc(TNT))를 곱한 값을 출력한다. 이때, 클래스별 가중치(wfc(T1), wfc(T2), ... wfc(Tt), ... wfc(TNT))의 각각은 채널 수에 해당하는 복수의 값일 수 있다.
클래스별 분류기(40)는 클래스별 완전결합층(30)에 각각 대응하며, 클래스별 완전결합층(30)의 출력에 따라 클래스별 특성 확률을 연산한다. 도 9를 참조하면, 클래스 T1에 해당하는 분류기는 클래스 T1에 속하는 특성들 각각에 해당하는 확률(P1(T1), P2(T1))을 연산하고, 클래스 T2에 해당하는 분류기는 클래스 T2에 속하는 특성들 각각에 해당하는 확률(P1(T2), P2(T2))을 연산하고, 클래스 Tt에 해당하는 분류기는 클래스 Tt에 속하는 특성들 각각에 해당하는 확률(P1(Tt), P2(Tt), ... Pn(Tt))을 연산하고, 클래스 TNT에 해당하는 분류기는 클래스 TNT에 속하는 특성들 각각에 해당하는 확률(P1(TNT), P2(TNT), P3(TNT))을 연산한다. 클래스별 분류기(40)로서 예를 들어 Softmax 함수, Sigmoid 함수 등이 이용될 수 있다.
이상 설명된 실시 형태는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터로 판독가능한 기록매체에 기록될 수 있다. 상기 컴퓨터로 판독가능한 기록매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
컴퓨터로 판독가능한 기록매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 실행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 명세서의 양상들은 전체적으로 하드웨어, 전체적으로 소프트웨어 (펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함 함) 또는 컴퓨터 판독 가능 프로그램 코드가 구현 된 하나 이상의 컴퓨터 판독 가능 매체에 구현 된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 소화기관을 촬영하는 의료 영상 장치로부터 영상 프레임을 수신하는 통신부;
    상기 영상 프레임에 대한 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하기 위한 제어부; 및
    상기 영상 프레임 상에 상기 결과값들로부터 생성된 이미지 가공 정보를 출력하기 위한 디스플레이부;를 포함하고,
    상기 결과값들은 상기 소화기관의 전벽에 위치하는 병변과 관련된 제1 결과값들이거나 또는 상기 소화기관의 후벽에 위치하는 병변과 관련된 제2 결과값들이고,
    상기 제어부는 상기 전벽의 이미지 및 상기 후벽의 이미지와 함께, 상기 제1 결과값들로부터 생성되는 제1 이미지 가공 정보에 대응하는 제1 인디케이터 또는 상기 제2 결과값들로부터 생성되는 제2 이미지 가공 정보에 대응하는 제2 인디케이터를 생성하고,
    상기 디스플레이부는 상기 전벽의 이미지 상에 상기 제1 인디케이터를 표시하거나, 상기 후벽의 이미지 상에 상기 제2 인디케이터를 표시하며,
    상기 디스플레이부는 상기 전벽의 이미지 및 상기 후벽의 이미지를 서로 좌우 대칭되도록 출력하는,
    영상 수신 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 소화기관을 촬영하는 의료 영상 장치로부터 영상 프레임을 수신하는 통신부;
    상기 영상 프레임에 대한 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하기 위한 제어부; 및
    상기 영상 프레임 상에 상기 결과값들로부터 생성된 이미지 가공 정보를 출력하기 위한 디스플레이부;를 포함하고,
    상기 제어부는 상기 소화기관의 전벽의 이미지 또는 후벽의 이미지 및 상기 소화기관이 절개된 형상의 이미지와 함께 상기 이미지 가공 정보에 대응하는 동일한 인디케이터를 두 개 생성하고,
    상기 디스플레이부는 상기 전벽의 이미지 또는 상기 후벽의 이미지 상에 상기 두 개의 인디케이터 중 어느 하나를 표시하며, 상기 소화기관이 절개된 형상의 이미지 상에 상기 두 개의 인디케이터 중 다른 하나를 표시하는,
    영상 수신 장치.
  6. 제 5항에 있어서,
    상기 디스플레이부는 상기 전벽의 이미지 또는 상기 후벽의 이미지 상에 혈관 및 림프절 정보 중 적어도 하나를 더 표시하는,
    영상 수신 장치.
  7. 소화기관을 촬영하는 의료 영상 장치로부터 영상 프레임을 수신하는 통신부;
    상기 영상 프레임에 대한 신경망 모델을 이용한 연산을 수행하여 결과값들을 출력하기 위한 제어부; 및
    상기 영상 프레임 상에 상기 결과값들로부터 생성된 이미지 가공 정보를 출력하기 위한 디스플레이부;를 포함하고,
    상기 제어부는 상기 소화기관이 절개된 형상의 이미지와 함께 상기 이미지의 가공 정보에 대응하는 인디케이터를 생성하고,
    상기 디스플레이부는 상기 소화기관이 절개된 형상의 이미지 상에 상기 인디케이터를 출력하는,
    영상 수신 장치.
  8. 제 7항에 있어서,
    상기 통신부는 상기 영상 프레임을 복수 개 수신하고,
    상기 제어부는 상기 복수 개의 영상 프레임 각각으로부터 생성된 상기 이미지 가공 정보에 대응하는 인디케이터들을 각각 상이한 형태로 생성하는,
    영상 수신 장치.
  9. 제 1항, 제 5항, 또는 제 7항 중 어느 한 항에 있어서,
    상기 제어부는 상기 결과값들을 기초로 히트맵을 생성하고, 상기 히트맵에 임계값을 적용하여 상기 히트맵으로부터 병변 영역을 추출하며, 상기 병변 영역을 참조하여 상기 이미지 가공 정보를 생성하는,
    영상 수신 장치.
  10. 제 1항에 있어서,
    상기 신경망 모델은 복수 개이고,
    상기 복수 개의 신경망 모델 각각을 이용한 상기 연산을 통해 서로 상이한 종류의 결과값들을 출력하는,
    영상 수신 장치.
KR1020200160908A 2020-11-26 2020-11-26 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치 KR102268771B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200160908A KR102268771B1 (ko) 2020-11-26 2020-11-26 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200160908A KR102268771B1 (ko) 2020-11-26 2020-11-26 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치

Publications (1)

Publication Number Publication Date
KR102268771B1 true KR102268771B1 (ko) 2021-06-24

Family

ID=76607014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160908A KR102268771B1 (ko) 2020-11-26 2020-11-26 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치

Country Status (1)

Country Link
KR (1) KR102268771B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070104539A (ko) * 2004-12-28 2007-10-26 패트릭 씨. 멜더 내시경 영상화 시스템
JP2020089712A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070104539A (ko) * 2004-12-28 2007-10-26 패트릭 씨. 멜더 내시경 영상화 시스템
JP2020089712A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム

Similar Documents

Publication Publication Date Title
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
US11132794B2 (en) System and method for detection of suspicious tissue regions in an endoscopic procedure
CN112567381B (zh) 用于处理来自医学成像设备的实时视频并检测视频中的对象的系统和方法
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN112543941A (zh) 用于训练生成式对抗网络和使用经训练的生成式对抗网络的系统和方法
KR102209382B1 (ko) 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
KR102154733B1 (ko) 의료 영상을 이용하여 대상체에 악성 종양이 존재하는지 여부를 예측하는 장치 및 방법
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
JP7167515B2 (ja) 特定装置、プログラム、特定方法、情報処理装置及び特定器
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
US20230206435A1 (en) Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate
KR102600401B1 (ko) 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
CN111401102B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
KR20210054140A (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
KR102268771B1 (ko) 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
KR20220122312A (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
WO2020263002A1 (ko) 혈관 세그멘테이션 방법
KR102270669B1 (ko) 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치
JP2024507290A (ja) 弱教師あり深層学習人工知能を利用した乳房超音波診断の方法及びシステム｛Ｍｅｔｈｏｄ ａｎｄ ｓｙｓｔｅｍ ｆｏｒ ｂｒｅａｓｔ ｕｌｔｒａｓｏｎｉｃ ｉｍａｇｅ ｄｉａｇｎｏｓｉｓ ｕｓｉｎｇ ｗｅａｋｌｙ－ｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ｝
KR102253398B1 (ko) 인공지능 기반의 영상 처리 및 사용자 이벤트를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
KR102275760B1 (ko) 조기 위암의 예측 방법 및 이를 이용한 디바이스
Sindhu et al. A novel method for automatic detection of inflammatory bowel diseases in wireless capsule endoscopy images
Soberanis-Mukul et al. Polyp-artifact relationship analysis using graph inductive learned representations
KR102259797B1 (ko) 영상 분석을 통한 사용자 이벤트 검출 방법 및 해당 방법을 수행하는 장치
Wijata et al. Machine Learning Detects a Biopsy Needle in Ultrasound Images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant