KR20210093696A

KR20210093696A - 뇌동맥류 파열 예측 시스템

Info

Publication number: KR20210093696A
Application number: KR1020200007623A
Authority: KR
Inventors: 정재훈
Original assignee: 주식회사 아이도트
Priority date: 2020-01-20
Filing date: 2020-01-20
Publication date: 2021-07-28
Anticipated expiration: 2040-01-20
Also published as: KR102359860B1; WO2021149875A1

Abstract

본 발명은 3차원 뇌혈관 조영술 영상과 심층 신경망을 이용하여 뇌동맥류의 파열 및 파열 위험도를 예측하는 시스템에 관한 것으로, 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 상기 병변 영역을 중심으로 하는 바운딩 박스의 크기를 가변시키면서 각 가변된 바운딩 박스를 크롭핑 및 플리핑하는 방식으로 학습 데이터를 증강시키는 학습 데이터 증강부와;
상기 증강된 학습 데이터를 학습하는 심층 신경망 학습모델을 포함하며, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 전순환계에 위치하는 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함함을 특징으로 한다.

Description

뇌동맥류 파열 예측 시스템{CEREBRAL ANEURYSM RUPTURE PREDICTION SYSTEM}

본 발명은 뇌질환 진단 시스템에 관한 것으로, 특히 3차원 뇌혈관 조영술 영상과 심층 신경망을 이용하여 뇌동맥류의 파열 유무와 미파열된 뇌동맥류의 파열 위험도를 예측하는 시스템에 관한 것이다.

뇌 질환 즉, 뇌혈관 질환으로는 뇌혈관이 터지는 뇌출혈, 뇌혈관이 혈전 등에 의해 막히는 뇌경색, 뇌혈관이 비정상적으로 부풀어 오르는 뇌동맥류 등이 있고, 뇌출혈과 뇌경색을 아울러서 뇌졸중이라고 말한다.

뇌졸중은 뇌혈관에 문제가 생겨 산소가 공급되지 않아 뇌세포가 죽어가는 질환을 말한다. 만약 뇌졸중으로 인해 1㎜ 내외의 작고 미세한 뇌혈관이 1분간 막혀있게 되거나 단절되면 산소가 공급되지 않아 뇌 부분의 약 200만 개의 신경세포가 손상된다고 알려져 있다.

한편, 뇌동맥류는 뇌동맥의 일부가 꽈리처럼 부풀어 오르는 병변을 말한다. 뇌동맥류의 중증도가 심하면 뇌혈관이 터지는 출혈성 뇌출혈(hemorrhagic stroke)로 발전할 수 있다. 그러나 뇌동맥류는 위험 수준에 이르기 전까지 증상이 거의 없기 때문에 혈관 검사를 하기 전에는 발견하기가 어렵다.

뇌동맥류 파열의 정확한 진단을 위해서 뇌혈관 조영술을 시행하는데, 뇌혈관 조영술로 얻어진 영상 데이터를 통한 병변의 확인은 보통 전문의 육안 관찰에 의해 이루어지기 때문에 주관적인 진단이 이루어질 수 밖에 없다. 따라서 판독과정에서 객관성을 확보하기 위한 새로운 기술적 해결방안이 필요하다.

더 나아가 전문의 판독에 의해 뇌혈관이 미파열로 진단되고 병변 확인된 동맥류 크기가 7mm 이하인 경우 별도의 치료 및 수술이 아닌 추적검사 소견으로 진단되는 경우가 일반적인데, 동맥류 크기가 7mm 이하에서도 파열되는 경우가 종종 발생하고 있기 때문에 크기가 7mm 이하인 동맥류에 대해서 파열 위험도를 예측하여 사전 관리할 수 있도록 지원하는 새로운 기술적 해결방안도 필요하다.

대한민국 등록특허공보 제10-1974786호

이에 본 발명은 상술한 필요성에 따라 창안된 발명으로서, 본 발명의 주요 목적은 혈관 조영술과 심층 신경망을 이용하여 특정 크기 이하의 뇌동맥류의 파열유무와 미파열 뇌동맥류에서의 파열 위험도를 예측하여 제공할 수 있는 뇌동맥류 파열 예측 시스템 및 그 방법을 제공함에 있으며,

더 나아가 본 발명의 또 다른 목적은 심층 신경망의 층(layer) 구조를 변경해 입력 영상에 대한 노이즈 완화 효과를 얻어 학습의 질과 뇌동맥류의 파열 위험도 예측 성능을 높일 수 있는 뇌동맥류 파열 예측 시스템 및 그 방법을 제공함에 있으며,

더 나아가 심층 신경망의 학습 데이터 분포를 확대시켜 뇌동맥류의 파열유무와 파열 위험도 예측 성능을 향상시킬 수 있는 뇌동맥류 파열 예측 시스템 및 그 방법을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템은 컴퓨터 시스템에서 실행 혹은 운영 가능한 시스템으로서,

전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 상기 병변 영역을 중심으로 병변 영역이 다단계 확대되는 크롭방식을 적용해 학습 데이터를 증강시키는 학습 데이터 증강부와;

상기 증강된 학습 데이터를 학습하는 심층 신경망 학습모델을 포함하며, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함함을 특징으로 한다.

상술한 뇌동맥류 파열 예측 시스템의 심층 신경망 학습모델은,

노이즈 완화를 위해 풀링층(pooling layer; sub-sampling layer)과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 하나로 합쳐 보다 정확한 이미지 분류를 위해 입력 이미지의 위치정보 보호 및 크기 제약을 없애기 위한 완전 연결층(fully-convolution layer)으로 전달하는 합산층(add layer)을 포함함을 또 다른 특징으로 한다.

더 나아가 상술한 구성의 뇌동맥류 파열 예측 시스템에서 상기 특정 크기 이하의 병변은 전순환계(anterior circulation)에 위치하는 7mm 이하의 병변임을 또 다른 특징으로 한다.

아울러 상기 뇌동맥류 파열 위험도 예측부는,

입력되는 여섯 방향의 3차원 뇌혈관 조영술 영상 이미지 중 50% 이상의 방향 이미지에서 출혈이라고 판단되는 경우 파열이라 예측하고,

미파열이 진단된 경우 탐지된 병변 영역 내의 동맥에 대해 외부 벽의 모양이 불규칙하거나 다엽성이거나 동맥류내의 변형을 포함하는 경우 고위험군 미파열 동맥류로 예측함을 특징으로 한다.

한편 본 발명의 또 다른 실시예에 따른 뇌동맥류 파열 예측 시스템 역시 컴퓨터 시스템에서 실행 혹은 운영 가능한 시스템으로서,

전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지를 학습하는 심층 신경망 학습모델과;

입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 전순환계에 위치하는 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함하되, 상기 심층 신경망 학습모델은,

풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 노이즈 완화를 위해, 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 하나로 합쳐 완전 연결층으로 전달하는 합산층을 포함함을 특징으로 하며,

상기 일군의 컨벌루션층과 디컨벌루션층 각각은 동수의 컨벌루션층과 디컨벌루션층이 연속되는 구조이며, 동일 층을 형성하는 컨벌루션층과 디컨벌루션층은 같은 커널 크기로 컨벌루션 연산과 디컨벌루션 연산을 수행함을 또 다른 특징으로 한다.

상술한 기술적 과제 해결 수단에 따르면, 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템은 심층 신경망 학습모델을 학습시키기 위한 학습 데이터를 증강시킴에 있어서, 고정된 크기로 크롭핑하지 않고 다양한 크기로 크롭핑을 수행함으로써 다양한 크기와 비율을 가진 병변들에 대한 학습효과를 얻을 수 있어 노이즈 적응성을 높일 수 있는 장점이 있다.

또한 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템의 심층 신경망 학습모델은 반복되는 하나의 컨벌루션층의 위치에서 컨벌루션 연산과 함께 디컨벌루션 연산이 병렬 처리되도록 하여 학습 혹은 진단할 영상 이미지에 대한 노이즈를 완화시켜 학습의 질과 뇌동맥류의 파열 위험도 예측 성능을 높일 수 있는 효과를 제공하며, 무엇보다 전순환계에 위치하는 7mm 이하의 뇌동맥류에 대한 파열은 물론 파열 위험도가 높은 뇌동맥류를 예측하여 표시할 수 있는 장점이 있고, 촬영방향에 상관 없이 다수의 동맥류들을 탐지하고 진단할 수 있는 장점도 있다.

도 1은 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템이 실행되는 컴퓨터 시스템의 구성 예시도.
도 2는 본 발명의 실시예에 따른 학습 데이터 증강을 부연 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 심층 신경망 학습 모델의 네트워크 구조 예시도.
도 4 및 도 5는 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템의 동작을 부연 설명하기 위한 뇌동맥류 파열 예측 흐름 예시도.
도 6은 파열 위험도가 높은 뇌동맥류 혈관 조영술 영상 예시도.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

그리고 본 발명의 상세한 설명 및 청구항들에 걸쳐 '학습'은 절차에 따라 기계 학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아님을 통상의 기술자는 이해할 수 있을 것이다. 또한 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 명세서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

이하, 통상의 기술자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템이 실행 혹은 설치 운영되는 컴퓨터 시스템의 구성도를 예시한 것으로, 뇌동맥류 파열 예측 시스템(200)은 컴퓨터 시스템의 메인 프로세서에서 실행 가능한 프로그램 데이터들의 집합체이다. 경우에 따라 상기 컴퓨터 시스템은 뇌동맥류의 파열 유무 및 미파열 뇌동맥류의 파열 위험도를 예측하기 위한 전용의 뇌질환 진단장치일 수도 있다.

도 1을 참조하면, 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템(200)은 인터페이스부(I/F부, 100)를 통해 3D(3차원) 혈관 조영술 촬영장치로부터 3차원 뇌혈관 조영술 영상 이미지를 입력받아 뇌동맥류의 파열 혹은(및) 파열 위험도를 예측하여 유저 I/F부(300)를 통해 출력 표시한다.

이를 위해 뇌동맥류 파열 예측 시스템(200)은 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 상기 병변 영역을 중심으로 하는 바운딩(bounding) 박스의 크기를 가변시키면서 각 가변된 바운딩 박스를 크롭핑(cropping) 및 플리핑(flipping)하는 방식으로 학습 데이터를 증강시키는 학습 데이터 증강부(210)와,

상기 증강된 학습 데이터를 학습하는 심층 신경망 학습모델(222)을 포함하며, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델(222)에 기초해 특정 크기, 예를 들면 7mm 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부(220)를 포함한다.

구현 방식에 따라서는 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지를 학습한 심층 신경망 학습모델(222)과, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델(222)에 기초해 특정 크기(7mm) 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부(220)만으로 뇌동맥류 파열 예측 시스템(200)을 구현할 수도 있을 것이다.

참고적으로 상기 심층 신경망 학습모델(222)은 일반적인 심층 신경망 학습모델에서와 같이 입력층과 완전 연결층 사이에 컨벌루션층(convolution layer)층과 풀링층(pooling layer)이 반복되는 네트워크 구조가 아니라, 노이즈 완화를 위해 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵(feature map)들을 하나로 합쳐 완전 연결층으로 전달하는 합산층(add layer)을 포함함을 특징으로 한다.

더 나아가 상기 뇌동맥류 파열 위험도 예측부(220)는 3차원 뇌혈관 조영술 영상 이미지에서 심층 신경망 학습모델(222)에 기초해 특정 크기(7mm) 이하의 병변을 자동 탐지하고, 자동 탐지된 병변에 최적화된 바운딩 박스의 사이즈를 결정하여 크로핑한 후, 크롭된 부분의 뇌동맥류 파열 위험도를 예측함을 특징으로 한다.

도 1에서 미설명한 유저 I/F부(300)는 전문의와 같은 유저가 시스템을 제어하기 위해 필요한 데이터 입력 혹은 조작장치와 표시부를 포함하며, 저장부(400)는 뇌동맥류의 파열 및 파열 위험도를 예측하기 위해 필요한 제어 프로그램 데이터는 물론, 병변이 마킹된 학습 데이터, 진단하고자 하는 3차원 뇌혈관 조영술 영상 이미지가 저장되는 DB를 포함한다. 선택적으로 구비 가능한 통신부(500)는 원격지에 위치한 진단의뢰장치와 3차원 뇌혈관 조영술 영상 이미지를 상호 송수신한다.

이하 상술한 심층 신경망 학습모델(222), 뇌동맥류 파열 위험도 예측부(220)의 기술적 특징 및 학습 데이터 증강방법을 보다 구체적으로 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 학습 데이터 증강을 부연 설명하기 위한 도면을 도시한 것이다.

우선 의료 영상분야에서는 심층 신경망을 이용해 병변을 자동 검출 혹은 탐지하기 위해 필요한 정답 데이터의 획득 비용이 많이 들어 다량의 학습 데이터셋을 구축하기가 쉽지 않다.

이러한 문제를 해결하기 위해 심층 신경망을 학습시키는데 필요한 학습 데이터를 확보하기 위한 방식으로 크롭핑 및 플리핑과 같은 학습 데이터 증강(augmentation) 방식이 도입되었다. 그러나 정해진 크기로 이미지를 크롭핑하여 학습 데이터를 증강시키는 일반적인 방식은 의료 영상분야, 특히 7mm 이하의 크기를 갖는 뇌동맥류의 병변을 탐지하는데 유용하지 않기 때문에, 본 발명에서는 전문의에 의해 마킹된 병변 중심의 주변 영역을 정확하게 탐색하기 위해서 최적화된 크롭핑을 이용한다.

즉, 본 발명의 실시예에 따른 학습 데이터 증강부(210)는 도 2에 도시한 바와 같이 전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 마킹된 병변 영역(A)을 중심으로 하는 바운딩 박스의 크기를 다단계로 랜덤하게 가변시키면서 각각 가변된 바운딩 박스(B)를 크롭핑 및 플리핑하는 방식으로 학습 데이터를 증강시킨다.

이와 같이 고정된 크기로 크롭핑하지 않고 다양한 크기로 크롭핑을 수행하게 되면 다양한 크기와 비율을 가진 병변들을 수용할 수 있기 때문에 그 만큼 양질의 학습 데이터(소량의 노이즈에 대한 학습 효과 배가)를 확보할 수 있음은 물론, 결과적으로 심층 신경망의 성능을 향상(노이즈 적응성을 높임)시킬 수 있는 효과를 얻을 수 있다.

더 나아가 상기 학습 데이터 증강부(210)는 크롭핑 외에 좌,우,상,하 플리핑을 통해 학습 데이터를 더 증강시킬 수도 있다. 또한 학습 데이터 증강부(210)는 전체 학습 데이터셋에 대한 학습 분포도 증가를 위해 K-fold cross-validation을 학습에 적용시킬 수도 있다. K-fold cross-validation은 학습 데이터를 균등하게 K개의 그룹으로 나누고 (K-1) 개의 Training folds와 1개의 Test fold로 지정하여 k회 검증을 하는 방식이다.

이하 증강된 학습 데이터를 학습하는 심층 신경망 학습모델(222)의 네트워크 구조를 도 3을 참조하여 부연 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 심층 신경망 학습 모델(222)의 네트워크 구조를 예시한 것으로, 상기 심층 신경망 학습모델(222)은 일반적인 심층 신경망 학습모델에서와 같이 입력층(240)과 완전 연결층(FCN)(256) 사이에 컨벌루션층(convolution layer)층과 풀링층(pooling layer)이 반복되는 네트워크 구조가 아니라, 노이즈 완화를 위해 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층(250)과 일군의 디컨벌루션층(248)을 포함하고, 상기 일군의 컨벌루션층(250)과 디컨벌루션층(248)을 각각 통과한 특성맵(feature map)들을 하나로 합쳐 완전 연결층(256)으로 전달하는 합산층(add layer)(254)을 포함함을 특징으로 한다.

이를 도 3을 참조해 설명하면, 우선 입력층(240)으로 224 x 224 x 3의 크기를 가지는 3차원 뇌혈관 조영술 영상 이미지가 입력되었다고 가정하면 첫 번째(#1) 컨벌루션층(242)에서는 입력된 3차원 뇌혈관 조영술 영상 이미지를 64개의 11 x 11 x 3 사이즈 커널로 컨벌루션 한다. 다양한 시험결과를 통해 컨벌루션 스트라이드(stride) 값에 대한 최적값을 적용하였고 제로-패딩을 사용하지 않았다. 해당 필터의 가중치 w는 L2 Norm 이 적용된다. 활성화 함수를 적용함에 있어서는 ReLU활성화 함수를 사용하고, 스트라이드 2 값으로 3 x 3 오버래핑 맥스 풀링(overlapping max pooling)(244)을 수행한다.

두번째(#2) 컨벌루션층(246)에서는 첫번째 컨벌루션층(242)에서 나온 26 x 26 x 64 특성맵을 5x 5 x 6 사이즈 커널로 컨벌루션한다. 이때의 스트라이드는 1, 제로-패딩을 수행하여 26 x 26 x 192 개의 특성맵(26 x 26 이미지 192장)을 획득한다. 활성화 함수는 역시 ReLU를 적용하고 전과 동일하게 스트라이드 2 값으로 3 x 3 오버래핑 맥스 풀링(247)을 수행한다. 그 결과 12 x 12 x 256 특성맵을 획득한다.

세번째 컨벌루션층 위치에서는 컨벌루션 연산과 디컨버루션 연산이 병렬 처리될 수 있도록 하되, 컨벌루션 연산 경로에서 수행되는 컨벌루션 연산의 수(일군의 컨벌루션층(248)이라 명함)와 디컨벌루션 연산 경로에서 수행되는 디컨벌루션 연산의 수(일군의 디컨벌루션층(250)이라 명함)가 동일하게 한다.

즉, 앞단에서 획득된 12 x 12 x 256 특성맵을 기준으로 3 x 3 x 192 커널을 사용하여 컨벌루션을 n회(n은 자연수) 반복 하고 같은 커널 크기로 디컨벌루션을 n회 반복 수행한다. 이와 같이 디컨벌루션(248)을 함으로써 앞서 2단계에 걸쳐 수행된 컨벌루션 결과물에 대한 업샘플링 처리를 함으로써 이에 따른 노이즈 완화 효과를 얻을 수 있다.

한편 12 x 12 x 256 특성맵을 n회(바람직하게는 3회)에 걸쳐 컨벌루션 및 디컨벌루션을 수행함에 있어 각 단계별 커널 크기 및 스트라이드, 제로-패딩 여부를 조금씩 달리 하되 최종 결과물이 같은 크기가 나올수 있게 수행한다. 이렇게 나온 결과물은 최종적으로 5 x 5 x 256의 특성맵 형태를 갖게 되고 컨벌루션 연산을 통과한 특성맵과 디컨벌루션 연산을 통과한 특성맵을 애드층(Add Layer)(254)에서 합친다.

이후 완전 연결층(256)에서는 5 x 5 x 256 크기의 특성맵을 4096개의 5 x 5 x 256 커널을 사용하여 컨벌루션 연산을 수행한다. 이에 1 x 1 x 4096의 특성맵(1 x 1 사이즈 특성맵 4096장)을 얻게 되고, 4096개의 성분(뉴런)으로 구성된 벡터가 만들어지며 이를 Dropout 적용시킨다. 이와 같은 연산을 두번 반복 수행한다. 즉, 1 x 1 x 4096의 특성맵을 2개의 1 x 1 커널로 컨벌루션 수행함으로써, 최종적으로 분류하고자 하는 파열 및 미파열의 위험도를 예측(구분)할 수 있는 모양의 아웃풋이 만들어지며, 상술한 바와 같은 네트워크 구조를 가지는 심층 신경망 학습모델(222)에 증강된 학습 데이터를 학습시키게 되면 각 레이어별 커널 값들에 대한 최적의 해를 구할 수 있다.

이하 상술한 학습 데이터 증강부(210)와 심층 신경망 학습모델(222)에 기반하여 뇌동맥류의 파열 및(혹은) 파열 위험도를 예측하는 뇌동맥류 파열 예측 시스템의 동작을 설명하기로 한다.

하기 설명에 앞서 뇌동맥류의 파열 혹은 파열 위험도를 예측함에 있어서 정확한 예측 결과를 얻기 위해 진단 이미지의 크기를 변경하거나 형상의 왜곡을 최소화하는 전처리 작업을 사전에 수행하는 것은 이미 당업계에서 널리 알려진 사실이므로 이에 대한 상세 설명은 생략하기로 한다.

도 4 및 도 5는 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템의 동작을 부연 설명하기 위한 뇌동맥류 파열 예측 흐름도를 예시한 것으로, 도 4는 심층 신경망 학습모델(222)을 학습시키는 학습단계와 관련된 것이며, 도 5는 심층 신경망 학습모델(222)에 기반하여 특정 크기 이하의 뇌동맥류 파열 및 파열 위험도를 예측하는 자동 진단단계와 관련된 것이다.

도 4를 참조하면, 우선 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템(200)은 학습을 위해 3차원 뇌혈관 조영술 영상을 I/F부(100)를 통해 외부 장치 혹은 통신부(500)를 통해 입력(S100단계)받는다. 상기 3차원 뇌혈관 조영술 영상 이미지는 환자당 5-7개 방향에서 촬영된 영상 이미지이다.

입력된 3차원 뇌혈관 조영술 영상 이미지는 표시부에 표시되고, 전문의는 특정 크기 이하의 병변 영역을 마킹하고 파열 위험도 정보를 마킹 혹은 입력(S110단계)한다. 이와 같이 병변 영역과 파열 위험도 정보가 마킹된 다수의 이미지들은 전문의 혹은 유저 명령에 따라 학습 데이터 증강부(210)로 전달되어 학습 데이터 증강(S120단계) 처리된다. 학습 데이터 증강은 앞서 설명한 크롭핑 방식과 클리핑 방식에 따라 증강 처리되어 저장부(400)에 저장되거나 심층 신경망 학습모델(222)로전달된다.

이에 도 3에 도시한 바와 같은 네트워크 구조를 가지는 심층 신경망 학습모델(222)은 증강된 학습 데이터, 즉 3차원 뇌혈관 조영술 영상 이미지에서 다단계 사이즈로 크롭된 바운딩 박스내에서 특정 크기(7mm) 이하의 병변을 가지는 특징들을 학습(S130단계)하고, 테스트 및 검증 단계를 거쳐 특정 크기 이하의 뇌동맥류 병변에 대한 파열 혹은 파열 위험도를 예측하기 위한 모델의 학습을 종료한다.

이와 같이 3차원 뇌혈관 조영술 영상 이미지에서 특정 크기(7mm) 이하의 뇌동맥류에 대한 파열 및 파열 위험도를 예측하기 위한 심층 신경망 학습모델(222)의 학습이 이루어지면 이러한 학습모델(222)에 기반하여 뇌동맥류에 대한 진단을 수행할 수 있다.

도 5를 참조하면, 우선 뇌동맥류 파열 예측 시스템(200)의 뇌동맥류 파열 위험도 예측부(220)는 환자당 6개 방향의 3차원 뇌혈관 조영술 영상 이미지를 입력 받으면(S200단계), 심층 신경망 학습모델(222)에 기초하여 상기 3차원 뇌혈관 조영술 영상 이미지에서 특정 크기(7mm) 이하의 병변을 자동 탐지한다(S210단계)한다.

이어 뇌동맥류 파열 위험도 예측부(220)는 탐지된 병변에 최적화(병변 영역을 포함하며 주위 해부학적 구조물과 구분이 되도록)된 바운딩 박스의 사이즈를 결정하여 크롭핑(S220단계)하고, 크롭된 부분의 뇌동맥류의 파열 및(혹은) 파열 위험도를 예측하여 표시부에 표시(S230단계)한다.

구체적으로 뇌동맥류 파열 위험도 예측부(220)는 6개의 3차원 뇌혈관 조영술 영상 이미지(여섯 방향) 중 50% 이상의 이미지에서 출혈이라고 판단되면 뇌동맥류의 파열이라 예측 진단하고 그 이외에는 미파열로 예측 진단한다.

또한 뇌동맥류 파열 위험도 예측부(220)는 탐지된 병변에 대해 도 6의 (a)와 같이 다엽성(화살표 표시부분)이거나, 도 6의 (b)와 같이 외부 벽의 모양이 불규칙(화살표 표시부분)하거나, 도 6의 (c)와 같이 동맥류내의 변형(daughtersac)(화살표 표시부분)을 포함하는 경우 미파열 뇌동맥류에서 이들 각각을 고위험군으로 예측 진단한다. 예측 진단된 결과는 표시부에 표시되거나 저장부(400)에 뇌혈관 조영술 영상 이미지와 함께 저장된다.

이상에서 설명한 바와 같이 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템(200)은 심층 신경망 학습모델(222)을 학습시키기 위한 학습 데이터를 증강시킴에 있어서, 고정된 크기로 크롭핑하지 않고 다양한 크기로 크롭핑을 수행함으로써 다양한 크기와 비율을 가진 병변들에 대한 학습효과를 얻을 수 있어 노이즈 적응성을 높일 수 있는 효과를 얻을 수 있다.

또한 본 발명의 실시예에 따른 뇌동맥류 파열 예측 시스템(200)의 심층 신경망 학습모델(222)은 반복되는 하나의 컨벌루션층의 위치에서 컨벌루션 연산과 함께 디컨벌루션 연산이 병렬 처리되도록 하여 학습 혹은 진단할 영상 이미지에 대한 노이즈를 완화시켜 학습의 질과 뇌동맥류의 파열 위험도 예측 성능을 높일 수 있는 효과를 얻을 수 있으며, 무엇보다 7mm 이하의 전순환계 뇌동맥류에 대한 파열은 물론 파열 위험도가 높은 뇌동맥류를 예측하여 표시할 수 있는 장점이 있다.

위 실시예의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는 도 1에서 부연 설명한 바와 같이 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 사람이라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지에서 상기 병변 영역을 중심으로 하는 바운딩 박스의 크기를 가변시키면서 각 가변된 바운딩 박스를 크롭핑 및 플리핑하는 방식으로 학습 데이터를 증강시키는 학습 데이터 증강부와;
상기 증강된 학습 데이터를 학습하는 심층 신경망 학습모델을 포함하며, 입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
청구항 1에 있어서, 상기 심층 신경망 학습모델은,
노이즈 완화를 위해 풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 컨벌루션 연산과 디컨버루션 연산을 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 하나로 합쳐 완전 연결층으로 전달하는 합산층을 포함함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
청구항 1 또는 청구항 2에 있어서, 상기 특정 크기 이하의 병변은 전순환계에 위치하는 7mm 이하의 병변임을 특징으로 하는 뇌동맥류 파열 예측 시스템.
청구항 1 또는 청구항 2에 있어서, 상기 뇌동맥류 파열 위험도 예측부는,
입력되는 3차원 뇌혈관 조영술 영상 이미지 중 50% 이상의 이미지에서 출혈이라고 판단되는 경우 뇌동맥류의 파열이라 예측하고,
미파열 뇌동맥류 중에서 탐지된 병변에 대해 외부 벽의 모양이 불규칙하거나 다엽성이거나 동맥류내의 변형을 포함하는 경우 고위험군 미파열 동맥류로 예측함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
전문의에 의해 병변 영역 및 파열 위험도 정보가 마킹된 3차원 뇌혈관 조영술 영상 이미지를 학습하는 심층 신경망 학습모델과;
입력되는 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 특정 크기 이하의 병변을 자동 탐지해 뇌동맥류의 파열 위험도를 예측하여 출력하는 뇌동맥류 파열 위험도 예측부;를 포함하되, 상기 심층 신경망 학습모델은,
풀링층과 반복되는 컨벌루션층 중 어느 하나의 컨벌루션층에서 노이즈 완화를 위해, 컨벌루션 연산과 디컨버루션 연산을 각각 병렬 처리하는 일군의 컨벌루션층과 일군의 디컨벌루션층을 포함하고, 상기 일군의 컨벌루션층과 디컨벌루션층을 각각 통과한 특성맵들을 하나로 합쳐 완전 연결층으로 전달하는 합산층을 포함함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
청구항 2 또는 청구항 5에 있어서, 상기 일군의 컨벌루션층과 디컨벌루션층 각각은 동수의 컨벌루션층과 디컨벌루션층이 연속되는 구조이며, 동일 층을 형성하는 컨벌루션층과 디컨벌루션층은 같은 커널 크기로 컨벌루션 연산과 디컨벌루션 연산을 수행함을 특징으로 하는 뇌동맥류 파열 예측 시스템.
청구항 1 또는 청구항 5에 있어서, 상기 뇌동맥류 파열 위험도 예측부는,
상기 3차원 뇌혈관 조영술 영상 이미지에서 상기 심층 신경망 학습모델에 기초해 특정 크기 이하의 병변을 자동 탐지하고, 자동 탐지된 병변에 최적화된 바운딩 박스의 사이즈를 결정하여 크로핑한 후, 크롭된 부분의 뇌동맥류 파열 위험도를 예측함을 특징으로 하는 뇌동맥류 파열 예측 시스템.