KR102282334B1 - 시신경 유두 분류 방법 - Google Patents

Abstract

본 발명의 일 실시예에 의한 시신경 유두 분류 방법은, (a) 로컬 시스템이 훈련용 안저 이미지를 획득하는 단계; (b) 상기 로컬 시스템이 획득된 훈련용 안저 이미지를 전처리하는 단계; (c) 상기 로컬 시스템이 시신경 유두(OD: Optic Disc)를 분할하는 단계; (d) 상기 로컬 시스템이 분할된 시신경 유두 이미지에서 특징들을 추출하는 단계; (e) 상기 로컬 시스템이 추출된 시신경 유두 특징들을 클라우드 서버로 전송하는 단계; (f) 클라우드 서버에서 수신된 시신경 유두 특징들을 사용하여 분류기 모델을 훈련시키는 단계; (g) 모바일 장치가 테스트 안저 이미지를 획득하는 단계; (h) 상기 모바일 장치가 획득된 테스트 안저 이미지를 전처리하는 단계; (i) 상기 모바일 장치가 시신경 유두(OD)를 분할하는 단계; (j) 상기 모바일 장치가 분할된 시신경 유두 이미지에서 특징들을 추출하는 단계; (k) 상기 모바일 장치가 추출된 시신경 유두 특징들을 클라우드 서버로 전송하는 단계; (l) 상기 클라우드 서버가 수신된 시신경 유두 특징들을 분류기 모델의 입력으로 사용하여 시신경 유두를 분류하는 단계; 및 (m) 상기 클라우드 서버가 분류 결과를 상기 모바일 장치로 전송하는 단계를 포함한다.

Description

시신경 유두 분류 방법{METHOD FOR OPTIC DISC CLASSIFICATION}

본 발명은 시신경 유두 분류 방법에 관한 것이다.

중앙 집중형 온라인 서비스는 환자에게 진단 서비스를 제공하는 스마트 도시의 핵심이다. 모바일 클라우드 아키텍처는 일반적으로 연구자가 관련 정보를 공유하고 진단하는 데 사용된다. 모바일 컴퓨팅은 스마트 폰에서 클라우드로 다양한 활동을 수행하여 시스템 성능면에서 계산상의 복잡성을 줄이기 위한 연구에 사용된다. 이것은 특히 외진 지역 환자를 위한 신흥 연구 분야이다. 클라우드 컴퓨팅은 비용 절감, 확장성, 핵심 역량에 집중, 서비스 탄력성, 온라인 협업 촉진 및 재사용 가능성 등과 같은 다양한 이점을 제공한다.

모바일 클라우드는 스마트 도시에서 안과 의사(안과 전문의)가 환자를 원격으로 효과적으로 모니터링할 수 있도록 도와주는 중요한 역할을 한다. 이 최신 기술 시대의 최근 요구 사항은 의사와 안과 전문의가 당뇨병성 망막증을 원격지에서 스마트 시티의 의료 시설에 24시간이나 어느 장소에서나 액세스할 수 있는 권한을 부여함으로써 원격으로 진단할 수 있게 하는 것이다.

당뇨병은 작은 혈관, 즉 다양한 기관의 모세 혈관, 특히 망막, 신장 및 신경 조직을 교란시킨다. 망막의 모세 혈관에 영향을 미치는 당뇨병은 당뇨병성 망막증으로 알려져 있다. 모세 혈관 손상은 혈액 누출과 불규칙한 혈관 생성을 유발할 수 있으며 시력 상실의 원인이 되어 실명을 유발할 수 있다.

도 1에 도시된 바와 같은 안저 사진은 주로 녹내장 및 당뇨병성 망막증과 같은 중요한 망막 질환의 사전 검출에 사용된다. 시신경 유두(OD: Optic Disc)는 망막 주변과 망막 주변에서 파생된 망막 이미지와 혈관의 주요 가시 영역이다. 황반(Macula)의 안쪽 부분은 중심부의 예리한 시야를 담당하는 중심와(fovea)이다. 비정상적인 안저 이미지는 시신경의 면적보다 큰 넓은 영역(삼출물)으로 이루어질 수 있다.

OD 국부화는 중심와, 황반부 및 혈관 변화와 같은 다른 해부학적 망막 구조를 감지하는 데 유용하다. OD 컵 대 OD 원판 비율은 녹내장의 조기 발생을 향한 기본 단계이다. 이 질병을 조기 발견하기 위한 자동화된 컴퓨터 보조 검사 프로그램은 인구가 많은 국가에서 녹내장을 검사하는 데 필수적이며 주요 단계이다.

문헌에서 많은 연구자들이 각각의 응용 분야에서 OD 분할 및 분류 작업을 수행해 왔다. 일반적으로 에지 기반의 기법이 OD 분할과 분류에 사용되었다. 이 접근법에서 적색 밴드는 RGB 색상 공간에서 추출되며, 닫는 연산자는 혈관을 채우는데 적용된 후 거대한 선택 제거를 위해 열린다. 소벨 에지(Sobel edge) 연산자는 OD 국부화에 사용된다. 유사하게, 히스토그램 매칭 기반 기법은 OD의 중심 위치 파악에 사용되었다. 이 기법은 DRIVE 데이터 세트의 이미지에서 각 색상 공간의 모델로서 히스토그램을 사용했다. 형태 기반 기법은 전경 및 배경의 분할이 다양한 형태학적 연산이 뒤따르는 임계 기법을 사용하여 수행되는 OD 국부화에도 사용된다. OD 국부화는 둥근 외곽선을 갖는 주요 결합 섹션을 사용하여 수행된다. 그러나 이러한 기술의 계산 복잡성은 시간과 공간면에서 높다.

허프(Hough) 변환 기법은 이미지 처리에서 원형 모양 검출에도 사용된다. 그러나 허프 변환 기법은 해상도를 수용하기 때문에 최상의 결과를 제공하지 못한다. 엔트로피 필터링 기술은 OD 국부화에 사용된다. 평활화, 분할 및 수학적 형태학 기법과 같은 다양한 사전 처리 단계를 적용한 후. 평활 영역의 엔트로피는 비 평탄 영역과 비교하여 낮다. 주성분 분석(PCA)은 또한 OD 국부화에 사용된다. 이러한 접근법에서 PCA의 다양한 배율 인수를 입력 영역과 투영 이미지 사이의 최소 거리를 찾기 위해 영역에 적용한다. OD의 중심은 모든 비율 조정 요소 중에서 후보 섹션의 최소 거리를 갖는 포인트에 배치된다. PCA 기반 기술은 높은 시간 복잡성의 한계를 가지고 있음을 주목해야 한다

혈관 방향 매칭 필터는 해당 영역의 혈관의 방향을 일치시킴으로써 OD 분할에 사용된다. 마찬가지로 2D 가우시안(Gaussian) 필터를 사용하여 혈관을 분할하는 것은 안저 이미지에서 OD를 탐지하는 데에도 사용된다. 매칭 필터 사이의 분산은 네 가지 다양한 크기로 다시 조정되었다. OD의 중심은 혈관의 각 후보 영역의 인접 영역이다. OD 국부화는 혈관 지향성 패턴에 의해 수행된다. 따라서 혈관 방향을 기준으로 OD 센터가 국한되었다. 마코프 랜덤 필드(MRF: Markov random field)와 보상 인자 방법은 OD 분할을 위해 사용된다. 첫 번째 망막 혈관은 그래프 절단 기법을 사용하여 추출되고 뒤이어 혈관 정보는 OD 위치를 추정하는 데 사용된다.

현대 건강 관리 시스템 분야의 발전은 계산 복잡성(시간 및 공간) 측면에서 저렴한 비용으로 높은 분류 정확도를 달성하기 위해 모바일 클라우드를 사용하여 OD를 실시간으로 탐지하고 분류해야 한다. 실시간 OD 탐지 및 분류에 대한 요구 사항을 충족하는 시스템은 에너지 소비, 대역폭, 가용성, 서비스 안정성 및 규제와 같은 모바일 클라우드 기반 시스템과 관련된 문제점 및 위험을 해결해야 한다.

JP 5348982 B2

본 발명이 해결하고자 하는 과제는 환자들이 원격으로 건강 서비스에 쉽게 접근할 수 있게 할 뿐만 아니라 안과 전문의가 당뇨병성 망막증을 원격으로 진단하는 것을 용이하게 하며 안저 이미지에서 시신경 유두의 분류 정확도와 시신경 유두의 재구성 속도를 향상시킬 수 있는 시신경 유두 분류 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 의한 시신경 유두 분류 방법은,

(a) 로컬 시스템이 훈련용 안저 이미지를 획득하는 단계;

(b) 상기 로컬 시스템이 획득된 훈련용 안저 이미지를 전처리하는 단계;

(c) 상기 로컬 시스템이 시신경 유두(OD: Optic Disc)를 분할하는 단계;

(d) 상기 로컬 시스템이 분할된 시신경 유두 이미지에서 특징들을 추출하는 단계;

(e) 상기 로컬 시스템이 추출된 시신경 유두 특징들을 클라우드 서버로 전송하는 단계;

(f) 클라우드 서버에서 수신된 시신경 유두 특징들을 사용하여 분류기 모델을 훈련시키는 단계;

(g) 모바일 장치가 테스트 안저 이미지를 획득하는 단계;

(h) 상기 모바일 장치가 획득된 테스트 안저 이미지를 전처리하는 단계;

(i) 상기 모바일 장치가 시신경 유두(OD)를 분할하는 단계;

(j) 상기 모바일 장치가 분할된 시신경 유두 이미지에서 특징들을 추출하는 단계;

(k) 상기 모바일 장치가 추출된 시신경 유두 특징들을 클라우드 서버로 전송하는 단계;

(l) 상기 클라우드 서버가 수신된 시신경 유두 특징들을 분류기 모델의 입력으로 사용하여 시신경 유두를 분류하는 단계; 및

(m) 상기 클라우드 서버가 분류 결과를 상기 모바일 장치로 전송하는 단계를 포함한다.

본 발명의 일 실시예에 의한 시신경 유두 분류 방법에 있어서, 상기 단계 (b) 및 단계 (h)의 전처리 단계는,

(b-1) 입력 이미지를 RGB 색공간에서 HSI 색공간의 이미지로 변환하는 단계;

(b-2) 변환된 이미지의 명도 성분을 중간값 필터를 이용하여 평활화하는 단계;

(b-3) 콘트라스트 제한 적응적 히스토그램 등화를 이용하여 평활화된 이미지의 콘트라스트를 향상시키는 단계;

(b-4) 콘트라스트가 향상된 이미지를 HSI 색공간에서 RGB 색공간의 이미지로 변환하는 단계; 및

(b-5) 상기 RGB 이미지에서 녹색 채널 이미지를 추출하는 단계를 포함할 수 있다.

또한, 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에 있어서, 상기 특징들은, 시신경 유두의 형상 특징을 포함하고,

상기 시신경 유두의 형상 특징은 시신경 유두의 면적, 둘레, 원형 및 중심을 포함할 수 있다.

본 발명의 일 실시예에 의한 시신경 유두 분류 방법에 의하면, 안과 의사(안과 전문의)가 다양한 안구 질환을 진단하는 데 도움을 줄 수 있다.

또한, 일반 시민들이 안구 질환과 관련된 양질의 의료 서비스를 24 시간 내내 효율적으로 기능적으로 단순화할 수 있도록 돕고, 이를 통해 의료 전문가는 대상 지역의 이상(abnormality)에 관한 시간 결정을 내림으로써 환자의 육체적 이용가능성없이 환자를 모니터링할 수 있다.

또한, 클라우드 기반 컴퓨팅을 사용하여 시간 복잡성 감소에 대한 계산 이득을 달성할 수 있다. OD 분류를 위한 분류기는 클라우드에서 학습되며, 이미지 전체를 업로드하는 대신 이미지에서 추출된 특징들을 오프로딩함으로써 인터넷 대역폭 요구 사항을 최소화할 수 있다.

또한, 시신경 유두 분류 정확도를 달성하기 위해 업 스케일된 전역 분할 기법이 프레임워크에 병합되어 최근에 발표된 최첨단 기법과 비교하여 향상된 분할 결과를 제공할 수 있다.

도 1은 망막의 안저 이미지 및 그것의 핵심적인 해부학적 특징을 도시한 도면.
도 2는 클라우드 서버에서의 분류기 훈련을 도시한 도면.
도 3은 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 개념도를 도시한 도면.
도 4는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 흐름도를 도시한 도면.
도 5는 전처리 단계의 상세 흐름도를 도시한 도면.
도 6은 시신경 유두 분할 단계의 상세 흐름도를 도시한 도면.
도 7(a)는 입력 이미지, 도 7(b)는 전처리된 출력 이미지를 도시한 도면.
도 8(a)는 전처리된 시신경 유두 이미지, 도 8(b)는 분할된 시신경 유두를 도시한 도면.
도 9(a)는 분할된 안저 이미지, 도 9(b)는 형태학적 연산을 적용한 안저 이미지를 도시한 도면.
도 10은 형태학적 연산을 사용하여 삭제된 시신경 유두 영역을 도시한 도면.
도 11(a) 내지 도 11(l)은 Al-Shifa 및 DRIVE 데이터 세트에 대한 시신경 유두 경계 검출을 도시한 도면.
도 12(a) 내지 도 12(l)은 DIARETDB0 및 DIARETDB1 데이터 세트에 대한 시신경 유두 경계 검출을 도시한 도면.
도 13은 DIARETDB0 및 DIARETDB1 데이터 세트에 대한 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 시신경 유두 분류와 안과 의사에 의한 시신경 유두 분류를 비교한 도면으로서, 도 13(a)는 안과 의사에 의한 시신경 유두 분류 결과, 도 13(b)는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에 의한 시신경 유두 분류 결과, 그리고 도 13(c)는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 정확도를 도시한 도면.
도 14는 DIARETDB0 및 DIARETDB1 데이터 세트에 대한 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 시신경 유두 분류 정확도와 다른 기법들의 정확도를 비교한 도면.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다.

이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.

본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.

또한, "제1", "제2", "일면", "타면" 등의 용어는, 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.

이하, 본 발명을 설명함에 있어, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.

건강 관리 서비스는 현 시대의 미래 현실인 스마트 도시에서 중요한 역할을 한다. 시신경 유두(OD: Optic Disc) 영역의 자동 인식은 자동화된 망막 이미지 분석의 필수 단계이다. 일반적으로 당뇨병성 망막증의 주요 상징인 삼출물을 검출하기 위해서는 OD는 제외되어야 한다. 컬러 안저 이미지에서 OD를 분류하는 모바일 클라우드 지원 분류는 분류 정확도와 OD의 재구성 속도를 향상시킬 수 있다.

본 발명의 일 실시예에 의한 시신경 유두 분류 방법에서는 클라우드에서 잘 훈련된 분류 절차를 사용하여 안저 이미지에서 OD를 탐지하고 분류하기 위한 스마트 폰 기반의 클라우드 기반 클라우드 지원 리소스 인식 프레임 워크를 제안한다.

본 발명의 일 실시예에 의한 시신경 유두 분류 방법은 OD 및 비 OD(non OD) 클래스에 대해 클라우드에서 나이브 베이즈(Naive Bayes) 분류기에 의해 훈련된 형상 기반 특징을 포함한다. 실험은 서로 다른 대비, 조도 및 이상(abnormality)으로 현지 병원에서 개발된 3개의 온라인으로 이용가능한 데이터 세트와 실제 데이터 세트에 대해 수행된다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법은 OD의 분류에서 98.25%의 정확도를 달성한다.

모바일 클라우드 컴퓨팅은 계산 프로세스를 서비스로 사용하는 중요한 소스이다. 그것은 안전하고 쉬운 방법으로 데이터 분석을 검색, 저장 및 수행하기 위한 글로벌 액세스를 용이하게 한다. 모바일 클라우드 기반 OD 분할 및 분류는 혁신적인 기술이며 시스템 전문가와 안과 의사는 시스템을 통해 로컬 및 원격으로 작업을 쉽게 수행할 수 있다. 이것은 장치나 클라우드에서 로컬로 수행될 수 있다.

본 발명의 일 실시예에 의한 시신경 유두 분류 방법은 이미지 처리, 배포 및 분석을 위해 안저 망막 이미지 데이터 세트에 액세스한다. 처음에는 안저 이미지가 OD로 분할된 후 특징 추출을 로컬로 수행하여 추가 OD 분류에 사용되는 클라우드에서 추가 분류기 훈련을 실시한다. 특징들이 로컬에서 추출되면 그것은 추가 분석을 위해 클라우드 서버로 오프로드(전송)된다. 훈련된 분류기는 클라우드에 존재하여 전문가가 모바일 장치의 안저 이미지에서 OD를 분류하는 분류기를 얻을 수 있다. 처리된 이미지와 훈련된 모델은 향후 작업을 위해 클라우드의 서버에 저장될 수 있다. 도 2는 클라우드 기반 분류기의 훈련 메커니즘을 도시한 것으로, 참조번호 200은 안과 전문의의 모바일 장치, 참조번호 202는 클라우드 서버, 그리고 참조번호 204는 훈련 데이터 세트를 획득하여 클라우드 서버(202)로 전송하는 로컬 시스템이다. 그것은 많은 데이터 세트를 처리하기 위해 분류기의 훈련 시간을 압축하는데 광범위하게 사용된다.

모바일 클라우드 지원 OD 분석

이미지 획득 및 전처리, OD 분할 및 형태학적 연산과 같은 상이한 단계들을 통해 처리된 컬러 안저 망막 이미지에서 OD 분할 및 분류를 위한 본 발명의 일 실시예에 의한 시신경 유두 분류 방법은 분할된 OD 이미지로부터 특징들을 추출하고 두 클래스, 즉 OD 클래스와 비 OD(Non OD) 클래스 분류를 위해 이들 특징들을 통해 클라우드에서 분류기 모델을 훈련시킨다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 개념도가 도 3에 나와 있다.

도 3에 도시된 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 개념도는, 안저 이미지를 획득하는 단계(단계 S300), 안저 이미지를 전처리하는 단계(단계 S302), 시신경 유두(OD)를 분할하는 단계(단계 S304), 분할된 시신경 유두에서 특징을 추출하는 단계(단계 S306), 추출된 특징을 클라우드 서버로 전송하는 단계(단계 S308),및 클라우드 서버가 훈련 데이터 세트를 사용하여 나이브 베이즈 분류기를 학습시킨 후, 테스트 안저 이미지에서 분할된 시신경 유두를 시신경 유두(OD) 클래스 또는 비 시신경 유두(non OD) 클래스로 분류하는 단계(단계 S310)를 포함한다.

도 4는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 흐름도이다.

도 4에 도시된 본 발명의 일 실시예에 의한 시신경 유두 분류 방법을 참조하면, 단계 S400에서 로컬 시스템(도 2의 204)은 훈련용 안저 이미지를 획득하고, 단계 S402에서 획득된 훈련용 안저 이미지를 전처리하며, 단계 S404에서 시신경 유두(OD: Optic Disc)를 분할하고, 단계 S406에서 분할된 시신경 유두 이미지에서 특징들을 추출하며, 단계 S408에서 추출된 시신경 유두 특징들을 클라우드 서버(도 2의 202)로 전송한다.

단계 S410에서 클라우드 서버(도 2의 202)는 수신된 시신경 유두 특징들을 사용하여 나이브 베이즈 분류기 모델을 훈련시킨다.

한편, 단계 S412에서 안과 전문의의 모바일 장치(도 2의 200)은 테스트 안저 이미지를 획득하고, 단계 S414에서 획득된 테스트 안저 이미지를 전처리하며, 단계 S416에서 시신경 유두(OD)를 분할하고, 단계 S418에서 분할된 시신경 유두 이미지에서 특징들을 추출하며, 단계 S420에서 추출된 시신경 유두 특징들을 클라우드 서버(도 2의 202)로 전송한다.

단계 S422에서 클라우드 서버(도 2의 202)는 수신된 시신경 유두 특징들을 나이브 베이즈 분류기 모델의 입력으로 사용하여 시신경 유두를 분류하고, 단계 S424에서 분류 결과를 모바일 장치(도 2의 200)로 전송한다.

각 단계에 대해 하기에 상세히 설명하기로 한다.

데이터 수집 및 전처리

안저 망막 이미지는 망막, 시신경 유두, 황반 및 후부 극(posterior pole)과 같은 눈의 핵심 표면을 촬영하는 특수 안저 카메라를 통해 수집된다. 이미지의 시야는 30°내지 50°사이에서 다양하다. 두 가지 유형의 안저 카메라가 사용된다. 하나는 동공 확장이라고 불리우는 눈동자의 확장을 기반으로 하고, 다른 하나는 눈동자 확장이 필요하지 않은 비-동공 확장 안저 카메라이다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에서, 획득된 모든 이미지는 비-동공 확장 안저 카메라를 사용하여 RGB 색 공간에 있다.

도 5는 단계 S402와 단계 S414의 전처리 단계의 상세 흐름도이다. 도 5를 참조하면, 단계 S500에서 획득된 망막 이미지는 다른 두 구성 요소를 방해하지 않고 세기(Intensity) 구성 요소가 별도로 처리되기 때문에 RGB 색 공간에서 색상(Hue), 채도(Saturation) 및 명도(Intensity)(HSI) 색 공간의 이미지로 변환된다. HSI 색상 모델은 색상 및 그레이 스케일 정보를 분리하고 사람의 눈의 색상 해석과 밀접하게 일치한다. 색상은 깨끗한 색을 정의하는 특성이며 채도는 흰색 빛에 의한 순수 색의 확장이며 명도는 오브젝트의 밝기에 대한 무채색 요소이다.

단계 S502에서, 명도 성분은 이미지에 존재하는 노이즈를 제거하기 위해 평활화된다. 속눈썹 또는 눈꺼풀을 이미지화할 수 있는 환자의 눈 깜박임으로 인해 이미지 수집 중에 안저 이미지의 노이즈가 발생한다, 환자의 머리 움직임은 초점이 맞지 않는 이미지, 홍채가 있는 이미지, 치명적으로 조명된 망막으로 인한 검게 변하는 이미지를 초래할 수 있다. 따라서, 이러한 요인들은 예를 들어 이미지 내의 스캐너 또는 디지털 카메라에 의해 형성된 이미지의 밝기의 무작위 변동과 같은 잡음을 발생시킨다. 상이한 노이즈 제거 필터링 기술은 평균 필터링, 중간 필터링 등과 같은 노이즈 제거에 대해 평가되었다. 평균 필터는 중간값 필터median filter)와 비교하여 블러링된 이미지를 생성하기 때문에, 하기와 같이, 제안된 방법에서 중간값 필터가 입력 이미지 G(x, y)를 평활화하기 위하여 사용된다.

여기서 w는 이미지의 위치를 중심으로 한 이웃 픽셀을 나타낸다. F(x, y)는 출력 이미지이고, G(x, y)는 입력 이미지이다.

이미지 콘트라스트 향상은 이미지의 콘트라스트를 향상시키는 프로세스이므로 결과 이미지가 시각적으로 매력적이다. 단계 S504에서, 이미지의 콘트라스트를 향상시키기 위하여, 콘트라스트 제한 적응적 히스토그램 등화(CLAHE: Contrast Limited Adaptive Histogram Equalization) 기법이 다음 수학식과 같이 적용된다.

여기서 F(x, y)는 입력 이미지이고 H(x, y)는 출력 이미지이며 T는 변환 함수이다.

이 기법에서는 전체 이미지가 균등하게 영역으로 분할되고 히스토그램 등화가 각 영역에 적용된다. 이렇게 하면 이미지의 회색 값 할당이 균등하게 분배되고 어두운 특징들이 더 잘 보인다. 그런 다음 관련된 섹션의 결과를 보간과 결합하여 전체 이미지를 재현한다. 보간은 연결된 영역의 접합부가 보이지 않도록 관련 영역을 전체 이미지로 효율적으로 결합한다.

도 7(a)는 입력 이미지, 도 7(b)는 전처리된 출력 이미지를 도시한 도면이다.

단계 S506에서 전처리 과정을 거친 후 HSI 색 공간의 이미지는 RGB 색 공간의 이미지로 다시 변환되고, 단계 S508에서 녹색 채널에서 OD가 더 잘 보이기 때문에 RGB 색 공간의 이미지에서 녹색 채널 이미지를 추출한다.

시신경 유두(OD) 분할

분할은 이미지를 개별 세그먼트로 분할하는 프로세스이다. 임계값은 각 픽셀에 대해 강도 값 t(임계 값)를 할당하여 전경 오브젝트가 배경에서 분리되는 이미지 분할의 중요한 부분이다. OD 임계 값은 추가 OD 분류를 위해 전경 오브젝트를 배경과 분리하기 위해 중요하다.

도 6은 시신경 유두 분할 단계의 상세 흐름도를 도시한 도면이다. 단계 S600에서 전처리된 이미지는 글로벌 Otsu의 임계값 기술(Otsu 1979)을 사용하여 전경 오브젝트를 배경 영역에서 분리한다. 이 기법은 가중 클래스 내 분산을 최소화하는 임계 값을 기반으로 한다. 이것은 수학식 3에 주어진 클래스 간 분산을 최대화하는 것과 동일하다. Otsu는 다음 수학식에 주어진 전경 및 배경 가중 분산 합의 차이로 구분되는 클래스 내 분산을 감소시키는 임계 값을 체계적으로 검색한다.

여기서 q₁(t)와 q₂(t)는 두 클래스의 가중 확률이고, t는 임계 값이며

과

는 이 두 클래스의 분산이다. 총 분산

는 클래스 내 분산(가중치)과 클래스 간 분산의 합계이다. 이는 클래스 평균과 전체 평균(grand mean) 사이의 가중된 제곱 거리의 합이다.

도 8(a)는 전처리된 시신경 유두 이미지, 도 8(b)는 분할된 시신경 유두를 도시한 도면이다.

단계 S602에서, 전경 오브젝트에 대해 형태학적 연산을 적용하여 시신경 유두 영역을 검출한다.

분할 프로세스 동안, 혈관이나 삼출물과 같은 원하지 않는 일부 오브젝트도 감지되며 이러한 오브젝트를 제외하기 위해 형태학적 연산이 그들의 속성에 따라 이러한 오브젝트를 분리하기 위해 수행된다. 다음 수학식에 의해 주어진 것처럼 OD 영역 이외의 제거를 위한 임계 값이 설정된다.

여기서 R(x, y)는 수학식 3에서 주어진 입력 이미지이고,

는 다른 오브젝트를 제거하기 위해 설정된 임계 값이며, J(x, y)는 출력 이미지이다. 다른 임계 값

는 원하지 않는 오브젝트를 제거하는 데 사용될 수 있다. OD에 경계 픽셀을 포함하기 위해 오브젝트를 확대하고 오브젝트의 틈을 복구할 때 형태학적 확장을 사용한다. 구조화 요소

및 입력 이미지 J(x, y)는 다음 수학식을 사용하여 확장된다:

전경 내의 배경 픽셀의 존재는 일반적으로 구멍으로 알려져 있다. OD를 완전히 감지하려면 OD 영역 내부에 이 구멍을 채워야 한다. 이를 위해 다음 수학식과 같이 OD 영역을 완전히 검출하기 위해 형태학적 연산을 사용한다.

여기서 X₀는 경계 내의 시작점이고, B는 구조 요소이며 A^c는 A의 보수이다.

도 9(a)는 분할된 안저 이미지, 도 9(b)는 형태학적 연산을 적용한 안저 이미지를 도시한 도면이다.

분할된 OD에서 특징 추출

안저 이미지에서 OD의 분류는 강력한 특징 추출을 필요로 한다. 대상은 모양, 질감 및 색상 등과 같은 다양한 매개 변수로 설명할 수 있다. 시신경 유두에서의 특징 추출은 형태학적 연산 후 OD 중심을 탐지하기 위한 후속 단계이다. OD 국부화를 위해 시신경 유두의 크기와 모양 특징이 추출된다. 이러한 특징은 OD 국부화의 기본이다.

(a) 면적: 면적은 OD 영역의 총 픽셀 수를 나타낸다. 이진 안저 이미지는 검정색 배경과 흰색 전경, 즉 OD 면적을 가지므로 흰색 픽셀(전경)의 수는 OD 면적을 나타낸다. 시신경의 면적 K(x, y)는 다음 식에 의해 계산된다.

여기서

은 영역 R의 행과 열이고

는 수학식 5에 주어진 결과 이미지이다.

(b) 둘레: 일반적으로, 둘레는 OD 영역의 경계 주위의 거리이다. 수학적으로 다음과 같이 쓸 수 있다.

여기서 B는 시신경 유두

의 경계 픽셀이다.

(c) 원형(Circularity): OD가 원형이기 때문에 원형 특징은 시신경 유두에서 중요하다. 안저 이미지의 분할은 하나 이상의 후보 영역을 검출할 수 있다. 따라서 다음 수학식을 사용하여 가장 큰 원형 모양 오브젝트를 검색하는 것은 탁월하다.

조밀도는 탐지된 오브젝트의 면적을 탐지된 오브젝트의 둘레의 제곱으로 나누고 4π를 곱한 것이다.

(d) 중심(Centroid): 중심은 시신경의 중심으로 정의되며 중력 중심이라고도 한다. 모양 중심은 기본적으로 모양의 중심점이며 다음과 같이 계산된다.

여기서 X_c는 구성 요소 픽셀들의 모든 x 좌표의 평균이고 Y_c는 구성 요소 픽셀들의 모든 y 좌표의 평균이다.

분류

클래스는 형상 특징, 즉 면적, 둘레, 원형 및 중심과 같은 몇 가지 중요한 공통 속성을 갖는 오브젝트의 집합이며 오브젝트가 속한 클래스는 클래스 라벨로 표시된다. 분류란 이미지의 속성의 몇몇 표현에 따라 이미지에 라벨(OD 클래스 및 비 OD(Non OD) 클래스)을 할당하는 프로세스이다. 다양한 분류 기술이 문헌에서 사용되어 왔다. Neuve Bayesian 분류기(Friedman et al. 1997), 인공 신경망(ANN) (Gardner 외 1996), Nearest Neighbor(KNN) 및 SVM(Support Vector Machine)(Cortes and Vapnik 1995) 등이 있다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에서 나이브 베이즈(Naive Bayes) 분류기가 안저 이미지에서의 시신경 유두(OD) 분류에 사용된다.

나이브 베이즈(Naive Bayes) 분류기는 베이즈(Bayes) 정리를 기반으로 하는 감독된 기계 학습 기술이다. 그것은 조건부 독립성을 지원한다. 즉, 주어진 클래스(C_i)에 대한 특징(X_i)의 결과 값은 다른 특징의 값과 독립적이다. 그것은 거대한 데이터 세트에 적합하며 입력의 차원이 높을 때 가장 우수한 분류기로 간주된다. 다음은 클래스의 확률을 제공하는 나이브 베이즈(Naive Bayes) 분류 기의 수학식이다.

는 특징들(크기, 형상, 원형 및 조밀도)이 주어지는 경우 클래스 (OD, 비 OD(Non OD))의 사후 확률,

는 (OD, 비 OD(Non OD)) 클래스의 사전 확률,

는 특징이 주어진 클래스 (OD, 비 OD(non OD))의 확률이며,

는 주어진 특징들의 사전 확률이다.

테스트를 위해, 추출된 형상 특징은 n개의 속성으로부터 샘플에 대해 수행된 n 개의 측정을 보여주는 특징 벡터

으로 표시된다. 클래스 라벨이 없는 X로 알려지지 않은 데이터 샘플을 제공함으로써 분류기는 X가 가장 높은 사후 확률을 갖는 클래스 C_i에 속한다는 것을 추측한다.

실험 결과 및 토론

이 섹션에서는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에서 사용된 망막 이미지의 데이터 세트와 제안된 기술의 실험 결과를 자세히 설명한다. 또한 안과 의사와의 상담 및 최근 발표된 관련 연구를 통해 이 기술의 정확성에 대해 토의하고 평가했다.

데이터 세트

본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 성능을 측정하기 위해 표 1에 기재된 바와 같이, 네 개의 데이터 세트가 테스트되었다. 데이터 세트 중 3개는 온라인으로 이용가능한 DIARETDB0(Kauppi 외 2006), DIARETDB1(Kauppi 외 2007) 및 DRIVE(Staal 외 2004)이고, 네번째 데이터 세트는 현지 Al-Shifa(Al-Shifa 2017)에서 생성된 것이며, 본 연구에서 OD 분류를 위해 평가된다. 실제 데이터 세트 이미지는 Cannon CF-1digital 망막 카메라에 의해 수집된다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 기여 중 하나의 방법은 파키스탄의 Khyber Pakhtunkhwa 안과 병원 Kohat(Al-Shifa 2017)이 제공한 실제 데이터 세트를 사용하고 있다. 데이터 세트의 모든 이미지는 .JPEG 형식이다.

실험은 네 개의 데이터 세트에서 선택된 총 309개의 망막 이미지에 대해 수행되었다. Al-Shifa 데이터 세트는 50개의 망막 이미지로 구성되며, 그 중 10 개의 이미지에는 DR 표시가 없고, 나머지 40개의 이미지들은 DR에 대해 몇몇 표시가 있다. DIARETDB0 데이터 세트는 130개의 망막 이미지로 구성되며, 20개의 이미지에는 DR 표시가 없고 110개의 이미지에는 DR 표시가 있다. DIARETDB1 데이터 세트는 89개의 망막 이미지로 구성되며, 5개의 이미지에는 DR 표시가 없고 나머지 84개의 이미지에는 이상 징후의 표시가 있으며, DRIVE 데이터 세트에는 40개의 망막 이미지로 구성되고, 33개의 이미지에는 DR 표시가 없고 나머지 7 개의 이미지에는 이상 징후의 표시가 있다. 이미지의 해상도는 565×584 내지 1500×1152까지 다양하며, 안저 이미지는 시뮬레이션 요구 사항에 따라 256×256 픽셀에 익숙해진다. 안저 이미지의 시야는 35° 내지 50°에서 다양하며 이미지는 표 1에 표시된 대로 .JPEG 형식이다.

토론

이 하위 섹션에서는 네 가지 데이터 세트 모두에 대한 단계별 결과가 평가된다. 이미지 수집 및 전처리 결과는 다양한 전처리 단계를 적용한 후 망막 입력과 후속 전처리된 출력 이미지를 도시한 도 7에 나와 있다.

사전 처리된 이미지의 분할은 오츠(Otsu) 기술을 사용하여 수행된다. Otsu의 분할 값은 필요한 것보다 적다. 목표 OD는 크기가 작고 글로벌적으로 가장 밝은 영역이기 때문에 임계 값은 다른 값의 인수로 조정되고 최종적으로 수학식 13에 주어진 바와 같이 α=3.20의 계수로 조정된다. 도 8은 향상된 Otsu 알고리즘을 적용한 전처리된 입력과 결과 이진 이미지를 도시한 것이다.

여기서 I(x, y)는 Otsu 결과 이미지이다.

분할 후에 OD 영역의 일부가 아닌 다른 오브젝트도 탐지되었으므로 잘못 식별된 영역을 제외하기 위해 도 9에 도시된 바와 같이 속성에 기반하여 오브젝트 영역을 분리하기 위해 수학식 4 내지 수학식 6이 적용된다.

OD 영역에 경계 픽셀을 포함시키기 위하여, 그것은 오브젝트를 확장하는 데 사용되기 때문에 확장 연산이 적용된다. 전경 영역, 즉 OD 영역에 존재하는 임의의 배경 픽셀은, 도 10에 도시된 바와 같이 닫힌 형상으로 둘러싸인 세그먼트에 대한 추적을 위해 형태학적 연산을 사용함으로써 제거되어야 한다.

Al-Shifa Trust와 DRIVE 데이터 세트에 대한 최종 OD 경계와 OD의 중앙 분류 결과가 도 11에 제시되어 있다. Al-Shifa와 DRIVE 데이터 세트 이미지가 제공하는 실제 데이터 세트에서 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 분할 및 분류 정확도는 98%와 100%이다.

도 12는 DIARETDB0, DIARETDB1 데이터 세트에 대한 OD 경계와 OD의 중앙 분류 결과를 보여준다. DIARETDB0과 DIARETDB1 데이터 세트에서 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 분할 및 분류 정확도는 97%와 98%이다.

분류기의 성능

추출된 특징 벡터는 클래스 라벨을 규정된 테스트 데이터 세트 이미지에 할당하여 추가 분류를 위한 훈련 및 저장을 위해 클라우드의 나이브 베이즈(NB) 분류기로 전달된다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 성능 측정은 NB 분류기의 평가를 위한 혼동 행렬(CM: Confusion matrix)에 기반을 두고 있다. CM에서 진실 양성(TP)은 양성에 대한 그라운드(ground) 진실이 올바르게 양성으로 분류될 때를 의미하고, 거짓 양성(FP)은 음성 클래스가 양성으로 잘못 분류될 때를 의미한다. 마찬가지로 진실 음성(TN)은 그라운드 진실 음성 클래스가 정확하게 음성으로 분류될 때를 의미하며 거짓 음성(FN)은 음성 클래스가 양성으로 분류될 때를 의미한다. NB 분류기의 성능은 CM, 민감도, 특이성 및 정확도 등을 통해 측정되었다. 자세한 내용은 다음과 같다.

- 민감도: 환자의 종양처럼 결과의 확률, 즉 진실 양성을 판정하는 측정이다.

- 특이성(Specificity): 환자가 종양을 갖지 않은 것처럼 결과의 확률, 즉 진실 음성을 결론짓는 측정.

- 정확도(Accuracy): 얼마나 많은 결과가 정확하게 분류되는지에 대한 확률을 결정하는 측정. 수학식은 하기와 같다:

표 2는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에 의한 OD의 분류와 Al-Shifa의 4명의 안과 의사에 의한 수동 분류를 비교한 것이다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에 의한 분류는 안과 의사의 결과와 동일한 309개의 이미지 중 303개에서 OD가 올바르게 분류되었기 때문에 98.25%의 정확도를 달성하였다.

Al-Shifa, DIARETDB0, DIARETDB1 및 DRIVE 데이터 세트에서 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 분류 정확도는 각각 98%, 97%, 100% 및 98%이다. Al-Shifa, DIARETDB0, DIARETDB1 및 DRIVE 데이터 세트에서 50개의 이미지 중 49개의 이미지, 130개의 이미지 중 127개의 이미지, 89개의 이미지 중 87개의 이미지 및 40개의 이미지 중 40개의 이미지가 각각 올바르게 분류되었다. 303개의 안과의 결과와 비교할 때, 본 발명의 일 실시예에 의한 시신경 유두 분류 방법은 또한 표에 주어진 바와 같이 98.25%의 전체 분류 정확도를 달성했다. 즉 309개의 이미지 중 303개가 OD 클래스로 올바르게 분류되었다.

도 13은 DIARETDB0 및 DIARETDB1 데이터 세트에 대한 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 시신경 유두 분류와 Al-Shifa Trust Hospital의 안과 의사에 의한 시신경 유두 분류를 비교한 도면으로서, 도 13(a)는 안과 의사에 의한 시신경 유두 분류 결과, 도 13(b)는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에 의한 시신경 유두 분류 결과, 그리고 도 13(c)는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 정확도를 도시한 도면이다.

본 발명의 일 실시예에 의한 시신경 유두 분류 방법은 표 3에 기재된 바와 같이, (Kovacs et al., 2010; Salazar-Gonzalez et al., 2014; Sopharak et al. 2008; Ullah et al. 2013; Yu et al. 2015)에 주어진 5가지의 최신 접근법들과 비교되었다. Al-Shifa, DIARETDB0, DIARETDB1 및 DRIVE의 네 가지 데이터 세트에 대한 제안된 기술의 전체 분류 정확도는 각각 98%, 97%, 98% 및 100%이며, 분류 정확도가 각각 97%, 95%, 96%, 95%, 98%인 (Kovacs et al. 2010; Salazar-Gonzalez et al. 2014; Sopharak et al. 2008; Ullah et al. 2015)에서의 기술들보다 더 양호하다.

본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 전체 평균 분류 정확도는 98.25%라는 점에 유의해야 한다. 도 14는 본 발명의 일 실시예에 의한 시신경 유두 분류 방법과 다른 방법들(Kovacs et al. 2010; Salazar-Gonzalez et al. 2014; Sopharak et al. 2008; Ullah et al. 2013; Yu et al. 2015)을 비교하기 위한 막대 그래프를 도시한 것이다.

에너지 소비 및 계산 복잡성 분석

본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 계산 복잡성과 에너지 소비 분석은 (Sriram and Khajeh-Hosseini 2010)의 결과로부터 통합되었다. 88.48J의 에너지는 8x8 크기의 패킷 데이터 전송에 필요하다. 표 4는 스마트폰과 모바일 클라우드 기반 OD 분할 및 분류의 세 가지 동일한 시나리오에 대한 에너지 소비를 보여준다. 완전한 오프로딩, 즉 완전한 OD 이미지의 전송은 단지 추출된 특징들만을 오프로딩하는 로컬 프로세싱과 비교하여 많은 에너지 및 높은 통신 비용을 소비한다. 시스템에서 로컬로 처리하면 전송 비용은 줄어들지만 전처리, 분할과 특징 추출 및 분류와 같은 복잡한 작업이 로컬 시스템에서 수행된다. 그럼에도 불구하고 스마트폰은 이러한 에너지 낭비 과제 수행에는 적합하지 않다. 따라서 클라우드 서버는 계산량이 많은 작업을 위해 스마트 폰을 능가하는 환경을 개선한다.

결론

본 발명의 일 실시예에 의한 시신경 유두 분류 방법에서는 망막 이미지에서 OD 검출 및 분류를 위한 효율적인 모바일 클라우드 기반 분류 기법을 제안했다. 목표는 클라우드에서 주요 기능을 수행하여 기존 시스템의 계산 복잡성을 줄이는 것이다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법에서는 Otsu의 이진화 방법을 사용하여 전경 및 배경 영역으로 분할된 RGB 색상 공간에서 강도 밴드(색조, 채도 및 강도)를 추출한다. 면적, 둘레, 원형 및 중심과 같은 형상 특징을 추출하여 OD 국부화를 위한 특징 세트로 결합한다. 마지막으로, 이러한 추출된 특징은 시신경 유두 분류를 위한 클라우드의 나이브 베이즈 분류기를 훈련시키는데 사용된다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법은 낮은 계산 복잡도로 OD 분할을 위한 효율적인 분류 기법을 제공한다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법의 성능은 Al-Shifa Trust Hospital의 실제 데이터 세트를 포함한 4개의 데이터 세트에 대해 평가된다. 본 발명의 일 실시예에 의한 시신경 유두 분류 방법을 사용하여 얻은 분류 결과는 98.25%의 정확도를 제공한다는 것이 관찰되었다. 질적 및 양적 결과는 고무적이며, 본 발명의 일 실시예에 의한 시신경 유두 분류 방법은 에너지 소비 및 계산 시간을 절약함으로써 정확한 성과를 달성할 수 있다.

이상 본 발명을 구체적인 실시예를 통하여 상세하게 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로, 본 발명의 구체적인 보호 범위는 첨부된 청구범위에 의하여 명확해질 것이다.

200 : 모바일 장치
202 : 클라우드 서버
204 : 로컬 시스템

Claims (3)

1. (a) 로컬 시스템이 훈련용 안저 이미지를 획득하는 단계;
   (b) 상기 로컬 시스템이 획득된 훈련용 안저 이미지를 전처리하는 단계;
   (c) 상기 로컬 시스템이 시신경 유두(OD: Optic Disc)를 분할하는 단계;
   (d) 상기 로컬 시스템이 분할된 시신경 유두 이미지에서 특징들을 추출하는 단계;
   (e) 상기 로컬 시스템이 추출된 시신경 유두 특징들을 클라우드 서버로 전송하는 단계;
   (f) 클라우드 서버에서 수신된 시신경 유두 특징들을 사용하여 분류기 모델을 훈련시키는 단계;
   (g) 모바일 장치가 테스트 안저 이미지를 획득하는 단계;
   (h) 상기 모바일 장치가 획득된 테스트 안저 이미지를 전처리하는 단계;
   (i) 상기 모바일 장치가 시신경 유두(OD)를 분할하는 단계;
   (j) 상기 모바일 장치가 분할된 시신경 유두 이미지에서 특징들을 추출하는 단계;
   (k) 상기 모바일 장치가 추출된 시신경 유두 특징들을 클라우드 서버로 전송하는 단계;
   (l) 상기 클라우드 서버가 수신된 시신경 유두 특징들을 분류기 모델의 입력으로 사용하여 시신경 유두를 분류하는 단계; 및
   (m) 상기 클라우드 서버가 분류 결과를 상기 모바일 장치로 전송하는 단계를 포함하고,
   상기 단계 (b) 및 단계 (h)의 전처리 단계는,
   (b-1) 입력 이미지를 RGB 색공간에서 HSI 색공간의 이미지로 변환하는 단계;
   (b-2) 변환된 이미지의 명도 성분을 중간값 필터를 이용하여 평활화하는 단계;
   (b-3) 콘트라스트 제한 적응적 히스토그램 등화를 이용하여 평활화된 이미지의 콘트라스트를 향상시키는 단계;
   (b-4) 콘트라스트가 향상된 이미지를 HSI 색공간에서 RGB 색공간의 이미지로 변환하는 단계; 및
   (b-5) 상기 RGB 이미지에서 녹색 채널 이미지를 추출하는 단계를 포함하는 시신경 유두 분류 방법.
2. 삭제
3. 청구항 1에 있어서,
   상기 특징들은, 시신경 유두의 형상 특징을 포함하고,
   상기 시신경 유두의 형상 특징은 시신경 유두의 면적, 둘레, 원형 및 중심을 포함하는, 시신경 유두 분류 방법.

Images