JP2020518915A - 自動眼底画像分析用のシステムおよび方法 - Google Patents
自動眼底画像分析用のシステムおよび方法 Download PDFInfo
- Publication number
- JP2020518915A JP2020518915A JP2019559095A JP2019559095A JP2020518915A JP 2020518915 A JP2020518915 A JP 2020518915A JP 2019559095 A JP2019559095 A JP 2019559095A JP 2019559095 A JP2019559095 A JP 2019559095A JP 2020518915 A JP2020518915 A JP 2020518915A
- Authority
- JP
- Japan
- Prior art keywords
- image
- neural network
- regions
- region
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000010191 image analysis Methods 0.000 title description 4
- 239000013598 vector Substances 0.000 claims abstract description 108
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 30
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 24
- 201000010099 disease Diseases 0.000 claims abstract description 21
- 206010012689 Diabetic retinopathy Diseases 0.000 claims abstract description 16
- 208000019553 vascular disease Diseases 0.000 claims abstract description 7
- 230000001575 pathological effect Effects 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 45
- 230000004256 retinal image Effects 0.000 claims description 40
- 208000030533 eye disease Diseases 0.000 claims description 28
- 210000001525 retina Anatomy 0.000 claims description 25
- 208000017442 Retinal disease Diseases 0.000 claims description 22
- 206010038923 Retinopathy Diseases 0.000 claims description 19
- 238000012706 support-vector machine Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 206010059245 Angiopathy Diseases 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000003902 lesion Effects 0.000 description 48
- 230000002207 retinal effect Effects 0.000 description 43
- 238000001514 detection method Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 21
- 238000013135 deep learning Methods 0.000 description 19
- 238000010606 normalization Methods 0.000 description 17
- 238000011156 evaluation Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000011218 segmentation Effects 0.000 description 11
- 241000282414 Homo sapiens Species 0.000 description 9
- 208000009857 Microaneurysm Diseases 0.000 description 9
- 206010047642 Vitiligo Diseases 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 208000032843 Hemorrhage Diseases 0.000 description 6
- 238000013459 approach Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 208000002780 macular degeneration Diseases 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 201000004569 Blindness Diseases 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000009607 mammography Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013442 quality metrics Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 208000001072 type 2 diabetes mellitus Diseases 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010054881 Acquired pigmented retinopathy Diseases 0.000 description 2
- 208000004434 Calcinosis Diseases 0.000 description 2
- 241000282461 Canis lupus Species 0.000 description 2
- 208000003569 Central serous chorioretinopathy Diseases 0.000 description 2
- 208000033379 Chorioretinopathy Diseases 0.000 description 2
- 208000001351 Epiretinal Membrane Diseases 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 208000037111 Retinal Hemorrhage Diseases 0.000 description 2
- 206010038848 Retinal detachment Diseases 0.000 description 2
- 208000007014 Retinitis pigmentosa Diseases 0.000 description 2
- 206010038926 Retinopathy hypertensive Diseases 0.000 description 2
- 206010038933 Retinopathy of prematurity Diseases 0.000 description 2
- 206010052428 Wound Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000008103 glucose Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 201000001948 hypertensive retinopathy Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 208000014081 polyp of colon Diseases 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004264 retinal detachment Effects 0.000 description 2
- 230000004233 retinal vasculature Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 208000029411 Adnexal disease Diseases 0.000 description 1
- 206010002329 Aneurysm Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 208000035984 Colonic Polyps Diseases 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 208000036685 Detachment of retinal pigment epithelium Diseases 0.000 description 1
- 208000002249 Diabetes Complications Diseases 0.000 description 1
- 206010012655 Diabetic complications Diseases 0.000 description 1
- 206010019899 Hereditary retinal dystrophy Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 206010051589 Large intestine polyp Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 208000001344 Macular Edema Diseases 0.000 description 1
- 208000031471 Macular fibrosis Diseases 0.000 description 1
- 206010025415 Macular oedema Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010029113 Neovascularisation Diseases 0.000 description 1
- 208000001140 Night Blindness Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 206010036590 Premature baby Diseases 0.000 description 1
- 201000007737 Retinal degeneration Diseases 0.000 description 1
- 206010057430 Retinal injury Diseases 0.000 description 1
- 206010053649 Vascular rupture Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 238000013534 fluorescein angiography Methods 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 230000006749 inflammatory damage Effects 0.000 description 1
- 208000017532 inherited retinal dystrophy Diseases 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 208000038015 macular disease Diseases 0.000 description 1
- 201000010230 macular retinal edema Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000005015 mediastinal lymph node Anatomy 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000011278 mitosis Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000002241 neurite Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 201000003841 peripheral retinal degeneration Diseases 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 208000032253 retinal ischemia Diseases 0.000 description 1
- 201000007714 retinoschisis Diseases 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2800/00—Detection or diagnosis of diseases
- G01N2800/16—Ophthalmology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
病理画像の分類を行うシステムおよび方法。画像が受信されて正規化されて、正規化された画像が複数の領域に分割される。この複数の領域に対して、ニューラルネットワークを有する少なくとも１つの分類器により、疾患ベクトルが自動で判定される。判定された疾患ベクトルに基づいて、複数の領域それぞれが自動でアノテーションされる。受信された画像は、アノテーションに少なくとも基づいて、自動で評価される。ニューラルネットワークは、少なくとも１つの客観的分類基準に応じた、画像の各領域に対する専門家によるアノテーションに少なくとも基づいて訓練される。画像は眼画像、血管画像、または眼底画像であり得る。例えば疾患とは、血管疾患、血管障害、または糖尿病網膜症であり得る。【選択図】図１
Description
本発明は、ニューラルネットワーク（「ＮＮ」）またはディープニューラルネットワーク（「ＤＮＮ」）を利用した自動眼底画像分析の分野に関する。
本明細書で引用する各参照文献は、全体が参照により本明細書に組み込まれる。
一般的に入手可能な各種専門的カメラにより、人の網膜写真を容易に撮影可能である。英国において、すでにそのようなカメラは大多数の眼鏡技師（特に有名チェーン店に所属）の勤務先に存在し、網膜写真が基本的な目の検査の一部に利用されることも多くなっている。
網膜画像は、多くの眼病（いわゆる一般的な網膜症）評価に利用され得、近年のデジタルカメラの解像度向上もあって、いまや網膜の状態評価に好んで使用されるようにもなっている。画像から判定できる網膜症の種類も、出血から腫瘍までと幅広い。これら疾患の多くは失明を含む深刻な状態に繋がり得るにも関わらず、早期段階では患者が気付くような兆候が発現しないことが多い。治療成功および／または完治のためには、早期処置が重要なことが多く、より高頻度の網膜画像評価を強く後押しする公衆衛生上の根拠も数多い。
網膜上の少量出血（微小動脈瘤）を伴う二型糖尿病は特に関連深い疾患である。これは処置しなければ、患者が二型糖尿病と診断される前に、急速に深刻な眼病の発症につながる可能性もある。
糖尿病網膜症（「ＤＲ」）は、英国を含む先進国において、成人の失明の主要な原因である。したがって、英国国民保険サービスは、二型糖尿病の患者に毎年無料で網膜検査を提供している。具体的には、デジタル写真が撮影されて、評価センターに送られる。そこで、熟練の評価者（人）が画像を詳細に検査し、最速で出血の兆候を発見する。この手動の処理はコストがかかるが、現状でこの種の画像の処理に対して、より信頼性の高い手法が他にはない。長年の研究にも関わらず、訓練された人間の場合と比較して、信頼性、精度で引けを取らない自動システムが実現されていない。
Ｕ．Ｓ．２０１７００３９６８９は、画像からＤＲを評価する「ディープラーニング」技術を開示する。加えてＵ．Ｓ．２０１７００３９４１２、２０１５０１１０３４８、２０１５０１１０３６８、２０１５０１１０３７０、２０１５０１１０３７２、９，００８，３９１、９，００２，０８５、８，８８５，９０１、８，８７９，８１３、および２０１７００４６６１６も参照されたい。網膜眼底画像は、血管の状態の指標を示すものであって、眼病とより全般的な血管疾患の両方の診断に有用となり得る。
「ディープラーニング」は、複数の隠れ層を含む人工ＮＮ（「ＡＮＮ」）の進化版である。具体的には、データからの抽出および予測が向上している（参照文献２）。Ｇｒｅｅｎｓｐａｎ，Ｈａｙｉｔ，Ｂｒａｍ ｖａｎ Ｇｉｎｎｅｋｅｎ，ａｎｄ Ｒｏｎａｌｄ Ｍ．Ｓｕｍｍｅｒｓ．“Ｇｕｅｓｔ ｅｄｉｔｏｒｉａｌ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ：Ｏｖｅｒｖｉｅｗ ａｎｄ ｆｕｔｕｒｅ ｐｒｏｍｉｓｅ ｏｆ ａｎ ｅｘｃｉｔｉｎｇ ｎｅｗ ｔｅｃｈｎｉｑｕｅ．”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ３５．５（２０１６）：１１５３−１１５９を参照されたい。畳み込みニューラルネットワーク（「ＣＮＮ」）は、コンピュータビジョンに対して極めて有用なツールである。ディープＣＮＮは、元データ（例えば画像）からの中レベルおよび高レベル抽出物を、自動で学習するように設計可能である。ＣＮＮから抽出された一般的な記述子は、自然画像内の物体認識および位置特定に有用である。
機械学習には、教師あり学習と教師なし学習の２つの体系が存在する。教師あり学習の場合、訓練用データにはラベル付けがされる。即ち、正解は外から与えられ、統計的学習基準が外部に存在する。教師なし学習の場合、訓練用データがグラウンドトゥルース（正確さや整合性をチェックするためのデータ）を参照することなく分析される。したがって、内部に基準がある。半教師あり学習には、これら両体系の要素が盛り込まれている。即ち、訓練用データセットの全てのサンプル（またはサンプルの属性）がラベル付けされるわけではない。
医療用撮像では、疾患の正確な診断および／または評価が、撮像技術および画像判断に依存する。撮像技術は近年飛躍的に向上し、装置がデータを高速かつ高解像度で取得可能となっている。したがって、本技術は画像判断処理についてのソリューションを提供する。医療用画像は多くの場合、医師により判断される。しかし、人間の画像判断は客観性、人によって見方が大幅に異なること、そして疲労のような要素により限界がある。
人間が調べた場合、人それぞれ解釈が異なるので、過誤が生じやすい。さらに、人それぞれ基準が異なる。したがって、訓練用データを得るだけでも困難が伴う。
多くの場合、診断は異常を検出するための初検処理と、経時的に得られた測定値と変化の数量化を伴う。
ＣＮＮは、医療用画像処理に利用されている。Ｓａｈｉｎｅｒら（参照文献４）を参照されたい。マンモグラムから、生検で特定された物体または通常の組織を含む関心領域が抽出される。ＣＮＮは１つの入力層と、２つの隠れ層と、１つの出力層とを含み、誤差逆伝播法で訓練される。ＣＮＮは、肺結節検出（参照文献５）と、マンモグラフィ上の微小石灰化（参照文献６）にも適用されている。
画像処理用の典型的なＣＮＮ構造では、一連の畳み込みフィルタ層と、一連のデータ削減またはプーリング層とが交互に配置される。畳み込みフィルタは、入力画像の小パッチに適用される。例えば、人の脳の低レベル視覚処理のように、畳み込みフィルタはより関連性の高い画像特徴を検出する。それは例えば、直線エッジを表し得る線または円（臓器検出等）、または円（結腸ポリープのような丸い物体等に対応）である。さらに、局地的または全体的形状またはテクスチャのようなより高次の特徴にも適用される。典型的なＣＮＮ出力としては、１つ以上の確率またはクラスラベルが挙げられる。訓練用データから畳み込みフィルタが学習される。これにより、特定用途向けフィルタで画像を前処理するか、計算可能な特徴を計算しない限り必要となるような、手間のかかる手作業で特徴を生成する必要性がなくなるため、好ましい。さらに、いわゆる長／短期記憶という、深層再帰型ニューラルネットワーク（「ＤＲＮＮ」）等のその他ネットワーク構造変数も存在する（参照文献７）。
ＣＮＮは、並列化可能なアルゴリズムであり、画像処理装置（ＧＰＵ）用コンピュータチップにより、ＣＰＵ処理単独の場合と比較して、処理速度を上げることができる（約４０倍）。参照文献８を参照されたい。医療用画像処理において、ＧＰＵは分割、再構成、レジストレーション、および機械学習に利用できる（参照文献９，１０）。
一から深層ＣＮＮ（「ＤＣＮＮ」）を行うこと（即ちフルトレーニング）は困難である。第１に、ＣＮＮは大量のラベル付けされた訓練用データが必要である。これは、専門家によるアノテーションが高価で、疾患（例えば病変）が数限られている医療分野では、条件として困難である。第２に、ＤＣＮＮの訓練には膨大な計算およびメモリ資源が必要となる。それらが揃わないと、訓練処理にとてつもない時間がかかってしまう。第３に、ＤＣＮＮの訓練は、過学習や、収束という問題で、複雑となることが多い。これら問題については、ネットワークの構造または学習パラメータについて、繰り返し調整を行い、全層が十分な速度で学習していることを保証する必要があることが多い。「転移学習」や「ファインチューニング」と呼ばれるいくつからの新しい学習手法はこれら問題を解決することが確認されており、普及してきている。しかし、現状では経験則に基づいて処理が調整されている。したがって、同じような目的に対して、同じようなアルゴリズムを使用しているのも関わらず、手法、形態、および結果に大きな差異が生じている。ｗｗｗ．ｋａｇｇｌｅ．ｃｏｍ／ｃ／ｄｉａｂｅｔｉｃ−ｒｅｔｉｎｏｐａｔｈｙ−ｄｅｔｅｃｔｉｏｎを参照されたい。
なお、ネットワークの訓練はアップデートできない。したがって、アルゴリズムまたは訓練用データに何かしら変化を加える場合は、ネットワーク全体を改めて最適化する必要がある。新たな技術によりこのような制限も緩和されてきている。参照により本明細書に組み込まれるＵ．Ｓ．Ｐａｔｅｎｔ Ｎｏ．９，０５３，４３１を参照されたい。即ち、ネットワークは構築後に、ネットワークのノイズまたはエラーベクトル出力に応じて、補強され得る。
コンピュータ支援検出（ＣＡＤ）は、ディープラーニングと極めて相性が良い、一般的に利用されている医療用画像分析の一分野である。ＣＡＤの標準的な手法（参照文献１１）では、候補となる病変が、教師あり方法またはフィルタリングや数学的モルフォロジー手法のような伝統的な画像処理技術で検出される。多くの場合、候補となる病変は分割され、大量となりがちな手動による特徴で示される。そして分類器を利用して、候補が実際の病変である確率に対して、特徴ベクトルがマッピングされる。手動で得られた特徴ではなく、単純にディープラーニングを使う方法として、病変候補を中心とした画像データ領域で動作するＣＮＮを訓練することができる。各候補の分類には、異なる複数のＣＮＮの組み合わせが用いられる。
分類の実現のため、数多くの研究が、教師ありＣＮＮに対して注がれている。このネットワークは多くの用途（検出、分割、ラベル付け）に対して重要である。教師なし手法も研究されており、これは主に画像符号化、効率的な画像表示手法、教師あり手法にさらに供されるための前処理工程について有用性が示されている。制限付きボルツマンマシン（ＲＢＭ）のような教師なし表示学習方法は、訓練用データから直接特徴記述を学習できるという点で、基本的なフィルタバンクの性能を凌駕し得る。ＲＢＭは、生成型学習目標で訓練される。これにより、ネットワークはラベル無しデータから標示を学習可能である。しかし、分類について最適な特徴が生成されるとは限らない。Ｖａｎ Ｔｕｌｄｅｒら（参照文献１８）は、畳み込み分類用制限付きボルツマンマシンにおいて、生成型と識別型の学習目標の両方の利点を組み合わせるための研究を行った。この制限付きボルツマンマシンは、訓練用データの記述と、分類の両方に好ましいフィルタを学習する。これにより、学習目標を組み合わせることで、識別型、または生成型単独の構成を上回る性能が実現できることが示された。
ＣＮＮは、データに基づく、表現性が高い、階層状画像特徴の学習を可能とする。本稿に記載のように、このような特徴は、数多くの適用分野において極めて強力かつロバストであることが示された。このように表現豊かで、適切な分類を実現するためには、十分な訓練用データが必要となる。
十分なデータが得られない場合にも、以下の手法をとることができる。
転移学習：自然画像データセットまたは異なる医療分野により、事前に（教師あり）訓練されたＣＮＮモデルを、対象の新たな医学的課題に利用する。一手法において、事前訓練されたＣＮＮを入力画像に適用し、ネットワークの層から出力を抽出する。抽出された出力は、特徴として考慮され、別のパターン分類器の訓練に利用される。例えば、Ｂａｒら（参照文献２５，２６）において、事前訓練されたＣＮＮは、胸部病理の識別のための特徴生成に利用される。Ｇｉｎｎｅｋｅｎら（参照文献２７）においては、ＣＮＮに基づく特徴と、手動で得られた特徴を統合することで、結節検出システムの性能向上が可能となっている。
ファインチューニング：対象の課題に対して、中程度の大きさのデータセットが存在しない場合、以下の手順等が推奨される。即ち、事前訓練されたＣＮＮをネットワークの初期化に利用し、その後、対象の課題に対して新たなデータを使用して、一部（または全部）のネットワーク層に対する教師あり訓練がさらに実行される。転移学習とファインチューニングは、医療用撮像用途におけるＤＣＮＮの利用において、極めて重要な要素となる。
Ｓｈｉｎら（参照文献１７）およびＴａｊｂａｋｈｓｈら（参照文献２８）は、ファインチューニングで事前訓練されたＣＮＮを利用することで、最上の結果が得られることを示した。さらに、ディープファインチューニングの方が、シャロウファインチューニングよりも高性能を実現し、特定の用途領域にかかわらず、学習組が小さいほど（Ｔａｊｂａｋｈｓｈら）、そしてあらゆるネットワーク構造において（Ｓｈｉｎら（参照文献１７））ファインチューニングの重要性が高いことを示した。ＧｏｏｇＬｅＮｅｔ構造により、その他様々なより浅い構造と比較して、最先端を誇る縦隔リンパ節検出手法が実現された。Ｓｈｉｎらを参照されたい。
グラウンドトゥルースデータは一般公開されていないため、各医療課題について収集するにはコスト面でも時間の面でも困難である。これにより、医療分野での適用が極めて困難となっている。クラウドソーシングにより、現実世界の画像に対する大規模データベースのアノテーションが可能となった。しかし、それを生物医学に活用するには、実際のアノテーション処理に対するより深い知識、即ち正確な定義が必要となる（Ｎｇｕｙｅｎら（参照文献２９）、ＭｃＫｅｎｎａら（参照文献３０））。実際、専門家が行うような課題が、非専門家に外注されていることで、ユーザ間の不一致を生じる高ノイズのアノテーションに帰結してしまい得る。同様に、調整していない臨床結果データまたはユーザデータに基づくフィードバックを行うと、標準化、調整の欠如により問題のある結果となり得る。医療専門家と、非専門家とで知識を擦り合わせることは、多くの困難が伴う。即ち、情報源を如何に組み合わせるか、事前に確認された精度に応じて重みづけされた入力をどのように評価、反映するか等である。Ａｌｂａｒｑｏｕｎｉら（参照文献３１）は、ＣＮＮに組み込まれるアグリゲーション層を組み合わせたネットワークを提案した。これにより、クラウドからの学習入力が、ネットワーク学習プロセスの一部として利用可能となる。この結果、クラウドアノテーションからのＤＣＮＮ学習の機能について貴重な見識が得られた。医療分野におけるクラウドソーシングについての研究では、経験のない非専門家ユーザ群でも、医療専門家に引けを取らないという事実が示された。これは、Ｎｇｕｙｅｎら（参照文献２９）およびＭｃＫｅｎｎａら（参照文献３０）により、放射線画像について観察されたもので、専門家の技量、知識、洞察力が結果に反映、関連しないことを示唆し得る。
Ｋａｌｌｅｎｂｅｒｇら（参照文献３２）には、マンモグラフィリスクスコアリングに対する、教師なし特徴学習が記載されている。この研究では、ラベル無しデータから、特徴階層を学習する方法が示されている。学習された特徴は、単純な分類器に入力され、２つの異なる課題、即ちｉ）乳房密度分割と、ｉｉ）マンモグラフィテクスチャのスコアリングに対する最先端の結果が得られる。モデル容量制御のため、疎性正規化器が導入される。これは、寿命および人口疎性の両方が組み込まれる。教師なし部分の畳み込み層は、オートエンコーダとして訓練される。教師あり部分では、（事前訓練された）重みとバイアス項が、ソフトマックス回帰により、ファインチューニングされる。
Ｙａｎら（参照文献３３）では、画像分類用の多段ディープラーニングフレームワークが設計され、体の部位認識に適用される。事前訓練段階において、ＣＮＮはマルチインスタンス学習により訓練され、最も特徴的で、情報性の低いパッチがトレーニングスライスから抽出される。ブースティング段階では、事前訓練されたＣＮＮがこれら局地的なパッチにより、画像分類用にさらにブーストされる。この方法で特筆すべきは、マルチインスタンスディープラーニングにより訓練され、最も特徴的で、情報性の低いパッチが自動で発見されたことである。したがって、手動のアノテーションは不要であった。
回帰的ネットワークは、医療用撮像分野ではあまり一般的ではない。Ｍｉａｏら（参照文献３４）では、リアルタイム二次元／三次元レジストレーション用のＣＮＮ回帰的手法が提示されている。元となるマッピングの回帰を簡潔化し、高強度の非線形モデリングでＣＮＮ回帰モデルを設計するため、３つのアルゴリズム式手法が提案されている。その結果により、識別ローカル（ＤＬ）手法が、その他２つの最先端加速強度式二次元／三次元レジストレーション方法よりも正確でロバストであることが確認されている。
Ｇｏｌｋｏｖら（参照文献３５）は、拡散ＭＲＩデータ処理を、単一の最適化された工程に削減するためにＤＬを適用した、初期概念実証を提示している。このような変形により、高度なモデルからのスカラー尺度を、１２分の１の走査時間で得られ、拡散モデルを利用しなくても異常が検出できることが実証された。拡散重みづけ信号と、微細構造組織の特性との間に有意な関係性が確認されている。Ｇｏｌｋｏｖら（参照文献３５）は、そのような関係性が、ＤＮＮを使用することで実際に確認され得ることを実証した。ここで、モデルフィッティングで得られたスカラー尺度ではなくＤＷＩが入力として直接使用されている。この研究では、健常組織とＭＳ病変に対する、ボクセル探知の微細構造予測と、ＤＷＩ値による、自動モデル不要の分割が示されている。拡散尖度は、１２個のデータ点のみから測定され、神経突起方向分散および密度は、８個のデータ点のみから測定されている。これにより、迅速かつロバストな手順が実現され得る。これは、よりよい臨床ルーチンに寄与する。即ち、伝統的なデータ処理が、ディープラーニングで合理化できることが示される。
Ｋａｇｇｌｅ（ｗｗｗ．ｋａｇｇｌｅ．ｏｒｇ）は、眼底カラー画像からのＤＲ検出および診断のコンペを開催した。結果、約８万枚の画像が利用可能となっている（ｗｗｗ．ｋａｇｇｌｅ．ｃｏｍ／ｃ／ｄｉａｂｅｔｉｃ−ｒｅｔｉｎｏｐａｔｈｙ−ｄｅｔｅｃｔｉｏｎ）。多くの場合ＮＮが利用されていた。
Ｕ．Ｓ．２０１４／０３１４２８８は３段階システムを開示する。このシステムは、輝度と視界の異なる眼底画像を分析し、ＤＲの深刻度を生成する。画像の事前処理として、ヒストグラム平坦化、コントラスト強調、およびダイナミックレンジ正規化が挙げられる。第１段階として、グローバルフィルタおよび閾値技術の各種組み合わせにより、眼底画像から明るい、赤い領域が抽出される。視神経乳頭（ＯＤ）は、明るい病変に対応する構造的外観を持つ。そして、血管領域は、赤い病変に対応する画素強度特性を有する。したがって、既存の視神経乳頭検出アルゴリズムにより、視神経乳頭に対応する領域が明るい領域から除去される。さらに、単純な検出技術により、血管に対応する領域が、赤い領域から除去される。これにより、明るい候補領域を含む画像と、赤い候補領域を含む更なる画像が得られる。面積、周囲長、硬度、最小、最大、平均、標準偏差等の領域に基づく特徴が計算される。Ａｄａｂｏｏｓｔ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＡｄａＢｏｏｓｔ）により、使用される計３０個の特徴が選択される。第２段階において、明るいおよび赤い候補領域が、２工程階層分類にかけられる。第１工程において、特徴に基づいて、明るいおよび赤い候補領域が非病変領域から分離される。第２工程では、分類された明るい候補領域が、さらに硬性白斑または綿花状白斑に分類される。そして分類された赤い病変領域が、さらに出血および微小動脈瘤に分類される。分類器として、ＧＭＭ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍｉｘｔｕｒｅ＿ｍｏｄｅｌ＃Ｇａｕｓｓｉａｎ＿ｍｉｘｔｕｒｅ＿ｍｏｄｅｌ）、ｋＮＮ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｋ−ｎｅａｒｅｓｔ＿ｎｅｉｇｈｂｏｒｓ＿ａｌｇｏｒｉｔｈｍ）、ＳＶＭ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｕｐｐｏｒｔ＿ｖｅｃｔｏｒ＿ｍａｃｈｉｎｅ，ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｕｐｅｒｖｉｓｅｄ＿ｌｅａｒｎｉｎｇ）等が利用され得る。第３段階として、画像ごとの明るいおよび赤い病変の数の合計により、ＤＲの深刻度レベルが生成される。このようなシステムは、手動での評価を要する患者数を低減し、最もＤＲが深刻な患者に優先して、眼科的処置が行われることを目的としている。
Ｕ．Ｓ．８，０９８，９０７は、微小動脈瘤（ＭＡ）の自動検出を開示する。これは、血管、視神経乳頭および硬性白斑（ＨＥ）の位置のような情報をさらに考慮したものとなっている。この方法は、（ｉ）画像を固定サイズのサブ領域に分割し、領域強調／正規化および適応分析を行うことと、（ｉｉ）血管、視神経乳頭および硬性白斑（ＨＥ）検出と、（ｉｉｉ）これら（ｉ）および（ｉｉ）の結果の組み合わせにより実行される。ＭＡ検出は、トップハットフィルタリングと、局地適応的閾値処理に基づく。
Ｕ．Ｓ．２０１５／０１０４０８７は、自動でどちら側の眼底画像か検出すること、即ち、左目、右目か、そしてその視界の検出、さらに品質評価を開示する。この技術は、視神経乳頭および網膜黄斑の位置や、網膜血管構造の対称性の有無のような生理学的特徴を利用する。視界やどちら側かを検出することは、多チャンネルまたは単一チャンネルで実現される。このアルゴリズムは、視神経乳頭テンプレートを利用した、正規化二次元断面相関により、視神経乳頭を検出するものである。高解像度画像に対しては、血管構造密度により、どちら側か、そして視界が判断される。各画像の品質は、画像内の血管対称性を分析することで評価される。これは、二値分割画像を血管に対して取得して、特徴を抽出し、分類アルゴリズムを適用することで実現される。品質は１から５のレベルで評価される。血管の二値化については、ウェーブレットとエッジ位置特定が提案される。その後、モルフォロジー演算が実行される。特徴検出のため、画像は２０個の矩形ウィンドウに分割され、ウィンドウ内の非ゼロ画素の数として、局地的血管密度（ＬＶＤ）が計算される。２０個のＬＶＤが、全体的血管密度（ＧＶＤ）で正規化される。ＧＶＤは、レベル５の分割二値画像の非ゼロ画素の数として計算される。そして、画像のＬＶＤおよびＧＶＤにより特徴ベクトルが形成される。分類に対してはＳＶＭが提案される。画像レジストレーションおよび上記と同様の技術により、つなぎ合わされた重複画像の品質レベルを評価できる。
Ｕ．Ｓ．８，８７９，８１３、Ｕ．Ｓ．８，８８５，９０１、Ｕ．Ｓ．９，００２，０８５、Ｕ．Ｓ．９，００８，３９１、Ｕ．Ｓ．２０１５／０１１０３４８、Ｕ．Ｓ．２０１５／０１１０３６８、Ｕ．Ｓ．２０１５／０１１０３７０、Ｕ．Ｓ．２０１５／０１１０３７２、Ｕ．Ｓ．２０１７／００３９４１２、およびＵ．Ｓ．２０１７／００３９６８９は、診断システムの様々な態様を開示する。網膜画像は、中央値正規化により強調されてもよい。これより、画像が各画素位置にて、局地背景推定により局地的に強調される。中央値フィルタリング／収縮／膨張等により、網膜画像中のアクティブ画素が検出される。基本的に、これにより網膜ディスクが検出され、境界付近の画素が削除される。関心領域が検出される。例えば、２つのモルフォロジーフィルタリング済み画像を、２つの異なる種類およびサイズの、幾何学形状局地領域について、モルフォロジーフィルタで計算し、その間の差分をとることで、局地領域の記述子が抽出される。画像品質を、コンピュータビジョン技術で評価して、レベル付けの適切さを評価する。画像は、疾患用に自動でスクリーニングされる。患者が受診に訪れるたびに、画像に基づく病変バイオマーカーが自動分析され、受診と受診の間に画像レジストレーションが実行される。病変の変化と、解剖学的構造が計算され、統計的に数値化される。このようにして計算された統計は、病変の進行、早期発見および／または処置の効果の観察に利用可能な画像に基づくバイオマーカーとなる。
Ｕ．Ｓ．８，８７９，８１３は、網膜画像におけるアクティブ画素の自動検出を開示する。具体的には、網膜画像が評価され、異なるウィンドウサイズの２つの中央値フィルタリング済み画像が生成され、それらフィルタリング済み画像の差分画像が生成され、二値画像が生成される。
Ｕ．Ｓ．８，８８５，９０１は、網膜画像の強調を開示している。具体的には、網膜画像を取得し、中央値フィルタをかけて、元画像の値を、元画像およびフィルタリング済み画像の値に基づいて変調する。強調画像は、健康状態の検出に利用される。
Ｕ．Ｓ．９，００２，０８５およびＵ．Ｓ．２０１５／０１１０３７２は、網膜画像内の局地領域の記述子を生成することを開示する。具体的には、網膜画像を取得し、２つのモルフォロジーフィルタリング済み画像を生成し（一方は円形／矩形ポリゴンウィンドウによるもので、他方は細長／楕円形ウィンドウによる）、フィルタリング済み画像から差分値を生成し、それを網膜画像の画素記述子に利用する。
Ｕ．Ｓ．９，００８，３９１およびＵ．Ｓ．２０１５／０１１０３６８は、患者の網膜画像を取得することを開示する。各画像は、関心領域を含む画素サブセットをアクティブと指定し、画素レベル記述子を計算し、教師あり学習により記述子から画素単位分類を実現し、第２の記述子を計算し、教師あり学習により複数の画素について第２の分類を実現する。
Ｕ．Ｓ．２０１５／０１１０３４８およびＵ．Ｓ．２０１７／００３９４１２は、網膜画像内の関心領域（ＲＯＩ）の自動検出を開示する。具体的には、網膜画像を取得し、多重規模モルフォロジーフィルタバンク分析により１つ以上の所期の特性を有する領域を抽出し、二値マップを記憶する。
Ｕ．Ｓ．２０１５／０１１０３７０およびＵ．Ｓ．２０１７／００３９６８９は、網膜画像の強調を開示する。具体的には、眼底画像を取得し、単一または複数の尺度で背景を推定し、第１画素位置での強度を、背景画像における同位置での強度に基づいて適応的にスケーリングする。
(参照文献)
［１］ＭＩＴ Ｔｅｃｈｎｏｌ．Ｒｅｖ．，２０１３．Ａｖａｉｌａｂｌｅ：ｗｗｗ．ｔｅｃｈｎｏｌｏｇｙｒｅｖｉｅｗ．ｃｏｍ／ｓ／５１３６９６／ｄｅｅｐ−ｌｅａｒｎｉｎｇ
［２］Ｙ．ＬｅＣｕｎ，Ｙ．Ｂｅｎｇｉｏ，ａｎｄ Ｇ．Ｈｉｎｔｏｎ，“Ｄｅｅｐ ｌｅａｒｎｉｎｇ，”Ｎａｔｕｒｅ，ｖｏｌ．５２１，Ｎｏ．７５５３，ｐｐ．４３６−４４４，２０１５．
［３］Ｊ．Ｓｃｈｍｉｄｈｕｂｅｒ，“Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ：Ａｎ ｏｖｅｒｖｉｅｗ，”Ｎｅｕｒａｌ Ｎｅｔｗ．，ｖｏｌ．６１，ｐｐ．８５−１１７，２０１５．
［４］Ｂ．Ｓａｈｉｎｅｒ ｅｔ ａｌ．，“Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｍａｓｓ ａｎｄ ｎｏｒｍａｌ ｂｒｅａｓｔ ｔｉｓｓｕｅ：Ａ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｃｌａｓｓｉｆｉｅｒ ｗｉｔｈ ｓｐａｔｉａｌ ｄｏｍａｉｎ ａｎｄ ｔｅｘｔｕｒｅ ｉｍａｇｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１５，Ｎｏ．５，ｐｐ．５９８−６１０，Ｏｃｔ．１９９６．
［５］Ｓ．Ｃ．Ｂ．Ｌｏ，Ｊ．Ｓ．Ｊ．Ｌｉｎ，Ｍ．Ｔ．Ｆｒｅｅｄｍａｎ，ａｎｄ Ｓ．Ｋ．Ｍｕｎ，“Ｃｏｍｐｕｔｅｒａｓｓｉｓｔｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｌｕｎｇ ｎｏｄｕｌｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ−ｎｅｔｗｏｒｋ，”Ｐｒｏｃ．ＳＰＩＥ Ｍｅｄ．Ｉｍａｇ．，Ｉｍａｇｅ Ｐｒｏｃｅｓｓ．，ｖｏｌ．１８９８，ｐｐ．８５９−８６９，１９９３．
［６］Ｈ．−Ｐ．Ｃｈａｎ，Ｓ．−Ｃ．Ｌｏ，Ｂ．Ｓａｈｉｎｅｒ，Ｋ．Ｌ．Ｌａｍ，ａｎｄ Ｍ．Ａ．Ｈｅｌｖｉｅ，“Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ ｏｆ ｍａｍｍｏｇｒａｐｈｉｃ ｍｉｃｒｏｃａｌｃｉｆｉｃａｔｉｏｎｓ：Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ａｎ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，”Ｍｅｄ．Ｐｈｙｓ．，ｖｏｌ．２２，Ｎｏ．１０，ｐｐ．１５５５−６７，１９９５．
［７］Ｓ．Ｈｏｃｈｒｅｉｔｅｒ ａｎｄ Ｊ．Ｓｃｈｍｉｄｈｕｂｅｒ，“Ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ，”Ｎｅｕｒａｌ Ｃｏｍｐｕｔ．，ｖｏｌ．９，Ｎｏ．８，ｐｐ．１７３５−１７８０，１９９７．
［８］Ｇ．Ｅ．Ｈｉｎｔｏｎ，Ｓ．Ｏｓｉｎｄｅｒｏ，ａｎｄ Ｙ．Ｗ．Ｔｅｈ，“Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓ，”Ｎｅｕｒａｌ Ｃｏｍｐｕｔ．，ｖｏｌ．１８，Ｎｏ．７，ｐｐ．１５２７−１５５４，２００６．
［９］Ｄ．Ｃａｓｔａｎｏ−Ｄｉｅｚ，Ｄ．Ｍｏｓｅｒ，Ａ．Ｓｃｈｏｅｎｅｇｇｅｒ，Ｓ．Ｐｒｕｇｇｎａｌｌｅｒ，ａｎｄ Ａ．Ｓ．Ｆｒａｎｇａｋｉｓ，“Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｏｎ ｔｈｅ ＧＰＵ，”Ｊ．Ｓｔｒｕｃｔ．Ｂｉｏｌ．，ｖｏｌ．１６４，Ｎｏ．１，ｐｐ．１５３−１６０，２００８．
［１０］Ａ．Ｅｋｌｕｎｄ，Ｐ．Ｄｕｆｏｒｔ，Ｄ．Ｆｏｒｓｂｅｒｇ，ａｎｄ Ｓ．Ｍ．ＬａＣｏｎｔｅ，“Ｍｅｄｉｃａｌ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｏｎ ｔｈｅ ＧＰＵ−Ｐａｓｔ，ｐｒｅｓｅｎｔ ａｎｄ ｆｕｔｕｒｅ，”Ｍｅｄ．Ｉｍａｇｅ Ａｎａｌ．，ｖｏｌ．１７，Ｎｏ．８，ｐｐ．１０７３−９４，２０１３．
［１１］Ｂ．ｖａｎ Ｇｉｎｎｅｋｅｎ，Ｃ．Ｍ．Ｓｃｈａｅｆｅｒ−Ｐｒｏｋｏｐ，ａｎｄ Ｍ．Ｐｒｏｋｏｐ，“Ｃｏｍｐｕｔｅｒａｉｄｅｄ ｄｉａｇｎｏｓｉｓ：Ｈｏｗ ｔｏ ｍｏｖｅ ｆｒｏｍ ｔｈｅ ｌａｂｏｒａｔｏｒｙ ｔｏ ｔｈｅ ｃｌｉｎｉｃ，”Ｒａｄｉｏｌ．，ｖｏｌ．２６１，Ｎｏ．３，ｐｐ．７１９−７３２，２０１１．
［１２］Ａ．Ｓｅｔｉｏ ｅｔ ａｌ．，“Ｐｕｌｍｏｎａｒｙ ｎｏｄｕｌｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ＣＴ ｉｍａｇｅｓ ｕｓｉｎｇ ｍｕｌｔｉｖｉｅｗ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１６０−１１６９，Ｍａｙ ２０１６．
［１３］Ｈ．Ｒｏｔｈ ｅｔ ａｌ．，“Ｉｍｐｒｏｖｉｎｇ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｒａｎｄｏｍ ｖｉｅｗ ａｇｇｒｅｇａｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１７０−１１８１，Ｍａｙ ２０１６．
［１４］Ｑ．Ｄｏｕ ｅｔ ａｌ．，“Ａｕｔｏｍａｔｉｃ ｄｅｔｅｃｔｉｏｎ ｏｆ ｃｅｒｅｂｒａｌ ｍｉｃｒｏｂｌｅｅｄｓ ｆｒｏｍ ＭＲ ｉｍａｇｅｓ ｖｉａ ３Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１８２−１１９５，Ｍａｙ ２０１６．
［１５］Ｋ．Ｓｉｒｉｎｕｋｕｎｗａｔｔａｎａ ｅｔ ａｌ．，“Ｌｏｃａｌｉｔｙ ｓｅｎｓｉｔｉｖｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｎｕｃｌｅｉ ｉｎ ｒｏｕｔｉｎｅ ｃｏｌｏｎ ｃａｎｃｅｒ ｈｉｓｔｏｌｏｇｙ ｉｍａｇｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１９６−１２０６，Ｍａｙ ２０１６．
［１６］Ｍ．Ａｎｔｈｉｍｏｐｏｕｌｏｓ，Ｓ．Ｃｈｒｉｓｔｏｄｏｕｌｉｄｉｓ，Ａ．Ｃｈｒｉｓｔｅ，ａｎｄ Ｓ．Ｍｏｕｇｉａｋａｋｏｕ，“Ｌｕｎｇ ｐａｔｔｅｒｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ ｉｎｔｅｒｓｔｉｔｉａｌ ｌｕｎｇ ｄｉｓｅａｓｅｓ ｕｓｉｎｇ ａ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２０７−１２１６，Ｍａｙ ２０１６．
［１７］Ｈ．−Ｃ．Ｓｈｉｎ ｅｔ ａｌ．，“Ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｃｏｍｐｕｔｅｒａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ： ＣＮＮ ａｒｃｈｉｔｅｃｔｕｒｅｓ， ｄａｔａｓｅｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ａｎｄ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２８５−１２９８，Ｍａｙ ２０１６．
［１８］Ｇ．ｖａｎ Ｔｕｌｄｅｒ ａｎｄ Ｍ．ｄｅ Ｂｒｕｉｊｎｅ，“Ｃｏｍｂｉｎｉｎｇ ｇｅｎｅｒａｔｉｖｅ ａｎｄ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｉｎ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２６２−１２７２，Ｍａｙ ２０１６．
［１９］Ａ．Ｄｅｐｅｕｒｓｉｎｇｅ ｅｔ ａｌ．，Ｃｏｍｐｕｔ．Ｍｅｄ．Ｉｍａｇ．Ｇｒａｐｈ．，ｖｏｌ．３６，Ｎｏ．３，ｐｐ．２２７−２３８，２０１２．
［２０］Ｆ．Ｇｈｅｓｕ ｅｔ ａｌ．，“Ｍａｒｇｉｎａｌ ｓｐａｃｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ：Ｅｆｆｉｃｉｅｎｔ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｖｏｌｕｍｅｔｒｉｃ ｉｍａｇｅ ｐａｒｓｉｎｇ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２１７−１２２８，Ｍａｙ ２０１６．
［２１］Ｔ．Ｂｒｏｓｃｈ ｅｔ ａｌ．，“Ｄｅｅｐ ３Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｅｎｃｏｄｅｒ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｓｈｏｒｔｃｕｔｓ ｆｏｒ ｍｕｌｔｉｓｃａｌｅ ｆｅａｔｕｒｅ ｉｎｔｅｇｒａｔｉｏｎ ａｐｐｌｉｅｄ ｔｏ ｍｕｌｔｉｐｌｅ ｓｃｌｅｒｏｓｉｓ ｌｅｓｉｏｎ ｓｅｇｍｅｎｔａｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２２９−１２３９，Ｍａｙ ２０１６．
［２２］Ｓ．Ｐｅｒｅｉｒａ，Ａ．Ｐｉｎｔｏ，Ｖ．Ａｌｖｅｓ，ａｎｄ Ｃ．Ｓｉｌｖａ，“Ｂｒａｉｎ ｔｕｍｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｉｎ ＭＲＩ ｉｍａｇｅｓ，” ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２４０−１２５１，Ｍａｙ ２０１６．
［２３］Ｐ．Ｍｏｅｓｋｏｐｓ ｅｔ ａｌ．，“Ａｕｔｏｍａｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ＭＲ ｂｒａｉｎ ｉｍａｇｅｓ ｗｉｔｈ ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２５２−１２６１，Ｍａｙ ２０１６．
［２４］Ｍ．ｖａｎ Ｇｒｉｎｓｖｅｎ，Ｂ．ｖａｎ Ｇｉｎｎｅｋｅｎ，Ｃ．Ｈｏｙｎｇ，Ｔ．Ｔｈｅｅｌｅｎ，ａｎｄ Ｃ．Ｓaｎｃｈｅｚ，“Ｆａｓｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｔｒａｉｎｉｎｇ ｕｓｉｎｇ ｓｅｌｅｃｔｉｖｅ ｄａｔａ ｓａｍｐｌｉｎｇ： Ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｈｅｍｏｒｒｈａｇｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｃｏｌｏｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２７３−１２８４，Ｍａｙ ２０１６．
［２５］Ｙ．Ｂａｒ，Ｉ．Ｄｉａｍａｎｔ，Ｌ．Ｗｏｌｆ，ａｎｄ Ｈ．Ｇｒｅｅｎｓｐａｎ，“Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｎｏｎ−ｍｅｄｉｃａｌ ｔｒａｉｎｉｎｇ ｕｓｅｄ ｆｏｒ ｃｈｅｓｔ ｐａｔｈｏｌｏｇｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，”Ｐｒｏｃ．ＳＰＩＥ Ｍｅｄ．Ｉｍａｇ．Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，ｖｏｌ．９４１４，２０１５．
［２６］Ｙ．Ｂａｒ，Ｉ．Ｄｉａｍａｎｔ，Ｌ．Ｗｏｌｆ，Ｓ．Ｌｉｅｂｅｒｍａｎ，Ｅ．Ｋｏｎｅｎ，ａｎｄ Ｈ．Ｇｒｅｅｎｓｐａｎ，“Ｃｈｅｓｔ ｐａｔｈｏｌｏｇｙ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｎｏｎ−ｍｅｄｉｃａｌ ｔｒａｉｎｉｎｇ，”ｉｎ Ｐｒｏｃ．ＩＥＥＥ １２ｔｈ Ｉｎｔ．Ｓｙｍｐ．Ｂｉｏｍｅｄ．Ｉｍａｇ．，２０１５，ｐｐ．２９４−２９７．
［２７］Ｂ．ｖａｎ Ｇｉｎｎｅｋｅｎ，Ａ．Ａ．Ｓｅｔｉｏ，Ｃ．Ｊａｃｏｂｓ，ａｎｄ Ｆ．Ｃｉｏｍｐｉ，“Ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅｓ ｆｏｒ ｐｕｌｍｏｎａｒｙ ｎｏｄｕｌｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ｓｃａｎｓ，”ｉｎ Ｐｒｏｃ．ＩＥＥＥ １２ｔｈ Ｉｎｔ．Ｓｙｍｐ．Ｂｉｏｍｅｄ．Ｉｍａｇ．，２０１５，ｐｐ．２８６−２８９．
［２８］Ｎ．Ｔａｊｂａｋｈｓｈ ｅｔ ａｌ．，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｅｄｉｃａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ： Ｆｕｌｌ ｔｒａｉｎｉｎｇ ｏｒ ｆｉｎｅ ｔｕｎｉｎｇ？，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２９９−１３１２，Ｍａｙ ２０１６．
［２９］Ｔ．Ｂ．Ｎｇｕｙｅｎ ｅｔ ａｌ．，“Ｄｉｓｔｒｉｂｕｔｅｄ ｈｕｍａｎ ｉｎｔｅｌｌｉｇｅｎｃｅ ｆｏｒ ｃｏｌｏｎｉｃ ｐｏｌｙｐ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｎ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ＣＴ ｃｏｌｏｎｏｇｒａｐｈｙ，”Ｒａｄｉｏｌｏｇｙ，ｖｏｌ．２６２，Ｎｏ．３，ｐｐ．８２４−８３３，２０１２．
［３０］Ｍ．Ｔ．ＭｃＫｅｎｎａ ｅｔ ａｌ．，“Ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｉｍｐｒｏｖｅｄ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎｓ ｆｏｒ ＣＴ ｃｏｌｏｎｏｇｒａｐｈｙ ｕｔｉｌｉｚｉｎｇ ｄｉｓｔｒｉｂｕｔｅｄ ｈｕｍａｎ ｉｎｔｅｌｌｉｇｅｎｃｅ，”Ｍｅｄ．Ｉｍａｇｅ Ａｎａｌ．，Ｎｏ．６，ｐｐ．１２８０−１２９２，２０１２．
［３１］Ｓ．Ａｌｂａｒｑｏｕｎｉ，Ｃ．Ｂａｕｒ，Ｆ．Ａｃｈｉｌｌｅｓ，Ｖ．Ｂｅｌａｇｉａｎｎｉｓ，Ｓ．Ｄｅｍｉｒｃｉ，ａｎｄ Ｎ．Ｎａｖａｂ， “Ａｇｇ−Ｎｅｔ：Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｒｏｍ ｃｒｏｗｄｓ ｆｏｒ ｍｉｔｏｓｉｓ ｄｅｔｅｃｔｉｏｎ ｉｎ ｂｒｅａｓｔ ｃａｎｃｅｒ ｈｉｓｔｏｌｏｇｙ ｉｍａｇｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３１３−１３２１，Ｍａｙ ２０１６．
［３２］Ｍ．Ｋａｌｌｅｎｂｅｒｇ ｅｔ ａｌ．，“Ｕｎｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｂｒｅａｓｔ ｄｅｎｓｉｔｙ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｍａｍｍｏｇｒａｐｈｉｃ ｒｉｓｋ ｓｃｏｒｉｎｇ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３２２−１３３１，Ｍａｙ ２０１６．
［３３］Ｚ．Ｙａｎ ｅｔ ａｌ．，“Ｍｕｌｔｉ−ｉｎｓｔａｎｃｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ： Ｄｉｓｃｏｖｅｒ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｌｏｃａｌ ａｎａｔｏｍｉｅｓ ｆｏｒ ｂｏｄｙｐａｒｔ ｒｅｃｏｇｎｉｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３３２−１３４３，Ｍａｙ ２０１６．
［３４］Ｓ．Ｍｉａｏ，Ｚ．Ｊ．Ｗａｎｇ，ａｎｄ Ｒ．Ｌｉａｏ，“Ａ ＣＮＮ ｒｅｇｒｅｓｓｉｏｎ ａｐｐｒｏａｃｈ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ２Ｄ／３Ｄ ｒｅｇｉｓｔｒａｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３５２−１３６３，Ｍａｙ ２０１６．
［３５］ Ｖ．Ｇｏｌｋｏｖ ｅｔ ａｌ．，“ｑ−Ｓｐａｃｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ： Ｔｗｅｌｖｅ−ｆｏｌｄ ｓｈｏｒｔｅｒ ａｎｄ ｍｏｄｅｌ ｆｒｅｅ ｄｉｆｆｕｓｉｏｎ ＭＲＩ ｓｃａｎｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３４４−１３５１，Ｍａｙ ２０１６．
［３６］Ｋ．Ｈｅ，Ｘ．Ｚｈａｎｇ，Ｓ．Ｒｅｎ，ａｎｄ Ｊ．Ｓｕｎ，Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ＡｒＸｉｖ，２０１５，ａｒＸｉｖ：１５１２．０３３８５，ｔｏ ｂｅ ｐｕｂｌｉｓｈｅｄ
［３７］Ｈ．Ｒ．Ｒｏｔｈ ｅｔ ａｌ．，“Ａ ｎｅｗ ２．５ ｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｌｙｍｐｈ ｎｏｄｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ＣＴ，”Ｃａｎｃｅｒ Ｉｍａｇ．Ａｒｃｈ．，２０１５ ｄｘ．ｄｏｉ．ｏｒｇ／１０．７９３７／Ｋ９／ＴＣＩＡ．２０１５．ＡＱＩＩＤＣＮＭ
［３８］Ｈ．Ｒ．Ｒｏｔｈ ｅｔ ａｌ．，“Ｄａｔａ ｆｒｏｍ ｐａｎｃｒｅａｓ−ＣＴ，”Ｃａｎｃｅｒ Ｉｍａｇ．Ａｒｃｈ．，２０１６［Ｏｎｌｉｎｅ］．Ａｖａｉｌａｂｌｅ：ｄｘ．ｄｏｉ．ｏｒｇ／１０．７９３７／Ｋ９／ＴＣＩＡ．２０１６．ｔＮＢ１ｋｑＢＵ
［１］ＭＩＴ Ｔｅｃｈｎｏｌ．Ｒｅｖ．，２０１３．Ａｖａｉｌａｂｌｅ：ｗｗｗ．ｔｅｃｈｎｏｌｏｇｙｒｅｖｉｅｗ．ｃｏｍ／ｓ／５１３６９６／ｄｅｅｐ−ｌｅａｒｎｉｎｇ
［２］Ｙ．ＬｅＣｕｎ，Ｙ．Ｂｅｎｇｉｏ，ａｎｄ Ｇ．Ｈｉｎｔｏｎ，“Ｄｅｅｐ ｌｅａｒｎｉｎｇ，”Ｎａｔｕｒｅ，ｖｏｌ．５２１，Ｎｏ．７５５３，ｐｐ．４３６−４４４，２０１５．
［３］Ｊ．Ｓｃｈｍｉｄｈｕｂｅｒ，“Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ：Ａｎ ｏｖｅｒｖｉｅｗ，”Ｎｅｕｒａｌ Ｎｅｔｗ．，ｖｏｌ．６１，ｐｐ．８５−１１７，２０１５．
［４］Ｂ．Ｓａｈｉｎｅｒ ｅｔ ａｌ．，“Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｍａｓｓ ａｎｄ ｎｏｒｍａｌ ｂｒｅａｓｔ ｔｉｓｓｕｅ：Ａ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｃｌａｓｓｉｆｉｅｒ ｗｉｔｈ ｓｐａｔｉａｌ ｄｏｍａｉｎ ａｎｄ ｔｅｘｔｕｒｅ ｉｍａｇｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．１５，Ｎｏ．５，ｐｐ．５９８−６１０，Ｏｃｔ．１９９６．
［５］Ｓ．Ｃ．Ｂ．Ｌｏ，Ｊ．Ｓ．Ｊ．Ｌｉｎ，Ｍ．Ｔ．Ｆｒｅｅｄｍａｎ，ａｎｄ Ｓ．Ｋ．Ｍｕｎ，“Ｃｏｍｐｕｔｅｒａｓｓｉｓｔｅｄ ｄｉａｇｎｏｓｉｓ ｏｆ ｌｕｎｇ ｎｏｄｕｌｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ−ｎｅｔｗｏｒｋ，”Ｐｒｏｃ．ＳＰＩＥ Ｍｅｄ．Ｉｍａｇ．，Ｉｍａｇｅ Ｐｒｏｃｅｓｓ．，ｖｏｌ．１８９８，ｐｐ．８５９−８６９，１９９３．
［６］Ｈ．−Ｐ．Ｃｈａｎ，Ｓ．−Ｃ．Ｌｏ，Ｂ．Ｓａｈｉｎｅｒ，Ｋ．Ｌ．Ｌａｍ，ａｎｄ Ｍ．Ａ．Ｈｅｌｖｉｅ，“Ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ ｏｆ ｍａｍｍｏｇｒａｐｈｉｃ ｍｉｃｒｏｃａｌｃｉｆｉｃａｔｉｏｎｓ：Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ ａｎ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，”Ｍｅｄ．Ｐｈｙｓ．，ｖｏｌ．２２，Ｎｏ．１０，ｐｐ．１５５５−６７，１９９５．
［７］Ｓ．Ｈｏｃｈｒｅｉｔｅｒ ａｎｄ Ｊ．Ｓｃｈｍｉｄｈｕｂｅｒ，“Ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ，”Ｎｅｕｒａｌ Ｃｏｍｐｕｔ．，ｖｏｌ．９，Ｎｏ．８，ｐｐ．１７３５−１７８０，１９９７．
［８］Ｇ．Ｅ．Ｈｉｎｔｏｎ，Ｓ．Ｏｓｉｎｄｅｒｏ，ａｎｄ Ｙ．Ｗ．Ｔｅｈ，“Ａ ｆａｓｔ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｓ，”Ｎｅｕｒａｌ Ｃｏｍｐｕｔ．，ｖｏｌ．１８，Ｎｏ．７，ｐｐ．１５２７−１５５４，２００６．
［９］Ｄ．Ｃａｓｔａｎｏ−Ｄｉｅｚ，Ｄ．Ｍｏｓｅｒ，Ａ．Ｓｃｈｏｅｎｅｇｇｅｒ，Ｓ．Ｐｒｕｇｇｎａｌｌｅｒ，ａｎｄ Ａ．Ｓ．Ｆｒａｎｇａｋｉｓ，“Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｏｎ ｔｈｅ ＧＰＵ，”Ｊ．Ｓｔｒｕｃｔ．Ｂｉｏｌ．，ｖｏｌ．１６４，Ｎｏ．１，ｐｐ．１５３−１６０，２００８．
［１０］Ａ．Ｅｋｌｕｎｄ，Ｐ．Ｄｕｆｏｒｔ，Ｄ．Ｆｏｒｓｂｅｒｇ，ａｎｄ Ｓ．Ｍ．ＬａＣｏｎｔｅ，“Ｍｅｄｉｃａｌ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｏｎ ｔｈｅ ＧＰＵ−Ｐａｓｔ，ｐｒｅｓｅｎｔ ａｎｄ ｆｕｔｕｒｅ，”Ｍｅｄ．Ｉｍａｇｅ Ａｎａｌ．，ｖｏｌ．１７，Ｎｏ．８，ｐｐ．１０７３−９４，２０１３．
［１１］Ｂ．ｖａｎ Ｇｉｎｎｅｋｅｎ，Ｃ．Ｍ．Ｓｃｈａｅｆｅｒ−Ｐｒｏｋｏｐ，ａｎｄ Ｍ．Ｐｒｏｋｏｐ，“Ｃｏｍｐｕｔｅｒａｉｄｅｄ ｄｉａｇｎｏｓｉｓ：Ｈｏｗ ｔｏ ｍｏｖｅ ｆｒｏｍ ｔｈｅ ｌａｂｏｒａｔｏｒｙ ｔｏ ｔｈｅ ｃｌｉｎｉｃ，”Ｒａｄｉｏｌ．，ｖｏｌ．２６１，Ｎｏ．３，ｐｐ．７１９−７３２，２０１１．
［１２］Ａ．Ｓｅｔｉｏ ｅｔ ａｌ．，“Ｐｕｌｍｏｎａｒｙ ｎｏｄｕｌｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ＣＴ ｉｍａｇｅｓ ｕｓｉｎｇ ｍｕｌｔｉｖｉｅｗ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１６０−１１６９，Ｍａｙ ２０１６．
［１３］Ｈ．Ｒｏｔｈ ｅｔ ａｌ．，“Ｉｍｐｒｏｖｉｎｇ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｒａｎｄｏｍ ｖｉｅｗ ａｇｇｒｅｇａｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１７０−１１８１，Ｍａｙ ２０１６．
［１４］Ｑ．Ｄｏｕ ｅｔ ａｌ．，“Ａｕｔｏｍａｔｉｃ ｄｅｔｅｃｔｉｏｎ ｏｆ ｃｅｒｅｂｒａｌ ｍｉｃｒｏｂｌｅｅｄｓ ｆｒｏｍ ＭＲ ｉｍａｇｅｓ ｖｉａ ３Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１８２−１１９５，Ｍａｙ ２０１６．
［１５］Ｋ．Ｓｉｒｉｎｕｋｕｎｗａｔｔａｎａ ｅｔ ａｌ．，“Ｌｏｃａｌｉｔｙ ｓｅｎｓｉｔｉｖｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｎｕｃｌｅｉ ｉｎ ｒｏｕｔｉｎｅ ｃｏｌｏｎ ｃａｎｃｅｒ ｈｉｓｔｏｌｏｇｙ ｉｍａｇｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１１９６−１２０６，Ｍａｙ ２０１６．
［１６］Ｍ．Ａｎｔｈｉｍｏｐｏｕｌｏｓ，Ｓ．Ｃｈｒｉｓｔｏｄｏｕｌｉｄｉｓ，Ａ．Ｃｈｒｉｓｔｅ，ａｎｄ Ｓ．Ｍｏｕｇｉａｋａｋｏｕ，“Ｌｕｎｇ ｐａｔｔｅｒｎ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ ｉｎｔｅｒｓｔｉｔｉａｌ ｌｕｎｇ ｄｉｓｅａｓｅｓ ｕｓｉｎｇ ａ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２０７−１２１６，Ｍａｙ ２０１６．
［１７］Ｈ．−Ｃ．Ｓｈｉｎ ｅｔ ａｌ．，“Ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｃｏｍｐｕｔｅｒａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ： ＣＮＮ ａｒｃｈｉｔｅｃｔｕｒｅｓ， ｄａｔａｓｅｔ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ａｎｄ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２８５−１２９８，Ｍａｙ ２０１６．
［１８］Ｇ．ｖａｎ Ｔｕｌｄｅｒ ａｎｄ Ｍ．ｄｅ Ｂｒｕｉｊｎｅ，“Ｃｏｍｂｉｎｉｎｇ ｇｅｎｅｒａｔｉｖｅ ａｎｄ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｉｎ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２６２−１２７２，Ｍａｙ ２０１６．
［１９］Ａ．Ｄｅｐｅｕｒｓｉｎｇｅ ｅｔ ａｌ．，Ｃｏｍｐｕｔ．Ｍｅｄ．Ｉｍａｇ．Ｇｒａｐｈ．，ｖｏｌ．３６，Ｎｏ．３，ｐｐ．２２７−２３８，２０１２．
［２０］Ｆ．Ｇｈｅｓｕ ｅｔ ａｌ．，“Ｍａｒｇｉｎａｌ ｓｐａｃｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ：Ｅｆｆｉｃｉｅｎｔ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｖｏｌｕｍｅｔｒｉｃ ｉｍａｇｅ ｐａｒｓｉｎｇ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２１７−１２２８，Ｍａｙ ２０１６．
［２１］Ｔ．Ｂｒｏｓｃｈ ｅｔ ａｌ．，“Ｄｅｅｐ ３Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｅｎｃｏｄｅｒ ｎｅｔｗｏｒｋｓ ｗｉｔｈ ｓｈｏｒｔｃｕｔｓ ｆｏｒ ｍｕｌｔｉｓｃａｌｅ ｆｅａｔｕｒｅ ｉｎｔｅｇｒａｔｉｏｎ ａｐｐｌｉｅｄ ｔｏ ｍｕｌｔｉｐｌｅ ｓｃｌｅｒｏｓｉｓ ｌｅｓｉｏｎ ｓｅｇｍｅｎｔａｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２２９−１２３９，Ｍａｙ ２０１６．
［２２］Ｓ．Ｐｅｒｅｉｒａ，Ａ．Ｐｉｎｔｏ，Ｖ．Ａｌｖｅｓ，ａｎｄ Ｃ．Ｓｉｌｖａ，“Ｂｒａｉｎ ｔｕｍｏｒ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｉｎ ＭＲＩ ｉｍａｇｅｓ，” ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２４０−１２５１，Ｍａｙ ２０１６．
［２３］Ｐ．Ｍｏｅｓｋｏｐｓ ｅｔ ａｌ．，“Ａｕｔｏｍａｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ＭＲ ｂｒａｉｎ ｉｍａｇｅｓ ｗｉｔｈ ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２５２−１２６１，Ｍａｙ ２０１６．
［２４］Ｍ．ｖａｎ Ｇｒｉｎｓｖｅｎ，Ｂ．ｖａｎ Ｇｉｎｎｅｋｅｎ，Ｃ．Ｈｏｙｎｇ，Ｔ．Ｔｈｅｅｌｅｎ，ａｎｄ Ｃ．Ｓaｎｃｈｅｚ，“Ｆａｓｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｔｒａｉｎｉｎｇ ｕｓｉｎｇ ｓｅｌｅｃｔｉｖｅ ｄａｔａ ｓａｍｐｌｉｎｇ： Ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｈｅｍｏｒｒｈａｇｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｃｏｌｏｒ ｆｕｎｄｕｓ ｉｍａｇｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２７３−１２８４，Ｍａｙ ２０１６．
［２５］Ｙ．Ｂａｒ，Ｉ．Ｄｉａｍａｎｔ，Ｌ．Ｗｏｌｆ，ａｎｄ Ｈ．Ｇｒｅｅｎｓｐａｎ，“Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｎｏｎ−ｍｅｄｉｃａｌ ｔｒａｉｎｉｎｇ ｕｓｅｄ ｆｏｒ ｃｈｅｓｔ ｐａｔｈｏｌｏｇｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，”Ｐｒｏｃ．ＳＰＩＥ Ｍｅｄ．Ｉｍａｇ．Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，ｖｏｌ．９４１４，２０１５．
［２６］Ｙ．Ｂａｒ，Ｉ．Ｄｉａｍａｎｔ，Ｌ．Ｗｏｌｆ，Ｓ．Ｌｉｅｂｅｒｍａｎ，Ｅ．Ｋｏｎｅｎ，ａｎｄ Ｈ．Ｇｒｅｅｎｓｐａｎ，“Ｃｈｅｓｔ ｐａｔｈｏｌｏｇｙ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｗｉｔｈ ｎｏｎ−ｍｅｄｉｃａｌ ｔｒａｉｎｉｎｇ，”ｉｎ Ｐｒｏｃ．ＩＥＥＥ １２ｔｈ Ｉｎｔ．Ｓｙｍｐ．Ｂｉｏｍｅｄ．Ｉｍａｇ．，２０１５，ｐｐ．２９４−２９７．
［２７］Ｂ．ｖａｎ Ｇｉｎｎｅｋｅｎ，Ａ．Ａ．Ｓｅｔｉｏ，Ｃ．Ｊａｃｏｂｓ，ａｎｄ Ｆ．Ｃｉｏｍｐｉ，“Ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｅａｔｕｒｅｓ ｆｏｒ ｐｕｌｍｏｎａｒｙ ｎｏｄｕｌｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ ｓｃａｎｓ，”ｉｎ Ｐｒｏｃ．ＩＥＥＥ １２ｔｈ Ｉｎｔ．Ｓｙｍｐ．Ｂｉｏｍｅｄ．Ｉｍａｇ．，２０１５，ｐｐ．２８６−２８９．
［２８］Ｎ．Ｔａｊｂａｋｈｓｈ ｅｔ ａｌ．，“Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｅｄｉｃａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ： Ｆｕｌｌ ｔｒａｉｎｉｎｇ ｏｒ ｆｉｎｅ ｔｕｎｉｎｇ？，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１２９９−１３１２，Ｍａｙ ２０１６．
［２９］Ｔ．Ｂ．Ｎｇｕｙｅｎ ｅｔ ａｌ．，“Ｄｉｓｔｒｉｂｕｔｅｄ ｈｕｍａｎ ｉｎｔｅｌｌｉｇｅｎｃｅ ｆｏｒ ｃｏｌｏｎｉｃ ｐｏｌｙｐ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｎ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ＣＴ ｃｏｌｏｎｏｇｒａｐｈｙ，”Ｒａｄｉｏｌｏｇｙ，ｖｏｌ．２６２，Ｎｏ．３，ｐｐ．８２４−８３３，２０１２．
［３０］Ｍ．Ｔ．ＭｃＫｅｎｎａ ｅｔ ａｌ．，“Ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｉｍｐｒｏｖｅｄ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ ｏｆ ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｔｅｃｔｉｏｎｓ ｆｏｒ ＣＴ ｃｏｌｏｎｏｇｒａｐｈｙ ｕｔｉｌｉｚｉｎｇ ｄｉｓｔｒｉｂｕｔｅｄ ｈｕｍａｎ ｉｎｔｅｌｌｉｇｅｎｃｅ，”Ｍｅｄ．Ｉｍａｇｅ Ａｎａｌ．，Ｎｏ．６，ｐｐ．１２８０−１２９２，２０１２．
［３１］Ｓ．Ａｌｂａｒｑｏｕｎｉ，Ｃ．Ｂａｕｒ，Ｆ．Ａｃｈｉｌｌｅｓ，Ｖ．Ｂｅｌａｇｉａｎｎｉｓ，Ｓ．Ｄｅｍｉｒｃｉ，ａｎｄ Ｎ．Ｎａｖａｂ， “Ａｇｇ−Ｎｅｔ：Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｒｏｍ ｃｒｏｗｄｓ ｆｏｒ ｍｉｔｏｓｉｓ ｄｅｔｅｃｔｉｏｎ ｉｎ ｂｒｅａｓｔ ｃａｎｃｅｒ ｈｉｓｔｏｌｏｇｙ ｉｍａｇｅｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３１３−１３２１，Ｍａｙ ２０１６．
［３２］Ｍ．Ｋａｌｌｅｎｂｅｒｇ ｅｔ ａｌ．，“Ｕｎｓｕｐｅｒｖｉｓｅｄ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｂｒｅａｓｔ ｄｅｎｓｉｔｙ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｍａｍｍｏｇｒａｐｈｉｃ ｒｉｓｋ ｓｃｏｒｉｎｇ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３２２−１３３１，Ｍａｙ ２０１６．
［３３］Ｚ．Ｙａｎ ｅｔ ａｌ．，“Ｍｕｌｔｉ−ｉｎｓｔａｎｃｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ： Ｄｉｓｃｏｖｅｒ ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｌｏｃａｌ ａｎａｔｏｍｉｅｓ ｆｏｒ ｂｏｄｙｐａｒｔ ｒｅｃｏｇｎｉｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３３２−１３４３，Ｍａｙ ２０１６．
［３４］Ｓ．Ｍｉａｏ，Ｚ．Ｊ．Ｗａｎｇ，ａｎｄ Ｒ．Ｌｉａｏ，“Ａ ＣＮＮ ｒｅｇｒｅｓｓｉｏｎ ａｐｐｒｏａｃｈ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ２Ｄ／３Ｄ ｒｅｇｉｓｔｒａｔｉｏｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３５２−１３６３，Ｍａｙ ２０１６．
［３５］ Ｖ．Ｇｏｌｋｏｖ ｅｔ ａｌ．，“ｑ−Ｓｐａｃｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ： Ｔｗｅｌｖｅ−ｆｏｌｄ ｓｈｏｒｔｅｒ ａｎｄ ｍｏｄｅｌ ｆｒｅｅ ｄｉｆｆｕｓｉｏｎ ＭＲＩ ｓｃａｎｓ，”ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇ．，ｖｏｌ．３５，Ｎｏ．５，ｐｐ．１３４４−１３５１，Ｍａｙ ２０１６．
［３６］Ｋ．Ｈｅ，Ｘ．Ｚｈａｎｇ，Ｓ．Ｒｅｎ，ａｎｄ Ｊ．Ｓｕｎ，Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ＡｒＸｉｖ，２０１５，ａｒＸｉｖ：１５１２．０３３８５，ｔｏ ｂｅ ｐｕｂｌｉｓｈｅｄ
［３７］Ｈ．Ｒ．Ｒｏｔｈ ｅｔ ａｌ．，“Ａ ｎｅｗ ２．５ ｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ ｌｙｍｐｈ ｎｏｄｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ＣＴ，”Ｃａｎｃｅｒ Ｉｍａｇ．Ａｒｃｈ．，２０１５ ｄｘ．ｄｏｉ．ｏｒｇ／１０．７９３７／Ｋ９／ＴＣＩＡ．２０１５．ＡＱＩＩＤＣＮＭ
［３８］Ｈ．Ｒ．Ｒｏｔｈ ｅｔ ａｌ．，“Ｄａｔａ ｆｒｏｍ ｐａｎｃｒｅａｓ−ＣＴ，”Ｃａｎｃｅｒ Ｉｍａｇ．Ａｒｃｈ．，２０１６［Ｏｎｌｉｎｅ］．Ａｖａｉｌａｂｌｅ：ｄｘ．ｄｏｉ．ｏｒｇ／１０．７９３７／Ｋ９／ＴＣＩＡ．２０１６．ｔＮＢ１ｋｑＢＵ
（参照）Ｕ．Ｓ．５７８４１６２；６０８８０９９；６１９８５３２；６２７６７９８；６４１９３６１；６５５６８５３；６８９５２６４；６９４３１５３；６９９２７７５；７４３３５３２；７４７４７７５；７７１２８９８；７９３１９０２；８０９８９０７；８１１４８４３；８１９４９３６；８２０７３９６；８３０３１１５；８３０９３５０；８３４０４３７；８７０５８２６；８７８７６３８；８８７９８１３；８８８５９０１；８８９６６８２；９００２０８５；９００８３９１；９０９７７０７；９５４５１９６；２００１００３３３６４；２００２００５２５５１；２００２０１９４６３０；２００３０１２９１６４；２００４０２２１８５５；２００４０２５４１５４；２００６０２５７０３１；２００７０１２８６６２；２００８０１２４３４４；２０１０００６１６０１；２０１００１７２８７１；２０１００２２０９０６；２０１００３０２５０７；２０１１００９７３３０；２０１１０１７３７０８；２０１１０２４２３０６；２０１２０１９００９４；２０１２０２５７１６４；２０１２０２７２３４１；２０１３０１０８１３１；２０１３０１１６６７０；２０１３０１３７１１３；２０１３０３０１８８９；２０１４００２３６９２；２０１４０１９９２７７；２０１４０２７６０２５；２０１５０１１０３４８；２０１５０１１０３６８；２０１５０１１０３７０；２０１５０１１０３７２；２０１５０１２４２１６；２０１５０２２４１９３；２０１５０２３８７６７；２０１５０３７９７０８；２０１６０１２０４０４；２０１６０２１７５８６；２０１７００３９４１２；２０１７００３９６８９；２０１７００４６６１６
本発明は、１つ以上の血管画像に基づいて、血管疾患の存在を自動で推定するシステムおよび方法を提供する。画像は好ましくは眼底画像である。したがって、血管疾患は網膜疾患、または網膜症となる。この技術の適用対象としては、特にＤＲのスクリーニングが挙げられる。
基本的な手段は網膜画像に限られない。ただし、眼底画像における網膜血管系の視認性は、本技術にとって特に好ましい。しかし、その他血管系および微小血管系も分析の対象となる。例えば各種条件下で、保粘膜および舌下粘膜の毛細血管、超粘膜、強膜等が撮像されてもよい。
網膜症は以下の通りに診断され得る。（Ｈ３５．０）高血圧網膜症−長期高血圧による血管破裂ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈｙｐｅｒｔｅｎｓｉｖｅ＿ｒｅｔｉｎｏｐａｔｈｙ；（Ｈ３５．０／Ｅ１０−Ｅ１４）糖尿病性網膜症−糖尿病の合併症で生じる網膜の損傷。最終的に失明に至る可能性があるｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｄｉａｂｅｔｉｃ＿ｒｅｔｉｎｏｐａｔｈｙ；（Ｈ３５．０−Ｈ３５．２）網膜症−網膜の非炎症性損傷全般を指すｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎｏｐａｔｈｙ；（Ｈ３５．１）未熟児網膜症−未熟児瘢痕および網膜剥離の網膜症ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎｏｐａｔｈｙ＿ｏｆ＿ｐｒｅｍａｔｕｒｉｔｙ；（Ｈ３５．３）加齢黄斑変性−黄斑の光感受性細胞の機能不全で、時間が経つと機能しなくなる；（Ｈ３５．３）黄斑変性−黄斑変性による中心視力の喪失（例えば、ブルズアイ黄斑症、クロロキン網膜症ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｈｌｏｒｏｑｕｉｎｅ＿ｒｅｔｉｎｏｐａｔｈｙ）ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍａｃｕｌａｒ＿ｄｅｇｅｎｅｒａｔｉｏｎ；（Ｈ３５．３）網膜前膜−透明な層が張り、網膜上で収縮するｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｅｐｉｒｅｔｉｎａｌ＿ｍｅｍｂｒａｎｅ；（Ｈ３５．４）周辺部網膜変性ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌａｔｔｉｃｅ＿ｄｅｇｅｎｅｒａｔｉｏｎ；（Ｈ３５．５）遺伝性網膜ジストロフィｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｐｒｏｇｒｅｓｓｉｖｅ＿ｒｅｔｉｎａｌ＿ａｔｒｏｐｈｙ；（Ｈ３５．５）網膜色素変性症の遺伝的障害；夜盲症とその後の視野狭窄ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎｉｔｉｓ＿ｐｉｇｍｅｎｔｏｓａ；（Ｈ３５．６）網膜出血；（Ｈ３５．７）網膜層の分離ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎａｌ＿ｈａｅｍｏｒｒｈａｇｅ（例えば、中心性漿液性網膜症ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｅｎｔｒａｌ＿ｓｅｒｏｕｓ＿ｒｅｔｉｎｏｐａｔｈｙ，網膜剥離：網膜色素上皮の剥離ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎａｌ＿ｄｅｔａｃｈｍｅｎｔ）ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｒｅｔｉｎａ＃Ａｎａｔｏｍｙ＿ｏｆ＿ｖｅｒｔｅｂｒａｔｅ＿ｒｅｔｉｎａ；（Ｈ３５．８）その他の明示された網膜障害；（Ｈ３５．８１）黄斑浮腫−腫れ斑による中心視のゆがみｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍａｃｕｌａｒ＿ｅｄｅｍａ、（Ｈ３５．９）網膜障害、詳細不明。世界保健機関ＩＣＤ−１０コード：眼及び付属器の疾患（Ｈ００−Ｈ５９）。
画像は、様々な疾患に対して並行に分析されてもよい。例えば、訓練用データは、少なくとも綿花状白斑（浮腫を伴う網膜虚血の領域）、硬性白斑（脂肪沈着物）、微小動脈瘤（網膜上に小さな赤い点として現れる）、損傷した血管壁からの小さな炎上出血、血管新生（眼底での新血管形成の兆候）、糖尿病（水晶体の代謝を妨げる過剰なグルコース、およびその他の臨床徴候による早期白内障の原因ともなる）の兆候を符号化したものであってもよい。ｐａｔｉｅｎｔ．ｉｎｆｏ／ｄｏｃｔｏｒ／ｅｙｅ−ｉｎ−ｓｙｓｔｅｍｉｃ−ｄｉｓｅａｓｅ；ｗｗｗ．ｎｃｂｉ．ｎｌｍ．ｎｉｈ．ｇｏｖ／ｂｏｏｋｓ／ＮＢＫ２２１／を参照されたい。
より具体的には、本発明は、網膜眼底画像内のＤＲ病変の自動検出および位置特定ならびに網膜眼底画像のＤＲ自動分類のシステムおよび方法を含む。システムは、患者の眼底画像における専門家による領域の分類を示す訓練用データに基づいて、ＤＲを認識する。
いくつかの実施形態では、コンピュータにより実施される方法は、網膜画像を分析し、当該網膜画像内で関心領域を検出することを含む。いくつかの実施形態では、方法はさらに、１つ以上の関心領域の検出に基づいて、網膜画像を分類することを含む。
本技術は、網膜画像において自動で網膜症を検出するという課題に対する新たな手法を提供する。具体的には、人の専門家が網膜症を全てマーク付け（信頼性高いと認定されたアノテーション）した何千もの網膜写真が収集される。アノテーションは、医学的分類の領域評価や、画像品質であり得る。画像そのものが光学的原則に基づくので、画像品質は少なくとも一部、教師なしＮＮで判定されてもよい。ただし、場合によっては、人の専門家が関わったほうが好ましくあり得る。
アノテーションは、ＮＮ（ＣＮＮまたはＤＮＮであってもよい）の訓練に使用される。訓練用データの領域分類によって、本技術に係るネットワークは、分類されていなかった画像の各領域の分類を判定する。これは、全体的に未知の画像を分類する技術と対照的である。したがって、ＮＮそのものがラベルそしてラベル付けされるものの両方に、基本的に依存することが明らかである。
訓練用データは、領域分類がラベルとして関連付けられた網膜画像全体であってもよい。ただしこの場合、入力データ組の自由度が増してしまい、対応するネットワーク性能向上が得られないまま、問題が複雑化してしまい得る。即ち、網膜の一領域内の網膜症は、別の領域の網膜症に極めて類似しているため、訓練は領域単位に限定されない。当然、領域単位の訓練もあり得るので、本技術はこれを無視や否定することはなく、領域毎の推定でも十分な性能が実現できるとするものである。例えば、１０００×１０００入力画像は１０6画素を含み、簡略化しないと、ＮＮには、少なくとも１０6入力ニューロンが必要となる。一方、６４×６４画素領域でも病理特定に十分な精度が得られる上、この場合に必要な入力は少なくとも４０９６個で、約２５０分の１である。同様に、領域毎の推定により、領域間差分を処理するように設計されたネットワークの少なくとも隠れ層全体も低減可能となり得る。
処理前に、画像は色、輝度等に関して、決定論的統計またはルールベースのプロセスで正規化されてもよい。この正規化はＮＮ内で実現されてもよいが、ネットワークとは独立的に実現されてもよい。したがって、よりシンプルなネットワークが実現される。
場合によっては、領域は分割後にまたは分割処理の一環として正規化されてもよい。これにより、統計的またはルールベース処理により分割が実現可能である。この処理は、形状または空間以外に基づく領域間境界を構築できる。前述のように、ＮＮ前の正規化により、ＮＮをシンプルに実施できる。それでいて、ＮＮの正規化前特徴の学習量が低減できる。正規化処理により画像から抽出され得る特徴に対する専門家の判定を利用することで、正規化されていない特徴に対するＮＮの特異度を上げることができる。
各網膜画像は指紋同様、極めて個別性が高い。したがって、データセット内に、画像全体が完全一致するものは含まれない。しかし、この技術が処理対象とする初期疾患は、小さく、局地的（高解像度画像において、幅数画素）という特徴がある。事実、近年ようやくデジタル写真が臨床現場でのスクリーニングに利用されたのは、疾患の超初期兆候を視認可能となる程の解像度が近年ようやく実現されたためである。したがって、実際のデータセットは実際の網膜写真から得られた小パッチ組であり、本技術のシステムは、新たな画像からの小パッチを、データセットのパッチと比較する。
入力された新たな画像には以下の高次処理が施される。
カメラから元画像が受信され、円形マスクにより、１０２４×１０２４の標準サイズにされる。
ＮＮを実施して、領域に対して動作する分類器が実現される。好ましくは、ラベル付きデータセット画像に適用されたのと同じ前処理（領域への分割を含む）が未知の画像に適用される。正規化後の分割領域は、次に訓練用データに基づいて分類される。そして、分類されたものが、未知画像全体に反映される。これにより未知画像がアノテーションされる。その画像が診断されるか、または分類組全体に基づいて評価される。
評価は信頼性を伴うものであってもよい。即ち、第一種（偽陽性）および／または第二種（偽陰性）過誤や、その他種類の過誤をカバーするものであってもよい。評価の信頼性は、元の画像品質（輝度、焦点、コントラスト、色等）を表すものであってもよい。ここで、例えば、画像の一部の品質が悪い場合に、評価に利用可能な部分を分析してもよい。評価に利用可能な部分とは、信頼性を伴う評価である。即ち、偽陽性過誤診断の可能性および、偽陰性過誤診断の可能性を包含するものである。
任意で結果は、全体的推奨に照合されてもよい。或いは、特定の関心領域に対する付記とともに、詳細を提供してもよい。
この技術は、人の専門家が適切に評価した十分な画像を収集して、データセットを形成することを要する。偽陽性、偽陰性の結果とならないような、十分な精度および確度を持つマッチングアルゴリズムが求められる。
網膜カメラモデルは、様々な解像度の画像を生成する。典型的な網膜病変の大きさも変動し得る。数多くの実験と、専門家や英国国民保険サービス規格文書からの情報収集を経て、十分な特徴が保たれる最低解像度は、１０２４×１０２４画素であると結論づけられた。さらに、（上述の画像で）病変が特定可能な最小パッチは、３２×３２画素であった。
画像は、血糖値、年齢、性別、体重、病歴等の追加の医療データと併せて提供され得る。これらも分類の一部として使用される場合がある。ただし、場合によっては、画像を分類し、臨床医が他の患者データを診断および／または予後に統合できるようにすることが好ましい。実際、臨床医が分類器の出力を使用する限り、画像を分類するために画像に外因性の臨床データを使用すると、同じ要素が再び検討され得る下流側に、過剰なバイアスがかかるというリスクが生じる。
上述のような第一種および第二種過誤との間に必要な正確なバランスは、システムの用途に依存する。病院の場合、第二種過誤を最小限に抑えるのが最重要であり得る。一方で、眼鏡技師による通常のスクリーニングの場合は、第一種過誤を最小限に抑えて、顧客に無用な心配をかけないことが最重要であり得る。
なお、システムは必ずしも完全自動診断に限定されない。即ち、第二種過誤を最小限に抑える場合、偽陽性は、人の評価者のような別の手段、或いは、例えばより多くの時間および／または資源を必要とする代替または補足の自動分析によって再スクリーニングを実行してもよい。例えば、ハッシュエラーが性能品質の劣化を招く場合、データ削減量を抑えた自動分析で補ってもよい。どのようなシステムでも、本質的な性能の良し悪しにかかわらず、これら２種類の過誤間で様々なトレードオフを実現するように「調整」することができる。
このアルゴリズムは、網膜画像の疾患兆候のある領域にマーキングするのに非常に効果的であることが確認されており、画像処理／領域マッチング技術が効果的かつ効率的であることが実証された。
広視野および超広視野の網膜画像は、通常網膜眼底画像で撮像される、単一画像内の４５から５０度を超える網膜視野で撮影した画像である。このような画像は、特殊なカメラハードウェアを使用するか、異なる複数の視野による網膜画像を使用してモンタージュを作成することによって得られる。本明細書で説明されるシステムおよび方法は、広視野および超広視野画像に適用可能である。
フルオレセイン血管造影法では、蛍光トレーサー染料を注入し、波長４９０ナノメートルの光で網膜を照らすことによって放出される蛍光を測定する血管造影法が実行される。当該染料が血液中に存在するため、蛍光血管造影画像上では網膜の血管構造と病変が強調される。本明細書で説明されるシステムおよび方法は、フルオレセイン血管造影画像に適用可能である。
したがって、目的は、血管画像を分類する方法であって、血管画像を受信することと、血管画像を正規化することと、正規化血管画像を複数の領域に分割することと、ＮＮを含む少なくとも１つの分類器により、複数の領域について自動で血管障害ベクトルを判定することと、判定された血管障害ベクトルに基づいて、自動で複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した血管画像を自動で評価することと、を含み、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が血管画像の各領域につけたアノテーションに基づいて訓練される、方法を提供することである。
更なる目的は、血管画像を分類するシステムであって、少なくとも１つの血管画像を受信するように構成された入力と、少なくとも１つの客観的分類基準に応じて、複数の網膜画像の各領域の専門家によるアノテーションに少なくとも基づいて訓練されるＮＮを定義する情報を記憶するように構成されるメモリと、少なくとも１つの自動プロセッサであって、血管画像を正規化することと、正規化血管画像を複数の領域に分割することと、定義されたＮＮを含む少なくとも１つの分類器により、複数の領域について血管障害ベクトルを判定することと、判定された眼病ベクトルに基づいて、複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した血管画像を評価することとを実行するように構成された自動プロセッサと、評価を通信するように構成された出力とを備えるシステムを提供することである。
更なる目的は、少なくとも１つの自動プロセッサを制御するための指示を記憶するコンピュータ可読媒体であって、血管画像を受信するための指示と、受信した血管画像を正規化するための指示と、正規化血管画像を複数の領域に分割するための指示と、ＮＮを有する少なくとも１つの分類器により、複数の領域について眼病ベクトルを判定するための指示と、判定された眼病ベクトルに基づいて、自動で複数の領域それぞれをアノテーションするための指示と、少なくともアノテーションに基づいて、受信した血管画像を自動で評価するための指示と、を含み、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が血管画像の各領域につけたアノテーションに基づいて訓練される、媒体を提供することである。
更なる目的は、網膜症の存在について、網膜画像を分類する方法であって、眼底画像を受信することと、少なくとも三色刺激画像空間に対して眼底画像を自動で正規化することと、正規化眼画像を、少なくとも１つの分割ルールに基づいて、複数の領域に自動で分割することと、少なくとも専門家網膜アノテーションを有する眼底画像組による訓練に基づいて訓練されたＮＮを有する少なくとも１つの分類器により、複数の領域について網膜症ベクトルを自動で判定することと、判定した眼病ベクトルに基づいて、自動で複数の領域それぞれにアノテーションを行うことと、少なくともアノテーションに基づいて、受信した眼画像の網膜症の程度を自動で評価することと、自動で判定した網膜症の程度を出力することと、を含む方法を提供することである。
別の目的は、眼画像を分類する方法であって、眼画像を受信して正規化することと、正規化眼画像を複数の領域に分割することと、ＮＮを有する１つの分類器により、複数の領域について自動で眼病ベクトルを判定することと、判定された眼病ベクトルに基づいて、自動で複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した眼画像を自動で評価することと、を含み、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が眼画像の各領域につけたアノテーションに基づいて訓練される、方法を提供することである。
更なる目的は、眼画像を分類するシステムであって、少なくとも１つの眼画像を受信するように構成された入力と、少なくとも１つの客観的分類基準に応じて、複数の網膜画像の各領域の専門家によるアノテーションに少なくとも基づいて訓練されるＮＮを定義する情報を記憶するように構成されるメモリと、少なくとも１つの自動プロセッサであって、眼画像を正規化することと、正規化眼画像を複数の領域に分割することと、定義されたＮＮを有する少なくとも１つの分類器により、複数の領域について眼病ベクトルを判定することと、判定された眼病ベクトルに基づいて、複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した眼画像を評価することとを実行するように構成された自動プロセッサと、評価を通信するように構成された出力とを備えるシステムを提供することである。
受信した眼画像を正規化するため、自動プロセッサを制御する指示と、正規化眼画像を複数の領域に分割する指示と、ＮＮを含む少なくとも１つの分類器により、複数の領域について眼病ベクトルを判定する指示と、判定された眼病ベクトルに基づいて、複数の領域それぞれを自動でアノテーションする指示と、少なくともアノテーションに基づいて、受信した眼画像を自動で評価する指示とを記憶するコンピュータ可読媒体であって、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が眼画像の各領域につけたアノテーションに基づいて訓練される媒体を提供することを目的とする。
更なる目的は、病理学画像を分類する方法であって、画像を受信することと、画像を正規化することと、正規化画像を複数の領域に分割することと、ＮＮを有する少なくとも１つの分類器により、複数の領域について自動で疾患ベクトルを判定することと、判定された疾患ベクトルに基づいて、自動で複数の領域それぞれをアノテーションすることと、少なくともアノテーションに基づいて、受信した画像を自動で評価することと、を含み、ＮＮは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が画像の各領域につけたアノテーションに基づいて訓練される、方法を提供することである。
ＮＮは、複数の隠れ層、ＤＮＮ、ＲＮＮ、および／またはＣＮＮを含んでもよい。方法はさらに、血管画像とは異なるタイミングで第２の血管画像を受信することと、血管画像の経時変化に少なくとも応じた情報を出力することとをさらに含んでもよい。
ＮＮは、網膜画像の各領域の品質に対する専門家によるアノテーションに少なくとも基づいてさらに訓練してもよい。
少なくとも１つの分類器は、例えば多クラスサポートベクターマシン分類器または勾配ブースティング分類器を含んでもよい。
少なくとも１つの分類器は、複数の各領域の眼病ベクトルまたは複数の連続領域に基づいて、各領域を分類してもよい。
分類器は、ＤＲの兆候を持つ領域を判定する分類器を含んでもよい。
評価することはＤＲのレベルを評価することを含んでもよい。レベルは、レベルが正確である可能性を伴ってもよい。正確である可能性は、第一種過誤の可能性と、第二種過誤の可能性を含んでもよい。
方法は、血管画像の領域の分類を示す画像を出力することをさらに含んでもよい。
血管画像は、眼底画像を含んでもよい。アノテーションは、各眼底画像の各領域内のＤＲの兆候を含んでもよい。
図１は本発明の実施形態を示す。網膜眼底画像Ｉが入力されると、ブロック１００において画像正規化を実行して、正規化画像Ｉ′を生成する。この正規化工程は、Ｉにおいて網膜ディスクを特定し、一定のサイズにリサイズすることを含む。具体的には、ｐ×ｐ画素の画像において、直径ｐ画素となるようにする。なお、一般的にｐ＝１０２４となる。これを図２（Ａ）から２（Ｄ）に示す。図２（Ａ）と２（Ｃ）は、正規化前網膜眼底画像Ｉを示し、図２（Ｂ）および２（Ｄ）は対応する正規化網膜眼底画像Ｉ'を示す。網膜ディスクの自動検出は、単純な作業である。即ち、均一に比較的暗い背景において、比較的明るいディスクを検出すればよい。したがって、エッジ検出や、円形ハフ変換等、多数の既知の画像処理技術が利用できる。このような技術の詳細については、Ｒｕｓｓ，Ｊｏｈｎ Ｃ．Ｔｈｅ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｈａｎｄｂｏｏｋ．ＣＲＣ ｐｒｅｓｓ，２０１６を参照されたい。
続いて図１のブロック１１０において、正規化画像Ｉ'から網膜領域が抽出される。この処理は、網膜ディスクから小さな網膜領域を抽出することを含む。本発明のいくつかの実施形態において、これら領域は網膜ディスク内全体となるが、本発明の別の実施形態では、これら領域は部分的に網膜ディスク内の一部であってもよい。具体的には、例えば網膜画素の内の少なくとも５０％または７５％を占めるものであってもよい。本発明のいくつかの実施形態において、これら領域は、直径ｑ画素の円形であってもよい（ｑ＝３２またはｑ＝６４）。本発明の別の実施形態においては、これら領域は大きさがｑ×ｑ画素の正方形であってもよい（ｑ＝３２またはｑ＝６４）。本発明の更なる実施形態においては、例えば六角形のようなさらに異なる形状の領域が利用されてもよい。
実際、同領域は任意の形状の連続的な画素領域であればよい。ただし、場合によっては非連続的な形状の領域となり得る。さらに、画素以外の領域についての画像情報も分析対象となり得る。
図３は、正規化画像Ｉ'から抽出された２つの円形網膜領域Ｒα＝Ｒ（ｘ，ｙ）（中心
点：（ｘ，ｙ）＝（５７９，２０９））、およびＲβ＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（６０３，２２６））を示す。図４は、正規化画像Ｉ'から抽出された２つの正方形網膜領域Ｒα＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（７５７，３２７））、およびＲβ＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（７８２，３６３））を示す。いずれの場合でも、領域は通常、矩形パターンで、ある程度重複して抽出される。例えば、左上隅からｓ個画素の移動幅でずらしながら、順次領域を抽出する。右上隅に到達すると、ｓ個画素分下にずらして、さらに左端から右端へとｓ個画素の移動幅でずらしながら、順次領域を抽出する（以後同様）。通常、ｓは小さい値をとる。即ち、典型的には、１から数画素の間である。本発明の別の実施形態では、ｓの値はさらに大きくてもよく、領域同士も重複しないように抽出してもよい。いずれの場合でも、ブロック１１０によりｎ個の網膜領域Ｒ0，…，Ｒn-1組が生成される。これらは、まとめてＲと称される。さらに正規化画像Ｉ'の（ｘ，ｙ）を中心点としたＲk＝Ｒ（ｘ，ｙ）とも称される。
点：（ｘ，ｙ）＝（５７９，２０９））、およびＲβ＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（６０３，２２６））を示す。図４は、正規化画像Ｉ'から抽出された２つの正方形網膜領域Ｒα＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（７５７，３２７））、およびＲβ＝Ｒ（ｘ，ｙ）（中心点：（ｘ，ｙ）＝（７８２，３６３））を示す。いずれの場合でも、領域は通常、矩形パターンで、ある程度重複して抽出される。例えば、左上隅からｓ個画素の移動幅でずらしながら、順次領域を抽出する。右上隅に到達すると、ｓ個画素分下にずらして、さらに左端から右端へとｓ個画素の移動幅でずらしながら、順次領域を抽出する（以後同様）。通常、ｓは小さい値をとる。即ち、典型的には、１から数画素の間である。本発明の別の実施形態では、ｓの値はさらに大きくてもよく、領域同士も重複しないように抽出してもよい。いずれの場合でも、ブロック１１０によりｎ個の網膜領域Ｒ0，…，Ｒn-1組が生成される。これらは、まとめてＲと称される。さらに正規化画像Ｉ'の（ｘ，ｙ）を中心点としたＲk＝Ｒ（ｘ，ｙ）とも称される。
次に、図１のブロック１２０の動作を考える。図１のブロック１２０では、網膜領域全てを個別に、そして各領域Ｒkについて分析する。そして、ＤＲ病変分類ベクトル
が生成される。ここで、ｌは、ブロック１２０の分類器を訓練した分類数を示し、
は領域ｋの分類ｃに対するクラス所属確率を示す。
第１の例として、本発明の一実施形態において、ブロック１２０における分類器は、領域をｌ＝２クラスに分類するように訓練される。ここで、ｃ＝０は「健常」クラスラベルとなり、ｃ＝１は「病気」クラスラベルとなる。
第２の例として、本発明の別の実施形態において、ブロック１２０における分類器は、領域をｌ＞２クラスに分類するように訓練されてもよい。ここで、ｃ＝０は「健常」クラスラベル、ｃ＝１は「微小動脈瘤」クラスラベル、ｃ＝２は「硬性白斑」クラスラベル、…、ｃ＝ｌ−１は「レーザー傷」クラスラベルとなる。したがって、そのような実施形態では、網膜眼底画像に映り得る異なる様々な種類の病変、アーチファクト、傷に対して、それぞれ別個のクラスラベルが割り当てられる。
このように、本発明の異なる実施形態では、分類器が様々な数のクラスに対して訓練される。これにより、ＤＲ病変検出および／または検出されたＤＲ病変特定性能が可能な限り引き上げられる。いずれの場合にも、本発明の様々な実施形態において、ブロック１２０の分類器は、
をクラス所属確率ではなく二値（０または１）で出力するように構成され得る。ここで、Ｄkはクラス確率分布ではなく、分類判定ベクトルとなる。
次に、図１のブロック１２０の構造をより詳細に検討する。本発明の一実施形態において、図１のブロック１２０は図５に示す構造を有する。ブロック５００において、任意で網膜領域が正規化される。この任意の正規化は、例えば、平均減算（各網膜領域の各カラーチャネルの平均強度の値が０となる）、またはその他何らかの平均調整（各網膜領域の各カラーチャネルの平均強度が特定の値をとる）、または何らかの幾何正規化（例えば、回転正規化であって、各領域が、質量中心が特定の角度となるように回転される）を含む。即ち、各網膜領域Ｒkについて、ブロック５００で正規化領域Ｒ'kが生成される。そして、ブロック５１０においてＣＮＮを利用して、各領域Ｒ'kが分類され、分類ベクトルＤkが生成される。ＣＮＮの訓練には、多数の訓練用サンプル、即ち訓練用ラベル付き領域が使用されているが、上述のように、本発明の様々な実施形態によると、２つのクラスのみ（例えば「健常」および「病気」）或いは２つ以上のクラス（例えば「健常」、「微小動脈瘤」、「硬性白斑」等）のみによりにより訓練される。そして、いずれの場合でも、ＣＮＮはクラス確率判定または分類判定ベクトルとしてＤkを出力し得る。
図６は、図５のブロック５１０の構造をより詳細に示す。図６に示すように、各領域Ｒkは個別に処理されて、その分類ベクトルＤkが生成される。図６に示すＣＮＮは一般的な構造である。即ち、入力を学習済み畳み込みマスクにより畳み込む多くの畳み込み層と、プーリング層（即ち空間的サブサンプリング層）が交互に配置され、それに多数の全結合層が続き、領域Ｒkに対してＤＲ病変分類ベクトルＤkが生成される。ＣＮＮの原理（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｖｏｌｕｔｉｏｎａｌ＿ｎｅｕｒａｌ＿ｎｅｔｗｏｒｋ）は本明細書に記載しないが、それに関する数多くの刊行物が存在する（例えば、Ｋｒｉｚｈｅｖｓｋｙ，Ａｌｅｘ，Ｉｌｙａ Ｓｕｔｓｋｅｖｅｒ，ａｎｄ Ｇｅｏｆｆｒｅｙ Ｅ．Ｈｉｎｔｏｎ．“Ｉｍａｇｅｎｅｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．”Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ．２０１２）。
本発明の別の実施形態では、図１のブロック１２０は、図７に示す構造を有する。ブロック７００は任意のもので、図５のブロック５００と同様に動作する。即ち、各網膜領域Ｒkについて、ブロック７００では正規化領域Ｒ'kが生成される。そして、ブロック７
１０において、ＣＮＮを利用して、各領域Ｒ'kについて際立った特徴の高次ベクトルＶ
kが生成される。
１０において、ＣＮＮを利用して、各領域Ｒ'kについて際立った特徴の高次ベクトルＶ
kが生成される。
図８は、ブロック７１０の構造を示す。図８に示すように、特徴ベクトルＶkの生成に利用されるＣＮＮは、図６に示すものと同一である。即ち、最後の全結合分類層の前の何れかの層からの出力として、Ｖkが得られる。そして、図７を再度参照すると、ブロック７２０において、分類器により特徴ベクトルＶkが分類されて、分類ベクトルＤkが生成される。ブロック７２０に利用される分類器は各種存在する。即ち、事前に訓練用ラベル付き領域組の特徴ベクトルで訓練された２クラスまたは多クラスサポートベクターマシン（ＳＶＭ）または勾配ブースティング分類器（ＧＢＣ）である。上述のように、本発明の異なる複数の実施形態では、２つまたはそれ以上のクラスで訓練された分類器が利用され、クラス確率判定または分類判定ベクトルとしてＤkを出力してもよい。ＳＶＭ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｕｐｐｏｒｔ＿ベクトル＿ｍａｃｈｉｎｅ）およびＧＢＣ（ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｇｒａｄｉｅｎｔ＿ｂｏｏｓｔｉｎｇ）の原理は本明細書に記載しないが、それに関する数多くの刊行物が存在する（例えば、Ｂｕｒｇｅｓ，Ｃｈｒｉｓｔｏｐｈｅｒ ＪＣ．“Ａ ｔｕｔｏｒｉａｌ ｏｎ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｆｏｒ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ．”Ｄａｔａ ｍｉｎｉｎｇ ａｎｄ ｋｎｏｗｌｅｄｇｅ ｄｉｓｃｏｖｅｒｙ ２．２（１９９８）：１２１−１６７ ａｎｄ Ｓｃｈａｐｉｒｅ，Ｒｏｂｅｒｔ Ｅ．，ａｎｄ Ｙｏａｖ Ｆｒｅｕｎｄ．Ｂｏｏｓｔｉｎｇ：Ｆｏｕｎｄａｔｉｏｎｓ ａｎｄ ａｌｇｏｒｉｔｈｍｓ．ＭＩＴ ｐｒｅｓｓ，２０１２）。
本発明の別の実施形態において、図１のブロック１２０は、図９に示す構造を有する。ブロック９００は任意のもので、図５のブロック５００または図７のブロック７００と同様に動作する。即ち、各網膜領域Ｒkについて、ブロック９００では正規化領域Ｒ'kが生成される。そして、ブロック９１０では、線形判別分析（ＬＤＡ ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｌｉｎｅａｒ＿ｄｉｓｃｒｉｍｉｎａｎｔ＿ａｎａｌｙｓｉｓ）または主成分分析（ＰＣＡ ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｐｒｉｎｃｉｐａｌ＿ｃｏｍｐｏｎｅｎｔ＿ａｎａｌｙｓｉｓ）等の次元削減技術により、各領域Ｒ'kの次元削減表現を生成し、当該領域の特徴ベクトルＶkが生成される。そしてブロック９２０において、分類器により各特徴ベクトルＶkが分類されて、分類ベクトルＤkが生成される。上述の実施形態同様、トレーニング用ラベル付き領域組の、特徴ベクトルで事前に訓練された二値または他クラスＳＶＭまたは勾配ブースティング分類器が特に好ましい。上述のように、本発明の異なる複数の実施形態では、２つまたはそれ以上のクラスで訓練された分類器が利用され、クラス確率判定または分類判定ベクトルとしてＤkを出力してもよい。
次に、図１のブロック１３０の動作を検討する。図１のブロック１３０では、網膜領域全てを個別に、そして各領域Ｒkについて分析する。そして、品質分類ベクトル
が生成される。ここで、ｍは、ブロック１３０の分類器を訓練した分類数を示し、
は領域ｋの分類ｚに対するクラス所属確率を示す。第１の例として、本発明の一実施形態において、ブロック１３０における分類器は、領域をｍ＝２クラスに分類するように訓練されてもよい。ここで、ｚ＝０は「高品質」クラスラベルで、ｚ＝１は「低品質」クラスラベルである。第２の例として、本発明の別の実施形態では、ブロック１３０における分類器は、領域をｍ＞２クラスに分類するように訓練されてもよい。ここで、ｚ＝０は「高品質」クラスラベルで、ｚ＝１は「輝度不良」クラスラベルで、ｚ＝２は「コントラスト不良」クラスラベルで、…、ｚ＝ｍ−１は「レンズフレア」クラスラベルとなる。
したがって、そのような実施形態では、網膜眼底画像に映り得る異なる様々な種類の品質アーチファクトおよび撮像アーチファクト、それぞれ別個のクラスラベルが割り当てられる。本発明の各種実施形態では、分類器が様々な数のクラスに対して訓練される。これにより、網膜領域の品質評価性能が可能な限り引き上げられる。なお、領域品質分類器のクラス数は、ＤＲ病変分類器のクラス数選択から独立して選択される。いずれの場合にも、本発明の様々な実施形態において、ブロック１３０の分類器は、
をクラス所属確率ではなく二値（０または１）で出力するように構成され得る。ここで、Ｑkはクラス確率分布ではなく、分類判定ベクトルとなる。
次に、図１のブロック１３０の構造をより詳細に検討する。本発明の一実施形態において、図１のブロック１３０は、図１０に示す構造を有する。ブロック１０００において、任意で網膜領域が正規化される。この任意の正規化は、例えば強度または形状正規化を含む。即ち、各網膜領域Ｒkについて、ブロック１０００で正規化領域Ｒ'kが生成される。そして、ブロック１０１０においてＣＮＮを利用して、各領域Ｒ'kが品質に応じて分類され、品質分類ベクトルＱkが生成される。ＣＮＮの訓練には、多数の訓練用サンプル、即ち訓練用ラベル付き領域が使用されているが、上述のように、本発明の様々な実施形態によると、２つのクラスのみ（例えば「高品質」および「低品質」）或いは２つ以上のクラス（例えば「高品質」、「照明不良」、「コントラスト不良」等）のみにより訓練される。そして、いずれの場合でも、ＣＮＮはクラス確率判定または分類判定ベクトルとしてＱkを出力し得る。
図１１は、ブロック１０１０のＣＮＮの内部構造を示す。これは上述した図６のＣＮＮ構造と実質的に同じである。ただし、サイズ、幅、フィルタ数、学習済み畳み込みマスク、畳み込み層数、全結合層数等のネットワークパラメータが異なり得る。
本発明の別の実施形態では、図１のブロック１３０は、図１２に示す構造を有する。ブロック１２００は任意のもので、図１０のブロック１０００と同様に動作する。即ち、各網膜領域Ｒkについて、ブロック１２００では正規化領域Ｒ'kが生成される。そして、ブロック１２１０において、ＣＮＮを利用して、各領域Ｒ'kについて際立った特徴の高次ベクトルＶkが生成される。
図１３は、このＣＮＮの内部構造を示す。図１３に示すように、特徴ベクトルＶkの生成に利用されるＣＮＮは、図１１に示すものと同一である。即ち、最後の全結合分類層の前の何れかの層からの出力として、Ｖkが得られる。そして、図１２を再度参照すると、ブロック１２２０において、分類器により特徴ベクトルＶkが分類されて、分類ベクトルＱkが生成される。この分類器は、事前に訓練用ラベル付き領域組の特徴ベクトルで訓練された２クラスまたは多クラスＳＶＭまたはＧＢＣである。上述のように、本発明の異なる複数の実施形態では、２つまたはそれ以上のクラスで訓練された分類器が利用され、クラス確率判定または分類判定ベクトルとしてＱkを出力してもよい。
本発明の別の実施形態において、図１のブロック１３０は、図１４に示す構造を有する。図１４に示すように、各領域Ｒkの品質評価が、異なる複数の技術により異なる基準（輝度、コントラスト、ぼけ等を含むがこれらに限定されない）で行われる。この領域品質分析には、公知の各種画像処理技術が利用されてもよい。ブロック１４００の輝度品質測定基準は、例えば
で計算される。式中、ｆは平均領域強度を示し、τLおよびτHはそれぞれ領域における最低および最高許容強度を示す。ブロック１４１０のコントラスト品質測定基準は適切な技術により計算され得る。例えば次の文献内のいずれかの技術である：Ｔｒｉｐａｔｈｉ，Ａｂｈｉｓｈｅｋ Ｋｕｍａｒ，Ｓｕｄｉｐｔａ Ｍｕｋｈｏｐａｄｈｙａｙ，ａｎｄ Ａｓｈｉｓ Ｋｕｍａｒ Ｄｈａｒａ．“Ｐｅｒｆｏｒｍａｎｃｅ ｍｅｔｒｉｃｓ ｆｏｒ ｉｍａｇｅ ｃｏｎｔｒａｓｔ．”Ｉｍａｇｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＩＰ），２０１１ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ．ＩＥＥＥ，２０１１，ｎｏｒｍａｌｉｚｅｄ ｔｏ［０，１］。同様に、ブロック１４２０のぼけ品質測定基準は適切な技術により計算され得る。例えば次の文献内の技術である：Ｍａｒｚｉｌｉａｎｏ，Ｐｉｎａ，ｅｔ ａｌ．“Ａ ｎｏ−ｒｅｆｅｒｅｎｃｅ ｐｅｒｃｅｐｔｕａｌ ｂｌｕｒ ｍｅｔｒｉｃ．”Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ．２００２．Ｐｒｏｃｅｅｄｉｎｇｓ．２００２ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ．Ｖｏｌ．３．ＩＥＥＥ，２００２，ｎｏｒｍａｌｉｚｅｄ ｔｏ［０，１］。
最後に、ブロック１４３０において、輝度、コントラスト、ぼけ等の測定基準に基づいて、「高品質」測定基準が
で計算され、最終品質評価ベクトルＱkが各領域Ｒkについて計算される。
次に、図１のブロック１４０の動作について検討する。図１のブロック１４０では、ＤＲ病変分類ベクトルＤkおよび品質分類ベクトルＱkが分析され、調整済みＤＲ病変分類ベクトルＤ''kが生成される。この動作は、主に３つの工程を含む。具体的には、まず（１）ＤＲ病変分類ベクトル空間確率調整。この工程は任意である。各ＤＲ病変分類ベクトルＤkは網膜領域Ｒkに対応し、上述のように各Ｒk＝Ｒ（ｘ，ｙ）は、正規化画像Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域である。したがって、Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域Ｒkに対応する各ＤＲ病変分類ベクトルＤkの値を、例えば（ｘ，ｙ）を中心に距離ｄ内の周辺領域の病変分類ベクトルに基づいて、調整可能である。この調整は、例えばフィルタリング、中央値フィルタリング等の形式であってもよく、網膜眼底画像に対してよりロバストで信頼性の高いＤＲ病変分類ベクトルの作成において好ましい。次に（２）品質分類ベクトル確率調整。この工程は任意であり、工程（１）と同じ原理であるが、動作実行対象は品質分類ベクトルＱとなる。そして（３）品質分類ベクトルに基づくＤＲ病変分類ベクトル調整である。
次に、図１のブロック１４０の構造の詳細を検討する。図１５は、図１のブロック１４０の構造を示す。ブロック１５００において、ＤＲ病変分類ベクトル空間確率調整が実行される。即ち、Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域Ｒkに対応する各ＤＲ病変分類ベクトルＤkの値が、例えば（ｘ，ｙ）を中心に距離ｄ内の周辺領域のＤＲ病変分類ベクトルに基づいて、調整可能である。この調整は、例えば平均値、中央値、最小値、最大値またはその他フィルタリングであって、調整済みＤＲ病変分類ベクトルＤ'kが生成される。これは次のように捉えることもできる。即ち、画像Ｉ'に対して、ｌ個の空間確率マップが生成され得る。ここで、ｌはＤにおけるＤＲ分類ラベル数である。例えば、ｌ＝２個クラスの場合、ｃ＝０を「健常」クラスラベルとして、ｃ＝１を「病気」クラスラベルとして、「健常」確率マップDRＰ0および「病気」確率マップDRＰ1が生成され得る。そして、Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域Ｒkに対応する各ＤＲ病変分類ベクトルＤkについて、
となる。式中、ｓは領域抽出におけるサンプリング単位を示す。そして各DRＰcが空間処理（例えば、平均値、中央値、最小値、最大値またはその他フィルタ）、或いはその他モルフォロジー演算（膨張、収縮等）を行って、調整済み確率マップDRＰ'cが生成される。これを、調整済みＤＲ病変分類ベクトルＤ'kにマッピングできる。ブロック１５００と同様に、ブロック１５１０において品質分類ベクトル空間確率調整が実行される。最後に、図１５のブロック１５２０において、品質分類ベクトルに基づいて、ＤＲ病変分類ベクトル調整が実行される。この調整は様々な方法で行われ得る。
一例として、各Ｄ'kと、ｌ個のＤＲクラスの内の各クラスラベルｃに対して、この調
整は以下のように実行され得る。
式中、
は領域Ｒkに対する「高品質」クラス確率を示す。原則として、上記関係において、領域Ｒkに対する「高品質」クラス確率が０．５未満であれば、領域Ｒkに対する全てのＤＲ分類ベクトル確率は０に下げられる。即ち、品質が低すぎるので、当該領域に対して、システムはＤＲ分類確率を一切出さない。
整は以下のように実行され得る。
別の例として、各Ｄ'kと、ｌ個のＤＲクラスの内の各クラスラベルｃに対して、この
調整は以下のように実行され得る。
式中、
は領域Ｒkに対する「高品質」クラス確率を示す。この関係において、低品質によりＤＲ分類確率を０に下げる切り捨ては、より漸進的に判断される。
調整は以下のように実行され得る。
式中、
上述の例では、各Ｄ'kは、対応するＱ'kに基づく。発明の別の実施形態では、Ｉ'の画素（ｘ，ｙ）を中心とした網膜領域Ｒkに対応する各Ｄ'kは、対応するＱ'kと、例えば（ｘ，ｙ）を中心に距離ｄ内の周辺領域の病変分類ベクトルに基づいて、調整可能である。
次に、図１のブロック１５０の動作を考える。図１のブロック１５０では、ＤＲ病変分類ベクトルＤ''が分析され、最終段階網膜眼底画像ＤＲ分類ベクトルＣ＝（Ｃ0，…，Ｃw-1）が生成される。ここで、ｗはクラスの数、Ｃvはクラスｖのクラス所属確率を示す。本発明の一実施形態において、ｗ＝２で、ｖ＝０は「健常」クラスラベルを示し、ｖ＝１は「病気」クラスラベルを示す。第２の例として、本発明の別の実施形態において、ｗ＝４クラスで、各クラスは、対応するＤＲの医学的段階に対応する。いずれの場合でも、本発明の別の実施形態において、Ｃvは二値で０または１の値であってもよく、その場合、Ｃはクラス確率分布ではなく分類判定ベクトルとなる。
次に、図１のブロック１５０の構造をより詳細に検討する。本発明の一実施形態において、図１のブロック１５０は図１６の構造を有する。図１６のブロック１６００では、例えば以下のようにＤＲ病変分類ベクトル確率は閾値処理される。
そして、ブロック１６１０において、Ｄ'''は空間処理されて、Ｄ''''が生成される。このブロックは、図１５のブロック１５００と同様に動作する。即ち、中央値フィルタリング、膨張、収縮等の動作が行われる。本発明の別実施形態では、ブロック１６１０は省略されてもよいし、さらに異なる実施形態では、ブロック１６００、１６１０の順序を逆にしてもよい。次に、ブロック１６２０において、Ｄ''''内の各クラスラベルｌに対する領域数が数えられる。上述のように、本発明のいくつかの実施形態では、ｌ＝２クラスで、ｃ＝０は「健常」クラスラベルで、ｃ＝１は「病気」クラスラベルとなる。本発明の別の実施形態では、ｌ＞２クラスで、ｃ＝０は「健常」クラスラベルを示し、ｃ＝１「微小動脈瘤」クラスラベルを示し、ｃ＝２は「硬性白斑」クラスラベルを示し、…、ｃ＝ｌ−１は「レーザー傷」クラスラベルを示す。したがって、ブロック１６２０では、ベクトルＧ＝（Ｇ0，…，Ｇl-1）が生成される。各要素Ｇcは、対応するラベルｃに対する領域数である。そして、領域数ベクトルＧに基づいて、ブロック１６３０で最終網膜眼底画像分類判定ベクトルＣ＝（Ｃ0，…，Ｃw-1）が生成される。ここで、ｗはクラス数で、Ｃvはクラスｖに対する判定を示す。上述のように、本発明の一実施形態において、ｗ＝２で、ｖ＝０は「健常」クラスラベルを示し、ｖ＝１は「病気」クラスラベルを示す。本発明の別の実施形態において、ｗ＝４クラスで、各クラスは、網膜眼底画像においける異なるＤＲ病変の種類の数に基づいて定義可能な、対応するＤＲの医学的段階に対応する。
本発明の別の実施形態では、図１のブロック１５０は図１７の構造を有する。図１７のブロック１７００において、ＤＲ病変分類ベクトルＤ''は、ｌ個の２Ｄ確率マップに変換される。ｌはＤ''におけるＤＲ分類ラベル数を示す。ＤＲ分類ベクトルを二次元確率マップに変換する処理は、上述した図１５のブロック１５００の処理と実質的に同じである。二次元確率マップの作成時、ブロック１７００においては、（ｉ）確率のダイナミックレンジの変更（例えば、実際の範囲［０，１］から全範囲［０，２５５］に）および（ｉ）２Ｄ確率マップのｔ×ｔ画素による固定解像度へのサブサンプリング（例えば、ｔ＝５６画素）が行われてもよい。したがって、ブロック１７００はｌ個の２Ｄ確率マップＰ＝（Ｐ0，…，Ｐl-1）を生成する。次に、ブロック１７１０において、ＣＮＮを利用して確率マップＰが分類されて、最終段階網膜眼底画像ＤＲ分類ベクトルＣ＝（Ｃ0，…，Ｃw-1）が生成される。ここで、ｗはクラスの数、Ｃvはクラスｖのクラス所属確率を示す。ＣＮＮは事前に大量の訓練用サンプルで訓練されている。上述のように本発明の異なる実施形態では、ＣＮＮは異なる数のクラスで訓練されてもよい、例えば、ｗ＝２で、ｖ＝０は「健常」クラスラベルを示し、ｖ＝１は「病気」クラスラベルを示す。或いは、ｗ＝４クラスで、各クラスは、対応するＤＲの医学的段階に対応する。いずれの場合でも、本発明の別の実施形態において、Ｃvは０か１かの二値であり、Ｃは所属確率分布ではなく、分類判定ベクトルとなる。図１８は、ブロック１７１０のＣＮＮの内部構造を示す。これは上述した図６および図１１のＣＮＮ構造と実質的に同じである。ただし、サイズ、幅、フィルタ数、学習済み畳み込みマスク、畳み込み層数、全結合層数等のネットワークパラメータが異なり得る。
本発明の別の実施形態では、図１のブロック１５０は図１９に示す構造を有する。ブロック１９００は、図１７のブロック１７００と同様に動作する。そして、ブロック１９１０において、ＣＮＮを利用して、際立った特徴の高次ベクトルＶが生成される。図２０はこのＣＮＮの内部構造を示す。図２０に示すように、特徴ベクトルＶ、の生成に利用されるＣＮＮは、図１８に示すものと同一である。即ち、最後の全結合分類層の前の何れかの層からの出力として、Ｖが得られる。そして、図１９を再度参照すると、ブロック１９２０において、分類器により特徴ベクトルＶが分類されて、分類ベクトルＣが生成される。この分類器は、事前に訓練用サンプル組の特徴ベクトルで訓練された二値または多クラスＳＶＭまたは勾配ブースティング分類器である。上述のように、本発明の異なる複数の実施形態では、２つまたはそれ以上のクラスで訓練された分類器が利用され、クラス確率判定または分類判定ベクトルとしてＣを出力してもよい。
図２１は、本発明の別の実施形態を示す。ここで、ブロック２１００と２１１０は図１のブロック１００と１１０と実質的に同じように動作し、画像正規化と領域抽出が実行される。
次に、図２１のブロック２１２０の動作を考える。図２１のブロック２１２０においては、全ての網膜領域は個別に分析され、各領域Ｒkについて、ＤＲ病変／品質分類合成ベクトル
が生成される。上述のように、ｌはＤＲ病変クラスの数で、ｍは領域品質クラスの数である。即ち、ブロック２１２０における分類器の訓練において、各訓練用サンプルはＤＲ病変クラスラベルと品質クラスラベルの両方が割り当てられ、分類器が領域ＲkについてＤＲ病変／品質分類連結ベクトル
を生成可能になる。上述のように、ブロック２１２０の分類器は、クラス所属確率ではなく二値（０または１）を出力するように構成され得る
次に、図２１のブロック２１２０の構造の詳細を検討する。図２１のブロック２１２０は図２２に示す構造を有する。ブロック２２００では、図５のブロック５００または図７のブロック７００と実質的に同じように、網膜領域正規化が実行される。即ち、各網膜領域Ｒkについて、ブロック２２００では正規化領域Ｒ'kが生成される。次に、ブロック２２１０において、ＣＮＮを利用して、各領域Ｒ'kを分類して、分類ベクトルＡkが生成される。図２３は、図２２のブロック２２１０の構造をより詳細に示す。これは、上述の図６および図１１のＣＮＮの構造と実質的に同じである。ただし、サイズ、移動幅、フィルタ数、学習済み畳み込みマスク、畳み込み層数、全結合層数等のネットワークパラメータが異なり得る。
次に、図２１に戻り、ブロック２１３０において、図１のブロック１４０と実質的に同じ用にして、領域ＤＲ病変確率調整が行われる。そして、ブロック２１４０において、図１のブロック１５０と実質的に同じようにして、網膜眼底画像分類が実行される。
いくつかの実施形態では、撮像処理はコンピューティングシステムによって実行される。いくつかの実施形態では、コンピューティングシステムは、１つまたは複数のコンピューティングデバイス、例えば、ＩＢＭ、マッキントッシュ、マイクロソフトウィンドウズ（登録商標）、またはリナックス（登録商標）／ユニックスに対応するパーソナルコンピュータ、またはサーバまたはワークステーションを含む。一実施形態では、コンピューティングデバイスは、例えば、サーバ、ノートパソコン、スマートフォン、携帯情報端末、キオスク、またはメディアプレーヤーを含む。一実施形態では、コンピューティングデバイスは、１つまたは複数のＣＰＵを含み、各ＣＰＵは、従来のまたは独自のマイクロプロセッサを含んでもよい。コンピューティングデバイスは、情報の一時記憶用のランダムアクセスメモリ（「ＲＡＭ」）、情報の永久記憶用の１つ以上の読み取り専用メモリ（「ＲＯＭ」）、ハードドライブ、ディスケット、ソリッドステートドライブ、および光学式メディアストレージデバイス等の１つ以上の大容量記憶装置等の１つ以上のメモリをさらに含む。通常、コンピューティングデバイスのモジュールは、一般的なバスシステムを使用してコンピュータに接続される。異なる様々な実施形態では、一般的なバスシステムは、例えば、周辺機器相互接続（ＰＣＩ）、マイクロチャネル、小型コンピュータシステムインタフェース（ＳＣＳＩ）、産業標準アーキテクチャ（ＩＳＡ）および拡張ＩＳＡ（ＥＩＳＡ）アーキテクチャで実現できる。加えて、コンピューティングデバイスのコンポーネントおよびモジュールに対して設けられた機能は、組み合わされてより少ないコンポーネントおよびモジュールとされ得るか、さらに分割されて追加のコンポーネントおよびモジュールに設けられてもよい。
コンピューティングデバイスは通常、Ｗｉｎｄｏｗｓ ＸＰ、Ｗｉｎｄｏｗｓ Ｖｉｓｔａ、Ｗｉｎｄｏｗｓ ７、Ｗｉｎｄｏｗｓ ８、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ、Ｅｍｂｅｄｄｅｄ Ｗｉｎｄｏｗｓ、Ｕｎｉｘ、Ｌｉｎｕｘ(登録商標)、Ｕｂｕｎｔｕ Ｌｉｎｕｘ、ＳｕｎＯＳ、Ｓｏｌａｒｉｓ、ｉＯＳ、Ｂｌａｃｋｂｅｒｒｙ ＯＳ、Ａｎｄｒｏｉｄ等のオペレーティングシステムソフトウェア、または他の対応するオペレーティングシステムによって制御および調整される。マッキントッシュシステムでは、オペレーティングシステムは、ＭＡＣ ＯＳ Ｘ等の利用可能な任意のオペレーティングシステムであり得る。他の実施形態では、コンピューティングデバイスは独自のオペレーティングシステムにより制御され得る。従来のオペレーティングシステムは、実行のためにコンピュータプロセスを制御およびスケジューリングし、メモリを管理し、ファイルシステム、ネットワーク、Ｉ／Ｏサービスを提供し、特にグラフィカルユーザインタフェース（ＧＵＩ）等のユーザインタフェースを提供する。
例示的なコンピューティングデバイスは、キーボード、マウス、タッチパッド、タッチスクリーン、およびプリンタ等の１つまたは複数の一般的に利用可なＩ／Ｏインタフェースおよびデバイスを備えてもよい。一実施形態では、Ｉ／Ｏインタフェースおよびデバイスは、ユーザへのデータの視覚的提示を可能にするモニターまたはタッチスクリーンモニター等の１つ以上のディスプレイデバイスを備える。より具体的には、ディスプレイデバイスは、例えば、ＧＵＩ、アプリケーションソフトウェアデータ、およびマルチメディアプレゼンテーションを提示する。コンピューティングデバイスはまた、例えば、カメラ、スピーカ、ビデオカード、グラフィックスアクセラレータ、およびマイク等の１つまたは複数のマルチメディアデバイスを含んでもよい。Ｉ／Ｏインタフェースとデバイスは、さまざまな外部デバイスへの通信インタフェースを実現する。コンピューティングデバイスは、例えば有線、無線、または有線と無線の組み合わせの通信リンクを介して、ＬＡＮ、ＷＡＮ、および／またはインターネットの１つまたは複数を含むネットワークに電子的に結合される。ネットワークは、有線または無線の通信リンクを介して、さまざまなコンピューティングデバイスおよび／または他の電子デバイスと通信する。
本明細書で説明される方法およびシステムにより処理される画像は、１つ以上のデータソースからネットワークを介してコンピューティングシステムに提供され得る。データソースは、１つ以上の内部および／または外部データベース、データソース、物理データストアを含む。データソースは、上記のシステムおよび方法に応じて、撮像システムで処理されるデータを格納するデータベースを含んでもよい。或いは、データソースは、上記のシステムおよび方法により、撮像システムで処理されたデータを格納するデータベースを含んでもよい。いくつかの実施形態では、データベース、データソースの一方または両方は、Ｓｙｂａｓｅ、Ｏｒａｃｌｅ、ＣｏｄｅＢａｓｅ、ＭｙＳＱＬ、およびＭｉｃｒｏｓｏｆｔ（登録商標）ＳＱＬサーバ等のリレーショナルデータベース、ならびに以下のような他の種類のデータベースを使用して実現され得る。即ち、他の種類のデータベースの例は、フラットファイルデータベース、エンティティ関係データベース、リレーショナルデータベース、オブジェクト指向データベース、ＮｏＳＱＬデータベース、レコードベースのデータベース等を含む。
コンピューティングシステムは、ＣＰＵによって実行される実行可能なソフトウェアコードとして大容量記憶装置に格納され得るイメージングシステムモジュールを備える。当該モジュールの例としては、ソフトウェアコンポーネント、オブジェクト指向ソフトウェアコンポーネント、クラスコンポーネントおよびタスクコンポーネント等のコンポーネント、プロセス、機能、属性、手順、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、配列および変数が挙げられる。コンピューティングシステムは、例えば、自動化された低レベル画像処理、自動化された画像レジストレーション、自動化された画像評価、自動化されたスクリーニングを実行するため、さらに／或いは上記の新しいアーキテクチャを実装するために、イメージングシステムモジュールを実行するように構成される。
概して、本明細書で使用される「モジュール」という用語は、ハードウェアまたはファームウェアで実現されるロジック、または、例えばＰｙｔｈｏｎ、Ｊａｖａ（登録商標）、Ｌｕａ、Ｃおよび／またはＣ＋＋等のプログラミング言語で記述された、入口点と出口点を有し得るソフトウェア命令の集合を示す。ソフトウェアモジュールは、光学記憶媒体、フラッシュドライブ、またはその他の有形媒体等のコンピュータ可読媒体で実現されてもよい。このようなソフトウェアコードは、コンピューティングデバイスが実行されるように、コンピューティングシステム等の実行するコンピューティングデバイスのメモリデバイスに一部または全部保存され得る。前述のプロセス、方法、およびアルゴリズムのそれぞれは、１つまたは複数のコンピュータシステムまたはコンピュータハードウェアを含むコンピュータプロセッサによって実行されるコードモジュールで実現され、完全または部分的に自動化され得る。コードモジュールは、ハードドライブ、ソリッドステートメモリ、光ディスク等の任意の種類の非一時的なコンピュータ可読媒体またはコンピュータストレージデバイスに保存可能である。システムおよびモジュールは、無線式および有線／ケーブル式を含むさまざまなコンピュータ可読送媒体で、生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）送信可能なさまざまな形式をとり得る（例えば、単一または多重化されたアナログ信号の一部、または複数の個別のデジタルパケットまたはフレーム）。プロセスおよびアルゴリズムは、一部または全部、特定用途向け回路で実現できる。開示されたプロセスおよびプロセスステップの結果は、例えば揮発性または不揮発性ストレージ等の任意の種類の非一時的なコンピュータストレージに永続的にまたは別の方法で格納されてもよい。
上述のさまざまな特徴およびプロセスは、互いに独立して使用することができる。或いは、各種組み合わせ可能である。すべての可能な組み合わせおよびサブコンビネーションは、本開示の範囲内に含まれることが意図される。さらに、特定の方法またはプロセスブロックは、形態によっては省略され得る。本明細書で説明する方法およびプロセスも特定の順序に限定されず、それに関連するブロックまたは状態は、適切な他の順序で実現することができる。例えば、説明されたブロックまたは状態は、具体的に開示された順序以外の順序で実現されてもよく、または複数のブロックまたは状態が単一のブロックまたは状態に組み合わされてもよい。例示的なブロックまたは状態は、順次、並行して、または他の何らかの方法で実現されてもよい。開示された例示的な実施形態にブロックまたは状態を追加または削除することができる。本明細書で説明する例示的なシステムおよびコンポーネントは、上記とは異なる構成である。例えば、開示された例示的な実施形態に対して、要素を追加、削除、または再配置することができる。
「できる」、「可能である」、「得る」、「可能性がある」等の条件表現は概して、特に明記しない限り、または使用される文脈内で異なる理解がなされる場合を除いて、特定の実施形態が、別の実施形態に含まれない特定の特徴、要素、および／またはステップを含むことを意図している。したがって、そのような条件表現は概して、機能、要素および／またはステップが１つまたは複数の実施形態に何らかの形で必要であること、または１つまたは複数の実施形態が（ユーザ入力またはプロンプトの有無にかかわらず）これらの機能、要素、および／またはステップが特定の実施形態に含まれるまたはそれにより実行されるか否かを決定するためのロジックを必ず含むことを意味するものではない。また、「含む」という用語は、「含まれるがそれに限定されない」ことを意味し、「または」という用語は「および／または」を意味する。
本書本明細書に記載の、および／または添付の図に示されているフローまたはブロック図のプロセス記述、要素、またはブロックは、モジュール、セグメント、または特定の論理機能を実装するための１つ以上の実行可能命令を含むコードの一部またはプロセスにおける工程を表し得るものとして理解されたい。その他形態は、本明細書に記載の実施形態の範囲内に含まれる。そして当業者により要素または機能は、関連する機能に応じて削除でき、図示または説明されたのと異なる順序で実行され得る。これは実質的に同時または逆の順序で行われることを含む。
上記のすべての方法およびプロセスは、１つまたは複数の汎用コンピュータで実行されるソフトウェアコードモジュールで実施され、部分的または完全に自動化される。例えば、本明細書で説明される方法は、コンピューティングシステムおよび／または他の任意の適切なコンピューティングデバイスによって実行され得る。これらの方法は、有形のコンピュータ可読媒体から読み取られたソフトウェア命令または他の実行可能コードの実行に応じて、コンピューティングデバイス上で実行され得る。有形のコンピュータ可読媒体は、コンピュータシステムによって読み取り可能なデータを保存できるデータストレージデバイスである。コンピュータ可読媒体の例としては、リードオンリーメモリ、ランダムアクセスメモリ、その他の揮発性または不揮発性メモリデバイス、ＣＤ−ＲＯＭ、磁気テープ、フラッシュドライブ、および光学データストレージデバイスが挙げられる。
上記の実施形態に対して多くの変形および修正を行うことができることが強調され、その要素は他の許容可能な例の中にあると理解されるべきである。そのような修正および変形はすべて、本開示の範囲内に含まれることが意図される。前述の説明は、特定の実施形態を詳述しているが、前述の内容が文面として如何に詳細に記載されていても、システムおよび方法は多様な実施が可能であることが理解されよう。例えば、一実施形態の特徴は、異なる実施形態の特徴と共に使用されてもよい。また、前述のように、システムおよび方法の特定の機能または態様を説明する際の特定の用語の使用は、その用語が関連するシステムおよび方法の特徴または態様の何らかの特定の特徴を含むように限定されるように、本明細書で再定義されていることを意味するものではないことに留意されたい。
Claims (46)
- 眼画像を分類する方法であって、
眼画像を受信することと、
前記眼画像を正規化することと、
前記正規化眼画像を複数の領域に分割することと、
ニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について自動で眼病ベクトルを判定することと、
前記判定された眼病ベクトルに基づいて、自動で前記複数の領域それぞれをアノテーションすることと、
少なくとも前記アノテーションに基づいて、少なくとも２つのレベルに対して、前記受信した眼画像を自動で評価することと、を含み
前記ニューラルネットワークは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が眼画像の各領域につけたアノテーションに基づいて訓練される、方法。 - 前記ニューラルネットワークは、複数の隠れ層を含む、請求項１に記載の方法。
- 前記ニューラルネットワークは、ディープニューラルネットワークを有する、請求項２に記載の方法。
- 前記ニューラルネットワークは、畳み込みニューラルネットワークを有する、請求項１に記載の方法。
- 前記ニューラルネットワークは再帰型ニューラルネットワークを含み、
前記血管画像とは異なるタイミングで第２の血管画像を受信することと、
少なくとも前記眼画像の経時変化に応じた情報を出力することと、をさらに含む、請求項１に記載の方法。 - 網膜画像の各領域の品質について、少なくとも専門家によるアノテーションを受信することをさらに含む、請求項１に記載の方法。
- 前記少なくとも１つの分類器は、多クラスサポートベクターマシン分類器を含む、請求項１に記載の方法。
- 前記少なくとも１つの分類器は、勾配ブースティング分類器を含む、請求項１に記載の方法。
- 前記少なくとも１つの分類器は、複数の各領域の前記眼病ベクトルに基づいて、各領域を分類する、請求項１に記載の方法。
- 前記少なくとも１つの分類器は、複数の連続した領域の前記眼病ベクトルに基づいて、各領域を分類する、請求項１に記載の方法。
- 前記少なくとも１つの分類器は、糖尿病網膜症の兆候を持つ領域を判定する分類器を含む、請求項１に記載の方法。
- 前記評価することは、糖尿病網膜症の程度を評価することを含む、請求項１に記載の方法。
- 前記レベルには、当該レベルが正確である可能性を伴う、請求項１に記載の方法。
- 前記正確である可能性は、第一種過誤の可能性と、第二種過誤の可能性を含む、請求項１３に記載の方法。
- 前記眼画像の前記領域の分類を示す画像を出力することをさらに含む、請求項１に記載の方法。
- 前記眼画像は眼底画像を含み、前記アノテーションは少なくとも、各眼底画像の各領域内の糖尿病網膜症の兆候を含む、請求項１に記載の方法。
- 前記自動評価は、少なくとも３つのレベルに対して行われる、請求項１に記載の方法。
- 前記評価することは、少なくとも５つのレベルを含む、一般的な糖尿病網膜症評価基準に応じて、糖尿病網膜症の程度を評価することを含む、請求項１に記載の方法。
- 前記ニューラルネットワークは、網膜画像の各領域の品質に対する専門家によるアノテーションに少なくとも基づいてさらに訓練される、請求項１に記載の方法。
- 前記ニューラルネットワークは、前記網膜画像の各領域を、少なくともその品質およびレベルに応じて重みづけする、請求項１９に記載の方法。
- 眼画像を分類するシステムであって、
少なくとも１つの眼画像を受信するように構成された入力と、
少なくとも１つの客観的分類基準に応じて、複数の網膜画像の各領域の専門家によるアノテーションに少なくとも基づいて訓練されるニューラルネットワークを定義する情報を記憶するように構成されるメモリと、
少なくとも１つの自動プロセッサであって、
前記眼画像を正規化することと、
前記正規化眼画像を複数の領域に分割することと、
前記定義されたニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について眼病ベクトルを判定することと、
前記判定された眼病ベクトルに基づいて、前記複数の領域それぞれをアノテーションすることと、
少なくとも前記アノテーションに基づいて、少なくとも２つのレベルに対して、前記受信した眼画像を評価することとを実行するように構成された自動プロセッサと、
前記評価を通信するように構成された出力とを備えるシステム。 - 前記ニューラルネットワークは、複数の隠れ層を含む、請求項２１に記載のシステム。
- 前記ニューラルネットワークは、ディープニューラルネットワークを有する、請求項２２に記載のシステム。
- 前記ニューラルネットワークは、畳み込みニューラルネットワークを有する、請求項２２に記載のシステム。
- 前記ニューラルネットワークは再帰型ニューラルネットワークを含み、
前記入力は前記眼画像とは異なるタイミングで第２の眼画像を受信するようにさらに構成され、
前記少なくとも１つの自動プロセッサは、少なくとも前記眼画像の経時変化を分析するように構成される、請求項２１に記載のシステム。 - 前記ニューラルネットワークは、網膜画像の各領域の品質について、少なくとも専門家によるアノテーションに基づいてさらに訓練される、請求項２１に記載のシステム。
- 前記メモリは、網膜画像の各領域の品質について、少なくとも専門家によるアノテーションをさらに記憶するように構成される、請求項２１に記載のシステム。
- 前記少なくとも１つの分類器は、多クラスサポートベクターマシン分類器を含む、請求項２１に記載のシステム。
- 前記少なくとも１つの分類器は、勾配ブースティング分類器を含む、請求項２１に記載のシステム。
- 前記少なくとも１つの分類器は、複数の各領域の前記眼病ベクトルに基づいて、各領域を分類する、請求項２１に記載のシステム。
- 前記少なくとも１つの分類器は、複数の連続した領域の前記眼病ベクトルに基づいて、各領域を分類する、請求項２１に記載のシステム。
- 前記少なくとも１つの分類器は、糖尿病網膜症の兆候を持つ領域を判定する分類器を含む、請求項２１に記載のシステム。
- 前記評価することは、糖尿病網膜症の程度を評価することを含む、請求項２１に記載のシステム。
- 前記レベルには、当該レベルが正確である可能性を伴う、請求項２１に記載のシステム。
- 前記正確である可能性は、第一種過誤の可能性と、第二種過誤の可能性を含む、請求項２１に記載のシステム。
- 前記出力は、前記眼画像の前記領域の分類を示す画像を出力するようにさらに構成される、請求項２１に記載のシステム。
- 前記眼画像は眼底画像を含み、前記アノテーションは、少なくとも、各眼底画像の各領域内の糖尿病網膜症の兆候を含む、請求項２１に記載のシステム。
- 前記眼画像は血管画像を含む、請求項２１に記載のシステム。
- 前記眼病は血管障害を含む、請求項３８に記載のシステム。
- 前記受信した画像は、少なくとも前記アノテーションに基づき、少なくとも３つのレベルに対して評価される、請求項２１に記載の方法。
- 前記受信した眼画像に対して、少なくとも５つのレベルを含む、一般的な糖尿病網膜症評価基準に応じて、糖尿病網膜症の程度が評価される、請求項２１に記載のシステム。
- 前記ニューラルネットワークは、網膜画像の各領域の品質に対して専門家によるアノテーションに少なくとも基づいてさらに訓練される、請求項２１に記載のシステム。
- 前記ニューラルネットワークは、前記網膜画像の各領域を、少なくともその品質およびレベルに応じて重みづけするように構成される、請求項４２に記載のシステム。
- 少なくとも１つの自動プロセッサを制御するための指示を記憶するコンピュータ可読媒体であって、
眼画像を受信するための指示と、
前記眼画像を正規化するための指示と、
前記正規化眼画像を複数の領域に分割するための指示と、
ニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について眼病ベクトルを判定するための指示と、
前記判定された眼病ベクトルに基づいて、自動で前記複数の領域それぞれをアノテーションするための指示と、
少なくとも前記アノテーションに基づいて、少なくとも２つのレベルに対して、前記受信した眼画像を自動で評価するための指示と、を含み
前記ニューラルネットワークは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が眼画像の各領域につけたアノテーションに基づいて訓練される、媒体。 - 網膜症の存在について、網膜画像を分類する方法であって、
眼底画像を受信することと、
少なくとも三色刺激画像空間に対して眼底画像を自動で正規化することと、
前記正規化眼画像を、少なくとも１つの分割ルールに基づいて、複数の領域に自動で分割することと、
少なくとも専門家による網膜アノテーションを有する眼底画像組による訓練に基づいて訓練されたニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について網膜症ベクトルを自動で判定することと、
前記判定した眼病ベクトルに基づいて、自動で前記複数の領域それぞれにアノテーションを行うことと、
少なくとも前記アノテーションに基づいて、少なくとも２つの網膜症レベルに対して、前記受信した眼画像の網膜症の程度を自動で評価することと、
前記自動で判定した網膜症の程度を出力することと、を含む方法。 - 病理学画像を分類する方法であって、
画像を受信することと、
前記画像を正規化することと、
前記正規化画像を複数の領域に分割することと、
ニューラルネットワークを有する少なくとも１つの分類器により、前記複数の領域について自動で疾患ベクトルを判定することと、
前記判定された疾患ベクトルに基づいて、自動で前記複数の領域それぞれをアノテーションすることと、
少なくとも前記アノテーションに基づいて、前記受信した画像を自動で評価することと、を含み
前記ニューラルネットワークは、少なくとも１つの客観的な分類基準に応じて、少なくとも専門家が画像の各領域につけたアノテーションに基づいて訓練される、方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762490977P | 2017-04-27 | 2017-04-27 | |
| US62/490,977 | 2017-04-27 | ||
| PCT/US2018/029605 WO2018200840A1 (en) | 2017-04-27 | 2018-04-26 | System and method for automated funduscopic image analysis |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020518915A true JP2020518915A (ja) | 2020-06-25 |
Family
ID=62186545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019559095A Pending JP2020518915A (ja) | 2017-04-27 | 2018-04-26 | 自動眼底画像分析用のシステムおよび方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US10719936B2 (ja) |
| EP (1) | EP3616120B1 (ja) |
| JP (1) | JP2020518915A (ja) |
| CN (1) | CN111095261A (ja) |
| BR (1) | BR112019022447A2 (ja) |
| WO (1) | WO2018200840A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023539483A (ja) * | 2020-11-02 | 2023-09-14 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 医用画像処理方法、装置、機器、記憶媒体及びコンピュータプログラム |
| WO2023228229A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US12100140B2 (en) | 2021-01-29 | 2024-09-24 | Fujifilm Corporation | Information processing apparatus, information processing method, and information processing program |
| JP7575216B2 (ja) | 2020-08-25 | 2024-10-29 | 株式会社トプコン | 眼科画像処理装置、眼科装置、画質評価方法及びプログラム |
Families Citing this family (92)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10325176B2 (en) * | 2014-08-25 | 2019-06-18 | Agency For Science, Technology And Research | Methods and systems for assessing retinal images, and obtaining information from retinal images |
| CN108603922A (zh) * | 2015-11-29 | 2018-09-28 | 阿特瑞斯公司 | 自动心脏体积分割 |
| RU2018142757A (ru) * | 2016-05-13 | 2020-06-15 | Басф Се | Система и способ обнаружения болезней растений |
| US11195313B2 (en) * | 2016-10-14 | 2021-12-07 | International Business Machines Corporation | Cross-modality neural network transform for semi-automatic medical image annotation |
| US10663711B2 (en) | 2017-01-04 | 2020-05-26 | Corista, LLC | Virtual slide stage (VSS) method for viewing whole slide images |
| WO2018140596A2 (en) | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| CN108771530B (zh) * | 2017-05-04 | 2021-03-30 | 深圳硅基智能科技有限公司 | 基于深度神经网络的眼底病变筛查系统 |
| US11748877B2 (en) | 2017-05-11 | 2023-09-05 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
| WO2019005722A1 (en) * | 2017-06-26 | 2019-01-03 | The Research Foundation For The State University Of New York | SYSTEM, METHOD AND COMPUTER-ACCESSIBLE MEDIA FOR VIRTUAL PANCREATOGRAPHY |
| WO2019024568A1 (zh) * | 2017-08-02 | 2019-02-07 | 上海市第六人民医院 | 眼底图像处理方法、装置、计算机设备和存储介质 |
| KR101977645B1 (ko) * | 2017-08-25 | 2019-06-12 | 주식회사 메디웨일 | 안구영상 분석방법 |
| US11037032B2 (en) * | 2017-10-06 | 2021-06-15 | Wisconsin Alumni Research Foundation | Methods, systems, and media for detecting the presence of an analyte |
| CN107680684B (zh) * | 2017-10-12 | 2021-05-07 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
| US10796221B2 (en) | 2017-10-19 | 2020-10-06 | General Electric Company | Deep learning architecture for automated image feature extraction |
| US10460440B2 (en) * | 2017-10-24 | 2019-10-29 | General Electric Company | Deep convolutional neural network with self-transfer learning |
| US10977554B2 (en) * | 2017-11-14 | 2021-04-13 | Magic Leap, Inc. | Fully convolutional interest point detection and description via homographic adaptation |
| WO2019103912A2 (en) | 2017-11-22 | 2019-05-31 | Arterys Inc. | Content based image retrieval for lesion analysis |
| WO2019108888A1 (en) * | 2017-11-30 | 2019-06-06 | The Research Foundation For The State University Of New York | SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS |
| CN108615051B (zh) * | 2018-04-13 | 2020-09-15 | 博众精工科技股份有限公司 | 基于深度学习的糖尿病视网膜图像分类方法及系统 |
| US11461599B2 (en) * | 2018-05-07 | 2022-10-04 | Kennesaw State University Research And Service Foundation, Inc. | Classification of images based on convolution neural networks |
| US10902586B2 (en) * | 2018-05-08 | 2021-01-26 | International Business Machines Corporation | Automated visual recognition of a microcalcification |
| AU2019275232B2 (en) * | 2018-05-21 | 2024-08-15 | Corista, LLC | Multi-sample whole slide image processing via multi-resolution registration |
| CN110648303B (zh) * | 2018-06-08 | 2022-07-26 | 上海市第六人民医院 | 眼底图像分析方法、计算机设备和存储介质 |
| KR102354980B1 (ko) * | 2018-06-11 | 2022-01-24 | 사회복지법인 삼성생명공익재단 | 전안부 질환 진단 시스템 및 이를 이용한 진단 방법 |
| CN109686423A (zh) * | 2018-11-06 | 2019-04-26 | 众安信息技术服务有限公司 | 一种医疗影像标注方法及系统 |
| CN109523524B (zh) * | 2018-11-07 | 2020-07-03 | 电子科技大学 | 一种基于集成学习的眼底图像硬性渗出检测方法 |
| WO2020107167A1 (zh) * | 2018-11-26 | 2020-06-04 | 深圳先进技术研究院 | 乳腺密度自动分级方法及装置 |
| CN109727256B (zh) * | 2018-12-10 | 2020-10-27 | 浙江大学 | 一种基于玻尔兹曼和目标先验知识的图像分割识别方法 |
| AU2019396539A1 (en) * | 2018-12-12 | 2021-08-05 | Tesseract Health, Inc. | Biometric identification and health status determination |
| CN109602391A (zh) * | 2019-01-04 | 2019-04-12 | 平安科技（深圳）有限公司 | 眼底出血点的自动检测方法、装置及计算机可读存储介质 |
| CN110021009B (zh) * | 2019-01-18 | 2023-07-21 | 平安科技（深圳）有限公司 | 一种评估眼底图像质量的方法、装置及存储介质 |
| CN109902717A (zh) * | 2019-01-23 | 2019-06-18 | 平安科技（深圳）有限公司 | 病灶自动识别方法、装置及计算机可读存储介质 |
| US11068694B2 (en) * | 2019-01-23 | 2021-07-20 | Molecular Devices, Llc | Image analysis system and method of using the image analysis system |
| CN109872322A (zh) * | 2019-02-27 | 2019-06-11 | 电子科技大学 | 一种基于级联检测模型的核性白内障病变区域定位方法 |
| US20220151568A1 (en) * | 2019-03-13 | 2022-05-19 | The Board Of Trustees Of The University Of Illinois | Supervised machine learning based multi-task artificial intelligence classification of retinopathies |
| US11583188B2 (en) * | 2019-03-18 | 2023-02-21 | General Electric Company | Automated detection and localization of bleeding |
| WO2020198380A1 (en) | 2019-03-26 | 2020-10-01 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
| CN110060258B (zh) * | 2019-03-27 | 2021-05-04 | 山东师范大学 | 基于高斯混合模型聚类的视网膜sd-oct图像分割方法和装置 |
| US11074479B2 (en) * | 2019-03-28 | 2021-07-27 | International Business Machines Corporation | Learning of detection model using loss function |
| EP3948773A1 (en) * | 2019-03-29 | 2022-02-09 | Ai Technologies Inc. | Image-based detection of ophthalmic and systemic diseases |
| WO2020201942A1 (en) | 2019-04-01 | 2020-10-08 | Cathworks Ltd. | Methods and apparatus for angiographic image selection |
| CN109977905B (zh) * | 2019-04-04 | 2021-08-06 | 北京百度网讯科技有限公司 | 用于处理眼底图像的方法和装置 |
| CN110136140A (zh) * | 2019-04-16 | 2019-08-16 | 上海鹰瞳医疗科技有限公司 | 眼底图像血管影像分割方法及设备 |
| US12050830B2 (en) * | 2019-04-25 | 2024-07-30 | Dolby Laboratories Licensing Corporation | Content-aware PQ range analyzer and tone mapping in live feeds |
| CN110211094B (zh) * | 2019-05-06 | 2023-05-26 | 平安科技（深圳）有限公司 | 黑眼圈智能判断方法、装置及计算机可读存储介质 |
| WO2020243333A1 (en) | 2019-05-30 | 2020-12-03 | The Research Foundation For The State University Of New York | System, method, and computer-accessible medium for generating multi-class models from single-class datasets |
| WO2020241794A1 (ja) * | 2019-05-31 | 2020-12-03 | 株式会社ニデック | 眼科画像処理装置、眼科画像処理プログラム、および眼科画像処理システム |
| US11915826B2 (en) * | 2019-06-07 | 2024-02-27 | Welch Allyn, Inc. | Digital image screening and/or diagnosis using artificial intelligence |
| CA3145370A1 (en) * | 2019-06-25 | 2020-12-30 | Owkin Inc. | Systems and methods for mesothelioma feature detection and enhanced prognosis or response to treatment |
| TWI702615B (zh) * | 2019-07-26 | 2020-08-21 | 長佳智能股份有限公司 | 視網膜病變評估模型建立方法及系統 |
| WO2021041068A1 (en) * | 2019-08-30 | 2021-03-04 | Google Llc | Predicting disease progression from tissue images and tissue segmentation maps |
| KR20210035381A (ko) * | 2019-09-23 | 2021-04-01 | 삼성에스디에스 주식회사 | 의료 진단 방법 및 장치 |
| WO2021059165A1 (en) | 2019-09-23 | 2021-04-01 | Cathworks Ltd. | Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device |
| KR20220077142A (ko) * | 2019-10-02 | 2022-06-08 | 메모리얼 슬로안 케터링 캔서 센터 | 다중-클래스 이미지 분할을 위한 심층 다중-배율 네트워크들 |
| WO2021080804A1 (en) * | 2019-10-25 | 2021-04-29 | F. Hoffmann-La Roche Ag | Machine-learning techniques for prediction of future visual acuity |
| CN110910371A (zh) * | 2019-11-22 | 2020-03-24 | 北京理工大学 | 基于生理指标和影像融合的肝肿瘤自动分类方法及装置 |
| CN110992364B (zh) * | 2019-12-31 | 2023-11-28 | 重庆艾可立安医疗器械有限公司 | 视网膜图像识别方法、装置、计算机设备和存储介质 |
| US11734576B2 (en) * | 2020-04-14 | 2023-08-22 | International Business Machines Corporation | Cooperative neural networks with spatial containment constraints |
| US11222201B2 (en) | 2020-04-14 | 2022-01-11 | International Business Machines Corporation | Vision-based cell structure recognition using hierarchical neural networks |
| US11797603B2 (en) | 2020-05-01 | 2023-10-24 | Magic Leap, Inc. | Image descriptor network with imposed hierarchical normalization |
| US11875480B1 (en) * | 2020-05-15 | 2024-01-16 | Verily Life Sciences Llc | Distinguishing artifacts from pathological features in digital images |
| CN113706375A (zh) * | 2020-05-20 | 2021-11-26 | 佛吉亚歌乐电子(厦门)有限公司 | 一种图像拼接装置及方法 |
| CN111739617B (zh) * | 2020-06-15 | 2023-07-11 | 中国医学科学院医学信息研究所 | 医疗影像人工智能质控标注方法、装置、设备及存储介质 |
| CN111754486B (zh) * | 2020-06-24 | 2023-08-15 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115997241A (zh) | 2020-08-13 | 2023-04-21 | 佩治人工智能公司 | 处理电子图像进行连续生物标志物预测的系统和方法 |
| CN112001848B (zh) * | 2020-09-07 | 2022-04-26 | 鹏祥智慧保安有限公司 | 大数据监控系统中的图像识别拼接方法及系统 |
| US12079987B2 (en) * | 2020-09-19 | 2024-09-03 | The Cleveland Clinic Foundation | Automated quality assessment of ultra-widefield angiography images |
| CN114254146A (zh) * | 2020-09-21 | 2022-03-29 | 京东方科技集团股份有限公司 | 图像数据的分类方法、装置和系统 |
| CN112184697B (zh) * | 2020-10-15 | 2022-10-04 | 桂林电子科技大学 | 基于果蝇优化算法的糖尿病视网膜病变分级深度学习方法 |
| CN112465839A (zh) * | 2020-12-10 | 2021-03-09 | 山东承势电子科技有限公司 | 一种基于数据增强的眼底图像病灶分割和定量分析方法 |
| CN112651938B (zh) * | 2020-12-24 | 2023-12-19 | 平安科技（深圳）有限公司 | 视盘图像分类模型的训练方法、装置、设备及存储介质 |
| CN112734697B (zh) * | 2020-12-24 | 2024-05-28 | 沈阳东软智能医疗科技研究院有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| US12079311B2 (en) * | 2021-01-08 | 2024-09-03 | Salesforce, Inc. | AI-enhanced data labeling |
| CN113128565B (zh) * | 2021-03-25 | 2022-05-06 | 之江实验室 | 面向预训练标注数据不可知的图像自动标注系统和装置 |
| CN113205523A (zh) * | 2021-04-29 | 2021-08-03 | 浙江大学 | 多尺度表征优化的医学影像分割识别系统、终端及存储介质 |
| US12067726B2 (en) * | 2021-05-06 | 2024-08-20 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Retina image annotation, and related training methods and image processing models |
| CN113299388B (zh) * | 2021-05-12 | 2023-09-29 | 吾征智能技术(北京)有限公司 | 基于发热伴皮疹的跨模态医学生物特征认知疾病的系统 |
| CN113344909B (zh) * | 2021-07-01 | 2023-12-08 | 中国石油大学(北京) | 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置 |
| CN113768460B (zh) * | 2021-09-10 | 2023-11-14 | 北京鹰瞳科技发展股份有限公司 | 一种眼底图像分析系统、方法以及电子设备 |
| CN113850804B (zh) * | 2021-11-29 | 2022-03-18 | 北京鹰瞳科技发展股份有限公司 | 基于生成对抗网络的视网膜图像生成系统及方法 |
| CN114511727A (zh) * | 2021-12-14 | 2022-05-17 | 广东省建筑科学研究院集团股份有限公司 | 基于多尺度输入神经网络的建筑风场地面粗糙度识别方法 |
| US20230252632A1 (en) * | 2022-02-10 | 2023-08-10 | Cathworks Ltd. | System and method for machine-learning based sensor analysis and vascular tree segmentation |
| US11877831B2 (en) * | 2022-03-14 | 2024-01-23 | O/D Vision Inc. | Systems and methods for artificial intelligence based blood pressure computation based on images of the outer eye |
| CN114943845B (zh) * | 2022-05-23 | 2024-08-02 | 天津城建大学 | 一种领域图片细粒度分类识别方法及系统 |
| CN115082414B (zh) * | 2022-07-08 | 2023-01-06 | 深圳市眼科医院 | 一种基于视觉质量分析的便携式检测方法和装置 |
| WO2024011236A1 (en) * | 2022-07-08 | 2024-01-11 | Arcscan, Inc. | Using artificial intelligence to detect and monitor glaucoma |
| CN115018852B (zh) * | 2022-08-10 | 2022-12-06 | 四川大学 | 一种基于半监督学习的腹部淋巴结检测方法及装置 |
| CN115082459A (zh) * | 2022-08-18 | 2022-09-20 | 北京鹰瞳科技发展股份有限公司 | 对用于屈光度检测的检测模型进行训练的方法及相关产品 |
| CN115587979B (zh) * | 2022-10-10 | 2023-08-15 | 山东财经大学 | 基于三阶段注意力网络的糖尿病视网膜病变分级的方法 |
| CN116168255B (zh) * | 2023-04-10 | 2023-12-08 | 武汉大学人民医院（湖北省人民医院） | 一种长尾分布鲁棒的视网膜oct图像分类方法 |
| CN116612339B (zh) * | 2023-07-21 | 2023-11-14 | 中国科学院宁波材料技术与工程研究所 | 一种核性白内障图像分级模型的构建装置及分级装置 |
| CN117173222B (zh) * | 2023-09-01 | 2024-07-19 | 深圳扬奇医芯智能科技有限公司 | 一种基于扩散模型的配准方法及系统 |
Family Cites Families (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5784162A (en) | 1993-08-18 | 1998-07-21 | Applied Spectral Imaging Ltd. | Spectral bio-imaging methods for biological research, medical diagnostics and therapy |
| US6198532B1 (en) | 1991-02-22 | 2001-03-06 | Applied Spectral Imaging Ltd. | Spectral bio-imaging of the eye |
| US6088099A (en) | 1996-10-30 | 2000-07-11 | Applied Spectral Imaging Ltd. | Method for interferometer based spectral imaging of moving objects |
| US6276798B1 (en) | 1998-09-29 | 2001-08-21 | Applied Spectral Imaging, Ltd. | Spectral bio-imaging of the eye |
| US6943153B1 (en) | 1999-03-15 | 2005-09-13 | The Regents Of The University Of California | Use of recombinant gene delivery vectors for treating or preventing diseases of the eye |
| AU2001288372A1 (en) | 2000-08-23 | 2002-03-04 | Philadelphia Ophthalmologic Imaging Systems, Inc. | System and method for tele-ophthalmology |
| US20030129164A1 (en) | 2001-12-03 | 2003-07-10 | Flannery John G. | Expression of glial-derived neurotrophic factor for treatment of diseases of the eye |
| US7433532B2 (en) | 2002-05-01 | 2008-10-07 | Kestrel Corporation | Max entropy optimized retinal camera |
| US6895264B2 (en) | 2002-08-26 | 2005-05-17 | Fovioptics Inc. | Non-invasive psychophysical measurement of glucose using photodynamics |
| WO2004021050A2 (en) | 2002-08-29 | 2004-03-11 | Kestrel Corporation | Hyperspectral imaging of the human retina |
| US20040221855A1 (en) | 2002-10-17 | 2004-11-11 | Paul Ashton | Methods for monitoring treatment of disease |
| US20100172871A1 (en) | 2005-02-17 | 2010-07-08 | Flannery John G | Muller Cell Specific Gene Therapy |
| US20110097330A1 (en) | 2005-03-11 | 2011-04-28 | Genentech, Inc. | Novel Gene Disruptions, Compostitions and Methods Relating Thereto |
| US7474775B2 (en) | 2005-03-31 | 2009-01-06 | University Of Iowa Research Foundation | Automatic detection of red lesions in digital color fundus photographs |
| US8098907B2 (en) | 2005-07-01 | 2012-01-17 | Siemens Corporation | Method and system for local adaptive detection of microaneurysms in digital fundus images |
| AU2006280321A1 (en) | 2005-08-15 | 2007-02-22 | Genentech, Inc. | Gene disruptions, compositions and methods relating thereto |
| US8114843B2 (en) | 2005-11-18 | 2012-02-14 | The Regents Of The University Of California | Photoreactive regulator of protein function and methods of use thereof |
| WO2007118079A2 (en) | 2006-04-03 | 2007-10-18 | University Of Iowa Research Foundation | Methods and systems for optic nerve head segmentation |
| WO2008150840A1 (en) | 2007-05-29 | 2008-12-11 | University Of Iowa Research Foundation | Methods and systems for determining optimal features for classifying patterns or objects in images |
| US8194936B2 (en) | 2008-04-25 | 2012-06-05 | University Of Iowa Research Foundation | Optimal registration of multiple deformed images using a physical model of the imaging distortion |
| US8705826B2 (en) | 2008-05-14 | 2014-04-22 | Agency For Science, Technology And Research | Automatic cup-to-disc ratio measurement system |
| US8896682B2 (en) | 2008-12-19 | 2014-11-25 | The Johns Hopkins University | System and method for automated detection of age related macular degeneration and other retinal abnormalities |
| US8303115B2 (en) | 2009-05-28 | 2012-11-06 | Annidis Health Systems Corp. | Method and system for retinal health management |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| BR112013013123A2 (pt) | 2010-11-26 | 2018-06-19 | Univ Johannesburg Witwatersrand | dispositivo de entrega de fármaco |
| US20150379708A1 (en) | 2010-12-07 | 2015-12-31 | University Of Iowa Research Foundation | Methods and systems for vessel bifurcation detection |
| WO2012078636A1 (en) | 2010-12-07 | 2012-06-14 | University Of Iowa Research Foundation | Optimal, user-friendly, object background separation |
| CN103458772B (zh) * | 2011-04-07 | 2017-10-31 | 香港中文大学 | 视网膜图像分析方法和装置 |
| EP2554662A1 (en) | 2011-08-05 | 2013-02-06 | M Maria Pia Cosma | Methods of treatment of retinal degeneration diseases |
| US9849034B2 (en) | 2011-11-07 | 2017-12-26 | Alcon Research, Ltd. | Retinal laser surgery |
| WO2013165614A1 (en) | 2012-05-04 | 2013-11-07 | University Of Iowa Research Foundation | Automated assessment of glaucoma loss from optical coherence tomography |
| US9867988B2 (en) | 2012-08-29 | 2018-01-16 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Apparatus for electrical stimulation of a cell and method of use |
| US20140276025A1 (en) | 2013-03-14 | 2014-09-18 | Carl Zeiss Meditec, Inc. | Multimodal integration of ocular data acquisition and analysis |
| US20140314288A1 (en) | 2013-04-17 | 2014-10-23 | Keshab K. Parhi | Method and apparatus to detect lesions of diabetic retinopathy in fundus images |
| GB201308131D0 (en) | 2013-05-07 | 2013-06-12 | London School Hygiene & Tropical Medicine | Ophthalmoscope |
| US9905008B2 (en) | 2013-10-10 | 2018-02-27 | University Of Rochester | Automated fundus image field detection and quality assessment |
| US9008391B1 (en) | 2013-10-22 | 2015-04-14 | Eyenuk, Inc. | Systems and methods for processing retinal images for screening of diseases or abnormalities |
| US9836849B2 (en) | 2015-01-28 | 2017-12-05 | University Of Florida Research Foundation, Inc. | Method for the autonomous image segmentation of flow systems |
| AU2016308097B2 (en) | 2015-08-15 | 2018-08-02 | Salesforce.Com, Inc. | Three-dimensional (3D) convolution with 3D batch normalization |
| WO2017165538A1 (en) * | 2016-03-22 | 2017-09-28 | Uru, Inc. | Apparatus, systems, and methods for integrating digital media content into other digital media content |
| WO2018045363A1 (en) * | 2016-09-02 | 2018-03-08 | Gargeya Rishab | Screening method for automated detection of vision-degenerative diseases from color fundus images |
-
2018
- 2018-04-26 JP JP2019559095A patent/JP2020518915A/ja active Pending
- 2018-04-26 BR BR112019022447A patent/BR112019022447A2/pt not_active IP Right Cessation
- 2018-04-26 US US15/963,716 patent/US10719936B2/en active Active
- 2018-04-26 EP EP18725363.8A patent/EP3616120B1/en active Active
- 2018-04-26 CN CN201880043113.6A patent/CN111095261A/zh active Pending
- 2018-04-26 WO PCT/US2018/029605 patent/WO2018200840A1/en unknown
-
2020
- 2020-07-20 US US16/933,524 patent/US20200349710A1/en not_active Abandoned
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7575216B2 (ja) | 2020-08-25 | 2024-10-29 | 株式会社トプコン | 眼科画像処理装置、眼科装置、画質評価方法及びプログラム |
| JP2023539483A (ja) * | 2020-11-02 | 2023-09-14 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 医用画像処理方法、装置、機器、記憶媒体及びコンピュータプログラム |
| JP7391267B2 (ja) | 2020-11-02 | 2023-12-04 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | 医用画像処理方法、装置、機器、記憶媒体及びコンピュータプログラム |
| US12100140B2 (en) | 2021-01-29 | 2024-09-24 | Fujifilm Corporation | Information processing apparatus, information processing method, and information processing program |
| WO2023228229A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電気株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| BR112019022447A2 (pt) | 2020-06-09 |
| WO2018200840A9 (en) | 2018-11-29 |
| EP3616120B1 (en) | 2024-09-04 |
| US20180315193A1 (en) | 2018-11-01 |
| US20200349710A1 (en) | 2020-11-05 |
| CN111095261A (zh) | 2020-05-01 |
| WO2018200840A1 (en) | 2018-11-01 |
| US10719936B2 (en) | 2020-07-21 |
| EP3616120A1 (en) | 2020-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10719936B2 (en) | System and method for automated funduscopic image analysis | |
| Jiang et al. | A review of deep learning-based multiple-lesion recognition from medical images: classification, detection and segmentation | |
| Veena et al. | A novel optic disc and optic cup segmentation technique to diagnose glaucoma using deep learning convolutional neural network over retinal fundus images | |
| US20240135517A1 (en) | Systems and methods for automated processing of retinal images | |
| WO2018057714A1 (en) | Systems, methods and media for automatically generating a bone age assessment from a radiograph | |
| JP2019500110A (ja) | 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化 | |
| Valizadeh et al. | Presentation of a segmentation method for a diabetic retinopathy patient’s fundus region detection using a convolutional neural network | |
| US11883099B2 (en) | Noninvasive techniques for identifying choroidal neovascularization in retinal scans | |
| Xiao et al. | Major automatic diabetic retinopathy screening systems and related core algorithms: a review | |
| EP4315245A2 (en) | Medical image analysis using neural networks | |
| Mathews et al. | A comprehensive review on automated systems for severity grading of diabetic retinopathy and macular edema | |
| Suman et al. | Automated detection of Hypertensive Retinopathy using few-shot learning | |
| Mookiah et al. | Computer aided diagnosis of diabetic retinopathy using multi-resolution analysis and feature ranking frame work | |
| Priya et al. | Detection and grading of diabetic retinopathy in retinal images using deep intelligent systems: a comprehensive review | |
| Sridhar et al. | Lung Segment Anything Model (LuSAM): A Prompt-integrated Framework for Automated Lung Segmentation on ICU Chest X-Ray Images | |
| US12087445B2 (en) | Automatic cervical cancer diagnosis system | |
| Daanouni et al. | Automated end-to-end Architecture for Retinal Layers and Fluids Segmentation on OCT B-scans | |
| Niemeijer | Automatic detection of diabetic retinopathy in digital fundus photographs | |
| Jain | Liver Disease Detection from CT scan images using Deep Learning and Transfer Learning | |
| Bhardwaj et al. | A computational framework for diabetic retinopathy severity grading categorization using ophthalmic image processing | |
| Mahbod | Towards Improvement of Automated Segmentation and Classification of Tissues and Nuclei in Microscopic Images Using Deep Learning Approaches | |
| Valizadeh et al. | Research Article Presentation of a Segmentation Method for a Diabetic Retinopathy Patient’s Fundus Region Detection Using a Convolutional Neural Network | |
| Devidas et al. | Segmentation of Optic Disc and Exudates through Hybrid Model by Utilizing Genetic Algorithm and Root Guided Decision Tree | |
| Vij et al. | Modified deep inductive transfer learning diagnostic systems for diabetic retinopathy severity levels classification | |
| Agurto | Detection and classification of Diabetic retinopathy pathologies in fundus images |