KR102498686B1 - 품질 제어를 위해 전자 이미지들을 분석하기 위한 시스템들 및 방법들 - Google Patents
품질 제어를 위해 전자 이미지들을 분석하기 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR102498686B1 KR102498686B1 KR1020227026853A KR20227026853A KR102498686B1 KR 102498686 B1 KR102498686 B1 KR 102498686B1 KR 1020227026853 A KR1020227026853 A KR 1020227026853A KR 20227026853 A KR20227026853 A KR 20227026853A KR 102498686 B1 KR102498686 B1 KR 102498686B1
- Authority
- KR
- South Korea
- Prior art keywords
- machine learning
- learning model
- designation
- disease
- digital image
- Prior art date
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000010801 machine learning Methods 0.000 claims abstract description 186
- 238000000275 quality assurance Methods 0.000 claims abstract description 133
- 230000007170 pathology Effects 0.000 claims abstract description 125
- 201000010099 disease Diseases 0.000 claims abstract description 89
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 89
- 239000000090 biomarker Substances 0.000 claims abstract description 29
- 206010028980 Neoplasm Diseases 0.000 claims description 98
- 201000011510 cancer Diseases 0.000 claims description 84
- 238000003745 diagnosis Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 19
- 238000003364 immunohistochemistry Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000010186 staining Methods 0.000 claims description 13
- 230000003902 lesion Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 12
- 244000005700 microbiome Species 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims description 9
- 241001465754 Metazoa Species 0.000 claims description 8
- 230000036541 health Effects 0.000 claims description 8
- 208000031940 Disease Attributes Diseases 0.000 claims 3
- 210000001519 tissue Anatomy 0.000 description 69
- 238000004458 analytical method Methods 0.000 description 40
- 238000003860 storage Methods 0.000 description 30
- 239000000523 sample Substances 0.000 description 22
- 239000000463 material Substances 0.000 description 21
- 238000012552 review Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000002360 preparation method Methods 0.000 description 16
- 238000001356 surgical procedure Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000001574 biopsy Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 108090000623 proteins and genes Proteins 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000009897 systematic effect Effects 0.000 description 6
- 238000013480 data collection Methods 0.000 description 5
- 206010005003 Bladder cancer Diseases 0.000 description 4
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007901 in situ hybridization Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 201000005112 urinary bladder cancer Diseases 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 210000004940 nucleus Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010166 immunofluorescence Methods 0.000 description 2
- 238000009533 lab test Methods 0.000 description 2
- 238000010603 microCT Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- -1 scratches Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 239000003298 DNA probe Substances 0.000 description 1
- 102000010834 Extracellular Matrix Proteins Human genes 0.000 description 1
- 108010037362 Extracellular Matrix Proteins Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 108020004518 RNA Probes Proteins 0.000 description 1
- 239000003391 RNA probe Substances 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000002744 extracellular matrix Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000002962 histologic effect Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 238000002493 microarray Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002018 overexpression Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
- G16B40/00—ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
- G16B40/20—Supervised data analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biotechnology (AREA)
- Evolutionary Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Bioethics (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
병리학 카테고리와 연관된 타겟 표본에 대응하는 디지털 이미지를 수신하고, 하나 이상의 아티팩트에 기초하여 품질 지정을 예측하기 위해 품질 제어(QC) 기계 학습 모델을 결정하고, 디지털 이미지를 QC 기계 학습 모델에 대한 입력으로서 제공하고, 디지털 이미지에 대한 품질 지정을 기계 학습 모델로부터의 출력으로서 수신하고, 디지털 이미지의 품질 지정을 출력하기 위한 시스템들 및 방법들이 개시된다. 품질 보증(QA) 기계 학습 모델은 하나 이상의 바이오마커에 기초하여 질병 지정을 예측할 수 있다. 디지털 이미지는 질병 지정을 출력할 수 있는 QA 모델에 제공될 수 있다. 외부 지정은 질병 지정과 비교될 수 있고, 비교 결과가 출력될 수 있다.
Description
관련 출원(들)
본 출원은 2020년 1월 6일자로 출원된 미국 가출원 제62/957,517호에 대한 우선권을 주장하며, 그 전체 개시내용은 그 전체가 본 명세서에 참고로 포함된다.
개시내용의 분야
본 개시내용의 다양한 실시예들은 일반적으로 품질 보증(quality assurance)(QA)을 위한 이미지 기반 표본 품질 제어(quality control)(QC) 및 관련 이미지 처리 방법들에 관한 것이다. 보다 구체적으로, 본 개시내용의 특정 실시예들은 표본이 평가되기 전에 QC 피드백을 제공하고, 또한 표본 평가 및 진단을 보충하기 위해 QA를 제공하기 위해 이미지들을 처리하기 위한 시스템들 및 방법들에 관한 것이다.
실험실 품질 제어 및 디지털 병리학 품질 보증은 환자 표본들의 성공적인 유입, 처리, 진단, 및 보관에 중요하다. 품질 보증을 위한 현재의 방법들은 (1) 처음 진단 암 케이스의 2차 검토, (2) 품질 보증 위원회에 의한 불일치하거나 변경된 진단의 주기적 검토들, 또는 (3) 케이스들의 서브세트의 무작위 검토를 포함한다. 이들 방법은 비-포괄적이고, 대부분 소급적이고, 수동적이다.
품질 제어 및 보증을 위한 종래의 기술들은 더 체계적인 품질 제어 및 보증으로 개선될 수 있다. 그러나, 체계적인 품질 보증은 2명의 병리학자에 의한 중복적인 노력을 요구하기 때문에 오늘날 비실용적이고 비효율적이다. 그러한 중복적인 노력은 엄청난 자원 및 시간 집약적일 것이다. 그 결과, 실현가능한 체계적 품질 제어 및 보증에 대한 요구가 존재한다.
전술한 일반적인 설명 및 다음의 상세한 설명은 단지 예시적이고 설명적이며, 본 개시내용을 제한하지 않는다. 본 명세서에서 제공되는 배경 설명은 본 개시내용의 맥락을 일반적으로 제시하기 위한 것이다. 본 명세서에서 달리 지시되지 않는 한, 본 섹션에서 설명되는 자료들은 본 출원에서의 청구항들에 대한 종래 기술이 아니며, 본 섹션에서의 포함에 의해 종래 기술 또는 종래 기술의 제안들인 것으로 인정되지 않는다.
본 개시내용의 특정 양태들에 따르면, 디지털 병리학 이미지들에 대한 QC 및 QA 측정들을 구현하기 위한 시스템들 및 방법들이 개시된다.
품질 지정들(quality designations)을 출력하기 위한 방법은, 병리학 카테고리와 연관된 타겟 표본에 대응하는 디지털 이미지를 수신하는 단계―디지털 이미지는 인간 조직의 이미지 및/또는 인간 조직을 복제하기 위해 알고리즘적으로 생성된 이미지임―, 품질 제어(QC) 기계 학습 모델을 결정하는 단계―QC 기계 학습 모델은 하나 이상의 아티팩트(artifact)에 기초하여 품질 지정을 예측하기 위해, 병리학 카테고리와 연관된 복수의 훈련 이미지들을 처리함으로써 생성됨―, 디지털 이미지를 QC 기계 학습 모델에 대한 입력으로서 제공하는 단계, 디지털 이미지에 대한 품질 지정을 기계 학습 모델로부터의 출력으로서 수신하는 단계, 및 디지털 이미지의 품질 지정을 출력하는 단계를 포함한다.
질병 지정들을 검증하기 위한 방법은 병리학 카테고리와 연관된 타겟 표본에 대응하는 적어도 하나의 디지털 이미지를 수신하는 단계―디지털 이미지는 인간 조직의 이미지 및/또는 인간 조직을 복제하기 위해 알고리즘적으로 생성된 이미지임―, 품질 보증(QA) 기계 학습 모델을 결정하는 단계―QA 기계 학습 모델은 하나 이상의 바이오마커에 기초하여 질병 지정을 예측하기 위해, 병리학 카테고리로부터, 복수의 훈련 이미지들을 처리함으로써 생성됨―, 디지털 이미지를 QA 기계 학습 모델에 대한 입력으로서 제공하는 단계, 디지털 이미지에 대한 질병 지정을 QA 기계 학습 모델로부터의 출력으로서 수신하는 단계, 디지털 이미지에 대한 외부 지정을 수신하는 단계, 질병 지정을 외부 지정과 비교하는 단계, 및 질병 지정을 외부 지정과 비교하는 것에 기초하여 비교 결과를 출력하는 단계를 포함한다.
질병 지정들을 검증하기 위한 시스템은 명령어들을 저장한 메모리, 및 프로세스를 수행하기 위해 명령어들을 실행하는 프로세서를 포함하고, 프로세스는, 병리학 카테고리와 연관된 타겟 표본에 대응하는 적어도 하나의 디지털 이미지를 수신하는 단계―디지털 이미지는 인간 조직의 이미지 및/또는 인간 조직을 복제하기 위해 알고리즘적으로 생성된 이미지임―, 품질 보증(QA) 기계 학습 모델을 결정하는 단계―QA 기계 학습 모델은 하나 이상의 바이오마커에 기초하여 질병 지정을 예측하기 위해, 병리학 카테고리로부터, 복수의 훈련 이미지들을 처리함으로써 생성됨―, 디지털 이미지를 QA 기계 학습 모델에 대한 입력으로서 제공하는 단계, 디지털 이미지에 대한 질병 지정을 QA 기계 학습 모델로부터의 출력으로서 수신하는 단계, 디지털 이미지에 대한 외부 지정을 수신하는 단계, 질병 지정을 외부 지정과 비교하는 단계, 및 질병 지정을 외부 지정과 비교하는 것에 기초하여 비교 결과를 출력하는 단계를 포함한다.
본 명세서에 포함되고 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하는 것이며, 설명과 함께 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 디지털 이미지들로 QA/QC 툴들을 구현하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 개시내용의 예시적인 실시예에 따른, 기계 학습 모델의 예시적인 블록도를 도시한다.
도 2a는 본 개시내용의 예시적인 실시예에 따른, QC 기계 학습 모델을 이용하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 2b는 본 개시내용의 예시적인 실시예에 따른, QA 기계 학습 모델을 이용하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 3은 본 개시내용의 예시적인 실시예에 따른, 훈련 모듈의 예시적인 블록도를 도시한다.
도 4는 본 개시내용의 예시적인 실시예에 따른, 진단의 상이한 단계들에서 QA/QC 분석을 구현하기 위한 도면을 도시한다.
도 5는 본 개시내용의 예시적인 실시예에 따른, QC 구현의 예시적인 실시예의 흐름도이다.
도 6은 본 개시내용의 예시적인 실시예에 따른, QA 구현의 예시적인 실시예의 흐름도이다.
도 7은 본 개시내용의 예시적인 실시예에 따른, 다른 QA 구현의 예시적인 실시예의 흐름도이다.
도 8은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 디지털 이미지들로 QA/QC 툴들을 구현하기 위한 시스템 및 네트워크의 예시적인 블록도를 도시한다.
도 1b는 본 개시내용의 예시적인 실시예에 따른, 기계 학습 모델의 예시적인 블록도를 도시한다.
도 2a는 본 개시내용의 예시적인 실시예에 따른, QC 기계 학습 모델을 이용하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 2b는 본 개시내용의 예시적인 실시예에 따른, QA 기계 학습 모델을 이용하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 3은 본 개시내용의 예시적인 실시예에 따른, 훈련 모듈의 예시적인 블록도를 도시한다.
도 4는 본 개시내용의 예시적인 실시예에 따른, 진단의 상이한 단계들에서 QA/QC 분석을 구현하기 위한 도면을 도시한다.
도 5는 본 개시내용의 예시적인 실시예에 따른, QC 구현의 예시적인 실시예의 흐름도이다.
도 6은 본 개시내용의 예시적인 실시예에 따른, QA 구현의 예시적인 실시예의 흐름도이다.
도 7은 본 개시내용의 예시적인 실시예에 따른, 다른 QA 구현의 예시적인 실시예의 흐름도이다.
도 8은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
실시예들의 설명
이제, 본 개시내용의 예시적인 실시예들을 상세히 참조할 것이며, 그 예들이 첨부 도면들에 도시되어 있다. 가능한 경우, 도면들 전체에 걸쳐 동일하거나 유사한 부분을 지칭하기 위해 동일한 참조 번호들이 이용될 것이다.
본 명세서에 개시된 시스템들, 디바이스들, 및 방법들은 예들로서 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에 논의된 예들은 단지 예들일 뿐이고, 본 명세서에 설명된 장치들, 디바이스들, 시스템들, 및 방법들의 설명을 돕기 위해 제공된다. 도면들에 도시되거나 이하에 논의되는 특징들 또는 컴포넌트들 중 어느 것도, 의무적인 것으로서 구체적으로 지시되지 않으면, 이들 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현에 의무적인 것으로서 취해져서는 안된다.
또한, 설명된 임의의 방법들에 대해, 방법이 흐름도와 함께 설명되는지에 관계없이, 문맥에 의해 달리 명시되거나 요구되지 않는 한, 방법의 실행에서 수행되는 단계들의 임의의 명시적 또는 암시적 순서는, 이들 단계들이 제시된 순서로 수행되어야 한다는 것을 암시하는 것이 아니라, 대신에 상이한 순서로 또는 병렬로 수행될 수도 있다는 것을 이해해야 한다.
본 명세서에서 이용되는 바와 같이, 용어 "예시적인"은 "이상적인"이 아니라 "예"의 의미로 이용된다. 또한, 본 명세서에서 단수 표현("a" 및 "an") 용어들은 양의 제한을 나타내는 것이 아니라, 오히려 언급된 항목들 중 하나 이상의 존재를 나타낸다.
병리학은 질병의 연구를 지칭한다. 보다 구체적으로, 병리학은 질병을 진단하기 위해 이용되는 테스트 및 분석을 수행하는 것을 지칭한다. 예를 들어, 조직 샘플들은 병리학자(예를 들어, 임의의 비정상들이 존재하는지를 결정하기 위해 조직 샘플들을 분석할 때 전문가인 의사)에 의해 현미경 하에서 보여질 슬라이드들 상에 배치될 수 있다. 즉, 병리학 표본들은 병리학자가 검사하고 진단을 행하기 위한 슬라이드들로서, 다수의 섹션들로 절단되고, 염색되고, 준비될 수 있다. 슬라이드 상의 진단 발견의 불확실성이 있을 때, 병리학자는 조직으로부터 더 많은 정보를 수집하기 위해 추가의 절단 레벨들, 염색들, 또는 다른 테스트들을 주문할 수 있다. 기술자(들)는 이어서 진단을 행할 때 병리학자가 이용하기 위한 추가의 정보를 포함할 수 있는 새로운 슬라이드(들)를 생성할 수 있다. 추가의 슬라이드들을 생성하는 이 프로세스는 조직의 블록을 검색하는 것, 새로운 슬라이드를 만들기 위해 이를 절단하는 것, 및 이어서 슬라이드를 염색하는 것을 포함할 수 있을 뿐만 아니라, 다수의 주문들에 대해 일괄처리될 수 있기 때문에, 시간 소모적일 수 있다. 이는 병리학자가 행하는 최종 진단을 상당히 지연시킬 수 있다. 또한, 지연 후에도, 새로운 슬라이드(들)가 진단을 행하기에 충분한 정보를 가질 것이라는 보장이 여전히 없을 수 있다.
병리학자들은 암 및 다른 질병 병리학 슬라이드들을 따로따로 평가할 수 있다. 본 개시내용은 암 및 다른 질병들의 진단을 개선하기 위한 통합된 작업흐름을 제시한다. 작업흐름은, 예를 들어, 슬라이드 평가, 작업들, 이미지 분석 및 암 검출 인공 지능(AI), 주석들, 상담들, 및 추천들을 하나의 워크스테이션에 통합할 수 있다. 특히, 본 개시내용은 병리학자의 작업을 촉진하고 개선하기 위해 작업흐름에 통합될 수 있는 다양한 예시적인 AI 툴들을 설명한다.
예를 들어, 컴퓨터들은 조직 샘플의 품질이 그의 의도된 목적(즉, 품질 제어)에 충분한지를 신속하게 식별하기 위해 조직 샘플의 이미지를 분석하기 위해 이용될 수 있고, 또한 조직 샘플의 이미지를 분석하여 병리학자(즉, 품질 보증)와 같은 다른 엔티티에 의해 이루어진 결정을 보충하기 위한 결과를 결정할 수 있다. 따라서, 염색된 슬라이드들 및 테스트들을 얻는 프로세스는 병리학자에 의해 검토되기 전에 자동으로 행해질 수 있다. 자동 슬라이드 품질 검토 및 결과 결정과 짝을 이룰 때, 이는 병리학자 검토와 병행하여 완전히 자동화된 슬라이드 준비 및 평가 파이프라인을 제공할 수 있다. 이 자동화는 적어도 (1) 병리학자에 의해 낭비되는 시간의 양을 최소화하여, 품질 임계값을 충족시키지 않는 슬라이드를 이용함으로써 슬라이드의 발견들을 결정하고, (2) 수동 분석 또는 의심스러운 슬라이드들을 수행하는 추가 시간을 피함으로써 표본 획득으로부터 진단까지의 (평균 총) 시간을 최소화하고,(3) 병리학자 검토를 위해 제시되기 전에 슬라이드 품질을 자동으로 결정함으로써 반복 조직 평가의 양을 감소시키고,(4) 품질 임계값을 충족시키는 슬라이드들을 제공함으로써 반복된 생검들 및 병리학자 검토의 비용을 감소시키고, (5) 제2 또는 후속 병리학자 진단 검토에 대한 필요성을 제거 또는 완화하고, (6) 부정확한 진단의 확률을 감소시키고, (7) 이중 확인에 기초하여 적절한 진단의 확률을 증가시키고/시키거나, (8) 디지털 병리학 이미지의 (예를 들어, 표본 타입에 관한) 정확한 속성들을 식별 또는 검증하는 이점들을 갖는다.
병리학자들을 보조하기 위해 컴퓨터들을 이용하는 프로세스는 계산 병리학(computational pathology)이라고 지칭된다. 계산 병리학을 위해 이용되는 컴퓨팅 방법들은 통계 분석, 자율 또는 기계 학습, 및 AI를 포함할 수 있지만, 이들로 제한되지 않는다. AI는 심층 학습, 신경망들, 분류들, 클러스터링, 및 회귀 알고리즘들을 포함할 수 있지만, 이들로 제한되지 않는다. 계산 병리학을 이용함으로써, 병리학자들이 그들의 진단 정확도, 신뢰성, 효율, 및 접근성을 개선하는 것을 돕는 것에 의해 생명들을 구할 수 있다. 예를 들어, 계산 병리학은 암에 대해 의심스러운 슬라이드들을 검출하는 것을 보조하는데 이용될 수 있고, 그에 의해 병리학자들이 최종 진단을 행하기 전에 그들의 초기 평가들을 체크하고 확인하는 것을 허용한다.
조직병리학(histopathology)은 슬라이드 상에 배치된 표본의 연구를 지칭한다. 예를 들어, 디지털 병리학 이미지는 표본(예를 들어, 도말(smear))을 함유하는 현미경 슬라이드의 디지털화된 이미지로 구성될 수 있다. 슬라이드 상의 이미지를 분석하기 위해 병리학자가 이용할 수 있는 한 방법은 핵들(nuclei)을 식별하고 핵이 정상인지(예를 들어, 양성(benign)) 또는 비정상인지(예를 들어, 악성(malignant))를 분류하는 것이다. 핵들을 식별하고 분류하는데 있어서 병리학자들을 보조하기 위해, 조직학적 염색들을 이용하여 세포들을 가시화할 수 있다. 주기적 산-시프 반응(periodic acid-Schiff reaction), 메이슨의 삼색(Masson's trichrome), 니슬 및 메틸렌 블루(nissl and methylene blue), 및 헤모톡실린 및 에오신(Haemotoxylin and Eosin)(H&E)을 포함한 많은 염료-기반 염색 시스템들이 개발되었다. 의학적 진단을 위해, H&E는 헤마톡실린 염색 세포 핵 블루(hematoxylin staining cell nuclei blue), 에오신 염색 세포질 및 세포외 매트릭스 핑크(eosin staining cytoplasm and extracellular matrix pink), 및 이들 컬러들의 변형들을 취하는 다른 조직 영역들을 갖는 널리 이용되는 염료-기반 방법이다. 그러나, 많은 경우에, H&E-염색된 조직학적 제제(H&E-stained histologic preparations)는 병리학자가 진단 또는 가이드 치료를 보조할 수 있는 바이오마커들(biomarkers)을 시각적으로 식별하기에 충분한 정보를 제공하지 않는다. 이러한 상황에서, 면역조직화학(immunohistochemistry)(IHC), 면역형광(immunofluorescence), 제자리 혼성화(in situ hybridization)(ISH), 또는 형광 제자리 혼성화(fluorescence in situ hybridization)(FISH)와 같은 기술들이 이용될 수 있다. IHC 및 면역형광은, 예를 들어, H&E 염색된 슬라이드들의 분석에 기초하여 훈련된 병리학자에게 신뢰가능하게 식별가능하지 않은 바이오마커들을 드러낼 수 있는, 관심의 특정 단백질들을 표현하는 세포들의 시각적 검출을 가능하게 하는 조직들 내의 특정 항원들(antigens)에 결합하는 항체들(antibodies)을 이용하는 것을 수반한다. ISH 및 FISH는 이용된 프로브들(probes)의 타입(예를 들어, 유전자 카피 수를 위한 DNA 프로브들 및 RNA 발현의 평가를 위한 RNA 프로브들)에 따라, 유전자들의 카피들의 수 또는 특정 RNA 분자들의 풍부함을 평가하기 위해 이용될 수 있다. 이들 방법이 또한 일부 바이오마커들을 검출하기에 충분한 정보를 제공하는데 실패하는 경우, 조직의 유전자 테스트를 이용하여 바이오마커가 존재하는지를 확인할 수 있다(예를 들어, 종양에서의 특정 단백질 또는 유전자 생성물의 과다발현, 암에서의 주어진 유전자의 증폭).
디지털화된 이미지는 염색된 현미경 슬라이드를 보여주도록 준비될 수 있고, 이는 병리학자가 슬라이드 상의 이미지를 수동으로 보고 이미지에서의 다수의 염색된 비정상 세포들을 추정하게 할 수 있다. 그러나, 이 프로세스는 시간 소모적일 수 있고, 일부 비정상들은 검출하기 어렵기 때문에 비정상들을 식별하는데 오류들을 야기할 수 있다. 기계 학습 모델들을 이용한 계산 프로세스들 및 디바이스들은 달리 검출하기 어려울 수 있는 비정상들을 검출하는데 있어서 병리학자들을 보조하기 위해 이용될 수 있다. 예를 들어, AI는 H&E 및 다른 염료 기반 방법들을 이용하여 염색된 조직들의 디지털 이미지들 내의 두드러진 영역들(salient regions)로부터의 (단백질 및/또는 유전자 생성물의 과다 발현, 증폭, 또는 특정 유전자들의 돌연변이들과 같은) 바이오마커들을 예측하기 위해 이용될 수 있다. 조직들의 이미지들은 전체 슬라이드 이미지들(WSI), 마이크로어레이들 내의 조직 코어들의 이미지들 또는 조직 섹션 내의 선택된 관심 영역들일 수 있다. H&E와 같은 염색 방법들을 이용하면, 이들 바이오마커들은 추가적인 테스트의 도움 없이는 인간들이 시각적으로 검출 또는 정량화하기 어려울 수 있다. AI를 이용하여 조직들의 디지털 이미지들로부터 이들 바이오마커들을 추론하는 것은 환자 관리를 개선할 잠재력을 갖고, 또한 더 빠르고 덜 비싸다.
전술된 바와 같이, 본 개시내용의 계산적인 병리학 프로세스들 및 디바이스들은 웹-브라우저 또는 다른 사용자 인터페이스를 통한 디지털 병리학 이미지들의 데이터 수집, 처리 및 뷰잉을 포함하는 완전히 자동화된 프로세스를 허용하면서 실험실 정보 시스템(LIS)과 통합하는 통합된 플랫폼을 제공할 수 있다. 또한, 임상 정보는 환자 데이터의 클라우드-기반의 데이터 분석을 이용하여 집결될 수 있다. 데이터는, 병원, 진료소, 현장 연구원 등으로부터 나올 수 있고, 기계 학습, 컴퓨터 비전, 자연어 처리, 및/또는 통계 알고리즘들에 의해 분석되어, 다수의 지리적 특이성 레벨들에서 건강 패턴들의 실시간 모니터링 및 예측을 행할 수 있다.
개시된 청구 대상의 구현들은, 조직병리학 작업흐름 전체에 걸쳐, 병리학 표본 준비를 위한 체계적 QC 및 진단들의 품질을 위한 QA를 위한 시스템들 및 방법들을 포함한다. 자동화된 및 체계적 QC 및 QA 메커니즘에 의해, 모든 케이스의 작업흐름 전체에 걸쳐 품질이 보장될 수 있다. 체계적 QC 및 QA는 효율성을 제공하고 진단 품질을 향상시키는 잠재력을 가진다.
본 명세서에 개시된 검출 기반 작업흐름 및 품질 시스템에서, 시스템에 대한 입력은 하나 또는 다수의 디지털화된 병리학 이미지(들) 및 임의의 관련 추가 입력들을 포함할 수 있다. 시스템의 출력들은 품질 제어 및 보증과 관련하여 표본에 관한 글로벌 및/또는 로컬 정보를 포함할 수 있다.
구현에 따르면, 디지털화된 병리학 이미지들의 품질을 결정하기 위해 QC 기계 학습 모델이 생성될 수 있다. 자격 부여(qualification)는 각각의 디지털화된 병리학 이미지에 대한 품질 지정을 생성하는 것을 포함할 수 있고, 품질 지정은 승인된 지정 또는 거절된 지정이다. 승인된 지정은 디지털화된 병리학 이미지에서 아티팩트들이 발견되지 않았거나 발견된 아티팩트들이 적용가능한 아티팩트 임계값을 초과하지 않았음을 나타내는 QC 기계 학습 모델 출력으로부터 발생할 수 있다. 거절된 지정은 적용가능한 아티팩트 임계값을 초과하는 아티팩트 또는 아티팩트량이 발견되었음을 나타내는 QC 기계 학습 모델 출력으로부터 발생할 수 있다.
QC 기계 학습 모델은, QC 기계 학습 모델에 입력된 각자의 디지털화된 병리학 이미지들과 동일한 병리학 카테고리로부터의 감독된, 부분적으로 감독된, 또는 감독되지 않은 훈련 이미지들에 기초하여 훈련될 수 있다. 병리학 카테고리들은, 조직학, 세포학, 동결 절편(frozen section), 면역조직화학 등을 포함할 수 있지만, 이것으로 제한되지 않는다. QC 기계 학습 모델은, 스캐닝 결과들 또는 에러들(예를 들어, 블러(blur), 누락 조직, 라인들 등)를 포함한 아티팩트의 존재, 부재, 또는 정도를 및/또는 조직 준비(예를 들어, 누락된 또는 접힌 조직, 버블들, 유리 내의 균열들, 스크래치들, 먼지, 펜(pen), 과다 염색(over stain) 등)로부터 검출할 수 있다.
구현에 따르면, QA 기계 학습 모델은 모델에 대한 입력들로서 수신된 디지털화된 병리학 이미지들에 기초하여 질병 지정들을 출력하기 위해 생성될 수 있다. 질병 지정들은 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 및/또는 등급 중 하나 이상일 수 있다. QA 기계 학습 모델 질병 지정들은 외부 지정과 비교될 수 있고, 비교 결과는 일치(match) 또는 불일치(discrepancy) 지정일 수 있다(예를 들어, 일치가 검출되지 않는 경우). 불일치 지정이 결정되면, 불일치 레벨이 결정될 수 있고, 불일치 레벨에 기초하여, 경고 또는 트리거가 생성될 수 있다. 외부 지정은 병리학자, 제3자 기관, 및/또는 QA 기계 학습 모델 이외의 시스템에 의해 이루어진 지정에 기초할 수 있다.
불일치 레벨에 기초한 트리거는 디지털 병리학 이미지의 수동 재지정 또는 불일치에 관해 적용가능한 개인들 또는 엔티티들에게 알리는 경보(alert)의 생성을 개시할 수 있다.
QA 기계 학습 모델은 감독된, 부분적으로 감독된, 또는 감독되지 않은 훈련 이미지들, 바이오마커들, 환자 정보, 및 적용가능한 지정 출력들에 기초하여 훈련될 수 있다. 생성된 QA 기계 학습 모드에 대한 입력들은 조직학, 세포학, 동결 절편, 또는 면역조직화학과 같은 하나 이상의 병리학 카테고리로부터의 디지털 병리학 이미지들일 수 있다.
본 명세서에 더 개시된 바와 같이, QC 및/또는 QA 기계 학습 모델들의 출력에 기초하여 통지들, 시각 표시자들, 및/또는 보고들이 생성될 수 있다. 보고들은 주어진 시간 기간 동안 또는 일반적으로 소급적으로 개별 디지털화된 이미지에 기초하거나 복수의 디지털화된 이미지들에 기초할 수 있다.
본 명세서에 개시된 시스템들은 로컬로(예를 들어, 온-프레미스(on-premises)) 구현되고/되거나 원격(예를 들어, 클라우드 기반)일 수 있다. 시스템들은 병리학자(들)가 직접 액세스할 수 있는 사용자 인터페이스(들) 및 작업 흐름들을 가질 수 있거나 갖지 않을 수 있다(예를 들어, 다운스트림 종양학자는 불일치, 팀을 돌보는 것에 대한 통지들 등이 있었다고 플래깅될 수 있다). 따라서, 본 명세서에 개시된 구현들은 독립형 동작들로서 이용되거나, 디지털 작업흐름 내에서 이용될 수 있다. 이용 시에, 개시된 시스템들은 (예를 들어, 병리학자에 의한) 수신된 진단 전 또는 후에 QA/QC 분석 및 전달을 수행할 수 있다. 본 명세서에 개시된 구현들은 (예를 들어, 슬라이드들이 스캐너로부터 QA 또는 QC 기계 학습 모델로 즉시 전송되는 경우) 실시간으로 수행될 수 있거나, 불일치들이 로깅 및/또는 보고될 수 있는 배치 모드에서 실행될 수 있다.
개시된 청구 대상이 종양학 응용들에 기초하여 구현되는 것으로 설명되어 있지만, 그들은 진단 목적들을 위해 디지털 이미지들을 이용하는 다른 형태들의 질병(예를 들어, 감염성 질병들, 검출 프로세스들 등)에 대해 이용될 수 있다. QC/QA 이점들을 제공하는 것에 부가하여, 설명된 구현들은 환자 손상의 위험을 감소시키면서, 슬라이드 생성 및/또는 진단 결정을 실시하기 위해 건강 관리 전문가들(health care professionals)(예를 들어, 슬라이드 기술자들, 병리학자들 등)을 훈련시키는 데 이용될 수 있다.
도 1a는 본 개시내용의 예시적인 실시예에 따른, 기계 학습을 이용하여, 디지털 병리학 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정하기 위한 시스템 및 네트워크의 블록도를 도시한다. 본 명세서에 더 개시된 바와 같이, 도 1a의 시스템 및 네트워크는 디지털 이미지들의 품질을 평가하고/하거나 외부 진단의 품질을 보장하기 위한 질병 진단을 결정하기 위해 QA/QC 툴들을 갖는 기계 학습 모델을 포함할 수 있다.
구체적으로, 도 1a는 병원들, 실험실들, 및/또는 의사들의 사무실들 등에 있는 서버들에 접속될 수 있는 전자 네트워크(120)를 도시한다. 예를 들어, 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 등은 각각 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해 인터넷과 같은 전자 네트워크(120)에 접속될 수 있다. 구현에 따르면, 전자 네트워크(120)는 또한, 개시된 청구 대상의 예시적인 실시예에 따른, 기계 학습 모듈(100)을 구현하도록 구성되는 처리 디바이스들을 포함할 수 있는 서버 시스템들(110)에 접속될 수 있다.
의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 환자들의 세포학 표본(들), 조직병리학 표본(들), 세포학 표본(들)의 슬라이드(들), 조직학, 면역조직화학, 조직병리학 표본(들)의 슬라이드(들)의 디지털화된 이미지들, 또는 이들의 임의의 조합을 포함하는 하나 이상의 카테고리의 병리학 표본들의 이미지들을 생성하거나, 그렇지 않은 경우 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 또한 연령, 병력, 암 치료 이력, 가족 이력, 과거 생검 또는 세포학 정보 등과 같은 환자 특정 정보의 임의의 조합을 획득할 수 있다. 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 전자 네트워크(120)를 통해 디지털화된 슬라이드 이미지들 및/또는 환자 특정 정보를 서버 시스템들(110)에 송신할 수 있다. 서버 시스템(들)(110)은 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 하나 이상의 저장 디바이스(109)를 포함할 수 있다. 서버 시스템들(110)은 또한 저장 디바이스들(109)에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 기계 학습 모듈(100)을 통해 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 예를 들어, 처리 디바이스들은, 일 실시예들에 따라, 기계 학습 모듈(100)로서 도시된 바와 같이, QA 툴들 및/또는 QC 툴들(집합적으로 QA/QC 툴들(101)이라고 지칭됨)을 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.
의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)은 슬라이드들의 이미지들을 검토하기 위해 병리학자들에 의해 이용되는 시스템들을 지칭한다. 병원 설정들에서, 조직 타입 정보는 LIS(125)에 저장될 수 있다.
도 1b는, 기계 학습을 이용하여, 디지털 병리학 이미지(들)에 관한 표본 속성 또는 이미지 속성 정보를 결정하기 위한 기계 학습 모듈(100)의 예시적인 블록도를 도시한다.
구체적으로, 도 1b는 일 실시예에 따른, 기계 학습 모듈(100)의 컴포넌트들을 도시한다. 예를 들어, 기계 학습 모듈(100)은 QA/QC 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 저장소(106), 및 뷰잉 애플리케이션 툴(108)을 포함할 수 있다. 명료화를 위해, 도 1a 및 도 1b에 도시된 기계 학습 모듈(100)은 이전에 훈련되고 생성된 기계 학습 모델(예를 들어, QA 기계 학습 모델, QC 기계 학습 모델 등)이다. 기계 학습 모듈(100)로서 이용될 수 있는 상이한 타입들의 기계 학습 모델들을 훈련하고 생성하기 위한 추가적인 개시내용이 본 명세서에 제공된다.
QA/QC 툴(101)은, 본 명세서에 설명된 바와 같이, QA 기계 학습 모델 또는 QC 기계 학습 모델과 같은 기계 학습 모델을 이용하여 디지털 병리학 이미지(들)에 관한 이미지 품질 및/또는 질병 지정들을 결정하기 위해 특성(예를 들어, 아티팩트, 바이오마커 등)을 결정하기 위한 프로세스 및 시스템을 지칭한다. QA/QC 툴 (101)은 복수의 기계 학습 모델들을 포함할 수 있거나 한 번에 하나의 기계 학습 모델을 로딩할 수 있다.
데이터 수집 툴(102)은, 예시적인 실시예에 따라, 디지털 병리학 이미지들을 특성화하고 처리하기 위해 이용되는 기계 학습 모듈(100)의 다양한 툴들, 모듈들, 컴포넌트들, 및 디바이스들에 대한 디지털 병리학 이미지들의 전송을 용이하게 하기 위한 프로세스 및 시스템을 지칭한다.
슬라이드 유입 툴(103)은, 예시적인 실시예에 따라, 병리학 이미지들을 스캐닝하고 이들을 디지털 형태로 변환하기 위한 프로세스 및 시스템을 지칭한다. 슬라이드들은 슬라이드 스캐너(104)로 스캐닝될 수 있고, 슬라이드 관리자(105)는 슬라이드들 상의 이미지들을 디지털화된 병리학 이미지들로 처리하고, 디지털화된 이미지들을 저장소(106)에 저장할 수 있다.
뷰잉 애플리케이션 툴(108)은, 예시적인 실시예에 따라, 디지털 병리학 이미지들에 관한 특성화 또는 이미지 속성 정보를 사용자(예를 들어, 병리학자)에게 제공하기 위한 프로세스 및 시스템을 지칭한다. 정보는 다양한 출력 인터페이스들(예를 들어, 스크린, 모니터, 저장 디바이스, 및/또는 웹 브라우저 등)을 통해 제공될 수 있다. 예로서, 뷰잉 애플리케이션 툴(108)은 디지털 병리학 이미지 위에 오버레이 층을 적용할 수 있고, 오버레이 층은 고려하는 핵심 영역들을 강조할 수 있다. 오버레이 층은 기계 학습 모듈(100)의 QA/QC 툴(101)의 출력에 기초할 수 있거나 이에 기초할 수 있다. 본 명세서에서 더 논의되는 바와 같이, 뷰잉 애플리케이션 툴(108)은 QC 기계 학습 모델의 출력에 기초하여 아티팩트들을 보여주는데 이용될 수 있고/있거나 QA 기계 학습 모델의 출력에 기초하여 바이오마커들을 보여주는데 이용될 수 있다.
QA/QC 툴(101), 및 그것의 컴포넌트들 각각은 네트워크(120)를 통해 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125)에 디지털화된 슬라이드 이미지들 및/또는 환자 정보를 송신 및/또는 수신할 수 있다. 또한, 서버 시스템들(110)은 QA/QC 툴(101), 데이터 수집 툴(102), 슬라이드 유입 툴(103), 슬라이드 스캐너(104), 슬라이드 관리자(105), 및 뷰잉 애플리케이션 툴(108) 중 적어도 하나로부터 수신된 이미지들 및 데이터를 저장하기 위한 저장 디바이스들을 포함할 수 있다. 서버 시스템들(110)은 또한 저장 디바이스들에 저장된 이미지들 및 데이터를 처리하기 위한 처리 디바이스들을 포함할 수 있다. 서버 시스템들(110)은, 예를 들어, 처리 디바이스들로 인해, 하나 이상의 기계 학습 툴(들) 또는 능력들을 더 포함할 수 있다. 대안적으로 또는 추가로, 본 개시내용(또는 본 개시내용의 시스템 및 방법들의 부분들)은 로컬 처리 디바이스(예를 들어, 랩톱) 상에서 수행될 수 있다.
QA/QC 툴(101)은 기계 학습 모듈(100)의 출력(예를 들어, 품질 지정, 질병 지정, 비교 결과 등)을 제공할 수 있다. 예로서, 슬라이드 유입 툴(103) 및 데이터 수집 툴(102)은 기계 학습 모듈(100)에 대한 입력들을 수신할 수 있고, QA/QC 툴(101)은 데이터에 기초하여 슬라이드들에서의 아티팩트들 및/또는 바이오마커들을 식별하고, 뷰잉 애플리케이션 툴(108)을 통해 아티팩트들 및/또는 바이오마커들을 강조하는 이미지를 출력할 수 있다.
상기의 디바이스들, 툴들, 및 모듈들 중 임의의 것은 하나 이상의 컴퓨터, 서버, 및/또는 핸드헬드 모바일 디바이스를 통해, 인터넷 또는 클라우드 서비스 제공자와 같은 전자 네트워크(120)에 접속될 수 있는 디바이스 상에 위치될 수 있다.
도 2a는 개시된 청구 대상의 예시적인 구현들에 따른, 디지털 이미지들에 대한 품질 지정들을 출력하기 위한 흐름도(200)를 도시한다. 도 2a의 202에서, 병리학 카테고리와 연관된 타겟 표본에 대응하는 디지털 이미지가 수신될 수 있다. 디지털 이미지는 도 1b의 슬라이드 유입 도구(103)를 이용하여 캡처된 디지털 병리학 이미지일 수 있다. 204에서, QC 기계 학습 모델이 (예를 들어, 기계 학습 모듈(100)에서) 수신될 수 있다. QC 기계 학습 모델은 202에서 수신된 디지털 이미지와 동일한 병리학 카테고리로부터의 것인 복수의 훈련 이미지들을 처리함으로써 훈련될 수 있다. 병리학 카테고리들은 조직학, 세포학, 동결 절편, 또는 면역조직화학을 포함할 수 있지만, 이들로 제한되지 않는다. 206에서, 202로부터의 디지털 이미지는 모델에 대한 입력으로서 QC 기계 학습 모델에 제공될 수 있다. 하나 이상의 다른 속성이 또한 QC 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 하나 이상의 다른 속성은 또한 병리학 카테고리, 슬라이드 타입, 유리 타입, 조직 타입, 조직 영역, 이용된 화학물질, 염색량, 적용된 시간, 스캐너 타입, 날짜 등을 포함할 수 있지만, 이들로 제한되지 않는다. 208에서, QC 기계 학습 모델은 디지털 이미지에 대한 품질 지정을 출력할 수 있다. 품질 지정은 승인 또는 거절일 수 있고, 또한 202에서 제공된 디지털 이미지의 품질의 더 미세한 표시를 제공하고 206에서 QC 기계 학습 모델에 대한 입력으로서 승인 스케일 및/또는 거절 스케일과 같은 스케일을 포함할 수 있다. 210에서, 품질 지정은 (예를 들어, 뷰잉 애플리케이션 툴(108)을 통해) 데이터 신호, 보고, 통지, 경보, 시각적 출력 등으로서 출력될 수 있다.
도 2a에 도시된 바와 같이, 202에서, 병리학 카테고리와 연관된 타겟 표본에 대응하는 디지털 이미지가 수신될 수 있다. 타겟 표본은 환자로부터 회수된 생검되거나 또는 그렇지 않은 경우 회수된 조직 샘플일 수 있다. 타겟 표본은 수술 절차 동안에 회수될 수 있으며, 여기서 환자의 조직의 일부가 분석을 위해 환자의 신체로부터 회수된다. 타겟 표본은 환자들로부터 추출된 조직의 총량의 일부 또는 서브셋일 수 있어서, 단일 절차로부터 추출된 조직으로부터 다수의 표본 슬라이드들이 생성될 수 있다.
타겟 표본은 본 명세서에 개시된 바와 같이, 조직학, 세포학, 동결 절편, 또는 면역조직화학과 같은 적어도 하나의 병리학 카테고리와 연관될 수 있다. 구현에 따르면, 디지털 이미지 또는 타겟 표본에 관한 병리학 카테고리 및 다른 이미지 정보가 또한 수신될 수 있다. 이미지 정보는 슬라이드 타입, 유리 타입, 조직 타입, 조직 영역, 이용된 화학물질, 및 염색량을 포함할 수 있지만, 이에 제한되지 않는다.
204에서, QC 기계 학습 모델이 수신될 수 있다. QC 기계 학습 모델은 기계 학습 모듈(100)에서 훈련되고 생성될 수 있거나, 외부에서 훈련되고 생성되어 기계 학습 모듈(100)에서 수신될 수 있다. QC 기계 학습 모델은 202에서 수신된 디지털 이미지와 동일한 병리학 카테고리로부터의 것인 복수의 훈련 이미지들을 처리함으로써 훈련될 수 있다. 병리학 카테고리들은 조직학, 세포학, 동결 절편, 또는 면역조직화학을 포함할 수 있지만, 이들로 제한되지 않는다. QC 기계 학습 모델은 심층 학습을 이용하여 인스턴스화될 수 있다. QC 기계 학습 모델은 전체 디지털 병리학 이미지에 관한 정보, 예를 들어, 표본 타입, 표본의 절단의 전체 품질, 유리 슬라이드 자체의 전체 품질, 또는 조직 형태 특성들을 이용하고, 디지털 병리학 이미지들에 대한 전체 품질 지정을 결정할 수 있다.
QC 기계 학습 모델은 디지털 이미지의 속성들의 분석에 기초하여 디지털 이미지와 연관된 아티팩트들을 검출할 수 있다. 아티팩트들은 하나 이상의 디지털 또는 수학적 필터, 스캐닝 기술(예를 들어, 픽셀별 스캐닝), 픽셀 비교 기술(예를 들어, 한 세트의 픽셀을 다른 픽셀과 비교하는 것) 등을 적용하는 것에 기초하여 검출될 수 있다. QC 기계 학습 모델이 식별하도록 훈련될 수 있는 아티팩트들은 스캐닝 결과들 또는 에러들(예를 들어, 블러, 누락 조직, 라인들 등)를 포함하고/하거나 조직 준비(예를 들어, 누락 또는 접힌 조직, 버블들, 유리 내의 균열들, 스크래치들, 먼지, 펜, 과다 염색 등)로부터의 것인 아티팩트들을 포함할 수 있지만 이에 제한되지 않는다.
204에서 QC 기계 학습 모델을 생성하기 위해, 병리학 표본들(예를 들어, 조직학, 세포학, 면역조직화학 등)의 큰 복수의 디지털 병리학 이미지들을 포함하는 훈련 데이터세트가 수신될 수 있다. 디지털 병리학 이미지들은 본 명세서에 개시된 바와 같이, 물리적 생검 샘플들에 기초하여 생성된 디지털 이미지들일 수 있거나, 또는 예를 들어, 렌더링 시스템 또는 생성 적대적 모델에 의해 인간 조직을 복제하기 위해 알고리즘적으로 생성되는 이미지들일 수 있다. 이미지 또는 표본 연관 정보(예를 들어, 슬라이드 타입, 유리 타입, 조직 타입, 조직 영역, 이용된 화학물질, 염색량, 적용된 시간, 스캐너 타입, 날짜 등)가 또한 훈련 데이터세트의 일부로서 수신될 수 있다. 추가적으로, QC 기계 학습 모델을 훈련하는 일부로서, 각각의 이미지는 디지털 이미지 또는 대응하는 표본의 알려진 또는 가정된 품질에 관한 출력 정보와 쌍을 이룰 수 있다. 그러한 출력 정보는 알려진 또는 가정된 아티팩트 정보, 예상된 품질 정보 등을 포함할 수 있다. 예를 들어, 주어진 이미지는 훈련 이미지로서 제공될 수 있고, 디지털 이미지의 일부로서 접힌 조직을 갖는 것으로 알려질 수 있다. 이미지 및 접힘의 존재, 위치, 및/또는 정도에 관한 표시가 제공되고 이미지와 쌍을 이룰 수 있다. QC 기계 학습 모델은 QC 기계 학습 모델의 파라미터들이 각각의 훈련 이미지에서 검출된 아티팩트의 존재, 부재, 또는 정도를 검출할 수 있도록 훈련(예를 들어, 피팅)되도록, 복수의 그러한 훈련 이미지들 및 연관된 정보로부터 학습할 수 있다. 감독된 훈련이 예로서 제공되지만, QC 기계 학습 모델의 훈련은 부분적으로 감독되거나 또는 감독되지 않을 수 있다는 것이 이해될 것이다.
디지털 병리학 이미지들, 이미지 또는 표본 연관 정보, 및/또는 출력 정보를 포함하는 훈련 데이터세트는 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 하나 이상에 의해 생성 및/또는 제공될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 디지털 병리학 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은 (그러나 이에 제한되지 않는) 다양한 염색제들로 염색된 디지털화된 슬라이드들, 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.
QC 기계 학습 모델은, 디지털 병리학 이미지들을, 선택사항으로서, 기계 학습 알고리즘에 의해 적용되는 출력 정보와 쌍을 이루는 연관된 정보와 함께 적용하는 것에 기초하여 생성될 수 있다. 기계 학습 알고리즘은, 입력으로서, 병리학 표본들, 연관된 정보, 및 출력 정보를 수락하고, 하나 이상의 기술을 이용하여 훈련을 구현할 수 있다. 예를 들어, QC 기계 학습 모델은, 하나 이상의 컨볼루션 신경망(CNN), 다중-인스턴스 학습 또는 다중-라벨 다중 인스턴스 학습을 수반한 CNN, 순환 신경망(RNN), 롱-쇼트 텀 메모리 RNN(LSTM), 게이티드 순환 유닛 RNN(GRU), 그래프 컨볼루션 네트워크 등 또는 이들의 조합에서 훈련될 수 있다. 컨볼루션 신경망들은, 각각의 표본에 대해 훈련할 많은 양의 데이터가 있을 때 극히 양호하게 동작할 수 있는, 특성들 간의 판별에 필요한 이미지 특징 표현들을 직접 학습할 수 있는 반면, 다른 방법들은, 전통적인 컴퓨터 비전 특징들, 예를 들어, SURF 또는 SIFT와 함께, 또는 훈련될 소량의 데이터만이 있을 때 이점을 생성할 수 있는, 훈련된 컨볼루션 신경망에 의해 생성된 학습된 임베딩들(예를 들어, 서술자)과 함께 이용될 수 있다. 훈련된 QC 기계 학습 모델은 디지털 병리학 이미지들에 대한 품질 지정들을 제공하도록 구성될 수 있다.
도 3은 어느 하나의 QC 기계 학습 모델을 훈련하기 위한 예시적인 훈련 모듈(300)을 도시한다. 도 3에 도시된 바와 같이, 훈련 데이터(302)는 하나 이상의 병리학 이미지(304)(예를 들어, 생검 이미지들의 디지털 표현), 입력 데이터(306)(예를 들어, 디지털 병리학 이미지 데이터세트), 및 입력 데이터(306)와 관련된 알려진 결과들(308)(예를 들어, 품질 지정들)을 포함할 수 있다. 훈련 데이터(302) 및 훈련 알고리즘(310)은 QC 기계 학습 모델을 생성하기 위해 훈련 데이터(302)를 훈련 알고리즘(310)에 적용할 수 있는 훈련 컴포넌트(320)에 제공될 수 있다.
206에서, QC 기계 학습 모델은 환자 기반 디지털 병리학 이미지(예를 들어, 병리학 표본(예를 들어, 조직학, 세포학, 면역조직화학 등)의 디지털 이미지) 뿐만 아니라, 선택사항으로서, 연관된 정보를 제공받을 수 있다. 훈련 후에, 208에서 QC 기계 학습 모드는 디지털 병리학 이미지 및 연관된 정보에 적용되어 환자 기반 디지털 병리학 이미지에 대한 품질 지정을 결정할 수 있다.
품질 지정은 미리 결정된 또는 동적으로 결정된 임계값들에 기초한 디지털 병리학 이미지의 승인 또는 거절일 수 있다. 동적으로 결정된 임계값은 QC 기계 학습 모델에 제공된 디지털 이미지들의 볼륨에 기초하여 확립될 수 있다. 예를 들어, QC 기계 학습 모델은 디지털 병리학 이미지들의 최악의 10%를 거절하도록 설정될 수 있고, 따라서, 거절되는 디지털 병리학 이미지들의 수는 모델에 입력된 디지털 병리학 이미지들의 수에 기초하여 변할 수 있다. 품질 지정의 결과(예를 들어, 거절)로서, 타겟 표본은 (예를 들어, 실험실에서) 재준비될 수 있고/있거나 기존의 타겟 표본은 재스캐닝될 수 있다. 특정 액션은 블러가 스캐닝 에러를 나타낼 수 있고 재스캔이 개시될 수 있는 반면 누락 조직이 병리학 샘플링 에러를 나타낼 수 있고 새로운 표본이 실험실 설정에서 재준비될 수 있도록 QC 기계 학습 모델에 의해 식별된 아티팩트에 기초할 수 있다.
구현에 따르면, 품질 지정은 품질 점수 결정일 수 있다. 품질 점수는 글로벌 또는 로컬 레벨에서의 디지털 병리학 이미지들에 대한 QC 문제들(예를 들어, 에러들 또는 결함들과 같은 아티팩트들)을 나타낼 수 있고, 이는 디지털 병리학 이미지의 유용성에 크게 영향을 미칠 수 있다. 품질 점수는 주어진 이미지에서 발견되는 아티팩트들의 수 또는 정도를 고려하여 결정될 수 있다. 품질 점수는 QC 기계 학습 모델을 훈련하기 위해 이용되는 훈련 데이터세트에 기초하여 결정될 수 있거나, QC 기계 학습 모델에 대한 입력으로서 제공되는 다른 디지털 병리학 이미지들에 대해 결정될 수 있다.
210에서, QC 기계 학습 모델의 출력(즉, 품질 지정)은 도 1a의 저장 디바이스(109)(예를 들어, 클라우드 스토리지, 하드 드라이브, 네트워크 드라이브 등)에 제공될 수 있다. QC 기계 학습 모델의 출력은 품질 특성에 기초한 통지일 수 있거나 통지일 수도 있다. 통지는 하나 이상의 아티팩트의 존재, 임의의 또는 특정 아티팩트들의 부재, 및/또는 디지털 병리학 샘플에 존재하는 하나 이상의 아티팩트의 정도와 같은 아티팩트에 관한 정보를 포함할 수 있다. 통지는 통지 신호, 보고, 애플리케이션을 통한 메시지, 디바이스를 통한 통지 등과 같은 임의의 적용가능한 기술을 통해 제공될 수 있다. 통지는 임의의 적용가능한 디바이스 또는 직원(예를 들어, 조직학 기술자, 스캐너 오퍼레이터, 병리학자, 기록(record) 등)에게 제공될 수 있다. 예로서, QC 기계 학습 모델의 출력은, 예를 들어, 환자 및 연관된 타겟 표본의 기록을 저장한 실험실 정보 시스템들(125) 내의 대응하는 타겟 표본의 이력과 통합될 수 있다.
구현에 따르면, QC 기계 학습 모델의 출력은 디지털 병리학 이미지를 획득, 이용 및/또는 평가하기 위한 품질 지정 또는 프로세스에 기초한 보고일 수 있다. 보고는 PDF 포맷, HTML 포맷, 인-앱(in-app) 포맷 등과 같은 임의의 적용가능한 포맷일 수 있다. 보고는 예를 들어, 발견된 아티팩트들(예를 들어, 에러들)의 타입들, 각각의 타입의 아티팩트의 수, 아티팩트들의 임상적 영향, 아티팩트들을 교정하기 위한 시간, 아티팩트들의 잠재적인 패턴들 또는 상관들(예를 들어, 아티팩트들을 생성하는 경향이 있는 특정 스캐너, 아티팩트들을 생성하는 경향이 있는 특정 염색 타입, 아티팩트들을 생성하는 경향이 있는 특정 조직 소스 등)을 포함할 수 있다. 보고는 또한 전체 소요 시간 및/또는 작업 품질과 같은 작업흐름 분석을 포함할 수 있다. 보고는 또한 QC 기계 학습 모델에 의해 분석된 복수의 디지털 병리학 샘플들에 기초하여 이력상 관련된 정보를 제공할 수 있다. 이력상 관련된 정보는 복수의 디지털 병리학 샘플들의 출력들에서의 팩토링(factoring)에 기초하여 생성될 수 있고, 대응하는 보고는 보정률, 일치율 등을 포함할 수 있다.
구현에 따르면, QC 기계 학습 모델의 출력은, 210에서, 시각적 표시자일 수 있거나 그것을 포함할 수 있다. 시각적 표시자는, 예를 들어, 도 1b의 뷰잉 애플리케이션 툴(108)을 통해 제공될 수 있다. 시각적 표시자는 주어진 아티팩트가 디지털 병리학 이미지에 관련되어 있기 때문에 주어진 아티팩트를 강조할 수 있다. 예로서, 시각적 표시자는 아티팩트의 위치, 아티팩트의 타입, 아티팩트의 존재 정도 등을 강조하는 디지털 병리학 이미지 상의 오버레이일 수 있다.
구현에 따르면, QC 기계 학습 알고리즘은 또한 임상 정보(예를 들어, 환자 정보, 수술 정보, 진단 정보 등), 실험실 정보(예를 들어, 처리 시간, 직원, 테스트 등)에 기초하여 훈련되고/되거나 이들을 입력들로서 수신할 수 있다. QC 기계 학습 알고리즘은 이러한 입력들에 기초하여 품질 지정을 제공할 수 있다. 추가적으로, QC 기계 학습 알고리즘은 처리 점수, 직원 평가 등과 같은 대안적인 또는 추가적인 출력들을 제공할 수 있다.
본 명세서에서 더 개시된 바와 같이, QC 기계 학습 알고리즘은 디지털 병리학 이미지들을 생성, 분석 및/또는 검토하기 위한 임상 작업흐름의 파이프라인 내에 통합될 수 있다.
도 2b는 개시된 청구 대상의 예시적인 구현들에 따른, 디지털 병리학 이미지들에 기초하여 질병 지정들을 생성하고, 질병 지정들을 외부 지정들과 비교하는 것에 기초하여 비교 결과들을 출력하기 위한 흐름도(220)를 도시한다. 도 2b의 222에서, 병리학 카테고리와 연관된 타겟 표본에 대응하는 디지털 이미지가 수신될 수 있다. 디지털 이미지는 도 1b의 슬라이드 유입 툴(103)을 이용하여 캡처된 디지털 병리학 이미지일 수 있다. 224에서, QA 기계 학습 모델이 (예를 들어, 기계 학습 모듈(100)에서) 수신될 수 있다. QA 기계 학습 모델은 222에서 수신된 디지털 이미지와 동일한 병리학 카테고리로부터의 것인 복수의 훈련 이미지들을 처리함으로써 훈련될 수 있다. 병리학 카테고리들은 조직학, 세포학, 동결 절편, 또는 면역조직화학을 포함할 수 있지만, 이들로 제한되지 않는다. 226에서, 222로부터의 디지털 이미지는 모델에 대한 입력으로서 QA 기계 학습 모델에 제공될 수 있다. 하나 이상의 다른 속성이 또한 QC 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 하나 이상의 다른 속성은 슬라이드 기반 속성들, 환자 속성들, 조직 속성들 등을 포함할 수 있지만, 이들로 제한되지 않는다. 228에서, QA 기계 학습 모델은 디지털 이미지에 대한 질병 지정을 출력할 수 있다. 질병 지정은 하나 이상의 바이오마커의 검출에 기초하여 생성될 수 있고, 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 등급 등 중 하나 이상을 포함할 수 있다. 230에서, 타겟 표본에 대한 외부 지정이 수신될 수 있다. 외부 지정은 222에서 수신된 디지털 이미지 또는 디지털 이미지가 기초한 타겟 표본에 기초할 수 있다. 232에서, 질병 지정은 외부 지정과 비교될 수 있고, 234에서, 질병 지정을 외부 지정에 비교하는 것에 기초한 비교 결과가 출력될 수 있다. 비교 결과는 (예를 들어, 뷰잉 애플리케이션 툴(108)을 통해) 데이터 신호, 보고, 통지, 경보, 시각적 출력 등으로서 출력될 수 있다.
도 2b에 도시된 바와 같이, 222에서, 병리학 카테고리와 연관된 타겟 표본에 대응하는 디지털 이미지가 수신될 수 있다. 타겟 표본은 환자로부터 회수된 생검되거나 또는 그렇지 않은 경우 회수된 조직 샘플일 수 있다. 타겟 표본은 수술 절차 동안에 회수될 수 있으며, 여기서 환자의 조직의 일부가 분석을 위해 환자의 신체로부터 회수된다. 타겟 표본은 환자로부터 추출된 조직의 총량의 일부 또는 서브셋일 수 있어서, 단일 절차로부터 추출된 조직으로부터 다수의 표본 슬라이드들이 생성될 수 있다.
타겟 표본은 본 명세서에 개시된 바와 같이, 조직학, 세포학, 동결 절편, 또는 면역조직화학과 같은 적어도 하나의 병리학 카테고리와 연관될 수 있다. 구현에 따르면, 디지털 이미지 또는 타겟 표본에 관한 병리학 카테고리 및 다른 이미지 정보가 또한 수신될 수 있다. 이미지 정보는 슬라이드 타입, 유리 타입, 조직 타입, 조직 영역, 이용된 화학물질, 및 염색량을 포함할 수 있지만, 이에 제한되지 않는다.
224에서, QA 기계 학습 모델이 수신될 수 있다. QA 기계 학습 모델은 기계 학습 모듈(100)에서 훈련되고 생성될 수 있거나, 외부에서 훈련되고 생성되어 기계 학습 모듈(100)에서 수신될 수 있다. QC 기계 학습 모델은 202에서 수신된 디지털 이미지와 동일한 병리학 카테고리로부터의 것인 복수의 훈련 이미지들을 처리함으로써 훈련될 수 있다. QA 기계 학습 모델은 하나보다 많은 조직 타입(예를 들어, 전립선암, 유방암, 방광암 등)에 걸쳐 암의 존재 또는 부재를 검출할 수 있다. 또한, 스테이징(staging)에 중요한 추가의 바이오마커 또는 정보를 검출할 수 있다. 예를 들어, 방광암에 대해, 일반화된 기계 학습 모델은 방광암 스테이징을 위해 검출될 필요가 있는 근육인 근육 조직(muscularis propria)의 존재 또는 부재를 출력할 수 있다. QA 기계 학습 모델은 다수의 조직 타입으로부터의 암 치료와 관련된 질병, 바이오마커들, 및 다른 속성들을 예측하기 위해 많은 양의 데이터로 훈련될 수 있다. 이 프로세스를 통해, 광범위한 상이한 조직 타입들에 걸쳐 암 및/또는 바이오마커의 존재를 검출하여, 그 층들이 종양 특성뿐만 아니라 정상 및 비정상 조직 형태의 이해시에 구축될 수 있다.
QA 기계 학습 모델은 (예를 들어, 조직학, 세포학, 면역조직화학 등인) 병리학 표본들의 큰 복수의 디지털 이미지들을 포함하는 환자 데이터세트에 기초하여 생성될 수 있다. 병리학 표본들은 본 명세서에 개시된 바와 같이, 물리적 생검 샘플들에 기초하여 생성된 디지털 이미지들일 수 있거나, 또는 예를 들어, 렌더링 시스템 또는 생성 적대적 모델에 의해, 인간 조직을 복제하기 위해 알고리즘적으로 생성된 이미지들일 수 있다. 환자 연관 정보(게놈 정보, 실험실 테스트들, 방사선학, 환자 특성들, 환자 정보, 치료 정보 등)는 또한 QA 기계 학습 모델을 훈련하기 위해 환자 데이터세트의 일부로서 수신될 수 있다. 추가적으로, QA 기계 학습 모델을 훈련하는 것의 일부로서, 각각의 환자 데이터세트는 질병 존재/부재, 스테이징 변수들의 존재(예를 들어, 방광암에 대한 근육 조직), 암 형태의 분류(예를 들어, 유방암에 대한 소엽 또는 관), 및 상이한 암 타입들에 대한 다른 관련 변수들, 결과 상태(예를 들어, 반응, 재발 등) 및/또는 임의의 바이오마커들의 존재와 같은 암 특성 출력들(예를 들어, 바이오마커들)에 관한 정보 또는 표시들과 쌍을 이룰 수 있다.
환자 데이터세트, 환자 연관 정보, 및/또는 암 특성 출력들은 서버 시스템들(110), 의사 서버들(121), 병원 서버들(122), 임상 시험 서버들(123), 연구실 서버들(124), 및/또는 실험실 정보 시스템들(125) 중 임의의 하나 또는 임의의 조합으로부터 수신될 수 있다. 훈련을 위해 이용되는 이미지들은 실제 소스들(예를 들어, 인간들, 동물들 등)로부터 올 수 있거나, 합성 소스들(예를 들어, 그래픽 렌더링 엔진들, 3D 모델들 등)로부터 올 수 있다. 디지털 병리학 이미지들의 예들은 (a) H&E, 헤마톡실린 단독, IHC, 분자 병리학 등과 같은 (그러나 이에 제한되지 않는) 다양한 염색제들로 염색된 디지털화된 슬라이드들; 및/또는 (b) 마이크로CT와 같은 3D 이미징 디바이스로부터의 디지털화된 조직 샘플들을 포함할 수 있다.
QA 기계 학습 모델은, 암 특성 출력과 쌍을 이루는 환자 데이터세트 및 환자 연관된 정보를 기계 학습 알고리즘에 적용하는 것에 기초하여 생성될 수 있다. 기계 학습 알고리즘은, 입력들로서, 병리학 표본들, 환자 연관된 정보, 및 암 특성 출력들을 수락하고, 하나 이상의 기술을 이용하여 훈련을 구현할 수 있다. 예를 들어, 일반화된 기계 학습 모델은, 하나 이상의 컨볼루션 신경망(CNN), 다중-인스턴스 학습 또는 다중-라벨 다중 인스턴스 학습을 수반한 CNN, 순환 신경망(RNN), 롱-쇼트 텀 메모리 RNN(LSTM), 게이티드 순환 유닛 RNN(GRU), 그래프 컨볼루션 네트워크 등 또는 이들의 조합에서 훈련될 수 있다. 컨볼루션 신경망들은, 각각의 표본에 대해 훈련할 많은 양의 데이터가 있을 때 극히 양호하게 동작할 수 있는, 특성들간의 판별에 필요한 이미지 특징 표현들을 직접 학습할 수 있는 반면, 다른 방법들은, 전통적인 컴퓨터 비전 특징들, 예를 들어, SURF 또는 SIFT와 함께, 또는 훈련될 소량의 데이터만이 있을 때 이점을 생성할 수 있는, 훈련된 컨볼루션 신경망에 의해 생성된 학습된 임베딩들(예를 들어, 설술자)과 함께 이용될 수 있다. 훈련된 QA 기계 학습 모델은, 환자 데이터 및 환자 연관된 정보에 기초하여 출력들로서 질병 지정들(예를 들어, 암 특성들)을 제공하도록 구성될 수 있다.
도 3은 QA 기계 학습 모델을 훈련하기 위한 예시적인 훈련 모듈(300)을 도시한다. 도 3에 도시된 바와 같이, 훈련 데이터(302)는 병리학 이미지들(304)(예를 들어, 생검 이미지들의 디지털 표현), 입력 데이터(306)(예를 들어, 환자 데이터세트, 환자 연관 정보 등), 및 입력 데이터(306)에 관련된 알려진 결과들(308)(예를 들어, 암 특성들) 중 하나 이상을 포함할 수 있다. 훈련 데이터(302) 및 훈련 알고리즘(310)은 기계 학습 모델을 생성하기 위해 훈련 데이터(302)를 훈련 알고리즘(310)에 적용할 수 있는 훈련 컴포넌트(320)에 제공될 수 있다.
QA 기계 학습 모델은 226에서 하나 이상의 디지털 병리학 이미지(예를 들어, 조직학, 세포학, 면역조직화학 등)과 같은 환자 데이터세트를 수신할 수 있다. 구현에 따르면, QA 기계 학습 모델은 또한 환자 연관 정보(예를 들어, 게놈, 실험실 테스트들, 방사선학, 환자 특성들 등)를 수신할 수 있다. 훈련 후에, QA 기계 학습 모델은 228에서 하나 이상의 질병 지정을 결정하기 위해 환자 데이터세트 및 환자 연관 정보에 적용될 수 있다. 질병 지정은 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 등급 등 중 하나 이상일 수 있다. 질병 지정들은 암 특정적이지 않을 수 있어서, QA 기계 학습 모델은, 만약 있다면, 암 타입들에 걸쳐 질병 지정들을 제공할 수 있다.
QA 기계 학습 모델의 출력(즉, 하나 이상의 질병 지정)은 도 1a의 저장 디바이스(109)(예를 들어, 클라우드 스토리지, 하드 드라이브, 네트워크 드라이브 등)에 제공될 수 있다. 저장 디바이스(109)는 이전의 디지털 병리학 이미지 입력들로부터의 하나 이상의 다른 질병 지정을 저장할 수 있다.
230에서, 디지털 이미지와 연관된 외부 지정이 수신될 수 있다. 외부 지정은 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 등급 등 중 하나 이상일 수 있다. 외부 지정은 디지털 이미지 또는 디지털 이미지가 생성되는 것에 기초한 타겟 표본에 기초할 수 있다.
외부 지정은 디지털 이미지 또는 디지털 이미지와 연관된 타겟 표본의 검토에 기초하여 건강 관리 전문가들(예를 들어, 병리학자)에 의해 제공되는 수동 지정일 수 있다. 대안적으로 또는 추가로, 외부 지정은 제3자(예를 들어, 제3자 건강 관리 시설, 제3자 시스템, QA 기계 학습 모델과 연관되지 않은 시스템, 상이한 기계 학습 모델 등)에 의해 제공될 수 있고, 따라서 수동 지정 또는 자동 지정일 수 있다.
외부 지정은 228에서 수신된 질병 지정에 필적하는 포맷일 수 있으며, 따라서 외부 지정은 232에서 질병 지정과 비교될 수 있다. 비교는 데이터 포인트들을 비교하고, 최종 결과들, 텍스트 분석, 광학 문자 인식(OCR) 등을 비교함으로써 수행될 수 있다. 단일 비교가 본 명세서에서 논의되지만, 질병 지정 및/또는 외부 지정의 복수의 상이한 속성들의 다수의 비교가 이루어질 수 있다는 것을 이해할 것이다. 예를 들어, 질병 지정 및 외부 지정은 암 타입 및 암 심각성을 제공할 수 있다. 따라서, 각자의 질병 지정 및 외부 지정에 의해 제공되는 바와 같은 암 타입 및 암 심각성 둘 다가 비교될 수 있다.
비교 결과는 234(즉, 비교 결과 지정)에서 출력될 수 있다. 비교 결과 출력은 도 1a의 저장 디바이스(109) (예를 들어, 클라우드 스토리지, 하드 드라이브, 네트워크 드라이브 등)에 제공될 수 있다. 저장 디바이스(109)는 또한 이전 질병 지정들과 외부 지정들 사이의 이전 비교 결과들을 저장할 수 있다. 비교 결과는 QA 기계 학습 모델의 출력과 디지털 이미지 또는 연관된 타겟 표본의 건강 관리 전문가(예를 들어, 병리학자)의 주관적 평가 사이의 차이일 수 있고, 비교 결과에 기초하여 발견들을 확인하거나, 에러들을 플래깅하거나, 문제들을 식별하거나, 검토를 야기할 수 있다.
234에서 출력된 비교 결과들은 통지일 수 있거나 통지일 수도 있다. 통지는 질병 지정(즉, QA 기계 학습 모델로부터의 출력)과 외부 지정 사이의 유사성들, 질병 지정과 외부 지정 사이의 차이들, 질병 지정과 외부 지정 사이의 차이들 또는 유사성들의 정도들 등에 관한 정보를 포함할 수 있다. 통지는 통지 신호, 보고, 애플리케이션을 통한 메시지, 디바이스를 통한 통지 등과 같은 임의의 적용가능한 기술을 통해 제공될 수 있다. 통지는 임의의 적용가능한 디바이스 또는 직원(예를 들어, 조직학 기술자, 스캐너 오퍼레이터, 병리학자, 기록 등)에게 제공될 수 있다. 예로서, 비교 결과는 예를 들어, 환자의 기록 및 연관된 타겟 표본을 저장한 실험실 정보 시스템들(125)에서의 대응하는 타겟 표본의 이력과 통합될 수 있다.
구현에 따르면, 비교 결과는 질병 지정과 외부 지정 사이의 유사성들, 차이들, 및/또는 유사성 또는 차이들의 정도에 기초한 보고로서 제시될 수 있다. 보고는 PDF 포맷, HTML 포맷, 인-앱 포맷 등과 같은 임의의 적용가능한 포맷일 수 있다. 보고는 예를 들어, 발견된 결과들의 타입들, 질병 지정과 외부 지정 사이의 중첩 결과들, 질병 지정과 외부 지정 사이의 모순되는 결과들, 유사성들 또는 차이들의 임상적 영향, 차이들을 교정하기 위한 시간, 비교에서의 잠재적인 패턴들 또는 상관들 등을 포함할 수 있다. 보고는 또한 전체 소요 시간들 및/또는 작업의 품질과 같은 작업흐름 분석을 포함할 수 있다. 보고는 또한 QA 기계 학습 모델에 의해 분석된 복수의 디지털 병리학 샘플들 및/또는 이력 비교 결과들에 기초하여 이력상 관련된 정보를 제공할 수 있다.
구현에 따르면, 234에서의 비교 결과들의 출력은 시각적 표시자일 수 있거나 그것을 포함할 수 있다. 시각적 표시자는, 예를 들어, 도 1b의 뷰잉 애플리케이션 툴(108)을 통해 제공될 수 있다. 시각적 표시자는, 예를 들어, 질병 지정을 생성하는 데 이용되는 바이오마커들, 질병 지정에 기여하는 슬라이드의 속성들 등을 강조함으로써 주어진 차이를 식별할 수 있다.
구현에 따르면, QA 기계 학습 알고리즘은 또한 임상 정보(예를 들어, 환자 정보, 수술 정보, 진단 정보 등), 실험실 정보(예를 들어, 처리 시간들, 직원, 테스트들 등)에 기초하여 훈련되고/되거나 그들을 입력들로서 수신할 수 있다. QA 기계 학습 알고리즘은 그러한 입력들에 기초하여 품질 지정을 제공할 수 있다. 추가적으로, QA 기계 학습 알고리즘은 처리 점수, 직원 평가 등과 같은 대안적인 또는 추가적인 출력들을 제공할 수 있다.
본 명세서에 더 개시된 바와 같이, QA 기계 학습 알고리즘 및/또는 비교 결과들은 디지털 병리학 이미지들을 생성, 분석 및/또는 검토하기 위한 임상 작업흐름의 파이프라인 내에 통합될 수 있다.
도 4는 검출 기반 기술의 임상 작업흐름을 도시하는 도면이다. 개시된 청구 대상의 구현들에 따르면, 도 2a(즉, QC 분석) 및/또는 도 2b(즉, QA 분석)의 기술들에 따른, QA 및/또는 QC 분석(QA/QC 분석(402))이 작업흐름 동안의 하나 또는 복수의 지점들에서 구현될 수 있다. 도시된 바와 같이, 404에서, 환자 등록이 검출 기반 기술의 임상 작업흐름의 시작 시에 발생될 수 있다. 환자 등록은 환자 식별 정보, 환자 의료 정보, 및/또는 다른 환자 관련 정보를 포함하거나 수신하는 물리적 또는 디지털 환자 파일을 생성하는 것을 포함할 수 있다.
406에서, 환자 수술이 수행된다. 환자 수술은 환자의 신체로부터 환자 조직을 추출하는 생검 또는 세포학일 수 있다. 도시된 바와 같이, QA/QC 분석(402)은 406에서의 환자 수술에서 또는 그 후에 발생할 수 있다. 예를 들어, 생검된 조직의 이미지는 도 2a의 QC 분석을 통해 캡처되고 평가될 수 있다. 도 2a의 QC 분석은 시스템이 품질 지정에 기초하여 새로운 샘플이 필요한지를 결정할 수 있도록 생검된 조직 샘플의 품질 지정을 제공할 수 있다.
동결 절편 준비 및 검토(408) 단계는 406에서 환자 수술로부터 추출된 조직에 기초하여 취해질 수 있다. 환자 수술(406) 후의 QA/QC 분석(402)과 유사하게, QA/QC 분석(402)은 동결 절편 준비 및 검토(408)에서 또는 그 후에 발생할 수 있다. 예를 들어, 동결 절편의 이미지는 도 2a의 QC 분석을 통해 캡처되고 평가될 수 있다. 도 2a의 QC 분석은 시스템이 품질 지정에 기초하여 새로운 동결 절편이 필요한지를 결정할 수 있도록 동결 절편의 품질 지정을 제공할 수 있다.
병리학 재료 준비(410)(예를 들어, 샘플의 염색)는 406에서의 환자 수술 및/또는 408에서의 동결 절편 준비 및 검토에 기초하여 발생할 수 있다. 환자 수술(406) 후의 QA/QC 분석(402)과 유사하게, QA/QC 분석(402)은 병리학 재료 준비(410)에서 또는 그 후에 발생할 수 있다. 예를 들어, 준비된 병리학 재료의 이미지는 도 2a의 QC 분석을 통해 캡처되고 평가될 수 있다. 도 2a의 QC 분석은 시스템이 품질 지정에 기초하여 새로운 준비된 병리학 재료가 필요한지를 결정할 수 있도록 준비된 병리학 재료의 품질 지정을 제공할 수 있다.
구현에 따르면, 외부 재료 처리(412)는 환자 수술(406), 동결 절편 준비 및 검토(408), 및 병리학 재료 준비(410)에 대한 대체로서 발생할 수 있다. 외부 재료 처리(412)는 제3자에 의해 이전에 획득되거나 제공될 수 있는 디지털 또는 물리적 샘플에 기초할 수 있다. 환자 수술(406) 후의 QA/QC 분석(402)과 유사하게, QA/QC 분석(402)은 외부 재료 처리(412)에 기초하여 발생할 수 있다.
디지털화된 재료(414)는 병리학 재료 준비(410) 또는 외부 재료 처리(412)에 기초하여 생성될 수 있다. 환자 수술(406) 후의 QA/QC 분석(402)과 유사하게, QA/QC 분석(402)은 디지털화된 재료(414)에 기초하여 발생할 수 있다.
검토 재료(416)는 디지털화된 재료(414) 또는 외부 재료 처리(412)에 기초하여 생성될 수 있다. 환자 수술(406) 후의 QA/QC 분석(402)과 유사하게, QA/QC 분석(402)은 검토 재료(416)에 기초하여 발생할 수 있다. 예를 들어, 검토 재료(416)에 이용되는 이미지는 도 2a의 QC 분석을 통해 캡처되고 평가될 수 있다. 도 2a의 QC 분석은 시스템이 품질 지정에 기초하여 새로운 동결 절편이 필요한지를 결정할 수 있도록 이미지의 품질 지정을 제공할 수 있다. 다른 예로서, 초기 진단은 검토 재료(416) 및/또는 보조 테스트들(418)에 기초하여 이루어질 수 있다. 도 2b의 QA 분석은 초기 진단과 QA 기계 학습 모델에 의해 생성된 질병 진단들 사이의 비교 결과를 제공할 수 있어, 비교에 의해 표시된 아티팩트 및/또는 차이를 표시하기 위해 통지가 생성될 수 있다.
진단 및 보고(420)는 도 4에 제공된 작업흐름의 끝에서 생성될 수 있다. 도 4의 단계들 각각에서의 QA/QC 분석과 유사하게, QA/QC 분석(402)은 본 명세서의 도 2a 및 도 2b에 따른 진단 및 보고(420)에 기초하여 발생할 수 있다.
도 5 내지 도 7은 도 2a 및 도 2b를 참조하여 본 명세서에 개시된 바와 같은 QA/QC 분석의 예시적인 구현들을 도시한다. 도 5는 준비된 병리학 표본의 품질이 병리학 이미지들을 디지털화한 후에 제어되는 흐름도를 도시한다. 502에서, QC 기계 학습 모델은 아티팩트들을 식별하기 위해 훈련될 수 있다. 훈련은 병리학 표본(예를 들어, 조직학, 세포학, 동결 절편 등)의 이미지들 및 이미지가 진단 품질에 부정적인 영향을 미칠 수 있는 스캐닝 아티팩트들 또는 에러들(예를 들어, 블러, 누락 조직, 라인들 등) 또는 조직 준비로부터의 아티팩트들(예를 들어, 누락 또는 접힌 조직, 버블들, 유리 내의 균열들, 스크래치들, 먼지, 펜, 과도 염색 등)을 포함하는지의 표시로 수행될 수 있다.
504에서, QC 기계 학습 모델은 네트워크 드라이브, 워크스테이션, 이미지 저장 디바이스, 가상 기계에서와 같은 임상 작업흐름/파이프라인의 하나 이상의 양태 내에 설치되거나 스캐너 내에 직접 통합될 수 있다. 설치는 온-프레미스 또는 원격(예를 들어, 클라우드 기반)으로 배치될 수 있다. 예로서, QC 기계 학습은 모든 디지털 스캔들이 QC 기계 학습 및 도 2a를 참조하여 개시된 기술들을 통과하도록 스캐너 소프트웨어 내에 통합될 수 있다.
506에서, 병리학 샘플(예를 들어, 조직학, 세포학, 동결 절편 등)의 디지털 이미지가 수신되어 로컬로 또는 원격으로 저장될 수 있다. 504의 QC 기계 학습 모델은 이미지가 스캐닝 또는 조직 준비 아티팩트들, 및 선택적으로 어떤 타입의 에러를 갖는지를 결정할 수 있다.
508에서, 이미지가 품질 임계값을 충족하는지에 관한 품질 지정이 504의 QC 기계 학습 모델에 의해 이루어질 수 있다. 품질 지정은 QC 기계 학습 모델에 제공된 하나 이상의 입력에 기초하여 이루어질 수 있다. 품질 지정이 품질 임계값을 충족하거나 초과하는 경우(즉, "예(Yes)" 분기), 506의 디지털 이미지는 510에서의 진단을 위해 이용될 수 있고, 512에서의 품질 임계값을 충족하는 이미지로서 파일에 저장될 수 있고/있거나, 이미지에 의해 충족되는 이미지 품질 임계값은 514에서의 보고에서 이용될 수 있다. 구현에 따르면, 도 5에 도시되지 않았지만, 성공적인 이미지 캡처를 표시하기 위해 디지털 이미지가 품질 임계값을 충족할 때 통지가 생성될 수 있다.
품질 지정이 품질 임계값을 충족시키지 못하는 경우(즉, "아니오(No)" 분기), 516에서 동일한 것을 표시하는 통지가 생성될 수 있다. 예를 들어, 통지는 조직학 기술자와 같은 적용가능한 건강 관리 전문가에게 어느 표본이 재준비될 필요가 있는지의 표시와 함께 제공될 수 있다. 대안적으로, 또는 추가로, 스캐너 오퍼레이터는 재료를 재스캔하도록 통지받을 수 있다. 추가적으로, 518에서 경보가 생성될 수 있다. 예를 들어, 디지털 이미지가 품질 임계값을 충족시키지 못하는 정도가 중요한 경우, 경보가 생성될 수 있다. 시각적 표시자가 또한 하나 이상의 사용자에게 제공될 수 있고, 디지털 이미지가 품질 임계값을 충족시키지 못한 것, 어디서 충족시키지 못했는지, 및/또는 왜 충족시키지 못했는지에 관한 정보를 포함할 수 있다. 520에서 디지털 이미지가 재캡처될 수 있다.
디지털 이미지가 품질 임계값을 충족시켰는지 또는 충족시키지 못했는지에 관한 508의 결과는, 예를 들어, 실험실 정보 시스템에서 환자 파일 또는 표본의 이력과 연관될 수 있다.
보고는 508의 결과에 기초하여 생성될 수 있고, 발견된 에러들의 타입들, 각각의 타입에 대해 발견된 에러들의 수, 에러들의 임상적 영향, 에러들을 교정하는 데 걸리는 시간, 특정 스캐너가 에러들을 생성하는 경향이 있는지, 에러들을 생성하는 경향이 있는 특정 염색 타입, 에러들을 생성하는 경향이 있는 특정 조직 소스 등과 같은 에러들에서의 잠재적 패턴들 또는 상관들을 포함할 수 있다. 본 명세서에 개시된 바와 같이, 에러들은 아티팩트의 타입일 수 있거나 그 타입일 수 있다.
도 6은 도 2b와 관련하여 논의된 바와 같은, 질병 진단과 외부 진단을 비교함으로써 비교 결과들을 생성하고 적용하기 위한 흐름도를 도시한다. 도 6에 도시된 구현은, 예를 들어, 사인-아웃(sign-out) 또는 최종 진단 전의 QA 구현일 수 있다. 도 6에 도시된 프로세스에 기초하여, 병리학자를 통한 슬라이드 평가의 품질은 케이스가 사인-아웃되기 전에 보장될 수 있다. 602에서, QA 기계 학습 모델은 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 등급 등의 결정을 위한 바이오마커들을 식별하기 위해 훈련될 수 있다. 훈련은 병리학 표본(예를 들어, 조직학, 세포학, 동결 절편 등)의 이미지들, 본 명세서에 개시된 바와 같은 환자 연관 정보, 및 알려진 바이오마커들의 표시, 또는 질병 지정들로 수행될 수 있다.
604에서, QA 기계 학습 모델은 네트워크 드라이브, 워크스테이션, 이미지 저장 디바이스, 가상 기계, 또는 보고 분석에서와 같은 임상 작업흐름/파이프라인의 하나 이상의 양태들 내에 설치될 수 있다. 모델은 일치들 및 불일치들을 관리하기 위한 로직과 함께 배치될 수 있다. 설치는 온-프레미스 또는 원격(예를 들어, 클라우드 기반)으로 배치될 수 있다. 예로서, QA 기계 학습 모델은 보고(예를 들어, 병리학자의 보고)를 통해 제공된 외부 지정을 입력으로서 수신하도록 보고 모듈 내에 통합될 수 있다.
606에서, 병리학 샘플(예를 들어, 조직학, 세포학, 동결 절편 등)의 디지털 이미지가 로컬로 또는 원격으로 수신 및 저장될 수 있다. 604의 QA 기계 학습 모델은 608에서, 진단 결정(예를 들어, 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 등급 등)의 하나 이상의 요소를 포함할 수 있는 질병 지정을 생성할 수 있다. 질병 지정은 로컬 또는 원격 저장소에 출력될 수 있다. 610에서, 외부 지정은 (예를 들어, 병리학자에 의한) 수동 지정 또는 (예를 들어, 제3자 시스템, 상이한 기계 학습 시스템, 또는 컴퓨터 알고리즘에 의한) 자동 지정으로부터 수신될 수 있다.
612에서, 608의 질병 지정은 610의 외부 지정과 비교되어 "일치(Match)", "일치 없음(No Match)" 또는 이들 중 어느 하나의 정도를 출력할 수 있다. 일치 분기를 통해 도시된 바와 같이, 질병 지정과 외부 지정이 일치하면, 614에서 외부 지정은 클리어되어 권한 지정으로서 이용될 수 있다. 디지털 이미지는 또한 616에서 미래의 이용, 분석 또는 참조를 위해 파일에 저장될 수 있다. 추가적으로, 질병 지정 및/또는 외부 지정은 환자 파일 또는 표본 파일과 연관되거나 그에 따라 저장될 수 있다.
일치 없음 분기를 통해 도시된 바와 같이, 질병 지정 및 외부 지정이 일치하지 않으면, 618에서 통지가 생성될 수 있다. 통지는 각자의 케이스가 사인 아웃되기 전에 주(primary) 병리학자와 같은 임의의 적용가능한 개인들 또는 디바이스들에 제공될 수 있다. 따라서, 통지는, 입력된 외부 진단이 QA 기계 학습 모델에 의해 결정된 질병 진단과 상이한 경우, 618에서 생성될 수 있고, 여기서 외부 진단은 실험실 정보 시스템에 입력될 수 있고, 외부 기관(예를 들어, 진단 상담, 제2 의견, 이체된 케이스 등), 또는 병리학자의 진단에 의해 제공될 수 있다. 질병 지정과 외부 지정 사이의 불일치에 기초하여, 불일치가 발견된 것, 어디서 불일치가 발견되었는지, 및/또는 왜 불일치가 발견되었는지를 보여주기 위해 시각적 표시자가 제공될 수 있다.
620에서, 경보가, 예를 들어, 질병 진단과 외부 진단 사이의 차이의 정도가 임계값을 초과하는 경우 일치 없음 결정에 기초하여, 불일치의 타입에 기초하여, 등등에 의해 생성될 수 있다. 또한, 622에서, 질병 진단과 외부 진단 사이의 불일치에 기초하여 디지털 이미지 또는 대응하는 표본의 재지정이 개시될 수 있다.
구현에 따르면, 질병 진단 및 외부 진단 둘 다는 최종 진단 보고를 통해 제공될 수 있다. 또한, 검토를 위한 주기적인 소급적 보고들이 생성될 수 있다. 그러한 보고들은 건강 관리 전문가별로, 기술자별로, 현장별로, 기관별로, 또는 기타 등등으로 생성될 수 있다. 보고들은 불일치의 타입들, 일치의 타입들, 일치하도록 교정된 불일치의 수, 불일치들 및 환자에게 이용가능한 임의의 관련 후속 정보(follow-up information) 중 하나 이상을 포함할 수 있다.
도 7은 도 2b와 관련하여 논의된 바와 같은, 질병 진단과 외부 진단을 비교함으로써 비교 결과들을 생성하고 적용하기 위한 흐름도를 도시한다. 도 7에 도시된 구현은, 예를 들어, 사인-아웃 또는 최종 진단 후의 QA 구현일 수 있고, 하나 이상의 진단에 기초한 보고 생성을 용이하게 할 수 있다. 도 7에 도시된 프로세스에 기초하여, 병리학자를 통한 슬라이드 평가의 품질은 케이스가 사인-아웃된 후에 보장될 수 있다. 702에서, QA 기계 학습 모델은 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 등급 등의 결정을 위한 바이오마커들을 식별하기 위해 훈련될 수 있다. 훈련은 병리학 표본(예를 들어, 조직학, 세포학, 동결 절편 등)의 이미지들, 본 명세서에 개시된 바와 같은 환자 연관 정보, 및 알려진 바이오마커들의 표시, 또는 질병 지정들로 수행될 수 있다.
704에서, QA 기계 학습 모델은 네트워크 드라이브, 워크스테이션, 이미지 저장 디바이스, 가상 기계, 또는 보고 분석에서와 같은 임상 작업흐름/파이프라인의 하나 이상의 양태 내에 설치될 수 있다. 모델은 일치들 및 불일치들을 관리하기 위한 로직과 함께 배치될 수 있다. 설치는 온-프레미스 또는 원격(예를 들어, 클라우드 기반)으로 배치될 수 있다. 예로서, QA 기계 학습 모델은 보고(예를 들어, 병리학자의 보고)를 통해 제공되는 외부 지정을 입력으로서 수신하도록 보고 모듈 내에 통합될 수 있다.
707에서, 병리학 샘플(예를 들어, 조직학, 세포학, 동결 절편 등)의 디지털 이미지가 로컬로 또는 원격으로 수신 및 저장될 수 있다. 704의 QA 기계 학습 모델은 708에서, 진단 결정(예를 들어, 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 등급 등)의 하나 이상의 요소를 포함할 수 있는 질병 지정을 생성할 수 있다. 질병 지정은 로컬 또는 원격 저장소에 출력될 수 있다. 710에서, 외부 지정은 (예를 들어, 병리학자에 의한) 수동 지정 또는 (예를 들어, 제3자 시스템, 상이한 기계 학습 시스템, 또는 컴퓨터 알고리즘에 의한) 자동 지정으로부터 수신될 수 있다.
712에서, 708의 질병 지정은 "일치", "일치 없음" 또는 이들 중 어느 하나의 정도를 출력하기 위해 710의 외부 지정과 비교될 수 있다. 일치 또는 일치 없음 지정에 기초하여, 도 6에 도시된 단계들이 구현될 수 있다. 또한, 714에서 일치 지정이 보고에 적용될 수 있고, 718에서 일치 없음 지정이 보고에 적용될 수 있다. 보고는 불일치 또는 일치의 정도들, 불일치 또는 일치의 특정 영역들 등과 같은 일치 또는 일치 없음 지정들의 속성들을 포함할 수 있다.
추가적으로, 하나 이상의 케이스에 대한 외부 지정의 하나 이상의 요소는 QA 기계 학습 모델에 의한 질병 지정의 대응하는 하나 이상의 요소와 비교될 수 있고, 그러한 결과들의 비교는 보고를 통해 제공될 수 있다. 그러한 비교는 다수의 케이스들에 걸쳐 수행될 수 있다. 예를 들어, 712로부터의 비교 결과들은 모든 케이스들 또는 특정 임상의, 특정 보험을 갖는 환자들, 특정 인구통계 타입을 갖는 환자들로부터, 이전 시간 기간(예를 들어, 6개월) 동안 특정 부위로부터, 등등으로부터 오는 특정 병리학자에 의해 진단된 특정 조직 타입으로부터의 모든 케이스들에 제공될 수 있다. 그러한 비교들 중 하나 이상으로부터의 결과들은 케이스 타입, 조직 타입, 개인, 환자, 보험, 인구통계, 부위 또는 시간 기간에 의해 분류되는 바와 같은 일치들, 불일치들 및 그것의 정도들을 강조하기 위한 보고에 포함될 수 있다. 따라서, 하나 이상의 보고는 소급적일 수 있고, 병리학자별, 기술자별, 부위별, 조직 타입별, 염색별, 스캐너별, 이미지 타입별, 샘플 준비별, 진단별, 인구통계 요소별, 보험 캐리어별, 의뢰 의사(referring physician)별 및/또는 기관별 등으로 생성될 수 있다. 보고들은 불일치들의 타입들, 일치들의 타입들, 일치하도록 교정된 불일치의 수, 불일치들 및 환자에게 이용가능한 임의의 관련 후속 정보, 및 QA 기계 학습 모델에 의한 질병 진단과 외부 진단 사이의 불일치 또는 불일치의 임의의 다른 개별 또는 종합 측정 중 하나 이상을 포함할 수 있다.
하나 이상의 보고는 하나 이상의 개인, 관리자, 보험 회사, 정부 기관, 임상의 등에게 제공될 수 있고, 비율들(예를 들어, 일치율들, 불일치율들 등) 및/또는 QA 기계 학습 모델에 의한 질병 진단과 외부 진단의 비교로부터 도출된 다른 품질 측정들을 포함할 수 있다.
도 8에 도시된 바와 같이, 디바이스(800)는 중앙 처리 유닛(CPU)(820)을 포함할 수 있다. CPU(820)는, 예를 들어, 임의의 타입의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는, 임의의 타입의 프로세서 디바이스일 수 있다. 관련 기술 분야의 통상의 기술자라면 잘 알 수 있듯이, CPU(820)는 또한 멀티코어/멀티프로세서 시스템(이러한 시스템은 단독으로 동작함), 또는 클러스터 또는 서버 팜(server farm)에서 동작하는 컴퓨팅 디바이스들의 클러스터에서의 단일 프로세서일 수 있다. CPU(820)는 데이터 통신 인프라스트럭처(810), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티코어 메시지 전달 스킴에 접속될 수 있다.
디바이스(800)는 또한 메인 메모리(840), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 보조 메모리(830)를 포함할 수 있다. 보조 메모리(830), 예를 들어, 판독 전용 메모리(ROM)는, 예를 들어, 하드 디스크 드라이브 또는 착탈식 저장 드라이브일 수 있다. 그러한 착탈식 저장 드라이브는, 예를 들어, 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 착탈식 저장 드라이브는 이 예에서 잘 알려진 방식으로 착탈식 저장 유닛으로부터 판독 및/또는 그에 기입한다. 착탈식 저장 유닛은 착탈식 저장 드라이브에 의해 판독 및 기입되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있다. 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 그러한 착탈식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터를 저장한 컴퓨터 이용가능 저장 매체를 포함한다.
대안적인 구현들에서, 보조 메모리(830)는 컴퓨터 프로그램들 또는 다른 명령어들이 디바이스(800) 내로 로딩되는 것을 허용하기 위한 다른 유사한 수단을 포함할 수 있다. 그러한 수단의 예들은 프로그램 카트리지 및 카트리지 인터페이스(예를 들어, 비디오 게임 디바이스들에서 발견되는 것), 착탈식 메모리 칩(예를 들어, EPROM, 또는 PROM) 및 연관된 소켓, 및 소프트웨어 및 데이터가 착탈식 저장 유닛으로부터 디바이스(800)로 전송되는 것을 허용하는 다른 착탈식 저장 유닛들 및 인터페이스들을 포함할 수 있다.
디바이스(800)는 또한 통신 인터페이스("COM")(860)를 포함할 수 있다. 통신 인터페이스(860)는 소프트웨어 및 데이터가 디바이스(800)와 외부 디바이스들 사이에서 전송되게 한다. 통신 인터페이스(860)는 모뎀, 네트워크 인터페이스(예를 들어, 이더넷 카드), 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(860)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(860)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호들일 수 있는 신호들의 형태일 수 있다. 이러한 신호들은, 예를 들어, 유선 또는 케이블, 광섬유, 전화선, 셀룰러 전화 링크, RF 링크 또는 다른 통신 채널들을 이용하여 구현될 수 있는, 디바이스(800)의 통신 경로를 통해 통신 인터페이스(860)에 제공될 수 있다.
그러한 장비의 하드웨어 요소들, 운영 체제들 및 프로그래밍 언어들은 사실상 통상적이며, 본 기술분야의 통상의 기술자들은 그와 적절히 친숙하다고 가정된다. 디바이스(800)는 또한 키보드들, 마우스들, 터치스크린들, 모니터들, 디스플레이들 등과 같은 입력 및 출력 디바이스들과 접속하기 위한 입력 및 출력 포트들(850)을 포함할 수 있다. 물론, 다양한 서버 기능들은 처리 부하를 분산시키기 위해 다수의 유사한 플랫폼 상에 분산 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.
본 개시내용 전체에 걸쳐, 컴포넌트들 또는 모듈들에 대한 참조들은 일반적으로, 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목들을 지칭한다. 유사한 참조 번호들은 일반적으로 동일하거나 유사한 컴포넌트들을 지칭하도록 의도된다. 컴포넌트들 및 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.
전술한 툴들, 모듈들, 및 기능들은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장" 타입 매체는 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적 저장을 제공할 수 있는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은, 컴퓨터들, 프로세서들 등의 유형의 메모리, 또는 이들의 연관된 모듈들 중 임의의 것 또는 전부를 포함할 수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 원격통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신들은 하나의 컴퓨터 또는 프로세서로부터 다른 것으로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 이용되는 바와 같이, 비일시적인 유형의 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독가능 매체"와 같은 용어들은 실행을 위해 프로세서에 명령어들을 제공하는데 참여하는 임의의 매체를 지칭한다.
상기의 일반적인 설명은 단지 예시적인 것이고 설명을 위한 것이며, 본 개시내용을 제한하지 않는다. 본 발명의 다른 실시예들은 본 명세서에 개시된 본 발명의 명세서 및 실시의 고려로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 명세서 및 예들은 단지 예시적인 것으로 간주되는 것이 의도된다.
Claims (20)
- 전자 이미지들을 처리하기 위한 컴퓨터로 구현된 방법으로서,
병리학 카테고리와 연관된 타겟 표본에 대응하는 디지털 이미지를 수신하는 단계―상기 디지털 이미지는 인간 또는 동물 조직의 이미지 및/또는 인간 또는 동물 조직을 복제하기 위해 알고리즘적으로 생성된 이미지임―;
품질 제어(QC) 기계 학습 모델을 결정하는 단계―상기 QC 기계 학습 모델은 하나 이상의 아티팩트에 기초하여 품질 지정을 예측하기 위해, 상기 병리학 카테고리와 연관된 복수의 훈련 이미지들을 처리함으로써 생성됨―;
상기 디지털 이미지를 상기 QC 기계 학습 모델에 대한 입력으로서 제공하는 단계;
상기 디지털 이미지에 대한 상기 품질 지정을 상기 QC 기계 학습 모델로부터의 출력으로서 수신하는 단계;
상기 QC 기계 학습 모델과는 상이한 품질 보증(QA) 기계 학습 모델을 결정하는 단계―상기 QA 기계 학습 모델은 하나 이상의 바이오마커에 기초하여 질병 지정을 예측하기 위해, 상기 병리학 카테고리와 연관된 복수의 훈련 이미지들을 처리함으로써 생성됨―;
승인된 품질 지정인 상기 품질 지정에 기초하여 상기 디지털 이미지를 상기 QA 기계 학습 모델에 대한 입력으로서 제공하는 단계;
상기 디지털 이미지에 대한 상기 질병 지정을 상기 QA 기계 학습 모델로부터의 출력으로서 수신하는 단계;
상기 디지털 이미지 또는 상기 타겟 표본 중 하나에 대한 외부 지정을 수신하는 단계―상기 외부 지정은 사용자에 의해 생성되고, 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 또는 등급 중 적어도 하나로부터 선택된 질병 속성을 포함함―;
상기 질병 지정을 상기 외부 지정과 비교함으로써 상기 외부 지정을 평가하는 단계;
상기 질병 지정으로부터 벗어나는 상기 외부 지정에 기초하여, 상기 평가에 기초하여 상기 외부 지정을 거절하는 단계; 및
상기 질병 지정을 상기 외부 지정과 비교함으로써 상기 외부 지정을 평가하는 것에 기초하여 비교 결과를 출력하는 단계를 포함하는
컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 병리학 카테고리는 조직학, 세포학, 동결 절편, 또는 면역조직화학 중 하나인, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 QC 기계 학습 모델은 그의 파라미터들이 각각의 훈련 이미지에서 아티팩트의 존재, 부재, 또는 정도를 검출하게 설정되도록 훈련되는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
품질 특성에 기초하여 통지를 자동으로 생성하는 단계를 더 포함하고, 상기 통지는 아티팩트 존재, 부재, 또는 정도 지정을 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 디지털 이미지의 상기 품질 지정을 출력하는 단계는 상기 디지털 이미지의 아티팩트에 대응하는 시각적 표시자를 더 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 디지털 이미지의 상기 품질 지정을 출력하는 단계는 발견된 아티팩트의 타입, 발견된 아티팩트들의 수, 발견된 아티팩트의 임상적 영향, 아티팩트를 교정하기 위한 시간, 잠재적 패턴, 또는 복수의 아티팩트들에서의 상관 중 적어도 하나를 포함하는 보고를 생성하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 제1항에 있어서,
상기 하나 이상의 아티팩트는 누락 조직, 유리 균열, 버블, 블러량, 누락 조직, 접힌 조직, 라인, 스크래치, 먼지, 펜, 또는 염색량을 포함하는, 컴퓨터로 구현된 방법. - 전자 이미지들을 처리하기 위한 컴퓨터로 구현된 방법으로서,
병리학 카테고리와 연관된 타겟 표본에 대응하는 적어도 하나의 디지털 이미지를 수신하는 단계―상기 디지털 이미지는 인간 또는 동물 조직의 이미지 및/또는 인간 또는 동물 조직을 복제하기 위해 알고리즘적으로 생성된 이미지임―;
품질 보증(QA) 기계 학습 모델을 결정하는 단계―상기 QA 기계 학습 모델은 하나 이상의 바이오마커에 기초하여 질병 지정을 예측하기 위해, 상기 병리학 카테고리와 연관된 복수의 훈련 이미지들을 처리함으로써 생성됨―;
상기 디지털 이미지를 상기 QA 기계 학습 모델에 대한 입력으로서 제공하는 단계;
상기 디지털 이미지에 대한 상기 질병 지정을 상기 QA 기계 학습 모델로부터의 출력으로서 수신하는 단계;
상기 디지털 이미지 또는 상기 타겟 표본 중 하나에 대한 외부 지정을 수신하는 단계―상기 외부 지정은 사용자에 의해 생성되고, 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 또는 등급 중 적어도 하나로부터 선택된 질병 속성을 포함함―;
상기 질병 지정을 상기 외부 지정과 비교함으로써 상기 외부 지정을 평가하는 단계;
상기 질병 지정으로부터 벗어나는 상기 외부 지정에 기초하여, 상기 평가에 기초하여 상기 외부 지정을 거절하는 단계; 및
상기 질병 지정을 상기 외부 지정과 비교함으로써 상기 외부 지정을 평가하는 것에 기초하여 비교 결과를 출력하는 단계를 포함하는
컴퓨터로 구현된 방법. - 제8항에 있어서,
상기 비교 결과는 불일치 표시인, 컴퓨터로 구현된 방법. - 제9항에 있어서,
상기 불일치 표시에 기초하여 불일치 레벨을 결정하는 단계;
상기 불일치 레벨이 임계값 미만인 경우 경고를 생성하는 단계; 및
상기 불일치 레벨이 상기 임계값 초과인 경우 트리거를 생성하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 제10항에 있어서,
상기 트리거는 상기 디지털 이미지의 수동 재지정 또는 경보의 생성 중 적어도 하나를 포함하는, 컴퓨터로 구현된 방법. - 제8항에 있어서,
상기 질병 지정은 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 또는 등급 중 적어도 하나인, 컴퓨터로 구현된 방법. - 제12항에 있어서,
상기 QA 기계 학습 모델은 각각의 훈련 이미지에서의 질병 지정의 상기 존재, 부재, 또는 정도에 기초하여 훈련되는, 컴퓨터로 구현된 방법. - 제8항에 있어서,
상기 외부 지정은 수동 지정 또는 자동 지정 중 적어도 하나인, 컴퓨터로 구현된 방법. - 제8항에 있어서,
상기 비교 결과가 불일치 지정인 경우 상기 비교 결과에 기초하여 통지를 생성하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 제8항에 있어서,
외부 지정은 건강 관리 전문가, 제3자 엔티티, 또는 보조 시스템에 의해 제공되는, 컴퓨터로 구현된 방법. - 제8항에 있어서,
상기 비교 결과에 대응하는 시각적 표시자를 출력하는 단계를 더 포함하는, 컴퓨터로 구현된 방법. - 제8항에 있어서,
복수의 추가적인 비교 결과들을 수신하는 단계; 및
상기 비교 결과 및 상기 추가적인 비교 결과들에 기초하여 보고를 생성하는 단계―상기 보고는 불일치의 타입, 일치의 타입, 일치하도록 교정될 불일치들의 수, 또는 후속 불일치 중 적어도 하나를 포함함―를 더 포함하는, 컴퓨터로 구현된 방법. - 전자 이미지들을 처리하기 위한 시스템으로서,
명령어들을 저장한 적어도 하나의 메모리; 및
상기 명령어들을 실행하여 동작들을 수행하는 적어도 하나의 프로세서를 포함하고, 상기 동작들은,
병리학 카테고리와 연관된 타겟 표본에 대응하는 적어도 하나의 디지털 이미지를 수신하는 것―상기 디지털 이미지는 인간 또는 동물 조직의 이미지 및/또는 인간 또는 동물 조직을 복제하기 위해 알고리즘적으로 생성된 이미지임―;
품질 보증(QA) 기계 학습 모델을 결정하는 것―상기 QA 기계 학습 모델은 하나 이상의 바이오마커에 기초하여 질병 지정을 예측하기 위해, 상기 병리학 카테고리와 연관된 복수의 훈련 이미지들을 처리함으로써 생성됨―;
상기 디지털 이미지를 상기 QA 기계 학습 모델에 대한 입력으로서 제공하는 것;
상기 디지털 이미지에 대한 상기 질병 지정을 상기 QA 기계 학습 모델로부터의 출력으로서 수신하는 것;
상기 디지털 이미지 또는 상기 타겟 표본 중 하나에 대한 외부 지정을 수신하는 것―상기 외부 지정은 사용자에 의해 생성되고, 암 검출, 암 등급, 암 기원, 진단, 미생물의 존재 또는 부재, 표본 타입, 암 타입, 암 상태, 종양 크기, 병변 위험 레벨, 또는 등급 중 적어도 하나로부터 선택된 질병 속성을 포함함―;
상기 질병 지정을 상기 외부 지정과 비교함으로써 상기 외부 지정을 평가하는 것;
상기 질병 지정으로부터 벗어나는 상기 외부 지정에 기초하여, 상기 평가에 기초하여 상기 외부 지정을 거절하는 것; 및
상기 질병 지정을 상기 외부 지정과 비교함으로써 상기 외부 지정을 평가하는 것에 기초하여 비교 결과를 출력하는 것을 포함하는
시스템. - 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062957517P | 2020-01-06 | 2020-01-06 | |
| US62/957,517 | 2020-01-06 | ||
| PCT/US2020/065995 WO2021141757A1 (en) | 2020-01-06 | 2020-12-18 | Systems and methods for analyzing electronic images for quality control |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220115627A KR20220115627A (ko) | 2022-08-17 |
| KR102498686B1 true KR102498686B1 (ko) | 2023-02-09 |
Family
ID=74186945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227026853A KR102498686B1 (ko) | 2020-01-06 | 2020-12-18 | 품질 제어를 위해 전자 이미지들을 분석하기 위한 시스템들 및 방법들 |
Country Status (8)
| Country | Link |
|---|---|
| US (4) | US11222424B2 (ko) |
| EP (1) | EP4088280A1 (ko) |
| JP (1) | JP7212339B1 (ko) |
| KR (1) | KR102498686B1 (ko) |
| CN (1) | CN115210817A (ko) |
| AU (2) | AU2020421609A1 (ko) |
| CA (1) | CA3162251A1 (ko) |
| WO (1) | WO2021141757A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2021349226C1 (en) | 2020-09-23 | 2023-08-24 | Proscia Inc. | Critical component detection using deep learning and attention |
| DE102020126554A1 (de) * | 2020-10-09 | 2022-04-14 | Carl Zeiss Microscopy Gmbh | Mikroskopiesystem und verfahren zum überprüfen von eingabedaten |
| CN113888529A (zh) * | 2021-10-26 | 2022-01-04 | 济南超级计算技术研究院 | 基于深度学习的病理切片图像质量评级方法及系统 |
| KR102671745B1 (ko) * | 2022-05-24 | 2024-06-04 | 주식회사 루닛 | 병리 슬라이드 이미지의 품질을 평가하는 방법 및 장치 |
| US12014502B2 (en) | 2022-05-24 | 2024-06-18 | Lunit Inc. | Method and device for evaluating quality of pathological slide image |
| KR102690457B1 (ko) * | 2022-09-08 | 2024-07-31 | 주식회사 메디컬에이아이 | 생체 신호의 품질을 정량화 하는 방법, 프로그램 및 장치 |
| WO2024064338A1 (en) | 2022-09-22 | 2024-03-28 | Agilent Technologies, Inc. | Anti-human icos antibodies for use in immunohistochemistry (ihc) protocols and for diagnosing cancer |
| WO2024201381A1 (en) * | 2023-03-31 | 2024-10-03 | Optina Diagnostics, Inc. | Method and system for processing retinal images |
| CN118015436A (zh) * | 2024-01-22 | 2024-05-10 | 北京透彻未来科技有限公司 | 基于计算机视觉的病理影像缺陷智能识别系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160042511A1 (en) | 2013-03-15 | 2016-02-11 | Ventana Medical Systems, Inc. | Tissue Object-Based Machine Learning System for Automated Scoring of Digital Whole Slides |
| WO2018209057A1 (en) | 2017-05-11 | 2018-11-15 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
| US20190340468A1 (en) | 2018-05-07 | 2019-11-07 | Google Llc | Focus-Weighted, Machine Learning Disease Classifier Error Prediction for Microscope Slide Images |
| JP2019533805A (ja) | 2016-10-07 | 2019-11-21 | ベンタナ メディカル システムズ， インコーポレイテッド | 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー |
| US20200272864A1 (en) | 2017-11-06 | 2020-08-27 | University Health Network | Platform, device and process for annotation and classification of tissue specimens using convolutional neural network |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040103001A1 (en) | 2002-11-26 | 2004-05-27 | Mazar Scott Thomas | System and method for automatic diagnosis of patient health |
| JP6796419B2 (ja) * | 2016-07-19 | 2020-12-09 | 株式会社トプコン | 医療情報処理システム及び医療情報処理方法 |
| US20180060512A1 (en) | 2016-08-29 | 2018-03-01 | Jeffrey Sorenson | System and method for medical imaging informatics peer review system |
| KR102222796B1 (ko) * | 2016-10-21 | 2021-03-03 | 난토믹스, 엘엘씨 | 디지털 조직병리학 및 현미해부 |
| US10573003B2 (en) | 2017-02-13 | 2020-02-25 | Amit Sethi | Systems and methods for computational pathology using points-of-interest |
| WO2018223066A1 (en) * | 2017-06-02 | 2018-12-06 | Veracyte, Inc. | Methods and systems for identifying or monitoring lung disease |
| CN109771842A (zh) * | 2017-11-10 | 2019-05-21 | 北京连心医疗科技有限公司 | 基于机器学习的云放疗质量控制方法、设备和存储介质 |
| US20200273559A1 (en) * | 2019-02-22 | 2020-08-27 | Heartflow, Inc. | System architecture and methods for analyzing health data across geographic regions by priority using a decentralized computing platform |
| WO2020181098A1 (en) * | 2019-03-05 | 2020-09-10 | Memorial Sloan Kettering Cancer Center | Systems and methods for image classification using visual dictionaries |
| WO2020232033A1 (en) * | 2019-05-14 | 2020-11-19 | Tempus Labs, Inc. | Systems and methods for multi-label cancer classification |
| US11705226B2 (en) * | 2019-09-19 | 2023-07-18 | Tempus Labs, Inc. | Data based cancer research and treatment systems and methods |
-
2020
- 2020-12-18 CA CA3162251A patent/CA3162251A1/en active Pending
- 2020-12-18 CN CN202080098085.5A patent/CN115210817A/zh active Pending
- 2020-12-18 WO PCT/US2020/065995 patent/WO2021141757A1/en unknown
- 2020-12-18 AU AU2020421609A patent/AU2020421609A1/en not_active Ceased
- 2020-12-18 KR KR1020227026853A patent/KR102498686B1/ko active IP Right Grant
- 2020-12-18 US US17/126,596 patent/US11222424B2/en active Active
- 2020-12-18 JP JP2022541219A patent/JP7212339B1/ja active Active
- 2020-12-18 EP EP20842485.3A patent/EP4088280A1/en active Pending
-
2021
- 2021-12-02 US US17/457,268 patent/US11615534B2/en active Active
-
2023
- 2023-02-24 US US18/174,284 patent/US11928820B2/en active Active
- 2023-11-20 US US18/514,504 patent/US20240087124A1/en active Pending
-
2024
- 2024-02-15 AU AU2024200999A patent/AU2024200999A1/en not_active Abandoned
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160042511A1 (en) | 2013-03-15 | 2016-02-11 | Ventana Medical Systems, Inc. | Tissue Object-Based Machine Learning System for Automated Scoring of Digital Whole Slides |
| JP2019533805A (ja) | 2016-10-07 | 2019-11-21 | ベンタナ メディカル システムズ， インコーポレイテッド | 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー |
| WO2018209057A1 (en) | 2017-05-11 | 2018-11-15 | The Research Foundation For The State University Of New York | System and method associated with predicting segmentation quality of objects in analysis of copious image data |
| US20200126207A1 (en) | 2017-05-11 | 2020-04-23 | The Research Foundation For The State University Of New York | System and Method Associated with Predicting Segmentation Quality of Objects in Analysis of Copious Image Data |
| US20200272864A1 (en) | 2017-11-06 | 2020-08-27 | University Health Network | Platform, device and process for annotation and classification of tissue specimens using convolutional neural network |
| US20190340468A1 (en) | 2018-05-07 | 2019-11-07 | Google Llc | Focus-Weighted, Machine Learning Disease Classifier Error Prediction for Microscope Slide Images |
Non-Patent Citations (1)
| Title |
|---|
| GabrieleCampanella 외, Towards machine learned quality control: A benchmark for sharpness quantification in digital pathology, Computerized Medical Imaging and Graphics, 2017.09.25., Vol.65, pp.142-151 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11615534B2 (en) | 2023-03-28 |
| US20240087124A1 (en) | 2024-03-14 |
| CN115210817A (zh) | 2022-10-18 |
| US11222424B2 (en) | 2022-01-11 |
| AU2024200999A1 (en) | 2024-03-07 |
| KR20220115627A (ko) | 2022-08-17 |
| WO2021141757A1 (en) | 2021-07-15 |
| EP4088280A1 (en) | 2022-11-16 |
| US11928820B2 (en) | 2024-03-12 |
| BR112022013004A2 (pt) | 2022-09-06 |
| AU2020421609A1 (en) | 2022-08-25 |
| JP2023505386A (ja) | 2023-02-08 |
| US20210209760A1 (en) | 2021-07-08 |
| US20230222662A1 (en) | 2023-07-13 |
| JP7212339B1 (ja) | 2023-01-25 |
| US20220092782A1 (en) | 2022-03-24 |
| CA3162251A1 (en) | 2021-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102498686B1 (ko) | 품질 제어를 위해 전자 이미지들을 분석하기 위한 시스템들 및 방법들 | |
| US11593684B2 (en) | Systems and methods for processing images to classify the processed images for digital pathology | |
| KR102488986B1 (ko) | 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들 | |
| US11494907B2 (en) | Systems and methods for processing electronic images for computational assessment of disease | |
| KR102562708B1 (ko) | 일반화된 질병 검출을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들 | |
| US12236365B2 (en) | Systems and methods for processing images to classify the processed images for digital pathology | |
| BR112022013004B1 (pt) | Métodos implementados por computador para processar imagens eletrônicas empregando amostras in vitro e sistema para processar imagens eletrônicas |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| PA0105 | International application |
Patent event date: 20220803 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20220803 Comment text: Request for Examination of Application |
|
| PA0302 | Request for accelerated examination |
Patent event date: 20220803 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20221208 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230207 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230207 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |