CN110573066A - 用于多光谱截肢部位分析的机器学习系统和技术 - Google Patents
用于多光谱截肢部位分析的机器学习系统和技术 Download PDFInfo
- Publication number
- CN110573066A CN110573066A CN201880028365.1A CN201880028365A CN110573066A CN 110573066 A CN110573066 A CN 110573066A CN 201880028365 A CN201880028365 A CN 201880028365A CN 110573066 A CN110573066 A CN 110573066A
- Authority
- CN
- China
- Prior art keywords
- tissue
- images
- pixel
- classifier
- amputation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002266 amputation Methods 0.000 title claims abstract description 299
- 238000000034 method Methods 0.000 title claims abstract description 285
- 238000004458 analytical method Methods 0.000 title claims description 58
- 238000010801 machine learning Methods 0.000 title description 69
- 201000010099 disease Diseases 0.000 claims abstract description 26
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 26
- 238000003384 imaging method Methods 0.000 claims description 104
- 238000012549 training Methods 0.000 claims description 101
- 230000036541 health Effects 0.000 claims description 93
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 58
- 238000013527 convolutional neural network Methods 0.000 claims description 55
- 230000001338 necrotic effect Effects 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 4
- 238000012634 optical imaging Methods 0.000 abstract description 16
- 230000017074 necrotic cell death Effects 0.000 abstract description 6
- 210000001519 tissue Anatomy 0.000 description 473
- 238000013186 photoplethysmography Methods 0.000 description 110
- 230000035876 healing Effects 0.000 description 90
- 238000000701 chemical imaging Methods 0.000 description 89
- 210000003491 skin Anatomy 0.000 description 77
- 208000027418 Wounds and injury Diseases 0.000 description 55
- 206010052428 Wound Diseases 0.000 description 53
- 230000000875 corresponding effect Effects 0.000 description 47
- 238000005259 measurement Methods 0.000 description 47
- 230000004089 microcirculation Effects 0.000 description 38
- 230000017531 blood circulation Effects 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 37
- 238000012360 testing method Methods 0.000 description 36
- 230000029663 wound healing Effects 0.000 description 35
- 210000003414 extremity Anatomy 0.000 description 33
- 230000008569 process Effects 0.000 description 32
- 208000005764 Peripheral Arterial Disease Diseases 0.000 description 29
- 208000030831 Peripheral arterial occlusive disease Diseases 0.000 description 29
- 230000006870 function Effects 0.000 description 29
- 239000000835 fiber Substances 0.000 description 28
- 230000003595 spectral effect Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 25
- 239000000523 sample Substances 0.000 description 24
- 230000035945 sensitivity Effects 0.000 description 23
- 238000005286 illumination Methods 0.000 description 20
- 206010012601 diabetes mellitus Diseases 0.000 description 19
- 210000004027 cell Anatomy 0.000 description 18
- 238000011282 treatment Methods 0.000 description 18
- 230000010412 perfusion Effects 0.000 description 17
- 206010028980 Neoplasm Diseases 0.000 description 16
- 230000000694 effects Effects 0.000 description 15
- 238000010200 validation analysis Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 210000003141 lower extremity Anatomy 0.000 description 13
- 108010054147 Hemoglobins Proteins 0.000 description 12
- 102000001554 Hemoglobins Human genes 0.000 description 12
- 201000011510 cancer Diseases 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 10
- 230000000391 smoking effect Effects 0.000 description 10
- 230000008081 blood perfusion Effects 0.000 description 9
- 230000003111 delayed effect Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 9
- 238000001356 surgical procedure Methods 0.000 description 9
- 208000004210 Pressure Ulcer Diseases 0.000 description 8
- 238000013459 approach Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 8
- 239000008280 blood Substances 0.000 description 8
- 210000004369 blood Anatomy 0.000 description 8
- 210000004204 blood vessel Anatomy 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 210000002683 foot Anatomy 0.000 description 8
- 230000036074 healthy skin Effects 0.000 description 8
- 238000006213 oxygenation reaction Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 230000000541 pulsatile effect Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 230000000287 tissue oxygenation Effects 0.000 description 7
- 208000032064 Chronic Limb-Threatening Ischemia Diseases 0.000 description 6
- 206010034576 Peripheral ischaemia Diseases 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 6
- 239000003814 drug Substances 0.000 description 6
- 230000007717 exclusion Effects 0.000 description 6
- 208000015181 infectious disease Diseases 0.000 description 6
- 208000014674 injury Diseases 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000011542 limb amputation Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 206010020565 Hyperaemia Diseases 0.000 description 5
- 206010028851 Necrosis Diseases 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 5
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 230000036772 blood pressure Effects 0.000 description 5
- 230000001684 chronic effect Effects 0.000 description 5
- 210000004207 dermis Anatomy 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 230000031700 light absorption Effects 0.000 description 5
- 235000003715 nutritional status Nutrition 0.000 description 5
- 238000013450 outlier detection Methods 0.000 description 5
- 229910052760 oxygen Inorganic materials 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000000985 reflectance spectrum Methods 0.000 description 5
- 230000009885 systemic effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 238000002513 implantation Methods 0.000 description 4
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000000250 revascularization Effects 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 230000035488 systolic blood pressure Effects 0.000 description 4
- 229940124597 therapeutic agent Drugs 0.000 description 4
- 229910052721 tungsten Inorganic materials 0.000 description 4
- 239000010937 tungsten Substances 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 231100000216 vascular lesion Toxicity 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 102000018233 Fibroblast Growth Factor Human genes 0.000 description 3
- 108050007372 Fibroblast Growth Factor Proteins 0.000 description 3
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 3
- 102000003745 Hepatocyte Growth Factor Human genes 0.000 description 3
- 108090000100 Hepatocyte Growth Factor Proteins 0.000 description 3
- 206010027476 Metastases Diseases 0.000 description 3
- 208000008589 Obesity Diseases 0.000 description 3
- 206010061876 Obstruction Diseases 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 3
- 230000009702 cancer cell proliferation Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 229940126864 fibroblast growth factor Drugs 0.000 description 3
- 239000008103 glucose Substances 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009401 metastasis Effects 0.000 description 3
- 235000020824 obesity Nutrition 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000035790 physiological processes and functions Effects 0.000 description 3
- 230000002980 postoperative effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000001172 regenerating effect Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 210000000130 stem cell Anatomy 0.000 description 3
- 210000003371 toe Anatomy 0.000 description 3
- 230000008733 trauma Effects 0.000 description 3
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 3
- 102000009027 Albumins Human genes 0.000 description 2
- 108010088751 Albumins Proteins 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 206010004146 Basal cell carcinoma Diseases 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 2
- 108010035532 Collagen Proteins 0.000 description 2
- 208000034656 Contusions Diseases 0.000 description 2
- 206010056340 Diabetic ulcer Diseases 0.000 description 2
- 208000035874 Excoriation Diseases 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 102000004877 Insulin Human genes 0.000 description 2
- 108090001061 Insulin Proteins 0.000 description 2
- 208000034693 Laceration Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 208000012641 Pigmentation disease Diseases 0.000 description 2
- 102000007584 Prealbumin Human genes 0.000 description 2
- 108010071690 Prealbumin Proteins 0.000 description 2
- 208000000453 Skin Neoplasms Diseases 0.000 description 2
- 229920000995 Spectralon Polymers 0.000 description 2
- 208000002847 Surgical Wound Diseases 0.000 description 2
- 102000004338 Transferrin Human genes 0.000 description 2
- 108090000901 Transferrin Proteins 0.000 description 2
- 206010047163 Vasospasm Diseases 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 2
- 238000000862 absorption spectrum Methods 0.000 description 2
- 230000003115 biocidal effect Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000036770 blood supply Effects 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000002512 chemotherapy Methods 0.000 description 2
- 229920001436 collagen Polymers 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000035487 diastolic blood pressure Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 210000002889 endothelial cell Anatomy 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000005338 frosted glass Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 239000003862 glucocorticoid Substances 0.000 description 2
- 230000003179 granulation Effects 0.000 description 2
- 238000005469 granulation Methods 0.000 description 2
- 210000003714 granulocyte Anatomy 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 230000000544 hyperemic effect Effects 0.000 description 2
- 229940125396 insulin Drugs 0.000 description 2
- 208000028867 ischemia Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000000265 leukocyte Anatomy 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002483 medication Methods 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 210000001872 metatarsal bone Anatomy 0.000 description 2
- 235000016709 nutrition Nutrition 0.000 description 2
- 230000035764 nutrition Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000004962 physiological condition Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000004224 protection Effects 0.000 description 2
- 230000035485 pulse pressure Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 231100000075 skin burn Toxicity 0.000 description 2
- 206010041823 squamous cell carcinoma Diseases 0.000 description 2
- 210000000434 stratum corneum Anatomy 0.000 description 2
- 238000007920 subcutaneous administration Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 229940037128 systemic glucocorticoids Drugs 0.000 description 2
- 230000000451 tissue damage Effects 0.000 description 2
- 231100000827 tissue damage Toxicity 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000012581 transferrin Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000035899 viability Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 206010062542 Arterial insufficiency Diseases 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010015150 Erythema Diseases 0.000 description 1
- 206010063560 Excessive granulation tissue Diseases 0.000 description 1
- 206010016654 Fibrosis Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 208000001034 Frostbite Diseases 0.000 description 1
- 206010017711 Gangrene Diseases 0.000 description 1
- 206010049694 Left Ventricular Dysfunction Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 208000009344 Penetrating Wounds Diseases 0.000 description 1
- 208000012322 Raynaud phenomenon Diseases 0.000 description 1
- 206010040893 Skin necrosis Diseases 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 208000031650 Surgical Wound Infection Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 208000000558 Varicose Ulcer Diseases 0.000 description 1
- 108010019530 Vascular Endothelial Growth Factors Proteins 0.000 description 1
- 102000005789 Vascular Endothelial Growth Factors Human genes 0.000 description 1
- 208000005475 Vascular calcification Diseases 0.000 description 1
- 206010051373 Wound haemorrhage Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 229940088710 antibiotic agent Drugs 0.000 description 1
- 230000004872 arterial blood pressure Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- WQZGKKKJIJFFOK-VFUOTHLCSA-N beta-D-glucose Chemical compound OC[C@H]1O[C@@H](O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-VFUOTHLCSA-N 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000002599 biostatic effect Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000001736 capillary Anatomy 0.000 description 1
- 230000036996 cardiovascular health Effects 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000009519 contusion Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005388 cross polarization Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 238000009556 duplex ultrasonography Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 230000003511 endothelial effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 231100000321 erythema Toxicity 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000004744 fore-foot Anatomy 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 210000001126 granulation tissue Anatomy 0.000 description 1
- 230000037313 granulation tissue formation Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 239000003102 growth factor Substances 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 201000002818 limb ischemia Diseases 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 230000008338 local blood flow Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 210000005259 peripheral blood Anatomy 0.000 description 1
- 239000011886 peripheral blood Substances 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 235000003784 poor nutrition Nutrition 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011321 prophylaxis Methods 0.000 description 1
- 238000002106 pulse oximetry Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 208000022064 reactive hyperemia Diseases 0.000 description 1
- 238000002278 reconstructive surgery Methods 0.000 description 1
- 238000001055 reflectance spectroscopy Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000010992 reflux Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037384 skin absorption Effects 0.000 description 1
- 231100000274 skin absorption Toxicity 0.000 description 1
- 230000036555 skin type Effects 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 150000003431 steroids Chemical class 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000013334 tissue model Methods 0.000 description 1
- 238000011277 treatment modality Methods 0.000 description 1
- -1 tungsten halogen Chemical class 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000007473 univariate analysis Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 238000007631 vascular surgery Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Dermatology (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Hematology (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
Abstract
本发明的某些方面涉及用于无创性和非接触式光学成像的装置和技术,其获取对应于不同时间和不同频率的多幅图像。另外,本文所述的可选方案与各种组织分类应用一起使用,包括评估潜在或确定的截肢部位处的诸如坏死和小血管疾病等组织状况的存在和严重程度。
Description
相关申请的交叉引用
本申请根据35U.S.C.§119(e)要求于2017年3月2日提交的名称为“用于截肢部位分析的系统和机器学习技术”的美国临时专利申请No.62/246,956的权益,其全部内容在此通过引用并入本文。
关于联邦政府赞助研发的声明
本公开中所述的一部分工作是在美国卫生及公共服务部的负责准备和应对的助理部长办公室属下,根据由生物医学高级研究与发展管理局(Biomedical AdvancedResearch and Development Authority,BARDA)给予奖励的协议No.HHSO100201300022C在美国政府的支持下完成的。美国政府可以拥有本发明的一些权利。
技术领域
本文所公开的系统和方法涉及无创性临床成像,更具体地,涉及皮下血流的无创性成像、漫反射光谱法和计算机辅助诊断。
背景技术
对于在紧急情况的现场、诊所、临床或手术室中改善疾病预防、诊断和治疗,光学成像是具有潜力的新兴技术。光学成像技术通过测量在不同波长下的不同光子吸收或散射分布,可以在组织之间以及原生组织与标记有内源性或外源性造影剂的组织之间进行无创辨别。这种光子吸收和散射差异在提供具体组织对比方面很有潜力,并且使得能够研究作为健康和疾病基础的功能和分子水平活动。
发明内容
本文所述的本发明的方面涉及可以用于使用非接触式、无创性和非辐射光学成像来对截肢部位处或附近的组织区域进行分类的装置和方法。例如,这样的装置和方法可以识别与涉及小血管疾病的不同组织健康分类相对应的组织区域,并且可以输出所识别的区域的映射以供临床医生确定切除的水平或组织位置。在一些可选方案中,这样的装置和方法可以识别推荐的截肢水平或预测的最佳截肢部位的区域,并且例如利用组织分类映射来给出推荐。长期以来,人们一直需要一种无创性成像技术,该技术可以向医师提供定量选择合适截肢水平的信息。
在美国每年大约有185000例下肢截肢,超过二百万的美国成年人是被截肢者。无论是否患有糖尿病(DM),对于截肢最重要的风险因素是严重的外周动脉疾病(PAD),其称为严重肢体缺血(CLI),这占所有截肢的一半以上,称为血管异常截肢。相比于普通人群,患有糖尿病的患者的下肢截肢的风险增加10倍,每年有因糖尿病下肢溃疡而引起的超过60000例截肢。每年每100000人中大约30人需要继发于微血管疾病的截肢,并且由于美国人口老龄化,所以预计该发生率在下一个十年会增加50%。
美国医疗系统每年肢体切除的费用、财政支出等极大。在退伍军人事务(VA)系统单独的一项研究中,与糖尿病性肢体丧失相关的费用负担在一年中(2010财年)超过两亿美元(每位患者60647美元)。在美国,2009财年所有的下肢肢体切除的医院相关费用总计为83亿美元,包括恢复和假肢费用的大截肢的终生费用大约为每位患者500000美元。除了肢体切除的沉重的经济负担,由于截肢,患者会经历重大的障碍并且生活质量降低。最重要的是,这些患者的功能状态受到挑战,仅有25%的主要下肢CLI被截肢者能够利用假肢在家庭之外的地方走动。对于截肢的近端水平的逐步增大,由于组织流失增加而使能量消耗增加,所以成功恢复走动状态的可能性降低。
尽管在截肢过程中会明显优先尽可能地保住更多的肢体组织,但是医生必须权衡在给定截肢水平(LOA)下初始伤口愈合的可能性,在更多的远端截肢的情况下截肢水平会降低。适当的LOA选择最初由外科医生的临床判断来确定(了解诸如糖尿病、吸烟、营养状况等临床因素,使用患者病史和物理检查,包括肤色、体温、周围脉搏和处理过程中的伤口出血),可能结合旨在定量组织血流和/或氧合(臂-踝指数(ABI)、经皮氧测量(TCOM)或皮肤灌注压(SPP))的各种无创测试。然而,一项研究表明,具有正常ABI的30%的患者在最初的前足截肢之后需要再次截肢。这表明仅评估大血管血流不足以预测截肢的成功。在同一项研究中,尽管对远端肢体血管重建作出了极大努力,但是接受并行血管重建的几乎50%的患者也需要再次截肢。这表明仅评估大血管血流不足以预测截肢的成功。因此,已经开发了几种测试(即,经皮氧测量[TCOM])来评定局部组织的微循环,并且已经在临床上尝试指导LOA的选择。尽管TCOM最初显示了识别出截肢后的初始伤口愈合的可能性,但是由于没有足够大量、权威的研究明确TCOM在临床应用中的作用,所以有关它的使用仍然存在争议。此外,TCOM测量受到诸如体温等生理学状况的影响,并且TCOM电极只能分析小面积的皮肤。因此,尽管TCOM技术已经使用了数十年,但是TCOM还未被纳入常规临床应用中。这些方法取得的成功有限,原因是从未证实灌注评估的灵敏度能单独取代临床判断。
鉴于最大程度地保留组织与最小化初始伤口未愈合的风险之间的平衡挑战,以及最初依靠临床判断来确定适当的LOA,公布的再次截肢率绝不是最优的。再次截肢率根据截肢的初始水平而变化,从大约膝盖上(AKA)截肢的10%到35%的足部截肢,再到再次截肢至更近端水平。目前可获得记录再次截肢的直接费用的有限数据,但是明显地,每年花费在与CLI截肢相关的护理上的数十亿美元中的主要部分是由与再次截肢、再次入院以及在初次手术和再次截肢之间基本上无效的伤口护理工作相关的费用所引起的。对于发病率和死亡率,延迟的和失败的初始愈合使患者面临的风险增大,包括感染。此外,初次截肢手术之后的延迟的和失败的初始伤口愈合严重影响患者的生活质量。需要截肢修复的患者延迟了躯体康复,并且延迟了获得假肢以恢复到走动状态。这些患者与医疗系统的接触也增多,通常在修复前会经历另外的伤口护理治疗,而如果最初选择合适的LOA可以避免这些努力。最后,尽管明确报道了再次截肢率,但是没有公布以下研究内容:医生对再次截肢的风险意识在多大程度上会导致更近端水平的LOA的过度激进的选择。实际上,可行的是,某些患者可以接受更接近于必要程度的截肢,这是因为他们的外科医生不能肯定地预测更远端水平的愈合可能性。因此,用于指导作出有关LOA的决定的装置具有降低再次截肢率以及为面临重大截肢的患者节省组织的潜力。
目前没有黄金标准测试来判断患有CLI的患者在截肢之后初始伤口的愈合能力。人们试图通过单独的组织微循环的局部评定来找到这样的黄金标准。在此背景下,已经测试了已知的准确判断皮肤组织的灌注和氧合的几种仪器,包括TCOM、SPP和激光多普勒仪。然而,当选择LOA时,仅通过微循环评估并不能对组织的愈合能力进行足够准确的评估,以代替临床判断。因此,表征皮肤的局部灌注和氧合显然不具有足够的信息来定量组织的愈合潜力。这些技术的预测结果中都无法包括同样影响伤口愈合潜力的并存病的全身影响。实际上,大约在二十年前,在影响CLI大截肢之后伤口愈合的因素的综述中,有关截肢的适当水平的选择,一位作者总结道:“没有‘黄金标准测试’预测大截肢之后愈合的可能性,这是因为,与伤口愈合相关的不只是组织血流。该综述中提及的所有其他因素(吸烟、营养状况、糖尿病和感染)可能也很重要。因此,临床判断与各种测试的组合将是最为常见的方式。”
尽管该作者已预言,但是所公开的技术包括一种成像装置,其能够将从表征组织血流生理机能的目标测试搜集到的信息与重要的患者健康指标相整合。其中,前述问题在一些实施方案中由本公开的机器学习技术(也称为人工智能、计算机视觉和模式识别技术)解决,其将光学微循环评估与患者的总体健康指标相结合来生成预测信息。使用该方法,所公开的装置可以提供伤口愈合潜力的定量评估,而目前的临床实践标准只能定性评估。所公开的技术可以准确地识别截肢部位处的组织愈合潜力,以帮助医师选择最佳的LOA。
因此,一个方面涉及一种组织分类系统,所述组织分类系统包括:至少一个发光器,其构造成在多个波长中的每个波长处顺次地发光以照射组织区域,所述至少一个发光器中的每个发光器均构造成发出空间均匀的光;至少一个光检测元件,其构造成收集从所述至少一个发光器发出之后从所述组织区域反射的光;一个或多个处理器,其与所述至少一个发光器和所述至少一个光检测元件通信,并构造成:基于至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对每个分类器进行训练,所选择的分类器的训练数据包括来自具有所述至少一个患者健康指标值的其他患者的数据;控制所述至少一个发光器以依次发出多个波长的光中的每个波长的光;接收来自所述至少一个光检测元件的多个信号,所述多个信号的第一子集表示在所述多个波长下顺次发出并从所述组织区域反射的光,并且所述多个信号的第二子集表示在多个不同时间从所述组织区域反射的相同波长的光;基于所述多个信号中的至少一部分信号,生成具有描绘所述组织区域的多个像素的图像;对于描绘所述组织区域的多个像素中的每个像素:基于所述多个信号的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,基于所述多个信号的第二子集,确定所述像素的PPG幅度值,和通过将所述反射强度值和PPG幅度值输入到所选择的分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。
在一些实施方案中,所述一个或多个处理器构造成输出所述映射的视觉表示以显示给用户。在一些实施方案中,所述视觉表示包括所述图像,所述图像具有以基于所述像素的分类选择的颜色来显示的各像素,其中与所述多个组织类别中的每个组织类别相关联的像素以不同的颜色来显示。
在一些实施方案中,所述多个组织类别包括活性组织类别、坏死组织类别和具有小血管疾病的组织类别。在一些实施方案中,生成所述映射包括识别所述多个像素的区域,所述区域描绘与活性组织类别、坏死组织类别和具有小血管疾病的组织类别中的至少一个组织类别相关联的组织区域。在一些实施方案中,所述一个或多个处理器构造成输出用于显示的图像,其中以对应于识别区域的不同的颜色显示描绘所述组织区域的多个像素。在一些实施方案中,所述一个或多个处理器构造成基于所识别的区域来确定截肢的推荐位置。
在一些实施方案中,所述一个或多个处理器构造成基于所述多个信号来确定所述组织区域的黑色素指数。在一些实施方案中,所述一个或多个处理器构造成至少基于所述黑色素指数来选择所述分类器。
另一个方面涉及一种组织分类方法,所述组织分类方法包括:基于至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对每个分类器进行训练,所选择的分类器的训练数据包括来自具有所述至少一个患者健康指标值的其他患者的数据;接收来自至少一个光检测元件的多个信号,所述至少一个光检测元件定位成接收从组织区域反射的光,所述多个信号的第一子集表示在所述多个波长下顺次发出并从所述组织区域反射的光,并且所述多个信号的第二子集表示在多个不同时间从所述组织区域反射的相同波长的光;基于所述多个信号中的至少一部分信号,生成具有描绘所述组织区域的多个像素的图像;对于描绘所述组织区域的多个像素中的每个像素:基于所述多个信号的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,基于所述多个信号的第二子集,确定所述像素的PPG幅度值,和通过将所述反射强度值和所述PPG幅度值输入到所选择的分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。
一些实施方案还包括基于所述多个信号来确定所述组织区域的黑色素指数。一些实施方案还包括至少基于所述黑色素指数来选择所述分类器。
在一些实施方案中,其中生成映射包括识别所述多个像素的区域,所述区域描绘与活性组织类别、坏死组织类别和具有小血管疾病的组织类别中的至少一个组织类别相关联的组织区域。一些实施方案还包括输出用于显示的图像,其中根据相关联的组织类别,以对应于识别区域的不同的颜色、图案或其他适用的视觉表示来显示描绘所述组织区域的多个像素。
另一方面涉及一种识别截肢的推荐位置的方法,所述方法包括:选择具有需要截肢的组织区域的患者;经由一个或多个硬件处理器以编程方式对成像系统进行控制,以捕获表示所述组织区域的多幅图像的数据,所述的表示多幅图像的数据包括第一子集和第二子集,所述多幅图像中的每幅图像使用从所述组织区域反射的多个不同波长中的不同波长的光来捕获,并且第二子集在多个时间顺次捕获;基于所述多幅图像中的至少一幅图像,生成具有描绘所述组织区域的多个像素的图像;对于描绘所述组织区域的多个像素中的每个像素:基于表示多幅图像的数据的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,基于表示多幅图像的数据的第二子集,确定所述像素的PPG幅度值,和至少通过将所述反射强度值和所述PPG幅度值输入到分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和基于每个像素的分类,识别在所述组织区域内的截肢的推荐位置。
一些实施方案还包括识别所述患者的至少一个患者健康指标值。一些实施方案还包括将所述至少一个患者健康指标值输入到所述分类器中,以确定每个像素的分类。一些实施方案还包括:基于至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对每个分类器进行训练,所选择的分类器的训练数据包括来自具有与所述至少一个患者健康指标的相同值的其他患者的数据。
一些实施方案还包括基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。一些实施方案还包括将所述映射的视觉表示输出到用户,其中识别截肢的推荐位置至少部分地基于所述映射的视觉表示。
在一些实施方案中,识别截肢的推荐位置由所述一个或多个硬件处理器以编程方式执行。
另一个方面涉及一种训练卷积神经网络以对截肢部位的组织区域进行分类的方法,所述方法包括:接收表示截肢部位的多幅图像的训练数据,所述的表示多幅图像的数据包括第一子集和第二子集,所述多幅图像中的每幅图像使用从所述截肢部位反射的多个不同波长中的不同波长的光来捕获,并且第二子集在彼此相同的波长处在多个时间顺次捕获;将所述训练数据作为三维体积供给到所述卷积神经网络的输入层,所述三维体积的高度和宽度与所述多幅图像中的每幅图像的高度和宽度上的像素数量相对应,并且深度与所述多幅图像中的图像数量相对应;在所述卷积神经网络的多个编码器卷积阶段和多个解码器卷积阶段处执行多个卷积,其中所述多个编码器卷积阶段的第一编码器卷积阶段包括作为第一卷积层的输入层;将所述多个解码器卷积阶段中的最后的解码器卷积阶段的输出供给到所述卷积神经网络的归一化指数函数层;基于所述归一化指数函数层的输出,生成跨越所述多幅图像的高度和宽度的针对各像素的分类值;将所述各像素的分类值与真值图像中所述像素的真值分类进行比较,其中所述真值分类基于所述截肢部位的医师分析;基于比较的结果,识别所述像素的分类值中的任何误差;和至少部分地基于通过所述卷积神经网络而反向传播误差,调整所述多个卷积中的至少一个权重。
在一些实施方案中,生成所述分类包括将各像素分类为背景、健康组织、患病组织或坏死组织中的一种。
在一些实施方案中,所述多幅图像的第一子集包括分别使用八个不同波长中的不同波长的光捕获的八幅图像,并且其中所述多幅图像的第二子集包括在相同波长下以每秒30帧的速率顺次捕获的数百幅图像。
在一些实施方案中,所述多个编码器卷积阶段中的每个以及所述多个解码器卷积阶段中的每个包括至少两个卷积层,各卷积层之后是整流线性单元层。
在一些实施方案中,执行多个卷积包括:在所述多个编码器卷积阶段的每个编码器卷积阶段处:执行至少第一编码器卷积,将第一编码器卷积的输出供给到整流线性单元层,和使用最大池化层对所述整流线性单元层的输出进行下采样;和在所述多个解码器卷积阶段的每个解码器卷积阶段处:接收来自所述多个编码器卷积阶段中的相应一个的最大池化层的池掩码,和至少部分地基于所述池掩码来执行至少第一解码器卷积。
另一个方面涉及一种使用卷积神经网络对潜在截肢部位的组织区域进行分类的方法,所述方法包括:接收表示潜在截肢部位的多幅图像的数据,所述的表示多幅图像的数据包括第一子集和第二子集,所述多幅图像中的每幅图像使用从所述潜在截肢部位反射的多个不同波长中的不同波长的光来捕获,并且第二子集在彼此相同的波长处在多个时间顺次捕获;将所述数据作为三维体积供给到所述卷积神经网络的输入层,所述三维体积的高度和宽度与所述多幅图像中的每幅图像的高度和宽度上的像素数量相对应,并且深度与所述多幅图像中的图像数量相对应;在所述三维体积上执行至少一个卷积;将所述至少一个卷积的输出供给到所述卷积神经网络的归一化指数函数层;基于所述归一化指数函数层的输出,生成跨越所述多幅图像的高度和宽度的针对各像素的分类值;和基于针对各像素的分类值,生成所述潜在截肢部位处组织的多个组织分类的映射。
在一些实施方案中,生成所述分类包括将各像素分类为背景、健康组织、患病组织或坏死组织中的一种。
在一些实施方案中,所述多幅图像的第一子集包括分别使用八个不同波长中的不同波长的光捕获的八幅图像,并且其中所述多幅图像的第二子集包括在相同波长下以每秒30帧的速率顺次捕获的数百幅图像。
在一些实施方案中,执行至少一个卷积包括在所述卷积神经网络的多个编码器卷积阶段和多个解码器卷积阶段处执行多个卷积,其中所述多个编码器卷积阶段的第一编码器卷积阶段包括作为第一卷积层的输入层。在一些实施方案中,执行多个卷积包括:在所述多个编码器卷积阶段的每个编码器卷积阶段处:执行至少第一编码器卷积,将第一编码器卷积的输出供给到整流线性单元层,和使用最大池化层对所述整流线性单元层的输出进行下采样;和在所述多个解码器卷积阶段的每个解码器卷积阶段处:接收来自所述多个编码器卷积阶段中的相应一个的最大池化层的池掩码,和至少部分地基于所述池掩码来执行至少第一解码器卷积。在一些实施方案中,所述多个编码器卷积阶段中的每个以及所述多个解码器卷积阶段中的每个包括至少两个卷积层,各卷积层之后是整流线性单元层。
在一些实施方案中,使用上述方法来训练所述卷积神经网络。
附图说明
在下文中,将结合附图和附录对所公开的方面进行说明,附图和附录被提供用于说明而非限制所公开的方面,其中相似的标记表示相似的元件。专利或申请文件包括至少一幅彩色附图。经请求及支付必要费用,官方会提供该专利或申请文件公开文本的具有彩色附图的副本。
图1A示出了正在对受试者进行成像的成像器的示例部件。
图1B是示例性成像探测器的示例性移动的图示。
图2是用于获取图像的示例性用户界面的图示。
图3是在本文所述的一些可选方案中使用的高分辨率多光谱摄像机以及可以获得的数据的示例图示。
图4是示出了本文所述的某些可选方案如何与用于数据存储和处理的远程计算中心(即,云计算环境)相互作用的示例图。
图5A、图5B和图6示出了可以用于获得本文所述的图像数据的示例性光纤系统。
图7示出了反射模式和2-D PPG成像系统的部件(左)。入射到组织表面的单色光在与分子结构相互作用时在组织内散射。一少部分光返回到相机。当测量一段时间时,背部散射光的强度变化产生PPG波形。原始数据立方体中的各像素包括独特的PPG波形,可以对该PPG波形进行分析以生成组织的单一血流图像(右)。
图8示出了多光谱成像器的部件,该多光谱成像器包括宽光谱照射源、数码相机和配备有各种光学滤波器的旋转滤光轮,这些光学滤波器分离从目标表面反射的预定波长的光(左)。该系统在滤光轮的各位置快速采集图像,以生成光谱数据立方体(右)。数据立方体中的各像素代表组织的低光谱分辨率漫反射光谱。
图9是示例流程图,示出了在本文所述的某些可选方案中用于组织分类的步骤。
图10示出了时间分辨的PPG信号提取。
图11示出了PPG输出预处理的示例框图。
图12示出了根据本公开的可以与患者健康指标结合以产生预测信息的两种光学成像技术:光电容积脉搏波成像(PPG成像)和多光谱成像(MSI)的高级图形概述。
图13示出了设计为将光电容积脉搏波成像(PPG成像)和多光谱成像(MSI)的光学成像技术相融合的装置的示例视图。
图14示出了PPG成像器、MSI相机和目标患者健康指标输入的结合的示例。
图15A、图15B和图15C示出了用于训练机器学习诊断工具并生成用于截肢水平的分类器模型的示例过程。
图16示出了传统截肢手术中所涉及的组织的图形示例图。
图17A和图17B示出了示例临床研究流程图。
图17C示出了示例训练研究流程图。
图17D示出了示例验证研究流程图。
图18示出了示例统计样本大小分析结果。
图19示出了本文所述的截肢部位组织分类过程的示例图形表示。
图20A示出了由医师标记的截肢部位的示例图像。
图20B示出了基于图20A的图像生成的组织分类映射的示例图像。
图21示出了所公开的截肢机器学习技术的交叉验证结果。
图22示出了在训练所公开的截肢机器学习模型之后分类的示例图像。
图23A和图23B示出了用于生成本文所述的组织映射的示例分类数据流和分类器结构。
具体实施方式
引言
本公开的各方面涉及一种非接触式、无创性、非辐射成像装置,例如,用于针对患有外周动脉疾病(PAD)的患者,对截肢部位处的组织进行分类和/或定量地选择适当的截肢水平(LOA)或截肢区域。在美国,每年有超过15万名患者因继发于外周动脉疾病(PAD)而经历下肢切除。外科医生更喜欢在截肢期间抢救尽可能多的肢体组织,以在降低发病率和死亡率的同时增加患者的活动能力。然而,临床医生必须在给定的LOA下在这种偏爱与初始伤口愈合的可能性之间进行权衡,后者随着远端截肢的增加而降低。如本文所使用的,“远端”可以指的是远离LOA至要从患者截肢的组织区域的组织区域,而“近端”可以指的是在LOA处或更靠近不从患者截肢的组织的组织区域。尚无用于选择具有PAD的患者中的LOA的黄金标准测试,因此,目前实践中报道的再次截肢率非常高。大约10%的膝盖上截肢和大约35%的脚部截肢需要修复至更近端的水平。此外,在一些情况下,医师意识到再次截肢的风险可能导致LOA过度激进地选择到更近端的水平。实际上,相比于必要的截肢水平,某些患者可以接受更近端的截肢水平,这是因为他们的外科医生无法自信地预测到更远端水平的愈合的高可能性。在当前的实践中,LOA的选择是通过使用患者病史和体格检查由外科医生进行临床判断来定性确定的。因此,需要一种系统,该系统在LOA选择过程中向医师提供有关患者组织健康和愈合潜力的定量信息。所公开的装置和技术通过整合光电容积脉搏波、多光谱成像和/或患者特定的健康指标值,以便使用机器学习模型基于微血管血流对组织进行分类,为LOA的选择提供了定量评估。
本文所述的诊断装置提供了一种护理点灌注成像系统,该系统提供从组织灌注的光学测量导出的诊断图像。该装置是非接触式、无创性、非激光和非辐射的。该装置可以同时或顺次地执行两种光学成像方法以获得血流评估:光电容积脉搏波(PPG)成像和多光谱成像(MSI)。使用机器学习模型对这些光学测量进行积分,并且在一些实施方案中,还对患者健康指标值进行积分,以便定量在给定的LOA处截肢部位愈合的可能性。可以轻松地训练护理人员,以使其在此用户友好型装置上执行成像测试。使用该装置对多个肢体水平进行成像可能总共需要大约十分钟。结果可立即获得并以电子方式存储,以供医师稍后查看。
如果以这种灵敏度和特异度用于截肢之前患者的常规评估,则所公开的诊断装置和技术可以将再次截肢率降低约67%,这将使得每年减少10,000例再次截肢,同时既提高了被截肢者的生活质量,又降低了与其护理有关的健康费用。例如,使用所公开的技术,通过减少由于愈合失败而导致的二次截肢率和/或通过选择与定性评估的LOA位置相比可以提供改善的愈合时间的LOA位置,可以提高被截肢者的生活质量。
所公开的装置和技术的PPG成像可以在大面积的组织上捕获超过一百万个独特的光电容积脉搏波信号。可以通过测量光与血管化组织中动态变化的相互作用来生成PPG信号。血管化组织以心动周期的频率在各传入的收缩压波动下膨胀并收缩大约1~2%体积。血液的流入增大了组织的体积,并带来了强烈吸收光的其他血红蛋白。因此,组织内的光的总吸收随每次心跳而振荡。为了从由所公开的成像装置检测到的PPG信号生成图像,本文所述的技术可以利用光穿过组织的路径。例如,入射在组织表面上的一少部分光散射到组织中。一部分这种散射光从其最初进入的相同表面离开组织。使用灵敏的数码相机,可以在组织区域上收集该背部散射光,使得图像数据中的各像素都包括由散射光强度变化所确定的独特的PPG波形。为了生成相对组织血流的二维视觉映射,可以相对于许多心跳样本测量各独特波形的平均幅度。因此,该技术的主要优势在于,它允许测量和映射微血管血流,这对于伤口愈合至关重要。
所公开的装置和技术的多光谱成像(MSI)可以测量来自组织表面的可见光和近红外(NIR)光(400nm~1100nm)的选择波长的反射率。MSI可以有效地量化与许多病理相关的关键组织特性,举几个示例,如截肢、烧伤、糖尿病性溃疡和皮肤癌(例如,黑色素瘤、鳞状细胞癌和基底细胞癌)等,原因是其可以量化血红蛋白的体积分数和出现的氧络血红蛋白的存在,以及其他组织特征。可以基于公认的光-组织互动特征来选择所公开的装置采用的光的波长。例如,角质层和表皮中的黑色素主要吸收UV和可见光波长。NIR波长(700nm~5000nm)被黑色素吸收得最少,并且发现其最能穿透真皮以确定其深度。穿过真皮的血管含有大量的血红蛋白,血红蛋白的浓度决定了大于320nm的波长的真皮吸收程度。取决于分子是氧合态还是去氧态,血红蛋白对的光吸收也会变化。由于组织黑色素、血红蛋白浓度和氧络血红蛋白数因疾病状态而改变,所以MSI能够检测到所得到的反射光谱的变化。与健康组织相比,可以通过反射光谱的变化来识别异常皮肤组织。因此,MSI可以对活性皮肤组织与非活性皮肤组织进行定量区分和映射,这对于截肢或切除部位的愈合很重要。
本公开的可选方案涉及用于识别、评定和/或分类受试者的组织的系统和技术。一些可选方案涉及用于对组织进行分类的装置和方法,其中这种装置包括光学成像部件。本文所述的一些可选方案包括反射模式多光谱时间分辨光学成像软件和硬件,当实施时其适用于本文提供的几种组织分类方法。
本文所述的可选方案允许人们以自动化或半自动化的方式评估和分类可能需要截肢的受试者的组织区域,并且还可以提供治疗建议。本文所述的一些可选方案特别适合于截肢水平评估,原因是它们使医生能够快速、定量地评定截肢部位周围的组织状况,从而可以快速准确地作出截肢水平的决策。一些可选方案还可以帮助外科医生选择附近的健康组织以覆盖截肢部位。
在整个说明书中,提及了一个或多个“伤口”。应当理解的是,词语“伤口”被广义解释,包括其中皮肤撕裂、割伤、刺破或者患病,或者其中外伤导致挫伤、浅表病变、或者受试者(例如,人类或动物,特别是哺乳动物)的皮肤上的状况或缺陷的开放性伤口和闭合性伤口。“伤口”还旨在包括组织的任何损伤区域,其中由于受伤或疾病而产生液体或未产生液体。这些伤口的示例包括但不限于:急性伤口、慢性伤口、手术切口和其他切口、亚急性和裂开伤、创伤、皮瓣和植皮、划伤、擦伤、撞伤、烧伤、糖尿病性溃疡、压迫性溃疡、气孔、手术伤口、外伤与静脉溃疡,在某些情况下,皮肤癌(例如,黑色素瘤、鳞状细胞癌、基底细胞癌)等在本文中也称为伤口。可以理解,基于识别训练数据集中相似图像的真值(ground truth)分类,可以训练本文所述的机器学习分类器,以对包括(或怀疑包括)这些类型的伤口中的任何一种伤口的组织区域的组织状态进行分类。
为了说明的目的,下面将结合附图对各种可选方案进行说明。应当意识到,所公开的概念的许多其他实施方式是可能的,并且利用所公开的实施方式可以实现各种优点。所有可能的组合和子组合旨在落入本公开的范围内。本文所述的许多可选方案包括相似的部件,因此,这些相似的部件可以在本发明的不同方面互换。
本文包括标题,以供参考并帮助指明各个部分。这些标题并非旨在限制相对于此所说明的概念的范围。这些概念可以适用于整个说明书。
示例成像系统可选方案的概述
图1A和图1B示出了本发明的一种可选方案的示例。这些图中所示的装置特别适用于等待截肢的患者的全身或部分身体评估。该装置对于截肢水平评估功能是特别有用的,在该装置中,将作出与截肢位置有关的临床决策。在该示例中,探测器100包括一个或多个光源(在这种情况下,为四个光源101,104,118和120)以及图像获取装置102。光源101,104,118和120照射组织区域,在这种情况下,该组织区域为组织103,其有利地包括面向探测器100的受试者的整个身体表面。在一些可选方案中,一个或多个光源可以是发光二极管(LED)、卤素灯、钨灯或任何其他照明技术。一个或多个光源可以由使用者根据需要选择发出白光或者落入一个或多个光谱带的光。
许多LED产生窄带宽的光(例如,半峰全宽为50nm或更小),其中可以选择特定的LED以特定的带宽进行照射。通常,可以根据与所寻求的数据的种类和/或临床应用最相关的光测量来选择一个或多个光谱带。一个或多个光源也可以连接到一个或多个驱动器,以向光源供电并对其进行控制。这些驱动器可以是光源本身的一部分,也可以是单独的。具有可选滤光器(例如,滤光轮)的多个窄带光源或宽带光源可以用于利用多个光谱带中的光来串行或同时照射组织103。所选光谱带的中心波长通常位于可见光和近红外波长之间,如400nm~1100nm,例如,小于(但不为零)、至少或等于400、500、600、700、800、900、1000或1100nm,或由前述波长中的任两个波长之间的任意波长限定的范围。
在一些可选方案中,光源在被照射的组织区域的整个区域上以基本均匀的强度照射组织区域(在本文中称为“空间均匀”的光或照明)。例如,通过使用设置为光源101,104,118和120的一部分的光散射器,可以实现基本均匀的强度,该光散射器产生施加到组织103上的光强度的大致均匀的分布。光散射器还具有减少不期望的镜面光反射的附加的益处。在一些情况下,通过利用具有高功率LED的宽光谱空间均匀照明模式,例如,交叉偏振滤光器,可以实现对由图像获取装置102获得的信号的信噪比的显著改善。在一些情况下,也可以使用诸如棋盘图案照明等图案化光系统。在某些这样的可选方案中,图像获取装置的视场指向未被光源直接照射但是与被照射区域相邻的组织区域。例如,在使用基本上均匀强度的光的情况下,诸如图像获取装置102等图像获取装置可以读取来自被照射区域之外的光。类似地,例如,在使用棋盘图案照明的情况下,获取装置102可以读取来自棋盘的非照射部分的光。
此外,尽管在本文所述的一些可选方案中,基本均匀强度的光是有效的,但是其他可选方案也可以使用非均匀光,其中一个或多个光布置成使得表面上的光强度差异最小化。在一些情况下,这些差异也可以归因于数据获取过程、后端软件或者硬件逻辑。例如,可以使用顶帽变换(top-hat transformations)或其他图像处理技术来补偿非均匀背景照明。
在某些可选方案中,可以按期望偏振光。在一些情况下,使用反射、选择性吸收、折射、散射和/或本领域熟知的偏振光的任意方法偏振光。例如,偏振可以采用棱镜(如尼科耳棱镜)、镜面和/或反射面、滤光镜(如偏振滤光镜)、透镜和/或晶体。光可以交叉偏振或共偏振。在一些可选方案中,来自一个或多个光源的光在光照射受试者之前偏振。例如,可以将偏振滤光镜设置成光源101,104,118和120的一部分。在一些可选方案中,来自组织的反射光在从组织反射之后偏振。例如,偏振滤光镜可以设置成获取装置102的一部分。在其他可选方案中,光在照射受试者之前以及反射之后均偏振。例如,偏振滤光镜可以设置成光源101,104,118和120的一部分,并且设置成图像获取装置102的一部分。
所使用的偏振技术的类型可以取决于诸如照射角度、接收角度、所使用的照明源的类别、期望的数据种类(例如,散射、吸收、反射光、透射和/或发荧光的光的测量)以及成像的组织的深度等因素。例如,当照射组织时,一些光可以被皮肤上层直接反射掉而成为表面眩光和表面反射。该反射光通常与扩散进真皮组织的光极性不同,在其中光可以被散射(例如,反射)并改变方向和极性。交叉偏振技术可以用于最小化获取装置所读取的眩光和反射量,同时最大化所读取的背部散射光量。例如,偏振滤光镜可以设置成光源101,104,118和120的一部分,并且设置成图像获取装置102的一部分。在这种布置中,光在照射目标103之前先偏振。在光从目标103反射之后,反射光接着可以在与第一偏振正交的方向上偏振以测量背部散射光,同时最小化读取的目标103的表面反射掉的入射光量。
在一些情况下,也期望在一定深度处对组织进行成像。例如,在评估特定深度的特定伤口、找出和/或识别癌性肿瘤存在与否、判断肿瘤的阶段或癌症进展或者本公开所提到的其他治疗应用中的任一种中,可以使用特定深度处的组织成像。可以使用本领域熟知的某些偏振技术基于光学特性和/或平均自由路径长度在一定深度处对组织进行选择性成像。
在某些可选方案中,可以使用控制成像深度的其他技术。例如,组织的光学散射特性随温度改变,同时皮肤中的透光深度随冷却而增大。这样,可以通过控制成像的组织区域的温度来控制成像深度。此外,例如,可以通过以不同频率脉冲调制(或闪烁)光源来控制成像深度。脉冲光比非脉冲光透入皮肤更深:脉冲宽度越大,光透入越深。作为另一个示例,也可以通过调节光强度来改变成像深度,较强光的穿透比较弱光的穿透更深。
进一步如图1A所示,图像获取装置102构造成接收来自组织103的反射光。图像获取装置102可以检测到来自照射区域、照射区域的子区域或者非照射区域的光。进一步如下文所述,图像获取装置102的视场可以包括面向探测器100的受试者的整个身体表面。当照射面向探测器的整个受试者时,面向探测器的整个受试者处于图像获取装置的视场中,提高了分类的速度和容易度。图像获取装置102可以是具有适当光学特性用于成像被照射组织103的全部或部分的二维电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)图像获取装置。
在一些可选方案中,模块112是可以与探测器100连接的控制器、分类器和处理器。模块112控制探测器,这可以包括设置诸如探测器的物理位置、光强度、分辨率、滤色器等参数,或者本公开所述的相机和/或光源的任意参数。模块112也接收并处理探测器所获得的数据,如本公开中稍后所述的。
在一些可选方案中,模块112还可以与模块114相连,其中模块114为显示器和用户界面(“UI”)。该显示器和UI向用户显示信息和/或数据,在某些可选方案中,该信息和/或数据包括组织状况的存在、组织状况的严重性和/或关于受试者的额外信息,该额外信息包括本说明书中提到的任何信息。模块114接收用户输入,在某些可选方案中,该用户输入包括诸如年龄、体重、身高、性别、种族、肤色或面色、和/或血压等有关患者的信息。模块114也可以接收如下用户输入:校准信息、用户选择的扫描部位、用户选择的组织状况和/或用于诊断的额外信息,该额外信息包括本公开中提到的任何信息。在某些可选方案中,前述用户输入中的一些或任一项可以自动发送至模块112,而无需用户登入信息使用模块114。
如图1B所示,在一些可选方案中,探测器100可以在任意方向上移动或者组合的方向上移动,如上、下、左、右、斜上向右、斜上向左、斜下向右、斜下向左等或者这些方向的任意组合。在一些可选方案中,探测器也可以在正交于受试者的方向上移动,其中探测器离受试者越来越近或越来越远。例如,探测器可以与轨道或关节臂连接,其中位置被手动控制或由控制器112自动控制或者两种方式结合控制。在一些可选方案中,光源或图像获取装置可以固定,在其他可选方案中,光源或图像获取装置可以独立移动。某些可选方案将图像获取装置与电机连接,以使图像获取装置的移动自动化,从而允许相机对受试者的各部分进行成像。相机也可以连接到轨条、轨道、导轨和/或可驱动臂。在图像获取装置移动的同时,光源可以照射整个组织区域103,或者,光源在扫描处理过程中可以控制成仅照射相机正在对其进行成像的所期望的组织部分。
在图1A所示的可选方案中,当获取受试者的图像或部分图像(例如,受试者的整个身体或所期望的组织位置)时,受试者抵靠背景110站于直立位置。在一些可选方案中,背景110为支撑结构,当获取图像时,受试者沿水平方向或倾斜方向躺在该支撑结构上或抵靠着该支撑结构。测量板106和测量板108可以设置成当获取图像时称量受试者的体重。对于测量板,另外地或者可选择地,可以设有用于测量心率、温度、躯体成分、体重指数、体形、血压及其他生理学数据的其他生物学读取器。
图2示出了利用装置获取图像的显示器/UI 114上显示的示例UI200。在该可选方案中,当光源正照射组织103时,用户界面显示图像获取装置的视场。在某些可选方案中,用户可以定位图像获取装置102的视场以包括整个受试者202。用户也可以利用变焦部件208来调节图像获取装置102,使得受试者几乎充满视场。在一些可选方案中,用户也可以使用用户界面来获得有关受试者202的其他信息。例如,用户可以选择位置204和位置206,以测量受试者的身高。在一些情况下,用户可以使用用户界面来指示图像获取装置获取受试者的图像,如通过按压获取图像按钮210等来指示。
当获取受试者的图像以使用这些图像进行组织分类时,光源(带有相关滤光器,若设有)和图像获取装置被控制成获取受试者的多幅图像,以及与反射光的不同光谱带相关的和/或时间分离的分离图像。可以根据用于光谱域数据的图像处理技术(例如,MSI技术)处理在不同光谱带获取的图像以分类组织区域,并且可以根据用于时间域数据的图像处理技术(例如,PPG技术)处理时间分离图像以分类组织。在一些可选方案中,获取了这样两种类型的图像集,并且将这些结果进行融合以进行更准确地分类,如下面进一步说明的。
对于截肢患者,在受试者处于诸如前面对、后面对、左侧面对和右侧面对等多个方位的情况下可以执行图像获取。患者以这些不同的方位抵靠背景110站立,或者,如果背景110为沿水平方向的支撑结构,则患者可以以不同的方位躺在背景110上。然后,来自所获取图像的数据用于将受试者的皮肤的不同区域分类为在截肢后是否可能愈合,并且也可以在潜在截肢区域中对组织的特定类型进行分类。
在以不同的方位获取图像之后,控制器/分类器/处理器112可以处理各个受试者方位的图像数据。当背景110是不同于皮肤组织的特有颜色时,控制器/分类器/处理器可以从背景中分离受试者,将各个所获取图像中的各像素分为背景或受试者。作为另一个可选方案,UI可以用于在最初的图像(例如,如图2所示)中标记受试者的轮廓(例如,通过触摸屏上的触控笔或鼠标、光标)来区分背景和受试者。当识别出与受试者相关的图像的像素时,可以使用MSI和/或PPG技术对这些进行分析,以根据微血管状态对受试者的皮肤区域进行分类。
现在转向可以用于照射组织、获取图像和分析图像数据的具体装置和方法,可以理解,在一些情况下,仅PPG不能完全对组织进行分类,原因是其仅进行体积测量。此外,多光谱成像(MSI)已用于辨别皮肤组织中的差异,但是该技术无法对组织进行完全分类。对于现有的MSI技术,常常会遇到一些挑战:因皮肤类型所致的变化、不同身体区域皮肤的差异和可行的伤口预处理。仅MSI可能也无法全面评估皮肤状况,原因是其仅测量皮肤的外观或皮肤的构成,而未测量对皮肤分类很重要的动态变量,如对组织的营养和氧的可用性。
本文所述的一些可选方案结合了MSI和PPG,以改善皮肤分类的速度、可靠性和准确度。例如,本文所述的可选方案可以使用图像数据来测量血液、水、胶原蛋白、黑色素和其他标记物的作用,从而相对于遭受疾病或创伤的皮肤,像正常状态下那样,提供更精确的皮肤结构情况和正常发挥作用的能力。另外,本文所述的可选方案还检测随时间从皮肤反射的光的变化,这允许人们获得重要的生理学信息,从而允许临床医生快速评估组织活力和特征,如组织部位处的血液灌注和氧合。
图3示出了在一些可选方案中可以(但不是必须)用作探测器100、控制器/分类器/处理器112和显示器/UI 114的系统。与MSI和PPG技术相结合的以下所述的图3的系统还可以用于分析和分类较小面积的组织区域,并且可获得比先前的技术准确度更高的准确度,并不一定仅与上述全身分析系统和方法结合使用。
在图3的系统中,探测器408包括一个或多个光源以及一个或多个高分辨率多光谱相机,其在维持时间、光谱和空间分辨率以执行高精度的组织分类的同时利用多幅图像记录目标组织区域409。探测器408可以包括多个相机和成像器、棱镜、分光板、光检测器和滤光器以及多个光谱带的光源。相机可以测量来自组织区域的不同波长的光随时间的散射、吸收、反射、透射和/或荧光。该系统还包括显示器/UI 414,以及控制器/分类器/处理器412,其控制探测器408的操作、从用户接收输入、控制显示输出并执行图像像素的分析和分类。
数据集410是探测器408的示例输出,包括关于成像空间位置的不同波长和不同时间的反射光的数据。数据子集404示出了关于成像空间位置的不同波长光的数据示例。数据子集404可以包括组织区域的多幅图像,各幅图像分别测量以不同选定频带从组织区域反射的光。数据子集404的多幅图像可以同时获取或基本同时获取,其中基本同时是指彼此在一秒内。数据子集402中示出了关于成像空间位置的不同时间从组织区域反射的光的数据示例。数据子集402包括在超过一秒时段的不同时刻、通常在超过两秒时段的不同时刻采集的多幅图像。数据子集402的多幅图像可以在单一的选定频带下获取。在一些情况下,数据子集404的多幅图像可以在超过一秒的时段内获取,数据子集402的多幅图像可以在多个频带处采集。然而,包括子集404和子集402的组合数据集包括采集的对应于不同时刻和不同频带的图像。
为了收集数据子集404的图像,在一些可选方案中,一个或多个相机连接至具有不同通频带的多个滤光器的滤光轮。在一个或多个相机获取受试者的组织区域的图像时,滤光器的轮转动,通过获取与转动时滤光轮的滤光器位置同步的图像,允许一个或多个相机在不同光谱带下记录受试者。以这种方式,相机接收在组织区域的各像素处在不同频带下反射的光。甚至,在许多情况下,滤光器允许本文所述的装置分析肉眼无法识别的光谱中的光。在许多情况下,这些不同光谱的反射光和/或吸收光的量可以给出有关受试者的组织的化学和物理成分或组织的特定区域的提示。在一些情况下,使用滤光器得到的数据形成三维数据阵列,其中数据阵列具有一个光谱维度和两个空间维度。通过各获取的光谱带中反射光强度所限定的光谱特征,可以使两个空间维度中的各像素特征化。由于不同成分会差异性地散射、吸收、反射、透射不同频率的光和/或发出不同频率的荧光,所以不同波长的光强度给出了有关目标成分的信息。通过测量这些不同波长的光,探测器408在对应于各图像像素的各空间位置处捕获该成分信息。
在某些可选方案中,为了在多光谱带获取数据集404用的图像,一个或多个相机包括高光谱线扫描成像器。高光谱线扫描器具有连续光谱带,而不是滤光轮中各滤光器的分离带。高光谱线扫描器的滤光器可以与CMOS图像传感器一体化。在一些情况下,滤光器是单片集成光干涉滤光器,其中多个滤光器按阶梯线布置。在一些情况下,滤光器形成楔形和/或阶梯形。在一些情况下,存在对应于400nm~1100nm之间的波长的几十至上百个光谱带,例如,该波长为400nm、500nm、600nm、700nm、800nm、900nm、1000nm或1100nm,或者前述波长中的任两个波长之间的任意波长限定的范围内。成像器使用各滤光器线扫描组织,感应经过这些滤光器中的每一个从组织反射的光。
在又一些可选方案中,存在可以实现在不同光谱带中过滤光的其他滤光系统。例如,在一些可选方案中,使用法布里-佩罗特滤光器(Fabry-Perot filter),此外,其他的滤光器布置方法为,例如,将滤光器布置成瓦片结构,或者将滤光器以诸如拜耳阵列或多传感器阵列等图案直接布置在图像传感器(CMOS、CCD等)上。
在任何情况下,基于所寻求的信息类型来选择滤光器的通频带。例如,利用400nm-1100nm之间的波长(如400nm、500nm、600nm、700nm、800nm、900nm、1000nm或1100nm,或者前述波长中的任两个波长之间的任意波长限定的范围内),可以对截肢部位进行成像,以便捕获来自截肢部位和周围组织的血液、水、胶原蛋白和黑色素的贡献。在一些实施方案中,可以使用大约或在515nm、750nm和/或972nm波长处的吸收光谱,而在其他实施方案中,可以使用大约或在542nm、669nm和/或960nm波长处的吸收光谱来在组织分类之间进行区分。
健康的皮肤可以包括没有与血管疾病或微循环问题有关的损伤的皮肤区域。充血与高灌注区域相对应,通常是无需治疗即预期可以愈合的组织。可移植或组织皮瓣的分类可以对应于具有大于微血管活性的阈值水平的皮肤。血管病变类别可以对应于灌注减少但可能可抢救的组织的局部缺血区域。坏死分类可以对应于可能期望截肢的不可逆的组织流失的区域。
本公开的可选方案用于测量在400nm~1100nm范围内的各种波长(如400nm、500nm、600nm、700nm、800nm、900nm、1000nm或1100nm,或者前述波长中的任两个波长之间的任意波长限定的范围内)从组织样本反射的光,以便确定在从不同类型的组织反射的光之间哪组波长提供的变化量更大。这种变化可以用于有效地区分组织类别,至少分类为健康组织、充血、合适的皮瓣、血管病变(例如,小血管病变)和坏死。有时,可以将包括冗余量最小的最大关联波长的波长组确认为最优组。关于这点,有时这样得出最大关联:当波长能够有效地从其他类别中区分出一种特定的组织类别时。有时这样得出最小冗余:仅包括测量相同信息的多个波长中的一个波长。在使用波长组分类组织样本后,从业者对分类进行比较,以准确评估组织样本。
在不同试验中拆分数据用于测试分类准确度。在第一组实验中,测量475、515、532、560、578、860、601和940nm的波长。在第二组试验中,测量420、542、581、726、800、860、972和1064nm的波长。在第三组试验中,测量420、542、581、601、726、800、972和860nm的波长。此外,在第四组试验中,测量620、669、680、780、820、839、900和860nm的波长。
为了以83%的准确度对组织进行分类,使用根据第一和第二试验组提供组织分类最优可变性的波长。这些波长为(按相对权值的顺序)726nm、420nm、515nm、560nm、800nm、1064nm、972nm和581nm。类似地,为了以74%的准确度对组织进行分类,使用根据第三和第四试验组提供组织分类最优可变性的波长。这些波长为(按相对权值的顺序)581nm、420nm、620nm、860nm、601nm、680nm、669nm、和972nm。此外,值得注意的是,860nm的波长对于MSI和PPG分析是特别有效的,因此用于组合式装置。这些试验组表明在400nm~1100nm范围内的波长(如400nm、500nm、600nm、700nm、800nm、900nm、1000nm或1100nm,或者前述波长中的任两个波长之间的任意波长限定的范围内)可以用于有效的组织分类。如前文所述,其他组的波长也可以是有效的。例如,试验中的有效波长组最小化冗余。这样,也可以使用其他波长来有效地分类组织的一些方面。此外,使用上述试验,可以找出有效分类坏死组织和/或本公开所述的任何其他组织状况的其他波长。
总之,如上所述的试验得出:400nm~900nm范围内的波长(包括400nm、500nm、600nm、700nm、800nm或900nm,或者前述波长中的任两个波长之间的任意波长限定的范围内)对于成像截肢部位特别有效。更具体地,在该范围中,可以构建一组波长用于成像截肢部位,其中:至少一个(1)波长小于500nm;以及至少两(2)个波长在500~650nm之间;至少三(3)个在700~900nm之间。这组波长对于成像截肢部位和将所成像的截肢部位分成几类是有效的。
此外,基于上述试验,下面的次序表列出了各个测试波长,以其在分类中的显著意义为序:
表1
<u>次序</u> | <u>波长</u> |
1 | 420 |
2 | 560 |
3 | 860 |
4 | 620 |
5 | 726 |
6 | 800 |
7 | 581 |
8 | 542 |
9 | 578 |
10 | 601 |
11 | 972 |
12 | 532 |
13 | 475 |
14 | 515 |
15 | 940 |
16 | 680 |
17 | 900 |
18 | 1064 |
19 | 669 |
20 | 780 |
21 | 839 |
22 | 820 |
为了收集数据子集402的图像,一个或多个相机还构造成获取选定数目的图像,各图像之间的时间间隔短到足以测量由于与患者的生理事件或状况相对应的组织区域的运动而引起的反射光强度的时间变化。在一些情况下,从多个时间分离图像获得的数据形成三维数据阵列,其中数据阵列具有一个时间维度和两个空间维度。可以通过反射光强度中的时域变化来区分三维阵列中的各像素。在关于血压、心率、血管阻力、神经刺激、心血管健康、呼吸、体温和/或血量的不同频率成分处,该时域信号具有不同的能量。在某些可选方案中,也可以使用滤光器来过滤掉噪声。例如,可以使用860nm带通滤光器来过滤掉对应于室内环境光的主要波长光谱的光波,从而所获取的图像对应于源自探测器408中光源的反射光。这样可以减少和/或防止环境光波动的混淆现象,如由AC电力线频率所致的环境光中出现的60Hz波动等。
图4示出了动态库的一个示例。在图中,示例成像装置1000连接到示例的云1002。示例成像装置1000可以是本文所述的装置,或者可以是同样连接到动态库的任何其他计算机或用户装置。在一些情况下,云1002可以包括程序执行服务器(PES),该程序执行服务器包括多个数据中心,各数据中心包括可构造成执行一个或多个虚拟桌面实例的一个或多个物理计算系统,各虚拟桌面实例与计算环境相关,该计算环境包括可构造成执行一个或多个应用的操作系统,各虚拟桌面实例可由PES的用户的计算装置经由网络访问。云也可以包括其他方法,以同步计算和存储。
数据路径1004示出了成像装置1000和云1002之间的双向连接。云1002自身具有处理部件1006,其是云1002接收信号、处理数据、执行分类和生成元数据的地方,该处理部件表明动态库是否与一个或多个计算装置同步。
在一些可选方案中,在云中执行数据分析和分类。这种分析可以涉及收集样本信号上的数据以与获得的信号进行比较。这样的采样可以用于生成或细化一个或多个机器学习模型,以用于例如使用本文所述的机器学习技术对获得的信号中的组织区域进行分类。在其他可选方案中,处理部件可以位于成像装置1000上以在数据收集站点执行本地处理。其他可选方案可以在云和成像装置1000之间切分处理要求。
除了收集和分析动态库中的数据之外,处理部件还可以包括一般误差数据和计算。可以在本地位置计算并在云中合计误差,和/或在云中计算误差。在一些情况下,可以建立特定分类模型用的误差阈值。阈值考虑I型和II型误差(例如,假阳性和假阴性)结果以及临床可靠性的标准。
处理部件1006也可以对数据进行分析。云1002也具有数据部件1008,其包括动态库自身的信息,也接收更新。数据部件1008和处理部件1006彼此连接。
也有其他的源或者资源库连接到云。在该示例中,实体1012也连接到云1002。实体1012是可能对任何装置或系统提供更新和/或更新的组织分类模型以改善系统功能,如连接至云1002的系统1000。通过学习和经验,各阶段的方法可被更新以减小总误差。实体1012可以同时对多个分类模型快速评估变化,并提供系统改进。也可以更新用于新的临床应用的新数据集和模型。另外,例如,实体1012可以更新系统1000或者任何连接到云1002的装置或系统,以获取数据并分析该数据用于新的医疗用途,如分析冻伤等。由于科学知识上的改进,所以这种方式扩展了功能并允许系统适应不同情况。
另外,本公开所述的可选方案的各个方面作为试验主题,已在组织模型和动物模型中显示出功效。这些试验表明本公开的可选方案对于治疗至少截肢部位是有效的。出于说明性目的,下面给出了非限制性示例。示例提供了所作试验的进一步的细节。
图5A、图5B和图6示出了可以用于获得本文所述的图像数据的示例光纤系统。如图5A所示,光纤探测器7000可以包括围绕集光纤维7010的多条发光纤维7005。每个发光纤维7005可以照射多个重叠区域7015中的一个,并且从发光纤维7005发出的光可以从受试者的组织反射,并由集光纤维7010从均匀的照射区域7020收集。在一些实施方式中,发光纤维可以控制为顺次发出400nm~1100nm之间的1000种不同波长中的一种波长,并且集光纤维7010接收到的信号可以用于在发射波长处生成被照射组织的图像。
在一些实施方案中,探测器7000可以是光纤分光光度计,其配备有用于反射和背部散射测量的同轴光源。探测器可以构造成利用盖(未示出)阻挡环境光,使得仅使用发射的波长对组织进行成像,相比于既有环境光又有选择发射波长的光所照射的组织,这使得分类更准确。
如图6所示,探测器7100可以包括具有发光和检测端7110的第一光缆7105。发光和检测端7110可以包括围绕集光纤维7125的多条发光纤维7115。发光纤维7115可以穿过第一光缆7105,并且分开成为第二光缆7140,示出的第二光缆的剖面7145包括围绕芯部7120的发光纤维7115。该多纤维第二光缆7140可以连接到光源,经由第二光缆7140将期望波长的光供给到第一光缆7105的发光和检测端7110。光检测纤维7125可以穿过第一光缆7105,并且分开成为第三光缆7130,示出的第三光缆的剖面7135只包括光检测纤维7125。该单纤维第三光缆7130可以将来自光检测纤维7125的信号供给到构造成用于捕获图像数据的图像传感器(例如,CMOS或CCD图像传感器)或供给到分光仪。光纤芯的尺寸范围可以是200μm~600μm,如200μm、250μm、300μm、350μm、400μm、450μm、500μm、550μm或600μm等,或者在前述波长中的任两个波长所限定的范围内。
在图7中示出了PPG成像系统的实施方案的示例部件,在图8中示出了MSI系统的实施方案的示例部件。在一些可选方案中,它们可以是物理上分离的成像系统,而在其他可选方案中,它们可以一体化到单个整体成像系统中。
PPG成像系统可以包括10位单色CMOS相机(例如,Nocturn XL,Photonis USA),其提供低的暗噪声和高的动态范围。10位ADC分辨率可以提供60dB的信噪比。该成像器的分辨率可以设定为1280×1040(纵横比5:4)。该相机可以垂直安装,向下面对目标表面。通常20×16cm的视场(FOV)可以控制成用于系统间比较。可以利用95%反射率的参考标准(例如,Spectralon SG3151;LabSphere Inc.;North Sutton,NH)对相机的曝光时间进行校准。为了照射组织,四个单色大功率LED发射器(SFH4740,OSRAM)可以以2×2阵列安置,安装在与传感器相同的平面内。LED发射器阵列和相机可以布置成到目标表面的距离为15cm。在一些可选方案中,LED发射器可以是优选地,因为它们能在相机的FOV内均匀地照射组织(即,空间强度变化小于15%)。相机的FOV可以由光学透镜控制,并且可以比照明区域稍窄。
在呼吸过程中通过受试者的运动将噪声引入到PPG信号,可能使得难以进行PPI成像的初始分析。使用所谓包络提取的信号处理方法,所公开的技术可以降低呼吸运动的影响。对于图像中的各像素,通过低通滤波器使信号平坦化以提取噪声信号的包络。然后,噪声信号可以由其包络分割以去除信号中所关注的运动尖峰。剩下的清晰的信号反映出可以接着处理成PPG图像的信息。PPG图像数据可以基于在至少10秒的时间间隔内,优选地在5秒~30秒之间的时间间隔内捕获的帧数来生成。
PPG系统可以包括三个功能模块:照明;传感器(CMOS相机);和成像目标。照明和感测模块可以相对于目标放置在相同侧上,例如,以反射模式。入射到物体上的光束散射到目标中,然后由相机捕获背部散射光信号。埋在不透明介质中的成像目标随时间变化(例如,由于脉动血流而引起血管体积变化),导致背部散射光具有在强度上的调制。在一些实施方案中,可以使用来自空间上不同的组织区域的信号噪声的差异来将组织区域分类为健康组织、血管病变组织、坏死组织或其他组织分类。
如图8所示,在一些可选方案中,可以通过凝视法使用滤光轮相机(例如,SpectroCam,Pixelteq,Largo,FL)来收集多光谱图像,该相机配备有波长在400nm~1100nm之间的八个独特的光学带通滤波器。可以使用具有以下峰值传输的波长滤波器:581、420、620、860、601、680、669和/或972nm(过滤宽度可以为±10nm;例如Ocean Thin Films;Largo,FL)。在其他可选方案中可以使用其他合适的波长。使用95%方形反射率标准(例如,Spectralon SG3151;LabSphere Inc.;North Sutton,NH),可以对系统进行校准,以补偿成像传感器的不同光谱响应。所用的光源可以是250W卤钨灯(例如,LowePro),其配备有磨砂玻璃扩散器以在成像器的视场内产生更均匀的照射面。图8的系统可以使用伸缩透镜(例如,Distagon T*2.8/25ZF-IR;Zeiss Inc.;USA)。
在一些实施方案中,使用根据以下参数设计的多光谱图像获取系统,可以获取多光谱图像数据。可以将光源和图像捕获模块以反射模式放置在距目标表面60cm的距离处。钨灯(例如,ViP Pro-light,Lowel Inc.)可以在DC模式下在目标表面上提供较宽的光谱投影。磨砂玻璃(例如,iP-50,Lowel Inc.)可以安装在钨灯的前面,以散播光并提高空间照射的均匀性。一些入射光可以穿透目标表面,而任何背部散射的光信号都可以由图像捕获模块收集。图像捕获模块可以包括高性能的IR增强光学透镜(示例型号:Distagon T*F-2.8/25mm,Zeiss)、八槽滤光轮和12位单色相机(BM-141GE,JAI Inc.)。光学带通滤波器可以设计和选择成针对相机分离单一波长的光。在一些实施方案中,可以在滤光轮中安装以下八个带通滤光器:八个滤波器的中心波长(CWL)和半高全宽(FWHM)可以为(CWL-FWHM,均以nm为单位):420-20、542-10、581-20、601-13、726-41、800-10、860-20和/或972-10。可以使用Reflectance Zenith Lite Panel(例如,SphereOptics GmbH)来标准化波长强度,并且像素的最大值可以是4098(12位)。在能够得到用于有效分类的准确的组织差异的这些波长处,可以基于已知皮肤组织的吸光特性来选择八个实施的波长。随着滤光轮旋转,相机可以通过八个滤波器中的每一个滤波器来顺次地捕获单波长图像。图像可以以未压缩的格式保存在计算机上。使用软件(2014b版)或通过适当的信号处理器执行计算和统计。
在一些实施方案中,光源可以是任何广谱照明源,或者是与数据分析所需的期望波长的光匹配的任何照明源。
用于MSI的示例实施方案的波长范围的概述
在一些实施方案中,本文所述的多光谱图像可以通过本文所述的光纤缆捕获,该光纤缆在探测器的同一端具有发光器和光检测器。与使用大约八个独立的波长选项的先前使用的相机系统相比,发光器能够发射400nm~1100nm之间的大约1000种不同波长的光,以在不同波长下提供平滑范围的受试者照射。在一些实施方案中,利用确定范围的波长中的各波长依次照射受试者,例如,在400nm~500nm之间的波长(如400nm、425nm、450nm、475nm或500nm),以及在720nm~1000nm之间的波长(如720nm、750nm、775nm、800nm、825nm、850nm、875nm、900nm、925nm、950nm、975nm或1000nm),或者在由前述波长中的任两个波长之间的任意波长限定的范围内,在各波长处捕获到受试者的一幅或多幅图像。
伤口组织和健康组织之间的可见光范围和近红外范围可能显著不同,并且所公开的分类技术带有足够的信息以区分临床上重要的组织类型。在一些实施方案中,多种组织类型的最高反射率值可能出现在大约625nm处。在525nm和575nm处可能存在次峰。
在一些实施方案中,损伤皮肤与健康皮肤之间的最不同的值可能出现在475nm至525nm之间;450nm至500nm之间;以及700nm至925nm之间。因此,为了与健康皮肤相比对伤口组织进行分类,本文所述的多光谱成像系统可以使用低端范围和高端范围而非连续范围的波长,例如,在450nm至525nm之间以及在700nm至925nm之间,或者在由前述波长中的任两个波长之间的任意波长限定的范围内。
在一些实施方案中,坏死组织或血管病变的组织与健康皮肤之间的最不相同的值可能出现在:400nm至450nm之间;400nm至450nm之间;525nm至580nm之间;以及610nm或1050nm。因此,为了与健康皮肤相比对伤口组织进行分类,本文所述的多光谱成像系统可以使用低端范围和高端范围而非连续范围的波长,例如,在400nm至450nm之间或525nm至580nm之间或在610nm至1050nm之间,或者在由前述波长中的任两个波长之间的任意波长限定的范围内。
在一些实施方案中,用于组织分类的多光谱成像系统可以使用低端范围和高端范围而非连续范围的波长,例如,在400nm至500nm之间或在720nm至1000nm之间,或在由前述波长中的任两个波长之间的任意波长限定的范围内。例如,如图5A、图5B和图6所示的探测器可以构造成发出多个波长,其在400nm至500nm之间或720nm至1000nm之间,或者在由前述波长中的任两个波长之间的任意波长限定的范围内。在一些实施方案中,这样的波长范围可以适合于与从其收集训练数据的患者的皮肤色素沉着类似的整个皮肤色素沉着范围的组织分类,并且偏离所公开的范围的不同范围组可以用于较浅或较深颜色皮肤的组织分类。可以基于接收自健康组织的光谱与接收自感兴趣组织(例如,坏死组织或血管病变组织)的光谱的间隔来识别不同的范围组。
在一个实施方案中,用于截肢部位组织分类的多光谱图像集可以包括在不同波长下捕获的八幅图像。一组波长可以包括(以中心波长±半峰全宽列出):420nm±20nm,525nm±35nm,581nm±20nm,620nm±20nm,660nm±20nm、726nm±41nm,820nm±20nm或855nm±30nm,或者在由前述波长中的任两个波长限定的范围内。
示例PPG和/或MSI图像处理可选方案的概述
参照图9对关于有利的图像获取和信号处理过程的附加细节进行说明,图9示出了可以由本文所述的成像装置执行的过程。图9示出了一些可选方案所使用的对组织进行分类的过程的示例流程图600。方框602和603示出了一些可选方案使用例如探测器408来采集多光谱图像和多个时间分离图像(例如,视频)。对于时间分离图像,例如,数据子集402,为了获得总噪声更小且信噪比更大的信号,相对较长的暴露时间被认为是期望的。在某些情况下,使用的捕获时间为二十七(27)秒,这比常规PPG成像过程的七(7)秒捕获时间更长。因此,在一些可选方案中,期望捕获时间至少为或者大于8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36、37、38、39、40、41、42、43、44、45、46、47、48、49、50、51、52、53、54、55、56、57、58、59或60秒,或者这些数字之间的任意数字,或者由前述数字中的任两个数字之间的捕获时间限定的范围内。在这些捕获时间内,可以设置成像器捕获的每秒的帧数。在一些情况下,在对组织进行成像时,每秒30帧(30fps)或每秒60帧(60fps)可以是有效的。对于27秒内30fps,成像器采集大约810幅图像。对于27秒内60fps,成像器采集大约1620幅图像。在一些可选方案中,取决于所需数据的分辨率(例如,为了获取人的心跳),可以改变所采集的图像的数目。例如,对于CMOS相机,可以使用20fps~120fps。这包括20fps、30fps、40fps、50fps、60fps、70fps、80fps、90fps、100fps、110fps或120fps的采样率,或者由前述采样率中的任两个采样率之间的采样率限定的采样率范围内。
此外,在某些可选方案中,由于照射点的原因,光源布置很重要,其中照射点是使信号饱和并且屏蔽脉冲波形的高强度光的位置。在一些可选方案中,通过使用扩散器和其他前端硬件技术来解决该问题。然而,在照射点不能由前端技术消除的情况下,在一些可选方案中,使用信号处理来消除照射点。实际上,为了形成组织病理学的可靠图像,在去除噪声的同时期望保存和显示信号。该处理涉及去除与照射点相关的噪声和其他不相关的信号。
在方框604处,时间分辨图像序列(例如,数据子集402)被发送给控制器/分类器/处理器412进行处理,然后控制器/分类器/处理器使用PPG分析来计算组织区域中的血流灌注。该处理可以包括放大、线性化、信号平均、相关性和/或一个以上滤波器(例如,带通、高通或低通),以消除噪声、分离感兴趣的信号的部分以及提高信噪比。滤波器的选择很重要,这是因为,过多的过滤会去掉必要数据,而过少的过滤会使信号难以分析。也可以使用互相关和自相关来去除噪声。在一些可选方案中,也可以使用采样信号来去除噪声,这将在后文说明。然后,信号被转换成频域。例如,在一些可选方案中,使用快速傅里叶变换(FFT)。在执行FFT之后,可以通过频率对信号进行分析。多个时间分离图像时段上各像素处反射光强度的时域变化在不同频率处信号能量不同。这些频率及其相应的生理事件表明了位于通过像素成像的组织位置处的这些生理事件的出现和强度的影响。例如,像素在接近休息的人心跳频率的1.0Hz附近频带处的信号强度,可以用来评估图像中像素位置处流向组织及组织附近的血流。
在一些可选方案中,可以通过查看局部最大值来识别相关信号。例如,通过查看附近频带最大峰值处的信号能量,并假设峰值是由心跳引起的血压变化造成的,得出心率。然而,该方法不能识别峰值高于来自实际心率的信号的噪声。在这种情况下,其他可选方案采用如下信号处理:采用基于示例或者基于噪声信号、白噪声信号和其他示例信号的参考数据库的计算机学习和训练。计算机分析相关信号和噪声的示例来学习从噪声中识别信号。例如,在识别有关血流的信号的情况下,与心跳具有相同频率成分的信号可以是相关的。计算机学习利用示例心率信号或者参考作为参照的心率信号数据库来从噪声中识别心率。计算机学习处理也可以利用这些参考点和数据库来分析白噪声、错误的心率信号、峰值高于心率信号的噪声信号。计算机学习可以基于诸如频率、幅度、信噪比、零交点、典型形状或信号的任何其他特征等特征来识别信号。
在一些情况下,利用其他的比较来识别信号。例如,在一些可选方案中,生成手选临床分期信号的汇总。然后,将手选临床分期信号与测出的信号进行比较,以将测出的信号分为感兴趣的信号或者噪声。实现的另一技术进步是消除了边缘效应。在一些可选方案中,图像边缘附近有模糊的噪声,在一些情况下,感兴趣的区域也不如所期望的明显。当消除了边缘效应时,所示的感兴趣的区域信号强度更高。在一些可选方案中,通过使用图像处理来完成边缘消除,该图像处理包括平均化、膨胀和腐蚀以及边缘检测和改善。
另一技术进步是运动伪像的自动去除。运动伪像包括与患者呼吸相关的运动、患者的移动或者相机或患者附近的可以扭曲图像的任何常规震动。为了去除这些运动伪像,用“窗口”对信号进行处理,其识别比附近部分更大且噪声更多的时域区域,并且将这些区域识别为“运动”。然后,将这些部分从时域中剪掉,得到了没有运动伪像的修正信号。也可以使用其他的滤波器和选择方法来去除噪声和其他不需要的信号部分。在进行该处理之后,在期望频率处(例如,通常为大约1Hz)算出的信号能量可以针对组织区域(例如,对于各二维像素位置)分为定义像素位置处血液灌注的类别。
大致与执行方框602和方框604同时,一些可选方案还执行方框603和方框605。方框603获取形成多光谱数据立方体(例如,图3的数据子集404)的图像。数据立方体包括每个MSI光谱带的2D图像。在方框605中,这些可选方案接着将MSI分析应用于数据,在方框614中,系统对各组织区域(例如,对于各二维像素位置)分配组织成分的类别。
接着,方框616结合来自方框603和方框604的血液灌注和MSI数据,以便基于MSI和PPG数据生成组织分类。
例如,出于说明性目的,可以使用八个带通滤波器对各成像像素生成八个反射率值,每个对应于一个选定的光谱带。此外,使用中心波长为红外或近红外波长(例如,接近840nm~880nm或在840nm~880nm周围或在840nm~880nm处,包括840nm、850nm、860nm、870nm或880nm波长,或者由这些波长中的任两个波长之间的任意波长限定的范围内)的滤波器,可以在27秒内以所采用的每秒30帧来获取810幅图像。如上所述,可以在频域中分析这些810幅图像,以生成各成像空间位置的表征血液灌注的PPG数据,为各成像像素生成灌注值。因此,成像组织区域的各像素具有与通过八个带通滤波器中的每个滤波器采集的测量值相对应的测量值,以及对应于局部血流的值。在各像素处,总共有9次测量。使用这9次测量,可以将像素划分(例如,分类)成不同的类别。如本领域技术人员所理解的,对各像素可以采用任意数目的测量值(例如,2、10、20,或者在由这些测量值中的任两个测量值之间或大于这些测量值中的任一个的任意数目的测量值限定的范围内),可以通过这些测量值划分像素。
可以使用不同的划分/分类方法。通常,使用“训练”数据集训练分类器,在“训练”数据集中测得的参数和适当的分类是已知的。然后,针对“测试”数据集测试经过训练的分类器,在“测试”数据集中测得的参数和适当的分类也是已知的,但不用于训练分类器。可以通过分类器如何成功地分类测试数据集来评估分类器质量。在一些可选方案中,可以使用预定数目的类别,将像素分成与本文所述的截肢部位有关的预定的类别。
在其他可选方案中,类别的数目是未知的,诸如处理器112等处理器基于像素的分组和相对于彼此的特征生成分类。例如,借助相对于附近测量值的这些测量值,处理器将血流更少且某些波长处标准像素强度更低的组织区域识别为与坏死组织相关。
在一些可选方案中,基于各类别的值的预设范围分配像素。例如,光反射率的值的某些范围可以与健康皮肤相关。当数据落入这些范围时,组织被识别为健康皮肤。这些预设范围可以存储在系统412的存储器中、由用户输入或者通过系统学习或自适应分类器自动判断。在一些可选方案中,通过由外部资源传输到系统的信息来限定分类,该外部资源诸如是数据上行链路、云(本公开前面所说明的)或者任何数据资源等。在其他可选方案中,用于各类别的值的出现范围是未知的,处理器基于相互比较各像素的测量值来适配分类。
在一些可选方案中,可以使用适合的分类器对具有共同特征的像素进行分组,并识别这些组。例如,通过查看诸如最小切割等图像分割,可以使用图形理论将像素划分为几类。也可以使用其他划分方法,如阈值转换法、聚类(例如,k平均(k-means)、层次聚类和模糊聚类)、流域、边缘检测、区域生长、统计分组、形状识别、形态学图像处理、计算机训练/计算机视觉、直方图法和分组数据领域所熟知的任何划分方法。
在一些可选方案中,可以使用历史数据进一步补充划分。历史数据可以包括患者先前获得的数据和/或来自其他患者的数据。在某些可选方案中,在划分处理中考虑诸如肤色、种族、年龄、体重、性别和其他生理学参数等其他数据。在任何情况下,数据可以上传、从云获得或者以其他方式输入到系统中,包括使用UI 114。在某些可选方案中,分析患者数据的动态库。可以使用包括t测试、f测试、z测试或用于比较的任何其他统计方法等统计方法将事先识别的图像与获取的图像进行比较。这种比较例如可能考虑测得的像素强度、像素相对于图像中其他像素的测量值以及像素分布。
在某些可选方案中,可以用诸如截肢部位等组织状况的示例图像来更新动态库,以帮助组织的分类。在其他可选方案中,可以通过图像显示何种组织状况及状况如何来分配和识别图像。所期望的是,在动态库中应该有不同角度的全范围图像,以说明成像的皮肤状况的角度、质量和状况的变化。
返回到图9,可以向用户呈现各种数据输出。这些数据包括基于PPG数据的PPG灌注图像620、基于MSI数据的MSI分类图像、基于标准RGB数据的白光照射图像、基于组合的MSI和PPG数据的示出分类的MSI/PPG融合图像622。例如,显示器输出可以是组合的MSI/PPG融合分类图像622。在这样的图像中,如上所述,受试者的各组织区域(例如,像素)被分成截肢部位类别,如健康的、充血、坏死、潜在截肢皮瓣和血管病变等。另外或者可选择地,可以向用户呈现诸如各类别中的百分比等数据输出。
相比于现有技术,在分类组织中,成分和存活性数据的使用都有显著进步。
图10示出了示例时间分辨PPG信号提取。框图1700示出了从800随机帧(contingent frames)顺次提取的图像像素(x,y)的强度。框图1701示出了用于定量PPG信号的处理方法。
在一个示例中,可以在30帧/秒的帧率下获取800幅图像序列并将其存储为未压缩TIFF文件。可以逐个像素地计算PPG信号强度。PPG信号和图像处理的步骤可以如下:(1)去趋势(de-trending),其去除了DC漂移;(2)时域中下采样以减少数据量;(3)信号过滤;(4)快速傅里叶变换,将时间分辨信号转换成频域信号;(5)提取光谱功率,特别是等同于心率的频率处;(6)计算心率带强度总和与稍高频带或非目标频带(认为是噪声)强度总和之比作为信噪比(SNR);(7)PPG图像输出使用彩图以显示各像素的PPG SNR。从一幅图像中出现的最低信号到出现的最高信号线性绘制颜色。可以使用MATLAB或专用信号处理器进行信号处理。
图11示出了PPG输出预处理的示例框图。根据来自截肢部位的27秒视频的800帧,生成PPG图像。PPG信号在时间上由各像素限定。该预处理的目的是获得与受试者的心率相关的一些生理学信息,以及用于分类步骤的一些初始特征。如图11所示,下文会说明,基于该时域信号(每个像素一个),实现预处理。
计算初始空间平均;然后,执行反卷积,其中去除低频大幅度的分量(与麻醉后受试者的人工通气相对应)。执行信号的去趋势,以及在预计心率所处频率范围的带通滤波。对各像素的时域信号施用快速傅立叶变换算法,以便计算相应的频域信号。
在一些实施方案中,对于各像素,从这些频率信号集中获得四个指标:(1)信噪比(SNR),(2)最大平均值,(3)偏离均值的标准差的个数,以及(4)信号与阈值水平交叉的次数。这四个指标用来建立图像的各像素中的血管概率。血管概率显示出对于提供有关心率的信息像素的有用程度。对于血管概率>0.9的那些像素,存储对应于频率信号最大值的心率的值。选择重复最多的值作为当前步骤的受试者的真实心率。根据该值,计算出改进的SNR指标。最后,取决于同真实心率的差异程度,掩码定义为,对于心率对应于算出的心率的像素设为1,其余的像素设为0~1之间的值。PPG输出指标是改善的SNR与该掩码之间乘积的结果。
对于图像的各像素的研究,所有这6个指标给出了有关受试者体表下大约0.5cm处血流的生理学信息。
可以提取这些选出的像素并各自处理,以判断指示点处的PPG信号的强度。用于评估PPG信号强度的指标可以是功率谱密度(PSD),其是频率上信号能量分布的测量。脉动频率处的功率谱密度提供了明显的对数趋势,其中,接收到的PPG信号强度在强度值上不断增大。
示例截肢部位分析可选方案的概述
上述缺少足够准确的指标或测试来判断愈合潜力以及已知的影响身体的伤口愈合能力的多种因素表明:需要用于诊断的多元方法来改善评估。特别提出本公开的技术来解决该问题,这是因为,所公开的装置设计为以多个独立变量的形式处理信息来分类组织病理学过程。所公开的成像装置可以使用机器学习将光电容积脉搏波成像(PPG成像)、多光谱成像(MSI)这两种光学成像技术与诸如糖尿病控制或吸烟等患者健康指标相结合,以生成预测信息(图12)。
图12示出了根据本公开的可以与患者健康指标相结合以生成预测信息的光电容积脉搏波成像(PPG成像)和多光谱成像(MSI)这两种光学成像技术的高级图形概述。所公开的系统可以使用本文所述的成像技术中的任一种来实现用于对患者组织进行分类的这些技术。MSI和PPG图像数据的组合可以维持在血管病变的患者中选择合适的LOA所需的高灵敏度和特异度。两种光学成像方法旨在推断重要的组织特征,包括动脉灌注和组织氧合。这两种措施是选择LOA的关键,这是因为患有外周动脉疾病(PAD)的患者的伤口愈合会受到严重缺乏动脉灌注而组织氧合低的限制。所公开的方法可以在腿的大面积上同时评估出组织水平的灌注以识别肢体的灌注下区域。这与单独使用临床判断时涉及的猜测工作相反,在单独使用临床判断过程中,观察者基于患者病史、体检结合血管研究必须评估出适当的LOA,其中血管研究很少包括患者微循环的全面评定。另一方面,所公开的技术还评估了对伤口愈合潜力具有全身影响的患者健康指标。通过将组织微循环的局部评估与影响伤口愈合的全身因素的整体评估相结合,所公开的技术考虑影响伤口愈合的多种因素而非单一变量。
本文所述的截肢部位分析系统可以以适当的方式使用称为机器学习的统计学科来研究用于预测分析的多变量系统。通过将局部微循环评估的数据与影响伤口愈合的全身因素(诸如糖尿病、吸烟状况、年龄、营养状况等)相结合,该方法可以提供患者的初始伤口愈合的总体似然的重要信息,而利用现有技术是不易于在微循环中观察到这些因素的。由于局部因素和全身因素均会影响最终愈合的可能性,所以通过一起考虑所有这些因素,可以提高截肢部位分析系统的准确度。
截肢部位分析系统可以具有至少95%的灵敏度和95%的特异度,以在研究水平上预测截肢后初始伤口愈合的可能性。如果在截肢之前以这种灵敏度和特异度用于患者的常规评估,则本文所述的截肢部位分析系统可以将再次截肢率降低67%,这会使得每年减少10000例再次截肢,同时提高被截肢者的生活质量,并减少与他们的护理相关的健康费用。目前,在截肢之前ABI检查的费用为医疗保险大约每位患者150美元,产生的费用大部分源自技术人员进行检查的时间以及从业者解释结果的时间。所提出的装置对LOA评估的现有费用没有影响,这是因为,期望与现有的血管评估的费用相同。不同于一些现有的LOA检验,所公开的成像系统不需要一次性用品。该系统的常规清洁和服务费用与市场上现有的那些系统相近。
所公开的成像技术设计成将光电容积脉搏波成像(PPG成像)和多光谱成像(MSI)的光学成像技术相融合。图13示出了设计成将光电容积脉搏波成像(PPG成像)和多光谱成像(MSI)的光学成像技术相融合的装置的示例视图。此外,其能够将关键的患者健康指标纳入其评估分类器中。现在,所公开的技术能够将血流评估(例如,动脉搏动幅度)与组织表征(例如,光谱分析)相结合。当从组织一起采集这些测量值时,相比于单一测量值,它们提供对组织更准确的评估。
判断某LOA处愈合似然的研究证明了不同部位之间的组织氧水平中的明显差异会产生成功截肢vs.不成功截肢。这些研究使用经皮氧合测量(TCOM)来调查组织氧合。然而,尽管这项技术已经存在了几十年,但是TCOM的使用并没有优于临床评估,在大量临床试验中尚未确定在预测为成功截肢的给定LOA处的组织氧合的明确界限。根据专家的评估,TCOM不适用于临床实践的若干原因如下。首先,TCOM从非常小面积的感兴趣区域(大约3cm×3cm)采集数据。TCOM处理还需要加热患者的皮肤,这有时候会导致皮肤烧伤,尤其是在患者患有PAD的情况下。例如,TCOM处理需要放置将患者的皮肤加热到45℃的粘合电极,这有时候会导致皮肤烧伤,尤其是在患者患有PAD的情况下。另外,在大型临床试验中,尚未确定预测为成功截肢的TCOM水平的明确界限。最后,TCOM的结果受到环境温度和局部组织水肿的影响,这限制了装置的内部时序一致性。
截肢部位分析系统设计成克服TCOM和其他可用装置的各种局限性,以在所选LOA处预测愈合的可能性。该装置可以在大面积的组织表面捕获数据,这能够得到整个表面上而非孤立区域的组织氧合和灌注变化的特征和映射。截肢部位分析系统是无创的和非接触式的,并且不会发出有害的辐射,因此该装置内在没有让患者受损害的重大风险。该装置也不受环境温度微小变化的影响。然而,最重要的是,截肢部位分析系统分析了诸如糖尿病史、感染的出现、吸烟情况、营养状况等临床上重要的患者健康指标,以向终端用户提供伤口愈合潜力的综合评估,而之前的技术只能评估局部组织氧合。
所提出的成像装置的各方面包括用于各种组织分类应用的无创的、非接触式的、非辐射光学成像,包括在术前和/或术后截肢部位处的组织类型的分类,以及推荐的最佳LOA的确认。所公开的成像系统是护理点灌注成像系统,其提供从组织灌注和患者健康指标的测量值导出的诊断图像。可以轻松地训练护理人员以执行成像测试。肢体的成像大约花费10分钟,所得结果电子化存储以给医师查看。从患者的角度来看,该测试是高度可接受的,原因是其没有有害的副作用、不接触患者的皮肤并且不会带来不适。
所公开的技术的一个方面是在微循环评估中增加患者健康指标,以提高截肢计划期间诊断伤口愈合潜力的准确度。如前所述,截肢部位分析装置同时执行血流评估的两种光学成像方法。尽管所公开的截肢部位成像装置因为它们在大面积的组织上捕获超过一百万个空间独特的PPG信号而更为先进,但是作为其中第一种的PPG成像是与脉动测氧仪中所使用的获取包括心率、呼吸频率、SpO2的生命体征的技术相同的技术。通过测量光与血管化组织中动态变化的交互作用来生成PPG信号。血管化组织以心动周期的频率在各收缩压波动下膨胀收缩大约1~2%体积。该血液流入增大了组织的体积,并带来了另外的特别吸光的血红蛋白。因此,组织内光的整体吸收随每次心跳振荡。该信息可以转化成由脉动测氧仪记录的生命特征。
为了从体积描记图生成图像,所公开的系统可以利用光穿过组织的路径。入射到组织表面的一小部分光散射到组织中。该散射光的一小部分从最初进入的同一表面离开组织。使用灵敏的数码相机,在整个组织区域上收集该背部散射光,使得成像器中的各像素包括由散射光强度变化所确定的特有的PPG波形。为了生成相对组织血流的2D可视化映射,测量各特有波形的幅度。为了提高准确度,所公开的系统可以对许多心跳样本测量平均幅度。
由截肢部位分析系统捕获的第二光学测量为MSI。该技术测量选择的可见光和近红外光(NIR)波长(400~1100nm)在组织表面的反射率。物体的光谱特征最初在遥感(例如,卫星成像或者飞行成像)中使用,用来地质勘探或军事目标的探测,但是该技术在医疗领域越来越为人们所接受。该方法对于定量与包括PAD的多个病理相关的重要皮肤特征是有效的。关于选择LOA,MSI可以用于定量血红蛋白的体积数和氧络血红蛋白的出现。
截肢部位分析系统中MSI所采用的光的波长可以基于公认的光-组织互动特征来选择。角质层和表皮中的黑色素主要吸收UV和可见光波长。近红外波长(700~5000nm)是黑色素吸收最少的,被认为是透过真皮的最佳选择。穿过真皮的血管中含有大量的血红蛋白,血红蛋白的浓度决定了真皮吸收波长的程度为大于320nm。取决于分子是氧合态还是去氧态,血红蛋白的光吸收也会变化。由于组织黑色素和血红蛋白的浓度以及氧络血红蛋白数在疾病状态中都会改变,所以MSI检测出所得反射光谱的变化。因此,通过反射光谱相比于健康组织的变化,可以识别出异常的皮肤组织。尽管相比于较新的高光谱成像仪,MSI可以使用较少量的特有波长以描述组织,但是当综合考虑空间分辨率、光谱范围、图像获取速度、费用时,MSI仍有优势。
截肢部位分析系统所利用的数据的第三部分为在常规的患者评估过程中收集的相关患者健康指标。已识别出影响伤口愈合的各种因素。这些因素中的许多或者全部(包括患者年龄、糖尿病的诊断、吸烟史、感染、肥胖、药物情况、营养状况)通常会影响经历下肢切除的患有PAD的患者。尽管目前当临床医生评估潜在LOA时会综合考虑这些变量,但是截肢部位分析系统能够定量评估这些指标以预测给定LOA处初始伤口愈合的似然。截肢部位分析系统利用其机器学习组织分类技术来执行患者健康指标与光学成像数据的整合。从业者可以在成像时将相关的患者健康指标输入到装置中。在一些实施方案中,患者和/或医师可以授权输入患者健康指标,然后可以从医院信息数据库或电子患者病历中自动提供此类指标。在某些实施方式中,该数据可以作为另外的变量被所公开的机器学习模型处理,与通过PPG成像和MSI收集的光学数据没有区别。在其他实施方式中,机器学习模型可以使用患者指标来例如从不同数据集训练的许多不同分类器中识别出适合于对患者的组织进行分类的特定组织分类器。可以训练机器学习模型,以在评估通过截肢部位分析系统收集的所有数据之后生成定量输出。可以将定量输出转化成所扫描组织表面的截肢后可能或不可能愈合的图像识别区域,以生成组织分类各个区域的映射,和/或以推荐LOA。
截肢部位分析系统可以包括PPG成像器、MSI相机和目标患者健康指标输入的结合,如图14所示。通过调整系统设置和分类器参数,可以调整截肢部位分析系统,以在不同病理条件下评估组织特征。对于LOA研究,所公开的技术可以开发出特定的分类器,并使用适用于测量脉动幅度和组织氧合的特定的光学器件和滤光器,用于预测在最初截肢之后的伤口愈合,如下文更详细说明的。
图15A示出了用于训练机器学习诊断模型的示例过程。使用机器学习模型训练诊断分类器可以使用来自最终将在其上使用的人群的数据来完成(图15A)。分类器的准确度只能与用于识别训练数据的真实状况的方法一样准确,在这种情况下,非愈合截肢组vs.愈合截肢组。为了解决这个问题,所公开的方法生成标准化的截肢愈合评估系统来跟踪和分类结果。分类器发展按以下方式迭代:准确度的初始判断、研究提高准确度、接着评估新的准确度。这提供了证据,表明:将微循环成像与患者健康指标相结合可以准确地对截肢部位处的患者组织进行分类。尽管某些公开的实施方案被描述为一起使用PPG和MSI数据,但是其他实施方案可以成功地使用MSI特征而不使用PPG特征来实现合适的分类准确度。
试点临床研究设计包括60个患者的研究,其调查所公开的系统相比于当前护理标准预测患有PAD的患者截肢初始愈合的准确度。
所公开的成像器使用光学方法从大面积(组织的高达15×20cm部分)的皮肤供血收集光谱和PPG信号。该装置非常适于研究大区域的下肢皮肤微循环。该装置特有的方面在于:能够将重要的患者健康特征整合到其诊断分类器中来提高准确度。该试点研究识别出有用的患者健康指标,并确认装置的机器学习诊断分类器中所包含的患者健康指标在单独的微循环测量方面提高了准确度。所公开的技术可以在各传统的LOA处结合影响伤口愈合的患者健康特征判断微循环,并判断这与截肢之后患者的初始伤口愈合潜力的相关程度。
每位患者将要切除的下肢被检查并包括在该研究中。临床相关的患者健康信息由设施护理提供方收集。所公开的成像装置所进行的测量由事先训练过进行成像测试的医院工作人员执行。
用于覆盖截肢剩余部分的皮肤区域通过LOA组织分类器分级成阳性或阴性愈合能力。进行截肢部位分析的技术人员对将在何处进行截肢的临床决策结果不知情。
为了获得真实的阳性(+)和阴性(-)结果或者非愈合和愈合受试者,所公开的技术使用标准化的截肢后初始伤口愈合评估(表2)。该评估包括以下三类:成功截肢、成功截肢但愈合延长、无法愈合。成功截肢为:在30天内愈合,具有完全肉芽组织生成(granulation),不需要另外的截肢。成功截肢但愈合延长为:延迟愈合,30天时肉芽组织生成不完全,但是六个月内会最终愈合,不需要再次截肢到更近端的水平。最后,无法愈合的特征为:坏疽和/或腐败发展,和/或需要再次截肢到更近端的水平。另外,所公开的技术可以将伤口需要血管重建以愈合视为无法愈合。
表2标准化伤口愈合评估
这些愈合评估在手术后30天进行。对于延迟愈合的受试者,所公开的技术可以在手术后六个月时进行第二次愈合评估。六个月时未愈合并且未进行过更近端的再次截肢的受试者被归类到未愈合的组。
图15B示出了生成用于截肢水平的分类器模型的示例步骤。在创建初始准确度之后,可以利用提高准确度的一套标准方法来研发该分类器(图15B)。该处理中的一个问题是权衡偏差和方差,这是大多模型会遇到的问题。换言之,该分类器非常适合目前的研究组的数据,但并不适用于一般人群。为了解决该问题,所公开的技术可以进行特征选择,以高准确度且变量间最小冗余来创建微循环测量和患者健康数据的组合(即,利用协方差从模型中淘汰信息)。可以使用一系列分类器模型对数据进行分类,包括但不限于:线性和二次判别分析、决策树、聚类、神经网络和卷积神经网络。
所公开的技术可以以与当前的护理标准(70~90%)相媲美的准确率预测截肢的初始愈合,并且在大规模临床研究中可以实现准确度的提高。
有时通过截肢手术进行血管重建过程,并且该额外的过程可能会影响诊断结果。记录这些病例并在统计分析中予以考虑,以识别这些过程与诊断决定的结果之间是否存在任何相互影响。另一个潜在的问题是在二分装置输出(dichotomous device output)中将延迟愈合组与愈合组结合。延迟愈合人群和愈合人群之间可能存在显著差异,可以将其作为单独的类别包含在诊断输出中。反之,延迟愈合组可能具有与非愈合组更为一致的数据,因此不容易将其区分开。在这种情况下,所公开的技术可以将来自更接近的图像的数据包括到分类器中。在这种情况下,该装置的临床实用性仍然可以是有价值的,作为工具识别截肢的并发症,而非简单地判断成功或失败。
在该研究中,皮肤色素沉着差异可能给收集自受试者的测量值带来变化。为了克服这些差异,所公开的方法可以包括患者组织的健康区域的识别,伤口组织测量值据此可以被标准化。其他可选方案可以自动识别患者皮肤的黑色素指数,并且可以将黑色素指数作为患者健康指标输入,作为分类器中的变量或作为从多个不同分类器中选择合适分类器的因素输入。
另一个问题是对于患有PAD的患者可以看见皮肤的正常血流。这可能是侧副管补偿的结果。然而,这表明患有PAD的患者运动反应不良且短期缺血。一种可以容易实施的改变为:在所测量的肢体中血压袖带膨胀形成3分钟缺血之后,测试患者的成像信号。PAD是众所周知的延长时间达到峰值反应性充血反应的50%,这可以通过截肢部位分析系统评估的组织的相同光学特性来测量。
图15C示出了根据本公开的用于生成机器学习模型的示例步骤。机器学习(ML)可以是用于同时分析多个变量以达到医学诊断的有价值的工具,例如,本文所述的PPG信息、MSI信息和患者健康指标信息。本文所述的开发ML组织分类器的方法可以包括如图15C所示的以下步骤:1)定义临床问题,2)选择要测量的变量,3)收集数据以训练分类器,4)测量分类器的准确度,5)识别错误源,6)修正分类器以校正错误并提高准确度,7)使用独立的数据集冻结和验证准确度(图3)。
在开发所公开的ML分类器中的一个考虑是模型从临床研究组到总人群的可转移性。为了确保更好的可转移性,可以仔细考虑以选择表示将使用分类器的最终人群的训练数据。为此,在一些实施方式中,可以基于训练数据将分类器分为多个变体,该训练数据由诸如糖尿病状态、BMI、吸烟状态和本文所述的其他指标等患者健康指标的通用值分组。可以基于一个或多个患者健康指标的通用值对训练数据进行分组,以提供特定于某些患者人群的许多细化分类器。此外,在模型中实施的临床变量的选择可能很严格。随着从感兴趣的人群中收集到更多数据,新信息可以整合到数据库中,并用于重新训练或“智能化”分类器。
ML非常适合于处理在所选LOA处预测愈合的多元问题。在诊断LOA时,存在提供有用信息的许多因素,但是它们对最终决定的个别重要性目前取决于定性的临床判断。相反,ML整合了多个变量,并为这些变量分配适当的权重,从而实现定量输出。组织分类器分析通过PPG成像和MSI收集的光学数据,以定量地预测截肢部位的愈合。可以将输出转换成图像,该图像在潜在的LOA处对皮肤组织的微循环健康状况进行分类,和/或识别与预测的最佳LOA相对应的线或区域。
作为该评估的一部分,所公开的技术可以从众多截肢患者那里收集数据,目的是对诊断机器学习分类器进行训练,以诊断各种截肢场景中的愈合潜力。通过所公开的装置进行的成像是快速、无创且非接触式的,并且因此可以在诸如床边等常规护理机构中或手术前进行成像研究。
图16示出了可能在截肢过程中涉及的组织的图形示例图。虚线表示皮肤切开的位置,红色椭圆表示对于成功的截肢初始愈合必须是有活性的皮肤位置。
诊断模型中可以使用的重要患者健康信息可以由临床工作人员在各临床部位进行收集。所公开的技术不会收集超出护理标准的任何数据。这些患者健康指标可以包括但不限于:糖尿病控制的指标(例如,HbAlc、葡萄糖和胰岛素)、吸烟史、肥胖(例如,BMI或消瘦周长)、营养(例如,白蛋白、前白蛋白、转铁蛋白)、感染(例如,WBC、粒细胞状态、体温、抗生素使用)、年龄、损伤机能和重要药物(例如,糖皮质激素或者化疗)。通过将该信息输入截肢部位分析系统的软件中,可以将这些患者健康指标值(例如,在某个尺度上,二进制“是”或“否”值,代表患者健康指标等级的值等)添加到诊断分类器。
基于采集自各患者的临床特征,机器学习分类器可以将受试者分成未愈合(+结果)和愈合(-结果)的类别。一些实施方式可以将所有的特征包括在分类器中。然后,可以通过如下的十折交叉验证来判断分类器的准确度:首先,利用随机囊括的60%的受试者生成分类器系数,然后,通过经训练的分类器分类剩余的40%的受试者。使用标准灵敏度和特异度方法,可以计算分类器对40%保留组中的受试者进行分类的准确度。这可以重复10次,以生成稳定量化的准确度。
图17A示出了用于截肢部位成像评定的示例临床研究流程图。选择满足纳入和排除标准的受试者。可以通过使用公开的MSI和PPG成像装置对皮肤进行成像来收集各受试者的微循环数据。针对每条等待截肢的肢体,可以进行每次大约30秒的扫描。该装置可以根据PAD患者的传统截肢手术方法对脚踝和脚部区域进行成像,包括:膝盖上(AKA)、膝盖下(BKA)、脚踝上(即,脚部)、跖骨或脚趾。可以选择用作皮瓣以覆盖残端的皮肤区域进行分析,以识别皮瓣组织是否具有所需的循环水平,从而有助于成功截肢(图16)。可以从皮肤区域收集PPG和MSI图像,该区域将用于各传统LOA处的残端的最远端部分的皮瓣。由于组织的该区域对手术部位的初始愈合的影响,因此可以选择组织的该区域。
图17B示出了用于截肢部位成像评定的示例临床研究流程图。选择满足纳入和排除标准的受试者。在使用所公开的成像装置进行成像的过程中可以进行截肢部位愈合的诊断。针对每条等待截肢的腿部,可以进行每次大约30秒的扫描。该装置可以根据PAD患者的传统截肢手术方法对脚踝和脚部区域进行成像,包括:膝盖上(AKA)、膝盖下(BKA)、脚踝上(AAA)、跖骨或脚趾。可以选择作为皮瓣来覆盖残端的皮肤区域进行分析(图16)。
诊断模型中使用的重要的患者健康信息可以由临床工作人员在各个临床站点处收集,或者被授权从诸如患者电子病历等电子医学信息数据库中自动提取。所公开的技术符合所有适用的隐私法规,并且不会收集超出护理标准的任何数据。患者健康指标可以包括:糖尿病控制的测量(例如,HbAlc、葡萄糖和/或胰岛素)、吸烟史、肥胖(例如,BMI或消瘦周长)、营养(例如,白蛋白、前白蛋白或转铁蛋白)、感染(例如,WBC、粒细胞状态、体温或抗生素使用)、年龄和/或重要药物(例如,糖皮质激素或化疗)。通过将信息输入截肢部位成像装置上的软件中,可以将该信息添加到诊断分类器中,或用于选择基于来自具有相应患者健康指标值的患者的数据进行训练的合适的分类器。
来自受侵袭肢体的五处截肢部位的PPG和MSI成像测量可以被评估以判断伤口愈合潜力。基于各肢体,所公开的技术可以判断总的愈合分值,并将这些测量值与肢体中的实际截肢成功进行比较,以得到评估的总体准确度。这可以得出接受者操作特征(ROC)、灵敏度和特异度的结果测量。
对于分级的伤口愈合的一种可能的结果测量,所公开的技术可以将临床医生确定的截肢位置的自动截肢部位诊断与标准化伤口愈合评估确定的截肢成功进行比较。该分析可以得出截肢部位诊断分类器的接受者操作特征(ROC)曲线。
该试验创建了装置的灵敏度和特异度,并且验证了这些数值优于选择LOA的临床判断。所创建的目标为:截肢部位分析系统在诊断LOA中达到95%的灵敏度和95%的特异度,优于目前临床判断的70~90%的准确度。为了创建样本大小,所公开的技术首先可以得到阳性预测值(PPV)和阴性预测值(NPV),这需要了解该疾病的患病率。所公开的截肢部位分析技术可以识别出待筛查人群中(年龄>18岁的患者因微血管疾病而需要对受侵袭的肢体进行首次截肢)中再次截肢到更近端的水平的患病率接近20%(基准)。因此,期望的阳性预测值为97%,并且期望的阴性预测值为93%。
使用Steinberg等人2008年提出的方法进行用于测试下面假设的样本大小的分析,参见“Sample size for positive and negative predictive value in diagnosticresearch using case-control designs”,Biostatistics,第10卷,第1期,第94~105页,2009年。其中,显著性水平(α)为0.05,期望权值(β)为0.80。
对于PPV 对于NPV
H0:PPV系统=PPV临床判断 H0:NPV系统=NPV临床判断
H1:PPV系统>PPV临床判断 H1:NPV系统>NPV临床判断
结果表明,根据愈合评估(图18),拒绝这些零假设(null hypotheses,H0),所公开的技术必须能够登记总计236只下肢,其中1/5的肢体未愈合(+结果)。然而,因为在登记前不可能知道受试者的疾病状况,所以所公开的技术不能将该比例预先选择为1/5。因此,该比例可能不同。如果该比例太低,1/10的肢体未愈合(+),则所公开的技术可能需要大约总计450只肢体,如果该比例太高,3/5的肢体未愈合(+),则所公开的技术可能只需要总计124只肢体。
图17C示出了用于训练本文所述的机器学习分类器的示例训练研究流程图。在阶段I中,所公开的成像装置将用于收集数据以最终完成在招募截肢患者组的临床研究中对分类器的训练(图17C)。作为非重要风险研究的一部分,将在截肢之前在常规护理机构中进行成像研究。
在该训练研究期间,将获得训练图像的大数据集,将在该训练图像上评估特定分类器部件中变量的测试,目标是能够实现90%的灵敏度和特异度。标准化截肢愈合可以基于截肢的最终结果(愈合或未愈合)来判断。可以经由收集数据来执行训练,该数据准确地代表最终将使用分类器的人群。重要的是,分类器只能与用于识别训练数据的真实状态的方法一样准确,在这种情况下,是由临床医生选择的截肢部位的愈合或未愈合。因此,所公开的技术涉及生成标准化截肢愈合评估系统(SAHAS)以对结果进行分类(下表3)。另外,预期肤色至少会影响MSI光学测量。因此,例如,使用来自便携式色度计的数据,截肢部位分析系统可以根据受试者的黑色素指数对受试者的肤色进行分类,并在分类器开发中利用该数据。
表3
将从拥有最繁忙的血管外科手术组之一的49家医院和8个伤口护理中心收集训练数据。针对纳入和排除标准,对受试者进行评估。纳入标准包括患者对继发于PAD的肢体要求进行首次截肢,能够签署知情同意书,并且年龄至少18岁。根据以下一项或多项评估,PAD被定义为由于动脉粥样硬化而引起的动脉供血不足:ABI 0.9;双工超声检查显示临床上有明显的阻塞;动脉造影;或评估显示中位动脉钙化。排除标准包括无PAD诊断、对受侵袭的肢体进行过截肢或寿命预期少于6个月。
将在术后30天对患者进行评估,以根据SAHAS确定临床医生选择的LOA上的初始伤口是否已成功愈合,从而可以训练分类器。
待截肢的下肢将由受过训练以使用所公开的成像装置的医院工作人员进行成像。研究协调员将记录受试者的黑色素指数,以及在30天时由主治血管外科医生获得的SAHAS数据。
在截肢之前根据标准化方案招募一百六十(160)个受试者并对其进行成像(图17C)。在对截肢分析结果不知情的临床医生已确定LOA的同一临床谈话期间进行成像。截肢后30天,使用SAHAS对受试者的术后伤口愈合进行评估(表3)。可以基于临床愈合评估的结果(愈合vs.未愈合)对截肢前的图像数据进行“真实化处理”,并用于训练分类器。
可以从收集到的数据中训练对未愈合和愈合类别进行分类的分类器。为了训练分类器正确地识别截肢部位中的微循环区的能力,所公开的技术可以将捕获的图像“真实化处理”为截肢部位的微循环区的真实状态(例如,真值掩码;图20B),并且基于该真实化处理的数据对分类器进行训练。为了获得截肢部位的微循环区的真实状态,在30天时对受试者进行临床评估,以根据SAHAS对截肢部位进行分类。临床愈合评估的结果将用于帮助医师在所捕获的图像上标记截肢部位微循环的真实区域。可以将真值加原始图像数据作为输入包含到分类器训练协议中。
分类器最初可以包括所有建议的组织测量值(PPG和MSI)。这些测量值以及患者健康指标信息可以用于训练用于生成初步数据的全卷积神经网络。另外,可以测试预处理和后处理方法以及其他分类器,以提高准确度。使用10倍交叉验证程序可以确定分类器的准确度:1)使用训练样本生成分类器系数,该训练样本由随机选择且没有替换的60%的受试者组成(训练组);2)利用经过训练的分类器对其余40%的受试者(测试组)进行分类;3)量化分类器的准确度;4)重复10次以生成灵敏度和特异度的稳定测量。然后,可以选择最准确的分类器架构。对这些表现最好者的进一步分析会涉及生成接收操作特征(ROC)曲线。
为了解决肤色的潜在影响,所公开的技术可以评定肤色对来自不同微循环类别的原始光学测量的影响。如果这种影响很明显,则所公开的技术可以将各受试者的黑色素指数测量值纳入分类器中,进行重新训练并评定分类器的准确度。在某些实施方案中,黑色素指数可以使用所公开的成像系统来自动识别,可以由临床医生输入,和/或可以从电子记录中提供。在一些实施方案中,这可以提供分类器性能的显著改善,并且可以用于开发方法,以在利用所公开的成像装置进行成像期间获得受试者的黑色素指数(例如,通过开发分类器以直接从MSI测量获得黑色素指数)。
在创建初始灵敏度和特异度之后,所公开的技术可以利用标准方法集来改进分类器。该过程中的一个问题是解决复杂分类器所固有的权衡。复杂的分类器非常适合于从其衍生的数据,但是由于其复杂性,所以它们可能无法转移到其他人群。为了解决这个问题,所公开的技术可以进行变量选择以创建PPG和MSI测量的组合,其提供高准确度并且在测量之间的最小冗余。变量选择同时对模型中各测量的重要性进行排名,以突出显示哪些光学信号对所公开技术的诊断准确度最为关键。对分类器的最终改进可以允许将其成功地推广到随后的截肢患者。另外,所公开的用于研究各种ML技术的方法可以使得能够获得各种复杂度的模型,以在阶段II中进行验证,如以下关于图17D所述的。
通过估计达到最大分类器准确度所需的受试者数量来确定160的组大小。当前,没有用于预测机器学习分类器开发的训练规模的标准化方法。然而,研究表明,随着训练数据集中观察次数的增加,机器学习分类器的准确度会收敛到其最大值,并且添加更多的训练数据不会提高性能。为了识别所公开的截肢部位组织分类器的最可能的收敛点,所述的训练技术可以使用来自初步研究部分的数据,模拟来自活性和患病的微循环组织的光学数据。利用该数据,所公开的技术可以训练四种不同的机器学习分类器,并识别这些分类器将收敛到其最大准确度的样本大小。多个分类器可以用于获取收敛点的更全面的评估。这些与初步数据部分中使用的分类器的不同之处可以在于,与在初步数据示例中使用的复杂卷积神经网络相反的是,这四个通用分类器可以不那么复杂,因此期望提供样本大小的更保守的估计。
可以收集足够的数据,并将其交叉引用到使用SAHAS的截肢后临床伤口愈合评估中,以训练稳健分类器,从而预测截肢部位的愈合。分类器的阶段I(初步测试)可以证明其准确度高于所期望的90%的灵敏度和特异度,以便在阶段II中获得很高的成功机率。基于临床前测试的截肢受试者,160个受试者的样本就足以训练具有90%准确度的稳健分类器,这超出了当前的护理标准。
与许多预测模型一样,期望分类器在训练数据方面表现得非常好。然而,一个问题是解决分类器对训练数据集中未包含的数据的普遍适用性。“过拟合”是机器学习模型的术语,是指在训练数据集中非常准确,但是在一般人群中表现较差。阶段II的验证研究的目的是为了评估过拟合。阶段II中的成功机率可以通过两种方法来提高。第一种方法是利用称为正则化的机器学习技术来降低分类器的复杂性以及过拟合成为显著问题的可能性。第二种方法可以是通过采用用于对数据进行分类的多种机器学习技术来生成多个分类器变量,例如,通过基于患者数据的共性将训练数据分组为子集。可以在阶段II中的验证数据上测试各技术。
如果确定肤色是分类器的预测的混淆变量,则可以通过以下两种方式中的一种来解决:1)将这个变量合并到ML分类器中,并确定该特征的存在是否改善了性能;或2)根据此变量的级别将训练数据分成小组,并确认分类器性能不足的级别。一旦确认了这些级别,所公开的技术就可以分割数据并在各级别处生成单独的分类器。这可能涉及从黑色素指数量表内的某些子群收集更多的训练数据。
在极少数情况下,未愈合截肢部位可能是缺乏流向伤口的微循环血流以外的其他过程的结果。例如,手术部位感染、营养状况不佳或受试者未遵守伤口处理规定可能会独立于分类器所测量的因素而妨碍截肢部位的愈合。在这些情况下,受试者的医师可以对受试者进行检查,以确定是否应将其数据包括在内以用于分类器训练。
图17D示出了阶段II的示例验证研究流程图,该流程图包括本文所述的经训练的机器学习模型的验证结果。阶段II可以是验证研究,以针对LOA选择进一步评定所公开的机器学习模型的灵敏度和特异度。在该阶段完成时,可以确认所公开的分类器具有90%的灵敏度和特异度,用于在潜在LOA处检测皮肤组织的微循环健康。除了验证分类器的准确度之外,还可以将分类器对截肢部位的评估与临床评估进行比较,以证明该装置在临床环境中的潜在影响。
位置、患者招募、同意、纳入&排除标准以及数据收集可以与阶段I相同。
可以使用来自阶段II研究的数据来验证先前训练和冻结的分类器(图17D)。验证可能需要证明当分类器应用于新的研究人群时达到了预定的灵敏度和特异度目标,从而确认分类器对原始训练队列以外的患者的普遍适用性。目标可以是所公开的分类器正确识别截肢部位微循环区的能力的90%灵敏度和特异度。
可以记录临床医生对截肢部位处组织的愈合潜力的评估,并将其与所公开的分类器对愈合潜力的判断进行比较。在识别截肢的真实愈合状态之后,验证技术可以判断与由分类器进行的那些截肢评估相比,医师作出了多少次正确的截肢评估,以证明该装置在临床设定中的潜在影响。
阶段II验证研究的临床试验工作流程反映了阶段I的训练研究的工作流程,允许验证在阶段I的训练研究期间收集的数据。验证研究设计可以包括65个受试者,取决于在阶段I的训练研究中截肢部位未愈合的发生率。
为了验证分类器正确识别截肢部位中的微循环区的能力,验证技术可以将ML图像结果与截肢部位的微循环区的真实状态进行比较。截肢部位微循环区的真值掩码可以按照阶段I训练研究中使用的方式获得。可以将真值掩码与分类器产生的微循环区的图像进行比较。这种比较可以验证机器学习分类器在识别截肢部位的微循环状态时的灵敏度和特异度。
临床医生对愈合潜力的评估与分类器的评估的比较可以包括以下分析:通过使用先前收集的SAHAS数据来检查截肢的30天愈合状态,可以获得医师的成功率;成功的截肢将等同于医师成功地选择了合适部位。为了确定分类器的成功与失败,可以在截肢前的输出图像中识别出组织区域,其中所识别的区域可以用来覆盖截肢部位(图16)。可以计算出被系统分类为未愈合的该识别区域或感兴趣区域(ROI)的百分比。FROC分析可以用于识别ROI中最能准确预测未愈合截肢的非活性组织的阈值百分比。针对各截肢部位评估,该分析可以提供单一的“愈合”或“未愈合”预测。使用McNemar的重复比例测试,可以将分类器基于此ROI分析作出的截肢决定与医师的截肢愈合结果进行比较。
阶段II研究旨在验证所公开的技术在确定潜在LOA处皮肤的微循环状态时的灵敏度和特异度,并将分类器的准确度与真实微循环状态进行比较。收集验证数据集的完善方法可以用于验证,该验证数据集是160个受试者的训练集的30%。考虑到影响截肢愈合的潜在的混淆情况,可以再增加10%的受试者,使得总共为64个受试者。
次要结果的功效分析的结果来自总共65个受试者。次要结果是使用McNemar的对比例测试,将基于ROI分析的分类器对愈合潜力的判断与医师的截肢愈合结果进行比较。下面的列联表(表4)表示验证研究如何能够将选自临床医生和所公开的分类器的截肢部位结果配对:
表4
该测试的假设是:H0:Π12≠Π21,以及H1:Π12≠Π21;其中Π12是当临床医师成功时自动化截肢部位分析失败的预期比例,Π21是当自动化截肢部位分析成功时临床医师失败的预期比例。使用以下公式:
其中πd=π12+π21
为了执行该计算,所公开的技术可以将Π12估计为0.27,并且将Π21估计为0.07。这些数字基于截肢失败的患病率(大约30%)以及所公开的用于预测LOA的技术的期望的90%灵敏度和90%特异度。验证可以使用幂设定为0.80并且α为0.05的双侧检验(2-sidedtest)。因此,65个受试者的样本大小将对该次要结果提供80%的影响。
阶段II研究可以验证分类器在判断多个LOA处潜在截肢部位的微循环状态时达到了90%灵敏度和特异度的既定目标。另外,该研究可以表明,这项技术代表了对遭受继发于PAD的截肢的患者的当前护理标准的重大改进。
该研究设计基于图17C所表示的阶段I研究。
所描述的训练和验证技术为所公开的技术的应用设置了较高的标准,以选择适当的LOA。然而,截肢失败是重大的临床问题,缺乏用户友好、定量和安全的解决方案;并且适当的LOA划定中的任何增量改进都应使得患者的治疗效果得到显著改善并节省成本。
图18示出了示例统计样本大小分析结果。总的样本大小基于研究组中截肢未愈合(+)与愈合(-)的比值。显著性水平(α)为0.05,期望权值(β)为0.80。
考虑到阳性受试者与阴性受试者的比值可能变化,所公开的技术可以包括计入236个原始估计的大约50%多的受试者。因此,总样本大小可以按总计354个受试者建立。所公开的技术会在采集研究数据时对研究数据进行监控,计算所研究的肢体总数以及不成功截肢肢体(+结果)与成功截肢肢体(-结果)的比值,而在获得适当的比值和总样本大小时就会停止研究。
为了判断自动化截肢部位分析输出与初始伤口愈合的相关程度,所公开的技术将自动化结果与标准化愈合评估进行比较,其中标准化愈合评估将受试者分为愈合组或未愈合组。根据该比较,发现了相关性,其支持预测截肢后初始愈合的高灵敏度和特异度。ROC包含决策阈值,这使得灵敏度和特异度大于当前护理标准所建立的要求值(70~90%准确度)。
用于机器学习训练数据的足够大的样本大小可以增强在诊断模型中使用的所有非成像数据(患者健康指标)的重要性。例如,糖尿病可以是重要的临床特征,但是在小样本大小中,所有患者都可能患有糖尿病,或者糖尿病的发生率可能不足以研究其影响。因此,在没有足够的样本大小的情况下,不能解释该伴随疾病在所公开的诊断分类器中的存在。患者研究组在总体健康状况方面可以有很多相似性,但是这些变量中的一些变量可以在不同水平下进行测量,而不能作为二分项简单地进行处理。例如,糖尿病受试者可以具有通过HbAlc和血糖测试测出的一系列对照物。对于不可行的情况,所公开的技术可以通过观察更大量的截肢人群来考虑继续收集该数据。在一些实施方案中,当在中央数据库中从所公开的成像装置收集附加数据并且通过从这种附加数据中进行训练来改进机器学习分类器时(例如,使用如上所述的类似技术),可以将改进分类器或基于训练数据的不同子集的分类器集合供给到现场的诊断机器。
图19示出了本文所述的截肢部位组织分类过程的示例图形表示。可以从截肢部位同时或顺次地收集PPG和MSI数据。根据每幅图像的像素(在一些示例中大约可以为一百万个像素),可以计算出多个独立的测量值,包括PPG脉冲幅度值和各MSI波长处的强度值。来自各像素的数据可以单独反馈到先前使用已知患者数据训练过的分类器中。分类器可以针对各像素返回一个值,该值代表微脉管系统的健康和截肢后成功愈合的潜力。这些可以以图像的形式呈现给医师。例如,可以通过将特定值或值的范围与许多组织类别中的一种相关联来显示分类,生成该类别的视觉表示以进行显示(例如,颜色或图案填充),并利用对其进行分类的类别的视觉表示来显示像素。这样,可以将不同组织健康类别的映射覆盖到患者截肢部位的图像上。在一些实施方案中,另外或者可选择地,基于对分类的组织区域的分析,推荐的LOA或可能的LOA的区域可以覆盖在图像上。
图20A示出了由医师标记的截肢部位的示例图像,图20B示出了基于图20A的图像生成的组织分类映射的示例图像。
为了确定在对患有PAD的受试者进行截肢评估期间分类器准确地识别了下肢组织的微循环健康,在截肢之前从多个受试者收集图像。跟踪这些受试者大约30天,以判断收集的图像是否与最终的截肢部位愈合状态相关。受试者患有严重的PAD,并计划在一只下肢上进行截肢。
在其计划截肢的当天,就在准备进行手术之前,从将要进行截肢的肢体区域收集受试者的图像。图像包括已进行截肢评估的区域、在某些情况下的脚部以及更接近截肢部位的肢体的其他区域。从各成像位置获得图像集。该图像集包括在不同波长的光下捕获的八幅MSI图像,该波长包括(以中心波长±半峰全宽列出):420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nm以及855nm±30nm。使用相应的波长带通滤波器来捕获这些图像,并以大约4~6fps的帧速率采集。该组图像还包括使用855nm带通滤波器捕获的400幅时间分辨图像,这些图像以30fps的帧速率顺次采集。当连续采集这些图像时,成像大约需要15秒,其中在使用一些系统捕获连续MSI图像之间大约间隔4~6fps,而其他系统可以同时捕获所有的八幅MSI图像。相机的方位可以在各图像之间变化,并且在一些实施方案中,可以在计算之后记录各像素处的愈合分类得分。成像系统与组织部位之间的距离为40cm,并且成像系统的视场为15×20cm。术后30天对截肢部位的愈合或未愈合进行评定。
训练机器学习分类器以检测成像的组织中的三个微血管血流区域,包括(1)活性皮肤(不受PAD影响的组织),(2)小血管疾病(SVD)(受PAD影响的血管受损的皮肤),以及(3)坏死(皮肤和失去活性的皮下组织)。
为了训练机器学习分类器,首先,受试者的外科医生通过在描绘成像区域的图像上划分出三个微循环类别来“真实化”所捕获的MSI/PPG图像。为了提高外科医生对这些图像的标记的准确度,在获得30天截肢愈合评估的结果之后,外科医生对图像进行了划分。这些划分的图像被转换成用于标记受试者的MSI/PPG图像中的各像素的数字图像(图20A)。一旦标记了各像素,就对机器学习模型分类器进行训练,以对组织微循环的类别进行分类。所使用的机器学习模型是全卷积神经网络,并且输入到该模型中的数据包括MSI和PPG图像。图像矩阵具有以下尺寸:1408像素x 2048像素x 9个特征。
使用来自三个受试者的72幅图像对分类器进行训练。在训练之前,将每个受试者的一幅图像保留在训练集中,以用作测试图像。一旦完成训练,就在该保留图像上测试分类器的准确度,以获取在该图像内的分类器的准确度。
有别于训练图像,系统获得来自一个受试者的截肢后的图像,以判断分类器是否可以对未用于训练的图像作出准确的预测。
图21示出了所公开的截肢机器学习技术的交叉验证结果。左列显示了刚好在手术之前的截肢部位的彩色图像;中间栏显示了术后30天由外科医生确定的真值数据;右列显示了分类器训练后的自动化截肢部位分析输出结果。这表明分类的光学数据与外科医生对潜在截肢部位的三个微血管血流区域的临床判断密切相关,准确度达到97.5%,如下表5所示。表4示出了所公开的截肢愈合评估技术的混淆矩阵和平均效率。平均效率计算为97.5%±3.4%。
表5
图22示出了在训练所公开的截肢机器学习分类器之后被分类的示例图像。左上方的图像示出了经-骨截肢的术后部位,其中残端无法愈合,并且需要再次手术。这是图6的第一行中所示的同一只脚。右上方图像中的ML分类器输出显示了用于覆盖残端的小血管疾病和皮肤坏死,这与临床结果一致。未在分类器训练中使用的受试者健康大腿的对照图像(左下)和对照图像的ML分类器输出(右下)证明了该分类器可以以高准确度识别活性组织。
总之,使用来自需要截肢的患有PAD的一组初步受试者的图像来训练和测试所公开的分类器。可以理解,所公开的技术可以应用于没有PAD的截肢患者。分类器显示出与肢体中的组织微循环的实际状态极佳的相关性,大约为98%。同样令人印象深刻的是,该分类器可以处理新的未知图像并准确识别组织的微血管状态,这意味着预截肢图像可以用于预测受试者的未愈合截肢部位。
使用截肢部位分类器对患者组织进行分类的一个实施方案可以使用以下步骤来实现。本文所述的诊断系统可以捕获伤口部位(例如,包括潜在的截肢部位的组织区域)的PPG和/或MSI图像数据。该系统可以例如通过校正捕获的图像集来从图像数据生成伤口部位的映射,从而该组图像上的相同像素位置表示成像的组织区域的大致相同的物理位置。在一些实施方案中,可以将映射分割成描绘伤口部位的像素和不描绘患者组织的背景像素。针对描绘伤口部位的各像素,该系统可以确定PPG幅度值和MSI反射强度值。在捕获图像数据之前、期间或之后,系统可以接收患者健康指标的输入,例如,作为来自医师的输入或作为由电子病历自动提供的数据。
基于患者健康指标,系统的一个实施方案可以将患者健康指标值作为变量与PPG和MSI值一起输入到分类器中。可以使用本文所述的机器学习技术来生成分类器。该系统可以使用分类器,并且基于PPG值、MSI值和患者健康指标值的加权组合,将伤口部位的各像素分类为坏死的、活性的或小血管疾病中的一种。该系统可以生成视觉上代表伤口部位的各像素分类的掩码图像(mask image),并输出该掩码图像输出,以显示给临床医生。
基于患者健康指标,系统的另一个实施方案可以选择多个分类器变型中的一个分类器,其中各变型基于训练数据的子组,各子组代表具有患者健康指标值的不同组合的患者。可以从训练数据生成选择的分类器,该训练数据具有与感兴趣患者的那些患者健康指标相匹配的患者健康指标。系统可以将确定的PPG和MSI值输入到所选分类器中。该系统可以使用选择的分类器,并且基于像素处的PPG值和MSI值的加权组合,将伤口部位的各像素分类为坏死的、活性的或小血管疾病中的一种。该系统可以生成视觉上代表伤口部位的各像素分类的掩码图像,并输出该掩码图像,以显示给临床医生。
可以理解,例如,通过基于某些患者健康指标执行分类器选择并且通过将相同或其他患者健康指标输入到分类模型中,一些实施方案可以实现上述分类技术的组合。除了掩码图像之外,一些实施方案还可以输出自动确定的LOA或覆盖伤口部位的映射的潜在LOA位置的区域。
给定训练数据的大型数据库,该数据库包括诸如性别、糖尿病状况、年龄、吸烟史等信息,则所公开的ML训练技术可以基于与感兴趣的患者的这些指标的值相匹配的那些参数来对数据库进行子集化,基于整体训练数据库的此子集对分类器进行训练,然后提供更加定制化的分类器,以进行更准确的组织分类和/或LOA预测。可选择地,可以将这些参数作为变量输入到分类器中(例如,对于吸烟者,编码为1或0,对于糖尿病,编码为1或0,等等),然后该变量的水平将影响装置的有用性。这种特征在本文中被称为“患者健康指标”。根据一个实施方案,所公开的分类技术可以选择表示将在其上使用分类器的最终人群的训练数据。这可以实时进行,并且可以在对特定患者进行成像之前自动进行,例如,基于有关患者的已知信息自动进行,从而可以从个性化的训练数据池中收集各患者的结果。
如图所示,分类器的输出可以是包括组织分类的不同区域的映射的图像。这样的映射可以通过指示医师将用来构建截肢的组织的疾病状态来帮助医师选择合适的LOA。可选择地或另外,其他实施方案可以提供推荐的LOA或可能的LOA位置的区域的视觉表示,例如,基于组织分类的不同区域的映射以及将分类的组织区域的边界、位置和范围与可能向患者提供合适愈合结果的LOA相关联的机器学习模型来确定。例如,通过为成像器提供更大的视野或通过使用可以对整个肢体(如从脚趾到臀部的腿部)进行成像的系统来捕获图像数据,所公开的系统可以使合适部位的选择过程自动化。
示例分类器的概述
图23A示出了用于生成本文所述的分类的组织图2315的示例分类数据流2300。可以将包括多个时间分辨图像It1-Itn和多个多光谱图像Iλ1-Iλn的输入2305设置在机器学习分类器2310中。如上所述,一系列时间分辨图像It1-Itn可以包括光电容积脉搏波信息,其代表患者组织中的脉动血流。在一些实施方案中,一系列时间分辨图像It1-Itn可以包括数百幅图像,例如,上面相对于训练数据所述的使用855nm带通滤波器(或另一个通过合适的波长的滤波器)捕获的400幅时间分辨图像,这些图像以30fps的帧速率顺次采集。如上所述,可以从一些实施方案中省略一系列时间分辨图像It1-Itn,这可以有益地减少捕获输入数据2305中的图像所需的时间量。
多光谱图像Iλ1-Iλn包括在多个不同波长的光中的每一个处捕获的图像。在一些实施方案中,多光谱图像Iλ1-Iλn可以包括在不同波长的光下捕获的八幅图像。作为一个示例,波长可以包括(以中心波长±半峰全宽列出):420nm±20nm、525nm±35nm、581nm±20nm、620nm±20nm、660nm±20nm、726nm±41nm、820nm±20nm和/或855nm±30nm。可以使用相应的波长带通滤波器来捕获这些图像,并以大约4~6fps的帧速率采集。时间分辨图像It1-Itn和多光谱图像Iλ1-Iλn各自可以具有相同的x×y像素尺寸,并且在一些实施方案中可以具有跨越图像集定位的大致相同的对象。可以从变化的视点捕获其他实施方案,并且可以在输入到机器学习分类器2310中之前对图像进行配准。可以从不同的视点捕获其他实施方案并分别提供到分类器2310,其中输出像素分类分值的映射在计算之后进行登记。
在一个实施方式中,输入2305的图像集可以是成像的组织部位的二维图像。在一些实施方案中,可以全部从单个视点捕获图像。在其他实施方案中,该图像集可以包括MSI和PPG图像的多个子集,其中各子集是从潜在截肢部位的整个周长周围的不同视点捕获的。在一些实施方案中,可以将这样的图像缝合在一起以形成组织部位的全景图像集。其他实施方案可以经由包括多个相机的成像系统生成全景图像集,该多个相机可以在一次扫描中协作地捕获围绕组织部位的一些或全部周长。在另一个实施方式中,来自组织部位周围的图像信息可以用于构造组织部位的3D模型,并且所公开的分类器可以在包括时间分辨数据和多光谱数据的一组3D模型上进行操作。
在一些实施方案中,机器学习分类器2310可以是人工神经网络,例如,卷积神经网络(CNN),如关于图23B更详细地讨论的。在其他实施方案中,机器学习分类器2310可以是另一类型的神经网络或适合于根据监督学习来预测像素级分类的其他机器学习分类器。在某种意义上,人工神经网络是人工的,它们是计算实体,类似于动物的生物神经网络,但是由计算装置实现。神经网络通常包括输入层、一个或多个中间层以及输出层,各层都包括多个节点。每层中的节点都连接到后续层中的一些或所有节点,并且在训练过程中通常从数据中学习这些互连的权重。每个单独的节点都可以具有求和函数,该求和函数将其所有输入的值组合在一起。具体地,相邻层的节点可以彼此逻辑连接,并且相邻层的各个节点之间的各逻辑连接可以与各自的权重相关联。节点可以被认为是计算单元,其作为多个不同的输入值的函数而计算输出值。当与目前节点相关联的函数的输入值包括与上一层中的节点关联的函数的输出乘以与当前节点和上一层中的节点之间的各个“连接”关联的权重时,可以将节点视为“连接”。
CNN是一种前馈人工神经网络。CNN的层具有按3个维度排列的节点:宽度、高度和深度。层内部的节点仅连接到宽度和高度层之前的一小部分区域,称为感受场(receptivefield)。在一些实施方案中,卷积滤波器可以是二维的,因此可以针对输入量或图像的指定子集中的各图像重复卷积(或图像的卷积变换)。在其他实施方案中,卷积滤波器可以是三维的,因此延伸通过输入量的节点的整个深度。将局部或完全连接的不同类型的层堆叠,以形成CNN架构。CNN的各卷积层中的节点可以共享权重,使得在输入量的整个宽度和高度上复制给定层的卷积滤波器,从而减少了可训练权重的总数,并增加了CNN在训练数据之外的数据集上的适用性。
可以在称为训练的过程中设置CNN的参数。例如,可以使用训练数据来训练CNN,该训练数据包括输入数据和针对相应输入数据的模型的正确或首选输出。通过使用输入矩阵而不是单个输入向量,可以同时处理单个输入向量的集合(“微型批处理”)。CNN可以重复处理输入数据,并且可以修改卷积滤波器(例如,权重矩阵),这相当于一次试验-误差的过程,直到CNN产生(或“收敛”)正确或首选输出为止。权重值的修改可以通过称为“反向传播”的过程来执行。反向传播包括确定预期模型输出与所获得的模型输出之间的差异,然后确定如何修改模型的一些或所有参数的值,以减少预期模型输出与所获得的模型输出之间的差异。
通过一个或多个处理器,例如,一个或多个图形处理单元(GPU)2340,机器学习分类器2310可以实现为代表机器学习分类器2310的计算结构的计算机可执行指令。在一些实施方式中,基于各图像的尺寸并且基于GPU 2340的能力,例如,每次微型批处理八幅图像,可以在包括来自总输入图像集2305的图像子集的微型批处理中对输入2305进行处理。在这样的实施方式中,训练会涉及批量反向传播,以跨过CNN反向传播微型批处理中的图像的平均误差。
机器学习分类器2310生成逐像素分类(per-pixel classification),其中输出包括针对各[x,y]像素位置的分类值。在训练机器学习分类器2310期间,可以将这些输出分类值与预生成的组织图2315进行比较,并且可以将识别出的错误率反馈回到机器学习分类器2310中。如上所述,预生成的组织图2315可以包括医师在对成像的组织部位进行分析和/或治疗之后生成的真值掩码。机器学习分类器2310可以通过该反向传播来学习各种节点连接的权重,例如,在多个卷积层中的卷积滤波器。
在机器学习分类器2310的实现期间,输出分类值可以用于生成组织图2315,以指示与组织健康的各种指定类别的组织相对应的像素。如上所述,组织图2315可以包括许多视觉上不同的颜色或图案,以指示不同的像素分类,例如,背景2335、健康2330、患病2325和坏死2320。
图23B示出了用于机器学习分类器2310的CNN实现的示例分类器架构。输入2305可以作为[x,y,z]的三维体积提供给CNN,其存储各光谱的原始像素值和/或输入图像集中的光电容积脉搏波图像。输入数据集的各像素值都可以视为CNN输入层中的节点。如上所述,各像素可以具有代表像素的亮度的强度值。在一些实施方案中,此数字存储为8位整数,给出了从0到255的可能值范围,其中零值表示来自未检测到光的光电二极管的“暗”像素,而值255表示来自完全充满光的光电二极管的“亮”像素。输入体积的宽度(x)可以等同于沿着图像x轴的像素数,输入体积的高度(y)可以等同于沿着图像y轴的像素数。输入体积的深度(z)可以等同于数据集中的多光谱图像和时间分辨图像的数量。
如图所示,CNN可以包括对称卷积编码器-解码器架构,该架构包括多个卷积阶段,之后是归一化指数函数层。各卷积阶段可以包括一个或多个卷积层,之后是整流线性单元层(“ReLu层”)。卷积层将计算连接到输入中局部区域的节点的输出(基于内核尺寸),其中各节点计算它们的权重与它们在输入量中连接的小区域的值之间的点积。如上所述,可以在输入量的宽度和高度的3×3块中,并沿着输入量的深度(z)通过一些或全部值使各卷积层的内核(例如,在训练过程中学到的3×3权重块)卷积。在各卷积层上进行卷积之后,ReLu层可以在将输出体积设置到下一层之前应用元素级激活函数。例如,ReLu层的函数可以是将卷积层的输出中的任何负数替换为零,并将输出中的所有正数乘以斜率1的函数。
卷积阶段包括一些编码器卷积阶段(卷积阶段1-5),之后是对应数量的解码器卷积阶段(卷积阶段6-10)。各编码器卷积阶段对应于解码器卷积阶段中的一个,如代表池掩码传输的箭头所示。编码器卷积阶段(卷积阶段1-5)后面分别是池化层(池化层1-5),池化层又将下采样的数据集供给到后续的卷积阶段,并将池掩码(池掩码1-5)供给到相应的解码器卷积阶段(卷积阶段6-10)的上采样层(上采样层1-5)。各池化层1-5将沿着输入体积的空间维度(x,y)执行下采样操作,并将下采样的体积输出到后续阶段。池掩码将有关下采样数据的信息传送到相应的解码器卷积阶段。池化层的功能是逐渐减小表示的空间尺寸,以减少CNN中的参数和计算的量,并且还控制过拟合。池掩码的功能是在允许减少计算量的同时帮助维护被丢弃的空间信息。
为了说明,池化层1-5可以实现最大池化。例如,最大池化可以包括沿着输出体积的空间尺寸识别2×2矩阵的值,找到2×2矩阵中四个值的最大值,并将最大值作为该组块的单个值输出。在一些实施方案中,未沿着输入的深度执行下采样。这样,对于随后的卷积层,各池化层使输出体积的空间尺寸减小了25%。从层输出的池掩码存储其他三个(即,非最大)像素值,并将它们供给到相应的解码器卷积层的上采样层。因此,在上采样期间,使用相应的编码器卷积层的实际值,而不是在值的矩阵中使用零。
归一化指数函数层可以接收卷积阶段10的最终卷积层的输出,并为输入图像的各[x,y]像素位置生成类别概率。归一化指数函数层可以应用归一化指数函数(softmax),该函数是归一化的指数函数,其可以将任意实数值的K维向量“挤压”成累和为1的(0,1)范围内的实数值的K维向量。归一化指数函数层的输出可以是各像素位置的分类分值矩阵或N通道概率图像,其中N是分类类别的数量。在一些实施方案中,可以将像素分配给与该像素处的最大概率相对应的类别。
在CNN的一个示例实施方式中,编码器卷积阶段1和相应的解码器卷积阶段10各自具有两个卷积层,编码器卷积阶段2和相应的解码器卷积阶段9各自具有两个卷积层,编码器卷积阶段3和相应的解码器卷积阶段8各自具有三个卷积层,编码器卷积阶段4和相应的解码器卷积阶段7各自具有三个卷积层,并且编码器卷积阶段5和相应的解码器卷积阶段6各自具有三个卷积层。在一些实施方案中,各卷积层可以实现补充为1且步幅为1的3×3内核。内核中的权重(3×3矩阵中的值)可以应用于输入体积中的各节点。一些或所有内核权重可以在卷积层之间变化或者可以相同,这取决于训练期间作出的判断。
在CNN的其他示例中,编码器和解码器卷积阶段可以具有更多或更少数量的卷积层,各卷积层之后是ReLu层。CNN的其他实施方式可以具有更多或更少的卷积阶段,以使CNN具有相应的编码器和解码器卷积阶段。其他CNN实施方式可能不使用编码器和解码器卷积阶段,而是可能具有几个卷积层,且不使用池掩码。卷积滤波器可以具有其他尺寸,例如,4或5的内核尺寸,并且在CNN的各个卷积层上可以具有相同的尺寸,或者可以是变化的尺寸。
特征集示例的概述
如下面所讨论的,试验数据显示出将PPG和MSI特征融合入一个分类器的示例优点。
在以下讨论中,特征集包括光电容积脉搏波(PPG)、多光谱成像(MSI)和“实时图像”(RI;即,来自空间域的结构和几何信息)特征。示例方法包括得出真值、利用三种特征集单独或者共同训练分类器、分类图像、报告错误,以将分类器与不同的特征集构成进行比较。目前,这些特征已得到发展,并且可以用于分类。这些特征分为三类特征集:PPG、MSI和RI。对于下面的示例,分类器、二次判别分析(QDA)通过多种特征集进行训练。组合特征集,直到所有33个特征都计入模型为止。基于分类器的分类错误,对得到发展的各分类器(即,具有区别特征集的各分类器)进行比较。
PPG分类器特征可以包括以下14个特征:
1.图像输出
2.最大平均值
3.偏离均值的标准差
4.交点个数
5.小邻域SNR
6.改善的SNR
7.标准化的光照
8.标准化的图像
9.标准差
10.偏斜
11.峰度
12.X-梯度
13.Y-梯度
14.梯度的标准差
实时图像分类器特征可以包括以下11个特征:
1.实时图像
2.标准化的实时图像
3.偏斜
4.峰度
5.X-梯度
6.Y-梯度
7.X-梯度的标准差
8.小邻域内的范围
9.标准化的小邻域内的范围
10.大邻域内的范围
11.标准化的大邻域内的范围
MSI分类器特征可以包括以下8个特征:
1.MSIλ1
2.MSIλ2
3.MSIλ3
4.MSIλ4
5.MSIλ5
6.MSIλ6
7.MSIλ7
8.MSIλ8
随着越多特征的加入,误差减少地越明显。各特征组可以按重要性排序,并且在一个示例中,可以排序为:(1)MSI,(2)RI,(3)PPG。分类器的一些实施方案是可转用的,这意味着可以用第一受试者训练分类器,然后用于分类第二受试者的损伤。
离群值的检测和去除的概述
所公开的技术可以结合用于训练机器学习组织分类模型的数据的离群值检测和去除。离群值的检测和去除是统计和模式识别领域中的重要领域,已广泛用于不同领域,如信用卡诈骗、受关注的敏感事件、医学诊断、网络安全等。离群值检测也可以具有其他称谓,如反常检测、奇特检测等。大部分离群值检测为基于模型和基于邻近度方向。对于基于模型的分类器,所公开的技术可以使用统计测试来估计样本分布的参数,例如,可以看作是基于中心极限定理(central limit theorem,CLT)的高斯分布。对于高斯分布,可以考虑两个参数:均值和标准差。所公开的技术可以从最大似然估计或最大后验估计来获得这些参数。在基于模型的方法中,离群值是出现概率较小的点,这可以通过计算Z分值(标准分值)来估计。根据经验,如果观测值的概率大于0.95或者小于0.05,则这些观测值可以被认为是离群值。这是基于单变量分析。如果是多元正态分布:
μ是所有点的均值,∑是基于均值的协方差矩阵。所公开的技术可以计算出点x到μ的马氏距离。马氏距离遵循χ2分布,d为自由度(d是数据维度)。最终,对于所有的点x,若马氏距离大于χ2(0.975),则可以认为该点是离群值。统计方法的方法论在大多数情况下起作用,然而,当估计参数时,参数(例如,均值和方差)可能对离群值敏感。另外,对于马氏距离,观测值与均值之间的最小距离是维度的函数,其随维数的增加而变高。用于在数据空间的边界的离群值的基于深度的方法研究和基于偏差的方法最小化当去除离群值时的差异。
在基于邻近度的离群值检测中,可以使用最近邻的思想生成包含近似或排除近似。首先,距离的概念是重要的。若有N个样本、M个变量,矩阵的尺寸为N*M,例如通过使用欧氏距离,则所公开的技术可以通过定义的距离计算出样本空间之间的距离聚类方法是采用这种距离概念的常用方法。在聚类中,所公开的技术可以定义半径ω,用于已确认中心(矩心)的任意组的点。若这些点小于或等于该半径,则认为是好的点,基于该新数据点的包含物,矩心根据该点修正。对于K最近邻方法,其是点到k最近邻的距离和。然而,这种方法在高维数据集中也不可靠。
还有基于集中趋势的其他定义的其他方法。例如,局部离群因子(LOF)是基于密度。可以从点的群估计密度。若点的某些群或组的密度小于其邻近点的密度,则在这个群中的点可以为潜在离群值。此外,如果数据集是高阶维数据,则这些技术不起作用。已提出基于角度的离群值检测(ABOD)和基于网格的子空间离群值检测来处理高维数据集。
最终,离群值的检测和去除可以显著提高用于皮肤组织分类的MSI应用的准确度。离群值的去除可以成功地减少每个组织类别的样本空间中的差异。通过以这种方式限制差异,可以以相应的方式减少光谱特性的重叠。通过减少重叠,明显提高了分类的准确度,从而可以改善分类模型的训练。该模型具有使用定量数据帮助医师在治疗截肢患者时作出决策的潜力。
其他示例可选方案的概述
本文所述的装置的另一种临床应用是分类褥疮性溃疡,其也被称为压迫性溃疡或褥疮。因为作用于组织的压力阻碍血流向该组织,所以这些伤口会发展。由于存在阻碍,所以会出现组织坏死和组织损伤。在许多情况下,在后期,这会使组织颜色出现明显变化。褥疮性溃疡可被分成一至四级,这与已出现的组织损伤的量有关。
识别褥疮性溃疡的部分困难在于,早期的阻碍会引起组织的变化,这不易于在组织表面观察到。本文所述的装置对于识别早期发展阶段的褥疮性溃疡是有效的,这有助于早期治疗和预防性治疗。如本文所述制造的装置通过读取不同时间和不同频带的光反射率来进行分类,这能够检测出组织成分的差异和流向组织的血的差异。
与流向组织的血液被阻碍的褥疮性溃疡相对地,组织也会遭受出血过多的问题。在可能表现为红斑的充血现象中,流向组织的血液增加。这会导致肿胀、变色和坏死。也会伴随有充盈毛细血管和静脉、组织中含有过量的血铁黄素和纤维化。本发明的可选方案对于识别和评估组织早期充血可以是有效的。此外,能够检测组织的原本样貌和质量的变化连同检测流向组织的血液的组合允许这些可选方案容易地识别和评估充血组织的严重性。
本文所述的替代装置在需要分类和评估组织的医疗领域具有很多其他应用。如同坏死组织、低灌注组织和充血,还存在这些可选方案能够分类和评定的其他类型的伤口,包括:擦伤、划伤、出血、断裂伤、刺伤、穿透伤、慢性伤口,或组织的原本样貌和质量变化连同流向组织的血液变化的任何类型的伤口。本文所述的可选方案以简单图像的形式向执业医生提供与组织活性有关的生理学信息。诸如伤口部位处的血流灌注和氧化等信息是伤口愈合的重要指标。通过成像这些隐藏在皮肤下的血流动力学特征,医生能够更好地了解关于伤口愈合的进展,并作出更明智的、及时的患者护理决定。同时,本文所述的一些装置能给出有关皮肤成分的信息,该信息是皮肤状况的表征。
此外,本文所述的一些装置的使用并不局限于具有损伤组织情形的应用。实际上,一些可选方案也可以检测健康组织,以及将健康组织与坏死组织或即将坏死的组织区分开。
与伤口或皮肤状况进行比较,可以分类和评估一个正常位置的健康组织。例如,连同低灌注组织,会有与低灌注组织相关的或相并列的健康组织的区域。这能够有助于截肢识别水平和截肢部位治疗,以便能够识别相对于坏死组织或即将坏死的组织存在健康组织的边缘。通过在不同时间和不同频带对皮肤进行成像,以评估组织部位处的皮肤成分以及血液灌注和氧化,可以识别健康组织。
本文所述的可选方案还可以基于作为截肢部位皮瓣、移植组织或再生细胞植入成功的可能性来分类组织。这种分类可以考虑受体组织的质量和原本样貌以及受体组织接受新供血的能力。可选方案也可以基于组织能对皮瓣或移植或再生细胞植入形成新的供血的可能性以及皮肤通常的健康程度来分类接收组织。在分类皮瓣组织、移植组织或接收组织时,本文所述的一些装置可以分析对应于不同时间和不同频带的多幅图像。
除了只是分类组织的健康之外,本文所述的可选方案还可以测量组织的各种方面,例如,也可以评估皮肤区域的厚度和皮肤肉芽组织。在另一个示例中,通过本文所述的装置,可以监控和评估缝合伤口附近的组织健康以及缝合伤口的愈合。
本文所述的一些装置的另一应用是监控组织愈合。本文所述的装置还可以获得时间上多个点的几幅图像,来监控伤口如何变化或者健康组织如何形成。在一些情况下,诸如类固醇、肝细胞生长因子(HGF)、成纤维细胞生长因子(FGF)、抗生素等治疗剂,包括干细胞和/或内皮细胞的孤立或聚集细胞群或者组织移植,可以用于处理伤口或其他病痛,并且这种处理也可以使用本文所述的装置来进行监控。一些可选方案可以通过估计组织在施加特定治疗之前、过程中或者之后的愈合来监控治疗剂的效果。一些可选方案通过采集不同时间和不同频带的多幅图像来监控治疗剂的效果。根据这些图像,从皮肤反射的光可以用于评估组织的原本样貌和质量以及流向组织的血液。结果,本文所述的装置可以给出关于组织如何愈合的有价值的信息以及治疗剂促进愈合过程的效力和速度。
可以使用一些可选方案来监控左心室辅助装置(LVAD)的引入以及在此植入之后的愈合情况。随着LVAD流量增大,舒张压增大,收缩压保持不变,脉压降低。作为收缩压和舒张压之间的差值的脉压受左心室的收缩性、血管内容量、前压力负荷和后压力负荷以及泵速的影响。因此,动脉血压值和波形的评估给出了有关LVAD与心血管系统之间的生理相互作用的有价值的信息。例如,左心室功能不良与未显示出脉动的动脉波形相关。本文所述的可选方案可以用于监控患者在LVAD植入之后的脉动流回流,并提供监控和帮助患者恢复的有力工具。
某些可选方案也可以用于提供整形外科组织转移和重建性手术的术中管理。例如,在乳腺癌患者的情况下,治疗可能涉及全乳切除,之后是乳房再造。乳房再造并发症已报道为高达50%。本文所述的装置能够有助于评估准备接受移植的组织和移植组织本身。这些可选方案的评估使用上述的方法查看组织的健康和质量、血液灌流与氧合。
某些可选方案也可以用于促进对慢性伤口的治疗的分析。慢性伤口患者通常接受昂贵的先进治疗方式,而没有测量其效用。本文所述的可选方案可以使用前述成像技术对慢性伤口进行成像并给出其状态的定量数据,包括伤口的尺寸、伤口的深度、受伤组织的存在和健康组织的存在。
本文所述的某些可选方案也可以用于识别肢体退化。在这些应用中,图像识别肢体的外周灌注。这可以用于监控正常肢体的健康以及检测可能需要专业治疗的肢体的周围血流不足(例如,肢体缺血或周围血管病变的区域),这些专业治疗例如是生长因子(FGF、HGF或VEGF)和/或再生细胞的引入,该再生细胞包括但不限于干细胞、内皮前体细胞、内皮祖细胞或者包括这些类型细胞的聚集或分离的细胞群。在一些情况下,这允许进行早期治疗,其可以使肢体免于截肢。在其他更严峻的情况下,可以向医疗专业人员提供作出是否需要截肢的合理决定所需要数据。
本文所述的装置的另一应用涉及雷诺氏现象的治疗,当患者血管痉挛短期发作(即,血管狭窄)时会出现雷诺氏现象。血管痉挛通常发生在向手指供血的指动脉中,但也出现于脚部、鼻部、耳部和唇部。一些可选装置可以准确且精确地识别出患者何时正在经历雷诺氏现象,这可以有助于任何阶段的诊断。
一些可选装置也可以用于识别、分类或评定癌细胞的存在、癌细胞增殖、转移、肿瘤负荷或癌症阶段,以及治疗后癌细胞的减少、癌细胞增殖、转移、肿瘤负荷或癌症阶段。这些可选方案测量组织反射掉的光来判断皮肤的成分,这可以反映出与癌细胞相关的异常成分。可选方案也可以通过评定不同时间的图像来测量流向癌细胞的血流。血流可以反映出流向与癌细胞的存在、癌细胞增殖、转移、肿瘤负荷或癌症阶段相关的组织的异常血流。在去除癌细胞之后,本发明的可选方案也可以用于监控愈合情况,包括健康组织的生长和癌细胞的任何返回。
前述可选方案的各方面在实验室环境和临床中已得到了成功检验。例如,在使用以机械方式模拟了由于脉动血流而引起的组织动态变化的光学组织假体的试验中,本文所述的装置具有比激光多普勒成像更好的光学穿透力,还正确地检测出组织假体材料下的脉动流。试验在40~200bpm(0.67Hz~3.33Hz)的范围内测试脉动流,以测试出在锻炼或行动过程中从休息到高速的人心率的全部范围。
本文所述的一些可选方案的另一方面在于,装置可以与包括一个或多个组织状况参考值的动态库结合。在一些情况下,动态库可以包括原点图像,该原点图像包括有关健康皮肤组织的信息。动态库也可以包括作为对比点的伤口或皮肤状况的各种图像,以得出伤口或皮肤状况的进展和/或愈合情况。动态库也可以包括相关信号的采样信号,如正常心率、异常心率、噪声信号、对应于健康组织的信号和对应于不健康组织的信号的样本。在一些实施方案中,动态库可以存储在集中式数据库中,例如,基于服务器的数据库中,并且可以经由一个或多个网络从本文所述的许多装置接收信息。动态库可以用于为所公开的机器学习分类器提供训练数据,并且可以在现场向装置提供更新的分类器,以增强组织分类和截肢位置推荐。
在一些可选方案中,动态库中的图像是由本文所述的装置采集的其他图像或数据。在一些可选方案中,动态库包括由不是本发明的方面的装置采集的图像和/或数据。这些图像可以用于评估受试者或以其他方式治疗受试者。
总结
以上公开已经证明了使用所公开的具有PPG和MSI性能的仪器在伤口模型和患者案例研究中识别组织缺少血流和含氧量的可行性。如上所示,在所公开的技术中共同使用PPG和MSI允许给出对表皮微血管和血流灌注减少所致的病理更准确的调查。所公开的技术能够在给定LOA处预测愈合潜力;影响伤口愈合结果的重要患者健康指标的添加可以进一步提高自动截肢部位分析系统的准确度。
其他可选方案
下面提供了本文所述的本发明的几个优选的可选方案。
1.一种组织分类系统,包括:
至少一个发光器,其构造成发出多个波长的光中的每个波长的光以照射组织区域,所述至少一个发光器中的每个发光器均构造成发出空间均匀的光;
至少一个光检测元件,其构造成收集从所述至少一个发光器发出之后并从所述组织区域反射的光;
一个或多个处理器,其与所述至少一个发光器和所述至少一个光检测元件通信,并构造成:
识别对应于具有所述组织区域的患者的至少一个患者健康指标值,
使用所述至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对所述多个分类器中的每个分类器进行训练,其中基于已经利用所述训练数据集的子集训练过的分类器来选择分类器,所述子集包括来自具有所述至少一个患者健康指标值的其他患者的数据;
控制所述至少一个发光器以顺次发出多个波长的光中的每个波长的光;
接收来自所述至少一个光检测元件的多个信号,所述多个信号的第一子集表示在所述多个波长下发出并从所述组织区域反射的光;
基于所述多个信号中的至少一部分信号,生成具有描绘所述组织区域的多个像素的图像;
对于描绘所述组织区域的多个像素中的每个像素:
基于所述多个信号的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,和
通过将所述反射强度值输入到所述分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和
基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。
2.如可选方案1所述的系统,其中所述多个信号的第二子集表示在多个不同时间从所述组织区域反射的相同波长的光,并且其中对于描绘所述组织区域的多个像素中的每个像素,所述一个或多个处理器构造成:
基于所述多个信号的第二子集,确定所述像素的PPG幅度值;和
另外基于将所述PPG幅度值输入到所述分类器中,确定所述像素的分类。
3.如可选方案1或2所述的系统,其中所述一个或多个处理器构造成输出所述映射的视觉表示以显示给用户。
4.如可选方案3所述的系统,其中所述视觉表示包括所述图像,所述图像具有以基于所述像素的分类选择的特定视觉表示来显示的各像素,其中与所述多个组织类别中的每个组织类别相关联的像素以不同的视觉表示来显示。
5.如可选方案1~4中任一项所述的系统,其中所述多个组织类别包括活性组织类别、坏死组织类别和具有小血管疾病的组织类别。
6.如可选方案5所述的系统,其中生成映射包括识别所述多个像素的区域,所述区域描绘与活性组织类别、坏死组织类别和具有小血管疾病的组织类别中的至少一个组织类别相关联的组织。
7.如可选方案6所述的系统,其中所述一个或多个处理器构造成输出用于显示的图像,其中根据相关联的组织类别,以不同的颜色显示描绘所述组织区域的多个像素。
8.如可选方案7所述的系统,其中所述一个或多个处理器构造成基于所识别的区域来确定截肢的推荐位置。
9.如可选方案1~8中任一项所述的系统,其中所述一个或多个处理器构造成基于所述多个信号来确定所述组织区域的黑色素指数。
10.如可选方案9所述的系统,其中所述一个或多个处理器构造成至少基于所述黑色素指数来选择所述分类器。
11.一种组织分类方法,包括:
基于至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对所述多个分类器中的每个分类器进行训练,其中基于已经利用所述训练数据集的子集训练过的分类器来选择分类器,所述子集包括来自具有所述至少一个患者健康指标值的其他患者的数据;
接收来自至少一个光检测元件的多个信号,所述至少一个光检测元件定位成接收从组织区域反射的光,所述多个信号的第一子集表示在所述多个波长下发出并从所述组织区域反射的光;
基于所述多个信号中的至少一部分信号,生成具有描绘所述组织区域的多个像素的图像;
对于描绘所述组织区域的多个像素中的每个像素:
基于所述多个信号的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,和
通过将所述反射强度值输入到所选择的分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和
基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。
12.如可选方案11所述的方法,其中所述多个信号的第二子集表示在多个不同时间从所述组织区域反射的相同波长的光,对于描绘所述组织区域的多个像素中的每个像素,所述方法还包括:
基于所述多个信号的第二子集,确定所述像素的PPG幅度值;和
另外基于将所述PPG幅度值输入到所述分类器中,确定所述像素的分类。
13.如可选方案11或12所述的方法,还包括基于所述多个信号来确定所述组织区域的黑色素指数。
14.如可选方案13所述的方法,还包括至少基于所述黑色素指数来选择所述分类器。
15.如可选方案11~14中任一项所述的方法,其中生成映射包括识别所述多个像素的区域,所述区域描绘与活性组织类别、坏死组织类别和具有小血管疾病的组织类别中的至少一个组织类别相关联的组织。
16.如可选方案15所述的方法,还包括输出用于显示的图像,其中根据相关联的组织类别,以不同的颜色显示描绘所述组织区域的多个像素。
17.一种识别截肢的推荐位置的方法,所述方法包括:
选择具有需要截肢的组织区域的患者;
经由一个或多个硬件处理器以编程方式对成像系统进行控制,以捕获表示所述组织区域的多幅图像的数据,所述的表示多幅图像的数据包括第一子集,所述多幅图像中的每幅图像使用从所述组织区域反射的多个不同波长中的不同波长的光来捕获;
基于所述多幅图像中的至少一幅图像,生成具有描绘所述组织区域的多个像素的图像;
对于描绘所述组织区域的多个像素中的每个像素:
基于表示多幅图像的数据的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,和
至少通过将所述反射强度值输入到分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和
基于每个像素的分类,识别在所述组织区域内的截肢的推荐位置。
18.如可选方案17所述的方法,其中所述多幅图像包括在多个时间顺次捕获的第二子集,对于描绘所述组织区域的多个像素中的每个像素,所述方法还包括:
基于表示多幅图像的数据的第二子集,确定所述像素的PPG幅度值;和
另外基于将所述PPG幅度值输入到所述分类器中,确定所述像素的分类。
19.如可选方案17或18所述的方法,还包括识别所述患者的至少一个患者健康指标值。
20.如可选方案19所述的方法,还包括将所述至少一个患者健康指标值输入到所述分类器中,以确定每个像素的分类。
21.如可选方案19或20所述的方法,还包括:基于至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对所述多个分类器中的每个分类器进行训练,其中基于已经利用所述训练数据集的子集训练过的分类器来选择分类器,所述子集包括来自具有所述至少一个患者健康指标值的其他患者的数据。
22.如可选方案17~21中任一项所述的方法,还包括基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。
23.如可选方案22所述的方法,还包括将所述映射的视觉表示输出到用户,其中所述视觉表示包括截肢的推荐位置的视觉识别。
24.如可选方案17~23中任一项所述的方法,其中识别截肢的推荐位置由所述一个或多个硬件处理器以编程方式执行。
25.一种训练卷积神经网络以对截肢部位的组织区域进行分类的方法,所述方法包括:
接收表示截肢部位的多幅图像的训练数据,所述的表示多幅图像的数据包括第一子集,所述多幅图像中的每幅图像使用从所述截肢部位反射的多个不同波长中的不同波长的光来捕获;
将所述训练数据作为三维体积供给到所述卷积神经网络的输入层,所述三维体积的高度和宽度与所述多幅图像中的每幅图像的高度和宽度上的像素数量相对应,并且深度与所述多幅图像中的图像数量相对应;
在所述卷积神经网络的多个编码器卷积阶段和多个解码器卷积阶段处执行多个卷积,其中所述多个编码器卷积阶段的第一编码器卷积阶段包括作为第一卷积层的输入层;
将所述多个解码器卷积阶段中的最后的解码器卷积阶段的输出供给到所述卷积神经网络的归一化指数函数层;
基于所述归一化指数函数层的输出,生成跨越所述多幅图像的高度和宽度的针对各像素的分类值;
将所述各像素的分类值与真值图像中所述像素的真值分类进行比较,其中所述真值分类基于所述截肢部位的医师分析;
基于比较的结果,识别所述像素的分类值中的任何误差;和
至少部分地基于通过所述卷积神经网络而反向传播误差,调整所述多个卷积中的至少一个权重。
26.如可选方案25所述的方法,其中所述多幅图像包括在彼此相同的波长处在不同的多个时间顺次捕获的第二子集。
27.如可选方案25或26所述的方法,其中生成分类包括将各像素分类为背景、健康组织、患病组织或坏死组织中的一种。
28.如可选方案25~27中任一项所述的方法,其中所述多幅图像的第一子集包括分别使用八个不同波长中的不同波长的光捕获的八幅图像,并且其中所述多幅图像的第二子集包括在相同波长下以每秒30帧的速率顺次捕获的数百幅图像。
29.如可选方案25~28中任一项所述的方法,其中所述多个编码器卷积阶段中的每个以及所述多个解码器卷积阶段中的每个包括至少两个卷积层,各卷积层之后是整流线性单元层。
30.如可选方案25~29中任一项所述的方法,其中执行多个卷积包括:
在所述多个编码器卷积阶段的每个编码器卷积阶段处:
执行至少第一编码器卷积,
将第一编码器卷积的输出供给到整流线性单元层,和
使用最大池化层对所述整流线性单元层的输出进行下采样;和
在所述多个解码器卷积阶段的每个解码器卷积阶段处:
接收来自所述多个编码器卷积阶段中的相应一个的最大池化层的池掩码,和
至少部分地基于所述池掩码来执行至少第一解码器卷积。
31.一种使用卷积神经网络对潜在截肢部位的组织区域进行分类的方法,所述方法包括:
接收表示潜在截肢部位的多幅图像的数据,所述的表示多幅图像的数据包括第一子集,所述多幅图像中的每幅图像使用从所述潜在截肢部位反射的多个不同波长中的不同波长的光来捕获;
将所述数据作为三维体积供给到所述卷积神经网络的输入层,所述三维体积的高度和宽度与所述多幅图像中的每幅图像的高度和宽度上的像素数量相对应,并且深度与所述多幅图像中的图像数量相对应;
在所述三维体积上执行至少一个卷积;
将所述至少一个卷积的输出供给到所述卷积神经网络的归一化指数函数层;
基于所述归一化指数函数层的输出,生成跨越所述多幅图像的高度和宽度的针对各像素的分类值;和
基于针对各像素的分类值,生成所述潜在截肢部位处组织的多个组织分类的映射。
32.如可选方案31所述的方法,其中所述多幅图像还包括在彼此相同的波长处在不同的多个时间顺次捕获的第二子集。
33.如可选方案31或32所述的方法,其中生成分类包括将各像素分类为背景、健康组织、患病组织或坏死组织中的一种。
34.如可选方案31~33中任一项所述的方法,其中所述多幅图像的第一子集包括分别使用八个不同波长中的不同波长的光捕获的八幅图像,并且其中所述多幅图像的第二子集包括在相同波长下以每秒30帧的速率顺次捕获的数百幅图像。
35.如可选方案31~34中任一项所述的方法,其中执行至少一个卷积包括在所述卷积神经网络的多个编码器卷积阶段和多个解码器卷积阶段处执行多个卷积,其中所述多个编码器卷积阶段的第一编码器卷积阶段包括作为第一卷积层的输入层。
36.如可选方案35所述的方法,其中执行多个卷积包括:
在所述多个编码器卷积阶段的每个编码器卷积阶段处:
执行至少第一编码器卷积,
将第一编码器卷积的输出供给到整流线性单元层,和
使用最大池化层对所述整流线性单元层的输出进行下采样;和
在所述多个解码器卷积阶段的每个解码器卷积阶段处:
接收来自所述多个编码器卷积阶段中的相应一个的最大池化层的池掩码,和
至少部分地基于所述池掩码来执行至少第一解码器卷积。
37.如可选方案35或36所述的方法,其中所述多个编码器卷积阶段中的每个以及所述多个解码器卷积阶段中的每个包括至少两个卷积层,各卷积层之后是整流线性单元层。
38.如可选方案31~37中任一项所述的方法,其中使用可选方案25所述的方法来训练所述卷积神经网络。
实施系统和术语
本文公开的实施方式提供了用于识别、评定和/或分类受试者组织的系统、方法和装置。本领域技术人员应当知道这些可选方案可以通过硬件、软件、固件或其任意组合实现。
应当理解的是,在所有上述试验中,结合特定方面、可选方案或示例进行说明的特征、材料、特性或组群适用于本文所述的任何其他方面、可选方案或示例,不能同时成立的除外。本说明书(包括任意随附的权利要求、摘要和附图)公开的所有特征,和/或本文公开的任何方法或处理的所有步骤,可以以任意组合方式进行组合,这些特征和/或步骤中的至少一些彼此排斥的组合方式除外。保护范围不限于任何前述可选方案的细节。保护范围延伸至本说明书(包括任意随附的权利要求、摘要、附图)公开的任何新的特征、特征的任何新组合,或延伸至本文公开的任何方法或处理的任何新的步骤、步骤的任何新组合。
尽管已经公开了某些可选方案,但是这些可选方案只是以示例的方式提出,并不旨在限制本发明的保护范围。事实上,本文所述的新方法和系统可以通过多种其他形式实现。此外,可以对本文所述的方法和系统的形式作出各种省略、替换、改变。本领域技术人员将意识到,在一些可选方案中,示出和/或公开的处理中所采取的实际步骤可以与图中所示的那些步骤不同。取决于可选方案,上述的某些步骤可以省去,可以增加其他步骤。此外,上述公开的具体可选方案的特征和属性可以按照不同的方式组合以形成另外的可选方案,所有这些可选方案都在本公开的范围内。
应该理解的是,本文中使用诸如“第一”、“第二”等指定提到的任何元素通常都不是限制这些元素的数量或次序。反之,这些指定在本文中可以用作区分两个或多个元素或元素实例的方便方式。因此,提到第一元素和第二元素并不意味着在那里只可以采用两个元素或者第一元素必须以某种形式先于第二元素。此外,除非特别指出,否则一组元素可以包括一个或多个元素。
本领域技术人员将理解的是,可以使用任何各种不同的术语和技术表示信息和信号。例如,上述说明中可能引用的数据、指令、命令、信息、信号、位、符号和片可以由电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或其任意组合表示。
本领域技术人员还将意识到,结合本文公开的各方面所述的各种示例中的任一种、模块、处理器、装置、电路和算法步骤可以实现为电子硬件(例如,可以使用源代码或一些其他技术设计的数字实施方式、模拟实施方式或二者组合)、结合指令的各种形式的程序或设计代码(方便起见,这里可以称为“软件”或“软件模块”)或二者的组合。为了清楚地说明硬件和软件的这种互换性,上面已经根据其功能总体上描述了各种示例性部件、方框、模块、电路和步骤。将这种功能实现为硬件还是软件取决于具体应用和整体系统所受的设计限制。本领域技术人员可以对各特定应用通过不同方式实现所述功能,但是这种实施方式的决定不应当解释为脱离了本公开的范围。
结合本文所公开的各方面和结合附图所述的各种示例逻辑、部件、模块和电路可以在集成电路(IC)、接入终端或接入点内实施或由其执行。IC可以包括设计成执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA),或者其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件部件、电子部件、光学部件、机械部件或其任何组合,并且可以执行驻留在IC内部、IC外部或IC内外的代码或指令。逻辑组块、模块和电路可以包括与网络内或装置内的各种部件通信的天线和/或收发器。通用处理器可以是微处理器,但是在可选方案中,处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以实施为计算装置的组合,例如,DSP和微处理器的组合,多个微处理器,一个或多个微处理器与DSP核的组合,或者任何其他这样的构成。模块的功能也可以通过本文教导的一些其他方式实现。本文所述的功能(例如,有关附图中的一幅或多幅)在一些方面可以对应于所附权利要求中类似写为“用于…的装置”的功能。
如果通过软件实现,则功能可以作为一个或多个指令或代码存储于或者传送到计算机可读介质中。本文所公开的方法或算法的步骤可以在处理器可执行软件模块中实现,该软件模块可以驻留在计算机可读介质中。计算机可读介质包括计算机存储介质和通信介质,该通信介质包括能够将计算机程序从一处转移到另一处的任何介质。存储介质可以是计算机可访问的任何可获得的介质。作为示例,而非限制,该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储器件,或者用于以指令或数据结构的形式存储期望的程序代码且计算机可访问的任何其他介质。此外,任何连接器也可以适当地称为计算机可读介质。如本文所使用的光盘和磁盘包括压缩磁盘(CD)、激光盘、光盘、数字光盘(DVD)、软盘和蓝光光盘,其中,磁盘通常磁性地再现数据,而光盘是通过激光光学地再现数据。上述组合也应该包括在计算机可读介质的范围内。另外,方法或算法的运行可以作为代码和指令中的一种、代码和指令的任何组合或者一组代码和指令驻留在机械可读介质和计算机可读介质中,这可以结合在计算机程序产品中。
应当理解的是,任何公开的过程中步骤的任何具体顺序或等级都是样本方法的示例。基于设计偏好,应当理解的是,过程中步骤的具体顺序或等级可以重新排列,这仍然在本公开的范围内。所附的方法权利要求提出了基于样本顺序的各个步骤的元素,并不意味着限定为所提出的具体顺序或等级。
本公开所述的对实施方式的各种变型对本领域技术人员是显而易见的,并且在不脱离本公开内容的精神或范围的情况下,本文所限定的一般原则可以适用于其他实施方式。因此,本公开内容不旨在限于本文所示的实施方式,而是给予符合本文所公开的权利要求、原则和新特征的最宽的范围。
本说明书中在单独实现方式的上下文中描述的某些特征也可以在单个实现方式中组合实现。反之,单一实施方式的上下文中所述的各种特征也可以在多个实施方式中分开实现或者以任何适合的子组合的方式实现。此外,尽管上面将特征描述为可以以某些组合形式起作用,甚至最初也是这样提出的,但是,在一些情况下,所要求保护的组合中的一个或多个特征也可以从组合中去除,所要求保护的组合可以指的是子组合或者子组合的变型。
类似地,尽管在附图中以特定顺序说明了操作,但是这不应当被理解为要求以所示的特定顺序或者顺次执行该操作,或者要求执行所有的所示操作,以达到期望的结果。在某些情况下,多任务和并行处理可以是有利的。此外,在上述实施方式中各种系统部件的分开不应当被理解为要求在所有实施方式中都如此分开,而应当理解为,所述的程序部件和系统通常可以共同一体化到单个的软件产品中或者打包到多个软件产品中。另外,其他的实施方式也在所附权利要求的范围内。在一些情况下,权利要求中记载的步骤可以按不同的顺序执行,并且仍然达到期望的效果。
尽管本公开包括某些可选方案、示例和应用,但是本领域技术人员应当理解的是,本公开超出了具体公开的可选方案,延伸到其他可选方案和/或应用、明显的变型和其等同物,包括未提供这里所述的所有特征和优点的可选方案。因此,本公开的范围并不旨在局限于本文优选可选方案的具体内容,而是可以由本文提出或未来提出的权利要求限制。例如,除了本文提出的权利要求之外,以下的可选方案也意图包含在本公开的范围内。
在前述说明中,给出具体细节以提供对示例的完整理解。然而,本领域技术人员应当理解的是,在没有这些具体细节的情况下,也可以实现这些示例。例如,可以以方框的形式示出电子元件/装置,以免在不必要的细节中使示例难以理解。在其他情况下,也可以详细示出这些部件、其他结构和技术,以进一步解释这些示例。
提供所公开的实施方式的上述说明,以使本领域技术人员能够实现或使用本发明。对这些实施方式的各种变型对本领域技术人员是显而易见的,本文所限定的一般原则也可以适用于其他实施方式,且未脱离本发明的精神或范围。因此,本发明并不旨在局限于本文所示的实施方式,而是给予符合本文所公开的原则和新特征最宽的范围。
Claims (38)
1.一种组织分类系统,包括:
至少一个发光器,其构造成发出多个波长的光中的每个波长的光以照射组织区域,所述至少一个发光器中的每个发光器均构造成发出空间均匀的光;
至少一个光检测元件,其构造成收集从所述至少一个发光器发出之后并从所述组织区域反射的光;
一个或多个处理器,其与所述至少一个发光器和所述至少一个光检测元件通信,并构造成:
识别对应于具有所述组织区域的患者的至少一个患者健康指标值,
使用所述至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对所述多个分类器中的每个分类器进行训练,其中基于已经利用所述训练数据集的子集训练过的分类器来选择分类器,所述子集包括来自具有所述至少一个患者健康指标值的其他患者的数据;
控制所述至少一个发光器以顺次发出多个波长的光中的每个波长的光;
接收来自所述至少一个光检测元件的多个信号,所述多个信号的第一子集表示在所述多个波长下发出并从所述组织区域反射的光;
基于所述多个信号中的至少一部分信号,生成具有描绘所述组织区域的多个像素的图像;
对于描绘所述组织区域的多个像素中的每个像素:
基于所述多个信号的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,和
通过将所述反射强度值输入到所述分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和
基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。
2.如权利要求1所述的系统,其中所述多个信号的第二子集表示在多个不同时间从所述组织区域反射的相同波长的光,并且其中对于描绘所述组织区域的多个像素中的每个像素,所述一个或多个处理器构造成:
基于所述多个信号的第二子集,确定所述像素的PPG幅度值;和
另外基于将所述PPG幅度值输入到所述分类器中,确定所述像素的分类。
3.如权利要求1所述的系统,其中所述一个或多个处理器构造成输出所述映射的视觉表示以显示给用户。
4.如权利要求3所述的系统,其中所述视觉表示包括所述图像,所述图像具有以基于所述像素的分类选择的特定视觉表示来显示的各像素,其中与所述多个组织类别中的每个组织类别相关联的像素以不同的视觉表示来显示。
5.如权利要求1所述的系统,其中所述多个组织类别包括活性组织类别、坏死组织类别和具有小血管疾病的组织类别。
6.如权利要求5所述的系统,其中生成映射包括识别所述多个像素的区域,所述区域描绘与活性组织类别、坏死组织类别和具有小血管疾病的组织类别中的至少一个组织类别相关联的组织。
7.如权利要求6所述的系统,其中所述一个或多个处理器构造成输出用于显示的图像,其中根据相关联的组织类别,以不同的颜色显示描绘所述组织区域的多个像素。
8.如权利要求7所述的系统,其中所述一个或多个处理器构造成基于所识别的区域来确定截肢的推荐位置。
9.如权利要求1所述的系统,其中所述一个或多个处理器构造成基于所述多个信号来确定所述组织区域的黑色素指数。
10.如权利要求9所述的系统,其中所述一个或多个处理器构造成至少基于所述黑色素指数来选择所述分类器。
11.一种组织分类方法,包括:
基于至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对所述多个分类器中的每个分类器进行训练,其中基于已经利用所述训练数据集的子集训练过的分类器来选择分类器,所述子集包括来自具有所述至少一个患者健康指标值的其他患者的数据;
接收来自至少一个光检测元件的多个信号,所述至少一个光检测元件定位成接收从组织区域反射的光,所述多个信号的第一子集表示在所述多个波长下发出并从所述组织区域反射的光;
基于所述多个信号中的至少一部分信号,生成具有描绘所述组织区域的多个像素的图像;
对于描绘所述组织区域的多个像素中的每个像素:
基于所述多个信号的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,和
通过将所述反射强度值输入到所选择的分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和
基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。
12.如权利要求11所述的方法,其中所述多个信号的第二子集表示在多个不同时间从所述组织区域反射的相同波长的光,对于描绘所述组织区域的多个像素中的每个像素,所述方法还包括:
基于所述多个信号的第二子集,确定所述像素的PPG幅度值;和
另外基于将所述PPG幅度值输入到所述分类器中,确定所述像素的分类。
13.如权利要求11所述的方法,还包括基于所述多个信号来确定所述组织区域的黑色素指数。
14.如权利要求13所述的方法,还包括至少基于所述黑色素指数来选择所述分类器。
15.如权利要求11所述的方法,其中生成映射包括识别所述多个像素的区域,所述区域描绘与活性组织类别、坏死组织类别和具有小血管疾病的组织类别中的至少一个组织类别相关联的组织。
16.如权利要求15所述的方法,还包括输出用于显示的图像,其中根据相关联的组织类别,以不同的颜色显示描绘所述组织区域的多个像素。
17.一种识别截肢的推荐位置的方法,所述方法包括:
选择具有需要截肢的组织区域的患者;
经由一个或多个硬件处理器以编程方式对成像系统进行控制,以捕获表示所述组织区域的多幅图像的数据,所述的表示多幅图像的数据包括第一子集,所述多幅图像中的每幅图像使用从所述组织区域反射的多个不同波长中的不同波长的光来捕获;
基于所述多幅图像中的至少一幅图像,生成具有描绘所述组织区域的多个像素的图像;
对于描绘所述组织区域的多个像素中的每个像素:
基于表示多幅图像的数据的第一子集,确定在所述多个波长中的每个波长处所述像素的反射强度值,和
至少通过将所述反射强度值输入到分类器中来确定所述像素的分类,所述分类将所述像素与多个组织类别中的一个组织类别相关联;和
基于每个像素的分类,识别在所述组织区域内的截肢的推荐位置。
18.如权利要求17所述的方法,其中所述多幅图像包括在多个时间顺次捕获的第二子集,对于描绘所述组织区域的多个像素中的每个像素,所述方法还包括:
基于表示多幅图像的数据的第二子集,确定所述像素的PPG幅度值;和
另外基于将所述PPG幅度值输入到所述分类器中,确定所述像素的分类。
19.如权利要求17所述的方法,还包括识别所述患者的至少一个患者健康指标值。
20.如权利要求19所述的方法,还包括将所述至少一个患者健康指标值输入到所述分类器中,以确定每个像素的分类。
21.如权利要求19所述的方法,还包括:基于至少一个患者健康指标值从多个分类器中选择分类器,从训练数据集的不同子集对所述多个分类器中的每个分类器进行训练,其中基于已经利用所述训练数据集的子集训练过的分类器来选择分类器,所述子集包括来自具有所述至少一个患者健康指标值的其他患者的数据。
22.如权利要求17所述的方法,还包括基于每个像素的分类,在描绘所述组织区域的多个像素上生成所述多个组织类别的映射。
23.如权利要求22所述的方法,还包括将所述映射的视觉表示输出到用户,其中所述视觉表示包括截肢的推荐位置的视觉识别。
24.如权利要求17所述的方法,其中识别截肢的推荐位置由所述一个或多个硬件处理器以编程方式执行。
25.一种训练卷积神经网络以对截肢部位的组织区域进行分类的方法,所述方法包括:
接收表示截肢部位的多幅图像的训练数据,所述的表示多幅图像的数据包括第一子集,所述多幅图像中的每幅图像使用从所述截肢部位反射的多个不同波长中的不同波长的光来捕获;
将所述训练数据作为三维体积供给到所述卷积神经网络的输入层,所述三维体积的高度和宽度与所述多幅图像中的每幅图像的高度和宽度上的像素数量相对应,并且深度与所述多幅图像中的图像数量相对应;
在所述卷积神经网络的多个编码器卷积阶段和多个解码器卷积阶段处执行多个卷积,其中所述多个编码器卷积阶段的第一编码器卷积阶段包括作为第一卷积层的输入层;
将所述多个解码器卷积阶段中的最后的解码器卷积阶段的输出供给到所述卷积神经网络的归一化指数函数层;
基于所述归一化指数函数层的输出,生成跨越所述多幅图像的高度和宽度的针对各像素的分类值;
将所述各像素的分类值与真值图像中所述像素的真值分类进行比较,其中所述真值分类基于所述截肢部位的医师分析;
基于比较的结果,识别所述像素的分类值中的任何误差;和
至少部分地基于通过所述卷积神经网络而反向传播误差,调整所述多个卷积中的至少一个权重。
26.如权利要求25所述的方法,其中所述多幅图像包括在彼此相同的波长处在不同的多个时间顺次捕获的第二子集。
27.如权利要求25所述的方法,其中生成分类包括将各像素分类为背景、健康组织、患病组织或坏死组织中的一种。
28.如权利要求25所述的方法,其中所述多幅图像的第一子集包括分别使用八个不同波长中的不同波长的光捕获的八幅图像,并且其中所述多幅图像的第二子集包括在相同波长下以每秒30帧的速率顺次捕获的数百幅图像。
29.如权利要求25所述的方法,其中所述多个编码器卷积阶段中的每个以及所述多个解码器卷积阶段中的每个包括至少两个卷积层,各卷积层之后是整流线性单元层。
30.如权利要求25所述的方法,其中执行多个卷积包括:
在所述多个编码器卷积阶段的每个编码器卷积阶段处:
执行至少第一编码器卷积,
将第一编码器卷积的输出供给到整流线性单元层,和
使用最大池化层对所述整流线性单元层的输出进行下采样;和
在所述多个解码器卷积阶段的每个解码器卷积阶段处:
接收来自所述多个编码器卷积阶段中的相应一个的最大池化层的池掩码,和
至少部分地基于所述池掩码来执行至少第一解码器卷积。
31.一种使用卷积神经网络对潜在截肢部位的组织区域进行分类的方法,所述方法包括:
接收表示潜在截肢部位的多幅图像的数据,所述的表示多幅图像的数据包括第一子集,所述多幅图像中的每幅图像使用从所述潜在截肢部位反射的多个不同波长中的不同波长的光来捕获;
将所述数据作为三维体积供给到所述卷积神经网络的输入层,所述三维体积的高度和宽度与所述多幅图像中的每幅图像的高度和宽度上的像素数量相对应,并且深度与所述多幅图像中的图像数量相对应;
在所述三维体积上执行至少一个卷积;
将所述至少一个卷积的输出供给到所述卷积神经网络的归一化指数函数层;
基于所述归一化指数函数层的输出,生成跨越所述多幅图像的高度和宽度的针对各像素的分类值;和
基于针对各像素的分类值,生成所述潜在截肢部位处组织的多个组织分类的映射。
32.如权利要求31所述的方法,其中所述多幅图像还包括在彼此相同的波长处在不同的多个时间顺次捕获的第二子集。
33.如权利要求31所述的方法,其中生成分类包括将各像素分类为背景、健康组织、患病组织或坏死组织中的一种。
34.如权利要求31所述的方法,其中所述多幅图像的第一子集包括分别使用八个不同波长中的不同波长的光捕获的八幅图像,并且其中所述多幅图像的第二子集包括在相同波长下以每秒30帧的速率顺次捕获的数百幅图像。
35.如权利要求31所述的方法,其中执行至少一个卷积包括在所述卷积神经网络的多个编码器卷积阶段和多个解码器卷积阶段处执行多个卷积,其中所述多个编码器卷积阶段的第一编码器卷积阶段包括作为第一卷积层的输入层。
36.如权利要求35所述的方法,其中执行多个卷积包括:
在所述多个编码器卷积阶段的每个编码器卷积阶段处:
执行至少第一编码器卷积,
将第一编码器卷积的输出供给到整流线性单元层,和
使用最大池化层对所述整流线性单元层的输出进行下采样;和
在所述多个解码器卷积阶段的每个解码器卷积阶段处:
接收来自所述多个编码器卷积阶段中的相应一个的最大池化层的池掩码,和
至少部分地基于所述池掩码来执行至少第一解码器卷积。
37.如权利要求35所述的方法,其中所述多个编码器卷积阶段中的每个以及所述多个解码器卷积阶段中的每个包括至少两个卷积层,各卷积层之后是整流线性单元层。
38.如权利要求31所述的方法,其中使用权利要求25所述的方法来训练所述卷积神经网络。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762465956P | 2017-03-02 | 2017-03-02 | |
US62/465,956 | 2017-03-02 | ||
PCT/US2018/020661 WO2018160963A1 (en) | 2017-03-02 | 2018-03-02 | Machine learning systems and techniques for multispectral amputation site analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110573066A true CN110573066A (zh) | 2019-12-13 |
Family
ID=63370261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880028365.1A Pending CN110573066A (zh) | 2017-03-02 | 2018-03-02 | 用于多光谱截肢部位分析的机器学习系统和技术 |
Country Status (4)
Country | Link |
---|---|
US (3) | US20220240783A1 (zh) |
EP (1) | EP3589191A4 (zh) |
CN (1) | CN110573066A (zh) |
WO (1) | WO2018160963A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111489348A (zh) * | 2020-04-16 | 2020-08-04 | 创新奇智(重庆)科技有限公司 | 一种磁性材料产品表面缺陷模拟方法及装置 |
CN111528827A (zh) * | 2020-05-25 | 2020-08-14 | 陈聪 | 一种血流图识别方法 |
CN112587119A (zh) * | 2020-12-11 | 2021-04-02 | 北京工业大学 | 一种基于深度学习的外周动脉疾病诊断方法 |
CN112893427A (zh) * | 2021-01-14 | 2021-06-04 | 农业农村部环境保护科研监测所 | 一种重金属污染耕地修复治理的智能化决策方法 |
CN113069081A (zh) * | 2021-03-22 | 2021-07-06 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进Bi-LSTM与fNIRS的疼痛检测方法 |
CN113159159A (zh) * | 2021-04-15 | 2021-07-23 | 东北大学 | 一种基于改进cnn的小样本图像分类方法 |
CN113192377A (zh) * | 2021-04-28 | 2021-07-30 | 章捷 | 一种外科手术教学训练装置 |
CN113520683A (zh) * | 2021-07-08 | 2021-10-22 | 中国科学技术大学 | 基于模仿学习的下肢假肢控制系统及方法 |
CN113657580A (zh) * | 2021-08-17 | 2021-11-16 | 重庆邮电大学 | 基于微环谐振器和非易失性相变材料的光子卷积神经网络加速器 |
CN116705325A (zh) * | 2023-06-26 | 2023-09-05 | 国家康复辅具研究中心 | 一种伤口感染风险评估方法及其系统 |
Families Citing this family (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3212057B1 (en) | 2014-10-29 | 2021-12-01 | Spectral MD, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
AU2017315334B2 (en) | 2016-08-24 | 2022-09-22 | Mimosa Diagnostics Inc. | Multispectral mobile tissue assessment |
US11481690B2 (en) * | 2016-09-16 | 2022-10-25 | Foursquare Labs, Inc. | Venue detection |
WO2018095516A1 (en) * | 2016-11-22 | 2018-05-31 | Universidad De Las Palmas De Gran Canaria | Method of non-invasive detection of tumour and/or healthy tissue and hyperspectral imaging apparatus |
CN110573066A (zh) | 2017-03-02 | 2019-12-13 | 光谱Md公司 | 用于多光谱截肢部位分析的机器学习系统和技术 |
US12089930B2 (en) | 2018-03-05 | 2024-09-17 | Marquette University | Method and apparatus for non-invasive hemoglobin level prediction |
US11250953B2 (en) | 2018-03-13 | 2022-02-15 | C/Hca, Inc. | Techniques for integrating proxy nodes into graph-model-based investigatory-event mappings |
JP6392476B1 (ja) * | 2018-03-19 | 2018-09-19 | 大輝 中矢 | 生体組織解析装置および生体組織解析プログラム |
US11977033B2 (en) * | 2018-05-31 | 2024-05-07 | Panasonic Intellectual Property Management Co., Ltd. | Learning device, inspection device, learning method, and inspection method |
JP7312957B2 (ja) * | 2018-06-21 | 2023-07-24 | パナソニックIpマネジメント株式会社 | 肌評価装置、肌評価システム、肌評価方法、および肌評価のためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
GB2571379B (en) * | 2018-07-16 | 2021-10-27 | Npl Management Ltd | System and method for obtaining thermal image data of a body part and thermal imager |
US11857477B1 (en) * | 2018-09-18 | 2024-01-02 | Cerner Innovation, Inc. | Pressure injury prevention sensor and decision support tool |
US11931167B1 (en) | 2018-09-18 | 2024-03-19 | Cerner Innovation, Inc. | Pressure injury prevention sensor and decision support tool |
US10796152B2 (en) * | 2018-09-21 | 2020-10-06 | Ancestry.Com Operations Inc. | Ventral-dorsal neural networks: object detection via selective attention |
US11914692B2 (en) * | 2018-11-06 | 2024-02-27 | Sony Corporation | Information processing apparatus and information processing method |
CN109544534B (zh) * | 2018-11-26 | 2020-10-16 | 上海联影智能医疗科技有限公司 | 一种病灶图像检测装置、方法和计算机可读存储介质 |
US10740884B2 (en) | 2018-12-14 | 2020-08-11 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
KR20210099126A (ko) | 2018-12-14 | 2021-08-11 | 스펙트랄 엠디, 인크. | 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법 |
US10783632B2 (en) | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
BR112021011132A2 (pt) | 2018-12-14 | 2021-08-31 | Spectral Md, Inc. | Sistemas de aprendizado por máquina e métodos para avaliação, predição de cicatrização e tratamento de feridas |
US10839543B2 (en) * | 2019-02-26 | 2020-11-17 | Baidu Usa Llc | Systems and methods for depth estimation using convolutional spatial propagation networks |
WO2020173516A1 (de) * | 2019-02-28 | 2020-09-03 | FotoFinder Systems GmbH | Verfahren zur evaluierung von hautläsionen unter verwendung künstlicher intelligenz |
US11210790B1 (en) * | 2019-03-05 | 2021-12-28 | 4Qimaging, Llc | System and method for outcome-specific image enhancement |
US20200330034A1 (en) * | 2019-04-18 | 2020-10-22 | Vanderbilt University | Method and apparatus for intraoperative nerve visualization using polarized diffuse reflectance spectroscopy and applications of same |
EP3815601A1 (en) * | 2019-11-01 | 2021-05-05 | Koninklijke Philips N.V. | Evaluating skin |
WO2021173763A1 (en) * | 2020-02-28 | 2021-09-02 | Spectral Md, Inc. | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds |
US11561674B2 (en) * | 2020-03-05 | 2023-01-24 | Saudi Arabian Oil Company | User interface for proxy modeling of reactive transport modeling |
US11961002B2 (en) | 2020-03-05 | 2024-04-16 | Saudi Arabian Oil Company | Random selection of observation cells for proxy modeling of reactive transport modeling |
US20210375472A1 (en) * | 2020-06-01 | 2021-12-02 | University Of Washington | Methods and systems for decision support |
US11526703B2 (en) | 2020-07-28 | 2022-12-13 | International Business Machines Corporation | GPU accelerated perfusion estimation from multispectral videos |
US11437147B2 (en) * | 2020-08-31 | 2022-09-06 | Kpn Innovations, Llc. | Method and systems for simulating a vitality metric |
US20220095937A1 (en) * | 2020-09-25 | 2022-03-31 | Brian Faircloth | Broadband multispectral diagnostic systems and methods |
WO2022076381A1 (en) * | 2020-10-07 | 2022-04-14 | Spectricity | Health analysis using a spectral sensor system |
TWI784334B (zh) * | 2020-10-29 | 2022-11-21 | 國立臺灣大學 | 疾病檢測方法及疾病檢測系統 |
TWI775229B (zh) * | 2020-12-02 | 2022-08-21 | 碁曄科技股份有限公司 | 美膚檢測系統及其方法 |
ES2929671A1 (es) * | 2021-05-31 | 2022-11-30 | Univ Madrid Carlos Iii | Dispositivo de monitorizacion del estado de perfusion de colgajos de piel |
BR112023026886A2 (pt) * | 2021-06-24 | 2024-03-05 | Perfusion Tech Aps | Método implementado por computador, programa de computador, sistema para determinar um núcleo de corpo, e, sistema para identificar um padrão de perfusão anormal em tecidos de um indivíduo |
US20230009364A1 (en) * | 2021-07-06 | 2023-01-12 | Welch Allyn, Inc. | Image capture systems and methods for identifying abnormalities using multispectral imaging |
WO2023059743A1 (en) * | 2021-10-05 | 2023-04-13 | Neumora Therapeutics, Inc. | Machine learning systems for training encoder and decoder neural networks |
WO2023110465A1 (en) * | 2021-12-16 | 2023-06-22 | Koninklijke Philips N.V. | Simultaneous measurement of tissue perfusion and tissue oxygenation |
WO2023141277A2 (en) * | 2022-01-20 | 2023-07-27 | Vanderbilt University | Systems and methods for skin biomolecular profile assessment using artificial intelligence |
WO2023156314A1 (en) * | 2022-02-15 | 2023-08-24 | Trinamix Gmbh | User-trained system |
WO2023156466A1 (en) | 2022-02-18 | 2023-08-24 | Koninklijke Philips N.V. | A system and method for tissue analysis using remote ppg |
WO2023156463A1 (en) * | 2022-02-18 | 2023-08-24 | Koninklijke Philips N.V. | A system and method for tissue analysis using remote ppg |
EP4230116A1 (en) * | 2022-02-18 | 2023-08-23 | Koninklijke Philips N.V. | A system and method for tissue analysis using remote ppg |
US20230293113A1 (en) * | 2022-03-18 | 2023-09-21 | Nikhil Sehgal | System and method of estimating vital signs of user using artificial intelligence |
US11672614B1 (en) * | 2022-05-18 | 2023-06-13 | Ix Innovation Llc | Robotic surgical systems with multi-modality imaging for performing surgical steps |
WO2024211479A1 (en) * | 2023-04-04 | 2024-10-10 | The Trustees Of Dartmouth College | Camera system and method for identifying nonviable tissue using fluorescent tracer and pulsed high-intensity fluorescent excitation |
CN117726916B (zh) * | 2024-02-18 | 2024-04-19 | 电子科技大学 | 一种图像分辨率融合增强的隐式融合方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394782A (zh) * | 2006-01-05 | 2009-03-25 | 弗吉尼亚大学专利基金会 | 从自我监测数据评价糖尿病中的血糖变异性的方法、系统和计算机程序产品 |
US20100292549A1 (en) * | 2007-07-31 | 2010-11-18 | J&M Shuler, Inc. | Method and system for monitoring oxygenation levels of compartments and tissue |
CN103815875A (zh) * | 2013-10-28 | 2014-05-28 | 重庆西南医院 | 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统及方法 |
WO2016069788A1 (en) * | 2014-10-29 | 2016-05-06 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
CN105636512A (zh) * | 2013-08-14 | 2016-06-01 | 南洋理工大学 | 用于评估血管重建的系统和方法 |
US20160321414A1 (en) * | 2015-04-29 | 2016-11-03 | Siemens Medical Solutions Usa, Inc. | Diagnostic Test Planning |
Family Cites Families (131)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4170987A (en) | 1977-11-28 | 1979-10-16 | California Institute Of Technology | Medical diagnosis system and method with multispectral imaging |
US4693255A (en) | 1985-04-22 | 1987-09-15 | Beall Harry C | Medical apparatus method for assessing the severity of certain skin traumas |
ATE145563T1 (de) | 1989-12-14 | 1996-12-15 | Elof Eriksson | Behandlungssystem für wunden und andere fehler |
US5074306A (en) | 1990-02-22 | 1991-12-24 | The General Hospital Corporation | Measurement of burn depth in skin |
US5701902A (en) | 1994-09-14 | 1997-12-30 | Cedars-Sinai Medical Center | Spectroscopic burn injury evaluation apparatus and method |
GB9521784D0 (en) | 1995-10-24 | 1996-01-03 | Rosslyn Medical Ltd | Diagnostic apparatus |
US6081612A (en) | 1997-02-28 | 2000-06-27 | Electro Optical Sciences Inc. | Systems and methods for the multispectral imaging and characterization of skin tissue |
US6008889A (en) | 1997-04-16 | 1999-12-28 | Zeng; Haishan | Spectrometer system for diagnosis of skin disease |
US6058352A (en) | 1997-07-25 | 2000-05-02 | Physical Optics Corporation | Accurate tissue injury assessment using hybrid neural network analysis |
US6353753B1 (en) | 1998-05-05 | 2002-03-05 | Stephen Thomas Flock | Optical imaging of deep anatomic structures |
US6352517B1 (en) | 1998-06-02 | 2002-03-05 | Stephen Thomas Flock | Optical monitor of anatomical movement and uses thereof |
US5982497A (en) | 1998-07-09 | 1999-11-09 | Optical Insights, Llc | Multi-spectral two-dimensional imaging spectrometer |
DE19850350C1 (de) | 1998-11-02 | 2000-09-28 | Jena Optronik Gmbh | Verfahren und Vorrichtung zur Erzeugung von Daten für die Diagnose des Schädigungsgrades von Hautgewebe eines Patienten |
US6381488B1 (en) | 1999-06-15 | 2002-04-30 | Sandia Corporation | Method and apparatus to measure the depth of skin burns |
US6640132B1 (en) | 1999-11-17 | 2003-10-28 | Hypermed, Inc. | Forensic hyperspectral apparatus and method |
US20030199615A1 (en) * | 1999-12-09 | 2003-10-23 | Cyril Chaput | Mineral-polymer hybrid composition |
EP1251779A1 (en) | 2000-01-27 | 2002-10-30 | National Research Council of Canada | Visible-near infrared spectroscopy in burn injury assessment |
WO2001082786A2 (en) | 2000-05-03 | 2001-11-08 | Flock Stephen T | Optical imaging of subsurface anatomical structures and biomolecules |
US6638668B2 (en) | 2000-05-12 | 2003-10-28 | Ocean Optics, Inc. | Method for making monolithic patterned dichroic filter detector arrays for spectroscopic imaging |
WO2003007808A2 (en) | 2001-07-16 | 2003-01-30 | Art, Advanced Research Technologies Inc. | Multi-wavelength imaging of highly turbid media |
US20060072109A1 (en) | 2004-09-03 | 2006-04-06 | Andrew Bodkin | Hyperspectral imaging systems |
TW512058B (en) | 2001-12-24 | 2002-12-01 | Yung-Jian Yang | Spectral analysis system for burning and scalding injuries and device used in the system |
CA2491703A1 (en) * | 2002-07-09 | 2004-01-15 | Medispectra, Inc. | Methods and apparatus for characterization of tissue samples |
CN100533127C (zh) | 2002-12-02 | 2009-08-26 | 大河诊断私人有限公司 | 高波数拉曼光谱学用于测定组织的用途 |
WO2005002425A2 (en) | 2003-07-02 | 2005-01-13 | U.S. Government As Represented By The Secretary Of The Army | Wearable tissue viability diagnostic unit |
US7693069B2 (en) | 2003-07-28 | 2010-04-06 | Alcatel-Lucent Usa Inc. | Method, apparatus and system for improved inter-domain routing convergence |
RU2372117C2 (ru) | 2003-09-18 | 2009-11-10 | Аркюо Медикал, Инк. | Способ опто-термо-механического воздействия на биологическую ткань и устройство для его осуществления |
US7920908B2 (en) | 2003-10-16 | 2011-04-05 | David Hattery | Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue |
EP1686810A4 (en) | 2003-11-11 | 2009-06-03 | Olympus Corp | DEVICE FOR ENTERING MULTISPECTRAL IMAGES |
US7433042B1 (en) | 2003-12-05 | 2008-10-07 | Surface Optics Corporation | Spatially corrected full-cubed hyperspectral imager |
US7648808B2 (en) | 2004-01-12 | 2010-01-19 | Ocean Thin Films, Inc. | Patterned coated dichroic filter |
US8583216B2 (en) | 2004-04-27 | 2013-11-12 | University Of Utah Research Foundation | Skin type assessment and nevi screening for skin cancer with a noninvasive, portable reflectance spectrophotometer |
US20070179482A1 (en) | 2004-05-07 | 2007-08-02 | Anderson Robert S | Apparatuses and methods to treat biological external tissue |
SE0402576D0 (sv) | 2004-10-25 | 2004-10-25 | Forskarpatent I Uppsala Ab | Multispectral and hyperspectral imaging |
US8548570B2 (en) | 2004-11-29 | 2013-10-01 | Hypermed Imaging, Inc. | Hyperspectral imaging of angiogenesis |
US8224425B2 (en) | 2005-04-04 | 2012-07-17 | Hypermed Imaging, Inc. | Hyperspectral imaging in diabetes and peripheral vascular disease |
WO2006086085A2 (en) | 2004-12-28 | 2006-08-17 | Hypermed, Inc. | Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock |
US7729750B2 (en) | 2005-01-20 | 2010-06-01 | The Regents Of The University Of California | Method and apparatus for high resolution spatially modulated fluorescence imaging and tomography |
US20060241495A1 (en) | 2005-03-23 | 2006-10-26 | Eastman Kodak Company | Wound healing monitoring and treatment |
US8971984B2 (en) | 2005-04-04 | 2015-03-03 | Hypermed Imaging, Inc. | Hyperspectral technology for assessing and treating diabetic foot and tissue disease |
WO2006107947A2 (en) | 2005-04-04 | 2006-10-12 | Hypermed, Inc. | Hyperspectral imaging in diabetes and peripheral vascular disease |
US8106956B2 (en) | 2005-06-27 | 2012-01-31 | Nokia Corporation | Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products |
EP1952106B1 (en) | 2005-11-04 | 2014-08-27 | George Themelis | System for multispectral imaging |
JP4655991B2 (ja) | 2006-04-21 | 2011-03-23 | カシオ計算機株式会社 | 撮像装置及び電子ズーム方法と、プログラム |
JP2010503475A (ja) | 2006-09-12 | 2010-02-04 | ザ ジェネラル ホスピタル コーポレイション | 解剖学的構造における深度の評価を提供する装置、プローブ、および方法 |
US20120321759A1 (en) | 2007-01-05 | 2012-12-20 | Myskin, Inc. | Characterization of food materials by optomagnetic fingerprinting |
AU2008204997A1 (en) | 2007-01-05 | 2008-07-17 | Myskin, Inc. | System, device and method for dermal imaging |
US7857803B1 (en) | 2007-03-19 | 2010-12-28 | The United States Of America As Represented By The Secretary Of The Army | Burn patient resuscitation system and method |
JP2008283442A (ja) | 2007-05-10 | 2008-11-20 | Olympus Corp | 撮像装置 |
CN101784227B (zh) | 2007-07-06 | 2013-12-04 | 工业研究有限公司 | 激光散斑成像系统和方法 |
US20090072142A1 (en) | 2007-09-14 | 2009-03-19 | Forensicare Incorporated | Scanning system and techniques for medical and/or forensic assessment using the same |
US20090118600A1 (en) | 2007-11-02 | 2009-05-07 | Ortiz Joseph L | Method and apparatus for skin documentation and analysis |
US8509879B2 (en) | 2007-11-06 | 2013-08-13 | The Regents Of The University Of California | Apparatus and method for widefield functional imaging (WiFI) using integrated structured illumination and laser speckle imaging |
US20100210931A1 (en) | 2008-04-04 | 2010-08-19 | Modulate Imaging Inc. | Method for performing qualitative and quantitative analysis of wounds using spatially structured illumination |
JP5594786B2 (ja) | 2008-04-21 | 2014-09-24 | ドレクセル・ユニバーシティー | 創傷が治癒しているかどうかを判定するために創傷組織の光学特性の変化を測定し、近赤外吸収(fNIR)および拡散反射分光散乱(DRS)を、組織新血管新生およびコラーゲン濃度と相関させる方法 |
WO2009135081A2 (en) | 2008-04-30 | 2009-11-05 | Board Of Regents, The University Of Texas System | Integrated patient bed system |
EP2384182A4 (en) | 2008-04-30 | 2016-10-19 | Univ Texas | DEVICE AND METHOD FOR NON-INVASIVE EVALUATION OF A TARGET COMPARED TO A NON-TARGET |
US9042967B2 (en) | 2008-05-20 | 2015-05-26 | University Health Network | Device and method for wound imaging and monitoring |
US20090318815A1 (en) | 2008-05-23 | 2009-12-24 | Michael Barnes | Systems and methods for hyperspectral medical imaging |
US8694266B2 (en) * | 2008-06-05 | 2014-04-08 | The Regents Of The University Of Michigan | Multimodal spectroscopic systems and methods for classifying biological tissue |
US9572494B2 (en) | 2008-08-12 | 2017-02-21 | New Jersy Institute of Technology | Method and apparatus for multi-spectral imaging and analysis of skin lesions and biological tissues |
JP2010043979A (ja) | 2008-08-13 | 2010-02-25 | Yuichi Kamata | 分光画像計測装置 |
WO2010124372A1 (en) | 2009-04-29 | 2010-11-04 | Genomedx Biosciences, Inc. | Systems and methods for expression-based classification of thyroid tissue |
EP2267654A1 (en) | 2009-06-23 | 2010-12-29 | Research in Motion Limited | Adjustment of sharpness during digital zoom in digital photography |
CN101627902B (zh) | 2009-07-15 | 2011-12-28 | 深圳先进技术研究院 | 基于环境光的低功耗、高精度光电容积描记信号前端处理模块 |
KR20120048021A (ko) * | 2009-08-20 | 2012-05-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 분석을 위한 방법 및 시스템 |
JP5856960B2 (ja) | 2009-10-06 | 2016-02-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 第1の信号の少なくとも一つの周期的成分を特徴付けるための分析のため第1の信号を得るための方法及びシステム |
WO2011063306A1 (en) | 2009-11-19 | 2011-05-26 | Modulated Imaging Inc. | Method and apparatus for analysis of turbid media via single-element detection using structured illumination |
US9823127B2 (en) | 2010-01-22 | 2017-11-21 | Duke University | Systems and methods for deep spectroscopic imaging of biological samples with use of an interferometer and spectrometer |
US8692912B2 (en) | 2010-01-25 | 2014-04-08 | Pixelteq, Inc. | Multi-spectral camera |
US8488024B2 (en) | 2010-02-10 | 2013-07-16 | Panasonic Corporation | Image capture device |
US8294570B2 (en) | 2010-02-24 | 2012-10-23 | Clawson Jeffrey J | Burn diagnostic and intervention tool for emergency dispatch |
US20120078088A1 (en) | 2010-09-28 | 2012-03-29 | Point of Contact, LLC. | Medical image projection and tracking system |
EP2665417A4 (en) | 2011-01-19 | 2015-12-02 | Univ California | APPARATUS, SYSTEMS, AND METHODS FOR TISSUE OXIMETRY AND PERFUSION IMAGING |
US8761853B2 (en) | 2011-01-20 | 2014-06-24 | Nitto Denko Corporation | Devices and methods for non-invasive optical physiological measurements |
US8994819B2 (en) | 2011-02-04 | 2015-03-31 | Raytheon Company | Integrated optical detection system |
US8694067B2 (en) | 2011-02-15 | 2014-04-08 | General Electric Company | Sensor, apparatus and method for non-invasively monitoring blood characteristics of a subject |
US9372118B1 (en) | 2011-03-07 | 2016-06-21 | Fluxdata, Inc. | Apparatus and method for multispectral based detection |
KR101983402B1 (ko) | 2011-03-07 | 2019-05-28 | 웨이크 포리스트 유니버시티 헬스 사이언시즈 | 전달 시스템 |
US20120288230A1 (en) | 2011-05-13 | 2012-11-15 | Kestrel Labs, Inc. | Non-Reflective Optical Connections in Laser-Based Photoplethysmography |
US8891087B2 (en) | 2011-06-01 | 2014-11-18 | Digital Light Innovations | System and method for hyperspectral imaging |
SG10201607916XA (en) | 2011-06-24 | 2016-11-29 | Kla Tencor Corp | Method and apparatus for inspection of light emitting semiconductor devices using photoluminescence imaging |
KR101134770B1 (ko) | 2011-07-22 | 2012-04-13 | 양완석 | 휴대용 인체외시경 영상장치 |
US8942459B2 (en) | 2011-09-12 | 2015-01-27 | Perkinelmer Cellular Technologies Germany Gmbh | Methods and apparatus for fast identification of relevant features for classification or regression |
US9295402B1 (en) | 2012-01-17 | 2016-03-29 | University Of Washington Through Its Center For Commercialization | Methods and systems for assessing a burn injury |
WO2013110021A1 (en) | 2012-01-20 | 2013-07-25 | Harvard Bioscience, Inc. | Method for evaluating tissue injuries |
WO2013116316A1 (en) * | 2012-01-30 | 2013-08-08 | Scanadu Incorporated | Hyperspectral imaging systems, units, and methods |
CA2909914C (en) | 2012-04-27 | 2018-05-01 | Aimago S.A. | Optical coherent imaging medical device |
US9593982B2 (en) | 2012-05-21 | 2017-03-14 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
US9766382B2 (en) | 2012-06-05 | 2017-09-19 | Hypermed Imaging, Inc. | Single-sensor hyperspectral imaging device |
US9036877B2 (en) | 2012-06-20 | 2015-05-19 | Xerox Corporation | Continuous cardiac pulse rate estimation from multi-channel source video data with mid-point stitching |
US9547178B2 (en) | 2012-08-15 | 2017-01-17 | Semrock. Inc. | Dichroic image splitter |
LT2895209T (lt) | 2012-09-13 | 2019-10-25 | Polyheal Ltd | Pagerintos žaizdų gydymo kompozicijos, apimančios mikrosferas |
US8892192B2 (en) | 2012-11-07 | 2014-11-18 | Modulated Imaging, Inc. | Efficient modulated imaging |
CN105102945B (zh) | 2013-01-10 | 2018-07-10 | 加利珀生命科学股份有限公司 | 多光谱成像系统和方法 |
US20140213910A1 (en) | 2013-01-25 | 2014-07-31 | The Regents Of The University Of California | Method and apparatus for performing qualitative and quantitative analysis of burn extent and severity using spatially structured illumination |
JP6392785B2 (ja) | 2013-01-31 | 2018-09-19 | ベンタナ メディカル システムズ, インコーポレイテッド | 多重組織検定用の撮像デバイスまたはシステムを較正、構成、および有効性判断するためのシステムおよび方法 |
US11653874B2 (en) * | 2013-02-01 | 2023-05-23 | Acceleritas Corporation | Method and system for characterizing tissue in three dimensions using multimode optical measurements |
WO2014121152A1 (en) | 2013-02-01 | 2014-08-07 | Farkas Daniel | Method and system for characterizing tissue in three dimensions using multimode optical measurements |
GB201302451D0 (en) | 2013-02-12 | 2013-03-27 | Isis Innovation | Method and system for signal analysis |
WO2015103614A2 (en) | 2014-01-06 | 2015-07-09 | The Florida International University Board Of Trustees | Near infrared optical imaging system for hemodynamic imaging, pulse monitoring, and mapping spatio-temporal features |
US20150208923A1 (en) * | 2014-01-28 | 2015-07-30 | The Texas A&M University System | Non-Invasive Monitoring of Tissue Mechanical Properties |
WO2015116823A1 (en) | 2014-01-29 | 2015-08-06 | The Johns Hopkins University | System and method for wound imaging and debridement |
DE102014002514B4 (de) | 2014-02-21 | 2015-10-29 | Universität Stuttgart | Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie |
AU2015230939B2 (en) | 2014-03-21 | 2019-05-02 | Hypermed Imaging, Inc. | Compact light sensor |
DE102014106974A1 (de) | 2014-05-16 | 2015-11-19 | Cubert GmbH | Räumlich und spektral auflösende Hyperspektralkamera und Verfahren |
CA2950751A1 (en) | 2014-06-04 | 2015-12-10 | University Of Massachusetts Medical School | Hyperspectral imaging for prediction of skin injury after exposure to thermal energy or ionizing radiation |
WO2016057633A1 (en) | 2014-10-08 | 2016-04-14 | Revealix, Inc. | Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly |
US9717417B2 (en) | 2014-10-29 | 2017-08-01 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
CN107209934B (zh) | 2014-12-03 | 2021-03-30 | 文塔纳医疗系统公司 | 用于定量分析异质生物标志物分布的方法、系统和装置 |
US9990472B2 (en) | 2015-03-23 | 2018-06-05 | Ohio State Innovation Foundation | System and method for segmentation and automated measurement of chronic wound images |
US10921186B2 (en) | 2015-09-22 | 2021-02-16 | Hypermed Imaging, Inc. | Methods and apparatus for imaging discrete wavelength bands using a mobile device |
EP3352670B8 (en) | 2015-09-23 | 2024-07-03 | Stryker Corporation | Method and system for assessing healing of tissue |
JP6785307B2 (ja) | 2015-10-28 | 2020-11-18 | スペクトラル エムディー, インコーポレイテッドSpectral Md, Inc. | 組織分類システム |
US11660012B2 (en) | 2016-04-15 | 2023-05-30 | The Regents Of The University Of California | Assessment of wound status and tissue viability via analysis of spatially resolved THz reflectometry maps |
US10013811B2 (en) | 2016-06-13 | 2018-07-03 | Umm-Al-Qura University | Hyperspectral image visualization in patients with medical conditions |
EP3490454A4 (en) | 2016-07-29 | 2020-08-05 | Novadaq Technologies ULC | METHODS AND SYSTEMS FOR CHARACTERIZING A SUBJECT FABRIC USING MACHINE LEARNING |
US10223788B2 (en) * | 2016-08-31 | 2019-03-05 | International Business Machines Corporation | Skin lesion segmentation using deep convolution networks guided by local unsupervised learning |
BR112019013184A2 (pt) | 2016-12-27 | 2019-12-10 | Urugus S A | aparelho de imageamento de múltiplos espectros, aparelho de imageamento e método de operar um sistema de imageamento hiperespectral |
US10145740B2 (en) | 2017-02-27 | 2018-12-04 | Visera Technologies Company Limited | Sensing multiple peak wavelengths using combination of dual-band filters |
US10806334B2 (en) * | 2017-02-28 | 2020-10-20 | Verily Life Sciences Llc | System and method for multiclass classification of images using a programmable light source |
CN110573066A (zh) | 2017-03-02 | 2019-12-13 | 光谱Md公司 | 用于多光谱截肢部位分析的机器学习系统和技术 |
US11185280B2 (en) | 2017-10-17 | 2021-11-30 | Kronikare Pte Ltd | System and method for facilitating analysis of a wound in a target subject |
CN111356909B (zh) | 2017-11-16 | 2023-07-04 | 多传感器科学公司 | 用于使用扫描照明器及光学传感器进行多光谱成像及气体检测的系统及方法 |
US20190290117A1 (en) | 2018-03-22 | 2019-09-26 | Kabushiki Kaisha Topcon | Interferometric fundus imaging method |
US10740884B2 (en) | 2018-12-14 | 2020-08-11 | Spectral Md, Inc. | System and method for high precision multi-aperture spectral imaging |
BR112021011132A2 (pt) | 2018-12-14 | 2021-08-31 | Spectral Md, Inc. | Sistemas de aprendizado por máquina e métodos para avaliação, predição de cicatrização e tratamento de feridas |
US10783632B2 (en) | 2018-12-14 | 2020-09-22 | Spectral Md, Inc. | Machine learning systems and method for assessment, healing prediction, and treatment of wounds |
KR20210099126A (ko) | 2018-12-14 | 2021-08-11 | 스펙트랄 엠디, 인크. | 고정밀도 다중-애퍼쳐 스펙트럼 이미징을 위한 시스템 및 방법 |
WO2021173763A1 (en) | 2020-02-28 | 2021-09-02 | Spectral Md, Inc. | Machine learning systems and methods for assessment, healing prediction, and treatment of wounds |
EP4178426A4 (en) | 2020-07-13 | 2024-07-31 | Spectral Md Inc | SPECTRAL IMAGING SYSTEMS AND METHODS FOR HISTOLOGICAL EVALUATION OF WOUNDS |
-
2018
- 2018-03-02 CN CN201880028365.1A patent/CN110573066A/zh active Pending
- 2018-03-02 EP EP18760531.6A patent/EP3589191A4/en active Pending
- 2018-03-02 US US16/489,955 patent/US20220240783A1/en not_active Abandoned
- 2018-03-02 WO PCT/US2018/020661 patent/WO2018160963A1/en unknown
-
2019
- 2019-10-31 US US16/670,911 patent/US10750992B2/en active Active
-
2020
- 2020-08-24 US US17/000,810 patent/US11337643B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394782A (zh) * | 2006-01-05 | 2009-03-25 | 弗吉尼亚大学专利基金会 | 从自我监测数据评价糖尿病中的血糖变异性的方法、系统和计算机程序产品 |
US20100292549A1 (en) * | 2007-07-31 | 2010-11-18 | J&M Shuler, Inc. | Method and system for monitoring oxygenation levels of compartments and tissue |
CN105636512A (zh) * | 2013-08-14 | 2016-06-01 | 南洋理工大学 | 用于评估血管重建的系统和方法 |
CN103815875A (zh) * | 2013-10-28 | 2014-05-28 | 重庆西南医院 | 一种用于烧伤皮肤坏死深度和面积诊断的近红外光谱成像系统及方法 |
WO2016069788A1 (en) * | 2014-10-29 | 2016-05-06 | Spectral Md, Inc. | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification |
US20160321414A1 (en) * | 2015-04-29 | 2016-11-03 | Siemens Medical Solutions Usa, Inc. | Diagnostic Test Planning |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111489348A (zh) * | 2020-04-16 | 2020-08-04 | 创新奇智(重庆)科技有限公司 | 一种磁性材料产品表面缺陷模拟方法及装置 |
CN111489348B (zh) * | 2020-04-16 | 2023-01-20 | 创新奇智(重庆)科技有限公司 | 一种磁性材料产品表面缺陷模拟方法及装置 |
CN111528827A (zh) * | 2020-05-25 | 2020-08-14 | 陈聪 | 一种血流图识别方法 |
CN112587119A (zh) * | 2020-12-11 | 2021-04-02 | 北京工业大学 | 一种基于深度学习的外周动脉疾病诊断方法 |
CN112587119B (zh) * | 2020-12-11 | 2023-03-31 | 北京工业大学 | 一种基于深度学习的外周动脉特征提取方法 |
CN112893427A (zh) * | 2021-01-14 | 2021-06-04 | 农业农村部环境保护科研监测所 | 一种重金属污染耕地修复治理的智能化决策方法 |
CN112893427B (zh) * | 2021-01-14 | 2022-04-12 | 农业农村部环境保护科研监测所 | 一种重金属污染耕地修复治理的智能化决策方法 |
CN113069081A (zh) * | 2021-03-22 | 2021-07-06 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进Bi-LSTM与fNIRS的疼痛检测方法 |
CN113159159B (zh) * | 2021-04-15 | 2023-09-29 | 东北大学 | 一种基于改进cnn的小样本图像分类方法 |
CN113159159A (zh) * | 2021-04-15 | 2021-07-23 | 东北大学 | 一种基于改进cnn的小样本图像分类方法 |
CN113192377A (zh) * | 2021-04-28 | 2021-07-30 | 章捷 | 一种外科手术教学训练装置 |
CN113520683A (zh) * | 2021-07-08 | 2021-10-22 | 中国科学技术大学 | 基于模仿学习的下肢假肢控制系统及方法 |
CN113657580A (zh) * | 2021-08-17 | 2021-11-16 | 重庆邮电大学 | 基于微环谐振器和非易失性相变材料的光子卷积神经网络加速器 |
CN113657580B (zh) * | 2021-08-17 | 2023-11-21 | 重庆邮电大学 | 基于微环谐振器和非易失性相变材料的光子卷积神经网络加速器 |
CN116705325A (zh) * | 2023-06-26 | 2023-09-05 | 国家康复辅具研究中心 | 一种伤口感染风险评估方法及其系统 |
CN116705325B (zh) * | 2023-06-26 | 2024-01-19 | 国家康复辅具研究中心 | 一种伤口感染风险评估方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
US11337643B2 (en) | 2022-05-24 |
US20210169400A1 (en) | 2021-06-10 |
US10750992B2 (en) | 2020-08-25 |
EP3589191A4 (en) | 2020-11-11 |
WO2018160963A1 (en) | 2018-09-07 |
US20200138360A1 (en) | 2020-05-07 |
US20220240783A1 (en) | 2022-08-04 |
EP3589191A1 (en) | 2020-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11337643B2 (en) | Machine learning systems and techniques for multispectral amputation site analysis | |
US9962090B2 (en) | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification | |
EP3212057B1 (en) | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification | |
KR102634161B1 (ko) | 조직 분류를 위한 반사 모드 멀티스펙트럴 시간 분해된 광학 이미징 방법들 및 장치들 | |
US20220142484A1 (en) | Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification | |
JP2018502677A5 (zh) | ||
AU2017315334B2 (en) | Multispectral mobile tissue assessment | |
KR20190133026A (ko) | 당뇨병성 혈액순환 합병증을 평가하기 위한 시스템 및 방법 | |
CN105960264A (zh) | 对光疗处置期间的生命体征的基于相机的监测 | |
TWI755918B (zh) | 傷口評估方法 | |
Linek et al. | Evaluation of hyperspectral imaging to quantify perfusion changes during the modified Allen test | |
US11950848B2 (en) | Fundus imaging for microvascular assessment | |
Kim et al. | Remote Bio Vision: Perfusion Imaging Based Non-Contact Autonomic Biosignal Measurement Algorithm | |
US20240341674A1 (en) | Diabetic foot examination device | |
Chang et al. | Efficient Mapping of Tissue Oxygen Saturation using Hyperspectral Imaging and GAN | |
Granados-Castro et al. | Contactless skin blood perfusion imaging via multispectral information, spectral unmixing and multivariable regression | |
Chen | A vascular imaging system for longitudinal registration and mapping of superficial vessels with quantitative analysis | |
Mahesh Kumar | Machine learning based automated decision support systems for the diagnosis of cholesterol and diabetic related eye abnormalities | |
Lin et al. | Using blood volume pulse vector to extract rppg signal in infrared spectrum | |
Amelard | Widefield Computational Biophotonic Imaging for Spatiotemporal Cardiovascular Hemodynamic Monitoring | |
Anduig Romero | Investigations on the influence of superficial veins on camera-based photoplethysmograms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191213 |