RU2822860C1 - Method of processing digital images of fingers for colorimetric analysis of hemoglobin level in blood - Google Patents
Method of processing digital images of fingers for colorimetric analysis of hemoglobin level in blood Download PDFInfo
- Publication number
- RU2822860C1 RU2822860C1 RU2023133301A RU2023133301A RU2822860C1 RU 2822860 C1 RU2822860 C1 RU 2822860C1 RU 2023133301 A RU2023133301 A RU 2023133301A RU 2023133301 A RU2023133301 A RU 2023133301A RU 2822860 C1 RU2822860 C1 RU 2822860C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- areas
- intensities
- hemoglobin
- blood
- Prior art date
Links
- 102000001554 Hemoglobins Human genes 0.000 title claims abstract description 47
- 108010054147 Hemoglobins Proteins 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000008280 blood Substances 0.000 title claims abstract description 32
- 210000004369 blood Anatomy 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 title claims abstract description 21
- 238000004737 colorimetric analysis Methods 0.000 title claims abstract description 9
- 238000009826 distribution Methods 0.000 claims abstract description 28
- 210000004904 fingernail bed Anatomy 0.000 claims abstract description 18
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 210000000282 nail Anatomy 0.000 claims abstract description 15
- 238000003066 decision tree Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000001914 filtration Methods 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 5
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012014 optical coherence tomography Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000004905 finger nail Anatomy 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012628 principal component regression Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Abstract
Description
Область техники, к которой относится изобретениеField of technology to which the invention relates
Изобретение относится к средствам для обработки данных, полученных в процессе неинвазивного анализа содержания гемоглобина в крови пациента/ пользователя/ человека, с использованием моделей машинного обучения.The invention relates to means for processing data obtained during non-invasive analysis of hemoglobin content in the blood of a patient/user/person using machine learning models.
Уровень техникиState of the art
Из уровня техники известен ряд способов обработки при помощи компьютерной техники результатов анализа крови, полученных неинвазивными методами.A number of methods are known from the prior art for processing blood test results obtained by non-invasive methods using computer technology.
Известен способ неинвазивного медицинского мониторинга, предусматривающий измерение характеристик крови, раскрытый в заявке US 2021/0113121 А1, опубликованной 27.08.2020. В данной заявке описан способ получения информации об оптических свойствах ткани, в котором используют датчик оптической когерентной томографии для картирования кровеносных сосудов пациента. Данные оптической когерентной томографии кожи пациента обрабатывают с использованием предварительно обученной сверточной нейронной сети и получают информацию о светоотражающих свойствах тканей кожи с проходящими через них кровеносными капиллярными сосудами. По результатам указанной обработки судят о характеристиках крови пациента, в частности об уровне содержащейся в ней глюкозы и гемоглобина.There is a known method of non-invasive medical monitoring, which involves measuring blood characteristics, disclosed in application US 2021/0113121 A1, published on 08/27/2020. This application describes a method for obtaining information about the optical properties of tissue that uses an optical coherence tomography sensor to map a patient's blood vessels. Optical coherence tomography data from a patient's skin is processed using a pre-trained convolutional neural network to obtain information about the light reflective properties of skin tissue with blood capillary vessels passing through it. Based on the results of this processing, the characteristics of the patient’s blood are judged, in particular the level of glucose and hemoglobin contained in it.
Недостатками такого способа является необходимость применения сложного метода оптической когерентной томографии, требующего наличия специализированной техники для проведения исследования. Более того, с помощью указанного метода светотражающие характеристики тканей получают только с тех участков, где установлены соответствующие датчики. Соответственно построенная карта светоотражающих свойств тканей кожи может получиться не совсем точной, и при ее обработке могут быть допущены значительные погрешности при определении характеристик крови.The disadvantages of this method are the need to use a complex method of optical coherence tomography, which requires specialized equipment to conduct the study. Moreover, using this method, the reflective characteristics of fabrics are obtained only from those areas where the corresponding sensors are installed. Accordingly, the constructed map of the reflective properties of skin tissue may not be entirely accurate, and during its processing, significant errors may be made when determining the characteristics of blood.
Также известен способ определения гемоглобина крови при помощи оптического детектора, раскрытый в описании к патенту RU 2712078 С2. Указанный способ заключается в том, что с помощью фотодетектора, чувствительного в видимом и ближнем ИК диапазоне, регистрируют оптический сигнал от светодиодов с узкополосным спектром излучения в видимом и ближнем ИК диапазоне, прошедший через участки пальца человека. Детектируемый сигнал передают для обработки на удаленный сервер с помощью мобильного устройства. После соответствующей обработки при помощи алгоритмов нелинейного машинного обучения результаты анализа передаются обратно на мобильное устройство и отображаются на его дисплее в виде цветного пиктографического представления, на основании которого судят об уровне гемоглобина в крови пациента. Основным недостатком такого способа является относительно невысокая точность определения гемоглобина, согласно 10.1371/journal.pone.0254629.There is also a known method for determining blood hemoglobin using an optical detector, disclosed in the description of patent RU 2712078 C2. This method involves using a photodetector sensitive in the visible and near-IR range to record an optical signal from LEDs with a narrow-band emission spectrum in the visible and near-IR range that has passed through areas of a person’s finger. The detected signal is transmitted for processing to a remote server using a mobile device. After appropriate processing using nonlinear machine learning algorithms, the analysis results are transmitted back to the mobile device and displayed on its display in the form of a color pictographic representation, based on which the level of hemoglobin in the patient’s blood is judged. The main disadvantage of this method is the relatively low accuracy of hemoglobin determination, according to 10.1371/journal.pone.0254629.
Известен способ неинвазивного прогнозирования уровня гемоглобина крови, раскрытый в заявке US 2021/0007648 А1. Способ предполагает обработку цифровых изображений пальцев руки с использованием подсветки в ближнем ИК диапазоне (на 850 и 1070 нм), получаемых с помощью камеры смартфона. В указанном способе на первом этапе получают временные последовательности снимков пальцев изображения пациента с инфракрасной подсветкой. Затем на цифровых снимках производят сегментацию областей изображений, на которых приведены ногтевые ложа пальцев. На основании данных, извлеченных из временных последовательностей, с помощью алгоритма машинного обучения на основе машин опорных векторов осуществляют предсказание уровня гемоглобина в крови пациента.There is a known method for non-invasively predicting blood hemoglobin levels, disclosed in application US 2021/0007648 A1. The method involves processing digital images of fingers using illumination in the near-infrared range (at 850 and 1070 nm), obtained using a smartphone camera. In this method, at the first stage, time sequences of finger images of the patient with infrared illumination are obtained. Then, segmentation of the image areas showing the nail beds of the fingers is carried out on the digital photographs. Based on the data extracted from the time sequences, a machine learning algorithm based on support vector machines is used to predict the hemoglobin level in the patient's blood.
Описанный выше способ определения гемоглобина требует наличия ИК подсветки и детектора, в качестве которого, как правило, выступает камера смартфона, чувствительного в ИК диапазоне. Однако обычно камеры смартфонов оснащаются световыми фильтрами, ослабляющими излучение ближнего ИК диапазона. Поэтому при обработке результатов измерений учитывается распределение интенсивностей главным образом в одном канале полученного RGB изображения (R-канале). Соответственно в G- и В-каналах происходит значительное отклонение обработанных значений интенсивностей от реально зарегистрированных значений. Кроме того, согласно данному способу, при обработке полученного изображения также не учитывается статистика распределения интенсивностей по всем трем каналам (RGB-каналам). Как следствие неверно выдается оценочное значение гемоглобина в крови пациента.The method described above for determining hemoglobin requires the presence of IR illumination and a detector, which, as a rule, is an IR-sensitive smartphone camera. However, smartphone cameras are usually equipped with light filters that attenuate near-infrared radiation. Therefore, when processing measurement results, the intensity distribution is taken into account mainly in one channel of the resulting RGB image (R-channel). Accordingly, in the G- and B-channels there is a significant deviation of the processed intensity values from the actually recorded values. In addition, according to this method, when processing the resulting image, the statistics of intensity distribution over all three channels (RGB channels) is also not taken into account. As a result, the estimated value of hemoglobin in the patient’s blood is incorrectly given.
Таким образом, задачей, положенной в основу настоящего изобретения, является разработка метода анализа изображений, получаемых в видимом диапазоне спектра с помощью камеры, детектирующей изображение одновременно в трех цветовых каналах в диапазоне от 300 до 700 нм при освещении белым источником освещения, что не требует применения специальных источников излучения и детектирующих устройств, помимо стандартных цветовых камер, таких как, например, камеры мобильных устройств. При этом обеспечивается высокая точность определения гемоглобина в крови пациента.Thus, the task underlying the present invention is to develop a method for analyzing images obtained in the visible range of the spectrum using a camera that simultaneously detects images in three color channels in the range from 300 to 700 nm when illuminated by a white light source, which does not require the use of special radiation sources and detection devices, in addition to standard color cameras, such as, for example, cameras from mobile devices. This ensures high accuracy in determining hemoglobin in the patient’s blood.
Раскрытие сущности изобретенияDisclosure of the invention
В качестве технического результата, достигаемого за счет использования предложенного изобретения, выступает возможность более точного распознания полученных изображений ногтевых лож пальцев пациента за счет учета распределения интенсивностей света, прошедшего через ткань пациента, с получением цифрового изображения одновременно во всех трех каналах (R-канала, G-канала, и В-канала), используя при этом несколько уровней заданных опорных значений распределения интенсивностей и такой алгоритм машинного обучения, который позволяет наиболее полно учитывать вышеуказанное распределение интенсивностей и более точно предсказывать значение гемоглобина на основании анализа полученных RGB -изображений.The technical result achieved through the use of the proposed invention is the possibility of more accurately recognizing the obtained images of the patient’s nail beds by taking into account the distribution of light intensities passed through the patient’s tissue, obtaining a digital image simultaneously in all three channels (R-channel, G -channel, and B-channel), using several levels of specified reference values of the intensity distribution and a machine learning algorithm that allows you to most fully take into account the above intensity distribution and more accurately predict the hemoglobin value based on the analysis of the obtained RGB images.
Детектирование производится с помощью камеры в трех цветовых каналах: R-канале (спектральная чувствительность в диапазоне 580-680 нм), G-канале (спектральная чувствительность в диапазоне 480-580 нм), и В-канале (спектральная чувствительность в диапазоне 430-480 нм).Detection is carried out using a camera in three color channels: R-channel (spectral sensitivity in the range of 580-680 nm), G-channel (spectral sensitivity in the range of 480-580 nm), and B-channel (spectral sensitivity in the range of 430-480 nm).
Для достижения технического результата в способе обработки цифровых изображений пальцев руки для колориметрического анализа уровня гемоглобина в крови осуществляют следующую последовательность действий:To achieve a technical result in the method of processing digital images of fingers for colorimetric analysis of hemoglobin levels in the blood, the following sequence of actions is carried out:
1. на цифровом снимке пальцев сегментируют области изображений, на которых располагаются ногтевые ложа пальцев, а также участки кожи, цвет которых изменяется в зависимости от уровня гемоглобина в крови;1. on a digital image of the fingers, segment the image areas in which the nail beds of the fingers are located, as well as areas of the skin whose color changes depending on the level of hemoglobin in the blood;
2. сегментируют только ту часть изображения ногтевого ложа и участка кожи, в которой распределение интенсивности в различных цветовых каналах является однородным;2. segment only that part of the image of the nail bed and skin area in which the intensity distribution in different color channels is uniform;
3. фильтруют сегментированные области изображения, цветовые характеристики которых изменяются в зависимости от уровня гемоглобина в крови, при этом удаляют области, в которых интенсивности R-, G-, В-каналов имеют нетипичные характеристики для цветовых характеристик кожи и ногтевого ложа путем сравнения средних значений интенсивностей и стандартного отклонения интенсивностей детектированного изображения с опорными значениями;3. filter segmented areas of the image, the color characteristics of which change depending on the level of hemoglobin in the blood, while removing areas in which the intensities of the R-, G-, B-channels have atypical characteristics for the color characteristics of the skin and nail bed by comparing the average values intensities and standard deviation of the intensities of the detected image with reference values;
4. для отфильтрованных областей изображения рассчитывают статистики распределения интенсивностей в R-, G-, В-каналах цифрового изображения: процентилей распределения интенсивностей по уровню 5, 15, 25, 50, 75, 85, 95 среднего значения интенсивности и среднеквадратического отклонения интенсивностей;4. for the filtered image areas, statistics of the intensity distribution in the R-, G-, B-channels of the digital image are calculated: percentiles of the intensity distribution at levels 5, 15, 25, 50, 75, 85, 95 of the average intensity value and standard deviation of the intensities;
5. предсказывают уровень концентрации гемоглобина с помощью модели машинного обучения на основе ансамбля решающих деревьев по данным рассчитанных значений статистик распределения интенсивностей цифрового изображения выделенных областей.5. predict the level of hemoglobin concentration using a machine learning model based on an ensemble of decision trees based on the calculated values of the intensity distribution statistics of the digital image of the selected areas.
В частных случаях для реализации настоящего изобретения для сегментации области изображений ногтевого ложа и участков кожи пальцев рук в качестве модели машинного обучения используют сверточную нейронную сеть с архитектурой MobileNet-SSD-FPN или YOLOv6.In particular cases, to implement the present invention, a convolutional neural network with the MobileNet-SSD-FPN or YOLOv6 architecture is used as a machine learning model to segment the image area of the nail bed and areas of the skin of the fingers.
Кроме того, для предсказания уровня гемоглобина в крови в дополнение к ансамблю решающих деревьев также может быть использована одна из следующих моделей машинного обучения: модели линейной регрессии, нейронные сети, непараметрические методы типа метода ближайших соседей, регрессии на главные компоненты, регрессии на опорных векторах, локально-взвешенной регрессии или совокупность одной или нескольких из данных моделей.In addition, to predict the level of hemoglobin in the blood, in addition to the ensemble of decision trees, one of the following machine learning models can also be used: linear regression models, neural networks, non-parametric methods such as nearest neighbors, principal component regression, support vector regression, locally weighted regression or a combination of one or more of these models.
Краткое описание чертежейBrief description of drawings
Изобретение поясняется иллюстративным материалом.The invention is illustrated by illustrative material.
На фиг. 1 приведена общая схема метода определения концентрации гемоглобина по данным колориметрии.In fig. Figure 1 shows a general diagram of the method for determining hemoglobin concentration using colorimetry data.
На фиг. 2 показан пример обнаруженных участков ногтевых пластин на изображении руки.In fig. Figure 2 shows an example of detected areas of nail plates in an image of a hand.
На фиг. 3 показан пример сегментированных участков ногтевого ложа.In fig. Figure 3 shows an example of segmented sections of the nail bed.
На фиг. 4 приведен пример ансамбля решающих деревьев, которые обеспечивают предсказания уровня гемоглобина.In fig. Figure 4 shows an example of an ensemble of decision trees that provide hemoglobin level predictions.
Осуществление изобретения.Implementation of the invention.
Как показано на схеме (фиг. 1), созданный способ обработки изображений пальцев руки для колориметрического анализа гемоглобина в крови пациента включает в себя следующие этапы:As shown in the diagram (Fig. 1), the created method for processing images of fingers for colorimetric analysis of hemoglobin in the patient’s blood includes the following steps:
- получение изображения (подготовительный этап, предшествующий заявленному способу);- obtaining an image (preparatory stage preceding the claimed method);
- сегментация ногтевых пластин и участков кожи, являющиеся информативными для последующего анализа;- segmentation of nail plates and skin areas, which are informative for subsequent analysis;
- расчет цветовых характеристик сегментированных областей;- calculation of color characteristics of segmented areas;
- использование цветовых характеристик в статистической модели;- use of color characteristics in a statistical model;
- прогнозирование содержания гемоглобина на основании анализа указанных цветовых характеристик.- prediction of hemoglobin content based on the analysis of the specified color characteristics.
Для получения изображения пальцев руки для последующего колориметрического анализа уровня гемоглобина в его крови ладонь освещают источником белого излучения видимой области спектра.To obtain an image of the fingers of the hand for subsequent colorimetric analysis of the level of hemoglobin in his blood, the palm is illuminated with a source of white radiation in the visible region of the spectrum.
На первом этапе производится фотография ногтевого ложа диагностируемого пациента в контролируемых условиях освещения так, чтобы ладонь или фаланги пальцев пациента занимали на изображении не менее одной шестой от кадра. Учитывая, что разные участки просвечиваемых ладоней имеют различные оптические характеристики, интенсивность диффузно-отраженного света будет различна в различных участках кожи человека, в частности, интенсивность отраженного от кожи света будет определяться наличием кровеносных сосудов на данном участке, а также цветом крови, определяемом уровнем гемоглобина в крови. Однако не все участки ладони удобны для детектирования гемоглобина в крови пациента за счет наличия других хромофоров в коже человека (в первую очередь меланина). Наиболее предпочтительными участками для детектирования гемоглобина являются ногтевые ложа пальцев, а также участки кожи, находящиеся на удалении 1-2 см от ногтевого ложа (для учета возможного уровня меланина в модели). Для выделения указанных участков на изображении необходимо применять методы сегментации.At the first stage, a photograph of the nail bed of the diagnosed patient is taken under controlled lighting conditions so that the palm or phalanges of the patient’s fingers occupy at least one-sixth of the frame in the image. Considering that different areas of translucent palms have different optical characteristics, the intensity of diffusely reflected light will be different in different areas of human skin, in particular, the intensity of light reflected from the skin will be determined by the presence of blood vessels in this area, as well as the color of the blood, determined by the level of hemoglobin in blood. However, not all areas of the palm are convenient for detecting hemoglobin in the patient’s blood due to the presence of other chromophores in human skin (primarily melanin). The most preferred areas for detecting hemoglobin are the nail beds of the fingers, as well as areas of the skin located at a distance of 1-2 cm from the nail bed (to take into account the possible level of melanin in the model). To highlight these areas in the image, it is necessary to use segmentation methods.
Для сегментации ногтевых областей на изображениях используют модель машинного обучения, детектирующую участки ногтевого ложа на изображении с использованием сверточной нейронной сети. Наиболее предпочтительной нейронной сетью является сеть с архитектурой MobileNet-SSD-FPN или YOLO, каждая из которых обладает высокой производительностью и сравнительно малым количеством весов, необходимым для детектирования объектов. Используемая модель должна быть предварительно обучена на датасете изображений ногтей рук. Результатом предсказания модели являются координаты прямоугольников на изображении, в которых наиболее вероятно расположение ногтевой пластины. В проведенных экспериментах была использована модель, обученная на датасете из более 1000 изображений ладоней, демонстрирующая высокие показатели точности на тестовом наборе данных - для 174 объектов (ногтевых пластин) на изображениях рук для 44 добровольцев, модель успешно обнаружила 172 объекта. Таким образом, вероятность корректного обнаружения ногтевой пластины на изображении составляла 98,8% (95% доверительный интервал [95,9; 99,8]%).To segment nail areas in images, a machine learning model is used that detects areas of the nail bed in the image using a convolutional neural network. The most preferred neural network is a network with the MobileNet-SSD-FPN or YOLO architecture, each of which has high performance and a relatively small number of weights required for object detection. The model used must be previously trained on a dataset of fingernail images. The result of the model's prediction is the coordinates of the rectangles in the image in which the location of the nail plate is most likely. In the experiments conducted, a model was used that was trained on a dataset of more than 1000 images of palms, demonstrating high accuracy rates on the test data set - for 174 objects (nail plates) in hand images for 44 volunteers, the model successfully detected 172 objects. Thus, the probability of correctly detecting the nail plate in the image was 98.8% (95% confidence interval [95.9, 99.8]%).
В ряде случаев указанная сегментация может быть произведена оператором вручную путем задания координат ногтевого ложа или тех участков пальцев, которые являются информативными для колориметрического анализа. Так, например, могут быть заданы координаты центра исследуемой области, радиус или диаметр данной области, и при необходимости коэффициент овальности выбранной области, чтобы более правильно аппроксимировать реальное изображение ногтевого ложа.In some cases, this segmentation can be performed manually by the operator by specifying the coordinates of the nail bed or those areas of the fingers that are informative for colorimetric analysis. For example, the coordinates of the center of the area under study, the radius or diameter of the area, and, if necessary, the ovality coefficient of the selected area can be specified in order to more correctly approximate the real image of the nail bed.
Примеры сегментированых участков ногтевого ложа представлены на фиг. 2. Аналогичным образом сегментируются участки кожи на фалангах пальцев - сегментирование может быть произведено с помощью отдельной модели, или используя предсказания, полученные для ногтевого ложа, путем сдвига координат предсказанных областей на необходимое число пикселей на изображении.Examples of segmented areas of the nail bed are presented in Fig. 2. Skin areas on the phalanges of the fingers are segmented in a similar way - segmentation can be done using a separate model, or using predictions obtained for the nail bed, by shifting the coordinates of the predicted areas by the required number of pixels in the image.
После сегментации на изображении внутренняя область сегментированных ногтевых пластин вырезается для последующего анализа. Цветовые характеристики сегментированных участков изображения кожи и ногтевых пластин фильтруются путем сравнения интенсивностей детектированного изображения с опорными значениями если полученные при помощи оптического детектора значения интенсивности прошедшего через ткань света не лежат в указанном диапазоне опорных значений, они удаляются из общей базы данных и не участвуют в дальнейших этапах предсказания уровня гемоглобина.After image segmentation, the inner region of the segmented nail plates is cut out for subsequent analysis. The color characteristics of segmented areas of the image of the skin and nail plates are filtered by comparing the intensities of the detected image with reference values; if the intensity values of the light transmitted through the tissue obtained using an optical detector do not lie in the specified range of reference values, they are removed from the general database and do not participate in further stages predicting hemoglobin levels.
На фиг. 3 приведены увеличенные вырезанные изображения сегментированных участков ногтевого ложа. После процедуры фильтрации для отобранных изображений участков ногтевого ложа и кожи руки рассчитываются цветовые характеристики указанных областей средние значения, значения процентилей распределений интенсивностей и стандартные отклонения значений интенсивностей в R-, G- и В-каналах.In fig. Figure 3 shows enlarged cut-out images of segmented areas of the nail bed. After the filtering procedure, for the selected images of the areas of the nail bed and the skin of the hand, the color characteristics of the indicated areas are calculated, the average values, the percentile values of the intensity distributions and the standard deviations of the intensity values in the R-, G- and B-channels.
Средние значения распределения интенсивности для каждого из каналов могут быть определены по формулам:The average intensity distribution values for each channel can be determined using the formulas:
, где IRi - это зарегистрированное значение интенсивности в R (красном)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, n - общее количество пикселей, принадлежащих данной области. , where I Ri is the recorded intensity value in the R (red) channel in each of the pixels belonging to the cut segmented area, n is the total number of pixels belonging to this area.
, где IGi - это зарегистрированное значение интенсивности в G (зеленом)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, n - общее количество пикселей, принадлежащих данной области. , where I Gi is the recorded intensity value in the G (green) channel in each of the pixels belonging to the cut segmented area, n is the total number of pixels belonging to this area.
, где IBi - это зарегистрированное значение интенсивности в В (синем)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, n - общее количество пикселей, принадлежащих данной области. , where I Bi is the recorded intensity value in the B (blue) channel in each of the pixels belonging to the cut out segmented area, n is the total number of pixels belonging to this area.
Среднеквадратичные значения интенсивностей определяются по следующим формулам:The root mean square values of the intensities are determined by the following formulas:
где IRi - это зарегистрированное значение интенсивности в R(красном)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, - среднее значение (мат.ожидание) интенсивности в R-канале, n - общее количество пикселей, принадлежащих данной области. where I Ri is the recorded intensity value in the R (red) channel in each of the pixels belonging to the cut segmented area, - average value (mathematical expectation) of intensity in the R-channel, n - total number of pixels belonging to this area.
, где IGi - это зарегистрированное значение интенсивности в G(красном)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, - среднее значение (мат.ожидание) интенсивности в G-канале, n - общее количество пикселей, принадлежащих данной области. , where I Gi is the recorded intensity value in the G (red) channel in each of the pixels belonging to the cut segmented area, - average value (mathematical expectation) of intensity in the G-channel, n - total number of pixels belonging to this area.
где IBi - это зарегистрированное значение интенсивности в В (красном)-канале в каждом из пикселей, принадлежащей вырезанной сегментированной области, - среднее значение (мат.ожидание) интенсивности в В-канале, n - общее количество пикселей, принадлежащих данной области. where I Bi is the recorded intensity value in the B (red) channel in each of the pixels belonging to the cut segmented area, - average value (mathematical expectation) of intensity in the B-channel, n - total number of pixels belonging to this area.
В дополнение к средним значениям и стандартным отклонениям интенсивностей в R-, G-, В-каналах сегментированного изображения, для изображений также определяют процентили распределения интенсивностей в указанных каналах по семи уровням: 5, 15, 25, 50, 75, 85, 95. Полученные процентили распределения интенсивности связаны с действительным уровнем гемоглобина в крови пациента и также используются в качестве входных данных, поданных в модель машинного обучения, предсказывающую уровень гемоглобина в крови пациента по данным оптического отклика.In addition to the average values and standard deviations of the intensities in the R-, G-, B-channels of the segmented image, percentiles of the intensity distribution in the specified channels are also determined for the images at seven levels: 5, 15, 25, 50, 75, 85, 95. The resulting intensity distribution percentiles are related to the patient's actual hemoglobin level and are also used as input to a machine learning model that predicts the patient's hemoglobin level from the optical response data.
Для того, чтобы в вырезанном сегментированном цифровом изображении наиболее точно по трем каналам (R-, G-, В- каналах) определить статистики распределения средних значений интенсивностей и их среднеквадратичных отклонений устанавливают процентили распределения интенсивностей по семи уровням: 5, 15, 25, 50, 75, 85, 95 и определяют, какое количество пикселей на вырезанном сегментированном изображении не превысит с заданной вероятностью, например 95%, вышеуказанные значения процентилей одновременно по всем трем каналам. Полученные значения связаны с действительным уровнем гемоглобина в крови пациента и могут быть использованы в качестве входных данных, поданных в модель машинного обучения, которая позволяет интерпретировать результаты колометрического агнализа. Так например, три малых значения процентилей (5, 15 и 25) позволяют с высокой вероятностью отследить малые значения интенсивности детектируемого света и в процессе последующей машинной обработки выявить значения гемоглобина в диапазоне от 160 до 200 г/л, а три больших значения процентилей (75, 85, 95) позволят детектировать высокие значения интенсивности детектируемого света и в процессе последующей машинной обработки выявить значения гемоглобина в диапазоне от 60 до 120 г/л. В том случае, если в крови содержится средний уровень гемоглобина (от 120 до 160 г/л), то более точную статистику позволит получить среднее значение процентиля по уровню 50.In order to most accurately determine the statistics of the distribution of average intensity values and their standard deviations in a cut-out segmented digital image using three channels (R-, G-, B-channels), percentiles of the intensity distribution are set at seven levels: 5, 15, 25, 50 , 75, 85, 95 and determine which number of pixels in the cut out segmented image will not exceed with a given probability, for example 95%, the above percentile values simultaneously for all three channels. The obtained values are associated with the actual level of hemoglobin in the patient’s blood and can be used as input data fed into a machine learning model, which allows interpreting the results of colorimetric analysis. For example, three small percentile values (5, 15 and 25) make it possible with high probability to track low values of the intensity of detected light and, in the process of subsequent machine processing, identify hemoglobin values in the range from 160 to 200 g/l, and three large percentile values (75 , 85, 95) will make it possible to detect high intensity values of the detected light and, in the process of subsequent machine processing, to identify hemoglobin values in the range from 60 to 120 g/l. If the blood contains an average level of hemoglobin (from 120 to 160 g/l), then more accurate statistics will be obtained by the average percentile value at level 50.
Само по себе определение распределения параметров интенсивности оптического излучения, отраженного от ткани информативного участка ладони хотя и является необходимой операцией для осуществления заявленного способа, не является его конечной операцией. Для того чтобы обеспечить высокую точность интерпретации информации, приведенной на изображении пальцев пациента, нужно подобрать тот метод машинного обучения, который обеспечит заданную точность восстановления концентрации гемоглобина из заданных величин оптического отклика. Экспериментально было установлено, что использование модели машинного обучения на основе ансамбля решающих деревьев для обработки значений статистик распределения интенсивностей цифрового изображения выделенных областей ладони обеспечит наибольшую точность определения гемоглобина. Наилучшую точность в проведенных экспериментах показали ансамбли решающих деревьев (см. фиг. 4), построенные по методу градиентного бустинга или случайного леса. Помимо высокой точности предсказания модели на основе решающих деревьев также обладают высокой скоростью обработки входных предикторов и не требуют существенных затрат вычислительных ресурсов.In itself, determining the distribution of parameters of the intensity of optical radiation reflected from the tissue of the informative area of the palm, although it is a necessary operation for implementing the claimed method, is not its final operation. In order to ensure high accuracy of interpretation of the information provided in the image of the patient’s fingers, it is necessary to select a machine learning method that will ensure the specified accuracy of reconstructing the hemoglobin concentration from the specified optical response values. It was experimentally established that the use of a machine learning model based on an ensemble of decision trees to process the values of the intensity distribution statistics of a digital image of selected areas of the palm will provide the greatest accuracy in determining hemoglobin. The best accuracy in the experiments was shown by ensembles of decision trees (see Fig. 4), built using the gradient boosting or random forest method. In addition to high prediction accuracy, models based on decision trees also have a high processing speed of input predictors and do not require significant computational resources.
Для дополнительного повышения точности обработки изображений пальцев ладони, по которым судят о значении гемоглобина, в дополнение к ансамблю решающих деревьев могут быть использованы и иные модели статистического обучения, например, модели линейной регрессии, нейронные сети, не параметрические методы, в частности метод ближайших соседей, регрессии на главные компоненты, регрессии на опорных векторах, локально-взвешенной регрессии или совокупность одной или нескольких из данных моделей.To further improve the accuracy of processing images of palm fingers, which are used to judge the value of hemoglobin, in addition to the ensemble of decision trees, other statistical learning models can be used, for example, linear regression models, neural networks, non-parametric methods, in particular the nearest neighbors method, principal components regression, support vector regression, locally weighted regression, or a combination of one or more of these models.
Таким образом, за счет использования предложенного способа обработки цифровых изображений пальцев руки обеспечивается существенное повышение точности определения уровня гемоглобина в крови, используя неинвазивный колориметрический метод диагностики.Thus, through the use of the proposed method for processing digital images of fingers, a significant increase in the accuracy of determining the level of hemoglobin in the blood is ensured using a non-invasive colorimetric diagnostic method.
Claims (9)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2822860C1 true RU2822860C1 (en) | 2024-07-15 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2655518C2 (en) * | 2013-02-13 | 2018-05-28 | Леман Майкро Дивайсиз Са | Noninvasive blood analysis |
| US10092226B2 (en) * | 2011-12-23 | 2018-10-09 | General Electric Company | Method, arrangement, sensor, and computer program product for non-invasively measuring hemoglobin concentrations in blood |
| US20210007648A1 (en) * | 2018-03-05 | 2021-01-14 | Marquette University | Method and Apparatus for Non-Invasive Hemoglobin Level Prediction |
| US20210113121A1 (en) * | 2019-08-27 | 2021-04-22 | Cercacor Laboratories, Inc. | Non-invasive medical monitoring device for blood analyte measurements |
| CN115944293A (en) * | 2023-03-15 | 2023-04-11 | 汶上县人民医院 | Neural network-based hemoglobin level prediction system for kidney dialysis |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10092226B2 (en) * | 2011-12-23 | 2018-10-09 | General Electric Company | Method, arrangement, sensor, and computer program product for non-invasively measuring hemoglobin concentrations in blood |
| RU2655518C2 (en) * | 2013-02-13 | 2018-05-28 | Леман Майкро Дивайсиз Са | Noninvasive blood analysis |
| US20210007648A1 (en) * | 2018-03-05 | 2021-01-14 | Marquette University | Method and Apparatus for Non-Invasive Hemoglobin Level Prediction |
| US20210113121A1 (en) * | 2019-08-27 | 2021-04-22 | Cercacor Laboratories, Inc. | Non-invasive medical monitoring device for blood analyte measurements |
| CN115944293A (en) * | 2023-03-15 | 2023-04-11 | 汶上县人民医院 | Neural network-based hemoglobin level prediction system for kidney dialysis |
Non-Patent Citations (2)
| Title |
|---|
| Soumil Chugh, Non Invasive Hemoglobin Monitoring Device, Conference: IEEE ICCC 2015 At: Kerala, November 2015, DOI:10.1109/ICCC.2015.7432925. * |
| Yoon, G., Kim, S.J., Jeon, K.J. Robust design of finger probe in non-invasive total haemoglobin monitor. Med. Biol. Eng. Comput. 43, 121-125 (2005). https://doi.org/10.1007/BF02345132. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10285624B2 (en) | Systems, devices, and methods for estimating bilirubin levels | |
| JP6545658B2 (en) | Estimating bilirubin levels | |
| JP4487535B2 (en) | Health measurement system and program | |
| JP2015500722A (en) | Method and apparatus for detecting and quantifying skin symptoms in a skin zone | |
| CN106778695A (en) | A kind of many people's examing heartbeat fastly methods based on video | |
| Ghosal et al. | sHEMO: Smartphone spectroscopy for blood hemoglobin level monitoring in smart anemia-care | |
| KR20160115501A (en) | Method and Apparatus for acquiring a biometric information | |
| US20220133215A1 (en) | Method for evaluating skin lesions using artificial intelligence | |
| Appiahene et al. | Detection of anemia using conjunctiva images: A smartphone application approach | |
| CN116849612B (en) | Multispectral tongue picture image acquisition and analysis system | |
| Hasan et al. | RGB pixel analysis of fingertip video image captured from sickle cell patient with low and high level of hemoglobin | |
| JP3548473B2 (en) | Method and apparatus for identifying arteriovenous of fundus image, recording medium and apparatus | |
| CN112334990A (en) | Automatic cervical cancer diagnosis system | |
| US20210209755A1 (en) | Automatic lesion border selection based on morphology and color features | |
| US11690543B2 (en) | System and method for camera-based quantification of blood biomarkers | |
| Das et al. | Non-invasive haemoglobin estimation by observing nail color: A pca based approach | |
| KR102493242B1 (en) | Method and System for Judging Aortic Valve Stenosis Risk and Other Cardiovascular Diseases Risk from Photoplethysmography through Artificial Intelligence Learning | |
| RU2822860C1 (en) | Method of processing digital images of fingers for colorimetric analysis of hemoglobin level in blood | |
| KR102333120B1 (en) | Self Scalp Diagnostic System and Method | |
| KR102595429B1 (en) | Apparatus and method for automatic calculation of bowel preparation | |
| Seetah et al. | A convolutional neural network approach to diabetic retinopathy detection and its automated classification | |
| US20230284940A1 (en) | System and method for camera-based quantification of blood biomarkers | |
| JP2005345310A (en) | Blood health support system | |
| Ahmed et al. | Automatic Region of Interest Extraction from Finger Nail Images for Measuring Blood Hemoglobin Level | |
| RU2817636C1 (en) | Method for automated remote diagnosis of skin new growths |