[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2024123203A1 - Method for provisional diagnosis of lower extremity venous disorders - Google Patents

Method for provisional diagnosis of lower extremity venous disorders Download PDF

Info

Publication number
WO2024123203A1
WO2024123203A1 PCT/RU2022/000362 RU2022000362W WO2024123203A1 WO 2024123203 A1 WO2024123203 A1 WO 2024123203A1 RU 2022000362 W RU2022000362 W RU 2022000362W WO 2024123203 A1 WO2024123203 A1 WO 2024123203A1
Authority
WO
WIPO (PCT)
Prior art keywords
neural network
image
detection
lower extremities
classification
Prior art date
Application number
PCT/RU2022/000362
Other languages
French (fr)
Russian (ru)
Inventor
Максим Дмитриевич ЧИСТОГОВ
Андрей Владимирович ДЕНИСОВ
Наталья Юрьевна КОНДРАТЮК
Original Assignee
Общество с ограниченной ответственностью "Альбедо"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2022131807A external-priority patent/RU2804279C1/en
Application filed by Общество с ограниченной ответственностью "Альбедо" filed Critical Общество с ограниченной ответственностью "Альбедо"
Publication of WO2024123203A1 publication Critical patent/WO2024123203A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • This technical solution relates to the field of medicine, as well as to the field of information and communication technologies for processing medical data, in particular to a method for determining diseases of the veins of the lower extremities.
  • This technical solution can also be used by patients for self-diagnosis of diseases of the veins of the lower extremities.
  • the source of information RU 2741260 C1, published on January 22, 2022, is known from the prior art, revealing a method and system for automated diagnosis of vascular pathologies based on images.
  • the decision disclosed in the above information source is performed by a computing device in which the user's medical history data and an image of the suspected pathology are obtained; carry out semantic segmentation of the image of the alleged pathology by separating the background from the object under study with the expected pathology using machine learning methods; determining pathology in the image by using an artificial convolutional neural network; carry out classification of the resulting pathology in the image using machine learning methods; generate health recommendations for the user based on at least one pathology and data from the user's medical history.
  • the proposed solution differs from the solution known from the prior art in that it operates on the basis of a cascade of neural networks to increase the accuracy of diagnosing diseases of the veins of the lower extremities.
  • the proposed solution compares the obtained results of several neural networks to make a decision about the presence or absence of venous disease of the lower extremities.
  • the technical problem to be solved by the claimed technical solution is the creation of a method for the preliminary diagnosis of venous diseases lower extremities based on artificial intelligence algorithms.
  • a method for determining diseases of the veins of the lower extremities has been developed, described in an independent claim.
  • Particular options for implementing the proposed solution are described in the dependent claims of the formula.
  • the technical result achieved by solving the above technical problem is to increase the accuracy of diagnosing diseases of the veins of the lower extremities, through the use of a cascade of neural networks.
  • An additional technical result is the implementation of the purpose.
  • the claimed result is achieved by implementing a computer-implemented method for determining diseases of the veins of the lower extremities using a cascade of neural networks, executed on a computing device containing a processor and memory storing instructions executed by the processor and including stages in which: an image of the user’s lower extremities is received from the user’s device to the server ; by means of a segmentation neural network, the skin is segmented in the image of the user's lower extremities to separate the skin from the background in the image and the results are transmitted to the detection neural network; using a detecting neural network, segments of the affected skin areas of the veins of the lower extremities are determined with a preliminary diagnosis; to validate the results of the detection neural network, segments of the affected skin areas of the veins of the lower extremities are input to the classification neural network to determine the presence of venous disease of the lower extremities; compare the results of the detection neural network and the classification neural network to determine the presence of venous disease of the lower extremities; if the diagnoses obtained from the detection and classification neural networks
  • the detection neural network before validating the results by the detection neural network, it is determined that the user’s lower limb is present in the original skin images using a classification neural network.
  • Fig. 1 illustrates a flow diagram of the operation of a method for detecting diseases of the veins of the lower extremities.
  • Fig. 2 illustrates an example of the operation of a detection neural network to determine the diagnosis of varicase veins.
  • the user through the camera of the user device, creates an image of the lower extremities.
  • the user can create both an image of the entire lower limb and a region of interest (the area of the lower limb that interests the user to determine the disease).
  • the resulting images are transmitted to the server via telecommunications for subsequent processing.
  • the user's device can be a mobile phone, tablet, etc.
  • An image of the lower extremities is obtained on the server.
  • a cascade of several different types of neural networks is deployed on the server, where each neural network, in a certain sequence, performs its specific task to obtain a common result, which is to diagnose diseases of the veins of the lower extremities.
  • the cascade includes the following neural networks:
  • Segmentation neural network Image segmentation involves dividing the input image into different segments with strong correlation to the region of interest in the given image.
  • the U-net convolutional neural network is used as a segmentation neural network.
  • the encoder gradually reduces the spatial dimension by continuously merging layers to extract feature information, and the decoder part gradually reconstructs the target details and dimension according to the feature information.
  • the encoder step that gradually reduces the image size is called downsampling, and the decoder step that gradually reduces the detail and size of the image is called upsampling.
  • a segmentation neural network is used to search for the boundaries of research objects, as well as to reduce unnecessary information, leading to a decrease in the accuracy of the classification and detection networks.
  • a segmentation neural network is used to segment an image and separate a leg segment from the background. With its help, it is possible to improve the quality of diagnosis by removing unnecessary items of clothing and background from the original image.
  • the detection neural network recognizes several objects in one image and provides coordinates that determine the location of the objects, in particular, the affected areas of lower extremity vein diseases are determined.
  • the input of the neural network is an image of the skin of the legs without a background; the result of such a network will be the coordinates of the affected area and the probable diagnosis (diagnosis class according to CEAP (classification of varicose veins) and the probability of this diagnosis).
  • the FRCNN neural network was selected to detect and classify affected areas on the skin.
  • the first classification neural network is aimed at determining that a lower limb (leg) is present in the original image.
  • the second classification neural network is aimed at determining the diagnosis of diseases of the veins of the lower extremities on sets of segments obtained from the detection neural network.
  • This neural network is used to validate the result of the detecting neural network, with the help of which it is possible to confirm the diagnosis, or to reject unnecessary areas that are characterized by segments found and classified as a disease by the detecting neural network, if these segments do not relate to the disease or do not relate to anything one of the required classes according to CEAP.
  • a classification neural network with the VGG16 model is used. The result of this neural network will be the CEAP diagnosis class (classification of varicose veins) and the probability of this diagnosis.
  • the resulting images of the lower extremities are preprocessed to feed them to the input of the neural network.
  • Preprocessing involves image compression since the input layer of the neural network takes a fixed matrix size.
  • the image of the user's lower limbs is input to a segmentation neural network and a classification neural network to determine that there is a leg in the image simultaneously.
  • the skin is segmented in the image of the user’s lower extremities, i.e. separation of the image of the lower extremities from the background.
  • the segmentation neural network returns an array of white and black pixels, where the white pixel represents the skin in the image and the black pixel represents the background.
  • the resulting image from the segmentation neural network is fed to the input of the detection neural network to determine the segments of the affected skin areas of the veins of the lower extremities with a probabilistic diagnosis.
  • the result of the neural network will be the coordinates of the affected area and a probable diagnosis (class of diagnosis according to CEAP (classification of varicose veins) and the probability of this diagnosis).
  • the threshold is determined as follows: if, as a result of the operation of the neural network, the probability of diagnosis exceeds 18%, then such a segment is transferred to the classification neural network; if the probability is less than 18%, then the result is returned to the user that the disease is not defined and the method is stopped.
  • Such areas are cut out from the original image and transmitted to the input of the classification network in the form of small fragments (segments).
  • the detection neural network works in such a way that when identifying multiple affected areas, no intersection or overlap of areas with different CEAP (classification of varicose veins) categories is allowed, i.e. one segment must relate to one probabilistic diagnosis.
  • the result of the classification neural network is obtained to determine the presence of lower limbs in the original image. Using the classification neural network to determine that a leg is present in the image, it is determined that the user's lower limb (leg) is present in the skin image. If, as a result of the work of the classification neural network, it is determined that there is not a leg in the image, then the work stops. If, as a result of the classification network, it is determined that there is a leg in the image, the resulting segments from the detection neural network are sent to the input of the classification neural network to validate the results of the detection neural network.
  • the input of the classification neural network receives the segments that were determined by the detecting neural network.
  • the classification network determines the presence or absence of pathologies in a given area.
  • the classification neural network also returns the CEAP diagnosis class and its probability. If the probability exceeds 62%, then this segment will be used to compare the results, if the probability less than 62%, then the result is returned to the user that the disease is not determined and the method is stopped.
  • the results of the neural networks are compared with threshold values (18% for the detection neural network and 62% for the classification neural network).
  • recommendations for the user are formed.
  • the recommendations reflect that the user needs to visit a doctor.
  • C2 varicose veins
  • S3 edema
  • the user through the user device, forms an image of his lower limb (leg).
  • the resulting image is sent to the server.
  • the server preprocesses the received image.
  • the preprocessed image is fed to the input of a segmentation neural network to separate the lower limb from the background.
  • the resulting image from the segmentation neural network is fed to the input of the detection neural network to determine the segments of the affected skin areas of the veins of the lower extremities with a probabilistic diagnosis.
  • the coordinates of the segment were obtained and this segment was classified as varicose veins (C2 - according to the CEAP classifier) with a probability of 20%.
  • Figure 2 illustrates the definition of the frame of a segment with a diagnosis of varicose veins.
  • This segment with a diagnosis of varicose veins is cut out and sent to a classification neural network to validate the result obtained.
  • the result of the classification neural network is obtained to determine the presence of lower limbs in the original image.
  • a leg is identified using a classification neural network and the above fragment is fed to the classification neural network to validate the result obtained.
  • a classification neural network determines the presence or absence of pathologies in directional segment.
  • the classification neural network produces the result that the presented segment has a 70% probability of having varicose veins (C2).
  • C2 varicose veins
  • the detection neural network and classification neural network have determined that the image reflects varicose veins (C2), they compare the results of the neural networks with the threshold values. Since the threshold values for the detection and classification neural networks are higher than the specified ones (18% for the detection and 62% for the classification), they output the result about the presence of varicose veins in the image (C2). They also send the user recommendations for visiting a doctor.
  • the user through the user device, forms an image of his lower limb.
  • the resulting image is sent to the server.
  • the server preprocesses the received image.
  • the preprocessed image is fed to the input of a segmentation neural network to separate the lower limb from the background.
  • the resulting image from the segmentation neural network is fed to the input of the detection neural network to determine the segments of the affected skin areas of the veins of the lower extremities with a probabilistic diagnosis.
  • the coordinates of the segment were obtained and this segment was classified as edema (SE - according to the CEAP classifier) with a probability of 20%.
  • This segment with a diagnosis of varicose veins is cut out and sent to a classification neural network to validate the result obtained.
  • the result of the classification neural network is obtained to determine the presence of lower limbs in the original image.
  • a leg is identified using a classification neural network and the above fragment is fed to the classification neural network to validate the result obtained.
  • a classification neural network determines the presence or absence of pathologies in the targeted segment.
  • the classification neural network produces the result that there is a 20% probability of edema (SE) in the presented segment.
  • SE edema
  • the resulting results of the classification neural network will not be sent for comparison, since the probability threshold has not been passed and, therefore, there is no edema (SE) in the image. Since the threshold values of the detecting neural network have been passed, and classification neural network is not passed, then the result is output that the user has no diseases of the lower extremities.
  • the recommendations indicate that the user should consult a doctor to clarify the diagnosis.
  • an algorithm is obtained from a cascade of neural networks, which allows for image segmentation to remove the background and unnecessary elements in the image, detection of a lesion in accordance with the diagnosis, as well as classification of the area received from the detection network for rejection and increasing the accuracy of the system.
  • the maximum possible accuracy of cascade operation was experimentally obtained by introducing recognition thresholds and pre-processing images.
  • a computing device that provides data processing necessary to implement the claimed solution generally contains components such as: one or more processors, at least one memory, data storage means, input/output interfaces, input means, network communication means.
  • the device processor When executing machine-readable instructions contained in the RAM, the device processor is configured to perform basic computing operations necessary for the operation of the device or the functionality of one or more of its components.
  • Memory as a rule, is made in the form of RAM, into which the necessary program logic is loaded to provide the required functionality.
  • the amount of memory required to implement the proposed solution is allocated.
  • the data storage medium can be in the form of HDDs, SSDs, raid arrays, network storage, flash memory, etc.
  • the tool allows long-term storage of various types of information, for example, the aforementioned files with user data sets, a database containing records of time intervals measured for each user, user IDs, etc.
  • Interfaces are standard means for connecting and operating peripheral and other devices, for example, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning, etc.
  • a keyboard can be used as a data input means in any embodiment of a system that implements the described method.
  • the hardware design of the keyboard can be any known: it can be either a built-in keyboard used on a laptop or netbook, or a separate device connected to a desktop computer, server or other computer device.
  • connection can be either wired, in which the keyboard connecting cable is connected to the PS/2 or USB port located on the system unit of the desktop computer, or wireless, in which the keyboard exchanges data via a wireless communication channel, for example, a radio channel, with base station, which, in turn, is directly connected to the system unit, for example, to one of the USB ports.
  • data input means can also include: joystick, display (touch display), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
  • the means of network interaction are selected from a device that provides network reception and transmission of data, for example, an Ethernet card, WLAN/Wi-Fi module, Bluetooth module, BLE module, NFC module, IrDa, RFID module, GSM modem, etc.
  • the tools ensure the organization of data exchange over a wired or wireless data transmission channel, for example, WAN, PAN, LAN, Intranet, Internet, WLAN, WMAN or GSM.
  • the device components are interconnected via a common data bus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

The invention relates to medicine. A method for the provisional diagnosis of lower extremity venous disorders comprises the steps of obtaining an image of the lower extremities, then segmenting the skin surfaces using a segmentation neural network in order to separate said skin surfaces from the background of the image, and transmitting the results to a detection neural network which identifies segments containing affected areas of skin with veins of the lower extremities and delivers a provisional diagnosis. The segments containing affected areas of skin with veins of the lower extremities are then input into a classification neural network to determine the presence of a lower extremity venous disorder. The results of the detection neural network and the classification neural network are compared to determine the presence of a lower extremity venous disorder. If the diagnoses match, then they are compared with threshold values. If the values of the results of the detection and classification neural networks are higher than said threshold values, a result is delivered with a specific diagnosis. The specific diagnosis is used to generate recommendations for the user. The invention provides an increase in the accuracy with which lower extremity venous disorders are diagnosed.

Description

СПОСОБ ПРЕДВАРИТЕЛЬНОЙ ДИАГНОСТИКИ БОЛЕЗНЕЙ ВЕН НИЖНИХ КОНЕЧНОСТЕЙ METHOD FOR PRELIMINARY DIAGNOSIS OF VEIN DISEASES OF THE LOWER LIMB
ОБЛАСТЬ ТЕХНИКИ TECHNICAL FIELD
Настоящее техническое решение относится к области медицины, а также к области информационных и коммуникационных технологий для обработки медицинских данных, в частности к способу определения болезней вен нижних конечностей. Настоящее техническое решение также может быть использовано пациентами для самостоятельной диагностики болезней вен нижних конечностей. This technical solution relates to the field of medicine, as well as to the field of information and communication technologies for processing medical data, in particular to a method for determining diseases of the veins of the lower extremities. This technical solution can also be used by patients for self-diagnosis of diseases of the veins of the lower extremities.
УРОВЕНЬ ТЕХНИКИ BACKGROUND OF THE ART
Из уровня техники известен источник информации RU 2741260 С1, опубликованный 22.01.2022, раскрывающий способ и систему автоматизированной диагностики сосудистых патологий на основании изображения. Решение раскрытое в вышеуказанном источнике информации выполняется вычислительным устройством, в котором получают данные анамнеза пользователя и изображение предполагаемой патологии; осуществляют семантическую сегментацию изображения предполагаемой патологии посредством отделения фона от исследуемого объекта с предполагаемой патологией с помощью методов машинного обучения; определяют на изображении патологию посредством использования искусственной сверточной нейронной сети; осуществляют классификацию полученной патологии на изображении посредством использования методов машинного обучения; формируют рекомендации по здоровью для пользователя на основании по меньшей мере одной патологии и данных анамнеза пользователя. The source of information RU 2741260 C1, published on January 22, 2022, is known from the prior art, revealing a method and system for automated diagnosis of vascular pathologies based on images. The decision disclosed in the above information source is performed by a computing device in which the user's medical history data and an image of the suspected pathology are obtained; carry out semantic segmentation of the image of the alleged pathology by separating the background from the object under study with the expected pathology using machine learning methods; determining pathology in the image by using an artificial convolutional neural network; carry out classification of the resulting pathology in the image using machine learning methods; generate health recommendations for the user based on at least one pathology and data from the user's medical history.
Предлагаемое решение отличается от известного из уровня техники решения тем, что работает на основе каскада нейронных сетей, для повышения точности диагностирования болезней вен нижних конечностей. Кроме того, в предлагаемом решении осуществляется сравнение полученных результатов нескольких нейронных сетей для принятия решения о наличии или отсутствии болезни вен нижних конечностей. The proposed solution differs from the solution known from the prior art in that it operates on the basis of a cascade of neural networks to increase the accuracy of diagnosing diseases of the veins of the lower extremities. In addition, the proposed solution compares the obtained results of several neural networks to make a decision about the presence or absence of venous disease of the lower extremities.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ SUMMARY OF THE INVENTION
Технической задачей, на решение которой направлено заявленное техническое решение, является создание способа для предварительной диагностики болезней вен нижних конечностей на основе алгоритмов искусственного интеллекта. Для решения поставленной задачи разработан способ определения болезней вен нижних конечностей, охарактеризованный в независимом пункте формулы. Частные варианты реализации предлагаемого решения охарактеризованы в зависимых пунктах формулы. The technical problem to be solved by the claimed technical solution is the creation of a method for the preliminary diagnosis of venous diseases lower extremities based on artificial intelligence algorithms. To solve this problem, a method for determining diseases of the veins of the lower extremities has been developed, described in an independent claim. Particular options for implementing the proposed solution are described in the dependent claims of the formula.
Техническим результатом, достигающимся при решении вышеуказанной технической задачи, является повышение точности диагностирования болезней вен нижних конечностей, за счет использования каскада нейронных сетей. Дополнительным техническим результатом является реализация назначения. The technical result achieved by solving the above technical problem is to increase the accuracy of diagnosing diseases of the veins of the lower extremities, through the use of a cascade of neural networks. An additional technical result is the implementation of the purpose.
Заявленный результат достигается за счет осуществления компьютернореализуемого способа определения болезней вен нижних конечностей с использованием каскада нейронных сетей, выполняющийся на вычислительном устройстве, содержащем процессор и память, хранящую инструкции, исполняемые процессором и включающий этапы на которых: на сервер получают изображение нижних конечностей пользователя от устройства пользователя; посредством сегментационной нейронной сети осуществляют сегментацию кожных покровов на изображении нижних конечностей пользователя для отделения кожных покровов от фона на изображении и передают результаты в обнаруживающую нейронную сеть; посредством обнаруживающей нейронной сети определяют сегменты пораженных участков кожи вен нижних конечностей с предварительным диагнозом; для валидации результатов обнаруживающей нейронной сети, сегменты пораженных участков кожи вен нижних конечностей поступают на вход классификационной нейронной сети для определения наличия болезни вен нижних конечностей; осуществляют сравнение результатов обнаруживающей нейронной сети и классификационной нейронной сети для определения наличия болезни вен нижних конечностей; при совпадении диагнозов, полученных от обнаруживающей и классификационной нейронных сетей, осуществляют сравнение с пороговыми значениями, если значения результатов обнаруживающей и классификационной нейронных сетей выше пороговых значений, то выводят результат с определенным диагнозом; на основе определенного диагноза формируют рекомендации для пользователя. The claimed result is achieved by implementing a computer-implemented method for determining diseases of the veins of the lower extremities using a cascade of neural networks, executed on a computing device containing a processor and memory storing instructions executed by the processor and including stages in which: an image of the user’s lower extremities is received from the user’s device to the server ; by means of a segmentation neural network, the skin is segmented in the image of the user's lower extremities to separate the skin from the background in the image and the results are transmitted to the detection neural network; using a detecting neural network, segments of the affected skin areas of the veins of the lower extremities are determined with a preliminary diagnosis; to validate the results of the detection neural network, segments of the affected skin areas of the veins of the lower extremities are input to the classification neural network to determine the presence of venous disease of the lower extremities; compare the results of the detection neural network and the classification neural network to determine the presence of venous disease of the lower extremities; if the diagnoses obtained from the detection and classification neural networks coincide, a comparison with threshold values is carried out; if the values of the results of the detection and classification neural networks are higher than the threshold values, then a result with a certain diagnosis is output; Based on a specific diagnosis, recommendations are formed for the user.
В частном варианте реализации предлагаемого способа, перед валидацией результатов обнаруживающей нейронной сетью, осуществляют определение того, что на исходных изображениях кожных покровов присутствует нижняя конечность пользователя посредством классификационной нейронной сети. In a particular embodiment of the proposed method, before validating the results by the detection neural network, it is determined that the user’s lower limb is present in the original skin images using a classification neural network.
ОПИСАНИЕ ЧЕРТЕЖЕЙ DESCRIPTION OF DRAWINGS
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи: The implementation of the invention will be described further in accordance with the accompanying drawings, which are presented to explain the essence of the invention and in no way limit the scope of the invention. The following drawings are attached to the application:
Фиг. 1 иллюстрирует блок-схему работы способа определения болезней вен нижних конечностей. Fig. 1 illustrates a flow diagram of the operation of a method for detecting diseases of the veins of the lower extremities.
Фиг. 2 иллюстрирует пример работы обнаруживающей нейронной сети для определения диагноза вариказа вен. Fig. 2 illustrates an example of the operation of a detection neural network to determine the diagnosis of varicase veins.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ DETAILED DESCRIPTION OF THE INVENTION
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять понимание особенностей настоящего изобретения. The following detailed description of the invention sets forth numerous implementation details designed to provide a clear understanding of the present invention. However, it will be apparent to one skilled in the art how the present invention can be used with or without these implementation details. In other cases, well-known methods, procedures and components have not been described in detail so as not to obscure the features of the present invention.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов. In addition, from the above discussion it will be clear that the invention is not limited to the above implementation. Numerous possible modifications, alterations, variations and substitutions, while retaining the spirit and form of the present invention, will be apparent to those skilled in the art.
Пользователь, посредством камеры устройства пользователя, создает изображение нижних конечностей. Пользователь может создать как изображение всей нижней конечности, так и интересующую его область для исследования (участок нижней конечности, который интересует пользователя для определения болезни). Полученные изображения передаются на сервер, посредством телекоммуникационной связи, для последующей обработки. The user, through the camera of the user device, creates an image of the lower extremities. The user can create both an image of the entire lower limb and a region of interest (the area of the lower limb that interests the user to determine the disease). The resulting images are transmitted to the server via telecommunications for subsequent processing.
В качестве устройства пользователя может быть мобильный телефон, планшет и т.д. The user's device can be a mobile phone, tablet, etc.
На сервере получают изображение нижних конечностей. На сервере развернут каскад из нескольких разнотипных нейронных сетей, где каждая нейронная сеть, в определенной последовательности, выполняет свою специфическую задачу для получения общего результата, заключающегося в диагностировании болезней вен нижних конечностей. Каскад включает в себя следующие нейронные сети: An image of the lower extremities is obtained on the server. A cascade of several different types of neural networks is deployed on the server, where each neural network, in a certain sequence, performs its specific task to obtain a common result, which is to diagnose diseases of the veins of the lower extremities. The cascade includes the following neural networks:
1) Сегментационная нейронная сеть. Сегментация изображения включает в себя разделение входного изображения на разные сегменты с сильной корреляцией с интересующей областью на данном изображении. В предлагаемом решении в качестве сегментационной нейронной сети используется сверточная нейронная сеть U-net. Кодер постепенно уменьшает пространственное измерение путем непрерывного слияния слоев для извлечения информации о признаках, а часть декодера постепенно восстанавливает целевые детали и измерение в соответствии с информацией о признаках. Шаг кодера, постепенно уменьшающий размер изображения, называется понижающей дискретизацией, а шаг декодера, постепенно уменьшающий детали и размер изображения, называется повышающей дискретизацией. Сегментационная нейронная сеть используется для поиска границ объектов исследования, а также для снижения излишней информации, ведущей к снижению точности работы классифицирующих и обнаруживающих сетей. Сегментационная нейронная сеть используется для сегментации изображения и отделения сегмента ноги от фона, с её помощью возможно улучшение качества диагностики путем удаления с исходного изображения лишних предметов одежды и фона. 1) Segmentation neural network. Image segmentation involves dividing the input image into different segments with strong correlation to the region of interest in the given image. In the proposed solution, the U-net convolutional neural network is used as a segmentation neural network. The encoder gradually reduces the spatial dimension by continuously merging layers to extract feature information, and the decoder part gradually reconstructs the target details and dimension according to the feature information. The encoder step that gradually reduces the image size is called downsampling, and the decoder step that gradually reduces the detail and size of the image is called upsampling. A segmentation neural network is used to search for the boundaries of research objects, as well as to reduce unnecessary information, leading to a decrease in the accuracy of the classification and detection networks. A segmentation neural network is used to segment an image and separate a leg segment from the background. With its help, it is possible to improve the quality of diagnosis by removing unnecessary items of clothing and background from the original image.
2) Обнаруживающая нейронная сеть. Обнаруживающая нейронная сеть распознает несколько объектов на одном изображении и предоставляет координаты, определяющие местоположение объектов, в частности, определяются зоны поражения заболеваний вен нижних конечностей. На вход нейронной сети подается изображение кожных покровов ног без фона, результатом работы такой сети будут являться координаты пораженной области и вероятный диагноз (класс диагноза по СЕАР (классификация варикозной болезни) и вероятность данного диагноза). Для обнаружения и классификации пораженных участков на коже выбрана нейронная сеть FRCNN. 3) Классификационная нейронная сеть. Первая классификационная нейронная сеть направлена на определение того, что на исходном изображении присутствует нижняя конечность (нога). 2) Detection neural network. The detection neural network recognizes several objects in one image and provides coordinates that determine the location of the objects, in particular, the affected areas of lower extremity vein diseases are determined. The input of the neural network is an image of the skin of the legs without a background; the result of such a network will be the coordinates of the affected area and the probable diagnosis (diagnosis class according to CEAP (classification of varicose veins) and the probability of this diagnosis). The FRCNN neural network was selected to detect and classify affected areas on the skin. 3) Classification neural network. The first classification neural network is aimed at determining that a lower limb (leg) is present in the original image.
4) Классификационная нейронная сеть. Вторая классификационная нейронная сеть направлена на определение диагноза болезней вен нижних конечностей на наборах сегментов, полученных от обнаруживающей нейронной сети. Данная нейронная сеть используется для валидации результата обнаруживающей нейронной сети, при помощи которой возможно подтверждение диагноза, либо отбраковка лишних областей, которые характеризуются найденными и проклассифицированными как болезнь сегментами обнаруживающей нейронной сетью, в случае, если данные сегменты не относятся к болезни или не относятся ни к одному из искомых классов по СЕАР. Для валидации результата обнаруживающей нейронной сети используется классификационная нейронная сеть с моделью VGG16. Результатом данной нейронной сети будет класс диагноза по СЕАР (классификация варикозной болезни) и вероятность данного диагноза. 4) Classification neural network. The second classification neural network is aimed at determining the diagnosis of diseases of the veins of the lower extremities on sets of segments obtained from the detection neural network. This neural network is used to validate the result of the detecting neural network, with the help of which it is possible to confirm the diagnosis, or to reject unnecessary areas that are characterized by segments found and classified as a disease by the detecting neural network, if these segments do not relate to the disease or do not relate to anything one of the required classes according to CEAP. To validate the result of the detection neural network, a classification neural network with the VGG16 model is used. The result of this neural network will be the CEAP diagnosis class (classification of varicose veins) and the probability of this diagnosis.
Использование каскада обнаруживающей и классификационной нейронных сетей позволяет увеличить точность определения диагноза, путем подачи полученных сегментов обнаруживающей нейронной сетью на вход классификационной нейронной сети и получения двойной оценки диагноза. The use of a cascade of detection and classification neural networks allows you to increase the accuracy of determining the diagnosis by feeding the resulting segments by the detection neural network to the input of the classification neural network and obtaining a double assessment of the diagnosis.
Полученные изображения нижних конечностей предобрабатываются для подачи их на вход нейронной сети. Предобработка включает сжатие изображения так как входной слой нейронной сети принимает фиксированный размер матрицы. The resulting images of the lower extremities are preprocessed to feed them to the input of the neural network. Preprocessing involves image compression since the input layer of the neural network takes a fixed matrix size.
Изображение нижних конечностей пользователя поступает на вход сегментационной нейронной сети и классификационной нейронной сети, для определения, что на изображении присутствует нога, одновременно. The image of the user's lower limbs is input to a segmentation neural network and a classification neural network to determine that there is a leg in the image simultaneously.
Посредством сегментационной нейронной сети осуществляют сегментацию кожных покровов на изображении нижних конечностей пользователя, т.е. отделение изображения нижних конечностей от фона. Сегментационная нейронная сеть возвращает массив белых и черных пикселей, где пиксель белого цвета соответствует кожному покрову на изображения, а черный - фону. Using a segmentation neural network, the skin is segmented in the image of the user’s lower extremities, i.e. separation of the image of the lower extremities from the background. The segmentation neural network returns an array of white and black pixels, where the white pixel represents the skin in the image and the black pixel represents the background.
Полученное изображение от сегментационной нейронной сети подают на вход обнаруживающей нейронной сети для определения сегментов пораженных участков кожи вен нижних конечностей с вероятностным диагнозом. Результатом работы нейронной сети будут являться координаты пораженной области и вероятный диагноз (класс диагноза по СЕАР (классификация варикозной болезни) и вероятность данного диагноза). The resulting image from the segmentation neural network is fed to the input of the detection neural network to determine the segments of the affected skin areas of the veins of the lower extremities with a probabilistic diagnosis. The result of the neural network will be the coordinates of the affected area and a probable diagnosis (class of diagnosis according to CEAP (classification of varicose veins) and the probability of this diagnosis).
После получения координат пораженной области от обнаруживающей сети, при помощи поиска сегментов по определенному порогу, выделяются области на изображении, пригодные для дальнейшего исследования. Порог определяется следующим образом, если в результате работы нейронной сети вероятность диагноза превышает 18%, то такой сегмент передается на классификационную нейронную сеть, в случае, если вероятность менее 18%, то возвращают пользователю результат, что болезнь не определена и прекращают работу способа. Такие области вырезаются с исходного изображения и передаются на вход классификационной сети в виде небольших фрагментов (сегментов). After receiving the coordinates of the affected area from the detection network, by searching for segments using a certain threshold, areas in the image are selected that are suitable for further study. The threshold is determined as follows: if, as a result of the operation of the neural network, the probability of diagnosis exceeds 18%, then such a segment is transferred to the classification neural network; if the probability is less than 18%, then the result is returned to the user that the disease is not defined and the method is stopped. Such areas are cut out from the original image and transmitted to the input of the classification network in the form of small fragments (segments).
Обнаруживающая нейронная сеть работает таким образом, что при определении нескольких пораженных областей, не допускается пересечение или наложение областей с различными категориями по СЕАР (классификация варикозной болезни), т.е. один сегмент должен относится к одному вероятностному диагнозу. The detection neural network works in such a way that when identifying multiple affected areas, no intersection or overlap of areas with different CEAP (classification of varicose veins) categories is allowed, i.e. one segment must relate to one probabilistic diagnosis.
Прежде чем сегмент поступит в классификационную нейронную сеть для валидации, получают результат работы классификационной нейронной сети для определения присутствия на исходном изображении нижних конечностей ноги. Посредством классификационной нейронной сети для определения того, что на изображении присутствует нога, осуществляют определение того, что на изображении кожных покровов присутствует нижняя конечность пользователя (нога). Если в результате работы классификационной нейронной сети определено, что на изображении присутствует не нога, то работа прекращается. Если в результате работы классификационной сети определено, что на изображении присутствует нога, полученные сегменты от обнаруживающей нейронной сети поступают на вход классификационной нейронной сети для валидации результатов обнаруживающей нейронной сети. Before the segment enters the classification neural network for validation, the result of the classification neural network is obtained to determine the presence of lower limbs in the original image. Using the classification neural network to determine that a leg is present in the image, it is determined that the user's lower limb (leg) is present in the skin image. If, as a result of the work of the classification neural network, it is determined that there is not a leg in the image, then the work stops. If, as a result of the classification network, it is determined that there is a leg in the image, the resulting segments from the detection neural network are sent to the input of the classification neural network to validate the results of the detection neural network.
Для валидации результатов, полученных от обнаруживающей нейронной сети, на вход классификационной нейронной сети поступают сегменты, которые были определены обнаруживающей нейронной сетью. To validate the results obtained from the detecting neural network, the input of the classification neural network receives the segments that were determined by the detecting neural network.
Классификационная сеть определяет наличие или отсутствие патологий в заданной области. Классификационная нейронная сеть так же возвращает класс диагноза по СЕАР и его вероятность. Если вероятность превышает 62%, то данный сегмент будет использован для сравнения результатов, в случае, если вероятность менее 62%, то возвращают пользователю результат, что болезнь не определена и прекращают работу способа. The classification network determines the presence or absence of pathologies in a given area. The classification neural network also returns the CEAP diagnosis class and its probability. If the probability exceeds 62%, then this segment will be used to compare the results, if the probability less than 62%, then the result is returned to the user that the disease is not determined and the method is stopped.
Осуществляют сравнение результатов, полученных от обнаруживающей и классификационной нейронных сетей. The results obtained from the detection and classification neural networks are compared.
При совпадении диагнозов, полученных от обнаруживающей и классификационной нейронных сетей, осуществляют сравнение результатов нейронных сетей с пороговыми значениями (18% - для обнаруживающей нейронной сети и 62% - для классификационной нейронной сети). If the diagnoses obtained from the detection and classification neural networks coincide, the results of the neural networks are compared with threshold values (18% for the detection neural network and 62% for the classification neural network).
Если значения результатов обнаруживающей и классификационной нейронных сетей выше пороговых значений, то выводят результат с определенным диагнозом. If the values of the results of the detection and classification neural networks are higher than the threshold values, then a result with a certain diagnosis is output.
На основе определенного диагноза формируют рекомендации для пользователя. В рекомендациях отражено, что пользователю необходимо посетить врача. Based on a specific diagnosis, recommendations for the user are formed. The recommendations reflect that the user needs to visit a doctor.
Ниже будет указан пример, для определения варикозных вен (С2) и отека (СЗ) согласно классификации СЕАР. An example will be given below to determine varicose veins (C2) and edema (S3) according to the CEAP classification.
Пример определения варикоза вен (С2). An example of the definition of varicose veins (C2).
Пользователь посредством устройства пользователя формирует изображение своей нижней конечности (ноги). Полученное изображение поступает на сервер. На сервер осуществляют предобработку полученного изображения. Предобработанное изображение поступает на вход сегментационной нейронной сети для отделения нижней конечности от фона. Полученное изображение от сегментационной нейронной сети подают на вход обнаруживающей нейронной сети для определения сегментов пораженных участков кожи вен нижних конечностей с вероятностным диагнозом. В результате работы обнаруживающей нейронной сети получены координаты сегмента и данный сегмент классифицирован как варикоз вен (С2 - по классификатору СЕАР) с вероятностью 20%. На фиг.2 проиллюстрировано, определение рамки сегмента с диагнозом варикоза вен. Данный сегмент с диагнозом варикоза вен вырезается и поступает на классификационную нейронную сеть для валидации полученного результат. Прежде чем сегмент поступит в классификационную нейронную сеть для валидации, получают результат работы классификационной нейронной сети для определения присутствия на исходном изображении нижних конечностей ноги. На исходном изображении нижних конечностей определена нога, посредством классификационной нейронной сетью и вышеуказанный фрагмент поступает на классификационную нейронную сеть для валидации полученного результата. Классификационная нейронная сеть определяет наличие или отсутствие патологий в направленном сегменте. Классификационная нейронная сеть выдает результат, что на представленном сегменте с вероятность 70% присутствует варикоз вен (С2). Полученные результаты от обнаруживающей нейронной сети и классификационной нейронной сети сравниваются. Так как обнаруживающая нейронная сеть и классификационная нейронная сеть определили, что на изображении отражен варикоз вен (С2), то осуществляют сравнение результатов нейронных сетей с пороговыми значениями. Так как пороговые значения у обнаруживающей и классификационной нейронных сетей выше заданных (18% для обнаруживающей и 62% для классификационной), то выводят результат о наличии на изображении варикоза вен (С2). А также направляют пользователю рекомендации по посещению врача. The user, through the user device, forms an image of his lower limb (leg). The resulting image is sent to the server. The server preprocesses the received image. The preprocessed image is fed to the input of a segmentation neural network to separate the lower limb from the background. The resulting image from the segmentation neural network is fed to the input of the detection neural network to determine the segments of the affected skin areas of the veins of the lower extremities with a probabilistic diagnosis. As a result of the work of the detecting neural network, the coordinates of the segment were obtained and this segment was classified as varicose veins (C2 - according to the CEAP classifier) with a probability of 20%. Figure 2 illustrates the definition of the frame of a segment with a diagnosis of varicose veins. This segment with a diagnosis of varicose veins is cut out and sent to a classification neural network to validate the result obtained. Before the segment enters the classification neural network for validation, the result of the classification neural network is obtained to determine the presence of lower limbs in the original image. In the initial image of the lower extremities, a leg is identified using a classification neural network and the above fragment is fed to the classification neural network to validate the result obtained. A classification neural network determines the presence or absence of pathologies in directional segment. The classification neural network produces the result that the presented segment has a 70% probability of having varicose veins (C2). The obtained results from the detection neural network and the classification neural network are compared. Since the detection neural network and classification neural network have determined that the image reflects varicose veins (C2), they compare the results of the neural networks with the threshold values. Since the threshold values for the detection and classification neural networks are higher than the specified ones (18% for the detection and 62% for the classification), they output the result about the presence of varicose veins in the image (C2). They also send the user recommendations for visiting a doctor.
Пример определения отека (СЗ). An example of the definition of edema (ED).
Пользователь посредством устройства пользователя формирует изображение своей нижней конечности. Полученное изображение поступает на сервер. На сервер осуществляют предобработку полученного изображения. Предобработанное изображение поступает на вход сегментационной нейронной сети для отделения нижней конечности от фона. Полученное изображение от сегментационной нейронной сети подают на вход обнаруживающей нейронной сети для определения сегментов пораженных участков кожи вен нижних конечностей с вероятностным диагнозом. В результате работы обнаруживающей нейронной сети получены координаты сегмента и данный сегмент классифицирован как отек (СЗ - по классификатору СЕАР) с вероятностью 20%. Данный сегмент с диагнозом варикоза вен вырезается и поступает на классификационную нейронную сеть для валидации полученного результат. Прежде чем сегмент поступит в классификационную нейронную сеть для валидации, получают результат работы классификационной нейронной сети для определения присутствия на исходном изображении нижних конечностей ноги. На исходном изображении нижних конечностей определена нога, посредством классификационной нейронной сетью и вышеуказанный фрагмент поступает на классификационную нейронную сеть для валидации полученного результата. Классификационная нейронная сеть определяет наличие или отсутствие патологий в направленном сегменте. Классификационная нейронная сеть выдает результат, что на представленном сегменте с вероятность 20% присутствует отек (СЗ). Полученные результаты классификационной нейронной сети не будут направлены для сравнения, так как порог вероятности не пройден и, следовательно, на изображении отсутствует отек (СЗ). Так как пороговые значения у обнаруживающей нейронной сети пройден, а классификационной нейронной сети не пройден, то выводят результат об отсутствии болезней нижних конечностей у пользователя. Однако в рекомендациях указывают, чтобы пользователь обратился к врачу для уточнения диагноза. The user, through the user device, forms an image of his lower limb. The resulting image is sent to the server. The server preprocesses the received image. The preprocessed image is fed to the input of a segmentation neural network to separate the lower limb from the background. The resulting image from the segmentation neural network is fed to the input of the detection neural network to determine the segments of the affected skin areas of the veins of the lower extremities with a probabilistic diagnosis. As a result of the work of the detecting neural network, the coordinates of the segment were obtained and this segment was classified as edema (SE - according to the CEAP classifier) with a probability of 20%. This segment with a diagnosis of varicose veins is cut out and sent to a classification neural network to validate the result obtained. Before the segment enters the classification neural network for validation, the result of the classification neural network is obtained to determine the presence of lower limbs in the original image. In the initial image of the lower extremities, a leg is identified using a classification neural network and the above fragment is fed to the classification neural network to validate the result obtained. A classification neural network determines the presence or absence of pathologies in the targeted segment. The classification neural network produces the result that there is a 20% probability of edema (SE) in the presented segment. The resulting results of the classification neural network will not be sent for comparison, since the probability threshold has not been passed and, therefore, there is no edema (SE) in the image. Since the threshold values of the detecting neural network have been passed, and classification neural network is not passed, then the result is output that the user has no diseases of the lower extremities. However, the recommendations indicate that the user should consult a doctor to clarify the diagnosis.
В предлагаемом решении получен алгоритм из каскада нейронных сетей, позволяющий производить сегментацию изображения для удаления фона и лишних элементов на изображении, обнаружение объекта поражения в соответствии с диагнозом, а также классификацию полученной от обнаруживающей сети области для отбраковки и увеличения точности работы системы. Опытным путем получена максимальная возможная точность работы каскадов при помощи введения порогов распознавания и предварительной обработки снимков. In the proposed solution, an algorithm is obtained from a cascade of neural networks, which allows for image segmentation to remove the background and unnecessary elements in the image, detection of a lesion in accordance with the diagnosis, as well as classification of the area received from the detection network for rejection and increasing the accuracy of the system. The maximum possible accuracy of cascade operation was experimentally obtained by introducing recognition thresholds and pre-processing images.
Вычислительное устройство, обеспечивающие обработку данных, необходимую для реализации заявленного решения, в общем случае содержит такие компоненты, как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство ввода, средства сетевого взаимодействия. A computing device that provides data processing necessary to implement the claimed solution generally contains components such as: one or more processors, at least one memory, data storage means, input/output interfaces, input means, network communication means.
При исполнении машиночитаемых команд, содержащихся в оперативно памяти, конфигурируют процессор устройства для выполнения основных вычислительные операции, необходимых для функционирования устройства или функциональности одного, или более его компонентов. When executing machine-readable instructions contained in the RAM, the device processor is configured to perform basic computing operations necessary for the operation of the device or the functionality of one or more of its components.
Память, как правило, выполнена в виде ОЗУ, куда загружается необходимая программная логика, обеспечивающая требуемый функционал. При осуществлении работы предлагаемого решения выделяют объем памяти, необходимы для осуществления предлагаемого решения. Memory, as a rule, is made in the form of RAM, into which the necessary program logic is loaded to provide the required functionality. When implementing the proposed solution, the amount of memory required to implement the proposed solution is allocated.
Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти и т.п. Средство позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п. The data storage medium can be in the form of HDDs, SSDs, raid arrays, network storage, flash memory, etc. The tool allows long-term storage of various types of information, for example, the aforementioned files with user data sets, a database containing records of time intervals measured for each user, user IDs, etc.
Интерфейсы представляют собой стандартные средства для подключения и работы периферийных и прочих устройств, например, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning и т.п. Interfaces are standard means for connecting and operating peripheral and other devices, for example, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning, etc.
Выбор интерфейсов зависит от конкретного исполнения устройства, которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п. В качестве средств ввода данных в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств ввода данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п. The choice of interfaces depends on the specific design of the device, which can be a personal computer, mainframe, server cluster, thin client, smartphone, laptop, etc. A keyboard can be used as a data input means in any embodiment of a system that implements the described method. The hardware design of the keyboard can be any known: it can be either a built-in keyboard used on a laptop or netbook, or a separate device connected to a desktop computer, server or other computer device. The connection can be either wired, in which the keyboard connecting cable is connected to the PS/2 or USB port located on the system unit of the desktop computer, or wireless, in which the keyboard exchanges data via a wireless communication channel, for example, a radio channel, with base station, which, in turn, is directly connected to the system unit, for example, to one of the USB ports. In addition to the keyboard, data input means can also include: joystick, display (touch display), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM. The means of network interaction are selected from a device that provides network reception and transmission of data, for example, an Ethernet card, WLAN/Wi-Fi module, Bluetooth module, BLE module, NFC module, IrDa, RFID module, GSM modem, etc. The tools ensure the organization of data exchange over a wired or wireless data transmission channel, for example, WAN, PAN, LAN, Intranet, Internet, WLAN, WMAN or GSM.
Компоненты устройства сопряжены посредством общей шины передачи данных. The device components are interconnected via a common data bus.
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники. In these application materials, a preferred disclosure of the implementation of the claimed technical solution was presented, which should not be used as limiting other, private embodiments of its implementation, which do not go beyond the scope of the requested scope of legal protection and are obvious to specialists in the relevant field of technology.

Claims

Формула Formula
1. Компьютерно-реализуемый способ определения болезней вен нижних конечностей с использованием каскада нейронных сетей, выполняющийся на вычислительном устройстве, содержащем процессор и память, хранящую инструкции, исполняемые процессором и включающий этапы на которых: на сервер получают изображение нижних конечностей пользователя от устройства пользователя; посредством сегментационной нейронной сети осуществляют сегментацию кожных покровов на изображении нижних конечностей пользователя для отделения кожных покровов от фона на изображении и передают результаты в обнаруживающую нейронную сеть; посредством обнаруживающей нейронной сети определяют сегменты пораженных участков кожи вен нижних конечностей с предварительным диагнозом; для валидации результатов обнаруживающей нейронной сети, сегменты пораженных участков кожи вен нижних конечностей поступают на вход классификационной нейронной сети для определения наличия болезни вен нижних конечностей; осуществляют сравнение результатов обнаруживающей нейронной сети и классификационной нейронной сети для определения наличия болезни вен нижних конечностей; при совпадении диагнозов, полученных от обнаруживающей и классификационной нейронных сетей, осуществляют сравнение с пороговыми значениями, если значения результатов обнаруживающей и классификационной нейронных сетей выше пороговых значений, то выводят результат с определенным диагнозом; на основе определенного диагноза формируют рекомендации для пользователя. 1. A computer-implemented method for determining diseases of the veins of the lower extremities using a cascade of neural networks, executed on a computing device containing a processor and memory storing instructions executed by the processor and including the stages of: the server receives an image of the user’s lower extremities from the user’s device; by means of a segmentation neural network, the skin is segmented in the image of the user's lower extremities to separate the skin from the background in the image and the results are transmitted to the detection neural network; using a detecting neural network, segments of the affected skin areas of the veins of the lower extremities are determined with a preliminary diagnosis; to validate the results of the detection neural network, segments of the affected skin areas of the veins of the lower extremities are input to the classification neural network to determine the presence of venous disease of the lower extremities; compare the results of the detection neural network and the classification neural network to determine the presence of venous disease of the lower extremities; if the diagnoses obtained from the detection and classification neural networks coincide, a comparison with threshold values is carried out; if the values of the results of the detection and classification neural networks are higher than the threshold values, then a result with a certain diagnosis is output; Based on a specific diagnosis, recommendations are formed for the user.
2. Способ по п.1 , отличающийся тем, что перед валидацией результатов обнаруживающей нейронной сетью, осуществляют определение того, что на исходных изображениях кожных покровов присутствует нижняя конечность пользователя посредством классификационной нейронной сети. 2. The method according to claim 1, characterized in that before validating the results by the detection neural network, it is determined that the user’s lower limb is present in the original images of the skin using a classification neural network.
PCT/RU2022/000362 2022-12-06 2022-12-09 Method for provisional diagnosis of lower extremity venous disorders WO2024123203A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2022131807 2022-12-06
RU2022131807A RU2804279C1 (en) 2022-12-06 Method of preliminary diagnostics of lower limb vein diseases based on artificial intelligence algorithms

Publications (1)

Publication Number Publication Date
WO2024123203A1 true WO2024123203A1 (en) 2024-06-13

Family

ID=91379836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2022/000362 WO2024123203A1 (en) 2022-12-06 2022-12-09 Method for provisional diagnosis of lower extremity venous disorders

Country Status (1)

Country Link
WO (1) WO2024123203A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016702A1 (en) * 2003-08-21 2015-01-15 Ischem Corporation Automated methods and systems for vascular plaque detection and analysis
US20160174902A1 (en) * 2013-10-17 2016-06-23 Siemens Aktiengesellschaft Method and System for Anatomical Object Detection Using Marginal Space Deep Neural Networks
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
US20190000349A1 (en) * 2017-06-28 2019-01-03 Incyphae Inc. Diagnosis tailoring of health and disease

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016702A1 (en) * 2003-08-21 2015-01-15 Ischem Corporation Automated methods and systems for vascular plaque detection and analysis
US20160174902A1 (en) * 2013-10-17 2016-06-23 Siemens Aktiengesellschaft Method and System for Anatomical Object Detection Using Marginal Space Deep Neural Networks
US20190000349A1 (en) * 2017-06-28 2019-01-03 Incyphae Inc. Diagnosis tailoring of health and disease
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging

Similar Documents

Publication Publication Date Title
Bilal et al. Diabetic retinopathy detection and classification using mixed models for a disease grading database
Gao et al. Diagnosis of diabetic retinopathy using deep neural networks
US11631175B2 (en) AI-based heat map generating system and methods for use therewith
WO2020143309A1 (en) Segmentation model training method, oct image segmentation method and apparatus, device and medium
CN109117803B (en) Face image clustering method and device, server and storage medium
WO2018201647A1 (en) Method for detecting retinopathy degree level, device and storage medium
US20190303660A1 (en) Pose-Aligned Networks for Deep Attribute Modeling
WO2021003938A1 (en) Image classification method and apparatus, computer device and storage medium
Singh et al. Deep learning system applicability for rapid glaucoma prediction from fundus images across various data sets
WO2021164640A1 (en) Retinal image recognition method and apparatus, electronic device, and storage medium
Khan et al. Retinal vessel segmentation via a Multi-resolution Contextual Network and adversarial learning
JP7260674B2 (en) C/D ratio determination method based on neural network, computer equipment and storage medium
US11721023B1 (en) Distinguishing a disease state from a non-disease state in an image
US20210196186A1 (en) Acne detection using image analysis
WO2021120587A1 (en) Method and apparatus for retina classification based on oct, computer device, and storage medium
Abirami et al. A novel automated komodo Mlipir optimization-based attention BiLSTM for early detection of diabetic retinopathy
US20240354938A1 (en) Systems and Methods for Prediction of Hematoma Expansion Using Automated Deep Learning Image Analysis
Crasta et al. A novel Deep Learning architecture for lung cancer detection and diagnosis from Computed Tomography image analysis
EP4055537A1 (en) Combining model outputs into a combined model output
CN113657498B (en) Biological feature extraction method, training method, authentication method, device and equipment
CN115526882A (en) Medical image classification method, device, equipment and storage medium
US20210397905A1 (en) Classification system
RU2804279C1 (en) Method of preliminary diagnostics of lower limb vein diseases based on artificial intelligence algorithms
CN110414562A (en) Classification method, device, terminal and the storage medium of X-ray
WO2024123203A1 (en) Method for provisional diagnosis of lower extremity venous disorders

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22967996

Country of ref document: EP

Kind code of ref document: A1