RU2771512C2 - Automatic system for processing medical images of organs of the body of a patient and method implemented by the system - Google Patents
Automatic system for processing medical images of organs of the body of a patient and method implemented by the system Download PDFInfo
- Publication number
- RU2771512C2 RU2771512C2 RU2020131479A RU2020131479A RU2771512C2 RU 2771512 C2 RU2771512 C2 RU 2771512C2 RU 2020131479 A RU2020131479 A RU 2020131479A RU 2020131479 A RU2020131479 A RU 2020131479A RU 2771512 C2 RU2771512 C2 RU 2771512C2
- Authority
- RU
- Russia
- Prior art keywords
- patient
- organs
- module
- medical images
- processing
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pulmonology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
Группа изобретений относится к обработке графических медицинских данных, в частности к диагностике патологий органов организма пациента, и может быть применена в медицинской промышленности.SUBSTANCE: group of inventions relates to the processing of graphic medical data, in particular, to the diagnosis of pathologies of the organs of the patient's body, and can be applied in the medical industry.
Из уровня техники известно множество способов автоматической обработки медицинских изображений, обеспечивающих возможность упрощения постановки диагноза пациенту лечащим врачом. Такая обработка данных обеспечивает возможность определения и выделения на медицинском изображении областей, требующих внимания со стороны лечащего врача, и способствует снижению риска допущения врачебной ошибки при постановке диагноза.In the prior art, there are many methods for automatic processing of medical images that make it possible to simplify the diagnosis of the patient by the attending physician. Such data processing makes it possible to identify and highlight areas on the medical image that require attention from the attending physician, and helps to reduce the risk of medical errors in making a diagnosis.
Известны автоматическая система и способ автоматической обработки медицинских изображений органов мочеполовой системы пациента, при этом система содержит модуль получения медицинских изображений органов пациента и модуль обработки медицинских изображений органов пациента, а способ включает получение цифрового медицинского изображения и автоматический анализ медицинского изображения органов мочеполовой системы, при этом автоматический анализ включает поиск патологии посредством сверточной нейронной сети и определение категории заболевания на основании формы, размеров и цвета патологии [CN 110136113, дата публикации: 16.08.2019 г., МПК: G06K 9/62; G06N 3/04; G06N 3/08; G06T 7/00].Known automatic system and method for automatic processing of medical images of the genitourinary system of the patient, while the system contains a module for obtaining medical images of the patient's organs and a module for processing medical images of the patient's organs, and the method includes obtaining a digital medical image and automatic analysis of the medical image of the genitourinary system, while automatic analysis includes searching for pathology through a convolutional neural network and determining the category of the disease based on the shape, size and color of the pathology [CN 110136113, publication date: 08/16/2019, IPC: G06K 9/62; G06N 3/04; G06N 3/08; G06T 7/00].
Недостатком известного технического решения является низкая скорость автоматического анализа медицинского изображения, обусловленная применением для анализа сверточной нейронной сети, имеющей существенный минус, выраженный в ограничении размера ядра, - проверочной области, передвигаемой по изображению с целью поиска искомых объектов (т.к. увеличение его размеров сопровождается существенным увеличением вычислительной сложности задачи), ввиду чего при анализе изображений среднего и высокого качества (например 640×480 пикселей и более) требуется большое количество проверочных итераций. Также существенным недостатком применения сверточной нейронной сети является низкая точность обработки трехмерных моделей, что существенно сказывается на точности обработки медицинских изображений.The disadvantage of the known technical solution is the low speed of automatic analysis of a medical image, due to the use of a convolutional neural network for analysis, which has a significant minus, expressed in limiting the size of the kernel, a test area that is moved across the image in order to search for the desired objects (since an increase in its size is accompanied by a significant increase in the computational complexity of the problem), which is why the analysis of images of medium and high quality (for example, 640 × 480 pixels or more) requires a large number of verification iterations. Also, a significant disadvantage of using a convolutional neural network is the low accuracy of processing three-dimensional models, which significantly affects the accuracy of processing medical images.
В качестве прототипа выбраны автоматическая система и способ автоматической обработки медицинских изображений органов организма пациента, при этом система включает модуль получения медицинского изображения органов организма пациента и модуль обработки медицинских изображений органов организма пациента, а способ заключается в получении медицинского изображения и последующем получении модулем обработки медицинских изображений органов организма пациента облаков точек на основании медицинского изображения органов дыхательной системы пациента и параметризации облаков точек на медицинском изображении органов организма пациента, при этом после обработки медицинского изображения лечащим врачом им осуществляется идентификация патологий на основании проанализированного медицинского изображения органов дыхательной системы пациента и определяется выраженность этих патологий [WO 2013126659, дата публикации: 29.08.2013 г., МПК: A61B 19/00; A61B 5/113].As a prototype, an automatic system and a method for automatically processing medical images of the organs of the patient's body are selected, while the system includes a module for obtaining a medical image of the organs of the patient's body and a module for processing medical images of the organs of the patient's body, and the method consists in obtaining a medical image and then obtaining a medical image processing module of the patient’s body organs of point clouds based on the medical image of the patient’s respiratory system organs and the parametrization of point clouds on the medical image of the patient’s body organs, while after processing the medical image by the attending physician, he identifies pathologies based on the analyzed medical image of the patient’s respiratory system organs and determines the severity of these pathologies [WO 2013126659, publication date: 08/29/2013, IPC: A61B 19/00; A61B 5/113].
Преимуществом прототипа перед известным техническим решением является высокая точность обработки медицинского изображения, обусловленная работой не с одиночным двухмерным изображением, а с трехмерным облаком точек, ввиду чего обеспечивается возможность воссоздания трехмерной модели органов дыхательной системы пациента, что позволяет лечащему врачу рассмотреть органы и патологию с различных ракурсов и с более высокой точностью определить диагноз и назначить пациенту эффективный план лечения. Однако недостатком прототипа является повышенный риск вынесения лечащим врачом недостоверного диагноза пациенту, что обусловлено человеческим фактором, а именно субъективным анализом медицинского изображения органов дыхательной системы лечащим врачом (ввиду определения диагноза лишь на основании эмпирического опыта врача) и возможностью допущения непредумышленной ошибки в процессе постановки диагноза, которая может возникнуть в результате повышенной утомленности, либо проблем со здоровьем (например головных болей, проблем со зрением) лечащего врача, либо наличия в его работе отвлекающих факторов, ввиду чего лечащий врач может идентифицировать на сегментированном облаке точек наличие несуществующей патологии, или, что еще хуже, не идентифицировать патологию при ее наличии (поскольку даже в самых запущенных случаях ее размеры могут составлять примерно 1% от объема органов дыхательной системы). Вследствие этого лечащим врачом может быть назначен недостаточно эффективный или неверный план лечения, что может привести к существенному ухудшению состоянию здоровья пациента или, учитывая среднестатистическую тяжесть заболеваний органов дыхательной системы (онкологии, туберкулеза, пневмонии и т.д.), к смерти пациента.The advantage of the prototype over the known technical solution is the high accuracy of medical image processing, due to the work not with a single two-dimensional image, but with a three-dimensional point cloud, which makes it possible to reconstruct a three-dimensional model of the patient's respiratory system, which allows the attending physician to examine the organs and pathology from different angles and more accurately determine the diagnosis and prescribe an effective treatment plan for the patient. However, the disadvantage of the prototype is the increased risk of the attending physician making an inaccurate diagnosis to the patient, which is due to the human factor, namely the subjective analysis of the medical image of the respiratory system organs by the attending physician (due to the determination of the diagnosis only on the basis of the empirical experience of the doctor) and the possibility of making an unintentional error in the process of making a diagnosis, which may arise as a result of increased fatigue, or health problems (for example, headaches, vision problems) of the attending physician, or the presence of distractions in his work, due to which the attending physician can identify the presence of a non-existent pathology on a segmented point cloud, or, what else worse, not to identify the pathology if it is present (because even in the most advanced cases, its size can be approximately 1% of the volume of the organs of the respiratory system). As a result, the attending physician may prescribe an insufficiently effective or incorrect treatment plan, which can lead to a significant deterioration in the patient's health or, given the average severity of diseases of the respiratory system (oncology, tuberculosis, pneumonia, etc.), to the death of the patient.
Техническая проблема, на решение которой направлена группа изобретений, заключается в необходимости расширения функциональных возможностей автоматической системы для обработки медицинских изображений органов организма пациента.The technical problem to be solved by the group of inventions is the need to expand the functionality of the automatic system for processing medical images of the patient's body organs.
Технический результат, на достижение которого направлена группа изобретений, заключается в обеспечении возможности автоматического определения патологий органов организма пациента модулем обработки медицинских изображений органов организма пациента.The technical result to be achieved by the group of inventions is to enable automatic detection of pathologies of the patient's body organs by the module for processing medical images of the patient's body organs.
Дополнительный технический результат, на достижение которого направлена группа изобретений, заключается в повышении эффективности и снижении энергоемкости этапа обработки медицинских изображений органов организма пациента.An additional technical result, to be achieved by the group of inventions, is to increase the efficiency and reduce the energy consumption of the stage of processing medical images of the patient's organs.
Дополнительный технический результат, на достижение которого направлена группа изобретений, заключается в повышении качества обработки медицинских изображений органов организма пациента.An additional technical result, to which the group of inventions is directed, is to improve the quality of processing of medical images of the organs of the patient's body.
Дополнительный технический результат, на достижение которого направлена группа изобретений, заключается в повышении вероятности выявления неочевидных закономерностей при обработке медицинских изображений органов организма пациента.An additional technical result, which the group of inventions is aimed at, is to increase the probability of detecting non-obvious patterns in the processing of medical images of the patient's body organs.
Дополнительный технический результат, на достижение которого направлена группа изобретений, заключается в обеспечении возможности определения выраженности идентифицированной патологии органов организма пациента модулем обработки медицинских изображений органов организма пациента.An additional technical result, to be achieved by the group of inventions, is to provide the possibility of determining the severity of the identified pathology of the patient's body organs by the module for processing medical images of the patient's body organs.
Сущность первого изобретения из группы изобретений заключается в следующем. The essence of the first invention from the group of inventions is as follows.
Автоматическая система для обработки медицинских изображений органов организма пациента включает выполненные с возможностью обмена данными модуль получения медицинских изображений органов организма пациента, модуль обработки медицинских изображений органов организма пациента, выполненный с возможностью генерации облака точек на основании полученного медицинского изображения органов организма пациента и параметризации точек в полученном облаке точек, и интерфейс. В отличие от прототипа модуль обработки медицинских изображений органов организма пациента содержит средство автоматической идентификации патологий органов организма пациента, содержащее идентифицирующую модель машинного обучения и выполненное с возможностью получения параметризированных точек в облаке точек от модуля обработки медицинских изображений органов организма пациента, определения связанных точек в облаке точек и идентификации на основе связанных точек в облаке точек патологии органов организма пациента.The automatic system for processing medical images of the patient's body organs includes a data exchange module for obtaining medical images of the patient's body organs, a module for processing medical images of the patient's body organs, configured to generate a point cloud based on the received medical image of the patient's body organs and parameterize the points in the obtained point cloud, and interface. Unlike the prototype, the module for processing medical images of the patient's body organs contains a tool for automatically identifying pathologies of the patient's body organs, containing an identifying machine learning model and configured to obtain parameterized points in the point cloud from the module for processing medical images of the patient's body organs, determine associated points in the point cloud and identification based on the associated points in the point cloud of the pathology of the organs of the patient's body.
Сущность второго изобретения из группы изобретений заключается в следующем.The essence of the second invention from the group of inventions is as follows.
Способ автоматической обработки медицинских изображений органов организма пациента включает получение медицинского изображения органов организма пациента модулем получения медицинских изображений органов организма, передачу данных в модуль обработки медицинских изображений органов организма пациента и генерацию этим модулем облака точек с последующей параметризацией точек в этом облаке. В отличие от прототипа средством автоматической идентификации патологий органов организма пациента осуществляется получение параметризированных точек в облаке точек от модуля обработки медицинских изображений органов организма пациента и посредством идентифицирующей модели машинного обучения, содержащейся в нем, производится определение на основе этих данных связанных точек в облаке точек, после чего на основе связанных точек в облаке точек осуществляется автоматическая идентификация патологий органов организма пациента.The method for automatic processing of medical images of the patient's body organs includes obtaining a medical image of the patient's body organs by a module for obtaining medical images of the body organs, transferring data to the module for processing medical images of the patient's body organs and generating a point cloud by this module, followed by parameterization of points in this cloud. In contrast to the prototype, the means for automatically identifying pathologies of the patient's body organs receives parameterized points in the point cloud from the module for processing medical images of the patient's body organs, and by means of the identifying machine learning model contained in it, the associated points in the point cloud are determined based on these data, after which, based on the connected points in the point cloud, the automatic identification of pathologies of the patient's organs is carried out.
Медицинское изображение представляет собой визуализацию структурно-функционального образа органов пациента, полученную различными методами медицинской диагностики, например рентгенологическими, магнитно-резонансными, ультразвуковыми и другими известными методами. При этом под органами пациента подразумеваются: кожные покровы, легкие, желудок, кишечник и другие внешние образования.A medical image is a visualization of the structural and functional image of the patient's organs, obtained by various methods of medical diagnostics, such as x-ray, magnetic resonance, ultrasound and other known methods. In this case, the patient's organs are understood as: skin, lungs, stomach, intestines and other external formations.
Получение медицинского изображения может быть осуществлено автоматически модулем получения медицинских изображений органов организма пациента. Модуль получения медицинских изображений органов организма пациента может быть представлен в виде программно-аппаратного комплекса или в виде одного персонального компьютера, снабженного специализированным программным обеспечением, например медицинскими отраслевыми стандартами создания, хранения, передачи и визуализации цифровых медицинских изображений и документов обследованных пациентов DICOM (Digital Imaging and Communication in Medicine). Для получения медицинских изображений органов организма пациента модуль может быть выполнен с возможностью подключения к электронному устройству лечащего врача или к аппарату для проведения медицинской диагностики (МРТ, УЗИ и пр.) с применением проводных или беспроводных средств связи.Acquisition of a medical image can be performed automatically by the module for obtaining medical images of the organs of the patient's body. The module for obtaining medical images of the patient's body organs can be presented in the form of a hardware-software complex or in the form of a single personal computer equipped with specialized software, for example, medical industry standards for creating, storing, transmitting and visualizing digital medical images and documents of examined patients DICOM (Digital Imaging and Communication in Medicine). To obtain medical images of the patient's body organs, the module can be configured to be connected to an electronic device of the attending physician or to an apparatus for medical diagnostics (MRI, ultrasound, etc.) using wired or wireless communication means.
Обработка медицинского изображения обеспечивает возможность автоматического определения на полученном медицинском изображении органов пациента и осуществляется автоматически модулем обработки медицинских изображений органов организма пациента за счет специализированного программного обеспечения, выполняющего разбиение файла с изображением на отдельные изображения и определение плотности областей на изображении по шкале Хаунсфилда или с применением других аналогичных инструментов обработки данных. В процессе обработки медицинского изображения модулем обработки медицинских изображений органов организма пациента осуществляется генерация облака точек, после чего им осуществляется автоматическая параметризация точек в облаке.Medical image processing provides the ability to automatically determine the patient's organs on the received medical image and is carried out automatically by the module for processing medical images of the patient's body organs using specialized software that splits the image file into separate images and determines the density of areas in the image using the Hounsfield scale or using other similar data processing tools. In the process of processing a medical image, the module for processing medical images of the patient's body organs generates a point cloud, after which it automatically parameterizes the points in the cloud.
В процессе автоматической параметризации точек модулем обработки медицинских изображений каждой точке автоматически задается плотность точки по шкале Хаунсфилда. Автоматическая параметризация точек может быть осуществлена содержащимся в модуле обработки медицинских изображений средством параметризации, основанном на математическом сэмплировании точек по плотности с применением численных методов изучения случайных процессов, например с применением метода Монте-Карло. При этом после автоматической параметризации точек может быть осуществлена автоматическая фильтрация облака параметризированных точек. During the automatic parametrization of points by the medical imaging module, each point is automatically assigned a point density according to the Hounsfield scale. Automatic parametrization of points can be carried out by the parameterization tool contained in the medical image processing module, based on mathematical sampling of points by density using numerical methods for studying random processes, for example, using the Monte Carlo method. In this case, after automatic parameterization of points, automatic filtering of the cloud of parameterized points can be carried out.
Автоматическая фильтрация облака параметризированных точек может быть осуществлена путем фиксирования только тех точек, плотность которых по шкале Хаунсфилда соответствует органам организма пациента, либо путем удаления тех точек, плотность которых им не соответствует, и фиксирования оставшихся после удаления точек, что повышает эффективность и снижает энергоемкость этапа обработки медицинских изображений органов организма пациента.Automatic filtering of the cloud of parameterized points can be carried out by fixing only those points whose density on the Hounsfield scale corresponds to the organs of the patient's body, or by deleting those points whose density does not correspond to them, and fixing the points remaining after deletion, which increases the efficiency and reduces the energy consumption of the stage processing of medical images of the patient's body organs.
Автоматическая идентификация патологий органов организма пациента осуществляется средством автоматической идентификации патологий органов организма пациента, содержащимся в модуле обработки изображений органов организма пациента, и обеспечивает возможность определения класса патологии органов. Модуль автоматической идентификации патологий органов организма может быть представлен в виде программно-аппаратного комплекса или персонального компьютера, содержащего идентифицирующую модель машинного обучения для обработки структурных данных облаков точек. Для этого в полученном облаке точек на основе данных параметризации автоматически определяются связанные точки, расстояние между которыми составляет от 1 до 2 мм.Automatic identification of pathologies of organs of the patient's body is carried out by means of automatic identification of pathologies of the organs of the patient's body, contained in the module for processing images of the organs of the patient's body, and provides the ability to determine the class of organ pathology. The module for automatic identification of pathologies of body organs can be represented as a software and hardware complex or a personal computer containing an identifying machine learning model for processing structural data of point clouds. To do this, in the resulting point cloud, based on the parameterization data, connected points are automatically determined, the distance between which is from 1 to 2 mm.
После этого все связанные точки автоматически анализируются средством автоматической идентификации патологий органов организма пациента, в процессе чего связанные точки автоматически сопоставляются с паттернами патологий органов организма пациента, и производится определение соответствия связанных точек из облака точек одному из идентификаторов патологии органов мягких тканей организма пациента. В случае выявления патологии средством автоматической идентификации патологий в облаке точек выделяется фрагмент, который впоследствии передается для автоматического определения выраженности патологии органов организма пациента. При этом указанная модель предварительно может быть обучена на прецедентах идентификации патологий органов организма пациента, что повышает вероятность выявления неочевидных закономерностей при автоматической обработке медицинских изображений органов организма пациента. After that, all connected points are automatically analyzed by the means of automatic identification of pathologies of the patient's body organs, during which the connected points are automatically compared with the patterns of pathologies of the patient's body organs, and the correspondence of the connected points from the point cloud to one of the pathology identifiers of the patient's soft tissue organs is determined. If a pathology is detected by means of automatic identification of pathologies, a fragment is selected in the point cloud, which is subsequently transmitted to automatically determine the severity of the pathology of the patient's organs. At the same time, this model can be preliminarily trained on precedents for identifying pathologies of the patient's organs, which increases the likelihood of identifying non-obvious patterns in the automatic processing of medical images of the patient's organs.
Дополнительно средством автоматической идентификации патологий органов организма пациента может быть проведено автоматическое сопоставление связанных точек с базой идентификаторов патологий органов организма пациента для повышения интерпретируемости модели машинного обучения и демонстрации похожих прецедентов из базы идентификаторов патологий органов организма пациента.Additionally, the automatic identification of pathologies of the patient's organs can be automatically compared with the database of identifiers of the pathologies of the patient's organs to increase the interpretability of the machine learning model and demonstrate similar precedents from the database of identifiers of the pathologies of the patient's organs.
Дополнительно может быть осуществлено автоматическое определение выраженности патологии органов организма пациента за счет средства автоматического определения выраженности идентифицированной патологии органов организма пациента, что обеспечивает возможность определения степени поражения органов организма пациента. Это средство может быть подключено к средству автоматической идентификации патологий органов организма пациента с возможностью получения от него выделенной области в облаке точек с идентифицированной патологией, и/или оно может быть подключено к средству получения медицинского изображения органов организма пациента с возможностью получения от него параметризированного облака точек. Автоматическая идентификация патологий может быть осуществлена посредством программно-аппаратного комплекса, содержащего классифицирующую модель машинного обучения, который выполнен с возможностью выявления соответствия параметров связанных точек параметру выраженности патологии. Для этого средством автоматического определения выраженности идентифицированной патологии органов организма пациента производится получение выделенных областей связанных точек и автоматическое сопоставление этих областей с параметрами выраженности патологии органов организма пациента. При этом указанная модель может быть предварительно обучена на прецедентах определения параметра выраженности патологии органов организма пациента, что дополнительно повышает вероятность выявления неочевидных закономерностей при автоматической обработке медицинских изображений органов организма пациента модулем.Additionally, automatic determination of the severity of the pathology of the organs of the patient's body can be carried out due to the means for automatically determining the severity of the identified pathology of the organs of the patient's body, which makes it possible to determine the degree of damage to the organs of the patient's body. This tool can be connected to a tool for automatically identifying pathologies of the patient's body organs with the possibility of obtaining from it a selected area in a point cloud with an identified pathology, and/or it can be connected to a tool for obtaining a medical image of the patient's body organs with the possibility of obtaining a parameterized point cloud from it . Automatic identification of pathologies can be carried out by means of a software and hardware complex containing a classifying machine learning model, which is configured to identify the correspondence between the parameters of the associated points and the parameter of the severity of the pathology. To do this, by means of automatically determining the severity of the identified pathology of the patient's body organs, selected areas of connected points are obtained and these areas are automatically compared with the parameters of the severity of the pathology of the patient's organs. At the same time, the specified model can be preliminarily trained on the precedents for determining the parameter of the severity of the pathology of the patient's organs, which further increases the likelihood of detecting non-obvious patterns in the automatic processing of medical images of the patient's organs by the module.
Дополнительно может быть произведено автоматическое сопоставление этих областей с параметрами выраженности патологии органов организма из базы параметров выраженности патологии. Базы идентификаторов и параметров выраженности патологий организма пациента могут быть созданы автоматизированно за счет ручного ввода идентификаторов и параметров выраженности, либо идентификаторы и параметры выраженности могут быть получены из сторонних баз данных. При этом под идентификатором патологии и параметром выраженности патологии подразумевается количество точек, последовательность изменения расстояния между точками, плотность распределения точек и другие параметры точек, соответствующие определенной патологии и определенному параметру выраженности патологии. При этом базы идентификаторов и параметров выраженности патологий могут быть расположены в программно-аппаратных комплексах, выполняющих операции с применением указанных моделей машинного обучения.Additionally, these areas can be automatically compared with the parameters of the severity of the pathology of the organs of the body from the base of the parameters of the severity of the pathology. Databases of identifiers and severity parameters of the pathologies of the patient's body can be created automatically by manually entering identifiers and severity parameters, or identifiers and severity parameters can be obtained from third-party databases. In this case, the identifier of the pathology and the parameter of the severity of the pathology mean the number of points, the sequence of changes in the distance between the points, the density of the distribution of points and other parameters of the points corresponding to a certain pathology and a certain parameter of the severity of the pathology. At the same time, the databases of identifiers and parameters of the severity of pathologies can be located in software and hardware systems that perform operations using the indicated machine learning models.
Дополнительно на этапе обработки медицинского изображения органов организма пациента модулем обработки данных может быть осуществлена автоматическая идентификация органов пациента на медицинском изображении, что позволяет повысить качество автоматической обработки медицинских изображений органов организма пациента. Для этого параметры точек могут быть автоматически сопоставлены с базой данных идентификаторов органов пациента. При этом база данных идентификаторов органов пациента может быть сформирована вручную посредством присваивания каждому облаку точек соответствующего идентификатора или автоматически с применением моделей машинного обучения.Additionally, at the stage of processing the medical image of the patient's body organs, the data processing module can automatically identify the patient's organs on the medical image, which makes it possible to improve the quality of automatic processing of medical images of the patient's body organs. To do this, point parameters can be automatically matched to a database of patient organ identifiers. In this case, the database of identifiers of the patient's organs can be generated manually by assigning a corresponding identifier to each point cloud or automatically using machine learning models.
Дополнительно способ автоматической обработки медицинских изображений органов организма пациента может включать этап автоматической обработки результатов анализа медицинских изображений органов организма пациента, который может включать преобразование файла с изображением в исходный формат, оценку выраженности обнаруженной патологии и формирование отчета по проведенному анализу медицинских изображений. При этом в случае обнаружения выраженной патологии модулем обработки медицинского изображения может осуществляться автоматическая отправка уведомления об обнаружении выраженной патологии лечащему врачу пациента, что дополнительно расширяет функционал системы. Additionally, the method for automatic processing of medical images of the patient's body organs may include the step of automatically processing the results of the analysis of medical images of the patient's body organs, which may include converting the image file to the original format, assessing the severity of the detected pathology, and generating a report on the analysis of medical images. In this case, if a pronounced pathology is detected, the medical image processing module can automatically send a notification about the detection of a pronounced pathology to the patient's attending physician, which further expands the functionality of the system.
Интерфейс может быть представлен устройствами вывода и обеспечивать возможность визуального представления результатов обработки медицинских изображений органов организма пациента системой. Модули системы и представленные в ней средства в рамках настоящей группы изобретений могут быть реализованы на базе одного или нескольких персональных компьютеров или других электронных устройств и/или на базе одного или нескольких программно-аппаратных комплексов и могут быть подключены друг к другу любыми известными средствами проводной и/или беспроводной передачи данных.The interface can be represented by output devices and provide the possibility of visual presentation of the results of processing medical images of the patient's body organs by the system. The modules of the system and the means presented in it within the framework of the present group of inventions can be implemented on the basis of one or more personal computers or other electronic devices and / or on the basis of one or more software and hardware systems and can be connected to each other by any known means of wired and /or wireless data transmission.
Группа изобретений может быть выполнена из известных материалов с помощью известных средств, что свидетельствует о ее соответствии критерию патентоспособности «промышленная применимость».A group of inventions can be made from known materials using known means, which indicates its compliance with the patentability criterion "industrial applicability".
Группа изобретений характеризуется ранее неизвестными существенными отличительными признаками, заключающимися в том, что при автоматической обработке медицинских изображений органов организма пациента средством автоматической идентификации патологий органов организма пациента производится получение данных от модуля обработки медицинских изображений органов организма пациента, определение посредством применения модели машинного обучения на основе данных параметризации облаков точек связанных точек в облаке точек, после чего осуществляется автоматическая идентификация патологий органов организма пациента, что позволяет определить в облаке связанные области точек и на основании имеющихся в модели машинного обучения паттернов выявить патологию органа организма пациента системой, благодаря чему обеспечивается достижение технического результата, заключающегося в обеспечении возможности автоматического определения патологий органов организма модулем обработки медицинских изображений органов организма пациента, тем самым расширяя функциональные возможности автоматической системы для обработки медицинских изображений органов организма пациента.The group of inventions is characterized by previously unknown significant distinguishing features, which consist in the fact that during automatic processing of medical images of the patient's body organs, the means for automatically identifying pathologies of the patient's body organs receives data from the module for processing medical images of the patient's body organs, determining by using a machine learning model based on data parametrization of point clouds of connected points in the point cloud, after which the automatic identification of pathologies of the patient's body organs is carried out, which makes it possible to determine the related areas of points in the cloud and, based on the patterns available in the machine learning model, to identify the pathology of the patient's body organ by the system, which ensures the achievement of a technical result, consisting in providing the possibility of automatic detection of pathologies of the body organs by the module for processing medical images of organs about the patient's body, thereby expanding the functionality of the automatic system for processing medical images of the patient's body organs.
Группа изобретений обладает ранее неизвестными из уровня техники существенными признаками, что свидетельствует о ее соответствии критерию патентоспособности «новизна» и «изобретательский уровень».The group of inventions has essential features previously unknown from the prior art, which indicates its compliance with the criterion of patentability "novelty" and "inventive step".
Группа изобретений связана между собой и образует единый изобретательский замысел, заключающийся в том, что автоматическая система для обработки медицинских изображений органов организма пациента обеспечивает реализацию способа автоматической обработки медицинских изображений органов организма пациента, что свидетельствует о соответствии группы изобретений требованию «единства изобретения».The group of inventions is interconnected and forms a single inventive concept, which consists in the fact that an automatic system for processing medical images of the patient's body organs provides for the implementation of a method for automatically processing medical images of the patient's body organs, which indicates that the group of inventions complies with the requirement of "unity of invention".
Группа изобретений поясняется следующими фигурами.The group of inventions is illustrated by the following figures.
Фиг. 1 - Функциональная схема автоматической системы для обработки медицинских изображений органов организма пациента.Fig. 1 - Functional diagram of an automatic system for processing medical images of the patient's body organs.
Фиг. 2 - Алгоритм автоматической обработки медицинских изображений органов организма пациента.Fig. 2 - Algorithm for automatic processing of medical images of the patient's organs.
Для иллюстрации возможности реализации и более полного понимания сути группы изобретений ниже представлен вариант ее осуществления, который может быть любым образом изменен или дополнен, при этом настоящая группа изобретений ни в коем случае не ограничивается представленным вариантом.To illustrate the possibility of implementation and a more complete understanding of the essence of the group of inventions, an embodiment of its implementation is presented below, which can be modified or supplemented in any way, while the present group of inventions is by no means limited to the presented option.
Система для автоматической обработки медицинских изображений органов организма пациента включает средство 100 медицинской диагностики органов организма пациента, модуль 110 получения медицинских изображений органов организма пациента, модуль 120 обработки медицинских изображений органов организма пациента, средство 130 автоматической идентификации патологий органов организма пациента с базой 131 прецедентов идентификации патологий органов организма пациента, средство 140 автоматического определения выраженности идентифицированной патологии органов организма пациента с базой 141 прецедентов определения параметра выраженности патологии органов организма пациента и модуль 150 отправки данных.The system for automatic processing of medical images of the patient's body organs includes a tool 100 for medical diagnostics of the patient's body organs, a module 110 for obtaining medical images of the patient's body organs, a module 120 for processing medical images of the patient's body organs, a tool 130 for automatically identifying pathologies of the patient's body organs with a base 131 of pathology identification precedents organs of the patient's body, a means 140 for automatically determining the severity of the identified pathology of the organs of the patient's body with a base 141 of precedents for determining the parameter of the severity of the pathology of the organs of the patient's body and a module 150 for sending data.
Средство 100 медицинской диагностики органов организма пациента может быть представлено аппаратом компьютерной томографии или аппаратом для проведения ультразвукового исследования или другими аналогичными аппаратами для проведения медицинских исследований. Модули 110, 120 и 150, а также средства 130 и 140 могут быть представлены в виде одного или нескольких электронных устройств в виде персональных компьютеров или смартфонов, содержащих соединенные между собой ЦП, ОЗУ, ПЗУ и устройства ввода и вывода данных со специализированным программным обеспечением. При этом модуль 120, а также средства 130 и 140 могут быть реализованы на базе одного сервера или персонального компьютера, снабженного специализированным программным обеспечением. Базы 131 и 141 представлены в виде систематизированных совокупностей машиночитаемых данных, которые могут храниться во внутренней памяти средств 130 или 140, или удаленно.The medical device 100 for diagnosing the organs of the patient's body may be a computed tomography machine or an ultrasound machine or other similar medical research machines. Modules 110, 120 and 150, as well as means 130 and 140 can be represented as one or more electronic devices in the form of personal computers or smartphones containing interconnected CPUs, RAM, ROM and data input and output devices with specialized software. In this case, the module 120, as well as the means 130 and 140, can be implemented on the basis of one server or a personal computer equipped with specialized software. Bases 131 and 141 are presented as systematized collections of machine-readable data that can be stored in the internal memory of means 130 or 140, or remotely.
Модуль 110 получения медицинского изображения органов организма пациента выполнен с возможностью подключения к средству 100 медицинской диагностики органов организма пациента с возможностью получения медицинского изображения (КТ, МКТ, МРТ, УЗИ или др.); подключен к модулю 120 с возможностью передачи трехмерного изображения мягких тканей и органов организма пациента.The module 110 for obtaining a medical image of the organs of the patient's body is configured to connect to the means 100 for medical diagnostics of the organs of the patient's body with the possibility of obtaining a medical image (CT, MCT, MRI, ultrasound, etc.); connected to the module 120 with the ability to transmit a three-dimensional image of the soft tissues and organs of the patient's body.
Модуль 120 обработки медицинских изображений органов организма пациента подключен к средству 130 автоматической идентификации патологий органов организма пациента с возможностью передачи параметров точек в облаке; выполнен с возможностью подключения к модулю 150 отправки данных с возможностью передачи отчета с данными анализа изображения органов организма пациента на электронное устройство лечащего врача.The module 120 for processing medical images of the organs of the patient's body is connected to the means 130 for automatically identifying pathologies of the organs of the patient's body with the possibility of transmitting point parameters in the cloud; configured to be connected to the data sending module 150 with the possibility of transmitting a report with image analysis data of the patient's body organs to the electronic device of the attending physician.
Средство 130 автоматической идентификации патологий органов организма пациента подключено к базе 131 прецедентов идентификации патологий органов организма пациента с возможностью отправки запросов и получения данных по запросу; подключено к средству 140 автоматического определения выраженности идентифицированной патологии органов организма пациента с возможностью передачи данных идентифицированной патологии органов организма пациента; выполнено с возможностью подключения к модулю 120 обработки медицинских изображений органов организма пациента с возможностью передачи информации о наличии или отсутствии патологии.Means 130 for automatic identification of pathologies of organs of the patient's body is connected to the database 131 of precedents for identification of pathologies of organs of the patient's body with the ability to send requests and receive data on request; connected to the means 140 for automatically determining the severity of the identified pathology of the organs of the patient's body with the possibility of transmitting data of the identified pathology of the organs of the patient's body; configured to be connected to the module 120 for processing medical images of the organs of the patient's body with the possibility of transmitting information about the presence or absence of pathology.
Средство 140 автоматического определения выраженности идентифицированной патологии органов организма пациента подключено к базе 141 прецедентов определения параметра выраженности патологии органов организма пациента с возможностью отправки запросов и получения данных по запросу; подключено к модулю 120 с возможностью передачи данных выраженности идентифицированной патологии органов организма пациента; выполнено с возможностью подключения к модулю 150 отправки данных с возможностью передачи отчета с данными анализа изображения органов организма пациента на электронное устройство лечащего врача.Means 140 for automatically determining the severity of the identified pathology of the patient's body organs is connected to the database 141 precedents for determining the parameter of the severity of the pathology of the patient's organs with the ability to send requests and receive data on request; connected to the module 120 with the ability to transmit data on the severity of the identified pathology of the organs of the patient's body; configured to be connected to the data sending module 150 with the possibility of transmitting a report with image analysis data of the patient's body organs to the electronic device of the attending physician.
Способ автоматической обработки медицинских изображений органов организма пациента реализуется рядом основных этапов, которые включают в себя: этап 200, на котором модулем 110 осуществляется получение медицинского изображения органов организма пациента от средства 100 медицинской диагностики органов организма пациента; этап 210, на котором модулем 120 обработки медицинских изображений органов организма пациента осуществляется генерация облака точек на основании медицинского изображения органов организма пациента и параметризация точек в полученном облаке точек; этап 220, на котором средством 130 автоматической идентификации патологий органов организма пациента осуществляется анализ облака точек с применением идентифицирующей модели машинного обучения; этап 230, на котором средством 140 автоматического определения выраженности идентифицированной патологии органов организма пациента осуществляется анализ выделенного фрагмента облака точек с применением классифицирующей модели машинного обучения; этап 240, на котором модулем 150 осуществляется отправка отчета с информацией на электронное устройство лечащего врача (опционально).The method for automatic processing of medical images of the organs of the patient's body is implemented in a number of main steps, which include:
На этапе 200 со стационарного компьютера медицинского учреждения посредством сети «Интернет» осуществляется отправка медицинского изображения (КТ, МКТ, МРТ, УЗИ или др.) результатов обследования мягких тканей, таких как легкие, желудок или кишечник, в виде файла, полученного за счет средства 100 медицинской диагностики органов организма пациента, в модуль 110 получения медицинских изображений органов организма пациента. На основе полученных данных модулем 110 посредством предустановленного программного обеспечения осуществляется открытие цифрового медицинского изображения и его разбиение на отдельные изображения, соответствующие различной глубине мягких тканей и органов, в результате чего получается трехмерное изображение мягких тканей и органов организма пациента, которое передается в модуль 120 обработки медицинских изображений органов организма пациента.At
На этапе 210 модулем 120 обработки медицинских изображений органов организма пациента осуществляется определение плотности областей по шкале Хаунсфилда на отдельных изображениях, с определенной частотой осуществляется генерация точек и производится параметризация точек с учетом полученных данных, после чего координаты точек сохраняются сервером во внутренней памяти в декартовой системе координат, а точкам присваивается плотность, соответствующая плотности по Хаунсфилду зон отдельных изображений, на которые они были нанесены. После этого модулем 120 посредством предустановленного программного обеспечения осуществляется фильтрация полученного массива точек путем удаления точек, плотность которых равна или незначительно отличается от плотности (по шкале Хаунсфилда) воздуха и формируется облако точек, при этом на основании параметров точек модулем 120 производится автоматическая идентификация исследуемых органов. После этого полученное облако точек передается в средство 130 автоматической идентификации патологий органов организма пациента.At step 210, the module 120 for processing medical images of the patient's body organs determines the density of areas on the Hounsfield scale on individual images, generates points at a certain frequency and parametrizes the points based on the data obtained, after which the coordinates of the points are stored by the server in the internal memory in the Cartesian coordinate system , and the points are assigned a density corresponding to the Hounsfield density of the zones of the individual images on which they were plotted. After that, module 120, using pre-installed software, filters the obtained array of points by removing points whose density is equal to or slightly different from the density (according to the Hounsfield scale) of air and forms a cloud of points, while based on the parameters of the points, module 120 automatically identifies the organs under study. After that, the obtained point cloud is transferred to the means 130 for automatic identification of pathologies of the organs of the patient's body.
На этапе 220 средством 130 автоматической идентификации патологий органов организма пациента полученное облако точек обрабатывается сервером с применением идентифицирующей модели машинного обучения и в облаке точек выделяются связанные точки. Затем связанные точки анализируются им с применением модели машинного обучения на предмет наличия патологии в органах организма пациента, в процессе чего средством 130 осуществляется отправка запросов в базу 131 прецедентов идентификации патологий органов организма пациента. В случае идентифицирования моделью машинного обучения патологии органов организма пациента область вокруг связанных точек выделяется и отправляется в средство 140 автоматического определения выраженности идентифицированной патологии органов организма пациента для обработки классифицирующей моделью машинного обучения. В случае если патологии органов организма пациента обнаружено не было, то информация об этом передается в модуль 120 обработки медицинских изображений органов организма пациента.At
На этапе 230 средством 140 автоматического определения выраженности идентифицированной патологии органов организма пациента полученная выделенная вокруг связанных точек область анализировалась с помощью классифицирующей модели машинного обучения, в процессе чего этим модулем определялся параметр выраженности идентифицированной патологии на основании плотности, количества и взаимного расположения точек в выделенной области, в процессе чего средством 140 осуществляется отправка запросов в базу 141 прецедентов определения параметра выраженности патологии органов организма пациента. Полученная информация об идентифицированной патологии и присвоенном ей параметре выраженности передавалась в модуль 120 обработки медицинских изображений органов организма пациента.At
На этапе 240 модулем 150 отправки данных осуществлялась отправка уведомления на электронное устройство лечащего врача в виде отчета с данными идентифицированной патологии и присвоенным ей параметром выраженности либо об отсутствии обнаруженной патологии.At
Группа изобретений поясняется следующим конкретным примером реализации.The group of inventions is illustrated by the following specific implementation example.
Медицинское изображение легких пациента, полученное методом МРТ, отправляется в систему со стационарного компьютера медицинского учреждения посредством сети «Интернет» в виде файла, имеющего формат DICOM. Модулем 120 определяются плотности областей по шкале Хаунсфилда на отдельных изображениях и с определенной частотой посредством применения метода «Non-uniform Monte-Carlo sampling», осуществляется генерация точек, после чего производится параметризация точек. Средством 130 с применением идентифицирующей модели машинного обучения класса «PointNet++» выделялись точки, расстояние между которыми было менее или равно 1,5 мм, и определялись деструктивные процессы, вызванные туберкулезом, после чего средством 140 с применением классифицирующей модели машинного обучения класса «DGCNN» (Dynamic Graph Convolutional Neural Network) определялась высокая степень поражения легких. После этого на электронное устройство лечащего врача направлялось уведомление об обнаружении выраженной патологии на медицинском изображении легких пациента.A medical image of the patient's lungs obtained by MRI is sent to the system from a stationary computer of a medical institution via the Internet in the form of a file in the DICOM format. Module 120 determines the area densities on the Hounsfield scale on individual images and at a certain frequency using the "Non-uniform Monte-Carlo sampling" method, generates points, and then parametrizes the points. Tool 130, using the identifying machine learning model of the “PointNet ++” class, identified points, the distance between which was less than or equal to 1.5 mm, and determined the destructive processes caused by tuberculosis, after which tool 140, using the classifying machine learning model of the “DGCNN” class ( Dynamic Graph Convolutional Neural Network) a high degree of lung damage was determined. After that, a notification was sent to the electronic device of the attending physician about the detection of a pronounced pathology in the medical image of the patient's lungs.
Таким образом обеспечивается достижение технического результата, заключающегося в обеспечении возможности автоматического определения патологий органов организма пациента модулем обработки медицинских изображений органов организма пациента, тем самым расширяются функциональные возможности автоматической системы для обработки медицинских изображений органов организма пациента.This ensures the achievement of the technical result, which consists in enabling the automatic detection of pathologies of the patient's body organs by the module for processing medical images of the patient's body organs, thereby expanding the functionality of the automatic system for processing medical images of the patient's body organs.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020131479A RU2771512C2 (en) | 2020-09-24 | 2020-09-24 | Automatic system for processing medical images of organs of the body of a patient and method implemented by the system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020131479A RU2771512C2 (en) | 2020-09-24 | 2020-09-24 | Automatic system for processing medical images of organs of the body of a patient and method implemented by the system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2020131479A3 RU2020131479A3 (en) | 2022-03-24 |
| RU2020131479A RU2020131479A (en) | 2022-03-24 |
| RU2771512C2 true RU2771512C2 (en) | 2022-05-05 |
Family
ID=80815958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020131479A RU2771512C2 (en) | 2020-09-24 | 2020-09-24 | Automatic system for processing medical images of organs of the body of a patient and method implemented by the system |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2771512C2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070025606A1 (en) * | 2005-07-27 | 2007-02-01 | Bioimagene, Inc. | Method and system for storing, indexing and searching medical images using anatomical structures of interest |
| US20090028403A1 (en) * | 2006-03-03 | 2009-01-29 | Medic Vision - Brain Technologies Ltd. | System and Method of Automatic Prioritization and Analysis of Medical Images |
| US20120184840A1 (en) * | 2009-04-07 | 2012-07-19 | Kayvan Najarian | Automated Measurement of Brain Injury Indices Using Brain CT Images, Injury Data, and Machine Learning |
| US20130039552A1 (en) * | 2010-01-28 | 2013-02-14 | Moshe Becker | Methods and systems for analyzing, prioritizing, visualizing, and reporting medical images |
-
2020
- 2020-09-24 RU RU2020131479A patent/RU2771512C2/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070025606A1 (en) * | 2005-07-27 | 2007-02-01 | Bioimagene, Inc. | Method and system for storing, indexing and searching medical images using anatomical structures of interest |
| US20090028403A1 (en) * | 2006-03-03 | 2009-01-29 | Medic Vision - Brain Technologies Ltd. | System and Method of Automatic Prioritization and Analysis of Medical Images |
| US20120184840A1 (en) * | 2009-04-07 | 2012-07-19 | Kayvan Najarian | Automated Measurement of Brain Injury Indices Using Brain CT Images, Injury Data, and Machine Learning |
| US20130039552A1 (en) * | 2010-01-28 | 2013-02-14 | Moshe Becker | Methods and systems for analyzing, prioritizing, visualizing, and reporting medical images |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2020131479A3 (en) | 2022-03-24 |
| RU2020131479A (en) | 2022-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6947759B2 (en) | Systems and methods for automatically detecting, locating, and semantic segmenting anatomical objects | |
| KR20210021039A (en) | Image processing methods, devices, electronic devices and computer-readable storage media | |
| EP1659947A2 (en) | System and method for utilizing shape analysis to assess fetal abnormality | |
| EP3424017B1 (en) | Automatic detection of an artifact in patient image data | |
| US11837346B2 (en) | Document creation support apparatus, method, and program | |
| Zhu et al. | Automatic measurement of fetal femur length in ultrasound images: a comparison of random forest regression model and SegNet | |
| US20220392619A1 (en) | Information processing apparatus, method, and program | |
| JPWO2020027228A1 (en) | Diagnostic support system and diagnostic support method | |
| US20180042564A1 (en) | METHOD AND SYSTEM FOR SYNTHESIZING VIRTUAL HIGH DOSE OR HIGH kV COMPUTED TOMOGRAPHY IMAGES FROM LOW DOSE OR LOW kV COMPUTED TOMOGRAPHY IMAGES | |
| CN114332132A (en) | Image segmentation method and device and computer equipment | |
| US20230005601A1 (en) | Document creation support apparatus, method, and program | |
| US12136218B2 (en) | Method and system for predicting expression of biomarker from medical image | |
| RU2771512C2 (en) | Automatic system for processing medical images of organs of the body of a patient and method implemented by the system | |
| US20220076796A1 (en) | Medical document creation apparatus, method and program, learning device, method and program, and trained model | |
| RU120799U1 (en) | INTEREST AREA SEARCH SYSTEM IN THREE-DIMENSIONAL MEDICAL IMAGES | |
| EP3910597A1 (en) | Body representations | |
| WO2021112715A1 (en) | Method for automatic analysis of medical images of organs of a patient's body | |
| CN115148341B (en) | AI structure sketching method and system based on body position recognition | |
| Gunasekara et al. | A feasibility study for deep learning based automated brain tumor segmentation using magnetic resonance images | |
| US20240095916A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP2019107453A (en) | Image processing apparatus and image processing method | |
| US20230274424A1 (en) | Appartus and method for quantifying lesion in biometric image | |
| US20240087751A1 (en) | Systems and methods for organ shape analysis for disease diagnosis and risk assessment | |
| US20230197253A1 (en) | Medical image processing apparatus, method, and program | |
| US20240273726A1 (en) | Device Agnostic Systems and Methods for Acquiring and Analyzing Images from an Ultrasound Probe |