WO2019146357A1 - 医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム - Google Patents
医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム Download PDFInfo
- Publication number
- WO2019146357A1 WO2019146357A1 PCT/JP2018/047853 JP2018047853W WO2019146357A1 WO 2019146357 A1 WO2019146357 A1 WO 2019146357A1 JP 2018047853 W JP2018047853 W JP 2018047853W WO 2019146357 A1 WO2019146357 A1 WO 2019146357A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- medical image
- patient
- medical
- unit
- data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Definitions
- the present invention relates to a medical image processing apparatus, method and program, diagnosis support apparatus, method and program, and more particularly to a medical image processing apparatus, method and program for supporting diagnosis using medical image, diagnosis support apparatus, method and program.
- diagnosis of a patient may be performed using medical images.
- diagnosis using a medical image a test site of a patient is photographed, and a doctor interprets the medical image of the test site to diagnose the presence or absence of a lesion at the test site.
- Patent Document 1 discloses a cloud-based medical image processing system.
- a medical data store is provided in the cloud.
- the medical data store stores medical image data and medical data received from each data center via the network.
- the personal data patient name, address, social
- the security number, credit card information, etc. are anonymized (paragraphs [0080] to [0083], FIG. 11).
- lesions included in medical images vary in shape, size, and type, and a single medical image may include multiple lesions.
- a single medical image may include multiple lesions.
- a specialist physician may find it difficult to find and diagnose the lesions.
- performing interpretation and diagnosis of a medical image is a task that requires a large amount of time and a large amount of time.
- machine learning including deep learning and artificial intelligence (AI)
- AI artificial intelligence
- Patent Document 1 relates to a technology for anonymizing personal information of a patient.
- the medical image processing system described in Patent Document 1 when uploading medical image data and medical data from each data center, it is possible to anonymize the personal information of the patient included in the medical data.
- This medical image data and medical data are stored or archived in the medical data store of the cloud.
- uploading of medical image data and medical data in which patient's personal information is anonymized can be received, so from the patient's personal information protection and a plurality of data centers And acquisition of medical image data at the same time.
- Patent Document 1 Although it is easy to gather medical images related to typical cases where the contribution to the improvement in accuracy of diagnosis using medical images is small, contribution to the improvement in accuracy of diagnoses using medical images However, large medical images could not be collected efficiently. Therefore, it has been difficult to perform machine learning effectively and efficiently using medical images that greatly contribute to improvement in accuracy of diagnosis using medical images.
- the present invention has been made in view of such circumstances, and a medical image processing apparatus, method, and program capable of efficiently collecting medical images that greatly contribute to improvement in accuracy of diagnosis using medical images. And providing a diagnostic support apparatus, method, and program.
- the medical image processing device concerning the 1st mode of the present invention acquires the analysis result which analyzed the medical image and the reception part which receives the input of patient information corresponding to a medical image and a medical image.
- Analysis result acquisition unit a detection unit that detects whether the analysis result has been corrected, and data in which identification information that can identify the patient is concealed when it is detected that the analysis result has been corrected.
- data processing unit for storing data.
- the analysis unit which is a medical image identification engine of a medical institution
- those corrected by the doctor that is, those for which the analysis result by the analysis unit contains an error
- the patient identification information is concealed and made available outside the medical institution where the medical image processing apparatus is installed. This makes it possible to efficiently collect medical images that greatly contribute to improvement in the accuracy of diagnosis using medical images.
- the detection unit corrects the analysis result by collating the analysis result with the input to the analysis result or the patient's medical record. It is intended to detect the event.
- the data processing unit detects that the analysis result has been corrected, the medical image, the patient information, and the correction Based on the analyzed result, data in which the identification information capable of identifying the patient is concealed is created and stored.
- the data processing unit causes the detection unit to correct the extraction result of the contour of the region included in the medical image.
- the detection unit When it is detected, data in which the identification information capable of identifying the patient is concealed is created and stored based on the medical image and the corrected contour.
- the data processing unit causes the detection unit to correct the determination result of the property of the region included in the medical image.
- the detection unit When it is detected, data in which identification information capable of identifying a patient is concealed is created and stored based on the medical image and the corrected determination result.
- the data processing unit detects one or more keywords or image keywords obtained by image analysis on a medical image by the detection unit.
- the data processing unit detects one or more keywords or image keywords obtained by image analysis on a medical image by the detection unit.
- data concealing identification information capable of identifying a patient based on the medical image and the analysis result including the corrected one or more keywords or sentences It was created and saved.
- the data processing unit determines whether the type of medical image or the type of analysis and the level of concealment of identification information.
- the correspondence relationship is recorded in advance, and based on the correspondence relationship, data in which identification information capable of identifying a patient is concealed is created.
- the seventh aspect by selecting the target of the concealment processing according to the type of medical image and the type of analysis, it becomes possible to perform appropriate concealment processing on patient identification information .
- the data processing unit processes the medical image when the medical image includes an image of a patient's body surface. Then, the image of the body surface is concealed.
- the eighth aspect it is possible to prevent the patient's appearance etc. from being restored from the image (body surface data) of the body surface included in the medical image.
- the data processing unit when it is detected that the data processing unit corrects the analysis result, the past regarding the patient The medical image and the patient information are acquired, and among the past medical image and the patient information, data in which the identification information capable of identifying the patient is concealed is created and stored.
- the detection unit determines whether at least one of the plurality of analysis results at different time points regarding the patient is corrected. And the data processing unit is different from the first time point in addition to the first time point medical image and patient information when it is detected that the analysis result at the first time point has been corrected.
- the medical image and the patient information at the second time point are acquired, and among the medical image and the patient information, data in which the identification information capable of identifying the patient is concealed is created and stored.
- the concealment process can be performed also on the medical image or the like at another time of the same patient. This makes it possible to perform additional learning using analysis results at multiple points in time of medical images of the same patient.
- a diagnosis support apparatus is a diagnosis support apparatus that presents information for supporting a diagnosis, comprising: a data acquisition unit that acquires a medical image of a patient to be diagnosed; An analysis unit in which learning is performed using data created by a medical image processing apparatus according to any one of the embodiments, the analysis unit performing analysis of a medical image of a patient to be diagnosed, and presentation presenting the result of the analysis And a unit.
- a medical image processing method is a medical image processing apparatus comprising: receiving an input of patient information corresponding to a medical image and a medical image; and analyzing the analysis result of analyzing the medical image Creating and storing data concealing identification information that can identify a patient when a result acquisition step, a detection step that detects whether or not the analysis result has been corrected, and when it is detected that the analysis result has been corrected And data processing steps.
- a diagnosis support method is a step of performing learning in an analysis unit for analyzing a medical image using data created by the medical image processing method according to the twelfth aspect;
- the method includes the steps of acquiring a medical image of a patient to be diagnosed, analyzing the medical image of the patient to be diagnosed by the analysis unit that has performed learning, and presenting a result of the analysis.
- a function of receiving an input of patient information corresponding to a medical image and a medical image, a function of acquiring an analysis result obtained by analyzing a medical image, and an analysis result are corrected.
- the computer is realized with a function of detecting whether or not the analysis result has been corrected, and a function of creating and storing data concealing identification information capable of identifying the patient when it is detected that the analysis result has been corrected.
- the diagnostic support program uses the data generated by executing the medical image processing program according to the fourteenth aspect to perform learning in an analysis unit for analyzing a medical image. Realizes on a computer the functions to be performed, the function to acquire the medical image of the patient to be diagnosed, the function to analyze the medical image of the patient to be diagnosed by the analysis unit that has performed learning, and the function to present the analysis result
- FIG. 1 is a block diagram showing a medical support system according to a first embodiment of the present invention.
- FIG. 2 is a block diagram for explaining the flow of processing in the medical support system according to the first embodiment of the present invention.
- FIG. 3 is a data block diagram showing an example of the concealed data.
- FIG. 4 is a diagram showing regions (lung and heart) extracted by the medical image identification engine.
- FIG. 5 is a diagram showing a state in which the region extracted by the medical image identification engine is corrected.
- FIG. 6 is a diagram for describing automatic generation and correction of a diagnostic report.
- FIG. 7 is a block diagram showing a medical image processing apparatus according to the first embodiment of the present invention.
- FIG. 8 is a diagram showing an example of a medical image.
- FIG. 1 is a block diagram showing a medical support system according to a first embodiment of the present invention.
- FIG. 2 is a block diagram for explaining the flow of processing in the medical support system according to the first embodiment of the present invention.
- FIG. 9 is a view showing an example of the concealed medical image.
- FIG. 10 is a block diagram showing a diagnosis support apparatus according to the first embodiment of the present invention.
- FIG. 11 is a flowchart showing the flow of processing in the medical image processing method according to the first embodiment of the present invention.
- FIG. 12 is a flowchart showing the flow of processing in the diagnosis support method according to the first embodiment of the present invention.
- FIG. 13 is a flowchart showing a flow of processing (data processing step) of creation and storage of concealed data in the medical image processing method according to the second embodiment of the present invention.
- FIG. 14 is a flowchart showing the flow of processing in the medical image processing method according to the third embodiment of the present invention.
- FIG. 10 is a block diagram showing a diagnosis support apparatus according to the first embodiment of the present invention.
- FIG. 11 is a flowchart showing the flow of processing in the medical image processing method according to the first embodiment of the present invention.
- FIG. 12 is a flowchart showing the flow
- FIG. 15 is a flowchart showing a modification of the medical image processing method according to the third embodiment of the present invention.
- FIG. 16 is a block diagram showing a medical support system according to the fourth embodiment of the present invention.
- FIG. 17 is a block diagram showing a diagnosis support apparatus according to a fourth embodiment of the present invention.
- FIG. 18 is a flowchart showing the flow of processing in the diagnosis support method according to the fourth embodiment of the present invention.
- FIG. 1 is a block diagram showing a medical support system according to a first embodiment of the present invention.
- medical institutions M1, M2,..., Mn are facilities that provide medical care to patients, and are, for example, hospitals, dental clinics, clinics, and the like.
- the medical support system 10 includes medical image processing apparatuses 100-1, 100-2,..., 100-n installed at medical institutions M 1, M 2,.
- the diagnostic support devices 200-1, 200-2,..., 200-n and the medical support server 300 are included.
- the medical support server 300 includes a data collection unit 302 and a learning unit 304.
- the medical image processing apparatuses 100-1, 100-2, ..., 100-n, the diagnosis support apparatuses 200-1, 200-2, ..., 200-n and the medical support server 300 are VPN (Virtual Private Network).
- VPN Virtual Private Network
- IP-VPN Internet Protocol-VPN
- the medical image processing apparatuses 100-1, 100-2, ..., 100-n, the diagnosis support apparatuses 200-1, 200-2, ..., 200-n and the medical support server 300 are connected via a dedicated line. It may be done.
- the medical support server 300 may be installed at a place different from the medical institutions M1, M2, ..., Mn (for example, a provider of a medical support service using the medical support server 300), or It may be installed in one medical institution among medical institutions M1, M2, ..., Mn.
- the diagnostic support device 200-i includes a medical image identification engine (an analysis unit 350 before learning) for analyzing a medical image.
- the diagnosis support device 200-i is a medical image (for example, an X-ray image) and patient information (for example, patient identification information, patient ID (Identification), etc., from an inspection device (symbol 150 in FIG. ), The patient's name, etc.), and analysis of the medical image is performed using the analysis unit 350 before learning.
- the diagnosis support apparatus 200-i presents the doctor with the diagnosis support information including the result of the analysis and the medical image, and receives an input such as approval or correction from the doctor.
- Analysis result information including an analysis result on which an input such as approval or correction is performed by a doctor is transmitted to the medical image processing apparatus 100-i together with the medical image and the patient information.
- the medical image processing apparatus 100-i is a medical image, patient information and analysis result information for which correction has been input by a doctor, that is, an analysis result by the medical image identification engine (analyzer 350 before learning)
- a concealment process for concealing identification information capable of identifying a patient is performed on the one including an error to generate concealed data DCi.
- the medical support server 300 uses the data collection unit 302 to transmit the concealed data DC1, DC2,... From the medical image processing apparatuses 100-1, 100-2,. Collect each DCn.
- the learning unit 304 of the medical support server 300 includes a medical image identification engine (an analysis unit 350 before learning) of the same version as the medical institution Mi.
- the analysis unit 350 before learning is a medical image identification engine before performing learning using the concealed data DC1, DC2,..., DCn
- the analysis unit 352 that has been learned is the concealed data DC1, DC2,.
- This is a medical image identification engine after learning using DCn.
- the learning unit 304 causes the analysis unit 350 before this learning to perform learning using the concealed data DC1, DC2,..., DCn collected from the medical institutions M1, M2,.
- a learned analysis unit 352 generated by this learning is transmitted from the medical support server 300 to the diagnostic support devices 200-1, 200-2, ..., 200-n.
- the diagnosis support devices 200-1, 200-2,..., 200-n of the medical institutions M1, M2,..., Mn respectively obtain the learned analysis unit 352 from the medical support server 300, and the analysis unit 350 before learning Update the medical image identification engine by replacing with.
- the diagnostic support devices 200-1, 200-2, ..., 200-n analyze another medical image using the learned analysis unit 352, and generate diagnostic support information including analysis results. Can be presented to the doctor.
- the analysis unit 350 before learning of the medical institution Mi among the analysis results by the analysis unit 350 before learning of the medical institution Mi, those corrected by the doctor, that is, those in which an analysis result by the analysis unit 350 before learning includes an error Are collected, and the analysis unit 350 before learning is made to perform learning. This makes it possible to efficiently collect medical images that greatly contribute to improvement in the accuracy of diagnosis using medical images.
- the learning in the learning unit 304 and the update of the medical image identification engine may be performed periodically. Further, according to the capacity of the concealed data DCi transmitted to and stored in the medical support server 300, the learning in the learning unit 304 and the update of the medical image identification engine have, for example, more than a predetermined number of medical images. It may be implemented when it is not. Further, the execution timing of the learning in the learning unit 304 and the update of the medical image identification engine may be set arbitrarily by the operator. Also, when it is determined that the degree of importance is high according to the degree of importance of the correction of the analysis result (for example, the amount or type of corrected information), the learning in the learning unit 304 and the update of the medical image identification engine are performed. It may be done.
- FIG. 2 is a block diagram for explaining the flow of processing in the medical support system according to the first embodiment of the present invention
- FIG. 3 is a data block diagram showing an example of concealed data.
- the examination apparatus 150 shown in FIG. 2 is an apparatus for imaging the examination site of the patient in the medical institution Mi, and for example, an X-ray imaging apparatus, a computed tomography apparatus (CT: Computed Tomography), a positron tomography apparatus (PET: Positron Emission Tomography), Single Photon Emission Computed Tomography (SPECT), Nuclear Magnetic Resonance Tomography (MRI: Magnetic Resonance Imaging), Mammography inspection device and the like.
- CT computed tomography apparatus
- PET Positron Emission Tomography
- SPECT Single Photon Emission Computed Tomography
- MRI Nuclear Magnetic Resonance Tomography
- Mammography inspection device and the like.
- the examination apparatus 150 captures an examination site of a patient and acquires a medical image IMG1 (for example, an X-ray image). Further, the inspection apparatus 150 includes an input unit for receiving an input of patient information DP1 (for example, patient identification information, patient ID, patient name, etc.) regarding the patient.
- the input unit of the inspection device 150 may include a keyboard for character input.
- the input unit of the inspection apparatus 150 uses information of a reading device (for example, a magnetic card reader, an IC (Integrated Circuit) card reader) for reading information on a patient's consultation ticket and information on the consultation ticket read by the reader. It may include a search unit for acquiring patient information DP1 from a hospital information system (HIS: Hospital Information Systems) including a database in which information on patients in the medical institution Mi is stored.
- HIS Hospital Information Systems
- the medical image IMG1 of the examination site of the patient acquired by the examination apparatus 150 and the patient information DP1 are transmitted to the diagnosis support apparatus 200-i.
- the medical image IMG1 and the patient information DP1 are created, for example, in a data format conforming to DICOM (Digital Imaging and Communications in Medicine) or MIPS (Medical Image Processing Systems) standard of the Japan Society of Medical Imaging Systems It is possible.
- a file including the medical image IMG1 and the patient information DP1 transmitted from the examination apparatus 150 to the diagnosis support apparatus 200-i is a DICOM file F1.
- the patient information DP1 can be included, for example, in the tag or private tag of the DICOM file F1.
- the private tag is a tag that can be uniquely defined by a modality maker (maker of the inspection apparatus 150 used for generating the medical image IMG1).
- the tags of the DICOM file will be described later (see Tables 1 to 3).
- the diagnosis support device 200-i acquires, from the examination device 150, the medical image IMG1 of the examination site of the patient and the patient information DP1.
- the diagnosis support apparatus 200-i analyzes the medical image IMG1 of the examination site of the patient using the analysis unit 350 before learning, and generates the diagnosis support information DA0 including the analysis result.
- This diagnosis support information DA0 includes, for example, the extraction result of the region and outline of the organ or bone included in the examination site as a result of the segmentation of the examination site, whether the lesion is included in the examination site, the lesion. If there is, it contains information such as a candidate for the type or the type of lesion.
- the diagnosis support information DA0 is presented to the doctor by the presentation unit (the display unit 210 in FIG. 10 or the doctor terminal 220), and is used to assist the doctor in diagnosis using the medical image IMG1.
- the diagnosis support apparatus 200-i is an operation for accepting an input of approval or correction and an input of selection of a candidate for a type of a lesion included in the diagnosis support information DA0 with respect to the analysis result included in the diagnosis support information DA0.
- the input unit (the operation unit 204 in FIG. 10 or the doctor terminal 220) is provided.
- the doctor interprets the medical image IMG1 with reference to the diagnosis support information DA0 presented to the presentation unit, and uses the operation input unit to approve and correct the diagnosis support information DA0 (analysis regarding presence and type of lesion It is possible to make corrections to the results of
- the diagnosis support information DA0 that has been approved or corrected by the doctor is used as analysis result information DA1.
- the analysis result information DA1 is added with additional information (for example, a flag) indicating whether the diagnosis support information DA0 has been approved or corrected by the doctor.
- additional information for example, a flag
- the diagnostic support device 200-i receives an input of correction from the operation unit 204 or the doctor terminal 220
- the diagnostic support device 200-i adds this analysis result information DA1 to the DICOM file F1 and adds the DICOM file F2. create.
- the analysis result information DA1 and the additional information can be included in the tag or private tag of the DICOM file F2.
- the analysis result information DA1 and the additional information may be files different from the DICOM file F2.
- the diagnosis support device 200-i transmits the DICOM file F2 to the medical image processing device 100-i.
- the medical image identification engine extracts the areas and contours of the heart and lungs and measures the cardiothoracic ratio. If an error is detected in the detection results of the heart and lung areas as a result of the doctor's interpretation, the doctor corrects markers indicating the heart and lung areas or contour in the diagnosis support device 200-i.
- the control unit 202 of the diagnosis support apparatus 200-i receives the input of this correction, and stores the corrected heart and lung area and the measured value of the cardiothoracic ratio and additional information indicating that the correction has been made. Analysis result information DA1 is generated.
- the medical image identification engine determines the detection result of the range and the contour of the region and the property thereof. If an error is detected in the detection result of the range or contour of the area or the property (for example, whether it is a tumor or not) as a result of the interpretation by the doctor, the doctor corrects in the diagnosis support device 200-i I do.
- the control unit 202 of the diagnosis support apparatus 200-i receives the input of the correction, and generates analysis result information DA1 storing the analysis result after the correction and the additional information indicating that the correction has been made.
- FIG. 4 is a diagram showing regions (lung and heart) extracted by the medical image identification engine.
- the medical image identification engine analyzes a medical image P1, which is a chest X-ray image, to automatically detect a region indicating the right lung, the left lung and the heart.
- the result of the automatic detection is displayed on the display unit 210 (see FIG. 10) of the diagnosis support device 200-i.
- outlines C10, C20 and C30 respectively corresponding to the right lung, the left lung and the heart are displayed superimposed on the medical image P1.
- the doctor can make corrections using the operation unit 204 (see FIG. 10) while looking at the display unit 210 of the diagnosis support apparatus 200-i.
- FIG. 5 is a diagram showing a state in which the region extracted by the medical image identification engine is corrected.
- C12, C22 and C32 shown in FIG. 5 are contours respectively corresponding to the corrected right lung, left lung and heart.
- the contours C10, C20 and C30 before the correction are shown by broken lines.
- the analysis result information DA1 including the analysis result including the information and the additional information indicating that the correction has been made is generated.
- the medical image identification engine can automatically generate a diagnostic report (finding) by analyzing a medical image.
- FIG. 6 is a diagram for describing automatic generation and correction of a diagnostic report.
- the medical image identification engine analyzes a medical image P2 which is a tomographic image (CT image) of the chest and automatically generates a diagnostic report (finding) R10.
- the medical image identification engine can generate a diagnostic report by means of diagnostic report creation means similar to, for example, the diagnostic imaging support apparatus described in Japanese Patent Application Laid-Open No. 07-323024.
- the diagnostic report may include, for example, information (text) indicating the determination result (for example, whether it is a tumor or not) of the position, size, and type of the region to be diagnosed in the medical image and / or the property thereof. .
- the diagnostic report may also include, for example, medical images and information for displaying the area to be diagnosed in the medical images (for example, coordinates or marks indicating positions).
- the self-medical image recognition engine may automatically generate one or more words (keywords) as a result of analysis of the medical image P2.
- the automatically generated keyword is, for example, a term representing a medical image feature (eg, cell lung (cell lung)) detected from a medical image or the name of a disease (eg, mass, spicula) It may be a qualitative and sensory phrase such as "wide range" or "local".
- the automatically generated diagnostic report R10 or a keyword may include numerical values including the size, length, area, or volume of a region including features or disease of these images.
- the doctor can display the diagnosis report R10 on the display unit 210 of the diagnosis support device 200-i and correct the diagnosis report using the operation unit 204.
- the portion “with spiculation” in the text included in the diagnostic report R10 is corrected to “with a cavity”.
- the analysis result information DA1 is generated.
- the automatically generated diagnostic report R10 and the correction method thereof are not limited to this.
- words (keywords) to be candidates for the doctor to input in the diagnosis report are automatically generated by image analysis and displayed on the display unit 210 of the diagnosis support device 200-i, and the doctor inputs adoption or rejection of each word
- corrections to automatically generated diagnostic reports are included in operations such as unchecking the check box for each candidate word, and checking the check box not to be adopted by the doctor among them.
- the medical image processing apparatus 100-i acquires a DICOM file F2 including the medical image IMG1, the patient information DP1, and the analysis result information DA1 from the diagnosis support apparatus 200-i. Then, the medical image processing apparatus 100-i selects the patient for the medical image IMG1, the patient information DP1, and the analysis result information DA1 for which the doctor has performed the correction input in the diagnosis support apparatus 200-i. A concealment process for concealing distinguishable identification information is performed to create concealed data DCi.
- the concealed data DCi includes the medical image IMG2 subjected to the concealment processing, the patient information DP2, and the analysis result information DA2.
- the concealed data DCi conforms to, for example, DICOM (Digital Imaging and Communications in Medicine) or MIPS (Medical Image Processing Systems) standard of the Japan Society of Medical Imaging Systems It is possible to create in data format.
- the concealed data DCi is, for example, a teacher who receives as input the image of the examination site of the patient extracted from the medical image, is analysis result information for the examination site of this patient, and outputs after having been corrected or approved by the doctor It can be used as teacher data for supervised learning.
- the “output” in the teacher data may be called a teacher signal, a teaching signal, correct data, or a label.
- the medical image processing apparatus 100-i transmits the concealed data DCi to the medical support server 300.
- the data collection unit 302 of the medical support server 300 includes the concealed data DC1, DC2,... Transmitted from the medical image processing apparatuses 100-1, 100-2,. ..., collect DCn.
- the learning unit 304 of the medical support server 300 causes the analysis unit 350 before learning to perform learning using the concealed data DC1, DC2,..., DCn collected from the medical institutions M1, M2,.
- the medical image of the examination site of the patient read out from the concealed data DC1, DC2,..., DCn, which is teacher data, and the feature amount in this medical image are input to the analysis unit 350. Then, in the learning unit 304, learning is performed on the input medical image of the examination site so as to obtain the same output as the information indicating the diagnosis result corresponding to the examination site.
- the feature amount in the medical image for example, the average of lightness or luminance in the medical image, the area of the examination site or lesion, the perimeter and flatness, and the major axis of the examination site or lesion when it is approximated to an ellipse.
- the length and inclination of the long axis with respect to the patient's examination site or lesion feature eg, outline of spine, bone or viscera included in the patient examination site, center of gravity or central axis, etc.
- the analysis unit 350 before learning and the analysis unit 352 after learning are data used to generate diagnosis support information in the diagnosis support device 200-i, and, for example, the diagnosis support devices 200-1, 200-2,. -N (information of the structure of the diagnosis support information generation unit 214) and the value of the variable are included.
- As the analysis unit 350 before learning and the analysis unit 352 after learning for example, those using neural networks, deep learning (deep learning), decision trees, linear classifiers, SVMs (Support Vector Machine), discriminant analysis, etc. It can be used.
- the diagnosis support device 200-i acquires the learned analysis unit 352 from the medical support server 300, and updates the medical image identification engine.
- the diagnosis support device 200-i When another medical image (a medical image that has not been used for learning, for example, a medical image of a patient who is a new medical treatment target, etc.) is acquired by the inspection device 150, the diagnosis support device 200-i performs the learning This other medical image is analyzed using the analysis unit 352 already processed. Then, the diagnosis support apparatus 200-i generates diagnosis support information indicating an analysis result of the other medical image, and presents the diagnosis support information to the doctor of the medical institution Mi.
- another medical image a medical image that has not been used for learning, for example, a medical image of a patient who is a new medical treatment target, etc.
- the medical image processing apparatuses 100-1, 100-2, ..., 100-n, the diagnosis support apparatuses 200-1, 200-2, ..., 200-n and the medical support server 300 are networks. Communication is possible, but the present invention is not limited to this.
- the administrator of the medical support server 300 patrols the medical institutions M1, M2, ..., Mn to collect the concealed data DC1, DC2, ..., DCn, and the diagnostic support devices 200-1, 200-2. ,..., 200-n may be provided (update of the medical image identification engine).
- the medical image processing apparatus 100-i and the diagnosis support apparatus 200-i are separate apparatuses, but both may be the same apparatus.
- the medical image processing apparatus 100-i and the diagnosis support apparatus 200-i may be included in PACS (Picture Archiving and Communication Systems) in the medical institution Mi.
- PACS Picture Archiving and Communication Systems
- FIG. 7 is a block diagram showing a medical image processing apparatus according to the first embodiment of the present invention.
- the medical image processing apparatus 100-i includes a control unit 102, an operation unit 104, a memory 106, a recording unit 108, a display unit 110, a medical image reception unit 112, an analysis result acquisition unit 114, a detection unit 116, data.
- the processing unit 118, the concealed data storage unit 120, and the communication interface (communication I / F: interface) 122 are included.
- the control unit 102 includes a CPU (Central Processing Unit) that controls the operation of each unit of the medical image processing apparatus 100-i.
- the control unit 102 can transmit and receive control signals and data to and from each unit of the medical image processing apparatus 100-i via a bus.
- the control unit 102 receives an operation input from an operator (such as a doctor) via the operation unit 104, transmits a control signal corresponding to the operation input via the bus to each unit of the medical image processing apparatus 100-i, and Control the operation of
- the operation unit 104 is an input device that receives an operation input from an operator, and is a keyboard for character input and the like, a pointer displayed on the display unit 110, a pointing device for operating icons and the like (for example, a mouse, a trackball Etc.). Note that as the operation unit 104, a touch panel may be provided on the surface of the display unit 110 instead of or in addition to the keyboard and the pointing device.
- the memory 106 is used as a RAM (Random Access Memory) used as a work area for various calculations performed by the control unit 102 and the like, and as an area for temporarily storing image data output to the display unit 110. It includes VRAM (Video Random Access Memory).
- RAM Random Access Memory
- VRAM Video Random Access Memory
- the recording unit 108 is a storage device for storing a control program used by the control unit 102, data (DICOM file F2) received from the diagnosis support apparatus 200-i, and the like.
- a device including a magnetic disk such as a hard disk drive (HDD), a device including a flash memory such as an embedded multi media card (eMMC) or a solid state drive (SSD), or the like can be used as the recording unit 108.
- HDD hard disk drive
- eMMC embedded multi media card
- SSD solid state drive
- the display unit 110 is a device for displaying an image.
- a liquid crystal monitor can be used as the display unit 110 .
- the communication I / F 122 is a means for performing communication with other devices via the network, and performs conversion processing of data to be transmitted / received according to the method of communication.
- Wired communication or wireless communication (for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc.) is used as a method of transmitting and receiving data between the medical image processing apparatus 100-i and another apparatus. be able to.
- the medical image reception unit 112 receives the input of the medical image IMG1 and the patient information DP1 from the DICOM file F2 transmitted from the diagnosis support device 200-i.
- the medical images IMG1 and the like input to the medical image reception unit 112 are images that have been read by a doctor in the diagnosis support apparatus 200-i.
- the analysis result acquisition unit 114 acquires analysis result information DA1 from the DICOM file F2 transmitted from the diagnosis support device 200-i.
- the detection unit 116 determines whether or not the analysis result information DA1 includes additional information indicating that the diagnosis support information DA0 has been corrected in the diagnosis support device 200-i.
- the detection unit 116 may obtain both the diagnosis support information DA0 and the analysis result information DA1 and compare them to determine the presence or absence of the correction.
- the data processing unit 118 performs concealment processing to conceal patient identification information on the DICOM file F2 in which the additional information indicating that the correction of the diagnosis support information DA0 has been performed is detected. Then, the data processing unit 118 generates concealed data DCi including the medical image IMG2 subjected to the concealment processing, the patient information DP2, and the analysis result information DA2.
- the concealed data storage unit 120 is a storage device for storing the concealed data DCi subjected to the concealment processing of the patient identification information by the data processing unit 118.
- the concealed data storage unit 120 may be, for example, a storage area provided in the recording unit 108.
- the concealed data DCi is transmitted to the medical support server 300 after being stored in the concealed data storage unit 120 of the medical image processing apparatus 100-i. It is not limited to The concealed data storage unit 120 can upload the concealed data DCi from the medical image processing apparatus 100-i, for example, and the data collection unit 302 of the medical support server 300 can download the concealed data DCi. May be provided on the cloud. In this case, for example, it is also possible to use a cloud-type VPN.
- the patient information DP1 is stored as tag information in the DICOM file F2.
- the data processing unit 118 deletes identification information that can identify the patient among the tag information of the DICOM file F2.
- Tables 1 to 3 show examples of tags of DICOM files.
- Table 1 shows a tag associated with patient identification information
- Table 2 shows a tag associated with medical institution Mi
- Table 3 shows an example of a tag associated with the content of examination.
- the data processing unit 118 deletes the tags related to the identification information of the patient shown in Table 1 except the tags including the information necessary for the analysis of the medical image IMG1. For example, among the tags in Table 1, tags such as the patient's age, smoking status, patient's additional medical history and pregnancy status may be left. Note that all tags related to the patient identification information shown in Table 1 may be deleted.
- the data processing unit 118 includes the identification information of the patient in the tags such as the reception number, the examination description and the diagnosis description at the time of examination. Therefore, the data processing unit 118 acquires patient identification information (for example, patient ID, patient's name, birthday, address, telephone number, occupation, etc.), and tag information such as examination description and diagnosis description at the time of examination If the identification information of the patient is included, the entire tag information is deleted, or the patient information included in the tag information is replaced with a blank letter. The data processing unit 118 may manually delete information after the doctor or the operator of the medical institution Mi confirms the contents of the tag.
- patient identification information for example, patient ID, patient's name, birthday, address, telephone number, occupation, etc.
- tag information such as examination description and diagnosis description at the time of examination
- the private tag also contains patient identification information. Therefore, the data processing unit 118 acquires patient identification information (for example, patient ID, patient's name, address, telephone number, etc.), collates it with the contents of the private tag, and includes patient identification information. In the case, the entire tag information is deleted or the patient information included in the tag information is replaced with a blank letter. The data processing unit 118 may delete all private tags, or the doctor or the operator of the medical institution Mi may manually delete the information after confirming the contents of the private tags. Good.
- patient identification information for example, patient ID, patient's name, address, telephone number, etc.
- FIG. 8 shows an example of a medical image
- FIG. 9 shows an example of a concealed medical image.
- the medical image IMG1 shown in FIG. 8 is a tomographic image of the head of a patient, and includes a portion of the body surface.
- a body surface portion is extracted from multiple tomographic images and synthesized, the patient's face is reproduced.
- the data processing unit 118 processes the medical image IMG1 to delete the area A1 in the vicinity of the body surface L1, thereby concealing the medical surface processed data concealed medical image Create IMG2.
- the region A1 in the vicinity of the body surface L1 can be, for example, a region from the body surface L1 to the contour of a tissue to be diagnosed (for example, brain, trachea, bone, etc.).
- the data processing unit 118 performs a process of filling the area A1 with the same color as the background color or superimposing another image. This makes it possible to conceal the image of the patient's body surface.
- patient identification information is encrypted and stored in the concealed data DCi, so that an operator having access authority to the patient identification information can retrieve the patient information DP1 when necessary for diagnosis and learning. You may leave it.
- an electronic signature may be added to the concealed data DCi in order to enable detection of tampering.
- FIG. 10 is a block diagram showing a diagnosis support apparatus according to the first embodiment of the present invention.
- the diagnosis support apparatus 200-i includes a control unit 202, an operation unit 204, a memory 206, a recording unit 208, a display unit 210, a data acquisition unit 212, a diagnosis support information generation unit 214, and a communication interface (communication I / O F: interface) 216 is included.
- the control unit 202 includes a CPU (Central Processing Unit) that controls the operation of each unit of the diagnosis support device 200-i.
- the control unit 202 can transmit and receive control signals and data to and from each unit of the diagnosis support device 200-i via a bus.
- the control unit 202 receives an operation input from the operator via the operation unit 104, transmits a control signal corresponding to the operation input via the bus to each unit of the diagnosis support device 200-i, and controls the operation of each unit. .
- CPU Central Processing Unit
- the operation unit 204 is an input device that receives an operation input from an operator, and is a keyboard for character input and the like, a pointer displayed on the display unit 210, a pointing device for operating icons and the like (for example, a mouse, a trackball Etc.). Note that as the operation unit 204, a touch panel may be provided on the surface of the display unit 210 instead of or in addition to the keyboard and the pointing device.
- the memory 206 is used as a RAM (Random Access Memory) used as a work area for various operations performed by the control unit 202 and the like, and as an area for temporarily storing image data output to the display unit 210. It includes VRAM (Video Random Access Memory).
- RAM Random Access Memory
- VRAM Video Random Access Memory
- the recording unit 208 is a storage device that stores a control program used by the control unit 202, data (DICOM file F1) received from the inspection apparatus 150, and the like.
- a device including a magnetic disk such as a hard disk drive (HDD)
- a device including a flash memory such as an embedded multi media card (eMMC) or a solid state drive (SSD), or the like can be used.
- eMMC embedded multi media card
- SSD solid state drive
- the display unit 210 is a device for displaying an image.
- a liquid crystal monitor can be used as the display unit 210.
- the communication I / F 216 is a means for performing communication with other devices via the network, and performs conversion processing of data to be transmitted / received according to the method of communication.
- Wired communication or wireless communication for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc. is used as a method of transmitting and receiving data between the medical image processing apparatus 100-i and another apparatus. be able to.
- the doctor terminal 220 is a terminal for the doctor of the medical institution Mi to display data such as a medical image and perform operation input.
- the doctor terminal 220 acquires and displays data such as a medical image from the diagnosis support device 200-i via the communication I / F 216, receives an operation input from the doctor, and receives data of the diagnosis support device 200-i. Processing and updating.
- the data acquisition unit 212 acquires, from the examination device 150, the DICOM file F1 including the medical image IMG1 of the patient and the patient information DP1.
- the diagnosis support information generation unit 214 analyzes the medical image IMG1 using the medical image identification engine (the analysis unit 350 before learning or the analysis unit 352 after learning), and generates the diagnosis support information DA0 including the analysis result. And causes the display unit 210 to display the medical image IMG1 and the patient information DP1. Thereby, the doctor can read the medical image IMG1 while referring to the diagnosis support information DA0.
- FIG. 11 is a flowchart showing the flow of processing in the medical image processing method according to the first embodiment of the present invention.
- the medical image processing apparatus 100-i is a diagnosis support apparatus, which is a DICOM file F2 including a medical image IMG1 read by a doctor and analysis result information DA1 for which the doctor has approved or corrected the diagnosis support information DA0.
- the medical image reception unit 112 receives an input of the medical image IMG1 and the patient information DP1 (step S10: reception step).
- the analysis result acquisition unit 114 acquires the analysis result information DA1 of the medical image IMG1 (step S12: analysis result acquisition step).
- the detection unit 116 includes, in the analysis result information DA1, additional information indicating that the analysis result (diagnosis support information DA0) by the medical image identification engine has been corrected in the diagnosis support device 200-i. It is determined whether or not there is (step S14: detection step). Then, when the correction of the analysis result is not detected (No in step S16), the process ends.
- Step S16 when the correction of the analysis result is detected (Yes in step S16), the data processing unit 118 performs concealment processing on the DICOM file F2 to create concealed data DCi, and the concealed data storage unit 120. (Step S18: data processing step).
- FIG. 12 is a flowchart showing the flow of processing in the diagnosis support method according to the first embodiment of the present invention.
- the data collection unit 302 collects concealed data DC1, DC2, ..., DCn from the medical institutions M1, M2, ..., Mn, respectively (step S30).
- the learning unit 304 uses the concealed data DC1, DC2, ..., DCn collected from the medical institutions M1, M2, ..., Mn, respectively, to perform learning in the medical image identification engine (analysis unit 350 before learning) (Step S32). Then, the learned analysis unit 352 is provided from the medical support server 300 to the medical institutions M1, M2, ..., Mn (step S34).
- the diagnosis support apparatus 200-i acquires the learned analysis unit 352 from the medical support server 300 via the communication I / F 216 and replaces the analysis unit 350 before learning of the diagnosis support information generation unit 214. Then, the medical image identification engine is updated (step S50).
- the diagnosis support information generation unit 214 obtains the learned analysis unit 352. Is used to analyze the medical image of the patient to be diagnosed (step S54). Then, the diagnosis support information generation unit 214 causes the display unit 210 to display the analysis result of the medical image of the patient to be diagnosed as the diagnosis support information DA0 (step S56).
- the level at which the patient identification information is concealed can be changed in the data processing step of the first embodiment.
- the same or similar components as or to those of the first embodiment are denoted by the same reference numerals and the description thereof is omitted.
- FIG. 13 is a flowchart showing a flow of processing (data processing step) of creation and storage of concealed data in the medical image processing method according to the second embodiment of the present invention.
- the data processing unit 118 acquires the medical image IMG1 included in the DICOM file F2, and acquires information on the type of medical image IMG1 and information on the type of analysis (step S180).
- the type of the medical image IMG1 is, for example, information indicating an examination site (for example, a head, a chest, etc.) included in the medical image IMG1, information on a method of imaging the medical image IMG1, a modality which captured the medical image IMG1. Information (eg, CT, MRI, etc.) etc.
- the information on the type of analysis is, for example, information on a lesion to be detected, information indicating a medical image identification engine used to detect the lesion to be detected, and the like.
- the data processing unit 118 determines the concealment level based on the type of medical image and analysis (step S182). Then, the data processing unit 118 creates the concealed data DC, and stores it in the concealed data storage unit 120 (step S184).
- Table 4 shows an example of the concealment level
- Table 5 shows the correspondence between the medical image identification engine and the concealment level.
- the data processing unit 118 determines the concealment level for each type of medical image identification engine according to the concealment level shown in Table 5, and performs concealment processing on the DICOM file F2. For example, when detecting a brain disease, an image of the head is used. For this reason, level IV is applied and body surface data is made an object of concealment. In addition, in detection of fractures other than the head, an image of the head is not used, and level II is applied.
- FIG. 14 is a flowchart showing the flow of processing in the medical image processing method according to the third embodiment of the present invention.
- the medical image processing apparatus 100-i is a diagnosis support apparatus, which is a DICOM file F2 including a medical image IMG1 read by a doctor and analysis result information DA1 for which the doctor has approved or corrected the diagnosis support information DA0.
- the medical image receiving unit 112 receives an input of the medical image IMG1 and the patient information DP1 (step S70).
- the analysis result acquisition unit 114 acquires analysis result information DA1 of the medical image IMG1 (step S72).
- the detection unit 116 includes, in the analysis result information DA1, additional information indicating that the analysis result (diagnosis support information DA0) by the medical image identification engine has been corrected in the diagnosis support device 200-i. It is determined whether or not there is (step S74). Then, when the correction of the analysis result is not detected (No in step S76), the process ends.
- step S76 when the correction of the analysis result is detected (Yes in step S76), the data processing unit 118 reads out the patient identification information from the DICOM file F2 acquired in step S70. Then, based on the identification information of the patient, the data processing unit 118 acquires the past DICOM file F2 regarding the same patient from the recording unit 108 (step S78). In step S78, for example, the same examination site of the same patient, which is analyzed by the same medical image identification engine, may be acquired.
- the data processing unit 118 performs concealment processing on the past DICOM file F2 acquired in step S78 to create concealed data DCi, and conceals it. It is stored in the integrated data storage unit 120 (step S80).
- FIG. 15 is a flowchart showing a modification of the medical image processing method according to the third embodiment of the present invention.
- the detection unit 116 detects, from the DICOM file F2 accumulated in the recording unit 108, the one that the correction is added to the analysis result of the medical image IMG1 in the diagnosis support device 200-i (step S90). Then, when the DICOM file F2 in which the analysis result is corrected is not detected (No in step S92), the process ends.
- the data processing unit 118 detects the DICOM file F2 detected in step S90. Read out the identification information. Then, based on the identification information of the patient, the data processing unit 118 records the DICOM file F2 relating to the same patient, which is the second time point different from the first time point as in step S78. (Step S94).
- the data processing unit 118 performs concealment processing on the past DICOM file F2 acquired in step S94 to create concealed data DCi, and conceals it. It is stored in the integrated data storage unit 120 (step S96).
- the concealment process can be performed also on the medical image or the like at another time of the same patient. This makes it possible to perform additional learning using analysis results at multiple points in time of medical images of the same patient.
- a fourth embodiment of the present invention will be described with reference to FIG. 16 to FIG. While the first to third embodiments are configured to perform learning of the medical image identification engine in the medical support server 300, the fourth embodiment relates to medical image identification on the medical institution Mi side. Engine learning is configured to be performed.
- FIG. 16 is a block diagram showing a medical support system according to the fourth embodiment of the present invention.
- FIG. 17 is a block diagram showing a diagnosis support apparatus according to a fourth embodiment of the present invention.
- the medical support server 300A collects the concealed data DCi from the medical institution Mi.
- the concealed data DCi is accumulated by the medical support server 300A to generate a set of concealed data (the concealed data set DCCi).
- the concealed data set DCCi is transmitted from the medical support server 300A to each medical institution Mi.
- the concealed data set DCCi may include all the concealed data DC1, DC2,..., DCn collected from the medical institutions M1, M2,. Further, the concealed data set DCCi may be the concealed data DC1, DC2,..., DCn excluding the concealed data DCi of the medical institution Mi of the transmission destination.
- the diagnosis support apparatus 200A-i further includes a learning unit 218 in addition to the configuration described in the first embodiment.
- the learning unit 218 causes the analyzing unit 250 before learning to perform learning as in the first embodiment, using the concealed data set DCCi acquired from the medical support server 300A. If the concealed data set DCCi is the concealed data DC1, DC2, ..., DCn excluding the concealed data DCi of the medical institution Mi of the transmission destination, it is added to the concealed data set DCCi Learning is performed using the concealed data DCi. Thus, the learned analysis unit 252 is generated.
- the diagnosis support information generation unit 214 acquires the learned analysis unit 252 from the learning unit 218, and replaces the analysis unit 250 before learning with it, whereby the medical image identification engine is updated.
- the medical image processing apparatus and method according to the present embodiment are the same as the first to third embodiments, and thus the description thereof is omitted.
- FIG. 18 is a flowchart showing the flow of processing in the diagnosis support method according to the fourth embodiment of the present invention.
- the data collection unit 302 collects the concealed data DC1, DC2, ..., DCn from the medical institutions M1, M2, ..., Mn, respectively (step S100).
- the concealed data DC1, DC2,..., DCn collected from the medical institutions M1, M2,..., Mn are accumulated in the medical support server 300A and the concealed data set for each medical institution M1, M2,.
- DCC1, DCC2, ..., DCCn are generated.
- the concealed data sets DCC1, DCC2, ..., DCCn are provided to the medical institutions M1, M2, ..., Mn (step S102).
- diagnosis support device 200A-i acquires the concealed data set DCCi from the medical support server 300A via the communication I / F 216 (step S200).
- the learning unit 218 of the diagnosis support apparatus 200A-i causes the medical image identification engine (the analysis unit 250 before learning) to perform learning using the concealed data set DCCi acquired from the medical support server 300A (step S202).
- the diagnosis support information generation unit 214 updates the medical image identification engine by replacing the learned analysis unit 252 with the analysis unit 350 before learning.
- the diagnosis support information generation unit 214 obtains the learned analysis unit 352.
- the medical image of the patient to be diagnosed is analyzed (step S206).
- the diagnosis support information generation unit 214 causes the display unit 210 to display the analysis result of the medical image of the patient to be diagnosed as diagnosis support information DA0 (step S208).
- the diagnosis support apparatus 200A-i of the medical institution Mi transmits the concealed data DCi provided from the medical image processing apparatus 100-i of another medical institution via the medical support server 300A.
- this invention is not limited to this.
- a P2P (Peer to Peer) type network is formed by the medical image processing apparatus 100-i and the diagnosis support apparatus 200A-i of the medical institution Mi, and the diagnosis support apparatus 200A-i of the medical institution Mi is
- the concealed data DCi may be directly acquired from the medical image processing apparatus 100-i of FIG.
- the present invention can also be realized as a program (a medical image processing program and a diagnosis support program) for causing a computer to realize the above-mentioned processing, or as a non-temporary recording medium or program product storing such a program. .
- a program a medical image processing program and a diagnosis support program
- a non-temporary recording medium or program product storing such a program.
- a processing unit that executes various processes in the medical image processing apparatus 100-i, the diagnostic support apparatuses 200-i and 200A-i, and the medical support servers 300 and 300A.
- a typical structure can be realized as various processors as shown below.
- the circuit configuration can be changed after manufacturing a central processing unit (CPU), an FPGA (field programmable gate array) that is a general-purpose processor that functions as various processing units by executing software (programs) for various processors.
- Logic circuit PLD that is a high-performance processor, a dedicated electric circuit that is a processor that has a circuit configuration designed specifically to execute a specific process such as an application specific integrated circuit (ASIC), etc.
- One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be In addition, a plurality of processing units may be configured by one processor. As an example in which a plurality of processing units are configured by one processor, first, one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers. There is a form in which a processor functions as a plurality of processing units.
- SoC System On Chip
- IC integrated circuit
- circuitry circuitry
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Bioethics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
医療画像を利用した診断の精度の向上への寄与が大きい医療画像を効率的に収集することが可能な医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラムを提供する。医療画像処理装置は、医療画像及び前記医療画像に対応する患者情報の入力を受け付ける受付部と、前記医療画像を解析した解析結果を取得する解析結果取得部と、前記解析結果が修正されたか否かを検出する検出部と、前記解析結果が修正されたことが検出された場合に、患者を識別可能な識別情報を秘匿したデータを作成して保存するデータ処理部とを備える。
Description
本発明は医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラムに係り、特に医療画像を利用した診断を支援する医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラムに関する。
医療機関では、医療画像を利用して患者の診断が行われることがある。医療画像を利用した診断では、患者の検査部位を撮影し、医師が検査部位の医療画像の読影を行って、検査部位における病変の有無等の診断を行う。
このような医療画像を扱うためのシステムとして、特許文献1には、クラウドベースの医療画像処理システムが開示されている。特許文献1に記載の医療画像処理システムでは、クラウドに医療データストアが設けられている。この医療データストアには、各データセンターからネットワークを経て受け取った医療画像データ及び医療データが記憶される。各データセンターからクラウドに医療画像データ及び医療データを伝送する前には、各データセンターのデータゲートウェイマネージャーに備えられたデータアノニマイザーによって、医療データに含まれる患者の個人情報(患者名、住所、ソーシャルセキュリティ番号、クレジットカード情報等)が匿名化される(段落[0080]から[0083]、図11)。
一般に、医療画像に含まれる病変は、形状、サイズ及び種類が多様であり、また、1枚の医療画像に複数の病変が含まれることもある。病変のサイズが小さい場合には、医療画像の中に含まれる病変を漏れなく発見することは困難である。また、過去の症例が比較的少ない病変(稀少疾患、又は稀少疾患ではないものの稀少な症例)については、専門の医師であっても、病変の発見及び診断が困難な場合がある。このように、医師にとって、医療画像の読影及び診断を行うことは、負荷が大きく、多大な時間を要する作業である。
さらに、医療機関においては、医療画像を利用した診断が普及しているのに対して、一般に、医療画像の読影を担当する専門の医師の数は少ない。このため、少数の医師が、多数の医療画像の読影を行うことになり、各医師の作業負荷が過大になる。
そこで、医師による医療画像を利用した診断を支援するために、機械学習(深層学習及びAI(Artificial Intelligence)を含む。)を利用することが考えられる。機械学習を利用する場合に、病変の発見及び診断の精度を高めるためには、病変の種類ごとに、多様な形状及び種類の医療画像を収集して学習を行う必要がある。
しかしながら、個別の医療機関が患者から取得した医療画像を蓄積する場合、医療画像の取得先が各医療機関の患者に限定される。このため、各医療機関が、病変の種類ごとに、多様な形状及び種類の医療画像を収集することは困難である。
そこで、多様な医療画像を収集するために、複数の医療機関が共同して医療画像の収集を行うことも考えられる。ところが、医療画像には、患者の個人情報が含まれている場合があるため、複数の医療機関で医療画像を共有することは、個人情報保護の観点から問題がある。
特許文献1は、患者の個人情報を匿名化する技術に関するものである。特許文献1に記載の医療画像処理システムによれば、各データセンターから医療画像データ及び医療データをアップロードする際に、医療データに含まれる患者の個人情報を匿名化することができる。この医療画像データ及び医療データは、クラウドの医療データストアに記憶され、又はアーカイブ化される。特許文献1に記載の医療画像処理システムによれば、患者の個人情報が匿名化された医療画像データ及び医療データのアップロードを受け付けることができるので、患者の個人情報保護と、複数のデータセンターからの医療画像データの収集とを同時に実現することができる。
ところで、機械学習を効果的かつ効率的に行うためには、医療画像を利用した診断の精度の向上への寄与が大きい医療画像を収集して学習を行うことが好ましい。
しかしながら、一般に、典型的な症例(例えば、読影及び診断が比較的容易な症例)に関する医療画像に対して、非典型的な症例(例えば、稀少疾患、稀少な症例のように、読影及び診断が比較的困難な症例)に関する医療画像の数は少ない。そして、典型的な症例に関する医療画像を用いて学習を行っても、学習のために要する作業負荷に対して、機械学習の精度向上に対する寄与は小さい。
特許文献1に記載の発明では、医療画像を利用した診断の精度の向上への寄与が小さい典型的な症例に関する医療画像は集まりやすくなるものの、医療画像を利用した診断の精度の向上への寄与が大きい医療画像を効率的に収集することはできなかった。このため、医療画像を利用した診断の精度の向上への寄与が大きい医療画像を用いて、機械学習を効果的かつ効率的に行うことは困難であった。
本発明はこのような事情に鑑みてなされたもので、医療画像を利用した診断の精度の向上への寄与が大きい医療画像を効率的に収集することが可能な医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明の第1の態様に係る医療画像処理装置は、医療画像及び医療画像に対応する患者情報の入力を受け付ける受付部と、医療画像を解析した解析結果を取得する解析結果取得部と、解析結果が修正されたか否かを検出する検出部と、解析結果が修正されたことが検出された場合に、患者を識別可能な識別情報を秘匿したデータを作成して保存するデータ処理部とを備える。
第1の態様によれば、医療機関の医療画像識別エンジンである解析部による解析の結果のうち、医師により修正されたもの、すなわち、解析部による解析結果に誤りが含まれていたものに対して、患者の識別情報の秘匿化処理を行って、医療画像処理装置が設置された医療機関外で利用可能にする。これにより、医療画像を利用した診断の精度の向上への寄与が大きい医療画像を効率的に収集することが可能になる。
本発明の第2の態様に係る医療画像処理装置は、第1の態様において、検出部が、解析結果と、解析結果に対する入力又は患者の診療記録とを照合することにより、解析結果が修正されたことを検出するようにしたものである。
本発明の第3の態様に係る医療画像処理装置は、第1又は第2の態様において、データ処理部が、解析結果が修正されたことが検出された場合に、医療画像、患者情報及び修正された解析結果に基づいて、患者を識別可能な識別情報を秘匿したデータを作成して保存するようにしたものである。
本発明の第4の態様に係る医療画像処理装置は、第1から第3の態様のいずれかにおいて、データ処理部が、検出部により、医療画像に含まれる領域の輪郭の抽出結果が修正されたことが検出された場合に、医療画像及び修正された輪郭に基づいて、患者を識別可能な識別情報を秘匿したデータを作成して保存するようにしたものである。
本発明の第5の態様に係る医療画像処理装置は、第1から第4の態様のいずれかにおいて、データ処理部が、検出部により、医療画像に含まれる領域の性質の判別結果が修正されたことが検出された場合に、医療画像及び修正された判別結果に基づいて、患者を識別可能な識別情報を秘匿したデータを作成して保存するようにしたものである。
本発明の第6の態様に係る医療画像処理装置は、第1から第5の態様のいずれかにおいて、データ処理部が、検出部により、医療画像に対する画像解析により得られた1以上のキーワード又は文章を含む解析結果が修正されたことが検出された場合に、医療画像及び前記修正された1以上のキーワード又は文章を含む解析結果に基づいて、患者を識別可能な識別情報を秘匿したデータを作成して保存するようにしたものである。
本発明の第7の態様に係る医療画像処理装置は、第1から第6の態様のいずれかにおいて、データ処理部が、医療画像の種類又は解析の種類と、識別情報の秘匿のレベルとの対応関係をあらかじめ記録しておき、対応関係に基づいて、患者を識別可能な識別情報を秘匿したデータを作成するようにしたものである。
第7の態様によれば、医療画像の種類及び解析の種類に応じて、秘匿化処理の対象を選択することにより、患者の識別情報に対して適切な秘匿化処理を行うことが可能になる。
本発明の第8の態様に係る医療画像処理装置は、第1から第7の態様のいずれかにおいて、データ処理部が、医療画像が患者の体表の画像を含む場合に、医療画像を加工して体表の画像を秘匿するようにしたものである。
第8の態様によれば、医療画像に含まれる体表の画像(体表データ)から患者の容貌等が復元されることを防止することができる。
本発明の第9の態様に係る医療画像処理装置は、第1から第8の態様のいずれかにおいて、データ処理部が、解析結果が修正されたことが検出された場合に、患者に関する過去の医療画像及び患者情報を取得し、過去の医療画像及び患者情報のうち、患者を識別可能な識別情報を秘匿したデータを作成して保存するようにしたものである。
本発明の第10の態様に係る医療画像処理装置は、第1から第9の態様のいずれかにおいて、検出部は、患者に関する異なる時点における複数の解析結果のうちの少なくとも1つが修正されたか否かを検出し、データ処理部は、第1の時点における解析結果が修正されたことが検出された場合に、第1の時点の医療画像及び患者情報に加えて、第1の時点とは異なる第2の時点の医療画像及び患者情報を取得し、医療画像及び患者情報のうち、患者を識別可能な識別情報を秘匿したデータを作成して保存するようにしたものである。
第9及び第10の態様によれば、医療画像の解析結果が修正された場合に、同一の患者の別の時点の医療画像等についても秘匿化処理を施すことができる。これにより、同一患者に関する医療画像の複数時点の解析結果を用いて追加の学習を行うことが可能になる。
本発明の第11の態様に係る診断支援装置は、診断を支援する情報を提示する診断支援装置であって、診断対象の患者の医療画像を取得するデータ取得部と、第1から第10の態様のいずれかの医療画像処理装置により作成されたデータを用いた学習が行われた解析部であって、診断対象の患者の医療画像の解析を行う解析部と、解析の結果を提示する提示部とを備える。
第11の態様によれば、医療機関の医療画像識別エンジン(解析部)による解析の結果のうち、医師により修正されたもの、すなわち、医療画像識別エンジンによる解析結果に誤りが含まれていたものを、医療機関から収集して解析部に学習を行わせることが可能になる。
本発明の第12の態様に係る医療画像処理方法は、医療画像処理装置において、医療画像及び医療画像に対応する患者情報の入力を受け付ける受付ステップと、医療画像を解析した解析結果を取得する解析結果取得ステップと、解析結果が修正されたか否かを検出する検出ステップと、解析結果が修正されたことが検出された場合に、患者を識別可能な識別情報を秘匿したデータを作成して保存するデータ処理ステップとを備える。
本発明の第13の態様に係る診断支援方法は、第12の態様に係る医療画像処理方法により作成されたデータを用いて、医療画像の解析を行うための解析部における学習を行うステップと、診断対象の患者の医療画像を取得するステップと、学習を行った解析部により診断対象の患者の医療画像の解析を行うステップと、解析の結果を提示するステップとを備える。
本発明の第14の態様に係る医療画像処理プログラムは、医療画像及び医療画像に対応する患者情報の入力を受け付ける機能と、医療画像を解析した解析結果を取得する機能と、解析結果が修正されたか否かを検出する機能と、解析結果が修正されたことが検出された場合に、患者を識別可能な識別情報を秘匿したデータを作成して保存する機能とをコンピュータに実現させる。
本発明の第15の態様に係る診断支援プログラムは、第14に係る態様の医療画像処理プログラムを実行することにより作成されたデータを用いて、医療画像の解析を行うための解析部における学習を行う機能と、診断対象の患者の医療画像を取得する機能と、学習を行った解析部により診断対象の患者の医療画像の解析を行う機能と、解析の結果を提示する機能とをコンピュータに実現させる。
本発明によれば、医療機関の医療画像識別エンジンによる解析の結果のうち、医師により修正されたもの、すなわち、医療画像識別エンジンによる解析結果に誤りが含まれていたものを、医療機関から収集することができる。これにより、医療画像を利用した診断の精度の向上への寄与が大きい医療画像を効率的に収集することが可能になる。
以下、添付図面に従って本発明に係る医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラムの実施の形態について説明する。
[第1の実施形態]
(医療支援システム)
まず、医療支援システムの概要について、図1を参照して説明する。図1は、本発明の第1の実施形態に係る医療支援システムを示すブロック図である。
(医療支援システム)
まず、医療支援システムの概要について、図1を参照して説明する。図1は、本発明の第1の実施形態に係る医療支援システムを示すブロック図である。
図1において、医療機関M1、M2、…、Mnは、患者に対して医療を提供する施設であり、例えば、病院、歯科医院、診療所等である。
図1に示すように、本実施形態に係る医療支援システム10は、医療機関M1、M2、…、Mnにそれぞれ設置された医療画像処理装置100-1、100-2、…、100-n及び診断支援装置200-1、200-2、…、200-nと、医療支援サーバ300とを含んでいる。医療支援サーバ300は、データ収集部302及び学習部304を含んでいる。
医療機関M1、M2、…、Mnにそれぞれ設置された医療画像処理装置100-1、100-2、…、100-n及び診断支援装置200-1、200-2、…、200-nは、ネットワーク(例えば、インターネット又はイントラネット)を介して、医療支援サーバ300と通信可能となっている。ここで、医療画像処理装置100-1、100-2、…、100-n及び診断支援装置200-1、200-2、…、200-nと医療支援サーバ300とは、VPN(Virtual Private Network)を介して接続されていてもよく、例えば、インターネットを利用するインターネットVPN、インターネットサービスプロバイダの外部公開されていない通信網(閉域網)を利用するIP-VPN(Internet Protocol-VPN)を利用することができる。また、医療画像処理装置100-1、100-2、…、100-n及び診断支援装置200-1、200-2、…、200-nと医療支援サーバ300とは、専用線を介して接続されていてもよい。
なお、医療支援サーバ300は、医療機関M1、M2、…、Mnとは別の場所(例えば、医療支援サーバ300を用いた医療支援サービスの提供者)に設置されていてもよいし、又は、医療機関M1、M2、…、Mnのうちの1つの医療機関に設置されていてもよい。
以下の説明では、医療機関M1、M2、…、Mnの医療画像処理装置100-1、100-2、…、100-n、及び診断支援装置200-1、200-2、…、200-nを、医療機関Miの医療画像処理装置100-i及び診断支援装置200-i(i=1,2,…,n)のように省略して記載する場合がある。
本実施形態に係る医療支援システム10において、診断支援装置200-iは、医療画像の解析を行うための医療画像識別エンジン(学習前の解析部350)をそれぞれ含んでいる。診断支援装置200-iは、医療機関Miに設置された検査装置(図2の符号150)から、医療画像(例えば、X線画像)及び患者情報(例えば、患者の識別情報、患者ID(Identification)、患者の名前等)を取得し、学習前の解析部350を用いて医療画像の解析を行う。診断支援装置200-iは、この解析の結果を含む診断支援情報と、医療画像とを医師に提示し、医師からの承認又は修正等の入力を受け付ける。医師により承認又は修正等の入力が行われた解析結果を含む解析結果情報は、医療画像及び患者情報とともに、医療画像処理装置100-iに送信される。
医療画像処理装置100-iは、医療画像、患者情報及び解析結果情報のうち、医師により修正の入力が行われたもの、すなわち、医療画像識別エンジン(学習前の解析部350)による解析結果に誤りが含まれていたものに対して、患者を識別可能な識別情報を秘匿化する秘匿化処理を施して秘匿化データDCiを生成する。
医療支援サーバ300は、データ収集部302により、医療機関M1、M2、…、Mnの医療画像処理装置100-1、100-2、…、100-nから、秘匿化データDC1、DC2、…、DCnをそれぞれ収集する。
医療支援サーバ300の学習部304は、医療機関Miと同じバージョンの医療画像識別エンジン(学習前の解析部350)を含んでいる。なお、学習前の解析部350は、秘匿化データDC1、DC2、…、DCnを用いた学習を行う前の医療画像識別エンジンであり、学習済みの解析部352は、秘匿化データDC1、DC2、…、DCnを用いた学習を行った後の医療画像識別エンジンである。学習部304は、医療機関M1、M2、…、Mnから収集した秘匿化データDC1、DC2、…、DCnを用いて、この学習前の解析部350に学習を行わせる。この学習により生成された学習済みの解析部352は、医療支援サーバ300から診断支援装置200-1、200-2、…、200-nにそれぞれ送信される。
医療機関M1、M2、…、Mnの診断支援装置200-1、200-2、…、200-nは、それぞれ医療支援サーバ300から学習済みの解析部352を取得し、学習前の解析部350と置き換えることにより、医療画像識別エンジンの更新を行う。これにより、診断支援装置200-1、200-2、…、200-nは、学習済みの解析部352を用いて、別の医療画像の解析を行い、解析結果を含む診断支援情報を生成して医師に提示することが可能になる。
本実施形態によれば、医療機関Miの学習前の解析部350による解析の結果のうち、医師により修正されたもの、すなわち、学習前の解析部350による解析結果に誤りが含まれていたものを収集して、学習前の解析部350に学習を行わせる。これにより、医療画像を利用した診断の精度の向上への寄与が大きい医療画像を効率的に収集することが可能になる。
なお、学習部304における学習及び医療画像識別エンジンの更新は、定期的に行われるようにしてもよい。また、学習部304における学習及び医療画像識別エンジンの更新は、医療支援サーバ300に送信されて蓄積された秘匿化データDCiの容量に応じて、例えば、医療画像の蓄積枚数が所定の枚数以上になった場合に実施されるようにしてもよい。また、学習部304における学習及び医療画像識別エンジンの更新の実施タイミングは、オペレータが任意に設定できるようにしてもよい。また、解析結果の修正の重要度(例えば、修正された情報の量又は種類)に応じて、重要度が高いと判断された場合に、学習部304における学習及び医療画像識別エンジンの更新が実行されるようにしてもよい。
次に、医療支援システムにおける処理の流れについて、図2及び図3を参照して具体的に説明する。図2は、本発明の第1の実施形態に係る医療支援システムにおける処理の流れを説明するためのブロック図であり、図3は、秘匿化データの例を示すデータブロック図である。
図2に示す検査装置150は、医療機関Miにおいて、患者の検査部位の撮影を行うための装置であり、例えば、X線撮影装置、コンピュータ断層撮影装置(CT:Computed Tomography)、ポジトロン断層撮影装置(PET:Positron Emission Tomography)、単一光子放射断層撮影装置(SPECT:Single Photon Emission Computed Tomography)、核磁気共鳴断層撮影装置(MRI:Magnetic Resonance Imaging)、マンモグラフィ検査装置等である。
検査装置150は、患者の検査部位を撮影して医療画像IMG1(例えば、X線画像)を取得する。さらに、検査装置150は、この患者に関する患者情報DP1(例えば、患者の識別情報、患者ID、患者の名前等)の入力を受け付けるための入力部を備える。検査装置150の入力部は、文字入力のためのキーボードを含んでいてもよい。また、検査装置150の入力部は、患者の診察券の情報を読み取る読取装置(例えば、磁気カードリーダ、IC(Integrated Circuit)カードリーダ)と、読取装置により読み取った診察券の情報を用いて、医療機関Miの患者に関する情報が格納されたデータベースを含む病院情報システム(HIS:Hospital Information Systems)から患者情報DP1を取得する検索部とを含んでいてもよい。
検査装置150によって取得された患者の検査部位の医療画像IMG1及び患者情報DP1は、診断支援装置200-iに送信される。ここで、医療画像IMG1及び患者情報DP1は、例えば、DICOM(Digital Imaging and Communications in Medicine)、又は一般社団法人日本画像医療システム工業会のMIPS(Medical Image Processing Systems)規格に準拠したデータ形式で作成することが可能である。
本実施形態では、検査装置150から診断支援装置200-iに送信される医療画像IMG1及び患者情報DP1を含むファイルをDICOMファイルF1とする。患者情報DP1は、例えば、DICOMファイルF1のタグ又はプライベートタグに含めることが可能である。なお、プライベートタグとは、モダリティメーカー(医療画像IMG1の生成に用いられた検査装置150のメーカー)等が独自に定義することが可能なタグをいう。DICOMファイルのタグについては後述する(表1から表3参照)。
診断支援装置200-iは、検査装置150から、患者の検査部位の医療画像IMG1及び患者情報DP1を取得する。診断支援装置200-iは、学習前の解析部350を用いて、患者の検査部位の医療画像IMG1を解析して、解析の結果を含む診断支援情報DA0を生成する。この診断支援情報DA0は、例えば、検査部位の領域分けの結果、検査部位に含まれる器官又は骨の領域及び輪郭の抽出結果、検査部位に病変が含まれているか否か、病変が含まれている場合には、その種類又は病変の種類の候補等の情報を含んでいる。この診断支援情報DA0は、提示部(図10の表示部210又は医師用端末220)により医師に提示され、医師による医療画像IMG1を利用した診断を補助するために用いられる。
診断支援装置200-iは、診断支援情報DA0に含まれる解析の結果に対して、承認又は修正の入力、及び診断支援情報DA0に含まれる病変の種類の候補の選択の入力を受け付けるための操作入力部(図10の操作部204又は医師用端末220)を備えている。医師は、提示部に提示された診断支援情報DA0を参照しながら、医療画像IMG1の読影を行って、操作入力部を用いて、診断支援情報DA0の承認及び修正(病変の有無及び種類に関する解析の結果の修正)を行うことができるようになっている。
診断支援装置200-iにおいて、医師による承認又は修正を経た診断支援情報DA0を解析結果情報DA1とする。解析結果情報DA1には、診断支援情報DA0が医師によって承認されたか、又は修正されたかを示す付加情報(例えば、フラグ)が付加されている。診断支援装置200-i(図10の制御部202)は、操作部204又は医師用端末220からの修正の入力を受け付けると、DICOMファイルF1にこの解析結果情報DA1を追加してDICOMファイルF2を作成する。このとき、解析結果情報DA1及び付加情報(修正の有無を示すフラグ等)は、DICOMファイルF2のタグ又はプライベートタグに含めることが可能である。また、解析結果情報DA1及び付加情報(修正の有無を示すフラグ等)は、DICOMファイルF2とは別のファイルとすることも可能である。診断支援装置200-iは、DICOMファイルF2を医療画像処理装置100-iに送信する。
例えば、心臓及び肺野領域の医療画像の場合、医療画像識別エンジンにより、心臓及び肺の領域及び輪郭を抽出して心胸郭比を計測する。医師による読影の結果、心臓及び肺の領域の検出結果に誤りが発見された場合、医師は、診断支援装置200-iにおいて、心臓及び肺の領域又は輪郭を示すマーカを修正する。診断支援装置200-iの制御部202は、この修正の入力を受け付けて、修正後の心臓及び肺の領域及び心胸郭比の計測値と、修正がなされたことを示す付加情報が格納された解析結果情報DA1を生成する。
また、医療画像に含まれる領域を抽出する場合、医療画像識別エンジンにより、その領域の範囲及び輪郭の検出結果並びにその性質の判別がされる。医師による読影の結果、その領域の範囲又は輪郭の検出結果若しくはその性質の判別結果(例えば、腫瘍であるか否か)に誤りが発見された場合、医師は、診断支援装置200-iにおいて修正を行う。診断支援装置200-iの制御部202は、この修正の入力を受け付けて、修正後の解析結果と、修正がなされたことを示す付加情報が格納された解析結果情報DA1を生成する。
ここで、医療画像に含まれる領域の範囲又は輪郭の検出結果の修正について、図4及び図5を参照して説明する。
図4は、医療画像識別エンジンによって抽出された領域(肺及び心臓)を示す図である。医療画像識別エンジンは、胸部X線画像である医療画像P1を解析して、右肺、左肺及び心臓を示す領域を自動検出する。自動検出の結果は、診断支援装置200-iの表示部210(図10参照)に表示される。図4に示す例では、右肺、左肺及び心臓にそれぞれ対応する輪郭線C10、C20及びC30が医療画像P1に重畳表示されている。医師は、診断支援装置200-iの表示部210を見ながら、操作部204(図10参照)により修正することが可能となっている。
図5は、医療画像識別エンジンによって抽出された領域が修正された状態を示す図である。図5に示すC12、C22及びC32は、修正後の右肺、左肺及び心臓にそれぞれ対応する輪郭線である。なお、修正前の輪郭線C10、C20及びC30は破線で示している。
診断支援装置200-iの制御部202は、医療画像に含まれる領域を示す輪郭線C12、C22及びC32の修正が行われたことを検出すると、修正後の輪郭線C12、C22及びC32の位置情報を含む解析結果と、修正がなされたことを示す付加情報が格納された解析結果情報DA1を生成する。
また、医療画像識別エンジンは、医療画像を解析することにより診断レポート(所見)を自動生成することが可能となっている。図6は、診断レポートの自動生成及び修正について説明するための図である。
図6に示す例では、医療画像識別エンジンは、胸部の断層画像(CT画像)である医療画像P2を解析して、診断レポート(所見)R10を自動生成する。ここで、医療画像識別エンジンは、例えば、特開平07-323024号公報に記載の画像診断支援装置と同様の診断レポート作成手段により、診断レポートを生成することが可能である。診断レポートは、例えば、医療画像中の診断対象の領域の位置、大きさ及び種類並びに若しくはその性質の判別結果(例えば、腫瘍であるか否か)を示す情報(文章)を含んでいてもよい。また、診断レポートは、例えば、医療画像及び医療画像中における診断対象の領域の表示のための情報(例えば、座標又は位置を示すマーク等)を含んでいてもよい。なお、自医療画像識別エンジンは、医療画像P2の解析の結果、1以上の単語(キーワード)を自動生成するようにしてもよい。ここで、自動生成されるキーワードは、例えば、医療画像から検出された医学的な画像特徴(例えば、蜂窩肺(蜂巣肺))又は疾患の名称(例えば、腫瘤、スピキュラ)を表す用語であってもよいし、「広範囲」とか「局所的」のような定性的・感覚的な語句であってもよい。また、自動生成される診断レポートR10又はキーワードは、これらの画像の特徴又は疾患を含む領域のサイズ、長さ、面積又は体積を含む数値等を含んでいてもよい。
医師は、診断支援装置200-iの表示部210に診断レポートR10を表示させ、操作部204により修正することが可能となっている。図6に示す修正後の診断レポートR12では、診断レポートR10に含まれる文章のうち「spiculationを伴う」という部分が「空洞を伴う」に修正されている。
診断支援装置200-iの制御部202は、診断レポートR10の修正が行われたことを検出すると、修正後の診断レポートR12を含む解析結果と、修正がなされたことを示す付加情報が格納された解析結果情報DA1を生成する。
なお、ここでは自動生成された診断レポートR10として出力された文章そのものを医師が修正する例を説明したが、自動生成される診断レポートR10とその修正方法はこれに限定されない。たとえば、医師が診断レポートに入力するための候補となる単語(キーワード)を画像解析により自動生成して診断支援装置200-iの表示部210に表示し、各単語の採否を医師が入力する(たとえば、各候補となる単語にあらかじめチェックボックスがオンになっており、そのうち医師が採用しないと判断したものについてチェックボックスをオフにする)ような操作も、自動生成された診断レポートの修正に含まれる。
医療画像処理装置100-iは、医療画像IMG1、患者情報DP1及び解析結果情報DA1を含むDICOMファイルF2を診断支援装置200-iから取得する。そして、医療画像処理装置100-iは、医療画像IMG1、患者情報DP1及び解析結果情報DA1のうち、診断支援装置200-iにおいて、医師により修正の入力が行われたものに対して、患者を識別可能な識別情報を秘匿する秘匿化処理を施して秘匿化データDCiを作成する。
図3に示すように、秘匿化データDCiは、秘匿化処理済みの医療画像IMG2、患者情報DP2及び解析結果情報DA2を含んでいる。秘匿化データDCiについても、DICOMファイルF1及びF2と同様に、例えば、DICOM(Digital Imaging and Communications in Medicine)、又は一般社団法人日本画像医療システム工業会のMIPS(Medical Image Processing Systems)規格に準拠したデータ形式で作成することが可能である。
秘匿化データDCiは、例えば、医療画像から抽出された患者の検査部位の画像を入力とし、この患者の検査部位に対する解析結果情報であって、医師による修正又は承認を経たものを出力とする教師あり学習(Supervised Learning)用の教師データとして用いることが可能となっている。なお、教師データにおける「出力」は、教師信号、教示信号、正解データ、又はラベルと呼ばれることもある。
医療画像処理装置100-iは、秘匿化データDCiを医療支援サーバ300に送信する。医療支援サーバ300のデータ収集部302は、医療機関M1、M2、…、Mnの医療画像処理装置100-1、100-2、…、100-nからそれぞれ送信された秘匿化データDC1、DC2、…、DCnを収集する。
医療支援サーバ300の学習部304は、医療機関M1、M2、…、Mnから収集した秘匿化データDC1、DC2、…、DCnを用いて、学習前の解析部350に学習を行わせる。
学習部304では、例えば、教師データである秘匿化データDC1、DC2、…、DCnから読み出された患者の検査部位の医療画像、及びこの医療画像における特徴量が解析部350に入力される。そして、学習部304では、入力された検査部位の医療画像に対して、その検査部位に対応する診断結果を示す情報と同じ出力が得られるように学習が行われる。ここで、医療画像における特徴量としては、例えば、医療画像における明度又は輝度の平均、検査部位又は病変の面積、周囲長及び扁平度、並びに検査部位又は病変を楕円に近似した場合の長軸の長さ及び患者の検査部位又は病変の特徴部(例えば、患者の検査部位に含まれる脊椎、骨又は内臓の輪郭、重心又は中心軸等)に対する長軸の傾き等を用いることができる。
学習前の解析部350及び学習済みの解析部352は、診断支援装置200-iにおける診断支援情報の生成に用いられるデータであり、例えば、診断支援装置200-1、200-2、…、200-n(診断支援情報生成部214)の構造及び変数の値を示す情報を含んでいる。学習前の解析部350及び学習済みの解析部352としては、例えば、ニューラルネットワーク、深層学習(Deep Learning)、決定木、線形分類器、SVM(Support Vector Machine)、判別分析等を利用するものを用いることができる。
診断支援装置200-iは、医療支援サーバ300から学習済みの解析部352を取得し、医療画像識別エンジンの更新を行う。
検査装置150によって、別の医療画像(学習に用いられたことがない医療画像、例えば、新規の診療対象の患者の医療画像等)が取得されると、診断支援装置200-iは、この学習済みの解析部352を用いて、この別の医療画像の解析を行う。そして、診断支援装置200-iは、この別の医療画像に対する解析結果を示す診断支援情報を生成して、医療機関Miの医師に提示する。
なお、本実施形態では、医療画像処理装置100-1、100-2、…、100-n及び診断支援装置200-1、200-2、…、200-nと医療支援サーバ300とは、ネットワークを介して通信可能になっているが、本発明はこれに限定されるものではない。例えば、医療支援サーバ300の管理者が、各医療機関M1、M2、…、Mnを巡回して、秘匿化データDC1、DC2、…、DCnの収集と、診断支援装置200-1、200-2、…、200-nへの学習済みの解析部352の提供(医療画像識別エンジンの更新)を行うようにしてもよい。
また、本実施形態では、医療画像処理装置100-i及び診断支援装置200-iは、別々の装置としたが、両者は同一の装置であってもよい。
また、本実施形態に係る医療画像処理装置100-i及び診断支援装置200-iは、医療機関MiにおけるPACS(Picture Archiving and Communication Systems)に含まれていてもよい。
(医療画像処理装置)
次に、医療画像処理装置について、図7を参照して説明する。図7は、本発明の第1の実施形態に係る医療画像処理装置を示すブロック図である。
次に、医療画像処理装置について、図7を参照して説明する。図7は、本発明の第1の実施形態に係る医療画像処理装置を示すブロック図である。
本実施形態に係る医療画像処理装置100-iは、制御部102、操作部104、メモリ106、記録部108、表示部110、医療画像受付部112、解析結果取得部114、検出部116、データ処理部118、秘匿化データ保存部120及び通信インターフェース(通信I/F:interface)122を含んでいる。
制御部102は、医療画像処理装置100-iの各部の動作を制御するCPU(Central Processing Unit)を含んでいる。制御部102は、バスを介して、医療画像処理装置100-iの各部との間で制御信号及びデータの送受信が可能となっている。制御部102は、操作部104を介してオペレータ(医師等)からの操作入力を受け付け、バスを介してこの操作入力に応じた制御信号を医療画像処理装置100-iの各部に送信して各部の動作を制御する。
操作部104は、オペレータからの操作入力を受け付ける入力装置であり、文字入力等のためのキーボード、表示部110に表示されるポインタ及びアイコン等を操作するためのポインティングデバイス(例えば、マウス、トラックボール等)を含んでいる。なお、操作部104としては、キーボード及びポインティングデバイスに代えて、又は、キーボード及びポインティングデバイスに加えて、表示部110の表面にタッチパネルを設けてもよい。
メモリ106は、制御部102等により行われる各種演算のための作業領域として使用されるRAM(Random Access Memory)、及び表示部110に出力される画像データを一時記憶するための領域として使用されるVRAM(Video Random Access Memory)を含んでいる。
記録部108は、制御部102が使用する制御プログラム、及び診断支援装置200-iから受信したデータ(DICOMファイルF2)等を格納するストレージデバイスである。記録部108としては、例えば、HDD(Hard Disk Drive)等の磁気ディスクを含む装置、eMMC(embedded Multi Media Card)、SSD(Solid State Drive)等のフラッシュメモリを含む装置等を用いることができる。
表示部110は、画像を表示するための装置である。表示部110としては、例えば、液晶モニタを用いることができる。
通信I/F122は、ネットワークを介して、ほかの装置との間で通信を行うための手段であり、通信の方法に応じて送受信するデータの変換処理を行う。医療画像処理装置100-iとほかの装置との間のデータの送受信方法としては、有線通信又は無線通信(例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット接続等)を用いることができる。
医療画像受付部112は、診断支援装置200-iから送信されたDICOMファイルF2から医療画像IMG1及び患者情報DP1の入力を受け付ける。医療画像受付部112に入力される医療画像IMG1等は、診断支援装置200-iにおいて、医師による読影が行われた画像である。
解析結果取得部114は、診断支援装置200-iから送信されたDICOMファイルF2から解析結果情報DA1を取得する。
検出部116は、解析結果情報DA1に、診断支援装置200-iにおいて診断支援情報DA0の修正が行われたことを示す付加情報が含まれているかを判別する。
なお、本実施形態では、解析結果情報DA1に承認又は修正の有無を示す付加情報を付加するようにしたが、本発明はこれに限定されない。例えば、付加情報を用いずに、検出部116が、診断支援情報DA0と解析結果情報DA1の両方を取得して、これらを比較することにより、修正の有無を判別するようにしてもよい。
データ処理部118は、診断支援情報DA0の修正が行われたことを示す付加情報が検出されたDICOMファイルF2に対して、患者の識別情報を秘匿化する秘匿化処理を行う。そして、データ処理部118は、秘匿化処理済みの医療画像IMG2、患者情報DP2及び解析結果情報DA2を含む秘匿化データDCiを生成する。
秘匿化データ保存部120は、データ処理部118によって患者の識別情報の秘匿化処理が施された秘匿化データDCiを保存するストレージデバイスである。秘匿化データ保存部120は、例えば、記録部108の中に設けられた記憶領域であってもよい。
なお、本実施形態では、秘匿化データDCiは、医療画像処理装置100-iの秘匿化データ保存部120に保存された後に、医療支援サーバ300に送信されるようにしたが、本発明はこれに限定されるものではない。秘匿化データ保存部120は、例えば、医療画像処理装置100-iからの秘匿化データDCiのアップロードが可能であり、かつ、医療支援サーバ300のデータ収集部302が秘匿化データDCiのダウンロードが可能なクラウド上に設けられていてもよい。この場合、例えば、クラウド型のVPNを利用することも可能である。
(秘匿化処理)
次に、データ処理部118による秘匿化処理について説明する。まず、患者情報DP1に対する秘匿化処理について説明する。
次に、データ処理部118による秘匿化処理について説明する。まず、患者情報DP1に対する秘匿化処理について説明する。
本実施形態では、患者情報DP1は、DICOMファイルF2にタグ情報として格納される。データ処理部118は、DICOMファイルF2のタグ情報のうち、患者を識別可能な識別情報を削除する。
DICOMファイルのタグの例を表1から表3に示す。表1は、患者の識別情報に関連するタグ、表2は、医療機関Miに関連するタグ、表3は、検査の内容に関連するタグの例を示している。
データ処理部118は、表1に示す患者の識別情報に関連するタグのうち、医療画像IMG1の解析に必要な情報を含むもの以外を削除する。例えば、表1のタグのうち、患者の年齢、喫煙の状態、患者の追加病歴及び妊娠の状態等のタグは残すようにしてもよい。なお、表1に示す患者識別情報に関連するタグをすべて削除してもよい。
また、データ処理部118は、検査の内容に関連するタグのうち、受け付け番号、検査記述及び受診時診断記述等のタグに、患者の識別情報が含まれていることも考えられる。このため、データ処理部118は、患者の識別情報(例えば、患者ID、患者の名前、誕生日、住所、電話番号及び職業等)を取得して、検査記述及び受診時診断記述等のタグ情報と照合し、患者の識別情報が含まれている場合には、そのタグ情報全体を削除するか、又はそのタグ情報に含まれる患者情報を伏せ字に置き換える処理を行う。なお、データ処理部118は、医師又は医療機関Miのオペレータがタグの内容を確認した上で、手動で情報の削除を行うようにしてもよい。
また、プライベートタグにも、患者の識別情報が含まれていることが考えられる。このため、データ処理部118は、患者の識別情報(例えば、患者ID、患者の名前、住所及び電話番号等)を取得してプライベートタグの内容と照合し、患者の識別情報が含まれている場合には、そのタグ情報全体を削除するか、又はそのタグ情報に含まれる患者情報を伏せ字に置き換える処理を行う。なお、データ処理部118は、プライベートタグをすべて削除するようにしてもよいし、医師又は医療機関Miのオペレータがプライベートタグの内容を確認した上で、手動で情報の削除を行うようにしてもよい。
次に、医療画像に対する患者の識別情報の秘匿化処理について、図8及び図9を参照して説明する。図8は、医療画像の例を示しており、図9は、秘匿化処理済み医療画像の例を示している。
図8に示す医療画像IMG1は、患者の頭部の断層画像であり、体表面の部分が含まれている。複数の断層画像から体表面の部分を抽出して合成すると、患者の顔が再現されてしまう。
そこで、図9に示すように、データ処理部118は、医療画像IMG1を加工して、体表面L1の近傍の領域A1を削除することにより、体表データを秘匿化した秘匿化処理済み医療画像IMG2を作成する。ここで、体表面L1の近傍の領域A1は、例えば、体表面L1から診断対象の組織(例えば、脳、気管、骨等)の輪郭までの領域とすることができる。データ処理部118は、この領域A1を背景色と同じ色で塗り潰すか、又は別の画像を重ねる処理を行う。これにより、患者の体表面の画像を秘匿化することが可能になる。
なお、秘匿化データDCiには、患者の識別情報を暗号化して格納しておき、診断及び学習に必要な場合に、患者の識別情報へのアクセス権限を有するオペレータが患者情報DP1を取り出せるようにしておいてもよい。また、秘匿化データDCiには、改ざんの検出を可能にするために、電子署名を付与してもよい。
(診断支援装置)
次に、診断支援装置について、図10を参照して説明する。図10は、本発明の第1の実施形態に係る診断支援装置を示すブロック図である。
次に、診断支援装置について、図10を参照して説明する。図10は、本発明の第1の実施形態に係る診断支援装置を示すブロック図である。
本実施形態に係る診断支援装置200-iは、制御部202、操作部204、メモリ206、記録部208、表示部210、データ取得部212、診断支援情報生成部214及び通信インターフェース(通信I/F:interface)216を含んでいる。
制御部202は、診断支援装置200-iの各部の動作を制御するCPU(Central Processing Unit)を含んでいる。制御部202は、バスを介して、診断支援装置200-iの各部との間で制御信号及びデータの送受信が可能となっている。制御部202は、操作部104を介してオペレータからの操作入力を受け付け、バスを介してこの操作入力に応じた制御信号を診断支援装置200-iの各部に送信して各部の動作を制御する。
操作部204は、オペレータからの操作入力を受け付ける入力装置であり、文字入力等のためのキーボード、表示部210に表示されるポインタ及びアイコン等を操作するためのポインティングデバイス(例えば、マウス、トラックボール等)を含んでいる。なお、操作部204としては、キーボード及びポインティングデバイスに代えて、又は、キーボード及びポインティングデバイスに加えて、表示部210の表面にタッチパネルを設けてもよい。
メモリ206は、制御部202等により行われる各種演算のための作業領域として使用されるRAM(Random Access Memory)、及び表示部210に出力される画像データを一時記憶するための領域として使用されるVRAM(Video Random Access Memory)を含んでいる。
記録部208は、制御部202が使用する制御プログラム、及び検査装置150から受信したデータ(DICOMファイルF1)等を格納するストレージデバイスである。記録部208としては、例えば、HDD(Hard Disk Drive)等の磁気ディスクを含む装置、eMMC(embedded Multi Media Card)、SSD(Solid State Drive)等のフラッシュメモリを含む装置等を用いることができる。
表示部210は、画像を表示するための装置である。表示部210としては、例えば、液晶モニタを用いることができる。
通信I/F216は、ネットワークを介して、ほかの装置との間で通信を行うための手段であり、通信の方法に応じて送受信するデータの変換処理を行う。医療画像処理装置100-iとほかの装置との間のデータの送受信方法としては、有線通信又は無線通信(例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット接続等)を用いることができる。
医師用端末220は、医療機関Miの医師が医療画像等のデータの表示、及び操作入力を行うための端末である。医師用端末220は、通信I/F216を介して、診断支援装置200-iから医療画像等のデータを取得して表示し、医師からの操作入力を受け付けて、診断支援装置200-iのデータの処理及び更新を行うことができる。
データ取得部212は、検査装置150から、患者の医療画像IMG1及び患者情報DP1を含むDICOMファイルF1を取得する。
診断支援情報生成部214は、医療画像識別エンジン(学習前の解析部350又は学習済みの解析部352)を用いて、医療画像IMG1の解析を行い、解析結果を含む診断支援情報DA0を生成して、医療画像IMG1及び患者情報DP1とともに表示部210に表示させる。これにより、医師は、診断支援情報DA0を参照しながら、医療画像IMG1の読影を行うことが可能になる。
(医療画像処理方法)
次に、本実施形態に係る医療画像処理方法について、図11を参照して説明する。図11は、本発明の第1の実施形態に係る医療画像処理方法における処理の流れを示すフローチャートである。
次に、本実施形態に係る医療画像処理方法について、図11を参照して説明する。図11は、本発明の第1の実施形態に係る医療画像処理方法における処理の流れを示すフローチャートである。
まず、医療画像処理装置100-iは、医師により読影された医療画像IMG1と、医師により診断支援情報DA0の承認又は修正が行われた解析結果情報DA1とを含むDICOMファイルF2を、診断支援装置200-iから取得する。医療画像受付部112は、医療画像IMG1及び患者情報DP1の入力を受け付ける(ステップS10:受付ステップ)。解析結果取得部114は、医療画像IMG1の解析結果情報DA1を取得する(ステップS12:解析結果取得ステップ)。
次に、検出部116は、診断支援装置200-iにおいて、医療画像識別エンジンによる解析結果(診断支援情報DA0)の修正が行われたことを示す付加情報が、解析結果情報DA1に含まれているかを判別する(ステップS14:検出ステップ)。そして、解析結果の修正が検出されなかった場合(ステップS16のNo)、処理を終了する。
一方、解析結果の修正が検出された場合(ステップS16のYes)、データ処理部118は、DICOMファイルF2に対して秘匿化処理を施して秘匿化データDCiを作成し、秘匿化データ保存部120に保存する(ステップS18:データ処理ステップ)。
(診断支援方法)
次に、本実施形態に係る診断支援方法について、図12を参照して説明する。図12は、本発明の第1の実施形態に係る診断支援方法における処理の流れを示すフローチャートである。
次に、本実施形態に係る診断支援方法について、図12を参照して説明する。図12は、本発明の第1の実施形態に係る診断支援方法における処理の流れを示すフローチャートである。
まず、医療支援サーバ300において、データ収集部302は、医療機関M1、M2、…、Mnからそれぞれ秘匿化データDC1、DC2、…、DCnを収集する(ステップS30)。
次に、学習部304は、医療機関M1、M2、…、Mnからそれぞれ収集した秘匿化データDC1、DC2、…、DCnを用いて、医療画像識別エンジン(学習前の解析部350)に学習を行わせる(ステップS32)。そして、学習済みの解析部352は、医療支援サーバ300から医療機関M1、M2、…、Mnに提供される(ステップS34)。
次に、診断支援装置200-iは、通信I/F216を介して医療支援サーバ300から学習済みの解析部352を取得して、診断支援情報生成部214の学習前の解析部350と置き換えることにより医療画像識別エンジンの更新を行う(ステップS50)。
次に、診断支援装置200A-iのデータ取得部212が、検査装置150から、診断対象の患者の医療画像を取得すると(ステップS52)、診断支援情報生成部214は、学習済みの解析部352を用いて、診断対象の患者の医療画像の解析を行う(ステップS54)。そして、診断支援情報生成部214は、診断対象の患者の医療画像の解析結果を診断支援情報DA0として表示部210に表示させる(ステップS56)。
本実施形態によれば、医療機関Miの医療画像識別エンジンによる解析の結果のうち、医師により修正されたもの、すなわち、医療画像識別エンジンによる解析結果に誤りが含まれていたものを、医療機関Miから収集して医療画像識別エンジンに学習を行わせることが可能になる。
[第2の実施形態]
次に、本発明の第2の実施形態について、図13を参照して説明する。第2の実施形態は、第1の実施形態のデータ処理ステップにおいて、患者の識別情報を秘匿化するレベルを変更可能としたものである。なお、以下の説明において、第1の実施形態と共通又は類似する構成については、同一の符号を付して説明を省略する。
次に、本発明の第2の実施形態について、図13を参照して説明する。第2の実施形態は、第1の実施形態のデータ処理ステップにおいて、患者の識別情報を秘匿化するレベルを変更可能としたものである。なお、以下の説明において、第1の実施形態と共通又は類似する構成については、同一の符号を付して説明を省略する。
図13は、本発明の第2の実施形態に係る医療画像処理方法における秘匿化データの作成及び格納の処理(データ処理ステップ)の流れを示すフローチャートである。
まず、データ処理部118は、DICOMファイルF2に含まれる医療画像IMG1を取得して、医療画像IMG1の種類に関する情報及び解析の種類に関する情報を取得する(ステップS180)。ここで、医療画像IMG1の種類とは、例えば、医療画像IMG1に含まれる検査部位(例えば、頭部、胸部等)を示す情報、医療画像IMG1の撮影方法に関する情報、医療画像IMG1を撮影したモダリティを示す情報(例えば、CT、MRI等)等である。解析の種類に関する情報とは、例えば、検出対象の病変に関する情報、検出対象の病変を検出するために用いられる医療画像識別エンジンを示す情報等である。
次に、データ処理部118は、医療画像及び解析の種類に基づいて秘匿化レベルを決定する(ステップS182)。そして、データ処理部118は、秘匿化データDCを作成して、秘匿化データ保存部120に保存する(ステップS184)。
表4は、秘匿化レベルの例を示しており、表5は、医療画像識別エンジンと秘匿化レベルとの対応関係を示している。
表4に示す例では、レベルIからレベルIVの順に秘匿化処理の対象となる患者の識別情報の種類が増加している。
データ処理部118は、表5に示す秘匿化レベルにしたがって、医療画像識別エンジンの種類ごとに秘匿化レベルを決定し、DICOMファイルF2に対して秘匿化処理を行う。例えば、脳の疾患の検出を行う場合には、頭部の画像が使用される。このため、レベルIVが適用され、体表データが秘匿化の対象とされる。また、頭部以外の骨折検出では、頭部の画像は使用されないためレベルIIが適用される。
本実施形態によれば、医療画像の種類及び解析の種類に応じて、秘匿化処理の対象を選択することにより、患者の識別情報に対して適切な秘匿化処理を行うことが可能になる。
[第3の実施形態]
次に、本発明の第3の実施形態について、図14を参照して説明する。第3の実施形態は、医療画像識別エンジンの解析結果が修正された場合に、同一の患者に関するほかの時点の画像についても秘匿化データを作成して、学習に使用可能にするものである。
次に、本発明の第3の実施形態について、図14を参照して説明する。第3の実施形態は、医療画像識別エンジンの解析結果が修正された場合に、同一の患者に関するほかの時点の画像についても秘匿化データを作成して、学習に使用可能にするものである。
図14は、本発明の第3の実施形態に係る医療画像処理方法における処理の流れを示すフローチャートである。
まず、医療画像処理装置100-iは、医師により読影された医療画像IMG1と、医師により診断支援情報DA0の承認又は修正が行われた解析結果情報DA1とを含むDICOMファイルF2を、診断支援装置200-iから取得する。医療画像受付部112は、医療画像IMG1及び患者情報DP1の入力を受け付ける(ステップS70)。解析結果取得部114は、医療画像IMG1の解析結果情報DA1を取得する(ステップS72)。
次に、検出部116は、診断支援装置200-iにおいて、医療画像識別エンジンによる解析結果(診断支援情報DA0)の修正が行われたことを示す付加情報が、解析結果情報DA1に含まれているかを判別する(ステップS74)。そして、解析結果の修正が検出されなかった場合(ステップS76のNo)、処理を終了する。
一方、解析結果の修正が検出された場合(ステップS76のYes)、データ処理部118は、ステップS70において取得したDICOMファイルF2から患者の識別情報を読み出す。そして、データ処理部118は、この患者の識別情報に基づいて、同一の患者に関する過去のDICOMファイルF2を記録部108から取得する(ステップS78)。ステップS78では、例えば、同一患者の同一検査部位であって、同一の医療画像識別エンジンにより解析されたものを取得するようにしてもよい。
次に、データ処理部118は、ステップS70において取得したDICOMファイルF2に加えて、ステップS78において取得した過去のDICOMファイルF2に対して、秘匿化処理を施して秘匿化データDCiを作成し、秘匿化データ保存部120に保存する(ステップS80)。
なお、図14に示す例では、最新の医療画像IMG1を含むDICOMファイルF2において、解析結果の修正が検出された場合に、過去のDICOMファイルF2についても秘匿化処理を行うようにしたが、本実施形態はこれに限定されない。
次に、図14の処理の変形例について、図15を参照して説明する。図15は、本発明の第3の実施形態に係る医療画像処理方法の変形例を示すフローチャートである。
まず、検出部116は、記録部108に蓄積されたDICOMファイルF2の中から、診断支援装置200-iにおいて医療画像IMG1の解析結果に修正が加えられたものを検出する(ステップS90)。そして、解析結果に修正が加えられたDICOMファイルF2が検出されなかった場合(ステップS92のNo)、処理を終了する。
一方、解析結果に修正が加えられたDICOMファイルF2(第1の時点のもの)が検出された場合(ステップS92のYes)、データ処理部118は、ステップS90において検出したDICOMファイルF2から患者の識別情報を読み出す。そして、データ処理部118は、この患者の識別情報に基づいて、同一の患者に関するDICOMファイルF2であって、ステップS78と同様に第1の時点とは異なる第2の時点のものを記録部108から取得する(ステップS94)。
次に、データ処理部118は、ステップS90において取得したDICOMファイルF2に加えて、ステップS94において取得した過去のDICOMファイルF2に対して、秘匿化処理を施して秘匿化データDCiを作成し、秘匿化データ保存部120に保存する(ステップS96)。
本実施形態によれば、医療画像IMG1の解析結果が修正された場合に、同一の患者の別の時点の医療画像等についても秘匿化処理を施すことができる。これにより、同一患者に関する医療画像の複数時点の解析結果を用いて追加の学習を行うことが可能になる。
[第4の実施形態]
次に、本発明の第4の実施形態について、図16から図18を参照して説明する。第1から第3の実施形態は、医療支援サーバ300において、医療画像識別エンジンの学習を行うように構成されていたのに対して、第4の実施形態は、医療機関Mi側で医療画像識別エンジンの学習が行われるように構成されている。
次に、本発明の第4の実施形態について、図16から図18を参照して説明する。第1から第3の実施形態は、医療支援サーバ300において、医療画像識別エンジンの学習を行うように構成されていたのに対して、第4の実施形態は、医療機関Mi側で医療画像識別エンジンの学習が行われるように構成されている。
まず、本実施形態に係る医療支援システムについて、図16及び図17を参照して説明する。図16は、本発明の第4の実施形態に係る医療支援システムを示すブロック図である。図17は、本発明の第4の実施形態に係る診断支援装置を示すブロック図である。
本実施形態に係る医療支援システム10Aでは、医療支援サーバ300Aは、医療機関Miから秘匿化データDCiを収集する。この秘匿化データDCiは、医療支援サーバ300Aによって蓄積されて秘匿化データのセット(秘匿化データセットDCCi)が生成される。この秘匿化データセットDCCiは、医療支援サーバ300Aから各医療機関Miに送信される。
秘匿化データセットDCCiは、医療機関M1、M2、…、Mnから収集した秘匿化データDC1、DC2、…、DCnをすべて含んでいてもよい。また、秘匿化データセットDCCiは、秘匿化データDC1、DC2、…、DCnのうち、送信先の医療機関Miの秘匿化データDCiを除いたものであってもよい。
本実施形態に係る診断支援装置200A-iは、第1の実施形態で説明した構成に加えて、学習部218をさらに備えている。
学習部218は、医療支援サーバ300Aから取得した秘匿化データセットDCCiを用いて、第1の実施形態と同様、学習前の解析部250に学習を行わせる。なお、秘匿化データセットDCCiは、秘匿化データDC1、DC2、…、DCnのうち、送信先の医療機関Miの秘匿化データDCiを除いたものである場合には、秘匿化データセットDCCiに加えて、秘匿化データDCiを用いて学習を行う。これにより、学習済みの解析部252が生成される。診断支援情報生成部214は、学習部218から学習済みの解析部252を取得し、学習前の解析部250と置き換えることにより、医療画像識別エンジンが更新される。
なお、本実施形態に係る医療画像処理装置及び方法については、第1から第3の実施形態を同様であるため説明を省略する。
次に、本実施形態に係る診断支援方法について、図18を参照して説明する。図18は、本発明の第4の実施形態に係る診断支援方法における処理の流れを示すフローチャートである。
まず、医療支援サーバ300Aにおいて、データ収集部302は、医療機関M1、M2、…、Mnからそれぞれ秘匿化データDC1、DC2、…、DCnを収集する(ステップS100)。医療機関M1、M2、…、Mnから収集された秘匿化データDC1、DC2、…、DCnは、医療支援サーバ300Aに蓄積されて、各医療機関M1、M2、…、Mn用の秘匿化データセットDCC1、DCC2、…、DCCnが生成される。この秘匿化データセットDCC1、DCC2、…、DCCnは、医療機関M1、M2、…、Mnに提供される(ステップS102)。
次に、診断支援装置200A-iは、通信I/F216を介して、医療支援サーバ300Aから秘匿化データセットDCCiを取得する(ステップS200)。
診断支援装置200A-iの学習部218は、医療支援サーバ300Aから取得した秘匿化データセットDCCiを用いて、医療画像識別エンジン(学習前の解析部250)に学習を行わせる(ステップS202)。診断支援情報生成部214は、学習済みの解析部252を学習前の解析部350と置き換えることにより医療画像識別エンジンの更新を行う。
次に、診断支援装置200A-iのデータ取得部212が、検査装置150から、診断対象の患者の医療画像を取得すると(ステップS204)、診断支援情報生成部214は、学習済みの解析部352を用いて、診断対象の患者の医療画像の解析を行う(ステップS206)。そして、診断支援情報生成部214は、診断対象の患者の医療画像の解析結果を診断支援情報DA0として表示部210に表示させる(ステップS208)。
なお、第4の実施形態では、医療機関Miの診断支援装置200A-iが、医療支援サーバ300Aを介して、ほかの医療機関の医療画像処理装置100-iから提供される秘匿化データDCiを取得するようにしたが、本発明はこれに限定されない。例えば、医療機関Miの医療画像処理装置100-i及び診断支援装置200A-iによりP2P(Peer to Peer)型のネットワークを形成し、医療機関Miの診断支援装置200A-iが、ほかの医療機関の医療画像処理装置100-iから秘匿化データDCiを直接取得するようにしてもよい。
[プログラムの発明について]
本発明は、コンピュータに上記の処理を実現させるプログラム(医療画像処理プログラム及び診断支援プログラム)、又は、このようなプログラムを格納した非一時的な記録媒体又はプログラムプロダクトとして実現することも可能である。このようなプログラムをコンピュータに適用することにより、コンピュータの演算手段、記録手段等に、本実施形態に係る方法の各ステップに対応する機能を実現させることが可能になる。
本発明は、コンピュータに上記の処理を実現させるプログラム(医療画像処理プログラム及び診断支援プログラム)、又は、このようなプログラムを格納した非一時的な記録媒体又はプログラムプロダクトとして実現することも可能である。このようなプログラムをコンピュータに適用することにより、コンピュータの演算手段、記録手段等に、本実施形態に係る方法の各ステップに対応する機能を実現させることが可能になる。
各実施形態において、例えば、医療画像処理装置100-i、診断支援装置200-i及び200A-i、並びに医療支援サーバ300及び300Aにおいて、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)として実現することが可能である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(PLD:Programmable Logic Device)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(SoC:System On Chip)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
10、10A 医療支援システム
M1、M2、…、Mn 医療機関
100-1、100-2、…、100-n 医療画像処理装置
102 制御部
104 操作部
106 メモリ
108 記録部
110 表示部
112 医療画像受付部
114 解析結果取得部
116 検出部
118 データ処理部
120 秘匿化データ保存部
122 通信I/F
150 検査装置
200-1、200-2、…、200-n、200A-1、200A-2、…、200A-n 診断支援装置
202 制御部
204 操作部
206 メモリ
208 記録部
210 表示部
212 データ取得部
214 診断支援情報生成部
216 通信I/F
218 学習部
220 医師用端末
250 学習前の解析部
252 学習済みの解析部
300、300A 医療支援サーバ
302 データ収集部
304 学習部
350 学習前の解析部
352 学習済みの解析部
DP1 患者情報
DP2 秘匿化処理済み患者情報
DA0 診断支援情報
DA1 解析結果情報
DA2 秘匿化処理済み解析結果情報
DC1、DC2、…、DCn 秘匿化データ
DCC1、DCC2、…、DCCn 秘匿化データセット
F1、F2 DICOMファイル
IMG1 医療画像
IMG2 秘匿化処理済み医療画像
S10~S18、S70~S80、S90~S96 医療画像処理方法の各工程
S30~S34、S50~S54、S100、S102、S200~S208 診断支援方法の各工程
S180~S184 秘匿化データの作成及び保存の各工程
M1、M2、…、Mn 医療機関
100-1、100-2、…、100-n 医療画像処理装置
102 制御部
104 操作部
106 メモリ
108 記録部
110 表示部
112 医療画像受付部
114 解析結果取得部
116 検出部
118 データ処理部
120 秘匿化データ保存部
122 通信I/F
150 検査装置
200-1、200-2、…、200-n、200A-1、200A-2、…、200A-n 診断支援装置
202 制御部
204 操作部
206 メモリ
208 記録部
210 表示部
212 データ取得部
214 診断支援情報生成部
216 通信I/F
218 学習部
220 医師用端末
250 学習前の解析部
252 学習済みの解析部
300、300A 医療支援サーバ
302 データ収集部
304 学習部
350 学習前の解析部
352 学習済みの解析部
DP1 患者情報
DP2 秘匿化処理済み患者情報
DA0 診断支援情報
DA1 解析結果情報
DA2 秘匿化処理済み解析結果情報
DC1、DC2、…、DCn 秘匿化データ
DCC1、DCC2、…、DCCn 秘匿化データセット
F1、F2 DICOMファイル
IMG1 医療画像
IMG2 秘匿化処理済み医療画像
S10~S18、S70~S80、S90~S96 医療画像処理方法の各工程
S30~S34、S50~S54、S100、S102、S200~S208 診断支援方法の各工程
S180~S184 秘匿化データの作成及び保存の各工程
Claims (17)
- 医療画像及び前記医療画像に対応する患者情報の入力を受け付ける受付部と、
前記医療画像を解析した解析結果を取得する解析結果取得部と、
前記解析結果が修正されたか否かを検出する検出部と、
前記解析結果が修正されたことが検出された場合に、患者を識別可能な識別情報を秘匿したデータを作成して保存するデータ処理部と、
を備える医療画像処理装置。 - 前記検出部は、前記解析結果と、前記解析結果に対する入力又は前記患者の診療記録とを照合することにより、前記解析結果が修正されたことを検出する、請求項1記載の医療画像処理装置。
- 前記データ処理部は、前記解析結果が修正されたことが検出された場合に、前記医療画像、前記患者情報及び前記修正された解析結果に基づいて、患者を識別可能な識別情報を秘匿したデータを作成して保存する、請求項1又は2記載の医療画像処理装置。
- 前記データ処理部は、前記検出部により、前記医療画像に含まれる領域の輪郭の抽出結果が修正されたことが検出された場合に、前記医療画像及び前記修正された輪郭に基づいて、前記患者を識別可能な識別情報を秘匿したデータを作成して保存する、請求項1から3のいずれか1項記載の医療画像処理装置。
- 前記データ処理部は、前記検出部により、前記医療画像に含まれる領域の性質の判別結果が修正されたことが検出された場合に、前記医療画像及び前記修正された判別結果に基づいて、前記患者を識別可能な識別情報を秘匿したデータを作成して保存する、請求項1から4のいずれか1項記載の医療画像処理装置。
- 前記データ処理部は、前記検出部により、前記医療画像に対する画像解析により得られた1以上のキーワード又は文章を含む解析結果が修正されたことが検出された場合に、前記医療画像及び前記修正された1以上のキーワード又は文章を含む解析結果に基づいて、前記患者を識別可能な識別情報を秘匿したデータを作成して保存する、請求項1から5のいずれか1項記載の医療画像処理装置。
- 前記データ処理部は、前記医療画像の種類又は前記解析の種類と、前記識別情報の秘匿のレベルとの対応関係をあらかじめ記録しておき、前記対応関係に基づいて、前記患者を識別可能な識別情報を秘匿したデータを作成する、請求項1から6のいずれか1項記載の医療画像処理装置。
- 前記データ処理部は、前記医療画像が前記患者の体表の画像を含む場合に、前記医療画像を加工して前記体表の画像を秘匿する、請求項1から7のいずれか1項記載の医療画像処理装置。
- 前記データ処理部は、前記解析結果が修正されたことが検出された場合に、前記患者に関する過去の医療画像及び患者情報を取得し、前記過去の医療画像及び患者情報のうち、前記患者を識別可能な識別情報を秘匿したデータを作成して保存する、請求項1から8のいずれか1項記載の医療画像処理装置。
- 前記検出部は、前記患者に関する異なる時点における複数の解析結果のうちの少なくとも1つが修正されたか否かを検出し、
前記データ処理部は、第1の時点における解析結果が修正されたことが検出された場合に、前記第1の時点の医療画像及び患者情報に加えて、前記第1の時点とは異なる第2の時点の医療画像及び患者情報を取得し、前記医療画像及び患者情報のうち、前記患者を識別可能な識別情報を秘匿したデータを作成して保存する、請求項1から9のいずれか1項記載の医療画像処理装置。 - 診断を支援する情報を提示する診断支援装置であって、
診断対象の患者の医療画像を取得するデータ取得部と、
請求項1から10のいずれか1項記載の医療画像処理装置により作成されたデータを用いた学習が行われた解析部であって、前記診断対象の患者の医療画像の解析を行う解析部と、
前記解析の結果を提示する提示部と、
を備える診断支援装置。 - 医療画像処理装置において、
医療画像及び前記医療画像に対応する患者情報の入力を受け付ける受付ステップと、
前記医療画像を解析した解析結果を取得する解析結果取得ステップと、
前記解析結果が修正されたか否かを検出する検出ステップと、
前記解析結果が修正されたことが検出された場合に、患者を識別可能な識別情報を秘匿したデータを作成して保存するデータ処理ステップと、
を備える医療画像処理方法。 - 請求項12記載の医療画像処理方法により作成されたデータを用いて、医療画像の解析を行うための解析部における学習を行うステップと、
診断対象の患者の医療画像を取得するステップと、
前記学習を行った前記解析部により前記診断対象の患者の医療画像の解析を行うステップと、
前記解析の結果を提示するステップと、
を備える診断支援方法。 - 医療画像及び前記医療画像に対応する患者情報の入力を受け付ける機能と、
前記医療画像を解析した解析結果を取得する機能と、
前記解析結果が修正されたか否かを検出する機能と、
前記解析結果が修正されたことが検出された場合に、患者を識別可能な識別情報を秘匿したデータを作成して保存する機能と、
をコンピュータに実現させる医療画像処理プログラム。 - 請求項14記載の医療画像処理プログラムを実行することにより作成されたデータを用いて、医療画像の解析を行うための解析部における学習を行う機能と、
診断対象の患者の医療画像を取得する機能と、
前記学習を行った前記解析部により前記診断対象の患者の医療画像の解析を行う機能と、
前記解析の結果を提示する機能と、
をコンピュータに実現させる診断支援プログラム。 - 請求項12記載の医療画像処理方法をコンピュータに実行させるための医療画像処理プログラムを格納した非一時的な記録媒体。
- 請求項13記載の診断支援方法をコンピュータに実行させるための診断支援プログラムを格納した非一時的な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019567936A JP7082993B2 (ja) | 2018-01-24 | 2018-12-26 | 医療画像処理装置、方法及びプログラム、診断支援装置、方法及びプログラム並びに医療支援システム及び方法 |
US16/927,968 US11875897B2 (en) | 2018-01-24 | 2020-07-13 | Medical image processing apparatus, method, and program, and diagnosis support apparatus, method, and program |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-010014 | 2018-01-24 | ||
JP2018010014 | 2018-01-24 | ||
JP2018141697 | 2018-07-27 | ||
JP2018-141697 | 2018-07-27 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/927,968 Continuation US11875897B2 (en) | 2018-01-24 | 2020-07-13 | Medical image processing apparatus, method, and program, and diagnosis support apparatus, method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019146357A1 true WO2019146357A1 (ja) | 2019-08-01 |
Family
ID=67395928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/047853 WO2019146357A1 (ja) | 2018-01-24 | 2018-12-26 | 医療画像処理装置、方法及びプログラム並びに診断支援装置、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11875897B2 (ja) |
JP (1) | JP7082993B2 (ja) |
WO (1) | WO2019146357A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111627037A (zh) * | 2020-05-22 | 2020-09-04 | 深圳前海微众银行股份有限公司 | 图像区域提取方法、装置、设备及存储介质 |
CN113096061A (zh) * | 2019-12-23 | 2021-07-09 | 株式会社日立制作所 | 图像诊断辅助装置、医用图像取得装置以及计算机可读记录介质 |
JP2021115127A (ja) * | 2020-01-23 | 2021-08-10 | グローリー株式会社 | 遊技情報管理システム及び遊技情報管理方法 |
JPWO2021167080A1 (ja) * | 2020-02-20 | 2021-08-26 | ||
WO2022270584A1 (ja) * | 2021-06-24 | 2022-12-29 | 国立大学法人 東京大学 | 情報処理システム、情報処理方法及びプログラム |
WO2024005160A1 (ja) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、画像処理システム、およびプログラム |
EP4220656A4 (en) * | 2020-09-28 | 2024-03-20 | FUJIFILM Corporation | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115177291B (zh) * | 2022-08-01 | 2023-11-10 | 首都医科大学附属北京朝阳医院 | 用于识别重症监护病房获得性肌无力的方法和装置 |
CN116912239B (zh) * | 2023-09-11 | 2023-11-21 | 吉林大学 | 基于工业互联网的医学成像全流程质控管理方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040078238A1 (en) * | 2002-05-31 | 2004-04-22 | Carson Thomas | Anonymizing tool for medical data |
JP2011125402A (ja) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | 読影レポート作成支援システム |
JP2013192624A (ja) * | 2012-03-16 | 2013-09-30 | Hitachi Ltd | 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム |
JP2014067229A (ja) * | 2012-09-26 | 2014-04-17 | Ge Medical Systems Global Technology Co Llc | 読影レポート管理装置、医用ネットワークシステムおよびプログラム |
JP2015512100A (ja) * | 2012-02-14 | 2015-04-23 | テラリコン インコーポレイテッド | 匿名データをアップロード及びダウンロードするクラウドベースの医療画像処理システム |
JP2017129922A (ja) * | 2016-01-18 | 2017-07-27 | オリンパス株式会社 | 医療レポート作成支援システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5945860B2 (ja) * | 2011-08-08 | 2016-07-05 | 国立大学法人名古屋大学 | 医用レポート作成支援システム及び医用レポート作成支援プログラム |
US9589349B2 (en) * | 2013-09-25 | 2017-03-07 | Heartflow, Inc. | Systems and methods for controlling user repeatability and reproducibility of automated image annotation correction |
CO7020178A1 (es) * | 2014-05-14 | 2014-08-11 | Leon Ricardo Antonio Mendoza | Método para la segmentación y cuantificación automática de tejidos corporales |
-
2018
- 2018-12-26 WO PCT/JP2018/047853 patent/WO2019146357A1/ja active Application Filing
- 2018-12-26 JP JP2019567936A patent/JP7082993B2/ja active Active
-
2020
- 2020-07-13 US US16/927,968 patent/US11875897B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040078238A1 (en) * | 2002-05-31 | 2004-04-22 | Carson Thomas | Anonymizing tool for medical data |
JP2011125402A (ja) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | 読影レポート作成支援システム |
JP2015512100A (ja) * | 2012-02-14 | 2015-04-23 | テラリコン インコーポレイテッド | 匿名データをアップロード及びダウンロードするクラウドベースの医療画像処理システム |
JP2013192624A (ja) * | 2012-03-16 | 2013-09-30 | Hitachi Ltd | 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム |
JP2014067229A (ja) * | 2012-09-26 | 2014-04-17 | Ge Medical Systems Global Technology Co Llc | 読影レポート管理装置、医用ネットワークシステムおよびプログラム |
JP2017129922A (ja) * | 2016-01-18 | 2017-07-27 | オリンパス株式会社 | 医療レポート作成支援システム |
Non-Patent Citations (2)
Title |
---|
OHE, KAZUHIKO: "New Trends in Foundation Construction for Medical Image Databases for Medical AI", MEDICAL INFORMATICS. PROCEEDINGS OF THE 37TH JOINT CONFERENCE ON MEDICAL INFORMATICS (18TH CONFERENCE OF JAPAN ASSOCIATION FOR MEDICAL INFORMATICS, vol. 37, pages 138 - 139 * |
TADA, WAICHI: "AI Challengers Take on the World", NIKKEI BIGDATA, vol. 47, 10 January 2018 (2018-01-10), pages 3 - 10 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113096061A (zh) * | 2019-12-23 | 2021-07-09 | 株式会社日立制作所 | 图像诊断辅助装置、医用图像取得装置以及计算机可读记录介质 |
CN113096061B (zh) * | 2019-12-23 | 2023-09-15 | 富士胶片医疗健康株式会社 | 图像诊断辅助装置、医用图像取得装置以及计算机可读记录介质 |
JP2021115127A (ja) * | 2020-01-23 | 2021-08-10 | グローリー株式会社 | 遊技情報管理システム及び遊技情報管理方法 |
JPWO2021167080A1 (ja) * | 2020-02-20 | 2021-08-26 | ||
WO2021167080A1 (ja) * | 2020-02-20 | 2021-08-26 | 富士フイルム株式会社 | 情報処理装置、方法およびプログラム |
JP7420913B2 (ja) | 2020-02-20 | 2024-01-23 | 富士フイルム株式会社 | 情報処理装置、方法およびプログラム |
CN111627037A (zh) * | 2020-05-22 | 2020-09-04 | 深圳前海微众银行股份有限公司 | 图像区域提取方法、装置、设备及存储介质 |
EP4220656A4 (en) * | 2020-09-28 | 2024-03-20 | FUJIFILM Corporation | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
WO2022270584A1 (ja) * | 2021-06-24 | 2022-12-29 | 国立大学法人 東京大学 | 情報処理システム、情報処理方法及びプログラム |
WO2024005160A1 (ja) * | 2022-06-30 | 2024-01-04 | 本田技研工業株式会社 | 画像処理装置、画像処理方法、画像処理システム、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019146357A1 (ja) | 2021-01-07 |
JP7082993B2 (ja) | 2022-06-09 |
US20200342990A1 (en) | 2020-10-29 |
US11875897B2 (en) | 2024-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7082993B2 (ja) | 医療画像処理装置、方法及びプログラム、診断支援装置、方法及びプログラム並びに医療支援システム及び方法 | |
ES2905660T3 (es) | Procedimiento y sistema para el triaje asistido por ordenador | |
JP5952835B2 (ja) | 撮像プロトコルの更新及び/又はリコメンダ | |
US8165368B2 (en) | Systems and methods for machine learning based hanging protocols | |
US20220051771A1 (en) | Report generating system and methods for use therewith | |
US20210158936A1 (en) | Medical scan co-registration and methods for use therewith | |
JP6719421B2 (ja) | 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム | |
US11669960B2 (en) | Learning system, method, and program | |
US10282516B2 (en) | Medical imaging reference retrieval | |
US20220037019A1 (en) | Medical scan artifact detection system and methods for use therewith | |
US20200387729A1 (en) | Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model | |
JP7102509B2 (ja) | 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム | |
US20230005580A1 (en) | Document creation support apparatus, method, and program | |
WO2019193983A1 (ja) | 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム | |
JP7504987B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7420914B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN111226287A (zh) | 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质 | |
WO2021107099A1 (ja) | 文書作成支援装置、文書作成支援方法及びプログラム | |
JP2013149265A (ja) | 診断支援装置及び制御方法 | |
US20220391599A1 (en) | Information saving apparatus, method, and program and analysis record generation apparatus, method, and program | |
US10839299B2 (en) | Non-leading computer aided detection of features of interest in imagery | |
CN116631584A (zh) | 通用型医学影像报告生成方法与系统、电子设备及可读存储介质 | |
WO2021107098A1 (ja) | 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム | |
WO2023054646A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20230121783A1 (en) | Medical image processing apparatus, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18903013 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019567936 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18903013 Country of ref document: EP Kind code of ref document: A1 |