[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2022230641A1 - 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム - Google Patents

文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム Download PDF

Info

Publication number
WO2022230641A1
WO2022230641A1 PCT/JP2022/017410 JP2022017410W WO2022230641A1 WO 2022230641 A1 WO2022230641 A1 WO 2022230641A1 JP 2022017410 W JP2022017410 W JP 2022017410W WO 2022230641 A1 WO2022230641 A1 WO 2022230641A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
regions
document creation
creation support
observation
Prior art date
Application number
PCT/JP2022/017410
Other languages
English (en)
French (fr)
Inventor
佳児 中村
憲昭 位田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023517416A priority Critical patent/JPWO2022230641A1/ja
Publication of WO2022230641A1 publication Critical patent/WO2022230641A1/ja
Priority to US18/489,850 priority patent/US20240046028A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to a document creation support device, a document creation support method, and a document creation support program.
  • Japanese Patent Application Laid-Open No. 7-323024 discloses that a part indicated by the specified coordinates is obtained from coordinates on a medical image specified by a doctor and data obtained by dividing the medical image into areas for each part, and an abnormality is detected.
  • a technique for outputting the site and the name of the disease is disclosed.
  • Japanese Patent Laid-Open No. 2017-068380 discloses an individual input area for inputting individual finding information for each of a plurality of attention areas in a medical image, and an input of finding information common to the attention areas included in the same group.
  • the present disclosure has been made in view of the above circumstances, and provides a document creation support apparatus and document creation support method capable of appropriately supporting the creation of medical documents even when a plurality of regions of interest are included in a medical image. , and to provide a document creation support program.
  • a document creation support device of the present disclosure is a document creation support device including at least one processor, the processor acquires information representing a medical image and a plurality of regions of interest included in the medical image, and obtains the plurality of regions of interest. generates a plurality of observation sentences for two or more regions of interest among the above, performs control to display the plurality of observation sentences, accepts selection of one observation sentence from the plurality of observation sentences, and produces one observation sentence Generate a medical document containing
  • the processor classifies a plurality of regions of interest into at least one group by analysis processing on medical images, and generates a plurality of observation sentences for two or more regions of interest included in the same group. may be generated.
  • the processor may classify two or more regions of interest into the same group based on the similarity of the image of the region of interest portion included in the medical image.
  • the processor classifies two or more regions of interest into the same group based on the similarity of the feature amount extracted from the image of the region of interest portion included in the medical image. good too.
  • the processor may classify two or more regions of interest having the same disease name derived from the regions of interest into the same group.
  • the processor generates observation sentences for each of a plurality of regions of interest, and classifies the two or more regions of interest into the same group based on the similarity of the generated observation sentences. good too.
  • the processor may classify two or more regions of interest whose distance between them is less than a threshold into the same group.
  • the processor may classify the plurality of regions of interest into at least one group based on the anatomical relevance of the regions of interest.
  • the processor may classify a plurality of regions of interest into at least one group based on the relevance of disease characteristics of the regions of interest.
  • the processor after the processor generates a plurality of finding sentences, the processor performs control to display the medical image, receives the designation of the region of interest on the medical image, and Control may be provided to display multiple observation statements for two or more regions of interest of the group.
  • the processor when the processor receives designation of at least one region of interest within a group, the processor performs control to display a plurality of observation statements for two or more regions of interest of the group.
  • the processor when the processor receives designation of a majority of the regions of interest in the group, the processor performs control to display a plurality of observation sentences for two or more regions of interest in the group. good too.
  • the processor when the processor receives designation of all the regions of interest in the group, the processor performs control to display a plurality of observation sentences for two or more regions of interest in the group. good too.
  • the processor when the processor receives an instruction to generate a finding text after receiving designation of a region of interest on a medical image, two or more of the same group as the designated region of interest Control may be performed to display a plurality of observation sentences for the region of interest.
  • the processor when the processor receives an instruction to generate a finding text and an unspecified region of interest exists in the same group of regions of interest as the specified region of interest, the unspecified region of interest exists.
  • the unspecified You may perform control which displays the information showing the region of interest of .
  • the processor when the processor receives an instruction to generate an observation text, and when the two or more specified regions of interest belong to a plurality of different groups, the specified two or more may generate multiple finding sentences for the region of interest.
  • the processor classifies two or more regions of interest into one group based on an input from the user, and two or more regions of interest included in one group A plurality of observation sentences may be generated only for the above regions of interest.
  • the processor may classify two or more regions of interest included in a user-specified region in a medical image into one group.
  • the processor may classify two or more regions of interest individually specified by the user into one group.
  • the processor classifies a plurality of regions of interest into at least one group by analyzing a medical image, receives designation of the region of interest on the medical image, and If there is an undesignated region of interest in the same group of ROIs, control may be performed to display information recommending designation of the undesignated region of interest.
  • the processor classifies a plurality of regions of interest into at least one group by analyzing a medical image, receives designation of the region of interest on the medical image, and If there is an unspecified region of interest in the same group as the region of interest, the unspecified region of interest may be classified into the same group as the region of interest specified by the user.
  • the document creation support method of the present disclosure acquires a medical image and information representing a plurality of regions of interest included in the medical image, and generates a plurality of observation sentences for two or more of the plurality of regions of interest.
  • the document creation support apparatus includes a process of generating and displaying a plurality of observation sentences, receiving selection of one observation sentence from the plurality of observation sentences, and generating a medical document including one observation sentence. It is what the processor does.
  • the document creation support program of the present disclosure acquires a medical image and information representing a plurality of regions of interest included in the medical image, and generates a plurality of observation sentences for two or more regions of interest among the plurality of regions of interest.
  • the document creation support apparatus includes a process of generating and displaying a plurality of observation sentences, receiving selection of one observation sentence from the plurality of observation sentences, and generating a medical document including one observation sentence. It is for the processor to execute.
  • FIG. 1 is a block diagram showing a schematic configuration of a medical information system
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the document creation support device
  • FIG. 1 is a block diagram showing an example of a functional configuration of a document creation support device according to the first embodiment
  • FIG. FIG. 10 is a diagram showing an example of abnormal shadow classification results; It is a figure which shows an example of several observation sentences.
  • FIG. 10 is a diagram showing an example of a display screen of a plurality of observation sentences;
  • FIG. 10 is a diagram showing an example of a screen notifying that there is an unspecified abnormal shadow;
  • the medical information system 1 is a system for taking images of a diagnostic target region of a subject and storing the medical images acquired by the taking, based on an examination order from a doctor of a clinical department using a known ordering system. .
  • the medical information system 1 is a system for interpretation of medical images and creation of interpretation reports by interpretation doctors, and for viewing interpretation reports and detailed observations of medical images to be interpreted by doctors of the department that requested the diagnosis. be.
  • a medical information system 1 includes a plurality of imaging devices 2, a plurality of image interpretation workstations (WorkStation: WS) 3 which are image interpretation terminals, a clinical department WS 4, an image server 5, and an image database.
  • the imaging device 2, the interpretation WS3, the clinical department WS4, the image server 5, and the interpretation report server 7 are connected to each other via a wired or wireless network 9 so as to be able to communicate with each other.
  • the image DB 6 is connected to the image server 5 and the interpretation report DB 8 is connected to the interpretation report server 7 .
  • the imaging device 2 is a device that generates a medical image representing the diagnostic target region by imaging the diagnostic target region of the subject.
  • the imaging device 2 may be, for example, a simple X-ray imaging device, an endoscope device, a CT (Computed Tomography) device, an MRI (Magnetic Resonance Imaging) device, a PET (Positron Emission Tomography) device, or the like.
  • a medical image generated by the imaging device 2 is transmitted to the image server 5 and stored.
  • the clinical department WS4 is a computer used by doctors in the clinical department for detailed observation of medical images, viewing interpretation reports, and creating electronic medical charts.
  • each process of creating a patient's electronic medical record, requesting image browsing to the image server 5, and displaying the medical image received from the image server 5 is executed by executing a software program for each process.
  • each process such as automatic detection or highlighting of a region suspected of a disease in a medical image, request for viewing an interpretation report to the interpretation report server 7, and display of an interpretation report received from the interpretation report server 7 is performed. , by executing a software program for each process.
  • the image server 5 incorporates a software program that provides a general-purpose computer with the functions of a database management system (DBMS).
  • DBMS database management system
  • the incidental information includes, for example, an image ID (identification) for identifying individual medical images, a patient ID for identifying a patient who is a subject, an examination ID for identifying examination content, and an ID assigned to each medical image. It includes information such as a unique ID (UID: unique identification) that is assigned to the user.
  • the additional information includes the examination date when the medical image was generated, the examination time, the type of imaging device used in the examination for obtaining the medical image, patient information (for example, the patient's name, age, gender, etc.).
  • examination site i.e., imaging site
  • imaging information e.g., imaging protocol, imaging sequence, imaging technique, imaging conditions, use of contrast agent, etc.
  • multiple medical images acquired in one examination Information such as the series number or the collection number at the time is included.
  • the interpretation report server 7 incorporates a software program that provides DBMS functions to a general-purpose computer.
  • the interpretation report server 7 receives an interpretation report registration request from the interpretation WS 3 , the interpretation report is formatted for a database and registered in the interpretation report database 8 . Also, upon receiving a search request for an interpretation report, the interpretation report is searched from the interpretation report DB 8 .
  • the interpretation report DB 8 stores, for example, an image ID for identifying a medical image to be interpreted, an interpreting doctor ID for identifying an image diagnostician who performed the interpretation, a lesion name, lesion position information, findings, and confidence levels of findings. An interpretation report in which information such as is recorded is registered.
  • Network 9 is a wired or wireless local area network that connects various devices in the hospital. If the interpretation WS 3 is installed in another hospital or clinic, the network 9 may be configured to connect the local area networks of each hospital with the Internet or a dedicated line. In any case, the network 9 preferably has a configuration such as an optical network that enables high-speed transfer of medical images.
  • the interpretation WS 3 requests the image server 5 to view medical images, performs various image processing on the medical images received from the image server 5, displays the medical images, analyzes the medical images, emphasizes display of the medical images based on the analysis results, and analyzes the images. Create an interpretation report based on the results.
  • the interpretation WS 3 also supports the creation of interpretation reports, requests registration and viewing of interpretation reports to the interpretation report server 7 , displays interpretation reports received from the interpretation report server 7 , and the like.
  • the interpretation WS3 performs each of the above processes by executing a software program for each process.
  • the image interpretation WS 3 includes a document creation support device 10, which will be described later, and among the above processes, the processing other than the processing performed by the document creation support device 10 is performed by a well-known software program.
  • the interpretation WS3 does not perform processing other than the processing performed by the document creation support apparatus 10, and a computer that performs the processing is separately connected to the network 9, and in response to a request for processing from the interpretation WS3, the computer You may make it perform the process which was carried out.
  • the document creation support device 10 included in the interpretation WS3 will be described in detail below.
  • the document creation support apparatus 10 includes a CPU (Central Processing Unit) 20, a memory 21 as a temporary storage area, and a non-volatile storage section 22.
  • FIG. The document creation support apparatus 10 also includes a display 23 such as a liquid crystal display, an input device 24 such as a keyboard and a mouse, and a network I/F (InterFace) 25 connected to the network 9 .
  • CPU 20 , memory 21 , storage unit 22 , display 23 , input device 24 and network I/F 25 are connected to bus 27 .
  • the storage unit 22 is implemented by a HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, or the like.
  • a document creation support program 30 is stored in the storage unit 22 as a storage medium.
  • the CPU 20 reads out the document creation support program 30 from the storage unit 22, expands it in the memory 21, and executes the expanded document creation support program 30.
  • FIG. 1 A document creation support program 30 is stored in the storage unit 22 as a storage medium.
  • the CPU 20 reads out the document creation support program 30 from the storage unit 22, expands it in the memory 21, and executes the expanded document creation support program 30.
  • the document creation support apparatus 10 includes an acquisition unit 40, an extraction unit 42, an analysis unit 44, a classification unit 46, a first generation unit 48, a first display control unit 50, a first reception unit 52, a first 2 includes a display control unit 54 , a second reception unit 56 , a second generation unit 58 and an output unit 60 .
  • an acquisition unit 40 By executing the document creation support program 30 by the CPU 20, an acquisition unit 40, an extraction unit 42, an analysis unit 44, a classification unit 46, a first generation unit 48, a first display control unit 50, a first reception unit 52, a second It functions as a display control unit 54 , a second reception unit 56 , a second generation unit 58 and an output unit 60 .
  • the acquisition unit 40 acquires a medical image to be diagnosed (hereinafter referred to as a "diagnosis target image") from the image server 5 via the network I/F 25.
  • a medical image to be diagnosed hereinafter referred to as a "diagnosis target image”
  • the image to be diagnosed is a chest CT image
  • the extraction unit 42 extracts a region containing an abnormal shadow as an example of a region of interest in the diagnosis target image acquired by the acquisition unit 40 .
  • the extraction unit 42 extracts a region containing an abnormal shadow using a learned model M1 for detecting an abnormal shadow from an image to be diagnosed.
  • An abnormal shadow means a shadow suspected of a disease such as a nodule.
  • the learned model M1 is configured by, for example, a CNN (Convolutional Neural Network) that receives medical images and outputs information about abnormal shadows contained in the medical images.
  • the trained model M1 is learned by machine learning using, for example, many combinations of medical images containing abnormal shadows and information identifying regions in the medical images in which the abnormal shadows are present, as learning data. is a model.
  • the extraction unit 42 inputs the diagnosis target image to the learned model M1.
  • the learned model M1 outputs information specifying an area in which an abnormal shadow exists in the input image for diagnosis.
  • the extraction unit 42 may extract the region containing the abnormal shadow by a known computer-aided diagnosis (CAD), or may extract a region specified by the user as the region containing the abnormal shadow.
  • CAD computer-aided diagnosis
  • the analysis unit 44 analyzes each abnormal shadow extracted by the extraction unit 42 and derives findings of the abnormal shadow. Specifically, the extraction unit 42 derives the findings of the abnormal shadow using the learned model M2 for deriving the findings of the abnormal shadow.
  • the trained model M2 is configured by, for example, a CNN that inputs a medical image containing an abnormal shadow and information identifying a region in the medical image in which the abnormal shadow exists, and outputs findings of the abnormal shadow.
  • the trained model M2 is, for example, a machine that uses, as learning data, a large number of combinations of medical images containing abnormal shadows, information specifying regions in the medical images in which abnormal shadows exist, and findings of the abnormal shadows. It is a model learned by learning.
  • the analysis unit 44 inputs information specifying an image to be diagnosed and an area in which an abnormal shadow extracted by the extraction unit 42 from the image to be diagnosed exists to the learned model M2.
  • the learned model M2 outputs findings of abnormal shadows included in the input diagnosis target image. Examples of abnormal opacity findings include location, size, permeability (e.g., solid or ground glass), presence or absence of spicules, presence or absence of calcification, presence or absence of marginal irregularities, presence or absence of pleural invagination, presence or absence of chest wall contact, and disease name of abnormal shadow.
  • the classification unit 46 acquires information representing a plurality of abnormal shadows included in the diagnosis target image from the extraction unit 42 and the analysis unit 44 .
  • the information representing the abnormal shadow is, for example, information specifying the region in which the abnormal shadow extracted by the extraction unit 42 exists, and information including findings of the abnormal shadow derived by the analysis unit 44 for the abnormal shadow.
  • the classification unit 46 may acquire information representing a plurality of abnormal shadows included in the diagnosis target image from an external device such as the clinical department WS4. In this case, the extractor 42 and the analyzer 44 are provided in the external device.
  • the classification unit 46 classifies the plurality of abnormal shadows extracted by the extraction unit 42 into at least one group based on the analysis results obtained by the analysis processing of the diagnosis target image by the analysis unit 44 .
  • the classification unit 46 classifies a plurality of abnormal shadows into at least one group based on the anatomical relevance of the abnormal shadows. Specifically, the classification unit 46 classifies abnormal shadows located in the same anatomically divided region into the same group.
  • the anatomically divided area may be an organ area such as the lung, an area such as the right lung and the left lung, or an upper lobe of the right lung, a middle lobe of the right lung, a lower lobe of the right lung, and an upper left lung. Regions such as lobes and lower lobes of the left lung are also acceptable.
  • FIG. 4 An example of abnormal shadow classification results by the classification unit 46 is shown in FIG.
  • the eight shaded regions indicate abnormal shadows.
  • abnormal shadows surrounded by the same dashed-line rectangle are classified into the same group. That is, in the example of FIG. 4, eight abnormal shadows are classified into four groups.
  • the classification unit 46 may classify two or more abnormal shadows whose image similarity of the abnormal shadow portion included in the diagnosis target image is equal to or greater than a threshold into the same group.
  • a threshold As the degree of similarity between images in this case, for example, the reciprocal of the distance of the feature amount vector obtained by vectorizing a plurality of feature amounts extracted from the image can be applied.
  • the classification unit 46 may classify into the same group two or more abnormal shadows whose similarities in feature amounts extracted from the image of the abnormal shadow portion included in the diagnosis target image are equal to or greater than a threshold.
  • the classification unit 46 may classify two or more abnormal shadows with the same disease name derived by the analysis unit 44 for the abnormal shadows into the same group.
  • the classification unit 46 generates observation sentences for each of the plurality of abnormal shadows extracted by the extraction unit 42 based on the findings derived by the analysis unit 44, and the similarity of the generated observation sentences is equal to or greater than the threshold.
  • One or more abnormal shadows may be classified into the same group.
  • the classification unit 46 generates an observation sentence by inputting the observation derived by the analysis unit 44 to a recurrent neural network trained to generate text from input words.
  • Methods for deriving the similarity of observation sentences include a method of deriving the similarity between sets by regarding the words contained in the text as elements of a set, and a method of deriving the similarity between texts using a neural network. method can be applied.
  • the classification unit 46 may classify two or more abnormal shadows whose distance between abnormal shadows is less than a threshold into the same group.
  • the distance between the abnormal shadows for example, the distance between the centroids of the abnormal shadows can be applied.
  • the classification unit 46 may classify a plurality of abnormal shadows into at least one group based on the relevance of disease characteristics of the abnormal shadows. Examples of relevance of disease characteristics in this case include whether the cancer is primary or metastatic. In this case, for example, the classification unit 46 classifies primary cancer and metastatic cancer that has metastasized from the primary cancer into the same group.
  • the first generating unit 48 For each group in which abnormal shadows are classified by the classification unit 46, the first generating unit 48 generates a plurality of observation sentences for two or more abnormal shadows included in the same group. Specifically, the first generating unit 48 causes the recurrent neural network, which has been trained to generate text from the input words, to derive two or more abnormal shadows included in the same group by the analyzing unit 44. Generate multiple remark sentences by inputting the remarks made.
  • FIG. 5 shows an example of observation sentences generated for each group by the first generation unit 48 .
  • FIG. 5 shows an example in which a plurality of finding sentences regarding abnormal shadows included in each group are generated for each of four groups.
  • the number of remarks may be two, three or more, or may differ between groups. Further, for example, when the analysis unit 44 derives a plurality of different sets of findings together with the certainty factors, the first generation unit 48 may generate a plurality of opinion sentences with different findings. Further, for example, when a set of findings is derived by the analysis unit 44, the first generating unit 48 may generate a plurality of observation sentences with different numbers of items of observations included in the observation sentences. Further, for example, the first generation unit 48 may generate a plurality of observation sentences with the same meaning but different expressions.
  • the first display control unit 50 performs control to display the diagnosis target image on the display 23 after the first generation unit 48 generates a plurality of finding sentences. During this control, the first display control unit 50 may perform control to highlight the abnormal shadow extracted by the extraction unit 42 . In this case, for example, the first display control unit 50 controls to highlight the abnormal shadow by painting the area of the abnormal shadow with a preset color, enclosing the abnormal shadow with a rectangular frame line, or the like. .
  • the user performs an operation of designating an abnormal shadow for which an interpretation report as an example of a medical document is to be created for the image to be diagnosed displayed on the display 23 .
  • the first receiving unit 52 receives a user's designation of one abnormal shadow on the diagnosis target image.
  • the second display control unit 54 controls the first generating unit 54 for abnormal shadows whose designation has been received by the first receiving unit 52, that is, one abnormal shadow designated by the user and two or more abnormal shadows in the same group. Control is performed to display a plurality of observation sentences generated by 48 on the display 23 .
  • a plurality of observation sentences for three abnormal shadows in the same group as the abnormal shadow specified by the user are displayed on the display 23.
  • the abnormal shadow specified by the user is indicated by an arrow, and the abnormal shadows in the same group as the abnormal shadow are surrounded by dashed rectangles.
  • the second display control unit 54 may perform control to display a plurality of observation sentences generated by the first generation unit 48 for each group. Specifically, as shown in FIG. 12 as an example, the second display control unit 54 performs control to display a plurality of observation sentences generated by the first generation unit 48 for each group at positions corresponding to each group. I do. In FIG. 12, a plurality of finding sentences of group 1 corresponding to the right lung are displayed at a position corresponding to the right lung, and a plurality of finding sentences of group 2 corresponding to the left lung are displayed at a position corresponding to the left lung. example is shown.
  • the second display control unit 54 may perform control to visually display groups. Specifically, for example, the second display control unit 54 performs control to display the dashed line shown in FIG. 4 on the display 23 .
  • the second display control unit 54 does not have to display the finding text for groups to which abnormal shadows located outside the predetermined area belong.
  • the predetermined region is the lung region
  • the second display control unit 54 does not display the finding text for groups to which abnormal shadows located outside the lung region belong.
  • the predetermined area in this case may be set according to the purpose of diagnosis. For example, when the user inputs that the purpose is lung diagnosis, the lung region is set as the predetermined region.
  • the second display control unit 54 causes the first generation unit 48 to The display 23 may be controlled to display a plurality of generated observation sentences. Further, when the first receiving unit 52 receives the designation of the majority of the abnormal shadows in the group, the second display control unit 54 causes the first generation unit 48 to The display 23 may be controlled to display a plurality of generated observation sentences. Further, when the first receiving unit 52 receives designation of all abnormal shadows in the group, the second display control unit 54 causes the first generation unit 48 to The display 23 may be controlled to display a plurality of generated observation sentences.
  • the second display control unit 54 when the first receiving unit 52 receives the designation of the abnormal shadow on the diagnosis target image and then receives the instruction to generate the finding statement, the second display control unit 54 selects the same shadow as the designated abnormal shadow. Control may be performed to display on the display 23 a plurality of observation sentences generated by the first generation unit 48 for two or more abnormal shadows in the group. In this case, an instruction to generate an observation sentence is received by the first reception unit 52 when, for example, the user presses an observation sentence generation button displayed on the display 23 .
  • the second display control unit 54 controls when the first receiving unit 52 receives an instruction to generate an observation text and when there is an unspecified abnormal shadow in the same group of abnormal shadows as the specified abnormal shadow. , the presence of an unspecified abnormal shadow may be reported. Specifically, as shown in FIG. 7 as an example, the second display control unit 54 controls the display 23 to display a message to the effect that an unspecified abnormal shadow exists in the same group. to notify that there is an abnormal shadow of FIG. 7 shows an example in which one abnormal shadow indicated by an arrow is specified from among three abnormal shadows in the same group surrounded by a rectangle with a dashed line, and then the find statement generation button is pressed. .
  • the second display control unit 54 controls when the first receiving unit 52 receives an instruction to generate an observation text and when there is an unspecified abnormal shadow in the same group of abnormal shadows as the specified abnormal shadow. , control may be performed to display information representing an unspecified abnormal shadow. Specifically, as shown in FIG. 8 as an example, the second display control unit 54 performs control to highlight the undesignated abnormal shadow by surrounding the undesignated abnormal shadow with a solid-line rectangle.
  • FIG. 8 shows an example in which one abnormal shadow indicated by an arrow is designated from among three abnormal shadows in the same group surrounded by a rectangle with a dashed line, and then the observation text generation button is pressed. .
  • the user selects one observation sentence to be written in the interpretation report from among the multiple observation sentences displayed on the display 23 .
  • the second accepting unit 56 accepts selection of one observation sentence from a plurality of observation sentences by the user.
  • the second generating unit 58 generates an interpretation report including one observation sentence whose selection is received by the second receiving unit 56 .
  • the output unit 60 controls storage in the storage unit 22 by outputting the interpretation report generated by the second generation unit 58 to the storage unit 22 .
  • the output unit 60 may control the display on the display 23 by outputting the interpretation report generated by the second generation unit 58 to the display 23 .
  • the output unit 60 may also transmit the interpretation report registration request to the interpretation report server 7 by outputting the interpretation report generated by the second generation unit 58 to the interpretation report server 7 .
  • the operation of the document creation support device 10 according to this embodiment will be described with reference to FIG.
  • the CPU 20 executes the document creation support program 30
  • the document creation support process shown in FIG. 9 is executed.
  • the document creation support process shown in FIG. 9 is executed, for example, when the user inputs an instruction to start execution.
  • the acquisition unit 40 acquires the diagnosis target image from the image server 5 via the network I/F 25.
  • the extraction unit 42 uses the learned model M1 to extract the region containing the abnormal shadow in the diagnosis target image acquired in step S10, as described above.
  • the analysis unit 44 analyzes each abnormal shadow extracted in step S12 using the learned model M2 as described above, and derives findings of the abnormal shadow.
  • the classification unit 46 classifies the plurality of abnormal shadows extracted at step S12 into at least one group based on the analysis result at step S14, as described above.
  • the first generation unit 48 generates a plurality of finding sentences for two or more abnormal shadows included in the same group for each group into which the abnormal shadows were classified in step S16, as described above.
  • step S20 the first display control unit 50 performs control to display the diagnosis target image acquired in step S10 on the display 23.
  • the first reception unit 52 receives the designation of one abnormal shadow by the user for the diagnosis target image displayed on the display 23 in step S20.
  • step S24 the second display control unit 54 displays, on the display 23, a plurality of observation sentences generated in step S18 for two or more abnormal shadows in the same group as the abnormal shadow whose designation is accepted in step S22. to control.
  • the second reception unit 56 receives the user's selection of one observation sentence from among the plurality of observation sentences displayed on the display 23 at step S24.
  • the second generation unit 58 generates an interpretation report including the single finding sentence selected in step S26.
  • the output unit 60 outputs the interpretation report generated in step S ⁇ b>28 to the storage unit 22 so as to store it in the storage unit 22 .
  • the document creation support apparatus 10 classifies a plurality of abnormal shadows into groups by performing analysis processing on a diagnosis target image.
  • an example will be described in which the document creation support apparatus 10 classifies a plurality of abnormal shadows into groups based on the input from the user.
  • the document creation support apparatus 10 includes an acquisition unit 40, an extraction unit 42, an analysis unit 44, a classification unit 46A, a first generation unit 48A, a first display control unit 50A, a first reception unit 52A, a first 2 includes a display control unit 54 , a second reception unit 56 , a second generation unit 58 and an output unit 60 .
  • an acquisition unit 40 By executing the document creation support program 30 by the CPU 20, an acquisition unit 40, an extraction unit 42, an analysis unit 44, a classification unit 46A, a first generation unit 48A, a first display control unit 50A, a first reception unit 52A, a second It functions as a display control unit 54 , a second reception unit 56 , a second generation unit 58 and an output unit 60 .
  • the first display control unit 50A performs control to display the diagnosis target image on the display 23. During this control, the first display control unit 50A may perform control for highlighting the abnormal shadow extracted by the extraction unit 42. FIG. In this case, for example, the first display control unit 50A performs control for emphasizing the abnormal shadow by painting the inside of the area of the abnormal shadow with a preset color, enclosing the abnormal shadow with a rectangular frame line, or the like. .
  • the user performs an operation of individually specifying two or more abnormal shadows for which an interpretation report is to be created for the image to be diagnosed displayed on the display 23 .
  • the first accepting unit 52A accepts designation of two or more abnormal shadows in the diagnosis target image by the user.
  • the classification unit 46A classifies two or more abnormal shadows into one group based on the input from the user. Specifically, the classification unit 46A classifies two or more abnormal shadows whose designation is received by the first reception unit 52A, that is, two or more abnormal shadows individually designated by the user into one group. .
  • the classification unit 46A classifies into one group two or more abnormal shadows included in the region specified by the user in the diagnosis target image.
  • the first generation unit 48A generates a plurality of observation sentences only for two or more abnormal shadows included in one group classified by the classification unit 46A, out of the plurality of abnormal shadows extracted by the extraction unit 42.
  • This remark text generation process is the same as the remark text generation process performed by the first generation unit 48 according to the first embodiment, and thus description thereof is omitted.
  • the document creation support process shown in FIG. 11 is executed.
  • the document creation support process shown in FIG. 11 is executed, for example, when the user inputs an instruction to start execution. Steps in FIG. 11 that execute the same processing as in FIG. 9 are given the same step numbers and descriptions thereof are omitted.
  • the first display control unit 50A performs control to display the diagnosis target image acquired at step S10 on the display 23.
  • the first reception unit 52A receives designation of two or more abnormal shadows by the user for the diagnosis target image displayed on the display 23 at step S16A.
  • the classification unit 46A classifies into one group the two or more abnormal shadows whose designation has been accepted at step S18A.
  • the first generation unit 48A generates a plurality of observation sentences only for two or more abnormal shadows included in one group classified in step S20A among the plurality of abnormal shadows extracted in step S12. do.
  • step S24 the same processing as in the first embodiment is executed based on the plurality of observation sentences generated in step S22A.
  • an abnormal shadow region is applied as a region of interest
  • the present invention is not limited to this.
  • an organ region or an anatomical structure region may be applied.
  • the first generation unit 48 may generate a plurality of finding sentences as described below.
  • the first generation unit 48 sets two or more abnormal shadows designated by the user as one group, and A plurality of observation sentences may be generated.
  • the document creation support device 10 may further include the classification section 46 according to the first embodiment.
  • the first display control unit 50A may perform control to display on the display 23 information recommending designation of an undesignated abnormal shadow.
  • two or more abnormal shadows designated by the user are classified into one group by the classification unit 46A based on the information.
  • the classification unit 46A may classify the unspecified abnormal shadows into the same group as the abnormal shadows designated by the user.
  • the document creation support apparatus 10 may operate in the same manner as when the group includes one region of interest and when the group includes two or more regions of interest.
  • the hardware structure of a processing unit that executes various processes includes the following various processors ( processor) can be used.
  • the various processors include, in addition to the CPU, which is a general-purpose processor that executes software (programs) and functions as various processing units, circuits such as FPGAs (Field Programmable Gate Arrays), etc.
  • Programmable Logic Device PLD which is a processor whose configuration can be changed, ASIC (Application Specific Integrated Circuit) etc. Circuits, etc. are included.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of multiple FPGAs, a combination of a CPU and an FPGA). combination). Also, a plurality of processing units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor functions as multiple processing units.
  • SoC System on Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • an electric circuit combining circuit elements such as semiconductor elements can be used.
  • the document creation support program 30 is provided in a form recorded in a recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), and a USB (Universal Serial Bus) memory.
  • a recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), and a USB (Universal Serial Bus) memory.
  • the document creation support program 30 may be downloaded from an external device via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

文書作成支援装置は、医用画像、及び医用画像に含まれる複数の関心領域を表す情報を取得し、複数の関心領域のうちの２つ以上の関心領域に対する複数の所見文を生成し、複数の所見文を表示する制御を行い、複数の所見文の中からの１つの所見文の選択を受け付け、１つの所見文を含む医療文書を生成する。

Description

文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
　本開示は、文書作成支援装置、文書作成支援方法、及び文書作成支援プログラムに関する。
　従来、医師による読影レポート等の医療文書の作成を効率化するための技術が提案されている。例えば、特開平７－３２３０２４号公報には、医師が指定した医用画像上の座標と、医用画像を部位毎の領域に分割したデータとから、指定された座標が示す部位を求め、異常のあった部位と疾患の名称とを出力する技術が開示されている。
　また、特開２０１７－０６８３８０号公報には、医用画像における複数の注目領域それぞれについての個別の所見情報を入力するための個別入力領域と、同一グループに含まれる注目領域に共通する所見情報を入力するための共通入力領域とを表示する技術が開示されている。
　しかしながら、特開平７－３２３０２４号公報に記載の技術では、複数の関心領域それぞれについて個別に疾患名が出力されるため、複数の関心領域が含まれる医用画像全体についての医療文書を作成する際には、医師の負担が大きくなってしまう場合がある。また、特開２０１７－０６８３８０号公報に記載の技術では、所見情報の入力領域を提示するだけであり、所見情報の入力は医師が行うため、医師の負担が大きくなってしまう場合がある。これらの場合、医療文書の作成を適切に支援できない。
　本開示は、以上の事情を鑑みてなされたものであり、医用画像に複数の関心領域が含まれる場合においても医療文書の作成を適切に支援することができる文書作成支援装置、文書作成支援方法、及び文書作成支援プログラムを提供することを目的とする。
　本開示の文書作成支援装置は、少なくとも一つのプロセッサを備える文書作成支援装置であって、プロセッサは、医用画像、及び医用画像に含まれる複数の関心領域を表す情報を取得し、複数の関心領域のうちの２つ以上の関心領域に対する複数の所見文を生成し、複数の所見文を表示する制御を行い、複数の所見文の中からの１つの所見文の選択を受け付け、１つの所見文を含む医療文書を生成する。
　なお、本開示の文書作成支援装置は、プロセッサが、医用画像に対する解析処理により複数の関心領域を少なくとも１つのグループに分類し、同一グループに含まれる２つ以上の関心領域に対する複数の所見文を生成してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、医用画像に含まれる関心領域部分の画像の類似度に基づいて２つ以上の関心領域を同一のグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、医用画像に含まれる関心領域部分の画像から抽出される特徴量の類似度に基づいて２つ以上の関心領域を同一のグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、関心領域から導出される疾患名が同一の２つ以上の関心領域を同一のグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、複数の関心領域それぞれに対する所見文を生成し、生成した所見文の類似度に基づいて２つ以上の関心領域を同一のグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、関心領域間の距離が閾値未満の２つ以上の関心領域を同一のグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、関心領域の解剖学的関連性に基づいて複数の関心領域を少なくとも１つのグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、関心領域の疾病特徴の関連性に基づいて複数の関心領域を少なくとも１つのグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、複数の所見文を生成した後、医用画像を表示する制御を行い、医用画像上における関心領域の指定を受け付け、指定された関心領域と同一グループの２つ以上の関心領域に対する複数の所見文を表示する制御を行ってもよい。
　また、本開示の文書作成支援装置は、プロセッサが、グループ内の少なくとも１つの関心領域の指定を受け付けた場合に、そのグループの２つ以上の関心領域に対する複数の所見文を表示する制御を行ってもよい。
　また、本開示の文書作成支援装置は、プロセッサが、グループ内の過半数の関心領域の指定を受け付けた場合に、そのグループの２つ以上の関心領域に対する複数の所見文を表示する制御を行ってもよい。
　また、本開示の文書作成支援装置は、プロセッサが、グループ内の全ての関心領域の指定を受け付けた場合に、そのグループの２つ以上の関心領域に対する複数の所見文を表示する制御を行ってもよい。
　また、本開示の文書作成支援装置は、プロセッサが、医用画像上における関心領域の指定を受け付けた後に、所見文の生成指示を受け付けた場合、指定された関心領域と同一グループの２つ以上の関心領域に対する複数の所見文を表示する制御を行ってもよい。
　また、本開示の文書作成支援装置は、プロセッサが、所見文の生成指示を受け付けた場合で、かつ指定された関心領域と同一グループの関心領域に未指定の関心領域が存在する場合、未指定の関心領域が存在することを報知してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、所見文の生成指示を受け付けた場合で、かつ指定された関心領域と同一グループの関心領域に未指定の関心領域が存在する場合、未指定の関心領域を表す情報を表示する制御を行ってもよい。
　また、本開示の文書作成支援装置は、プロセッサが、所見文の生成指示を受け付けた場合で、かつ指定された２つ以上の関心領域が異なる複数のグループに属する場合、指定された２つ以上の関心領域に対する複数の所見文を生成してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、ユーザからの入力に基づいて２つ以上の関心領域を１つのグループに分類し、複数の関心領域のうち、１つのグループに含まれる２つ以上の関心領域のみに対する複数の所見文を生成してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、医用画像におけるユーザにより指定された領域に含まれる２つ以上の関心領域を１つのグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、ユーザにより個々に指定された２つ以上の関心領域を１つのグループに分類してもよい。
　また、本開示の文書作成支援装置は、プロセッサが、医用画像に対する解析処理により複数の関心領域を少なくとも１つのグループに分類し、医用画像上における関心領域の指定を受け付け、かつ指定された関心領域と同一グループの関心領域に未指定の関心領域が存在する場合、未指定の関心領域を指定することを推奨する情報を表示する制御を行ってもよい。
　また、本開示の文書作成支援装置は、プロセッサが、医用画像に対する解析処理により複数の関心領域を少なくとも１つのグループに分類し、医用画像上における関心領域の指定を受け付け、かつ指定された関心領域と同一グループの関心領域に未指定の関心領域が存在する場合、未指定の関心領域をユーザにより指定された関心領域と同一グループに分類してもよい。
　また、本開示の文書作成支援方法は、医用画像、及び医用画像に含まれる複数の関心領域を表す情報を取得し、複数の関心領域のうちの２つ以上の関心領域に対する複数の所見文を生成し、複数の所見文を表示する制御を行い、複数の所見文の中からの１つの所見文の選択を受け付け、１つの所見文を含む医療文書を生成する処理を文書作成支援装置が備えるプロセッサが実行するものである。
　また、本開示の文書作成支援プログラムは、医用画像、及び医用画像に含まれる複数の関心領域を表す情報を取得し、複数の関心領域のうちの２つ以上の関心領域に対する複数の所見文を生成し、複数の所見文を表示する制御を行い、複数の所見文の中からの１つの所見文の選択を受け付け、１つの所見文を含む医療文書を生成する処理を文書作成支援装置が備えるプロセッサに実行させるためのものである。
　本開示によれば、医用画像に複数の関心領域が含まれる場合においても医療文書の作成を適切に支援することができる。
医療情報システムの概略構成を示すブロック図である。 文書作成支援装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る文書作成支援装置の機能的な構成の一例を示すブロック図である。 異常陰影の分類結果の一例を示す図である。 複数の所見文の一例を示す図である。 複数の所見文の表示画面の一例を示す図である。 未指定の異常陰影が存在することが報知された画面の一例を示す図である。 未指定の異常陰影が強調表示された画面の一例を示す図である。 第１実施形態に係る文書作成支援処理の一例を示すフローチャートである。 第２実施形態に係る文書作成支援装置の機能的な構成の一例を示すブロック図である。 第２実施形態に係る文書作成支援処理の一例を示すフローチャートである。 変形例に係る複数の所見文の表示画面の一例を示す図である。
　以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
　［第１実施形態］
　まず、図１を参照して、開示の技術に係る文書作成支援装置を適用した医療情報システム１の構成を説明する。医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の診断対象部位の撮影、及び撮影により取得された医用画像の保管を行うためのシステムである。また、医療情報システム１は、読影医による医用画像の読影と読影レポートの作成、及び依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
　図１に示すように、本実施形態に係る医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ワークステーション（WorkStation：ＷＳ）３、診療科ＷＳ４、画像サーバ５、画像データベース（DataBase：ＤＢ）６、読影レポートサーバ７、及び読影レポートＤＢ８を含む。撮影装置２、読影ＷＳ３、診療科ＷＳ４、画像サーバ５、及び読影レポートサーバ７は、有線又は無線のネットワーク９を介して互いに通信可能な状態で接続される。また、画像ＤＢ６は画像サーバ５に接続され、読影レポートＤＢ８は読影レポートサーバ７に接続される。
　撮影装置２は、被写体の診断対象部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。撮影装置２は、例えば、単純Ｘ線撮影装置、内視鏡装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、及びＰＥＴ（Positron Emission Tomography）装置等であってもよい。撮影装置２により生成された医用画像は画像サーバ５に送信され、保存される。
　診療科ＷＳ４は、診療科の医師が医用画像の詳細観察、読影レポートの閲覧、及び電子カルテの作成等に利用するコンピュータである。診療科ＷＳ４では、患者の電子カルテの作成、画像サーバ５に対する画像の閲覧要求、及び画像サーバ５から受信した医用画像の表示の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、診療科ＷＳ４では、医用画像中の疾患を疑う領域の自動検出又は強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、及び読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
　画像サーバ５には、汎用のコンピュータにデータベース管理システム（DataBase Management System：ＤＢＭＳ）の機能を提供するソフトウェアプログラムが組み込まれる。画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
　画像ＤＢ６には、撮影装置２において取得された医用画像を表す画像データと、画像データに付帯する付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体である患者を識別するための患者ＩＤ、検査内容を識別するための検査ＩＤ、及び医用画像毎に割り当てられるユニークなＩＤ（ＵＩＤ：unique identification）等の情報が含まれる。また、付帯情報には、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者情報（例えば、患者の氏名、年齢、及び性別等）、検査部位（すなわち、撮影部位）、撮影情報（例えば、撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、及び造影剤の使用有無等）、及び１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク９経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３に送信する。
　読影レポートサーバ７には、汎用のコンピュータにＤＢＭＳの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートＤＢ８から検索する。
　読影レポートＤＢ８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、及び所見の確信度等の情報が記録された読影レポートが登録される。
　ネットワーク９は、病院内の各種機器を接続する有線又は無線のローカルエリアネットワークである。読影ＷＳ３が他の病院又は診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネット又は専用回線で接続する構成としてもよい。何れの場合にも、ネットワーク９は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。
　読影ＷＳ３は、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、及び解析結果に基づく読影レポートの作成を行う。また、読影ＷＳ３は、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、及び読影レポートサーバ７から受信した読影レポートの表示等を行う。読影ＷＳ３は、以上の各処理を、各処理のためのソフトウェアプログラムを実行することにより行う。読影ＷＳ３は、後述する文書作成支援装置１０を内包しており、上記の各処理のうち、文書作成支援装置１０が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、文書作成支援装置１０が行う処理以外の処理を読影ＷＳ３において行わず、別途その処理を行うコンピュータをネットワーク９に接続しておき、読影ＷＳ３からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。以下、読影ＷＳ３に内包される文書作成支援装置１０について詳細に説明する。
　次に、図２を参照して、本実施形態に係る文書作成支援装置１０のハードウェア構成を説明する。図２に示すように、文書作成支援装置１０は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、文書作成支援装置１０は、液晶ディスプレイ等のディスプレイ２３、キーボードとマウス等の入力装置２４、及びネットワーク９に接続されるネットワークＩ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、ディスプレイ２３、入力装置２４、及びネットワークＩ／Ｆ２５は、バス２７に接続される。
　記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、文書作成支援プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から文書作成支援プログラム３０を読み出してからメモリ２１に展開し、展開した文書作成支援プログラム３０を実行する。
　次に、図３を参照して、本実施形態に係る文書作成支援装置１０の機能的な構成について説明する。図３に示すように、文書作成支援装置１０は、取得部４０、抽出部４２、解析部４４、分類部４６、第１生成部４８、第１表示制御部５０、第１受付部５２、第２表示制御部５４、第２受付部５６、第２生成部５８、及び出力部６０を含む。ＣＰＵ２０が文書作成支援プログラム３０を実行することにより、取得部４０、抽出部４２、解析部４４、分類部４６、第１生成部４８、第１表示制御部５０、第１受付部５２、第２表示制御部５４、第２受付部５６、第２生成部５８、及び出力部６０として機能する。
　取得部４０は、診断対象の医用画像（以下、「診断対象画像」という）を、ネットワークＩ／Ｆ２５を介して、画像サーバ５から取得する。なお、以下において、診断対象画像が、胸部ＣＴ画像である場合を例に説明する。
　抽出部４２は、取得部４０により取得された診断対象画像における関心領域の一例としての異常陰影を含む領域を抽出する。
　具体的には、抽出部４２は、診断対象画像から異常陰影を検出するための学習済みモデルＭ１を用いて、異常陰影を含む領域を抽出する。異常陰影とは、結節等の疾患を疑う陰影を意味する。学習済みモデルＭ１は、例えば、医用画像を入力とし、その医用画像に含まれる異常陰影に関する情報を出力とするＣＮＮ（Convolutional Neural Network）によって構成される。学習済みモデルＭ１は、例えば、異常陰影を含む医用画像と、その医用画像中の異常陰影が存在する領域を特定した情報と、の多数の組み合わせを学習用データとして用いた機械学習によって学習されたモデルである。
　抽出部４２は、診断対象画像を学習済みモデルＭ１に入力する。学習済みモデルＭ１は、入力された診断対象画像に含まれる異常陰影が存在する領域を特定した情報を出力する。なお、抽出部４２は、公知のＣＡＤ（Computer-Aided Diagnosis）により異常陰影を含む領域を抽出してもよいし、ユーザにより指定された領域を、異常陰影を含む領域として抽出してもよい。
　解析部４４は、抽出部４２により抽出された異常陰影それぞれについて解析を行い、異常陰影の所見を導出する。具体的には、抽出部４２は、異常陰影の所見を導出するための学習済みモデルＭ２を用いて、異常陰影の所見を導出する。学習済みモデルＭ２は、例えば、異常陰影を含む医用画像及びその異常陰影が存在する医用画像中の領域を特定した情報を入力とし、その異常陰影の所見を出力とするＣＮＮによって構成される。学習済みモデルＭ２は、例えば、異常陰影を含む医用画像及びその医用画像中の異常陰影が存在する領域を特定した情報と、その異常陰影の所見との多数の組み合わせを学習用データとして用いた機械学習によって学習されたモデルである。
　解析部４４は、診断対象画像及びその診断対象画像について抽出部４２により抽出された異常陰影が存在する領域を特定した情報を学習済みモデルＭ２に入力する。学習済みモデルＭ２は、入力された診断対象画像に含まれる異常陰影の所見を出力する。異常陰影の所見の例としては、位置、サイズ、透過性（例えば、充実性又はすりガラス）、スピキュラの有無、石灰化の有無、辺縁不整の有無、胸膜陥入の有無、胸壁接触の有無、及び異常陰影の疾患名等が挙げられる。
　分類部４６は、診断対象画像に含まれる複数の異常陰影を表す情報を抽出部４２及び解析部４４から取得する。この異常陰影を表す情報とは、例えば、抽出部４２により抽出された異常陰影が存在する領域を特定した情報、及びその異常陰影について解析部４４により導出された異常陰影の所見を含む情報である。なお、分類部４６は、診断対象画像に含まれる複数の異常陰影を表す情報を診療科ＷＳ４等の外部装置から取得してもよい。この場合、抽出部４２及び解析部４４は、その外部装置が備えることになる。
　分類部４６は、解析部４４による診断対象画像に対する解析処理によって得られた解析結果に基づいて、抽出部４２により抽出された複数の異常陰影を少なくとも１つのグループに分類する。
　本実施形態では、分類部４６は、異常陰影の解剖学的関連性に基づいて複数の異常陰影を少なくとも１つのグループに分類する。具体的には、分類部４６は、解剖学的に区分けされた領域であって、同一の領域に位置する異常陰影を同一のグループに分類する。解剖学的に区分けされた領域とは、肺等の臓器の領域でもよいし、右肺及び左肺等の領域でもよいし、右肺上葉、右肺中葉、右肺下葉、左肺上葉、及び左肺下葉等の領域でもよい。
　分類部４６による異常陰影の分類結果の一例を図４に示す。図４の例では、斜線で塗りつぶされた８つの領域が異常陰影を示している。また、図４の例では、同一の破線の矩形で囲まれた異常陰影が同一のグループに分類されることを示している。すなわち、図４の例では、８つの異常陰影が４つのグループに分類されている。
　なお、分類部４６は、診断対象画像に含まれる異常陰影部分の画像の類似度が閾値以上の２つ以上の異常陰影を同一のグループに分類してもよい。この場合の画像の類似度としては、例えば、画像から抽出された複数の特徴量をベクトル化した特徴量ベクトルの距離の逆数を適用することができる。
　また、分類部４６は、診断対象画像に含まれる異常陰影部分の画像から抽出される特徴量の類似度が閾値以上の２つ以上の異常陰影を同一のグループに分類してもよい。
　また、分類部４６は、異常陰影について解析部４４により導出された疾患名が同一の２つ以上の異常陰影を同一のグループに分類してもよい。
　また、分類部４６は、抽出部４２により抽出された複数の異常陰影それぞれに対する所見文を、解析部４４により導出された所見に基づいて生成し、生成した所見文の類似度が閾値以上の２つ以上の異常陰影を同一のグループに分類してもよい。例えば、分類部４６は、入力された単語からテキストを生成するように学習が行われたリカレントニューラルネットワークに、解析部４４により導出された所見を入力することによって所見文を生成する。所見文の類似度の導出処理には、テキストに含まれる単語を集合の要素と見なして集合間の類似度を導出する手法、及びニューラルネットワークを用いたテキスト間の類似度の導出手法等の公知の手法を適用することができる。
　また、分類部４６は、異常陰影間の距離が閾値未満の２つ以上の異常陰影を同一のグループに分類してもよい。異常陰影間の距離としては、例えば、異常陰影の重心間の距離を適用することができる。
　また、分類部４６は、異常陰影の疾病特徴の関連性に基づいて複数の異常陰影を少なくとも１つのグループに分類してもよい。この場合の疾病特徴の関連性の例としては、がんが原発性であるか、又は転移性であるか等が挙げられる。この場合、例えば、分類部４６は、原発性のがんと、そのがんから転移した転移性のがんとを同一のグループに分類する。
　第１生成部４８は、分類部４６により異常陰影が分類された各グループについて、同一グループに含まれる２つ以上の異常陰影に対する複数の所見文を生成する。具体的には、第１生成部４８は、入力された単語からテキストを生成するように学習が行われたリカレントニューラルネットワークに、同一グループに含まれる２つ以上の異常陰影について解析部４４により導出された所見を入力することによって複数の所見文を生成する。第１生成部４８により各グループについて生成される所見文の一例を図５に示す。図５では、４つのグループそれぞれについて、グループに含まれる異常陰影に関する複数の所見文が生成される例を示している。
　なお、所見文の数は、２つでもよいし、３つ以上でもよいし、グループ間で異なっていてもよい。また、例えば、第１生成部４８は、解析部４４により異なる複数組の所見が確信度と共に導出される場合、所見の異なる複数の所見文を生成してもよい。また、例えば、第１生成部４８は、解析部４４により一組の所見が導出される場合、所見文に含まれる所見の項目数が異なる複数の所見文を生成してもよい。また、例えば、第１生成部４８は、意味は同じではあるが、表現の異なる複数の所見文を生成してもよい。
　第１表示制御部５０は、第１生成部４８により複数の所見文が生成された後、診断対象画像をディスプレイ２３に表示する制御を行う。なお、この制御の際、第１表示制御部５０は、抽出部４２により抽出された異常陰影を強調表示する制御を行ってもよい。この場合、例えば、第１表示制御部５０は、異常陰影の領域内を予め設定された色で塗りつぶすこと、又は異常陰影を矩形の枠線で囲むこと等によって異常陰影を強調表示する制御を行う。
　ユーザは、ディスプレイ２３に表示された診断対象画像に対して、医療文書の一例としての読影レポートの作成対象とする異常陰影を指定する操作を行う。第１受付部５２は、ユーザによる診断対象画像上における１つの異常陰影の指定を受け付ける。
　第２表示制御部５４は、第１受付部５２により指定が受け付けられた異常陰影、すなわち、ユーザにより指定された１つの異常陰影と同一グループの２つ以上の異常陰影に対して第１生成部４８により生成された複数の所見文をディスプレイ２３に表示する制御を行う。
　一例として図６に示すように、第２表示制御部５４による制御により、ユーザにより指定された異常陰影と同一グループの３つの異常陰影に対する複数の所見文がディスプレイ２３に表示される。図６の例では、ユーザにより指定された異常陰影が矢印で指し示され、その異常陰影と同一グループの異常陰影が破線の矩形で囲まれている。
　なお、第２表示制御部５４は、第１生成部４８により生成された複数の所見文をグループ毎に表示する制御を行ってもよい。具体的には、一例として図１２に示すように、第２表示制御部５４は、各グループについて第１生成部４８により生成された複数の所見文を、各グループに対応する位置に表示する制御を行う。図１２では、右肺に相当するグループ１の複数の所見文は、右肺に対応する位置に表示され、左肺に相当するグループ２の複数の所見文は、左肺に対応する位置に表示される例を示している。
　また、第２表示制御部５４は、グループを視認可能に表示する制御を行ってもよい。具体的には、例えば、第２表示制御部５４は、図４に示す破線をディスプレイ２３に表示する制御を行う。
　また、第２表示制御部５４は、予め定められた領域以外に位置する異常陰影が属するグループについては所見文を表示しなくてもよい。例えば、予め定められた領域が肺の領域である場合、第２表示制御部５４は、肺の領域以外に位置する異常陰影が属するグループについては所見文を表示しない。この場合、図５に示す所見文のうち、グループ１及びグループ２に関する所見文のみがディスプレイ２３に表示される。また、この場合における予め定められた領域は、診断の目的に応じて設定されてもよい。例えば、肺の診断を目的とすることがユーザにより入力された場合、予め定められた領域として、肺の領域が設定される。
　また、第２表示制御部５４は、第１受付部５２によりグループ内の２つの異常陰影の指定が受け付けられた場合に、そのグループの２つ以上の異常陰影に対して第１生成部４８により生成された複数の所見文をディスプレイ２３に表示する制御を行ってもよい。また、第２表示制御部５４は、第１受付部５２によりグループ内の過半数の異常陰影の指定が受け付けられた場合に、そのグループの２つ以上の異常陰影に対して第１生成部４８により生成された複数の所見文をディスプレイ２３に表示する制御を行ってもよい。また、第２表示制御部５４は、第１受付部５２によりグループ内の全ての異常陰影の指定が受け付けられた場合に、そのグループの２つ以上の異常陰影に対して第１生成部４８により生成された複数の所見文をディスプレイ２３に表示する制御を行ってもよい。
　また、第２表示制御部５４は、第１受付部５２により診断対象画像上における異常陰影の指定が受け付けられた後に、所見文の生成指示が受け付けられた場合に、指定された異常陰影と同一グループの２つ以上の異常陰影に対して第１生成部４８により生成された複数の所見文をディスプレイ２３に表示する制御を行ってもよい。この場合における所見文の生成指示は、例えば、ユーザがディスプレイ２３に表示された所見文生成ボタンを押下した場合に、第１受付部５２により受け付けられる。
　また、第２表示制御部５４は、第１受付部５２により所見文の生成指示が受け付けられた場合で、かつ指定された異常陰影と同一グループの異常陰影に未指定の異常陰影が存在する場合、未指定の異常陰影が存在することを報知してもよい。具体的には、一例として図７に示すように、第２表示制御部５４は、同一グループに未指定の異常陰影が存在する旨のメッセージをディスプレイ２３に表示する制御を行うことによって、未指定の異常陰影が存在することを報知する。図７では、破線の矩形で囲まれた同一グループの３つの異常陰影の中から矢印で指し示された１つの異常陰影が指定された後に、所見文生成ボタンが押下された例を示している。
　また、第２表示制御部５４は、第１受付部５２により所見文の生成指示が受け付けられた場合で、かつ指定された異常陰影と同一グループの異常陰影に未指定の異常陰影が存在する場合、未指定の異常陰影を表す情報を表示する制御を行ってもよい。具体的には、一例として図８に示すように、第２表示制御部５４は、未指定の異常陰影を実線の矩形で囲むことによって、未指定の異常陰影を強調表示する制御を行う。図８では、破線の矩形で囲まれた同一グループの３つの異常陰影の中から矢印で指し示された１つの異常陰影が指定された後に、所見文生成ボタンが押下された例を示している。
　ユーザは、ディスプレイ２３に表示された複数の所見文の中から、読影レポートに記載する１つの所見文を選択する。第２受付部５６は、ユーザによる複数の所見文の中からの１つの所見文の選択を受け付ける。第２生成部５８は、第２受付部５６により選択が受け付けられた１つの所見文を含む読影レポートを生成する。
　出力部６０は、第２生成部５８により生成された読影レポートを記憶部２２に出力することによって記憶部２２に記憶する制御を行う。なお、出力部６０は、第２生成部５８により生成された読影レポートをディスプレイ２３に出力することによってディスプレイ２３に表示する制御を行ってもよい。また、出力部６０は、第２生成部５８により生成された読影レポートを読影レポートサーバ７に出力することによって読影レポートの登録要求を読影レポートサーバ７に送信してもよい。
　次に、図９を参照して、本実施形態に係る文書作成支援装置１０の作用を説明する。ＣＰＵ２０が文書作成支援プログラム３０を実行することによって、図９に示す文書作成支援処理が実行される。図９に示す文書作成支援処理は、例えば、ユーザにより実行開始の指示が入力された場合に実行される。
　図９のステップＳ１０で、取得部４０は、診断対象画像を、ネットワークＩ／Ｆ２５を介して、画像サーバ５から取得する。ステップＳ１２で、抽出部４２は、前述したように、学習済みモデルＭ１を用いて、ステップＳ１０で取得された診断対象画像における異常陰影を含む領域を抽出する。ステップＳ１４で、解析部４４は、前述したように、学習済みモデルＭ２を用いて、ステップＳ１２で抽出された異常陰影それぞれについて解析を行い、異常陰影の所見を導出する。
　ステップＳ１６で、分類部４６は、前述したように、ステップＳ１４による解析結果に基づいて、ステップＳ１２で抽出された複数の異常陰影を少なくとも１つのグループに分類する。ステップＳ１８で、第１生成部４８は、前述したように、ステップＳ１６で異常陰影が分類された各グループについて、同一グループに含まれる２つ以上の異常陰影に対する複数の所見文を生成する。
　ステップＳ２０で、第１表示制御部５０は、ステップＳ１０で取得された診断対象画像をディスプレイ２３に表示する制御を行う。ステップＳ２２で、第１受付部５２は、ステップＳ２０でディスプレイ２３に表示された診断対象画像に対するユーザによる１つの異常陰影の指定を受け付ける。ステップＳ２４で、第２表示制御部５４は、ステップＳ２２で指定が受け付けられた異常陰影と同一グループの２つ以上の異常陰影に対してステップＳ１８で生成された複数の所見文をディスプレイ２３に表示する制御を行う。
　ステップＳ２６で、第２受付部５６は、ステップＳ２４でディスプレイ２３に表示された複数の所見文に対するユーザによる１つの所見文の選択を受け付ける。ステップＳ２８で、第２生成部５８は、ステップＳ２６で選択が受け付けられた１つの所見文を含む読影レポートを生成する。ステップＳ３０で、出力部６０は、ステップＳ２８で生成された読影レポートを記憶部２２に出力することによって記憶部２２に記憶する制御を行う。ステップＳ３０の処理が終了すると、文書作成支援処理が終了する。
　以上説明したように、本実施形態によれば、医用画像に複数の関心領域が含まれる場合においても医療文書の作成を適切に支援することができる。
　［第２実施形態］
　開示の技術の第２実施形態を説明する。なお、本実施形態に係る医療情報システム１の構成及び文書作成支援装置１０のハードウェア構成は、第１実施形態と同一であるため、説明を省略する。
　第１実施形態では、文書作成支援装置１０が診断対象画像に対する解析処理を行うことによって複数の異常陰影をグループに分類する形態例を説明した。本実施形態では、文書作成支援装置１０がユーザからの入力に基づいて複数の異常陰影をグループに分類する形態例を説明する。
　図１０を参照して、本実施形態に係る文書作成支援装置１０の機能的な構成について説明する。第１実施形態に係る文書作成支援装置１０と同一の機能を有する機能部については、同一の符号を付して説明を省略する。図１０に示すように、文書作成支援装置１０は、取得部４０、抽出部４２、解析部４４、分類部４６Ａ、第１生成部４８Ａ、第１表示制御部５０Ａ、第１受付部５２Ａ、第２表示制御部５４、第２受付部５６、第２生成部５８、及び出力部６０を含む。ＣＰＵ２０が文書作成支援プログラム３０を実行することにより、取得部４０、抽出部４２、解析部４４、分類部４６Ａ、第１生成部４８Ａ、第１表示制御部５０Ａ、第１受付部５２Ａ、第２表示制御部５４、第２受付部５６、第２生成部５８、及び出力部６０として機能する。
　第１表示制御部５０Ａは、診断対象画像をディスプレイ２３に表示する制御を行う。なお、この制御の際、第１表示制御部５０Ａは、抽出部４２により抽出された異常陰影を強調表示する制御を行ってもよい。この場合、例えば、第１表示制御部５０Ａは、異常陰影の領域内を予め設定された色で塗りつぶすこと、又は異常陰影を矩形の枠線で囲むこと等によって異常陰影を強調表示する制御を行う。
　ユーザは、ディスプレイ２３に表示された診断対象画像に対して、読影レポートの作成対象とする２つ以上の異常陰影を個々に指定する操作を行う。第１受付部５２Ａは、ユーザによる診断対象画像における２つ以上の異常陰影の指定を受け付ける。
　分類部４６Ａは、ユーザからの入力に基づいて２つ以上の異常陰影を１つのグループに分類する。具体的には、分類部４６Ａは、第１受付部５２Ａにより指定が受け付けられた２つ以上の異常陰影、すなわち、ユーザにより個々に指定された２つ以上の異常陰影を１つのグループに分類する。
　なお、ユーザは、診断対象画像に対するマウスのドラッグ操作等による範囲指定により２つ以上の異常陰影を指定してもよい。この場合、分類部４６Ａは、診断対象画像におけるユーザにより指定された領域に含まれる２つ以上の異常陰影を１つのグループに分類する。
　第１生成部４８Ａは、抽出部４２により抽出された複数の異常陰影のうち、分類部４６Ａにより分類された１つのグループに含まれる２つ以上の異常陰影のみに対する複数の所見文を生成する。この所見文の生成処理は、第１実施形態に係る第１生成部４８による所見文の生成処理と同様であるため、説明を省略する。
　次に、図１１を参照して、本実施形態に係る文書作成支援装置１０の作用を説明する。ＣＰＵ２０が文書作成支援プログラム３０を実行することによって、図１１に示す文書作成支援処理が実行される。図１１に示す文書作成支援処理は、例えば、ユーザにより実行開始の指示が入力された場合に実行される。図１１における図９と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。
　図１１のステップＳ１６Ａで、第１表示制御部５０Ａは、ステップＳ１０で取得された診断対象画像をディスプレイ２３に表示する制御を行う。ステップＳ１８Ａで、第１受付部５２Ａは、ステップＳ１６Ａでディスプレイ２３に表示された診断対象画像に対するユーザによる２つ以上の異常陰影の指定を受け付ける。
　ステップＳ２０Ａで、分類部４６Ａは、ステップＳ１８Ａで指定が受け付けられた２つ以上の異常陰影を１つのグループに分類する。ステップＳ２２Ａで、第１生成部４８Ａは、ステップＳ１２で抽出された複数の異常陰影のうち、ステップＳ２０Ａで分類された１つのグループに含まれる２つ以上の異常陰影のみに対する複数の所見文を生成する。ステップＳ２４以降は、ステップＳ２２Ａで生成された複数の所見文に基づいて、第１実施形態と同様の処理が実行される。
　以上説明したように、本実施形態によれば、第１実施形態と同様の効果を奏することができる。
　なお、上記各実施形態では、関心領域として、異常陰影の領域を適用した場合について説明したが、これに限定されない。関心領域として、臓器の領域を適用してもよいし、解剖学的構造の領域を適用してもよい。
　また、上記第１実施形態において、ユーザにより異なるグループに属する２つ以上の異常陰影が指定された場合、すなわち、第１受付部５２により所見文の生成指示が受け付けられた場合で、かつ指定された２つ以上の異常陰影が異なる複数のグループに属する場合、第１生成部４８は、以下に示すように複数の所見文を生成してもよい。この場合、第１生成部４８は、第２実施形態に係る第１生成部４８Ａと同様に、ユーザにより指定された２つ以上の異常陰影を１つのグループとして、その２つ以上の異常陰影に対する複数の所見文を生成してもよい。
　また、上記第２実施形態において、文書作成支援装置１０は、第１実施形態に係る分類部４６を更に備えてもよい。この場合、第１受付部５２Ａにより診断対象画像上における異常陰影の指定が受け付けられ、かつ指定された異常陰影と同一グループの異常陰影に未指定の異常陰影が存在する場合、第１表示制御部５０Ａは、未指定の異常陰影を指定することを推奨する情報をディスプレイ２３に表示する制御を行ってもよい。この場合、その情報に基づいてユーザが指定した２つ以上の異常陰影が分類部４６Ａにより１つのグループに分類される。
　また、この場合、第１受付部５２Ａにより診断対象画像上における異常陰影の指定が受け付けられ、かつ指定された異常陰影と同一グループの異常陰影に未指定の異常陰影が存在する場合、分類部４６Ａは、未指定の異常陰影をユーザにより指定された異常陰影と同一グループに分類してもよい。
　また、上記各実施形態において、文書作成支援装置１０は、グループに含まれる関心領域が１つの場合でも、グループに含まれる関心領域が２つ以上の場合と同様に動作してもよい。
　また、上記各実施形態において、例えば、文書作成支援装置１０の各機能部のような各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　また、上記各実施形態では、文書作成支援プログラム３０が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。文書作成支援プログラム３０は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、文書作成支援プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　２０２１年４月３０日に出願された日本国特許出願２０２１－０７７６５０号の開示、及び２０２１年１２月２２日に出願された日本国特許出願２０２１－２０８５２１号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (24)

  1. 　少なくとも一つのプロセッサを備える文書作成支援装置であって、
    　前記プロセッサは、
    　医用画像、及び医用画像に含まれる複数の関心領域を表す情報を取得し、
    　前記複数の関心領域のうちの２つ以上の関心領域に対する複数の所見文を生成し、
    　前記複数の所見文を表示する制御を行い、
    　前記複数の所見文の中からの１つの所見文の選択を受け付け、
    　前記１つの所見文を含む医療文書を生成する
    　文書作成支援装置。
  2. 　前記プロセッサは、
    　前記医用画像に対する解析処理により前記複数の関心領域を少なくとも１つのグループに分類し、
    　同一グループに含まれる２つ以上の関心領域に対する複数の所見文を生成する
    　請求項１に記載の文書作成支援装置。
  3. 　前記プロセッサは、
    　前記医用画像に含まれる関心領域部分の画像の類似度に基づいて２つ以上の関心領域を同一のグループに分類する
    　請求項２に記載の文書作成支援装置。
  4. 　前記プロセッサは、
    　前記医用画像に含まれる関心領域部分の画像から抽出される特徴量の類似度に基づいて２つ以上の関心領域を同一のグループに分類する
    　請求項２又は請求項３に記載の文書作成支援装置。
  5. 　前記プロセッサは、
    　前記関心領域から導出される疾患名が同一の２つ以上の関心領域を同一のグループに分類する
    　請求項２から請求項４の何れか１項に記載の文書作成支援装置。
  6. 　前記プロセッサは、
    　前記複数の関心領域それぞれに対する所見文を生成し、
    　生成した所見文の類似度に基づいて２つ以上の関心領域を同一のグループに分類する
    　請求項２から請求項５の何れか１項に記載の文書作成支援装置。
  7. 　前記プロセッサは、
    　関心領域間の距離が閾値未満の２つ以上の関心領域を同一のグループに分類する
    　請求項２から請求項６の何れか１項に記載の文書作成支援装置。
  8. 　前記プロセッサは、
    　関心領域の解剖学的関連性に基づいて前記複数の関心領域を少なくとも１つのグループに分類する
    　請求項２から請求項７の何れか１項に記載の文書作成支援装置。
  9. 　前記プロセッサは、
    　関心領域の疾病特徴の関連性に基づいて前記複数の関心領域を少なくとも１つのグループに分類する
    　請求項２から請求項８の何れか１項に記載の文書作成支援装置。
  10. 　前記プロセッサは、
    　前記複数の所見文を生成した後、前記医用画像を表示する制御を行い、
    　前記医用画像上における関心領域の指定を受け付け、
    　指定された関心領域と同一グループの２つ以上の関心領域に対する前記複数の所見文を表示する制御を行う
    　請求項２から請求項９の何れか１項に記載の文書作成支援装置。
  11. 　前記プロセッサは、
    　グループ内の少なくとも１つの関心領域の指定を受け付けた場合に、そのグループの２つ以上の関心領域に対する前記複数の所見文を表示する制御を行う
    　請求項１０に記載の文書作成支援装置。
  12. 　前記プロセッサは、
    　グループ内の過半数の関心領域の指定を受け付けた場合に、そのグループの２つ以上の関心領域に対する前記複数の所見文を表示する制御を行う
    　請求項１１に記載の文書作成支援装置。
  13. 　前記プロセッサは、
    　グループ内の全ての関心領域の指定を受け付けた場合に、そのグループの２つ以上の関心領域に対する前記複数の所見文を表示する制御を行う
    　請求項１２に記載の文書作成支援装置。
  14. 　前記プロセッサは、
    　前記医用画像上における関心領域の指定を受け付けた後に、所見文の生成指示を受け付けた場合、指定された関心領域と同一グループの２つ以上の関心領域に対する前記複数の所見文を表示する制御を行う
    　請求項１０に記載の文書作成支援装置。
  15. 　前記プロセッサは、
    　前記所見文の生成指示を受け付けた場合で、かつ指定された関心領域と同一グループの関心領域に未指定の関心領域が存在する場合、未指定の関心領域が存在することを報知する
    　請求項１４に記載の文書作成支援装置。
  16. 　前記プロセッサは、
    　前記所見文の生成指示を受け付けた場合で、かつ指定された関心領域と同一グループの関心領域に未指定の関心領域が存在する場合、前記未指定の関心領域を表す情報を表示する制御を行う
    　請求項１５に記載の文書作成支援装置。
  17. 　前記プロセッサは、
    　前記所見文の生成指示を受け付けた場合で、かつ指定された２つ以上の関心領域が異なる複数のグループに属する場合、指定された２つ以上の関心領域に対する複数の所見文を生成する
    　請求項１４に記載の文書作成支援装置。
  18. 　前記プロセッサは、
    　ユーザからの入力に基づいて２つ以上の関心領域を１つのグループに分類し、
    　前記複数の関心領域のうち、前記１つのグループに含まれる２つ以上の関心領域のみに対する複数の所見文を生成する
    　請求項１に記載の文書作成支援装置。
  19. 　前記プロセッサは、
    　前記医用画像におけるユーザにより指定された領域に含まれる２つ以上の関心領域を１つのグループに分類する
    　請求項１８に記載の文書作成支援装置。
  20. 　前記プロセッサは、
    　ユーザにより個々に指定された２つ以上の関心領域を１つのグループに分類する
    　請求項１８に記載の文書作成支援装置。
  21. 　前記プロセッサは、
    　前記医用画像に対する解析処理により前記複数の関心領域を少なくとも１つのグループに分類し、
    　前記医用画像上における関心領域の指定を受け付け、かつ指定された関心領域と同一グループの関心領域に未指定の関心領域が存在する場合、未指定の関心領域を指定することを推奨する情報を表示する制御を行う
    　請求項２０に記載の文書作成支援装置。
  22. 　前記プロセッサは、
    　前記医用画像に対する解析処理により前記複数の関心領域を少なくとも１つのグループに分類し、
    　前記医用画像上における関心領域の指定を受け付け、かつ指定された関心領域と同一グループの関心領域に未指定の関心領域が存在する場合、前記未指定の関心領域をユーザにより指定された関心領域と同一グループに分類する
    　請求項２０に記載の文書作成支援装置。
  23. 　医用画像、及び医用画像に含まれる複数の関心領域を表す情報を取得し、
    　前記複数の関心領域のうちの２つ以上の関心領域に対する複数の所見文を生成し、
    　前記複数の所見文を表示する制御を行い、
    　前記複数の所見文の中からの１つの所見文の選択を受け付け、
    　前記１つの所見文を含む医療文書を生成する
    　処理を文書作成支援装置が備えるプロセッサが実行する文書作成支援方法。
  24. 　医用画像、及び医用画像に含まれる複数の関心領域を表す情報を取得し、
    　前記複数の関心領域のうちの２つ以上の関心領域に対する複数の所見文を生成し、
    　前記複数の所見文を表示する制御を行い、
    　前記複数の所見文の中からの１つの所見文の選択を受け付け、
    　前記１つの所見文を含む医療文書を生成する
    　処理を文書作成支援装置が備えるプロセッサに実行させるための文書作成支援プログラム。
PCT/JP2022/017410 2021-04-30 2022-04-08 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム WO2022230641A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023517416A JPWO2022230641A1 (ja) 2021-04-30 2022-04-08
US18/489,850 US20240046028A1 (en) 2021-04-30 2023-10-19 Document creation support apparatus, document creation support method, and document creation support program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-077650 2021-04-30
JP2021077650 2021-04-30
JP2021208521 2021-12-22
JP2021-208521 2021-12-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/489,850 Continuation US20240046028A1 (en) 2021-04-30 2023-10-19 Document creation support apparatus, document creation support method, and document creation support program

Publications (1)

Publication Number Publication Date
WO2022230641A1 true WO2022230641A1 (ja) 2022-11-03

Family

ID=83848105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017410 WO2022230641A1 (ja) 2021-04-30 2022-04-08 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム

Country Status (3)

Country Link
US (1) US20240046028A1 (ja)
JP (1) JPWO2022230641A1 (ja)
WO (1) WO2022230641A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023027663A (ja) * 2021-08-17 2023-03-02 富士フイルム株式会社 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785029A (ja) * 1993-06-29 1995-03-31 Shimadzu Corp 診断レポート作成装置
JP2009086765A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
JP2015187845A (ja) * 2014-03-11 2015-10-29 株式会社東芝 読影レポート作成装置および読影レポート作成システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785029A (ja) * 1993-06-29 1995-03-31 Shimadzu Corp 診断レポート作成装置
JP2009086765A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
JP2015187845A (ja) * 2014-03-11 2015-10-29 株式会社東芝 読影レポート作成装置および読影レポート作成システム

Also Published As

Publication number Publication date
JPWO2022230641A1 (ja) 2022-11-03
US20240046028A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
US20190279751A1 (en) Medical document creation support apparatus, method, and program
US20190295248A1 (en) Medical image specifying apparatus, method, and program
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
US20190267120A1 (en) Medical document creation support apparatus, method, and program
US20220366151A1 (en) Document creation support apparatus, method, and program
US20220028510A1 (en) Medical document creation apparatus, method, and program
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
US11688498B2 (en) Medical document display control apparatus, medical document display control method, and medical document display control program
US20230005580A1 (en) Document creation support apparatus, method, and program
US20220285011A1 (en) Document creation support apparatus, document creation support method, and program
US20220392595A1 (en) Information processing apparatus, information processing method, and information processing program
US20240046028A1 (en) Document creation support apparatus, document creation support method, and document creation support program
US20240029252A1 (en) Medical image apparatus, medical image method, and medical image program
US20230410305A1 (en) Information management apparatus, method, and program and information processing apparatus, method, and program
US11978274B2 (en) Document creation support apparatus, document creation support method, and document creation support program
US20220415461A1 (en) Information processing apparatus, information processing method, and information processing program
US20220391599A1 (en) Information saving apparatus, method, and program and analysis record generation apparatus, method, and program
WO2022239593A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
US20230281810A1 (en) Image display apparatus, method, and program
US20240029251A1 (en) Medical image analysis apparatus, medical image analysis method, and medical image analysis program
WO2022220158A1 (ja) 作業支援装置、作業支援方法、及び作業支援プログラム
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
WO2022224848A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
US20230070906A1 (en) Information processing apparatus, method, and program
US20230225681A1 (en) Image display apparatus, method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795556

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023517416

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22795556

Country of ref document: EP

Kind code of ref document: A1