[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2018189875A1 - 撮像装置および形態特徴データ表示方法 - Google Patents

撮像装置および形態特徴データ表示方法 Download PDF

Info

Publication number
WO2018189875A1
WO2018189875A1 PCT/JP2017/015223 JP2017015223W WO2018189875A1 WO 2018189875 A1 WO2018189875 A1 WO 2018189875A1 JP 2017015223 W JP2017015223 W JP 2017015223W WO 2018189875 A1 WO2018189875 A1 WO 2018189875A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
classification
unit
feature amount
extraction
Prior art date
Application number
PCT/JP2017/015223
Other languages
English (en)
French (fr)
Inventor
躍 前田
昭朗 池内
川俣　茂
大海 三瀬
朗 澤口
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to US16/604,918 priority Critical patent/US11321585B2/en
Priority to PCT/JP2017/015223 priority patent/WO2018189875A1/ja
Priority to JP2019512139A priority patent/JP6862538B2/ja
Publication of WO2018189875A1 publication Critical patent/WO2018189875A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Definitions

  • the present invention relates to an image classification apparatus, and more particularly to a display technique for image classification processing based on a classification model created by analyzing feature quantities of captured images.
  • differentiated cells produced by culturing undifferentiated pluripotent stem cells such as artificial pluripotent stem (iPS) cells and embryonic stem (ES) cells and inducing differentiation of pluripotent stem cells ) With a microscope, and a method for evaluating the state of the cell by capturing the characteristics of the image has been proposed.
  • undifferentiated pluripotent stem cells such as artificial pluripotent stem (iPS) cells and embryonic stem (ES) cells and inducing differentiation of pluripotent stem cells
  • Patent Document 1 an image of a cell group is acquired, individual cells are recognized from the cell group, and the cells are in an undifferentiated state based on morphological features such as circularity, maximum diameter, minimum diameter, area, etc. Or whether it is in a differentiated state.
  • Patent Document 2 describes a method of extracting a desired cell from an image of a captured cell group. Among them, a cell is characterized as a morphological feature amount for classifying a cell, such as a ratio between an open portion and an area in the cell. Classification is also performed by using feature amounts that cannot be obtained only from the outer contour of the. In Patent Documents 1 and 2, classification is automatically performed without using the user's hand once a classification model or learning classifier is created by using a classification model based on a threshold or machine learning.
  • Patent Document 3 in the method for creating teacher data for machine learning, the classification result based on the initial classification and the classification model, the accuracy, and the image are displayed side by side so that the user can easily determine the suitability of the classification model. .
  • the automatic classification result determined by the classification model generated by machine learning or the like cannot be used with full confidence, and the decision is finally made based on the knowledge and experience of a specialist. Therefore, it is desirable that there be a method for a specialist to efficiently classify and evaluate the initial classification data necessary for the teacher data and the final evaluation of the classification model result.
  • An object of the present invention is to provide an image classification apparatus, a display method thereof, and a program capable of efficiently creating necessary initial classification data and evaluating the result of a classification model based on the above-described problems. is there.
  • an image input unit that acquires an image
  • an image display unit that displays the acquired image
  • an image analysis unit that calculates a feature amount of the form from the image
  • a feature amount display unit that displays the feature amount
  • an extraction that specifies extraction and sorting conditions for the calculated feature amount
  • a sort condition input unit and an extraction or sort based on the conditions input from the extraction and sort condition input unit
  • Extraction for performing sort processing, sort processing unit, extraction, display for displaying processing result of sort processing unit, sort processing result display unit, user classification input unit for user to input classification destination for image
  • user classification Provided is an image classification device including a user classification result display unit that displays input content from an input unit.
  • a display method of an image classification device including an analysis classification unit and a display unit, wherein the analysis classification unit calculates a feature amount of the form from the acquired image. Based on the extraction and sorting conditions specified for the calculated feature value, the feature amount is extracted and sorted, and the display unit displays the acquired image, displays the calculated feature value, and the feature value.
  • a display method for displaying the input contents when a classification destination for an image is input by a user is displayed.
  • a program executed by an image classification apparatus including an analysis classification unit and a display unit, wherein the analysis classification unit is configured to extract feature amounts from the acquired images. Based on the extraction and sorting conditions specified for the calculated feature amount, the feature amount is extracted and sorted, the display unit displays the acquired image, the calculated feature amount is displayed, Provided is a program that displays the processing results of feature amount extraction and sort processing, and displays the input contents when the classification destination for the image is input by the user.
  • FIG. 1 is a block diagram showing a schematic configuration of a platelet evaluation system according to Example 1.
  • FIG. 1 is a schematic configuration diagram of a scanning charged particle microscope used in a system according to Embodiment 1.
  • FIG. 3 is a diagram illustrating a flowchart when teacher data and a classification model are created in the platelet evaluation system according to the first embodiment.
  • FIG. 3 is a flowchart showing when platelets are evaluated by the platelet evaluation system according to the first embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of a user interface of the platelet evaluation program according to the first embodiment.
  • FIG. 6 is a schematic diagram illustrating another example of a user interface of the platelet evaluation program according to the first embodiment.
  • FIG. 10 is a diagram illustrating extraction of each feature amount and highlighting of an evaluation result according to the first embodiment.
  • FIG. 3 is a diagram illustrating an example of a classification model of the platelet evaluation system according to the first embodiment.
  • FIG. FIG. 3 is a diagram illustrating an example of a user interface for work support of the platelet evaluation system according to the first embodiment.
  • FIG. 6 is a diagram for explaining an example of classification model creation work support according to the first embodiment.
  • FIG. 10 is a diagram for explaining another example of classification model creation work support according to the first embodiment.
  • the target of the image classification apparatus according to the present invention is not limited to cells, but in the following description of the present specification, the description will focus on the case of classifying captured cells such as platelets.
  • Example 1 is an example of an image classification device, its display method, and a program. That is, an image input unit that acquires an image, an image display unit that displays the acquired image, an image analysis unit that calculates a feature amount of the form from the image, a feature amount display unit that displays the calculated feature amount, An extraction that specifies extraction and sorting conditions for the calculated feature value, a sorting condition input unit, an extraction that performs extraction and sorting based on the conditions input from the extraction and sorting condition input unit, a sorting processing unit, Extraction / sort processing result display unit for displaying the processing result of the extraction / sort processing unit, user classification input unit for the user to input the classification destination for the image, and user classification for displaying the input content from the user classification input unit It is an Example of an image classification apparatus provided with a result display part, its display method, and a program.
  • the charged particle beam apparatus may be an imaging apparatus having a function of generating an image.
  • an X-ray other than an optical microscope such as a bright field microscope or a differential interference microscope, a fluorescence microscope, or a charged particle beam apparatus.
  • a platelet evaluation system for evaluating platelets that are differentiated cells derived from pluripotent stem cells (undifferentiated cells) will be described as an example.
  • the evaluation target of the apparatus, the feature data display method, and the program is not limited to platelets. That is, the evaluation target according to the present embodiment may be anything that can evaluate the quality and / or functionality of the target based on the form of the target and / or the characteristics of the internal structure.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the platelet evaluation system according to the first embodiment.
  • the platelet evaluation system of the present embodiment recognizes platelets from an image acquisition unit 100, an image input unit 102 to which the acquired image is input, an image display unit 103 that displays the input image, and the image.
  • An image analysis unit 104 that analyzes morphological feature values, a feature value display unit 105 that displays the analyzed morphological feature values, an extraction for arbitrarily extracting and sorting the corresponding platelets from the feature values, a sort condition input unit 106, Extraction that extracts and sorts the corresponding image based on the input information, sort processing unit 107, the extraction, extraction for displaying the sort processing result, sort processing result display unit 108, for the user to specify the classification destination
  • a user classification input unit 109, a user classification result display unit 110 for displaying a classification result by a user, and a classification model based on teacher data as a user classification result Classification model generating unit 111, using the classification model, the automatic classification unit 112 to classify the platelets from the feature includes an automatic classification result display unit 113 for displaying the results of automatic classification.
  • the image acquisition unit 100 includes a charged particle beam device 101, a processing unit 121, a control unit 122, an image generation unit 123, a storage unit 124, and
  • the image analysis unit 104, the extraction / sort processing unit 107, the classification model creation unit 111, and the automatic classification unit 112 may be collectively referred to as an analysis classification unit.
  • the image display unit 103, the feature amount display unit 105, the sort result display unit 108, the user classification result display unit 110, and the automatic classification result display unit 113 may be collectively referred to as a display unit. May be displayed together on one display screen.
  • the extraction / sorting condition input unit 106 and the user classification input unit 109 may be collectively referred to as an input unit, and these may be configured as one input unit.
  • FIG. 2 is a schematic configuration of a scanning charged particle microscope which is an example of the charged particle beam apparatus 101 of the image acquisition unit 100 in FIG.
  • the scanning charged particle microscope 201 is controlled by the control unit 122 and outputs a signal detected by the detector 206 to the image generation unit 123.
  • a charged particle beam 203 is generated from the charged particle gun 202, the direction and convergence of the charged particle beam 203 are controlled by passing the charged particle beam 203 through the electron lens 204, and the charged particle beam is irradiated or scanned. Observation can be performed at a magnification.
  • magnification may be the width of the field of view (Field Of View: FOV), the length (pixel size) indicated by one pixel in the case of a digital image, or the like.
  • a plurality of electron lenses 204 may be provided, and further, an electron lens for adjusting alignment, an electron lens for adjusting astigmatism, or an electron lens for beam deflection for scanning purposes. Also good.
  • a signal is acquired by detecting particles generated from the sample 205 with the detector 206.
  • a plurality of detectors 206 may be provided. Furthermore, a detector that detects different particles such as a detector that detects electrons and a detector that detects electromagnetic waves, or a specific energy or spin direction. It may be a detector that detects only particles within a range, or a detector that detects particles having different properties, such as a secondary charged particle detector and a backscattered charged particle detector such as a reflected electron. A plurality of detectors that detect particles of the same property may be provided at different positions. When a plurality of detectors are provided, a plurality of images can be acquired usually by one imaging.
  • the signal acquired by the detector 206 is formed as an image by the image generation unit 123.
  • the image generation unit 123 includes an image processing circuit including an A / D converter and an electric circuit such as an FPGA.
  • the signal detected by the detector 206 is A / D converted into a digital image.
  • the generated digital image is transferred to and stored in the storage unit 124 configured by a recording medium such as a semiconductor memory or a hard disk.
  • the sample 205 is in contact with the stage 207, and by moving the stage 207 under the control of the control unit 122, an image at an arbitrary position of the sample can be acquired.
  • Data exchanged between the above-described configurations is processed and controlled by the processing unit 121.
  • the processing unit 121 calculates a control value applied to the electron lens 204 according to the voltage value input by the input / output unit 125 and passes the control value to the control unit 122.
  • the control unit 122 inputs a designated control value to the electronic lens 204 in accordance with a command from the processing unit 121 and controls the voltage value to be the input value from the input unit 125.
  • the processing unit 121 also collects various input values and control values, and performs processing such as storing the conditions at the time of imaging together with the image in the storage unit 124.
  • the imaging conditions may be embedded in the image data, or may be stored as a separate file.
  • FIG. 3 is a flowchart showing the operation when the above-described apparatus of the present embodiment is applied to the platelet evaluation system.
  • the flow up to the acquisition of the above-described image and imaging conditions is the explanation of step 301 in FIG.
  • the operation process will be described below with reference to the flowchart of FIG.
  • the image acquired by the image acquisition unit 100 is input to the platelet evaluation program of the platelet evaluation system.
  • the platelet evaluation program of this embodiment is installed on a computer such as a PC.
  • the computer includes a central processing unit (CPU), a storage unit such as a memory, and input / output units such as a keyboard, a mouse, and a monitor, and operates when the program is executed by the CPU.
  • CPU central processing unit
  • storage unit such as a memory
  • input / output units such as a keyboard, a mouse, and a monitor
  • the number of computers is not necessarily one, and may be realized by communicating data such as images and feature quantities with a plurality of computers and a plurality of programs. Also, a part of the processing of the program may be executed by a logic circuit such as FPGA, a parallel processing device such as GPU, or a distributed high-speed computing system for the purpose of improving the processing speed and shortening the processing time.
  • a logic circuit such as FPGA, a parallel processing device such as GPU, or a distributed high-speed computing system for the purpose of improving the processing speed and shortening the processing time.
  • the image input unit 102 stores the acquired platelet image and imaging conditions at a specific position in a storage unit such as the storage unit 124.
  • the platelet evaluation program monitors folders and files below a specific position and automatically acquires images and imaging conditions.
  • the user reads a group of images under a specific folder and an imaging condition for each image by selecting a designated folder from a folder tree of a program described later (step 302). This is because in the platelet evaluation system, the folder is used as an examination unit of the platelet preparation to facilitate management.
  • the file management program is used.
  • a process such as recording image data in a specific memory location may be used instead, or the program may be directly executed via the control unit 122 or the processing unit 121 of the imaging apparatus.
  • An image may be acquired by performing communication between them.
  • the image input unit 102 may have a user interface so that an arbitrary image selected by the user can be acquired.
  • the morphological feature amount of the platelet image read from the image input unit 102 is calculated and stored by the image analysis unit 104 of the analysis classification unit (step 303).
  • the image analysis unit 104 performs region segmentation processing by image processing. Contour extraction is first performed on the contours of individual platelets included in the image data. Contour extraction is binarized using well-known image processing and image recognition techniques such as Otsu's binarization and p-tile method. Subsequently, the binarized image data is segmented (region division), and the binarized region is divided into individual platelet regions. When a platelet sample is imaged, the image may be captured in a state where the platelets are adjacent or in contact with each other, and a large number of platelet aggregates may be erroneously recognized as one platelet only by the binarization process described above.
  • segmentation processing is performed using well-known image processing and image recognition techniques such as Watershed method, pattern matching, and machine learning such as DeepDLearning, and individual platelet contour (polygon) data Divide into
  • the contour data corresponding to each platelet is stored in a storage device such as the storage unit 124.
  • the individual platelets included in the image data are linked to the contour data, which is the shape data of the platelet outline.
  • the above is an example of processing when the image analysis unit 104 extracts the outline and contour of individual platelets. Furthermore, in the platelet evaluation system of the present embodiment, in order to improve the evaluation accuracy of platelets, not only the morphological features of the outer shape and contour of the platelets but also the organelles contained in the platelets such as secretory granules, release, etc. Calculation and storage of feature quantities such as contour data of internal structures such as small pipe systems.
  • the calculation of the contour data of the internal structure such as the organelle is performed by applying the contour extraction process again to the region inside the contour data of the already calculated platelet contour.
  • the binarization condition is set so that only the open tubule system can be separated, thereby collecting the contour data of all the open tubule systems included in the platelets.
  • the collected outline data of the open tubule system is stored in association with the platelets to which the open tubule system belongs.
  • ⁇ granules, dark-stained granules, glycogen granules contained in platelets, and mitochondria are defined as a dark-stained region as a whole.
  • Contour data is calculated and stored.
  • contour data of the open tubule system which is also an organelle unique to platelets, is calculated and stored.
  • three contour data of the platelet outer shape, contour, dark-stained region, and open tubule system are calculated and stored, and the feature amount is calculated in step 303 using them.
  • contour extraction target In order to evaluate platelets, it is not necessary to limit the contour extraction target to the platelet contour, contour, dark-stained region, and open tubule system, and ⁇ granules, dark-stained granules, glycogen granules, and mitochondria are individually It may be set as a contour extraction target, or a cell organelle such as a dark tone tubule system or a microtubule contained in platelets may be set as a contour extraction target. In addition, cytoplasm, inclusion bodies, or sub-characters that correlate with quality and / or functionality and quality of platelets may be set as contour extraction targets.
  • image noise removal processing may be performed for the purpose of improving the accuracy of contour extraction.
  • image processing technique such as a median filter, a Gaussian filter, a deconvolution filter, or the like
  • filter processing for improving the accuracy of binarization processing for edge extraction and edge detection processing described later is performed.
  • it may be executed in combination with edge enhancement, binarization processing, image processing such as contrast and brightness.
  • contour extraction there are various known binarization methods for the contour extraction, such as primary differentiation, secondary differentiation, pattern matching, and the like.
  • a method different from the present embodiment may be used in accordance with the image data and the evaluation target, or a user interface may be provided so that an optimal method can be selected according to the evaluation target to be recognized.
  • the image analysis unit 104 calculates the outer shape of each platelet calculated by the contour extraction and the contour data of internal structures such as organelles contained in platelets such as secretory granules and open tubules.
  • the feature amount data indicating the morphological features such as the perimeter and the perimeter is calculated (step 303).
  • the morphological features of the contour extraction target are numerical values using the contour data calculated and stored by contour extraction. Can be realized.
  • the contour extraction target is a platelet outline
  • information regarding the size, such as the area, diameter, maximum diameter, minimum diameter, and peripheral length of the platelet outline can be calculated as the feature amount.
  • a cell sample is embedded in a resin, a slice sample obtained by slicing the resin into slices having a thickness of about several micrometers, and a cross-sectional image of the slice sample is prepared.
  • the method of observing is common. Therefore, for example, the diameter of the cross-sectional image of the platelets seen in the cross-section of the section sample is expected to be different from the true diameter of the platelets. Improvement is not expected.
  • step 303 executed by the image analysis unit 104 in order to solve this problem, in addition to the feature quantity related to the size, a feature quantity that can evaluate the quality and / or functionality of the platelet is also obtained from the cross-sectional image of the platelet.
  • the degree, the area ratio and expansion degree of the open tubule system, and the area ratio of the deeply dyed region are calculated and stored as feature data. Details of each feature amount will be described below.
  • Morphological complexity is a feature amount indicating the roundness of the outer shape of the platelet. It is known that platelets take the shape of a disc like a meteorite in blood. As described above, since a platelet sample is prepared by slicing a resin in which platelets are embedded, the observed platelet cross section is expected to be circular or elliptical. In addition, it is known that when platelets are activated by an external stimulus, they produce long protrusions that are entangled with each other to form aggregates (thrombi). Therefore, it can be determined that platelets that have lost their roundness and have a complicated morphology are in an activated state. As a medical platelet preparation, it is desirable that platelets are not activated.
  • the image analysis unit 104 calculates “morphological complexity” by the following equation (1).
  • (Morphological complexity) (peripheral length) 2 / (area) (1)
  • the morphological complexity is calculated by the equation (1).
  • the morphological complexity only needs to be able to quantitatively express the roundness and complexity of the platelets. For example, circularity or roundness may be used.
  • the morphological complexity may be calculated by combining the perimeter, area, diameter, or the center of gravity of platelets.
  • OCS area ratio Area ratio of open small pipe system
  • OCS area ratio is a feature amount indicating the ratio of the open tubule system to the inside of platelets. It is known that the life span of platelets collected from human blood is about 4 days, and platelets near the end of their life tend to increase the area of the open tubule system. Therefore, by calculating the OCS area ratio, the degree of increase in the open tubule system can be calculated, and it can be estimated whether the platelets are near the end of their lifetime.
  • the image analysis unit 104 calculates “OCS area ratio” by the following equation (2).
  • (OCS area ratio) (total area of open tubule system) / (platelet area) (2)
  • Open tube system expansion (OCS expansion) is a feature amount indicating the degree of expansion of an open tubule system that is elongated and elongated among the open tubule systems inside platelets. Even when the area ratio of the open tubule system is low, there is an open tubule system that is elongated and elongated.
  • the image analysis unit 104 calculates the “OCS expansion degree” by the following equation (3).
  • (OCS expansion) (maximum diameter of open tubule system) / (platelet diameter) (3)
  • the “maximum diameter of the open tubule system” uses the maximum value of the maximum diameters of all the open tubule systems in the platelets.
  • the OCS expansion degree is calculated by the equation (3).
  • the OCS expansion degree only needs to be able to quantitatively express the expansion degree of the open tubule system inside the platelet.
  • the OCS expansion degree is changed to “platelet diameter”. “Maximum diameter of platelets” may be replaced with “maximum diameter of open tubule system” or “maximum diameter of open tubule system”.
  • the formula is not limited to formula (3).
  • the diameter of the platelet is the length of the maximum line segment that connects two points on the outer periphery of the contour indicated by the contour data of the platelet and passes through the center of gravity of the contour.
  • the minimum diameter is the minimum line segment that connects two points on the outer periphery of the contour indicated by the contour data and passes through the center of gravity of the contour.
  • the maximum diameter is the length of the long side of the rectangle when the minimum rectangle surrounding the entire contour indicated by the contour data is calculated.
  • the diameter is calculated using the center of gravity of the contour, but when the center of gravity is outside the contour, effective measurement values may not be obtained, so when obtaining size information of an open tubule system Can more accurately quantify the degree of expansion of the open tubule system by using the maximum diameter using the circumscribed rectangle (the smallest rectangle that encloses the entire contour).
  • Area ratio of deeply dyed area area ratio of darkly dyed area
  • “Densely dyed area ratio” is a feature amount indicating the ratio of the darkly dyed area to the inside of platelets.
  • the deeply stained region contains chemical substances (secretory substances) that are closely related to the hemostatic mechanism of platelets such as ⁇ granules and darkly stained granules. Therefore, it can be estimated that the platelets have a low hemostatic ability if the area ratio of the deeply stained region shows a low value such as 0%, 1%, 2%, 3%, 4%, 5%.
  • the image analysis unit 104 calculates the “dark dye area ratio” by the following equation (4).
  • (Dense area area ratio) (Total area of dark area) / (Platelet area) (4)
  • (Dense area area ratio) (Total area of dark area) / (Platelet area) (4)
  • the components of the deeply stained area defined for the evaluation of platelets need not be limited to ⁇ granules, darkly stained granules, glycogen granules, and mitochondria, but at least one or more secretions related to the hemostatic mechanism. It only needs to include the cell tubule system.
  • cytoplasm, inclusion bodies, or sub-traits that correlate with the quality and / or functionality and quality of platelets may be defined instead of the deeply stained region, and the area ratio may be calculated.
  • features such as the number of platelets themselves, the number of secretory granules inside them, and the number of open tubule systems may be used in addition to those described above.
  • the selection part of information about the size that can be calculated from the contour data such as area, diameter, maximum diameter, minimum diameter, circumference length, etc., and items to be subject to size information such as open tubule system and dark dyeing area
  • An input unit that can select an operator such as an arithmetic operation may be provided, and by combining them, a feature amount such as a form complexity may be added by the user.
  • step 303 ends, the feature amount and the image calculated by the image analysis unit 104 are displayed on the feature amount display unit 105 and the image display unit 103, respectively (step 304).
  • the image display unit 103 and the feature amount display unit 105 include an extraction / sort processing result display unit 108, a user separation result display unit 110, and an automatic classification result display unit 113.
  • the various display units serving as the user interface may be configured by a plurality of windows that are displayed simultaneously or in a switched manner on a display unit of a computer such as the PC described above.
  • FIG. 5 and 6 are schematic views showing an example of a user interface of the platelet evaluation program of this embodiment.
  • the configuration, function, and operation of the display method of the platelet evaluation system of this embodiment will be described with reference to these drawings.
  • the display method may be in the form of a table 504 for displaying feature amounts and classification results as in the user interface 501 of the platelet evaluation program, or in the form of a panel 602 in which images are arranged as in the user interface 601.
  • the table 504 in FIG. 5 it is an advantage that the feature amount can be seen in a list, and the image size is generated as a thumbnail image and displayed in a small area.
  • the corresponding image is enlarged and displayed 505 by clicking the row.
  • the panel 602 in FIG. 6 it is an advantage that images can be seen in a list, and therefore it is usually desirable to hide various feature values.
  • the mouse cursor is placed on the image, individual feature amounts are displayed in a pop-up 605 or the like.
  • the user can selectively use the evaluation focusing on the feature amount and the comprehensive evaluation seen from the image. For example, by displaying in the format of the panel 602 and classifying a certain amount of images and then displaying in the format of the table 504, the user can determine the quality and / or functionality and quality from which feature quantity of the platelet image, It becomes easy to recognize whether the classification destination is determined by classification.
  • the background color can be changed and displayed as in the background color change area 603 in order to make the selected image easy to see.
  • the image display and the feature amount display are performed simultaneously (step 304), but they may be displayed immediately after image input and immediately after image analysis.
  • the extraction / sorting condition input unit 106 of the platelet evaluation system of this embodiment shown in FIG. 1 has an interface 506 that can specify at least one arbitrary feature amount, A combination of interfaces 507 indicating the value range of the feature amount and an interface 508 for instructing the execution timing of extraction are configured.
  • an interface 509 for giving an instruction to sort display data based on the feature amount is provided.
  • the display data can be sorted in ascending or descending order.
  • the column title is shown in FIG. 5, it may be configured by a combination of an interface that can specify an arbitrary form feature amount and an interface that specifies a sorting rule such as ascending order and descending order.
  • the extraction / sort processing unit 107 of the analysis classification unit 107 receives the conditions input from the extraction / sort condition input unit 106, that is, the interface 508 for instructing the execution timing of the extraction and the sort execution instruction.
  • the input value of the interface 506 that can specify an arbitrary feature value and the interface 507 that indicates the range of the value of the feature value is read, and extraction and sort processing are executed. For example, in the example shown in FIG. 5, a sample having a maximum diameter in the range of 1 to 2 and an area in the range of 1.5 to 3 is extracted.
  • the extraction result is displayed on the extraction / sort processing result display unit 108.
  • a user who classifies a certain amount of images displays them in the form of the table 504, and performs sorting processing recognizes that the classification result is determined based on a certain threshold with a certain feature amount.
  • a certain threshold For example, when sorted by area as shown in FIG. 12A, the trend with the feature amount is not visible, but when sorted according to the open small tube system expansion degree as shown in FIG. 12B, the open small tube system expansion degree is 0. It can be easily recognized that 4 is classified as a threshold value.
  • the extraction / sorting processing result display unit 108 has a region of the table 504 and the panel 602 for the purpose of reducing the number of windows in order to improve visibility in a limited display region in the configuration of the present embodiment. Realized by redrawing. Note that the results may be individually displayed in a plurality of windows for the purpose of changing the extraction and sorting conditions and evaluating the results side by side.
  • FIG. 7 shows a display screen displaying an example of a cross-sectional image of the platelets to be evaluated by the platelet evaluation system of the present embodiment and an example of the characteristic amount thereof, and the displayed platelets are those shown in FIGS. Are of the same shape.
  • the width and height of the platelets in the upper left, the maximum diameter and minimum diameter of the platelets in the lower left, the maximum diameter of the open tubule system in the upper right, the area of the platelets, the area of the open tubule system, and the deep staining in the lower right The area of the area is shown.
  • An arrow 801 in FIG. 8 is a highlighted display for indicating which part the maximum diameter of the platelet and the parameter of the expansion degree of the open tubule correspond to, and corresponds to the maximum diameter of the platelet and the open tubule in FIG.
  • a pop-up message 802 which is another highlighted display in FIG. 8, will be described later.
  • the target of extraction and sorting may be executed on the classification result as well as the feature amount.
  • the user can manage unclassified items and classified items separately, and it is easy to narrow down the range to a part of the classification destinations for reconfirmation and reclassification.
  • the user inputs the classification destination to the user classification input unit 109 while browsing the analysis result, extraction, and sorting result displayed on the table 504 in FIG. 5 and the panel 602 in FIG. If the user classification input unit 109 can directly input the corresponding cell of the table 504 like the classification input interface 510, the user classification input unit 109 selects a plurality of corresponding rows and images on the table 504 and the panel 602, and once according to the input value of the classification destination selection interface 604. It is also possible to classify a plurality. On the panel 602, a plurality of selections can be made by a mouse drag operation or an operation such as tracing with a touch panel.
  • the selected row and the selected image are displayed as a background color change area 603 in which the background color and the border color are changed so as to be understood. Note that it is only necessary to know that the selected item is selected, and a check interface may be provided in a selected row or a part of the selected image. This eliminates the need for the user to classify a plurality of platelet image data one by one, and enables efficient classification.
  • the interface 512 for instructing the execution of the classification at the same time as the extraction and the interface 511 for inputting the threshold value for the classification are provided so that the classification can be performed efficiently at the same time as the extraction. It is possible.
  • the threshold is 2 or more, platelets in an image in which both the area and the maximum diameter ratio are within the range are classified as OK.
  • the user can clearly classify what can be classified by the threshold value by using the user interface 501, and then perform extraction and sorting processing to narrow down the range and use the user interface 601 to comprehensively analyze the image. It is possible to classify efficiently by making a decision (step 305).
  • redrawing by extraction may be performed, or only the update of the automatic classification result display unit 113 may be performed.
  • the user classification input unit 109 may include not only an input unit for specifying a classification destination but also an interface for inputting a reason for the classification destination. Since the user classification result display unit 110 only needs to display the value input to the user classification input unit 109, it is shared with the classification input interface 510.
  • the classification result is highlighted for each feature quantity in frames 503 and 606, and the classification is classified by expressions such as straight lines, dotted lines, and broken lines. This makes it easier for the user to recognize the tendency for the classification result for each feature amount.
  • the classification result may be expressed not by a frame line but by a background color difference, or by adding a column of classification determination results for each feature amount or by a mark or the like at one corner of the cell.
  • a classification model is created by the classification model creation unit 111 of the analysis classification unit (306).
  • the classification model creation unit 111 may generate a classification tree according to the classification tree (T901 to T909) illustrated in FIG. 9 by machine learning, or may be a multilayer network type classifier such as a neural network. A classifier using deep learning that requires teacher data may be used. Further, even if there is a storage unit or a storage area for storing an image stored in the image analysis unit 104 for the purpose of re-editing or reuse, a feature amount or a classification result, and a classification model created by the classification model creation unit 111 Good.
  • FIG. 4 shows an example of an operation flowchart when the platelet evaluation system of this embodiment is applied to the final evaluation of platelets. Until the image is acquired by the image acquisition unit 100 and the acquired image and its feature amount are displayed, the flow is the same as that described up to step 304 in FIG. 3, and the description is omitted (step 401).
  • the automatic classification result is displayed on the automatic classification result display unit 113.
  • the automatic classification result display unit 113 displays the same format as the above-described user classification result display unit 110 (step 403). Further, like the pop-up message 802 on the platelet image shown in FIG. 8, the classification result, the cause of the event that has reached the classification, and the future event indicated by the classification result are additionally highlighted. That is, the automatic classification result display unit 113 can highlight the feature amount based on the classification result of the automatic classification unit 112. As described above, when there is a feature quantity closely related to the cause of the event, the arrow 801 may highlight where the feature quantity corresponds on the image.
  • a unit for calculating the matching rate between the classification model evaluation and the evaluation input by the user may be provided, and the matching rate may be displayed as the determination accuracy.
  • receiver operating characteristic (ROC) curves 1001 and 1002 as exemplified in FIG. 10 may be displayed as user judgment materials, and a true positive rate, a false positive rate, or the like may be displayed. Since there may be a tendency for the classification and evaluation result for each feature quantity, the matching rate and the ROC curve may be associated with the classification result for each feature quantity and displayed for each feature quantity. Thereby, the user can determine the validity and accuracy of the classification model by looking at the matching rate and the ROC curve.
  • the extraction and sorting process may target not only the feature quantity but also the classification result and the evaluation result.
  • the extraction and sorting process may target not only the feature quantity but also the classification result and the evaluation result.
  • the user classification result display unit 110 displays the same as the automatic classification result display unit 113 described above.
  • a plurality of frames 503 and 606 may be displayed so that both the user classification result and the automatic classification result can be understood, or the type may be determined by a combination of the user classification result and the automatic classification result.
  • the user classification input unit 109 may be the same as the user classification result display unit 110 or the automatic classification result display unit 113, or may be displayed by an individual interface.
  • the user classification result display unit 110 and the automatic classification result display unit 113 are configured to be displayed in parallel on the same screen.
  • the classification model classifies the platelet quality by setting a threshold value for the area, and it can be read that the threshold value is between 10 and 12, for example, 11.
  • the threshold value is between 10 and 12, for example, 11.
  • looking at the user classification results it can be seen that users tend to classify those with an area of 8 or less as OK and those with an area of 10 or more as NG. Therefore, there is a possibility that the classification accuracy can be improved by changing the threshold value in the area of the classification model from 11 to 9, for example.
  • the user can examine the validity, accuracy, and improvement of each classification model.
  • an interface through which the threshold recognized by the user can be input may be provided in the classification model creating unit 111 to appropriately correct the classification model.
  • the threshold may not be determined by simple extraction and sorting. In such a case, the accuracy of the classification model may be improved by passing the user classification result through the classification model creation unit 111 again.
  • a storage unit may be provided that collectively stores images, feature amounts, classification results, classification models used, evaluation results, and final classification results.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for better understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of the embodiment can be replaced with another configuration, and another configuration can be added to the configuration of the embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

教師データの効率的な作成と、ユーザの知識、経験を踏まえたうえでの総合的な評価を容易にする。画像を取得する画像入力部１０２と、画像入力部で取得した画像を表示するための画像表示部１０３と、取得した画像から特徴量を算出するための画像解析部１０４と、算出された特徴量を表示するための特徴量表示部１０５と、特徴量に対して抽出やソートの条件を指定するための抽出、ソート条件入力部１０６と、条件に基づき抽出やソート処理を行う抽出、ソート処理部１０７と、結果を表示するための抽出、ソート処理結果表示部１０８と、各画像に対して分類先をユーザが入力するためのユーザ分類入力部１０９と、分類入力内容を表示するユーザ分類結果表示部１１０を備える。

Description

撮像装置および形態特徴データ表示方法
　本発明は画像分類装置に係り、特に撮像した画像の特徴量を解析して作成した分類モデルに基づく画像分類処理の表示技術に関する。
　人工多能性幹（iPS）細胞や胚性幹（ES）細胞に代表される未分化な多能性幹細胞を培養して多能性幹細胞を分化誘導することで製造した特定の細胞（分化細胞）を顕微鏡で撮像し、その画像の特徴を捉えることで細胞の状態を評価する方法が提案されている。
　例えば特許文献1では細胞群の画像を取得し、その細胞群から個々の細胞を認識し、その個々の細胞の円形度、最大径、最小径、面積などの形態特徴量から細胞が未分化状態であるか分化状態であるかを評価している。また、特許文献２では撮像された細胞群の画像から所望の細胞を抽出する手法について述べており、その中では、細胞を分類する形態特徴量として細胞の中の開放部と面積の比など細胞の外輪郭からだけでは得られない特徴量も使用することで分類している。特許文献１、２では分類は閾値による分類モデルや機械学習等を利用することで一度分類モデルや学習による分類器を作成してしまえばユーザの手を介さず自動で実施されている。
　また、特許文献３では機械学習のための教師データの作成方法において初期分類と分類モデルによる分類結果、精度と画像を並べて表示することでユーザが分類モデルの適格性を容易に判断することができる。
ＷＯ２０１５／１８２３８２ 特開２０１１－２４３１８８号公報 特開２０１４－１４２８７１号公報
　上述したように、細胞の外輪郭および内部構造の形態特徴量から細胞の分化、未分化状態の分類やこれに限らず細胞に関して何らかの分類を自動で行い、その結果を表示することは従来も行われていた。しかしながら分類のための教師データに必要な初期分類データの作成方法や、作成された分類モデルの判定結果に対してユーザが再分類する方法については何ら開示されていない。
　医療目的では機械学習などによって生成した分類モデルによって判定された自動分類結果を全面的に信頼して使用することはできず、最終的には専門医の知識や経験に基づいて判断が下される。そのため、教師データに必要な初期分類データの作成や分類モデルの結果に対する最終的な評価をするにあたって、専門医が効率的に分類、評価するための方法があることが望ましい。
　本発明の目的は、上記の課題に基づき、必要な初期分類データの作成や分類モデルの結果に対する評価を効率的に行うことが可能な画像分類装置、その表示方法、及びプログラムを提供することにある。
　上記の目的を達成するため、本発明においては、画像を取得する画像入力部と、取得した画像を表示する画像表示部と、画像から形態の特徴量を算出する画像解析部と、算出された特徴量を表示する特徴量表示部と、算出された特徴量に対して抽出やソートの条件を指定する抽出、ソート条件入力部と、抽出、ソート条件入力部から入力された条件に基づき抽出やソート処理を行う抽出、ソート処理部と、抽出、ソート処理部の処理結果を表示する抽出、ソート処理結果表示部と、画像に対して分類先をユーザが入力するユーザ分類入力部と、ユーザ分類入力部からの入力内容を表示するユーザ分類結果表示部を備える画像分類装置を提供する。
　また、上記の目的を達成するため、本発明においては、解析分類部と表示部を備えた画像分類装置の表示方法であって、解析分類部は、取得した画像から形態の特徴量を算出し、算出した特徴量に対して指定された抽出やソートの条件に基づき、特徴量の抽出やソート処理を行い、表示部は、取得した画像を表示し、算出した特徴量を表示し、特徴量の抽出やソート処理の処理結果を表示し、画像に対する分類先がユーザ入力された場合、入力内容を表示する表示方法を提供する。
　更に、上記の目的を達成するため、本発明においては、解析分類部と表示部を備えた画像分類装置で実行されるプログラムであって、解析分類部を、取得した画像から形態の特徴量を算出し、算出した特徴量に対して指定された抽出やソートの条件に基づき、特徴量の抽出やソート処理を行い、表示部を、取得した画像を表示し、算出した特徴量を表示し、特徴量の抽出やソート処理の処理結果を表示し、画像に対する分類先がユーザ入力された場合、入力内容を表示する、よう動作させるプログラムを提供する。
　本発明によれば、教師データの初期分類などを効率的に行い、更にユーザの知識、経験を踏まえた総合的な評価を容易に行うことができる。
実施例１に係る、血小板評価システムの概略構成を示すブロック図。 実施例１に係るシステムで利用する走査荷電粒子顕微鏡の概略構成図。 実施例１に係る血小板評価システムで教師データ及び分類モデルを作成するときのフローチャートを示す図。 実施例１に係る血小板評価システムで血小板を評価するときのフローチャートを示す図。 実施例１に係る血小板評価プログラムのユーザインターフェースの一例を示す模式図。 実施例１に係る血小板評価プログラムのユーザインターフェースの他の例を示す模式図。 実施例１に係る血小板画像とその形態特徴量の一表示画面を示す図。 実施例１に係る各特徴量の抽出、評価結果の強調表示を示す図。 実施例１に係る血小板評価システムの分類モデルの一例を示す図。 実施例１に係る、分類モデルの妥当性や精度を判定するためのROC曲線の一例を示す図。 実施例１に係る血小板評価システムの作業支援用ユーザインターフェースの一例を示す図。 実施例１に係る分類モデル作成作業支援の一例を説明するための図。 実施例１に係る分類モデル作成作業支援の他の例を説明するための図。
　本発明の各種の実施形態について図面を用いて順次説明する。本発明に係る画像分類装置の対象は細胞に限らないが、以下の本明細書の説明においては、撮像した血小板などの細胞を分類する場合を中心に説明を行うこととする。
　実施例１は、画像分類装置、その表示方法、及びプログラムについての実施例である。すなわち、画像を取得する画像入力部と、取得した画像を表示する画像表示部と、画像から形態の特徴量を算出する画像解析部と、算出された特徴量を表示する特徴量表示部と、算出された特徴量に対して抽出やソートの条件を指定する抽出、ソート条件入力部と、抽出、ソート条件入力部から入力された条件に基づき抽出やソート処理を行う抽出、ソート処理部と、抽出、ソート処理部の処理結果を表示する抽出、ソート処理結果表示部と、画像に対して分類先をユーザが入力するユーザ分類入力部と、ユーザ分類入力部からの入力内容を表示するユーザ分類結果表示部を備える画像分類装置、その表示方法、及びプログラムの実施例である。
　以下の説明においては、画像入力部が入力する画像の基となる信号を荷電粒子線装置で検出する場合を例に説明するが、荷電粒子線装置に限られることはない。本実施例に係る荷電粒子線装置は、画像を生成する機能を持つ撮像装置であればよく、例えば、明視野顕微鏡や微分干渉顕微鏡などの光学顕微鏡、蛍光顕微鏡、荷電粒子線装置以外のＸ線を使用した撮像装置、超音波による撮像装置、核磁気共鳴画像法による撮像装置、これらと試料加工装置との複合装置、またはこれらを応用した解析・検査装置等も含まれる。
　また、本実施例の説明に当り、多能性幹細胞（未分化細胞）から分化誘導された分化細胞である血小板を評価対象とする血小板評価システムを例示して説明するが、本実施例の撮像装置、特徴データ表示方法、及びそのプログラムの評価対象は、血小板に限られることはない。すなわち、本実施例に係る評価対象は、当該対象の形態及び／または内部構造物の特徴を基に当該対象の良否及び／又は機能性を評価できるものであればよく、例えば、神経幹細胞や心筋細胞やインシュリン生産細胞や幹細胞や造血幹細胞、または角膜や網膜や骨や軟骨や筋肉や腎臓の細胞等、更には半導体製造プロセスを使って製造される半導体基板、半導体集積回路等も含むことができる。
　＜血小板評価システムの構成＞
  図１は、実施例１に係る血小板評価システムの概略構成を示すブロック図である。本実施例の血小板評価システムは、図１に示すように画像取得部１００、取得した画像が入力される画像入力部１０２、入力された画像を表示する画像表示部１０３、画像から血小板を認識し、形態特徴量を解析する画像解析部１０４、解析された形態特徴量を表示する特徴量表示部１０５、特徴量から該当する血小板を任意に抽出、ソートするための抽出、ソート条件入力部１０６、前記入力情報を基に該当画像を抽出、ソートする抽出、ソート処理部１０７、前記の抽出、ソート処理結果を表示するための抽出、ソート処理結果表示部１０８、ユーザが分類先を指定するためのユーザ分類入力部１０９、ユーザによる分類結果を表示するためのユーザ分類結果表示部１１０、ユーザ分類結果である教師データに基づき分類モデルを作成する分類モデル作成部１１１、前記分類モデルを使用し、特徴量から血小板を分類する自動分類部１１２、自動分類した結果を表示するための自動分類結果表示部１１３を備えている。また、画像取得部１００は、荷電粒子線装置１０１、処理部１２１、制御部１２２、画像生成部１２３、記憶部１２４、入出力部１２５から構成される。
　なお、本明細書において、画像解析部１０４、抽出、ソート処理部１０７、分類モデル作成部１１１、自動分類部１１２を纏めて解析分類部と呼ぶ場合がある。同様に、画像表示部１０３、特徴量表示部１０５、ソート結果表示部１０８、ユーザ分類結果表示部１１０、自動分類結果表示部１１３を纏めて表示部と呼ぶ場合があり、これらの複数の表示部を一つの表示画面上に纏めて表示しても良い。更に、抽出、ソート条件入力部１０６とユーザ分類入力部１０９を纏めて入力部と呼ぶ場合があり、これらも一つの入力部で構成しても良い。
　図２は、図１における画像取得部１００の荷電粒子線装置１０１の一例である走査荷電粒子顕微鏡の概略構成である。同図において、走査荷電粒子顕微鏡２０１は、制御部１２２に制御され、検出器２０６で検出した信号を画像生成部１２３に出力する。荷電粒子銃２０２から荷電粒子ビーム２０３を発生し、荷電粒子ビーム２０３を電子レンズ２０４に通すことで荷電粒子ビーム２０３の向き、収束を制御し、荷電粒子ビームを照射ないしスキャンすることで、任意の倍率で観察を実施できる。ここで、前記倍率とは、視野（Field Of View: FOV）の幅、もしくはデジタル画像にした場合の１画素当りが示す長さ（ピクセルサイズ）などでもよい。電子レンズ２０４は複数個備わっていても良く、さらに、アライメントを調整する電子レンズであったり、非点収差を調整する電子レンズであったり、スキャンを目的としたビーム偏向用の電子レンズであっても良い。
　試料２０５から発生する粒子を検出器２０６で検出することにより、信号を取得する。なお、検出器２０６は複数個備わっていてもよく、さらに、電子を検出する検出器と電磁波を検出する検出器のように異なる粒子を検出する検出器であったり、エネルギーやスピン方向が特定の範囲内にある粒子のみを検出する検出器であったり、２次荷電粒子検出器と反射電子などの後方散乱荷電粒子検出器のように異なる性質の粒子を検出する検出器であっても良い。同じ性質の粒子を検出する検出器が異なる配置位置に複数備わっていてもよい。検出器が複数個備わっている場合には、通常１回の撮像で、画像を複数枚取得することができる。
　検出器２０６で取得された信号は、画像生成部１２３で画像として形成される。画像生成部１２３は、Ａ／Ｄ変換器とＦＰＧＡ等の電気回路で構成された画像処理回路から構成され、検出器２０６で検出された信号をＡ／Ｄ変換してデジタル画像とする。生成されたデジタル画像は半導体メモリやハードディスク等の記録媒体で構成される記憶部１２４に転送され、保存される。試料２０５はステージ２０７に接しており、制御部１２２の制御でステージ２０７を移動することにより、試料の任意の位置における画像の取得が可能である。
　上述の構成間でやり取りされるデータは処理部１２１により加工、制御される。例えば入出力部１２５で入力された電圧値に従って、処理部１２１は電子レンズ２０４に対する印加の制御値を算出し制御部１２２に渡す。制御部１２２は、処理部１２１に命令に従い、電子レンズ２０４に指定の制御値を入力し、入力部１２５で入力された電圧値となるように制御する。また、処理部１２１は各種入力値や制御値を収集し、撮像時の条件を記憶部１２４に画像と共に記憶させるといった処理も行う。画像データに撮像条件は埋め込んでも良いし、別のファイルとして記憶させてもよい。
　＜血小板評価システム構成、教師データ及び分類モデル作成＞
  図３は上述した本実施例の装置を血小板評価システムに適用した場合の動作を示すフローチャートである。前述の画像および撮像条件の取得までの流れは図３のステップ３０１の説明である。以下、図３のフローチャートに従い動作処理を説明する。
　画像取得部１００で取得した画像は、血小板評価システムの血小板評価用プログラムに入力される。本実施例の血小板評価用プログラムは、ＰＣなどのコンピュータにインストールされたものである。コンピュータは中央処理部（ＣＰＵ）やメモリなどの記憶部、キーボードやマウス、モニタなどの入出力部を備えておりプログラムがＣＰＵによって実行されることで動作する。
　なお、コンピュータは必ずしもひとつである必要はなく、複数のコンピュータと複数のプログラムで画像や特徴量などのデータを通信することで実現してもよい。また、プログラムの一部の処理は処理速度の向上、処理時間の短縮を目的にＦＰＧＡのような論理回路やＧＰＵのような並列処理装置、もしくは分散型の高速計算システムで実行してもよい。
　コンピュータにはオペレーティングシステム（ＯＳ）がインストールされており、ファイル管理プログラムが実行されている。画像入力部１０２は記憶部１２４などの記憶手段の特定の位置に取得した血小板画像と撮像条件を保存する。血小板評価プログラムは特定の位置以下のフォルダ、ファイルを監視しており自動的に画像と撮像条件を取得する。ユーザは後で説明するプログラムのフォルダツリーから指定のフォルダを選択することで特定のフォルダ以下の画像群と画像毎の撮像条件を読みこむ（ステップ３０２）。これは、血小板評価システムにおいて、フォルダを血小板製剤の検査単位としてすることで管理しやすくするためである。
　なお、本実施例ではファイル管理プログラムを利用したが、特定のメモリ位置に画像データを記録するといった処理で代用してもよいし、撮像装置の制御部１２２や処理部１２１を介して、直接プログラム間で通信を行うことで画像を取得してもよい。また、画像入力部１０２にユーザインターフェースを持たせ、ユーザが選択した任意の画像を取得できるようにしてもよい。いずれにしても、画像入力部１０２から読み込まれた血小板画像は、解析分類部の画像解析部１０４により形態特徴量を算出され記憶される（ステップ３０３）。
　画像解析部１０４は、画像処理による領域分割（セグメンテーション）処理を実行する。輪郭抽出はまず画像データに含まれる個々の血小板の外形に対して実施される。輪郭抽出は大津の２値化、pタイル法等の周知の画像処理及び画像認識技術を用いて２値化を行う。続いて、２値化後の画像データのセグメンテーション（領域分割）をおこない、２値化された領域を個々の血小板の領域に分割する。血小板試料を撮像した場合、血小板同士が隣接または接触した状態で撮像される場合があり、上述した２値化処理のみでは多数の血小板の集合体を１つの血小板として誤認識する場合がある。したがって、セグメンテーション処理により前述の血小板の集合体から個々の血小板を分離する必要がある。具体的には、例えばWatershed法、パターンマッチング等の手法や、Deep Learning等の機械学習を用いた周知の画像処理及び画像認識技術を用いてセグメンテーション処理をおこない、個々の血小板の輪郭（ポリゴン）データに分割する。
　図３のフローチャートのステップ３０３までの処理により、個々の血小板の輪郭データを算出したため、各血小板と対応する輪郭データを記憶部１２４などの記憶装置に記憶する。これにより、画像データに含まれる個別の血小板に対して、当該血小板外形の形状データである輪郭データが紐付けられる。
　以上が、画像解析部１０４で個別の血小板の外形、輪郭を抽出する場合の処理の一例である。更に、本実施例の血小板評価システムでは、血小板の評価精度向上のため、ステップ３０３で血小板の外形、輪郭の形態的特徴量だけでなく、血小板内部に含まれる細胞小器官、例えば分泌顆粒、開放小管系等の内部構造物の輪郭データなどの特徴量の算出・記憶を実施する。
　細胞小器官等の内部構造物の輪郭データの算出は、既に算出済みの血小板外形の輪郭データの内側の領域に対して再び輪郭抽出処理を適用することによりおこなう。例えば、開放小管系の輪郭データを算出する場合は、２値化の条件を開放小管系のみが分離できるように設定することで血小板内部に含まれる開放小管系すべての輪郭データを収集する。収集された開放小管系の輪郭データは、開放小管系が所属する血小板と紐付けられて記憶される。同様の処理を画像データから抽出された全ての血小板に対して実行することにより、個々の血小板の外形及び、血小板に含まれる細胞小器官等（分泌顆粒、開放小管系等）の内部構造物の輪郭データを算出・記憶する。
　すなわち、本実施例の血小板評価システムにおいては、血小板固有の細胞小器官であるα顆粒、濃染顆粒および血小板内部に含まれるグリコーゲン顆粒、ミトコンドリアを総じて濃染領域と定義し、この濃染領域の輪郭データを算出・記憶する。加えて、同じく血小板に固有の細胞小器官である開放小管系の輪郭データも算出・記憶する。これにより、血小板外形、輪郭と、濃染領域と、開放小管系との３つの輪郭データを算出・記憶し、それらを用いてステップ３０３において特徴量を算出する。
　なお、血小板の評価を実施するために、血小板外形、輪郭と、濃染領域と、開放小管系に輪郭抽出対象を限定する必要はなく、α顆粒や濃染顆粒やグリコーゲン顆粒やミトコンドリアを個別に輪郭抽出対象に設定してもよいし、その他血小板に含まれる暗調小管系や微小管等の細胞小器官を輪郭抽出対象に設定してもよい。また、その他、血小板の良否及び／又は機能性、品質に相関のある細胞質、封入体又は副形質を輪郭抽出対象に設定してもよい。
　また、輪郭抽出の精度を高める目的で画像のノイズ除去処理をおこなってもよい。具体的には、例えばメディアンフィルタ、ガウシアンフィルタ、デコンボリューションフィルタ等の周知の画像処理技術を用いて後述する輪郭抽出のための２値化処理やエッジ検出処理の精度を向上させるフィルタ処理をおこなう。加えて同じ目的でエッジ強調、二値化処理、コントラストや明るさなどの画像処理と組み合わせて実行してもよい。
　また、輪郭抽出には例えば一次微分、二次微分、パターンマッチング、公知になっている様々な二値化手法がある。画像データや評価対象に合わせて本実施形態とは別の手法を使用してもよいし、ユーザインターフェースを設け、認識したい評価対象に応じて最適な手法を選択できるようにしてもよい。
　次に、画像解析部１０４は、輪郭抽出で算出された個々の血小板に対する外形及び、分泌顆粒、開放小管系等の血小板に含まれる細胞小器官等の内部構造物の輪郭データを、面積や直径や周囲長などの形態的特徴を示す特徴量データを算出する（ステップ３０３）。
　画像取得時の、視野の幅、もしくはデジタル画像にした場合のピクセルサイズなどを含む倍率データを基に、輪郭抽出にて算出・記憶された輪郭データを用いて輪郭抽出対象の形態的特徴を数値化することが可能となる。例えば、輪郭抽出対象が血小板外形であった場合、血小板外形の面積、直径、最大径、最小径、周囲長等のサイズに関する情報を特徴量として算出することができる。
　また、本実施例の血小板評価システムでは、走査荷電粒子顕微鏡２０１を用いて血小板を観察する例を示している。走査荷電粒子顕微鏡２０１を用いた細胞の内部構造を含む観察では、細胞試料を樹脂で胞埋し、その樹脂を厚み数マイクロメートル程度の切片にスライスした切片試料を作製し、切片試料の断面像を観察する手法が一般的である。したがって、例えば切片試料の断面に見られる血小板の断面像の直径と、当該血小板の真の直径とは異なる値となることが予想されるため、直径等のサイズに関する特徴量のみでは細胞評価の精度の向上は見込めない。
　この問題を解決するため画像解析部１０４が実行するステップ３０３において、サイズに関する特徴量に加えて、血小板の断面像からでもその血小板の良否及び／又は機能性を評価可能な特徴量として、形態複雑度と、開放小管系の面積比および拡張度と、濃染領域の面積比を特徴量データとして算出・記憶する。以下にそれぞれの特徴量の詳細を説明する。
　形態複雑度
  「形態複雑度」は血小板外形の丸さを示す特徴量である。血小板は血液中で碁石のような円盤型の形状をとることが知られている。上述したように、血小板が包埋された樹脂をスライスすることで血小板試料を作製するため、観察される血小板の断面は円形もしくは楕円形であることが予想される。また、血小板は外部刺激により活性化された状態になると長い突起を出し、それが相互にからまって凝集体（血栓）を作ることが知られている。したがって、丸みを失い、形態が複雑化した血小板は活性化状態であると判断できる。なお、医療用の血小板製剤としては、血小板は活性化していない状態が望ましい。
　画像解析部１０４は、下記式（１）により「形態複雑度」を算出する。
（形態複雑度） =  （周囲長）2／（面積）　・・・（１）
なお、本実施例では式（１）により形態複雑度を算出したが、形態複雑度は血小板の丸さと複雑さを定量的に表現できればよく、例えば円形度や真円度を用いても良く、周囲長や面積や直径、もしくは血小板の重心位置等を組み合わせて形態複雑度を算出してもよい。
　開放小管系の面積比（OCS面積比）
  「OCS面積比」は血小板内部に開放小管系が占める割合を示す特徴量である。人間の血液から採取された血小板の寿命は4日程度であることが知られており、寿命間近の血小板は開放小管系の面積が増加する傾向がある。したがって、OCS面積比を算出することで開放小管系の増加具合を算出することができ、血小板が寿命間近であるかを推定することができる。
　画像解析部１０４は、下記式（２）により「OCS面積比」を算出する。
（OCS面積比） = （開放小管系の総面積）／（血小板の面積）・・・（２）

　開放小管系の拡張度（OCS拡張度）
  「OCS拡張度」は血小板内部の開放小管系の中でも細長く拡張した開放小管系の拡張具合を示す特徴量である。前述した開放小管系の面積比が低い値の場合でも、細長く拡張した開放小管系が存在し、その開放小管系の最大径が血小板外形の最大径の５０％を超えるような場合には、血小板の止血能力が著しく低下している可能性が高いことが本発明者等の生化学検査結果により示されている。したがって、OCS拡張度を算出することで、止血能力が低い血小板を選別することができる。
　画像解析部１０４は、下記式（３）により「OCS拡張度」を算出する。
（OCS拡張度） = （開放小管系の最大径）／（血小板の直径）・・・（３）
このとき、「開放小管系の最大径」は血小板内のすべての開放小管系の最大径のうち最大のものの値を使用する。
　なお、本実施例では式（３）によりOCS拡張度を算出したが、OCS拡張度は血小板内部の開放小管系の拡張具合を定量的に表現できればよく、例えば、「血小板の直径」に変えて「血小板の最大径」としてもよく、「開放小管系の最大径」に変えて「開放小管系の最大直径」としてもよく、血小板外形に対する開放小管系の拡張具合を示すものであればその定義式を式（３）に限定するものではない。
　ここで、血小板の直径とは、血小板の輪郭データが示す輪郭の外周の２点を結び、かつ輪郭の重心を通る最大の線分の長さである。また、輪郭データが示す輪郭の外周の２点を結び、かつ輪郭の重心を通る最小の線分の長さが最小直径である。また、最大径とは、輪郭データが示す輪郭全体を囲む最小の矩形を算出した場合の矩形の長辺の長さである。直径は輪郭の重心を利用して直径の値を算出するが、重心が輪郭の外部にある場合には有効な測定値が得られない場合があるため、開放小管系のサイズ情報を得る場合には外接四角形（輪郭全体を囲む最小の矩形）を利用した最大径を用いたほうが、開放小管系の拡張具合をより正確に定量化することができる。
　濃染領域の面積比（濃染領域面積比）
  「濃染領域面積比」は血小板内部に濃染領域が占める割合を示す特徴量である。上述したように、濃染領域はα顆粒や濃染顆粒等の血小板の止血メカニズムと密接な関係がある化学物質（分泌物）を含んでいる。したがって、もしも濃染領域面積比が０％、１％、２％、３％、４％、５％など、低い値を示す場合には当該血小板は止血能力が低いと推定できる。
　画像解析部１０４は、下記式（４）により「濃染領域面積比」を算出する。
（濃染領域面積比）=（濃染領域の総面積）／（血小板の面積）・・・（４）

　なお、血小板の評価を実施するために定義した濃染領域の構成要素はα顆粒、濃染顆粒、グリコーゲン顆粒、ミトコンドリアに限定する必要はなく、止血メカニズムと関連する分泌物を含む少なくともひとつ以上の細胞小管系が含まれていればよい。また、その他血小板の良否及び／又は機能性、品質に相関のある細胞質、封入体又は副形質を濃染領域の変わりに定義し、その面積比を算出してもよい。
　更に、評価対象や分類したい項目に応じて、上述した以外でも血小板自体の個数やその内部の分泌顆粒や開放小管系の個数といった特徴量を使用してもよい。また、面積、直径、最大径、最小径、周囲長等のサイズなどの輪郭データから算出可能なサイズに関する情報の選択部と、開放小管系や濃染領域といったサイズ情報の対象とする項目や、四則演算のような演算子を選択できる入力部とを備え、それらの組み合わせにより、形態複雑度のような特徴量をユーザ自身が追加できるようにしてもよい。これにより、ユーザは評価対象が変わってもサイズ情報から導出される特徴量を基に、ユーザが知識・経験に基づき判断している特徴量を任意に探索することが可能となる。
　ステップ３０３が終了すると、画像解析部１０４により算出された特徴量と画像は、それぞれ特徴量表示部１０５と画像表示部１０３に表示される（ステップ３０４）。なお、図１の血小板評価システムの概略構成ブロック図においては、画像表示部１０３と特徴量表示部１０５は、抽出、ソート処理結果表示部１０８、ユーザ分離結果表示部１１０、自動分類結果表示部１１３同様、別個のブロックで図示したが、これらユーザインターフェースとなる各種の表示部は、上述したＰＣなどのコンピュータの表示部に、同時或いは切り替え表示する複数のウィンドウで構成するようにしても良い。
　図５、図６は本実施例の血小板評価プログラムのユーザインターフェースの一例を示す模式図である。これらの図を用いて本実施例の血小板評価システムの表示方法の構成、機能、作用について説明する。
　表示方法は、血小板評価プログラムのユーザインターフェース５０１のように特徴量、分類結果表示用の表５０４の形式でもよいし、ユーザインターフェース６０１のように画像を並べたパネル６０２の形式でもよい。図５の表５０４の場合、特徴量を一覧表でみられることが利点であり、画像サイズはサムネイル画像などを生成し、小さい領域で表示する。ただし、画像の視認性の向上のため、行をクリックすることで該当画像を拡大表示５０５する。図６のパネル６０２の場合は、画像が一覧でみられることが利点であるため各種の特徴量は通常は隠すことが望ましい。マウスカーソルを画像上に配置するとポップアップ６０５などで個別の特徴量を表示する。
　このように、特徴量の表と画像のパネル表示の２通りの表示方法を提供することでユーザは特徴量に焦点を当てた評価と、画像からみえる総合的な評価を使い分けることができる。例えば、パネル６０２の形式で表示し、ある程度の画像を分類した後に表５０４の形式で表示することで、ユーザは自身が血小板画像のどの特徴量から良否及び／又は機能性、品質を判断し、分類して分類先を決めているのか認識しやすくなる。パネル６０２では、選択された画像を見やすくするため、背景色変更領域６０３のように背景色を変更して表示することが可能である。なお、図３に示した本実施例のフローチャートにおいては、画像表示と特徴量表示を同時に行っている（ステップ３０４）が、それぞれを画像入力直後、画像解析直後に表示してもよい。
　図１に示した本実施例の血小板評価システムの抽出、ソート条件入力部１０６は、図５に示した血小板評価プログラムのユーザインターフェースにおいては、最低ひとつの任意の特徴量を指定できるインターフェース５０６と、その特徴量の値の範囲を示すインターフェース５０７の組み合わせと、抽出の実行タイミングを指示するインターフェース５０８で構成される。また、抽出だけでなく特徴量に基づき表示データをソートする指示を出すインターフェース５０９を有している。このインターフェース５０９を使い、図５に示すように表５０４の列タイトルをクリックすると昇順、降順に表示データをソートできる。なお、図５では列タイトルとしたが、任意の形態特徴量を指定できるインターフェースと昇順、降順といったソートの規則を指示するインターフェースとの組み合わせで構成してソートしてもよい。
　本実施例の構成にあって、解析分類部の抽出、ソート処理部１０７は、抽出、ソート条件入力部１０６から入力された条件、すなわち、抽出の実行タイミングを指示するインターフェース５０８やソート実行の指示を出すインターフェース５０９の命令を受け、任意の特徴量を指定できるインターフェース５０６とその特徴量の値の範囲を示すインターフェース５０７の入力値を読み取り、抽出やソート処理を実行する。例えば、図５に示す例では最大直径が１以上２以下の範囲内にあり、面積が１．５以上３以下の範囲内にあるものを抽出する。その抽出結果は抽出、ソート処理結果表示部１０８に表示される。
　以上説明したように、ある程度の画像を分類した後に表５０４の形式で表示し、ソート処理を行うことであるユーザは分類結果が、ある特徴量のある閾値を基に判断されていることの認識が容易となる。例えば図１２Ａに示すように面積でソートした場合特徴量との傾向は見えないが、図１２Ｂに示すように開放小管系拡張度でソートしてみたときに、開放小管系の拡張度が０．４を閾値として分類されていることが容易に認識できる。
　更に、抽出、ソート処理結果表示部１０８は、本実施例の構成では限られた表示領域の中で視認性をよくするため、ウィンドウ数を少なくすることを目的に表５０４やパネル６０２の領域を再描画することで実現する。なお、抽出、ソート条件を変え、結果を並べて評価することを目的として複数のウィンドウに個別に結果を表示してもよい。
　また、抽出において、抽出された特徴量が画像上でどこに該当するかを示すため、表示画面上に図７、図８に示すような強調表示を行っても良い。図７は、本実施例の血小板評価システムが評価対象とする血小板の断面像とその特徴量の一例を表示した表示画面を示しており、表示された血小板は図５、図６に示したものと同一形状のものである。同図において、左上に血小板の幅、高さを、左下に血小板の最大直径、最小直径を、右上に開放小管系の最大直径を、右下に血小板の面積、開放小管系の面積、濃染領域の面積を示した。
　図８の矢印８０１は血小板の最大直径や開放小管系の拡張度のパラメータがどの箇所に該当するのかを示すための強調表示であり、図７の血小板、開放小管系の最大直径に対応する。これによりユーザは特徴量の数字が、画像のどの箇所を基に算出された値なのかを直感的に認識することができる。図８の他の強調表示であるポップアップメッセージ８０２については後述する。
　なお、抽出、ソート処理の対象は特徴量だけでなく分類結果に対して実行してもよい。これにより、ユーザは未分類のものと分類済みのものを分けて管理できるほか、一部の分類先に範囲を絞り再確認し、再分類するといった作業が容易となる。
　ユーザは図５の表５０４や図６のパネル６０２に表示された解析結果や抽出、ソート結果を閲覧しながらユーザ分類入力部１０９に分類先を入力していく。ユーザ分類入力部１０９は分類入力インターフェース５１０のように表５０４の該当セルに直接入力もできれば、表５０４やパネル６０２において該当行や画像を複数選択し分類先選択用のインターフェース６０４の入力値に従って一度に複数個を分類することもできる。パネル６０２ではマウスのドラッグ操作やタッチパネルでなぞるといった操作をすることで複数選択することもできる。このとき、選択行や選択された画像はわかるように背景色や枠線色を変更した背景色変更領域６０３として表示する。なお、選択されていることが分かればよく、選択行や選択画像の一部にチェック用のインターフェースを設けてもよい。これにより、ユーザは複数の血小板画像データに対してひとつひとつ分類していく必要がなくなり、効率的に分類できる。
　また、図５に示す本実施例の構成では、抽出と同時に分類の実行も指示するインターフェース５１２と分類するための閾値を入力するインターフェース５１１を有することで、抽出と同時に効率的に分類することも可能としている。図５に示した例では、閾値が２以上であるため面積と最大直径比の両方が範囲内である画像の血小板はＯＫに分類される。例えば、ユーザは明らかに閾値で分類可能なものはユーザインターフェース５０１を使用して分類してしまい、その後に抽出、ソート処理を行って範囲を絞り、ユーザインターフェース６０１を使用しながら画像から総合的な判断を下していくことで効率的に分類していくことができる（ステップ３０５）。なお、抽出と分類を同時に実行する場合、抽出による再描画はしてもよいし、自動分類結果表示部１１３の更新だけでもよい。
　また、ユーザ分類入力部１０９は分類先を指定する入力部だけでなく、分類先となる理由を入力するインターフェースを備えてもよい。ユーザ分類結果表示部１１０はユーザ分類入力部１０９に入力された値を表示すればよいため、分類入力インターフェース５１０と共用する。また、特徴量から分類を判定された場合、特徴量毎に分類結果を枠５０３、６０６で強調表示し、その分類は直線、点線、破線などの表現で分類する。これにより、ユーザは特徴量毎の分類結果に対する傾向が認識しやすくなる。なお、分類結果は枠線ではなく背景色の違いなどで表現してもよいし、特徴量毎の分類判定結果の列の追加やセルの片隅にマークなどで表記してもよい。
　以上詳述したフローチャートの実行で分類された教師データを基に、解析分類部の分類モデル作成部１１１で分類モデルを作成する（３０６）。分類モデル作成部１１１は機械学習によって図９に例示すような分類木（Ｔ９０１～Ｔ９０９）に従う分類木を生成してもよいし、ニューラルネットワークのような多層ネットワーク型の分類器でもよい。なお、教師データを必要とするような深層学習を使用した分類器でもよい。また、再編集や再利用する目的で画像解析部１０４に記憶された画像、特徴量や分類結果、分類モデル作成部１１１で作成された分類モデルを保存する記憶部、或いは記憶領域があってもよい。
　＜血小板評価システムで血小板の最終評価＞
  続いて、実施例１に係る血小板評価システムで血小板の最終評価をするときの動作処理フローについて図面を用いて説明する。
　図４は本実施例の血小板評価システムを、血小板の最終評価に適用する場合の動作フローチャートの一例を示す。画像取得部１００で画像を取得し、取得した画像とその特徴量を表示するまでは、図３のステップ３０４までで説明したものと同一のフローであり、説明を省略する（ステップ４０１）。
　図１の解析分類部の自動分類部１１２は、上述した分類モデル作成部１１１で作成された分類モデルを使用し、各種形態特徴量から血小板を自動的に分類する（ステップ４０２）。自動分類結果は自動分類結果表示部１１３に表示される。自動分類結果表示部１１３は、上述したユーザ分類結果表示部１１０と同じ形式で表示する（ステップ４０３）。また、図８に示す血小板画像上のポップアップメッセージ８０２のように、分類結果とその分類に至った事象の要因や分類結果が指し示す将来的な事象を追加で強調表示する。すなわち、自動分類結果表示部１１３は、自動分類部１１２の分類結果に基づいて特徴量を強調表示することができる。なお、事象の要因と密接な関係にある特徴量がある場合、その特徴量が画像上のどこに該当するかを矢印８０１で強調表示しても良いことは先に説明した通りである。
　これにより、ユーザは何を理由に分類されたかや、分類された結果が示すリスクなどを参考としながら判断することができる。また、分類モデルが成熟し、一致率が向上した際には、経験の浅いユーザでも、経験が豊富なユーザと同レベルの判断が可能となる支援システムとなる。また、本システムを初心者向けの学習システムとして利用してもよい。
　なお、分類モデルの評価とユーザが入力した評価の一致率の計算部を設け、その一致率を判定精度として表示してもよい。また、評価後には、ユーザの判断材料として図１０に例示したような受信者動作特性（ROC）曲線１００１、１００２を表示し、真陽性率や偽陽性率などを表示してもよい。なお、特徴量毎の分類と評価結果に傾向が出る場合もあるため、一致率やROC曲線は特徴量毎の分類結果と関連付け、特徴量毎にそれらを表示してもよい。これにより、ユーザは一致率やROC曲線をみることで分類モデルの妥当性やその精度を判定することができる。
　一致率やROC曲線、特徴量、画像を上述と同様に抽出、ソート条件入力部１０６、抽出、ソート処理部１０７、抽出、ソート処理結果表示部１０８を使用し（ステップ４０４）、その結果を参照しながらユーザは図３のフローと同様に分類する（ステップ４０５）。
　また、抽出、ソート処理は特徴量だけでなく分類結果や評価結果を対象としてもよい。これにより、製造工程で混入してしまった異物や血小板以外の構成物に評価された画像に関しては抽出処理で除外して範囲を狭めることでユーザによる評価時間の短縮が期待できる他、逆に異物を抽出し、その件数や異物の形態を評価することで製造工程の機器に何らかの不具合があるといったフィードバックが容易となる。
　ユーザ分類結果表示部１１０は、上述した自動分類結果表示部１１３と同様に表示する。なお、ユーザ分類結果と自動分類結果の両方がわかるように枠５０３、６０６を複数表示してもよいし、ユーザ分類結果と自動分類結果の組み合わせでその種類を決めてもよい。また、ユーザ分類入力部１０９はユーザ分類結果表示部１１０や自動分類結果表示部１１３と同一でもよいし、個別のインターフェースで表示してもよい。
　図１１の作業支援用ユーザインターフェース１１０１に示すように、ユーザ分類結果と自動分類結果を並列表示することで、ユーザは分類モデルが誤分類した箇所を容易に認識でき、その適切な閾値についても同時に検討が可能となり、分類モデル作成作業の支援効果が得られ、分類モデルの出来栄え評価が容易になる。すなわち、ユーザ分類結果表示部１１０と自動分類結果表示部１１３とを同一画面に並列表示するよう構成する。
　同図に示した例では、分類モデルが血小板の品質を、面積にしきい値を設けて分類しており、そのしきい値は１０から１２の間、例えば１１であることが読み取れる。しかし、ユーザの分類結果を見ると、ユーザは面積が8以下のものをOK、１０以上のものをNGと分類する傾向があることがわかる。したがって、分類モデルの面積におけるしきい値を、例えば１１から９に変更することで分類精度が向上できる可能性がある。このように、表示部にて各分類結果を並列表示することで、ユーザは各分類モデルの妥当性や精度、改良点を検討することができる。更に、ユーザが認識した閾値を入力できるインターフェースを分類モデル作成部１１１に設け分類モデルを適切に修正してもよい。
　単純な分類木のような分類モデルの場合は、図１１のようなユーザによる判断が容易であり、直接分類モデルを修正していった方が分類モデルは早く成熟することが期待できるが、分類木でもその条件が複数の条件の組み合わせにより分岐するものや、ニューラルネットワークのような複雑な分類モデルの場合は、単純な抽出、ソート処理では、閾値が判断できない場合もある。そのような場合はユーザ分類結果を再度分類モデル作成部１１１に通すことで、分類モデルの精度向上を図ってもよい。
　再編集や再利用を目的に画像、特徴量や分類結果、使用された分類モデル、評価結果および最終的な分類結果を纏めて保存する記憶部を備えてもよい。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部を他の構成に置き換えることが可能であり、また、実施例の構成に他の構成を加えることが可能である。
　更に、上述した各構成、機能、制御部、処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。すなわち、処理部の全部または一部の機能は、プログラムに代え、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの集積回路などにより実現してもよい。
１００　画像取得部，１０１　荷電粒子線装置，１０２　画像入力部，１０３　画像表示部，１０４　画像解析部，１０５　特徴量表示部，１０６　抽出、ソート条件入力部，１０７　抽出、ソート処理部，１０８　抽出、ソート処理結果表示部，１０９　ユーザ分類入力部，１１０　ユーザ分類結果表示部，１１１　分類モデル作成部，１１２　自動分類部，１１３　自動分類結果表示部，１２１　処理部，１２２　制御部，１２３　画像生成部，１２４　記憶部，１２５　入出力部，２０１　走査荷電粒子顕微鏡，２０２　走査荷電粒子銃，２０３　走査荷電粒子ビーム，２０４　電子レンズ，２０５　試料，２０６　検出器，２０７　ステージ，５０１、６０１　血小板評価プログラムのユーザインターフェース，５０２　フォルダツリー，５０３、６０６　分類、評価結果表示枠，５０４　表
５０５　画像拡大表示部，５０６　任意の形態特徴量を指定するインターフェース，５０７　特徴量の値の範囲を示すインターフェース，５０８　抽出処理実行を指示するインターフェース，５０９　ソート実行を指示するインターフェース，５１０　分類入力インターフェース，５１１　分類するための閾値を入力するインターフェース，５１２　抽出と同時に分類の実行も指示するインターフェース，６０２　特徴量、分類、評価結果表示用のパネル，６０３　背景色変更領域，６０４　分類先選択用インターフェース，６０５　特徴量表示用ポップアップ，７００　血小板の断面像とその特徴量を示す表示画面，８０１　矢印，８０２　事象の理由、将来的な事象表示，１００１、１００２　ROC曲線，１１０１　作業支援用ユーザインターフェース

Claims (20)

  1. 画像を取得する画像入力部と、
    取得した前記画像を表示する画像表示部と、
    前記画像から形態の特徴量を算出する画像解析部と、
    算出された前記特徴量を表示する特徴量表示部と、
    前記特徴量に対して抽出やソートの条件を指定する抽出、ソート条件入力部と、
    入力された前記条件に基づき、前記特徴量の抽出やソート処理を行う抽出、ソート処理部と、
    前記抽出、ソート処理部の処理結果を表示する抽出、ソート処理結果表示部と、前記画像に対する分類先をユーザが入力するユーザ分類入力部と、
    前記ユーザ分類入力部からの入力内容を表示するユーザ分類結果表示部と、を備える、
    ことを特徴とする画像分類装置。
  2. 請求項１に記載の画像分類装置であって、
    前記抽出、ソート処理部の処理結果に基づき、前記画像を分類する自動分類部を作成する分類モデル作成部を更に備える、
    ことを特徴とする画像分類装置。
  3. 請求項２に記載の画像分類装置であって、
    前記自動分類部で分類された前記画像の分類結果を表示する自動分類結果表示部を更に備える、
    ことを特徴とする画像分類装置。
  4. 請求項３に記載の画像分類装置であって、
    前記自動分類結果表示部は、前記自動分類部の分類結果に基づいて前記特徴量を強調表示する、
    ことを特徴とする画像分類装置。
  5. 請求項３に記載の画像分類装置であって、
    前記ユーザ分類結果表示部と前記自動分類結果表示部とを同一画面に並列表示する、
    ことを特徴とする画像分類装置。
  6. 請求項３に記載の画像分類装置であって、
    前記自動分類部の分類結果と、前記ユーザ分類入力部から入力される前記入力内容の一致率を計算する計算部を更に備え、
    計算した前記一致率を表示する、
    ことを特徴とする画像分類装置。
  7. 請求項３に記載の画像分類装置であって、
    前記画像は細胞の断面像であり、
    前記特徴量は前記細胞の輪郭の形態的特徴量と、前記輪郭の内部領域に含まれる内部構造物の特徴量である、
    ことを特徴とする画像分類装置。
  8. 請求項７に記載の画像分類装置であって、
    前記細胞は血小板であり、
    前記輪郭の形態的特徴量とは、前記血小板外形の丸さを示す特徴量であり、前記内部構造物の特徴量は、前記血小板の開放小管系の面積比と、当該開放小管系の拡張度と、前記血小板の濃染領域の面積比とを含む、
    ことを特徴とする画像分類装置。
  9. 請求項７に記載の画像分類装置であって、
    前記分類結果表示部は、前記自動分類部の分類結果に基づいて、前記特徴量を強調表示する、
    ことを特徴とする画像分類装置。
  10. 請求項７に記載の画像分類装置であって、
    前記ユーザ分類結果表示部と前記自動分類結果表示部とを同一画面に並列表示する、
    ことを特徴とする画像分類装置。
  11. 解析分類部と表示部を備えた画像分類装置の表示方法であって、
    前記解析分類部は、
    取得した画像から形態の特徴量を算出し、
    算出した前記特徴量に対して指定された抽出やソートの条件に基づき、前記特徴量の抽出やソート処理を行い、
    前記表示部は、
    取得した前記画像を表示し、
    算出した前記特徴量を表示し、
    前記特徴量の抽出やソート処理の処理結果を表示し、
    前記画像に対する分類先がユーザ入力された場合、入力内容を表示する、
    ことと特徴とする表示方法。
  12. 請求項１１に記載の表示方法であって、
    前記解析分類部は、
    前記特徴量の抽出やソート処理の処理結果に基づき、前記画像を分類するための自動分類部を作成する、
    ことを特徴とする表示方法。
  13. 請求項１２に記載の表示方法であって、
    前記表示部は、
    前記自動分類部により分類された前記画像の自動分類結果を表示する、
    ことを特徴とする表示方法。
  14. 請求項１３に記載の表示方法であって、
    前記表示部は、
    前記自動分類部の自動分類結果に基づいて、前記特徴量を強調表示する、
    ことを特徴とする表示方法。
  15. 請求項１３に記載の表示方法であって、
    前記表示部は、
    前記ユーザ分類結果と前記自動分類結果とを同一画面に並列表示する、
    ことを特徴とする表示方法。
  16. 解析分類部と表示部を備えた画像分類装置で実行されるプログラムであって、
    前記解析分類部を、
    取得した画像から形態の特徴量を算出し、
    算出した前記特徴量に対して指定された抽出やソートの条件に基づき、前記特徴量の抽出やソート処理を行い、
    前記表示部を、
    取得した前記画像を表示し、
    算出した前記特徴量を表示し、
    前記特徴量の抽出やソート処理の処理結果を表示し、
    前記画像に対する分類先がユーザ入力された場合、入力内容を表示する、
    よう動作させる、
    ことを特徴とするプログラム。
  17. 請求項１６に記載のプログラムであって、
    前記解析分類部を、
    前記特徴量の抽出やソート処理の処理結果に基づき、前記画像を分類するための自動分類部を作成する、よう動作させる、
    ことを特徴とするプログラム。
  18. 請求項１７に記載のプログラムであって、
    前記表示部を、
    前記自動分類部により分類された前記画像の自動分類結果を表示する、よう動作させる、
    ことを特徴とするプログラム。
  19. 請求項１８に記載のプログラムであって、
    前記表示部を、
    前記自動分類部の自動分類結果に基づいて、前記特徴量を強調表示する、よう動作させる、
    ことを特徴とするプログラム。
  20. 請求項１８に記載のプログラムであって、
    前記表示部を、
    前記ユーザ分類結果と前記自動分類結果とを同一画面に並列表示する、よう動作させる、
    ことを特徴とするプログラム。
PCT/JP2017/015223 2017-04-14 2017-04-14 撮像装置および形態特徴データ表示方法 WO2018189875A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/604,918 US11321585B2 (en) 2017-04-14 2017-04-14 Imaging device and morphological feature data display method
PCT/JP2017/015223 WO2018189875A1 (ja) 2017-04-14 2017-04-14 撮像装置および形態特徴データ表示方法
JP2019512139A JP6862538B2 (ja) 2017-04-14 2017-04-14 撮像装置および形態特徴データ表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/015223 WO2018189875A1 (ja) 2017-04-14 2017-04-14 撮像装置および形態特徴データ表示方法

Publications (1)

Publication Number Publication Date
WO2018189875A1 true WO2018189875A1 (ja) 2018-10-18

Family

ID=63793330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/015223 WO2018189875A1 (ja) 2017-04-14 2017-04-14 撮像装置および形態特徴データ表示方法

Country Status (3)

Country Link
US (1) US11321585B2 (ja)
JP (1) JP6862538B2 (ja)
WO (1) WO2018189875A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021059572A1 (ja) * 2019-09-27 2021-04-01 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
CN113196335A (zh) * 2018-12-14 2021-07-30 富士胶片株式会社 小批量学习装置及其工作程序和工作方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2019215728A (ja) * 2018-06-13 2019-12-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11742172B2 (en) * 2019-01-11 2023-08-29 Hitachi High-Tech Corporation Charged particle beam device and control method thereof
CN113632077A (zh) * 2019-03-28 2021-11-09 松下知识产权经营株式会社 识别信息赋予装置、识别信息赋予方法以及程序
JP7412321B2 (ja) * 2020-12-08 2024-01-12 株式会社日立ハイテク オブジェクト分類装置、オブジェクト分類システム及びオブジェクト分類方法
JP2023015674A (ja) * 2021-07-20 2023-02-01 株式会社エビデント 細胞塊の内部予測方法、プログラム、及び、画像処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2003317082A (ja) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd 分類支援装置、分類装置およびプログラム
WO2010023791A1 (ja) * 2008-08-28 2010-03-04 株式会社日立ハイテクノロジーズ 欠陥検査方法及び装置
WO2011004568A1 (ja) * 2009-07-08 2011-01-13 株式会社ニコン 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2596101A1 (en) * 2004-03-16 2005-09-29 Amnis Corporation Method for imaging and differential analysis of cells
US9607202B2 (en) * 2009-12-17 2017-03-28 University of Pittsburgh—of the Commonwealth System of Higher Education Methods of generating trophectoderm and neurectoderm from human embryonic stem cells
JP5745290B2 (ja) 2010-04-23 2015-07-08 国立大学法人名古屋大学 画像処理装置、細胞分類装置、インキュベータ、画像処理方法、細胞分類方法、画像処理プログラムおよび細胞分類プログラム
CN108318409A (zh) * 2011-06-17 2018-07-24 罗氏血液诊断股份有限公司 用于样本显示与查看的系统和方法
JP6063756B2 (ja) 2013-01-25 2017-01-18 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
ES2981412T3 (es) * 2013-02-28 2024-10-08 Ares Trading Sa Equipo, método y sistema para el seguimiento automatizado no invasivo de la actividad celular
WO2015182382A1 (ja) 2014-05-30 2015-12-03 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
AU2015299073A1 (en) * 2014-08-04 2016-12-15 Ventana Medical Systems, Inc. Image analysis system using context features
US10304188B1 (en) * 2015-03-27 2019-05-28 Caleb J. Kumar Apparatus and method for automated cell analysis
WO2017106359A1 (en) * 2015-12-18 2017-06-22 Abbott Laboratories Methods and systems for assessing cell morphology

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2003317082A (ja) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd 分類支援装置、分類装置およびプログラム
WO2010023791A1 (ja) * 2008-08-28 2010-03-04 株式会社日立ハイテクノロジーズ 欠陥検査方法及び装置
WO2011004568A1 (ja) * 2009-07-08 2011-01-13 株式会社ニコン 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196335A (zh) * 2018-12-14 2021-07-30 富士胶片株式会社 小批量学习装置及其工作程序和工作方法
WO2021059572A1 (ja) * 2019-09-27 2021-04-01 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
JPWO2021059572A1 (ja) * 2019-09-27 2021-04-01
JP7242882B2 (ja) 2019-09-27 2023-03-20 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
US12136258B2 (en) 2019-09-27 2024-11-05 Fujifilm Corporation Information processing apparatus, method for operating information processing apparatus, and operating program of information processing apparatus

Also Published As

Publication number Publication date
JP6862538B2 (ja) 2021-04-21
JPWO2018189875A1 (ja) 2020-02-27
US20200125894A1 (en) 2020-04-23
US11321585B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
JP6862538B2 (ja) 撮像装置および形態特徴データ表示方法
US12229959B2 (en) Systems and methods for determining cell number count in automated stereology z-stack images
Hortinela et al. Identification of abnormal red blood cells and diagnosing specific types of anemia using image processing and support vector machine
US10801944B2 (en) High accuracy 5-part differential with digital holographic microscopy and untouched leukocytes from peripheral blood
Ghosh et al. Blood smear analyzer for white blood cell counting: a hybrid microscopic image analyzing technique
Schmitz et al. Current automated 3D cell detection methods are not a suitable replacement for manual stereologic cell counting
WO2015195609A1 (en) Analyzing digital holographic microscopy data for hematology applications
Davidson et al. Automated detection and staging of malaria parasites from cytological smears using convolutional neural networks
Di Ruberto et al. A leucocytes count system from blood smear images: Segmentation and counting of white blood cells based on learning by sampling
Sankarapandian et al. A pathology deep learning system capable of triage of melanoma specimens utilizing dermatopathologist consensus as ground truth
Chakrabortya et al. A combined algorithm for malaria detection from thick smear blood slides
Quiñones et al. Leukocyte segmentation and counting based on microscopic blood images using HSV saturation component with blob analysis
JPH09509487A (ja) 細胞試料自動分類装置及び方法
CN108352062A (zh) 用于组织识别的方法和设备
CN115210779A (zh) 生物样品中对象的系统性表征
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Aof et al. A computer-aided diagnoses program for leukemia detection using blood samples
Evangeline et al. Computer aided system for human blood cell identification, classification and counting
EP3563342B1 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
JP6847204B2 (ja) 荷電粒子線装置および細胞評価方法
Anari et al. Computer-aided detection of proliferative cells and mitosis index in immunohistichemically images of meningioma
Röhrl et al. Towards interpretable classification of leukocytes based on deep learning
Liu et al. Automatic detection of circulating tumor cells based on microscopic images
Le et al. An automated framework for counting lymphocytes from microscopic images
Umamaheswari et al. Optimizing Cervical Cancer Classification with SVM and Improved Genetic Algorithm on Pap Smear Images.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17905616

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019512139

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17905616

Country of ref document: EP

Kind code of ref document: A1