[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2017179304A1 - 色ムラ部位の評価方法及び色ムラ部位評価装置 - Google Patents

色ムラ部位の評価方法及び色ムラ部位評価装置 Download PDF

Info

Publication number
WO2017179304A1
WO2017179304A1 PCT/JP2017/006522 JP2017006522W WO2017179304A1 WO 2017179304 A1 WO2017179304 A1 WO 2017179304A1 JP 2017006522 W JP2017006522 W JP 2017006522W WO 2017179304 A1 WO2017179304 A1 WO 2017179304A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin image
color unevenness
skin
image
spot
Prior art date
Application number
PCT/JP2017/006522
Other languages
English (en)
French (fr)
Inventor
久美子 菊地
Original Assignee
株式会社資生堂
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社資生堂 filed Critical 株式会社資生堂
Priority to KR1020187031765A priority Critical patent/KR20180130553A/ko
Priority to US16/090,666 priority patent/US10786197B2/en
Priority to EP17782122.0A priority patent/EP3443899A4/en
Priority to CN201780022594.8A priority patent/CN109069065B/zh
Publication of WO2017179304A1 publication Critical patent/WO2017179304A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • the present application relates to a color unevenness portion evaluation method and a color unevenness portion evaluation apparatus.
  • color information or skin pigment component information is quantified by using a spectrocolorimeter or other device for spots and freckles specified by visual sensation etc. in the entire face, around the eyes, and on cheeks.
  • a spectrocolorimeter or other device for spots and freckles specified by visual sensation etc. in the entire face, around the eyes, and on cheeks.
  • the quantification of the color information is based on an average value in a measurement region of principal component scores related to melanin obtained by performing principal component analysis using spectral reflectance data of a plurality of wavelengths, for example (see, for example, Patent Document 1). .
  • the state of the uneven color part such as a stain may change with aging or may change due to the influence of the season.
  • the state of a certain color unevenness part may change with the effect of chemical
  • medical agents such as a whitening agent, for example.
  • Patent Document 2 describes an image alignment method for aligning two or more images, acquires a specific structure-oriented image that emphasizes a specific structure, and acquires the acquired specific structure. It is described that a structural correspondence positional relationship is obtained between important images, and the two or more images are aligned based on the obtained structural correspondence positional relationship. However, such a method cannot associate color unevenness portions of two or more images with each other.
  • an object of the present invention is to capture and evaluate a change in each color unevenness part included in a skin image.
  • a color unevenness part detecting step for detecting a plurality of color unevenness parts from each of the first skin image and a second skin image different from the first skin image, and the first skin Based on the barycentric position calculation step of calculating the barycentric position coordinate of each color unevenness part of each of the image and the second skin image, and the barycentric position coordinate of each of the color unevenness part calculated in the barycentric position calculating step,
  • a method for evaluating a color unevenness portion including a matching processing step that associates the plurality of color unevenness portions included in the first skin image with the plurality of color unevenness portions included in the second skin image.
  • a stain will be described as an example of a color uneven portion, and a stain evaluation process will be described as an example of a method for evaluating a color uneven portion.
  • the term “stain” refers to a state in which pigments such as melanin are deposited on the skin, where the boundary between the site where the pigment is deposited and the region where the pigment is not deposited is clear and the pigment is deposited to some extent.
  • the stain includes, for example, senile pigment spots or sunshine moles, post-inflammation pigmentation, freckles, liver spots and the like.
  • FIG. 1 is a diagram illustrating an example of a functional configuration of a spot evaluation apparatus 10 according to the present embodiment.
  • the spot evaluation device 10 includes an input unit 11, an output unit 12, a storage unit 13, an image acquisition unit 14, a spot detection unit 15, a centroid position calculation unit 16, a matching processing unit 17, and a spot evaluation unit 18. And a control unit 19.
  • the input unit 11 receives inputs such as the start, end, and setting of various instructions related to the stain evaluation process from, for example, a user who uses the stain evaluation device 10.
  • the output unit 12 outputs the content input by the input unit 11 and the content executed based on the input content. For example, the output unit 12 performs a process of displaying the results of the processes performed by the image acquisition unit 14, the spot detection unit 15, the gravity center position calculation unit 16, the matching processing unit 17, the spot evaluation unit 18, and the like on a display described later.
  • the image acquisition unit 14 acquires a first skin image and a second skin image different from the first skin image.
  • the first skin image and the second skin image can be skin images obtained by photographing the same target portion at different times of the same subject.
  • first skin image and the second skin image can be skin images in which the entire subject's cheek is photographed, for example.
  • first skin image and the second skin image are identified from a face image of a subject taken by, for example, a SIA (Skin Image Analyzer) system composed of a diffuse lighting box and a digital camera (for example, it is possible to obtain a skin image obtained by extracting around the eyes and cheeks.
  • SIA Skin Image Analyzer
  • the spot detection unit 15 detects a plurality of spots from each of the first skin image and the second skin image.
  • the center-of-gravity position calculation unit 16 calculates the center-of-gravity position coordinates of each stain on each of the first skin image and the second skin image.
  • the matching processing unit 17 associates the plurality of spots included in the first skin image with the plurality of spots included in the second skin image based on the barycentric position coordinates of each spot calculated by the barycentric position calculating unit 16.
  • the stain evaluation unit 18 evaluates a change in the stain based on the correspondence relationship of the stains associated with the matching processing unit 17.
  • the control unit 19 controls the entire components of the stain evaluation apparatus 10.
  • the control unit 19 controls, for example, at least one of spot detection, gravity center calculation, matching processing, and spot evaluation on the skin image, but the contents controlled by the control unit 19 are not limited to this.
  • the storage unit 13 stores various information necessary for the present embodiment. Specifically, the storage unit 13 stores various programs for executing the stain evaluation process of the present embodiment, various setting information, and the like.
  • the storage unit 13 includes information about the first skin image and the second skin image, and spots included in each skin image (number of spots, area of each spot, darkness of each spot, barycentric position coordinates of each spot, (Spot correspondence, etc.), evaluation results, etc. are stored.
  • the storage unit 13 is a collection of various types of information as described above.
  • the storage unit 13 may function as a database structured systematically so that it can be searched and extracted using keywords or the like. Good.
  • the information stored in the storage unit 13 may be acquired from an external device via a communication network represented by the Internet or a LAN (Local Area Network), for example.
  • the stain evaluation apparatus 10 installs an execution program (stain evaluation program) that causes a computer to execute each function of the stain evaluation apparatus 10 illustrated in FIG. 1 on a general-purpose computer such as a PC (Personal Computer), a smartphone, a tablet terminal, or the like. This can be realized.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration capable of realizing the spot evaluation process.
  • the stain evaluation apparatus 10 includes an input device 21, an output device 22, a drive device 23, an auxiliary storage device 24, a memory device 25, a CPU (Central Processing Unit) 26 that performs various controls, and a network connection device 27. These are connected to each other by a system bus B.
  • the input device 21 can be a pointing device such as a keyboard or a mouse operated by a user or the like.
  • the input device 21 may be a voice input device such as a microphone that can be input by voice or the like.
  • the output device 22 can be a display, a speaker, or the like.
  • the output device 22 may be a printing device such as a printer.
  • the input device 21 and the output device 22 described above may have an input / output integrated configuration such as a touch panel when the stain evaluation device 10 is a smartphone, a tablet terminal, or the like.
  • the execution program installed in the spot evaluation apparatus 10 in the present embodiment is provided by a portable recording medium 28 such as a USB (Universal Serial Bus) memory or a CD-ROM, for example.
  • the recording medium 28 can be set in the drive device 23, and an execution program included in the recording medium 28 is installed from the recording medium 28 to the auxiliary storage device 24 via the drive device 23.
  • the auxiliary storage device 24 is a storage means such as a hard disk, and stores the execution program of the present embodiment, a control program provided in the computer, and the like, and can perform input / output as necessary.
  • the memory device 25 stores an execution program read from the auxiliary storage device 24 by the CPU 26.
  • the memory device 25 is a ROM (Read Only Memory), a RAM (Random Access Memory), or the like. Note that the auxiliary storage device 24 and the memory device 25 described above may be configured integrally as a single storage device.
  • the CPU 26 controls processing of the entire computer, such as various operations and input / output of data with each hardware component, based on a control program such as an OS (Operating System) and an execution program stored in the memory device 25.
  • a control program such as an OS (Operating System) and an execution program stored in the memory device 25.
  • OS Operating System
  • execution program stored in the memory device 25.
  • the network connection device 27 acquires, for example, an execution program and various data from other devices connected to the communication network by connecting to a communication network such as the Internet or a LAN.
  • the network connection device 27 can also provide the execution result obtained by executing the program to other devices.
  • FIG. 3 is a flowchart illustrating an example of the spot evaluation process.
  • the image acquisition unit 14 acquires two skin images, a first skin image and a second skin image (step S102).
  • the first skin image and the second skin image are, for example, images before and after application of a whitening agent such as a whitening agent of the same subject, aging change images of the same subject, images of different seasons of the same subject, etc. It is possible to obtain a skin image obtained by photographing the same target portion at different times of the same subject.
  • the second skin image is a skin image obtained by photographing the same target portion of the same subject as the first skin image after the first skin image.
  • the image acquisition unit 14 acquires, as an analysis region, a skin image (a pixel region of 500 ⁇ 500 pixels or the like) obtained by capturing a predetermined region of the subject's cheek, for example, as the first skin image and the second skin image. Can do. Further, the image acquisition unit 14 acquires a face image of the subject, extracts a predetermined region (such as a 500 ⁇ 500 pixel region) of the cheek as an analysis region based on the face image contour and the like, and extracts the first skin An image and a second skin image can also be used. However, for example, when the first skin image and the second skin image are aligned later in the process of step S106, for example, the first skin is secured in order to ensure a sufficient analysis region even when a deviation occurs.
  • the image 100 and the second skin image 102 can be configured to include a wider area than the analysis area thus determined.
  • the spot detection unit 15 performs image processing on the first skin image and the second skin image acquired by the image acquisition unit 14, and detects a spot from each of the first skin image and the second skin image. (Step S104).
  • the processing of the spot detection unit 15 will be described in detail with reference to FIG. (Stain detection processing)
  • FIG. 4 is a flowchart showing in detail the spot detection process in step S104. The following processing is performed for each of the first skin image and the second skin image.
  • the spot detection unit 15 calculates pigment components such as a melanin component and a hemoglobin component of the skin image that is an analysis region, and converts the pigment component into an image (pigment component distribution image) indicating the density of the pigment component and its distribution state (step S1). S11). Specifically, the spot detection unit 15 acquires the RGB color system RGB value of the analysis region, the CIE-XYZ value that is the CIE international standard value converted from the RGB color system, the color data Lab value, and the like.
  • the RGB color system RGB values can be converted into CIE-XYZ values using, for example, the following equation.
  • the spot detection unit 15 removes the low-frequency component from the distribution image of the pigment component obtained in step S11. Thereby, for example, the influence of a large swell corresponding to a shadow due to the shape of the face can be excluded.
  • the spot detection unit 15 removes a band having a half width of about 40.0 mm or more as an influence of a shadow.
  • the stain detection unit 15 first generates an image of a low frequency component using a bandpass filter such as a Gaussian function (step S12).
  • the spot detection unit 15 subtracts the low-frequency component image obtained in step S12 from the pigment component distribution image obtained in step S11 (step S13).
  • the spot detection unit 15 performs a binarization process on the image obtained in step S13 (step S14).
  • the binarization processing for example, with respect to the density of the melanin component, for example, an average value +0.01 to 0.30 is set as a threshold value, and a pixel having a melanin value (high melanin value) equal to or higher than the threshold value is set as a high melanin portion. .
  • a normal skin part and a high melanin part are distinguishable.
  • the spot detection unit 15 performs noise processing on the image obtained in step S14 (step S15).
  • the noise processing can be performed using, for example, a median filter (5 ⁇ 5 pixels or the like), but is not limited thereto.
  • the spot detection unit 15 performs a labeling process for labeling a region where pixels having high melanin values are continuous as one pigmentation site in the image obtained in step S15 (step S16). For example, the spot detection unit 15 connects adjacent portions of pixels identified as pixels having a high melanin value, and extracts the connected pixel group as one pigmentation site.
  • the spot detection unit 15 removes a region having a predetermined area (for example, an actual size of 1.0 mm 2 ) or less from the pigmentation site labeled in step S16 and removes the remaining pigmentation site. (S17). Thereby, for example, a small extract such as a pore can be removed, and a spot can be detected with high accuracy.
  • a predetermined area for example, an actual size of 1.0 mm 2
  • the center-of-gravity position calculation unit 16 uses the first skin image and the second skin image based on the plurality of spots detected from the first skin image and the plurality of spots detected from the second skin image. Is aligned with the skin image, and a coordinate reference point is determined (step S106).
  • the alignment can be performed by pattern recognition based on the distribution of spots detected from each of the first skin image and the second skin image.
  • FIG. 5A to 5C are schematic diagrams showing an example of this process.
  • FIG. 5A shows the first skin image 100
  • FIG. 5B shows the second skin image 102.
  • FIG. 5C is a diagram in which the first skin image 100 and the second skin image 102 are overlaid and aligned.
  • the center-of-gravity position calculation unit 16 aligns the first skin image 100 and the second skin image 102 based on the distribution of a plurality of spots 106 included in the first skin image 100 and the second skin image 102.
  • the coordinates of the first skin image 100 and the second skin image 102 are aligned.
  • the predetermined position on the lower left can be determined as the reference point (the origin (0, 0)) of the XY coordinate system.
  • the stain 106 included in the first skin image 100 and the stain included in the second skin image 102 can be accurately associated.
  • the barycentric position calculation unit 16 calculates the barycentric position coordinates of each spot 106 in each of the first skin image 100 and the second skin image 102 with respect to the reference point determined in step S106 (step S106). S108).
  • FIG. 6 is a schematic diagram showing an example of this process.
  • the centroid position calculation unit 16 calculates the position coordinates of the centroid 108 of each of the spots 106a to 106d in the first skin image 100 (and the second skin image 102).
  • the position coordinates of the center of gravity 108 can be calculated from the position coordinates of all the pixels constituting the spot area, for example. Specifically, the position coordinates of the center of gravity 108 can be obtained by calculating the average of the X coordinates and Y coordinates of all the pixels constituting the spot area.
  • the position coordinates of the center of gravity 108 may be calculated by the following procedure. (1) Method of calculating from all pixels constituting the outline of each spot If the number of all pixels constituting the outline of each spot is n, the X coordinate of the center of gravity 108 is the sum of the X coordinates of all points. , N. The Y coordinate of the center of gravity 108 is calculated similarly. (2) Method of weighting and calculating all the pixels constituting each spot area and calculating the X coordinates after weighting (multiplying the coordinates) the melanin density to all pixels constituting the spot area And the average of each Y coordinate is obtained. (3) Method for obtaining ellipse center by performing ellipse fitting The above is an example, and other methods can be selected as appropriate.
  • the matching processing unit 17 associates the spots 106 with each other based on the barycentric position coordinates of the spots 106 of the first skin image 100 and the second skin image 102 (step S ⁇ b> 110). .
  • the matching processing unit 17 For each spot 106 in the first skin image 100, the matching processing unit 17 performs a first search step for detecting a corresponding spot 106 from the second skin image 102, and each spot 106 in the second skin image 102. Then, a second search step for detecting a corresponding spot 106 from the first skin image 100 is performed.
  • FIG. 7 is a schematic diagram showing an example of this process.
  • FIG. 7 is a diagram schematically illustrating an example of the relationship between the coordinate axis of each skin image and the amount of melanin.
  • (a) corresponds to the first skin image 100
  • (b) corresponds to the second skin image 102.
  • the matching processing unit 17 centers the target coordinate (“a” in FIG. 7B) of the second skin image 102 corresponding to the barycentric position coordinate 109a of the spot 106a for the spot 106a of the first skin image 100.
  • the second skin image 102 is searched using the predetermined range as the search range 110.
  • the matching processing unit 17 uses the spot 106g having the barycentric position coordinate 109g closest to the target coordinate a among the spots having the barycentric position coordinate in the search range 110 of the second skin image 102 as the first skin.
  • the stain 106a of the image 100 corresponds to display with a dashed arrow in the figure. The matching processing unit 17 performs this process for each spot of the first skin image 100.
  • the matching processing unit 17 determines that the spot corresponding to the spot in the first skin image 100 is the second skin image. The fact that it does not exist in 102 is associated with the spot in the first skin image 100.
  • the matching processing unit 17 centers the target coordinate (“g” in FIG. 7A) of the first skin image 100 corresponding to the barycentric position coordinate 109g of the stain 106g for the stain 106g of the second skin image 102.
  • the first skin image 100 is searched using the predetermined range as the search range 112.
  • the matching processing unit 17 sets the stain 106a having the centroid position coordinate 109a closest to the target coordinate g among the stains having the centroid position coordinate in the search range 112 of the first skin image 100 as the second skin.
  • the stain 106g of the image 102 corresponds to display with a solid line arrow in the figure. The matching processing unit 17 performs this process for each spot of the second skin image 102.
  • the matching processing unit 17 determines that the spot corresponding to the spot of the second skin image 102 is the first skin image. The fact that it does not exist in 100 is associated with the spot in the second skin image 102.
  • the range (size) of the search range 110 can be, for example, within a circle (radius is 1 pixel or more) centered on the target coordinates and less than the radius of the number of pixels corresponding to 40 mm in actual size. Preferably, for example, it can be within a circle with a radius of the number of pixels corresponding to 1 mm or more and 2 mm or less in actual size centered on the target coordinates.
  • the actual size refers to the actual size of the subject from which the skin image is captured, and is the actual size of a part such as a cheek.
  • the range (size) of the search range 112 can be the same as the search range 110, for example.
  • the search range 110 and the size of the search range 112 may be different.
  • the size of the search range may be determined dynamically based on the average value of the spot area detected in step S104 in FIG. Also in this case, the size of the search range 110 and the size of the search range 112 may be the same or different.
  • FIG. 8 is a diagram schematically showing an example of a correspondence relationship between a plurality of spots on the first skin image 100 and the second skin image 102 when the above processing is performed.
  • (a) corresponds to the first skin image 100
  • (b) corresponds to the second skin image 102.
  • Broken arrows in the figure indicate the results associated in the first search step.
  • the solid line arrow in the figure indicates the result associated in the second search step.
  • the spot 106 g of the second skin image 102 is only associated with the spot 106 b of the first skin image 100.
  • the stain 106a and the stain 106b of the first skin image 100 are associated with the stain 106g of the second skin image 102, respectively. Thereby, the binding of a stain can be detected.
  • the spot 106 c of the first skin image 100 is only associated with the spot 106 i of the second skin image 102.
  • the stain 106h and the stain 106i of the second skin image 102 are associated with the stain 106c of the first skin image 100, respectively. Thereby, the division
  • the first search step it is possible to detect that the stain corresponding to the stain 106 d of the first skin image 100 is not included in the second skin image 102. Thereby, the disappearance of the stain can be detected.
  • the second search step among the stains included in the second skin image 102, those that do not include the stain corresponding to the first skin image 100 are included. It can also be detected. Thereby, the occurrence of a spot can be detected.
  • the correspondence between each spot can be detected in detail by performing both the first search step and the second search step. Note that either the first search step or the second search step may be performed first.
  • the spot evaluation unit 18 evaluates a spot change pattern and the like based on the result of the matching processing step by the matching processing unit 17 (step S112).
  • 9A to 9E are diagrams showing a change pattern of a spot.
  • the spot evaluation unit 18 includes a spot whose barycentric position coordinates exist in the search area of the second skin image 102 corresponding to the spot 106 of the first skin image 100. If there is no spot, it is evaluated that the spot in the first skin image 100 has disappeared (FIG. 9A).
  • the spot evaluation unit 18 has the barycentric position coordinates in the search region of the first skin image 100 corresponding to the spot of the second skin image 102 in the second search step by the matching processing unit 17. When there is no stain, it is evaluated that the stain of the second skin image 102 has occurred (FIG. 9B).
  • the spot evaluation unit 18 is configured to detect a plurality of spots 106 of the first skin image 100 associated with one spot 106 of the second skin image 102 in the first search step by the matching processing unit 17. It is evaluated that the plurality of spots 106 of the first skin image 100 are combined (FIG. 9C).
  • the spot evaluation unit 18 determines that the second search step performed by the matching processing unit 17 includes a plurality of spots of the second skin image 102 that are associated with one spot of the first skin image 100. It is evaluated that the stain 106 of one skin image 100 is split (FIG. 9D).
  • the spot evaluation unit 18 determines that the spot 106 of the first skin image 100 and the spot 106 of the second skin image 102 are associated with each other as a result of the matching processing step by the matching processing unit 17. It is determined to be maintained (FIG. 9E).
  • the figure shown with the broken line in the figure between the 1st skin image 100 and the 2nd skin image 102 shows transition from the state of the 1st skin image 100 to the state of the 2nd skin image 102.
  • FIG. 10A to FIG. 10C are diagrams showing an example of information regarding each stain obtained by the processes of the spot detecting unit 15, the center-of-gravity position calculating unit 16, the matching processing unit 17, and the spot evaluating unit 18. Such information is stored in the storage unit 13.
  • FIG. 10A and FIG. 10B show an example of the stain information related to each stain obtained by the processing of the stain detection unit 15, the gravity center position calculation unit 16, and the stain evaluation unit 18.
  • the stain information includes items such as a stain ID, a gravity center position, an area, a melanin amount, and a stain classification.
  • the spot ID is information for identifying each spot.
  • the barycentric position indicates the barycentric position coordinate of each spot.
  • the area indicates the area of each stain.
  • the amount of melanin indicates the amount of melanin in each stain.
  • the melanin amount may be an average value of the melanin amount of the spot, or may be stored in association with each image constituting each spot.
  • the spot classification indicates the classification of the spots evaluated by the spot evaluation unit 18 based on the area of each spot and the amount of melanin.
  • FIG. 10C is a correspondence relationship of each spot in the first skin image 100 and the second skin image 102 obtained by the processing of the matching processing unit 17 and the spot evaluation unit 18 based on the spot information shown in FIGS. 10A and 10B.
  • 2 shows an example of spot correspondence information indicating a change pattern or the like.
  • the stain correspondence information includes items such as a stain ID of the first skin image 100, a stain ID of the second skin image 102, a change pattern, and a state change.
  • the change pattern indicates a pattern of how the stain included in the first skin image 100 has changed in the second skin image 102.
  • the state change indicates a state change such as a change in the area of the stain or a change in the amount of melanin in the stain.
  • a predetermined medicine is applied to a subject for a predetermined period
  • a skin image before application is defined as a first skin image 100
  • a skin image after application is defined as a second skin image 102.
  • the result was compared with the result confirmed visually one by one.
  • the spot evaluation apparatus 10 of the present embodiment it has been confirmed that it is possible to perform spot matching between the first skin image 100 and the second skin image 102 with high accuracy. .
  • 11A and 11B are diagrams in which a part of the skin image 100 before application and the skin image 102 after application used in the accuracy verification example are extracted.
  • 11A shows the first skin image 100
  • FIG. 11B shows the second skin image 102.
  • the spot 106e shown in FIG. 11A is associated with the spots 106f and 106g shown in FIG. 11B.
  • change can be caught and evaluated about each spot which was not able to grasp
  • the spot evaluation process in this embodiment can capture and evaluate changes in each spot included in the skin image. Specifically, for example, by associating a plurality of stains respectively included in the first skin image and the second skin image having different photographing times with respect to the same target portion of the same subject, it is possible to grasp the change of each stain. For example, it is possible to grasp how small spots change, how large spots change, how dark spots change, how thin spots change, and the like.
  • the first skin image 100 and the second skin image 102 have been described, but the skin image acquired by the image acquisition unit 14 may be 3 or more. In this case, for example, it is possible to detect the correspondence between spots included in the skin image before and after the time series.
  • the color of the skin is mainly determined by light absorption by “hemoglobin pigment” and “melanin pigment”.
  • the pigments constituting the skin color such as hemoglobin and melanin components, are not uniformly distributed inside the skin, and when the pigments are locally generated excessively, the color of the skin surface becomes uneven. This state is generally referred to as color unevenness).
  • color unevenness there are ⁇ acne '', ⁇ acne scars '' and the like as symptoms caused by hemoglobin pigment, and as symptom caused by melanin pigment as ⁇ stain (senile pigment spot or sunlight black spot, Post-inflammation pigmentation, freckles, melasma, etc.) ”and“ mole ”.
  • the uneven color portion is a stain
  • the uneven color portion is not limited to a stain, for example, acne, acne scars, pimples, burn marks, moles, melanin components,
  • a pigment component such as a hemoglobin component, a color value, or the like
  • the color unevenness part evaluation process of the present application is particularly useful when a color unevenness part that changes with time is targeted.
  • the spot evaluation unit 18 in the present embodiment displays the first skin image 100 and the second skin image 102 as shown in FIGS. 11A and 11B on the output device 22 such as a display via the output unit 12. can do.
  • the output device 22 such as a display via the output unit 12. can do.
  • the spot evaluation device 10 selects a predetermined spot 106c from the first skin image 100 with a pointer or the like, the corresponding spots 106h and 106i in the second skin image 102 are highlighted. It can be set as this structure. Thereby, the user can also visually confirm how each stain in the first skin image 100 has changed in the second skin image 102.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dermatology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

色ムラ部位（シミ）の評価方法は、第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出ステップ（ステップＳ１０２）と、第１の肌画像及び第２の肌画像それぞれの各色ムラ部位の重心位置座標を算出する重心位置算出ステップ（ステップＳ１０８）と、重心位置算出ステップで算出された各色ムラ部位の重心位置座標に基づき、第１の肌画像に含まれる複数の色ムラ部位と第２の肌画像に含まれる複数の色ムラ部位とを対応付けるマッチング処理ステップ（ステップＳ１１０）と、を含む。

Description

色ムラ部位の評価方法及び色ムラ部位評価装置
　本願は、色ムラ部位の評価方法及び色ムラ部位評価装置に関する。
　例えば顔全体や、目のまわりや頬等の部位において視感等により特定したシミやそばかすに対し、分光測色計等の機器を用いて色情報又は皮膚の色素成分情報を定量化し、定量化した色情報又は皮膚の色素成分情報に基づいて、シミやそばかすを評価する方法が知られている。色情報の定量化は、例えば複数の波長の分光反射率データを用いて主成分分析を行って得られるメラニンに関する主成分得点の測定領域における平均値に基づいている（例えば、特許文献１参照）。
特開２００３－１４４３９３号公報 特開２００１－３２５５８４号公報
　ところで、シミ等の色ムラ部位の状態は、加齢とともに変化したり、季節の影響により変化することがある。また、ある色ムラ部位の状態は、例えば美白剤等の薬剤の効果により変化することもある。しかし、従来、このような色ムラ部位それぞれの変化を捕らえて評価することができていなかった。
　なお、特許文献２には、２以上の画像を位置合わせする画像の位置合わせ方法が記載されており、特定の構造物を重視した特定構造物重視画像を取得し、該取得された特定構造物重視画像間で構造的対応位置関係を求め、該求められた構造的対応位置関係に基づいて、前記２以上の画像を位置合わせすることが記載されている。しかし、このような方法では２以上の画像の色ムラ部位同士を対応付けることはできない。
　一つの側面では、本発明は、肌画像に含まれる各色ムラ部位の変化を捕らえて評価することを目的とする。
　一つの形態によれば、第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出ステップと、前記第１の肌画像及び前記第２の肌画像それぞれの各前記色ムラ部位の重心位置座標を算出する重心位置算出ステップと、前記重心位置算出ステップで算出された各前記色ムラ部位の前記重心位置座標に基づき、前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位とを対応付けるマッチング処理ステップと、を含む色ムラ部位の評価方法が提供される。
　肌画像に含まれる各色ムラ部位の変化を捕らえて評価することができる。
本実施形態のシミ評価装置の機能構成の一例を示す図である。 シミ評価処理が実現可能なハードウェア構成の一例を示す図である。 シミ評価処理の一例を示すフローチャートである。 シミ検出処理の一例を示すフローチャートである。 第１の肌画像と第２の肌画像との位置合わせを行い、座標の基準点を決定する処理の一例を示す模式図である。 第１の肌画像と第２の肌画像との位置合わせを行い、座標の基準点を決定する処理の一例を示す模式図である。 第１の肌画像と第２の肌画像との位置合わせを行い、座標の基準点を決定する処理の一例を示す模式図である。 各シミの重心位置座標を算出する処理の一例を示す模式図である。 シミ同士の対応付けを行う処理を示す模式図である。 図７の処理を行った場合の第１の肌画像及び第２の肌画像の複数のシミの対応関係の一例を模式的に示す図である。 シミの変化パターンを示す図である。 シミの変化パターンを示す図である。 シミの変化パターンを示す図である。 シミの変化パターンを示す図である。 シミの変化パターンを示す図である。 各シミに関する情報の一例を示す図である。 各シミに関する情報の一例を示す図である。 各シミに関する情報の一例を示す図である。 本実施形態のシミ評価装置により対応付けられるシミの具体例を示す図である。 本実施形態のシミ評価装置により対応付けられるシミの具体例を示す図である。
　以下、本発明を実施するための形態について図面を参照して説明するが、本発明は、下記の実施形態に制限されることはなく、本発明の範囲を逸脱することなく、下記の実施形態に種々の変形および置換を加えることができる。
　本実施形態において、色ムラ部位の一例としてシミを対象とし、色ムラ部位の評価方法としてシミ評価処理を例として説明する。ここで、シミとは、肌にメラニン色素等の色素が沈着した状態であって、肌の色素が沈着した部位と沈着していない部位との境界が明瞭である程度に色素が沈着した状態をいう。具体的には、シミは、例えば老人性色素斑又は日光性黒子、炎症後色素沈着、そばかす、肝斑等を含む。
　図１は、本実施形態のシミ評価装置１０の機能構成の一例を示す図である。
　シミ評価装置１０は、入力部１１と、出力部１２と、記憶部１３と、画像取得部１４と、シミ検出部１５と、重心位置算出部１６と、マッチング処理部１７と、シミ評価部１８と、制御部１９とを有する。
　入力部１１は、例えばシミ評価装置１０を使用するユーザ等から、シミ評価処理に関する各種指示の開始、終了、設定等の入力を受け付ける。出力部１２は、入力部１１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。出力部１２は、例えば画像取得部１４、シミ検出部１５、重心位置算出部１６、マッチング処理部１７、シミ評価部１８等による処理による結果を後述するディスプレイ等に表示する処理を行う。
　本実施形態において、画像取得部１４は、第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像を取得する。ここで、第１の肌画像及び第２の肌画像は、同一被験者の異なる時期における同一対象箇所を撮影して得られた肌画像とすることができる。
　また、第１の肌画像及び第２の肌画像は、例えば被験者の頬全体が撮影された肌画像とすることができる。また、第１の肌画像及び第２の肌画像は、例えば拡散照明ボックスとデジタルカメラとから構成されるＳＩＡ（Ｓｋｉｎ　Ｉｍａｇｅ　Ａｎａｌｙｚｅｒ）システム等により撮影された被験者の顔画像から、特定される部位（例えば、目の周りや頬等）を抽出した肌画像とすることができる。
　シミ検出部１５は、第１の肌画像及び第２の肌画像それぞれから、複数のシミを検出する。重心位置算出部１６は、第１の肌画像及び第２の肌画像それぞれの各シミの重心位置座標を算出する。マッチング処理部１７は、重心位置算出部１６が算出した各シミの重心位置座標に基づき、第１の肌画像に含まれる複数のシミと第２の肌画像に含まれる複数のシミとを対応付ける。
　シミ評価部１８は、マッチング処理部１７が対応付けたシミの対応関係に基づき、シミの変化を評価する。
　制御部１９は、シミ評価装置１０の各構成部全体の制御を行う。制御部１９は、例えば肌画像に対するシミ検出、重心位置算出、マッチング処理、シミ評価等のうち少なくとも１つを制御するが、制御部１９が制御する内容はこれに限定されるものではない。
　記憶部１３は、本実施形態において必要な各種情報を記憶する。具体的には、記憶部１３は、本実施形態のシミ評価処理を実行するための各種プログラムや、各種設定情報等を記憶する。記憶部１３は、第１の肌画像及び第２の肌画像や、各肌画像に含まれるシミに関する情報（シミの数、各シミの面積、各シミの濃さ、各シミの重心位置座標、シミの対応関係等）、評価結果等を記憶する。
　ここで、記憶部１３は、上述したような多種の情報の集合物であり、例えばキーワード等を用いて検索し、抽出可能に体系的に構成されているデータベースとしての機能を有していてもよい。更に、記憶部１３に記憶される情報は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークを介して外部装置から取得したものであってもよい。
　シミ評価装置１０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等の汎用のコンピュータ、スマートフォンやタブレット端末等に、図１に示すシミ評価装置１０の各機能をコンピュータに実行させる実行プログラム（シミ評価プログラム）をインストールすることにより実現することができる。
（ハードウェア構成）
　図２は、シミ評価処理が実現可能なハードウェア構成の一例を示す図である。シミ評価装置１０は、入力装置２１と、出力装置２２と、ドライブ装置２３と、補助記憶装置２４と、メモリ装置２５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２６と、ネットワーク接続装置２７とを有し、これらはシステムバスＢで相互に接続されている。
　入力装置２１は、ユーザ等が操作するキーボード、マウス等のポインティングデバイスとすることができる。また、入力装置２１は、例えば音声等により入力が可能なマイク等の音声入力デバイスであってもよい。
　出力装置２２は、ディスプレイやスピーカ等とすることができる。また、出力装置２２は、プリンタ等の印刷デバイスとすることもできる。
　なお、上述した入力装置２１と出力装置２２とは、例えばシミ評価装置１０がスマートフォンやタブレット端末等のような場合には、例えばタッチパネルのように入出力一体型の構成であってもよい。
　ここで、本実施形態においてシミ評価装置１０にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリやＣＤ－ＲＯＭ等の可搬型の記録媒体２８等により提供される。記録媒体２８は、ドライブ装置２３にセット可能であり、記録媒体２８に含まれる実行プログラムが、記録媒体２８からドライブ装置２３を介して補助記憶装置２４にインストールされる。
　補助記憶装置２４は、ハードディスク等のストレージ手段であり、本実施形態の実行プログラムや、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行うことができる。
　メモリ装置２５は、ＣＰＵ２６により補助記憶装置２４から読み出された実行プログラム等を格納する。なお、メモリ装置２５は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等である。なお、上述した補助記憶装置２４やメモリ装置２５は、１つの記憶装置として一体型に構成されていてもよい。
　ＣＰＵ２６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置２５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、本実施形態のシミ評価処理を実現する。なお、プログラム実行中に必要な各種情報等は、補助記憶装置２４から取得し、実行結果等を格納してもよい。
　ネットワーク接続装置２７は、インターネットやＬＡＮ等に代表される通信ネットワーク等と接続することにより、例えば実行プログラムや各種データを通信ネットワークに接続されている他の装置等から取得する。また、ネットワーク接続装置２７は、プログラムを実行することで得られた実行結果等を他の装置等に提供することも可能である。
　上述したハードウェア構成により、本実施形態のシミ評価処理を実行することが可能となる。また、実行プログラムをインストールすることにより、汎用のＰＣ等で本実施形態のシミ評価処理を容易に実現することが可能である。
（シミ評価処理）
　図３は、シミ評価処理の一例を示すフローチャートである。
　本実施の形態において、画像取得部１４は、第１の肌画像及び第２の肌画像の２つの肌画像を取得する（ステップＳ１０２）。第１の肌画像及び第２の肌画像は、例えば、同一被験者の美白薬剤等の薬剤の適用前と所定期間適用後の画像、同一被験者の加齢変化画像、同一被験者の異なる季節の画像等の、同一被験者の異なる時期における同一対象箇所を撮影して得られた肌画像とすることができる。なお、本実施形態の以下の説明では、第２の肌画像は、第１の肌画像と同一被験者の同一対象箇所を第１の肌画像よりも後に撮影して得られた肌画像とする。
　画像取得部１４は、第１の肌画像及び第２の肌画像として、例えば被験者の頬の所定の領域が撮影された肌画像（５００×５００画素の画素領域等）を解析領域として取得することができる。また、画像取得部１４は、被験者の顔画像を取得し、顔画像輪郭等に基づき、例えば頬の所定の領域（５００×５００画素の画素領域等）を解析領域として抽出して第１の肌画像及び第２の肌画像とすることもできる。ただし、例えば、後に例えばステップＳ１０６の処理で第１の肌画像と第２の肌画像との位置合わせを行う際に、ずれが生じた場合でも充分な解析領域を確保するため、第１の肌画像１００及び第２の肌画像１０２は、このように定めた解析領域よりも広めの範囲の領域を含む構成とすることができる。
　シミ検出部１５は、画像取得部１４により取得された第１の肌画像及び第２の肌画像に対して画像処理を実行し、第１の肌画像及び第２の肌画像それぞれからシミを検出する（ステップＳ１０４）。シミ検出部１５の処理について、図４を参照して詳細に説明する。
（シミ検出処理）
　図４は、ステップＳ１０４のシミ検出処理を詳細に示すフローチャートである。以下の処理は、第１の肌画像及び第２の肌画像それぞれに対して行われる。
　シミ検出部１５は、解析領域である肌画像のメラニン成分やヘモグロビン成分等の色素成分を算出し、色素成分の濃さ及びその分布状態を示す画像（色素成分の分布画像）に変換する（ステップＳ１１）。具体的には、シミ検出部１５は、解析領域のＲＧＢ表色系ＲＧＢ値、ＲＧＢ表色系から変換されたＣＩＥ国際基準値であるＣＩＥ－ＸＹＺ値、色彩データＬａｂ値等を取得する。
　なお、ＲＧＢ表色系ＲＧＢ値は、例えば以下の式を用いて、ＣＩＥ－ＸＹＺ値へと変換することができる。
　Ｘ＝０．００１６４５×Ｒ＋０．００１１１６×Ｇ＋０．０００３１４×Ｂ＋２．５８５１４３
　Ｙ＝０．００１１１０×Ｒ＋０．００２０８０×Ｇ＋０．００００６５×Ｂ＋２．３５９０８８
　Ｚ＝０．０００４３９×Ｒ＋０．０００６１０×Ｇ＋０．００２４３９×Ｂ＋２．７５７７６９　　（式１）
　また、（式１）から得られたＸＹＺ値は、本出願人による特許第３７２７８０７号公報等に記載された手法により、以下の（式２）を用いてメラニン成分やヘモグロビン成分等の色素成分へと変換することができる。
　メラニン量＝－４．８６１×ｌｏｇ１０（１／Ｘ）＋１．２６８×ｌｏｇ１０（１／Ｙ）＋４．６６９×ｌｏｇ１０（１／Ｚ）＋０．０６３
　ヘモグロビン量＝－３２．２１８×ｌｏｇ１０（１／Ｘ）＋３７．４９９×ｌｏｇ１０（１／Ｙ）－４．４９５×ｌｏｇ１０（１／Ｚ）＋０．４４４　　（式２）
　次に、シミ検出部１５は、ステップＳ１１で得られた色素成分の分布画像から低周波数成分を除去する。これにより、例えば顔の形状による影に相当する大きなうねりの影響を除外することができる。シミ検出部１５は、例えば半値幅約４０．０ｍｍ以上の帯域を影による影響として除去する。具体的には、シミ検出部１５は、まず、例えばガウシアン関数等のバンドパスフィルタを用いて、低周波数成分の画像を生成する（ステップＳ１２）。次いで、シミ検出部１５は、ステップＳ１１の処理で得られた色素成分の分布画像からステップＳ１２で得られた低周波数成分の画像を減算する（ステップＳ１３）。
　次に、シミ検出部１５は、ステップＳ１３で得られた画像の２値化処理を行う（ステップＳ１４）。２値化処理は、例えばメラニン成分の濃さに対して、例えば平均値＋０．０１～０．３０等を閾値として、閾値以上のメラニン値（高メラニン値）を有する画素を高メラニン部分とする。これにより、正常な肌部分と高メラニン部分とを識別することができる。
　次に、シミ検出部１５は、ステップＳ１４で得られた画像のノイズ処理を行う（ステップＳ１５）。ノイズ処理は、例えばメディアンフィルタ（５×５画素等）を用いて行うことができるが、これに限定されるものではない。
　次に、シミ検出部１５は、ステップＳ１５で得られた画像中で、高メラニン値を有する画素が連続している領域を１つの色素沈着部位としてラベル付けするラベリング処理を行う（ステップＳ１６）。シミ検出部１５は、例えば高メラニン値の画素として識別された画素が隣接する部分を連結していき、連結された画素群を１つの色素沈着部位として抽出する。
　次に、シミ検出部１５は、ステップＳ１６でラベル付けされた色素沈着部位のうち、所定の面積（例えば、実サイズで１．０ｍｍ２）以下の領域を除去して残った色素沈着部位をシミとして検出する（Ｓ１７）。これにより、例えば毛穴のような小さな抽出物を除去して、シミを精度良く検出することができる。
　以上のシミ検出部１５の処理は、本出願人による特願２０１４－２３４９３８に記載されており、特願２０１４－２３４９３８の内容を適宜援用することができる。
　図３に戻り、重心位置算出部１６は、第１の肌画像から検出された複数のシミと、第２の肌画像から検出された複数のシミとに基づき、第１の肌画像と第２の肌画像との位置合わせを行い、座標の基準点を決定する（ステップＳ１０６）。ここで、位置合わせは、第１の肌画像及び第２の肌画像それぞれから検出されたシミの分布に基づくパターン認識により行うことができる。
　図５Ａ～図５Ｃは、この処理の一例を示す模式図である。図５Ａは第１の肌画像１００、図５Ｂは第２の肌画像１０２を示す。図５Ｃは第１の肌画像１００と第２の肌画像１０２を重ねて位置合わせした図である。重心位置算出部１６は、第１の肌画像１００と第２の肌画像１０２に含まれる複数のシミ１０６の分布に基づき、第１の肌画像１００と第２の肌画像１０２とを位置合わせし、第１の肌画像１００と第２の肌画像１０２の座標を揃える。例えば、左下の所定の位置をＸＹ座標系の基準点（原点（０，０））と決定することができる。これにより、後の工程において、第１の肌画像１００に含まれるシミ１０６と第２の肌画像１０２に含まれるシミとの対応付けを精度良く行うことができる。
　図３に戻り、次に、重心位置算出部１６は、ステップＳ１０６で決定した基準点に対する第１の肌画像１００及び第２の肌画像１０２それぞれの各シミ１０６の重心位置座標を算出する（ステップＳ１０８）。
　図６は、この処理の一例を示す模式図である。重心位置算出部１６は、第１の肌画像１００（及び第２の肌画像１０２）中の各シミ１０６ａ～１０６ｄの重心１０８の位置座標を算出する。
　重心１０８の位置座標は、例えば、そのシミ領域を構成するすべての画素の位置座標から算出することができる。具体的には、重心１０８の位置座標は、そのシミ領域を構成するすべての画素のＸ座標及びＹ座標の平均を算出して得ることができる。
　また、他の例として、重心１０８の位置座標は、以下の手順で算出してもよい。
（１）各シミの輪郭を構成するすべての画素から算出する方法
　各シミの輪郭を構成するすべての画素の数をｎ個とすると、重心１０８のＸ座標はすべての点のＸ座標を足し合わせ、ｎで除することにより得られる。重心１０８のＹ座標も同様に算出する。
（２）各シミ領域を構成するすべての画素にメラニン濃度の重み付けをし、算出する方法
　そのシミ領域を構成するすべての画素に、メラニン濃度で重み付け（座標に対する掛け合わせ）をした後に、Ｘ座標及びＹ座標それぞれの平均を算出して得られる。
（３）楕円フィッティングを行って楕円の中心を求める方法
　以上は一例であり、その他の方法を適宜選択することができる。
　図３に戻り、次に、マッチング処理部１７は、第１の肌画像１００及び第２の肌画像１０２の各シミ１０６の重心位置座標に基づき、シミ１０６同士の対応付けを行う（ステップＳ１１０）。マッチング処理部１７は、第１の肌画像１００の各シミ１０６について、第２の肌画像１０２から対応するシミ１０６を検出する第１の探索ステップと、第２の肌画像１０２の各シミ１０６について、第１の肌画像１００から対応するシミ１０６を検出する第２の探索ステップとを行う。
　図７は、この処理の一例を示す模式図である。図７は、各肌画像の座標軸とメラニン量との関係の一例を模式的に示す図である。図７中、（ａ）は第１の肌画像１００、（ｂ）は第２の肌画像１０２に対応する。
　まず、第１の探索ステップについて説明する。マッチング処理部１７は、第１の肌画像１００のシミ１０６ａについて、シミ１０６ａの重心位置座標１０９ａに対応する第２の肌画像１０２の対象座標（図７（ｂ）中の「ａ」）を中心とした所定の範囲を探索範囲１１０として第２の肌画像１０２を探索する。
　ここで、第２の肌画像１０２の探索範囲１１０内に重心位置座標が存在するシミのうち、シミ１０６ｇの重心位置座標１０９ｇが対象座標ａに最も近接するものと仮定する。この場合、マッチング処理部１７は、第２の肌画像１０２の探索範囲１１０内に重心位置座標が存在するシミのうち、重心位置座標１０９ｇが対象座標ａに最も近接するシミ１０６ｇを第１の肌画像１００のシミ１０６ａと対応付ける（図中破線の矢印で表示する対応付け）。マッチング処理部１７は、この処理を第１の肌画像１００の各シミについて行う。
　また、マッチング処理部１７は、第２の肌画像１０２の探索領域内に重心位置座標が存在するシミがない場合は、第１の肌画像１００の当該シミに対応するシミが第２の肌画像１０２に存在しない旨を第１の肌画像１００の当該シミと対応付ける。
　次に、第２の探索ステップについて説明する。マッチング処理部１７は、第２の肌画像１０２のシミ１０６ｇについて、シミ１０６ｇの重心位置座標１０９ｇに対応する第１の肌画像１００の対象座標（図７（ａ）中の「ｇ」）を中心とした所定の範囲を探索範囲１１２として第１の肌画像１００を探索する。
　ここで、第１の肌画像１００の探索範囲１１２内に重心位置座標が存在するシミのうち、シミ１０６ａの重心位置座標１０９ａが対象座標ｇに最も近接するものと仮定する。この場合、マッチング処理部１７は、第１の肌画像１００の探索範囲１１２内に重心位置座標が存在するシミのうち、重心位置座標１０９ａが対象座標ｇに最も近接するシミ１０６ａを第２の肌画像１０２のシミ１０６ｇと対応付ける（図中実線の矢印で表示する対応付け）。マッチング処理部１７は、この処理を第２の肌画像１０２の各シミについて行う。
　また、マッチング処理部１７は、第１の肌画像１００の探索領域内に重心位置座標が存在するシミがない場合は、第２の肌画像１０２の当該シミに対応するシミが第１の肌画像１００に存在しない旨を第２の肌画像１０２の当該シミと対応付ける。
　なお、探索範囲１１０の範囲（サイズ）は、例えば、対象座標を中心とした、実サイズで４０ｍｍに対応する画素数の半径以下の円内（半径は１画素以上）とすることができ、より好ましくは、例えば対象座標を中心とした、実サイズで１ｍｍ以上２ｍｍ以下に対応する画素数の半径の円内とすることができる。実サイズとは、肌画像を撮影した対象の実際のサイズのことで、例えば頬等の部位の実際のサイズである。
　また、探索範囲１１２の範囲（サイズ）は、例えば、探索範囲１１０と同様とすることができる。このように、第１の肌画像１００のシミの重心位置座標に基づき第２の肌画像１０２から対応するシミを探索する場合と第２の肌画像１０２のシミの重心位置座標に基づき第１の肌画像１００から対応するシミを探索する場合とで探索範囲を同一とすることにより、第１の肌画像１００と第２の肌画像１０２とにおけるシミの対応付けを矛盾なく行うことができる。また、後述するシミの分裂及びシミの結合を同じ基準で検出することができる。ただし、探索範囲１１０のサイズと探索範囲１１２のサイズとは異ならせてもよい。
　また、探索範囲のサイズは、図３のステップＳ１０４で検出されたシミの面積の平均値等に基づき、動的に決定する構成としてもよい。この場合も探索範囲１１０のサイズと探索範囲１１２のサイズとは同一としてもよく、異ならせてもよい。
　図８は、以上の処理を行った場合の第１の肌画像１００及び第２の肌画像１０２の複数のシミの対応関係の一例を模式的に示す図である。図８中、（ａ）は第１の肌画像１００、（ｂ）は第２の肌画像１０２に対応する。図中破線の矢印は、第１の探索ステップで対応付けられた結果を示す。また、図中実線の矢印は、第２の探索ステップで対応付けられた結果を示す。
　例えば、第２の探索ステップを行った場合、第２の肌画像１０２のシミ１０６ｇは第１の肌画像１００のシミ１０６ｂと対応付けられるだけである。一方、第１の探索ステップも行うことにより、第１の肌画像１００のシミ１０６ａ及びシミ１０６ｂがそれぞれ第２の肌画像１０２のシミ１０６ｇと対応付けられることが把握できる。これにより、シミの結合を検出することができる。
　また同様に、例えば、第１の探索ステップを行った場合、第１の肌画像１００のシミ１０６ｃは、第２の肌画像１０２のシミ１０６ｉと対応付けられるだけである。一方、第２の探索ステップも行うことにより、第２の肌画像１０２のシミ１０６ｈ及びシミ１０６ｉがそれぞれ第１の肌画像１００のシミ１０６ｃと対応付けられることが把握できる。これにより、シミの分裂を検出することができる。
　また、例えば、第１の探索ステップを行うことにより、第１の肌画像１００のシミ１０６ｄに対応するシミが第２の肌画像１０２に含まれないことを検出することができる。これにより、シミの消滅を検出することができる。図示していないが、同様に、例えば、第２の探索ステップを行うことにより、第２の肌画像１０２に含まれるシミのうち、第１の肌画像１００に対応するシミが含まれないものを検出することもできる。これにより、シミの発生を検出することができる。
　このように、本実施形態において、第１の探索ステップ及び第２の探索ステップの両方を行うことにより、各シミの対応関係を詳細に検出することができる。なお、第１の探索ステップ及び第２の探索ステップは、どちらを先に行ってもよい。
　図３に戻り、次に、シミ評価部１８は、マッチング処理部１７によるマッチング処理ステップの結果に基づき、シミの変化パターン等を評価する（ステップＳ１１２）。図９Ａ～図９Ｅは、シミの変化パターンを示す図である。
　例えば、シミ評価部１８は、マッチング処理部１７による第１の探索ステップにおいて、第１の肌画像１００のシミ１０６に対応する第２の肌画像１０２の探索領域内に重心位置座標が存在するシミがない場合に、第１の肌画像１００の当該シミが消滅したと評価する（図９Ａ）。
　また、例えば、シミ評価部１８は、マッチング処理部１７による第２の探索ステップにおいて、第２の肌画像１０２のシミに対応する第１の肌画像１００の探索領域内に重心位置座標が存在するシミがない場合に、第２の肌画像１０２の当該シミが発生したと評価する（図９Ｂ）。
　さらに、シミ評価部１８は、マッチング処理部１７による第１の探索ステップにおいて、第１の肌画像１００の複数のシミ１０６が第２の肌画像１０２の一のシミ１０６と対応付けられた場合に、第１の肌画像１００の複数のシミ１０６が結合したと評価する（図９Ｃ）。
　さらに、シミ評価部１８は、マッチング処理部１７による第２の探索ステップにおいて、第２の肌画像１０２の複数のシミが第１の肌画像１００の一のシミと対応付けられた場合に、第１の肌画像１００のシミ１０６が分裂したと評価する（図９Ｄ）。
　また、シミ評価部１８は、マッチング処理部１７によるマッチング処理ステップの結果、第１の肌画像１００のシミ１０６と第２の肌画像１０２のシミ１０６とが１：１で対応付けられた場合は、維持と判断する（図９Ｅ）。
　なお、第１の肌画像１００と第２の肌画像１０２との間の図中破線で示す図は、第１の肌画像１００の状態から第２の肌画像１０２の状態へ至るまでの推移を推定したものである。
　また、上記のような変化パターンの検出だけでなく、対応付けられたシミ間での面積、メラニン量等の変化に基づき、シミの変化の過程を定量解析することもできる。また、解析領域全体での評価ではなく、各シミ毎の変化を評価できるため、例えば第１の肌画像１００に含まれる複数のシミのうち、比較的薄いシミを抽出して、それらのシミの変化を選択的に解析する等、様々な条件下での検討を行うことも可能となる。これにより、例えば薄いシミに効果があるような薬剤について、その効果を適切に評価することができる。
　図１０Ａ～図１０Ｃは、シミ検出部１５、重心位置算出部１６、マッチング処理部１７及びシミ評価部１８の処理により得られた各シミに関する情報の一例を示す図である。このような情報は、記憶部１３に記憶される。
　図１０Ａ及び図１０Ｂは、シミ検出部１５、重心位置算出部１６及びシミ評価部１８の処理により得られた各シミに関するシミ情報の一例を示す。シミ情報は、例えば、シミＩＤ、重心位置、面積、メラニン量、シミ分類等の項目を有する。シミＩＤは、各シミを特定する情報である。重心位置は、各シミの重心位置座標を示す。面積は、各シミの面積を示す。メラニン量は、各シミのメラニン量を示す。なお、メラニン量は、そのシミのメラニン量の平均値等としてもよく、また各シミを構成する各画像毎に対応付けて記憶する構成とすることもできる。また、シミ分類は、各シミの面積やメラニン量に基づき、シミ評価部１８により評価されたシミの分類を示す。
　図１０Ｃは、図１０Ａ及び図１０Ｂに示すシミ情報に基づき、マッチング処理部１７及びシミ評価部１８の処理により得られた第１の肌画像１００及び第２の肌画像１０２における各シミの対応関係、変化パターン等を示すシミ対応情報の一例を示す。シミ対応情報は、第１の肌画像１００のシミＩＤ、第２の肌画像１０２のシミＩＤ、変化パターン、状態変化等の項目を有する。変化パターンは、第１の肌画像１００に含まれたシミが第２の肌画像１０２においてどのように変化したのかのパターンを示す。状態変化は、例えばシミの面積が変化したり、シミのメラニン量が変化したりした等の状態変化を示す。
（精度検証例）
　次に、本実施形態のシミ評価装置１０によるシミのマッチング処理の精度検証を行った結果を説明する。ここでは、ある被験者に所定の薬剤を所定期間適用し、適用前の肌画像を第１の肌画像１００、適用後の肌画像を第２の肌画像１０２として、本実施形態のシミ評価装置１０を用いて第１の肌画像１００中のシミと第２の肌画像１０２中のシミとを対応付ける処理を行った。その結果を目視で一つずつ確認した結果と比較した。
　その結果、図３及び図６を参照して説明した第１の探索ステップに対応する、第１の肌画像１００中に含まれる各シミについて、第２の肌画像１０２から対応するシミを検出するステップでは、７９１個中７８５個が目視による結果と一致し、正答率は９９．２％であった。また、第２の探索ステップに対応する、第２の肌画像１０２中に含まれる各シミについて、第１の肌画像１００から対応するシミを検出するステップでは、８６８個中８６２個が目視による結果と一致し、正答率は９９．３％であった。
　以上のように、本実施形態のシミ評価装置１０によれば、第１の肌画像１００と第２の肌画像１０２との間で高い精度でシミの対応付けを行うことができることが確認された。
　図１１Ａ及び図１１Ｂは、精度検証例で用いた適用前の肌画像１００と適用後の肌画像１０２の一部を抜き出した図である。図１１Ａは第１の肌画像１００、図１１Ｂは第２の肌画像１０２を示す。本実施形態のシミ評価装置１０によれば、図１１Ａに示すシミ１０６ｅと図１１Ｂに示すシミ１０６ｆ及び１０６ｇとが対応付けられる。このように、本実施形態のシミ評価装置１０によれば、従来は個別に変化を把握することができなかった各シミについて、変化を捕らえて評価することができる。
　本実施形態におけるシミ評価処理により、肌画像に含まれる各シミの変化を捕らえて評価することができる。具体的には、例えば同一被験者の同一対象箇所について、撮影時期が異なる第１の肌画像及び第２の肌画像にそれぞれ含まれる複数のシミを対応付けることにより、各シミの変化を把握することができ、例えば小さいシミがどのように変化するか、大きいシミがどのように変化するか、濃いシミがどのように変化するか、薄いシミがどのように変化するか等を把握することができる。
　また、同一被験者の美白薬剤等の薬剤の適用前と所定期間適用後の画像におけるシミの変化に基づき、薬剤の効果等をより詳細に把握することができる。これにより、例えば化粧品メーカ等は、顧客の肌の状態や悩みに合わせて最適な製品の提案等をすることができる。また、同一被験者の加齢変化画像におけるシミの変化に基づき、加齢に伴うシミの発生、悪化等の過程を定量解析し、基礎知見を創出することもできる。
　以上、本発明の好ましい実施形態及び実施例について詳述したが、本発明は上記した特定の実施形態及び実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能なものである。
　以上の実施形態では、第１の肌画像１００と第２の肌画像１０２とを用いて説明したが、画像取得部１４が取得する肌画像は３以上とすることもできる。この場合、例えば時系列に沿った前後間の肌画像に含まれるシミの対応関係をそれぞれ検出することができる。
　ところで、肌の色は主として「ヘモグロビン色素」、「メラニン色素」による光の吸収によって決まる。ヘモグロビンやメラニン成分といった皮膚色を構成する色素は皮膚内部において一様に分布しておらず、色素が局所的に過剰に生じると肌表面の色調は不均一な状態になる。この状態は、一般的に色ムラと総称される)。色ムラの中で、ヘモグロビン色素が要因となって生じる症状として「にきび」、「にきび跡」等があり、メラニン色素が要因となって生じる症状として「シミ(老人性色素斑又は日光性黒子、炎症後色素沈着、そばかす、肝斑等)」、「ほくろ」等がある。本実施形態では、これらの症状を対象とする。以上の実施形態では、色ムラ部位がシミである場合を例として説明したが、色ムラ部位はシミに限定されず、例えば、にきび、にきび跡、吹き出物、やけどの跡、ほくろ等、メラニン成分やヘモグロビン成分等の色素成分や色彩値等で特定可能な種々のものを色ムラ部位として対象とすることができる。本願の色ムラ部位評価処理は、特に経時変化が生じる色ムラ部位を対象とした場合に有用である。
　また、本実施形態におけるシミ評価部１８は、図１１Ａ及び図１１Ｂに示したような第１の肌画像１００及び第２の肌画像１０２を出力部１２を介してディスプレイ等の出力装置２２に表示することができる。この際、例えば、シミ評価装置１０のユーザが第１の肌画像１００から所定のシミ１０６ｃをポインタ等で選択すると、第２の肌画像１０２中の対応するシミ１０６ｈ及び１０６ｉが強調表示される等の構成とすることができる。これにより、ユーザは、第１の肌画像１００中の各シミが、第２の肌画像１０２においてどのように変化したのかを目視で確認することもできる。
　本国際出願は２０１６年４月１５日に出願された日本国特許出願２０１６－０８２３８０号に基づく優先権を主張するものであり、その全内容をここに援用する。
１０　　シミ評価装置
１１　　入力部
１２　　出力部
１３　　記憶部
１４　　画像取得部
１５　　シミ検出部
１６　　重心位置算出部
１７　　マッチング処理部
１８　　シミ評価部
１９　　制御部
２１　　入力装置
２２　　出力装置
２３　　ドライブ装置
２４　　補助記憶装置
２５　　メモリ装置
２６　　ＣＰＵ
２７　　ネットワーク接続装置
２８　　記録媒体
１００　　第１の肌画像
１０２　　第２の肌画像
１０６　　シミ
１０８　　重心
１１０　　探索範囲
１１２　　探索範囲

Claims (11)

  1. 　第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出ステップと、
    　前記第１の肌画像及び前記第２の肌画像それぞれの各前記色ムラ部位の重心位置座標を算出する重心位置算出ステップと、
    　前記重心位置算出ステップで算出された各前記色ムラ部位の前記重心位置座標に基づき、前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位とを対応付けるマッチング処理ステップと、
    を含む色ムラ部位の評価方法。
  2. 　前記第１の肌画像及び前記第２の肌画像は、同一被験者の異なる時期における同一対象箇所を撮影して得られた肌画像である請求項１に記載の色ムラ部位の評価方法。
  3. 　前記第１の肌画像から検出された前記複数の色ムラ部位と、前記第２の肌画像から検出された前記複数の色ムラ部位とに基づき、前記第１の肌画像と前記第２の肌画像との位置合わせを行い、座標の基準点を決定するステップをさらに含み、
    　前記重心位置算出ステップにおいて、前記基準点に対する各前記色ムラ部位の前記重心位置座標を算出する請求項１に記載の色ムラ部位の評価方法。
  4. 　前記色ムラ部位はシミであって、
    　前記色ムラ部位検出ステップにおいて、メラニン成分又はヘモグロビン成分の分布画像に基づき、前記複数の色ムラ部位を検出する請求項１に記載の色ムラ部位の評価方法。
  5. 　前記マッチング処理ステップは、前記第１の肌画像の各前記色ムラ部位について、当該色ムラ部位の前記重心位置座標に対応する前記第２の肌画像の対象座標を中心とした所定の範囲を探索領域として当該第２の肌画像を探索し、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位のうち、前記重心位置座標が前記対象座標に最も近接する色ムラ部位を当該第１の肌画像の当該色ムラ部位と対応付けるとともに、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合は、当該第１の肌画像の当該色ムラ部位に対応する前記色ムラ部位が前記第２の肌画像に存在しない旨を当該第１の肌画像の当該色ムラ部位と対応付ける第１の探索ステップを含む請求項１に記載の色ムラ部位の評価方法。
  6. 　前記マッチング処理ステップは、前記第２の肌画像の各前記色ムラ部位について、当該色ムラ部位の前記重心位置座標に対応する前記第１の肌画像の対象座標を中心とした所定の範囲を探索領域として当該第１の肌画像を探索し、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位のうち、前記重心位置座標が前記対象座標に最も近接する色ムラ部位を当該第２の肌画像の当該色ムラ部位と対応付けるとともに、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合は、当該第２の肌画像の当該色ムラ部位に対応する前記色ムラ部位が前記第１の肌画像に存在しない旨を当該第２の肌画像の当該色ムラ部位と対応付ける第２の探索ステップを含む請求項５に記載の色ムラ部位の評価方法。
  7. 　前記第２の肌画像は、前記第１の肌画像と同一被験者の同一対象箇所を前記第１の肌画像よりも後に撮影して得られた肌画像であって、
    　前記マッチング処理ステップで対応付けられた前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位との対応付けに基づき、前記第１の肌画像と前記第２の肌画像との間の色ムラ部位の変化を評価する評価ステップをさらに含む請求項６に記載の色ムラ部位の評価方法。
  8. 　前記評価ステップは、前記マッチング処理ステップの前記第１の探索ステップにおいて前記探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合に、当該第１の肌画像の当該色ムラ部位が消滅したと評価し、前記第２の探索ステップにおいて前記探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合に、当該第２の肌画像の当該色ムラ部位が発生したと評価する請求項７に記載の色ムラ部位の評価方法。
  9. 　前記評価ステップは、前記第１の探索ステップにおいて前記第１の肌画像の複数の前記色ムラ部位が前記第２の肌画像の一の前記色ムラ部位と対応付けられた場合に、当該第１の肌画像の前記複数の色ムラ部位が結合したと評価し、前記第２の探索ステップにおいて前記第２の肌画像の複数の前記色ムラ部位が前記第１の肌画像の一の前記色ムラ部位と対応付けられた場合に、当該第１の肌画像の前記色ムラ部位が分裂したと評価する請求項７に記載の色ムラ部位の評価方法。
  10. 　第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出部と、
    　前記第１の肌画像及び前記第２の肌画像それぞれの各前記色ムラ部位の重心位置座標を算出する重心位置算出部と、
    　前記重心位置算出部が算出した各前記色ムラ部位の前記重心位置座標に基づき、前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位とを対応付けるマッチング処理部と、
    を含む色ムラ部位評価装置。
  11. 　コンピュータを、
    　第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出手段、
    　前記第１の肌画像及び前記第２の肌画像それぞれの各前記色ムラ部位の重心位置座標を算出する重心位置算出手段、
    　前記重心位置算出手段が算出した各前記色ムラ部位の前記重心位置座標に基づき、前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位とを対応付けるマッチング処理手段、
    として機能させる色ムラ部位評価プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2017/006522 2016-04-15 2017-02-22 色ムラ部位の評価方法及び色ムラ部位評価装置 WO2017179304A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020187031765A KR20180130553A (ko) 2016-04-15 2017-02-22 색 얼룩 부위 평가 방법 및 색 얼룩 부위 평가 장치
US16/090,666 US10786197B2 (en) 2016-04-15 2017-02-22 Evaluation method for site of color irregularity and color irregularity site evaluation apparatus
EP17782122.0A EP3443899A4 (en) 2016-04-15 2017-02-22 METHOD FOR EVALUATING A COLOR RUNNING LIQUID AND COLOR INSPECTION MEASUREMENT APPARATUS
CN201780022594.8A CN109069065B (zh) 2016-04-15 2017-02-22 色斑部位的评价方法及色斑部位评价装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016082380A JP6650819B2 (ja) 2016-04-15 2016-04-15 色ムラ部位の評価方法、色ムラ部位評価装置及び色ムラ部位評価プログラム
JP2016-082380 2016-04-15

Publications (1)

Publication Number Publication Date
WO2017179304A1 true WO2017179304A1 (ja) 2017-10-19

Family

ID=60042637

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006522 WO2017179304A1 (ja) 2016-04-15 2017-02-22 色ムラ部位の評価方法及び色ムラ部位評価装置

Country Status (7)

Country Link
US (1) US10786197B2 (ja)
EP (1) EP3443899A4 (ja)
JP (1) JP6650819B2 (ja)
KR (1) KR20180130553A (ja)
CN (1) CN109069065B (ja)
TW (1) TW201738842A (ja)
WO (1) WO2017179304A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3560375B1 (en) * 2016-12-20 2023-08-16 Shiseido Company, Ltd. Application control device, application device, application control method, and recording medium
US11612350B2 (en) * 2017-11-07 2023-03-28 Canfield Scientific, Incorporated Enhancing pigmentation in dermoscopy images
JP7512167B2 (ja) 2020-10-26 2024-07-08 株式会社 資生堂 頬画像中のシミ分布に基づく肌分類
JP7152727B2 (ja) * 2021-02-25 2022-10-13 エバ・ジャパン 株式会社 生体情報算出装置及び生体情報算出方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327890A1 (en) * 2008-06-26 2009-12-31 Raytheon Company Graphical user interface (gui), display module and methods for displaying and comparing skin features
JP2012211886A (ja) * 2011-03-24 2012-11-01 Nippon Menaade Keshohin Kk メラニン合成能力評価方法及び美容アドバイス方法並びにそれらを用いるメラニン合成能力評価システム及び美容アドバイスシステム
JP2013090752A (ja) * 2011-10-25 2013-05-16 Fujifilm Corp シミ分類方法、シミ分類装置およびシミ分類プログラム
JP2015198785A (ja) * 2014-04-08 2015-11-12 キヤノン株式会社 診療支援装置、診療支援方法及びプログラム
JP2015205222A (ja) * 2015-08-20 2015-11-19 花王株式会社 体表評価方法および体表評価装置
JP2016096931A (ja) * 2014-11-19 2016-05-30 株式会社 資生堂 シミ評価装置、シミ評価方法、及びシミ評価プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6624860B1 (en) * 1998-01-26 2003-09-23 Sharp Kabushiki Kaisha Color filter layer providing transmitted light with improved brightness and display device using same
JP3727807B2 (ja) 1999-06-14 2005-12-21 株式会社資生堂 皮膚中成分および皮膚特性の測定方法および測定装置
JP4294880B2 (ja) 2000-03-06 2009-07-15 富士フイルム株式会社 画像の位置合わせ方法および装置
JP3734741B2 (ja) 2001-11-12 2006-01-11 株式会社資生堂 しみ・そばかす評価方法
EP1681709A4 (en) * 2003-10-16 2008-09-17 Nikon Corp DEVICE AND METHOD FOR MEASURING OPTICAL CHARACTERISTICS, EXPOSURE SYSTEM AND EXPOSURE METHOD AND COMPONENT MANUFACTURING METHOD
US20070002342A1 (en) * 2005-06-29 2007-01-04 Xerox Corporation Systems and methods for evaluating named colors against specified print engines
JP4958483B2 (ja) * 2006-06-19 2012-06-20 キヤノン株式会社 記録装置
JP5571651B2 (ja) * 2008-03-18 2014-08-13 コーニンクレッカ フィリップス エヌ ヴェ 皮膚撮像装置及び皮膚分析システム
US8194952B2 (en) * 2008-06-04 2012-06-05 Raytheon Company Image processing system and methods for aligning skin features for early skin cancer detection systems
US20110040192A1 (en) * 2009-05-21 2011-02-17 Sara Brenner Method and a system for imaging and analysis for mole evolution tracking
JP5426475B2 (ja) * 2010-05-21 2014-02-26 株式会社 資生堂 肌の色ムラ解析装置、肌の色ムラ解析方法、及び肌の色ムラ解析プログラム
US20130188878A1 (en) 2010-07-20 2013-07-25 Lockheed Martin Corporation Image analysis systems having image sharpening capabilities and methods using same
JP5809498B2 (ja) * 2010-10-19 2015-11-11 キヤノン株式会社 光源ユニットの調整装置及び製造方法
US8554016B2 (en) 2010-11-10 2013-10-08 Raytheon Company Image registration system and method for registering images for deformable surfaces
JP6080427B2 (ja) * 2012-08-10 2017-02-15 キヤノン株式会社 シャック・ハルトマンセンサとそれを利用した波面計測方法
JP6299594B2 (ja) * 2012-08-17 2018-03-28 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび画像処理システム
US20140313303A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Longitudinal dermoscopic study employing smartphone-based image registration
WO2014172671A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Physiologic data acquisition and analysis
JP6179196B2 (ja) 2013-05-31 2017-08-16 富士通株式会社 データセンター
JP6040103B2 (ja) * 2013-06-06 2016-12-07 浜松ホトニクス株式会社 補償光学システムの対応関係特定方法、補償光学システム、および補償光学システム用プログラム
JP6026655B2 (ja) * 2013-06-07 2016-11-16 富士フイルム株式会社 透明感評価装置、透明感評価装置の作動方法、透明感評価方法および透明感評価プログラム
GB201310854D0 (en) * 2013-06-18 2013-07-31 Isis Innovation Photoactive layer production process
CN104318239A (zh) * 2014-11-14 2015-01-28 江南大学 基于纹理分析的快速图像特征提取方法
JP6868847B2 (ja) * 2016-06-29 2021-05-12 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327890A1 (en) * 2008-06-26 2009-12-31 Raytheon Company Graphical user interface (gui), display module and methods for displaying and comparing skin features
JP2012211886A (ja) * 2011-03-24 2012-11-01 Nippon Menaade Keshohin Kk メラニン合成能力評価方法及び美容アドバイス方法並びにそれらを用いるメラニン合成能力評価システム及び美容アドバイスシステム
JP2013090752A (ja) * 2011-10-25 2013-05-16 Fujifilm Corp シミ分類方法、シミ分類装置およびシミ分類プログラム
JP2015198785A (ja) * 2014-04-08 2015-11-12 キヤノン株式会社 診療支援装置、診療支援方法及びプログラム
JP2016096931A (ja) * 2014-11-19 2016-05-30 株式会社 資生堂 シミ評価装置、シミ評価方法、及びシミ評価プログラム
JP2015205222A (ja) * 2015-08-20 2015-11-19 花王株式会社 体表評価方法および体表評価装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3443899A4 *

Also Published As

Publication number Publication date
KR20180130553A (ko) 2018-12-07
JP2017189536A (ja) 2017-10-19
TW201738842A (zh) 2017-11-01
CN109069065B (zh) 2021-08-10
EP3443899A4 (en) 2019-10-30
EP3443899A1 (en) 2019-02-20
US20190117147A1 (en) 2019-04-25
US10786197B2 (en) 2020-09-29
CN109069065A (zh) 2018-12-21
JP6650819B2 (ja) 2020-02-19

Similar Documents

Publication Publication Date Title
WO2017179304A1 (ja) 色ムラ部位の評価方法及び色ムラ部位評価装置
TWI701018B (zh) 資訊處理裝置、資訊處理方法、及程式
US20160035109A1 (en) Skin dullness evaluation apparatus and skin dullness evaluation method
US9135693B2 (en) Image calibration and analysis
WO2013042436A1 (ja) シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム
JP6297941B2 (ja) うるおい感評価装置、うるおい感評価装置の作動方法およびうるおい感評価プログラム
WO2016080266A1 (ja) シミ評価装置、シミ評価方法、及びプログラム
JP5426475B2 (ja) 肌の色ムラ解析装置、肌の色ムラ解析方法、及び肌の色ムラ解析プログラム
EP3142045B1 (en) Predicting accuracy of object recognition in a stitched image
WO2015019573A1 (ja) 情報処理装置の制御方法および画像処理方法
WO2020095739A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US9286513B2 (en) Image processing apparatus, method, and storage medium
US20160345887A1 (en) Moisture feeling evaluation device, moisture feeling evaluation method, and moisture feeling evaluation program
JP2006061170A (ja) 皮膚の鑑別法
JP2017012384A (ja) シワ状態分析装置及びシワ状態分析方法
EP3435281B1 (en) Skin undertone determining method and an electronic device
Kurniastuti et al. Color Feature Extraction of Fingernail Image based on HSV Color Space as Early Detection Risk of Diabetes Mellitus
JP6351550B2 (ja) ハリ感評価装置、ハリ感評価方法およびハリ感評価プログラム
Ferri et al. Size functions for the morphological analysis of melanocytic lesions
JP2023032776A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101038674B1 (ko) 컬러 인식 방법 및 장치
Breneman Towards early-stage malignant melanoma detection using consumer mobile devices
CN112257782A (zh) 与问题皮肤部位检测相关的方法、系统及其神经网络训练方法、存储介质
CN114463792A (zh) 一种多光谱识别方法、装置、设备及可读存储介质
JP2023075384A (ja) 脈波検出システム、脈波検出方法及びプログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187031765

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2017782122

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017782122

Country of ref document: EP

Effective date: 20181115

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17782122

Country of ref document: EP

Kind code of ref document: A1