JP6650819B2 - 色ムラ部位の評価方法、色ムラ部位評価装置及び色ムラ部位評価プログラム - Google Patents

Description

本願は、色ムラ部位の評価方法、色ムラ部位評価装置及び色ムラ部位評価装置評価プログラムに関する。

例えば顔全体や、目のまわりや頬等の部位において視感等により特定したシミやそばかすに対し、分光測色計等の機器を用いて色情報又は皮膚の色素成分情報を定量化し、定量化した色情報又は皮膚の色素成分情報に基づいて、シミやそばかすを評価する方法が知られている。色情報の定量化は、例えば複数の波長の分光反射率データを用いて主成分分析を行って得られるメラニンに関する主成分得点の測定領域における平均値に基づいている（例えば、特許文献１参照）。

特開２００３−１４４３９３号公報 特開２００１−３２５５８４号公報

ところで、シミ等の色ムラ部位の状態は、加齢とともに変化したり、季節の影響により変化することがある。また、ある色ムラ部位の状態は、例えば美白剤等の薬剤の効果により変化することもある。しかし、従来、このような色ムラ部位それぞれの変化を捕らえて評価することができていなかった。

なお、特許文献２には、２以上の画像を位置合わせする画像の位置合わせ方法が記載されており、特定の構造物を重視した特定構造物重視画像を取得し、該取得された特定構造物重視画像間で構造的対応位置関係を求め、該求められた構造的対応位置関係に基づいて、前記２以上の画像を位置合わせすることが記載されている。しかし、このような方法では２以上の画像の色ムラ部位同士を対応付けることはできない。

一つの側面では、本発明は、肌画像に含まれる各色ムラ部位の変化を捕らえて評価することを目的とする。

一つの形態によれば、第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出ステップと、前記第１の肌画像及び前記第２の肌画像それぞれの各前記色ムラ部位の重心位置座標を算出する重心位置算出ステップと、前記重心位置算出ステップで算出された各前記色ムラ部位の前記重心位置座標に基づき、前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位とを対応付けるマッチング処理ステップと、を含む色ムラ部位の評価方法が提供される。

肌画像に含まれる各色ムラ部位の変化を捕らえて評価することができる。

本実施形態のシミ評価装置の機能構成の一例を示す図である。 シミ評価処理が実現可能なハードウェア構成の一例を示す図である。 シミ評価処理の一例を示すフローチャートである。 シミ検出処理の一例を示すフローチャートである。 第１の肌画像と第２の肌画像との位置合わせを行い、座標の基準点を決定する処理の一例を示す模式図である。 各シミの重心位置座標を算出する処理の一例を示す模式図である。 シミ同士の対応付けを行う処理を示す模式図である。 図７の処理を行った場合の第１の肌画像及び第２の肌画像の複数のシミの対応関係の一例を模式的に示す図である。 シミの変化パターンを示す図である。 各シミに関する情報の一例を示す図である。 本実施形態のシミ評価装置により対応付けられるシミの具体例を示す図である。

以下、本発明を実施するための形態について図面を参照して説明するが、本発明は、下記の実施形態に制限されることはなく、本発明の範囲を逸脱することなく、下記の実施形態に種々の変形および置換を加えることができる。

本実施形態において、色ムラ部位の一例としてシミを対象とし、色ムラ部位の評価方法としてシミ評価処理を例として説明する。ここで、シミとは、肌にメラニン色素等の色素が沈着した状態であって、肌の色素が沈着した部位と沈着していない部位との境界が明瞭である程度に色素が沈着した状態をいう。具体的には、シミは、例えば老人性色素斑又は日光性黒子、炎症後色素沈着、そばかす、肝斑等を含む。

図１は、本実施形態のシミ評価装置１０の機能構成の一例を示す図である。

シミ評価装置１０は、入力部１１と、出力部１２と、記憶部１３と、画像取得部１４と、シミ検出部１５と、重心位置算出部１６と、マッチング処理部１７と、シミ評価部１８と、制御部１９とを有する。

入力部１１は、例えばシミ評価装置１０を使用するユーザ等から、シミ評価処理に関する各種指示の開始、終了、設定等の入力を受け付ける。出力部１２は、入力部１１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。出力部１２は、例えば画像取得部１４、シミ検出部１５、重心位置算出部１６、マッチング処理部１７、シミ評価部１８等による処理による結果を後述するディスプレイ等に表示する処理を行う。

本実施形態において、画像取得部１４は、第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像を取得する。ここで、第１の肌画像及び第２の肌画像は、同一被験者の異なる時期における同一対象箇所を撮影して得られた肌画像とすることができる。

また、第１の肌画像及び第２の肌画像は、例えば被験者の頬全体が撮影された肌画像とすることができる。また、第１の肌画像及び第２の肌画像は、例えば拡散照明ボックスとデジタルカメラとから構成されるＳＩＡ（Ｓｋｉｎ Ｉｍａｇｅ Ａｎａｌｙｚｅｒ）システム等により撮影された被験者の顔画像から、特定される部位（例えば、目の周りや頬等）を抽出した肌画像とすることができる。

シミ検出部１５は、第１の肌画像及び第２の肌画像それぞれから、複数のシミを検出する。重心位置算出部１６は、第１の肌画像及び第２の肌画像それぞれの各シミの重心位置座標を算出する。マッチング処理部１７は、重心位置算出部１６が算出した各シミの重心位置座標に基づき、第１の肌画像に含まれる複数のシミと第２の肌画像に含まれる複数のシミとを対応付ける。

シミ評価部１８は、マッチング処理部１７が対応付けたシミの対応関係に基づき、シミの変化を評価する。

制御部１９は、シミ評価装置１０の各構成部全体の制御を行う。制御部１９は、例えば肌画像に対するシミ検出、重心位置算出、マッチング処理、シミ評価等のうち少なくとも１つを制御するが、制御部１９が制御する内容はこれに限定されるものではない。

記憶部１３は、本実施形態において必要な各種情報を記憶する。具体的には、記憶部１３は、本実施形態のシミ評価処理を実行するための各種プログラムや、各種設定情報等を記憶する。記憶部１３は、第１の肌画像及び第２の肌画像や、各肌画像に含まれるシミに関する情報（シミの数、各シミの面積、各シミの濃さ、各シミの重心位置座標、シミの対応関係等）、評価結果等を記憶する。

ここで、記憶部１３は、上述したような多種の情報の集合物であり、例えばキーワード等を用いて検索し、抽出可能に体系的に構成されているデータベースとしての機能を有していてもよい。更に、記憶部１３に記憶される情報は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークを介して外部装置から取得したものであってもよい。

シミ評価装置１０は、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の汎用のコンピュータ、スマートフォンやタブレット端末等に、図１に示すシミ評価装置１０の各機能をコンピュータに実行させる実行プログラム（シミ評価プログラム）をインストールすることにより実現することができる。
（ハードウェア構成）
図２は、シミ評価処理が実現可能なハードウェア構成の一例を示す図である。シミ評価装置１０は、入力装置２１と、出力装置２２と、ドライブ装置２３と、補助記憶装置２４と、メモリ装置２５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２６と、ネットワーク接続装置２７とを有し、これらはシステムバスＢで相互に接続されている。

入力装置２１は、ユーザ等が操作するキーボード、マウス等のポインティングデバイスとすることができる。また、入力装置２１は、例えば音声等により入力が可能なマイク等の音声入力デバイスであってもよい。

出力装置２２は、ディスプレイやスピーカ等とすることができる。また、出力装置２２は、プリンタ等の印刷デバイスとすることもできる。

なお、上述した入力装置２１と出力装置２２とは、例えばシミ評価装置１０がスマートフォンやタブレット端末等のような場合には、例えばタッチパネルのように入出力一体型の構成であってもよい。

ここで、本実施形態においてシミ評価装置１０にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体２８等により提供される。記録媒体２８は、ドライブ装置２３にセット可能であり、記録媒体２８に含まれる実行プログラムが、記録媒体２８からドライブ装置２３を介して補助記憶装置２４にインストールされる。

補助記憶装置２４は、ハードディスク等のストレージ手段であり、本実施形態の実行プログラムや、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行うことができる。

メモリ装置２５は、ＣＰＵ２６により補助記憶装置２４から読み出された実行プログラム等を格納する。なお、メモリ装置２５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。なお、上述した補助記憶装置２４やメモリ装置２５は、１つの記憶装置として一体型に構成されていてもよい。

ＣＰＵ２６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置２５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、本実施形態のシミ評価処理を実現する。なお、プログラム実行中に必要な各種情報等は、補助記憶装置２４から取得し、実行結果等を格納してもよい。

ネットワーク接続装置２７は、インターネットやＬＡＮ等に代表される通信ネットワーク等と接続することにより、例えば実行プログラムや各種データを通信ネットワークに接続されている他の装置等から取得する。また、ネットワーク接続装置２７は、プログラムを実行することで得られた実行結果等を他の装置等に提供することも可能である。

上述したハードウェア構成により、本実施形態のシミ評価処理を実行することが可能となる。また、実行プログラムをインストールすることにより、汎用のＰＣ等で本実施形態のシミ評価処理を容易に実現することが可能である。
（シミ評価処理）
図３は、シミ評価処理の一例を示すフローチャートである。

本実施の形態において、画像取得部１４は、第１の肌画像及び第２の肌画像の２つの肌画像を取得する（ステップＳ１０２）。第１の肌画像及び第２の肌画像は、例えば、同一被験者の美白薬剤等の薬剤の適用前と所定期間適用後の画像、同一被験者の加齢変化画像、同一被験者の異なる季節の画像等の、同一被験者の異なる時期における同一対象箇所を撮影して得られた肌画像とすることができる。なお、本実施形態の以下の説明では、第２の肌画像は、第１の肌画像と同一被験者の同一対象箇所を第１の肌画像よりも後に撮影して得られた肌画像とする。

画像取得部１４は、第１の肌画像及び第２の肌画像として、例えば被験者の頬の所定の領域が撮影された肌画像（５００×５００画素の画素領域等）を解析領域として取得することができる。また、画像取得部１４は、被験者の顔画像を取得し、顔画像輪郭等に基づき、例えば頬の所定の領域（５００×５００画素の画素領域等）を解析領域として抽出して第１の肌画像及び第２の肌画像とすることもできる。ただし、例えば、後に例えばステップＳ１０６の処理で第１の肌画像と第２の肌画像との位置合わせを行う際に、ずれが生じた場合でも充分な解析領域を確保するため、第１の肌画像１００及び第２の肌画像１０２は、このように定めた解析領域よりも広めの範囲の領域を含む構成とすることができる。

シミ検出部１５は、画像取得部１４により取得された第１の肌画像及び第２の肌画像に対して画像処理を実行し、第１の肌画像及び第２の肌画像それぞれからシミを検出する（ステップＳ１０４）。シミ検出部１５の処理について、図４を参照して詳細に説明する。
（シミ検出処理）
図４は、ステップＳ１０４のシミ検出処理を詳細に示すフローチャートである。以下の処理は、第１の肌画像及び第２の肌画像それぞれに対して行われる。

シミ検出部１５は、解析領域である肌画像のメラニン成分やヘモグロビン成分等の色素成分を算出し、色素成分の濃さ及びその分布状態を示す画像（色素成分の分布画像）に変換する（ステップＳ１１）。具体的には、シミ検出部１５は、解析領域のＲＧＢ表色系ＲＧＢ値、ＲＧＢ表色系から変換されたＣＩＥ国際基準値であるＣＩＥ−ＸＹＺ値、色彩データＬａｂ値等を取得する。

なお、ＲＧＢ表色系ＲＧＢ値は、例えば以下の式を用いて、ＣＩＥ−ＸＹＺ値へと変換することができる。

Ｘ＝０．００１６４５×Ｒ＋０．００１１１６×Ｇ＋０．０００３１４×Ｂ＋２．５８５１４３
Ｙ＝０．００１１１０×Ｒ＋０．００２０８０×Ｇ＋０．００００６５×Ｂ＋２．３５９０８８
Ｚ＝０．０００４３９×Ｒ＋０．０００６１０×Ｇ＋０．００２４３９×Ｂ＋２．７５７７６９ （式１）
また、（式１）から得られたＸＹＺ値は、本出願人による特許第３７２７８０７号公報等に記載された手法により、以下の（式２）を用いてメラニン成分やヘモグロビン成分等の色素成分へと変換することができる。

メラニン量＝−４．８６１×ｌｏｇ１０（１／Ｘ）＋１．２６８×ｌｏｇ１０（１／Ｙ）＋４．６６９×ｌｏｇ１０（１／Ｚ）＋０．０６３
ヘモグロビン量＝−３２．２１８×ｌｏｇ１０（１／Ｘ）＋３７．４９９×ｌｏｇ１０（１／Ｙ）−４．４９５×ｌｏｇ１０（１／Ｚ）＋０．４４４ （式２）
次に、シミ検出部１５は、ステップＳ１１で得られた色素成分の分布画像から低周波数成分を除去する。これにより、例えば顔の形状による影に相当する大きなうねりの影響を除外することができる。シミ検出部１５は、例えば半値幅約４０．０ｍｍ以上の帯域を影による影響として除去する。具体的には、シミ検出部１５は、まず、例えばガウシアン関数等のバンドパスフィルタを用いて、低周波数成分の画像を生成する（ステップＳ１２）。次いで、シミ検出部１５は、ステップＳ１１の処理で得られた色素成分の分布画像からステップＳ１２で得られた低周波数成分の画像を減算する（ステップＳ１３）。

次に、シミ検出部１５は、ステップＳ１３で得られた画像の２値化処理を行う（ステップＳ１４）。２値化処理は、例えばメラニン成分の濃さに対して、例えば平均値＋０．０１〜０．３０等を閾値として、閾値以上のメラニン値（高メラニン値）を有する画素を高メラニン部分とする。これにより、正常な肌部分と高メラニン部分とを識別することができる。

次に、シミ検出部１５は、ステップＳ１４で得られた画像のノイズ処理を行う（ステップＳ１５）。ノイズ処理は、例えばメディアンフィルタ（５×５画素等）を用いて行うことができるが、これに限定されるものではない。

次に、シミ検出部１５は、ステップＳ１５で得られた画像中で、高メラニン値を有する画素が連続している領域を１つの色素沈着部位としてラベル付けするラベリング処理を行う（ステップＳ１６）。シミ検出部１５は、例えば高メラニン値の画素として識別された画素が隣接する部分を連結していき、連結された画素群を１つの色素沈着部位として抽出する。

次に、シミ検出部１５は、ステップＳ１６でラベル付けされた色素沈着部位のうち、所定の面積（例えば、実サイズで１．０ｍｍ^２）以下の領域を除去して残った色素沈着部位をシミとして検出する（Ｓ１７）。これにより、例えば毛穴のような小さな抽出物を除去して、シミを精度良く検出することができる。

以上のシミ検出部１５の処理は、本出願人による特願２０１４−２３４９３８に記載されており、特願２０１４−２３４９３８の内容を適宜援用することができる。

図３に戻り、重心位置算出部１６は、第１の肌画像から検出された複数のシミと、第２の肌画像から検出された複数のシミとに基づき、第１の肌画像と第２の肌画像との位置合わせを行い、座標の基準点を決定する（ステップＳ１０６）。ここで、位置合わせは、第１の肌画像及び第２の肌画像それぞれから検出されたシミの分布に基づくパターン認識により行うことができる。

図５は、この処理の一例を示す模式図である。図５中、（ａ）は第１の肌画像１００、（ｂ）は第２の肌画像１０２を示す。図５中、（ｃ）は第１の肌画像１００と第２の肌画像１０２を重ねて位置合わせした図である。重心位置算出部１６は、第１の肌画像１００と第２の肌画像１０２に含まれる複数のシミ１０６の分布に基づき、第１の肌画像１００と第２の肌画像１０２とを位置合わせし、第１の肌画像１００と第２の肌画像１０２の座標を揃える。例えば、左下の所定の位置をＸＹ座標系の基準点（原点（０，０））と決定することができる。これにより、後の工程において、第１の肌画像１００に含まれるシミ１０６と第２の肌画像１０２に含まれるシミとの対応付けを精度良く行うことができる。

図３に戻り、次に、重心位置算出部１６は、ステップＳ１０６で決定した基準点に対する第１の肌画像１００及び第２の肌画像１０２それぞれの各シミ１０６の重心位置座標を算出する（ステップＳ１０８）。

図６は、この処理の一例を示す模式図である。重心位置算出部１６は、第１の肌画像１００（及び第２の肌画像１０２）中の各シミ１０６ａ〜１０６ｄの重心１０８の位置座標を算出する。

重心１０８の位置座標は、例えば、そのシミ領域を構成するすべての画素の位置座標から算出することができる。具体的には、重心１０８の位置座標は、そのシミ領域を構成するすべての画素のＸ座標及びＹ座標の平均を算出して得ることができる。

また、他の例として、重心１０８の位置座標は、以下の手順で算出してもよい。
（１）各シミの輪郭を構成するすべての画素から算出する方法
各シミの輪郭を構成するすべての画素の数をｎ個とすると、重心１０８のＸ座標はすべての点のＸ座標を足し合わせ、ｎで除することにより得られる。重心１０８のＹ座標も同様に算出する。
（２）各シミ領域を構成するすべての画素にメラニン濃度の重み付けをし、算出する方法
そのシミ領域を構成するすべての画素に、メラニン濃度で重み付け（座標に対する掛け合わせ）をした後に、Ｘ座標及びＹ座標それぞれの平均を算出して得られる。
（３）楕円フィッティングを行って楕円の中心を求める方法
以上は一例であり、その他の方法を適宜選択することができる。

図３に戻り、次に、マッチング処理部１７は、第１の肌画像１００及び第２の肌画像１０２の各シミ１０６の重心位置座標に基づき、シミ１０６同士の対応付けを行う（ステップＳ１１０）。マッチング処理部１７は、第１の肌画像１００の各シミ１０６について、第２の肌画像１０２から対応するシミ１０６を検出する第１の探索ステップと、第２の肌画像１０２の各シミ１０６について、第１の肌画像１００から対応するシミ１０６を検出する第２の探索ステップとを行う。

図７は、この処理の一例を示す模式図である。図７は、各肌画像の座標軸とメラニン量との関係の一例を模式的に示す図である。図７中、（ａ）は第１の肌画像１００、（ｂ）は第２の肌画像１０２に対応する。

まず、第１の探索ステップについて説明する。マッチング処理部１７は、第１の肌画像１００のシミ１０６ａについて、シミ１０６ａの重心位置座標１０９ａに対応する第２の肌画像１０２の対象座標（図７（ｂ）中の「ａ」）を中心とした所定の範囲を探索範囲１１０として第２の肌画像１０２を探索する。

ここで、第２の肌画像１０２の探索範囲１１０内に重心位置座標が存在するシミのうち、シミ１０６ｇの重心位置座標１０９ｇが対象座標ａに最も近接するものと仮定する。この場合、マッチング処理部１７は、第２の肌画像１０２の探索範囲１１０内に重心位置座標が存在するシミのうち、重心位置座標１０９ｇが対象座標ａに最も近接するシミ１０６ｇを第１の肌画像１００のシミ１０６ａと対応付ける（図中破線の矢印で表示する対応付け）。マッチング処理部１７は、この処理を第１の肌画像１００の各シミについて行う。

また、マッチング処理部１７は、第２の肌画像１０２の探索領域内に重心位置座標が存在するシミがない場合は、第１の肌画像１００の当該シミに対応するシミが第２の肌画像１０２に存在しない旨を第１の肌画像１００の当該シミと対応付ける。

次に、第２の探索ステップについて説明する。マッチング処理部１７は、第２の肌画像１０２のシミ１０６ｇについて、シミ１０６ｇの重心位置座標１０９ｇに対応する第１の肌画像１００の対象座標（図７（ａ）中の「ｇ」）を中心とした所定の範囲を探索範囲１１２として第１の肌画像１００を探索する。

ここで、第１の肌画像１００の探索範囲１１２内に重心位置座標が存在するシミのうち、シミ１０６ａの重心位置座標１０９ａが対象座標ｇに最も近接するものと仮定する。この場合、マッチング処理部１７は、第１の肌画像１００の探索範囲１１２内に重心位置座標が存在するシミのうち、重心位置座標１０９ａが対象座標ｇに最も近接するシミ１０６ａを第２の肌画像１０２のシミ１０６ｇと対応付ける（図中実線の矢印で表示する対応付け）。マッチング処理部１７は、この処理を第２の肌画像１０２の各シミについて行う。

また、マッチング処理部１７は、第１の肌画像１００の探索領域内に重心位置座標が存在するシミがない場合は、第２の肌画像１０２の当該シミに対応するシミが第１の肌画像１００に存在しない旨を第２の肌画像１０２の当該シミと対応付ける。

なお、探索範囲１１０の範囲（サイズ）は、例えば、対象座標を中心とした、実サイズで４０ｍｍに対応する画素数の半径以下の円内（半径は１画素以上）とすることができ、より好ましくは、例えば対象座標を中心とした、実サイズで１ｍｍ以上２ｍｍ以下に対応する画素数の半径の円内とすることができる。実サイズとは、肌画像を撮影した対象の実際のサイズのことで、例えば頬等の部位の実際のサイズである。

また、探索範囲１１２の範囲（サイズ）は、例えば、探索範囲１１０と同様とすることができる。このように、第１の肌画像１００のシミの重心位置座標に基づき第２の肌画像１０２から対応するシミを探索する場合と第２の肌画像１０２のシミの重心位置座標に基づき第１の肌画像１００から対応するシミを探索する場合とで探索範囲を同一とすることにより、第１の肌画像１００と第２の肌画像１０２とにおけるシミの対応付けを矛盾なく行うことができる。また、後述するシミの分裂及びシミの結合を同じ基準で検出することができる。ただし、探索範囲１１０のサイズと探索範囲１１２のサイズとは異ならせてもよい。

また、探索範囲のサイズは、図３のステップＳ１０４で検出されたシミの面積の平均値等に基づき、動的に決定する構成としてもよい。この場合も探索範囲１１０のサイズと探索範囲１１２のサイズとは同一としてもよく、異ならせてもよい。

図８は、以上の処理を行った場合の第１の肌画像１００及び第２の肌画像１０２の複数のシミの対応関係の一例を模式的に示す図である。図８中、（ａ）は第１の肌画像１００、（ｂ）は第２の肌画像１０２に対応する。図中破線の矢印は、第１の探索ステップで対応付けられた結果を示す。また、図中実線の矢印は、第２の探索ステップで対応付けられた結果を示す。

例えば、第２の探索ステップを行った場合、第２の肌画像１０２のシミ１０６ｇは第１の肌画像１００のシミ１０６ｂと対応付けられるだけである。一方、第１の探索ステップも行うことにより、第１の肌画像１００のシミ１０６ａ及びシミ１０６ｂがそれぞれ第２の肌画像１０２のシミ１０６ｇと対応付けられることが把握できる。これにより、シミの結合を検出することができる。

また同様に、例えば、第１の探索ステップを行った場合、第１の肌画像１００のシミ１０６ｃは、第２の肌画像１０２のシミ１０６ｉと対応付けられるだけである。一方、第２の探索ステップも行うことにより、第２の肌画像１０２のシミ１０６ｈ及びシミ１０６ｉがそれぞれ第１の肌画像１００のシミ１０６ｃと対応付けられることが把握できる。これにより、シミの分裂を検出することができる。

また、例えば、第１の探索ステップを行うことにより、第１の肌画像１００のシミ１０６ｄに対応するシミが第２の肌画像１０２に含まれないことを検出することができる。これにより、シミの消滅を検出することができる。図示していないが、同様に、例えば、第２の探索ステップを行うことにより、第２の肌画像１０２に含まれるシミのうち、第１の肌画像１００に対応するシミが含まれないものを検出することもできる。これにより、シミの発生を検出することができる。

このように、本実施形態において、第１の探索ステップ及び第２の探索ステップの両方を行うことにより、各シミの対応関係を詳細に検出することができる。なお、第１の探索ステップ及び第２の探索ステップは、どちらを先に行ってもよい。

図３に戻り、次に、シミ評価部１８は、マッチング処理部１７によるマッチング処理ステップの結果に基づき、シミの変化パターン等を評価する（ステップＳ１１２）。図９は、シミの変化パターンを示す図である。

例えば、シミ評価部１８は、マッチング処理部１７による第１の探索ステップにおいて、第１の肌画像１００のシミ１０６に対応する第２の肌画像１０２の探索領域内に重心位置座標が存在するシミがない場合に、第１の肌画像１００の当該シミが消滅したと評価する（図９（ａ））。

また、例えば、シミ評価部１８は、マッチング処理部１７による第２の探索ステップにおいて、第２の肌画像１０２のシミに対応する第１の肌画像１００の探索領域内に重心位置座標が存在するシミがない場合に、第２の肌画像１０２の当該シミが発生したと評価する（図９（ｂ））。

さらに、シミ評価部１８は、マッチング処理部１７による第１の探索ステップにおいて、第１の肌画像１００の複数のシミ１０６が第２の肌画像１０２の一のシミ１０６と対応付けられた場合に、第１の肌画像１００の複数のシミ１０６が結合したと評価する（図９（ｃ））。

さらに、シミ評価部１８は、マッチング処理部１７による第２の探索ステップにおいて、第２の肌画像１０２の複数のシミが第１の肌画像１００の一のシミと対応付けられた場合に、第１の肌画像１００のシミ１０６が分裂したと評価する（図９（ｄ））。

また、シミ評価部１８は、マッチング処理部１７によるマッチング処理ステップの結果、第１の肌画像１００のシミ１０６と第２の肌画像１０２のシミ１０６とが１：１で対応付けられた場合は、維持と判断する（図９（ｅ））。

なお、第１の肌画像１００と第２の肌画像１０２との間の図中破線で示す図は、第１の肌画像１００の状態から第２の肌画像１０２の状態へ至るまでの推移を推定したものである。

また、上記のような変化パターンの検出だけでなく、対応付けられたシミ間での面積、メラニン量等の変化に基づき、シミの変化の過程を定量解析することもできる。また、解析領域全体での評価ではなく、各シミ毎の変化を評価できるため、例えば第１の肌画像１００に含まれる複数のシミのうち、比較的薄いシミを抽出して、それらのシミの変化を選択的に解析する等、様々な条件下での検討を行うことも可能となる。これにより、例えば薄いシミに効果があるような薬剤について、その効果を適切に評価することができる。

図１０は、シミ検出部１５、重心位置算出部１６、マッチング処理部１７及びシミ評価部１８の処理により得られた各シミに関する情報の一例を示す図である。このような情報は、記憶部１３に記憶される。

図１０（ａ）及び図１０（ｂ）は、シミ検出部１５、重心位置算出部１６及びシミ評価部１８の処理により得られた各シミに関するシミ情報の一例を示す。シミ情報は、例えば、シミＩＤ、重心位置、面積、メラニン量、シミ分類等の項目を有する。シミＩＤは、各シミを特定する情報である。重心位置は、各シミの重心位置座標を示す。面積は、各シミの面積を示す。メラニン量は、各シミのメラニン量を示す。なお、メラニン量は、そのシミのメラニン量の平均値等としてもよく、また各シミを構成する各画像毎に対応付けて記憶する構成とすることもできる。また、シミ分類は、各シミの面積やメラニン量に基づき、シミ評価部１８により評価されたシミの分類を示す。

図１０（ｃ）は、図１０（ａ）及び図１０（ｂ）に示すシミ情報に基づき、マッチング処理部１７及びシミ評価部１８の処理により得られた第１の肌画像１００及び第２の肌画像１０２における各シミの対応関係、変化パターン等を示すシミ対応情報の一例を示す。シミ対応情報は、第１の肌画像１００のシミＩＤ、第２の肌画像１０２のシミＩＤ、変化パターン、状態変化等の項目を有する。変化パターンは、第１の肌画像１００に含まれたシミが第２の肌画像１０２においてどのように変化したのかのパターンを示す。状態変化は、例えばシミの面積が変化したり、シミのメラニン量が変化したりした等の状態変化を示す。
（精度検証例）
次に、本実施形態のシミ評価装置１０によるシミのマッチング処理の精度検証を行った結果を説明する。ここでは、ある被験者に所定の薬剤を所定期間適用し、適用前の肌画像を第１の肌画像１００、適用後の肌画像を第２の肌画像１０２として、本実施形態のシミ評価装置１０を用いて第１の肌画像１００中のシミと第２の肌画像１０２中のシミとを対応付ける処理を行った。その結果を目視で一つずつ確認した結果と比較した。

その結果、図３及び図６を参照して説明した第１の探索ステップに対応する、第１の肌画像１００中に含まれる各シミについて、第２の肌画像１０２から対応するシミを検出するステップでは、７９１個中７８５個が目視による結果と一致し、正答率は９９．２％であった。また、第２の探索ステップに対応する、第２の肌画像１０２中に含まれる各シミについて、第１の肌画像１００から対応するシミを検出するステップでは、８６８個中８６２個が目視による結果と一致し、正答率は９９．３％であった。

以上のように、本実施形態のシミ評価装置１０によれば、第１の肌画像１００と第２の肌画像１０２との間で高い精度でシミの対応付けを行うことができることが確認された。

図１１は、精度検証例で用いた適用前の肌画像１００と適用後の肌画像１０２の一部を抜き出した図である。図１１中、（ａ）は第１の肌画像１００、（ｂ）は第２の肌画像１０２を示す。本実施形態のシミ評価装置１０によれば、図１１（ａ）に示すシミ１０６ｅと図１１（ｂ）に示すシミ１０６ｆ及び１０６ｇとが対応付けられる。このように、本実施形態のシミ評価装置１０によれば、従来は個別に変化を把握することができなかった各シミについて、変化を捕らえて評価することができる。

本実施形態におけるシミ評価処理により、肌画像に含まれる各シミの変化を捕らえて評価することができる。具体的には、例えば同一被験者の同一対象箇所について、撮影時期が異なる第１の肌画像及び第２の肌画像にそれぞれ含まれる複数のシミを対応付けることにより、各シミの変化を把握することができ、例えば小さいシミがどのように変化するか、大きいシミがどのように変化するか、濃いシミがどのように変化するか、薄いシミがどのように変化するか等を把握することができる。

また、同一被験者の美白薬剤等の薬剤の適用前と所定期間適用後の画像におけるシミの変化に基づき、薬剤の効果等をより詳細に把握することができる。これにより、例えば化粧品メーカ等は、顧客の肌の状態や悩みに合わせて最適な製品の提案等をすることができる。また、同一被験者の加齢変化画像におけるシミの変化に基づき、加齢に伴うシミの発生、悪化等の過程を定量解析し、基礎知見を創出することもできる。

以上、本発明の好ましい実施形態及び実施例について詳述したが、本発明は上記した特定の実施形態及び実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能なものである。

以上の実施形態では、第１の肌画像１００と第２の肌画像１０２とを用いて説明したが、画像取得部１４が取得する肌画像は３以上とすることもできる。この場合、例えば時系列に沿った前後間の肌画像に含まれるシミの対応関係をそれぞれ検出することができる。

ところで、肌の色は主として「ヘモグロビン色素」、「メラニン色素」による光の吸収によって決まる。ヘモグロビンやメラニン成分といった皮膚色を構成する色素は皮膚内部において一様に分布しておらず、色素が局所的に過剰に生じると肌表面の色調は不均一な状態になる。この状態は、一般的に色ムラと総称される)。色ムラの中で、ヘモグロビン色素が要因となって生じる症状として「にきび」、「にきび跡」等があり、メラニン色素が要因となって生じる症状として「シミ(老人性色素斑又は日光性黒子、炎症後色素沈着、そばかす、肝斑等)」、「ほくろ」等がある。本実施形態では、これらの症状を対象とする。以上の実施形態では、色ムラ部位がシミである場合を例として説明したが、色ムラ部位はシミに限定されず、例えば、にきび、にきび跡、吹き出物、やけどの跡、ほくろ等、メラニン成分やヘモグロビン成分等の色素成分や色彩値等で特定可能な種々のものを色ムラ部位として対象とすることができる。本願の色ムラ部位評価処理は、特に経時変化が生じる色ムラ部位を対象とした場合に有用である。

また、本実施形態におけるシミ評価部１８は、図１１に示したような第１の肌画像１００及び第２の肌画像１０２を出力部１２を介してディスプレイ等の出力装置２２に表示することができる。この際、例えば、シミ評価装置１０のユーザが第１の肌画像１００から所定のシミ１０６ｃをポインタ等で選択すると、第２の肌画像１０２中の対応するシミ１０６ｈ及び１０６ｉが強調表示される等の構成とすることができる。これにより、ユーザは、第１の肌画像１００中の各シミが、第２の肌画像１０２においてどのように変化したのかを目視で確認することもできる。

１０ シミ評価装置
１１ 入力部
１２ 出力部
１３ 記憶部
１４ 画像取得部
１５ シミ検出部
１６ 重心位置算出部
１７ マッチング処理部
１８ シミ評価部
１９ 制御部
２１ 入力装置
２２ 出力装置
２３ ドライブ装置
２４ 補助記憶装置
２５ メモリ装置
２６ ＣＰＵ
２７ ネットワーク接続装置
２８ 記録媒体
１００ 第１の肌画像
１０２ 第２の肌画像
１０６ シミ
１０８ 重心
１１０ 探索範囲
１１２ 探索範囲

Claims (10)

1. 第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出ステップと、
   前記第１の肌画像及び前記第２の肌画像それぞれの各前記色ムラ部位の重心位置座標を算出する重心位置算出ステップと、
   前記重心位置算出ステップで算出された各前記色ムラ部位の前記重心位置座標に基づき、前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位とを対応付けるマッチング処理ステップと、を含み、
   前記マッチング処理ステップは、前記第１の肌画像の各前記色ムラ部位について、当該色ムラ部位の前記重心位置座標に対応する前記第２の肌画像の対象座標を中心とした所定の範囲を探索領域として当該第２の肌画像を探索し、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位のうち、前記重心位置座標が前記対象座標に最も近接する色ムラ部位を当該第１の肌画像の当該色ムラ部位と対応付けるとともに、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合は、当該第１の肌画像の当該色ムラ部位に対応する前記色ムラ部位が前記第２の肌画像に存在しない旨を当該第１の肌画像の当該色ムラ部位と対応付ける第１の探索ステップを含む、色ムラ部位の評価方法。
2. 前記第１の肌画像及び前記第２の肌画像は、同一被験者の異なる時期における同一対象箇所を撮影して得られた肌画像である請求項１に記載の色ムラ部位の評価方法。
3. 前記第１の肌画像から検出された前記複数の色ムラ部位と、前記第２の肌画像から検出された前記複数の色ムラ部位とに基づき、前記第１の肌画像と前記第２の肌画像との位置合わせを行い、座標の基準点を決定するステップをさらに含み、
   前記重心位置算出ステップにおいて、前記基準点に対する各前記色ムラ部位の前記重心位置座標を算出する請求項１又は２に記載の色ムラ部位の評価方法。
4. 前記色ムラ部位はシミであって、
   前記色ムラ部位検出ステップにおいて、メラニン成分又はヘモグロビン成分の分布画像に基づき、前記複数の色ムラ部位を検出する請求項１から３いずれかに記載の色ムラ部位の評価方法。
5. 前記マッチング処理ステップは、前記第２の肌画像の各前記色ムラ部位について、当該色ムラ部位の前記重心位置座標に対応する前記第１の肌画像の対象座標を中心とした所定の範囲を探索領域として当該第１の肌画像を探索し、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位のうち、前記重心位置座標が前記対象座標に最も近接する色ムラ部位を当該第２の肌画像の当該色ムラ部位と対応付けるとともに、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合は、当該第２の肌画像の当該色ムラ部位に対応する前記色ムラ部位が前記第１の肌画像に存在しない旨を当該第２の肌画像の当該色ムラ部位と対応付ける第２の探索ステップを含む請求項１から４のいずれかに記載の色ムラ部位の評価方法。
6. 前記第２の肌画像は、前記第１の肌画像と同一被験者の同一対象箇所を前記第１の肌画像よりも後に撮影して得られた肌画像であって、
   前記マッチング処理ステップで対応付けられた前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位との対応付けに基づき、前記第１の肌画像と前記第２の肌画像との間の色ムラ部位の変化を評価する評価ステップをさらに含む請求項５に記載の色ムラ部位の評価方法。
7. 前記評価ステップは、前記マッチング処理ステップの前記第１の探索ステップにおいて前記探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合に、当該第１の肌画像の当該色ムラ部位が消滅したと評価し、前記第２の探索ステップにおいて前記探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合に、当該第２の肌画像の当該色ムラ部位が発生したと評価する請求項６に記載の色ムラ部位の評価方法。
8. 前記評価ステップは、前記第１の探索ステップにおいて前記第１の肌画像の複数の前記色ムラ部位が前記第２の肌画像の一の前記色ムラ部位と対応付けられた場合に、当該第１の肌画像の前記複数の色ムラ部位が結合したと評価し、前記第２の探索ステップにおいて前記第２の肌画像の複数の前記色ムラ部位が前記第１の肌画像の一の前記色ムラ部位と対応付けられた場合に、当該第１の肌画像の前記色ムラ部位が分裂したと評価する請求項６又は７に記載の色ムラ部位の評価方法。
9. 第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出部と、
   前記第１の肌画像及び前記第２の肌画像それぞれの各前記色ムラ部位の重心位置座標を算出する重心位置算出部と、
   前記重心位置算出部が算出した各前記色ムラ部位の前記重心位置座標に基づき、前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位とを対応付けるマッチング処理部と、を含み、
   前記マッチング処理部は、前記第１の肌画像の各前記色ムラ部位について、当該色ムラ部位の前記重心位置座標に対応する前記第２の肌画像の対象座標を中心とした所定の範囲を探索領域として当該第２の肌画像を探索し、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位のうち、前記重心位置座標が前記対象座標に最も近接する色ムラ部位を当該第１の肌画像の当該色ムラ部位と対応付けるとともに、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合は、当該第１の肌画像の当該色ムラ部位に対応する前記色ムラ部位が前記第２の肌画像に存在しない旨を当該第１の肌画像の当該色ムラ部位と対応付ける、色ムラ部位評価装置。
10. コンピュータを、
    第１の肌画像及び当該第１の肌画像とは異なる第２の肌画像それぞれから、複数の色ムラ部位を検出する色ムラ部位検出手段、
    前記第１の肌画像及び前記第２の肌画像それぞれの各前記色ムラ部位の重心位置座標を算出する重心位置算出手段、
    前記重心位置算出手段が算出した各前記色ムラ部位の前記重心位置座標に基づき、前記第１の肌画像に含まれる前記複数の色ムラ部位と前記第２の肌画像に含まれる前記複数の色ムラ部位とを対応付けるマッチング処理手段、として機能させ、
    前記マッチング処理手段は、前記第１の肌画像の各前記色ムラ部位について、当該色ムラ部位の前記重心位置座標に対応する前記第２の肌画像の対象座標を中心とした所定の範囲を探索領域として当該第２の肌画像を探索し、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位のうち、前記重心位置座標が前記対象座標に最も近接する色ムラ部位を当該第１の肌画像の当該色ムラ部位と対応付けるとともに、当該探索領域内に前記重心位置座標が存在する前記色ムラ部位がない場合は、当該第１の肌画像の当該色ムラ部位に対応する前記色ムラ部位が前記第２の肌画像に存在しない旨を当該第１の肌画像の当該色ムラ部位と対応付ける、色ムラ部位評価プログラム。

Images