JP6868847B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、肌に貼り付け可能なシートに画像を印刷するための画像データを生成する画像処理装置および画像処理方法に関する。

従来、頬のシミといった肌の変色領域を目立たなくするための技術が存在している（例えば、特許文献１参照）。特許文献１に記載の技術（以下、「従来技術」という）は、肌を撮影した画像から、肌の変色領域と、非変色領域の色とを抽出し、肌に貼り付け可能なシートのうち変色領域に対応する領域に非変色領域の色を印刷する。このような従来技術によれば、シートを肌に貼り付けるといった簡単な作業で、肌の変色領域を目立たなくすることができる。

特開２０１５−４３８３６号公報

しかしながら、変色領域を目立たなくすることだけでなく、目立たなくなった後の変色領域のケアも重要である。例えば、シミにレーザー治療を施した場合、シミがあった領域は次第に目立たなくなるが、その領域に対しては、紫外線等の外部刺激を低減するケアを継続的に行うことが好ましい。したがって、目立たなくなった変色領域に対するケアを簡単に行うことができる技術が望まれる。

本開示の一態様は、目立たなくなった変色領域に対するケアを簡単に行うことができる画像処理装置および画像処理方法を提供する。

本開示の画像処理装置は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理装置である。前記画像処理装置は、第１のタイミングで肌を撮影した第１の肌画像と、前記第１のタイミングより後の第２のタイミングで前記肌を撮影した第２の肌画像とを取得する画像取得部と、前記第１の肌画像から抽出した変色領域を第１の変色領域に決定し、前記第２の肌画像から肌の色を抽出する画像解析部と、前記第１の変色領域に基づいて前記第２の肌画像のうち前記シートにより被覆されるカバー領域を決定し、前記肌の色に基づいて前記カバー領域の色を決定する画像決定部と、決定された前記カバー領域の画像を、決定された前記色の色素材料を用いて前記シートに印刷する内容の画像データを生成する印刷制御部と、を有する。本開示の一態様によれば、目立たなくなった変色領域に対するケアを簡単に行うことができる。

本開示に係るメイク支援システムの一例の概要を示す模式図 本開示に係る画像処理装置の一例を示すブロック図 本開示に係る画像処理装置の全体動作の一例を示すフローチャート 本開示における画像取得処理の際の画面表示の一例を示す図 本開示における変色領域情報の一例を示す図 本開示における変色領域抽出処理の際の画面表示の一例を示す図 本開示における閾値の一例を示す図 本開示における分類結果表示処理の際の画面表示の一例を示す図 本開示における包含領域の一例を示す図 本開示における閾値算出用テーブルの一例を示す図 本開示における包含領域の他の例を示す図

以下、本開示の一実施の形態について、図面を参照して詳細に説明する。

（発明に至った知見）
従来技術（特許文献１の技術）は、現在の肌の画像からの抽出結果に基づいてシート（メイクシートまたはカバーシートともいう）に画像を印刷し、肌の変色領域を目立たなくするシートを生成できるものであるが、変色領域については、目立たなくすることだけでなく、目立たなくなった後のケアも重要である。

例えば、シミ（変色領域の一例）にレーザー治療を施した場合、そのシミがあった領域（以下「患部」という）にはかさぶたが形成されるが、患部は炎症性色素沈着を起こしやすい。そのため、かさぶたが剥がれ落ちて患部が目立たなくなっても、一定期間（例えば、数週〜数ヶ月）の間、患部に対して、摩擦や紫外線などの外部刺激を避けるケアが必要となる。

このような場合において、固定の閾値を用いて、現在の肌の画像の変色領域からカバー領域（シートに被覆されるべき領域）を判定したとすると、かさぶたが剥がれ落ちるまでは患部はカバー領域として判定されるが、かさぶたが剥がれ落ちた場合、患部に新たな皮膚が現れるため、患部はカバー領域と判定されなくなってしまう。よって、ユーザは、目立たなくなった患部をケアすることができない。

そこで、本発明では、現在の肌の画像における変色領域のうち過去にカバー領域であった変色領域が存在する場合、閾値を小さく補正し、その閾値を用いて現在の肌の画像におけるカバー領域を判定する。これにより、本発明は、かさぶたが剥がれ落ちて目立たなくなった患部をカバー領域と判定されやすくし、目立たなくなった患部に対するケアを簡単に行えるようにする。

＜システム構成＞
まず、本実施の形態に係る画像処理装置を含むメイク支援システムの概要について、図１を用いて説明する。

図１は、メイク支援システムの一例の概要を示す模式図である。

図１に示すメイク支援システム１は、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。

図１において、メイク支援システム１は、画像処理装置１００、撮像装置２００、表示装置３００、および印刷装置４００を含む。画像処理装置１００および印刷装置４００は、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。

なお、図１では例として、画像処理装置１００が撮像装置２００および表示装置３００を備える場合を図示しているが、例えば、後述する図２に示すように、撮像装置２００および表示装置３００は画像処理装置１００の外部に備えられてもよい。

撮像装置２００は、表示装置３００の正面に位置するユーザ６００の顔を照明した状態で撮影し、顔画像６０１を取得する。顔画像６０１は、顔の肌の領域の画像（以下「肌画像」という）５１０を含む。

なお、本実施の形態では、顔画像を例に挙げて説明するが、画像処理装置１００が処理の対象とする画像は、顔画像以外であってもよく、例えば、手の甲や腕の肌を撮影した画像であってもよい。

表示装置３００は、撮像装置２００により撮影された顔画像６０１を表示する。例えば、図１に示すように、表示装置３００は、撮影された顔画像６０１を左右方向に反転させて表示する。これにより、ユーザ６００は、自分の顔が映った鏡を見ているような感覚を得る。

なお、本実施の形態では、表示装置３００は、ユーザによる各種操作を受け付け可能な操作装置を兼ねた、タッチパネル付き液晶ディスプレイであるとする。なお、ユーザによる各種操作は、タッチパネルに対する指またはスタイラスペンでのタッチ入力に限定されず、画像処理装置１００が備える物理ボタン（図示略）の押下による入力、または、ジェスチャーでの入力、音声による入力などであってもよい。

画像処理装置１００は、顔画像６０１から（あるいは反転前の画像から）、肌画像５１０の変色領域５１１を抽出するとともに、変色領域５１１の位置（例えば、後述する「座標）、大きさ（例えば、後述する面積）、色差等を抽出する。色差は、例えば、変色領域５１１の色と、変色領域５１１の周辺５１３の色（以下、周辺色）との差である。

そして、画像処理装置１００は、抽出された色差または明度差が閾値（詳細は後述）以上であるか否かを判定する。色差が閾値以上である場合、画像処理装置１００は、変色領域５１１を、シートを被覆すべき領域、すなわちカバー領域であると判定する。一方、色差が閾値未満である場合、画像処理装置１００は、変色領域５１１を、シートを被覆しなくてもよい領域、すなわち非カバー領域であると判定する。

変色領域５１１をカバー領域であると判定した場合、画像処理装置１００は、変色領域５１１の形状、大きさ、周辺色に基づいて画像データを生成し、印刷装置４００へ出力する。例えば、画像データは、肌に貼り付け可能なシート５２０の所定面に対して、周辺色（周辺色に近似する色でもよい）の色素材料を、変色領域５１１の形状および大きさでシート５２０に印刷する内容である。

印刷装置４００は、画像処理装置１００から受け取った画像データに基づいて、シート５２０に対して画像５２１の印刷を行う。例えば、画像５２１の形状、大きさは、カバー領域と判定された変色領域５１１と同じである。また、例えば、印刷装置４００は、シート５２０が剥離可能な支持体（台紙）に貼り付けられた状態において、シート５２０に対する印刷を行う。そして、印刷装置４００は、シート５２０を出力する。

ユーザ６００は、印刷装置４００から出力されたシート５２０を肌５３１に貼り付ける。このとき、ユーザは、印刷された画像５２１が変色領域５１１を被覆するように貼り付ける。これにより、肌の領域５３２は、周辺色と同じ色（または近似色）の画像５２１に覆われ、変色領域５１１は、より目立たない状態となる。

すなわち、メイク支援システム１は、シート５２０を肌５３１に貼るといった簡単かつ短時間な動作により、肌５３１の色を均一化するメイクを行うことができる。

なお、上記説明では、画像５２１の形状、大きさは、カバー領域と判定された変色領域５１１と同じ形状、同じ大きさとしたが、これに限定されない。例えば、画像５２１は、変色領域５１１の全てを含む大きさ（例えば、変色領域５１１よりも一回り大きいサイズ）であってもよい。その場合、グラデーション（画像５２１の外周におけるぼかし）が形成されるように色素材料が印刷されてもよい。このグラデーションにより、シート５２０を肌５３１に貼り付けた際に、変色領域５１１と画像５２１とが多少ずれても、変色領域５１１を隠すことができ、肌５３１の見た目も不自然にならない。

＜装置の構成＞
次に、図２を用いて、画像処理装置１００の構成について説明する。

図２は、画像処理装置１００構成の一例を示すブロック図である。

図２に示す画像処理装置１００は、据え置き型の装置でもよいし、容易に持ち運ぶことも可能なポータブル型の装置でもよい。

また、図２に示す記憶装置５００は、例えばネットワーク上のサーバ装置に備えられ、ユーザごとに種々の情報（例えば、後述する変色領域情報、閾値、所定値等）を記憶する。なお、記憶装置５００は、画像処理装置１００に備えられてもよい。

図２において、画像処理装置１００は、画像取得部１０１、画像解析部１０２、画像決定部１０３、および印刷制御部１０４を有する。図示は省略するが、画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、図２に示す各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

画像取得部１０１は、撮像装置２００から顔画像を取得し、その顔画像を、ユーザ識別情報および撮影日情報と関連付けて記憶装置５００に記憶させ、かつ、画像解析部１０２へ出力する。ユーザ識別情報は、顔を撮影されたユーザを識別可能な情報である。撮影日情報は、顔の撮影が行われた日（年、月、時刻を含んでもよい）を示す情報である。これら情報は、顔画像以外であってもよく、撮像装置２００で撮影された画像に関連づけられる。例えば、手の甲や腕の肌を撮影した画像であってもよい。

また、画像取得部１０１は、所定のタイミングで記憶装置５００から顔画像を取得し、その顔画像を表示装置３００に表示させる（後述の図４参照）。

画像解析部１０２は、画像取得部１０１から顔画像を受け取ると、その顔画像から顔部品（例えば、頬、鼻、おでこ、あご等）を抽出し、抽出された顔部品の顔画像上の位置に基づいて、顔画像から肌画像を抽出する。そして、画像解析部１０２は、肌画像から変色領域を抽出する。ここで抽出される変色領域は、肌の表面に顕在化している領域だけでなく、肌の表面下に潜在している領域（例えば、隠れシミ）が含まれてもよい。隠れシミは、例えば、異なる波長の光を顔に照射して撮影された画像に基づいて抽出されてもよい。

なお、本実施の形態において抽出の対象となる変色領域には、その変色の要因が異なるものが含まれる。すなわち、変色領域は、その変色の要因の種別（以下「要因種別」という）により、色素斑、肝斑、扁平母斑、色素細胞性母斑、太田母斑、後天性真皮メラノサイトーシス、紅斑、紫斑、白斑、青あざ、ほくろ、毛穴の黒ずみ、日焼け領域、ざ瘡（ニキビ）、ニキビ痕、摩擦や炎症による色素沈着、しわ、雀卵斑（そばかす）、タトゥー、疣贅、瘢痕等に区分される。そして、要因種別により、変色領域に対して行うべき対策は異なる。

そして、画像解析部１０２は、抽出された変色領域ごとに、当該変色領域の座標、面積、色差、周辺色を抽出する。

画像解析部１０２により抽出される座標は、例えば、複数の顔特徴点を基準として設定された顔座標系における座標である。座標は、二次元座標または三次元座標のいずれでもよいが、本実施の形態では、二次元座標を例に挙げて説明する。また、ここで抽出される座標は、例えば、変色領域の重心を示す１つの座標であってもよいし、変色領域の形状を特定可能な複数の座標であってもよい。

そして、画像解析部１０２は、座標、面積、色差、周辺色の各情報（以下まとめて「変色領域情報」という）を対応付けて記憶装置５００に記憶させる。例えば、変色領域情報は、変色領域の抽出元である顔画像に関連付けられて記憶される。

また、画像解析部１０２は、所定のタイミングで記憶装置５００から顔画像と変色領域情報を読み出し、その顔画像と変色領域を表示装置３００に表示させる（後述の図６参照）。

画像決定部１０３は、所定のタイミングで記憶装置５００から、第１のタイミング（例えば、１ヶ月前）で撮影された顔画像から抽出された変色領域情報と、第１のタイミングより後の第２のタイミング（例えば、現在）で撮影された顔画像から抽出された変色領域情報とを取得する。

なお、以下では、第１のタイミングで撮影された顔画像を「第１の顔画像」、第１の顔画像に含まれる肌画像を「第１の肌画像」、第１の肌画像から抽出された変色領域を「第１の変色領域」、第１の変色領域の座標、面積、色差、周辺色の情報を「第１の変色領域情報」という。また、第１の変色領域情報には、当該第１の変色領域情報に示される第１の変色領域が過去（第２のタイミングより前、例えば第１のタイミング）にカバー領域に決定された場合、過去にカバー領域に決定されたことを示す決定履歴情報が含まれる。

また、以下では、第２のタイミングで撮影された顔画像を「第２の顔画像」、第２の顔画像に含まれる肌画像を「第２の肌画像」、第２の肌画像から抽出された変色領域を「第２の変色領域」、第２の変色領域の座標、面積、色差、周辺色の情報を「第２の変色領域情報」という。また、第２の変色領域情報には、当該第２の変色領域情報に示される第２の変色領域が過去にカバー領域に決定された場合、過去にカバー領域に決定されたことを示す決定履歴情報が含まれる。

また、画像決定部１０３は、記憶装置５００から閾値を取得する。閾値は、変色領域を、カバー領域または非カバー領域のいずれかに分類するための色差（明度差であってもよい）の値である。閾値は、例えば、過去にユーザの選択に基づいてカバー領域に決定された変色領域の色差と面積に基づいて算出される。なお、閾値の算出は、画像決定部１０３が行ってもよいし、図示しない閾値算出部が行ってもよい。

そして、画像決定部１０３は、第１の変色領域情報に含まれる座標情報、決定履歴情報と、第２の変色領域情報に含まれる座標情報とに基づいて、第２の変色領域において、過去にカバー領域に決定された第１の変色領域に対応する領域（以下、「対応領域」という）が存在するか否かを判定する。例えば、第２の変色領域の座標と第１の変色領域の座標が同一であり、その第１の変色領域が過去にカバー領域に決定されていた場合、その第２の変色領域は対応領域であると言うことができる。

そして、対応領域が存在する場合、画像決定部１０３は、その対応領域について所定の条件（詳細は後述）が満たされるか否かを判定する。所定の条件が満たされる場合、画像決定部１０３は、閾値を所定値分小さくする補正を行う。一方、所定の条件が満たされない場合、画像決定部１０３は、閾値を補正しない。

そして、画像決定部１０３は、閾値を用いて第２の変色領域をカバー領域または非カバー領域のいずれかに分類する。具体的には、画像決定部１０３は、第２の変色領域の色差が閾値以上である場合、その第２の変色領域をカバー領域であると判定する。一方、画像決定部１０３は、第２の変色領域の色差が閾値未満である場合、その第２の変色領域を非カバー領域であると判定する。

なお、画像決定部１０３は、色差が閾値未満であっても、面積が所定値以上である第２の変色領域（例えば、色は薄くてもサイズが大きくて目立つシミ）については、カバー領域と判定してもよい。

また、画像決定部１０３は、色差が閾値以上であっても、面積が所定値未満である第２の変色領域（例えば、色は濃いがサイズが小さくて目立たないシミ）については、非カバー領域と判定してもよい。また、画像決定部１０３は、色差が閾値以上であっても、所定形状（例えば、円、楕円等の一般的なシミの形状）に該当しない、歪な形状の第２の変色領域については、顔表面に付着している異物または不要物の映りこみ等の可能性があるため、非カバー領域と判定してもよい。

そして、画像決定部１０３は、第２の変色領域がカバー領域または非カバー領域のいずれであるかをユーザが判別できるように表示装置３００に表示させる（後述の図８参照）。

ここで、ユーザは、画像決定部１０３による判定結果（分類結果と言い換えてもよい）に同意する場合、同意操作（例えば、図８に示す「印刷」ボタンの操作）を行う。

一方、画像決定部１０３による判定結果を変更したい場合、ユーザは、変更操作を行うことができる。例えば、ユーザは、カバー領域として判定された第２の変色領域を選択することで、その第２の変色領域の判定結果を非カバー領域に変更できる。または、ユーザは、非カバー領域として判定された第２の変色領域を選択することで、その第２の変色領域の判定結果をカバー領域に変更できる。このような変更操作を行った後で、ユーザは、同意操作を行う。

この際、選択された変色領域と非選択の変色領域の表示を変えてもよい。例えば、非選択状態である変色領域については、輪郭を破線等により表示し内部の塗りつぶしを実施しないようにしてもよい。これにより、ユーザは変色部位の状態の確認が容易になる。あるいは、選択時は選択領域を示すマスク（重畳）画像の透過率を下げて選択状態であることを示し、非選択時には、マスク画像の透過率を上げて変色部位の状態を確認しやすくしてもよい。透過率の変更はユーザの指定に応じて逆に調整されてもよい。マスク画像の表示／非表示の切換え指示をユーザから受け付けるようにしてもよい。

そして、画像決定部１０３は、同意操作が行われると、カバー領域と判定した第２の変色領域または変更操作によりカバー領域に変更された第２の変色領域を、カバー領域に決定する。

また、画像決定部１０３は、第２の変色領域情報に含まれる周辺色情報に基づいて、シートに印刷する色素材料の色（以下「印刷色」という）を決定する。例えば、画像決定部１０３は、第２の変色領域の周辺色を印刷色に決定してもよい。または、例えば、画像決定部１０３は、第２の変色領域が複数ある場合、各周辺色の明度、彩度、色相のそれぞれについて平均値を算出し、その算出結果を印刷色に決定してもよい。

そして、画像決定部１０３は、カバー領域に決定された第２の変色領域の形状（例えば、座標情報）、大きさ（例えば、面積情報）と、印刷色とを示す決定結果情報を印刷制御部１０４へ出力する。

印刷制御部１０４は、決定結果情報に基づいて、シートへの画像の印刷に用いられる画像データ（例えば、ＣＭＹＫ形式のデータ）を生成し、その画像データを無線通信および／または有線通信等により印刷装置４００へ出力する。画像データは、シートに対し、カバー領域に決定された第２の変色領域の形状および大きさで印刷色の色素材料を印刷する内容である。

なお、印刷制御部１０４は、生成された画像データを必ずしも直接に印刷装置４００に送信する必要はなく、他の情報記録デバイス等を介して間接的に送信してもよい。例えば、印刷制御部１０４は、生成された画像データをポータブルメモリーデバイスなどの記録媒体に記録してもよく、または、ポータブルデバイス（スマートフォン、タブレット、ＰＣ等）に送信してもよい。この場合、ユーザは、当該記録媒体やポータブルデバイスを介して印刷装置４００に画像データを送信し、ユーザの指示等により適宜必要な印刷を行う。

以上説明したように、本実施の形態の画像処理装置１００は、第２の肌画像から抽出した第２の変色領域のうち、過去にカバー領域に決定された第１の変色領域に対応する領域（対応領域）が存在する場合、所定の条件が満たされれば、閾値を小さくするように補正し、所定の条件が満たされなければ、閾値の補正を行わない。そして、画像処理装置１００は、色差が閾値以上である第２の変色領域をカバー領域であると判定し、色差が閾値未満である第２の変色領域を非カバー領域であると判定する。これにより、過去にカバー領域に決定されたことがあったが、現在は色差が小さくなってカバー領域と判定されない第２の変色領域を、カバー領域と判定することができる。

よって、カバー領域と判定された第２の変色領域の形状、大きさの画像が印刷されたシートを患部に貼り付けることで、外部刺激を低減するケアを継続的にかつ簡単に行うことができる。その結果、患部における肌の復元性が向上する。

＜装置の動作＞
次に、画像処理装置１００の動作について説明する。

図３は、画像処理装置１００の動作の一例を示すフローチャートである。

以下では例として、記憶装置５００には、あるユーザの顔を１ヶ月前（第１のタイミングの一例）に撮影して得られた第１の顔画像（第１の肌画像）と、その第１の顔画像に関連付けられた第１の変色領域情報とが記憶されており、現在（第２のタイミングの一例）において同じユーザの顔が撮影された場合を例に挙げて説明する。

ステップＳ１０１において、画像取得部１０１は、撮像装置２００から第２の顔画像を取得する。そして、画像取得部１０１は、第２の顔画像とその撮影日情報を、第１の顔画像と関連付いているユーザ識別情報に関連付けて、記憶装置５００に記憶させる。

また、画像取得部１０１は、第２の顔画像とその撮影日情報を表示装置３００に表示させる。このとき、画像取得部１０１は、記憶装置５００から第１の顔画像とその撮影日情報を取得し、表示装置３００に表示させてもよい。

このときの顔画像の表示例を図４に示す。図４に示すように、ユーザにより選択された第２の顔画像７００が画面中央に大きく表示されている。第２の顔画像７００の隣りには、選択肢として、第２の顔画像７００および複数の第１の顔画像７０１が小さく表示されている。小さく表示された顔画像の中からユーザが所望のものを選択する操作を行うと、選択された顔画像が画面中央に大きく表示される。また、第２の顔画像７００および複数の第１の顔画像７０１それぞれの上部には、撮影年月日が表示されている。

また、図４に示すように、画面下方の左側には肌診断結果が表示され、画面下方の右側にはおすすめの化粧品が表示されている。おすすめの化粧品は、例えば、後述の肌診断結果に応じて設定された化粧品の名称、品番、メーカ名等を示す情報である。肌診断結果は、例えば、画像解析部１０２が第２の顔画像７００を解析することで得られた、肌の状態を示す情報である。図４の例では、シミ、しわ、毛穴、透明感、ほうれい線の各状態が表示されている。このとき、例えば、ユーザがしわを選択する操作を行うと、しわの位置（画像解析部１０２によって検出された位置）を示す画像が第２の顔画像７００に重畳されて表示されてもよい。これにより、ユーザは、画像解析により得られたシミ以外の肌状態を視認することができる。

なお、画像解析部１０２により検出されたシミ以外の肌状態（例えば、しわ、ほうれい線など）がユーザにより選択された場合、選択された肌状態を改善するための有効成分がシートに印刷されてもよい。例えば、図４の画面においてユーザによりしわが選択された場合、画像決定部１０３は、画像解析部１０２により検出されたしわの形状、大きさで、有効成分（例えば、保湿成分など）をシートに印刷する内容の画像データを生成し、その画像データを印刷装置４００へ出力してもよい。印刷装置４００は、その画像データに基づいて、しわの形状、大きさの画像を有効成分により印刷したシートを出力する。これにより、ユーザは、変色領域以外の肌状態に対しても、シートの貼り付けによりケアすることができる。

ここで、例えば、第２の顔画像７００が選択された状態で、ユーザにより図４に示す「抽出」ボタンが操作された場合、第２の顔画像７００が画像取得部１０１から画像解析部１０２へ出力され、画像解析部１０２により、第２の顔画像７００から変色領域を抽出する処理が実行される。なお、複数の第１の顔画像７０１のうちのいずれかが選択された状態で「抽出」ボタンが操作された場合も同様に、選択された第１の顔画像７０１が画像取得部１０１から画像解析部１０２へ出力され、画像解析部１０２により、選択された第１の顔画像７０１から変色領域を抽出する処理が実行される。

ステップＳ１０２において、画像解析部１０２は、画像取得部１０１から受け取った第２の顔画像から第２の肌画像を抽出し、第２の肌画像から第２の変色領域を抽出する。そして、画像解析部１０２は、抽出された第２の変色領域ごとに、座標、面積、色差、周辺色を抽出し、抽出された値を示す第２の変色領域情報を第２の顔画像に関連付けて記憶装置５００に記憶させる。

記憶装置５００に記憶される第２の変色領域情報の一例を図５に示す。図５は、第２の顔画像から４つの第２の変色領域が抽出された場合の第２の変色領域情報を示している。図５に示すように、第２の変色領域ごとに、座標情報、面積情報、色差情報が関連付けられている。なお、図示は省略しているが、座標情報、面積情報、色差情報に対して周辺色情報も関連付けられている。また、図５では、第２の変色領域１つにつき座標を１つだけ図示しているが、座標は複数あってもよい。また、第１の変色領域情報も、図５と同様に、第１の変色領域ごとに、座標情報、面積情報、色差情報、周辺色情報が関連付けられている。また、第１の変色領域情報には、決定履歴情報が含まれるものがあるとする。

また、画像解析部１０２は、第２の顔画像と、その第２の顔画像から抽出された変色領域とを表示装置３００に表示させる。

このときの顔画像の表示例を図６に示す。図６に示すように、第２の変色領域５１１ａ、５１１ｂ、５１１ｃ、５１１ｄが第２の顔画像７００に重畳して表示されている。第２の変色領域５１１ａ〜５１１ｄは、例えば、図５に示した第２の変色領域情報に示される４つの第２の変色領域である。なお、第２の変色領域５１１ａ〜５１１ｄには、肌の表面に顕在化している第２の変色領域だけでなく、肌の表面下に潜在している第２の変色領域（例えば、隠れシミ）が含まれていてもよい。

ステップＳ１０３において、画像決定部１０３は、記憶装置５００から、第２の変色領域情報、第１の変色領域情報、閾値を取得する。

閾値の一例を図７に示す。図７において、ＴＨ１は、ステップＳ１０３で取得される閾値であり、ＴＨ２は、後述するステップＳ１０７で補正された閾値である。ＴＨ１は、例えば、過去に画像決定部１０３によりカバー領域に決定された変色領域（ユーザがカバー領域として選択したものを含む）の色差と面積をプロットした点（図示略）に基づいて算出された近似曲線である。なお、変色領域がカバー領域に決定される度にその変色領域の色差および面積が学習され、閾値は、その学習結果に基づいて適宜修正されてもよい。

ステップＳ１０４において、画像決定部１０３は、第１の変色領域情報に含まれる座標情報および決定履歴情報と、第２の変色領域情報に含まれる座標情報とに基づいて、ステップＳ１０２で抽出された第２の変色領域のうち、過去にカバー領域に決定された第１の変色領域に対応する領域（対応領域）が存在するか否かを判定する。

ステップＳ１０４の判定の結果、対応領域が存在しない場合（ステップＳ１０４：ＮＯ）、フローはステップＳ１０７（詳細は後述）へ進む。一方、ステップＳ１０４の判定の結果、対応領域が存在する場合（ステップＳ１０４：ＹＥＳ）、フローはステップＳ１０５へ進む。

ステップＳ１０５において、画像決定部１０３は、対応領域について所定の条件が満たされるか否かを判定する。

例えば、所定の条件は、「対応領域は過去に治療（例えば、シミを除去するレーザー治療）が行われた領域である」という内容である。この場合、画像決定部１０３は、例えば、記憶装置５００から治療履歴情報（後述の変形例７で説明するユーザ関連情報の一例）を取得し、その治療履歴情報が、対応領域が過去に治療が行われた領域であることを示す場合、所定の条件が満たされると判定する。治療履歴情報は、例えば、治療が行われた日にち、治療が行われた領域の座標、面積などを示す情報である。

また、例えば、所定の条件は、「対応領域の色差と、その対応領域に対応する第１の変色領域の色差とに基づいて算出された変化率が所定値以上である」という内容であってもよい。この場合、画像決定部１０３は、第２の変色領域情報に含まれる色差情報と第１の変色領域情報に含まれる色差情報とに基づいて色差の変化率を算出し、その変化率が所定値以上である場合、所定の条件が満たされると判定する。

また、例えば、所定の条件は、「対応領域の色差と、その対応領域に対応する第１の変色領域の色差とに基づいて算出された変化率が所定値未満である」という内容であってもよい。この場合、画像決定部１０３は、第２の変色領域情報に含まれる色差情報と第１の変色領域情報に含まれる色差情報とに基づいて色差の変化率を算出し、その変化率が所定値未満である場合、所定の条件が満たされると判定する。

また、例えば、所定の条件は、「対応領域の面積と、その対応領域に対応する第１の変色領域の面積とに基づいて算出された変化率が所定値以上である」という内容であってもよい。この場合、画像決定部１０３は、第２の変色領域情報に含まれる面積情報と第１の変色領域情報に含まれる面積情報とに基づいて面積の変化率を算出し、その変化率が所定値以上である場合、所定の条件が満たされると判定する。

また、例えば、所定の条件は、「対応領域の面積と、その対応領域に対応する第１の変色領域の面積とに基づいて算出された変化率が所定値未満である」という内容であってもよい。この場合、画像決定部１０３は、第２の変色領域情報に含まれる面積情報と第１の変色領域情報に含まれる面積情報とに基づいて面積の変化率を算出し、その変化率が所定値未満である場合、所定の条件が満たされると判定する。

また、例えば、所定の条件は、「対応領域に対応する第１の変色領域の色差が所定値以上である」という内容であってもよい。この場合、画像決定部１０３は、第１の変色領域情報に含まれる色差情報が所定値以上である場合、所定の条件が満たされると判定する。ここでの所定値は、例えば、人が変色領域を認識可能な色差の値である。

また、例えば、所定の条件は、「対応領域に対応する第１の変色領域の面積が所定値以上である」という内容であってもよい。この場合、画像決定部１０３は、第１の変色領域情報に含まれる面積情報が所定値以上である場合、所定の条件が満たされると判定する。ここでの所定値は、例えば、人が変色領域を認識可能な面積の値である。

なお、上述した所定の条件を適宜組み合わせて判定してもよい。例えば、「対応領域は過去に治療が行われた領域である」という条件が満たされない場合、「対応領域の色差（または面積）と、その対応領域に対応する第１の変色領域の色差（または面積）とに基づいて算出された変化率が所定値以上である」という条件が満たされるかが判定されてもよい。さらに、その条件が満たされない場合、「対応領域に対応する第１の変色領域の色差が所定値以上である」という条件が満たされるかが判定されてもよい。

ステップＳ１０５の判定の結果、所定の条件が満たされない場合（ステップＳ１０５：ＮＯ）、フローはステップＳ１０７（詳細は後述）へ進む。一方、ステップＳ１０５の判定の結果、所定の条件が満たされる場合（ステップＳ１０５：ＹＥＳ）、フローはステップＳ１０７へ進む。

ステップＳ１０６において、画像決定部１０３は、閾値を所定値分小さくする補正を行う。例えば、図７に示した閾値ＴＨ１を閾値ＴＨ２に変更する。

ステップＳ１０７において、画像決定部１０３は、第２の変色領域情報および閾値（補正されていない閾値または補正された閾値のいずれか）に基づいて、ステップＳ１０２で抽出された第２の変色領域を、カバー領域または非カバー領域のいずれかに分類する。

ステップＳ１０８において、画像決定部１０３は、ステップＳ１０７の分類結果、すなわち、第２の変色領域がカバー領域または非カバー領域のいずれかであることをユーザが判別できるように、第２の変色領域を表示装置３００に表示させる。

このときの顔画像の表示例を図８に示す。図８に示すように、第２の変色領域５１１ａ、５１１ｂ、５１１ｃ、５１１ｄが第２の顔画像７００に重畳して表示されている。例えば、第２の変色領域５１１ａ、５１１ｃがカバー領域と判定された場合、第２の変色領域５１１ａ、５１１ｃは、領域が塗り潰されて表示されている（以下「塗り潰し有り表示」という）。一方、第２の変色領域５１１ｂ、５１１ｄが非カバー領域と判定された場合、第２の変色領域５１１ｂ、５１１ｄは、領域が塗り潰されずに表示されている（以下「塗り潰し無し表示」という）。このように塗り潰しの有無により、ユーザは、第２の変色領域がカバー領域または非カバー領域のいずれであるかを認識することができる。

図８の表示状態において、ユーザは、画像決定部１０３による分類結果、すなわち、第２の変色領域５１１ａ、５１１ｃがカバー領域と判定され、２の変色領域５１１ｂ、５１１ｄが非カバー領域と判定されたことに同意する場合、図８に示す「印刷」ボタンの操作（同意操作の一例）を行う。

また、図８の表示状態において、ユーザは、画像決定部１０３による分類結果を変更する変更操作を行うことができる。例えば、カバー領域と判定された第２の変色領域５１１ａを非カバー領域に変更したい場合、ユーザは、第２の変色領域５１１ａを選択する操作を行う。これにより、第２の変色領域５１１ａは、非カバー領域に変更され、塗り潰し無し表示に変更される。また、例えば、非カバー領域と判定された第２の変色領域５１１ｂをカバー領域に変更したい場合、ユーザは、第２の変色領域５１１ｂを選択する操作を行う。これにより、第２の変色領域５１１ｂは、カバー領域に変更され、塗り潰し有り表示に変更される。そして、ユーザは、変更操作を行った後で、図８に示す「印刷」ボタンの操作（同意操作の一例）を行う。

ステップＳ１０９において、画像決定部１０３は、同意操作が行われると、塗り潰し有り表示の第２の変色領域（画像決定部１０３がカバー領域と判定した第２の変色領域、または、変更操作によりカバー領域に変更された第２の変色領域）を、カバー領域に決定する。

また、画像決定部１０３は、カバー領域に決定された第２の変色領域の第２の変色領域情報に、カバー領域として決定されたことを示す決定履歴情報を含めるように更新を行い、更新後の第２の変色領域情報を記憶装置５００に記憶させる。

また、ステップＳ１０９において、画像決定部１０３は、決定したカバー領域に印刷すべき印刷色を決定する。肌の色は経時変化することがあるため、シートをより肌になじむようにするために、印刷色の決定には第２の変色領域の周辺色を用いるようにする。例えば、図８に示した第２の変色領域５１１ａ、５１１ｃがカバー領域に決定された場合、画像決定部１０３は、第２の変色領域５１１ａ、５１１ｃの周辺色情報に基づいて、明度、彩度、色相それぞれの平均値を算出し、その算出結果を印刷色に決定する。

そして、画像決定部１０３は、カバー領域に決定した第２の変色領域の形状、大きさ、印刷色を示す決定結果情報を印刷制御部１０４へ出力する。

なお、ここでは、決定結果情報には、カバー領域に決定された第２の変色領域の形状、大きさの情報が含まれるとしたが、これに限定されない。例えば、画像決定部１０３は、カバー領域に決定された第２の変色領域の全てを含む包含領域を決定し、その包含領域の形状、大きさ、印刷色を示す決定結果情報を印刷装置４００へ出力してもよい。

包含領域の一例を図９に示す。例えば、第２の変色領域５１１ａがカバー領域に決定された場合、画像決定部１０３は、第２の変色領域５１１ａを包含する包含領域５１５を決定する。そして、画像決定部１０３は、包含領域５１５の形状、大きさ、印刷色を示す決定結果情報を印刷装置４００へ出力する。なお、包含領域５１５は、第２の顔画像７００に重畳されて表示されてもよい。

ステップＳ１１０において、印刷制御部１０４は、画像決定部１０３から受け取った決定結果情報に基づいて、シートへの画像の印刷に用いられる画像データを生成し、その画像データを印刷装置４００へ出力する。画像データは、カバー領域に決定された第２の変色領域（または、上述した包含領域）の形状および大きさで、決定された印刷色の色素材料を印刷することにより、シートに画像を形成する内容である。よって、シートに形成される画像の形状、大きさは、カバー領域に決定された第２の変色領域（または、上述した包含領域）の形状、大きさと同じとなる。

なお、この画像データには、印刷に関する種々の情報が含まれてもよい。例えば、画像データには、シートに印刷される画像の形状およびサイズ、シートの形状、色素材料の種類、色素材料の濃度、画像の外周におけるぼかしの有無（グラデーションの有無）、画像に対応する顔部品の種類（例えば、頬、オデコ、鼻、あご等）などの内容が含まれてもよい。

また、例えば、画像データには、シートの貼り付け位置や貼り付け方向をユーザが認識できる目印、シートの上下左右をユーザが認識できる印（例えば、数字、文字、図など）、シートを所定のサイズに手動でカットできるガイド線、自動裁断機器等でシートを所定のサイズにカットする場合に必要な自動裁断機器の走査情報などの内容が含まれてもよい。

また、例えば、画像データには、薬剤（有効成分）の種類、薬剤の濃度などの内容が含まれてもよい。薬剤は、変色領域の変色の要因の種別（以下「要因種別」という）に対応し、変色領域の改善を促すものであり、例えば、抗炎症薬剤、美白剤、ＵＶ吸収剤、ＵＶ反射剤、ハイドロキノン系の薬剤などが挙げられる。

また、例えば、カバー領域として複数の第２の変色領域が決定された場合、画像データには、複数の画像を１つずつ１枚のシートに印刷するか、または、複数の画像をまとめて１枚のシートに印刷するかといった印刷方法の内容が含まれてもよい。

ここで、印刷制御部１０４から画像データを受け取った印刷装置４００の動作について、以下に説明する。

印刷装置４００は、画像処理装置１００から受け取った画像データに基づいて、シートに対し、色素材料を用いて、画像の印刷を行う。

より具体的には、印刷装置４００は、印刷色（または、印刷色に近似する色でもよい）の色素材料を、カバー領域に決定された第２の変色領域（または、包含領域）の形状および大きさで、シートの所定の面に付与することにより、色素材料層が形成されたシートを生成する。このとき、例えば、顔部品ごとの１枚のシートに、１以上の画像が印刷されてもよい。

そして、印刷装置４００は、生成したシートを装置外部へ出力する。ユーザは、シートの色素材料層と、自分の肌の変色領域（カバー領域に決定された第２の変色領域）とが対応するように、シートを肌に貼り付ける。

色素材料層は、カバー領域に決定された第２の変色領域の周辺色（または、周辺色に近似する色）で形成されているため、その第２の変色領域は目立たない状態となる。また、色素材料層は、摩擦等の外部刺激から肌を保護する。

すなわち、ユーザは、シートを肌に貼るといった簡単かつ短時間な動作により、外部刺激を低減するケアと肌の色を均一化するメイクを行うことができる。

なお、印刷装置４００は、例えば、色素材料だけでなく、薬剤を印刷してもよい。例えば、印刷装置４００は、シートのうち、肌に密着して貼り付けられる側の面（以下「肌側面」という）に対して、カバー領域に決定された第２の変色領域（または、包含領域）の形状および大きさで薬剤を印刷する。また、印刷装置４００は、シートのうち、肌側面の反対側の面（以下「外側面」という）に対して、カバー領域に決定された第２の変色領域（または、包含領域）の形状および大きさで色素材料を印刷する。

また、シートは、人の肌に貼り付けても違和感が無く、かつ、生体適合性を有するシートである。具体的には、シートは、例えば、ポリグリコール酸、ポリ乳酸、ポリカプロラクトン、ポリエチレンサクシネート、ポリエチレンテレフタレートまたはこれらの共重合体に代表されるポリエステル類、ポリエチレングリコール、ポリプロピレングリコールに代表されるポリエーテル類、ナイロン、ポリグルタミン酸、ポリアスパラギン酸またはこれらの塩に代表されるポリアミド類、プルラン、セルロース、デンプン、キチン、キトサン、アルギン酸、ヒアルロン酸、コーンスターチに代表される多糖類またはこれらの塩、アクリルシリコーン、トリメチルシロキシケイ酸に代表されるシリコーン類、アクリル酸アルキル、アクリル酸シリコーン、アクリル酸アミドやこれらの共重合体に代表されるアクリル酸類、またはポリビニルアルコール、ポリウレタン、ポリカーボネート、ポリ酸無水物、ポリエチレン、ポリプロピレン、から成る層を有する、厚みが１０ｎｍ以上１０００００ｎｍ以下、より好ましくは１０ｎｍ以上１０００ｎｍ以下の薄膜である。シートとして用いることができる薄膜については、例えば特開２０１４−１４０９７８号公報に記載されているため、ここでの詳細な説明を省略する。

また、印刷装置４００において印刷に用いられる色素材料（インク）等については、例えば特開平３−１５７３１３号公報、特開平９−３０２２９４号公報、特開２０１２−２０３４２５号公報に記載されているため、ここでの詳細な説明を省略する。

＜本実施の形態の効果＞
以上説明したように、本実施の形態の画像処理装置１００は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理装置である。画像処理装置１００は、第１のタイミングで肌を撮影した第１の肌画像と、第１のタイミングより後の第２のタイミングで肌を撮影した第２の肌画像とを取得する画像取得部１０１と、第１の肌画像から抽出した変色領域を第１の変色領域に決定し、第２の肌画像から肌の色を抽出する画像解析部１０２と、第１の変色領域に基づいて第２の肌画像のうちシートにより被覆されるカバー領域を決定し、肌の色に基づいてカバー領域の色を決定する画像決定部１０３と、決定された色の色素材料を用いて、決定されたカバー領域の画像をシートに印刷する内容の画像データを生成する印刷制御部１０４と、を有する。

これにより、本実施の形態の画像処理装置１００は、過去にカバー領域に決定されたことがあったが、現在は色差が小さくなってカバー領域と判定されない第２の変色領域を、カバー領域と判定することができる。

よって、カバー領域と判定された第２の変色領域の形状、大きさの画像が印刷されたシートを患部に貼り付けることで、外部刺激を低減するケアを継続的にかつ簡単に行うことができる。その結果、患部における肌の復元性が向上する。

＜本実施の形態の変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記説明に限定されず、種々の変形が可能である。以下、各変形例について説明する。

（変形例１）
上記実施の形態では、所定の条件が満たされたときに補正された閾値を用いて、カバー領域を判定する場合を例に挙げて説明したが、これに限定されない。

例えば、画像決定部１０３は、第１の変色領域情報（例えば、座標情報、決定履歴情報）と第２の変色領域情報（例えば、座標情報）に基づいて、第２の変色領域が対応領域である（すなわち、第２の変色領域が、第１の変色領域に対応する領域であり、かつ、その第１の変色領域が過去にカバー領域に決定されたことがある）と判定した場合、その第２の変色領域をカバー領域であると判定してもよい。

（変形例２）
上記実施の形態では、過去にカバー領域に決定された変色領域の色差と面積をプロットした点に基づいて閾値が算出される場合を例に挙げて説明したが、閾値の算出方法は、これに限定されない。以下、その他の算出例１〜３について説明する。

まず、算出例１について説明する。例えば、閾値は、過去に他のユーザの選択に基づきカバー領域として決定された変色領域の色差と面積をプロットした点に基づいて算出されてもよい。他のユーザは、例えば、年齢、性別、居住地（後述の変形例７で説明するユーザ関連情報の一例）などが同じ複数のユーザであってもよい。

次に、算出例２について説明する。例えば、閾値は、ＵＶインデックスが大きくなるほど小さい値となるように算出されてもよい。以下、その場合の具体例を説明する。

まず、画像処理装置１００は、記憶装置５００から、図１０に示す閾値算出用テーブルを取得する。図１０に示すように、閾値算出用テーブルには、ＵＶインデックスが大きくなるほど、閾値算出用の係数が小さくなるように設定されている。

次に、画像処理装置１００は、ＵＶインデックスを配信するサーバ装置（図示略）から、その時点のＵＶインデックスを取得する。なお、ＵＶインデックスは、ユーザにより画像処理装置１００に入力されてもよい。

次に、画像処理装置１００は、閾値算出用テーブルを参照し、サーバ装置から取得したＵＶインデックスに対応する係数を決定する。

次に、画像処理装置１００は、実施の形態で説明したとおり、過去にカバー領域に決定された変色領域の色差と面積に基づいて、閾値（以下「初期閾値」という）を算出する。

次に、画像処理装置１００は、決定した係数を初期閾値に掛けることで閾値を算出し、その閾値を用いて図３に示したステップＳ１０７の処理を行う。

このように、紫外線が強いときほど小さくなるように閾値を算出することで、非カバー領域がカバー領域に変更されやすくなり、より多くの領域をケアすることができる。

なお、図１０に示すように、閾値算出用テーブルには、ＵＶインデックスに応じてＵＶカット成分（有効成分の一例）の濃度が対応付けられてもよい。ＵＶカット成分の濃度は、ＵＶインデックスが大きくなるほど大きい値となるように設定されている。画像処理装置１００は、係数を決定するとともにＵＶカット成分の濃度を決定し、画像データを生成する際、決定したＵＶカット成分の濃度が含まれるように画像データを生成する。これにより、より効果的な紫外線対策を実現できる。

次に、算出例３について説明する。例えば生理前に多く分泌される黄体ホルモンは、肌バリア機能の低下、皮脂分泌を促進する働きがあるため、肌状態が良いときに比べて紫外線等の外部刺激の影響を受けやすくなることが知られている。そこで、ホルモンバランスを考慮してシミ等の予防を行えるように、閾値を算出してもよい。例えば、閾値は、ユーザの黄体ホルモンの分泌量が大きくなるほど小さい値となるように算出されてもよい。以下、その場合の具体例を説明する。

まず、画像処理装置１００は、記憶装置５００から、図示しない閾値算出用テーブルを取得する。この閾値算出用テーブルには、基礎体温が大きくなるほど、閾値算出用の係数が小さくなるように設定されている。一般的に、基礎体温が高いほど黄体ホルモンの分泌量は多くなる。

次に、画像処理装置１００は、ユーザの基礎体温を計測する計測装置（図示略）から、基礎体温を取得する。なお、基礎体温は、ユーザにより画像処理装置１００に入力されてもよい。

次に、画像処理装置１００は、閾値算出用テーブルを参照し、計測装置から取得した基礎体温に対応する係数を決定する。

次に、画像処理装置１００は、実施の形態で説明したとおり、過去にカバー領域に決定された変色領域の色差と面積に基づいて、初期閾値を算出する。

次に、画像処理装置１００は、決定した係数を初期閾値に掛けることで閾値を算出し、その閾値を用いて図３に示したステップＳ１０７の処理を行う。

このように、黄体ホルモンの分泌量が多い（基礎体温が高い）ときほど小さくなるように閾値を算出することで、非カバー領域がカバー領域に変更されやすくなり、より多くの領域をケアすることができる。

なお、閾値算出用テーブルには、基礎体温に応じてＵＶカット成分（有効成分の一例）の濃度が対応付けられてもよい。ＵＶカット成分の濃度は、基礎体温が大きくなるほど大きい値となるように設定されている。画像処理装置１００は、係数を決定するとともにＵＶカット成分の濃度を決定し、画像データを生成する際、決定したＵＶカット成分の濃度が含まれるように画像データを生成する。これにより、より効果的な紫外線対策を実現できる。

以上、算出例１〜３を説明したが、算出例１〜３を任意に組み合わせて用いてもよい。

（変形例３）
上記実施の形態では、第２の周辺領域の周辺色に基づいて印刷色を決定する場合を例に挙げて説明したが、印刷色の決定方法は、これに限定されない。

例えば、印刷色は、分光測色計などの機器により計測された測定値に基づいて決定されてもよい。または、例えば、印刷色は、事前に用意されたカラーサンプルからユーザが選択した色に基づいて決定されてもよい。

または、例えば、ユーザが使用しているファンデーションまたはコンシーラー等の品番等から特定される色（後述の変形例７で説明するユーザ関連情報の一例）に基づいて決定されてもよい。この場合、シートと併用する化粧品との色なじみが良くなる効果が期待できる。

または、例えば、印刷色は、第２の肌画像のうちユーザにより選択された領域（第２の変色領域以外の領域）の色に基づいて決定されてもよい。この場合、例えば、ユーザは、図８に示す顔画像７００において、第２の変色領域５１１ａ〜５１１ｄ以外の領域のうち、所望の色を有する領域を選択できる。

または、例えば、第２の顔画像を撮影したときの環境が悪かった場合（例えば、照明が暗かった場合など）、第２の顔画像の肌の色と実際の肌の色とで差異が生じる可能性がある。そこで、画像処理装置１００は、複数の第１の顔画像の所定領域（第１の変色領域以外の領域）の色の平均値（明度、彩度、色相）を算出し、その平均値に基づいて印刷色を決定してもよい。この場合、複数の第１の顔画像のうち、他の顔画像と色差が大きく異なるもの（例えば、日焼けした顔画像）は、平均値の算出に用いないことが好ましい。

（変形例４）
上記実施の形態では、画像決定部１０３がカバー領域の大きさ、形状を決定する場合を例に挙げて説明したが、カバー領域の大きさ、形状は、ユーザにより指定されてもよい。例えば、図８において、ユーザは、第２の変色領域５１１ａをカバー領域に選択した上で（塗り潰し有り表示にした状態で）、第２の変色領域５１１ａ以上の領域（例えば、図９に示した包含領域５１５）を塗り潰すまたは囲む操作を行うことで、カバー領域の大きさ、形状を指定することができる。

なお、カバー領域の指定操作は、所定領域を塗り潰したり、囲んだりする操作以外にも、下記の操作であってもよい。例えば、ユーザは、所定のカバー領域を選択した状態において、そのカバー領域の所定部分（例えば、外周部分）をカバー領域の重心から離れる方向へ移動させる操作を行うことで、カバー領域の面積を大きくすることができる。または、ユーザは、所定のカバー領域を選択した状態において、そのカバー領域の所定部分（例えば、外周部分）をカバー領域の重心へ向かう方向へ移動させる操作を行うことで、カバー領域の面積を小さくすることができる。または、ユーザは、画面上に表示されたカバー領域の拡大／縮小を指定可能な拡大／縮小バーのバーを移動させる操作を行うことで、カバー領域の大きさを指定してもよい。

なお、ユーザがタッチ操作により指定したカバー領域の形状は大雑把になることが多いため、画像処理装置１００は、過去にカバー領域に選択された第１の変色領域の大きさ、形状に基づいて、ユーザにより指定されたカバー領域の大きさ、形状を補正してもよい。

また、ユーザがカバー領域の大きさ、形状を指定しやすくするために、画像処理装置１００は、過去にカバー領域に選択または／および決定された第１の変色領域を第２の顔画像に重畳して表示してもよく、さらに決定履歴情報を合わせて表示してもよい。ユーザは、その第１の変色領域の形状をなぞる操作により、形状を指定しやすくなる。また、ユーザは、過去にカバー領域に選択された第１の変色領域と、それに対応する第２の変色領域とを比較でき、変色領域の変化を把握できる。

（変形例６）
上記実施の形態において、カバー領域に決定された第２の変色領域が複数ある場合、画像処理装置１００（画像決定部１０３または図示しないグルーピング処理部）は、複数の第２の変色領域を含む１つのカバー領域を決定するグルーピング処理を行ってもよい。この具体例について図１１を用いて説明する。

例えば、図１１において、第２の変色領域５１１ｃ、５１１ｄがカバー領域に決定されたとする。この場合、画像処理装置１００は、例えばユーザにより図１１に示す「グルーピング」ボタンが操作されると、記憶装置５００からグルーピングルールを取得する。グルーピングルールとは、第２の変色領域間の距離、第２の変色領域の大きさ、第２の変色領域の分布状態、第２の変色領域が存在する顔部位などを考慮して予め定められたルールである。グルーピングルールには、ユーザがシートを貼る際に必要とする技量に応じてシートの大きさを調整することが含まれてもよい。

次に、画像処理装置１００は、グルーピングルールに基づいて、第２の変色領域５１１ｃと第２の変色領域５１１ｄを１つの領域に包含することが可能か否かを判定する。ここで、包含が不可能である場合、画像処理装置１００は、例えば、グルーピングが不可能である旨を示すメッセージ等を表示装置３００に表示させてもよい。

一方、包含が可能である場合、画像処理装置１００は、図１１に示すように、第２の変色領域５１１ｃと第２の変色領域５１１ｄを包含する１つの包含領域５１６を決定する。また、画像処理装置１００は、決定した包含領域５１６を表示装置３００に表示させる。

そして、画像処理装置１００は、例えばユーザにより図１１に示す「印刷」ボタンが操作されると、包含領域５１６をカバー領域に決定する。また、画像処理装置１００は、包含領域５１６内における第２の変色領域５１１ｃの周辺色および第２の変色領域５１１ｄの周辺色に基づいて、印刷色を決定する。

このようなグルーピング処理により、複数の変色領域を１つのカバー領域にまとめることができるので、ユーザは、シートを貼る際に複数の変色領域を簡単に被覆できる。

なお、複数の第２の変色領域を含む包含領域（例えば、図１１に示した包含領域５１６）の形状、大きさは、ユーザにより指定されてもよい。例えば、ユーザは、図１１における第２の変色領域５１１ｃ、５１１ｄを包含する包含領域５１６の輪郭（外周）を描く操作をタッチパネル上に行うことで、包含領域を指定してもよい。ユーザがグルーピングする対象を選択することにより、自らの貼り付け技量に応じてシートの大きさ（印刷画像サイズ）を調整することができる。

（変形例７）
記憶装置５００において、ユーザ識別情報には、上述した顔画像および変色領域情報のほかに、ユーザの年齢、性別、国籍、居住地、出身地、ユーザが使用している化粧品の識別情報、肌の悩み、理想の肌状態、医療機関（皮膚科、美容皮膚科、美容整形外科など）で受けた治療の履歴（医療機関名、治療日、治療箇所等）といった情報（以下まとめて「ユーザ関連情報」という）が関連付けられてもよい。

ユーザ関連情報は、例えば、化粧品の店舗、医療機関等において、ユーザが記入したアンケートの情報、または、ユーザに対するカウンセリングで得られた情報である。ユーザ関連情報は、店舗、医療機関等の関係者またはユーザ自身によって所定の端末（例えば、パーソナルコンピュータ、スマートフォン、タブレット等）から入力される。そして、ユーザ関連情報は、所定の端末から記憶装置５００に送信され、記憶装置５００に記憶されているユーザ識別情報に関連付けられて記憶される。なお、ユーザ関連情報は、画像処理装置１００または記憶装置５００に入力されてもよい。

画像処理装置１００は、ユーザ関連情報（国籍、年齢、性別など）と、カバー領域に決定された第２の変色領域の第２の変色領域情報（座標、面積、色差、周辺色）とを対応付けて、所定の装置（例えば、化粧品の開発会社や販売店舗）へ出力してもよい。これらの情報の対応付けにより、どのような属性のユーザがどのような変色領域をカバー領域に選択したかが分かる。そのため、化粧品の開発、接客の際のアドバイスや商品の推薦等に活用できる。

（変形例８）
なお、変色領域の抽出手法、要因種別の判断手法、変色領域のグルーピング手法、カバー領域の決定手法、印刷する材料の決定手法、および印刷手法は、上述の例に限定されない。例えば、変色領域の抽出手法、要因種別の判断手法、および変色領域のグルーピング手法としては、既知の分類手法、パターン認識手法、クラスタリング手法、および最適化手法を採用することができる。

既知の分類手法としては、例えば、決定木分析、ニューラルネットワーク（深層学習を含む）、およびナイーブベイズが挙げられる。既知のパターン認識手法としては、例えば、ニューラルネットワーク（深層学習を含む）およびサポートベクターマシン（ＳＶＭ）が挙げられる。既知のクラスタリング手法としては、例えば、ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ｋ−ＮＮ、ｋ近傍法）、ｋ−ｍｅａｎｓ、および階層的クラスタリングが挙げられる。また、既知の最適化手法としては、例えば、遺伝的アルゴリズムが挙げられる。

（変形例９）
また、画像処理装置１００は、画像データ以外の各種情報を出力（表示、音声出力、送信）してもよい。各種情報は、例えば、顔画像、変色領域情報などである。例えば、ユーザのスマートフォン等の外部の表示装置と連携し、ユーザに対して、変色領域の改善に効果的な内服薬や食事メニューの提案を行ってもよい。例えば、肝斑の場合、画像処理装置１００は、トラネキサム酸やビタミンＣの摂取を提案することができる。

（変形例１０）
また、画像処理装置１００の構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。例えば、画像処理装置１００の機能の一部は、クラウド化されていてもよい。また、画像処理装置１００および印刷装置４００は、一体的に構成されていてもよい。また、画像処理装置１００および印刷装置４００の配置は、上述の例に限定されない。例えば、印刷装置４００は、印刷工場等、画像処理装置１００から離隔した場所に配置され、インターネット等の通信網を介して画像データを受信してもよい。

＜本開示のまとめ＞
本開示の画像処理装置は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理装置であって、第１のタイミングで肌を撮影した第１の肌画像と、前記第１のタイミングより後の第２のタイミングで前記肌を撮影した第２の肌画像とを取得する画像取得部と、前記第１の肌画像から抽出した変色領域を第１の変色領域に決定し、前記第２の肌画像から肌の色を抽出する画像解析部と、前記第１の変色領域に基づいて前記第２の肌画像のうち前記シートにより被覆されるカバー領域を決定し、前記肌の色に基づいて前記カバー領域の色を決定する画像決定部と、決定された前記カバー領域の画像を、決定された前記色の色素材料を用いて前記シートに印刷する内容の画像データを生成する印刷制御部と、を有する。

なお、上記画像処理装置において、前記画像解析部は、前記第２の肌画像から抽出した変色領域を第２の変色領域に決定し、前記画像決定部は、前記第２の変色領域において、過去に前記カバー領域に決定された前記第１の変色領域に対応する対応領域が存在する場合、該対応領域について所定の条件が満たされるか否かを判定し、前記所定の条件が満たされない場合は所定の閾値の補正を行わず、前記所定の条件が満たされる場合は前記閾値を所定値分小さくする補正を行い、前記第２の変色領域の色と該第２の変色領域の周辺の色との色差が前記閾値以上であるか否かに基づいて、前記第２の変色領域を、前記カバー領域または前記シートにより被覆されない非カバー領域のいずれかに判定してもよい。

また、上記画像処理装置において、前記所定の条件は、前記対応領域が過去に治療が行われた領域である、という内容でもよい。

また、上記画像処理装置において、前記所定の条件は、前記対応領域の色差と、該対応領域に対応する前記第１の変色領域の色差とに基づく変化率が所定値以上である、という内容でもよい。

また、上記画像処理装置において、前記所定の条件は、前記対応領域の面積と、該対応領域に対応する前記第１の変色領域の面積とに基づく変化率が所定値以上である、という内容でもよい。

また、上記画像処理装置において、前記所定の条件は、前記対応領域に対応する前記第１の変色領域の色差が所定値以上である、という内容でもよい。

また、上記画像処理装置において、前記所定の条件は、前記対応領域に対応する前記第１の変色領域の面積が所定値以上である、という内容でもよい。

また、上記画像処理装置において、前記閾値は、ユーザによって前記第１の変色領域のうち前記カバー領域として選択された領域の色差と面積に基づいて算出されてもよい。

また、上記画像処理装置において、前記閾値は、さらに、ＵＶインデックスが大きくなるほど小さい値となるように算出されてもよい。

また、上記画像処理装置において、前記閾値は、さらに、前記ユーザの黄体ホルモンの分泌量が大きくなるほど小さい値となるように算出されてもよい。

また、上記画像処理装置において、前記印刷制御部は、前記生成した画像データを印刷装置に出力してもよい。

また、上記画像処理装置において、前記画像解析部は、記第１の変色領域に基づいて決定されたカバー領域と前記第２の肌画像とを重畳した画像を生成し、前記第２のタイミングより前に前記カバー領域として決定されたことを示す履歴情報とともに表示装置に出力してもよい。

また、上記画像処理装置において、前記画像解析部は、前記第２の肌画像から抽出した変色領域を第２の変色領域に決定し、前記第１の変色領域または／および前記第２の変色領域が前記カバー領域に含まれるか否かに関する操作を受け付ける入力部をさらに有し、前記画像解析部は、前記決定されたカバー領域に前記第１の変色領域または／および第２の変色領域が複数存在する場合に、前記入力部が受け付けた前記操作に基づいて、前記決定されたカバー領域の大きさまたは／および形状を調整してもよい。

また、上記画像処理装置において、前記画像解析部は、前記第２の肌画像から抽出した変色領域を第２の変色領域に決定し、前記決定されたカバー領域を表示する表示部と、前記第１の変色領域または／および第２の変色領域が前記カバー領域に含まれるか否かの選択に関する操作を受け付ける入力部とをさらに有し、前記表示部は、前記第１の変色領域または／および第２の変色領域が選択された状態であるか否かに基づいて、前記第１の変色領域または第２の変色領域を示すために前記第２の肌画像に重畳表示する画像の透過率を変更してもよい。

本開示の画像処理方法は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理方法であって、第１のタイミングで肌を撮影した第１の肌画像を取得するステップと、前記第１の肌画像から抽出した変色領域を第１の変色領域に決定するステップと、前記第１のタイミングより後の第２のタイミングで前記肌を撮影した第２の肌画像を取得するステップと、前記第２の肌画像から肌の色を抽出するステップと、前記第１の変色領域に基づいて前記第２の肌画像のうち前記シートにより被覆されるカバー領域を決定し、前記肌の色に基づいて前記カバー領域の色を決定するステップと、決定された前記カバー領域の画像を、決定された前記色の色素材料を用いて前記シートに印刷する内容の画像データを生成するステップと、を有する。

本開示に係る画像表示装置および画像処理方法は、肌の変色領域のケアを簡単に行うことができる画像処理装置および画像処理方法として有用である。

１ メイク支援システム
１００ 画像処理装置
１０１ 画像取得部
１０２ 画像解析部
１０３ 画像決定部
１０４ 印刷制御部
２００ 撮像装置
３００ 表示装置
４００ 印刷装置
５００ 記憶装置

Claims (15)

1. 肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理装置であって、
   第１のタイミングで肌を撮影した第１の肌画像と、前記第１のタイミングより後の第２のタイミングで前記肌を撮影した第２の肌画像とを取得する画像取得部と、
   前記第１の肌画像から抽出した変色領域を第１の変色領域に決定し、前記第２の肌画像から肌の色を抽出する画像解析部と、
   前記第１の変色領域に基づいて前記第２の肌画像のうち前記シートにより被覆されるカバー領域を決定し、前記肌の色に基づいて前記カバー領域の色を決定する画像決定部と、
   決定された前記カバー領域の画像を、決定された前記色の色素材料を用いて前記シートに印刷する内容の画像データを生成する印刷制御部と、を有する、
   画像処理装置。
2. 前記画像解析部は、
   前記第２の肌画像から抽出した変色領域を第２の変色領域に決定し、
   前記画像決定部は、
   前記第２の変色領域において、前記第２のタイミングより前に前記カバー領域に決定された前記第１の変色領域に対応する対応領域が存在する場合、該対応領域について所定の条件が満たされるか否かを判定し、
   前記所定の条件が満たされない場合は所定の閾値の補正を行わず、前記所定の条件が満たされる場合は前記閾値を所定値分小さくする補正を行い、
   前記第２の変色領域の色と該第２の変色領域の周辺の色との色差が前記閾値以上であるか否かに基づいて、前記第２の変色領域を、前記カバー領域または前記シートにより被覆されない非カバー領域のいずれかに判定する、
   請求項１に記載の画像処理装置。
3. 前記所定の条件は、
   前記対応領域が前記第２のタイミングより前に治療が行われた領域である、という内容である、
   請求項２に記載の画像処理装置。
4. 前記所定の条件は、
   前記対応領域の色差と、該対応領域に対応する前記第１の変色領域の色差とに基づく変化率が所定値以上である、という内容である、
   請求項２に記載の画像処理装置。
5. 前記所定の条件は、
   前記対応領域の面積と、該対応領域に対応する前記第１の変色領域の面積とに基づく変化率が所定値以上である、という内容である、
   請求項２に記載の画像処理装置。
6. 前記所定の条件は、
   前記対応領域に対応する前記第１の変色領域の色差が所定値以上である、という内容である、
   請求項２に記載の画像処理装置。
7. 前記所定の条件は、
   前記対応領域に対応する前記第１の変色領域の面積が所定値以上である、という内容である、
   請求項２に記載の画像処理装置。
8. 前記閾値は、ユーザによって前記第１の変色領域のうち前記カバー領域として選択された領域の色差と面積に基づいて算出される、
   請求項２に記載の画像処理装置。
9. 前記閾値は、さらに、ＵＶインデックスが大きくなるほど小さい値となるように算出される、
   請求項８に記載の画像処理装置。
10. 前記閾値は、さらに、前記ユーザの黄体ホルモンの分泌量が大きくなるほど小さい値となるように算出される、
    請求項８に記載の画像処理装置。
11. 前記印刷制御部は、前記生成した画像データを印刷装置に出力する、
    請求項１に記載の画像処理装置。
12. 前記画像解析部は、
    記第１の変色領域に基づいて決定されたカバー領域と前記第２の肌画像とを重畳した画像を生成し、前記第２のタイミングより前に前記カバー領域として決定されたことを示す履歴情報とともに表示装置に出力する、
    請求項１に記載の画像処理装置。
13. 前記画像解析部は、前記第２の肌画像から抽出した変色領域を第２の変色領域に決定し、
    前記第１の変色領域または／および前記第２の変色領域が前記カバー領域に含まれるか否かに関する操作を受け付ける入力部をさらに有し、
    前記画像解析部は、
    前記決定されたカバー領域に前記第１の変色領域または／および第２の変色領域が複数存在する場合に、前記入力部が受け付けた前記操作に基づいて、前記決定されたカバー領域の大きさまたは／および形状を調整する、
    請求項１に記載の画像処理装置。
14. 前記画像解析部は、前記第２の肌画像から抽出した変色領域を第２の変色領域に決定し、
    前記決定されたカバー領域を表示する表示部と、前記第１の変色領域または／および第２の変色領域が前記カバー領域に含まれるか否かの選択に関する操作を受け付ける入力部とをさらに有し、
    前記表示部は、
    前記第１の変色領域または／および第２の変色領域が選択された状態であるか否かに基づいて、前記第１の変色領域または第２の変色領域を示すために前記第２の肌画像に重畳表示する画像の透過率を変更する、
    請求項１に記載の画像処理装置。
15. 肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理方法であって、
    第１のタイミングで肌を撮影した第１の肌画像を取得するステップと、
    前記第１の肌画像から抽出した変色領域を第１の変色領域に決定するステップと、
    前記第１のタイミングより後の第２のタイミングで前記肌を撮影した第２の肌画像を取得するステップと、
    前記第２の肌画像から肌の色を抽出するステップと、
    前記第１の変色領域に基づいて前記第２の肌画像のうち前記シートにより被覆されるカバー領域を決定し、前記肌の色に基づいて前記カバー領域の色を決定するステップと、
    決定された前記カバー領域の画像を、決定された前記色の色素材料を用いて前記シートに印刷する内容の画像データを生成するステップと、を有する、
    画像処理方法。

Images