JP2024097787A - Image processing device, makeup simulation device, image processing method and program - Google Patents
Image processing device, makeup simulation device, image processing method and program Download PDFInfo
- Publication number
- JP2024097787A JP2024097787A JP2024066340A JP2024066340A JP2024097787A JP 2024097787 A JP2024097787 A JP 2024097787A JP 2024066340 A JP2024066340 A JP 2024066340A JP 2024066340 A JP2024066340 A JP 2024066340A JP 2024097787 A JP2024097787 A JP 2024097787A
- Authority
- JP
- Japan
- Prior art keywords
- contact
- image
- unit
- face
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 239000002537 cosmetic Substances 0.000 claims abstract description 133
- 230000014759 maintenance of location Effects 0.000 claims description 114
- 230000001133 acceleration Effects 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 64
- 230000004044 response Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 39
- 238000000034 method Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000000717 retained effect Effects 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000003278 mimic effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing device, a makeup simulation device, an image processing method, and a program.
ユーザが化粧品によりメイクアップ（以下、「メイク」と呼ぶ。）した後の状態をシミュレーションするメイクシミュレーションの技術が知られている。例えば、特許文献１は、人物の顔画像にメイクパーツを重畳して表示装置に表示させるメイクシミュレーション装置を開示している。
There is known a makeup simulation technique that simulates the appearance of a user after applying makeup using cosmetics (hereinafter referred to as "makeup"). For example,
実際のメイクにおいて化粧ブラシ等のメイク道具を用いて顔に化粧品を塗布する場合、メイク道具に付着した化粧品の量や、顔に対するメイク道具の接触のさせ方等に応じて、顔に対する化粧品の塗布のされ方は変化する。そのため、メイクシミュレーションによってメイク後の顔の状態をシミュレーションしても、実際のメイクとは異なる仕上がりになることがある。このような状況のもと、メイク道具を用いて顔に化粧品を塗布する場合におけるメイク後の顔の状態をよりリアルにシミュレーションすることが求められている。 When applying makeup to the face using makeup tools such as makeup brushes in real makeup applications, the way in which the makeup is applied to the face varies depending on factors such as the amount of makeup attached to the makeup tool and the way in which the makeup tool is brought into contact with the face. As a result, even if the state of the face after makeup is applied is simulated using a makeup simulation, the finished product may differ from the actual makeup. Under these circumstances, there is a demand for a more realistic simulation of the state of the face after makeup is applied to the face using makeup tools.
本発明は、以上のような課題を解決するためのものであり、メイク後の顔の状態をよりリアルにシミュレーションすることが可能な画像処理装置、メイクシミュレーション装置、画像処理方法及びプログラムを提供することを目的とする。 The present invention is intended to solve the above problems, and aims to provide an image processing device, a makeup simulation device, an image processing method, and a program that can more realistically simulate the state of a face after makeup is applied.
上記目的を達成するため、本発明に係る画像処理装置は、
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部と、
前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部と、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部と、
を備えることを特徴とする。
In order to achieve the above object, the image processing device according to the present invention comprises:
a display unit having a first display area for displaying a captured image of a user's face and a second display area for displaying a cosmetic product image representing the cosmetic product;
an operation receiving unit that receives an operation when a pointer comes into contact with a surface of the second display area while the cosmetic image is displayed in the second display area;
a contact position identification unit that identifies a contact position on the user's face that is contacted by the indicator when the indicator comes into contact with the user's face after the operation acceptance unit accepts the operation;
a display control unit that displays, in the first display area, a makeup image in which a portion of the captured image corresponding to the contact position identified by the contact position identification unit is processed based on at least one of a first value related to a contact of the indicator with a surface of the second display area and a second value related to a contact of the indicator with a face of the user; and
The present invention is characterized by comprising:
本発明によれば、メイク後の顔の状態をよりリアルにシミュレーションすることができる。 The present invention allows for a more realistic simulation of the state of the face after makeup is applied.
以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。 Embodiments of the present invention will be described below with reference to the drawings. Note that the same or corresponding parts in the drawings are given the same reference numerals.
（実施形態１）
図１に、本発明の実施形態１に係るメイクシミュレーション装置１の外観を模式的に示す。メイクシミュレーション装置１は、ユーザが化粧品によりメイクした後の状態をコンピュータ上でシミュレーションする装置である。メイクシミュレーション装置１を用いることで、ユーザは、本物の化粧品を用いることなく気軽にメイクの練習をすることや、メイク後の状態を事前に確認することができる。
(Embodiment 1)
1 shows a schematic external view of a
図１に示すように、メイクシミュレーション装置１は、画像処理装置１０と、指示装置３０と、を備える。画像処理装置１０は、ユーザの顔が撮像された撮像画像に対して、メイク後の状態を表す画像をシミュレーションにより生成して表示する装置である。画像処理装置１０は、メイク用のパレットを模擬した形状をしている。
As shown in FIG. 1, the
図２に、画像処理装置１０のハードウェア構成を示す。画像処理装置１０は、制御部１１と、記憶部１２と、操作部１３と、撮像部１４と、表示部１５と、タッチパネル１６と、通信部１７と、を備える。
Figure 2 shows the hardware configuration of the
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＣＰＵは、例えばマイクロプロセッサ等を備え、様々な処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、システムバスを介して画像処理装置１０の各部に接続されており、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、画像処理装置１０全体の動作を制御する。
The
また、制御部１１は、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等のような画像処理用のプロセッサと、処理される画像を一時的に保存するバッファメモリと、を備える。制御部１１は、画像処理用のプロセッサにより、周知の画像処理の手法を用いて、撮像部１４により得られた撮像画像を処理する。
The
記憶部１２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備える。記憶部１２は、制御部１１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部１２は、制御部１１が各種処理を行うことにより生成又は取得するデータを記憶する。
The
操作部１３は、入力キー、ボタン、スイッチ等を備え、ユーザから操作指示を受け付ける。
The
撮像部１４は、いわゆるカメラであって、被写体から射出された光を集光するレンズと、集光した光を受けて被写体の画像を取得するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子から電気信号として送られた撮像データをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器と、を備える。撮像部１４は、図１に示すように、表示部１５の近傍に配置されており、表示部１５を見ながら画像処理装置１０を使用しているユーザの顔を撮像する。
The
図２に戻って、表示部１５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の表示デバイスである。表示部１５は、図１に示すように、画像処理装置１０の上側の面に配置されており、撮像部１４の撮像により得られた撮像画像を表示する。表示部１５は、本発明における「第１の表示領域」として機能する。
Returning to FIG. 2, the
タッチパネル１６は、タッチスクリーン等とも呼ばれ、画像を表示する表示装置と位置の入力を受け付ける位置入力装置とが互いに重畳して配置されたデバイスである。タッチパネル１６は、図１に示すように、画像処理装置１０の下側の面に配置されており、メイクシミュレーションにおいてユーザの顔に仮想的に塗布される化粧品を表現する化粧品画像を表示する。タッチパネル１６は、本発明における「第２の表示領域」として機能する。また、タッチパネル１６は、表示装置に画像が表示されている時に、タッチパネル１６の表面に対する接触による操作を位置入力装置により受け付ける。なお、表示部１５とタッチパネル１６とが本発明における「表示部」として機能する。
The
通信部１７は、画像処理装置１０が指示装置３０を含む外部の機器と通信するためのインタフェースを備える。通信部１７は、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢ（Universal Serial Bus）ケーブル等の有線通信を介して外部の機器と通信する。
The communication unit 17 has an interface for the
図１に戻って、指示装置３０は、メイクシミュレーションにおいて化粧品を選択し、選択した化粧品を仮想的に塗布する顔の位置を指示するための装置である。指示装置３０は、スティック状をしており、いわゆる化粧筆（化粧ブラシ、メイクブラシ）のような、顔に化粧品を塗布するために用いられる塗布ツールを模擬する部材である。ユーザは、指示装置３０を手で把持し、画像処理装置１０に表示された化粧品画像及びユーザの顔を、指示装置３０の端部で指し示すようにして使用する。指示装置３０は、本発明における「指示体」として機能する。
Returning to FIG. 1, the
指示装置３０は、図示を省略するが、タッチパネル１６の表面やユーザの顔等に接触する側の先端部に、取り外し可能なアタッチメント（取り付け部材）を備える。アタッチメントは、仮想的に化粧品を付着させて塗布するための部品である。アタッチメントとして、ペン状、ブラシ状等の様々な形状のものを指示装置３０に取り付けることができる。指示装置３０に取り付けられるアタッチメントに応じて、メイクシミュレーションにおける化粧品の塗布の態様が変化する。ユーザは、指示装置３０に所望の形状のアタッチメントを付け替えてメイクをシミュレーションすることができる。
Although not shown, the
図３に、指示装置３０のハードウェア構成を示す。指示装置３０は、制御部３１と、記憶部３２と、種別識別部３３と、接触検知部３４と、加速度検知部３５と、通信部３７と、を備える。
Figure 3 shows the hardware configuration of the
制御部３１は、ＣＰＵ、ＲＯＭ及びＲＡＭを備える。ＣＰＵは、例えばマイクロプロセッサ等を備え、様々な処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、システムバスを介して指示装置３０の各部に接続されており、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、指示装置３０全体の動作を制御する。
The
記憶部３２は、フラッシュメモリ、ハードディスク等の不揮発性メモリを備える。記憶部３２は、制御部３１が各種処理を行うために使用するプログラム及びデータを記憶する。また、記憶部３２は、制御部３１が各種処理を行うことにより生成又は取得するデータを記憶する。
The
種別識別部３３は、指示装置３０に取り付けられたアタッチメントの種別を識別する。例えば、指示装置３０は、アタッチメントが取り付けられた場合に押圧されるスイッチであって、種別が異なるアタッチメントが取り付けられると押圧のされ方が異なるスイッチを備える。種別識別部３３は、アタッチメントが取り付けられた場合におけるスイッチの押圧のされ方によって、取り付けられたアタッチメントの種別を識別する。
The
接触検知部３４は、指示装置３０の端部に対する接触を検知する。接触検知部３４は、静電容量式、歪みゲージ式等の周知の方式で圧力を検知する圧力センサを備える。接触検知部３４は、指示装置３０に取り付けられたアタッチメントに、タッチパネル１６の表面やユーザの顔等の物体が接触した場合、その接触によってアタッチメントに加えられる圧力を圧力センサにより検知する。これにより、接触検知部３４は、指示装置３０の端部に対する接触を検知する。
The
加速度検知部３５は、機械式、振動式、半導体式等の周知の方式で加速度を検知する加速度センサを備えており、指示装置３０の全体に加えられる加速度を検知する。加速度検知部３５は、例えば指示装置３０がユーザに把持された状態で振り払われた場合のように、指示装置３０に加速度が加えられた場合に、その加速度を検知する。
The
通信部３７は、指示装置３０が画像処理装置１０と通信するためのインタフェースを備える。通信部３７は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢケーブル等の有線通信を介して画像処理装置１０と通信する。
The
次に、図４を参照して、メイクシミュレーション装置１の機能的な構成について説明する。図４に示すように、画像処理装置１０の制御部１１は、機能的に、画像取得部１１０と、表示制御部１２０と、顔検出部１３０と、操作受付部１４０、情報取得部１５０と、保持量設定部１６０と、接触位置特定部１７０と、を備える。制御部１１において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、これら各部として機能する。
Next, the functional configuration of the
また、指示装置３０は、機能的に、情報送信部３１０を備える。制御部３１において、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより、情報送信部３１０として機能する。
Functionally, the
画像処理装置１０において、画像取得部１１０は、撮像部１４による撮像により得られた撮像画像を取得する。図５に、ユーザＵがメイクシミュレーション装置１を用いてメイクのシミュレーションを行うために、画像処理装置１０の表示部１５に向かい合っている状態を示す。撮像部１４は、図５において破線で示す視野の内側、具体的には表示部１５に向かい合っているユーザＵの顔を含む範囲を撮像する。
In the
このように、撮像部１４の設置位置及び光軸の向きは、ユーザＵが表示部１５に向かい合っている場合にユーザＵの顔が撮像部１４の視野に含まれるように、調整されている。そのため、ユーザＵが表示部１５に向かい合っている場合、画像取得部１１０は、ユーザＵの顔が撮像された撮像画像を取得する。画像取得部１１０は、画像処理装置１０がユーザＵにより使用されている間、このような撮像部１４によりユーザＵの顔が撮像された撮像画像を継続的に取得する。画像取得部１１０は、制御部１１が撮像部１４等と協働することにより実現される。
In this way, the installation position and the direction of the optical axis of the
表示制御部１２０は、画像取得部１１０により取得された撮像画像を、第１の表示領域である表示部１５に表示する。例えば図５に示したように撮像部１４の視野内にユーザＵの顔が含まれている場合、表示制御部１２０は、ユーザの顔が撮像された撮像画像を表示部１５に表示する。これにより、表示制御部１２０は、表示部１５に向かい合っているユーザＵの顔の様子をリアルタイムで表示する。このように撮像されたユーザの顔画像が表示部１５に表示されることで、ユーザは、表示部１５に表示された自分の顔画像を鏡に映った顔のように見ながら、メイクをシミュレーションすることができる。
The
更に、表示制御部１２０は、化粧品を表現する化粧品画像を、第２の表示領域であるタッチパネル１６に表示する。化粧品画像は、メイクシミュレーションにおいてユーザＵの顔に仮想的に塗布される化粧品を視覚的に表現する画像である。表示制御部１２０は、化粧品画像として、複数の化粧品を表現する画像を表示する。
Furthermore, the
具体的に説明すると、表示制御部１２０は、例えば図６に示すように、タッチパネル１６上の表示領域を縦方向及び横方向に複数に区切ることで、複数の部分領域に分割する。そして、表示制御部１２０は、化粧品画像として、複数の部分領域のそれぞれに異なる化粧品を表現する画像を表示する。
Specifically, as shown in FIG. 6, for example, the
ここで、複数の部分領域のそれぞれに表示される化粧品は、色、光沢、質感等の少なくとも１つの特徴が異なる化粧品であって、ユーザＵの顔に仮想的に塗布してメイク後の状態をシミュレーションすることが可能な化粧品である。色、光沢、質感等が異なる複数の化粧品を表現する化粧品画像がタッチパネル１６に表示されることにより、ユーザＵは、複数の化粧品のうちからメイクシミュレーションを望む化粧品を選択して使用することができる。
Here, the cosmetics displayed in each of the multiple partial regions are cosmetics that differ in at least one characteristic, such as color, gloss, texture, etc., and can be virtually applied to the face of user U to simulate the state after makeup is applied. By displaying cosmetic images representing multiple cosmetics with different colors, gloss, textures, etc. on
このような複数の化粧品を表現する化粧品画像は、記憶部１２に予め記憶されている。表示制御部１２０は、画像処理装置１０の使用時に化粧品画像を記憶部１２から読み出してタッチパネル１６に表示する。
Cosmetic images representing multiple such cosmetics are pre-stored in the
このようにユーザＵの顔が撮像された撮像画像がリアルタイムで表示部１５に表示され、且つ、化粧品画像がタッチパネル１６に表示されることにより、ユーザは、画像処理装置１０を、化粧用のパレットのように取り扱うことができる。表示制御部１２０は、制御部１１が表示部１５、タッチパネル１６等と協働することにより実現される。
In this way, the captured image of the user U's face is displayed in real time on the
図４に戻って、顔検出部１３０は、画像取得部１１０により取得された撮像画像のうちから顔画像を検出する。具体的に説明すると、顔検出部１３０は、画像取得部１１０により撮像画像が取得されると、周知の顔認識の手法を用いて、撮像画像に目、鼻、眉等の顔部位が含まれているか否かを判定する。判定の結果、撮像画像に顔部位が含まれている場合、顔検出部１３０は、撮像画像における顔部位の座標及びサイズを検出する。
Returning to FIG. 4, the
また、顔検出部１３０は、検出した顔部位に基づいて顔の輪郭部分を識別し、顔全体の領域を検出する。そして、顔検出部１３０は、撮像画像における顔全体の領域を、仮想的に化粧品が塗布される対象となるバーチャルメイク領域として決定する。顔検出部１３０は、制御部１１が記憶部１２等と協働することにより実現される。
Furthermore, the
操作受付部１４０は、タッチパネル１６に化粧品画像が表示されている時に、指示装置３０がタッチパネル１６の表面に接触することによる操作を受け付ける。図７に、指示装置３０の先端部がタッチパネル１６の表面に接触した例を示す。ユーザＵは、メイクシミュレーション装置１を用いてメイク後の状態をシミュレーションする場合、図７に示すように、指示装置３０を手で把持し、その先端部を化粧品画像が表示されているタッチパネル１６の表面に接触させる。
The
このような指示装置３０をタッチパネル１６の表面に接触させる動作は、化粧用のパレットに収納されている化粧品を化粧筆の先端部に保持（付着）させる動作を模擬したものである。操作受付部１４０は、指示装置３０によるタッチパネル１６の表面に対する接触を検知することにより、ユーザからの操作を受け付ける。
The action of touching such an
より詳細には、操作受付部１４０は、指示装置３０がタッチパネル１６の表面に接触すると、タッチパネル１６の位置入力装置の機能により、その接触の位置座標を検知する。そして、操作受付部１４０は、タッチパネル１６に化粧品画像として表示されている複数の化粧品のうちの、検知された位置座標に表示されている化粧品を、ユーザＵの顔に仮想的に塗布される化粧品として選択する。
More specifically, when the
このように、ユーザＵは、指示装置３０を化粧筆のように用いてタッチパネル１６の表面に接触させることにより、複数の化粧品のうちから、ユーザＵの顔に仮想的に塗布する化粧品を選択する。操作受付部１４０は、制御部１１がタッチパネル１６等と協働することにより実現される。
In this way, the user U uses the
図４に戻って、指示装置３０において、情報送信部３１０は、通信部３７を介して画像処理装置１０と通信することにより、種別情報、接触情報及び加速度情報を画像処理装置１０に送信する。情報送信部３１０は、制御部３１が通信部３７等と協働することにより実現される。
Returning to FIG. 4, in the
第１に、情報送信部３１０は、指示装置３０に取り付けられたアタッチメントの種別を示す種別情報を画像処理装置１０に送信する。例えば、指示装置３０に取り付けられているアタッチメントをブラシ状のものからペン状のものに交換する場合のように、新たなアタッチメントが指示装置３０に取り付けられた場合、種別識別部３３は、そのアタッチメントの種別を識別する。このように指示装置３０に新たなアタッチメントが取り付けられた場合、情報送信部３１０は、種別識別部３３により識別された新たなアタッチメントの種別を示す種別情報を画像処理装置１０に送信する。
First, the
第２に、情報送信部３１０は、接触検知部３４により検知された接触の強さを示す接触情報を画像処理装置１０に送信する。ここで、接触の強さは、その接触の際に指示装置３０の先端部に加えられた圧力の大きさに相当し、指示装置３０の先端部に設けられている圧力センサにより検知される。情報送信部３１０は、接触検知部３４により検知された指示装置３０の先端部に対する接触の強さを示す接触情報を、予め定められた一定の時間間隔で画像処理装置１０に送信する。
Secondly, the
より詳細には、接触検知部３４により接触が検知される場合として、主に２つの場合が挙げられる。第１の場合は、例えば図７に示したように、ユーザＵが、タッチパネル１６に表示された化粧品画像から化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させる場合である。第２の場合は、図８に示すように、ユーザＵが、選択した化粧品を顔に仮想的に塗布するために、指示装置３０の先端部をユーザＵの顔に接触させる場合である。ユーザＵは、指示装置３０の先端部をタッチパネル１６の表面に接触させた後、図８に示すように、化粧筆を顔に当てて化粧品を塗布する動作を模擬するために、指示装置３０の先端部を顔に接触させる。
More specifically, there are mainly two cases in which contact is detected by the
以下では、第１の場合における接触を「第１の接触」と呼び、第２の場合における接触を「第２の接触」と呼ぶ。第１の接触において接触検知部３４により検知された接触の強さは、本発明における「第１の値」の一例であり、第２の接触において接触検知部３４により検知された接触の強さは、本発明における「第２の値」の一例である。
Hereinafter, the contact in the first case will be referred to as the "first contact," and the contact in the second case will be referred to as the "second contact." The strength of the contact detected by the
第３に、情報送信部３１０は、加速度検知部３５により検知された加速度を示す加速度情報を画像処理装置１０に送信する。具体的に説明すると、加速度検知部３５は、指示装置３０の全体に対して加えられた加速度を検知する。
Thirdly, the
ここで、指示装置３０の全体に対して加速度が加えられる場合とは、具体的には図９に示すように、ユーザＵが指示装置３０に仮想的に保持されている化粧品の保持量を減らすために、手で把持している指示装置３０を空中で振る動作を行った場合である。このような動作は、化粧筆の先端部に付着した化粧品を空中に飛散させる動作を模擬したものである。情報送信部３１０は、このように指示装置３０の全体に加えられた加速度を示す加速度情報を、予め定められた一定の時間間隔で画像処理装置１０に送信する。
Here, a case where acceleration is applied to the
画像処理装置１０において、情報取得部１５０は、通信部１７を介して指示装置３０と通信し、情報送信部３１０により送信された種別情報、接触情報及び加速度情報を取得する。情報取得部１５０は、制御部１１が通信部１７等と協働することにより実現される。
In the
保持量設定部１６０は、指示装置３０に仮想的に保持される化粧品の保持量を、第１の接触及び第２の接触における接触の強さに基づいて設定する。指示装置３０に仮想的に保持される化粧品の保持量は、記憶部１２に保持データ２１として記憶されている。保持量設定部１６０は、制御部１１が記憶部１２等と協働することにより実現される。
The retention
図１０に、記憶部１２に記憶されている保持データ２１の例を示す。図１０に示すように、保持データ２１は、指示装置３０の先端部に保持されている化粧品の種類と、その化粧品の保持量（付着量）と、指示装置３０に取り付けられているアタッチメントの種別と、を示すデータである。
Figure 10 shows an example of the retained
保持量設定部１６０は、操作受付部１４０により操作が受け付けられた場合、保持データ２１に記憶されている化粧品の種類を更新する。例えば、操作受付部１４０により受け付けられた操作により、タッチパネル１６に表示された複数の化粧品のうちから「化粧品Ａ」の種類の化粧品が選択された場合、保持量設定部１６０は、保持データ２１に記憶されている化粧品の種類を「化粧品Ａ」に更新する。
When an operation is accepted by the
更に、保持量設定部１６０は、情報取得部１５０により指示装置３０から取得された種別情報、接触情報又は加速度情報に基づいて、保持データ２１を更新する。
Furthermore, the retention
第１に、保持量設定部１６０は、情報取得部１５０が指示装置３０から種別情報を取得すると、保持データ２１に記憶されているアタッチメントの種別を、取得された種別情報に示される種別に更新する。例えば指示装置３０に「ブラシＢ」の種別のアタッチメントが取り付けられた場合、保持量設定部１６０は、保持データ２１に記憶されているアタッチメントの種別を「ブラシＢ」に更新する。これにより、指示装置３０に新たなアタッチメントが取り付けられた場合、保持データ２１に記憶されているアタッチメントの種別が最新の情報に更新される。
First, when the
第２に、保持量設定部１６０は、第１の接触又は第２の接触の際に情報取得部１５０が指示装置３０から接触情報を取得すると、取得された接触情報に基づいて、保持データ２１に記憶されている化粧品の保持量を設定する。具体的に説明すると、保持量設定部１６０は、指示装置３０がタッチパネル１６の表面に接触した時に情報取得部１５０により取得された接触情報により示される接触の強さに応じて、保持データ２１に記憶されている保持量を設定する。また、保持量設定部１６０は、指示装置３０がユーザＵの顔に接触した時に情報取得部１５０により取得された接触情報により示される接触の強さに応じて、保持データ２１に記憶されている保持量を設定する。
Secondly, when the
一般的に、ユーザＵがパレットから化粧品を付着させるために化粧筆をパレットに接触させた場合、その接触が強いほど、化粧筆により多くの量の化粧品が付着される。このような特徴を模擬するため、保持量設定部１６０は、指示装置３０がタッチパネル１６の表面に接触した場合、情報取得部１５０により取得された接触情報により示される接触の強さがより大きいほど、保持量をより大きく増加させる。
Generally, when a user U touches a makeup brush to a palette to apply cosmetics from the palette, the stronger the contact, the greater the amount of cosmetics that is applied to the makeup brush. To simulate this characteristic, when the
同様に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、保持量設定部１６０は、指示装置３０がユーザＵの顔に接触した場合、情報取得部１５０により取得された接触情報に示される接触の強さがより大きいほど、保持量をより大きく減少させる。
Similarly, when user U touches a makeup brush to his/her face to apply makeup to the face, the stronger the contact, the greater the amount of makeup applied to user U's face. In order to mimic such a characteristic, when the
第３に、保持量設定部１６０は、情報取得部１５０が指示装置３０から加速度情報を取得すると、取得された加速度情報に基づいて、保持データ２１に記憶されている化粧品の保持量を更新する。具体的に説明すると、保持量設定部１６０は、情報取得部１５０により取得された加速度情報に示される加速度が予め定められた閾値よりも大きいか否かを判定する。判定の結果、取得された加速度情報に示される加速度が閾値よりも大きい場合、保持量設定部１６０は、保持データ２１に記憶されている化粧品の保持量を減少させる。その際、保持量設定部１６０は、取得された加速度情報に示される加速度がより大きいほど、保持データ２１に記憶されている化粧品の保持量をより大きく減少させる。このように加速度に応じて化粧品の保持量を減少させることにより、ユーザＵは、図９に示したように指示装置３０を振るという自然な動作で化粧品の保持量を調整することができる。
Thirdly, when the
図４に戻って、接触位置特定部１７０は、図７に示したように指示装置３０がタッチパネル１６の表面に接触することによる操作が受け付けられた後において、図８に示したように指示装置３０がユーザＵの顔に接触した場合、画像取得部１１０により取得された撮像画像に基づいて、ユーザＵの顔における指示装置３０が接触した接触位置を特定する。接触位置特定部１７０は、制御部１１が記憶部１２等と協働することにより実現される。
Returning to FIG. 4, after an operation is accepted in which the
具体的に説明すると、接触位置特定部１７０は、第１に、ユーザＵが指示装置３０を顔に近付けたか否かを、画像取得部１１０により取得された撮像画像に基づいて判定する。ユーザＵが指示装置３０を顔に近付けた場合、撮像部１４の視野内に指示装置３０が入るため、図１１に示すように、撮像画像に指示装置３０の画像が含まれる。接触位置特定部１７０は、撮像画像における、顔検出部１３０により検出されたユーザＵの顔領域（すなわちバーチャルメイク領域）の内側に、指示装置３０の画像が含まれているか否かを判定する。
To be more specific, the contact
ユーザＵの顔領域の内側に指示装置３０の画像が含まれている場合、第２に、接触位置特定部１７０は、情報取得部１５０が指示装置３０から取得した接触情報に基づいて、ユーザＵの顔領域の内側に指示装置３０の画像が含まれている時に接触検知部３４により接触が検知されたか否かを判定する。そして、接触位置特定部１７０は、ユーザＵの顔領域の内側に指示装置３０の画像が含まれている時に接触検知部３４により接触が検知された場合、指示装置３０の先端部がユーザＵの顔に接触したと判定する。このように、接触位置特定部１７０は、画像取得部１１０により取得された撮像画像と、情報取得部１５０により取得された接触情報と、に基づいて、指示装置３０がユーザＵの顔に接触したか否かを判定する。
When the image of the
指示装置３０がユーザＵの顔に接触したと判定した場合、接触位置特定部１７０は、撮像画像におけるその接触位置を特定する。具体的に説明すると、接触位置特定部１７０は、撮像画像に撮像された指示装置３０の先端部の座標を接触位置として特定する。例えばユーザＵが目の周囲に指示装置３０の先端部を接触させた場合、接触位置特定部１７０は、目の周囲の位置を接触位置として特定する。これにより、接触位置特定部１７０は、指示装置３０の先端部がユーザＵの顔のどの位置に接触したかを特定し、化粧品が仮想的に塗布される位置を決定する。
When it is determined that the
表示制御部１２０は、表示部１５に表示された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が加工されたメイク画像を表示する。ここで、メイク画像とは、ユーザＵの顔のメイク後の状態をシミュレーションするための画像であって、化粧品がユーザＵの顔に実際に塗布された場合にどのように塗布されるかを表現する画像である。
The
具体的には、メイク画像は、ユーザＵの顔が撮像された撮像画像における、接触位置特定部１７０により特定された接触位置に、化粧品がユーザＵの顔に塗布された状態を表現するメイクパーツが重ねられることにより加工された画像である。例えばユーザＵが目の周囲に指示装置３０の先端部を接触させた場合、表示制御部１２０は、図１２に示すように、メイク画像として、ユーザＵの目の周囲にメイクパーツ４１が重ねられることにより加工された画像を表示する。なお、メイク画像におけるメイクパーツ４１以外の部分は、撮像画像と同じであって、撮像画像から加工が加えられていない。このようなメイク画像により、表示制御部１２０は、メイク後のユーザＵの顔の状態を表現する。
Specifically, the makeup image is an image that has been processed by superimposing makeup parts that represent the state in which cosmetics have been applied to the face of the user U on the contact position identified by the contact
表示制御部１２０は、操作受付部１４０により受け付けられた操作により複数の化粧品のうちから選択された化粧品に対応するメイクパーツ４１を撮像画像に重ねる。言い換えると、表示制御部１２０は、ユーザＵにより選択された化粧品の色、光沢、質感等の特徴と同様の特徴を有するメイクパーツ４１を、ユーザＵの顔画像に重ねて表示する。これにより、表示制御部１２０は、ユーザＵにより選択された化粧品が実際に塗布された状態を忠実に表現する。
The
更に、表示制御部１２０は、メイク画像として、画像取得部１１０により取得された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が、第１の接触における接触の強さと第２の接触における接触の強さとに基づいて加工された画像を表示部１５に表示する。ここで、撮像画像における接触位置に対応する部分は、撮像画像に含まれるユーザＵの顔画像内における、指示装置３０の先端部が接触した位置に相当する部分である。例えば、撮像画像における接触位置に対応する部分は、指示装置３０の先端部がユーザＵの右目の上側に接触した場合には、撮像画像内におけるユーザＵの右目の上側の部分に相当し、指示装置３０の先端部がユーザＵの右側の頬に接触した場合には、撮像画像内におけるユーザＵの右側の頬の部分に相当する。
Furthermore, the
表示制御部１２０は、このような撮像画像に含まれるユーザＵの顔画像における接触位置に対応する部分を、指示装置３０によるタッチパネル１６の表面及びユーザＵの顔への接触の強さに基づいて加工することにより、メイク画像を生成する。具体的に説明すると、表示制御部１２０は、指示装置３０によるタッチパネル１６の表面及びユーザＵの顔への接触の強さに基づいて、メイクパーツの濃度を変化させる。ここで、メイクパーツの濃度は、メイクパーツが表示部１５に表示された際における色の濃さを意味する。
The
具体的に図１３に、図１２よりも高い濃度のメイクパーツ４２が、ユーザＵの顔が撮像された撮像画像に重ねて表示された例を示す。一般的に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、表示制御部１２０は、指示装置３０がユーザＵの顔に接触した時に情報取得部１５０が指示装置３０から取得した接触情報を参照し、接触情報により示される接触の強さがより大きいほど、メイクパーツの濃度をより高くする。
Specifically, FIG. 13 shows an example in which
更には、接触の強さ等が同じであっても、化粧筆に保持されている化粧品の量が大きいほど、ユーザＵの顔により多くの量の化粧品が塗布される。そのため、表示制御部１２０は、保持データ２１に記憶されている保持量を参照して、保持量がより大きいほど、メイクパーツの濃度をより高くする。
Furthermore, even if the strength of contact, etc. is the same, the greater the amount of makeup held on the makeup brush, the greater the amount of makeup applied to the face of user U. Therefore, the
このように、表示制御部１２０は、指示装置３０に仮想的に保持されている化粧品の保持量と、指示装置３０によるユーザＵの顔への接触の強さと、のそれぞれがより大きくなると、図１３に示すように、図１２に示したメイクパーツ４１よりも濃度が高いメイクパーツ４２が撮像画像に重ねられたメイク画像を表示する。これにより、タッチパネル１６の表面又はユーザＵの顔に対する接触の強さによって実際のメイクとは異なる仕上がりになることを抑制することができる。そのため、メイク後の状態をよりリアルにシミュレーションすることができる。
In this way, when the amount of makeup virtually held in the
以上のように構成されるメイクシミュレーション装置１において実行される処理の流れについて、図１４及び図１５を参照して説明する。
The flow of processing executed in the
まず、図１４に示すフローチャートを参照して、指示装置３０において実行される処理の流れについて説明する。図１４に示す処理は、指示装置３０の電源が投入されており、指示装置３０が正常な処理が実行可能な状態において、随時実行される。
First, the flow of processing executed by the indicating
図１４に示す処理を開始すると、指示装置３０において、制御部３１は、第１に、指示装置３０にアタッチメントが新たに取り付けられたか否かを判定する（ステップＳ１１）。具体的に説明すると、制御部３１は、例えば指示装置３０に取り付けられているアタッチメントが交換された場合のように、アタッチメントの種別が新たに種別識別部３３により識別されたか否かを判定する。
When the process shown in FIG. 14 is started, the
アタッチメントが新たに取り付けられた場合（ステップＳ１１；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、種別識別部３３により識別されたアタッチメントの種別を示す種別情報を画像処理装置１０に送信する（ステップＳ１２）。一方で、アタッチメントが新たに取り付けられていない場合（ステップＳ１１；ＮＯ）、制御部３１は、ステップＳ１２の処理をスキップする。
If a new attachment has been attached (step S11; YES), the
第２に、制御部３１は、接触検知部３４により検知された接触に関する接触情報の送信タイミングが到来したか否か判定する（ステップＳ１３）。接触情報の送信タイミングは、予め定められた一定の時間間隔で繰り返し到来する。
Second, the
接触情報の送信タイミングが到来した場合（ステップＳ１３；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、接触検知部３４により検知された指示装置３０の先端部に対する接触の強さを示す接触情報を画像処理装置１０に送信する（ステップＳ１４）。例えば、ユーザＵが化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させた場合、制御部３１は、その接触の強さを示す接触情報を画像処理装置１０に送信する。或いは、ユーザＵが化粧品を顔に仮想的に塗布するために、指示装置３０の先端部をユーザＵの顔に接触させた場合、制御部３１は、その接触の強さを示す接触情報を画像処理装置１０に送信する。なお、制御部３１は、接触検知部３４により検知された接触の強さの値がゼロであっても、すなわち指示装置３０の先端部に何も接触していない場合であっても、送信タイミングが到来した時点における接触の強さの値を示す接触情報を画像処理装置１０に送信する。一方で、接触情報の送信タイミングが到来していない場合（ステップＳ１３；ＮＯ）、制御部３１は、ステップＳ１４の処理をスキップする。
When the timing for transmitting the contact information arrives (step S13; YES), the
第３に、制御部３１は、加速度検知部３５により検知された加速度を示す加速度情報の送信タイミングが到来したか否かを判定する（ステップＳ１５）。加速度情報の送信タイミングは、予め定められた一定の時間間隔で繰り返し到来する。ここで、加速度情報の送信タイミングは、接触情報の送信タイミングと同じであっても良いし、異なっていても良い。
Thirdly, the
加速度情報の送信タイミングが到来した場合（ステップＳ１５；ＹＥＳ）、制御部３１は、情報送信部３１０として機能し、加速度検知部３５により検知された加速度を示す加速度情報を画像処理装置１０に送信する（ステップＳ１６）。ここで、制御部３１は、加速度検知部３５により検知された加速度の値がゼロであっても、すなわち指示装置３０に加速度が加えられていない場合であっても、送信タイミングが到来した時点における加速度の値を示す加速度情報を画像処理装置１０に送信する。一方で、加速度情報の送信タイミングが到来していない場合（ステップＳ１５；ＮＯ）、制御部３１は、ステップＳ１６の処理をスキップする。
When the timing to transmit the acceleration information has arrived (step S15; YES), the
その後、制御部３１は、処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１６の処理を繰り返す。すなわち、制御部３１は、アタッチメントが新たに取り付けられた場合に種別情報を送信し、接触を検知した場合に接触情報を送信し、加速度を検知した場合に加速度情報を送信する処理を繰り返す。
Then, the
次に、図１５に示すフローチャートを参照して、画像処理装置１０において実行される処理について説明する。図１５に示す処理は、画像処理装置１０の電源が投入されて正常な処理が可能な状態になると、開始する。
Next, the process executed in the
なお、画像処理装置１０において、制御部１１は、図１５に示す処理を実行している間、情報取得部１５０として機能し、指示装置３０から種別情報、接触情報又は加速度情報が送信される毎に、送信された種別情報、接触情報又は加速度情報を取得する。
In addition, in the
図１５に示す処理を開始すると、画像処理装置１０において、制御部１１は、表示制御部１２０として機能し、タッチパネル１６に化粧品画像を表示する（ステップＳ１０１）。具体的に説明すると、制御部１１は、例えば図６に示したように、タッチパネル１６上に区分けされた複数の領域にそれぞれ異なる種類の化粧品を表現する化粧品画像をタッチパネル１６に表示する。
When the process shown in FIG. 15 is started, in the
タッチパネル１６に化粧品画像を表示すると、制御部１１は、画像取得部１１０として機能し、撮像を開始する（ステップＳ１０２）。具体的に説明すると、制御部１１は、撮像部１４による撮像を開始し、表示部１５の正面の空間の様子を表す撮像画像を取得する。例えば図５に示したようにユーザＵが表示部１５の方を向いている場合、制御部１１は、ユーザＵの顔が撮像された撮像画像を取得する。
When the cosmetic image is displayed on the
撮像を開始すると、制御部１１は、表示制御部１２０として機能し、撮像により得られた撮像画像を表示部１５に表示する（ステップＳ１０３）。具体的に説明すると、制御部１１は、例えば図６に示したように、表示部１５に向かい合っているユーザＵの顔画像を含む撮像画像を表示部１５に表示する。
When imaging starts, the
撮像画像を表示すると、制御部１１は、タッチパネル１６の表面に対する接触を検知したか否かを判定する（ステップＳ１０４）。例えば図７に示したように、ユーザＵは、タッチパネル１６に表示された化粧品画像のうちから化粧品を選択するために、指示装置３０の先端部をタッチパネル１６の表面に接触させる。制御部１１は、このような指示装置３０によるタッチパネル１６の表面に対する接触の有無を判定する。
When the captured image is displayed, the
タッチパネル１６の表面に対する接触を検知した場合（ステップＳ１０４；ＹＥＳ）、制御部１１は、操作受付部１４０として機能し、化粧品を選択する（ステップＳ１０５）。具体的に説明すると、制御部１１は、タッチパネル１６に表示されている複数の化粧品のうちから、ステップＳ１０４で検知された接触の位置に表示されている化粧品を、メイクシミュレーションに用いられる化粧品として選択する。
When contact with the surface of the
化粧品を選択すると、制御部１１は、保持量設定部１６０として機能し、指示装置３０に仮想的に保持される化粧品の保持量を算出する（ステップＳ１０６）。具体的に説明すると、ステップＳ１０４で指示装置３０によるタッチパネル１６の表面に対する接触が検知された際、指示装置３０でも、接触検知部３４によりその接触が検知される。制御部１１は、ステップＳ１０４で指示装置３０によるタッチパネル１６の表面に対する接触が検知された時に指示装置３０から送信された接触情報により示される接触の強さに応じて、指示装置３０に仮想的に保持される化粧品の保持量を算出する。
When the cosmetic product is selected, the
保持量を算出すると、制御部１１は、保持データ２１を更新する（ステップＳ１０７）。具体的に説明すると、制御部１１は、保持データ２１に記憶されている化粧品の種類を、ステップＳ１０５で選択された化粧品の種類に更新する。また、制御部１１は、保持データ２１に記憶されている化粧品の保持量を、ステップＳ１０６で算出した保持量に更新する。
After calculating the retained amount, the
これに対して、ステップＳ１０４でタッチパネル１６の表面に対する接触を検知していない場合（ステップＳ１０４；ＮＯ）、制御部１１は、ステップＳ１０５～Ｓ１０７の処理をスキップする。
On the other hand, if no contact with the surface of the
次に、制御部１１は、顔検出部１３０として機能し、撮像画像から顔画像を検出する（ステップＳ１０８）。具体的に説明すると、制御部１１は、周知の顔認識の手法を用いて、撮像部１４により得られた撮像画像のうちから、ユーザＵの目、鼻、眉等の顔部位、及び顔全体の領域を検出する。そして、制御部１１は、撮像画像における顔全体の領域をバーチャルメイク領域として決定する。
Next, the
顔画像を検出すると、制御部１１は、指示装置３０がユーザＵの顔に接触したか否かを判定する（ステップＳ１０９）。具体的に説明すると、制御部１１は、ステップＳ１０８で検出された顔領域の内側に指示装置３０の画像が含まれ、且つ、その際に指示装置３０から送信された接触情報に基づいて接触検知部３４が接触を検知したと判定された場合に、指示装置３０がユーザの顔に接触したと判定する。
When the face image is detected, the
指示装置３０がユーザＵの顔に接触していない場合（ステップＳ１０９；ＮＯ）、制御部１１は、処理をステップＳ１０３に戻す。すなわち、制御部１１は、指示装置３０によるユーザＵの顔に対する接触を検知するまで、ステップＳ１０３～Ｓ１０８の処理を繰り返す。
If the
これに対して、指示装置３０がユーザＵの顔に接触した場合（ステップＳ１０９；ＹＥＳ）、制御部１１は、接触位置特定部１７０として機能し、撮像画像における接触位置を特定する（ステップＳ１１０）。具体的に説明すると、制御部１１は、指示装置３０においてユーザＵの顔への接触が検知されたタイミングでの、撮像画像における指示装置３０の先端部の座標を、接触位置として特定する。
On the other hand, if the
接触位置を特定すると、制御部１１は、メイクパーツの濃度を設定する（ステップＳ１１１）。具体的に説明すると、制御部１１は、保持データ２１に記憶されている保持量と、ステップＳ１０９において指示装置３０から取得した接触情報により示される接触の強さと、のそれぞれがより大きいほど、メイクパーツの濃度をより高く設定する。
Once the contact position is identified, the
メイクパーツの濃度を設定すると、制御部１１は、表示制御部１２０として機能し、メイク画像を表示する（ステップＳ１１２）。具体的に説明すると、制御部１１は、ユーザＵの顔がリアルタイムで撮像された撮像画像におけるステップＳ１１０で特定した接触位置に、ステップＳ１１１で設定した濃度のメイクパーツを重ねることにより、メイク後のユーザＵの顔の状態を表現するメイク画像を生成する。そして、制御部は、生成されたメイク画像を表示部１５に表示する。
When the density of the makeup parts is set, the
メイク画像を表示すると、制御部１１は、保持量設定部１６０として機能し、保持データ２１を更新する（ステップＳ１１３）。具体的に説明すると、制御部１１は、ステップＳ１０９において指示装置３０から取得した接触情報により示される接触の強さに基づいて、保持データ２１に記憶されている化粧品の保持量を減少させる。
When the makeup image is displayed, the
保持データ２１を更新すると、制御部１１は、処理をステップＳ１０３に戻し、ステップＳ１０３からステップＳ１１３の処理を再び実行する。このように、制御部１１は、ユーザＵがメイクシミュレーション装置１を用いてメイクシミュレーションを継続している限り、ステップＳ１０３からステップＳ１１３の処理を繰り返し、ユーザＵのメイク後の状態をシミュレーションする画像を生成して表示する処理を実行する。
After updating the retained
なお、図１５では省略したが、制御部１１は、ステップＳ１０３からステップＳ１１３の処理を実行している間、指示装置３０から加速度情報を取得したか否かを判定する。指示装置３０から加速度情報を取得すると、制御部１１は、取得した加速度情報により示される加速度が閾値よりも大きいか否かを判定する。そして、制御部１１は、取得した加速度情報により示される加速度が閾値よりも大きい場合、加速度がより大きいほど、保持データ２１に記憶されている保持量をより大きく減少させる。
Note that, although omitted in FIG. 15, while executing the processes from step S103 to step S113, the
以上説明したように、実施形態１に係る画像処理装置１０は、ユーザＵの顔が撮像された撮像画像を表示部１５に表示し、指示装置３０がタッチパネル１６の表面に接触することによる操作が受け付けられた後において、指示装置３０がユーザＵの顔に接触した場合、表示部１５に表示された撮像画像における接触位置に対応する部分が加工されたメイク画像を表示する。その際に、画像処理装置１０は、メイク画像として、指示装置３０によるタッチパネル１６の表面への接触の強さと、指示装置３０によるユーザＵの顔への接触の強さと、に応じて濃度が調整されたメイクパーツが重ねられた画像を表示する。これにより、指示装置３０によるタッチパネル１６の表面又はユーザＵの顔への接触の仕方によって、ユーザＵの顔に化粧品がどのように塗布されるかを適切に表現することができる。その結果、化粧筆等を用いて顔に化粧品を塗布するメイクにおいて、メイク後の顔の状態をよりリアルにシミュレーションすることができる。
As described above, the
（実施形態２）
次に、本発明の実施形態２について説明する。実施形態１と同様の構成及び機能は適宜省略する。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. Configurations and functions similar to those of the first embodiment will be omitted as appropriate.
実施形態１では、指示装置３０が接触検知部３４を備えており、画像処理装置１０は、指示装置３０がタッチパネル１６の表面又はユーザＵの顔に接触した場合に、指示装置３０で検知された接触の強さを示す接触情報を取得した。これに対して、実施形態２では、指示装置３０は接触検知部３４を備えておらず、画像処理装置１０ａが、指示装置３０がタッチパネル１６の表面に接触した場合に、その接触の強さを示す接触情報を取得する。
In the first embodiment, the
図１６に、実施形態２に係る画像処理装置１０ａの機能的な構成を示す。実施形態２において、画像処理装置１０ａの制御部１１は、機能的に、画像取得部１１０と、表示制御部１２０と、顔検出部１３０と、操作受付部１４０、情報取得部１５０と、保持量設定部１６０と、接触位置特定部１７０と、を備える。
Figure 16 shows the functional configuration of an
実施形態２では、指示装置３０は、実施形態１とは異なり、種別識別部３３と接触検知部３４と加速度検知部３５とを備えていない。そのため、実施形態２では、指示装置３０は、画像処理装置１０ａとの通信機能を備えるものでなくても良い。このように指示装置３０に検知機能が備えられていない場合には、ユーザＵの顔における仮想的に化粧品を塗布する位置を指示することができるものであれば、実際の化粧筆、ユーザＵの指等を含む任意の物体を、本発明における「指示体」として扱うことができる。
In the second embodiment, unlike the first embodiment, the
実施形態２では、指示装置３０が接触検知部３４を備えていない代わりに、画像処理装置１０ａのタッチパネル１６が圧力センサを備えており、接触の有無及びその位置だけでなく、接触の強さを検知する。実施形態１において指示装置３０に備えられていた接触検知部３４を第１の接触検知部と呼ぶことができるのに対して、実施形態２におけるタッチパネル１６は、本発明における「第２の接触検知部」として機能する。
In the second embodiment, the
情報取得部１５０は、指示装置３０がタッチパネル１６の表面に接触することによる操作が操作受付部１４０により受け付けられた時に、その接触の強さを示す接触情報を、タッチパネル１６から取得する。言い換えると、情報取得部１５０は、指示装置３０がタッチパネル１６の表面に接触した場合に、実施形態１のように指示装置３０からではなく、タッチパネル１６から接触情報を取得する。
When the
保持量設定部１６０は、情報取得部１５０により取得された接触情報により示される接触の強さに応じて、指示装置３０に仮想的に保持される化粧品の保持量を設定し、保持データ２１を更新する。具体的に説明すると、保持量設定部１６０は、情報取得部１５０がタッチパネル１６の表面への接触の強さを示す接触情報を取得した場合、取得された接触情報により示される接触の強さがより大きいほど、保持量をより大きく増加させる。
The retention
接触位置特定部１７０は、指示装置３０がユーザＵの顔に接触した場合、接触位置を特定する。ここで、実施形態２では、指示装置３０が接触検知部３４を備えていないため、接触位置特定部１７０は、接触情報を用いずに、ユーザＵの顔における指示装置３０の先端部が接触した接触位置を特定する。具体的に説明すると、接触位置特定部１７０は、図１１に示したように指示装置３０が撮像された撮像画像に基づいて、指示装置３０の先端部がユーザＵの顔に接触したか否かを判定する。そして、指示装置３０の先端部がユーザＵの顔に接触した場合における指示装置３０の先端部の座標を、接触位置として特定する。
When the
表示制御部１２０は、表示部１５に表示された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が、保持データ２１に記憶されている保持量に基づいて加工されたメイク画像を表示する。具体的に説明すると、表示制御部１２０は、実施形態１における図１２及び図１３と同様に、メイク画像として、保持量がより大きいほどより高い濃度のメイクパーツが重ねられた画像を表示する。
The
以上説明したように、実施形態２では、タッチパネル１６が接触の強さ等を検知する機能を備えており、画像処理装置１０ａは、指示装置３０がタッチパネル１６の表面に接触した場合における接触の強さ等の情報を、指示装置３０からではなく、タッチパネル１６から取得する。これにより、指示装置３０が検知機能を備える必要がないため、実施形態１に比べてより簡略化された構成で、メイク後の顔の状態をシミュレーションすることができる。
As described above, in the second embodiment, the
（実施形態３）
次に、本発明の実施形態３について説明する。実施形態１又は実施形態２と同様の構成及び機能は適宜省略する。
(Embodiment 3)
Next, a third embodiment of the present invention will be described. Configurations and functions similar to those of the first or second embodiment will be omitted as appropriate.
上記実施形態１，２では、表示制御部１２０は、ユーザＵの顔が撮像された撮像画像が、指示装置３０によるタッチパネル１６の表面又はユーザＵの顔への接触の強さに基づいて加工されたメイク画像を表示した。これに対して、実施形態３では、表示制御部１２０は、接触の強さに加えて、接触の時間長と接触の位置の移動距離とに基づいて撮像画像が加工されたメイク画像を表示する。
In the above-mentioned first and second embodiments, the
ここで、接触の時間長は、指示装置３０の先端部が物体に接触を開始してから、その接触が解除されるまでの時間の長さに相当する。
Here, the duration of contact corresponds to the length of time from when the tip of the
具体的に説明すると、第１の接触において、指示装置３０の先端部がタッチパネル１６の表面に接触した際、保持量設定部１６０は、指示装置３０の先端部がタッチパネル１６の表面に接触を開始したタイミングと終了したタイミングとを特定する。そして、保持量設定部１６０は、接触を開始したタイミングから終了したタイミングまでの時間長を、第１の接触の時間長として導出する。このとき、保持量設定部１６０は、接触を開始したタイミングと終了したタイミングとを特定するために、指示装置３０の接触検知部３４による接触の検知結果とタッチパネル１６による接触の検知結果とのどちらを用いても良いし、両方を用いても良い。
To be more specific, when the tip of the
また、第２の接触において、指示装置３０の先端部がユーザＵの顔に接触した際、保持量設定部１６０は、指示装置３０の先端部がユーザＵの顔に接触を開始したタイミングと終了したタイミングとを特定する。そして、保持量設定部１６０は、接触を開始したタイミングから終了したタイミングまでの時間長を、第２の接触の時間長として導出する。このとき、保持量設定部１６０は、接触を開始したタイミングと終了したタイミングとを特定するために、指示装置３０の接触検知部３４による接触の検知結果と指示装置３０が撮像された撮像画像とのどちらを用いても良いし、両方を用いても良い。
Furthermore, in the second contact, when the tip of the
接触の位置の移動距離は、指示装置３０の先端部を物体に接触したまま滑らせるように移動させた場合における、その接触が開始された位置から接触が解除された位置までの距離に相当する。
The distance that the contact position moves corresponds to the distance from the position where contact begins to the position where contact is released when the tip of the
具体的に説明すると、第１の接触において、指示装置３０の先端部がタッチパネル１６の表面に接触した際、保持量設定部１６０は、指示装置３０の先端部がタッチパネル１６の表面に接触を開始したタイミングにおけるタッチパネル１６上の接触位置と接触を終了したタイミングにおけるタッチパネル１６上の接触位置とを特定する。そして、保持量設定部１６０は、接触を開始したタイミングにおける接触位置から接触を終了したタイミングにおける接触位置までの距離を、第１の接触の位置の移動距離として導出する。このとき、保持量設定部１６０は、接触位置を特定するために、タッチパネル１６により検知された接触の位置情報を用いる。
To be more specific, when the tip of the
また、第２の接触において、指示装置３０の先端部がユーザＵの顔に接触した際、保持量設定部１６０は、指示装置３０の先端部がユーザＵの顔に接触を開始したタイミングにおける顔内での接触位置と接触を終了したタイミングにおける顔内での接触位置とを特定する。そして、保持量設定部１６０は、接触を開始したタイミングにおける接触位置から接触を終了したタイミングにおける接触位置までの距離を、第２の接触の位置の移動距離として導出する。このとき、保持量設定部１６０は、接触位置を特定するために、指示装置３０が撮像された撮像画像における指示装置３０の位置情報を用いる。
Furthermore, in the second contact, when the tip of the
保持量設定部１６０は、第１の接触及び第２の接触の際、このように導出された接触の時間長及び接触の位置の移動距離と、接触の強さと、に基づいて、保持データ２１に記憶されている化粧品の保持量を設定する。ここで、第１の接触における接触の強さ、接触の時間長及び接触の位置の移動距離を含めて、「第１の接触に関する第１の値」と呼び、第２の接触における接触の強さ、接触の時間長及び接触の位置の移動距離を含めて、「第２の接触に関する第２の値」と呼ぶ。言い換えると、保持量設定部１６０は、第１の接触の際には、第１の値に基づいて、保持データ２１に記憶されている化粧品の保持量を設定し、第２の接触の際には、第２の値に基づいて、保持データ２１に記憶されている化粧品の保持量を設定する。
The retention
一般的に、ユーザＵがパレットから化粧品を付着させるために化粧筆をパレットに接触させた場合、接触の時間が長いほど、そして接触状態での移動距離が長いほど、化粧筆により多くの量の化粧品が付着される。このような特徴を模擬するため、保持量設定部１６０は、指示装置３０がタッチパネル１６の表面に接触した場合、接触の時間長が長いほど保持量をより大きく増加させ、接触の位置の移動距離が大きいほど保持量をより大きく増加させる。また、実施形態１と同様に、保持量設定部１６０は、接触の強さがより大きいほど保持量をより大きく増加させる。
Generally, when a user U touches a makeup brush to a palette to apply cosmetics from the palette, the longer the contact time and the longer the distance traveled while in contact, the greater the amount of cosmetics that is applied to the makeup brush. To mimic this characteristic, when the
同様に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触が強いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、保持量設定部１６０は、指示装置３０がユーザＵの顔に接触した場合、接触の時間長が長いほど保持量をより大きく減少させ、接触の位置の移動距離が大きいほど保持量をより大きく減少させる。また、実施形態１と同様に、保持量設定部１６０は、接触の強さがより大きいほど保持量をより大きく減少させる。
Similarly, when user U touches a makeup brush to his or her face to apply makeup to the face, the stronger the contact, the greater the amount of makeup applied to user U's face. To mimic such a characteristic, when the
表示制御部１２０は、メイク画像として、画像取得部１１０により取得された撮像画像における、接触位置特定部１７０により特定された接触位置に対応する部分が、第１の接触に関する第１の値（接触の強さ、接触の時間長、及び接触の位置の移動距離）と第２の接触に関する第２の値（接触の強さ、接触の時間長、及び接触の位置の移動距離）とに基づいて加工された画像を表示部１５に表示する。具体的に説明すると、表示制御部１２０は、第１の接触に関する第１の値と第２の接触に関する第２の値とに応じて、撮像画像に重ねられるメイクパーツの濃度を変化させる。
The
一般的に、ユーザＵが顔に化粧品を塗布するために化粧筆を顔に接触させた場合、その接触の時間が長いほど、そして接触状態での移動距離が長いほど、ユーザＵの顔により多くの量の化粧品が塗布される。このような特徴を模擬するため、表示制御部１２０は、指示装置３０がユーザＵの顔に接触した時における接触の時間長がより長いほどメイクパーツの濃度をより高くし、接触の位置の移動距離がより大きいほどメイクパーツの濃度をより高くする。また、実施形態１と同様に、表示制御部１２０は、接触の強さがより大きいほどメイクパーツの濃度をより高くする。
Generally, when user U touches a makeup brush to his or her face to apply makeup to the face, the longer the contact time and the longer the distance traveled in contact, the more makeup will be applied to the user U's face. To mimic this characteristic, the
更には、接触の強さ等が同じであっても、化粧筆に保持されている化粧品の量が大きいほど、ユーザＵの顔により多くの量の化粧品が塗布される。そのため、表示制御部１２０は、保持データ２１に記憶されている保持量を参照して、保持量がより大きいほど、メイクパーツの濃度をより高くする。
Furthermore, even if the strength of contact, etc. is the same, the greater the amount of makeup held on the makeup brush, the greater the amount of makeup applied to the face of user U. Therefore, the
以上説明したように、実施形態３では、表示制御部１２０は、接触の強さに加えて、接触の時間長と接触の位置の移動距離とに基づいて撮像画像が加工されたメイク画像を表示する。これにより、指示装置３０によるタッチパネル１６の表面又はユーザＵの顔への接触の仕方によって、ユーザＵの顔に化粧品がどのように塗布されるかを更に適切に表現することができる。その結果、化粧筆等を用いて顔に化粧品を塗布するメイクにおいて、メイク後の顔の状態をよりリアルにシミュレーションすることができる。
As described above, in the third embodiment, the
（変形例）
以上に本発明の実施形態について説明したが、上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
(Modification)
Although the embodiment of the present invention has been described above, the above embodiment is merely an example, and the scope of application of the present invention is not limited to this. In other words, the embodiment of the present invention can be applied in various ways, and all embodiments are included in the scope of the present invention.
例えば、上記実施形態では、画像処理装置１０，１０ａは、表示部１５とタッチパネル１６とを備えており、表示部１５に撮像画像を表示し、タッチパネル１６に化粧品画像を表示した。しかしながら、本発明において、画像処理装置１０，１０ａは、タッチパネル１６とは独立した表示部１５を備えていなくても良い。言い換えると、本発明に係る画像処理装置１０，１０ａは、表示部として１つのタッチパネル１６のみを備える一般的なスマートフォンやタブレット端末等にも適用することができる。タッチパネル１６とは独立した表示部１５を備えていない場合、画像処理装置１０，１０ａは、１つのタッチパネル１６の表示領域を２つに分割し、そのうちの一方の表示領域に撮像画像を表示し、他方の表示領域に化粧品画像を表示する。この場合、撮像画像が表示される一方の表示領域が本発明における「第１の表示領域」として機能し、化粧品画像が表示される他方の表示領域が本発明における「第２の表示領域」として機能する。また、タッチパネル１６が本発明における「表示部」として機能する。
For example, in the above embodiment, the
上記実施形態では、表示制御部１２０は、複数の化粧品を表現する化粧品画像をタッチパネル１６に表示した。しかしながら、本発明において、表示制御部１２０は、化粧品画像として１種類のみの化粧品を表現する画像を表示しても良い。また、構成をより簡略化するために、例えば指示装置３０から種別識別部３３、加速度検知部３５等を省略することも可能である。
In the above embodiment, the
第１の接触に関する第１の値及び第２の接触に関する第２の値として、上記実施形態１，２では接触の強さが用いられ、上記実施形態３では接触の強さと時間長と移動距離との３つのパラメータが用いられた。しかしながら、本発明において、第１の値及び第２の値として、これら３つのパラメータのうちの一部のみが用いられても良いし、これら３つのパラメータ以外のパラメータが用いられても良い。 In the above-mentioned first and second embodiments, the strength of the contact is used as the first value for the first contact and the second value for the second contact, while in the above-mentioned third embodiment, three parameters, the strength of the contact, the time length, and the movement distance, are used. However, in the present invention, only some of these three parameters may be used as the first value and the second value, or parameters other than these three parameters may be used.
なお、第１の値及び第２の値として接触の強さが用いられない場合、指示装置３０の接触検知部３４又は画像処理装置１０ａのタッチパネル１６は、接触の有無さえ検知できれば良いため、接触の強さを検知する圧力センサを備えていなくても良い。この場合、情報取得部１５０は、接触情報として、接触の強さを示す情報に代えて、接触の有無を示す情報を指示装置３０又はタッチパネル１６から取得する。
When the strength of contact is not used as the first value and the second value, the
上記実施形態では、制御部１１において、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、図４に示した各部として機能した。しかしながら、本発明において、制御部１１は、ＣＰＵの代わりに、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、図４に示した各部として機能しても良い。この場合、各部の機能それぞれを個別のハードウェアで実現しても良いし、各部の機能をまとめて単一のハードウェアで実現しても良い。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現しても良い。
In the above embodiment, the
なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１０，１０ａによる各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る塗布装置として機能させることができる。
In addition to being able to provide an image processing device that is already equipped with the configuration for realizing the functions of the present invention, by applying a program, an existing information processing device or the like can be made to function as an image processing device of the present invention. In other words, by applying a program for realizing each functional configuration of the
また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。 The method of applying such a program is arbitrary. The program can be applied by storing it on a computer-readable storage medium, such as a flexible disk, a CD (Compact Disc)-ROM, a DVD (Digital Versatile Disc)-ROM, or a memory card. Furthermore, the program can be superimposed on a carrier wave and applied via a communication medium such as the Internet. For example, the program can be posted and distributed on a bulletin board system (BBS) on a communication network. The program can then be started and executed under the control of an OS (Operating System) in the same way as other application programs, thereby enabling the above processing to be performed.
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
ユーザの顔が撮像された撮像画像を表示する第１の表示領域と、化粧品を表現する化粧品画像を表示する第２の表示領域とを有する表示部と、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部と、
前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部と、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記第１の値は、前記指示体による前記第２の表示領域の表面への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す値であり、
前記第２の値は、前記指示体による前記ユーザの顔への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す値である、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記指示体は、前記指示体の先端部に対する接触を検知する接触検知部、を備え、
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体が前記第２の表示領域の表面に接触した時に前記接触検知部により検知された前記接触に関する前記第１の値と、前記指示体が前記ユーザの顔に接触した時に前記接触検知部により検知された前記接触に関する前記第２の値と、のうちの少なくとも一方に基づいて加工された画像である、
ことを特徴とする付記１又は２に記載の画像処理装置。
（付記４）
前記画像処理装置は、前記操作受付部が前記操作を受け付けた時に、前記指示体による前記第２の表示領域の表面への接触を検知する第２の接触検知部、を更に備え、
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記第２の接触検知部により検知された前記接触に関する前記第１の値に基づいて加工された画像である、
ことを特徴とする付記１から３のいずれか１つに記載の画像処理装置。
（付記５）
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に、前記化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像である、
ことを特徴とする付記１から４のいずれか１つに記載の画像処理装置。
（付記６）
前記表示制御部は、前記第１の値又は前記第２の値がより大きいほど、前記メイクパーツの濃度をより高くする、
ことを特徴とする付記５に記載の画像処理装置。
（付記７）
前記指示体に仮想的に保持される前記化粧品の保持量を、前記第１の値に応じて設定する保持量設定部、を更に備え、
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記保持量設定部により設定された前記保持量に基づいて加工された画像である、
ことを特徴とする付記５又は６に記載の画像処理装置。
（付記８）
前記保持量設定部は、前記第１の値がより大きいほど、前記保持量をより大きく増加させ、
前記表示制御部は、前記保持量設定部により設定された前記保持量がより大きいほど、前記メイクパーツの濃度をより高くする、
ことを特徴とする付記７に記載の画像処理装置。
（付記９）
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記保持量設定部により設定された前記保持量と、前記第２の値と、に基づいて加工された画像である、
ことを特徴とする付記７又は８に記載の画像処理装置。
（付記１０）
前記表示制御部は、前記第２の値がより大きいほど、前記メイクパーツの濃度をより高くする、
ことを特徴とする付記９に記載の画像処理装置。
（付記１１）
前記保持量設定部は、前記第２の値がより大きいほど、前記保持量をより大きく減少させる、
ことを特徴とする付記７から１０のいずれか１つに記載の画像処理装置。
（付記１２）
前記指示体は、前記指示体に加えられる加速度を検知する加速度検知部、を備え、
前記保持量設定部は、前記加速度検知部により検知された前記加速度に応じて、前記保持量を減少させる、
ことを特徴とする付記７から１１のいずれか１つに記載の画像処理装置。
（付記１３）
前記撮像画像を取得する画像取得部、を更に備え、
前記第１の表示領域は、前記画像取得部により取得された前記撮像画像を表示する、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
（付記１４）
請求項１から１３のいずれか１項に記載の画像処理装置と、前記指示体と、を備えることを特徴とするメイクシミュレーション装置。
（付記１５）
ユーザの顔が撮像された撮像画像を第１の表示領域に表示し、
化粧品を表現する化粧品画像を第２の表示領域に表示し、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付け、
前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定し、
前記撮像画像における、特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する、
ことを特徴とする画像処理方法。
（付記１６）
コンピュータを、
ユーザの顔が撮像された撮像画像を第１の表示領域に表示し、化粧品を表現する化粧品画像を第２の表示領域に表示する表示部、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部、
前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部、
として機能させるためのプログラム。
Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the specific embodiment, and the present invention includes the inventions described in the claims and their equivalents. The inventions described in the original claims of this application are listed below.
(Appendix 1)
a display unit having a first display area for displaying a captured image of a user's face and a second display area for displaying a cosmetic product image representing the cosmetic product;
an operation receiving unit that receives an operation when a pointer comes into contact with a surface of the second display area while the cosmetic image is displayed in the second display area;
a contact position identification unit that identifies a contact position on the user's face that is contacted by the indicator when the indicator comes into contact with the user's face after the operation acceptance unit accepts the operation;
a display control unit that displays, in the first display area, a makeup image in which a portion of the captured image corresponding to the contact position identified by the contact position identification unit is processed based on at least one of a first value related to a contact of the indicator with a surface of the second display area and a second value related to a contact of the indicator with a face of the user; and
An image processing device comprising:
(Appendix 2)
the first value is a value indicating at least one of a strength of a contact made by the indicator on a surface of the second display area, a duration of the contact, and a movement distance of a position of the contact;
The second value is a value indicating at least one of a strength of a contact with the user's face by the indicator, a duration of the contact, and a moving distance of a position of the contact.
2. The image processing device according to
(Appendix 3)
the indicator includes a contact detection unit that detects contact with a tip of the indicator,
the makeup image is an image in which a portion of the captured image displayed in the first display area, which corresponds to the contact position identified by the contact position identifying unit, is processed based on at least one of the first value related to the contact detected by the contact detecting unit when the indicator contacts a surface of the second display area and the second value related to the contact detected by the contact detecting unit when the indicator contacts a face of the user.
3. The image processing device according to
(Appendix 4)
the image processing device further includes a second contact detection unit configured to detect contact of the indicator with a surface of the second display area when the operation reception unit receives the operation,
the makeup image is an image in which a portion of the captured image displayed in the first display area, which corresponds to the contact position identified by the contact position identifying unit, is processed based on the first value related to the contact detected by the second contact detecting unit.
4. The image processing device according to
(Appendix 5)
the makeup image is an image in which makeup parts expressing a state in which the cosmetic product is applied to the face of the user are superimposed on the contact position identified by the contact position identifying unit in the captured image displayed in the first display area;
5. The image processing device according to
(Appendix 6)
The display control unit increases the density of the makeup part as the first value or the second value increases.
6. The image processing device according to claim 5,
(Appendix 7)
a holding amount setting unit that sets a holding amount of the cosmetic virtually held on the indicator in accordance with the first value,
the makeup image is an image in which a portion of the captured image displayed in the first display area, which corresponds to the contact position identified by the contact position identifying unit, is processed based on the retention amount set by the retention amount setting unit.
7. The image processing device according to claim 5 or 6.
(Appendix 8)
the retention amount setting unit increases the retention amount by a larger amount as the first value is larger;
the display control unit increases the density of the makeup part as the retention amount set by the retention amount setting unit increases.
8. The image processing device according to claim 7.
(Appendix 9)
the makeup image is an image in which a portion of the captured image displayed in the first display area, which corresponds to the contact position identified by the contact position identifying unit, is processed based on the retention amount set by the retention amount setting unit and the second value.
9. The image processing device according to claim 7 or 8.
(Appendix 10)
The display control unit increases the density of the makeup part as the second value increases.
10. The image processing device according to claim 9.
(Appendix 11)
The retention amount setting unit reduces the retention amount to a greater extent as the second value is greater.
11. The image processing device according to claim 7,
(Appendix 12)
The indicator includes an acceleration detection unit that detects acceleration applied to the indicator,
The retention amount setting unit reduces the retention amount in response to the acceleration detected by the acceleration detection unit.
12. The image processing device according to claim 7,
(Appendix 13)
An image acquisition unit that acquires the captured image,
the first display area displays the captured image acquired by the image acquisition unit;
13. The image processing device according to
(Appendix 14)
A makeup simulation device comprising: the image processing device according to
(Appendix 15)
Displaying an image of the user's face in a first display area;
Displaying a cosmetic image representing the cosmetic product in a second display area;
receiving an operation by a pointer touching a surface of the second display area while the cosmetic image is being displayed in the second display area;
When the indicator touches a face of the user after the operation is received, a contact position on the face of the user touched by the indicator is identified;
a makeup image in which a portion of the captured image corresponding to the identified contact position is processed based on at least one of a first value related to the contact of the indicator with the surface of the second display area and a second value related to the contact of the indicator with the face of the user is displayed in the first display area;
13. An image processing method comprising:
(Appendix 16)
Computer,
a display unit that displays a captured image of a user's face in a first display area and displays a cosmetic image representing the cosmetic product in a second display area;
an operation receiving unit that receives an operation when a pointer comes into contact with a surface of the second display area while the cosmetic image is being displayed in the second display area;
a contact position specifying unit that specifies a contact position on the user's face where the indicator has come into contact after the operation accepting unit has accepted the operation, when the indicator has come into contact with the user's face;
a display control unit that displays, in the first display area, a makeup image in which a portion of the captured image corresponding to the contact position identified by the contact position identifying unit is processed based on at least one of a first value related to a contact of the indicator with a surface of the second display area and a second value related to a contact of the indicator with a face of the user;
A program to function as a
１…メイクシミュレーション装置、１０，１０ａ…画像処理装置、１１…制御部、１２…記憶部、１３…操作部、１４…撮像部、１５…表示部、１６…タッチパネル、１７…通信部、２１…保持データ、３０…指示装置、３１…制御部、３２…記憶部、３３…種別識別部、３４…接触検知部、３５…加速度検知部、３７…通信部、４１，４２…メイクパーツ、１１０…画像取得部、１２０…表示制御部、１３０…顔検出部、１４０…操作受付部、１５０…情報取得部、１６０…保持量設定部、１７０…接触位置特定部、３１０…情報送信部、Ｕ…ユーザ 1...makeup simulation device, 10, 10a...image processing device, 11...control unit, 12...storage unit, 13...operation unit, 14...imaging unit, 15...display unit, 16...touch panel, 17...communication unit, 21...retained data, 30...instruction device, 31...control unit, 32...storage unit, 33...type identification unit, 34...contact detection unit, 35...acceleration detection unit, 37...communication unit, 41, 42...makeup parts, 110...image acquisition unit, 120...display control unit, 130...face detection unit, 140...operation reception unit, 150...information acquisition unit, 160...retained amount setting unit, 170...contact position identification unit, 310...information transmission unit, U...user
上記目的を達成するため、本発明に係る画像処理装置は、
ユーザの顔が撮像された撮像画像を表示する表示部と、
前記ユーザに対するメイクシミュレーションで用いられる仮想的な化粧品に係る仮想化粧品情報について前記ユーザによる選択を受け付ける受付部と、
前記受付部が前記選択を受け付けた後において、指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部と、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記ユーザの顔への接触の強さと当該接触の時間長と当該接触の位置の移動距離とのうちの少なくとも１つを示すメイク情報と、前記受け付けられた仮想化粧品情報と、に基づいて加工されたメイク画像を前記表示部に表示する表示制御部と、
を備えることを特徴とする。
In order to achieve the above object, the image processing device according to the present invention comprises:
a display unit that displays a captured image of a user's face;
a reception unit that receives a selection by the user of virtual cosmetic information related to virtual cosmetics used in a makeup simulation for the user ;
a contact position identification unit that, when a pointer comes into contact with a face of the user after the reception unit has received the selection , identifies a contact position on the user's face that is contacted by the pointer;
a display control unit that displays, on the display unit, a makeup image that has been processed based on makeup information indicating at least one of a strength of a contact made by the indicator on the user's face , a duration of the contact, and a moving distance of the contact position, in a portion of the captured image that corresponds to the contact position identified by the contact position identifying unit , and the received virtual cosmetic information;
The present invention is characterized by comprising :
Claims (16)
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部と、
前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部と、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部と、
を備えることを特徴とする画像処理装置。 a display unit having a first display area for displaying a captured image of a user's face and a second display area for displaying a cosmetic product image representing the cosmetic product;
an operation receiving unit that receives an operation when a pointer comes into contact with a surface of the second display area while the cosmetic image is displayed in the second display area;
a contact position identification unit that identifies a contact position on the user's face that is contacted by the indicator when the indicator comes into contact with the user's face after the operation acceptance unit accepts the operation;
a display control unit that displays, in the first display area, a makeup image in which a portion of the captured image corresponding to the contact position identified by the contact position identification unit is processed based on at least one of a first value related to a contact of the indicator with a surface of the second display area and a second value related to a contact of the indicator with a face of the user; and
An image processing device comprising:
前記第２の値は、前記指示体による前記ユーザの顔への接触の強さと、当該接触の時間長と、当該接触の位置の移動距離と、のうちの少なくとも１つを示す値である、
ことを特徴とする請求項１に記載の画像処理装置。 the first value is a value indicating at least one of a strength of a contact made by the indicator on a surface of the second display area, a duration of the contact, and a movement distance of a position of the contact;
The second value is a value indicating at least one of a strength of a contact with the user's face by the indicator, a duration of the contact, and a moving distance of a position of the contact.
2. The image processing device according to claim 1,
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体が前記第２の表示領域の表面に接触した時に前記接触検知部により検知された前記接触に関する前記第１の値と、前記指示体が前記ユーザの顔に接触した時に前記接触検知部により検知された前記接触に関する前記第２の値と、のうちの少なくとも一方に基づいて加工された画像である、
ことを特徴とする請求項１又は２に記載の画像処理装置。 the indicator includes a contact detection unit that detects contact with a tip of the indicator,
the makeup image is an image in which a portion of the captured image displayed in the first display area, which corresponds to the contact position identified by the contact position identifying unit, is processed based on at least one of the first value related to the contact detected by the contact detecting unit when the indicator contacts a surface of the second display area and the second value related to the contact detected by the contact detecting unit when the indicator contacts a face of the user.
3. The image processing device according to claim 1, wherein the first and second inputs are input to the image processing device.
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記第２の接触検知部により検知された前記接触に関する前記第１の値に基づいて加工された画像である、
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 the image processing device further includes a second contact detection unit configured to detect contact of the indicator with a surface of the second display area when the operation reception unit receives the operation,
the makeup image is an image in which a portion of the captured image displayed in the first display area, which corresponds to the contact position identified by the contact position identifying unit, is processed based on the first value related to the contact detected by the second contact detecting unit.
4. The image processing device according to claim 1, wherein the image processing device is a digital camera.
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。 the makeup image is an image in which makeup parts expressing a state in which the cosmetic product is applied to the face of the user are superimposed on the contact position identified by the contact position identifying unit in the captured image displayed in the first display area;
5. The image processing device according to claim 1, wherein the image processing device is a computer.
ことを特徴とする請求項５に記載の画像処理装置。 The display control unit increases the density of the makeup part as the first value or the second value increases.
6. The image processing device according to claim 5,
前記メイク画像は、前記第１の表示領域に表示された前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記保持量設定部により設定された前記保持量に基づいて加工された画像である、
ことを特徴とする請求項５又は６に記載の画像処理装置。 a holding amount setting unit that sets a holding amount of the cosmetic virtually held on the indicator in accordance with the first value,
the makeup image is an image in which a portion of the captured image displayed in the first display area, which corresponds to the contact position identified by the contact position identifying unit, is processed based on the retention amount set by the retention amount setting unit.
7. The image processing device according to claim 5, wherein the image processing device is a digital camera.
前記表示制御部は、前記保持量設定部により設定された前記保持量がより大きいほど、前記メイクパーツの濃度をより高くする、
ことを特徴とする請求項７に記載の画像処理装置。 the retention amount setting unit increases the retention amount by a larger amount as the first value is larger;
the display control unit increases the density of the makeup part as the retention amount set by the retention amount setting unit increases.
8. The image processing device according to claim 7,
ことを特徴とする請求項７又は８に記載の画像処理装置。 the makeup image is an image in which a portion of the captured image displayed in the first display area, which corresponds to the contact position identified by the contact position identifying unit, is processed based on the retention amount set by the retention amount setting unit and the second value.
9. The image processing device according to claim 7, wherein the first and second inputs are input to the image processing apparatus.
ことを特徴とする請求項９に記載の画像処理装置。 The display control unit increases the density of the makeup part as the second value increases.
10. The image processing device according to claim 9,
ことを特徴とする請求項７から１０のいずれか１項に記載の画像処理装置。 The retention amount setting unit reduces the retention amount to a greater extent as the second value is greater.
11. The image processing device according to claim 7,
前記保持量設定部は、前記加速度検知部により検知された前記加速度に応じて、前記保持量を減少させる、
ことを特徴とする請求項７から１１のいずれか１項に記載の画像処理装置。 The indicator includes an acceleration detection unit that detects acceleration applied to the indicator,
The retention amount setting unit reduces the retention amount in response to the acceleration detected by the acceleration detection unit.
12. The image processing device according to claim 7, wherein the image processing device is a computer.
前記第１の表示領域は、前記画像取得部により取得された前記撮像画像を表示する、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。 An image acquisition unit that acquires the captured image,
the first display area displays the captured image acquired by the image acquisition unit;
13. The image processing device according to claim 1,
化粧品を表現する化粧品画像を第２の表示領域に表示し、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付け、
前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定し、
前記撮像画像における、特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する、
ことを特徴とする画像処理方法。 Displaying an image of the user's face in a first display area;
Displaying a cosmetic image representing the cosmetic product in a second display area;
receiving an operation by a pointer touching a surface of the second display area while the cosmetic image is being displayed in the second display area;
When the indicator touches a face of the user after the operation is received, a contact position on the face of the user touched by the indicator is identified;
a makeup image in which a portion of the captured image corresponding to the identified contact position is processed based on at least one of a first value related to the contact of the indicator with the surface of the second display area and a second value related to the contact of the indicator with the face of the user is displayed in the first display area;
13. An image processing method comprising:
ユーザの顔が撮像された撮像画像を第１の表示領域に表示し、化粧品を表現する化粧品画像を第２の表示領域に表示する表示部、
前記第２の表示領域に前記化粧品画像が表示されている時に、指示体が前記第２の表示領域の表面に接触することによる操作を受け付ける操作受付部、
前記操作受付部が前記操作を受け付けた後において、前記指示体が前記ユーザの顔に接触した場合、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定部、
前記撮像画像における、前記接触位置特定部により特定された前記接触位置に対応する部分が、前記指示体による前記第２の表示領域の表面への接触に関する第１の値と、前記指示体による前記ユーザの顔への接触に関する第２の値と、のうちの少なくとも一方に基づいて加工されたメイク画像を前記第１の表示領域に表示する表示制御部、
として機能させるためのプログラム。 Computer,
a display unit that displays a captured image of a user's face in a first display area and displays a cosmetic image representing the cosmetic product in a second display area;
an operation receiving unit that receives an operation when a pointer comes into contact with a surface of the second display area while the cosmetic image is being displayed in the second display area;
a contact position specifying unit that specifies a contact position on the user's face where the indicator has come into contact after the operation accepting unit has accepted the operation, when the indicator has come into contact with the user's face;
a display control unit that displays, in the first display area, a makeup image in which a portion of the captured image corresponding to the contact position identified by the contact position identifying unit is processed based on at least one of a first value related to a contact of the indicator with a surface of the second display area and a second value related to a contact of the indicator with a face of the user;
A program to function as a
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024066340A JP2024097787A (en) | 2019-09-24 | 2024-04-16 | Image processing device, makeup simulation device, image processing method and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019173555A JP7476505B2 (en) | 2019-09-24 | 2019-09-24 | IMAGE PROCESSING DEVICE, MAKEUP SIMULATION DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM |
| JP2024066340A JP2024097787A (en) | 2019-09-24 | 2024-04-16 | Image processing device, makeup simulation device, image processing method and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019173555A Division JP7476505B2 (en) | 2019-09-24 | 2019-09-24 | IMAGE PROCESSING DEVICE, MAKEUP SIMULATION DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024097787A true JP2024097787A (en) | 2024-07-19 |
Family
ID=75157946
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019173555A Active JP7476505B2 (en) | 2019-09-24 | 2019-09-24 | IMAGE PROCESSING DEVICE, MAKEUP SIMULATION DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM |
| JP2024066340A Pending JP2024097787A (en) | 2019-09-24 | 2024-04-16 | Image processing device, makeup simulation device, image processing method and program |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019173555A Active JP7476505B2 (en) | 2019-09-24 | 2019-09-24 | IMAGE PROCESSING DEVICE, MAKEUP SIMULATION DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7476505B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023038136A1 (en) * | 2021-09-13 | 2023-03-16 | ヤーマン株式会社 | Information processing device, program, and information processing method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005044283A (en) * | 2003-07-25 | 2005-02-17 | Seiko Epson Corp | Cosmetics guidance system, server apparatus, terminal device and program |
| WO2015029371A1 (en) * | 2013-08-30 | 2015-03-05 | パナソニックＩｐマネジメント株式会社 | Makeup assistance device, makeup assistance method, and makeup assistance program |
| WO2018047287A1 (en) * | 2016-09-09 | 2018-03-15 | 株式会社オプティム | Image processing system, image processing device, image processing method, and program |
-
2019
- 2019-09-24 JP JP2019173555A patent/JP7476505B2/en active Active
-
2024
- 2024-04-16 JP JP2024066340A patent/JP2024097787A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP7476505B2 (en) | 2024-05-01 |
| JP2021051518A (en) | 2021-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101791366B1 (en) | Enhanced virtual touchpad and touchscreen | |
| US8553049B2 (en) | Information-processing apparatus and information-processing method | |
| CN110456907A (en) | Control method, device, terminal device and the storage medium of virtual screen | |
| US20140022171A1 (en) | System and method for controlling an external system using a remote device with a depth sensor | |
| CN108292448A (en) | Information processing apparatus, information processing method, and program | |
| CN111344663B (en) | Rendering device and rendering method | |
| JP6589038B1 (en) | Wearable terminal, information processing terminal, program, and product information display method | |
| JP2004078977A (en) | Interface device | |
| JP2024097787A (en) | Image processing device, makeup simulation device, image processing method and program | |
| JP6716028B2 (en) | Control device, information processing system, control method, and program | |
| KR101719927B1 (en) | Real-time make up mirror simulation apparatus using leap motion | |
| JP7547875B2 (en) | Information processing device and program | |
| KR102572675B1 (en) | Method and electronic device for adaptively configuring user interface | |
| US11500453B2 (en) | Information processing apparatus | |
| JP2023164494A (en) | Image processing device, image processing method, and program | |
| US11409369B2 (en) | Wearable user interface control system, information processing system using same, and control program | |
| JP7351165B2 (en) | Image processing device, makeup simulation device, image processing method and program | |
| JP6761407B2 (en) | Physical information analyzer and facial shape diagnosis method | |
| CN117784926A (en) | Control device, control method, and computer-readable storage medium | |
| CN113703577A (en) | Drawing method and device, computer equipment and storage medium | |
| JP2019046472A (en) | Image processing device and image processing method | |
| KR20210108080A (en) | Electronic device and method for providing visual effect using the same | |
| JP7413691B2 (en) | Image processing device, image processing method and program | |
| JP7397282B2 (en) | Stationary determination system and computer program | |
| US11360632B2 (en) | Information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240515 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240515 |