JP2013182062A

JP2013182062A - Display device and projection device

Info

Publication number: JP2013182062A
Application number: JP2012044329A
Authority: JP
Inventors: Hidenori Kuribayashi; 英範栗林; Masaki Otsuki; 正樹大槻; Teruyoshi Chin; 照祥陳; Akinobu Suga; 彰信菅; Aiko Namikawa; 愛子並河; Takayuki Komuro; 貴幸小室
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-02-29
Filing date: 2012-02-29
Publication date: 2013-09-12

Abstract

PROBLEM TO BE SOLVED: To notify information that is suitable for a state of a subject.SOLUTION: A display device 1 includes state detection means for detecting a state of a subject 3 and display means 20 for displaying information according to the state of the subject 3 detected by the state detection means to be seen superposed on the subject 3. In this case, the state detection means detects the change situation of the state of the subject according to the passage of time and the display means changes the displayed information according to the change situation of the state of the subject detected by the state detection means.

Description

本発明は、表示装置および投影装置に関する。 The present invention relates to a display device and a projection device.

鏡に正対する利用者の顔を投影面として各種情報を投影することで、鏡に映った利用者の像に各種情報を重畳表示する情報表示装置が知られている（特許文献１参照）。 There has been known an information display device that displays various types of information on a user's image reflected on the mirror by projecting various types of information using the face of the user facing the mirror as a projection plane (see Patent Document 1).

特開２０１１−７７７４７号公報JP 2011-77747 A

上記従来技術は、鏡の利用者に対して、たとえばニュースや天気予報などといった一律の情報を報知するものであり、利用者の状態に適した情報を報知することは考慮されていなかった。 The above prior art is for notifying the mirror user of uniform information such as news and weather forecast, for example, and not considering information suitable for the user's condition.

本発明による表示装置は、対象物の状態を検出する状態検出手段と、状態検出手段により検出された対象物の状態に応じた情報を、対象物に重畳されて見えるように表示させる表示手段と、備えることを特徴とする。 A display device according to the present invention includes a state detection unit that detects a state of an object, and a display unit that displays information according to the state of the object detected by the state detection unit so that the information is seen superimposed on the object. , Provided.

本発明によれば、対象物の状態に適した情報を報知できる。 According to the present invention, information suitable for the state of an object can be notified.

本発明の一実施の形態による表示装置の構成を説明する図である。It is a figure explaining the structure of the display apparatus by one embodiment of this invention. 表示装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of a display apparatus. 化粧報知処理を説明する図である。It is a figure explaining a makeup | decoration alerting | reporting process. 剃り残し報知処理を説明する図である。It is a figure explaining unshaving notification processing. 変形例６による表示装置の構成を説明する図である。It is a figure explaining the structure of the display apparatus by the modification 6. FIG. 変形例９による表示装置の構成を説明する図である。It is a figure explaining the structure of the display apparatus by the modification 9. 変形例９で用いる鏡の分光透過率を示す図である。It is a figure which shows the spectral transmittance of the mirror used in the modification 9. 変形例１０による表示装置の構成を説明する図である。It is a figure explaining the structure of the display apparatus by the modification 10. FIG. 変形例１１による表示装置の構成を説明する図である。It is a figure explaining the structure of the display apparatus by the modification 11. FIG. 変形例１６によるプロジェクタ付きカメラの構成を説明する図である。It is a figure explaining the structure of the camera with a projector by the modification 16. 変形例１６による投影処理を説明する図である。It is a figure explaining the projection process by the modification 16.

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による表示装置１の構成を説明する図である。表示装置１は、鏡２の上部周辺に設置されるカメラ部１０およびプロジェクタ部２０を有する。表示装置１は、鏡２と向き合う利用者３をカメラ部１０により撮影して、撮影した画像から利用者３の顔の位置を検出する。そして表示装置１は、検出した顔を投影面としてプロジェクタ部２０により各種情報を投影する。これにより、利用者３は、鏡２に映った自画像とともに、プロジェクタ部２０により投影された情報を視認することができる。なお、カメラ部１０およびプロジェクタ部２０は、利用者３が鏡２に自分の顔が映る位置に自然に立ったときに、顔全体を撮影および投影できる位置に配置されている。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram for explaining the configuration of a display device 1 according to an embodiment of the present invention. The display device 1 includes a camera unit 10 and a projector unit 20 that are installed around the upper part of the mirror 2. The display device 1 captures the user 3 facing the mirror 2 with the camera unit 10 and detects the position of the face of the user 3 from the captured image. The display device 1 projects various information by the projector unit 20 using the detected face as a projection plane. Thereby, the user 3 can visually recognize the information projected by the projector unit 20 together with the self-image reflected in the mirror 2. It should be noted that the camera unit 10 and the projector unit 20 are arranged at positions where the entire face can be photographed and projected when the user 3 stands naturally at a position where his / her face is reflected in the mirror 2.

図２は、表示装置１の要部構成を示すブロック図である。表示装置１は、カメラ部１０と、プロジェクタ部２０と、制御装置３０と、記憶装置４０と、操作部材５０と、外部インターフェイス（Ｉ／Ｆ）６０とを備える。 FIG. 2 is a block diagram illustrating a main configuration of the display device 1. The display device 1 includes a camera unit 10, a projector unit 20, a control device 30, a storage device 40, an operation member 50, and an external interface (I / F) 60.

制御装置３０は、マイクロプロセッサ及びその周辺回路からなる。制御装置３０は、制御プログラムに基づいて、カメラ部１０による撮影動作やプロジェクタ部２０による投影動作を制御する。記憶装置４０は、制御装置３０で実行される制御プログラムやプロジェクタ部２０により投影する各種情報を格納する。操作部材５０は、ボタンやスイッチなどで構成され、操作されたボタンやスイッチに対応する操作信号を制御装置３０へ送出する。制御装置３０は、外部インターフェイス６０を介して、外部機器から供給される各種情報を取得する。 The control device 30 includes a microprocessor and its peripheral circuits. The control device 30 controls the photographing operation by the camera unit 10 and the projection operation by the projector unit 20 based on the control program. The storage device 40 stores a control program executed by the control device 30 and various types of information projected by the projector unit 20. The operation member 50 is configured by buttons, switches, and the like, and sends operation signals corresponding to the operated buttons and switches to the control device 30. The control device 30 acquires various information supplied from the external device via the external interface 60.

カメラ部１０は、撮像光学系１０１、撮像素子１０２および撮像制御回路１０３を有し、制御装置３０からの指示に応じて撮像を行う。撮像光学系１０１は、撮像素子１０２の撮像面上に被写体像を結像させる。撮像素子１０２としては、ＣＣＤやＣＭＯＳなどが用いられる。撮像制御回路１０３は、制御装置３０からの指示により撮像素子１０２を駆動制御するとともに、撮像素子１０２から出力される画像信号に対して所定の信号処理を行う。 The camera unit 10 includes an imaging optical system 101, an imaging element 102, and an imaging control circuit 103, and performs imaging in response to an instruction from the control device 30. The imaging optical system 101 forms a subject image on the imaging surface of the image sensor 102. As the image sensor 102, a CCD, a CMOS, or the like is used. The imaging control circuit 103 drives and controls the imaging device 102 according to an instruction from the control device 30 and performs predetermined signal processing on the image signal output from the imaging device 102.

プロジェクタ部２０は、投影光学系２０１、液晶パネル２０２、ＬＥＤ光源２０３、および投影制御回路２０４を含む。ＬＥＤ光源２０３は、供給電流に応じた明るさで液晶パネル２０２を照明する。液晶パネル２０２は、投影制御回路２０４からの駆動信号に応じて光像を生成する。投影光学系２０１は、液晶パネル２０２から射出される光像を外部の投影面に投影する。投影制御回路２０４は、制御装置３０から指示された情報を投影するための制御信号を、ＬＥＤ光源２０３および液晶パネル２０２へ送出する。 The projector unit 20 includes a projection optical system 201, a liquid crystal panel 202, an LED light source 203, and a projection control circuit 204. The LED light source 203 illuminates the liquid crystal panel 202 with brightness according to the supply current. The liquid crystal panel 202 generates a light image according to the drive signal from the projection control circuit 204. The projection optical system 201 projects a light image emitted from the liquid crystal panel 202 onto an external projection surface. The projection control circuit 204 sends a control signal for projecting information instructed from the control device 30 to the LED light source 203 and the liquid crystal panel 202.

本実施形態の表示装置１は、カメラ部１０で撮影した利用者３の顔画像から利用者３の顔の状態を検出し、顔の状態に応じた情報を投影する投影処理に特徴を有するので、以下、この投影処理について説明する。本実施形態では、投影処理として、顔色に合った化粧を報知する化粧報知処理と、髭の剃り残しを報知する剃り残し報知処理とが設けられている。 The display device 1 of the present embodiment is characterized by a projection process that detects the face state of the user 3 from the face image of the user 3 photographed by the camera unit 10 and projects information according to the face state. Hereinafter, this projection processing will be described. In the present embodiment, as the projection process, a makeup notification process for notifying the makeup suitable for the face color and a shave remaining notification process for notifying the shave residue of the heel are provided.

−化粧報知処理−
図３を用いて化粧報知処理について説明する。図３（ａ）は、カメラ部１０により利用者３を撮影した画像を示す。図３（ｂ）は、プロジェクタ部２０により投影する画像を示す。なお、図３（ｂ）中、破線の箇所は実際には投影されない。図３（ｃ）は、鏡２に映る像を示す。 -Makeup notification processing-
The makeup notification process will be described with reference to FIG. FIG. 3A shows an image obtained by photographing the user 3 by the camera unit 10. FIG. 3B shows an image projected by the projector unit 20. In FIG. 3B, the broken line is not actually projected. FIG. 3C shows an image reflected on the mirror 2.

制御装置３０は、たとえば操作部材５０からの操作信号により化粧報知処理の実行が指示されると、カメラ部１０を制御して所定時間間隔ごとに撮像を行わせ、撮像画像（図３（ａ））に対して顔検出処理を行う。制御装置３０は、顔検出処理によって利用者３の顔が検出されると、検出した顔の目や鼻、口の位置、顔の輪郭、顔の肌色（顔色）などの顔情報を検出する。 When the execution of the makeup notification process is instructed by, for example, an operation signal from the operation member 50, the control device 30 controls the camera unit 10 to perform imaging at predetermined time intervals, and the captured image (FIG. 3A). ) For face detection. When the face of the user 3 is detected by the face detection process, the control device 30 detects face information such as the detected face eyes, nose, mouth position, face outline, and face skin color (face color).

顔色は、例えば赤みが強い肌色や青みが強い肌色など、人によっても異なるし、同一人物であっても体調によって異なることがある。また、顔に似合うチーク（頬紅）の色は顔色によって異なることが知られている。そこで本実施形態では、種々の顔色と各顔色に適したチークの色とを対応付けるデータベースが記憶装置４０に格納されている。制御装置３０は、このデータベースを参照して、上記検出した利用者３の顔色に適したチークの色を特定する。 The face color varies depending on the person, for example, a skin color with a strong redness or a skin color with a strong bluishness. Further, it is known that the color of teak (blusher) that matches the face differs depending on the face color. Therefore, in the present embodiment, a database that associates various face colors with cheek colors suitable for each face color is stored in the storage device 40. The control device 30 refers to this database and specifies a cheek color suitable for the detected face color of the user 3.

そして制御装置３０は、図３（ｂ）に示すように、上記特定した色のチークの画像Ｐｃを投影するための投影画像を生成する。このとき制御装置３０は、利用者３の顔においてチークを入れるのに適した位置にチークの画像Ｐｃが投影されるように、検出した顔情報に基づいてチークの画像Ｐｃを位置決めする。 Then, as shown in FIG. 3B, the control device 30 generates a projection image for projecting the cheek image Pc of the specified color. At this time, the control device 30 positions the cheek image Pc based on the detected face information so that the cheek image Pc is projected at a position suitable for cheeking on the face of the user 3.

プロジェクタ部２０は、制御装置３０の制御のもと、利用者３の顔を投影面として上記生成された投影画像を投影する。この結果、図３（ｃ）に示すように、鏡２には、利用者３の顔にチークの画像Ｐｃが重畳されて映る。すなわち鏡２には、利用者３の顔があたかも化粧されたように映る。これにより、利用者３は化粧をする前に、自分の顔色に合った化粧が施された顔を鏡２で確認することができる。利用者３は、鏡２で確認した化粧が気に入れば、投影されている通りに化粧をしていけばよい。 The projector unit 20 projects the generated projection image using the face of the user 3 as a projection plane under the control of the control device 30. As a result, as shown in FIG. 3C, the mirror 2 shows the cheek image Pc superimposed on the face of the user 3. That is, the mirror 2 appears as if the face of the user 3 was made up. Thereby, the user 3 can confirm the face to which the makeup suitable for his face was given with the mirror 2 before applying makeup. If the user 3 likes the makeup confirmed by the mirror 2, he / she should just apply the makeup as projected.

そして、制御装置３０は、チークの画像Ｐｃを投影した後も所定時間間隔ごとにカメラ部１０による撮像を行わせ、撮像画像に基づいて化粧の進行状況を判断する。制御装置３０は、投影したチークの画像Ｐｃの通りに化粧が進行していると判断すると、その進行状況に応じて投影するチークの画像Ｐｃを徐々に薄くしていく。すなわち、カメラ部１０による撮影画像において利用者３の顔のチークが濃くなった分、投影するチークの画像Ｐｃを薄くしていく。そして制御装置３０は、投影したチークの画像Ｐｃの通りに化粧が完了した箇所には、何も投影させないようにする。これにより、利用者３は、投影されるチークの画像Ｐｃの変化に基づいて、自分があとどのくらいチークを入れればよいかを確認することができる。 The control device 30 causes the camera unit 10 to capture images at predetermined time intervals even after projecting the cheek image Pc, and determines the progress of makeup based on the captured images. When the control device 30 determines that the makeup is progressing according to the projected cheek image Pc, the control device 30 gradually thins the cheek image Pc to be projected according to the progress. That is, the cheek image Pc to be projected is made thinner by the amount of cheeks on the face of the user 3 in the image taken by the camera unit 10. And the control apparatus 30 is made not to project anything on the location where makeup was completed as the projected cheek image Pc. As a result, the user 3 can confirm how much cheek he / she should add based on the change in the projected cheek image Pc.

またカメラ部１０は、赤外光にも感度が高く、可視画像に加えて赤外画像の撮影も可能に構成されていてもよい。この場合の制御装置３０は、上述したように顔色を検出して顔色に合ったチークを特定する処理に加え、カメラ部１０により撮影された赤外画像に基づいて利用者３の顔表面の温度を検出し、この検出結果に基づいて利用者３の健康状態（たとえば体温）を判断する処理を行う。そして制御装置３０は、上述したチークの画像Ｐｃに加え、健康状態の判断結果を示す情報（たとえば、「微熱があります」といったテキスト情報）を利用者３の顔に投影させる。また、熱がある場合には、顔色に赤みが増したり、通常よりも目尻が下がって見えたりすることが知られている。そこで制御装置３０は、利用者３に熱があると判断した場合には、プロジェクタ部２０により、顔色の赤みを目立たなくする化粧の画像を投影させたり、目尻を強調して見せる化粧の画像を投影させたりするようにしてもよい。 In addition, the camera unit 10 may be configured to be sensitive to infrared light and to capture an infrared image in addition to a visible image. In this case, the control device 30 detects the face color and identifies the cheek that matches the face color as described above, and in addition, the temperature of the face surface of the user 3 based on the infrared image captured by the camera unit 10. And a process of determining the health condition (for example, body temperature) of the user 3 based on the detection result. Then, in addition to the above-described cheek image Pc, the control device 30 projects information indicating the determination result of the health condition (for example, text information such as “there is a slight fever”) on the face of the user 3. In addition, it is known that when there is heat, the complexion looks reddish and the corners of the eyes appear lower than usual. Therefore, when the control device 30 determines that the user 3 has heat, the projector unit 20 causes the projector unit 20 to project a makeup image that makes the redness of the facial color inconspicuous, or to display a makeup image that highlights the corners of the eyes. You may make it project.

−剃り残し報知処理−
図４を用いて剃り残し報知処理について説明する。図４（ａ）は、カメラ部１０により利用者３を撮影した画像を示す。図４（ｂ）は、プロジェクタ部２０により投影する画像を示す。なお、図４（ｂ）中、破線の箇所は実際には投影されない。図４（ｃ）は、鏡２に映る像を示す。 -Unshaved notification process-
The remaining shaving notification process will be described with reference to FIG. FIG. 4A shows an image obtained by photographing the user 3 by the camera unit 10. FIG. 4B shows an image projected by the projector unit 20. In FIG. 4B, the broken line is not actually projected. FIG. 4C shows an image reflected on the mirror 2.

制御装置３０は、たとえば操作部材５０からの操作信号により剃り残し報知処理の実行が指示されると、カメラ部１０を制御して所定時間間隔ごとに撮像を行わせ、撮像画像（図４（ａ））に対して顔検出処理を行う。制御装置３０は、顔検出処理によって利用者３の顔が検出されると、検出した顔の目や鼻、口の位置、顔の輪郭、顔の肌色（顔色）などの顔情報を検出する。また制御装置３０は、検出した顔画像に対して公知の超解像処理を行って高解像度の顔画像を生成し、この高解像度の顔画像から髭Ｈｇを検出する。具体的には、例えば、鼻の位置よりも下で且つ口の周囲に存在する顔色と異なる色の部分を髭Ｈｇとして検出する。 For example, when an operation signal from the operation member 50 instructs the control device 30 to execute the unshaved notification process, the control device 30 controls the camera unit 10 to perform image capturing at predetermined time intervals, and the captured image (FIG. )) Face detection processing is performed. When the face of the user 3 is detected by the face detection process, the control device 30 detects face information such as the detected face eyes, nose, mouth position, face outline, and face skin color (face color). In addition, the control device 30 performs a known super-resolution process on the detected face image to generate a high-resolution face image, and detects 髭 Hg from the high-resolution face image. Specifically, for example, a portion having a color different from the face color existing below the nose position and around the mouth is detected as 髭 Hg.

そして制御装置３０は、図４（ｂ）に示すように、上記検出した髭の位置を強調表示する矢印画像Ｐｙおよびテキスト画像（『Ｃｈｅｃｋ！』）Ｐｔを投影するための投影画像を生成する。なお実際には、テキスト画像Ｐｔを、利用者３が鏡２越しに見たときに文字が読めるように左右反転した状態の画像として生成する。 Then, as shown in FIG. 4B, the control device 30 generates a projection image for projecting the arrow image Py and the text image (“Check!”) Pt for highlighting the detected position of the eyelid. In practice, the text image Pt is generated as an image that is horizontally reversed so that characters can be read when the user 3 looks through the mirror 2.

プロジェクタ部２０は、制御装置３０の制御のもと、利用者３の顔を投影面として上記生成された投影画像を投影する。この結果、図４（ｃ）に示すように、鏡２には、利用者３の顔に矢印画像Ｐｙおよびテキスト画像Ｐｔが重畳されて映る。これにより、利用者３は髭剃りをした後、髭の剃り残しを鏡２で確認することができ、鏡２を見ながら髭の剃り残しを剃ることができる。 The projector unit 20 projects the generated projection image using the face of the user 3 as a projection plane under the control of the control device 30. As a result, as shown in FIG. 4 (c), the mirror 2 shows the arrow image Py and the text image Pt superimposed on the face of the user 3. As a result, the user 3 can shave the shave after the shave with the mirror 2, and can shave the unshave shave while looking at the mirror 2.

そして、制御装置３０は、矢印画像Ｐｙおよびテキスト画像Ｐｔを投影した後も所定時間間隔ごとにカメラ部１０による撮像を行わせ、撮像画像から髭を検出し続け、髭剃りの進行状況に応じて投影する画像を変化させる。具体的には、髭が剃られたことで髭が検出されなくなった箇所については、矢印画像Ｐｙおよびテキスト画像Ｐｔの投影を終了させる。これにより、利用者３は、投影される矢印画像Ｐｙおよびテキスト画像Ｐｔの変化に基づいて、自分があとどのくらい髭剃りを行なえばよいかを確認することができる。 The control device 30 causes the camera unit 10 to capture images at predetermined time intervals even after projecting the arrow image Py and the text image Pt, continues to detect wrinkles from the captured images, and according to the progress of shaving. Change the projected image. Specifically, the projection of the arrow image Py and the text image Pt is terminated for a portion where the eyelid is no longer detected due to the shaving being shaved. Thereby, the user 3 can confirm how much he should shave further based on the change of the projected arrow image Py and the text image Pt.

また、制御装置３０は、検出した髭が顔の輪郭（縁）の近傍にあると判断した場合には、矢印画像Ｐｙおよびテキスト画像Ｐｔに加え、利用者３に顔の向きを変えることを促すメッセージをプロジェクタ部２０により投影させるようにしてもよい。たとえば、髭の位置が下側の輪郭近傍の場合には上を向くように促し、髭の位置が右側の輪郭近傍の場合には左を向くように促す。このメッセージに従って利用者３が鏡２に対する顔の向きを変えることで、利用者３は鏡２で髭の剃り残しをより確認しやすくなる。このとき制御装置３０は、利用者３が鏡２に対する向きを変えて髭の位置が変わるのに応じて、矢印画像Ｐｙおよびテキスト画像Ｐｔの投影位置を追従させるようにする。 If the control device 30 determines that the detected eyelid is in the vicinity of the outline (edge) of the face, the control device 30 prompts the user 3 to change the face orientation in addition to the arrow image Py and the text image Pt. The message may be projected by the projector unit 20. For example, when the position of the heel is near the lower contour, the user is prompted to face upward, and when the position of the heel is near the right contour, the user is prompted to face left. By changing the direction of the face of the user 3 with respect to the mirror 2 in accordance with this message, the user 3 can more easily check the remaining shaving of the heel with the mirror 2. At this time, the control device 30 causes the projection positions of the arrow image Py and the text image Pt to follow as the user 3 changes the direction with respect to the mirror 2 and the position of the eyelid changes.

なお、髭の強調表示方法については、図４に示した矢印画像Ｐｙおよびテキスト画像Ｐｔに限らなくてよく、たとえば検出した髭を太く見せるような画像を投影するようにしてもよい。また、上述した化粧報知処理と同様にして利用者３の顔色を検出し、検出した顔色の反対色を矢印画像Ｐｙおよびテキスト画像Ｐｔの色とするようにしてもよい。これにより、矢印画像Ｐｙおよびテキスト画像Ｐｔをより見やすくすることができる。 Note that the method for highlighting the wrinkles is not limited to the arrow image Py and the text image Pt shown in FIG. 4. For example, an image that makes the detected wrinkles appear thick may be projected. Further, the face color of the user 3 may be detected in the same manner as the makeup notification process described above, and the opposite color of the detected face color may be used as the color of the arrow image Py and the text image Pt. Thereby, it is possible to make the arrow image Py and the text image Pt easier to see.

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）表示装置１は、鏡２と向き合う利用者３を撮像するカメラ部１０と、カメラ部１０により撮像された画像に基づいて、利用者３の顔の状態を検出する制御装置３０と、制御装置３０により検出された利用者３の顔の状態に応じた情報を、当該情報が鏡２に映った利用者３の像に重畳されて見えるように表示させるプロジェクタ部２０と、を備えるので、利用者３に、鏡２に映った利用者３の像とともに利用者３の顔の状態に適した情報を視認させることができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The display device 1 includes a camera unit 10 that captures the user 3 facing the mirror 2, a control device 30 that detects the face state of the user 3 based on an image captured by the camera unit 10, and A projector unit 20 that displays information according to the face state of the user 3 detected by the control device 30 so that the information is superimposed on the image of the user 3 reflected in the mirror 2; The user 3 can visually recognize information suitable for the state of the face of the user 3 together with the image of the user 3 reflected in the mirror 2.

（２）上記（１）の表示装置１において、制御装置３０は、カメラ部１０により撮像された画像に基づいて、利用者３の顔の状態の変化状況（化粧の進行状況や髭剃りの進行状況など）を時間経過に応じて検出し、プロジェクタ部２０は、当該変化状況に応じて表示させる情報を変化させるように構成したので、逐次変化する顔の状態に合わせて最適な情報を表示することができる。 (2) In the display device 1 of the above (1), the control device 30 is based on the image captured by the camera unit 10 and changes the state of the face of the user 3 (the progress of makeup and the progress of shaving). The projector unit 20 is configured to change the information to be displayed according to the change state, so that the optimum information is displayed according to the state of the face that changes sequentially. be able to.

（３）上記（１）または（２）の表示装置１において、制御装置３０は、カメラ部１０により撮像された画像に対して超解像処理を行い、当該超解像処理後の画像に基づいて利用者３の顔における細部の状態（髭の剃り残し）を検出し、プロジェクタ部２０は、検出された髭を強調する情報を表示させるように構成したので、利用者３に対して、鏡２を視認するだけでは発見しづらい箇所の状態について報知することができる。 (3) In the display device 1 of the above (1) or (2), the control device 30 performs a super-resolution process on the image captured by the camera unit 10, and based on the image after the super-resolution process. Since the projector unit 20 is configured to display information for emphasizing the detected eyelids, the detailed state in the face of the user 3 (the shavings remaining on the eyelids) is detected. It is possible to notify about the state of a place that is difficult to find by simply viewing 2.

（４）上記（１）〜（３）の表示装置１において、制御装置３０は、カメラ部１０により撮像された画像に基づいて利用者３の顔の肌色を検出し、プロジェクタ部２０は、当該検出された顔の肌色に応じた情報（顔色に合ったチーク）を表示させるように構成したので、利用者３は鏡２を見て当該情報を確認しながら化粧をすることができる。 (4) In the display device 1 of (1) to (3) above, the control device 30 detects the skin color of the face of the user 3 based on the image captured by the camera unit 10, and the projector unit 20 Since it is configured to display information corresponding to the detected skin color of the face (blush that matches the face color), the user 3 can make up makeup while looking at the mirror 2 and checking the information.

（５）上記（１）〜（４）の表示装置１において、カメラ部１０は、鏡２に相対する利用者３の赤外画像を撮像し、制御装置３０は、当該赤外画像に基づいて利用者３の顔の表面温度を検出し、プロジェクタ部２０は、顔の表面温度に応じた情報（健康状態や最適な化粧など）を表示させるように構成したので、利用者３に対して、鏡２を視認するだけでは気づきにくい情報について報知することができる。 (5) In the display device 1 of (1) to (4) above, the camera unit 10 captures an infrared image of the user 3 facing the mirror 2, and the control device 30 is based on the infrared image. Since the surface temperature of the user 3's face is detected and the projector unit 20 is configured to display information (such as health condition and optimal makeup) according to the surface temperature of the face, Information that is difficult to notice simply by visually recognizing the mirror 2 can be notified.

（変形例１）
上述した実施の形態では、化粧報知処理において顔色に合ったチークを投影する例について説明したが、これに限らず、たとえば口紅やアイシャドウなどを顔色に合わせて投影するようにしてもよい。また、目の下の肌色に基づいて目のくまを検出し、目のくまを目立たなくする化粧を投影するようにしてもよい。 (Modification 1)
In the above-described embodiment, an example of projecting a cheek that matches the face color in the makeup notification process has been described. However, the present invention is not limited to this. Further, it is possible to detect the bear of the eyes based on the skin color under the eyes and project makeup that makes the bear of the eyes inconspicuous.

（変形例２）
上述した実施の形態では、超解像処理によって高解像度に変換した撮影画像に基づいて髭を検出する例について説明したが、これに限らず、たとえば目尻等の小皺を検出するようにしてもよい。この場合の制御装置３０は、検出した小皺の位置を強調表示するような画像を投影させる。これにより、利用者３は鏡２で小皺の位置を確認することができるので、鏡２を見ながらその小皺を化粧で隠すことができる。 (Modification 2)
In the above-described embodiment, an example in which wrinkles are detected based on a captured image converted to a high resolution by super-resolution processing has been described. However, the present invention is not limited to this, and for example, small wrinkles such as eye corners may be detected. . In this case, the control device 30 projects an image that highlights the position of the detected gavel. As a result, the user 3 can confirm the position of the gavel with the mirror 2, and thus can hide the gavel with makeup while looking at the mirror 2.

（変形例３）
上述した実施の形態では、超解像処理によって高解像度に変換した撮影画像に基づいて髭を検出する例について説明したが、カメラ部１０として高解像度のカメラを用いて、超解像処理を行わずに撮影画像に基づいて髭を検出するようにしてもよい。 (Modification 3)
In the above-described embodiment, an example in which wrinkles are detected based on a captured image converted to high resolution by super-resolution processing has been described. However, super-resolution processing is performed using a high-resolution camera as the camera unit 10. Instead, the wrinkles may be detected based on the photographed image.

（変形例４）
上述した投影処理において、利用者３が動いているときには投影せず、利用者３の動きが止まっているときに投影するようにしてもよい。たとえば、上述した剃り残し報知処理において制御装置３０は、カメラ部１０による撮影画像から公知のパターンマッチングなどによる動き検出処理を行い、利用者３の動きを検出する。制御装置３０は、所定以上の動きが検出されているときは、撮影画像から髭が検出されても髭を強調表示する画像をプロジェクタ部２０により投影させず、動きが検出されなくなったら髭を強調表示する画像をプロジェクタ部２０により投影させる。これにより、たとえば利用者３が手を動かして髭を剃っているときには何も表示させず、利用者３が手を止めて自分の顔を確認しているときに髭を強調表示できる。 (Modification 4)
In the above-described projection processing, the projection may be performed when the user 3 is moving, and not when the user 3 is moving, but when the user 3 stops moving. For example, in the above-described remaining shaving notification process, the control device 30 detects a motion of the user 3 by performing a motion detection process using a known pattern matching or the like from an image captured by the camera unit 10. The control device 30 does not project an image that highlights wrinkles by the projector unit 20 even when a wrinkle is detected from the photographed image when a predetermined motion or more is detected, and emphasizes wrinkles when no movement is detected. An image to be displayed is projected by the projector unit 20. Thereby, for example, when the user 3 moves his hand to shave his beard, nothing is displayed, and when the user 3 stops his hand and confirms his face, he can highlight the beard.

（変形例５）
上述した投影処理において、カメラ部１０により利用者３の顔にピントを合わせた際の測距情報に基づいて、プロジェクタ部２０のピントを合わせるようにしてもよい。 (Modification 5)
In the projection processing described above, the projector unit 20 may be focused based on distance measurement information when the camera unit 10 focuses on the face of the user 3.

また、カメラ部１０とプロジェクタ部２０とが近傍に配置されている場合は、カメラ部１０から利用者３の顔までの距離とプロジェクタ部２０から利用者３の顔までの距離とが略等しい。そこでこの場合、撮影画像における利用者３の顔の大きさに基づいてカメラ部１０から利用者３の顔までの距離を検出し、この距離に基づいてプロジェクタ部２０のピントを利用者３の顔に合わせるようにしてもよい。 Further, when the camera unit 10 and the projector unit 20 are arranged in the vicinity, the distance from the camera unit 10 to the face of the user 3 is substantially equal to the distance from the projector unit 20 to the face of the user 3. Therefore, in this case, the distance from the camera unit 10 to the face of the user 3 is detected based on the size of the face of the user 3 in the captured image, and the focus of the projector unit 20 is determined based on this distance. You may make it match.

さらに、プロジェクタ部２０のピントを合わせる位置を、投影する情報の内容に応じて変化させるようにしてもよい。たとえば化粧報知処理を行う場合には、顔全体に化粧の画像を投影するため、顔全体にピントが合うように調整する。また、剃り残し報知処理を行う場合には、顎の周辺に髭を強調する画像を投影するため、顎にピントが合うように調整する。 Furthermore, the focus position of the projector unit 20 may be changed according to the content of information to be projected. For example, when performing the makeup notification process, the makeup image is projected on the entire face, so that adjustment is made so that the entire face is in focus. Further, when performing the unshaved notification process, an image for emphasizing the eyelid is projected around the chin so that the chin is in focus.

（変形例６）
歯の磨き残しを報知する磨き残し報知処理を行うようにしてもよい。変形例６の表示装置１では、図５に示すように、歯に付着する歯垢を検出するためのＵＶ光（紫外光）を照射するＵＶ光源７０が鏡２近傍に設けられる。なおＵＶ光源７０は、ＵＶ光が利用者３の目に入射しないような位置に配置される。変形例６の制御装置３０は、たとえば、カメラ部１０による撮影画像から利用者３の口および歯を検出すると、磨き残し報知処理を開始して、検出した歯に対してＵＶ光源７０からＵＶ光を照射させるとともに、カメラ部１０により再度撮影を行う。歯と歯垢とではＵＶ光を照射した際の反射状態が異なるため、制御装置３０は、カメラ部１０による撮影画像からＵＶ光の反射状態に基づいて歯垢を検出する。そして制御装置３０は、検出した歯垢の位置を強調するような画像をプロジェクタ部２０により投影させる。これにより、利用者３は鏡２で歯垢の位置を確認することができるので、鏡２を見ながらその歯垢を除去するように歯磨きを行うことができる。 (Modification 6)
You may make it perform the unpolished notification process which alert | reports the unpolished tooth. In the display device 1 of Modification 6, as shown in FIG. 5, a UV light source 70 for irradiating UV light (ultraviolet light) for detecting plaque adhering to the teeth is provided in the vicinity of the mirror 2. The UV light source 70 is arranged at a position where the UV light does not enter the eyes of the user 3. For example, when detecting the mouth and teeth of the user 3 from the image captured by the camera unit 10, the control device 30 according to the modified example 6 starts the unpolished notification process and applies UV light from the UV light source 70 to the detected teeth. The camera unit 10 takes a picture again. Since the reflection state when the UV light is irradiated is different between the teeth and the plaque, the control device 30 detects the plaque based on the reflection state of the UV light from the image taken by the camera unit 10. Then, the control device 30 causes the projector unit 20 to project an image that emphasizes the detected plaque position. As a result, the user 3 can confirm the position of the plaque with the mirror 2, so that the user 3 can brush his / her teeth so as to remove the plaque while looking at the mirror 2.

（変形例７）
利用者３の顔色に合った洋服を報知する処理を行うようにしてもよい。変形例７では、種々の顔色と各顔色に適した洋服の色とを対応付けるデータベースが記憶装置４０に格納されている。制御装置３０は、上述した化粧報知処理と同様にして利用者３の顔色を検出すると、このデータベースを参照して、検出した顔色に適した洋服の色を特定する。プロジェクタ部２０は、利用者３の身体を投影面として、上記特定した色の洋服の画像を投影する。この結果、鏡２には、利用者３の身体に洋服の画像が重畳されて映るので、利用者３に顔色に合った洋服を報知することができる。 (Modification 7)
You may make it perform the process which alert | reports the clothes suitable for the user 3's complexion. In the modified example 7, a database that associates various face colors with clothes colors suitable for each face color is stored in the storage device 40. When the control device 30 detects the face color of the user 3 in the same manner as the makeup notification process described above, the control device 30 refers to this database and specifies the color of the clothes suitable for the detected face color. The projector unit 20 projects an image of the clothes of the specified color using the body of the user 3 as a projection plane. As a result, since the image of the clothes is superimposed on the body of the user 3 and displayed on the mirror 2, the user 3 can be informed of the clothes matching the complexion.

（変形例８）
たとえば携帯電話などの携帯端末に適したデコレーションを報知する処理を行うようにしてもよい。この場合の利用者３は、携帯端末を、鏡２に映り且つカメラ部１０およびプロジェクタ部２０により撮影および投影できる位置に持つとする。制御装置３０は、カメラ部１０により撮影した画像から携帯端末が検出されると、検出した携帯端末の画像に対して公知の超解像処理を行って高解像度の画像に変換し、この高解像度の画像から携帯端末の傷や変色部分などを検出する。検出方法としては、たとえば、予め記憶装置４０に新品の状態での携帯端末の画像を記憶しておき、この画像と上記高解像度の撮影画像との差分に基づいて検出すればよい。携帯端末の傷や変色部分などが検出されると、プロジェクタ部２０は、その部分を目立たなくするようなデコレーションの画像を、携帯端末を投影面として投影する。この結果、鏡２には、携帯端末にデコレーションの画像が重畳されて映るので、携帯端末に適したデコレーションを報知することができる。 (Modification 8)
For example, you may make it perform the process which alert | reports the decoration suitable for portable terminals, such as a mobile telephone. It is assumed that the user 3 in this case has the portable terminal at a position where the portable terminal is reflected in the mirror 2 and can be photographed and projected by the camera unit 10 and the projector unit 20. When a portable terminal is detected from an image captured by the camera unit 10, the control device 30 performs a known super-resolution process on the detected image of the portable terminal to convert it to a high-resolution image. Detect scratches and discolored parts of mobile devices from the images. As a detection method, for example, an image of a portable terminal in a new state may be stored in the storage device 40 in advance, and detection may be performed based on the difference between this image and the high-resolution captured image. When a scratch or a discolored part of the mobile terminal is detected, the projector unit 20 projects a decoration image that makes the part inconspicuous using the mobile terminal as a projection plane. As a result, since the decoration image is superimposed on the mobile terminal and displayed on the mirror 2, the decoration suitable for the mobile terminal can be notified.

（変形例９）
プロジェクタ部２０を、図６に示すように、鏡２の裏側に配置するようにしてもよい。この場合、図７に示すように、プロジェクタ部２０のＬＥＤ光源２０３が発する波長の光（ＲＧＢ）の透過率が高い鏡２を用いるようにする。これにより、プロジェクタ部２０からの投影光が鏡２を透過して利用者３の顔に投影される。 (Modification 9)
The projector unit 20 may be disposed on the back side of the mirror 2 as shown in FIG. In this case, as shown in FIG. 7, a mirror 2 having a high transmittance of light (RGB) having a wavelength emitted from the LED light source 203 of the projector unit 20 is used. Thereby, the projection light from the projector unit 20 passes through the mirror 2 and is projected onto the face of the user 3.

また、変形例９では、プロジェクタ部２０を配置する高さを利用者３の顔の高さに近づけることで、より精度よく顔に投影することができる。しかしながら、利用者３の顔の正面にプロジェクタ部２０を配置すると、利用者３がプロジェクタ部２０を直視して眩しくなってしまう。そこで、利用者３の顔の高さに近づけつつも、利用者３の顔の正面にならない位置（たとえば図６に示すように利用者３の視線の下側から投影する位置）にプロジェクタ部２０を配置する。こうすることで、プロジェクタ部２０からの投影光は鏡２を透過するものの、利用者３からはプロジェクタ部２０を見にくくすることができ、眩しくなるのを防ぐことができる。 Moreover, in the modification 9, it can project on a face more accurately by making the height which arrange | positions the projector part 20 close to the height of the user's 3 face. However, if the projector unit 20 is disposed in front of the face of the user 3, the user 3 looks directly at the projector unit 20 and becomes dazzling. Accordingly, the projector unit 20 is positioned at a position that is close to the height of the face of the user 3 but is not in front of the face of the user 3 (for example, a position projected from below the line of sight of the user 3 as shown in FIG. 6). Place. By doing so, although the projection light from the projector unit 20 is transmitted through the mirror 2, it is possible to make it difficult for the user 3 to see the projector unit 20 and to prevent dazzling.

なお、図６ではプロジェクタ部２０を鏡２の裏側に配置するようにしたが、カメラ部１０を鏡２の裏側に配置するようにしてもよいし、カメラ部１０およびプロジェクタ部２０の両方ともを鏡２の裏側に配置するようにしてもよい。 In FIG. 6, the projector unit 20 is arranged on the back side of the mirror 2, but the camera unit 10 may be arranged on the back side of the mirror 2, or both the camera unit 10 and the projector unit 20 are installed. It may be arranged on the back side of the mirror 2.

（変形例１０）
カメラ部１０から見てたとえば利用者３の鼻で遮蔽されている範囲については撮影できないが、カメラ部１０とプロジェクタ部２０の光路がずれていると、この撮影できない範囲に情報を投影してしまう場合がある。このようなことを防止するため、カメラ部１０およびプロジェクタ部２０の光路を略一致させるようにしてもよい。 (Modification 10)
For example, the range covered by the user's 3 nose when viewed from the camera unit 10 cannot be photographed, but if the optical path between the camera unit 10 and the projector unit 20 is shifted, information is projected onto the uncaptured range. There is a case. In order to prevent this, the optical paths of the camera unit 10 and the projector unit 20 may be substantially matched.

図８は、変形例１０における表示装置１の一例を示す図である。図８では、カメラ部１０の前方にミラー８０が配置され、プロジェクタ部２０の前方にハーフミラー９０が配置される。プロジェクタ部２０の光路では、プロジェクタ部２０からの投影光がハーフミラー９０を透過して利用者３に導かれる。カメラ部１０の光路では、利用者３からの被写体光がハーフミラー９０により反射されてミラー８０に導かれ、さらにミラー８０により反射されてカメラ部１０に導かれる。すなわち、カメラ部１０の光路において、利用者３からハーフミラー９０までの光路がプロジェクタ部２０の光路と略一致する。これにより、撮影時に遮蔽される範囲について投影像も遮蔽されるので、カメラ部１０で検出した状況通りに情報を投影でき、立体物であっても適切に情報を重畳表示できる。 FIG. 8 is a diagram illustrating an example of the display device 1 according to the tenth modification. In FIG. 8, a mirror 80 is disposed in front of the camera unit 10, and a half mirror 90 is disposed in front of the projector unit 20. In the optical path of the projector unit 20, the projection light from the projector unit 20 passes through the half mirror 90 and is guided to the user 3. In the optical path of the camera unit 10, subject light from the user 3 is reflected by the half mirror 90 and guided to the mirror 80, and further reflected by the mirror 80 and guided to the camera unit 10. That is, in the optical path of the camera unit 10, the optical path from the user 3 to the half mirror 90 substantially matches the optical path of the projector unit 20. As a result, the projected image is also shielded for the range shielded at the time of photographing, so that information can be projected according to the situation detected by the camera unit 10, and information can be appropriately superimposed and displayed even for a three-dimensional object.

（変形例１１）
上述した実施の形態では、プロジェクタ部２０によって利用者３の顔へ情報を投影することにより、鏡２に映った利用者３の顔の像に情報を重畳表示させる例について説明した。しかしながら、プロジェクタ部２０に代えてディスプレイを用いて利用者３の顔の像に情報を重畳表示させるようにしてもよい。 (Modification 11)
In the above-described embodiment, the example in which the information is superimposed and displayed on the image of the face of the user 3 reflected on the mirror 2 by projecting the information onto the face of the user 3 by the projector unit 20 has been described. However, information may be superimposed and displayed on the face image of the user 3 using a display instead of the projector unit 20.

図９（ａ）は、鏡２の表側に透過型ディスプレイ１２０を積層した場合を示す。透過型ディスプレイ１２０は、任意の情報を表示できるとともに、情報を表示しない箇所（背景）の光透過率を上げることで外部からの入射光を透過させる。透過型ディスプレイ１２０としては、たとえば、液晶ディスプレイ、有機ＥＬディスプレイまたは無機ＥＬディスプレイなどを用いることができる。この場合、利用者３は、透過型ディスプレイ１２０を透過して、鏡２に映った利用者３の顔の像を視認することができる。ゆえに透過型ディスプレイ１２０に情報を表示させることで、上述した実施の形態と同様に利用者３の顔の像に情報を重畳表示させることができる。 FIG. 9A shows a case where the transmissive display 120 is laminated on the front side of the mirror 2. The transmissive display 120 can display arbitrary information and transmits incident light from the outside by increasing the light transmittance of a portion (background) where information is not displayed. As the transmissive display 120, for example, a liquid crystal display, an organic EL display, an inorganic EL display, or the like can be used. In this case, the user 3 can see the image of the face of the user 3 reflected on the mirror 2 through the transmissive display 120. Therefore, by displaying information on the transmissive display 120, it is possible to display information superimposed on the face image of the user 3 as in the above-described embodiment.

図９（ｂ）は、ハーフミラー１２の裏側にディスプレイ２２０を積層した場合を示す。この場合のディスプレイ２２０は、任意の情報を表示できる一般的なディスプレイを用いればよい。ハーフミラー１２に入射した光の一部は反射され、一部は透過される。ゆえに利用者３は、ハーフミラー１２に映った顔を視認できるとともに、ハーフミラー１２を透過して、ディスプレイ２２０に表示された情報を確認することができる。ゆえに、上述した実施の形態と同様に利用者３の顔の像に情報を重畳表示させることができる。 FIG. 9B shows a case where the display 220 is stacked on the back side of the half mirror 12. In this case, the display 220 may be a general display that can display arbitrary information. Part of the light incident on the half mirror 12 is reflected and part is transmitted. Therefore, the user 3 can visually recognize the face reflected on the half mirror 12 and can confirm the information displayed on the display 220 through the half mirror 12. Therefore, information can be superimposed and displayed on the face image of the user 3 as in the above-described embodiment.

（変形例１２）
上述した実施の形態では、カメラ部１０により撮影した撮影画像に基づいて利用者３の状態（顔色や健康状態など）を検出する例について説明したが、カメラ部１０に限らず、この他の状態検出手段を用いて利用者３の状態を検出するようにしてもよい。例えば、温度検出センサなどを用いて利用者３の体温を測定して、利用者３の健康状態を検出するようにしてもよい。 (Modification 12)
In the above-described embodiment, the example in which the state of the user 3 (such as the face color and the health state) is detected based on the captured image photographed by the camera unit 10 has been described. You may make it detect the state of the user 3 using a detection means. For example, the health condition of the user 3 may be detected by measuring the body temperature of the user 3 using a temperature detection sensor or the like.

（変形例１３）
上述した実施の形態では、カメラ部１０により撮影した赤外画像に基づいて利用者３の顔表面の温度を検出し、この検出結果に基づいて利用者３の健康状態を判断する例について説明したが、この他の方法で利用者３の健康状態を判断するようにしてもよい。 (Modification 13)
In the above-described embodiment, an example in which the temperature of the face surface of the user 3 is detected based on the infrared image captured by the camera unit 10 and the health condition of the user 3 is determined based on the detection result has been described. However, the health condition of the user 3 may be determined by this other method.

例えば、通常の体温であるときの利用者３の顔画像をテンプレート顔画像として予め記憶装置４０に記憶させておく。制御装置３０は、カメラ部１０による撮影画像から利用者３の顔を検出すると、記憶装置４０からテンプレート顔画像を読み出し、カメラ部１０による撮影画像の顔色とテンプレート顔画像の顔色とを比較する。この比較の結果、撮影画像の顔色がテンプレート顔画像の顔色よりも所定値以上赤みが強い場合、利用者３に熱があると判断し、その旨を示すテキスト情報や顔色の赤みを目立たなくする化粧の画像をプロジェクタ部２０により投影させる。 For example, the face image of the user 3 at a normal body temperature is stored in advance in the storage device 40 as a template face image. When detecting the face of the user 3 from the image captured by the camera unit 10, the control device 30 reads the template face image from the storage device 40 and compares the face color of the image captured by the camera unit 10 with the face color of the template face image. As a result of this comparison, if the face color of the photographed image is reddish by a predetermined value or more than the face color of the template face image, it is determined that the user 3 is hot, and the text information and the redness of the face color indicating that are made inconspicuous. A makeup image is projected by the projector unit 20.

また、剃り残し報知処理において髭の剃り残しを検出する際にも、制御装置３０がカメラ部１０による撮影画像と記憶装置４０から読み出したテンプレート顔画像とを比較し、この比較結果に基づいて髭の剃り残しを検出するようにしてもよい。 In addition, when detecting the remaining shaving in the shaving notification process, the control device 30 compares the image taken by the camera unit 10 with the template face image read from the storage device 40, and based on this comparison result, You may make it detect the shavings left.

（変形例１４）
上述した実施の形態ではカメラ部１０およびプロジェクタ部２０が別々に設けられている例について説明したが、カメラ部１０およびプロジェクタ部２０を一体化したプロジェクタ付きカメラに本発明を適用してもよい。 (Modification 14)
In the embodiment described above, an example in which the camera unit 10 and the projector unit 20 are provided separately has been described. However, the present invention may be applied to a camera with a projector in which the camera unit 10 and the projector unit 20 are integrated.

（変形例１５）
上述した実施の形態では、カメラ部１０が鏡２と向き合う利用者３を撮影し、当該撮影画像に基づいて利用者３の状態を検出する例について説明した。しかしながら、カメラ部１０の撮影方向を、鏡２を撮影する方向としてもよい。この場合、カメラ部１０は、鏡２に映った利用者３の像を撮影し、当該撮影画像に基づいて利用者３の状態を検出する。 (Modification 15)
In the above-described embodiment, the example in which the camera unit 10 captures the user 3 facing the mirror 2 and detects the state of the user 3 based on the captured image has been described. However, the shooting direction of the camera unit 10 may be the direction in which the mirror 2 is shot. In this case, the camera unit 10 captures an image of the user 3 reflected on the mirror 2 and detects the state of the user 3 based on the captured image.

また上述した実施の形態では、プロジェクタ部２０が利用者３の顔を投影面として各種情報を投影することにより、鏡２に映った利用者３の顔に各種情報を重畳表示させる例について説明した。しかしながら、プロジェクタ部２０の投影方向を、鏡２を投影する方向とする（すなわち鏡２に向かって投影光を発する）ようにしてもよい。この場合、プロジェクタ部２０が鏡２に映った利用者３の顔に各種情報を投影させるようにしてもよい。または、プロジェクタ部２０が鏡２に向かって投影光を発し、その投影光が鏡２で反射された反射光が利用者３の顔に投影されるようにしてもよい。 Further, in the above-described embodiment, an example has been described in which the projector unit 20 projects various information on the face of the user 3 as a projection plane, thereby superimposing and displaying various information on the face of the user 3 reflected in the mirror 2. . However, the projection direction of the projector unit 20 may be the direction in which the mirror 2 is projected (that is, the projection light is emitted toward the mirror 2). In this case, the projector unit 20 may project various information on the face of the user 3 reflected in the mirror 2. Alternatively, the projector unit 20 may emit projection light toward the mirror 2 and the reflected light reflected by the mirror 2 may be projected onto the face of the user 3.

なお、カメラ部１０の撮影方向が鏡２を撮影する方向であり且つプロジェクタ部２０の投影方向が利用者３を投影する方向であってもよいし、カメラ部１０の撮影方向が利用者３を撮影する方向であり且つプロジェクタ部２０の投影方向が鏡２を投影する方向であってもよい。 Note that the shooting direction of the camera unit 10 may be the direction of shooting the mirror 2 and the projection direction of the projector unit 20 may be the direction of projecting the user 3. The shooting direction of the camera unit 10 may be the user 3. The direction in which the image is taken and the projection direction of the projector unit 20 may be the direction in which the mirror 2 is projected.

（変形例１６）
上述した実施の形態では、利用者３の顔に情報を投影して鏡２に映った利用者３の顔に情報を重畳表示させる例について説明した。しかしながら、鏡２の代わりに利用者３の画像を表示させる表示手段を設け、当該表示手段に表示された利用者３の画像に上記情報を重畳表示させるようにしてもよい。 (Modification 16)
In the above-described embodiment, an example in which information is projected onto the face of the user 3 and the information is superimposed on the face of the user 3 reflected on the mirror 2 has been described. However, instead of the mirror 2, display means for displaying the image of the user 3 may be provided so that the information is superimposed on the image of the user 3 displayed on the display means.

図１０は、変形例１６の一例を示すプロジェクタ付きカメラ３００の外観図である。図１０（ａ）および（ｂ）は、プロジェクタ付きカメラ３００を前方から見た斜視図であり、図１０（ｃ）および（ｄ）は、プロジェクタ付きカメラ３００を後方から見た斜視図である。プロジェクタ付きカメラ３００の内部構成は、図１に示した構成と同様であるため、説明を省略する。図１０（ａ）に示すように、プロジェクタ付きカメラ３００の正面には、撮影レンズ３１０とプロジェクタ投影窓３２０が設けられている。プロジェクタ付きカメラ３００のカメラ部１０は撮影レンズ３１０を介して撮影を行う。プロジェクタ付きカメラ３００のプロジェクタ部２０は、プロジェクタ投影窓３２０を介して投影を行う。 FIG. 10 is an external view of a camera with a projector 300 showing an example of the modification 16. 10A and 10B are perspective views of the projector-equipped camera 300 as viewed from the front, and FIGS. 10C and 10D are perspective views of the projector-equipped camera 300 as viewed from the rear. The internal configuration of the projector-equipped camera 300 is the same as the configuration shown in FIG. As shown in FIG. 10A, a photographing lens 310 and a projector projection window 320 are provided in front of the camera 300 with a projector. The camera unit 10 of the projector-equipped camera 300 performs shooting through the shooting lens 310. The projector unit 20 of the projector-equipped camera 300 performs projection via the projector projection window 320.

図１０（ｂ）に示すように、プロジェクタ付きカメラ３００の背面には、バリアングルモニタ３３０が設けられている。バリアングルモニタ３３０は、ヒンジ部３４０によって回転軸３４０ａを軸にして回転することができる。ゆえに、例えば、図１０（ｃ）および図１０（ｄ）に示すように、バリアングルモニタ３３０を回転させて、バリアングルモニタ３３０の表示面３３０Ａを前方に向けることができる。したがって図１１に示すように、利用者３は、撮影レンズ３１０およびプロジェクタ投影窓３２０を自身に向けた状態で、バリアングルモニタ３３０の表示面３３０Ａを自身の方へ向けることができるので、カメラ部１０により自身を撮影しながら、その撮影画像をバリアングルモニタ３３０によって確認できる。 As shown in FIG. 10B, a vari-angle monitor 330 is provided on the back surface of the projector-equipped camera 300. The vari-angle monitor 330 can be rotated about the rotation shaft 340 a by the hinge portion 340. Therefore, for example, as shown in FIGS. 10C and 10D, the vari-angle monitor 330 can be rotated so that the display surface 330 </ b> A of the vari-angle monitor 330 is directed forward. Therefore, as shown in FIG. 11, the user 3 can point the display surface 330A of the vari-angle monitor 330 toward himself / herself with the photographing lens 310 and the projector projection window 320 facing toward himself / herself. 10, the photographed image can be confirmed by the vari-angle monitor 330 while photographing itself.

変形例１６の場合、利用者３は、プロジェクタ付きカメラ３００を予め図１１に示した状態にセットする。プロジェクタ付きカメラ３００は、カメラ部１０により利用者３を撮像し、撮像した画像に基づいて、上述した実施の形態と同様に利用者３の顔の状態を検出する。そしてプロジェクタ付きカメラ３００は、プロジェクタ部２０により、利用者３の顔の状態に応じた情報（化粧や剃り残しなど）を利用者３の顔に投影する。その後、プロジェクタ付きカメラ３００は、再度、カメラ部１０により利用者３の顔を撮像し、撮像した画像をバリアングルモニタ３３０に表示させる。このとき利用者３の顔にはプロジェクタ部２０により上記情報が投影されているので、バリアングルモニタ３３０には利用者３の顔の画像に上記情報が重畳されて表示される。これにより、利用者３に、利用者３の画像とともに利用者３の顔の状態に適した情報を視認させることができる。 In the case of the modified example 16, the user 3 sets the camera with a projector 300 in the state shown in FIG. 11 in advance. The camera with a projector 300 images the user 3 by the camera unit 10 and detects the face state of the user 3 based on the captured image, as in the above-described embodiment. Then, the projector-equipped camera 300 projects information (such as makeup and unshaved items) according to the state of the face of the user 3 onto the face of the user 3 by the projector unit 20. Thereafter, the camera with a projector 300 again captures the face of the user 3 with the camera unit 10 and displays the captured image on the vari-angle monitor 330. At this time, since the above information is projected onto the face of the user 3 by the projector unit 20, the above information is superimposed on the image of the face of the user 3 and displayed on the vari-angle monitor 330. Thereby, the user 3 can visually recognize information suitable for the state of the face of the user 3 together with the image of the user 3.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。 The above description is merely an example, and is not limited to the configuration of the above embodiment. Moreover, you may combine the structure of each modification suitably with the said embodiment.

１…表示装置、２…鏡、３…利用者、１０…カメラ部、２０…プロジェクタ部、３０…制御装置、４０…記憶装置、７０…ＵＶ光源、１２０…透過型ディスプレイ、３００…プロジェクタ付きカメラ、３３０…バリアングルモニタ DESCRIPTION OF SYMBOLS 1 ... Display apparatus, 2 ... Mirror, 3 ... User, 10 ... Camera part, 20 ... Projector part, 30 ... Control apparatus, 40 ... Memory | storage device, 70 ... UV light source, 120 ... Transmission type display, 300 ... Camera with a projector , 330 ... Vari-angle monitor

Claims

State detection means for detecting the state of the object;
Display means for displaying information according to the state of the object detected by the state detection means so as to be seen superimposed on the object;
A display device comprising:

The display device according to claim 1,
The state detection means detects a change state of the state of the object according to the passage of time,
The display device is characterized in that information to be displayed is changed in accordance with a change state of the state of the object detected by the state detection unit.

The display device according to claim 1 or 2,
It further comprises imaging means for imaging the object,
The display device according to claim 1, wherein the state detection unit detects a state of the object based on an image captured by the imaging unit.

The display device according to claim 3,
The state detection unit compares the image of the object stored in advance in the storage unit with the image captured by the imaging unit, and detects the state of the object based on the comparison result. Display device.

The display device according to claim 3 or 4,
The state detection unit performs super-resolution processing on the image captured by the imaging unit, detects a detailed state of the object based on the image after the super-resolution processing,
The display unit displays information according to a detailed state detected by the state detection unit.

The display device according to any one of claims 3 to 5,
The object is a person,
The imaging means images the person,
The state detection means detects the face state of the person based on the image picked up by the image pickup means,
The display means displays information corresponding to the state of the face of the person detected by the state detection means so that the information can be seen superimposed on the face or body of the person. .

The display device according to claim 6,
The state detection unit detects a skin color of the face of the person based on an image captured by the imaging unit,
The display unit displays information according to the skin color of the face detected by the state detection unit.

The display device according to claim 6 or 7,
Further comprising a light source for irradiating the predetermined portion of the person with ultraviolet light;
The imaging means images a predetermined portion of the person irradiated with the ultraviolet light,
The state detecting means detects a state of a predetermined portion of the person based on the captured image;
The display unit displays information according to a state of a predetermined portion of the person detected by the detection unit.

In the display device according to any one of claims 3 to 8,
The display unit displays the information so that the information is seen superimposed on the object reflected in a mirror.

The display device according to claim 9, wherein
The display device is a projector, and projects the information using the object as a projection plane.

The display device according to claim 10.
The display device characterized in that the projector changes a focus position according to the content of the information to be projected.

The display device according to claim 9, wherein
The display device, wherein the display means is a transmissive display disposed on the front side of the mirror.

In the display device according to any one of claims 3 to 8,
The display unit displays the information so as to be superimposed on an image of the object imaged by the imaging unit.

State detection means for detecting the state of the subject;
Projecting means for projecting information corresponding to the state of the subject detected by the state detecting means onto the subject;
With
The state detection means detects a change state of the state of the subject,
The projection unit changes projection information according to a change state of the state of the subject detected by the state detection unit.

The projection device according to claim 14, wherein
It further comprises an imaging means,
The projection apparatus, wherein the state detection unit detects a change in the state of the subject based on an image captured by the imaging unit.