CN109696955B - 智能梳妆镜的调整方法和智能梳妆镜 - Google Patents
智能梳妆镜的调整方法和智能梳妆镜 Download PDFInfo
- Publication number
- CN109696955B CN109696955B CN201710998557.2A CN201710998557A CN109696955B CN 109696955 B CN109696955 B CN 109696955B CN 201710998557 A CN201710998557 A CN 201710998557A CN 109696955 B CN109696955 B CN 109696955B
- Authority
- CN
- China
- Prior art keywords
- face
- camera
- display screen
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims description 60
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 239000011521 glass Substances 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001373 regressive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提出一种智能梳妆镜的调整方法和智能梳妆镜。其中，上述智能梳妆镜的调整方法包括：通过第一摄像头拍摄图像，对所述第一摄像头拍摄的图像进行人脸检测；当从所述第一摄像头拍摄的图像中检测到人脸时，定位所述人脸的关键点位置；根据所述人脸的关键点位置，确定所述人脸发生转动之后，根据所述人脸发生转动前后的关键点位置，确定所述显示屏需要转动的角度；通过所述智能梳妆镜的机械控制装置控制所述显示屏转动所述角度，在转动后的显示屏上显示第二摄像头拍摄的图像。本申请可以实现当人脸发生转动时，智能梳妆镜的显示屏也随之转动，从而用户不需要转回原来的位置，就可以很舒服的看到任意自己需要侧脸才能看到的部分，提高了用户体验。
Description
技术领域
本申请涉及智能家居技术领域，尤其涉及一种智能梳妆镜的调整方法和智能梳妆镜。
背景技术
随着智能手机和平板电脑等智能终端设备的广泛应用，家庭中的传统梳妆镜因为其功能单一，观察角度不方便，必然逐渐地被智能梳妆镜取代。
目前的智能梳妆镜，主要利用了摄像头拍摄等功能，对人脸正面或者稍微测一点的人脸进行了关键点定位，并加入了一些美容美妆等技术修饰人脸，但是现有的智能梳妆镜中摄像头的安装方式过于固定，虽然可以从多个角度拍摄人脸，但是在人脸发生转动之后，用户仍然需要转回原来的位置，才能看到人脸发生转动之后的图像，使用起来非常不便，用户体验较差。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种智能梳妆镜的调整方法，以实现当人脸发生转动时，智能梳妆镜的显示屏也随之转动，从而用户不需要转回原来的位置，就可以很舒服的看到任意自己需要侧脸才能看到的部分，提高了用户体验。
本申请的第二个目的在于提出一种智能梳妆镜。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种智能梳妆镜的调整方法，包括：通过第一摄像头拍摄图像，对所述第一摄像头拍摄的图像进行人脸检测，所述第一摄像头安装在所述智能梳妆镜的显示屏上，可随所述显示屏转动；当从所述第一摄像头拍摄的图像中检测到人脸时，定位所述人脸的关键点位置；根据所述人脸的关键点位置，确定所述人脸发生转动之后，根据所述人脸发生转动前后的关键点位置，确定所述显示屏需要转动的角度；通过所述智能梳妆镜的机械控制装置控制所述显示屏转动所述角度，在转动后的显示屏上显示第二摄像头拍摄的图像，所述第二摄像头为固定摄像头，安装在所述智能梳妆镜的固定支架上。
本申请实施例的智能梳妆镜的调整方法中，通过第一摄像头拍摄图像，对上述第一摄像头拍摄的图像进行人脸检测，当从上述第一摄像头拍摄的图像中检测到人脸时，定位上述人脸的关键点位置，根据上述人脸的关键点位置，确定上述人脸发生转动之后，根据上述人脸发生转动前后的关键点位置，确定上述显示屏需要转动的角度，然后通过上述智能梳妆镜的机械控制装置控制上述显示屏转动上述角度，并在转动后的显示屏上显示第二摄像头拍摄的图像，上述第二摄像头为固定摄像头，从而可以实现当人脸发生转动时，智能梳妆镜的显示屏也随之转动，用户不需要转回原来的位置，就可以很舒服的看到任意自己需要侧脸才能看到的部分，提高了用户体验。
为达上述目的，本申请第二方面实施例提出了一种智能梳妆镜，包括：第一摄像头、第二摄像头、显示屏、机械控制装置、固定支架、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述第一摄像头，用于第一摄像头拍摄图像；所述第一摄像头安装在所述显示屏上，可随所述显示屏转动；所述处理器，用于执行所述计算机程序，对所述第一摄像头拍摄的图像进行人脸检测，当从所述第一摄像头拍摄的图像中检测到人脸时，定位所述人脸的关键点位置；根据所述人脸的关键点位置，确定所述人脸发生转动之后，根据所述人脸发生转动前后的关键点位置，确定所述显示屏需要转动的角度；通过所述机械控制装置控制所述显示屏转动所述角度，在转动后的显示屏上显示第二摄像头拍摄的图像；所述第二摄像头，用于拍摄图像，所述第二摄像头为固定摄像头，安装在所述固定支架上。
本申请实施例的智能梳妆镜中，第一摄像头拍摄图像，处理器对上述第一摄像头拍摄的图像进行人脸检测，当从上述第一摄像头拍摄的图像中检测到人脸时，定位上述人脸的关键点位置，根据上述人脸的关键点位置，确定上述人脸发生转动之后，根据上述人脸发生转动前后的关键点位置，确定上述显示屏需要转动的角度，然后通过上述机械控制装置控制上述显示屏转动上述角度，并在转动后的显示屏上显示第二摄像头拍摄的图像，上述第二摄像头为固定摄像头，从而可以实现当人脸发生转动时，智能梳妆镜的显示屏也随之转动，用户不需要转回原来的位置，就可以很舒服的看到任意自己需要侧脸才能看到的部分，提高了用户体验。
为达上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请智能梳妆镜的调整方法一个实施例的流程图；
图2为本申请智能梳妆镜的调整方法中智能梳妆镜的布局一个实施例的示意图；
图3为本申请智能梳妆镜的调整方法中智能梳妆镜的显示屏转动后一个实施例的示意图；
图4为本申请智能梳妆镜的调整方法另一个实施例的流程图；
图5为本申请智能梳妆镜的调整方法再一个实施例的流程图；
图6为本申请智能梳妆镜的调整方法再一个实施例的流程图；
图7为本申请智能梳妆镜的调整方法再一个实施例的流程图；
图8为本申请智能梳妆镜的调整方法再一个实施例的流程图；
图9为本申请智能梳妆镜一个实施例的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
图1为本申请智能梳妆镜的调整方法一个实施例的流程图，如图1所示，上述智能梳妆镜的调整方法可以包括：
步骤101，通过第一摄像头拍摄图像，对上述第一摄像头拍摄的图像进行人脸检测。
其中，上述第一摄像头安装在上述智能梳妆镜的显示屏上，可随上述显示屏转动，如图2所示，图2为本申请智能梳妆镜的调整方法中智能梳妆镜的布局一个实施例的示意图。
本实施例中，第一摄像头可以按照预定的拍摄速率(例如：1秒20次)拍摄图像，然后对上述第一摄像头拍摄的图像进行人脸检测。
步骤102，当从上述第一摄像头拍摄的图像中检测到人脸时，定位上述人脸的关键点位置。
步骤103，根据上述人脸的关键点位置，确定上述人脸发生转动之后，根据上述人脸发生转动前后的关键点位置，确定上述显示屏需要转动的角度。
步骤104，通过上述智能梳妆镜的机械控制装置控制上述显示屏转动上述角度，在转动后的显示屏上显示第二摄像头拍摄的图像。
其中，上述第二摄像头为固定摄像头，安装在上述智能梳妆镜的固定支架上，也就是说，第二摄像头不随上述智能梳妆镜的显示屏转动。
参见图3，图3为本申请智能梳妆镜的调整方法中智能梳妆镜的显示屏转动后一个实施例的示意图，从图3中可以看出，人脸转动之后，通过上述智能梳妆镜的机械控制装置控制上述显示屏随之转动相应角度，然后在上述显示屏上显示第二摄像头拍摄的图像，由于第二摄像头安装在上述智能梳妆镜的固定支架上，不随上述智能梳妆镜的显示屏转动，因此第二摄像头拍摄的是人的侧脸的图像，这样，当人脸发生转动时，用户不需要再转回原来的位置，就可以很舒服的从显示屏上看到任意自己需要侧脸才能看到的部分，提高了用户体验。
图4为本申请智能梳妆镜的调整方法另一个实施例的流程图，如图4所示，本申请图1所示实施例步骤101可以包括：
步骤401，通过第一摄像头拍摄图像，采用滑动窗口技术，在每一个滑动窗口内提取上述第一摄像头拍摄的图像的方向梯度直方图(Histogram of Oriented Gradient；以下简称：HOG)特征。
步骤402，将上述HOG特征输入到支持向量机(Support Vector Machine；以下简称：SVM)分类器，检测上述第一摄像头拍摄的图像中是否包括人脸。
图5为本申请智能梳妆镜的调整方法再一个实施例的流程图，如图5所示，本申请图1所示实施例步骤101可以包括：
步骤501，通过第一摄像头拍摄图像，将上述第一摄像头拍摄的图像输入预先训练的深度神经网络，通过上述预先训练的深度神经网络检测上述第一摄像头拍摄的图像中是否包括人脸。
具体地，可以采用ImageNet上的深度神经网络(网络结构可以采用alexnet)，并手工标定人脸图片，将手工标定的人脸图片导入上述深度神经网络进行细微调整(fine-tune)，获得上述预先训练的深度神经网络，然后将上述第一摄像头拍摄的图像输入预先训练的深度神经网络，来检测上述第一摄像头拍摄的图像中是否包括人脸。
其中，ImageNet是一个计算机视觉系统识别项目名称，是目前世界上图像识别最大的数据库。ImageNet能够从图片识别物体，未来用在机器人身上，可以直接辨认物品和人了。ImageNet就像一个网络一样，拥有多个节点，每个节点(目前)含有至少500个对应物体的可供训练的图片或图像，因此ImageNet实际上就是一个巨大的可供图像或视觉训练的图片库。
图6为本申请智能梳妆镜的调整方法再一个实施例的流程图，如图4所示，本申请图1所示实施例，步骤102之前，还可以包括：
步骤601，当从上述第一摄像头拍摄的图像中检测到人脸时，将检测到人脸的图像输入预先训练的深度神经网络，通过上述预先训练的深度神经网络检测上述图像中的人脸是否为正脸。其中，上述深度神经网络包含至少两层，每一层包含随机生成或者训练的矩阵参数和一个激活函数。
具体地，同样可以采用ImageNet上的深度神经网络(网络结构可以采用alexnet)，将手工标定的正脸图片放入上述深度神经网络进行fine-tune，获得上述预先训练的深度神经网络，然后将检测到人脸的图像输入上述预先训练的深度神经网络，通过上述预先训练的深度神经网络检测上述图像中的人脸是否为正脸。
步骤602，如果上述图像中的人脸不是正脸，则通过上述智能梳妆镜的机械控制装置转动上述显示屏，直至检测到上述图像中的人脸为正脸。
也就是说，本实施例中，当从上述第一摄像头拍摄的图像中检测到人脸时，可以先检测一下检测到人脸的图像中的人脸是否为正脸，如果上述图像中的人脸不是正脸，则可以通过上述智能梳妆镜的机械控制装置转动上述显示屏，调整一下上述显示屏的角度，直至检测到上述图像中的人脸为正脸。
图7为本申请智能梳妆镜的调整方法再一个实施例的流程图，本实施例中，上述人脸的关键点位置包括：上述人脸的双眼位置、鼻尖位置和两侧鼻翼位置；
如图7所示，本申请图1所示实施例中，步骤102可以包括：
步骤701，当从上述第一摄像头拍摄的图像中检测到人脸时，提取上述第一摄像头拍摄的图像中的人脸矩形框，获得预先设定的初始位置，上述初始位置包括所述人脸的双眼、鼻尖和两侧鼻翼的位置。
步骤702，在上述初始位置上提取上述人脸的双眼、鼻尖和两侧鼻翼的特征，组成初始关键点位置的特征矩阵。
步骤703，将上述初始关键点位置的特征矩阵乘以预先训练或者随机生成的第一矩阵，得到上述人脸的关键点位置矩阵。
具体地，可以根据式(1)得到上述人脸的关键点位置矩阵：
M2＝F(M1)×M (1)
式(1)中，M2是上述人脸的关键点位置矩阵，M是给出的第一矩阵，M1是上述第一摄像头拍摄的图像中上述人脸的双眼、鼻尖和两侧鼻翼的特征，F(M1)是上述特征组成的初始关键点位置的特征矩阵。
图8为本申请智能梳妆镜的调整方法再一个实施例的流程图，如图8所示，本申请图1所示实施例中，步骤103可以包括：
步骤801，对比上述第一摄像头拍摄的图像中上述人脸的关键点位置，如果当前帧图像中上述人脸的关键点在检测到的人脸矩形框中的相对位置与上述当前帧之前预定数量的帧中上述人脸的关键点在检测到的人脸矩形框中的相对位置的偏差大于预定阈值，则确定上述人脸发生转动。
其中，上述预定数量可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定数量的大小不作限定，举例来说，上述预定数量可以为1；上述预定阈值可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定阈值的大小不作限定。
本实施例中，第一摄像头按照预定的拍摄速率(例如：1秒20次)拍摄图像，当从上述第一摄像头拍摄的图像中检测到人脸时，对第一摄像头拍摄的每帧图像都定位上述人脸的关键点在检测到的人脸矩形框中的相对位置，这样通过对比上述第一摄像头拍摄的图像中上述人脸的关键点在检测到的人脸矩形框中的相对位置，如果当前帧图像中上述人脸的关键点在检测到的人脸矩形框中的相对位置与上述当前帧之前预定数量的帧中上述人脸的关键点在检测到的人脸矩形框中的相对位置的偏差大于预定阈值，则可以确定上述人脸发生转动。
步骤802，将上述人脸发生转动前后的关键点位置输入预先训练的深度神经网络，通过上述预先训练的深度神经网络输出上述显示屏需要转动的角度。
其中，上述深度神经网络包含至少两层，每一层包含随机生成或者训练的矩阵参数和一个激活函数。
具体地，可以通过一个回归的深度神经网络，利用所有的关键点位置预先对上述深度神经网络进行训练，使得上述深度神经网络可以根据两组关键点位置确定出显示屏需要转动的角度。这样，当实际应用的时候，可以直接将上述人脸发生转动前后的关键点位置输入预先训练的深度神经网络，通过上述预先训练的深度神经网络输出上述显示屏需要转动的角度。
本实施例的另一种实现方式中，可以将上述人脸发生转动后的关键点位置的坐标排列成一个向量，将上述向量乘以随机生成或者预先训练的第二矩阵，获得上述显示屏需要转动的角度。
上述智能梳妆镜的调整方法中，通过第一摄像头拍摄图像，对上述第一摄像头拍摄的图像进行人脸检测，当从上述第一摄像头拍摄的图像中检测到人脸时，定位上述人脸的关键点位置，根据上述人脸的关键点位置，确定上述人脸发生转动之后，根据上述人脸发生转动前后的关键点位置，确定上述显示屏需要转动的角度，然后通过上述智能梳妆镜的机械控制装置控制上述显示屏转动上述角度，并在转动后的显示屏上显示第二摄像头拍摄的图像，上述第二摄像头为固定摄像头，从而可以实现当人脸发生转动时，智能梳妆镜的显示屏也随之转动，用户不需要转回原来的位置，就可以很舒服的看到任意自己需要侧脸才能看到的部分，提高了用户体验。
图9为本申请智能梳妆镜一个实施例的结构示意图，本实施例中的智能梳妆镜可以实现本申请实施例提供的智能梳妆镜的调整方法。如图9所示，上述智能梳妆镜可以包括：第一摄像头91、第二摄像头92、显示屏93、机械控制装置(图9中未示出)、固定支架94、存储器95、处理器96及存储在上述存储器95上并可在处理器96上运行的计算机程序；
第一摄像头91，用于拍摄图像；上述第一摄像头91安装在上述显示屏93上，可随上述显示屏93转动；如图2所示，本实施例中，第一摄像头91可以按照预定的拍摄速率(例如：1秒20次)拍摄图像。
处理器96，用于执行上述计算机程序，对第一摄像头91拍摄的图像进行人脸检测，当从第一摄像头91拍摄的图像中检测到人脸时，定位上述人脸的关键点位置；根据上述人脸的关键点位置，确定上述人脸发生转动之后，根据上述人脸发生转动前后的关键点位置，确定上述显示屏93需要转动的角度；通过机械控制装置控制显示屏93转动上述角度，在转动后的显示屏93上显示第二摄像头92拍摄的图像；
第二摄像头92，用于拍摄图像，第二摄像头92为固定摄像头，安装在上述固定支架94上，也就是说，第二摄像头92不随上述智能梳妆镜的显示屏93转动。
从图3中可以看出，人脸转动之后，通过上述智能梳妆镜的机械控制装置控制上述显示屏93随之转动相应角度，然后在上述显示屏93上显示第二摄像头92拍摄的图像，由于第二摄像头92安装在上述智能梳妆镜的固定支架94上，不随上述智能梳妆镜的显示屏93转动，因此第二摄像头92拍摄的是人的侧脸的图像，这样，当人脸发生转动时，用户不需要再转回原来的位置，就可以很舒服的从显示屏93上看到任意自己需要侧脸才能看到的部分，提高了用户体验。
本实施例中，处理器96，具体用于采用滑动窗口技术，在每一个滑动窗口内提取上述第一摄像头91拍摄的图像的HOG特征；将上述HOG特征输入到SVG分类器，检测上述第一摄像头91拍摄的图像中是否包括人脸；或者，将第一摄像头91拍摄的图像输入预先训练的深度神经网络，通过上述预先训练的深度神经网络检测第一摄像头91拍摄的图像中是否包括人脸。
具体地，可以采用ImageNet上的深度神经网络(网络结构可以采用alexnet)，并手工标定人脸图片，将手工标定的人脸图片导入上述深度神经网络进行细微调整(fine-tune)，获得上述预先训练的深度神经网络，然后处理器96将上述第一摄像头91拍摄的图像输入预先训练的深度神经网络，来检测上述第一摄像头91拍摄的图像中是否包括人脸。
其中，ImageNet是一个计算机视觉系统识别项目名称，是目前世界上图像识别最大的数据库。ImageNet能够从图片识别物体，未来用在机器人身上，可以直接辨认物品和人了。ImageNet就像一个网络一样，拥有多个节点，每个节点(目前)含有至少500个对应物体的可供训练的图片或图像，因此ImageNet实际上就是一个巨大的可供图像或视觉训练的图片库。
本实施例中，处理器96，还用于当从第一摄像头91拍摄的图像中检测到人脸时，定位上述人脸的关键点位置之前，将检测到人脸的图像输入预先训练的深度神经网络，通过上述预先训练的深度神经网络检测上述图像中的人脸是否为正脸；如果上述图像中的人脸不是正脸，则通过机械控制装置转动上述显示屏93，直至检测到上述图像中的人脸为正脸。
其中，上述深度神经网络包含至少两层，每一层包含随机生成或者训练的矩阵参数和一个激活函数。具体地，同样可以采用ImageNet上的深度神经网络(网络结构可以采用alexnet)，将手工标定的正脸图片放入上述深度神经网络进行fine-tune，获得上述预先训练的深度神经网络，然后处理器96将检测到人脸的图像输入上述预先训练的深度神经网络，通过上述预先训练的深度神经网络检测上述图像中的人脸是否为正脸。
如果上述图像中的人脸不是正脸，则可以通过上述智能梳妆镜的机械控制装置转动上述显示屏93，调整一下上述显示屏93的角度，直至检测到上述图像中的人脸为正脸。
本实施例中，上述人脸的关键点位置可以包括：上述人脸的双眼位置、鼻尖位置和两侧鼻翼位置；
处理器96，具体用于提取第一摄像头91拍摄的图像中的人脸矩形框，获得预先设定的初始位置，上述初始位置包括上述人脸的双眼、鼻尖和两侧鼻翼的位置；在上述初始位置上提取上述人脸的双眼、鼻尖和两侧鼻翼的特征，组成初始关键点位置的特征矩阵；将上述初始关键点位置的特征矩阵乘以预先训练或者随机生成的第一矩阵，得到上述人脸的关键点位置矩阵。具体地，处理器96可以根据式(1)得到上述人脸的关键点位置矩阵。
本实施例中，处理器96，具体用于对比第一摄像头91拍摄的图像中上述人脸的关键点位置，如果当前帧图像中上述人脸的关键点在检测到的人脸矩形框中的相对位置与上述当前帧之前预定数量的帧中上述人脸的关键点在检测到的人脸矩形框中的相对位置的偏差大于预定阈值，则确定上述人脸发生转动。
其中，上述预定数量可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定数量的大小不作限定，举例来说，上述预定数量可以为1；上述预定阈值可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定阈值的大小不作限定。
本实施例中，第一摄像头91按照预定的拍摄速率(例如：1秒20次)拍摄图像，当从上述第一摄像头91拍摄的图像中检测到人脸时，对第一摄像头91拍摄的每帧图像都定位上述人脸的关键点在检测到的人脸矩形框中的相对位置，这样通过对比上述第一摄像头拍摄的图像中上述人脸的关键点在检测到的人脸矩形框中的相对位置，如果当前帧图像中上述人脸的关键点在检测到的人脸矩形框中的相对位置与上述当前帧之前预定数量的帧中上述人脸的关键点在检测到的人脸矩形框中的相对位置的偏差大于预定阈值，则可以确定上述人脸发生转动。
本实施例中，处理器96，具体用于将上述人脸发生转动前后的关键点位置输入预先训练的深度神经网络，通过上述预先训练的深度神经网络输出上述显示屏93需要转动的角度。其中，上述深度神经网络包含至少两层，每一层包含随机生成或者训练的矩阵参数和一个激活函数。
具体地，可以通过一个回归的深度神经网络，利用所有的关键点位置预先对上述深度神经网络进行训练，使得上述深度神经网络可以根据两组关键点位置确定出显示屏需要转动的角度。这样，当实际应用的时候，处理器96可以直接将上述人脸发生转动前后的关键点位置输入预先训练的深度神经网络，通过上述预先训练的深度神经网络输出上述显示屏需要转动的角度。
本实施例的另一种实现方式中，处理器96可以将上述人脸发生转动后的关键点位置的坐标排列成一个向量，将上述向量乘以随机生成或者预先训练的第二矩阵，获得上述显示屏需要转动的角度。
上述智能梳妆镜中，通过第一摄像头91拍摄图像，处理器96对上述第一摄像头91拍摄的图像进行人脸检测，当从上述第一摄像头91拍摄的图像中检测到人脸时，定位上述人脸的关键点位置，根据上述人脸的关键点位置，确定上述人脸发生转动之后，根据上述人脸发生转动前后的关键点位置，确定上述显示屏需要转动的角度，然后通过上述智能梳妆镜的机械控制装置控制上述显示屏93转动上述角度，并在转动后的显示屏93上显示第二摄像头92拍摄的图像，上述第二摄像头92为固定摄像头，从而可以实现当人脸发生转动时，智能梳妆镜的显示屏93也随之转动，用户不需要转回原来的位置，就可以很舒服的看到任意自己需要侧脸才能看到的部分，提高了用户体验。
本申请实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现本申请实施例提供的智能梳妆镜的调整方法。
上述非临时性计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory；以下简称：ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network；以下简称：LAN)或广域网(Wide Area Network；以下简称：WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(Random AccessMemory；以下简称：RAM)，只读存储器(Read Only Memory；以下简称：ROM)，可擦除可编辑只读存储器(Erasable Programmable Read Only Memory；以下简称：EPROM)或闪速存储器，光纤装置，以及便携式光盘只读存储器(Compact Disc Read Only Memory；以下简称：CD-ROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种智能梳妆镜的调整方法，其特征在于，包括：
通过第一摄像头拍摄图像，对所述第一摄像头拍摄的图像进行人脸检测，所述第一摄像头安装在所述智能梳妆镜的显示屏上，可随所述显示屏转动；
当从所述第一摄像头拍摄的图像中检测到人脸时，定位所述人脸的关键点位置；
根据所述人脸的关键点位置，确定所述人脸发生转动之后，根据所述人脸发生转动前后的关键点位置，确定所述显示屏需要转动的角度；
通过所述智能梳妆镜的机械控制装置控制所述显示屏转动所述角度，在转动后的显示屏上显示第二摄像头拍摄的图像，所述第二摄像头为固定摄像头，安装在所述智能梳妆镜的固定支架上；
所述根据所述人脸的关键点位置，确定所述人脸发生转动包括：
提取所述第一摄像头拍摄的图像中的人脸矩形框，获得预先设定的初始位置；对比所述第一摄像头拍摄的图像中所述人脸的关键点位置，如果当前帧图像中所述人脸的关键点在检测到的人脸矩形框中的相对位置与所述当前帧之前预定数量的帧中所述人脸的关键点在检测到的人脸矩形框中的相对位置的偏差大于预定阈值，则确定所述人脸发生转动。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一摄像头拍摄的图像进行人脸检测包括：
采用滑动窗口技术，在每一个滑动窗口内提取所述第一摄像头拍摄的图像的方向梯度直方图特征；将所述方向梯度直方图特征输入到支持向量机分类器，检测所述第一摄像头拍摄的图像中是否包括人脸；
或者，将所述第一摄像头拍摄的图像输入预先训练的深度神经网络，通过所述预先训练的深度神经网络检测所述第一摄像头拍摄的图像中是否包括人脸。
3.根据权利要求1所述的方法，其特征在于，当从所述第一摄像头拍摄的图像中检测到人脸时，所述定位所述人脸的关键点位置之前，还包括：
将检测到人脸的图像输入预先训练的深度神经网络，通过所述预先训练的深度神经网络检测所述图像中的人脸是否为正脸；所述深度神经网络包含至少两层，每一层包含随机生成或者训练的矩阵参数和一个激活函数；
如果所述图像中的人脸不是正脸，则通过所述智能梳妆镜的机械控制装置转动所述显示屏，直至检测到所述图像中的人脸为正脸。
4.根据权利要求1所述的方法，其特征在于，所述人脸的关键点位置包括：所述人脸的双眼位置、鼻尖位置和两侧鼻翼位置；
所述定位所述人脸的关键点位置包括：
提取所述第一摄像头拍摄的图像中的人脸矩形框，获得预先设定的初始位置，所述初始位置包括所述人脸的双眼、鼻尖和两侧鼻翼的位置；
在所述初始位置上提取所述人脸的双眼、鼻尖和两侧鼻翼的特征，组成初始关键点位置的特征矩阵；
将所述初始关键点位置的特征矩阵乘以预先训练或者随机生成的第一矩阵，得到所述人脸的关键点位置矩阵。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述根据所述人脸发生转动前后的关键点位置，确定所述显示屏需要转动的角度包括：
将所述人脸发生转动前后的关键点位置输入预先训练的深度神经网络，通过所述预先训练的深度神经网络输出所述显示屏需要转动的角度，所述深度神经网络包含至少两层，每一层包含随机生成或者训练的矩阵参数和一个激活函数；或者，
将所述人脸发生转动后的关键点位置的坐标排列成一个向量，将所述向量乘以随机生成或者预先训练的第二矩阵，获得所述显示屏需要转动的角度。
6.一种智能梳妆镜，其特征在于，包括：第一摄像头、第二摄像头、显示屏、机械控制装置、固定支架、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述第一摄像头，用于拍摄图像；所述第一摄像头安装在所述显示屏上，可随所述显示屏转动；
所述处理器，用于执行所述计算机程序，对所述第一摄像头拍摄的图像进行人脸检测，当从所述第一摄像头拍摄的图像中检测到人脸时，定位所述人脸的关键点位置；根据所述人脸的关键点位置，确定所述人脸发生转动之后，根据所述人脸发生转动前后的关键点位置，确定所述显示屏需要转动的角度；通过所述机械控制装置控制所述显示屏转动所述角度，在转动后的显示屏上显示第二摄像头拍摄的图像；
所述第二摄像头，用于拍摄图像，所述第二摄像头为固定摄像头，安装在所述固定支架上；
其中，所述处理器具体用于提取所述第一摄像头拍摄的图像中的人脸矩形框，获得预先设定的初始位置；对比所述第一摄像头拍摄的图像中所述人脸的关键点位置，如果当前帧图像中所述人脸的关键点在检测到的人脸矩形框中的相对位置与所述当前帧之前预定数量的帧中所述人脸的关键点在检测到的人脸矩形框中的相对位置的偏差大于预定阈值，则确定所述人脸发生转动。
7.根据权利要求6所述的智能梳妆镜，其特征在于，
所述处理器，具体用于采用滑动窗口技术，在每一个滑动窗口内提取所述第一摄像头拍摄的图像的方向梯度直方图特征；将所述方向梯度直方图特征输入到支持向量机分类器，检测所述第一摄像头拍摄的图像中是否包括人脸；或者，将所述第一摄像头拍摄的图像输入预先训练的深度神经网络，通过所述预先训练的深度神经网络检测所述第一摄像头拍摄的图像中是否包括人脸。
8.根据权利要求6所述的智能梳妆镜，其特征在于，
所述处理器，还用于当从所述第一摄像头拍摄的图像中检测到人脸时，定位所述人脸的关键点位置之前，将检测到人脸的图像输入预先训练的深度神经网络，通过所述预先训练的深度神经网络检测所述图像中的人脸是否为正脸；所述深度神经网络包含至少两层，每一层包含随机生成或者训练的矩阵参数和一个激活函数；如果所述图像中的人脸不是正脸，则通过所述机械控制装置转动所述显示屏，直至检测到所述图像中的人脸为正脸。
9.根据权利要求6所述的智能梳妆镜，其特征在于，所述人脸的关键点位置包括：所述人脸的双眼位置、鼻尖位置和两侧鼻翼位置；
所述处理器，具体用于提取所述第一摄像头拍摄的图像中的人脸矩形框，获得预先设定的初始位置，所述初始位置包括所述人脸的双眼、鼻尖和两侧鼻翼的位置；在所述初始位置上提取所述人脸的双眼、鼻尖和两侧鼻翼的特征，组成初始关键点位置的特征矩阵；将所述初始关键点位置的特征矩阵乘以预先训练或者随机生成的第一矩阵，得到所述人脸的关键点位置矩阵。
10.根据权利要求6-9任意一项所述的智能梳妆镜，其特征在于，
所述处理器，具体用于将所述人脸发生转动前后的关键点位置输入预先训练的深度神经网络，通过所述预先训练的深度神经网络输出所述显示屏需要转动的角度，所述深度神经网络包含至少两层，每一层包含随机生成或者训练的矩阵参数和一个激活函数；或者，将所述人脸发生转动后的关键点位置的坐标排列成一个向量，将所述向量乘以随机生成或者预先训练的第二矩阵，获得所述显示屏需要转动的角度。
11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710998557.2A CN109696955B (zh) | 2017-10-20 | 2017-10-20 | 智能梳妆镜的调整方法和智能梳妆镜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710998557.2A CN109696955B (zh) | 2017-10-20 | 2017-10-20 | 智能梳妆镜的调整方法和智能梳妆镜 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109696955A CN109696955A (zh) | 2019-04-30 |
| CN109696955B true CN109696955B (zh) | 2020-06-30 |
Family
ID=66226295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710998557.2A Active CN109696955B (zh) | 2017-10-20 | 2017-10-20 | 智能梳妆镜的调整方法和智能梳妆镜 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109696955B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110849317B (zh) * | 2019-11-28 | 2022-04-29 | 咪咕文化科技有限公司 | 显示屏幕间夹角的确定方法、电子设备及存储介质 |
| CN112971320A (zh) * | 2019-12-16 | 2021-06-18 | 比亚迪股份有限公司 | 化妆镜及用于控制化妆镜的方法 |
| CN114098387B (zh) * | 2020-08-27 | 2024-02-27 | 阿里巴巴集团控股有限公司 | 镜子调节方法、装置、镜子、电子设备及计算机可读介质 |
| CN114110783B (zh) * | 2021-11-15 | 2023-03-10 | 珠海格力电器股份有限公司 | 一种柜式空调、控制方法、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102197932B (zh) * | 2010-03-26 | 2014-02-19 | 鸿富锦精密工业（深圳）有限公司 | 化妆镜调整系统、方法及具有该调整系统的化妆镜 |
| TWI445511B (zh) * | 2010-07-30 | 2014-07-21 | Hon Hai Prec Ind Co Ltd | 化妝鏡調整系統、方法及具有該調整系統的化妝鏡 |
| CN102547209B (zh) * | 2012-02-06 | 2015-07-22 | 华为技术有限公司 | 视讯设备控制方法、装置及视讯系统 |
| CN106419337A (zh) * | 2016-11-30 | 2017-02-22 | 广西大学 | 一种智能梳妆镜 |
| CN107609490B (zh) * | 2017-08-21 | 2019-10-01 | 美的集团股份有限公司 | 控制方法、控制装置、智能镜子和计算机可读存储介质 |
-
2017
- 2017-10-20 CN CN201710998557.2A patent/CN109696955B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109696955A (zh) | 2019-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11170210B2 (en) | Gesture identification, control, and neural network training methods and apparatuses, and electronic devices | |
| CN110163048B (zh) | 手部关键点的识别模型训练方法、识别方法及设备 | |
| JP6411505B2 (ja) | 全焦点画像を生成するための方法および装置 | |
| KR102666977B1 (ko) | 전자 장치 및 전자 장치의 영상 촬영 방법 | |
| CN107040698B (zh) | 无人图像捕获装置的图像捕获方法和支持其的电子装置 | |
| CN109696955B (zh) | 智能梳妆镜的调整方法和智能梳妆镜 | |
| US10616475B2 (en) | Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium | |
| CN110059661A (zh) | 动作识别方法、人机交互方法、装置及存储介质 | |
| KR102649197B1 (ko) | 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 | |
| CN107545248B (zh) | 生物特征活体检测方法、装置、设备及存储介质 | |
| KR102636243B1 (ko) | 이미지를 처리하기 위한 방법 및 그 전자 장치 | |
| US10303341B2 (en) | Modifying screen content based on gaze tracking and user distance from the screen | |
| US9693695B1 (en) | Detecting oral temperature using thermal camera | |
| KR102317820B1 (ko) | 이미지 처리 방법 및 이를 지원하는 전자장치 | |
| US20130286161A1 (en) | Three-dimensional face recognition for mobile devices | |
| KR20170134256A (ko) | 얼굴 윤곽 보정 방법 및 장치 | |
| CN103970441A (zh) | 执行设备的功能的方法以及用于执行该方法的设备 | |
| CN107124548A (zh) | 一种拍照方法及终端 | |
| US20160321833A1 (en) | Method and apparatus for generating moving photograph based on moving effect | |
| CN110570460B (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| KR102688619B1 (ko) | 이미지 처리 방법 및 이를 지원하는 전자 장치 | |
| CN106295533A (zh) | 一种自拍图像的优化方法、装置和拍摄终端 | |
| CN104869304A (zh) | 显示对焦的方法和应用该方法的电子设备 | |
| WO2019011091A1 (zh) | 拍照提醒方法、装置、终端和计算机存储介质 | |
| CN108985263B (zh) | 一种数据采集方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201221 Address after: 528311 4 Global Innovation Center, industrial road, Beijiao Town, Shunde District, Foshan, Guangdong, China Patentee after: GUANGDONG MEIDI WHITE HOUSEHOLD ELECTRICAL APPLIANCE TECHNOLOGY INNOVATION CENTER Co.,Ltd. Patentee after: MIDEA GROUP Co.,Ltd. Address before: 528311, 26-28, B District, Mei headquarters building, 6 Mei Road, Beijiao Town, Shunde District, Foshan, Guangdong. Patentee before: MIDEA GROUP Co.,Ltd. |
|
| TR01 | Transfer of patent right |