CN114422686A - 参数调整方法及相关装置 - Google Patents
参数调整方法及相关装置 Download PDFInfo
- Publication number
- CN114422686A CN114422686A CN202011094681.4A CN202011094681A CN114422686A CN 114422686 A CN114422686 A CN 114422686A CN 202011094681 A CN202011094681 A CN 202011094681A CN 114422686 A CN114422686 A CN 114422686A
- Authority
- CN
- China
- Prior art keywords
- preset
- camera
- face
- preset value
- tracking function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 87
- 238000003062 neural network model Methods 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims description 121
- 210000001508 eye Anatomy 0.000 claims description 41
- 230000008859 change Effects 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 10
- 230000007613 environmental effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000000977 initiatory effect Effects 0.000 claims 2
- 230000036544 posture Effects 0.000 description 99
- 239000010410 layer Substances 0.000 description 27
- 238000012545 processing Methods 0.000 description 22
- 238000007726 management method Methods 0.000 description 20
- 230000001965 increasing effect Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/725—Cordless telephones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种参数调整方法及相关装置,应用于电子设备,方法包括:在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态;通过预设神经网络模型判断第一人脸姿态是否满足第一预设条件;若第一人脸姿态不满足第一预设条件,则将摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,第一预设数值为启动眼球追踪功能之前对摄像头控制参数调整得到;若第一人脸姿态满足第一预设条件,则保持摄像头控制参数为第一预设数值。采用本申请实施例有利于减少电子设备的功耗。
Description
技术领域
本申请涉及眼球追踪技术领域,具体涉及一种参数调整方法及相关装置。
背景技术
随着手机摄影功能越来越强大,眼球追踪也逐渐进入大众的视线,可通过图像捕捉或扫描提取眼球运动的信息,从而实时追踪眼睛的变化,预测用户的状态和需求,并进行响应,达到用眼睛控制手机等设备的目的。但是,在手机等设备中实现该功能时,其核心主要在于通过手机等设备的前置摄像头不停的采集图像,当前置摄像头长期处于启动状态时,会消耗电池的大量电量,从而造成设备功耗增加。
发明内容
本申请实施例提供了一种参数调整方法及相关装置,有利于降低电子设备的功耗。
第一方面,本申请实施例提供一种参数调整方法,应用于电子设备,所述方法包括:
在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态;
通过预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件;
若所述第一人脸姿态不满足所述第一预设条件,则将所述摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,所述第一预设数值为启动所述眼球追踪功能之前对所述摄像头控制参数调整得到;
若所述第一人脸姿态满足所述第一预设条件,则保持所述摄像头控制参数为所述第一预设数值。
第二方面,本申请实施例提供一种参数调整装置,应用于电子设备,所述装置包括:检测单元、判断单元、调整单元和保持单元,其中,
所述检测单元,用于在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态;
所述判断单元,用于通过预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件;
所述调整单元,用于若所述第一人脸姿态不满足所述第一预设条件,则将所述摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,所述第一预设数值为启动所述眼球追踪功能之前对所述摄像头控制参数调整得到;
所述保持单元,用于若所述第一人脸姿态满足所述第一预设条件,则保持所述摄像头控制参数为所述第一预设数值。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,电子设备可在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态;通过预设神经网络模型判断第一人脸姿态是否满足第一预设条件;若第一人脸姿态不满足第一预设条件,则将摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,第一预设数值为启动眼球追踪功能之前对摄像头控制参数调整得到;若第一人脸姿态满足第一预设条件,则保持摄像头控制参数为第一预设数值;如此,可在启动眼球追踪功能以后,对上述人脸姿态的变化情况进行监控,并在该人脸姿态不满足上述预设条件以后,对电子设备的摄像头控制参数进行调整,以实现动态调整电子设备的摄像头控制参数,有利于减少电子设备的功耗。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图;
图2是本申请实施例提供的一种电子设备的软件结构示意图;
图3是本申请实施例提供的一种参数调整方法的场景示意图;
图4A是本申请实施例提供的一种参数调整方法的流程示意图;
图4B是本申请实施例提供的一种摄像头控制参数对眼球追踪算法影响的关系示意图;
图4C是本申请实施例提供的一种不同场景下对眼球追踪识别参数影响的关系示意图;
图5是本申请实施例提供的一种参数调整方法的流程示意图;
图6是本申请实施例提供的一种参数调整装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
1)电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载IOS系统、Android系统、Microsoft系统或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备,诸如膝上型计算机(Laptop)等。还应当理解的是,在其他一些实施例中,上述电子设备也可以不是便携式电子设备,而是台式计算机。
2)摄像头控制参数可包括以下至少一项:帧率、分辨率等等,在此不作限定。
3)预设神经网络模型可包括卷积神经网络模型,例如,可为AlexNet网络结构,该神经网络模型可包括8层架构,其中可包括5个卷积层和3个全连接层,在每一个卷积层中包含了激励函数以及局部响应归一化处理,然后在经过降采样处理等操作。
第一部分,本申请所公开的技术方案的软硬件运行环境介绍如下。
示例性的,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus,USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、指南针190、马达191、指示器192、摄像头193、显示屏194以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的部件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器110。其中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。在其他一些实施例中,处理器110中还可以设置存储器,用于存储指令和数据。示例性地,处理器110中的存储器可以为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。这样就避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备100处理数据或执行指令的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit,I2C)接口、集成电路间音频(inter-integrated circuitsound,I2S)接口、脉冲编码调制(pulse code modulation,PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、用输入输出(general-purpose input/output,GPIO)接口、SIM卡接口和/或USB接口等。其中,USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。该USB接口130也可以用于连接耳机,通过耳机播放音频。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110、内部存储器121、外部存储器、显示屏194、摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量、电池循环次数、电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络)、蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS)、调频(frequency modulation,FM)、近距离无线通信技术(near field communication,NFC)、红外技术(infrared,IR)、UWB等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为参数调整的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像、视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emittingdiode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED)、柔性发光二极管(flex light-emittingdiode,FLED)、迷你发光二极管(mini light-emitting diode,miniled)、MicroLed、Micro-oLed、量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或多个显示屏194。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点、亮度、肤色进行算法优化。ISP还可以对拍摄场景的曝光、色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或多个摄像头193。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3、MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别、人脸识别、语音识别、文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的显示页面元素的方法,以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储部件,闪存部件,通用闪存存储器(universal flash storage,UFS)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备100执行本申请实施例中所提供的显示页面元素的方法,以及其他应用及数据处理。电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、以及应用处理器等实现音频功能。例如音乐播放、录音等。
传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。
其中,压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即X、Y和Z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
示例性的,图2示出了电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
第二部分,本申请实施例所公开的示例应用场景介绍如下。
示例性的,图3示出了一种本申请所适用的参数调整方法的场景示意图,电子设备可包括摄像头,举例来说,若当前场景为用户在使用眼球追踪功能玩游戏的时候,若同时与其他人交流,此时,若该用户抬起头部导致摄像头无法拍摄到人眼部位,此时的人脸姿态已发生变化;若此时上述眼球追踪功能一直保持启动状态,则会加大设备耗电量,增加电子设备的功耗损失;如此,可通过本申请实施例所描述的参数调整方法,通过预设神经网络模型判断该用户的人脸姿态是否满足预设条件,在满足预设条件时,可开启眼球追踪功能,并可监控该用户的人脸姿态变化情况,若出现不满足预设条件的情况,则可对该摄像头的摄像头控制参数进行调整,以减少电子设备的功耗损失;反之,可保持上述眼球追踪功能;从而,通过对摄像头控制参数的动态调整,有利于减少电子设备的功耗损失,有利于提高用户体验。
第三部分,本申请实施例所公开的权要保护范围介绍如下。
请参阅图4A,图4A是本申请实施例提供了一种参数调整方法的流程示意图,应用于电子设备,如图所示,本参数调整方法包括以下操作。
S401、在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态。
其中,上述电子设备可包括摄像头,具体可为前置摄像头,可通过该摄像头拍摄得到用户的人脸图像,上述用户可为具备权限使用该电子设备的任意一个用户;上述眼球追踪功能可用于帮助用户简化操作,可通过眼球控制电子设备实现一些场景下的不同功能,例如,在视频场景下,用户可通过该眼球追踪功能实现选择快进视频、暂停视频、下一个视频等功能。
其中,在本申请实施例中,可通过人脸图像得到用户的人脸姿态,该人脸姿态可指用户在不同的状态下,人脸相对于电子设备的屏幕的偏移角度、俯视角度等等,在此不作限定。例如,在视频场景下,用户可通过眼球追踪功能实现对视频播放的控制,此时,该用户的脸部相对于电子设备屏幕存在一定的偏移角度,人脸中的人眼相对于电子设备屏幕存在一定的俯视角度,上述不同的偏移角度或者俯视角度组成了该用户的当前人脸姿态;一般情况下,伴随着用户相对于电子设备的偏移角度的不同,对于上述眼球追踪功能的识别精度有不同程度的影响,当用户的人脸相对于电子设备的偏转姿态过大时,那么,通过眼球追踪功能计算的结果数据是不可信的。
可选地,在所述启动所述眼球追踪功能之前,还可包括如下步骤:确定目标前台应用场景;根据预设前台应用场景与所述眼球追踪功能的识别精度之间的映射关系,确定所述目标前台应用场景对应的目标识别精度;根据预设识别精度与所述摄像头控制参数对应的预设数值之间的映射关系,确定所述目标识别精度对应的目标预设数值;将所述摄像头控制参数调整为所述目标预设数值,其中,所述目标预设数值即为所述第一预设数值;依据所述第一预设数值,执行所述启动所述眼球追踪功能的步骤。
其中,上述前台应用场景可包括以下至少一种:视频场景、阅读场景、游戏场景等等,在此不作限定。
其中,电子设备可预设前台应用场景与眼球追踪识别的识别精度之间的映射关系;不同的前台应用场景,对于眼球追踪功能的识别精度以及识别延迟等参数的要求是不同的。
举例来说,如图4B所示,为一种摄像头控制参数对眼球追踪算法影响的关系示意图;如图所示,可包括前置摄像头拍摄时候分辨率和帧率对眼球追踪功能的识别精度以及电子设备功耗的影响,可以看出,随着分辨率的增加,眼球追踪功能的识别精度以及电子设备整体功耗会增加;随着帧率的增加,眼球追踪的识别延迟降低,电子设备的整体功耗会增加。
进一步地,如图4C所示,为一种不同场景下对眼球追踪识别参数影响的关系示意图;如图所示,在游戏场景中,往往需要更高的识别精度和极低的延迟,此时需要增加摄像头控制参数中包括的分辨率来满足游戏场景的需求;当用户使用眼球追踪功能阅读电子书时,则不需要非常低的延迟以及识别精度,在这种场景下可以动态降低摄像头控制参数中包括的分辨率以及帧率,达到降低电子设备功耗的效果。
其中,电子设备还可预设识别精度与摄像头控制参数对应的预设数值之间的映射关系;可针对不同的识别精度预设不同的预设数值,该摄像头控制参数可包括以下至少一种:帧率、分辨率等等,在此不作限定。
可见,本申请实施例中,可结合考虑不同应用场景对于眼球追踪功能实现的需求不同,对摄像头控制参数动态调整,以在满足眼球追踪功能实现的同时,降低电子设备的功耗。
可选地,在所述启动眼球追踪功能之前,还可包括如下步骤:启动所述摄像头,将所述摄像头控制参数调整到第三预设数值,通过所述摄像头检测得到用户的第三人脸姿态;通过所述预设神经网络模型判断所述第三人脸姿态是否满足第三预设条件;若所述第三人脸姿态满足所述第三预设条件,则执行所述启动眼球追踪功能的步骤;若所述第三人脸姿态不满足所述第三预设条件,则执行将所述第三预设数值调整到第四预设数值。
其中,上述第三预设条件可为用户自行设置或者系统默认,在此不作限定;上述摄像头控制参数对眼球追踪功能的识别精度以及对电子设备的功耗有一定的影响;因此,需要在打开摄像头以后,将摄像头控制参数调整到第三预设数值,该第三预设数值可为默认数值,可理解为保证眼球追踪功能的启动状态的默认数值或者常规数值,或者可为启动上述眼球追踪功能的数值范围内的任意一个值;
其中,上述第三预设条件可与上述第一预设条件可相同或不同,在此不再赘述;例如,在不同的场景下,上述第一预设条件可与第三预设条件不相同;例如,在使用眼动控制点击按钮和眼动控制翻看电子书两个场景时,分别对应于第一人脸姿态和第三人脸姿态,其对应的标准人脸姿态可不同,那么第三预设条件和第一预设条件则不同。
具体实现中,若此时第三人脸姿态满足上述标准人脸姿态对应的标准人脸参数范围,且此时电子设备对应的摄像头控制参数满足启动上述眼球追踪功能所需要的参数范围,则可认为该第三人脸姿态满足第三预设条件,则可启动上述眼球追踪功能。
可见,本申请实施例中,可在启动摄像头之后,将摄像头控制参数调整到第三预设数值,以使得当前的电子设备对应的摄像头控制参数符合眼球追踪功能实现的实际需求,因此,可在第三预设数值下,检测得到该用户的第三人脸姿态,并在第三人脸姿态满足第三预设条件时,执行启动眼球追踪功能,有利于减少电子设备的功耗;有利于在检测上述第三人脸姿态满足上述第三预设条件以后,保证能够直接的有效启动上述眼球追踪功能。
其中,上述第四预设数值在数值上是不同于上述第三预设数值的,但该第四预设数值仍旧包括上述摄像头对应的帧率和分辨率等等。例如,在观看视频场景下,若该用户与其他人进行交谈时,此时的第三人脸姿态发生较大变化,不满足上述第三预设条件以后,则可将上述第三预设数值调整到第四预设数值,以降低电子设备在眼球追踪功能运行下的功耗。
需要说明的是,上述第四预设数值一般情况下,可设置为启动上述眼球追踪功能,摄像头能够承受的最小帧率和最小分辨率,但是在不同的场景下,由于对于眼球追踪功能的识别精度的要求不同,因此,该第四预设数值中的帧率可能不是最小帧率,可能会相对于第三预设数值中包含的帧率是增大的,因此,原则上不对具体的第三预设数值和第四预设数值做具体的数值比较,但调整到第四预设数值的目的为降低电子设备的功耗。
可选地,若所述第三人脸姿态不满足所述第三预设条件,在所述将所述第三预设数值调整到第四预设数值之后,所述方法还包括:通过所述摄像头检测得到所述用户的第一人脸姿态;通过所述预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件;若所述第一人脸姿态满足所述第一预设条件,则将所述第四预设数值调整到第五预设数值,其中,所述第五预设数值根据人脸姿态变化程度得到,所述人脸姿态变化程度由所述神经网络模型根据所述第一人脸姿态对应的人脸图像得到;根据所述第五预设数值,通过所述摄像头检测得到所述用户的第二人脸姿态;通过所述预设神经网络模型判断所述第二人脸姿态是否满足第二预设条件;在所述第二人脸姿态满足所述第二预设条件时,则启动所述眼球追踪功能。
其中,在启动眼球追踪功能之前,上述第三人脸姿态不满足上述第三预设条件时,即当前人脸姿态不满足启动眼球追踪功能时,可监控该用户的人脸姿态变化;可得到第一人脸姿态,该第一人脸姿态不同于上述步骤S401中启动上述眼球追踪功能时的人脸姿态。
进一步地,可通过判断该第一人脸姿态是否满足第一预设条件,以得到当前是否满足启动眼球追踪功能。
其中,上述第五预设数值不同于上述第四预设数值,该第五预设数值可根据第一人脸姿态相对于启动摄像头以后的第三人脸姿态的人脸姿态变化程度得到,该人脸姿态变化程度可由预设神经网络模型得到。
举例来说,若该人脸姿态变化程度较大,则可确定在上述第一人脸姿态下,若保持当前摄像头控制参数会增加电子设备的功耗,则可适当降低电子设备的摄像头控制参数,将第四预设数值调整到第五预设数值,该第四预设数值低于上述第五预设数值;反正,若该人脸姿态变化程度较大且在保持眼球追踪功能时,需要的摄像头控制参数增加,则可适当增加该电子设备的摄像头控制参数,调整到合适的保持眼球追踪功能的第五预设数值。
其中,上述第二人脸姿态不同于上述启动眼球追踪功能以后的所确定的第二人脸姿态,可基于第五预设数值,通过摄像头采集得到该用户对应的第二人脸姿态;并在第二人脸姿态满足上述第二预设条件时,启动眼球追踪功能,该第二预设条件可与上述第三预设条件相同。
可见,在本申请实施例中,可在用户的人脸姿态满足预设条件以后,即满足开启上述眼球追踪功能以后,开启眼球追踪功能,有利于减少电子设备的功耗,并且避免了电子设备的高耗电的情况。
S402、通过预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件。
其中,上述预设神经网络模型可为用户自行设置或者系统默认,在此不作限定;例如,可为卷积神经网络模型,例如,可为AlexNet网络结构,该神经网络模型可包括8层架构,其中可包括5个卷积层和3个全连接层,在每一个卷积层中包含了激励函数以及局部响应归一化处理,然后再经过降采样处理等操作。
具体实现中,可在测试阶段开启眼球追踪算法,并在启动上述眼球追踪功能时,通过摄像头拍摄得到用户在不同人脸姿态下的多张人脸图像对应的多个注视点集作为训练数据,每一人脸图像可对应一组注视点集,并将上述训练数据输入上述卷积神经网络模型中进行训练,以确定该模型的参数,得到训练好的卷积神经网络模型。
其中,上述摄像头控制参数可包括以下至少一项:帧率、分辨率等等,在此不作限定。
其中,上述第一预设条件可为用户自行设置或者系统默认,在此不作限定;该第一预设条件可理解为保持上述眼球追踪功能时,该人脸姿态需满足的条件。
可选地,可设置标准人脸姿态,需要说明的是,可针对不同的场景设置不同的标准人脸姿态;上述场景可包括以下至少一种:眼动控制点击按钮、眼动控制翻看电子书等等,在此不作限定;每一标准人脸姿态可对应有一组标准人脸参数,该人脸参数可包括人脸转动角度、人脸倾斜角度、人脸俯视角度等等;可选地,可根据该参数,判断上述第一人脸姿态是否正常等等,具体的在此不作限定。
其中,上述标准人脸姿态可为用户自行设置或者系统默认,在此不作限定;可理解为,当用户姿态为标准人脸姿态时,则触发上述眼球追踪功能。进而,若上述第一人脸姿态正常,或者相对于标准人脸姿态下的人脸姿态变化程度较小或者在一定范围内,则可认为上述第一人脸姿态满足第一预设条件。
可选地,所述通过预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件,可包括如下步骤:获取所述电子设备的屏幕中预设的多个标定点;确定所述用户在所述第一人脸姿态时注视所述屏幕的多个注视点;将所述多个标定点和所述多个注视点输入所述预设神经网络模型;确定每一注视点与每一标定点之间的误差,得到多个误差值;依据所述多个误差值判断所述第一人脸姿态是否满足第一预设条件。
其中,电子设备可预先将屏幕划分为多个区域,每一区域可对应有至少一个标定点,得到设置在屏幕中的多个标定点,该标定点的具体规划范围可基于标准人脸姿态进行设置。
具体实现中,可通过上述前置摄像头获取用户在不同时刻的多个人脸图像,并根据该多个人脸图像识别用户的注视、眨眼、眼跳等动作,得到用户在第一人脸姿态下的注视电子设备屏幕的多个注视点,该注视点可理解为屏幕中用户关注的区域中的关注焦点;进而,可将上述多个标定点和多个注视点输入上述已经训练好的预设神经网络模型中,以得到每一注视点与每一标定点之间的误差,得到多个误差值。
在一个可能的示例中,所述依据所述多个误差值判断所述第一人脸姿态是否满足第一预设条件,可包括如下步骤:确定所述多个误差值对应的均值;若所述均值大于或等于预设误差阈值,则执行确定所述第一人脸姿态不满足所述第一预设条件;若所述均值小于所述预设误差阈值,则执行确定所述第一人脸姿态满足所述第一预设条件。
其中,上述预设误差阈值可为用户自行设置或者系统默认,在此不作限定。
具体实现中,可通过上述训练好的预设神经网络模型,确定每一注视点与标定点之间的误差,可得到多个误差值;进而,可根据多个误差值,计算得到多个误差值对应的均值;最后,可基于该均值,确定该第一人脸姿态相对于标准人脸姿态的变化程度,进而,可进一步确定该第一人脸姿态是否满足第一预设条件;例如,若该均值大于或等于上述预设误差阈值,则可以认为该第一人脸姿态下对于启动上述眼球追踪功能以后得到的各种计算结果是不可信的,可确定该第一人脸姿态相对于标准人脸姿态的变化程度较大,则可不开启上述眼球追踪功能,即,不满足第一预设条件;反之,则认为满足上述第一预设条件。
可见,本申请实施例中,可通过预设神经网络模型确定该用户当前的人脸姿态是否正常,具体可依据用户在第一人脸姿态下注视上述屏幕的多个注视点与多个标定点之间的差异性确定,若正常则可启动上述眼球追踪功能,不需要具体去确定人脸姿态变化的具体数值,有利于提高人脸姿态的确定效率;同时,有利于节省电子设备的计算资源,并有利于减少电子设备的功耗损失。
S403、若所述第一人脸姿态不满足所述第一预设条件,则将所述摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,所述第一预设数值为启动所述眼球追踪功能之前对所述摄像头控制参数调整得到。
其中,上述第二预设数值可为用户自行设置或者系统默认,在此不做限定;该第二预设数值不同于上述第一预设数值,在具体实现中,该第二预设数值可小于上述第一预设数值;如此,可在上述第一人脸姿态不满足第一预设条件时,调低摄像头控制参数,有利于降低电子设备的功耗。
其中,上述第一预设数值可为启动所述眼球追踪功能之前对摄像头控制参数调整得到,该第一预设数值可为启动摄像头以后的默认分辨率和帧率。
可选地,在上述步骤S403之后,在所述将所述摄像头的摄像头控制参数由第一预设数值调整到第二预设数值之后,还可包括如下步骤:通过所述摄像头检测得到所述用户的第二人脸姿态;通过所述预设神经网络模型判断所述第二人脸姿态是否满足第二预设条件;若所述第二人脸姿态满足所述第二预设条件,则将所述第二预设数值调整到第三预设数值,其中,所述第三预设数值根据人脸姿态变化程度得到,所述人脸姿态变化程度由所述神经网络模型根据所述第二人脸姿态对应的人脸图像得到。
其中,上述第二预设条件可为用户自行设置或者系统默认,在此不作限定;该第二预设条件可与上述第一预设条件一致或者不一致。
举例来说,在视频场景下,当用户保持上述第一人脸姿态观看视频时,若被其他事情打断,例如可能处于正在与其他人对话或者其他场景下,该用户当前的眼部注意力可能不在电子设备的屏幕上,那么,该用户的第一人脸姿态就会发生变化,且该第一人脸姿态可能不满足上述启动眼球追踪的条件,则会影响眼球追踪功能的使用与实现;则可通过摄像头检测得到该用户的第二人脸姿态,并采集当前第二人脸姿态对应的人脸图像,并基于上述预设神经网络模型,确定保持眼球追踪功能下,有利于确定电子设备在减少功耗需求时所对应的摄像头控制参数。
其中,上述人脸姿态变化程度由神经网络模型根据第二人脸姿态对应的人脸图像得到,具体实现中,可通过上述预设神经网络模型确定该人脸图像确定人眼注视上述电子设备屏幕的多个注视点,并与预设的多个标定点进行比较,得到每一注视点与标定点之间的误差值,得到多个误差值,并通过上述多个误差值,确定该用户的人脸姿态变化程度;可计算多个误差值对应的均值,并基于预设的均值与人脸姿态变化程度之间的映射关系,确定该均值对应的人脸姿态变化程度。
其中,电子设备中可预设误差值对应的均值与人脸姿态变化程度之间的映射关系,具体,可针对不同的均值范围,确定人脸姿态变化级别对应的数值,如下表1所示,当人脸图像对应的标定点与注视点之间的均值越大时,其对应的人脸姿态变化程度越大,其对应的级别也越高;如此,可基于上述均值,确定上述第二人脸姿态下,该人脸图像对应的人脸姿态变化程度。
此外,上述人脸姿态变化程度的级别用于表示该人脸姿态变化程度的一个程度化的标准,不代表具体的变化程度数值,如此,在本申请实施例中,可减少计算量,以节省电子设备的功耗。
表1、一种均值范围与人脸姿态变化程度的关系表
均值范围 | 人脸姿态变化程度级别 |
[0.1,0.4) | 1 |
(0.4,0.7] | 2 |
(0.7,1.0] | 3 |
如此,在本申请实施例中,可监控该用户的人脸姿态变化,确定第二人脸姿态,可基于上述预设神经网络模型通过第二人脸姿态确定该用户的人脸姿态变化程度,有利于帮助后续进一步在保持眼球追踪功能的情况下,该用户人脸姿态发生变化时,确定摄像头控制参数,有利于减少电子设备的功耗。
可选地,在实际应用情况下,上述误差往往和获取图像的质量息息相关,当用户在不同人脸姿态下使用电子设备时,开启眼球追踪功能时候的精度也不尽相同,当用户面部正对前置摄像头时,计算获取的眼球追踪功能的精度是最高的;当头部发生偏转时,则会有不同程度的精度降低,当姿态偏转过于巨大,那么眼球追踪计算结果可以认为是不可信的;因此,可在上述人脸姿态变化程度大于一定范围,例如,当该人脸姿态变化程度对应的等级为3时,则可将上述摄像头控制参数调整到最小值,并在该低功耗状态下继续监控用户的人脸姿态变化程度。
其中,上述第三预设数值可由上述人脸姿态变化程度确定,可针对不同级别的人脸姿态变化程度,预先设定不同的预设数值。
举例来说,若该人脸姿态变化程度较大,则可确定在上述第二人脸姿态下,若保持当前摄像头控制参数会增加电子设备的功耗,则可适当降低电子设备的摄像头控制参数,将第二预设数值调整到第三预设数值,该第三预设数值低于上述第二预设数值;反正,若该人脸姿态变化程度较大且在保持眼球追踪功能时,需要的摄像头控制参数增加,则可适当增加该电子设备的摄像头控制参数,调整到合适的保持眼球追踪功能的第三预设数值。
可见,本申请实施例中,可在第二人脸姿态满足第二预设条件,即在第二人脸姿态正常时,根据该用户的人脸姿态变化程度,调整电子设备的摄像头控制参数,以节省电子设备的功耗。
其中,在未启动眼球追踪功能时,也就是启动眼球追踪功能之前,也可通过上述方法确定上述第五预设数值,具体的实现方式在此不再赘述。
可选地,上述方法还可包括如下步骤:若所述第二人脸姿态不满足所述第二预设条件,则确定所述摄像头的开启时长;若所述开启时长等于预设时间阈值,则关闭所述摄像头。
其中,上述预设时间阈值可为用户自行设置或者系统默认,在此不作限定。
其中,上述设备状态可包括以下至少一种:启动状态、显示屏点亮状态、解锁状态、锁定状态等等,在此不作限定;上述预设状态可为用户自行设置或者系统默认,在此不作限定。
具体实现中,由于电子设备中摄像头一直保持启动状态,会增加消耗电子设备的电量,以及需要CPU的持续高效工作,均会造成电子设备功耗的增加;因此,可监控电子设备的摄像头的启动状态,并确定保持该摄像头的开启时长,若该开启时长大于或等于上述预设时间阈值,则关闭该摄像头;反之,若小于上述预设时间阈值,则可保持监控该电子设备的当前设备状态,直到大于或等于上述预设时间阈值,则关闭上述摄像头。
可选地,在在所述关闭所述摄像头之后,还可包括如下步骤:监控所述电子设备的设备状态;若所述设备状态满足预设状态,则重新启动所述摄像头。
具体实现中,可根据电子设备中陀螺仪对该电子设备进行监控,以通过陀螺仪数据是否发生变化确定该电子设备的设备状态是否发生变化,从而确定该电子设备的设备状态是否满足预设状态时,该陀螺仪对应的数据。
具体实现中,可在监控到电子设备的状态发生变化或者满足上述预设状态时,例如,当用户拿起该电子设备时,陀螺仪的数据发生变化,可再次启动摄像头,并继续检测该用户的人脸姿态,以实现后续功能,即是否启动眼球追踪功能。
可见,本申请实施例中,可在电子设备的摄像头的开启时长大于或等于预设时间阈值以后,关闭该摄像头,以节省电子设备的功耗,有利于避免高耗电情况的产生。并在设备状态发生变化且满足预设状态时,再启动上述摄像头,有利于实现快速反应于用户的状态变化,有利于提高用户体验。
S404、若所述第一人脸姿态满足所述第一预设条件,则保持所述摄像头控制参数为所述第一预设数值。
其中,若该第一人脸姿态发生变化满足上述第一预设条件,则表明该用户满足使用上述眼球追踪功能的条件,则可保持摄像头控制参数为第一预设数值,并保持上述眼球追踪功能。
可选地,在所述启动眼球追踪功能之后,还可包括如下步骤:确定所述摄像头在检测所述第一人脸姿态时眼球区域图像对应的对比度;获取所述电子设备对应的当前环境参数;依据所述当前环境参数和所述对比度,对所述第一预设数值进行调整。
其中,上述当前环境参数可指设备当下外界的不同的环境状态对应的环境参数,例如,上述环境状态可包括明亮环境或者暗淡环境等等,在此不作限定;上述环境参数可包括以下至少一种:环境亮度、环境色温、湿度、温度、地理位置、磁场、环境背景、光源数量等等,在此不作限定。
具体实现中,在检测第一人脸姿态满足第一预设条件,即第一人脸姿态正常的情况下,并在实现眼球追踪功能的时候,可判断眼球区域图像的对比度,动态调整第一预设数值到合适的帧率和分辨率,以保证在不同环境状态下在眼球追踪的精度和功耗之间找到合适的平衡点。例如,当环境状态为暗淡环境时,相同分辨率下拍摄的图像相比于明亮环境更差,因此可通过对比图片中眼球位置的对比度,通过提高拍摄时的分辨率以提高眼球追踪精度;当环境状态切换为明亮状态时,则动态降低分辨率,以在保证上述目标识别精度的情况下,有利于降低电子设备的功耗。
可见,本申请实施例中,可考虑到在电子设备端使用眼球追踪带来的不确定的环境状态,可在保证上述眼球追踪功能的识别精度的前提下,基于环境状态的不同对第一预设数值进行调整,以达到减少电子设备功耗的目的。
可见,在本申请实施例中,电子设备可在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态;通过预设神经网络模型判断第一人脸姿态是否满足第一预设条件;若第一人脸姿态不满足第一预设条件,则将摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,第一预设数值为启动眼球追踪功能之前对摄像头控制参数调整得到;若第一人脸姿态满足第一预设条件,则保持摄像头控制参数为第一预设数值;如此,可在启动眼球追踪功能以后,对上述人脸姿态的变化情况进行监控,并在该人脸姿态不满足上述预设条件以后,对电子设备的摄像头控制参数进行调整,以实现动态调整电子设备的摄像头控制参数,有利于减少电子设备的功耗。
请参阅图5,图5是本申请实施例提供了一种参数调整方法的流程示意图,应用于电子设备,如图所示,本参数调整方法包括以下操作。
S501、启动所述摄像头,将所述摄像头控制参数调整到第三预设数值,通过所述摄像头检测得到用户的第三人脸姿态。
S502、通过所述预设神经网络模型判断所述第三人脸姿态是否满足第三预设条件。
S503、若所述第三人脸姿态满足所述第三预设条件,则执行所述启动眼球追踪功能的步骤。
S504、若所述第三人脸姿态不满足所述第三预设条件,则执行将所述第三预设数值调整到第四预设数值。
S505、在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态。
S506、通过预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件。
S507、若所述第一人脸姿态不满足所述第一预设条件,则将所述摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,所述第一预设数值为启动所述眼球追踪功能之前对所述摄像头控制参数调整得到。
S508、若所述第一人脸姿态满足所述第一预设条件,则保持所述摄像头控制参数为所述第一预设数值。
S509、通过所述摄像头检测得到所述用户的第一人脸姿态。
S510、通过所述预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件。
S511、若所述第一人脸姿态满足所述第一预设条件,则将所述第四预设数值调整到第五预设数值。
S512、根据所述第五预设数值,通过所述摄像头检测得到所述用户的第二人脸姿态。
S513、通过所述预设神经网络模型判断所述第二人脸姿态是否满足第二预设条件;在所述第二人脸姿态满足所述第二预设条件时,则启动所述眼球追踪功能。
其中,上述步骤S501-步骤S513的具体描述可以参照图4A所述的参数调整方法的相应描述,在此不再赘述。
可以看出,在本申请实施例中,电子设备可启动摄像头,将摄像头控制参数调整到第三预设数值,通过摄像头检测得到用户的第三人脸姿态;通过预设神经网络模型判断第三人脸姿态是否满足第三预设条件;若第三人脸姿态满足第三预设条件,则执行启动眼球追踪功能的步骤。在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态;通过预设神经网络模型判断第一人脸姿态是否满足第一预设条件;若第一人脸姿态不满足第一预设条件,则将摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,第一预设数值为启动眼球追踪功能之前对摄像头控制参数调整得到;若第一人脸姿态满足第一预设条件,则保持摄像头控制参数为第一预设数值。若第三人脸姿态不满足第三预设条件,则执行将第三预设数值调整到第四预设数值,通过摄像头检测得到用户的第一人脸姿态;通过预设神经网络模型判断第一人脸姿态是否满足第一预设条件;若第一人脸姿态满足第一预设条件,则将第四预设数值调整到第五预设数值;根据第五预设数值,通过摄像头检测得到用户的第二人脸姿态;通过预设神经网络模型判断第二人脸姿态是否满足第二预设条件;在第二人脸姿态满足第二预设条件时,则启动眼球追踪功能;如此,可在不同的情况下,对该摄像头的控制参数进行调整,以当用户在不同人脸姿态下,保证电子设备的工作状态的同时,也有利于降低上述电子设备的功耗。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图6示出了参数调整装置的示意图,如图6所示,该参数调整装置600应用于电子设备,该参数调整装置600可以包括:检测单元601、判断单元602、调整单元603和保持单元604,其中,
其中,检测单元601可以用于支持电子设备执行上述步骤401,和/或用于本文所描述的技术的其他过程。
判断单元602可以用于支持电子设备执行上述步骤402,和/或用于本文所描述的技术的其他过程。
调整单元603可以用于支持电子设备执行上述步骤403,和/或用于本文所描述的技术的其他过程。
保持单元604可以用于支持电子设备执行上述步骤404,和/或用于本文所描述的技术的其他过程。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例提供的电子设备,用于执行上述参数调整方法,因此可以达到与上述实现方法相同的效果。
在采用集成的单元的情况下,电子设备可以包括处理模块、存储模块和通信模块。其中,处理模块可以用于对电子设备的动作进行控制管理,例如,可以用于支持电子设备执行上述检测单元601、判断单元602、调整单元603和保持单元604执行的步骤。存储模块可以用于支持电子设备执行存储程序代码和数据等。通信模块,可以用于支持电子设备与其他设备的通信。
其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理(digital signal processing,DSP)和微处理器的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、Wi-Fi芯片等与其他电子设备交互的设备。
在一个实施例中,当处理模块为处理器,存储模块为存储器时,本实施例所涉及的电子设备可以为具有图1所示结构的设备。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种参数调整方法,其特征在于,应用于电子设备,所述方法包括:
在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态;
通过预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件;
若所述第一人脸姿态不满足所述第一预设条件,则将所述摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,所述第一预设数值为启动所述眼球追踪功能之前对所述摄像头控制参数调整得到;
若所述第一人脸姿态满足所述第一预设条件,则保持所述摄像头控制参数为所述第一预设数值。
2.根据权利要求1所述的方法,其特征在于,在所述将所述摄像头的摄像头控制参数由第一预设数值调整到第二预设数值之后,所述方法还包括:
通过所述摄像头检测得到所述用户的第二人脸姿态;
通过所述预设神经网络模型判断所述第二人脸姿态是否满足第二预设条件;
若所述第二人脸姿态满足所述第二预设条件,则将所述第二预设数值调整到第三预设数值,其中,所述第三预设数值根据人脸姿态变化程度得到,所述人脸姿态变化程度由所述神经网络模型根据所述第二人脸姿态对应的人脸图像得到。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述第二人脸姿态不满足所述第二预设条件,则确定所述摄像头的开启时长;
若所述开启时长等于预设时间阈值,则关闭所述摄像头。
4.根据权利要求3所述的方法,其特征在于,在所述关闭所述摄像头之后,所述方法还包括:
监控所述电子设备的设备状态;
若所述设备状态满足预设状态,则重新启动所述摄像头。
5.根据权利要求1所述的方法,其特征在于,在所述启动眼球追踪功能之前,所述方法还包括:
确定目标前台应用场景;
根据预设前台应用场景与所述眼球追踪功能的识别精度之间的映射关系,确定所述目标前台应用场景对应的目标识别精度;
根据预设识别精度与所述摄像头控制参数对应的预设数值之间的映射关系,确定所述目标识别精度对应的目标预设数值;
将所述摄像头控制参数调整为所述目标预设数值,其中,所述目标预设数值即为所述第一预设数值;
依据所述第一预设数值,执行所述启动所述眼球追踪功能的步骤。
6.根据权利要求1所述的方法,其特征在于,在启动所述眼球追踪功能之前,所述方法还包括:
启动所述摄像头,将所述摄像头控制参数调整到第三预设数值,通过所述摄像头检测得到用户的第三人脸姿态;
通过所述预设神经网络模型判断所述第三人脸姿态是否满足第三预设条件;
若所述第三人脸姿态满足所述第三预设条件,则执行所述启动眼球追踪功能的步骤;
若所述第三人脸姿态不满足所述第三预设条件,则执行将所述第三预设数值调整到第四预设数值。
7.根据权利要求1所述的方法,其特征在于,在所述启动眼球追踪功能之后,所述方法还包括:
确定所述摄像头在检测所述第一人脸姿态时眼球区域图像对应的对比度;
获取所述电子设备对应的当前环境参数;
依据所述当前环境参数和所述对比度,对所述第一预设数值进行调整。
8.一种参数调整装置,其特征在于,应用于电子设备,所述装置包括:检测单元、判断单元、调整单元和保持单元,其中,
所述检测单元,用于在启动眼球追踪功能以后,通过摄像头检测得到用户的第一人脸姿态;
所述判断单元,用于通过预设神经网络模型判断所述第一人脸姿态是否满足第一预设条件;
所述调整单元,用于若所述第一人脸姿态不满足所述第一预设条件,则将所述摄像头的摄像头控制参数由第一预设数值调整到第二预设数值,其中,所述第一预设数值为启动所述眼球追踪功能之前对所述摄像头控制参数调整得到;
所述保持单元,用于若所述第一人脸姿态满足所述第一预设条件,则保持所述摄像头控制参数为所述第一预设数值。
9.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011094681.4A CN114422686B (zh) | 2020-10-13 | 2020-10-13 | 参数调整方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011094681.4A CN114422686B (zh) | 2020-10-13 | 2020-10-13 | 参数调整方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114422686A true CN114422686A (zh) | 2022-04-29 |
CN114422686B CN114422686B (zh) | 2024-05-31 |
Family
ID=81260618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011094681.4A Active CN114422686B (zh) | 2020-10-13 | 2020-10-13 | 参数调整方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114422686B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116257139A (zh) * | 2023-02-27 | 2023-06-13 | 荣耀终端有限公司 | 眼动追踪方法和电子设备 |
CN116339510A (zh) * | 2023-02-27 | 2023-06-27 | 荣耀终端有限公司 | 眼动追踪方法、装置、电子设备及计算机可读存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100123544A1 (en) * | 2008-11-17 | 2010-05-20 | Roger Li-Chung Wu | Vision protection method and system thereof |
CN105608436A (zh) * | 2015-12-23 | 2016-05-25 | 联想(北京)有限公司 | 一种功耗控制方法及电子设备 |
CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
CN108229284A (zh) * | 2017-05-26 | 2018-06-29 | 北京市商汤科技开发有限公司 | 视线追踪及训练方法和装置、系统、电子设备和存储介质 |
CN108280399A (zh) * | 2017-12-27 | 2018-07-13 | 武汉普利商用机器有限公司 | 一种场景自适应人脸识别方法 |
CN109710080A (zh) * | 2019-01-25 | 2019-05-03 | 华为技术有限公司 | 一种屏幕控制和语音控制方法及电子设备 |
CN110051319A (zh) * | 2019-04-23 | 2019-07-26 | 七鑫易维(深圳)科技有限公司 | 眼球追踪传感器的调节方法、装置、设备及存储介质 |
CN110099219A (zh) * | 2019-06-13 | 2019-08-06 | Oppo广东移动通信有限公司 | 全景拍摄方法及相关产品 |
CN110221696A (zh) * | 2019-06-11 | 2019-09-10 | Oppo广东移动通信有限公司 | 眼球追踪方法及相关产品 |
CN110780742A (zh) * | 2019-10-31 | 2020-02-11 | Oppo广东移动通信有限公司 | 眼球追踪处理方法及相关装置 |
-
2020
- 2020-10-13 CN CN202011094681.4A patent/CN114422686B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100123544A1 (en) * | 2008-11-17 | 2010-05-20 | Roger Li-Chung Wu | Vision protection method and system thereof |
CN105608436A (zh) * | 2015-12-23 | 2016-05-25 | 联想(北京)有限公司 | 一种功耗控制方法及电子设备 |
CN108229284A (zh) * | 2017-05-26 | 2018-06-29 | 北京市商汤科技开发有限公司 | 视线追踪及训练方法和装置、系统、电子设备和存储介质 |
CN107193383A (zh) * | 2017-06-13 | 2017-09-22 | 华南师范大学 | 一种基于人脸朝向约束的二级视线追踪方法 |
CN108280399A (zh) * | 2017-12-27 | 2018-07-13 | 武汉普利商用机器有限公司 | 一种场景自适应人脸识别方法 |
CN109710080A (zh) * | 2019-01-25 | 2019-05-03 | 华为技术有限公司 | 一种屏幕控制和语音控制方法及电子设备 |
WO2020151580A1 (zh) * | 2019-01-25 | 2020-07-30 | 华为技术有限公司 | 一种屏幕控制和语音控制方法及电子设备 |
CN110051319A (zh) * | 2019-04-23 | 2019-07-26 | 七鑫易维(深圳)科技有限公司 | 眼球追踪传感器的调节方法、装置、设备及存储介质 |
CN110221696A (zh) * | 2019-06-11 | 2019-09-10 | Oppo广东移动通信有限公司 | 眼球追踪方法及相关产品 |
CN110099219A (zh) * | 2019-06-13 | 2019-08-06 | Oppo广东移动通信有限公司 | 全景拍摄方法及相关产品 |
CN110780742A (zh) * | 2019-10-31 | 2020-02-11 | Oppo广东移动通信有限公司 | 眼球追踪处理方法及相关装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116257139A (zh) * | 2023-02-27 | 2023-06-13 | 荣耀终端有限公司 | 眼动追踪方法和电子设备 |
CN116339510A (zh) * | 2023-02-27 | 2023-06-27 | 荣耀终端有限公司 | 眼动追踪方法、装置、电子设备及计算机可读存储介质 |
CN116257139B (zh) * | 2023-02-27 | 2023-12-22 | 荣耀终端有限公司 | 眼动追踪方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114422686B (zh) | 2024-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112717370B (zh) | 一种控制方法和电子设备 | |
CN114816210B (zh) | 一种移动终端的全屏显示方法及设备 | |
CN110543289B (zh) | 控制音量的方法和电子设备 | |
CN111553846B (zh) | 超分辨率处理方法及装置 | |
CN111182614B (zh) | 建立网络连接的方法和装置以及电子设备 | |
CN112598594A (zh) | 颜色一致性矫正方法及相关装置 | |
CN111768416A (zh) | 照片裁剪方法及装置 | |
CN110633043A (zh) | 一种分屏处理方法及终端设备 | |
WO2023273323A9 (zh) | 一种对焦方法和电子设备 | |
CN111768352A (zh) | 图像处理方法及装置 | |
CN111522425A (zh) | 一种电子设备的功耗控制方法及电子设备 | |
CN110830645A (zh) | 一种操作方法和电子设备 | |
CN113224804A (zh) | 一种充电控制方法及电子设备 | |
CN111612723B (zh) | 图像修复方法及装置 | |
WO2023030168A1 (zh) | 界面显示方法和电子设备 | |
CN114422686B (zh) | 参数调整方法及相关装置 | |
CN111524528B (zh) | 防录音检测的语音唤醒方法及装置 | |
CN111880661A (zh) | 手势识别方法及装置 | |
CN113781959B (zh) | 界面处理方法及装置 | |
WO2022188511A1 (zh) | 语音助手唤醒方法及装置 | |
CN115390738A (zh) | 卷轴屏开合方法及相关产品 | |
CN111581119B (zh) | 页面回收方法及装置 | |
CN112712378A (zh) | 一种服务社区模式的售后服务管理系统 | |
CN112770002B (zh) | 一种心跳管控的方法和电子设备 | |
CN111459271B (zh) | 注视偏移误差确定方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |