[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114063572A - 一种无感知智能设备控制方法、电子设备及控制系统 - Google Patents

一种无感知智能设备控制方法、电子设备及控制系统 Download PDF

Info

Publication number
CN114063572A
CN114063572A CN202010760967.5A CN202010760967A CN114063572A CN 114063572 A CN114063572 A CN 114063572A CN 202010760967 A CN202010760967 A CN 202010760967A CN 114063572 A CN114063572 A CN 114063572A
Authority
CN
China
Prior art keywords
information
point cloud
human body
person
radio frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010760967.5A
Other languages
English (en)
Other versions
CN114063572B (zh
Inventor
唐志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Entropy Technology Co ltd
Original Assignee
Beijing Entropy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Entropy Technology Co ltd filed Critical Beijing Entropy Technology Co ltd
Priority to CN202010760967.5A priority Critical patent/CN114063572B/zh
Publication of CN114063572A publication Critical patent/CN114063572A/zh
Application granted granted Critical
Publication of CN114063572B publication Critical patent/CN114063572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种无感知智能设备控制方法、电子设备及控制系统，属于智能家居技术领域，其中的方法步骤包括：获取射频扫描信号；基于射频扫描信号判断被控场景中是否有人，计算获取如下任意一种或多种人体信息：人的位置、人的姿态、人的生理信息；收集并储存控制信息，所述控制信息包括场景中是否有人、场景中有人时获取的人体信息；根据预先设定的控制信息与智能设备控制指令的对应关系对收集到的控制信息进行匹配，确定对应的控制指令并输出。

Description

一种无感知智能设备控制方法、电子设备及控制系统
技术领域
本发明属于智能家居技术领域，具体涉及一种无感智能设备控制方法。
背景技术
随着技术的进步，智能家电设备近年来得到了迅猛发展并进入千家万户，让人们的家庭生活更舒适、更简单、更方便、更快乐。如何让用户以更方便的手段来管理家庭设备，一直是业界关心的话题。为此，CN111158246 A号专利就提供了一种智能家电控制系统，该系统利用微波雷达检测指定区域中的手势，将检测出的手势信息发送给智能家电控制应用程序；智能家电控制客户端根据接收到的手势信息确定控制指令，进而对确定出的控制指令对智能家电进行控制。但该控制系统需要通过客户端预设手势指令，且要求用户在指定区域中做出特定手势，整个控制过程仍需要用户做出主动操作，并不能实现无感知控制。
发明内容
本发明的目的在于提供一种无感知智能设备控制方法，提供相应的电子设备和控制系统亦是本发明的目的所在。
基于上述目的，本发明提供了如下三个方面的技术方案：
第一方面，一种无感知智能设备控制方法，步骤包括，
S101：获取射频扫描信号；
S102：基于射频扫描信号判断被控场景中是否有人，计算获取如下任意一种或多种人体信息：人的位置、人的姿态、人的生理信息；
S103：收集并储存控制信息，所述控制信息包括场景中是否有人、场景中有人时获取的人体信息；
S104：根据预先设定的控制信息与智能设备控制指令的对应关系对收集到的控制信息进行匹配，确定对应的控制指令并输出。该方法通过收集场景中是否有人、人的位置、人的姿态、人的生理信息等客观信息进而匹配控制指令，不需要人做出主动控制动作，可以实现无感知控制。
为进一步满足人的主动控制意愿，所述人体信息还可以包括人的手势信息。
为节约运算量，步骤S102先根据射频扫描信号判断被控场景中是否有人；当判断为有人时，再基于点云计算获取人体信息。
为进一步节约运算量，可以先通过简单计算判断是否有移动物体，再进一步确认是否有人。所述步骤S102判断场景中是否有人的过程为：
对获取的射频扫描信号进行FFT信号处理以判断场景中是否有移动物体；如未发现移动物体且前一轮扫描判断场景中无人，则直接判断本轮扫描场景中无人；
如发现有移动物体，或未发现移动物体但前一轮扫描判断场景中有人，则进一步将射频扫描信号解算为点云信息，基于点云信息计算判断场景中是否有人。
步骤S102利用训练获得的机器学习模型MO判断是否有人，包括：
S201：基于射频扫描，获取点云信息：将一组N次射频扫描获得的点云数据视为1个点云数据组，解算出与每个点云数据组相对应的点云信息，所述点云信息中与每一个反射点相对应的信息至少包括该反射点的空间位置、速度和信号强度信息；为提升机器学习的效率和准确性，所述点云信息对应与每一个反射点相对应的信息还可以进一步包括加速度和噪声幅度信息；
S202：将步骤S201解算出的点云信息输入到模型MO中，输出目标为O=｛（Prm，Psm），m=1，2，3，……，M｝，Prm为第m个待检测人体目标存在的概率，Psm为第m个待检人体目标其代表点的空间位置，M为场景中的人数；人体代表点的空间位置对应人的位置，M=0表示场景中无人，M＞0表示场景中有人；
所述模型MO经以下步骤训练得到：
S301：基于射频扫描，对场景进行点云数据采集；
S302：将一组N次射频扫描获得的点云数据视为1个点云数据组，解算出与每个点云数据组相对应的点云信息，所述点云信息中与每一个反射点相对应的信息至少包括该反射点的空间位置、速度和信号强度信息；N为大于等于2的整数；
S303：根据数据采集过程中记录的参照信息，标记出场景中与每组射频扫描获取的点云信息相对应的人体代表点的空间位置信息；收集多组射频扫描获得的点云信息和相应的人体代表点空间位置信息，形成第一样本集；基于第一样本集，利用机器学习的方法，训练出能够识别场景中人员数量M和每个人体代表点空间位置的模型MO；所述参照信息为射频扫描过程中同步获取的视频记录或音视频记录；训练集的标记可以人工标记，作为更优选的方案，可以利用现有人工智能识别的方法从参照信息中提取人体代表点位置、关键点位置以及人体行为信息，进而基于同一时间轴对点云信息进行自动标记。
根据MO输出的结果利用训练获得的模型MK和MA获取人的姿态和人的手势，包括，
S203：当MO输出的人体数量M≥1时，根据模型MO输出的人体代表点空间位置信息对射频扫描获得的点云信息进行过滤，仅保留人体代表点附近特定距离范围的点云信息；将过滤后的点云信息输入模型MK，模型MK使用滑动窗口法对输入的点云信息进行扫描识别，窗口长度对应Npk组射频扫描，输出M个人体的多个关键点信息；
S204：将模型MK的输出结果输入模型MA，模型MA使用滑动窗口法对输入信息进行扫描识别，窗口长度对应Nma次MK连续输出结果，输出特定的人的姿态和人的手势；
在模型MO的训练基础上继续执行步骤S304，以获取模型MK：
将Npk组射频扫描获得的点云信息视为一个点云信息序列，根据模型MO的输出结果对点云信息序列进行过滤，仅保留人体代表点附近特定距离范围的点云信息，得到过滤后的点云信息序列；Npk为大于1的整数；
基于人体关节点在人体上选择多个关键点，根据数据集形成中记录的参照信息，标记出与每个过滤后的点云信息序列相对应的人体关键点的空间位置信息，收集多个信息序列并进行过滤、标记，形成第二样本集；
基于第二样本集，利用机器学习的方法，训练出能够识别场景中M个人体的多个关键点信息的模型MK；所述模型MK的输出目标为每个待检人体目标的关键点信息OK=｛（Prk，Psk），k=1，2，3，……，K｝，K为选定的人体关键点个数；Prk为某一个待检人体目标的第k个关键点存在的概率；Psk为某一个待检人体目标的第k个关键点存在的空间位置；
在模型MK的训练基础上继续执行步骤S305，以获取模型MA：
获取第三样本集，第三样本集包括正例样本和反例样本，正例样本包括从参照信息中获取的某种特定人体姿态或手势，以及与特定人体姿态或手势对应的Nma次MK的连续输出结果，其余MK输出结果作为未发生某种特定人体姿态或手势的反例样本；Nma为大于1的整数；
基于第三样本集，利用机器学习的方法，训练出能够根据多个点云信息序列识别出特定人体姿态或手势的模型MA；所述模型MA的输出目标为某一个待检人体目标呈现出某种特定姿态或手势的概率。
所述无感知智能设备控制方法还包括获取环境信息并将环境信息收集为控制信息的步骤，所述环境信息包括环境温度和/或光线强度。
步骤S105中，针对每一类控制信息，获取登记了该类控制信息的被控设备，据此将该类控制信息分发给各个登记过的被控设备控制信息组，然后根据预先设定的控制信息与智能设备控制指令的对应关系对各个控制信息组与相应的被控设备进行匹配，确定对应的控制指令，利用确定出的控制指令对被控设备进行控制。
第二方面，一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面所述的方法。
第三方面，一种无感知家居控制系统，包括：
环境监测模块，用于监测环境温度和/或光线强度以获得环境信息；
射频检测模块，用于对被控场景进行射频扫描以获取射频扫描信号；
如权利要求7所述的电子设备，用于获取环境信息；用于获取射频扫描信号并根据射频扫描信号判断场景中是否有人、获取多种人体信息；根据包含了环境信息、是否有人和人体信息的控制信息确定出设备控制指令；
通信模块，用于将电子设备确定出的控制指令发送给被控设备的控制模块。
为便于安装，减少用户布线投入，提高射频扫描的信号采集效果，所述所述环境监测模块、射频检测模块、电子设备、通信模块集成于灯具或烟感器中。
进一步地，所述无感知家居控制系统还包括无线信号接收模块，用于接收安装在其他位置的传感器获取的其他控制信号。
射频扫描获取的中频信号一般要经过两次FFT和CFAR算法获取点云信息，其运算量大，对运算设备的要求高。本发明提供的无感知智能设备控制方法先根据采集到的射频扫描信号对被控场景进行“是否有人”的初步判断，如判断为有人，再做进一步运算，以获取更丰富的人体信息；若判断为无人，则直接收集该判断结果，无须做更多运算，以节约运算能力。进一步地，在做“是否有人”的判断时，先通过FFT简单计算判断场景中是否有移动物体，据此直接获取判定结果或是据此再通过点云计算判断场景中是否有人，可进一步减少运算量。在利用MO、MK、MA获取各种信息的过程中，本发明亦贯彻了了逐级筛选以节约运算能力的设计思路，以求减小相应电子设备和控制系统的体积，使相应的控制系统具备集成于某一个小型家用电器如灯具或烟感器之中的条件。
附图说明
图1是实施例1的流程图；
图2是人体关键点的一种布局示意图；
图3是实施例2的总体流程图；
图4是实施例2的局部流程图；
图5是滑动窗口的原理图。
具体实施方式
下面结合附图和具体实施例对本申请做进一步说明。
实施例1
模型MO、MK及MA的获取人体感知模型的方法，图1示出了该方法的一个流程，可以包括以下步骤：
S301：基于射频扫描，对某个场景进行点云数据采集。可接受的射频信号的频率范围在3Ghz-90Ghz，带宽500Mhz-20Ghz。射频信号的发射和接收，可以通过预装在场景中的MIMO天线实现。为了获得立体信号，可以在场景中布局多组天线，以获得网格化点云数据。射频扫描过程中对场景进行同步录像或采用其他标记手段，获取参照信息。
S302：将一组N次（N为大于等于2的整数）射频扫描获得的点云数据视为1个点云数据组，解算出与每个点云数据组相对应的点云信息；点云信息中与每一个反射点P相对应的信息至少包括该反射点的空间位置（x，y，z）、速度v（N大于等于2时即可获得速度信息）和信号强度g信息，还可以进一步包括加速度a（N大于等于3时可获得加速度信息）和噪声幅度n，记为P｛（x，y，z），v，g，a，n｝。
待检测目标的空间位置信息获取，需要设备在Tc时间段内线性扫描B带宽频段，发射射频信号的同时接收射频信号，将两者混频后过滤掉高频信号，得到中频信号，再对该信号进行采样，由于扫描频率为线性增长，得到
Figure 471781DEST_PATH_IMAGE001
，其中τ为发射信号从设备到待检测目标之间的一个来回所需要的时间，Tc为时间段，ƒτ为接收到中频信号的频率，B为带宽频段，得到待检测目标与设备之间的距离为d=
Figure 475509DEST_PATH_IMAGE002
，其中C为光速，通过对采样信号做傅里叶变换，得出反射点的ƒτ值，进而获得反射点即待检测目标的距离信息。
待检测目标的加速度信息获取，此时待检测目标为移动状态，两次探测接收到的射频由于多普勒现象的存在，相位会产生很大的变化，通过相位变化可以获得待检测目标两个反射点之间的位移为
Figure 995483DEST_PATH_IMAGE003
，瞬时速度为
Figure 451872DEST_PATH_IMAGE004
，其中
Figure 879442DEST_PATH_IMAGE005
为所使用的射频的波长，
Figure 347464DEST_PATH_IMAGE006
为两次扫描的相位差，通过至少三次扫描，获取待检测目标在每个反射点的加速度。通常，一个射频扫描周期Tc=20～3500μs。
为减少后续数据运算负担，解算过程中可以先根据射频扫描无人场景获得的数据对射频扫描获得的点云数据进行过滤，滤除固定场景信息。
S303：根据数据采集过程中记录的参照信息，标记出场景中与每组射频扫描获取的点云信息相对应的人体代表点的空间位置信息，作为一种实施方式，可以选择人体躯干的中心点作为代表点；标记时可利用现有人工智能识别的方法从参照信息中提取人体代表点位置，进而基于同一时间轴对点云信息进行自动标记；
收集多组射频扫描获得的点云信息和相应的人体代表点空间位置信息，形成第一样本集；
基于第一样本集，利用机器学习的方法，例如随机森林、支持向量机、基于决策树的AdaBoost或Gradient Tree Boosting、神经元网络等，训练出能够识别场景中人员数量M和每个人体代表点空间位置的模型MO，模型MO的输出目标为O=｛（Prm，Psm），m=1，2，3，……，M｝，Prm为第m个待检测人体目标存在的概率，Psm为第m个待检人体目标的代表点空间位置，M为场景中的人数。根据所选择算法，使用数值类损失函数如输入值和输出值之间MSE、麦哈顿距离等作为评估方法来提高模型准确度。
S304：将Npk组（Npk×N次，Npk为大于1的整数，优选2～25）射频扫描获得的点云信息视为一个点云信息序列，根据模型MO的输出结果对点云信息序列进行过滤，仅保留人体代表点附近特定距离范围、甚至特定速度范围（将人体大小范围的数据作为有效数据，有利于进一步降低数据运算量）的点云信息，得到过滤后的点云信息序列；
基于人体关节点在人体上选择多个关键点，根据数据集形成中记录的参照信息，标记出与每个过滤后的点云信息序列相对应的人体关键点的空间位置信息，收集多个信息序列并进行过滤、标记，形成第二样本集；人体关键点的选择可以参考图2，在图2所示的实施方式中，K=8，图2中的序号1-8分别指示8个人体关键点，分别为躯干1（与人体代表点位置一致），头部2，肘部3和4，膝关节5和6，手部7和8；
基于第二样本集，利用机器学习的方法，例如随机森林、支持向量机、基于决策树的AdaBoost或Gradient Tree Boosting、神经元网络等，训练出能够识别场景中M个人体的多个关键点信息的模型MK；模型MK的输出目标为每个待检人体目标的关键点信息OK=｛（Prk，Psk），k=1，2，3，……，K｝，K为选定的人体关键点个数；Prk为某一个待检人体目标的第k个关键点存在的概率；Psk为某一个待检人体目标的第k个关键点存在的空间位置。根据所选择算法，使用数值类损失函数如输入值和输出值之间MSE、麦哈顿距离等作为评估方法来提高模型准确度。
S305：获取第三样本集，第三样本集包括正例样本和反例样本，正例样本包括从参照信息中获取的某种特定人的姿态和人的手势（例如：摔倒）和与之对应的Nma次（Nma为大于1的整数，优选18～750）连续MK输出结果，其余MK输出结果作为未发生某种特定行为的反例样本；
基于第三样本集，利用机器学习的方法，例如，随机森林、支持向量机、基于决策树的AdaBoost或Gradient Tree Boosting、神经元网络等训练出能够根据多个点云信息序列识别出特定人的姿态和人的手势的模型MA；模型MA的输出目标为某一个待检人体目标发生某种特定行为的概率。根据所选择算法，使用类别损失函数如神经元网络中的交叉熵或支持向量机中的Hinge 作为评估方法来提高模型准确度。
同样的，参照步骤S305设定其他特定的姿态或手势，如坐、立、走、跑动、跳跃、挥手、击掌等，根据动作发生时长调整参数Nma，重复步骤S305，可以获得能够识别不同姿态或手势的多个模型MA。
作为一种实施方式，Tc=1000μs，N=3，Npk=10，Nma=50，通过MA监测摔倒行为，监测Nma次数据对应时间为1500ms，与发生一次摔倒行为所需要的时间基本相同。
为提升模型应用的广泛性，可以对场景进行不同的设定，安排不同数量的人员在场景中做不同的活动，从而获得更丰富的样本集。
实施例2
一种无感知智能设备控制方法，如图3和图4所示，步骤包括，
S101：
获取射频扫描信号；获取包括环境温度和光线强度的环境信息；
S102：
根据获取到的射频扫描信号判断被控场景中是否有人：
获取射频扫描信号，参照实施例1步骤S302部分的说明，通过FFT傅里叶变换对通过射频扫描获取的信号进行处理，计算场景中所有反射点的速度，寻找产生速度的反射点，以判断场景中是否有移动物体；
如未发现移动物体且前一轮扫描判断场景中无人，则直接判断本轮扫描场景中无人（不对本轮扫描获取的信号做进一步运算）；
如发现有移动物体，或未发现移动物体但前一轮扫描判断场景中有人，则进一步将射频扫描信号解算为点云信息，利用模型MO基于点云信息计算识别判断场景中是否有人，步骤包括：
S201：获取点云信息：将一组N次射频扫描获得的点云数据视为1个点云数据组，解算出与每个点云数据组相对应的点云信息，所述点云信息中与每一个反射点P相对应的信息包括该反射点的空间位置、速度、加速度、信号强度和噪声幅度信息；
S202：将步骤S201解算出的点云信息输入到模型MO中，输出目标为O=｛（Prm，Psm），m=1，2，3，……，M｝，Prm为第m个待检测人体目标存在的概率，Psm为第m个待检人体目标其代表点的空间位置，M为场景中的人数；人体代表点的空间位置对应人的位置，M=0表示场景中无人，M＞0表示场景中有人。
当判断为有人时，根据MO的输出结果获取人的位置信息；通过部署模型MK和MA获取人的姿态、人的手势，步骤包括：
S203：对MO的输出结果进行判定，当MO输出的人体数量M≥1时，根据模型MO输出的人体代表点空间位置信息对射频扫描获得的点云信息进行过滤，仅保留人体代表点附近特定距离范围、甚至特定速度范围内的点云信息，将过滤后的点云信息输入模型MK，启动模型MK；模型MK使用滑动窗口法对输入的点云信息进行扫描识别，窗口长度对应Npk组射频扫描，输出M个人体的多个关键点信息。滑动窗口的原理如图5所示，在图5所示的实施例方式中窗口长度对应Npk=10，窗格宽度Spk=2，即当模型MK收到4组射频扫描获得的点云信息时，构成窗口初始状态，对应步骤S401，进行一次扫描识别；MK继续再接收2组射频扫描获得的点云信息，窗口向前滑动1次，减去最前面的2组失效信息并加上2组最新信息构成当前窗口，对应步骤S402，针对当前窗口信息，MK进行第二次扫描识别；MK继续再接收2组射频扫描获得的点云信息，窗口向前滑动1次，减去S402窗口靠前的2组失效信息并加上2组最新信息再次构成新的当前窗口，对应步骤S403，针对新窗口对应的信息，进行第三次扫描识别；以此类推，遍历所有接收信息。当然，Spk可以取更小的值，例如Spk=1，或更大的整数，Spk越大，设备的运算负担越低，但识别的准确性也会随之降低。当人体处于睡眠等活动幅度较小的状态时，可适当提高Spk的取值，例如Spk=Npk/2=5或者Spk=Npk=10。
S204：将模型MK的输出结果输入模型MA，模型MA使用滑动窗口法对输入信息进行扫描识别，窗口长度对应Nma次MK连续输出结果，输出特定的人的姿态和人的手势；
将模型MK的输出结果输入到一个或多个模型MA，模型MA使用滑动窗口法对输入信息进行扫描识别，窗口长度对应Nma次MK连续输出结果，输出特定的人体姿态或手势。滑动窗口的工作原理与S40中描述的一致，但作为一种实施方式，在步骤S50中窗格宽度Sma优选为Nma/2（与实施例1保持一致，Nma=50）。可以理解的是，Sma也可以适当减小，通过计算量来换取准确率；或者增加，可能的用准确率牺牲来换取速度。用于识别多个不同人体姿态或手势的模型MA同步运行，每个模型MA以各自设定的间隔进行扫描识别，推理识别出发生不同行为的可能性，并输出。
进一步地，可增加对模型MA输出的人体行为类型的判断步骤，针对不同的人体行为给窗格宽度Spk指定取值并反馈至步骤S203，针对不同的人体行为给窗格宽度Sma指定取值并反馈至步骤S204。
人的生理信息的获取已有大量现有技术介绍相关方法，例如，可以参照CN109729632A介绍的方法。
S103：
收集控制信息，控制信息包括前一轮扫描场景中是否有人之判断结果、本轮扫描场景中是否有人之判断结果、本轮扫描判断场景中有人时获取的人体信息和环境信息；
S104：
针对每一类控制信息，获取登记了该类控制信息的被控设备，据此将该类控制信息分发给各个登记过的被控设备控制信息组，然后分别对各组信息进行匹配：根据预先设定的控制信息与被控设备控制指令的对应关系对各个控制信息组与相应的被控设备进行匹配，确定对应的控制指令并将控制指令输出给相对应的被控设备。
作为另一种实施方式，各类控制信息分发给登记过该被控信息的被控设备的控制模块，由被控设备的控制模块匹配控制指令，并将控制指令发送给执行机构。
实施例3
一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现实施例2描述的方法。
实施例4
一种无感知家居控制系统，包括：
环境监测模块，用于监测环境温度和光线强度以获得环境信息；射频检测模块，用于对被控场景进行射频扫描以获取射频扫描信号；实施例3的电子设备，用于获取获取环境信息；用于获取射频扫描信号并将之解算为点云信息，基于点云信息进行点云计算以获取人体信息；根据包含了环境信息和人体信息的控制信息确定出设备控制指令；通信模块，用于将电子设备确定出的控制指令发送给被控设备的控制模块。
环境监测模块、射频检测模块、电子设备、通信模块集成于灯具或烟感器中。
被控设备设备可以包括：电灯、空调、门锁、开关柜、插线板、音箱、喇叭、烟感器、喷淋、窗帘、浴霸、电脑、电风扇、摄像头、电视盒、路由器、电动窗户等。
下面以智能灯、空调、开关柜（尤其是开关柜无需常开的开关，或称节能控制开关）的控制为例，对控制信息的分发与匹配提供一种参考设置：
一、设备编号：
1-智能灯，2-空调，3-节能控制开关
二、控制信息分类编号及说明：
0-环境信息，1-有无人，2-人的位置，3-人的姿态，4-人的生理信息，5-人的手势。
0-环境信息提供环境温度、光线强度等数值；1-有无人信息提供整个家庭空间有人或无人状态；2-人的位置信息用于区分人在沙发上、床上等不同的位置；3-人的姿态信息用于区分人处于坐、立（包含站立/走路/跑跳等立位姿态）、卧或摔倒等姿态；4-人的生理信息提供人的呼吸或心跳频率数值；5-人的手势指预设的表达特定控制指令的特定手势，如挥手、在空间中画圆等。当人的呼吸或心跳频率数值达到低阈值范围内至一段时间，表示人进入了睡眠状态；当人的呼吸或心跳频率数值达到高阈值范围内一段时间，表示人处于清醒活动状态；如果超出阈值范围，则认为人处于非健康危险状态。如果前一轮扫描空间内有人，而本轮扫描空间内无人，则系统认为人刚刚离开；如前一轮扫描空间内无人，而本轮扫描空间内有人，则认为人刚刚进入。
当前一轮扫描获取的控制信息会被记录在数据库中，如有需要，数据库也会将前面一段时间内扫描获取的控制信息储存起来已被调取并做比较。
六种控制信息输出以后，如何组合并对应特定的控制指令，可根据被控设备需要预先设定。例如，当被控设备为3-节能控制开关，只需要知道屋子里面有人与否（1-有无人），不需要知道2-人的位置信息，故设备3-节能控制开关只需登记控制信息1-有无人。当被控设备为1-智能灯，用户可能要求在屋子里面很黑（0-环境信息）时，用户躺（3-人的姿态）在床上（2-人的位置）心率和呼吸（4-人的生理信息）频率下降，持续15分钟以后，才将灯光调暗，这样它的控制才会更准确。甚至需要用户做出特定手势（5-人的手势）发出主动控制指令。而登记控制信息1-有无人，通过对比前后时间空间内的有无人信息，可以快速确知有人进来或人已离开等状态，方便给出开灯或关灯等控制指令。
表1示出了1-智能灯，2-空调，3-节能控制开关等不同设备与控制信息的一种登记方式。
Figure 162973DEST_PATH_IMAGE007
表1中1-智能灯登记的控制信息有：0-环境信息（光线强度），1-有无人，2-人的位置，3-人的姿态，4-人的生理信息，5-人的手势；2-空调登记的信息有：0-环境信息（温度），1-有无人，2-人的位置，4-人的生理信息；3-节能控制开关登记的的控制信息仅有：1-有无人。当某类控制信息被获取，系统通过表1查询到设备编号以后，还需要根据控制频率和发送时间来判断是否分发本轮扫描所获取的控制信号；如果时间间隔还没到，需要到时再发送。这样被控设备可以根据需要来调整控制时间。
控制信息按照表1分发给各个登记过的被控设备控制信息组，然后分别对各组信息进行匹配：根据预先设定的控制信息与被控设备控制指令的对应关系对各个控制信息组与相应的被控设备进行匹配，确定对应的控制指令并将控制指令输出给相对应的被控设备，由被控设备执行相应指令。
以一款节能控制开关为例，其控制指令匹配关系可以是：当获取的控制信息1-“有无人”项给出的本轮信息为“有人”、上一轮信息为“无人”，则匹配“打开控制电路”的控制指令；当获取的控制信息1-“有无人”项给出的本轮信息为“无人”、上一轮信息为“有人”，则匹配“关闭控制电路”的控制指令。忽略其他信息。
以一款具有自动开关、随身吹、睡眠自动调温的智能空调为例，其控制指令匹配关系可以是：当获取的控制信息1-“有无人”项给出的本轮信息为“有人”、上一轮信息为“无人”，则匹配“开启空调”的控制指令；当获取的控制信息1-“有无人”项给出的本轮信息为“无人”、上一轮信息为“有人”，则匹配“关闭空调”的控制指令。
2-位置信息对应“调整空调吹风方向”的控制指令。
2-位置信息给出信息“人在床上”，4-生理信息给出人的心率或呼吸变慢且达到一定时间；此时若空调处于制冷模式，则匹配“调高温度”的控制指令；此时若空调处于制热模式，则匹配“调低温度”的控制指令。
忽略其他信息。

Claims (11)

1.一种无感知智能设备控制方法，其特征在于，步骤包括，
S101：获取射频扫描信号；
S102：基于射频扫描信号判断被控场景中是否有人，计算获取如下任意一种或多种人体信息：人的位置、人的姿态、人的生理信息；
S103：收集并储存控制信息，所述控制信息包括场景中是否有人、场景中有人时获取的人体信息；
S104：根据预先设定的控制信息与智能设备控制指令的对应关系对收集到的控制信息进行匹配，确定对应的控制指令并输出。
2.如权利要求1所述的无感知智能设备控制方法，其特征在于，所述人体信息还包括人的手势。
3.如权利要求1或2所述的无感知智能设备控制方法，其特征在于，步骤S102先根据射频扫描信号判断被控场景中是否有人；当判断为有人时，再基于点云计算获取人体信息。
4.如权利要求3所述的无感知智能设备控制方法，其特征在于，步骤S102判断场景中是否有人的过程为：
对获取的射频扫描信号进行FFT信号处理以判断场景中是否有移动物体；
如未发现移动物体且前一轮扫描判断场景中无人，则直接判断本轮扫描场景中无人；
如发现有移动物体，或未发现移动物体但前一轮扫描判断场景中有人，则进一步将射频扫描信号解算为点云信息，基于点云信息计算判断场景中是否有人。
5.如权利要求4所述的无感知智能设备控制方法，其特征在于，步骤S102基于点云信息利用训练获得的机器学习模型MO判断是否有人，包括，
S201：获取点云信息：将一组N次射频扫描获得的点云数据视为1个点云数据组，解算出与每个点云数据组相对应的点云信息，所述点云信息中与每一个反射点相对应的信息至少包括该反射点的空间位置、速度和信号强度信息；
S202：将步骤S201解算出的点云信息输入到模型MO中，输出目标为O=｛（Prm，Psm），m=1，2，3，……，M｝，Prm为第m个待检测人体目标存在的概率，Psm为第m个待检人体目标其代表点的空间位置，M为场景中的人数；人体代表点的空间位置对应人的位置，M=0表示场景中无人，M＞0表示场景中有人；
所述模型MO经以下步骤训练得到：
S301：基于射频扫描，对场景进行点云数据采集；
S302：将一组N次射频扫描获得的点云数据视为1个点云数据组，解算出与每个点云数据组相对应的点云信息，所述点云信息中与每一个反射点相对应的信息至少包括该反射点的空间位置、速度和信号强度信息；N为大于等于2的整数；
S303：根据数据采集过程中记录的参照信息，标记出场景中与每组射频扫描获取的点云信息相对应的人体代表点的空间位置信息；收集多组射频扫描获得的点云信息和相应的人体代表点空间位置信息，形成第一样本集；基于第一样本集，利用机器学习的方法，训练出能够识别场景中人员数量M和每个人体代表点空间位置的模型MO。
6.如权利要求5所述的无感知智能设备控制方法，其特征在于，根据MO输出的结果利用训练获得的模型MK和MA获取人的姿态和人的手势，包括，
S203：当MO输出的人体数量M≥1时，根据模型MO输出的人体代表点空间位置信息对射频扫描获得的点云信息进行过滤，仅保留人体代表点附近特定距离范围的点云信息；将过滤后的点云信息输入模型MK，模型MK使用滑动窗口法对输入的点云信息进行扫描识别，窗口长度对应Npk组射频扫描，输出M个人体的多个关键点信息；
S204：将模型MK的输出结果输入模型MA，模型MA使用滑动窗口法对输入信息进行扫描识别，窗口长度对应Nma次MK连续输出结果，输出特定的人的姿态和人的手势；
在模型MO的训练基础上继续执行步骤S304，以获取模型MK：
将Npk组射频扫描获得的点云信息视为一个点云信息序列，根据模型MO的输出结果对点云信息序列进行过滤，仅保留人体代表点附近特定距离范围的点云信息，得到过滤后的点云信息序列；Npk为大于1的整数；
基于人体关节点在人体上选择多个关键点，根据数据集形成中记录的参照信息，标记出与每个过滤后的点云信息序列相对应的人体关键点的空间位置信息，收集多个信息序列并进行过滤、标记，形成第二样本集；
基于第二样本集，利用机器学习的方法，训练出能够识别场景中M个人体的多个关键点信息的模型MK；所述模型MK的输出目标为每个待检人体目标的关键点信息OK=｛（Prk，Psk），k=1，2，3，……，K｝，K为选定的人体关键点个数；Prk为某一个待检人体目标的第k个关键点存在的概率；Psk为某一个待检人体目标的第k个关键点存在的空间位置；
在模型MK的训练基础上继续执行步骤S305，以获取模型MA：
获取第三样本集，第三样本集包括正例样本和反例样本，正例样本包括从参照信息中获取的某种特定人体姿态或手势，以及与特定人体姿态或手势对应的Nma次MK的连续输出结果，其余MK输出结果作为未发生某种特定人体姿态或手势的反例样本；Nma为大于1的整数；
基于第三样本集，利用机器学习的方法，训练出能够根据多个点云信息序列识别出特定人体姿态或手势的模型MA；所述模型MA的输出目标为某一个待检人体目标呈现出某种特定姿态或手势的概率。
7.如权利要求1所述的无感知智能设备控制方法，其特征在于，所述无感知智能设备控制方法还包括获取环境信息并将环境信息收集为控制信息的步骤，所述环境信息包括环境温度和/或光线强度。
8.如权利要求1所述的无感知智能设备控制方法，其特征在于，步骤S105中，针对每一类控制信息，获取登记了该类控制信息的被控设备，据此将该类控制信息分发给各个登记过的被控设备控制信息组，然后根据预先设定的控制信息与被控设备控制指令的对应关系对各个控制信息组与相应的被控设备进行匹配，确定对应的控制指令，利用确定出的控制指令对智能设备进行控制。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1或2或4-8任一所述的方法。
10.一种无感知家居控制系统，包括：
环境监测模块，用于监测环境温度和/或光线强度以获得环境信息；
射频检测模块，用于对被控场景进行射频扫描以获取射频扫描信号；
如权利要求9所述的电子设备，用于获取环境信息；用于获取射频扫描信号并根据射频扫描信号判断场景中是否有人、获取多种人体信息；根据包含了环境信息、是否有人和人体信息的控制信息确定出设备控制指令；
通信模块，用于将电子设备确定出的控制指令发送给被控设备的控制模块。
11.如权利要求10所述的无感知家居控制系统，其特征在于，所述环境监测模块、射频检测模块、电子设备、通信模块集成于灯具或烟感器中。
CN202010760967.5A 2020-07-31 2020-07-31 一种无感知智能设备控制方法、电子设备及控制系统 Active CN114063572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010760967.5A CN114063572B (zh) 2020-07-31 2020-07-31 一种无感知智能设备控制方法、电子设备及控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760967.5A CN114063572B (zh) 2020-07-31 2020-07-31 一种无感知智能设备控制方法、电子设备及控制系统

Publications (2)

Publication Number Publication Date
CN114063572A true CN114063572A (zh) 2022-02-18
CN114063572B CN114063572B (zh) 2024-05-31

Family

ID=80227711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760967.5A Active CN114063572B (zh) 2020-07-31 2020-07-31 一种无感知智能设备控制方法、电子设备及控制系统

Country Status (1)

Country Link
CN (1) CN114063572B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115061380A (zh) * 2022-06-08 2022-09-16 深圳绿米联创科技有限公司 设备控制方法、装置、电子设备及可读存储介质
CN116991089A (zh) * 2023-09-28 2023-11-03 深圳市微琪思网络有限公司 一种基于无线连接的电熨斗智能控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190798A1 (en) * 2008-01-25 2009-07-30 Sungkyunkwan University Foundation For Corporate Collaboration System and method for real-time object recognition and pose estimation using in-situ monitoring
CN109484935A (zh) * 2017-09-13 2019-03-19 杭州海康威视数字技术股份有限公司 一种电梯轿厢监控方法、装置及系统
CN110045370A (zh) * 2019-05-10 2019-07-23 成都宋元科技有限公司 基于毫米波雷达的人体感知方法及其系统
CN110632849A (zh) * 2019-08-23 2019-12-31 珠海格力电器股份有限公司 智能家电及其控制方法和装置、存储介质
CN110686376A (zh) * 2019-09-18 2020-01-14 珠海格力电器股份有限公司 一种基于人体睡姿识别的空调电扇联合控制方法、计算机可读存储介质及空调
CN110728213A (zh) * 2019-09-26 2020-01-24 浙江大学 一种基于无线射频信号的细粒度人体姿态估计方法
CN111126314A (zh) * 2019-12-26 2020-05-08 杭州中科先进技术研究院有限公司 一种基于3d点云数据的客流统计视觉方法和系统
CN111360819A (zh) * 2020-02-13 2020-07-03 平安科技（深圳）有限公司 机器人的控制方法及装置、计算机设备、存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190798A1 (en) * 2008-01-25 2009-07-30 Sungkyunkwan University Foundation For Corporate Collaboration System and method for real-time object recognition and pose estimation using in-situ monitoring
CN109484935A (zh) * 2017-09-13 2019-03-19 杭州海康威视数字技术股份有限公司 一种电梯轿厢监控方法、装置及系统
CN110045370A (zh) * 2019-05-10 2019-07-23 成都宋元科技有限公司 基于毫米波雷达的人体感知方法及其系统
CN110632849A (zh) * 2019-08-23 2019-12-31 珠海格力电器股份有限公司 智能家电及其控制方法和装置、存储介质
CN110686376A (zh) * 2019-09-18 2020-01-14 珠海格力电器股份有限公司 一种基于人体睡姿识别的空调电扇联合控制方法、计算机可读存储介质及空调
CN110728213A (zh) * 2019-09-26 2020-01-24 浙江大学 一种基于无线射频信号的细粒度人体姿态估计方法
CN111126314A (zh) * 2019-12-26 2020-05-08 杭州中科先进技术研究院有限公司 一种基于3d点云数据的客流统计视觉方法和系统
CN111360819A (zh) * 2020-02-13 2020-07-03 平安科技（深圳）有限公司 机器人的控制方法及装置、计算机设备、存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115061380A (zh) * 2022-06-08 2022-09-16 深圳绿米联创科技有限公司 设备控制方法、装置、电子设备及可读存储介质
WO2023236848A1 (zh) * 2022-06-08 2023-12-14 深圳绿米联创科技有限公司 设备控制方法、装置、系统、电子设备及可读存储介质
CN116991089A (zh) * 2023-09-28 2023-11-03 深圳市微琪思网络有限公司 一种基于无线连接的电熨斗智能控制方法及系统
CN116991089B (zh) * 2023-09-28 2023-12-05 深圳市微琪思网络有限公司 一种基于无线连接的电熨斗智能控制方法及系统

Also Published As

Publication number Publication date
CN114063572B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN107528753B (zh) 智能家居语音控制方法、智能设备及具有存储功能的装置
Kim et al. Resident location-recognition algorithm using a Bayesian classifier in the PIR sensor-based indoor location-aware system
CN109974235B (zh) 控制家电设备的方法、装置和家电设备
CN107576022A (zh) 空调器的控制方法、空调器、及存储介质
CN109489212B (zh) 一种空调智能睡眠控制方法、调整系统及设备
CN205581626U (zh) 可控制智能家居设备的智能地板
CN109945421A (zh) 运行控制方法、运行控制装置和家电设备
CN108231079A (zh) 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
CN105223826B (zh) 家居设备控制方法、装置及系统
CN106444415A (zh) 智能家居控制方法及系统
CN109631245A (zh) 空调控制方法、装置、存储介质及处理器
CN108717271A (zh) 人机交互控制方法、装置、系统及可读存储介质
US20180363937A1 (en) Control apparatus, control method, and program
CN108427310A (zh) 智能家居控制方法、装置及计算机可读存储介质
CN115345908A (zh) 一种基于毫米波雷达的人体姿态识别方法
CN114063572A (zh) 一种无感知智能设备控制方法、电子设备及控制系统
CN109916010A (zh) 运行控制方法、模块、家电设备、系统和计算机存储介质
CN108375911B (zh) 一种设备控制方法、装置、存储介质及设备
CN107229262A (zh) 一种智能家居系统
CN108549251A (zh) 一种智能家居的自学习用户习惯控制系统及其控制方法
CN111832697A (zh) 一种智能人体识别节能调温系统
CN110597083B (zh) 一种基于用户体重的智能家居控制方法及系统
CN112696806B (zh) 一种空调运行方法及装置
US11550276B1 (en) Activity classification based on multi-sensor input
WO2018023523A1 (zh) 一种运动及情感识别家居控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant