CN116470957B - 一种基于卫星多模边缘计算网关的通信系统 - Google Patents

Abstract

本发明涉及通信系统技术领域，尤其涉及一种基于卫星多模边缘计算网关的通信系统，包括通信桩体、云平台、卫星通讯模块、视觉监控模块、语音呼叫模块和气象监测模块；所述卫星通讯模块、所述视觉监控模块、所述语音呼叫模块和所述气象监测模块设置于所述通信桩体上，所述视觉监控模块、所述语音呼叫模块和所述气象监测模块通过所述卫星通讯模块与所述云平台进行通讯。本发明通过通过综合考虑网络质量、人体特征、呼叫体征和气象情况等多个因素，能够更全面地评估求救人员的紧急程度。

Description

一种基于卫星多模边缘计算网关的通信系统

技术领域

本发明涉及通信系统技术领域，尤其涉及一种基于卫星多模边缘计算网关的通信系统。

背景技术

目前市场上用于设置在野外并供求救人员进行求救呼叫的通信产品，在评估求救人员的紧急程度时通常只考虑单一的指标，如呼叫次数等因素，基于单一指标的评估可能导致资源分配的不平衡，无法充分考虑紧急程度的多样性和复杂性，同时在复杂的野外环境中，会面临诸如信号干扰、背景噪声、光照变化等问题，这些因素可能影响特征提取和数据分析的准确性，现有通信产品在野外环境的数据收集和传输受到限制，可能会影响到求救人员的语音呼叫的实时性。

发明内容

本发明的目的在于提供一种基于卫星多模边缘计算网关的通信系统，通过综合考虑网络质量、人体特征、呼叫体征和气象情况等多个因素，能够更全面地评估求救人员的紧急程度，以解决上述现有问题的至少之一。

本发明提供了一种基于卫星多模边缘计算网关的通信系统，包括通信桩体、云平台、卫星通讯模块、视觉监控模块、语音呼叫模块和气象监测模块；

所述卫星通讯模块、所述视觉监控模块、所述语音呼叫模块和所述气象监测模块设置于所述通信桩体上，所述视觉监控模块、所述语音呼叫模块和所述气象监测模块通过所述卫星通讯模块与所述云平台进行通讯；

所述卫星通讯模块包括卫星多模边缘计算网关和网络质量检测单元，所述卫星多模边缘计算网关设置有4G/5G移动网络、蓝牙网络、NB-IOT网络、LTE网络和卫星网络，所述网络质量检测单元实时检测所述卫星多模边缘计算网关的每个网络模式的网络质量，所述卫星多模边缘计算网关根据所述网络质量检测单元给出的网络质量检测结果进行网络模式切换；

所述视觉监控模块包括摄像头和图像识别单元，所述摄像头用于采集所述通信桩体附近的求救人员的图像，所述图像识别单元根据所述摄像头采集的图像进行面部表情、手部动作和人体姿势提取，并判断求救人员的身体危急程度，获得第一评估值；

所述语音呼叫模块包括语音对话单元和语音识别单元，所述语音对话单元用于供求救人员一键呼叫，同时通过所述卫星通讯模块向所述云平台发送所述通信桩体的经纬度数据，所述语音识别单元根据所述语音对话单元采集的音频进行求救人员的呼叫体征检测，并判断求救人员的呼叫紧急程度，获得第二评估值；

所述气象监测模块用于监测所述通信桩体附近的气象情况，所述云平台根据所述气象监测模块监测到的气象情况、所述经纬度数据、所述第一评估值和所述第二评估值进行打分，然后根据每个通信桩体附近的求救人员的分数进行救援资源调度。

进一步的，所述网络质量检测单元实时检测所述卫星多模边缘计算网关的每个网络模式的网络质量，具体包括：

所述网络质量检测单元根据ping命令实时检测所述卫星多模边缘计算网关的每个网络模式的网络延迟；

所述网络质量检测单元根据UDP协议实时检测所述卫星多模边缘计算网关的每个网络模式的丢包率；

所述网络质量检测单元根据speedtest-cli工具实时检测所述卫星多模边缘计算网关的每个网络模式的网络带宽；

根据所述卫星多模边缘计算网关的每个网络模式的网络延迟、丢包率和网络带宽各自的实际值、理论最大值和理论最小值以及网络模式的类型进行加权评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果。

更进一步的，根据所述卫星多模边缘计算网关的每个网络模式的网络延迟、丢包率和网络带宽各自的实际值、理论最大值和理论最小值以及网络模式的类型进行加权评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果，具体包括：

获取所述卫星多模边缘计算网关的每个网络模式的网络延迟得分，所述网络延迟得分为其中，/>、/>和/>分别表示所述卫星多模边缘计算网关的每个网络模式的网络延迟的实际值、理论最大值和理论最小值；

获取所述卫星多模边缘计算网关的每个网络模式的丢包率得分，所述丢包率得分为其中，/>和/>分别表示所述卫星多模边缘计算网关的每个网络模式的丢包率的实际值和理论最大值；

获取所述卫星多模边缘计算网关的每个网络模式的网络带宽得分，所述网络带宽得分为，其中，/>、/>和/>分别表示所述卫星多模边缘计算网关的每个网络模式的网络带宽的实际值、理论最大值和理论最小值；

根据所述网络延迟得分、所述丢包率得分、所述网络带宽得分和所述卫星多模边缘计算网关的每个网络模式的类型形成网络质量评分公式，所述网络质量评分公式满足，其中，Q表示网络质量评分，/>、/>、/>和/>分别表示网络延迟得分、丢包率、网络带宽和网络模式的类型各自的权重；

根据所述网络质量评分公式对所述卫星多模边缘计算网关的每个网络模式进行评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果。

进一步的，所述图像识别单元根据所述摄像头采集的图像进行面部表情、手部动作和人体姿势提取，并判断求救人员的身体危急程度，获得第一评估值，具体包括：

通过所述摄像头获取所述通信桩体附近的求救人员的图像；

所述图像识别单元根据Haar级联分类器对所述图像实现面部区域的快速检测，再根据dlib库的68点面部标志点检测器获取所述面部区域的关键点，然后通过计算所述面部区域的关键点的位置和距离获得面部表情特征；

所述图像识别单元根据Haar级联分类器对所述图像实现手部区域的快速检测，再根据Canny边缘检测算法和手指关键点检测算法获取所述手部区域的边缘和姿势，然后通过计算所述手部区域的边缘和姿势获得手部动作特征；

所述图像识别单元根据OpenPose算法对所述图像实现人体姿势的检测，获得人体姿势的方向、角度和骨骼关键点，然后通过计算人体姿势的方向、角度和骨骼关键点获得人体姿势特征；

根据所述面部表情特征、所述手部动作特征和所述人体姿势特征进行加权平均，获得第一评估值，所述第一评估值为求救人员的身体危急程度。

更进一步的，根据Haar级联分类器对所述图像实现面部区域的快速检测，再根据dlib库的68点面部标志点检测器获取所述面部区域的关键点，然后通过计算所述面部区域的关键点的位置和距离获得面部表情特征，具体包括：

将所述图像转换为灰度图像，然后使用预先训练好的Haar级联分类器检测所述灰度图像是否存在面部区域，当存在多个面部区域时，选择第一个面部区域作为处理对象；

根据dlib库的68点面部标志点检测器检测所述面部区域的关键点，获得所述关键点的坐标；

根据所述关键点的坐标获取眼睛宽度比例和嘴巴高度比例，将所述眼睛宽度比例和所述嘴巴高度比例作为面部表情特征。

更进一步的，根据Haar级联分类器对所述图像实现手部区域的快速检测，再根据Canny边缘检测算法和手指关键点检测算法获取所述手部区域的边缘和姿势，然后通过计算所述手部区域的边缘和姿势获得手部动作特征，具体包括：

将所述图像转换为灰度图像，然后使用预先训练好的Haar级联分类器检测所述灰度图像是否存在手部区域，当存在多个手部区域时，选择主要的手部区域作为处理对象；

设置低阈值和高阈值，根据OpenCV的Canny函数将所述边缘强度低于所述低阈值的像素作为非边缘、将所述边缘强度高于高阈值的像素作为强边缘、将所述边缘强度介于所述低阈值和所述高阈值之间且与所述强边缘连接的像素作为弱边缘；

根据所述非边缘、所述弱边缘和所述强边缘的连接关系，确定所述手部区域的边缘；

根据手指关键点检测算法确定手部区域的姿势，所述手指关键点检测算法为OpenCV的手部姿势估计模块或手部关键点检测模块；

将所述手部区域的边缘和所述手部区域的姿势作为手部动作特征。

更进一步的，根据OpenPose算法对所述图像实现人体姿势的检测，获得人体姿势的方向、角度和骨骼关键点，然后通过计算人体姿势的方向、角度和骨骼关键点获得人体姿势特征，具体包括：

加载OpenPose模型；

根据所述OpenPose模型获取所述图像的人体的骨骼关键点；

利用欧氏距离，获得人体的各个身体部位的骨骼关键点之间的距离；

利用三角函数，获得人体的各个身体部位的骨骼关键点之间的角度；

通过计算人体的每个骨骼关键点之间的角度比例，获得人体的各个身体部位之间的角度关系特征；

将所述距离、所述角度和所述角度关系特征作为人体姿势特征。

进一步的，所述语音识别单元根据所述语音对话单元采集的音频进行求救人员的呼叫体征检测，并判断求救人员的呼叫紧急程度，获得第二评估值，具体包括：

通过所述语音对话单元采集求救人员的音频；

所述语音识别单元根据MFCC算法和PLP算法对所述音频实现特征提取并转换为文本内容；

所述语音识别单元根据自然语言处理库NLTK或spaCy分析所述文本内容的关键词和情感倾向，获得呼叫体征集；

根据所述呼叫体征集获得第二评估值，所述第二评估值为求救人员的呼叫紧急程度。

更进一步的，所述语音识别单元根据MFCC算法和PLP算法对所述音频实现特征提取并转换为文本内容，具体包括：

根据librosa库的load函数加载所述音频并返回音频数据；

根据librosa库的MFCC函数计算所述音频数据的MFCC系数，取所述MFCC系数的均值为MFCC特征；

根据librosa库的melspectrogram函数计算所述音频数据的梅尔频谱图，再根据librosa库的power_to_db函数将梅尔频谱图转换为对数刻度，取所述对数刻度的均值为PLP特征；

根据MLP分类器对所述MFCC特征和所述PLP特征进行分类，获得文本内容。

进一步的，所述云平台根据所述气象监测模块监测到的气象情况、所述经纬度数据、所述第一评估值和所述第二评估值进行打分，具体包括：

所述气象监测模块监测所述通信桩体附近的气象情况，并通过所述卫星通讯模块上传至所述云平台；

所述云平台根据所述经纬度数据确定所述通信桩体所在地的野外类型；

所述云平台根据所述气象情况、所述野外类型、所述第一评估值和所述第二评估值，对每个通信桩体附近的求救人员的紧急程度进行排序，获得排序结果。

与现有技术相比，本发明具有以下技术效果的至少之一：

1、通过综合考虑多个因素，如网络质量、人体特征、呼叫体征、气象情况和野外类型等，能够更全面地评估求救人员的紧急程度。这种综合性能评估能够更准确地判断求救人员的紧急程度，并优化救援资源的调配。

2、实时检测每个网络模式的质量，通过即时的数据收集和分析，可以及时发现网络问题，并及时调整网络模式，以确保求救人员能够获得及时有效的救援支持。

3、利用计算机视觉技术和语音识别技术，能够对求救人员的面部表情、手部动作、姿势以及语音呼叫进行分析和识别，能够从多个维度获取求救人员的紧急程度信息，提供更全面和更准确的评估。

附图说明

是为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于卫星多模边缘计算网关的通信系统的原理框架示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

目前市场上用于设置在野外并供求救人员进行求救呼叫的通信产品，在评估求救人员的紧急程度时通常只考虑单一的指标，如呼叫次数等因素，基于单一指标的评估可能导致资源分配的不平衡，无法充分考虑紧急程度的多样性和复杂性，同时在复杂的野外环境中，会面临诸如信号干扰、背景噪声、光照变化等问题，这些因素可能影响特征提取和数据分析的准确性，现有通信产品在野外环境的数据收集和传输受到限制，可能会影响到求救人员的语音呼叫的实时性。

参照图1，本发明实施例提供了一种基于卫星多模边缘计算网关的通信系统，包括通信桩体、云平台、卫星通讯模块、视觉监控模块、语音呼叫模块和气象监测模块；

所述卫星通讯模块、所述视觉监控模块、所述语音呼叫模块和所述气象监测模块设置于所述通信桩体上，所述视觉监控模块、所述语音呼叫模块和所述气象监测模块通过所述卫星通讯模块与所述云平台进行通讯；

所述卫星通讯模块包括卫星多模边缘计算网关和网络质量检测单元，所述卫星多模边缘计算网关设置有4G/5G移动网络、蓝牙网络、NB-IOT网络、LTE网络和卫星网络，所述网络质量检测单元实时检测所述卫星多模边缘计算网关的每个网络模式的网络质量，所述卫星多模边缘计算网关根据所述网络质量检测单元给出的网络质量检测结果进行网络模式切换；

所述视觉监控模块包括摄像头和图像识别单元，所述摄像头用于采集所述通信桩体附近的求救人员的图像，所述图像识别单元根据所述摄像头采集的图像进行面部表情、手部动作和人体姿势提取，并判断求救人员的身体危急程度，获得第一评估值；

所述语音呼叫模块包括语音对话单元和语音识别单元，所述语音对话单元用于供求救人员一键呼叫，同时通过所述卫星通讯模块向所述云平台发送所述通信桩体的经纬度数据，所述语音识别单元根据所述语音对话单元采集的音频进行求救人员的呼叫体征检测，并判断求救人员的呼叫紧急程度，获得第二评估值；

所述气象监测模块用于监测所述通信桩体附近的气象情况，所述云平台根据所述气象监测模块监测到的气象情况、所述经纬度数据、所述第一评估值和所述第二评估值进行打分，然后根据每个通信桩体附近的求救人员的分数进行救援资源调度。

在一些实施例中，所述网络质量检测单元实时检测所述卫星多模边缘计算网关的每个网络模式的网络质量，具体包括：

所述网络质量检测单元根据ping命令实时检测所述卫星多模边缘计算网关的每个网络模式的网络延迟；

所述网络质量检测单元根据UDP协议实时检测所述卫星多模边缘计算网关的每个网络模式的丢包率；

所述网络质量检测单元根据speedtest-cli工具实时检测所述卫星多模边缘计算网关的每个网络模式的网络带宽；

根据所述卫星多模边缘计算网关的每个网络模式的网络延迟、丢包率和网络带宽各自的实际值、理论最大值和理论最小值以及网络模式的类型进行加权评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果。

该实施例中，所述网络质量检测单元分别根据ping命令、UDP协议和speedtest-cli工具实时检测所述卫星多模边缘计算网关的每个网络模式的网络延迟、丢包率和网络带宽，从而综合获得网络质量检测结果，关于使用ping命令、UDP协议和speedtest-cli工具检测网络质量的代码示例如下。

import subprocess

import socket

import time

import speedtest

#定义要检测的目标IP地址和端口号

target_ip = "8.8.8.8"

target_port = 80

#定义ping命令的参数和超时时间

ping_args = ["ping", "-c", "1", "-w", "1", target_ip]

#定义UDP协议的发送和接收数据

send_data = "Hello World!"

recv_data = ""

#定义带宽检测的服务器列表

servers = []

threads = None

#定义检测函数

def ping():

#使用ping命令检测网络延迟，返回延迟时间

ping_result = subprocess.run(ping_args, capture_output=True)

ping_time = float(ping_result.stdout.split(b"time=")[1].split(b"")[0])

return ping_time

def udp():

#使用UDP协议检测丢包率，返回丢包率

try:

#创建UDP套接字

udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

udp_socket.settimeout(1)

#发送数据包

udp_socket.sendto(send_data.encode(), (target_ip, target_port))

#接收数据包

recv_data, addr = udp_socket.recvfrom(1024)

#关闭套接字

udp_socket.close()

return 0

except:

return 1

def bandwidth():

#使用Speedtest-cli模块检测带宽，返回下载速度、上传速度、延迟时间

st = speedtest.Speedtest()

st.get_servers(servers)

st.get_best_server()

download_speed = st.download()

upload_speed = st.upload()

ping_time = st.results.ping

return download_speed, upload_speed, ping_time

#检测网络质量并输出结果

while True:

ping_time = ping()

udp_loss = udp()

download_speed, upload_speed, ping_time = bandwidth()

print("Ping:{}ms,UDP Loss: {}%,Download:{}Mbps,Upload:{} Mbps".format(ping_time, udp_loss*100, download_speed/1000000, upload_speed/1000000))

time.sleep(10)

上述代码示例中，网络延迟和丢包率的检测使用Python自带的socket和subprocess模块，而网络带宽的检测使用了第三方模块Speedtest-cli。

在一些实施例中，根据所述卫星多模边缘计算网关的每个网络模式的网络延迟、丢包率和网络带宽各自的实际值、理论最大值和理论最小值以及网络模式的类型进行加权评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果，具体包括：

获取所述卫星多模边缘计算网关的每个网络模式的网络延迟得分，所述网络延迟得分为，其中，/>、/>和/>分别表示所述卫星多模边缘计算网关的每个网络模式的网络延迟的实际值、理论最大值和理论最小值；

获取所述卫星多模边缘计算网关的每个网络模式的丢包率得分，所述丢包率得分为，其中，/>和/>分别表示所述卫星多模边缘计算网关的每个网络模式的丢包率的实际值和理论最大值；

获取所述卫星多模边缘计算网关的每个网络模式的网络带宽得分，所述网络带宽得分为，其中，/>、/>和/>分别表示所述卫星多模边缘计算网关的每个网络模式的网络带宽的实际值、理论最大值和理论最小值；

根据所述网络延迟得分、所述丢包率得分、所述网络带宽得分和所述卫星多模边缘计算网关的每个网络模式的类型形成网络质量评分公式，所述网络质量评分公式满足，其中，Q表示网络质量评分，/>、/>、/>和/>分别表示网络延迟得分、丢包率、网络带宽和网络模式的类型各自的权重；

根据所述网络质量评分公式对所述卫星多模边缘计算网关的每个网络模式进行评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果。

该实施例中，将实际延迟值与最大延迟值、最小延迟值进行比较，并将其标准化到0到1之间的范围，较低的延迟得分表示较低的延迟时间，通常表示网络连接更快、响应更及时。这种设置可以使得延迟得分与延迟值呈负相关关系，即较低的延迟值将得到较高的得分，而较高的延迟值将得到较低的得分。

通过将实际丢包率与最大丢包率进行比较，并将其标准化到0到1之间的范围。较低的丢包率得分表示较低的丢包率，通常表示网络连接更可靠、数据传输更稳定。这种设置可以使得丢包率得分与丢包率呈负相关关系，即较低的丢包率将得到较高的得分，而较高的丢包率将得到较低的得分。

将实际带宽值与最小带宽值和最大带宽值进行比较，然后将其标准化到0到1之间的范围，较高的带宽得分表示较高的带宽速度，通常表示网络连接更快、更可靠。这种设置可以使得带宽得分与带宽值呈正相关关系，即较高的带宽值将得到较高的得分，而较低的带宽值将得到较低的得分。

针对于网络延迟得分、丢包率、网络带宽和网络模式的类型各自的权重、/>、和/>，在不同的场景下可以适当调整。

比如在实时传输视频时，网络带宽的重要性较高，因为足够的网络带宽可以保证视频流畅播放，此时可以适当增加网络 带宽得分的权重，使其在综合评估中占据较大比重。

比如在实时语音通信时，网络延迟的重要性较高，因为较低的网络延迟可以确保实时通信的即时性，此时可以增加网络延迟得分的权重，使其在综合评估中占据较大比重。

比如在确保数据传输的完整性和可靠性时，丢包率的重要性较高，因为较低的丢包率可以保证数据的完整性和可靠性，网络带宽和网络延迟虽然仍然重要，但丢包率是数据传输的完整性中的关键指标，因为丢包会导致数据丢失或损坏。

此外，也可针对不同的野外类型，适当提高或降低网络模式的类型的权重，比如野外类型为山地时，此时4G/5G移动网络还能使用且信号强度适当，此时该提高4G/5G移动网络的权重，但如果野外类型为沙漠时，此时4G/5G移动网络信号相对较差，卫星网络在沙漠场景更加有利，因此可以提高卫星网络的权重。

上述卫星多模边缘计算网关的每个网络模式的网络延迟、网络带宽和丢包率各自的理论最大值和理论最小值可通过测试获得。

在一些实施例中，所述图像识别单元根据所述摄像头采集的图像进行面部表情、手部动作和人体姿势提取，并判断求救人员的身体危急程度，获得第一评估值，具体包括：

通过所述摄像头获取所述通信桩体附近的求救人员的图像；

所述图像识别单元根据Haar级联分类器对所述图像实现面部区域的快速检测，再根据dlib库的68点面部标志点检测器获取所述面部区域的关键点，然后通过计算所述面部区域的关键点的位置和距离获得面部表情特征；

所述图像识别单元根据Haar级联分类器对所述图像实现手部区域的快速检测，再根据Canny边缘检测算法和手指关键点检测算法获取所述手部区域的边缘和姿势，然后通过计算所述手部区域的边缘和姿势获得手部动作特征；

所述图像识别单元根据OpenPose算法对所述图像实现人体姿势的检测，获得人体姿势的方向、角度和骨骼关键点，然后通过计算人体姿势的方向、角度和骨骼关键点获得人体姿势特征；

根据所述面部表情特征、所述手部动作特征和所述人体姿势特征进行加权平均，获得第一评估值，所述第一评估值为求救人员的身体危急程度。

该实施例中，利用计算机视觉技术对图像或视频中的人体特征进行目标检测，包括但不限于面部表情、手部动作、姿势等。然后从检测到的人体特征中提取出关键特征，如面部表情的紧张程度、手部动作的稳定程度、姿势的稳定性等。再根据不同的紧急情况下的特征权重设置，将提取到的关键特征加权平均得到一个评估值，该评估值表示人体特征的危急程度，用于优先级排序。

在一些实施例中，根据Haar级联分类器对所述图像实现面部区域的快速检测，再根据dlib库的68点面部标志点检测器获取所述面部区域的关键点，然后通过计算所述面部区域的关键点的位置和距离获得面部表情特征，具体包括：

将所述图像转换为灰度图像，然后使用预先训练好的Haar级联分类器检测所述灰度图像是否存在面部区域，当存在多个面部区域时，选择第一个面部区域作为处理对象；

根据dlib库的68点面部标志点检测器检测所述面部区域的关键点，获得所述关键点的坐标；

根据所述关键点的坐标获取眼睛宽度比例和嘴巴高度比例，将所述眼睛宽度比例和所述嘴巴高度比例作为面部表情特征。

该实施例中，当使用Haar级联分类器进行面部检测时，首先将输入图像转换为灰度图像。然后，使用预先训练好的面部检测器来检测图像中的面部区域。如果有多个面部被检测到，选择其中的第一个面部作为处理对象。

接下来，使用dlib库中的面部标志点检测器来检测面部关键点。这些关键点包括眼睛、鼻子和嘴巴等面部特征的位置。可以通过访问关键点的坐标来计算眼睛宽度比例和嘴巴高度比例等面部表情特征。

具体而言，选择左眼、右眼和鼻子作为计算眼睛宽度比例的关键点。计算左眼和右眼之间的距离，然后将其除以左眼和鼻子之间的距离，得到眼睛宽度比例。类似地，选择嘴巴和鼻子作为计算嘴巴高度比例的关键点，计算嘴巴和鼻子之间的距离，然后将其除以左眼和鼻子之间的距离，得到嘴巴高度比例。

最后，将计算得到的眼睛宽度比例和嘴巴高度比例作为面部表情特征返回。

在一些实施例中，根据Haar级联分类器对所述图像实现手部区域的快速检测，再根据Canny边缘检测算法和手指关键点检测算法获取所述手部区域的边缘和姿势，然后通过计算所述手部区域的边缘和姿势获得手部动作特征，具体包括：

将所述图像转换为灰度图像，然后使用预先训练好的Haar级联分类器检测所述灰度图像是否存在手部区域，当存在多个手部区域时，选择主要的手部区域作为处理对象；

设置低阈值和高阈值，根据OpenCV的Canny函数将所述边缘强度低于所述低阈值的像素作为非边缘、将所述边缘强度高于高阈值的像素作为强边缘、将所述边缘强度介于所述低阈值和所述高阈值之间且与所述强边缘连接的像素作为弱边缘；

根据所述非边缘、所述弱边缘和所述强边缘的连接关系，确定所述手部区域的边缘；

根据手指关键点检测算法确定手部区域的姿势，所述手指关键点检测算法为OpenCV的手部姿势估计模块或手部关键点检测模块；

将所述手部区域的边缘和所述手部区域的姿势作为手部动作特征。

该实施例中，使用Haar级联分类器或其他方法进行手部区域检测。将输入图像转换为灰度图像，并使用预先训练好的分类器来检测手部区域。如果有多个手部被检测到，选择其中的主要手部作为处理对象。

使用手部轮廓检测算法，如Canny边缘检测或色彩分割，来检测手部的边缘。这些算法可以帮助提取手部的形状信息。可以通过对图像进行阈值处理、边缘检测和形态学操作来获取手部的二值化轮廓图像。

使用手指关键点检测算法来检测手指的姿势。可以使用基于深度学习的方法，如OpenCV中的手部姿势估计（Hand Pose Estimation）或手部关键点检测（Hand KeypointDetection）模块，来检测手部关键点的位置。这些关键点包括手指的顶点和关节位置。

利用手部的形状、手指的位置和角度等信息来提取手部动作的特征。例如，可以计算手部轮廓的周长和面积，并计算手指之间的距离和角度关系。这些特征可以用于描述手部的形态和手指的姿势，从而提取手部动作的特征。

最后，可以将提取得到的手部动作特征用于分类和识别。可以使用机器学习算法或深度学习模型，根据提取的特征进行训练和分类，实现手部动作的识别和分类任务。

其中，使用Canny边缘检测算法，通过选择适当的阈值来确定边缘的具体步骤为：

使用OpenCV的cv2.GaussianBlur()函数来实现对图像的高斯滤波。

使用OpenCV的cv2.Canny()函数接受两个阈值参数：低阈值和高阈值，边缘强度的梯度值低于低阈值的像素点将被认为不是边缘，边缘强度的梯度值高于高阈值的像素点将被认为是强边缘。如果像素点的梯度值介于低阈值和高阈值之间，且与强边缘相连，则被认为是弱边缘。

使用OpenCV的cv2.dilate()函数进行边缘连接和cv2.erode()函数进行边缘细化。

在一些实施例中，根据OpenPose算法对所述图像实现人体姿势的检测，获得人体姿势的方向、角度和骨骼关键点，然后通过计算人体姿势的方向、角度和骨骼关键点获得人体姿势特征，具体包括：

加载OpenPose模型；

根据所述OpenPose模型获取所述图像的人体的骨骼关键点；

利用欧氏距离，获得人体的各个身体部位的骨骼关键点之间的距离；

利用三角函数，获得人体的各个身体部位的骨骼关键点之间的角度；

通过计算人体的每个骨骼关键点之间的角度比例，获得人体的各个身体部位之间的角度关系特征；

将所述距离、所述角度和所述角度关系特征作为人体姿势特征。

该实施例中，使用OpenPose模型加载图像或视频帧，OpenPose提供了预训练的神经网络模型，可以通过调用相应的库和函数来加载模型。

首先将加载的图像或视频帧输入到OpenPose模型中，进行人体姿势估计，模型会检测出人体的关键点和骨架结构，再获取每个人的骨骼关键点和姿势角度信息，OpenPose会提供每个关键点的坐标位置和对应的关联关系，然后根据关键点的位置和角度信息，提取姿势的特征，可以使用关键点之间的距离、角度比例等来表示姿势特征。最后，进行姿势分类和识别，使用提取的姿势特征来训练分类器或模型，以识别不同的姿势类别。

针对关键点之间的距离，计算关键点之间的欧氏距离或其他距离度量，以获取身体部位之间的距离特征。例如，可以计算肩膀和手腕之间的距离、髋部和膝盖之间的距离等。可以选择一组关键点，然后计算它们之间的距离并作为特征。

针对关键点的角度，根据关键点的位置计算角度，以获取身体部位之间的角度特征。可以使用三个关键点来计算角度，例如肩膀、肘部和手腕的角度，或者膝盖、脚踝和脚尖的角度等。可以使用三角函数计算角度，如余弦、正弦或正切。

针对关键点的角度比例，计算关键点之间角度的比例，以获取不同身体部位之间的角度关系特征。例如，可以计算手臂的弯曲角度与前臂的弯曲角度之比，或者大腿的角度与小腿的角度之比等。可以选择一组关键点，然后计算它们之间角度的比例作为特征。

在一些实施例中，所述语音识别单元根据所述语音对话单元采集的音频进行求救人员的呼叫体征检测，并判断求救人员的呼叫紧急程度，获得第二评估值，具体包括：

通过所述语音对话单元采集求救人员的音频；

所述语音识别单元根据MFCC算法和PLP算法对所述音频实现特征提取并转换为文本内容；

所述语音识别单元根据自然语言处理库NLTK或spaCy分析所述文本内容的关键词和情感倾向，获得呼叫体征集；

根据所述呼叫体征集获得第二评估值，所述第二评估值为求救人员的呼叫紧急程度。

具体的，所述语音识别单元根据MFCC算法和PLP算法对所述音频实现特征提取并转换为文本内容，具体包括：

根据librosa库的load函数加载所述音频并返回音频数据；

根据librosa库的MFCC函数计算所述音频数据的MFCC系数，取所述MFCC系数的均值为MFCC特征；

根据librosa库的melspectrogram函数计算所述音频数据的梅尔频谱图，再根据librosa库的power_to_db函数将梅尔频谱图转换为对数刻度，取所述对数刻度的均值为PLP特征；

根据MLP分类器对所述MFCC特征和所述PLP特征进行分类，获得文本内容。

该实施例中，在实现语音识别技术时，一般需要使用特定的算法和模型来对音频信号进行处理和分析。其中，声学模型是用于对音频信号进行特征提取和分类的模型，可以使用一些经典的算法如MFCC、PLP等。一旦获得了音频信号的文本内容，可以使用自然语言处理技术来对文本进行进一步的处理和分析。比如，可以使用文本分类算法来判断文本中是否包含呼叫体征相关的关键词或短语，从而判断是否存在呼叫体征。同时，还可以使用情感分析算法来分析文本的情感倾向，以进一步判断呼叫的紧急程度。

MFCC（Mel-Frequency Cepstral Coefficients）算法和PLP（Perceptual LinearPrediction）算法是音频信号处理中常用的特征提取算法。这些算法可以将音频信号转换为一组能够代表声音特征的数字特征向量，用于音频信号的分类和识别。

在加载音频文件并返回音频数据时，使用librosa库中的load函数加载音频数据，指定采样率为16000。

在提取MFCC特征时，使用librosa库中的mfcc函数计算音频数据的MFCC系数，设置MFCC的数量为13，然后取MFCC系数的均值作为特征。

在提取PLP特征时，使用librosa库中的melspectrogram函数计算音频数据的梅尔频谱图，设置梅尔频谱的数量为13，最大频率为8000Hz，然后使用librosa库中的power_to_db函数将梅尔频谱图转换为对数刻度，最后取对数刻度梅尔频谱图的均值作为特征。

在加载音频数据并提取特征，通过循环遍历指定的音频文件列表，加载每个音频文件的数据，然后调用extract_mfcc和extract_plp函数提取MFCC和PLP特征。将提取的特征和相应的标签存储在features和labels列表中。

在训练MLP分类器时，使用train_test_split函数将数据集划分为训练集和测试集，然后创建一个MLP分类器对象，并使用训练集数据进行训练，最后打印训练和测试的准确率。

接着，使用Python中的自然语言处理库NLTK或spaCy来处理分析文本中的关键词和情感倾向。需要使用NLTK或spaCy加载预训练的自然语言处理模型，以对文本进行分词、词性标注、命名实体识别等处理。

在一些实施例中，所述云平台根据所述气象监测模块监测到的气象情况、所述经纬度数据、所述第一评估值和所述第二评估值进行打分，具体包括：

所述气象监测模块监测所述通信桩体附近的气象情况，并通过所述卫星通讯模块上传至所述云平台；

所述云平台根据所述经纬度数据确定所述通信桩体所在地的野外类型；

所述云平台根据所述气象情况、所述野外类型、所述第一评估值和所述第二评估值，对每个通信桩体附近的求救人员的紧急程度进行排序，获得排序结果。

该实施例中，在气象情况方面，可以考虑温度、湿度、风力等因素对求救人员的生命安全和健康状况的影响；在野外类型方面，可以考虑山区、森林、沙漠等野外类型对救援难度和时间的影响。再结合第一评估值和第二评估值，将求救人员的紧急情况分为不同的等级，以便在救援资源有限的情况下，优先安排对最紧急的求援进行响应。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

Claims (9)

1.一种基于卫星多模边缘计算网关的通信系统，其特征在于，包括通信桩体、云平台、卫星通讯模块、视觉监控模块、语音呼叫模块和气象监测模块；

所述卫星通讯模块、所述视觉监控模块、所述语音呼叫模块和所述气象监测模块设置于所述通信桩体上，所述视觉监控模块、所述语音呼叫模块和所述气象监测模块通过所述卫星通讯模块与所述云平台进行通讯；

所述卫星通讯模块包括卫星多模边缘计算网关和网络质量检测单元，所述卫星多模边缘计算网关设置有4G/5G移动网络、蓝牙网络、NB-IOT网络、LTE网络和卫星网络，所述网络质量检测单元实时检测所述卫星多模边缘计算网关的每个网络模式的网络质量，所述卫星多模边缘计算网关根据所述网络质量检测单元给出的网络质量检测结果进行网络模式切换；

所述视觉监控模块包括摄像头和图像识别单元，所述摄像头用于采集所述通信桩体附近的求救人员的图像，所述图像识别单元根据所述摄像头采集的图像进行面部表情、手部动作和人体姿势提取，并判断求救人员的身体危急程度，获得第一评估值；

其中，所述图像识别单元根据所述摄像头采集的图像进行面部表情、手部动作和人体姿势提取，并判断求救人员的身体危急程度，获得第一评估值，具体包括：

通过所述摄像头获取所述通信桩体附近的求救人员的图像；

所述图像识别单元根据Haar级联分类器对所述图像实现面部区域的快速检测，再根据dlib库的68点面部标志点检测器获取所述面部区域的关键点，然后通过计算所述面部区域的关键点的位置和距离获得面部表情特征；

所述图像识别单元根据Haar级联分类器对所述图像实现手部区域的快速检测，再根据Canny边缘检测算法和手指关键点检测算法获取所述手部区域的边缘和姿势，然后通过计算所述手部区域的边缘和姿势获得手部动作特征；

所述图像识别单元根据OpenPose算法对所述图像实现人体姿势的检测，获得人体姿势的方向、角度和骨骼关键点，然后通过计算人体姿势的方向、角度和骨骼关键点获得人体姿势特征；

根据所述面部表情特征、所述手部动作特征和所述人体姿势特征进行加权平均，获得第一评估值，所述第一评估值为求救人员的身体危急程度；

所述语音呼叫模块包括语音对话单元和语音识别单元，所述语音对话单元用于供求救人员一键呼叫，同时通过所述卫星通讯模块向所述云平台发送所述通信桩体的经纬度数据，所述语音识别单元根据所述语音对话单元采集的音频进行求救人员的呼叫体征检测，并判断求救人员的呼叫紧急程度，获得第二评估值；

所述气象监测模块用于监测所述通信桩体附近的气象情况，所述云平台根据所述气象监测模块监测到的气象情况、所述经纬度数据、所述第一评估值和所述第二评估值进行打分，然后根据每个通信桩体附近的求救人员的分数进行救援资源调度。

2.根据权利要求1所述的基于卫星多模边缘计算网关的通信系统，其特征在于，所述网络质量检测单元实时检测所述卫星多模边缘计算网关的每个网络模式的网络质量，具体包括：

所述网络质量检测单元根据ping命令实时检测所述卫星多模边缘计算网关的每个网络模式的网络延迟；

所述网络质量检测单元根据UDP协议实时检测所述卫星多模边缘计算网关的每个网络模式的丢包率；

所述网络质量检测单元根据speedtest-cli工具实时检测所述卫星多模边缘计算网关的每个网络模式的网络带宽；

根据所述卫星多模边缘计算网关的每个网络模式的网络延迟、丢包率和网络带宽各自的实际值、理论最大值和理论最小值以及网络模式的类型进行加权评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果。

3.根据权利要求2所述的基于卫星多模边缘计算网关的通信系统，其特征在于，根据所述卫星多模边缘计算网关的每个网络模式的网络延迟、丢包率和网络带宽各自的实际值、理论最大值和理论最小值以及网络模式的类型进行加权评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果，具体包括：

获取所述卫星多模边缘计算网关的每个网络模式的网络延迟得分，所述网络延迟得分为，其中，/> 和/>分别表示所述卫星多模边缘计算网关的每个网络模式的网络延迟的实际值、理论最大值和理论最小值；

获取所述卫星多模边缘计算网关的每个网络模式的丢包率得分，所述丢包率得分为，其中，/>和/>分别表示所述卫星多模边缘计算网关的每个网络模式的丢包率的实际值和理论最大值；

获取所述卫星多模边缘计算网关的每个网络模式的网络带宽得分，所述网络带宽得分为，其中，/> 和/>分别表示所述卫星多模边缘计算网关的每个网络模式的网络带宽的实际值、理论最大值和理论最小值；

根据所述网络延迟得分、所述丢包率得分、所述网络带宽得分和所述卫星多模边缘计算网关的每个网络模式的类型形成网络质量评分公式，所述网络质量评分公式满足，其中，Q表示网络质量评分，/>、/>、/>和/>分别表示网络延迟得分、丢包率、网络带宽和网络模式的类型各自的权重；

根据所述网络质量评分公式对所述卫星多模边缘计算网关的每个网络模式进行评分，获得所述卫星多模边缘计算网关的每个网络模式的网络质量检测结果。

4.根据权利要求1所述的基于卫星多模边缘计算网关的通信系统，其特征在于，根据Haar级联分类器对所述图像实现面部区域的快速检测，再根据dlib库的68点面部标志点检测器获取所述面部区域的关键点，然后通过计算所述面部区域的关键点的位置和距离获得面部表情特征，具体包括：

将所述图像转换为灰度图像，然后使用预先训练好的Haar级联分类器检测所述灰度图像是否存在面部区域，当存在多个面部区域时，选择第一个面部区域作为处理对象；

根据dlib库的68点面部标志点检测器检测所述面部区域的关键点，获得所述关键点的坐标；

根据所述关键点的坐标获取眼睛宽度比例和嘴巴高度比例，将所述眼睛宽度比例和所述嘴巴高度比例作为面部表情特征。

5.根据权利要求1所述的基于卫星多模边缘计算网关的通信系统，其特征在于，根据Haar级联分类器对所述图像实现手部区域的快速检测，再根据Canny边缘检测算法和手指关键点检测算法获取所述手部区域的边缘和姿势，然后通过计算所述手部区域的边缘和姿势获得手部动作特征，具体包括：

将所述图像转换为灰度图像，然后使用预先训练好的Haar级联分类器检测所述灰度图像是否存在手部区域，当存在多个手部区域时，选择主要的手部区域作为处理对象；

设置低阈值和高阈值，根据OpenCV的Canny函数将所述边缘强度低于所述低阈值的像素作为非边缘、将所述边缘强度高于高阈值的像素作为强边缘、将所述边缘强度介于所述低阈值和所述高阈值之间且与所述强边缘连接的像素作为弱边缘；

根据所述非边缘、所述弱边缘和所述强边缘的连接关系，确定所述手部区域的边缘；

根据手指关键点检测算法确定手部区域的姿势，所述手指关键点检测算法为OpenCV的手部姿势估计模块或手部关键点检测模块；

将所述手部区域的边缘和所述手部区域的姿势作为手部动作特征。

6.根据权利要求1所述的基于卫星多模边缘计算网关的通信系统，其特征在于，根据OpenPose算法对所述图像实现人体姿势的检测，获得人体姿势的方向、角度和骨骼关键点，然后通过计算人体姿势的方向、角度和骨骼关键点获得人体姿势特征，具体包括：

加载OpenPose模型；

根据所述OpenPose模型获取所述图像的人体的骨骼关键点；

利用欧氏距离，获得人体的各个身体部位的骨骼关键点之间的距离；

利用三角函数，获得人体的各个身体部位的骨骼关键点之间的角度；

通过计算人体的每个骨骼关键点之间的角度比例，获得人体的各个身体部位之间的角度关系特征；

将所述距离、所述角度和所述角度关系特征作为人体姿势特征。

7.根据权利要求1所述的基于卫星多模边缘计算网关的通信系统，其特征在于，所述语音识别单元根据所述语音对话单元采集的音频进行求救人员的呼叫体征检测，并判断求救人员的呼叫紧急程度，获得第二评估值，具体包括：

通过所述语音对话单元采集求救人员的音频；

所述语音识别单元根据MFCC算法和PLP算法对所述音频实现特征提取并转换为文本内容；

所述语音识别单元根据自然语言处理库NLTK或spaCy分析所述文本内容的关键词和情感倾向，获得呼叫体征集；

根据所述呼叫体征集获得第二评估值，所述第二评估值为求救人员的呼叫紧急程度。

8.根据权利要求7所述的基于卫星多模边缘计算网关的通信系统，其特征在于，所述语音识别单元根据MFCC算法和PLP算法对所述音频实现特征提取并转换为文本内容，具体包括：

根据librosa库的load函数加载所述音频并返回音频数据；

根据librosa库的MFCC函数计算所述音频数据的MFCC系数，取所述MFCC系数的均值为MFCC特征；

根据librosa库的melspectrogram函数计算所述音频数据的梅尔频谱图，再根据librosa库的power_to_db函数将梅尔频谱图转换为对数刻度，取所述对数刻度的均值为PLP特征；

根据MLP分类器对所述MFCC特征和所述PLP特征进行分类，获得文本内容。

9.根据权利要求1所述的基于卫星多模边缘计算网关的通信系统，其特征在于，所述云平台根据所述气象监测模块监测到的气象情况、所述经纬度数据、所述第一评估值和所述第二评估值进行打分，具体包括：

所述气象监测模块监测所述通信桩体附近的气象情况，并通过所述卫星通讯模块上传至所述云平台；

所述云平台根据所述经纬度数据确定所述通信桩体所在地的野外类型；

所述云平台根据所述气象情况、所述野外类型、所述第一评估值和所述第二评估值，对每个通信桩体附近的求救人员的紧急程度进行排序，获得排序结果。