CN109408500B - 人工智能运行平台 - Google Patents

Abstract

本发明涉及一种人工智能运行平台，包括：硬件层、系统层、软件接口层以及应用层；所述硬件层采用嵌入式硬件，包括：存储器和CPU，所述存储器与所述CPU连接；所述系统层采用linux定制化系统，所述应用层包括：智能客户端，用于实现所述运行平台与外部智能设备之间的数据交互；本发明能够对大规模数据进行筛选和处理，仅将有价值的信息通过网络传至云端服务器或直接将用户需要的结果返回，如此数据就近处理的理念可以实现网络带宽以及数据中心的存储，计算资源将得到极大的节省，同时提高了运行效率。

Description

人工智能运行平台

技术领域

本发明属于人工智能技术领域，具体涉及一种人工智能运行平台。

背景技术

分布式人工智能云端平台采用了云、网、端结合的架构。整个系统的数据处理单元(即“大脑”)位于云端服务器，通过云端的大规模神经网络，来进行深度学习和训练，以期获得较高的智能化水平，使得云端能够像人类大脑一样进行思考和分析；系统的数据传输通过数据传输神经网络来实现，这些传输网络就如同人身体内的神经网络那样，负责在大脑和躯体之间传递信号与指令；而分布式云端平台的“躯体”则为智能运行平台，直接与设备的执行单元与采集单元连接，负责指令的执行与信息的采集。

相关技术中，以无人驾驶汽车为例，它是一个移动的“物体”，需要足够的本地数据处理能力，即终端侧人工智能。同时，它也需要从网络中获取强大的处理能力，并且需要确保高可靠性和低延迟(环境)。云服务器中会产生大规模数据，但是大规模的数据中存在不需要进行计算或没有价值的数据，这样会占用网络带宽且会浪费云服务器中数据中心的存储，还会浪费计算资源，同时降低了运行效率。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种人工智能运行平台，以解决现有技术中的大规模数据占用网络带宽、占用存储，浪费计算资源、降低运行效率的问题。

为实现以上目的，本发明采用如下技术方案：一种人工智能运行平台，包括：硬件层、系统层、软件接口层以及应用层；

所述硬件层采用嵌入式硬件，包括：存储器和CPU，所述存储器与所述CPU连接；

所述系统层采用linux定制化系统，用于实现所述运行平台的定制化；

所述软件接口层包括：中间件、ROS系统、数据传输接口以及通用功能模块；

所述中间件用于将接收的不同数据转化为统一的数据结构；

所述ROS系统用于实现各种硬件接口的数据采集以及发送接口的统一；

所述数据传输接口用于实现所述运行平台与云服务器之间的数据传输；

所述通用功能模块用于负责提供通用功能的具体实现；

所述应用层包括：智能客户端，用于实现所述运行平台与外部智能设备之间的数据交互。

进一步的，所述嵌入式硬件还包括：GPU和存储硬盘；

所述GPU用于高性能并行计算；

所述存储硬盘用于存储各类软件及数据。

进一步的，所述应用层还包括：

智能模型，用于完成AI算法的运算；

所述智能模型通过所述智能客户端与外部智能设备连接。

进一步的，所述中间件采用：

深度神经网络中间件。

进一步的，所述linux定制化系统采用：

基于squashfs的只读文件系统。

进一步的，所述只读文件系统包括只读分区、加密分区和可写分区；

所述只读分区用于存储所述智能客户端和智能模型；

所述加密分区用于存储所述智能模型运行所需的关键模型及参数文件；

所述可写分区用于存储所述智能客户端和智能模型运行产生的数据。

本申请实施例提供一种人工智能运行平台的工作方法，包括：

获取智能设备的不同数据；

将接收的不同数据转化为统一的数据结构；

对所述统一数据结构进行计算或者将统一数据结构传输到云端服务器并获取计算结果；

将计算后的结果传输到智能设备。

进一步的，所述将接收的不同数据转化为统一的数据结构，包括：

中间件将接收的不同数据转化为统一的数据结构；

将所述数据结构转化为不同平台的输入数据结构；

调用不同平台的前向预测接口；

得到不同平台的前向预测结果；

将所述预测结果转化为统一的数据结构。

进一步的，所述数据结构包括数据的存放地址、数据的有效个数、数据维度以及数据维度的大小。

进一步的，所述运行平台用于向云端服务器发送和接收数据，

所述发送的数据包括：

自身没有能力计算的数据信息、用户反馈的数据信息、智能模型训练所需的数据；

所述接收的数据包括：

云端服务器发回的智能模型的执行结果。

本发明采用以上技术方案，能够达到的有益效果包括：

人工智能运行平台能够对大规模数据进行筛选和处理，仅将有价值的信息通过网络传至云端服务器或直接将用户需要的结果返回，如此数据就近处理的理念可以实现网络带宽以及数据中心的存储，计算资源将得到极大的节省，同时提高了运行效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种人工智能运行平台的结构示意图；

图2为本发明一种人工智能运行平台的结构示意图；

图3为本发明一种人工智能运行平台的工作方法步骤图；

图4为本发明一种人工智能运行平台的工作方法步骤图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

下面结合附图介绍本申请实施例中提供的一个具体的人工智能运行平台。

如图1所示，本申请实施例中提供的人工智能运行平台，包括：硬件层、系统层、软件接口层以及应用层；

所述硬件层采用嵌入式硬件，包括：存储器和CPU，所述存储器与所述CPU连接；

所述系统层采用linux定制化系统，用于实现所述运行平台的定制化；

所述软件接口层包括：中间件、ROS系统、数据传输接口以及通用功能模块；

所述中间件用于将接收的不同数据转化为统一的数据结构；

所述ROS系统用于实现各种硬件接口的数据采集以及发送接口的统一；

所述数据传输接口用于实现所述运行平台与云服务器之间的数据传输；

所述通用功能模块用于负责提供通用功能的具体实现；

所述应用层包括：智能客户端，用于实现所述运行平台与外部智能设备之间的数据交互。

人工智能运行平台的工作原理为：人工智能运行平台设置在智能设备与云端服务器之间，其中智能设备可以是加工设备、机器人、AGV等，人工智能运行平台可以接收智能设备的数据并进行计算得出计算结果返回至智能设备，使得智能设备执行相应动作，当人工智能运行平台的计算能力较低不能对数据进行计算时，人工智能运行平台将不能计算的数据发送至云端服务器，云端服务器对数据进行计算并将计算结果发送至人工智能运行平台，人工智能运行平台将数据发送至智能设备，使得智能设备执行相应动作。

本申请中，人工智能运行平台包括硬件层、系统层、软件接口层以及应用层；

其中，硬件层采用嵌入式硬件，本申请中嵌入式硬件支持x86和arm两种架构，嵌入式硬件包括存储器和CPU，CPU具有采集数据以及数据传输功能，嵌入式硬件能够存储linux定制化系统，嵌入式硬件拥有至少16GB的内部存储介质或者可以外接至少8GB的存储介质；本申请中系统中采用linux定制化系统；中间件将接收的不同数据转化为统一的数据结构，ROS系统实现各种硬件接口的数据采集以及发送接口的统一，数据传输接口实现运行平台与云服务器之间的数据传输，通用功能模块负责提供通用功能的具体实现，智能客户端实现运行平台与外部智能设备之间的数据交互。运行平台采用分层设计，适用于人工智能领域的智能运行平台结构。

一些实施例中，如图2所示，所述嵌入式硬件还包括：

GPU和存储硬盘。

所述GPU用于高性能并行计算；

所述存储硬盘用于存储各类软件及数据。

具体的，GPU的计算能力较强能够实现较为复杂的数据处理。

一些实施例中，如图2所示，所述应用层还包括：

智能模型，用于完成AI算法的运算；

所述智能模型通过所述智能客户端与外部智能设备连接。

具体的，智能模型设置在人工智能运行平台的应用层中，智能模型中预设有AI算法，智能模型能够完成一些数据计算，当人工智能运行平台中存在GPU这种计算能力较强的硬件时，智能模型能够完成计算复杂的数据处理。具体的，智能客户端将从外部智能设备获取的各类数据发送给智能运行平台上的智能模型，完成智能算法的计算；同时，接收智能模型的计算结果，控制设备执行相应动作。

一些实施例中，所述云服务器包括：

智能模型，所述智能模型与所述智能客户端连接。

具体的，智能模型还可以设置在云端服务器中，此时，人工智能运行平台中不含有GPU，具体的，智能客户端将从外部智能设备获取的各类数据发送给智能模型，完成智能算法的计算；同时，接收智能模型的计算结果，控制设备执行相应动作。

本申请中，智能客户端和智能模型相互独立，使得数据交互与智能算法不相互依赖。

需要说明的是，中间件采用深度神经网络中间件即DNN中间件，DNN中间件中支持多个深度学习平台，包括tensorflow、caffe、caffe2、mxnet，不同平台各自定义了数据结构、预测以及训练接口，而不同的接口不利于云端服务器节点与人工智能运行平台之间的数据通信及后期维护，需要将不同平台之间数据结构及接口进行统一，DNN中间件支持CPU和GPU两种计算架构，完成统一的数据预处理和前向预测，其中数据预处理完成各种不同的数据(如图像、音频、视频等)到统一的数据结构的转化，前向预测完成不同平台的前向预测接口的统一，并完成输出结果的数据结构统一。最终实现统一的数据结构simple_tensor，DNN中间件接口包含：

(1)数据预处理接口，应用程序调用该接口完成数据的预处理；

输入：智能运行平台接收到的图像、视频、音频等数据，数据维度信息；

输出：统一数据结构simple_tensor的数据；

(2)初始化接口，完成神经网络模型以及参数的载入；

输入：不同AI平台的神经网络模型文件以及参数文件的存放路径；

(3)前向预测接口，完成相应智能模型的前向预测；

输入：数据结构统一为simple_tensor的神经网络输入数据；

输出：数据结构统一为simple_tensor的神经网络输出数据。

一些实施例中，所述云服务器包括：

区域内服务器(图中未示出)、核心服务器集群(图中未示出)；

所述区域内服务器一端分别与所述智能客户端、智能模型连接，所述区域内服务器另一端与所述核心服务器集群连接。

优选的，所述linux定制化系统采用：

基于squashfs的只读文件系统。保证了操作系统的安全性，同时还能保证运行平台频繁上电下电时，系统不损坏。

具体的，本申请提供的人工智能运行平台通过网口与云端服务器连接，通过各类数据接口与智能设备连接；且运行平台具备一定的计算能力，针对不同平台训练得到的智能模型，提供统一的接口，完成具体模型的实时执行。针对复杂度较高、不能独立完成的智能模型计算任务，实时地将具体的任务类型和特征数据转发给云端服务器，并接收云端服务器返回的结果。除此之外，运行平台还具备智能进化数据在线传输能力，在设备空闲时，将采集到的数据发送给云端服务器，支撑智能模型的训练。当存在明确的智能模型计算偏差时，将数据及时发送给云端服务器。

一些实施例中，所述只读文件系统包括只读分区、加密分区和可写分区。

所述只读分区用于存储所述智能客户端和智能模型；

所述加密分区用于存储所述智能模型运行所需的关键模型及参数文件；

所述可写分区用于存储所述智能客户端和智能模型运行产生的数据。

具体的，操作系统使用基于debian的定制化系统，该系统设计如下：a)操作系统为只读系统，使用squashfs文件系统，保证运行平台频繁上电下电时，系统不损坏；b)智能模型及其它应用程序所在分区为只读分区，保证运行平台频繁上电下电时，系统不损坏，同时该分区可挂载为可写分区，完成智能模型的升级；c)系统中存在可写分区，存储应用程序运行过程中产生的各类数据；d)当系统中包含需要加密的内容时，如重要的模型文件、关键参数文件等，可将系统中的分区挂载为加密分区。

如图3所示，本申请提供一种人工智能运行平台的工作方法，包括：

S1、获取智能设备的不同数据组成数据结构；

S2、将接收的不同数据转化为统一的数据结构；

S3、对所述统一数据结构进行计算或者将统一数据结构传输到云端服务器，完成计算后并获取计算结果；

S4、将计算后的结果传输到智能设备。

优选的，如图4所示，所述将接收的不同数据转化为统一的数据结构，包括：

S21、中间件将接收的不同数据转化为统一的数据结构；

S22、将所述数据结构转化为不同平台的输入数据结构；

S23、调用不同平台的前向预测接口；

S24、得到不同平台的前向预测结果；

S25、将所述预测结果转化为统一的数据结构。

具体的，统一的数据结构simple_tensor。

优选的，所述数据结构包括数据的存放地址、数据的有效个数、数据维度以及数据维度的大小。

优选的，所述运行平台用于向云端服务器发送和接收数据，

所述发送的数据包括：

自身没有能力计算的数据信息、用户反馈的数据信息、智能模型训练所需的数据；

所述接收的数据包括：

云端服务器发回的智能模型的执行结果。

其中人工智能运行平台向云端服务器发送的信息格式如表1所示，

表1

优选的，所述不同的数据包括：

智能模型输入层数据、图像数据、视频数据、音频数据、二进制数据、错误执行信息数据、用户反馈信息数据。

具体的，智能模型输入层数据可统一为一种数据结构，因此需完成的工作包括不同深度学习平台输入层数据的统一化，支持的深度学习平台包括tensorflow、caffe、caffe2、mxnet。

智能模型输入层数据如表2所示：

表2

其它格式的数据块的格式如表3所示：

表3

云端服务器向智能运行平台发送的信息只有云端服务器发回的智能模型执行结果。智能模型执行结果数据格式如表4所示：

表4

本申请技术方案的有益效果包括：

(1)本申请设计了一整套分层设计、适用于人工智能领域的智能运行平台架构；

(2)本申请使用只读squashfs文件系统，保证了操作系统的安全性；

(3)本申请中的智能客户端和智能模型相互独立，使得数据交互与智能算法不相互依赖；

(4)本申请设计独立DNN中间件接口，智能运行平台更加通用、易用；

(5)本申请设有统一的与云端服务器的通信接口，保证与云端服务器之间的信息交互。

综上所述，本申请提供一种人工智能运行平台，包括：硬件层、系统层、软件接口层以及应用层；本申请通过在智能设备与云端服务器之间设置人工智能运行平台，使得智能设备产生的大规模数据能够在人工智能运行平台进行筛选和处理，仅将有价值的信息通过网络传至云端服务器或直接将用户需要的结果返回，如此数据就近处理的理念可以实现网络带宽以及数据中心的存储，计算资源将得到极大的节省，同时提高了运行效率。

可以理解的是，上述提供的方法实施例与上述的人工智能运行平台实施例对应，相应的具体内容可以相互参考，在此不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的CPU以产生一个机器，使得通过计算机或其他可编程数据处理设备的CPU执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的人工智能运行平台。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令人工智能运行平台的制造品，该指令人工智能运行平台实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种人工智能运行平台，其特征在于，包括：硬件层、系统层、软件接口层以及应用层；

所述硬件层采用嵌入式硬件，包括：存储器和CPU，所述存储器与所述CPU连接；

所述系统层采用linux定制化系统，用于实现所述运行平台的定制化；

所述软件接口层包括：中间件、ROS系统、数据传输接口以及通用功能模块；

所述中间件用于将接收的不同数据转化为统一的数据结构；

所述将接收的不同数据转化为统一的数据结构，包括：

中间件将接收的不同数据转化为统一的数据结构；

将所述数据结构转化为不同平台的输入数据结构；

调用不同平台的前向预测接口；

得到不同平台的前向预测结果；

将所述预测结果转化为统一的数据结构；

所述ROS系统用于实现各种硬件接口的数据采集以及发送接口的统一；

所述数据传输接口用于实现所述运行平台与云服务器之间的数据传输；

所述通用功能模块用于负责提供通用功能的具体实现；

所述应用层包括：智能客户端，用于实现所述运行平台与外部智能设备之间的数据交互。

2.根据权利要求1所述的人工智能运行平台，所述嵌入式硬件还包括：GPU和存储硬盘；

所述GPU用于高性能并行计算；

所述存储硬盘用于存储各类软件及数据。

3.根据权利要求2所述的人工智能运行平台，其特征在于，所述应用层还包括：

智能模型，用于完成AI算法的运算；

所述智能模型通过所述智能客户端与外部智能设备连接。

4.根据权利要求1所述的人工智能运行平台，其特征在于，所述中间件采用：

深度神经网络中间件。

5.根据权利要求3所述的人工智能运行平台，其特征在于，所述linux定制化系统采用：

基于squashfs的只读文件系统。

6.根据权利要求5所述的人工智能运行平台，其特征在于，

所述只读文件系统包括只读分区、加密分区和可写分区；

所述只读分区用于存储所述智能客户端和智能模型；

所述加密分区用于存储所述智能模型运行所需的关键模型及参数文件；

所述可写分区用于存储所述智能客户端和智能模型运行产生的数据。

7.一种基于权利要求1至6任一项所述的人工智能运行平台的工作方法，其特征在于，包括：

获取智能设备的不同数据；

将接收的不同数据转化为统一的数据结构；

对所述统一数据结构进行计算或者将统一数据结构传输到云端服务器并获取计算结果；

将计算后的结果传输到智能设备；

所述将接收的不同数据转化为统一的数据结构，包括：

中间件将接收的不同数据转化为统一的数据结构；

将所述数据结构转化为不同平台的输入数据结构；

调用不同平台的前向预测接口；

得到不同平台的前向预测结果；

将所述预测结果转化为统一的数据结构。

8.根据权利要求7所述的工作方法，其特征在于：

所述数据结构包括数据的存放地址、数据的有效个数、数据维度以及数据维度的大小。

9.根据权利要求7所述的工作方法，其特征在于，所述运行平台用于向云端服务器发送和接收数据，

所述发送的数据包括：

自身没有能力计算的数据信息、用户反馈的数据信息、智能模型训练所需的数据；

所述接收的数据包括：

云端服务器发回的智能模型的执行结果。

Images