CN118301451A - 图像处理装置及方法、电子设备、存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法，包括：在第一应用和第二应用同时处于工作状态的情况下，通过所述第一图像处理电路对所述图像传感器采集的图像数据进行处理得到第一图像数据，所述第一图像数据用于所述第一应用；其中，所述第一应用用于显示预览图像，所述第二应用用于分析用户行为数据；通过所述第一图像处理电路将所述第一图像数据存储于所述共享存储器；通过所述第二图像处理电路从所述共享存储器中获取所述第一图像数据中的至少部分图像数据，所述至少部分图像数据用于所述第二应用。本申请实施例还提供一种图像处理装置、电子设备和存储介质。

Description

图像处理装置及方法、电子设备、存储介质

技术领域

本申请涉及电子技术领域，尤其涉及一种图像处理装置及方法、电子设备、存储介质。

背景技术

随着对电子设备智能化的需求程度越来越高，基于用户行为进行推理的算法也越来越多，这些算法通常是基于低功耗传感器，长时间监测用户行为进行算法推理。例如，常开相机(Always On Camera，AO Camera)应用可以监测和捕捉更多用户的细节动作，进而提供更多差异化的智能服务。

实际应用中，AO Camera应用可以使用电子设备的图像传感器来采集图像，以便于基于采集到的图像进行推理分析，识别用户行为。然而，AO Camera应用会长时间占用图像传感器资源，通常用户启用其他拍摄类的应用时，AO Camera应用就会失效。然而，在使用其他拍摄类的应用时也会有分析用户行为的需求。例如，在自拍场景中，若要获取更大的视场角，通常需要拉大与图像传感器之间的距离，此时隔空操作图像传感器进行拍摄的功能显得尤为重要。

因此，如何兼容普通拍摄类应用以及AO Camera应用，是目前亟待解决的技术问题。

发明内容

本申请实施例提供一种图像处理装置及方法、电子设备、存储介质。

本申请的技术方案是这样实现的：

第一方面，提供一种图像处理方法，应用于图像处理装置，该图像处理装置包括图像传感器、与图像传感器连接的第一图像处理电路，与第一图像处理电路连接的第二图像处理电路，以及与第一图像处理电路和第二图像处理电路均连接的共享存储器，所述方法包括：

在第一应用和第二应用同时处于工作状态的情况下，通过第一图像处理电路对图像传感器采集的图像数据进行处理得到第一图像数据，第一图像数据用于第一应用；其中，第一应用用于显示预览图像，第二应用用于分析用户行为数据；

通过第一图像处理电路将第一图像数据存储于共享存储器；

通过第二图像处理电路从共享存储器中获取第一图像数据中的至少部分图像数据，该至少部分图像数据用于第二应用。

第二方面，本申请实施例提供一种图像处理装置，包括：图像传感器，与所述图像传感器连接的第一图像处理电路，与所述第一图像处理电路连接的第二图像处理电路，以及与所述第一图像处理电路和所述第二图像处理电路连接的共享存储器；

在第一应用和第二应用同时处于工作状态的情况下，第一图像处理电路，被配置为对所述图像传感器采集的图像数据进行处理，得到第一图像数据，将所述第一图像数据存储至所述共享存储器，所述第一图像数据用于所述第一应用；其中，所述第一应用用于显示预览图像，所述第二应用用于分析用户行为数据；

所述第二图像处理电路，被配置为从所述共享存储器获取所述第一图像数据中的至少部分图像数据，所述至少部分图像数据用于所述第二应用。

第三方面，本申请实施例提供一种电子设备，包括应用处理装置和第一方面所述的图像处理装置；所述应用处理装置用于实现第一应用和第二应用的功能，所述第一应用用于显示预览图像，所述第二应用用于分析用户行为数据；

在所述第一应用和所述第二应用同时处于工作状态的情况下，所述第一图像处理电路，被配置为对所述图像传感器采集的图像数据进行处理，得到第一图像数据，将所述第一图像数据存储在所述共享存储器中；所述应用处理装置被配置为获取所述第一图像数据，实现所述第一应用的功能；

所述第二图像处理电路，被配置为从所述共享存储器中获取所述第一图像数据中的至少部分图像数据，所述应用处理装置还被配置为获取所述至少部分图像数据，实现所述第二应用的功能。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面所述方法中的步骤。

本申请实施例提供一种图像处理方法，该方法可以应用于图像处理装置中，该图像处理装置可以包括图像传感器、与图像传感器连接的第一图像处理电路，与第一图像处理电路连接的第二图像处理电路，以及与第一图像处理电路和第二图像处理电路连接的共享存储器；基于此，在用于显示预览图像的第一应用和用于分析用户行为数据的第二应用同时处于工作状态的情况下，可以通过第一图像处理电路对图像传感器采集的图像数据进行处理得到第一图像数据，以供第一应用显示预览图像；另外，还可以通过所述第一图像处理电路将第一图像数据存储于所述共享存储器；这样，通过第二图像处理电路从共享存储器中获取第一图像数据中的至少部分图像数据，供第二应用进行用户行为数据分析。由此可见，本申请实施例提供的图像处理装置中，不同功能的应用可以通过独立的图像处理电路进行图像处理，在第一应用和第二应用同时工作时的兼容模式下，第一图像处理电路可以将处理后的图像提供给第一应用，并将处理后的图像存储在共享存储器中，这样第二图像处理电路可以从共享存储器中获取共享的图像数据用于第二应用的处理，从而在底层硬件架构上实现不同功能的应用的兼容，降低了设置非图像类传感器的开销。

附图说明

图1为本申请实施例提供的一种图像处理装置的结构组成示意图一；

图2为本申请实施例提供的一种图像处理方法流程示意图一；

图3为本申请实施例提供的一种图像处理方法流程示意图二；

图4为本申请实施例提供的一种图像处理装置的结构组成示意图二；

图5为本申请实施例提供的一种图像处理方法流程示意图三；

图6为本申请实施例提供的一种图像处理方法流程示意图四；

图7为本申请实施例提供的一种图像处理方法流程示意图五；

图8为本申请实施例提供的一种第一处理器的结构组成示意图；

图9为本申请实施例提供的一种安全访问架构示意图；

图10为本申请实施例提供的一种电子设备的结构组成示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于理解本申请实施例的技术方案，以下对本申请实施例的相关技术进行说明，以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。

随着用户对电子设备的智能化的程度越来越高的需求，根据用户行为进行推理的算法也越来越多，这些算法通常是基于低功耗传感器，长时间监测用户行为进行算法推理，比如通过麦克风传感器监测用户唤醒语言，在收到唤醒词时主动提供服务，又比如通过陀螺仪，加速度传感器等识别用户抬起，翻转手机等动作，从而使得电子设备响应相应动作，提供更人性化的服务，如抬手亮屏，翻转静音等等，而通过图像传感器可实现用户更多细节动作的捕捉和分析，进而提供更多差异化的智能服务。

AO Camera应用指的是通过低功耗图像传感器，捕获图像进行推理分析，识别用户行为，在不同场景主动提供智能化服务的图像传感器应用。AO Camera应用会长时间占用相机资源，通常用户启用拍摄类的应用(例如相机应用、直播应用等)时，AO Camera会失效。而目前用户所表现出的需求表明，用户在使用拍摄类的应用的同时，也会有使用AO Camera应用的需求。例如，在图像预览过程中接收到即时消息时的隐私保护，隔空手势操作拍摄相关的应用进行图像采集，视频录制的启动暂停，切换模式等等。特别是在自拍场景中，若要获取更大的视场角，通常需要拉大与图像传感器之间的距离，此时隔空操作图像传感器的功能显得尤为重要。

实际应用中，兼容普通拍摄类的应用和AO Camera应用的方案包括两种，一是使用非图像类传感器，如三维结构光传感器，红外图像传感器，激光雷达，加速度传感器等，来识别用户姿态，手势等行为，以提供相关服务。然而，采用该兼容方案，需要在电子设备上设置多种非图像类传感器，这与当前大多厂商朝着全面屏的发展方向背道而驰，需要增加较多的成本，性价比较低。而且非图像类传感器的算法支撑也不如图像传感器来的功能庞多，因此往后扩展的功能也会越来越少。

第二种兼容方案则是通过在应用层对普通应用采集的图像数据进行拷贝(可能带有图像缩放等操作)，分流，送入推理框架对图像进行推理，识别用户行为，以提供相关服务。该兼容方案会导致AO Camera应用与所使用的相机功能存在高度耦合，通常只能支撑系统相关的拍摄应用，不能同时兼容市面上功能各异的拍摄类应用。另外，由于数据在应用层分流，通常不能访问安全环境数据(比如机主人脸信息等)，无法向用户提供智能化服务。

基于此，本申请实施例提供一种图像处理方法，该方法可以应用于图像处理装置中，图像处理装置可以包括图像传感器、与图像传感器连接的第一图像处理电路，与第一图像处理电路连接的第二图像处理电路，以及与第一图像处理电路和第二图像处理电路连接的共享存储器；基于此，在用于显示预览图像的第一应用和用于分析用户行为数据的第二应用同时处于工作状态的情况下，可以通过第一图像处理电路对图像传感器采集的图像数据进行处理得到第一图像数据，以供第一应用显示预览图像；另外，还可以通过所述第一图像处理电路将第一图像数据存储于所述共享存储器；这样，通过第二图像处理电路从共享存储器中获取第一图像数据中的至少部分图像数据，供第二应用进行用户行为数据分析。由此可见，本申请实施例提供的图像处理装置中，不同功能的应用可以通过独立的图像处理电路进行图像处理，在第一应用和第二应用同时工作时的兼容模式下，第一图像处理电路可以将处理后的图像提供给第一应用，并将处理后的图像存储在共享存储器中，这样第二图像处理电路可以从共享存储器中获取共享的图像数据用于第二应用的处理，从而在底层硬件架构上实现不同功能的应用的兼容，降低了设置非图像类传感器的开销。

为便于理解本申请实施例的技术方案，以下通过具体实施例详述本申请的技术方案。以上相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合，其均属于本申请实施例的保护范围。本申请实施例包括以下内容中的至少部分内容。

本申请实施例提供一种图像处理方法，可以应用于本申请实施例提供的图像处理装置中，参考图1所示，本申请实施提供的图像处理装置可以包括：图像传感器11，第一图像处理电路12、第二图像处理电路13和共享存储器14。

其中，图像传感器11可以与第一图像处理电路12连接，第一图像处理电路12可以与第二图像处理电路13连接。并且，第一图像处理电路12和第二图像处理电路13还可以与共享存储器14连接。

可选地，共享存储器14可以是系统缓存空间，也可以是双倍速率同步动态随机存储器(Double Data Rate，DDR)，也可以是其他类型的存储器，本申请实施例对此不做限制。

可选地，图像传感器11可以通过移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)的相机串行接口(CMOS Serial Interface，CSI)与第一图像处理电路12连接。具体地，图像传感器11可以与MIPI CSI连接，同时，MIPI CSI与第一图像处理电路12连接，以实现图像传感器11和第一图像处理电路12之间的图像数据传输。

本申请实施例中，图像传感器11用于采集图像数据。图像传感器11可以与第一图像处理电路12连接，以便于向第一图像处理电路12输出其所采集的图像数据。

这样，第一图像处理电路12可以对图像传感器11发送的图像数据进行处理，得到第一图像数据。示例性的，第一图像处理电路12可以对图像数据进行镜头校正、降噪处理、白平衡处理、色彩校正处理等操作，本申请实施例对处理的类型不做限制。

本申请实施例中，第一图像处理电路12可以与第一应用关联，向第一应用提供处理后的图像数据。其中，第一应用可以是用于预览图像数据的应用，示例性的，第一应用可以是相机应用，直播应用，视频通话应用等，本申请实施例对此不做限制。

可以理解的是，第一图像处理电路12可以向第一应用提供处理后的第一图像数据，以便于第一应用向用户提供图像预览的服务。

可选地，第一图像处理电路12可以是影像子系统(Camera Sub system，CSS)。

另外，本申请实施例中的图像处理装置还包括第二图像处理电路13。其中，第二图像处理电路13可以与第二应用关联，以向第二应用提供处理后的图像数据。

第二应用可以是用于分析用户行为数据的应用。示例性的，第二应用可以是上述实施例中的AO Camera应用，或者其他可以用于分析用户行为数据的应用，本申请实施例对此不做限制。

可选地，第二图像处理电路13可以是智能引擎(SmartEngine，SME)电路。需要说明的是，SME拥有独立电源域，可管理传感器集合，以及支持低功耗图像传感器。

实际应用中，第一应用和第二应用可以共用一个图像传感器11。也就是说，第一应用和第二应用都需要使用图像传感器11进行图像采集，不同之处在于，第一应用采集的图像数据用于显示预览图像，第二应用采集的图像可以不做预览而是对图像进行分析处理，推理得到用户的行为数据。因此，相关技术中，第一应用和第二应用无法兼容。

本申请实施例中，可以为第一应用设置关联的底层硬件结构，即第一图像处理电路12，同时为第二应用设置关联的底层硬件结构，即第二图像处理电路13。其中，第一图像处理电路12和第二图像处理电路13相互独立。

在图1所示的图像处理装置的基础上，参考图2所示，本申请实施例提供的图像处理方法可以包括以下步骤：

步骤210、在第一应用和第二应用同时处于工作状态的情况下，通过第一图像处理电路12对图像传感器11采集的图像数据进行处理得到第一图像数据，第一图像数据用于第一应用；

步骤220、通过第一图像处理电路12将第一图像数据存储于共享存储器14；

步骤230、通过第二图像处理电路13从共享存储器14中获取第一图像数据中的至少部分图像数据，至少部分图像数据用于第二应用。

可以理解的是，在第一应用和第二应用同时进行工作时，第一图像处理电路12可以将图像传感器11采集的图像数据进行处理后的第一图像数据保存在共享存储器14中。

在一些实施例中，第一图像处理电路12可以将图像传感器11采集的图像数据进行镜头校正、降噪处理、白平衡处理、色彩校正等处理，得到第一图像数据。第一处理器122得到第一图像数据之后，可以将第一图像数据存储至共享存储器14中。

进一步地，第一图像处理电路12可以通过与第二图像处理电路13之间的连接通路，向第二图像处理电路13告知第一图像数据已存储在共享存储器14中。这样，第二图像处理电路13可以从共享存储器14中获取想要的图像数据。

通常情况下，第二应用是分析用户行为数据的应用，因此，第二应用所需的图像数据可以比第一应用所需的图像数据的分辨率更低，且数量更低。基于此，第二图像处理电路13可以从共享存储器中获取第一图像数据中的至少部分数据，进而，第二图像处理电路13可以将获取到的至少部分图像数据进行处理(例如下采样处理或者图像特征提取等处理)，并将处理后的至少部分图像数据提供给第二应用进行用户行为数据的分析。如此，实现第一应用和第二应用之间的兼容。

综上所述，本申请实施例提供的图像处理方法中，可以在硬件底层为共用同一图像传感器的第一应用和第二应用设置相互独立的图像处理电路，以及能够共享图像数据的共享存储器。这样，在第一应用和第二应用同时工作时的兼容模式下，与第一应用关联的第一图像处理电路可以将处理后的图像存储在共享存储器中，而与第二应用关联的第二图像处理电路可以从共享存储器中获取共享的图像数据，从而在底层硬件架构上实现不同功能的应用的兼容，降低了增加非图像传感器的开销。

在本申请一实施例中，第二图像处理电路13还可以与图像传感器11连接。第二图像处理电路13可以通过该连接通路，接收图像传感器11传输的数据。

可选地，第二图像处理电路13也可以通过MIPI CSI与图像传感器11连接。

基于此，在本申请一实施例中，本申请实施例通过的图像处理方法还可以包括以下步骤：

在第一应用处于工作状态，且第二应用处于非工作状态的情况下，关闭第二图像处理电路，通过第一图像处理电路对图像传感器采集的图像数据进行处理得到第二图像数据，并通过第一图像处理电路向第一应用提供第二图像数据；

在第一应用处于非工作状态，且第二应用处于工作状态的情况下，关闭第一图像处理电路，通过第二图像处理电路对图像传感器采集的图像数据进行处理得到第三图像数据，并通过第二图像处理电路向第二应用提供第三图像数据。

可以理解的是，第一应用和第二应用可以分别处于两个独立的图像处理系统中，图像处理系统可以是由应用对应的应用处理电路和图像处理电路构成，相互独立图像处理系统可以拥有独立的控制通路与数据通路，分别为不同功能的应用提供完整的服务。

本申请实施例中，第一应用和第二应用可以同时进行工作，第一应用和第二应用也可以独立进行工作。

在一种可能的实现方式中，当用户开启第一应用而未开启第二应用时，第一图像处理电路12工作并且第二图像处理电路13关闭。其中，第一图像处理电路12对图像传感器11传输的图像数据进行镜头校正、降噪处理、白平衡处理、色彩校正等处理，得到第二图像数据，并将第二图像数据提供给第一应用进行图像预览。

在另一种可能的实现方式中，当用户未开启第一应用但是开启第二应用时，第一图像处理电路12关闭，同时第二图像处理电路13工作。其中，第二图像处理电路13可以获取图像传感器11采集的图像数据，并对该图像数据进行下采样或者图像特征提取等处理，得到第三图像数据，并将第三图像数据提供给第二应用进行用户行为分析的后续处理。

由此可见，本申请实施例提供的图像处理装置中，第一应用和第二应用分别拥有独立的图像处理电路，用户可以根据需求独立开启任一应用而不影响另一应用的使用。

上述实施例提供的图像处理装置中第二图像处理电路13还可以与图像传感器11连接，在第一应用和第二应用同时处于工作状态的情况下，步骤210通过所述第一图像处理电路对所述图像传感器采集的图像数据进行处理得到第一图像数据之前，本申请实施例的图像处理方法还可以包括以下步骤：

步骤200、图像处理装置可以断开第二图像处理电路13与图像传感器11的连接。

应理解，由于第一图像处理电路12和第二图像处理电路13共用同一个图像传感器11，因此在兼容模式下，即第一应用和第二应用同时处于工作状态的情况下，需要先断开第二图像处理电路13和图像传感器11之间的连接，仅通过第一图像处理电路12获取图像传感器11传输的图像数据。这样，第一图像处理电路12可以将图像数据处理后得到的第一图像数据存储至共享存储器中，第二图像处理电路13可以从共享存储器中获取第一图像数据中的至少部分数据，以供第二应用进行用户行为数据的分析，从而实现第一应用和第二应用的兼容。

需要说明的是，在兼容模式下，选择第一图像处理电路12获取图像传感器11传输的图像，而不选择第二图像处理电路13获取图像传感器11传输的图像原因在于，第一图像处理电路12需要要第一应用提供可以用于预览的图像数据，所需的图像分辨率较高，因此需要重量级的第一图像处理电路12来获取图像传感器11采集到的图像数据。

在一些实施例中，参考图4所示，第一图像处理电路12可以包括相互连接的第一控制单元121和第一处理器122；第二图像处理电路13可以包括相互连接的第二控制单元131和第二处理器132；

其中，第一处理器122和第二处理器132皆与图像传感器11连接，第一控制单元121与第二控制单元131连接。

可选地，第一控制单元121和第二控制单元131可以是微处理单元(MicroController Unit，MCU)。

可选地，第一处理器122和第二处理器132均可以是图像信号处理器(ImageSignal Processor，ISP)。

可选地，第一处理器122可以是重量级ISP(例如Full ISP)，可以用于处理数量较多的高清图像数据，第二处理器132可以是轻量级ISP(例如AON ISP Lite)，可以用于处理较少的图像数据。

参考图4所示，本申请实施例中，第一图像处理电路12中的第一控制单元121可以与第二图像处理电路13中的第二控制单元131连接，以便于进行控制信息的传输。

此外，第一图像处理电路12中的第一处理器122可以通过MIPI CSI与图像传感器11连接，并且，第二图像处理电路13中的第二处理器132也可以通过MIPI CSI与图像传感器11连接。

需要说明的是，图4中实线为数据通路，用于传输数据，虚线为控制通路，用于传输控制信息。

应理解，上述实施例中，在第一应用和第二应用同时处于工作状态的情况下，断开第二图像处理电路12与图像传感器11的连接，可以是通过第二图像处理电路13中的第二控制单元131控制第二图像处理电路13中的第二处理器132与图像传感器11断开连接。具体来说，在进入兼容模式的情况下，参考图4所示，第二控制单元131可以配置MIPI CSI断开与第二控制器132的连接。另外，第一控制单元121可以配置MIPI CSI与第一处理器122连接，MIPI CSI可以通过图4所示的数据通路1接收图像传感器11采集的图像数据，进而，MIPICSI可以通过数据通路2将图像传感器11采集的图像数据发送给第一处理器122。

在本申请一实施例中，参考图5所示，步骤230中通过第二图像处理电路从共享存储器中获取第一图像数据中的至少部分图像数据，可以通过以下方式实现：

步骤2301、通过第一图像处理电路12向第二图像处理电路13发送第一通知信息，第一通知信息用于指示第一图像数据中至少部分图像数据在共享存储器14中的第一地址信息；

步骤2302、通过第二图像处理电路13基于第一地址信息，从共享存储器14中获取第一图像数据中的至少部分图像数据。

可以理解的是，第一图像处理电路12在将第一图像数据存储至共享存储器14之后，可以向第二图像处理电路13发送第一通信信息，通过第一通知信息向第二图像处理电路13告知第一图像数据在共享存储器14中的存储地址，即第一地址信息。

在一些实施例中，第一通信信息中可以包括第一图像数据中全部图像数据在共享存储器14中的地址信息，也可以包括第一图像数据中部分图像数据在共享存储器14中的地址信息，本申请实施例对此不做限制。

基于此，第二图像处理电路13接收到第一通知信息后，可以基于第一通知信息中的第一地址信息，从共享存储器14中获取第一图像数据中的至少部分图像数据。

在图4所示的图像处理装置中，步骤2301通过第一图像处理电路12向第二图像处理电路13发送第一通知信息，可以通过以下方式实现：

通过第一处理器122对图像传感器11采集的图像数据进行处理，得到第一图像数据，将第一图像数据存储在共享存储器14中，以及向第一应用提供第一图像数据；

通过第一控制单元121向第二控制单元131发送第一通知信息，第一通知信息用于指示第一图像数据中至少部分图像数据在共享存储器14中的第一地址信息。

另外，步骤2302中通过第二图像处理电路13基于第一地址信息，从共享存储器14中获取第一图像数据中的至少部分图像数据，可以通过以下方式实现：

通过第二控制单元131控制第二处理器132基于第一地址信息，从共享存储器14中读取至少部分图像数据。这样，图像处理装置可以通过第二处理器132向第二应用提供至少部分图像数据。

应理解，第一处理器122接收到图像数据后，可以对图像数据进行镜头校正、降噪处理、白平衡处理、色彩校正等处理，得到第一图像数据。第一处理器122得到第一图像数据之后，可以通过图4所示的数据通路3向共享存储器14发送该第一图像数据。

需要说明的是，第一图像数据可以包括至少一帧图像。

可选地，第一处理器122每传输完一帧完整的图像后可以向第一控制单元121发送中断信息。通过中断信息向第一控制单元121告知一帧图像处理完成。

可选地，第一控制单元121可以获取第一图像数据中每帧图像在共享存储器14中存储的地址信息。

本申请实施例中，第一控制单元121在确定第一图像数据已经存储在共享存储器14后，可以通过控制通路4向第二控制单元131发送第一通信信息，向第二控制单元131告知已经完成存储的第一图像数据中至少部分图像数据的地址信息。

可选地，第一控制单元121可以在接收到第一处理器122发送的中断信息后，通过跳帧的方式，按照第二应用所需的帧率向第二控制单元131告知当前图像帧在共享存储器14中的地址信息。

可选地，第二控制单元131在得到至少部分图像数据在共享存储器14中的地址信息后，可以通过图2所示的控制通路5向第二处理器132发送控制信息，以使第二处理器通过图2所示的数据通路6读取共享存储器14中存储的上述至少部分图像数据。

示例性的，第一处理器122以每秒30帧的速率向共享存储器14传输第一图像数据。第一控制单元121每秒可以接收到30个中断信息。第二应用所需的帧率可以是每秒10帧。基于此，第一控制单元121可以每隔三个中断信息，向第二控制单元131发送一个通知信息，告知第二控制单元131当前完成存储的图像帧在共享存储器14中的地址信息。这样，第二处理器132可以从共享存储器14中获取10帧图像。

在本申请一实施例中，图像处理装置中还可以包括神经网络处理器(Neural-Network Processing Unit，NPU)15。参考图4所示，NPU 15可以与第二图像处理电路13和共享存储器14连接，用于对图像数据进行识别和分析。

在一些实施例中，NPU可以是通用神经网络处理器(Generic Neural-NetworkProcessing Unit，GNPU)。

在此基础上，参考图6所示，本申请实施例提供的图像处理方法可以包括以下步骤：

步骤240、通过第二图像处理电路13对至少部分图像进行处理，得到目标图像数据，并将目标图像数据写入共享存储器14；

步骤250、通过第二图像处理电路13向NPU 15发送第二通知信息，第二通知信息用于指示目标图像数据在共享存储器14中的第二地址信息；

步骤260、通过NPU 15基于第二地址信息，从共享存储器14中读取目标图像数据并进行处理，得到处理结果，通过NPU 15向第二应用提供处理结果。

可以理解的是，第二图像处理电路13可以从共享存储器14中读取所需要的图像数据，并对读取的至少部分图像数据进行下采样或者图像特征提取等处理，得到符合实际算法需求的目标图像数据。第二图像处理电路13可以将目标图像数据重新存储到共享存储器14中，第二图像处理电路13还可以获取目标图像数据在共享存储器14中的存储位置，得到第二地址信息。

进一步地，第二图像处理电路13可以向NPU发送第二通知信息，通过第二通知信息向NPU 15告知目标图像数据在共享存储器14中的第二地址信息。这样，NPU 15可以根据第二地址信息，从共享存储器14中获取目标图像数据，这样，NPU 15可以基于目标图像数据和推理模型对用户的行为进行推理，得到最终的处理结果。最后，NPU 15可以将处理结果通知给上层第二应用。

在一些实施例中，基于图4所示的图像处理装置，第二图像处理电路13可以通过第二处理器132读取上述至少部分图像数据，并对读取的至少部分图像数据进行下采样或者图像特征提取等处理，得到符合实际算法需求的目标图像数据。进一步地，第二处理器132可以通过图4所示的数据通路6将目标图像数据重新存储到共享存储器14中。另外，第二控制单元131可以通过图4所示的控制通路7向NPU 15发送第二通知信息。

综上所述，本申请实施例提供的图像处理方法中，用于图像预览的第一应用和用于分析用户行为的第二应用可以在底层硬件上实现分离，在底层硬件架构上实现不同功能的应用的兼容，降低了增加非图像传感器的开销。

在本申请一实施例中，参考图7所示，步骤220将所述第一图像数据存储于所述共享存储器之前，还可以包括以下步骤：

步骤280、通过第一图像处理电路12对第一图像数据进行下采样处理，得到下采样图像数据；下采样图像数据用于第一应用对预览图像进行对象检测；

相应地，步骤220中通过第一图像处理电路12将第一图像数据存储于共享存储器14，可以通过以下方式实现：

步骤2201、通过第一图像处理电路12将第一图像数据和下采样图像数据存储于共享存储器14。

相应地，步骤230中通过第二图像处理电路从共享存储器中获取第一图像数据中的至少部分图像数据，可以通过以下方式实现：

步骤2303、通过第一图像处理电路12向第二图像处理电路13发送第三通知信息，第三通知信息用于指示下采样图像中的至少部分图像数据在共享存储器14中的第三地址信息；

步骤2304、通过第二图像处理电路13基于第三地址信息，从共享存储器14中获取至少部分图像数据。

应理解，系统的拍摄类应用会对图像进行对象检测(例如人脸检测、物体检测等)，以便于更好的提供曝光控制，背景虚化等功能。可以理解的是，为了支持该对象检测功能，第一图像处理电路12在对图像数据进行处理时，可以将图像数据分为两路，一路图像数据进行下采样(Down Scale)处理，以便于得到符合对象检测的下采样图像数据。另一路图像可以进行镜头校正、降噪处理、白平衡处理、色彩校正等处理，得到第一图像数据。第一图像处理电路12可以将两路图像分别存储在共享存储器14中。

基于此，本申请实施例可以复用上述具有低分辨率的下采样图像数据。具体来说，第一图像处理电路12可以向第二图像处理电路13发送第三通知信息，以告知第二图像处理电路13其得到的低分辨率的下采样图像数据在共享存储器14中的第三地址信息。这样，第二图像处理电路13可以根据第三通知信息中的第三地址信息，从共享存储器14中获取所需要的图像数据。

在一些实施例中，基于图4所示的图像处理装置，第一图像处理电路12可以通过第一处理器122对图像传感器11采集的图像数据分为两路，分别进行不同类型的处理，得到第一图像数据和下采样图像数据。在第一处理器122每向共享存储器14传输一帧下采样图像数据和/或第一图像数据后，都会向第一控制单元121发送一个中断信息。这样，第一控制单元121通过中断信息确定下采样图像数据已经存储在共享存储器14后，第一控制单元121可以通过跳帧的方式，按照第二应用需要的帧率向第二控制单元131发送第三通知信息。其中，第三通知信息中可以携带下采样图像数据中至少部分数据的第三地址信息。

基于此，第二控制单元131可以控制第二处理器132基于该第三地址信息读取上述下采样图像数据中的至少部分数据。

需要说明的是，若得到的至少部分数据符合第二应用中的用户行为分析算法的需求，则第二处理器132可以直接将得到的至少部分数据提供给第二应用。若得到的至少部分数据不符合第二应用中用户行为分析算法的需求，则第二处理器132可以对上述至少部分数据进行进一步地处理，例如图像特征提取处理，以得到符合第二应用对应的算法需求的图像。

可选地，第二处理器132可以将读取的数据备份到系统缓存(System Cache)中，若场景复杂度较低或者第二应用的处理时间较短，可以不进行备份。

本申请实施例中，第二控制单元131可以调用NPU 15对得到的上述至少部分数据进行二次检测。

综上所述，本申请实施例提供的图像处理装置中，第二图像处理电路13可以复用第一图像处理电路12所产生的用于对象检测的低分辨率图像提供给第二应用进行用户行为的分析，这样既节省了共享图像数据时的内存开销，也节省了第二图像处理电路13进行图像处理时的功耗。

在一些实施例中，第一图像处理电路12中第一处理器122产生两路图像数据可以软件的方式实现，也可以通过硬件的方式实现。

硬件方式实现可以参考图8所示，第一图像处理电路12中的第一处理器122可以包括前端处理模块1221、下采样模块1222、以及中后端处理模块1223；

其中，前端处理模块1221的输入端与图像传感器11连接，前端处理模块1221的输出端分别与下采样模块1222、以及中后端处理模块1223连接；下采样模块1222和中后端处理模块1223还与共享存储器13连接；

前端处理模块1221，用于对图像传感器11采集的图像数据进行处理，得到中间图像数据，并向下采样模块1222和中后端处理模块1223发送该中间图像数据；

下采样模块1222，用于对中间图像数据进行下采样处理，得到下采样图像数据，将下采样图像数据存储在共享存储器14中；

中后端处理模块1223，用于对中间图像数据进行处理，得到第一图像数据，将第一图像数据存储在共享存储器14中。

应理解，第一处理器122中可以包括多个处理模块，例如前端(Front End，FE)处理模块、中端(Middle End，ME)处理模块和后端(Back End，BE)处理模块。其中，每个处理模块处理的数据类型不同。需要说明的是，中后端处理模块1223可以包括终端处理模块和后端处理模块。

本申请实施例中，在FE处理模块对接收到的图像数据进行处理之后，可以将处理后的图像数据分为两路，一路发送给ME BE处理模块进行后续处理，得到第一图像数据。另一路发送给下采样模块1222进行下采样处理，将图像的大小处理成符合对象检测模型所需要的图像大小，如此，得到下采样图像数据。

可选地，下采样模块可以是神经网络下采样(Neural-Network Down Scale，NNDS)模块。

综上所述，本申请实施例提供的图像处理装置中，第一图像处理电路12中的第一处理器122可以通过硬件电路处理得到用于对象检测的低分辨率图像数据，以及用于图像预览的第一图像数据，可以提高数据处理的效率。并且，得到的低分辨率图像数据还可以被第二图像处理电路13复用，以供第二应用进行用户行为的分析，这样既节省了共享图像数据时的内存开销，也节省了第二图像处理电路13进行图像处理时的功耗。

在本申请一实施例中，本申请实施例中的共享存储器14可以被配置为安全存储空间。也就是说，本申请实施例中的图像数据的存储与访问可以都处于系统的安全存储空间。应理解，安全存储空间仅用于向授信的应用提供数据的存储与访问。

可选地，在系统启动时，核心可以通过可信固件(ARM Trusted Firmware，ATF)，将共享存储器配置为安全存储空间。参考图9所示，共享存储器14可以通过可信固件，以及可信核心框架向受信任环境中的可信应用提供数据的存储与访问。可信应用可以包括但不限于指纹应用，人脸识别应用，支付类应用等。而其他的应用要访问安全存储空间的数据需要通过受信任可执行环境(Trusted Execution Environment)接口。

然而，底层硬件结构中，可以通过配置高级可扩展总线接口(AdvancedExtensibleInterface，AXI)的安全主接口(Master)来实现对安全存储空间的访问。

在本申请实施例中，第一图像处理电路12与第二图像处理电路13均通过AXI安全Master与共享存储器14连接，AXI的主接口用于读取安全存储空间存储的数据，以完成机主对比、防偷窥等与隐私相关的应用。具体地，参考图2所示，第一处理器122、第二处理器132、以及NPU 15均可通过AXI安全Master与共享存储器14连接。更具体地，参考图3所示，FE处理模块、ME处理模块和BE处理模块可以通过AXI安全Master与共享存储器14连接。

综上所述，本申请实施例提供的图像处理装置，通过ATF将共享存储器14设置为安全存储空间，阻断非安全访问。同时第一图像处理电路12和第二图像处理电路13通过AXI总线的安全master在该区域实现数据交互，底层数据共享可以在安全区域实行数据交换和比对，使得隐私数据不易被窃取，安全性更高。

基于上述实施例，在本申请一实施例还提供一种图像处理装置，参考图1所示，本申请实施例提供的图像处理装置可以包括图像传感器11，与图像传感器11连接的第一图像处理电路12，与第一图像处理电路12连接的第二图像处理电路13，以及与第一图像处理电路12和第二图像处理电路13均连接的共享存储器14；

在第一应用和第二应用同时处于工作状态的情况下，第一图像处理电路12，被配置为对图像传感器11采集的图像数据进行处理得到第一图像数据，将第一图像数据存储至所述共享存储器14，第一图像数据用于第一应用；其中，第一应用用于显示预览图像，第二应用用于分析用户行为数据；

第二图像处理电路13，被配置为从共享存储器14获取第一图像数据中的至少部分图像数据，至少部分图像数据用于第二应用。

在一些实施例中，第二图像处理电路13还与图像传感器11连接；

在第一应用处于工作状态，且第二应用处于非工作状态的情况下，第二图像处理电路13关闭，第一图像处理电路12被配置为对图像传感器11采集的图像数据进行处理得到第二图像数据，向第一应用提供所述第二图像数据；

在第一应用处于非工作状态，且第二应用处于工作状态的情况下，第一图像处理电路12关闭，第二图像处理电路13被配置为对图像传感器11采集的图像数据进行处理得到第三图像数据，向第二应用提供所述第三图像数据。

在一些实施例中，在所述第一应用和所述第二应用同时处于工作状态的情况下，第二图像处理电路13与图像传感器11断开连接。

应理解，由于第一图像处理电路12和第二图像处理电路13共用同一个图像传感器11，因此在兼容模式下，即第一应用和第二应用同时处于工作状态的情况下，需要先断开第二图像处理电路13和图像传感器11之间的连接，仅通过第一图像处理电路12获取图像传感器11传输的图像数据。

需要说明的是，在兼容模式下，选择第一图像处理电路12获取图像传感器11传输的图像，而不选择第二图像处理电路13获取图像传感器11传输的图像原因在于，第一图像处理电路12需要要第一应用提供可以用于预览的图像数据，所需的图像分辨率较高，因此需要重量级的第一图像处理电路12来获取图像传感器11采集到的图像数据。

在一些实施例中，参考图4所示，图像处理装置中第一图像处理电路12包括相互连接的第一控制单元121和第一处理器122；第二图像处理电路13包括相互连接的第二控制单元131和第二处理器132；

第一处理器和第二处理器132皆与图像传感器11连接，第一控制单元121与第二控制单元连接131。

在一些实施例中，第一处理器122，被配置为对图像传感器11采集的图像数据进行处理，得到第一图像数据，将第一图像数据存储至共享存储器14，以及向第一应用提供第一图像数据；

第一控制单元121，被配置为向第二控制单元131发送第一通知信息，第一通知信息用于指示第一图像数据中至少部分图像数据在共享存储器14中的第一地址信息；

第二控制单元131，被配置为控制第二处理器132基于第一地址信息，从共享存储器14中读取至少部分图像数据；

第二处理器132，被配置为向第二应用提供至少部分图像数据。

应理解，第一处理器122接收到图像数据后，可以对图像数据进行镜头校正、降噪处理、白平衡处理、色彩校正等处理，得到第一图像数据。第一处理器122得到第一图像数据之后，可以通过图2所示的数据通路3向共享存储器14发送该第一图像数据。

需要说明的是，第一图像数据可以包括至少一帧图像。

可选地，第一处理器122每传输完一帧完整的图像后可以向第一控制单元121发送中断信息。通过中断信息向第一控制单元121告知一帧图像处理完成。

可选地，第一控制单元121可以获取第一图像数据中每帧图像在共享存储器14中存储的地址信息。

本申请实施例中，第一控制单元121在确定第一图像数据已经存储在共享存储器14后，可以通过控制通路4向第二控制单元131发送第一通信信息，向第二控制单元131告知已经完成存储的第一图像数据中至少部分图像数据的地址信息。

可选地，第一控制单元121可以在接收到第一处理器122发送的中断信息后，通过跳帧的方式，按照第二应用所需的帧率向第二控制单元131告知当前图像帧在共享存储器14中的地址信息。

可选地，第二控制单元131在得到至少部分图像数据在共享存储器14中的地址信息后，可以通过图2所示的控制通路5向第二处理器132发送控制信息，以使第二处理器通过图2所示的数据通路6读取共享存储器14中存储的上述至少部分图像数据。

示例性的，第一处理器122以每秒30帧的速率向共享存储器14传输第一图像数据。第一控制单元121每秒可以接收到30个中断信息。第二应用所需的帧率可以是每秒10帧。基于此，第一控制单元121可以每隔三个中断信息，向第二控制单元131发送一个通知信息，告知第二控制单元131当前完成存储的图像帧在共享存储器14中的地址信息。这样，第二处理器132可以从共享存储器14中获取10帧图像。

进一步地，在本申请一实施例中，参考4所示，图像处理装置还可以包括NPU 15。NPU15可以与共享存储器14连接，用于对图像数据进行识别和分析。

第二处理器132，还被配置为对至少部分图像进行处理，得到目标图像数据；

第二处理器132，还被配置为将目标图像数据写入共享存储器14；

第二控制单元131，还被配置为向NPU 15发送第二通知信息，第二通知信息用于指示目标图像数据在共享存储器14中的第二地址信息；

NPU 15，被配置为基于第二地址信息，从共享存储器14中读取目标图像数据并进行处理，得到处理结果，并向第二应用提供处理结果。

在一些实施例中，第一处理器122，被配置为对图像传感器采集的图像数据进行处理，得到第一图像数据，将第一图像数据进行下采样处理，得到下采样图像数据，并将第一图像数据和下采样图像数据存储在共享存储器14中；

第一控制单元121，被配置为向第二控制单元131发送第三通知信息，第三通知信息用于指示下采样图像中的至少部分图像数据在共享存储器14中的第三地址信息；

第二控制单元131，被配置为控制第二处理器132基于第三地址信息，从共享存储器14中读取至少部分图像数据；

第二处理器132，被配置为向第二应用提供至少部分图像数据。

本申请实施例提供的图像处理装置中，第二图像处理电路13可以复用第一图像处理电路12所产生的用于对象检测的低分辨率图像提供给第二应用进行用户行为的分析，这样既节省了共享图像数据时的内存开销，也节省了第二图像处理电路13进行图像处理时的功耗。

在一些实施例中，参考图8所示，第一处理器122可以包括前端处理模块1221、下采样模块1222、以及中后端处理模块1223；

其中，前端处理模块1221的输入端与图像传感器11连接，前端处理模块1221的输出端分别与下采样模块1222、以及中后端处理模块1223连接；下采样模块1222和中后端处理模块1223还与共享存储器13连接；

前端处理模块1221，被配置为对图像传感器11采集的图像数据进行处理，得到中间图像数据，并向下采样模块1222和中后端处理模块1223发送该中间图像数据；

下采样模块1222，被配置为对中间图像数据进行下采样处理，得到下采样图像数据，将下采样图像数据存储在共享存储器14中；

中后端处理模块1223，被配置为对中间图像数据进行处理，得到第一图像数据，将第一图像数据存储在共享存储器14中。

应理解，第一处理器122中可以包括多个处理模块，例如前端(Front End，FE)处理模块、中端(Middle End，ME)处理模块和后端(Back End，BE)处理模块。其中，每个处理模块处理的数据类型不同。

本申请实施例中，在FE处理模块对接收到的图像数据进行处理之后，可以将处理后的图像数据分为两路，一路发送给ME BE处理模块进行后续处理，得到第一图像数据。另一路发送给下采样模块1222进行下采样处理，将图像的大小处理成符合对象检测模型所需要的图像大小，如此，得到下采样图像数据。

可选地，下采样模块可以是神经网络下采样(Neural-Network Down Scale，NNDS)模块。

本申请实施例提供的图像处理装置中，第一图像处理电路12中的第一处理器122可以通过硬件电路处理得到用于对象检测的低分辨率图像数据，以及用于图像预览的第一图像数据，可以提高数据处理的效率。并且，得到的低分辨率图像数据还可以被第二图像处理电路13复用，以供第二应用进行用户行为的分析，这样既节省了共享图像数据时的内存开销，也节省了第二图像处理电路13进行图像处理时的功耗。

可以理解的是，本申请实施例提供的图像处理装置中，共享存储器14可以被配置为安全存储空间。也就是说，本申请实施例中的图像数据的存储与访问可以都处于系统的安全存储空间。应理解，安全存储空间仅用于向授信的应用提供数据的存储与访问。

可选地，在系统启动时，核心可以通过可信固件(ARM Trusted Firmware，ATF)，将共享存储器配置为安全存储空间。参考图9所示，共享存储器14可以通过可信固件，以及可信核心框架向受信任环境中的可信应用提供数据的存储与访问。可信应用可以包括但不限于指纹应用，人脸识别应用，支付类应用等。而其他的应用要访问安全存储空间的数据需要通过受信任可执行环境(Trusted Execution Environment)接口。

然而，底层硬件结构中，可以通过配置高级可扩展总线接口(AdvancedExtensibleInterface，AXI)的安全主接口(Master)来实现对安全存储空间的访问。

在本申请实施例中，第一图像处理电路12与第二图像处理电路13均通过AXI安全Master与共享存储器14连接，AXI的主接口用于读取安全存储空间存储的数据，以完成机主对比、防偷窥等与隐私相关的应用。具体地，参考图2所示，第一处理器122、第二处理器132、以及NPU 15均可通过AXI安全Master与共享存储器14连接。更具体地，参考图3所示，FE处理模块、ME处理模块和BE处理模块可以通过AXI安全Master与共享存储器14连接。

综上所述，本申请实施例提供的图像处理装置，通过ATF将共享存储器14设置为安全存储空间，阻断非安全访问。同时第一图像处理电路12和第二图像处理电路13通过AXI总线的安全master在该区域实现数据交互，底层数据共享可以在安全区域实行数据交换和比对，使得隐私数据不易被窃取，安全性更高。

基于上述实施例，在本申请一实施例还提供一种电子设备，该电子设备可以包括应用处理装置和上述实施例中的图像处理装置。

其中，应用处理装置用于实现第一应用和第二应用的功能，所述第一应用用于显示预览图像，所述第二应用用于分析用户行为数据。

可选地，应用处理装置可以是应用处理器(Application Processor)。

本申请实施例中，在第一应用和第二应用同时处于工作状态的情况下，第一图像处理电路，可以被配置为对图像传感器采集的图像数据进行处理，得到第一图像数据，将第一图像数据存储在所述共享存储器中；应用处理装置，可以被配置为获取第一图像数据，实现所述第一应用的功能；

第二图像处理电路，可以被配置为从共享存储器中获取第一图像数据中的至少部分图像数据，应用处理装置，还可以被配置为获取至少部分图像数据，实现第二应用的功能。

示例性的，电子设备中应用处理装置可以实现系统相机应用、AON相机应用，以及其他第三方应用。其中，图像处理装置中第一图像处理电路可以为CSS，第二图像处理电路可以为SME。参考图10所示，CSS可以通过CSS驱动向上层系统相机应用提供图像数据。具体地，CSS处理得到的第一图像数据，可以通过CSS驱动传输给相机硬件抽象层(HardwareAbstraction Layer，HAL)端，进而，相机HAL端将第一图像数据传输给框架(Framework)中的应用程序接口(Application Programming Interface，API)，进而应用处理装置中的系统相机应用可以获取到该第一图像数据。

另外，SME可以通过SME驱动向上层AON相机应用提供图像数据。具体地，SME处理得到的图像数据可以通过SME驱动传输给SME HAL服务端。接着，SME HAL服务端通过SDK向应用处理装置中的AON相机应用传输图像数据。需要说明的是，相机HAL端和SME HAL端之间可以通过SDK进行数据交互。

可选地，电子设备中的第二图像处理电路还与图像传感器连接；

在所述第一应用处于工作状态，且所述第二应用处于非工作状态的情况下，所述第一图像处理电路开启，所述第二图像处理电路关闭；所述第一图像处理电路，可以被配置为对所述图像传感器采集的图像数据进行处理得到第二图像数据，应用处理装置，可以被配置为获取所述第二图像数据，实现所述第一应用的功能；

在所述第一应用处于非工作状态，且所述第二应用处于工作状态的情况下，所述第一图像处理电路关闭，所述第二图像处理电路开启；所述第二图像处理电路，可以被配置为对所述图像传感器采集的图像数据进行处理得到第三图像数据，向所述第二应用提供所述第三图像数据；所述应用处理装置，可以被配置为获取所述第三图像数据，实现所述第二应用的功能；

可选地，在所述第一应用和所述第二应用同时处于工作状态的情况下，第二图像处理电路可以与所述图像传感器断开连接。

可选地，所述第一图像处理电路包括相互连接的第一控制单元和第一处理器；所述第二图像处理电路包括相互连接的第二控制单元和第二处理器；

所述第一处理器和所述第二处理器皆与所述图像传感器连接，所述第一控制单元与所述第二控制单元连接。

可选地，所述第一处理器，可以被配置为对所述图像传感器采集的图像数据进行处理，得到第一图像数据，将所述第一图像数据存储在所述共享存储器中；

所述第一控制单元，可以被配置为向所述第二控制单元发送第一通知信息，所述第一通知信息用于指示所述第一图像数据中至少部分图像数据在所述共享存储器中的第一地址信息；

所述第二控制单元，可以被配置为控制所述第二处理器基于所述第一地址信息，从所述共享存储器中读取所述至少部分图像数据；

所述第二处理器，可以被配置为向所述第二应用提供所述至少部分图像数据；

所述应用处理器，可以被配置为获取所述第一图像数据，实现所述第一应用的功能，和/或，获取所述至少部分图像数据，实现所述第一应用的功能。

可选地，所述图像处理装置还包括神经网络处理器；

所述第二处理器，可以被配置为对所述至少部分图像进行处理，得到目标图像数据；

所述第二处理器，可以被配置为将所述目标图像数据写入所述共享存储器；

所述第二控制单元，可以被配置为向所述神经网络处理器发送第二通知信息，所述第二通知信息用于指示所述目标图像数据在所述共享存储器中的第二地址信息；

所述神经网络处理器，可以被配置为基于所述第二地址信息，从所述共享存储器中读取所述目标图像数据并进行处理，得到处理结果；

所述神经网络处理器，可以被配置为向所述应用处理装置提供所述处理结果；

所述应用处理装置，还可以被配置为获取所述处理结果，实现所述第二应用的功能。

可选地，所述第一处理器，可以被配置为对所述图像传感器采集的图像数据进行处理，得到第一图像数据，将所述第一图像数据进行下采样处理，得到下采样图像数据，并将所述第一图像数据和所述下采样图像数据存储在所述共享存储器中；

所述应用处理装置，可以被配置为获取所述第一图像数据和所述下采样图像数据，实现所述第一应用的功能；

所述第一控制单元，可以被配置为向所述第二控制单元发送第三通知信息，所述第三通知信息用于指示所述下采样图像中的至少部分图像数据在所述共享存储器中的第三地址信息；

所述第二控制单元，可以被配置为控制所述第二处理器基于所述第三地址信息，从所述共享存储器中读取所述至少部分图像数据；

所述第二处理器，可以被配置为向所述第二应用提供所述至少部分图像数据；

所述应用处理装置，还可以被配置为获取所述至少部分图像数据，实现所述第二应用的功能。

可选地，所述第一处理器包括前端处理模块、下采样模块、以及中后端处理模块；

所述前端处理模块的输入端与所述图像传感器连接，所述前端处理模块的输出端分别与所述下采样模块、以及所述中后端处理模块连接；所述下采样模块和所述中后端处理模块还与所述共享存储器连接；

所述前端处理模块，可以被配置为对所述图像传感器采集的图像数据进行处理，得到中间图像数据，以及向所述下采样模块和所述中后端处理模块发送所述中间图像数据；

所述下采样模块，可以被配置为对所述中间图像数据进行下采样处理，得到所述下采样图像数据，将所述下采样图像数据存储在所述共享存储器中；

所述中后端处理模块，可以被配置为对所述中间图像数据进行处理，得到所述第一图像数据，将所述第一图像数据存储在所述共享存储器中。

可选地，所述共享存储器被配置其安全存储空间；所述安全存储空间仅用于向授信的应用提供数据的存储与访问。

可选地，所述第一图像处理电路与所述第二图像处理电路均通过高级可扩展总线接口AXI的主接口与所述共享存储器连接，所述AXI的主接口用于读写所述安全存储空间存储的数据。

本申请实施例还提供了一种计算机存储介质，具体为计算机可读存储介质。其上存储有计算机指令，在计算机存储介质位于电子设备时，该计算机指令被处理器执行时实现本申请实施例上述图像处理处理方法中的任意步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以至少两个单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种图像处理方法，其特征在于，应用于图像处理装置，所述图像处理装置包括图像传感器、与所述图像传感器连接的第一图像处理电路，与所述第一图像处理电路连接的第二图像处理电路，以及与所述第一图像处理电路和所述第二图像处理电路均连接的共享存储器，所述方法包括：

在第一应用和第二应用同时处于工作状态的情况下，通过所述第一图像处理电路对所述图像传感器采集的图像数据进行处理得到第一图像数据，所述第一图像数据用于所述第一应用；其中，所述第一应用用于显示预览图像，所述第二应用用于分析用户行为数据；

通过所述第一图像处理电路将所述第一图像数据存储于所述共享存储器；

通过所述第二图像处理电路从所述共享存储器中获取所述第一图像数据中的至少部分图像数据，所述至少部分图像数据用于所述第二应用。

2.根据权利要求1所述的方法，其特征在于，所述第二图像处理电路还与所述图像传感器连接，所述方法还包括：

在所述第一应用处于工作状态，且所述第二应用处于非工作状态的情况下，关闭所述第二图像处理电路，通过所述第一图像处理电路对所述图像传感器采集的图像数据进行处理得到第二图像数据，并通过所述第一图像处理电路向所述第一应用提供所述第二图像数据；

在所述第一应用处于非工作状态，且所述第二应用处于工作状态的情况下，关闭所述第一图像处理电路，通过所述第二图像处理电路对所述图像传感器采集的图像数据进行处理得到第三图像数据，并通过所述第二图像处理电路向所述第二应用提供所述第三图像数据。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述第一应用和所述第二应用同时处于工作状态的情况下，断开所述第二图像处理电路与所述图像传感器的连接。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述通过所述第二图像处理电路从所述共享存储器中获取所述第一图像数据中的至少部分图像数据，包括：

通过所述第一图像处理电路向所述第二图像处理电路发送第一通知信息，所述第一通知信息用于指示所述第一图像数据中至少部分图像数据在所述共享存储器中的第一地址信息；

通过所述第二图像处理电路基于所述第一地址信息，从所述共享存储器中获取所述第一图像数据中的至少部分图像数据。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述图像处理装置还包括神经网络处理器，所述方法还包括：

通过所述第二图像处理电路对所述至少部分图像进行处理，得到目标图像数据，并将所述目标图像数据存储至所述共享存储器；

通过所述第二图像处理电路向所述神经网络处理器发送第二通知信息，所述第二通知信息用于指示所述目标图像数据在所述共享存储器中的第二地址信息；

通过所述神经网络处理器基于所述第二地址信息，从所述共享存储器中读取所述目标图像数据并进行处理，得到处理结果，通过所述神经网络处理器向所述第二应用提供所述处理结果。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述第一图像数据存储于所述共享存储器之前，还包括：

通过所述第一图像处理电路对所述第一图像数据进行下采样处理，得到下采样图像数据；所述下采样图像数据用于所述第一应用对预览图像进行对象检测；

所述通过所述第一图像处理电路将所述第一图像数据存储于所述共享存储器，包括：

通过所述第一图像处理电路将所述第一图像数据和所述下采样图像数据存储于所述共享存储器；

所述通过所述第二图像处理电路从所述共享存储器中获取所述第一图像数据中的至少部分图像数据，包括：

通过所述第一图像处理电路向所述第二图像处理电路发送第三通知信息，所述第三通知信息用于指示所述下采样图像中的至少部分图像数据在所述共享存储器中的第三地址信息；

通过所述第二图像处理电路基于所述第三地址信息，从所述共享存储器中获取所述至少部分图像数据。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述共享存储器被配置为安全存储空间；所述安全存储空间仅用于向授信的应用提供数据的存储与访问，所述第一应用和所述第二应用均为授信的应用。

8.根据权利要求7所述的方法，其特征在于，所述第一图像处理电路与所述第二图像处理电路均通过高级可扩展总线接口AXI的主接口与所述共享存储器连接，所述AXI的主接口用于读写所述安全存储空间存储的数据。

9.一种图像处理装置，其特征在于，包括：图像传感器，与所述图像传感器连接的第一图像处理电路，与所述第一图像处理电路连接的第二图像处理电路，以及与所述第一图像处理电路和所述第二图像处理电路均连接的共享存储器；

在第一应用和第二应用同时处于工作状态的情况下，所述第一图像处理电路，被配置为对所述图像传感器采集的图像数据进行处理得到第一图像数据，将所述第一图像数据存储至所述共享存储器，所述第一图像数据用于所述第一应用；其中，所述第一应用用于显示预览图像，所述第二应用用于分析用户行为数据；

所述第二图像处理电路，被配置为从所述共享存储器获取所述第一图像数据中的至少部分图像数据，所述至少部分图像数据用于所述第二应用。

10.根据权利要求9所述的图像处理装置，其特征在于，所述第二图像处理电路还与所述图像传感器连接；

在所述第一应用处于工作状态，且所述第二应用处于非工作状态的情况下，所述第二图像处理电路关闭，所述第一图像处理电路被配置为对所述图像传感器采集的图像数据进行处理得到第二图像数据，向所述第一应用提供所述第二图像数据；

在所述第一应用处于非工作状态，且所述第二应用处于工作状态的情况下，所述第一图像处理电路关闭，所述第二图像处理电路被配置为对所述图像传感器采集的图像数据进行处理得到第三图像数据，向所述第二应用提供所述第三图像数据。

11.根据权利要求10所述的图像处理装置，其特征在于，在所述第一应用和所述第二应用同时处于工作状态的情况下，所述第二图像处理电路与所述图像传感器断开连接。

12.根据权利要求9-11任一项所述的图像处理装置，其特征在于，所述第一图像处理电路包括相互连接的第一控制单元和第一处理器；所述第二图像处理电路包括相互连接的第二控制单元和第二处理器；

所述第一处理器和所述第二处理器皆与所述图像传感器连接，所述第一控制单元与所述第二控制单元连接。

13.根据权利要求12所述的图像处理装置，其特征在于，

所述第一处理器，被配置为对所述图像传感器采集的图像数据进行处理，得到第一图像数据，将所述第一图像数据存储在所述共享存储器中，以及向所述第一应用提供所述第一图像数据；

所述第一控制单元，被配置为向所述第二控制单元发送第一通知信息，所述第一通知信息用于指示所述第一图像数据中至少部分图像数据在所述共享存储器中的第一地址信息；

所述第二控制单元，被配置为控制所述第二处理器基于所述第一地址信息，从所述共享存储器中读取所述至少部分图像数据；

所述第二处理器，被配置为向所述第二应用提供所述至少部分图像数据。

14.根据权利要求13所述的图像处理装置，其特征在于，所述图像处理装置还包括神经网络处理器；

所述第二处理器，还被配置为对所述至少部分图像进行处理，得到目标图像数据；

所述第二处理器，还被配置为将所述目标图像数据写入所述共享存储器；

所述第二控制单元，还被配置为向所述神经网络处理器发送第二通知信息，所述第二通知信息用于指示所述目标图像数据在所述共享存储器中的第二地址信息；

所述神经网络处理器，被配置为基于所述第二地址信息，从所述共享存储器中读取所述目标图像数据并进行处理，得到处理结果，并向所述第二应用提供所述处理结果。

15.根据权利要求12所述的图像处理装置，其特征在于，

所述第一处理器，被配置为对所述图像传感器采集的图像数据进行处理，得到第一图像数据，将所述第一图像数据进行下采样处理，得到下采样图像数据，并将所述第一图像数据和所述下采样图像数据存储在所述共享存储器中；

所述第一控制单元，被配置为向所述第二控制单元发送第三通知信息，所述第三通知信息用于指示所述下采样图像中的至少部分图像数据在所述共享存储器中的第三地址信息；

所述第二控制单元，被配置为控制所述第二处理器基于所述第三地址信息，从所述共享存储器中读取所述至少部分图像数据；

所述第二处理器，被配置为向所述第二应用提供所述至少部分图像数据。

16.根据权利要求15所述的图像处理装置，其特征在于，所述第一处理器包括前端处理模块、下采样模块、以及中后端处理模块；

所述前端处理模块的输入端与所述图像传感器连接，所述前端处理模块的输出端分别与所述下采样模块、以及所述中后端处理模块连接；所述下采样模块和所述中后端处理模块还与所述共享存储器连接；

所述前端处理模块，被配置为对所述图像传感器采集的图像数据进行处理，得到中间图像数据，以及向所述下采样模块和所述中后端处理模块发送所述中间图像数据；

所述下采样模块，被配置为对所述中间图像数据进行下采样处理，得到所述下采样图像数据，将所述下采样图像数据存储在所述共享存储器中；

所述中后端处理模块，被配置为对所述中间图像数据进行处理，得到所述第一图像数据，将所述第一图像数据存储在所述共享存储器中。

17.根据权利要求9-11任一项所述的图像处理装置，其特征在于，

所述共享存储器被配置为安全存储空间；所述安全存储空间仅用于向授信的应用提供数据的存储与访问。

18.根据权利要求17所述的图像处理装置，其特征在于，所述第一图像处理电路与所述第二图像处理电路均通过高级可扩展总线接口AXI的主接口与所述共享存储器连接，所述AXI的主接口用于读写所述安全存储空间存储的数据。

19.一种电子设备，其特征在于，所述电子设备包括应用处理装置和如权利要求9-18任一项所述的图像处理装置；所述应用处理装置用于实现第一应用和第二应用的功能，所述第一应用用于显示预览图像，所述第二应用用于分析用户行为数据；

在所述第一应用和所述第二应用同时处于工作状态的情况下，所述第一图像处理电路，被配置为对所述图像传感器采集的图像数据进行处理，得到第一图像数据，将所述第一图像数据存储于所述共享存储器；所述应用处理装置被配置为获取所述第一图像数据，实现所述第一应用的功能；

所述第二图像处理电路，被配置为从所述共享存储器中获取所述第一图像数据中的至少部分图像数据，所述应用处理装置还备配置为获取所述至少部分图像数据，实现所述第二应用的功能。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-9任一项所述方法中的步骤。