CN114285957A - 图像处理电路及数据传输方法 - Google Patents

Abstract

本申请提供一种图像处理电路及数据传输方法，所述图像处理电路包括:图像传感器；处理器芯片，所述处理器芯片与所述图像传感器通信连接,所述处理器芯片包括第一相机串行接口及第一总线接口；图像处理芯片，所述图像处理芯片包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；其中，所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。

Description

图像处理电路及数据传输方法

技术领域

本申请涉及通信技术领域，尤其涉及一种图像处理电路及数据传输方法。

背景技术

随着电子设备的普及，电子设备的功能越来越完善。电子设备集成有拍照及摄影等功能，且随着人们对于电子设备的成像效果的要求的提高，对电子设备拍摄图像的分辨率及像素要求越来越高。目前，通过图像信号处理(Image Signal Processing，ISP)对图像数据进行处理，进行图像数据处理的效果较差。

发明内容

本申请实施例提供一种图像处理电路及数据传输方法，能够解决现有图像数据处理的效果较差的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本申请实施例提供了一种图像处理电路，所述图像处理电路包括:

图像传感器；

处理器芯片，所述处理器芯片与所述图像传感器通信连接,所述处理器芯片包括第一相机串行接口及第一总线接口；

图像处理芯片，所述图像处理芯片包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；

其中，所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。

第二方面，本申请实施例提供了一种电子设备，包括如第一方面所述的图像处理电路。

第三方面，本申请实施例提供了一种数据传输方法，由图像处理芯片执行，所述图像处理芯片为第一方面所述的图像处理电路中的图像处理芯片，所述方法包括：

通过所述第二总线接口接收所述处理器芯片发送的开流指令；

响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；

通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。

第四方面，本申请实施例提供了一种数据传输方法，由处理器芯片执行，所述处理器芯片为第一方面所述的图像处理电路中的处理器芯片，所述方法包括：

在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；

向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；

通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。

第五方面，本申请实施例提供了一种图像处理芯片，所述图像处理芯片包括：

第一接收模块，用于通过第二总线接口接收处理器芯片发送的开流指令；

第二接收模块，用于响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；

发送模块，用于通过第二相机串行接口向所述处理器芯片发送所述第二图像数据。

第六方面，本申请实施例提供了一种处理器芯片，所述处理器芯片包括：

第一发送模块，用于在接收到由用户的第一操作触发的第一指令的情况下，通过第一总线接口向图像处理芯片发送开流指令；

第二发送模块，用于向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；

接收模块，用于通过第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。

第七方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第二方面所述的数据传输方法中的步骤，或者，所述程序或指令被所述处理器执行时实现如第三方面所述的数据传输方法中的步骤。

第八方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第二方面所述的数据传输方法中的步骤，或者，所述程序或指令被处理器执行时实现如第三方面所述的数据传输方法中的步骤。

第九方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第二方面或第三方面所述的方法。

第十方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第二方面或第三方面所述的方法。

本申请实施例中，所述图像处理电路包括:图像传感器、处理器芯片及图像处理芯片，所述图像处理芯片包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接，这样，通过独立于处理器芯片的图像处理芯片对图像数据进行处理，能够降低图像处理能力受处理器芯片的硬件限制的影响，提高图像数据处理能力；且所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。

附图说明

图1是本申请实施例提供的一种图像处理电路的结构示意图；

图2是本申请实施例提供的一种数据传输方法的流程图之一；

图3是本申请实施例提供的一种数据传输方法的流程图之二；

图4是本申请实施例提供的一种图像处理芯片的结构示意图；

图5是本申请实施例提供的一种处理器芯片的结构示意图之一；

图6是本申请实施例提供的一种处理器芯片的结构示意图之二；

图7是本申请实施例提供的一种处理器芯片的结构示意图之三；

图8是本申请实施例提供的一种处理器芯片的结构示意图之四；

图9是本申请实施例提供的一种处理器芯片的结构示意图之五；

图10是本申请实施例提供的一种电子设备的结构示意图之一；

图11是本申请实施例提供的一种电子设备的结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理电路及数据传输方法进行详细地说明。

参见图1，图1是本申请实施例提供的一种图像处理电路的结构示意图，如图1所示，所述图像处理电路包括:

图像传感器11；

处理器芯片12，所述处理器芯片12与所述图像传感器11通信连接,所述处理器芯片12包括第一相机串行接口及第一总线接口；

图像处理芯片13，所述图像处理芯片13包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；

其中，所述图像处理芯片13和所述处理器芯片12通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。

其中，处理器芯片12可以通过第三相机串行接口与图像传感器11连接，第三相机串行接口可以为移动产业处理器接口(Mobile Industry Processor Interface，MIPI)模块的相机串行接口(Camera Serial Interface，CSI)接口。示例地，如图1所示，第三相机串行接口可以为MIPI CSI RX0接口，处理器芯片12可以通过MIPI CSI RX0接口接收图像传感器11发送的图像数据。第一相机串行接口可以为MIPI模块的CSI接口。示例地，如图1所示，第一相机串行接口可以为MIPI CSI RX1接口，处理器芯片12可以通过MIPI CSI RX1接口接收图像处理芯片13发送的图像数据。第一总线接口可以是集成电路总线(Inter-Integrated Circuit，I2C)总线接口或者串行外设接口(Serial Peripheral Interface，SPI)总线接口。

另外，第二相机串行接口可以为MIPI模块的CSI接口。示例地，如图1所示，第二相机串行接口可以为MIPI CSI TX1接口，图像处理芯片13可以通过MIPI CSI TX1接口向处理器芯片12发送图像数据。第二总线接口可以是I2C总线接口或者SPI总线接口。

需要说明的是，所述图像处理电路可以为电子设备中的电路。通过控制指令可以使得电子设备拍照时处理器芯片12与图像处理芯片13之间工作同步。控制指令可以包括开流指令，和/或关流指令，或者还可以包括其他控制指令。在接收到处理器芯片12发送的开流指令后，图像处理芯片13可以接收所述处理器芯片12发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据，并通过所述第一相机串行接口接收所述图像处理芯片13发送的所述第二图像数据；在接收到处理器芯片12发送的关流指令后，图像处理器可以停止向所述处理器芯片12发送所述第二图像数据。

作为一种具体的实施方式，如图1所示，图像传感器11输出的图像经过处理器芯片12的图像信号处理(Image Signal Processing，ISP)模块进行图像处理之后，在软件架构framework的显示合成服务(surfacefliger)模块将相机预览界面的当前用户界面(UserInterface，UI)和图像进行分离，并且分别通过处理器芯片12的第一显示串行接口通过标准的MIPI显示串行接口(Display Serial Interface，DSI)协议传输给图像处理芯片13，其中，第一显示串行接口可以为MIPI模块的DSI接口，例如，第一显示串行接口可以为MIPIDSI TX0。图像处理芯片13对处理器芯片12传输的图像进行图像处理，并将经过图像处理后的图像通过MIPI CSI TX0回传给处理器芯片12的MIPI CSI RX1，处理器芯片12将MIPI CSIRX1接收到的图像数据写入到动态随机存取存储器(Dynamic Random Access Memory，DRAM)，DRAM中存储的图像数据可以直接用于图片或者视频的编码和存储。

需要说明的是，以电子设备为手机为例，图像处理芯片13可以为手机提供硬件级计算影像能力，打破手机影像算力的瓶颈，对实时并发处理数据能力进行针对性优化，使手机拥有更强的影像算力。对于处理器芯片12自带的ISP而言，均是通过地址和数据总线直接访问内存做图像的处理，而独立的图像处理芯片13无法直接访问内存。若需要直接将处理后的图像保存在内存中，则需要通过物理连接到处理器芯片12的数据总线和地址总线上，这样会增加了硬件的设计难度，提高软件的开发难度。本申请实施例通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令，并且通过第一存储模块存储从图像处理芯片13端接收到的图像数据，能够实现图像处理芯片13完成图像处理后回传给处理器芯片12做后续的处理工作，例如图片编码或者录像编码。本申请实施例可以延用处理器芯片12原生的相机框架，可以实现更加灵活的软件设计，从而可以便捷地实现图像处理芯片13在各个平台上进行集成，为用户带来较好的拍照以及录像体验。

本申请实施例中，所述图像处理电路包括:图像传感器11、处理器芯片12及图像处理芯片13，所述图像处理芯片13包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接，这样，通过独立于处理器芯片12的图像处理芯片13对图像数据进行处理，能够降低图像处理能力受处理器芯片12的硬件限制的影响，提高图像数据处理能力；且所述图像处理芯片13和所述处理器芯片12通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令，不需要新增硬件接口将图像处理芯片13的图像数据回传至处理器芯片12，降低了硬件的设计难度。

可选地，所述处理器芯片还包括第一显示串行接口，所述图像处理芯片包括第二显示串行接口，所述第二显示串行接口与所述第一显示串行接口连接。

其中，第一显示串行接口可以为MIPI模块的DSI接口。示例地，如图1所示，第一显示串行接口可以为MIPI DSI TX0接口，处理器芯片可以通过MIPI DSI TX0接口向图像处理芯片发送图像数据。第二显示串行接口可以为MIPI模块的DSI接口。示例地，第二显示串行接口可以为MIPI DSI RX0接口，图像处理芯片可以通过MIPI DSI RX0接口接收处理器芯片发送的图像数据。

该实施方式中，所述处理器芯片还包括第一显示串行接口，所述图像处理芯片包括第二显示串行接口，所述第二显示串行接口与所述第一显示串行接口连接，从而能够通过第二显示串行接口与第一显示串行接口将处理器芯片中的第一图像数据传输至图像处理芯片进行图像处理。

可选地，所述处理器芯片还包括图像信号处理模块及显示合成服务模块，所述显示合成服务模块的一端通过所述图像信号处理模块与所述图像传感器通信连接，所述显示合成服务模块的另一端与所述第一显示串行接口连接。

其中，处理器芯片可以通过第三相机串行接口与图像传感器连接，图像信号处理模块可以通过第二存储模块与第三相机串行接口连接。第二存储模块可以为DRAM。

该实施方式中，所述显示合成服务模块的一端通过所述图像信号处理模块与所述图像传感器通信连接，所述显示合成服务模块的另一端与所述第一显示串行接口连接，从而通过图像信号处理模块能够对图像传感器发送的第三图像数据进行图像信号处理，得到第四图像数据；通过显示合成服务模块能够生成与所述第四图像数据对应的相机预览界面，并将所述相机预览界面显示的图像对应的第一图像数据通过第一显示串行接口发送至图像处理芯片。

可选地，所述处理器芯片还包括第一存储模块，所述第一相机串行接口与所述第一存储模块通信连接。

其中，第一存储模块可以为DRAM。处理器芯片能够将通过第一相机串行接口从图像处理芯片端接收到的图像数据直接存储至第一存储模块。存储在第一存储模块的图像数据可以直接用于图片编码或者录像编码。

另外，第一存储模块和第二存储模块可以为同一个DRAM的两个不同模块，或者，第一存储模块和第二存储模块可以为两个不同的DRAM，本实施例对此不进行限定。

该实施方式中，所述处理器芯片还包括第一存储模块，所述第一相机串行接口与所述第一存储模块通信连接，从而处理器芯片能够将图像处理芯片回传至处理器芯片的图像数据直接存储至第一存储模块。

本申请实施例还提供一种电子设备，所述电子设备包括图1所述的图像处理电路。

参见图2，图2是本申请实施例提供的一种数据传输方法的流程图之一，所述方法由图像处理芯片执行，所述图像处理芯片为图1所述的图像处理电路中的图像处理芯片，如图2所示，包括以下步骤：

步骤101、通过所述第二总线接口接收所述处理器芯片发送的开流指令；

步骤102、响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；

步骤103、通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。

其中，处理器芯片可以在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令。第一操作可以是启动拍照或录像的操作，示例地，第一操作可以是用户点击拍照按钮或者录像按钮的操作。处理器芯片可以通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据，并可以将所述第二图像数据存储至第一存储模块。

需要说明的是，对所述第一图像数据进行图像处理，可以是，对所述第一图像数据进行图像增强处理，示例地，可以是对第一图像数据进行降帧处理，和/或，超分处理。

另外，图像处理电路可以为电子设备中的电路。在启动电子设备中的相机的情况下，图像传感器可以获取第三图像数据，处理器芯片可以接收所述图像传感器发送的第三图像数据，处理器芯片可以通过ISP模块对所述第三图像数据进行图像信号处理，得到第四图像数据，生成与所述第四图像数据对应的相机预览界面。在用户启动拍照或录像操作的情况下，处理器芯片可以将所述相机预览界面显示的图像对应的第一图像数据发送至图像处理芯片进行图像处理，得到第二图像数据。图像处理芯片可以通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据，实现图像数据回传至处理器芯片。

需要说明的是，本申请实施例中的数据传输方法可以由图像处理芯片中的虚拟图像传感器执行，该虚拟图像传感器能够实现真实的图像传感器的相机控制流程，对比真实的图像传感器，该虚拟图像传感器的上下电控制可以是图像处理芯片的上下电控制，而对虚拟图像传感器的IO控制可以是对图像处理芯片的IO控制，虚拟图像传感器的IO控制可以是通过第二总线接口进行图像处理芯片的寄存器的读写操作。同时虚拟图像传感器的开流控制及关流控制可以是图像处理芯片的第二相机接口的开流控制和关流控制。

一种实施方式中，用户点击拍照或录像，处理器芯片可以通过I2C或SPI总线向虚拟图像传感器下发开流(streamon)指令，图像经过处理器芯片的ISP模块处理后，经过surfaceflinger模块将图像通过处理器芯片的DSI硬件模块采用MIPI协议传输至图像处理芯片，由图像处理芯片对图像进行增强处理，例如降帧和超分等。图像处理芯片对图像进行增强处理后，通过图像处理芯片的MIPI CSI TX0发送至处理器芯片侧的CSI RX1模块，处理器芯片接收到图像处理芯片处理后的图像后无需在处理器芯片的ISP模块做进一步处理，仅需发送至编码模块做图片编码处理或者在媒体(media)模块做录像的编码处理，然后保存在安全数字卡(Secure Digital Card，SD)卡中。

本申请实施例中，通过所述第二总线接口接收所述处理器芯片发送的开流指令；响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。这样，图像处理芯片能够在用户拍照或录像时通过第二总线接口及第二相机串行接口实现将图像处理芯片的图像数据回传至处理器芯片，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。

可选地，所述通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据之后，所述方法还包括：

通过所述第二总线接口接收所述处理器芯片发送的关流指令；

响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。

其中，处理器芯片可以在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。第二操作可以是停止拍照或录像的操作，示例地，第二操作可以是用户取消按压拍照按钮，或者按压停止录像按钮的操作。

一种实施方式中，用户在完成拍照或录像后，处理器芯片可以通过I2C或SPI总线向虚拟图像传感器下发关流指令，图像处理芯片如果当前没有进行图像处理，则可以立刻对TX0接口进行停流，此时电子设备切换成拍照预览模式或录像预览模式。若用户退出相机，则可以对图像传感器对应的物理摄像头关流，对物理摄像头以及虚拟图像传感器对应的虚拟摄像头均进行下电处理，并且释放申请的ISP软硬件资源。

该实施方式中，通过所述第二总线接口接收所述处理器芯片发送的关流指令；响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。这样，图像处理芯片能够在用户结束拍照或录像时停止向处理器芯片发流，以适配相机拍照或录像流程。

参见图3，图3是本申请实施例提供的一种数据传输方法的流程图之二，所述方法由处理器芯片执行，所述处理器芯片为图1所述的图像处理电路中的处理器芯片，如图3所示，包括以下步骤：

步骤201、在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；

步骤202、向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；

步骤203、通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。

本申请实施例中，在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。这样，图像处理芯片能够在用户拍照或录像时通过第二总线接口及第二相机串行接口实现将图像处理芯片的图像数据回传至处理器芯片，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。

可选地，所述通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据之后，所述方法还包括：

在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。

该实施方式中，在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令，从而使得图像处理芯片能够在用户结束拍照或录像时停止向处理器芯片发流，以适配相机拍照或录像流程。

可选地，所述向所述图像处理芯片发送第一图像数据之前，所述方法还包括：

基于所述图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；

将所述图像图层子信息从所述图层信息中进行分离；

其中，所述第一图像数据为分离得到的所述图像图层子信息。

一种实施方式中，图层信息可以形成相机预览界面。处理器芯片可以接收所述图像传感器发送的第三图像数据；对所述第三图像数据进行图像信号处理，得到第四图像数据；生成与所述第四图像数据对应的相机预览界面；其中，所述第四图像数据可以生成图层信息中的图像图层子信息，图像图层子信息可以形成所述相机预览界面显示的图像，且图像图层子信息和UI图层子信息共同形成所述相机预览界面。

该实施方式中，基于所述图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；将所述图像图层子信息从所述图层信息中进行分离，其中，所述第一图像数据为分离得到的所述图像图层子信息。这样，处理器芯片能够在用户拍照或录像时将图像图层子信息从所述图层信息中进行分离，并发送至图像处理芯片进行图像处理，以使用户获得较好的拍照或录像体验。

可选的，所述通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据之后，所述方法还包括：

将所述第二图像数据存储至第一存储模块。

其中，处理器芯片能够将通过第一相机串行接口从图像处理芯片端接收到的图像数据直接存储至第一存储模块。存储在第一存储模块的图像数据可以直接用于图片编码或者录像编码。

该实施方式中，将所述第二图像数据存储至第一存储模块，从而处理器芯片能够将图像处理芯片回传至处理器芯片的图像数据直接存储至第一存储模块。

可选的，所述通过所述第一总线接口向所述图像处理芯片发送开流指令之前，所述方法还包括：

在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。

其中，第三操作可以是启动相机的操作，示例地，第三操作可以是用户启动相机应用程序的操作，或者可以是用户进入相机预览界面的操作，等等。初始化所述图像处理芯片，可以是对图像处理芯片的寄存器进行初始化。在接收到由用户的第三操作触发的第三指令的情况下，可以对图像处理芯片进行上电操作，在完成上电操作后，初始化所述图像处理芯片。

一种实施方式中，如图1所示，处理器芯片使用I2C或SPI总线控制图像处理芯片，图像数据通过MIPI DSI或CSI传输。在相机未工作时，图像处理芯片处于下电的状态，当相机应用程序启动相机，进入拍照或录像模式，启动图像传感器以及图像处理芯片中的虚拟图像传感器，图像传感器对应的物理摄像头和虚拟图像传感器对应的虚拟摄像头分别同时上电，且通过I2C或者SPI总线对物理摄像头和虚拟摄像头进行寄存器的初始化，以及处理器芯片侧的ISP资源相关初始化。进行初始化后，可以先对物理摄像头进行开流，虚拟摄像头处于软件备用(standby)的状态，即图像处理芯片此时工作在standby的状态。

该实施方式中，在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片，从而能够在用户启动相机时初始化所述图像处理芯片，以适配相机拍照或录像流程。

需要说明的是，本实施例作为与图2所示的实施例中对应的处理器芯片的实施方式，其部分具体的实施方式可以参见图2所示的实施例的相关说明，为了避免重复说明，本实施例不再赘述，且还可以达到相同有益效果。

本申请实施例提供的数据传输方法，执行主体可以为图像处理芯片。本申请实施例中以图像处理芯片执行加载数据传输的方法为例，说明本申请实施例提供的图像处理芯片。

参见图4，图4是本申请实施例提供的一种图像处理芯片的结构示意图，如图4所示，所述图像处理芯片300包括：

第一接收模块301，用于通过第二总线接口接收处理器芯片发送的开流指令；

第二接收模块302，用于响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；

发送模块303，用于通过第二相机串行接口向所述处理器芯片发送所述第二图像数据。

可选地，所述发送模块303具体还用于：

通过所述第二总线接口接收所述处理器芯片发送的关流指令；

响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。

在本申请实施例中，第一接收模块通过所述第二总线接口接收所述处理器芯片发送的开流指令；第二接收模块响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；发送模块通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。这样，通过独立于处理器芯片的图像处理芯片对图像数据进行处理，能够降低图像处理能力受处理器芯片的硬件限制的影响，提高图像数据处理能力；且所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。

需要说明的是，所述图像处理芯片可以为图1所述的图像处理电路中的图像处理芯片。本申请实施例提供的图像处理芯片能够实现图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。

参见图5，图5是本申请实施例提供的一种处理器芯片的结构示意图，如图5所示，所述处理器芯片400包括：

第一发送模块401，用于在接收到由用户的第一操作触发的第一指令的情况下，通过第一总线接口向图像处理芯片发送开流指令；

第二发送模块402，用于向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；

接收模块403，用于通过第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。

可选地，如图6所示，所述处理器芯片400还包括：

第三发送模块404，用于在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。

可选地，如图7所示，所述处理器芯片400还包括：

获取模块405，用于基于图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；

分离模块406，用于将所述图像图层子信息从所述图层信息中进行分离；

其中，所述第一图像数据为分离得到的所述图像图层子信息。

可选地，如图8所示，所述处理器芯片400还包括：

存储模块407，用于将所述第二图像数据存储至第一存储模块。

可选地，如图9所示，所述处理器芯片400还包括：

初始化模块408，用于在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。

在本申请实施例中，第一发送模块在接收到由用户的第一操作触发的第一指令的情况下，通过第一总线接口向图像处理芯片发送开流指令；第二发送模块向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；接收模块通过第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。这样，图像处理芯片能够在用户拍照或录像时通过第二总线接口及第二相机串行接口实现将图像处理芯片的图像数据回传至处理器芯片，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。

需要说明的是，所述处理器芯片可以为图1所述的图像处理电路中的处理器芯片。本申请实施例提供的处理器芯片能够实现图3的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图10所示，本申请实施例还提供一种电子设备500，包括处理器501和存储器502，存储器502上存储有可在所述处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述数据传输方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、处理器610及图像处理芯片611等部件。

本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，传感器605包括图像传感器，处理器610为处理器芯片；所述处理器芯片与所述图像传感器通信连接,所述处理器芯片包括第一相机串行接口及第一总线接口；

所述图像处理芯片611包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；

其中，所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。

其中，图像处理芯片611用于：

通过所述第二总线接口接收所述处理器芯片发送的开流指令；

响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；

通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。

可选地，图像处理芯片611还用于：

通过所述第二总线接口接收所述处理器芯片发送的关流指令；

响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。

其中，处理器610用于：

在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；

向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；

通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。

可选地，处理器610还用于：

在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。

可选地，处理器610还用于：

基于所述图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；

将所述图像图层子信息从所述图层信息中进行分离；

其中，所述第一图像数据为分离得到的所述图像图层子信息。

可选地，处理器610还用于：

将所述第二图像数据存储至第一存储模块。

可选地，处理器610还用于：

在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。

应理解的是，本申请实施例中，输入单元604可以包括图形处理器(GraphicsProcessing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072中的至少一种。触控面板6071，也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器609可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。存储器609可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器609可以包括易失性存储器或非易失性存储器，或者，存储器609可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器609包括但不限于这些和任意其它适合类型的存储器。

处理器610可包括一个或多个处理单元；可选地，处理器610集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据传输方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述数据传输方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述数据传输方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (21)

1.一种图像处理电路，其特征在于，所述图像处理电路包括:

图像传感器；

处理器芯片，所述处理器芯片与所述图像传感器通信连接,所述处理器芯片包括第一相机串行接口及第一总线接口；

图像处理芯片，所述图像处理芯片包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；

其中，所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。

2.根据权利要求1所述的图像处理电路，其特征在于，所述处理器芯片还包括第一显示串行接口，所述图像处理芯片包括第二显示串行接口，所述第二显示串行接口与所述第一显示串行接口连接。

3.根据权利要求2所述的图像处理电路，其特征在于，所述处理器芯片还包括图像信号处理模块及显示合成服务模块，所述显示合成服务模块的一端通过所述图像信号处理模块与所述图像传感器通信连接，所述显示合成服务模块的另一端与所述第一显示串行接口连接。

4.根据权利要求1所述的图像处理电路，其特征在于，所述处理器芯片还包括第一存储模块，所述第一相机串行接口与所述第一存储模块通信连接。

5.一种电子设备，其特征在于，包括如权利要求1-4中任一项所述的图像处理电路。

6.一种数据传输方法，由图像处理芯片执行，其特征在于，所述图像处理芯片为权利要求1-4中任一项所述的图像处理电路中的图像处理芯片，所述方法包括：

通过所述第二总线接口接收所述处理器芯片发送的开流指令；

响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；

通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。

7.根据权利要求6所述的方法，其特征在于，所述通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据之后，所述方法还包括：

通过所述第二总线接口接收所述处理器芯片发送的关流指令；

响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。

8.一种数据传输方法，由处理器芯片执行，其特征在于，所述处理器芯片为权利要求1-4中任一项所述的图像处理电路中的处理器芯片，所述方法包括：

在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；

向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；

通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。

9.根据权利要求8所述的方法，其特征在于，所述通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据之后，所述方法还包括：

在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。

10.根据权利要求8所述的方法，其特征在于，所述向所述图像处理芯片发送第一图像数据之前，所述方法还包括：

基于所述图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；

将所述图像图层子信息从所述图层信息中进行分离；

其中，所述第一图像数据为分离得到的所述图像图层子信息。

11.根据权利要求8所述的方法，其特征在于，所述通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据之后，所述方法还包括：

将所述第二图像数据存储至第一存储模块。

12.根据权利要求8所述的方法，其特征在于，所述通过所述第一总线接口向所述图像处理芯片发送开流指令之前，所述方法还包括：

在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。

13.一种图像处理芯片，其特征在于，所述图像处理芯片包括：

第一接收模块，用于通过第二总线接口接收处理器芯片发送的开流指令；

第二接收模块，用于响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；

发送模块，用于通过第二相机串行接口向所述处理器芯片发送所述第二图像数据。

14.根据权利要求11所述的图像处理芯片，其特征在于，所述发送模块具体还用于：

通过所述第二总线接口接收所述处理器芯片发送的关流指令；

响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。

15.一种处理器芯片，其特征在于，所述处理器芯片包括：

第一发送模块，用于在接收到由用户的第一操作触发的第一指令的情况下，通过第一总线接口向图像处理芯片发送开流指令；

第二发送模块，用于向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；

接收模块，用于通过第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。

16.根据权利要求15所述的处理器芯片，其特征在于，所述处理器芯片还包括：

第三发送模块，用于在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。

17.根据权利要求15所述的处理器芯片，其特征在于，所述处理器芯片还包括：

获取模块，用于基于图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；

分离模块，用于将所述图像图层子信息从所述图层信息中进行分离；

其中，所述第一图像数据为分离得到的所述图像图层子信息。

18.根据权利要求15所述的处理器芯片，其特征在于，所述处理器芯片还包括：

存储模块，用于将所述第二图像数据存储至第一存储模块。

19.根据权利要求15所述的处理器芯片，其特征在于，所述处理器芯片还包括：

初始化模块，用于在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。

20.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求6-7中任一项所述的数据传输方法的步骤，或者，所述程序或指令被所述处理器执行时实现如权利要求8-12中任一项所述的数据传输方法的步骤。

21.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求6-7中任一项所述的数据传输方法的步骤，或者，所述程序或指令被处理器执行时实现如权利要求8-12中任一项所述的数据传输方法的步骤。

Images