CN106303152A - 图像处理芯片与图像处理系统 - Google Patents

Abstract

本发明提供一种图像处理芯片与图像处理系统。图像处理芯片包括接收接口实体层、接口桥接器以及传送接口实体层。接收接口实体层依据接口传输协定接收第一图像数据包，接口桥接器经由第一接口耦接接收接口实体层。传送接口实体层经由第二接口耦接接口桥接器。当操作于第一模式，接口桥接器经由第一接口接收第一图像数据包。接口桥接器将第一图像数据包经由第二接口传输至传送接口实体层，致使传送接口实体层输出第一图像数据包。本发明通过增设接口桥接器以将原始图像数据直接传送至后端芯片，并大幅减少功率消耗与设计复杂度。

Description

图像处理芯片与图像处理系统

技术领域

本发明是有关于一种图像处理芯片与图像处理系统，且特别是有关于一种利用串行包传输接口的图像处理芯片与图像处理系统。

背景技术

在现有的技术领域中，通过串行包的方式来进行传输的高速传输接口具有高传输速率以及低传输脚位的优点。为增加数据传输的可靠度，还可以利用差动信号的方式来进行传输，以降低电磁干扰(Electromagnetic Interference,简称EMI)的影响。另一方面，对于某些图像处理系统来说，往往需要通过额外的图像处理芯片来强化图像品质或对原始图像进行额外的图像处理，例如噪声抑制或深度计算等等。然而，在某些应用情境当中，图像处理芯片并不需要进行图像处理并只负责将收到的原始图像传送到另一处理芯片。

为了将原始图像数据传送至另一处理芯片，现有的作法包括在图像处理芯片内的图像处理引擎的输入端与输出端增设一旁路，好让原始图像数据可以绕过图像处理引擎而不改变。然而，在此作法下，图像处理芯片的传输接口控制器还是接收电源供应而处于致能状态，以解封装与封装经由串行包传输接口而传输的原始图像数据。除此之外，通过在图像处理芯片外部增设切换器或是在图像处理芯片内部设置模拟的切换器也是可以将原始图像数据传送至后端的处理芯片。然而，在图像处理芯片外部增设切换器不仅会造成制造成本的上升，也会使整体电路面积明显增加。若是在图像处理芯片内部设置模拟的切换器，则会有频宽与阻抗匹配随制程而改变的问题。

发明内容

有鉴于此，本发明提供一种图像处理芯片与图像处理系统，通过增设接口桥接器以将原始图像数据直接传送至后端芯片，并大幅减少功率消耗与设计复杂度。

本发明提出一种图像处理芯片，其包括接收接口实体层、接口桥接器以及传送接口实体层。接收接口实体层依据接口传输协定接收至少一第一图像数据包，接口桥接器经由第一接口耦接接收接口实体层。传送接口实体层经由第二接口耦接接口桥接器。当操作于第一模式，接口桥接器经由第一接口接收第一图像数据包。并且，接口桥接器将第一图像数据包经由第二接口传输至传送接口实体层，致使传送接口实体层输出第一图像数据包。

在本发明的一实施例中，上述的图像处理芯片还包括接收接口控制器、传送接口控制器以及图像处理模块。接收接口控制器经由第一接口耦接接收接口实体层，而传送接口控制器经由第二接口耦接传送接口实体层。图像处理模块耦接于接收接口控制器以及传送接口控制器之间。当操作于第二模式，接收接口控制器从接收接口实体层接收至少一第一图像数据包并解封装第一图像数据包而获取原始图像数据。图像处理模块对原始图像数据进行图像处理而产生经处理图像数据，而传送接口控制器接收经处理图像数据并封装经处理图像数据而产生至少一第二图像数据包，致使传送接口实体层经由第二接口接收第二图像数据包以输出第二图像数据包。

在本发明的一实施例中，上述的图像处理芯片还包括多路复用器，且多路复用器包括第一输入端、第二输入端以及输出端。第一输入端耦接接口桥接器，第二输入端耦接传送接口控制器，而输出端耦接传送接口实体层。当操作于第一模式，多路复用器的输出端输出第一图像数据包。当操作于第二模式，多路复用器的输出端输出第二图像数据包。

在本发明的一实施例中，当操作于第一模式，上述的接收接口控制器、传送接口控制器以及图像处理模块被禁能。

在本发明的一实施例中，上述的接口传输协定为移动产业处理器接口(Mobile Industry Processor Interface，简称MIPI)协定。

在本发明的一实施例中，上述的第一接口与第二接口为实体层协定接口(Physical Protocol Interface，简称PPI)。

在本发明的一实施例中，上述的接口桥接器包括一缓冲存储器，该缓冲存储器接收该至少一第一图像数据包，并以一先进先出规则输出暂存于该缓冲存储器的该至少一第一图像数据包。

本发明提出一种图像处理系统，包括图像传感器、应用处理器以及图像处理芯片。图像传感器依据接口传输协定输出至少一第一图像数据包。应用处理器输出控制指令。图像处理芯片耦接于图像传感器与应用处理器之间，此图像处理芯片包括接收接口实体层、接口桥接器以及传送接口实体层。接收接口实体层依据接口传输协定接收第一图像数据包，而接口桥接器经由第一接口耦接接收接口实体层。传送接口实体层经由第二接口耦接接口桥接器。当图像处理芯片响应于控制指令操作于第一模式，接口桥接器经由第一接口接收的第一图像数据包。接口桥接器将第一图像数据包传输至传送接口实体层，致使传送接口实体层输出第一图像数据包。

基于上述，通过增设接口桥接器于接收接口实体层以及传送接口实体层之间，可在停止供应电力至图像处理模块、传输接口控制器与接收接口控制器的条件下将原始图像数据传送至后端芯片。如此，当图像处理芯片操作于第一模式，本发明可大幅降低图像处理芯片的功耗。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1为依据本发明一实施例所示出的图像处理芯片的示意图；

图2为依据本发明一实施例所示出的图像处理系统的示意图；

图3为依据本发明一实施例所示出的图像数据包的包格式的示意图。

附图标记说明：

100、200：图像处理芯片；

110、210：接收接口实体层；

120、220：接口桥接器；

130、230：传送接口实体层；

240：接收接口控制器；

250：图像处理模块；

260：传送接口控制器；

270：多路复用器；

280、290：缓冲存储器；

300：图像传感器；

400：应用处理器；

20：图像处理系统；

P1：第一图像数据包；

P2：第二图像数据包；

I1：第一接口；

I2：第二接口；

D1：原始图像数据；

D2：经处理图像数据；

cmd：控制指令；

40：包格式；

410：包标头；

420：有效数据；

430：包标尾；

410a、410b、410c：包栏位。

具体实施方式

为了使本发明的内容更为明了，以下列举实施例作为本发明确实能够据以实施的范例。

图1是依据本发明一实施例所示出的图像处理芯片的示意图。请参照图1，图像处理(Image Signal Processor，简称ISP)芯片100是一种具有图像处理能力的芯片，可接收外来的图像数据并提供图像处理功能，并因此适于设置于图像获取装置或图像显示装置内。举例而言，图像处理芯片100可具有噪声抑制、深度计算、图像强化等功能，本发明对此并不限制。一般来说，图像处理芯片100可经由各式传输接口与其他芯片或电子元件相互连结，并依据对应的接口传输协定进行图像数据的交换与传输。

在一实施例中，图像处理芯片100包括接收接口实体层(Physical Layer，简称PHY)110、接口桥接器120以及传送接口实体层(PHY)130。图像处理芯片100可通过接收接口实体层110接收外来的数据，并通过传送接口实体层130传送数据至图像处理芯片100外部。接收接口实体层110依据接口传输协定接收至少一第一图像数据包P1，接口桥接器120经由第一接口I1耦接接收接口实体层110。传送接口实体层130经由第二接口I2耦接接口桥接器120。

需先说明的是，在图像处理芯片操作于第一模式下，图像处理芯片100可将未经图像处理的原始图像数据输出至其他芯片或其他电子元件。于是，当图像处理芯片100操作于第一模式时，接口桥接器120经由第一接口I1接收第一图像数据包P1。之后，接口桥接器120直接将第一图像数据包P1传输至传送接口实体层130。于本实施例中，由于对应于接收接口实体层110的接收器接口与对应于传送接口实体层130的传送接口分别与相异的其他芯片或电子元件相连，因此对应于接收接口实体层110的接收器接口与对应于传送接口实体层130的传送接口为不同的接口。此外，对应于接收接口实体层110的接收器接口与对应于传送接口实体层130的传送接口的数据传输速度可以相同或不同。也就是说，第一接口I1与第二接口I2的比特传输速率(bitrate)可能相同或不相同。

基此，接口桥接器120可对通过第一接口I1所接收的第一图像数据包P1进行缓存，以补偿第一接口I1的比特传输速率与第二接口I2的比特传输速率之间的差异。值得一提的是，于本实施例中，接口桥接器120并不会解封装第一图像数据包P1，也不会对第一图像数据包P1进行其他的数据处理。接着，接口桥接器120经由第二接口I2传输第一图像数据包P1至传送接口实体层130，致使传送接口实体层130输出第一图像数据包P1。如此，图像处理芯片100可将未经图像处理的原始图像数据输出至其他芯片或电子元件。相较于现有技术，本实施例的图像处理芯片100不仅可降低制造成本与节省电路板面积，更不会遭遇模拟电路设计中频宽与阻抗匹配随制程改变的问题。

图2是依据本发明一实施例所示出的图像处理系统的示意图。请参照图2，图像处理系统20包括图像处理芯片200、图像传感器300以及应用处理器400。图像处理系统20例如是由一移动电子装置内的多个电子元件而组成。上述移动电子装置例如是智能手机、平板电脑或数码相机等具有拍照功能的电子装置。需先说明的是，以下将以接口传输协定为移动产业处理器接口(Mobile Industry Processor Interface，简称MIPI)协定的为例进行说明，但本发明并不以此为限。

图像传感器300可包括镜头以及感光元件。感光元件例如是电荷耦合元件(Charge Coupled Device，简称CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，简称CMOS)元件或其他元件，图像传感器300还可包括光圈元件等，在此皆不设限。在本实施例中，图像传感器300具有图像获取功能且同样具有基于MIPI协定的传输接口，以将获取到的原始图像数据传送给图像处理芯片200。基此，图像传感器300依据MIPI协定输出第一图像数据包P1至图像处理芯片200。

应用处理器(Application Processor，简称AP)400用以操作各种功能与其周边设备如图像传感器、显示器或存储器等等。在本实施例中，应用处理器400通过已定义的MIPI协定以及MIPI接口与图像处理芯片200进行通信。应用处理器400可通过使用集成电路(Integrated Circuit，简称IC)或系统芯片(System On Chip，简称SoC)来实施，本发明对此不限制。在本实施例中，应用处理器400输出控制指令cmd至图像处理芯片200，以控制图像处理芯片200操作于第一模式或第二模式。

图像处理芯片200耦接于图像传感器300以及应用处理器400之间。当图像处理芯片200操作于第一模式时，图像处理芯片200可直接将图像传感器300所输出的原始图像数据直接传送给应用处理器400。另外，当图像处理芯片200操作于第二模式时，图像处理芯片200可输出对原始图像数据执行图像处理功能而产生的图像数据给应用处理器400。

进一步来说，在本实施例中，图像处理芯片200包括接收接口实体层210、接口桥接器220、传送接口实体层230、接收接口控制器240、图像处理模块250、传送接口控制器260、多路复用器270、缓冲存储器280、缓冲存储器290。接收接口实体层210、接口桥接器220以及传送接口实体层230的耦接关系与功能与图1所示的接收接口实体层110、接口桥接器120以及传送接口实体层130的耦接关系与功能相同或相似。接收接口实体层210依据MIPI协定接收第一图像数据包P1，而接口桥接器220经由第一接口I1耦接接收接口实体层210。传送接口实体层230经由第二接口I2耦接接口桥接器220。可以知道的是，当图像处理芯片200基于MIPI协定与图像传感器300以及应用处理器400进行沟通时，接收接口实体层210以及传送接口实体层230可以为MIPI D-PHY电路，而所述的MIPI D-PHY电路可包括一时脉通道(clocklane)与至少一数据通道(data lane)。

接收接口控制器240经由第一接口I1耦接接收接口实体层210，而传送接口控制器260经由第二接口I2耦接传送接口实体层230。可以知道的是，当图像处理芯片200基于MIPI协定与图像传感器300以及应用处理器400进行沟通时，接收接口控制器240与接收接口实体层210之间的第一接口I1为MIPI协定所定义的实体层协定接口(Physical Protocol Interface，简称PPI)。此外，传送接口控制器260与传送接口实体层230之间的第二接口I2也为MIPI协定所定义的PPI。

在本实施例中，当图像处理芯片200响应于控制指令cmd而操作于第一模式时，接口桥接器220经由第一接口I1接收的第一图像数据包P1。在本实施例中，接口桥接器220可包括缓冲存储器，上述缓冲存储器接收第一图像数据包P1以对第一图像数据包P1进行缓存，并以一先进先出(First in Firstout，简称FIFO)规则输出暂存于上述缓冲存储器的第一图像数据包P1。根据这样的特性，接口桥接器220便可以用来平衡相异接口的数据传输速率之间的差异，使得通过第一接口I1与第二接口I2传输的数据不会有错漏或其他问题的发生。

之后，接口桥接器220经由第二接口I2传输第一图像数据包P1至传送接口实体层230，致使传送接口实体层230输出第一图像数据包P1。值得一提的是，当图像处理芯片200响应于控制指令cmd而操作于第一模式时，由于图像数据流不需要经过接收接口控制器240、传送接口控制器260以及图像处理模块250，因此接收接口控制器240、传送接口控制器260以及图像处理模块250被禁能(disabled)。

具体来说，图像处理芯片200内的电力供应装置或外来电源可停止提供电力至接收接口控制器240、传送接口控制器260以及图像处理模块250。如此，当图像处理芯片200响应于控制指令cmd而操作于第一模式时，通过关闭接收接口控制器240、传送接口控制器260、图像处理模块250及其他相关电路模块的电力供应可大幅降低图像处理芯片200在第一模式下的功耗。

另一方面，图像处理模块250耦接于接收接口控制器240以及传送接口控制器260之间。缓冲存储器280与缓冲存储器290为线缓冲存储器，用以暂存图像数据。接收接口控制器240可依据MIPI协定解封装第一图像数据包P1，以将原始图像数据D1输出至缓冲存储器280进行缓存。缓冲存储器280耦接于接收接口控制器240与之间图像处理模块250，图像处理模块250例如可包括一或多个图像处理引擎与数据管线(data pipeline)，以对原始图像数据D1进行图像处理而产生经处理图像数据D2。图像处理模块250可将经处理图像数据D2传送至缓冲存储器290进行缓存，而缓冲存储器290再将经处理图像数据D2传送至传送接口控制器260。

详细来说，当图像处理芯片200响应于控制指令cmd而操作于第二模式时，接收接口控制器240从接收接口实体层210接收第一图像数据包P1并解封装第一图像数据包P1而获取原始图像数据D1。图像处理模块250对原始图像数据D1进行图像处理而产生经处理图像数据D2，而传送接口控制器260接收经处理图像数据D2并封装经处理图像数据D2而产生第二图像数据包P2，致使传送接口实体层230经由第二接口I2接收第二图像数据包P2以输出第二图像数据包P2至应用处理器400。

举例来说，图3是依据本发明一实施例所示出的图像数据包的包格式的示意图。请参照图3，MIPI协定所规范的图像数据包40包括包标头(PacketHeader，简称PH)410、有效数据(Payload data)420以及包标尾(Packet Footer，简称PF)430。因此，接收接口控制器240可依据MIPI协定所规范的包格式解封装第一图像数据包P1，并据以获取第一图像数据包P1中的有效数据，好让图像处理模块250可对原始图像数据D1进行图像处理。此外，包标头410包括包栏位410a、包栏位410b以及包栏位410c。包栏位410a存放图像数据包40的数据识别码(Data Identifier，简称DI)，包栏位410b存放图像数据包40的数据串总数(Word Count，简称WC)，包栏位410c存放图像数据包40的错误修正码(Error Correction Code，简称ECC)。相似的，传送接口控制器260可依据MIPI协定所规范的包格式封装经处理图像数据D2而产生至少一第二图像数据包P2。需说明的是，图3所示的范例与修改数据识别码仅为示范性说明，并非用以限定本发明。

需要特别说明的是，在本实施例中，基于MIPI协定的规范，为MIPI传送器中的PPI的第二接口I2属于信号交握(handshake)接口，因此多路复用器270经配置以选择将接口桥接器220或传送接口控制器260电性连结至传送接口实体层230。详细来说，多路复用器270包括第一输入端、第二输入端以及输出端。第一输入端耦接接口桥接器220，第二输入端耦接传送接口控制器260，而输出端耦接传送接口实体层230。当图像处理芯片200操作于第一模式，多路复用器270的输出端输出第一图像数据包P1。当图像处理芯片200操作于第二模式，多路复用器的输出端输出第二图像数据包P2。

综上所述，通过增设接口桥接器于接收接口实体层以及传送接口实体层之间，可在停止供应电力至图像处理模块、传输接口控制器与接收接口控制器的条件下将原始图像数据传送至后端芯片。如此，当图像处理芯片操作于第一模式，本发明可大幅降低图像处理芯片的功耗。除此之外，由于不需要在图像处理芯片外设置切换器，本发明的可有效降低芯片制作成本并节省电路面积。由于不需要在图像处理芯片内设置模拟的切换器，本发明不会遭遇模拟电路设计中频宽与阻抗匹配随制程改变的问题。对于接口传输协定为MIPI协定的实施例来说，第一接口与第二接口为MIPI协定所规范的PPI，因此本发明的接口桥接器与各家厂商所出产的MIPI D-PHY之间的相容性高。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种图像处理芯片，其特征在于，包括：

接收接口实体层，依据接口传输协定接收至少一第一图像数据包；

接口桥接器，经由第一接口耦接所述接收接口实体层；以及

传送接口实体层，经由第二接口耦接所述接口桥接器，

其中，当操作于第一模式，所述接口桥接器经由所述第一接口接收的所述第一图像数据包，所述接口桥接器将所述第一图像数据包经由所述第二接口传输至所述传送接口实体层，致使所述传送接口实体层输出所述第一图像数据包。

2.根据权利要求1所述的图像处理芯片，其特征在于，还包括：

接收接口控制器，经由所述第一接口耦接所述接收接口实体层；

传送接口控制器，经由所述第二接口耦接所述传送接口实体层；以及

图像处理模块，耦接于所述接收接口控制器以及所述传送接口控制器之间，

其中，当操作于第二模式，所述接收接口控制器从所述接收接口实体层接收所述第一图像数据包并解封装所述第一图像数据包而获取原始图像数据，所述图像处理模块对所述原始图像数据进行图像处理而产生经处理图像数据，所述传送接口控制器接收所述经处理图像数据并封装所述经处理图像数据而产生至少一第二图像数据包，致使所述传送接口实体层经由所述第二接口接收所述第二图像数据包以输出所述第二图像数据包。

3.根据权利要求2所述的图像处理芯片，其特征在于，还包括：

多路复用器，包括第一输入端、第二输入端以及输出端，其中所述第一输入端耦接所述接口桥接器，所述第二输入端耦接所述传送接口控制器，所述输出端耦接所述传送接口实体层，

其中，当操作于所述第一模式，所述多路复用器的所述输出端输出所述第一图像数据包，当操作于所述第二模式，所述多路复用器的所述输出端输出所述第二图像数据包。

4.根据权利要求1所述的图像处理芯片，其特征在于，当操作于所述第一模式，所述接收接口控制器、所述传送接口控制器以及所述图像处理模块被禁能。

5.根据权利要求1所述的图像处理芯片，其特征在于，所述接口传输协定为移动产业处理器接口MIPI协定。

6.根据权利要求5所述的图像处理芯片，其特征在于，所述第一接口与所述第二接口为实体层协定接口PPI。

7.根据权利要求1所述的图像处理芯片，其特征在于，所述接口桥接器包括缓冲存储器，所述缓冲存储器接收所述第一图像数据包，并以先进先出规则输出暂存于所述缓冲存储器的所述第一图像数据包。

8.一种图像处理系统，其特征在于，包括：

图像传感器，依据接口传输协定输出至少一第一图像数据包；

应用处理器，输出控制指令；以及

图像处理芯片，耦接于所述图像传感器与所述应用处理器之间，所述图像处理芯片包括：

接收接口实体层，依据所述接口传输协定接收所述第一图像数据包；

接口桥接器，经由第一接口耦接所述接收接口实体层；以及

传送接口实体层，经由第二接口耦接所述接口桥接器，其中当所述图像处理芯片响应于所述控制指令操作于第一模式，所述接口桥接器经由所述第一接口接收的所述第一图像数据包，所述接口桥接器将所述第一图像数据包经由所述第二接口传输至所述传送接口实体层，致使所述传送接口实体层输出所述第一图像数据包。

9.根据权利要求8所述的图像处理系统，其特征在于，所述图像处理芯片还包括：

接收接口控制器，经由所述第一接口耦接所述接收接口实体层；

传送接口控制器，经由所述第二接口耦接所述传送接口实体层；以及

图像处理模块，耦接于所述接收接口控制器以及所述传送接口控制器之间，其中当所述图像处理芯片响应于所述控制指令而操作于第二模式，所述接收接口控制器从所述接收接口实体层接收所述第一图像数据包并解封装所述第一图像数据包而获取原始图像数据，所述图像处理模块对所述原始图像数据进行图像处理而产生经处理图像数据，所述传送接口控制器接收所述经处理图像数据并封装所述经处理图像数据而产生至少一第二图像数据包，致使所述传送接口实体层经由所述第二接口接收所述第二图像数据包以输出所述第二图像数据包。

10.根据权利要求8所述的图像处理系统，其特征在于，所述图像处理芯片还包括：

多路复用器，包括第一输入端、第二输入端以及输出端，其中所述第一输入端耦接所述接口桥接器，所述第二输入端耦接所述传送接口控制器，所述输出端耦接所述传送接口实体层，

其中，当所述图像处理芯片响应于所述控制指令操作于所述第一模式，所述多路复用器的所述输出端输出所述第一图像数据包，当操作于所述第二模式，所述多路复用器的所述输出端输出所述第二图像数据包。