CN111164670B - 低功率和低数据速率成像仪 - Google Patents

Abstract

提供一种用于低功率和低数据速率应用的成像系统。所述成像系统包括：像素阵列，所述像素阵列具有多个光敏元件（像素），其被划分成光敏元件的多个群组（超级像素）。一种图像处理器可操作地连接到像素阵列并且被配置成选择性地用以下任一个来操作光敏元件的每个群组：（i）高分辨率模式，其中像素阵列输出与光敏元件的相应群组中的所有光敏元件相对应的读出电压，或（ii）低分辨率模式，其中像素阵列输出仅仅与光敏元件的相应群组中的光敏元件的子集相对应的读出电压。用高分辨率模式来操作与每个图像帧中的所检测的运动相对应的光敏元件的群组，而用低分辨率模式来操作光敏元件的其余群组。

Description

低功率和低数据速率成像仪

本申请要求于2017年8月10日提交的序列号为62/543,646的美国临时申请、以及于2017年8月18日提交的序列号为62/547,297的美国临时申请的优先权权益，这二者的公开内容通过引用以其全部被并入本文中。

技术领域

本文档中所公开的设备和方法涉及成像系统，并且更具体地涉及一种实现低功率和低数据速率而不损失重要信息的成像系统。

背景技术

除非在本文中另行指示，否则在本章节中所描述的材料不是对于本申请中的权利要求的现有技术，并且不通过被包括在本章节中而被承认为是现有技术。

许多图像处理算法依赖于背景减法来标识移动的对象。在这样的算法中，首先生成背景模型，所述背景模型然后用于标识对象。因为背景模型由于对象的改变、诸如光照条件中的改变、诸如椅子之类的对象的移动等等而改变，所以必须时常地更新背景模型。许多图像处理算法对小块像素阵列起作用，如与作用于每单个像素相对。也就是说，代替于将每个像素标注为对象或背景，一些算法聚焦于小区以标识在该区中是否存在对象。这样的小区被称为“超级像素”，并且图像传感器像素阵列的设计也基于这样的超级像素。一般在现今的市场中存在具有对数据的芯片上或像素中处理的成像仪。然而，具有芯片上或像素中处理的这些成像仪中没有一个使得能够从像素阵列仅仅读出相关数据，以尝试减小数据速率以及还有功耗。

发明内容

公开了一种成像系统。所述成像系统包括：像素阵列，所述像素阵列具有多个光敏元件，其以栅格构造被布置并且被划分成光敏元件的多个群组，在所述栅格构造中，光敏元件的每个群组中的光敏元件与彼此相邻，所述像素阵列被配置成在所述多个光敏元件中的单独的光敏元件处输出与光强度成比例的读出电压；模拟至数字转换器，其可操作地连接到像素阵列以接收读出电压，并且将读出电压转换成经数字化的光强度值；以及至少一个处理器，其可操作地连接到像素阵列以及模拟至数字转换器，所述至少一个处理器被配置成选择性地用以下之一来操作光敏元件的所述多个群组中的光敏元件的每个群组：（i）高分辨率模式，其中像素阵列输出与光敏元件的相应群组中的所有光敏元件相对应的读出电压，以及（ii）低分辨率模式，其中像素阵列输出仅仅与光敏元件的相应群组中的光敏元件的子集相对应的读出电压，其中光敏元件的所述多个群组中的光敏元件的群组可由所述至少一个处理器在不同的时间用所述高分辨率模式和低分辨率模式二者来操作。

在一个实施例中，所述至少一个处理器被配置成：从模拟至数字转换器接收图像帧，所述图像帧包括与光敏元件的所述多个群组中的光敏元件的每个群组中的至少一些光敏元件相对应的经数字化的光强度值；以及取决于所述图像帧的经数字化的光强度值，选择性地在不同的时间用高分辨率模式和低分辨率模式来操作光敏元件的所述多个群组中的光敏元件的每个群组。

在一个实施例中，所述至少一个处理器被配置成：取决于图像帧中与光敏元件的第一群组中的光敏元件相对应的经数字化的光强度值，用低分辨率模式来操作光敏元件的所述多个群组中的光敏元件的第一群组；以及取决于图像帧中与光敏元件的第二群组中的光敏元件相对应的经数字化的光强度值，用高分辨率模式来操作光敏元件的所述多个群组中的光敏元件的第二群组。

在一个实施例中，所述至少一个处理器被配置成对于光敏元件的所述多个群组中的光敏元件的每个群组：基于图像帧中与光敏元件的相应群组中的光敏元件相对应的经数字化的光强度值，检测在与光敏元件的相应群组相对应的图像帧的相应一部分中是否存在任何移动对象；响应于在与光敏元件的相应群组相对应的图像帧的相应部分中没有检测到移动对象，用低分辨率模式来操作光敏元件的相应群组；以及响应于在与光敏元件的相应群组相对应的图像帧的相应部分中检测到移动对象，用高分辨率模式来操作光敏元件的相应群组。

在一个实施例中，所述至少一个处理器被配置成对于光敏元件的所述多个群组中的光敏元件的每个群组而比较与光敏元件的相应群组相对应的图像帧的相应部分与参考背景图像帧的对应一部分，以检测在图像帧的相应部分中是否存在任何移动对象。

在一个实施例中，所述至少一个处理器被配置成通过从所接收的图像帧中减去参考背景图像帧而生成中间图像帧，所述中间图像帧包括光强度差值。

在一个实施例中，所述至少一个处理器被配置成对于光敏元件的所述多个群组中的光敏元件的每个群组：响应于与光敏元件的相应群组相对应的中间图像帧的相应一部分的每个光强度差值的绝对值小于预定的阈值差值，用低分辨率模式来操作光敏元件的相应群组；以及响应于与光敏元件的相应群组相对应的中间图像帧的相应一部分的任何光强度差值的绝对值大于预定的阈值差值，用高分辨率模式来操作光敏元件的相应群组。

在一个实施例中，所述至少一个处理器被配置成：基于图像帧的经数字化的光强度值来检测图像帧中的光照条件的改变；以及利用取决于光照条件中的改变的经调节的曝光时间来操作像素阵列。

在一个实施例中，所述至少一个处理器被配置成：基于所述中间图像帧来标识待更新的参考背景图像帧的至少一个部分，所述至少一个部分对应于光敏元件的所述多个群组中的光敏元件的至少一个群组；以及基于图像帧的至少一个对应的部分来更新参考背景图像帧的所述至少一个部分。

在一个实施例中，光敏元件的所述多个群组中的光敏元件的每个群组包括以栅格构造内的常见构造而被布置的常见数目的光敏元件，并且对于用低分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，像素阵列为其输出读出电压的光敏元件的子集对应于常见构造内的光敏元件的所限定的图案。

在一个实施例中，常见构造内的光敏元件的所限定的图案可由所述至少一个处理器调节。

在一个实施例中，所述至少一个处理器被配置成：对于用低分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，控制所述模拟至数字转换器以利用比模拟至数字转换器的最大位深度小的第一位深度来转换与光敏元件的相应群组中的光敏元件的相应子集相对应的读出电压；以及对于用高分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，控制所述模拟至数字转换器以利用模拟至数字转换器的最大位深度来转换与光敏元件的相应群组中的所有光敏元件相对应的读出电压。

在一个实施例中，所述第一位深度可由所述至少一个处理器调节。

在一个实施例中，所述至少一个处理器被配置成：对于用低分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，控制所述像素阵列和模拟至数字转换器以利用小于最大更新速率的第一更新速率来更新并且转换与光敏元件的相应群组中的光敏元件的子集相对应的读出电压；以及对于用高分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，控制所述像素阵列和模拟至数字转换器以利用最大更新速率来更新并且转换与光敏元件的相应群组中的所有光敏元件相对应的读出电压。

在一个实施例中，所述第一更新速率可由所述至少一个处理器调节。

附图说明

在结合附图而被理解的以下描述中解释成像系统的前述方面和其它特征。

图1示出了成像系统的示例性实施例。

图2示出了图1的成像系统的示例性组件。

图3示出了像素阵列的单独的传感器元件的布置的示例性详细视图。

图4A示出了以低分辨率模式的像素阵列的超级像素的操作。

图4B示出了以高分辨率模式的像素阵列的超级像素的操作。

具体实施方式

为了促进理解本公开内容的原理，现在将对在附图中所图示的以及在以下撰写的说明书中所描述的实施例进行参考。理解到，从而不意图对公开内容范围的任何限制。此外理解到，本公开内容包括对所说明的实施例的任何变更和修改，并且包括如本公开内容所关于的领域中的技术人员通常将想到的本公开内容原理的另外的应用。

参考图1-2，示出了成像系统10的示例性实施例。如图1中所示，成像系统100至少包括像素阵列110（其在本文中还可以被称为“传感器阵列”）。像素阵列110被配置成随时间而捕获场景20的多个图像帧。将领会到，在像素阵列120的给定定位和定向下，像素阵列110具有受限的视场30使得由像素阵列110捕获的图像包括场景20的仅一部分。场景20包括现实世界环境，并且因而可以在其中包含各种对象或结构。通常，场景20包括静态或大多数静态的对象或结构40（例如建筑物、树、墙壁、家具等等），其构成场景20的背景环境。相比之下，场景还可以包括移动对象50（例如人、动物、汽车等等），其可以随着时间而移动进或移动出像素阵列110的视场30。例如，移动对象50可以沿着路径60而移动通过场景20。如所图示的，移动对象50已经移动到像素阵列110的视场30中。然而，将领会到，在静态对象40与移动对象50之间的差别是动态的，并且仅仅用于说明性目的。在一些情况中，移动对象50当它在视场30中的时候可以移动、保持运动。在其它情况中，移动对象50可以在一段时间内停止移动，并且变成静态的（诸如一人，其移动到视场30中并且坐下）。类似地，静态的背景对象40可以从一个地方移动到另一地方（诸如一椅子，其从一个位置移动到另一位置）。如以下更详细地讨论的，成像系统100被有利地设计成以这样的方式取决于在像素阵列110的视场30的不同部分内是否存在运动（例如移动对象50）来利用可调节的分辨率、帧率和/或位深度操作像素阵列110，以便最小化成像系统100的功耗而同时不损失任何重要的视觉信息。

图2示出了成像系统100的一个实施例的示例性组件。具体地，除了像素阵列110之外，成像系统100此外包括读出电路120、图像处理器130和数字控制器140。如以下更详细地讨论的，读出电路120使由像素阵列110捕获的图像帧数字化，由图像处理器130处理所述图像帧以检测图像帧中的对象。数字控制器140取决于在图像帧中是否检测到对象来控制成像系统100的各种操作参数，并且还可以使像素阵列110、读出电路120和图像处理器130同步。

像素阵列110包括在本文中被称为“像素”112的多个单独的光电二极管或其它合适的光敏元件，其以栅格构造或其它合适的构型来被布置，各自对应于由像素阵列110捕获的图像帧的像素。每个像素112被配置成检测、测量和/或记录入射在相应的像素112上的光线的强度。

在图2的图示中，为了简单，仅仅图示了单独像素112的4×4阵列。然而，在实践中，通常使用某个任意大小的较大阵列。图3示出了像素阵列110的单独像素112的布置的示例性详细视图。具体地，在所图示的实施例中，用32×32的栅格构造来布置多个像素112。单独像素112的阵列被划分成“超级像素”114（其在本文中还可以被称为“铺块（tile）”）的4×4阵列，所述“超级像素”114各自包括单独像素112的8×8阵列。将领会到，像素阵列110可以包括单独像素112的任何任意的A×B阵列。类似地，单独像素112的阵列可以被划分成超级像素的任意C×D阵列，所述超级像素各自包括单独像素112的任意E×F阵列。然而，在至少一个实施例中，每个超级像素114包括相同数目和布置的单独像素112。

像素阵列110的每个超级像素114被配置成至少在高分辨率模式和低分辨率模式下操作。在低分辨率模式下，仅仅读出超级像素114的单独像素112的子集。然而在高分辨率模式下，读出超级像素114的所有单独像素112。图4A示出了在低分辨率模式下的超级像素114的操作，其中仅仅读出单独像素112'中的四个（在图中利用对角阴影来被图示）。相比之下，图4B示出了在高分辨率模式下的超级像素114的操作，其中读出所有像素112'。

返回到图2，在一个实施例中，像素阵列110包括行选择116和列读出118，其协同工作以从像素阵列110中的单独像素112读出光强度值。具体地，每个像素112相关联于一个或多个晶体管（未被示出），所述一个或多个晶体管（未被示出）被配置成选择性地将相应的像素112连接到对应的竖直列总线。在一个实施例中，每个像素112相关联于以所谓的“4T像素”构型的四个晶体管。行选择116可操作地连接到与每个像素112相关联的一个或多个晶体管，并且被配置成操作晶体管以选择性地将单独像素112和/或像素112的特定水平行连接到对应的竖直列总线。在至少一些实施例中，行选择116此外被配置成在将单独像素112和/或像素112的特定水平行连接到竖直列总线之前操作所述一个或多个晶体管以重置它们，从而限定和/或设置积分时间（其在本文中还可以被称为“曝光时间”）。在至少一些实施例中，行选择116此外被配置成在读出操作期间将来自像素112的所收集的电荷传递到竖直列总线。

列读出118被配置成从被连接到竖直列总线的单独像素112和/或像素112的特定水平行读出光强度值。具体地，列读出118被配置成提供读出电压，所述读出电压与在积分时间和/或曝光时间期间、由被连接到对应的竖直列总线的每个相应的光电二极管所收集的光子的量成比例。列读出118可以包括放大器、电容器、晶体管、多路复用器等等的任何合适的布置，用于提供读出电压。在一些实施例中，列读出118包括读出放大器电路（未被示出），所述读出放大器电路（未被示出）被连接到每个竖直列总线，并且被配置成将相应的光电二极管处的电荷积聚和/或电流转换成对应的读出电压。在其它实施例中，与每个像素112相关联的所述一个或多个晶体管被配置成执行电荷至电压和/或电流至电压转换，并且读出电压被直接提供到竖直列总线。

读出电路120可操作地连接到列读出118以接收与所读出的像素112的光强度值相对应的读出电压。读出电路120包括一个或多个模拟至数字转换器，所述一个或多个模拟至数字转换器被配置成将所读出的像素112的读出电压转换成经数字化的光强度值。将领会到，在一些实施例中，模拟至数字转换可以可替换地由与列读出118相集成的模拟至数字转换器来执行。这样，读出电路120本身可以是像素阵列110的组件，并且直接与列读出118相集成。读出电路120被配置成向图像处理器130提供与每个所捕获的图像帧相对应的经数字化的光强度值。

数字控制器140可操作地连接到行选择116和列读出118，并且被配置成控制像素阵列110的哪些像素112被读出。数字控制器140具有至少一个处理器142，至少一个处理器142可操作地连接到存储程序指令144的数字控制器140的存储器，并且被配置成执行程序指令144以至少使能实现对像素阵列110的哪些像素112被读出的所述控制。在至少一个实施例中，数字控制器140此外包括附加的存储器，诸如用于存储操作数据的SRAM（静态随机存取存储器）146。本领域普通技术人员将认识到：如本文中所使用的“处理器”包括处理数据、信号和/或其它信息的任何硬件系统、硬件机制或硬件组件。处理器可以包括一种系统，所述系统具有中央处理单元、多个处理单元、专用集成电路、可编程逻辑设备、用于实现功能性的专用电路和/或其它系统。同样地，本文中所讨论的存储器可以是能够存储可由处理器访问的信息的任何类型的设备，诸如记忆卡、ROM、RAM、硬驱动器、盘、闪速存储器，或用作数据存储设备的任何各种其它计算机可读介质，如本领域普通技术人员将认识到的。

数字控制器140被配置成响应于来自图像处理器130的命令、用高分辨率模式或低分辨率模式来操作像素阵列110的每个超级像素114。具体地，响应于来自图像处理器130的针对将用高分辨率模式来操作特定的超级像素114的命令，数字控制器140被配置成控制行选择116和列读出118用于为特定的超级像素114中的每个像素112更新和/或采样光强度值。类似地，响应于来自图像处理器130的针对将用低分辨率模式来操作特定的超级像素114的命令，数字控制器140被配置成控制行选择116和列读出118以仅仅为特定的超级像素114中的像素112的所限定的子集更新和/或采样光强度值。

通过可调节的读出图案来限定当用低分辨率模式操作特定的超级像素114的时候被更新的像素112的特定子集。在图4A的示例中，在低分辨率模式下所使用的特定的读出图案包括在超级像素114内的位置(2,2)、(2,6)、(6,2)和(6,6)处的像素112'。然而，将领会到，该读出图案仅仅是示例性的，并且在低分辨率模式下可以读取像素112'的任何合适的子集。在一个实施例中，处理器142被配置成在SRAM 146上存储信息，所述信息限定将在低分辨率模式下使用的读出图案。在至少一个实施例中，处理器142被配置成从图像处理器130接收命令，所述命令限定将使用的读出图案。在一些实施例中，数字控制器140被配置成用附加的分辨率模式来操作像素阵列110的超级像素114，所述附加的分辨率模式诸如具有一读出图案的中间分辨率模式，在所述读出图案中，所读出的像素112'的子集大于在低分辨率模式下的，但是不包括如在高分辨率模式下的所有像素112。

返回到图3，在图示的示例中，在低分辨率模式下操作像素阵列110的所有超级像素114，其中具有图4A的相同的四像素读出图案。因此，在该示例中，当在低分辨率模式下操作的时候，由像素阵列110捕获的每个图像帧的有效更新分辨率是8×8，其从当所有超级像素114在高分辨率模式下操作的时候由像素阵列110捕获的图像帧的全32×32分辨率显著减小。如以上所提及的，超级像素114中的每一个可以独立地在至少低分辨率模式或高分辨率模式下被操作。作为结果，在一些实例中，可以操作像素阵列110，使得仅仅某些超级像素114在高分辨率模式下被操作，而其它超级像素在低分辨率模式下被操作。作为结果，取决于在低分辨率模式或高分辨率模式下操作哪些超级像素，在每个图像帧中更新的像素的数目动态地减小。

在至少一个实施例中，读出电路120被配置成以可调节的更新速率和/或帧率来对与每个像素112的光强度值相对应的读出电压进行采样，并且利用可调节的位深度来生成经数字化的光强度值。在一个实施例中，读出电路120被配置成响应于从数字控制器140和/或图像处理器130接收的、指示将被使用的特定更新速率和/或帧率的命令而利用特定的更新速率和/或帧率来生成经数字化的光强度值和/或图像帧。在一个实施例中，读出电路120被配置成响应于从数字控制器140和/或图像处理器130接收的、指示将被使用的特定位深度的命令而利用特定的位深度来生成经数字化的光强度值和/或图像帧。

在至少一个实施例中，数字控制器140从图像处理器130接收命令，所述命令指示将用于在低分辨率模式下被操作的超级像素114的减小的帧率和/或位深度。在一个实施例中，在SRAM 146上存储与将在低分辨率模式下被使用的减小的帧率和/或位深度相关的信息。如果将在高分辨率模式下操作特定的超级像素114，则数字控制器140命令读出电路120利用最大帧率和最大位深度来生成与特定的超级像素114的像素112相对应的经数字化的光强度值。相比之下，如果将在低分辨率模式下操作特定的超级像素114，则数字控制器140命令读出电路120利用减小的帧率和/或减小的位深度来生成与特定的超级像素114的像素112相对应的经数字化的光强度值。这样，取决于在低分辨率模式或高分辨率模式下操作哪些超级像素114，必须由读出电路120执行的模拟至数字转换的量动态地减小。

图像处理器130被配置成从读出电路120接收经数字化的光强度值和/或图像帧。图像处理器130具有至少一个处理器132，至少一个处理器132可操作地连接到存储程序指令134的图像处理器130的存储器，并且被配置成执行程序指令134以使能实现图像处理器130的一个或多个特征，至少包括在所接收的图像帧中检测移动对象。在至少一个实施例中，图像处理器130此外包括附加的存储器，诸如用于存储操作数据的SRAM（静态随机存取存储器）136。本领域普通技术人员将认识到：如本文中所使用的“处理器”包括处理数据、信号和/或其它信息的任何硬件系统、硬件机制或硬件组件。处理器可以包括一种系统，所述系统具有中央处理单元、多个处理单元、专用集成电路、可编程逻辑设备、用于实现功能性的专用电路和/或其它系统。同样地，本文中所讨论的存储器可以是能够存储可由处理器访问的信息的任何类型的设备，诸如记忆卡、ROM、RAM、硬驱动器、盘、闪速存储器，或用作数据存储设备的任何各种其它计算机可读介质，如本领域普通技术人员将认识到的。

程序指令134包括与背景移除模块138相对应的指令。具体地，处理器132被配置成从读出电路120接收多个图像帧和/或其经数字化的光强度值。对于每个图像帧，处理器132被配置成检测存在于相应的图像帧中的移动对象（例如图1的移动对象50）。具体地，在至少一个实施例中，处理器132被配置成检测在相应的图像帧的每个单独的超级像素114中是否存在移动对象。处理器132被配置成在SRAM 136中存储与在图像帧中和/或每个超级像素114中的所检测的对象相关的信息。

处理器132被配置成执行背景移除模块138的程序指令，以确定应当用低分辨率模式还是高分辨率模式来操作像素阵列110中的每个超级像素114。处理器132被配置成向数字控制器140告知哪些超级像素114将在低分辨率模式或高分辨率模式下被操作。响应于确定了在特定的超级像素114中存在移动对象，处理器132被配置成确定将在高分辨率模式下操作相应的超级像素114。否则，响应于确定了在特定的超级像素114中不存在移动对象，处理器132被配置成确定将在低分辨率模式下操作相应的超级像素114。这样，在其中具有所检测到的移动对象的超级像素114在高分辨率模式下被操作，而每个其它超级像素在低分辨率模式下被操作。

在至少一个实施例中，为了在当前的图像帧中检测移动对象，处理器132被配置成比较当前的图像帧与被存储在SRAM 136中的参考背景图像帧和/或背景模型。在一些实施例中，处理器132被配置成通过从当前图像帧中减去参考背景图像帧来计算具有多个光强度差值的中间图像帧。作为结果，同具有与背景图像帧的光强度值相同或基本上类似的光强度值的当前图像帧的像素相对应的中间图像帧的像素具有非常小的值或零值。然而，同具有与背景图像帧的光强度值不同的光强度值的当前图像帧的像素相对应的中间图像帧的像素具有较大的非零值。具有较大非零值的中间图像帧的部分对应于存在于当前图像帧中、不存在于背景图像帧中的对象。因而，中间图像帧的这些部分可以被合理地假定成包括移动对象，诸如图1的移动对象50。

对于每个超级像素114，如果中间图像帧的对应像素包括与移动对象相对应的较大非零值，那么处理器132被配置成确定将在高分辨率模式下操作相应的超级像素114。否则，如果中间帧的对应的像素仅仅包括与背景环境相对应的非常小的值或零值，那么处理器132被配置成确定将在低分辨率模式下操作相应的超级像素114。在至少一个实施例中，对于每个超级像素114，处理器132被配置成响应于中间帧中的任何对应像素具有超过预定阈值差值的绝对值而确定将在高分辨率模式下操作相应的超级像素114。否则，处理器132被配置成响应于中间帧中没有任何对应像素具有超过预定阈值差值的绝对值而确定将在低分辨率模式下操作相应的超级像素114。

在至少一个实施例中，程序指令134包括与学习模块139相对应的指令。具体地，处理器132被配置成在需要时对背景图像帧进行学习并且随时间而更新它。在一个实施例中，背景图像帧可以在设置阶段期间被初始地学习并且在需要时被更新。在一个实施例中，处理器132被配置成在超级像素的基础上更新背景图像帧。在一个实施例中，响应于中间图像帧的像素对应于针对预定数目的图像帧和/或针对预定的持续时间而具有一致和稳定的非零值的相应超级像素，处理器132被配置成利用当前图像帧的当前值来更新背景图像帧的该超级像素。这可发生在例如如果背景对象40之一（例如椅子）被移动到场景20的稍微不同的位置并且被部分永久地留在新位置处的情况下。当特定的超级像素114被更新的时候，针对至少一个帧而在高分辨率模式下操作超级像素114，并且以高分辨率来更新背景图像帧。在更新背景图像帧之后，处理器132被配置成将经更新的背景图像帧存储在SRAM 136中。在一些实施例中，处理器132执行学习模块139的指令以确定移动对象的身份或类型，并且将与身份或类型相关的信息存储在SRAM 136中。

在一些实施例中，处理器132被配置成执行背景移除模块138和/或学习模块139的指令，以最小化由于光照条件中的改变所致的对于更新背景图像帧和/或背景模型的需要。具体地，场景20中的光照条件中的显著改变一般将触发由于在所接收的图像帧中的光强度值中的显著改变所致的背景图像帧的更新。数字控制器140被配置成命令像素阵列110在可调节的积分时间或曝光时间的情况下操作。在至少一个实施例中，处理器132被配置成命令数字控制器140响应于在当前图像帧中检测到光照改变而调节积分时间或曝光时间。具体地，如果场景20变得更亮，那么处理器132被配置成命令数字控制器140减小积分时间或曝光时间。相比之下，如果场景20变得更暗，那么处理器132被配置成命令数字控制器140增大积分时间或曝光时间。在至少一个实施例中，处理器132被配置成响应于当前图像帧的所有像素或预定百分比的像素按粗略相同的百分比不同于背景图像帧而检测光照改变。这样，光照条件中的改变可以被补偿，而无需更新背景图像帧。对积分时间或曝光时间的调节一般将导致对于背景图像帧的不太频繁的更新和附加的功率节省。

以上描述对图像处理器130和数字控制器140的各种特征进行了描述。将领会到，在一些实施例中，关于图像处理器130和数字控制器140的处理器132和142和/或图像处理器130和数字控制器140的程序指令134和144所描述的功能可以由单个处理设备来执行。类似地，在一些实施例中，关于图像处理器130的程序指令134和/或处理器132所描述的特征可以由数字控制器140的程序指令144和/或处理器142来执行。同样地，在一些实施例中，关于数字控制器140的程序指令144和/或处理器142所描述的特征可以由图像处理器130的程序指令134和/或处理器132来执行。

数字控制器140和图像处理器130以及与其相关联的程序指令在用于像素阵列的常规控制器之上有所改进，因为它们使得能够取决于在相应的超级像素114中存在移动对象而动态地调节单独的每个超级像素114的分辨率、更新/刷新速率和位深度。通过这样做，少得多的数据被读出、转换并且处理，从而减小成像100的功耗。然而，因为仍存在在低分辨率模式下读出的所选像素，所以处理器32仍能够检测在低分辨率模式下被操作的超级像素114中是否出现了移动对象。因而，在不损失重要信息的情况下实现能量节省。

虽然已经在附图和前述描述中详细地图示和描述了本公开内容，但是本公开内容应当被视为是说明性的而不是在特征方面是限制性的。理解到，已经呈现了仅仅优选的实施例，并且在本公开内容的精神内的所有改变、修改和另外的应用都期望得到保护。

在本公开内容的范围内的实施例还可以包括非暂时性计算机可读存储介质或机器可读介质，其用于承载或具有被存储在其上的计算机可执行指令或数据结构。这样的非暂时性计算机可读存储介质或机器可读介质可以是能被通用或专用计算机访问的任何可用介质。作为示例而不是限制，这样的非暂时性计算机可读存储介质或机器可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储设备，或能够用于以计算机可执行指令或数据结构的形式承载或存储所期望的程序代码构件的任何其它介质。上述的组合也应被包括在非暂时性计算机可读存储介质或机器可读介质的范围内。

还可以在分布式计算环境中实践实施例，其中由通过通信网络（要么通过硬连线的链接、无线链接，要么通过其组合）来被链接的本地和远程处理设备来执行任务。

计算机可执行的程序指令包括例如指令和数据，其使得通用计算机、专用计算机或专用处理设备执行特定功能或功能组。计算机可执行的指令还包括程序模块，所述程序模块由独立或网络环境中的计算机来执行。通常，程序模块包括例程、程序、对象、组件和数据结构等等，其执行特定的任务或实现特定的抽象数据类型。计算机可执行的指令、相关联的数据结构以及程序模块表示用于执行本文中所公开的方法步骤和特征的程序代码构件的示例。这样的可执行指令的特定序列或相关联的数据结构表示用于实现在这样的步骤中所述的功能的对应动作的示例。

Claims (14)

1.一种成像系统，包括：

像素阵列，所述像素阵列具有多个光敏元件，其以栅格构造被布置并且被划分成光敏元件的多个群组，在所述栅格构造中，光敏元件的每个群组中的光敏元件与彼此相邻，所述像素阵列被配置成在所述多个光敏元件中的单独的光敏元件处输出与光强度成比例的读出电压；

模拟至数字转换器，其可操作地连接到像素阵列以接收读出电压，并且将读出电压转换成经数字化的光强度值；以及

至少一个处理器，其可操作地连接到像素阵列以及模拟至数字转换器，所述至少一个处理器被配置成选择性地用以下之一来操作光敏元件的所述多个群组中的光敏元件的每个群组：(i)高分辨率模式，其中像素阵列输出与光敏元件的相应群组中的所有光敏元件相对应的读出电压，以及(ii)低分辨率模式，其中像素阵列输出仅仅与光敏元件的相应群组中的光敏元件的子集相对应的读出电压，

其中光敏元件的所述多个群组中的光敏元件的每个群组可由所述至少一个处理器在不同的时间用所述高分辨率模式和低分辨率模式二者来操作，

其中所述至少一个处理器被配置成：

对于用低分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，控制所述模拟至数字转换器以利用比模拟至数字转换器的最大位深度小的第一位深度来转换与光敏元件的相应群组中的光敏元件的相应子集相对应的读出电压；以及

对于用高分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，控制所述模拟至数字转换器以利用模拟至数字转换器的最大位深度来转换与光敏元件的相应群组中的所有光敏元件相对应的读出电压。

2.根据权利要求1所述的成像系统，所述至少一个处理器被配置成：

从模拟至数字转换器接收图像帧，所述图像帧包括与光敏元件的所述多个群组中的光敏元件的每个群组中的至少一些光敏元件相对应的经数字化的光强度值；以及

取决于所述图像帧的经数字化的光强度值，选择性地在不同的时间用高分辨率模式和低分辨率模式来操作光敏元件的所述多个群组中的光敏元件的每个群组。

3.根据权利要求2所述的成像系统，所述至少一个处理器被配置成：

取决于图像帧中与光敏元件的第一群组中的光敏元件相对应的经数字化的光强度值，用低分辨率模式来操作光敏元件的所述多个群组中的光敏元件的第一群组；以及

取决于图像帧中与光敏元件的第二群组中的光敏元件相对应的经数字化的光强度值，用高分辨率模式来操作光敏元件的所述多个群组中的光敏元件的第二群组。

4.根据权利要求2所述的成像系统，所述至少一个处理器被配置成对于光敏元件的所述多个群组中的光敏元件的每个群组：

基于图像帧中与光敏元件的相应群组中的光敏元件相对应的经数字化的光强度值，检测在与光敏元件的相应群组相对应的图像帧的相应一部分中是否存在任何移动对象；

响应于在与光敏元件的相应群组相对应的图像帧的相应部分中没有检测到移动对象，用低分辨率模式来操作光敏元件的相应群组；以及

响应于在与光敏元件的相应群组相对应的图像帧的相应部分中检测到移动对象，用高分辨率模式来操作光敏元件的相应群组。

5.根据权利要求4所述的成像系统，所述至少一个处理器被配置成对于光敏元件的所述多个群组中的光敏元件的每个群组：

比较与光敏元件的相应群组相对应的图像帧的相应部分与参考背景图像帧的对应一部分，以检测在图像帧的相应部分中是否存在任何移动对象。

6.根据权利要求5所述的成像系统，所述至少一个处理器被配置成：

通过从所接收的图像帧中减去参考背景图像帧而生成中间图像帧，所述中间图像帧包括光强度差值。

7.根据权利要求6所述的成像系统，所述至少一个处理器被配置成对于光敏元件的所述多个群组中的光敏元件的每个群组：

响应于与光敏元件的相应群组相对应的中间图像帧的相应一部分的每个光强度差值的绝对值小于预定的阈值差值，用低分辨率模式来操作光敏元件的相应群组；以及

响应于与光敏元件的相应群组相对应的中间图像帧的相应一部分的任何光强度差值的绝对值大于预定的阈值差值，用高分辨率模式来操作光敏元件的相应群组。

8.根据权利要求5所述的成像系统，所述至少一个处理器被配置成：

基于图像帧的经数字化的光强度值来检测图像帧中的光照条件的改变；以及

利用取决于光照条件中的改变的经调节的曝光时间来操作像素阵列。

9.根据权利要求6所述的成像系统，所述至少一个处理器被配置成：

基于所述中间图像帧来标识待更新的参考背景图像帧的至少一个部分，所述至少一个部分对应于光敏元件的所述多个群组中的光敏元件的至少一个群组；以及

基于图像帧的至少一个对应的部分来更新参考背景图像帧的所述至少一个部分。

10.根据权利要求1所述的成像系统，其中：

光敏元件的所述多个群组中的光敏元件的每个群组包括以栅格构造内的常见构造而被布置的常见数目的光敏元件；并且

对于用低分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，像素阵列为其输出读出电压的光敏元件的子集对应于常见构造内的光敏元件的所限定的图案。

11.根据权利要求1所述的成像系统，其中常见构造内的光敏元件的所限定的图案可由所述至少一个处理器调节。

12.根据权利要求1所述的成像系统，其中所述第一位深度可由所述至少一个处理器调节。

13.根据权利要求1所述的成像系统，所述至少一个处理器被配置成：

对于用低分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，控制所述像素阵列和模拟至数字转换器以利用小于最大更新速率的第一更新速率来更新并且转换与光敏元件的相应群组中的光敏元件的子集相对应的读出电压；以及

对于用高分辨率模式来被操作的光敏元件的所述多个群组中的光敏元件的每个群组，控制所述像素阵列和模拟至数字转换器以利用最大更新速率来更新并且转换与光敏元件的相应群组中的所有光敏元件相对应的读出电压。

14.根据权利要求13所述的成像系统，其中所述第一更新速率可由所述至少一个处理器调节。

Images