CN112424794B - 使用马赛克图像传感器检测高分辨率的机器可读标签 - Google Patents

Abstract

成像装置(28)包括被配置成捕获并输出马赛克图像的马赛克图像传感器(38)，马赛克图像包括由多个交错子矩阵组成的像素矩阵，每个子矩阵包含相应单一颜色的像素。处理电路(32)被配置成独立于其他子矩阵中的像素处理一个或更多个子矩阵的每一个中的像素，以便在马赛克图像中识别以机器可读形式编码数字值的图形标签(22)。

Description

使用马赛克图像传感器检测高分辨率的机器可读标签

相关申请的交叉引用

本申请要求于2018年7月11日提交的美国临时专利申请62/696,363的利益，该美国临时专利申请通过引用并入本文。

发明领域

本发明总体上涉及用于图像处理和显示的方法、系统和软件，尤其涉及对由图像传感器捕获的图像中的机器可读符号的检测和解码。

背景

在本领域中，已知多种方法和标准用于在机器可读标签中编码信息，该机器可读标签即可以由计算机使用图像传感器或其他类型的光学传感器读取的图形元素。机器可读标签中的图形元素图案根据适用的编码标准对特定的数字值进行编码。这类最著名的标准是单色条形码，包括传统的一维条纹阵列和二维条形码，例如QR码。

其他类型的基于图像的计算机可读编码方案和符号使用颜色信息，而不是由传统条形码提供的单色符号。例如，PCT国际公布WO 2013/182963(其公开内容通过引用并入本文)描述了一种用于编码信息的方法，该方法包括指定数字值并提供符号，该符号包括在公共顶点处相遇，并具有所选定的相应不同颜色的多个多边形以便编码指定的数字值。作为另一个示例，PCT国际公布WO 2012/022678描述了由小区阵列形成的视觉参考标签，其中每个小区在视觉上不同于给定邻域中的所有其他小区，并且每个所述小区包含从有限数量的视觉线索中选择的单个视觉线索，例如唯一的颜色。

机器可读标签(例如QR码)通常用于向诸如智能手机和平板电脑的支持照相机的移动设备提供信息。这种设备的用户将照相机瞄准以捕获感兴趣标签的图像，并且设备中的微处理器处理图像以便检测和解码标签中的信息。在这种背景下使用的照相机通常包含带有多色马赛克滤光器覆盖的固态图像传感器。(这种类型的图像传感器在本文中被称为“马赛克图像传感器”，并且这种传感器输出的原始图像数据的阵列被称为“马赛克图像(mosaic image)”)。马赛克滤光器是交错微型滤色器元件的掩模，其中相应的不同滤光器元件位于图像传感器的每个检测器元件前面。

一种常见类型的马赛克滤色器被称为“拜耳传感器(Bayer sensor)”或“拜耳马赛克(Bayer mosaic)”，其一般形式如下(其中字母表示颜色，R表示红色，G表示绿色，B表示蓝色)：

例如，在美国专利3，971，065中描述了拜耳马赛克。本领域中已知的其他马赛克滤光器使用不同的颜色方案，例如补色青色、品红色和黄色。在任何情况下，由这种传感器输出的马赛克图像由多个交错的子矩阵组成，其中每个子矩阵包含马赛克中一种颜色的像素。

在大多数设备中，图像传感器的原始马赛克输出被传递到图像信号处理器(ISP)，该图像信号处理器将输出转换成标准彩色图像，然后可以在显示屏上呈现该标准彩色图像。基于图像传感器输出的马赛克图像中不同颜色的对应像素组，ISP计算输出图像的每个像素的亮度(Y)和色度(C)值。ISP还可以处理亮度和色度，以给出输出图像中每个像素的R、G和B颜色值。RGB像素值的这种阵列在本文被称为“RGB图像”。

概述

下文描述的本发明的实施例提供了用于检测和解码由图像传感器捕获的图像中的计算机可读符号的改进方法，以及实现这种方法的装置和软件。

因此，根据本发明的实施例，提供了包括马赛克图像传感器的成像装置，马赛克图像传感器被配置成捕获并输出马赛克图像，马赛克图像包括由多个交错子矩阵组成的像素矩阵，每个子矩阵包含相应单一颜色的像素。处理电路被配置成独立于其他子矩阵中的像素处理一个或更多个子矩阵的每一个中的像素，以便在马赛克图像中识别以机器可读形式编码数字值的图形标签。

在公开的实施例中，子矩阵包括红色、绿色和蓝色子矩阵。

在一些实施例中，处理电路被配置成在一个或更多个子矩阵中识别马赛克图像的满足用于包含图形标签的预定义标准的一个或更多个候选区域，并且将标签解码过程应用于马赛克图像中的该候选区域。在这些实施例中的一些实施例中，处理电路被配置成计算在一个或更多个子矩阵的每一个中的像素的方差，并且将马赛克图像内的一个或更多个窗口识别为候选区域，在该一个或更多个窗口中，所计算的方差满足预定义标准。在一个这样的实施例中，图形标签包括单色图案，并且处理电路被配置成基于在一个或更多个窗口中每个窗口内的每个子矩阵中的像素，为在每个窗口内的每个子矩阵中的像素选择相应的二值化阈值，并且使用该相应的二值化阈值来对像素进行二值化，并处理来自多个子矩阵的二值化的像素，以便解码图形标签。

在其他实施例中，图形标签包括相应不同颜色的多个颜色元素，该多个颜色元素在一个或更多个颜色顶点处相遇，并且处理电路被配置成通过在马赛克图像中找到颜色顶点的相应位置来识别一个或更多个候选区域。在所公开的实施例中，处理电路被配置成通过以下方式来找到颜色顶点的相应位置：在马赛克图像中的一组候选位置的每一个周围的一组预定义探测位置处比较一个或更多个子矩阵的每一个中的像素的最大值和最小值，并且响应于该比较来识别候选位置中的颜色顶点。

在进一步的实施例中，处理电路被配置成通过将每个子矩阵中的像素复制到像素矩阵内的相邻位置来产生至少一个增强的马赛克图像，并且通过处理该至少一个增强的马赛克图像来识别和解码图形标签。在一个实施例中，至少一个增强的马赛克图像包括多个不同的增强马赛克图像，该多个不同的增强马赛克图像是通过将每个子矩阵中的像素复制到每个不同的增强马赛克图像中的不同相邻位置而产生的，并且处理电路被配置成通过处理所有不同的增强马赛克图像来识别和解码图形标签。

在公开的实施例中，装置包括显示器，其中处理电路包括图像信号处理器，该图像信号处理器被配置成通过组合多个交错子矩阵中的像素以便计算用于在显示器上呈现的输出图像上的亮度和色度值来生成该输出图像。

根据本发明的实施例，还提供了一种用于图像处理的方法，该方法包括从马赛克图像传感器接收马赛克图像，该马赛克图像包括由多个交错子矩阵组成的像素矩阵，每个子矩阵包含相应单一颜色的像素。一个或更多个子矩阵的每一个中的像素独立于其他子矩阵中的像素被处理，以便在马赛克图像中识别以机器可读形式编码数字值的图形标签。

根据本发明的实施例，另外提供了一种计算机软件产品，该计算机软件产品包括存储程序指令的非暂时性计算机可读介质，该指令在由处理器读取时，使得处理器：从马赛克图像传感器接收马赛克图像，该马赛克图像包括由多个交错子矩阵组成的像素矩阵，每个子矩阵包含相应单一颜色的像素，以及独立于其他子矩阵中的像素处理一个或更多个子矩阵的每一个中的像素，以便在马赛克图像中识别以机器可读形式编码数字值的图形标签。

根据结合附图进行的本发明的实施例的以下详细描述，本发明将得到更完全地理解，其中：

附图简述

图1是根据本发明实施例的用于信息显示的系统的示意性图片说明；

图2是流程图，其示意性地示出了根据本发明实施例的用于使用马赛克图像传感器检测并解码机器可读标签的方法；

图3是流程图，其示意性地示出了根据本发明另一个实施例的用于使用马赛克图像传感器检测并解码机器可读标签的方法；

图4是根据本发明实施例的在检测马赛克图像中的机器可读标签的顶点时所应用的掩模的示意性表示；

图5是流程图，其示意性地示出了根据本发明又一实施例的用于使用马赛克图像传感器检测并解码机器可读标签的方法；

图6A是由马赛克图像传感器输出的马赛克图像的一部分的示意性表示；以及

图6B-6E是根据本发明实施例的基于图6A的马赛克图像产生的并且用于检测和解码机器可读标签的RGB图像的示意性表示。

实施例的详细描述

综述

大多数电子照相机(包括结合在移动设备中的电子照相机)中使用的ISP通常都经过设计和优化，以产生视觉上令人愉悦的输出图像用于显示。在这个过程中，图像的细节很容易丢失。首先，ISP执行去马赛克(de-mosaicking)操作，其中它组合由图像传感器产生的马赛克图像的不同颜色子矩阵中的像素，以便计算输出图像上的亮度和色度值。以这种方式组合像素必然会降低图像分辨率。其他标准操作，例如降噪、颜色和强度变换，可以增强图像的外观，但可能会平滑掉大多数机器可读标签特有的强度和颜色的尖锐变化。因此，可能有必要将照相机保持在给定标签附近，使得标签占据由照相机捕获的图像的大部分区域，以便移动设备中的处理器成功地识别并解码标签。

本文描述的本发明的实施例通过在马赛克域中(即在图像被去马赛克和增强以供显示之前)处理由马赛克图像传感器生成的原始图像提高了图像处理设备识别和解码机器可读标签的能力。因此，相对于本领域已知的设备，该设备能够以增强的分辨率和精度检测和解码标签。本发明的这些特征使得检测和解码操作更加鲁棒，并且允许用户从更远的距离捕获这种标签的图像，并且对照明和其他成像条件具有更低的灵敏度。本发明的实施例适用于单色和彩色标签。

所公开的实施例提供了包括马赛克图像传感器的成像装置，马赛克图像传感器捕获并输出马赛克图像。(以上定义的马赛克图像包括由多个交错的子矩阵组成的像素矩阵，每个子矩阵包含相应单一颜色的像素)。当捕获的马赛克图像包含以机器可读形式编码数字值的图形标签时，装置中的处理电路通过独立于其他子矩阵中的像素处理不同颜色子矩阵中的像素来识别标签，然后解码数字值。

典型地，子矩阵包括红色、绿色和蓝色子矩阵，但是本发明的原理可以类似地应用于其他颜色类型的马赛克。尽管下面描述的实施例在识别和解码机器可读任务时使用所有的颜色子矩阵，但是替代实施例可以仅使用这些子矩阵中的一个或两个。此外，尽管下面描述的实施例在单个设备中提供了图像捕获和处理的集成，但是在所公开的设备中应用的马赛克图像处理方法可以替代地在与图像传感器分离和独立的装置或计算机软件产品中实现。

下面描述了许多不同的计算方法。在一些实施例中，处理电路在马赛克图像的一个或更多个子矩阵中识别马赛克图像的一个或更多个候选区域，这些候选区域满足用于包含图形标签的特定预定义标准。处理电路然后可以将标签解码过程专门应用于马赛克图像中的这些候选区域，从而减少解码所需的计算负荷和时间。

在另一个实施例中，处理电路通过将每个子矩阵中的像素复制到像素矩阵内的相邻位置来产生一个或更多个增强的马赛克图像。处理电路然后能够通过处理增强的马赛克图像来识别和解码具有增强分辨率的图形标签。

系统描述

图1是根据本发明实施例的用于信息显示的系统20的示意性图片说明。系统20包括位于特定目标位置的机器可读图形标签22。标签22包括形成单色或彩色图案的图形元素24的排列，其根据特定的编码标准或惯例以机器可读的形式编码数字值。

用户26操作移动计算设备28(例如本示例中的智能手机)来捕获包括标签22的图像。如插图所示，设备28包括照相机模块30，照相机模块30包括马赛克图像传感器38，马赛克图像传感器38包括由相应不同滤色器40的马赛克覆盖的感测元件的矩阵。物镜(图中未示出)在图像传感器38上形成由用户26观看的场景的图像，包括标签22。图像传感器38因此捕获并输出由多个交错子矩阵组成的马赛克图像。每个子矩阵包含相应单一颜色的像素——红色、绿色或蓝色。子矩阵是交错的，即每个像素的最近邻居(意味着上面、下面和侧面的像素)具有不同的颜色，因此属于与像素本身不同的子矩阵。

照相机模块30通常包括ISP 42，ISP 42从图像传感器38接收马赛克图像，并执行本领域已知的去马赛克和图像增强操作，以便生成输出图像用于在显示器44上呈现。在执行这些功能时，ISP 42组合不同颜色子矩阵中的像素，以便计算输出图像上的亮度和色度值，然后可以在输出图像的每个像素处将亮度和色度转换回R、G和B值。典型地，该输出图像呈现在显示器44上。

除了这些传统的图像捕获和处理功能，设备28中的处理器32从图像传感器38接收马赛克图像，并且处理每个不同颜色(在该示例中是R、G和B)子矩阵中的像素，以便识别马赛克图像中的标签22。为此，处理器32独立于其他子矩阵中的像素处理每个子矩阵中的像素。在识别标签之后，处理器32分析标签22中图形元素(形状和/或颜色)的排列，以便解码标签编码的数字值。处理器32可以将马赛克图像和/或解码过程的结果存储在存储器34中，并且可以在经由通信接口36与指定的服务器通信时使用解码的值；但是这些功能超出了本说明书的范围。

处理器32通常包括微处理器，微处理器在合适的软件(例如应用程序(“app”))的控制下执行本文描述的功能。例如，该软件可以通过网络以电子形式被下载到设备28。另外地或替代地，软件可以存储在有形非临时存储器介质(例如光学、电子或磁性存储器)上或在有形非临时存储器介质上被提供。进一步另外地或替代地，处理器32的功能中的至少一些功能可以在专用的或者可编程的硬件逻辑中实现。所有这样的实现都被认为在本发明的范围内。设备28中的处理组件(包括处理器32和ISP 42)，在本说明书和权利要求书中统称为“处理电路”。

处理器32处理由照相机34捕获的图像，并自动将符号22中颜色元素的内部排列识别为包含编码信息的结构。处理器32读取符号22在图像中的颜色和顶点位置，并解码它们编码的信息。此外，处理器32解码以符号22的非矩形边界的形状特征编码的进一步的信息。

如前所述，标签22可以包括单色或彩色图案。单色图案的示例包括条形码(特别是QR码)，它们根据明确定义的标准对数据进行编码。例如，彩色标签可以以类似于上述PCT公布WO 2013/182963中描述的方式编码数据。在后一种情况下，简而言之，标签包括相应不同颜色的多个颜色元素，该多个颜色元素在一个或更多个颜色顶点(CVP)处相遇。每种颜色被分配一个三位代码，该三位代码包括表示组成标签的颜色元素(例如元素24)的颜色的三原色分量(红、绿和蓝)的相应二进制值。符号22中每个CVP周围的颜色元素的各个数字代码通常通过连接来组合，以给出对应的数字值。当符号包含多个CVP时，如图所示，指定的数字值是通过组合(同样，通常是通过连接)由各个顶点编码的数字值获得的。

然而，这些特定类型的标签在此仅通过示例的方式进行描述，并且用于描述的具体性。下文描述的方法可替代地(经过必要的修改)应用于其他类型的单色和彩色机器可读标签。

对处理器32来说，识别和提取大图像中的图形标签可能是困难且耗时的任务。为了便于该操作，处理器32识别马赛克图像的候选区域，该候选区域满足用于包含感兴趣的标签类型的预定义标准。为此，处理器单独处理从图像传感器38接收的马赛克图像的R、G和B子矩阵。处理器然后对马赛克图像中的候选区域应用标签解码过程。处理器在识别候选区域时所应用的方法根据所讨论的标签类型而变化，特别地，根据所讨论的标签是单色标签还是彩色标签而变化。为此目的的示例方法如下。

识别单色标签

在本领域已知的用于识别和解码单色标签的方法中，由ISP输出的彩色图像首先被二值化。为此，处理器设置特定的亮度阈值(其可以在图像区域上变化)，然后根据彩色图像中的每个像素的亮度是高于还是低于阈值，将二进制值0或1分配给该像素。处理器使用这些二进制值来识别和解码标签。

另一方面，在本实施例中，处理器32对由图像传感器38输出的马赛克图像中的每个颜色子矩阵单独进行二值化。为此，处理器针对不同的子矩阵计算并应用相应不同的二值化阈值，从而避免可能影响ISP后二值化(post-ISP binarization)的图像退化。得到的高分辨率二进制图像(比使用ISP后二值化更有可能)使得处理器32能够检测更精细的二进制细节，并因此识别和解码占据图像较小区域的标签。

图像区域的二值化阈值τ的一个好选择是将区域中像素值t的直方图H分成具有最小类内方差的两个类的阈值。

这两个类可以被定义为H₀和H₁，使得每个类被分配一个权重W₀或W₁：

然后，类内方差由下式给出：

其中，分别是类H₀、H₁的方差。使用特定阈值τ二值化的图像的特定区域的总方差σ²由下式给出：

其中，μ₀、μ₁分别是类H₀、H₁的方差。阈值τ可以通过最小化σ²来优化。

相对最小类内方差γ在本文中被定义为最小类内方差和总方差之间的比率：

γ的值是一个很好的指示符，指示图像的给定区域是否表示本质上是二进制的数据，就像单色机器可读标签所占据的区域一样：这些区域通常具有低值γ，例如小于0.1，这意味着类内方差低，而总体方差高。包含连续灰度或颜色内容的图像区域将具有高得多的类内方差，因此具有更大的γ值。

图2是流程图，其示意性地示出了根据本发明实施例的用于基于以上所解释的原理检测并解码马赛克图像中的机器可读标签的方法。这里特别针对包括单色图案(例如条形码和QR码)的标签来描述该方法，但是该方法也可以替代地(经过必要的修改)应用于某些类型的彩色标签。根据该方法，处理器32计算在马赛克图像的一个或更多个颜色子矩阵中的像素的方差，并使用该方差来识别马赛克图像内的一个或更多个窗口，在该一个或更多个窗口中，所计算的方差满足作为包含机器可读标签的候选区域的预定义标准。这种基于窗口的方法在减少处理器32上的计算负荷和改善标签检测方面是有用的，因为图像通常只包含保留二进制信息的某些区域，并且图像的照明可以是不均匀的。

在输入步骤50，处理器32从图像传感器38接收原始马赛克输出图像。(图像是“原始的”，意味着它没有经过ISP 42的去马赛克处理。)为了找到包含机器可读标签的候选的区域，在掩模应用步骤52，处理器32基于如上定义的相对最小类内方差γ来应用掩模。对于被评估的马赛克图像的子矩阵中的每个像素，处理器32应用以像素为中心并从子矩阵中裁剪的大小是NxN的滑动窗口，然后针对给定的二值化阈值在窗口上计算γ的值。如果结果低于某个阈值方差γ_th，则该像素被识别为候选像素。

假设图像传感器38具有拜耳型马赛克滤光器，如上所述，红色和蓝色像素的滑动窗口可以由以下形式的NxN矩阵定义：

绿色像素的滑动窗口定义如下：

在窗口定义步骤54，处理器32将在步骤52找到的候选像素组组合成候选区域或窗口。为了实现全分辨率，处理器32可以在马赛克图像的每个颜色子矩阵上应用该过程，然后合并结果。处理器可以应用本领域已知的形态闭合(morphological closing)技术，以便获得一个或更多个紧凑的、分离良好的这种候选窗口。如以上所解释的，这些候选窗口将由两类像素来表征，这两类像素具有低类内方差和高方差，即高对比度。

一旦在步骤54定义了候选窗口，在二值化步骤56，处理器32为在每个窗口内的每个子矩阵中的像素选择相应的二值化阈值，并使用该相应的二值化阈值对每个子矩阵中的像素进行二值化。替代地，处理器可以使用在步骤52应用的相应二值化阈值。从图像传感器38中的三种不同颜色获得的三个二进制值子矩阵可以在该步骤中组合，以给出完整的传感器网格二值化。然后，在代码提取步骤58，处理器32处理来自组合子矩阵的二值化的像素值，以便解码图形标签。

识别颜色顶点

如较早所解释的，当颜色用于在机器可读标签(例如在上述PCT国际公布WO 2013/182963中描述的那些标签)中编码信息时，图形标签通常包括具有相应不同颜色的多个颜色元素，该多个颜色元素在一个或更多个颜色顶点(CVP)处相遇。在这种情况下，处理器32通过在由图像传感器38输出的马赛克图像中找到CVP的相应候选位置来识别由照相机模块30捕获的图像的候选区域。为此，处理器在每个潜在的CVP位置周围的特定探测位置处探测马赛克中每种不同颜色的像素的强度。当不同探测位置处的颜色像素的强度满足某个差异标准时，处理器32可以断定该潜在的CVP位置被不同颜色的元素包围，并因此将该CVP位置识别为候选标签位置。在WO 2013/182963中描述的标签中用于识别CVP的标准在例如该公布的第12-15页中进行了解释。替代地，其他标准可以应用于其他类型的标签。

图3是流程图，其示意性地示出了根据本发明另一个实施例的用于使用马赛克图像传感器38来检测和解码这种彩色标签的方法。如在前述实施例中，为了启动该方法，在输入步骤60，处理器32从图像传感器38接收原始马赛克输出图像。

为了找到包含机器可读标签的候选的区域，在掩模应用步骤62，处理器32应用掩模，该掩模检查每个潜在CVP周围特定位置处不同颜色的像素值。在本示例中，假设组成感兴趣标签的颜色元素是矩形的，这意味着每个CVP将被四个不同颜色的元素包围。在这种情况下，处理器32在对角地围绕CVP的四个探测位置处读取并测试马赛克图像中每种颜色的像素，该四个探测位置为：d1＝(-D,-D),d2＝(D,-D),d3＝(D,D)以及d4＝(-D,D)，其中D是正整数，通常为2或更大。

图4是根据本发明实施例的掩模70的示意性表示，该掩模可以由处理器32以这种方式应用于检测CVP。在这个示例中，掩模70以绿色像素72为中心，并且D＝2。处理器32读取像素72周围四个探测位置处的绿色像素74(标记为G₁、…、G₄)的值，以及邻近像素74的位置处的蓝色像素76(B₁、…、B₄)和红色像素78(R₁、…、R₄)的值，蓝色像素76和红色像素78离中心绿色像素72更远。(替代地，处理器32可以使用更靠近中心绿色像素的蓝色和红色像素)。将该掩模70应用于马赛克图像使得处理器32能够以比在由ISP 42处理之后能够实现的分辨率更精细的分辨率来探测图像中的CVP。

现在回到图3，在CVP识别步骤64，处理器32为每个中心像素72应用包括在掩模70中的像素值，以便识别马赛克图像中的CVP。例如，处理器32可以计算掩模70中每种不同颜色的像素的最小值和最大值：

候选CVP的特征在于最大值和最小值之间的差异大于某一阈值，以及每个探测位置处R、G和B的组合值与其他探测位置处的组合值有很大不同。例如，可以使用上述PCT国际公布WO 2013/182963的图8中所示并且在说明书第13-15页中所描述的方法来识别和解码这些候选CVP。

处理器32保存满足这些标准的候选CVP位置，同时丢弃已经测试的剩余位置。由于CVP识别的精细分辨率，可以以这种方式在由照相机模块30捕获的图像中识别CVP的实际位置周围的多个候选CVP位置。在这种情况下，例如，处理器32可以将相邻的候选位置聚类在一起，并将CVP固定在该聚类的中心。

一旦在步骤64识别出CVP，处理器32读取并处理每个CVP周围像素的颜色数据，以便为每个颜色元素分配颜色值。然后，在代码提取步骤66，处理器32处理颜色，以便解码图形标签。

图5是流程图，其示意性地示出了根据本发明又一实施例的用于使用马赛克图像传感器38来检测和解码机器可读标签的方法。在该实施例中，处理器32通过将原始马赛克图像中每个子矩阵中的像素复制到相邻位置来创建一个或更多个增强的马赛克图像，然后处理该一个或更多个增强的马赛克图像，以便识别和解码图形标签。借助于这种像素复制，增强的马赛克图像在每个像素处具有R、G和B颜色值(而不仅仅是图像传感器输出的原始马赛克图像中的单一颜色值)，而没有由ISP 42执行的传统去马赛克过程导致的分辨率损失。处理器32可以创建和处理这种类型的单个增强图像，或者为了提高精度，基于不同的像素复制方案创建和处理多个增强图像。这种方法最大限度地利用原始马赛克图像的信息内容，以尽可能高的分辨率识别标签，但代价是增加了计算复杂性。

如在前述实施例中，在输入步骤80，当处理器32从图像传感器38接收原始马赛克输出图像时，图5的方法开始。在颜色值复制步骤82，处理器32通过将每个子矩阵中的像素值复制到每个不同的增强马赛克图像中的不同相邻位置来产生多个不同的增强马赛克图像。这些增强图像各自具有不同的像素复制方案，因此在每个像素处具有不同的RGB值。例如，假设处理器32产生四个不同的增强图像，如下所述，增强图像将具有相应的像素值{RGB₁}、{RGB₂}、{RGB₃}和{RGB₄}。

在标签识别步骤84，处理器32使用增强的全分辨率图像来识别和解码由图像传感器40输出的马赛克图像中的图形标签。通常，处理器32在该步骤一起处理所有不同的增强马赛克图像。例如，假设标签具有如前一个实施例中那样的CVP，处理器32提取每个潜在CVP周围位置的最大和最小像素颜色值如下：

和

处理器然后以上面参考图3和4描述的方式应用这些值。

图6A-6E示意性地示出了根据本发明实施例的上述像素复制过程。图6A是由图像传感器38输出的马赛克图像88的一部分的示意性表示，而图6B-6E是基于该马赛克图像产生的RGB图像的示意性表示。

马赛克图像88包括拜耳马赛克图案中的像素90(为了简单起见，仅包括7×7像素)，下标索引指示行和列编号。奇数行中的绿色像素与同一行中的红色像素交错，被称为“G_red”像素，而偶数行中的绿色像素被称为“G_blue”像素。在图6B-6E的每一个中，不同的像素复制方案被用于产生RGB图像，如下所示：

图6B(像素值92):

像素类型	红色值	绿色值	蓝色值
				R	现有的	左边像素	左上方像素
B	左上方像素	左边像素	现有的
				Gred	左边像素	现有的	上方像素
Gblue	上方像素	现有的	左边像素

图6C(像素值94):

像素类型	红色值	绿色值	蓝色值
				R	现有的	右边像素	右上方像素
B	右上方像素	右边像素	现有的
				Gred	右边像素	现有的	上方像素
Gblue	上方像素	现有的	右边像素

图6D(像素值96):

像素类型	红色值	绿色值	蓝色值
				R	现有的	右边像素	右下方像素
B	右下方像素	右边像素	现有的
				Gred	右边像素	现有的	下方像素
Gblue	下方像素	现有的	右边像素

图6E(像素值98):

像素类型	红色值	绿色值	蓝色值
				R	现有的	左边像素	左下方像素
B	左下方像素	左边像素	现有的
				Gred	左边像素	现有的	下方像素
Gblue	下方像素	现有的	左边像素

这些像素复制方案是以示例的方式给出的，并且这种类型的替代方案也被认为在本发明的范围内。

因此将认识到，上面描述的实施例作为示例被引用，以及本发明并不限于在上文中特别示出和描述的内容。更确切地，本发明的范围包括在上文中所述的各种特征的组合和子组合以及本领域中的技术人员在阅读了前述描述时将想到的且在现有技术中未公开的其变形和修改。

Claims (21)

1.一种成像装置，包括：

马赛克图像传感器，所述马赛克图像传感器被配置成捕获并输出马赛克图像，所述马赛克图像包括由多个交错子矩阵组成的像素矩阵，每个子矩阵包含相应单一颜色的像素；以及

处理电路，所述处理电路被配置成独立于其他子矩阵中的像素处理一个或更多个子矩阵的每一个中的像素，以便在所述马赛克图像中识别以机器可读形式编码数字值的图形标签。

2.根据权利要求1所述的装置，其中，所述子矩阵包括红色、绿色和蓝色子矩阵。

3.根据权利要求1所述的装置，其中，所述处理电路被配置成在所述一个或更多个子矩阵中识别所述马赛克图像的满足用于包含所述图形标签的预定义标准的一个或更多个候选区域，并且将标签解码过程应用于所述马赛克图像中的所述候选区域。

4.根据权利要求3所述的装置，其中，所述处理电路被配置成计算在所述一个或更多个子矩阵的每一个中的像素的方差，并且将所述马赛克图像内的一个或更多个窗口识别为所述候选区域，在该一个或更多个窗口中，所计算的方差满足预定义标准。

5.根据权利要求4所述的装置，其中，所述图形标签包括单色图案，并且所述处理电路被配置成基于在所述一个或更多个窗口中每个窗口内的每个子矩阵中的像素，为在每个窗口内的每个子矩阵中的像素选择相应的二值化阈值，并且使用相应的二值化阈值来对像素进行二值化，并处理来自所述多个子矩阵的二值化的像素，以便解码所述图形标签。

6.根据权利要求3所述的装置，其中，所述图形标签包括相应不同颜色的多个颜色元素，所述多个颜色元素在一个或更多个颜色顶点处相遇，并且其中所述处理电路被配置成通过在所述马赛克图像中找到颜色顶点的相应位置来识别所述一个或更多个候选区域。

7.根据权利要求6所述的装置，其中，所述处理电路被配置成通过以下方式来找到所述颜色顶点的相应位置：在所述马赛克图像中的一组候选位置的每一个周围的一组预定义探测位置处比较所述一个或更多个子矩阵的每一个中的像素的最大值和最小值，并且响应于所述比较来识别所述候选位置中的颜色顶点。

8.根据权利要求1-7中任一项所述的装置，其中，所述处理电路被配置成通过将每个子矩阵中的像素复制到像素矩阵内的相邻位置来产生至少一个增强的马赛克图像，并且通过处理所述至少一个增强的马赛克图像来识别和解码所述图形标签。

9.根据权利要求8所述的装置，其中，所述至少一个增强的马赛克图像包括多个不同的增强马赛克图像，该多个不同的增强马赛克图像是通过将每个子矩阵中的像素复制到每个不同的增强马赛克图像中的不同相邻位置而产生的，并且其中所述处理电路被配置成通过处理所有不同的增强马赛克图像来识别和解码所述图形标签。

10.根据权利要求1-7中任一项所述的装置，包括显示器，其中所述处理电路包括图像信号处理器，所述图像信号处理器被配置成通过组合所述多个交错子矩阵中的像素以便计算用于在所述显示器上呈现的输出图像上的亮度和色度值来生成所述输出图像。

11.一种用于图像处理的方法，包括：

从马赛克图像传感器接收马赛克图像，所述马赛克图像包括由多个交错子矩阵组成的像素矩阵，每个子矩阵包含相应单一颜色的像素；以及

独立于其他子矩阵中的像素处理一个或更多个子矩阵的每一个中的像素，以便在所述马赛克图像中识别以机器可读形式编码数字值的图形标签。

12.根据权利要求11所述的方法，其中，所述子矩阵包括红色、绿色和蓝色子矩阵。

13.根据权利要求11所述的方法，其中，处理所述像素包括在所述一个或更多个子矩阵中识别所述马赛克图像的满足用于包含所述图形标签的预定义标准的一个或更多个候选区域，并且将标签解码过程应用于所述马赛克图像中的所述候选区域。

14.根据权利要求13所述的方法，其中，识别所述一个或更多个候选区域包括计算在所述一个或更多个子矩阵的每一个中的像素的方差，并且将所述马赛克图像内的一个或更多个窗口识别为所述候选区域，在该一个或更多个窗口中，所计算的方差满足预定义标准。

15.根据权利要求14所述的方法，其中，所述图形标签包括单色图案，并且应用所述标签解码过程包括基于在所述一个或更多个窗口中每个窗口内的每个子矩阵中的像素，为在每个窗口内的每个子矩阵中的像素选择相应的二值化阈值，并且使用相应的二值化阈值来对像素进行二值化，并处理来自所述多个子矩阵的二值化的像素，以便解码所述图形标签。

16.根据权利要求13所述的方法，其中，所述图形标签包括相应不同颜色的多个颜色元素，所述多个颜色元素在一个或更多个颜色顶点处相遇，并且其中识别所述一个或更多个候选区域包括在所述马赛克图像中找到颜色顶点的相应位置。

17.根据权利要求16所述的方法，其中，找到颜色顶点的相应位置包括：在所述马赛克图像中的一组候选位置的每一个周围的一组预定探测位置处比较所述一个或更多个子矩阵的每一个中的像素的最大值和最小值，以及响应于所述比较来识别所述候选位置中的颜色顶点。

18.根据权利要求11-17中任一项所述的方法，其中，处理所述像素包括通过将每个子矩阵中的像素复制到像素矩阵内的相邻位置来产生至少一个增强的马赛克图像，并且通过处理所述至少一个增强的马赛克图像来识别和解码所述图形标签。

19.根据权利要求18所述的方法，其中，产生所述至少一个增强的马赛克图像包括通过将每个子矩阵中的像素复制到每个不同的增强马赛克图像中的不同相邻位置来产生多个不同的增强马赛克图像，并且其中识别和解码所述图形标签包括处理所有不同的增强马赛克图像。

20.根据权利要求11-17中任一项所述的方法，包括应用图像信号处理器来通过组合所述多个交错子矩阵中的像素以便计算用于在显示器上呈现的输出图像上的亮度和色度值来生成所述输出图像。

21.一种计算机软件产品，包括存储程序指令的非暂时性计算机可读介质，所述指令在由处理器读取时，使得所述处理器：从马赛克图像传感器接收马赛克图像，所述马赛克图像包括由多个交错子矩阵组成的像素矩阵，每个子矩阵包含相应单一颜色的像素，以及独立于其他子矩阵中的像素处理一个或更多个子矩阵的每一个中的像素，以便在所述马赛克图像中识别以机器可读形式编码数字值的图形标签。