CN108171645B - 一种基于fpga的幸运成像处理系统 - Google Patents

Abstract

本发明涉及一种基于FPGA的幸运成像处理系统，属于图像处理技术领域。本发明包括SD卡图像存储单元、FPGA处理与控制单元、DDR3存储单元、显示驱动单元；SD卡图像存储单元，用于向FPGA提供图像像素数据；FPGA处理与控制单元，用于实现系统的全部图像处理与控制功能，然后再将所得高分辨率图像通过VGA接口的液晶显示器或阴极射线显像管CRT显示器显示出来；DDR3存储单元，用于缓存从SD卡中读出的全部图像像素的数据；显示驱动单元，用于驱动图像信号输出并显示最终的重建高分辨率图像。本发明的系统处理速度比在传统CPU上的处理速度快20多倍，为幸运成像技术的实时化提供了一个有效的途径。

Description

一种基于FPGA的幸运成像处理系统

技术领域

本发明涉及一种基于FPGA的幸运成像处理系统，属于图像处理技术领域。

背景技术

大气湍流是大气的一种随机运动，使得大气的光学折射率分布不均，导致光波通过大气传输之后，波前发生畸变。正是由于大气湍流的存在，才使得地基成像系统的分辨率和成像质量受到很大限制。为了消除大气湍流对成像系统的影响，最常见的方法是自适应光学（Adaptive Optics，AO）技术。该技术是指在望远镜上加装自适应光学系统，以测量由大气湍流造成的波前畸变并对其进行实时校正，以实现接近望远镜衍射极限的成像能力。但该技术的主要缺点是系统的过于复杂性、设备极其昂贵，应用面较窄。因此一种既简单又成本低廉的技术即幸运成像技术应运而生。

幸运成像技术是在一系列短曝光图像中选出少量高质量的图像，然后对这些图像进行配准和叠加的事后处理技术。这种事后处理技术的缺陷是必须在对选定天文目标观测完成之后再对所得图像进行处理，这就使得天文学家无法知道关于所拍摄图像的实时信息，以至于不能及时发现观测过程中可能出现的问题，并做出快速决策。解决这一问题的办法是改进算法，增加硬件的处理能力，将幸运成像技术实时或准实时化。相较于传统的CPU串行处理方式而言，FPGA具有高并行性和灵活性，还能提供强大的并行计算能力和内存带宽，当前使用FPGA进行高速视频图像处理是图像处理领域的一个研究热点。

发明内容

本发明要解决的技术问题是：针对现有基于通用CPU及软件的幸运成像技术的不足，提出了一种幸运成像的硬件处理系统。该系统实现了幸运成像算法的全部功能，在一定程度上克服了传统CPU+MATLAB的幸运成像算法处理速度过慢的缺点，为幸运成像技术的实时化实现提供了一个有效的途径。

本发明针对传统CPU+MATLAB的幸运成像算法处理速度过慢的缺点，在以Xilinx公司Spartan-6系列的XC6SLX16芯片为核心的开发板上搭建了一个完整的幸运成像系统。

本发明技术方案是：一种基于FPGA的幸运成像处理系统，包括SD卡图像存储单元、FPGA处理与控制单元、DDR3存储单元、显示驱动单元；

所述SD卡图像存储单元，用于向FPGA提供图像像素数据；它由SPI接口和标准SD卡组成；

所述FPGA处理与控制单元，用于将外部SD卡图像存储单元中的图像像素数据读入并进行处理，从而得到重建的高分辨率图像，然后再将所得高分辨率图像通过VGA接口的液晶显示器或阴极射线显像管CRT显示器显示出来；

所述DDR3存储单元，用于缓存从SD卡中读出的全部图像像素的数据；

所述显示驱动单元，用于驱动图像信号输出并显示最终的重建高分辨率图像。

所述FPGA处理与控制单元内部集成了SD卡图像数据读写模块、DDR3图像数据读写模块、幸运成像算法处理模块以及图像显示模块；

所述SD卡图像数据读写模块用于将存储在SD卡中的图像读入到FPGA中，它包括SD卡初始化模块以及SD卡读数据模块；

所述DDR3图像数据读写模块，它由两个子模块构成：其一是DDR3写数据模块，用于将从SD卡输入的像素数据存储到DDR3存储单元中；另一是DDR3读数据模块，用于将所需的图像数据从DDR3存储单元中读出并送至幸运成像算法处理模块；

所述幸运成像算法处理模块包括选图模块、配准模块、叠加模块；其中选图模块内部又是由最大灰度值查找模块以及最大灰度值排序模块共同组成，这两个子模块主要由比较器、计数器以及片内RAM存储器构成。

所述最大灰度值查找模块，用于对从SD卡中读出的图像像素值逐个进行比较，以找出每帧图像的最大灰度值，并将其保存在片内RAM中供排序使用；在处理过程中，要判断像素数据是否满足配准对最大灰度值位置的要求；满足，则在RAM相应的地址空间中保存该像素值；不满足，则在RAM相应的地址空间中存入与该最大灰度值相同比特位数的零值；此外，在向RAM中保存每帧图像最大灰度值时，要同时将该最大灰度值所在的图片序号及位置参数一并保存在RAM相应地址空间中，以便排序使用。

所述最大灰度值排序模块，用于对保存在片内RAM中的最大灰度值进行排序，并保存所需最大灰度值及其相关信息；在排序过程中，每取出一个最大灰度值后，要判断此时读出的最大灰度值是否为已排过序并保存的像素值；若是，则保持上一缓存的像素值数据不变；否则，若当前像素值大于缓存的上一像素值时，则改变缓存的像素值数据为当前较大者；每进行完一轮比较，保存一次当前缓存的像素值；按此方法进行排序，直到满足要取出的像素个数为止。

所述配准模块，用于把选图模块中得出的最大灰度值所在图片序号以及其位置参数，根据式

计算出要截取的图片首地址，然后发送给DDR3读数据模块，以便从DRR3存储器中读出相应的图片像素值，供叠加模块使用。

所述叠加模块，用于将选出并配准过的全部图片叠加在一起，但在处理第一帧图像时该图像的各像素依次进入缓存器1，待存储完成后再从缓存器1中依次读出，同时与初值为0的叠加图像的对应像素依次相加；相当于第一帧图像直接缓存到缓存器3，为下一次的叠加做准备，在第一帧图像各像素依次从缓存器3缓存进入缓存器2的同时，第二帧图像各像素也在依次缓存进缓存器1，当缓存器1和缓存器2同时完成缓存后，再同时将两个缓存器中的像素依次读出并相加后缓存进入缓存器3；依此方式，将选出的所有图像叠加；此外，最后所得的最终叠加图像是暂存在缓存器3中，当读出信号到来后再将其逐像素的读出并存入相应位置。

所述图像显示模块，用于对重建的高分辨率图像进行锐化、保存和输入，它由图像灰度变换模块、重建图像保存模块和VGA驱动模块三个子模块组成；

所述的图像灰度变换模块，用于将叠加完成后得到的重建高分辨率图像数据进行灰度变换处理，以便将图像中感兴趣的目标或区域突显出来；

所述的重建图像保存模块，用于将经图像灰度变换模块处理完成后的最终的高分辨率图像存储起来，以便于VGA驱动模块读取和输出显示；

所述的VGA驱动模块，用于为外部VGA显示设备准备图像数据，以便将系统处理所得到的最终重建高分辨图像输出至FPGA芯片外部的显示驱动单元。

本发明的工作过程是：上电后存储在SD卡中的图像数据不断地向SD卡图像数据读写模块发送，图像数据经过SD卡图像数据读写模块后不断地进入幸运成像算法处理模块进行处理，DDR3图像数据读写模块也持续不断地将经SD卡图像数据读写模块处理后图像数据写入DDR3存储单元中，待SD卡中的所有图像数据存入DDR3且选图模块完成选图后，再根据配准模块发出的信号从DDR3存储单元中将所需图片的像素取出，然后再通过叠加模块的叠加处理将最终的重建高分辨率图像在液晶或CRT显示屏上显示出来。

本发明的有益效果是：本发明在一定程度上克服了传统CPU+MATLAB处理幸运成像算法速度过慢的缺点，为幸运成像技术的实时化实现提供了一个有效的途径。本发明设计合理，构思巧妙，实时性好，应用面广。

附图说明

图1是本发明系统结构图；

图2是本发明的FPGA控制框图；

图3是本发明的最大灰度值查找的状态转移图；

图4是本发明的叠加模块流程框图；

图5是本发明的最大灰度值排序流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步说明。

实施例1：如图1-5所示，本发明针对传统CPU+MATLAB的幸运成像算法处理速度过慢的缺点，在以Xilinx公司Spartan-6系列的XC6SLX16芯片为核心的开发板上搭建了一个完整的幸运成像系统。

本发明技术方案是：一种基于FPGA的幸运成像处理系统，包括SD卡图像存储单元、FPGA处理与控制单元、DDR3存储单元、显示驱动单元；

所述SD卡图像存储单元，用于向FPGA提供图像像素数据；它由SPI接口接口和标准SD卡组成；

所述FPGA处理与控制单元，用于将外部SD卡图像存储单元中的图像像素数据读入并进行处理，从而得到重建的高分辨率图像，然后再将所得高分辨率图像通过VGA接口的液晶显示器或阴极射线显像管CRT显示器显示出来；

所述DDR3存储单元，用于缓存从SD卡中读出的全部图像像素的数据；

所述显示驱动单元，用于根据设定的显示器参数驱动图像信号输出并显示最终的重建高分辨率图像。

所述FPGA处理与控制单元内部集成了SD卡图像数据读写模块、DDR3图像数据读写模块、幸运成像算法处理模块以及图像显示模块；

所述SD卡图像数据读写模块用于将存储在SD卡中的图像读入到FPGA中，它包括SD卡初始化模块以及SD卡读数据模块；其功能是完成SD卡的初始化并读取SD卡的数据，并将读取到的图像像素数据一路送入DDR3写数据模块中，以便数据及时写入外部DDR芯片中，一路送入选图模块中进行图像的选取；

所述DDR3图像数据读写模块，它由两个子模块构成：其一是DDR3写数据模块，用于将从SD卡输入的像素数据存储到DDR3存储单元中；另一是DDR3读数据模块，用于将所需的图像数据从DDR3存储单元中读出并送至幸运成像算法处理模块；

所述幸运成像算法处理模块包括选图模块、配准模块、叠加模块；其中选图模块内部又是由最大灰度值查找模块以及最大灰度值排序模块共同组成，这两个子模块主要由比较器、计数器以及片内RAM存储器构成。

所述最大灰度值查找模块，用于对从SD卡中读出的图像像素值逐个进行比较，以找出每帧图像的最大灰度值，并将其保存在片内RAM中供排序使用；其处理过程按照图3所示的最大灰度值查找状态转移过程进行处理，其中myvaild=1表示SD卡中的数据可以取出，cnt表示已读取的一帧图像的像素数目，其中cnt=0表示一帧图像的全部像素已读完。eve_t=1表示单帧图像的最大灰度值开始取出，pic_num表示图像的帧数，wea_max=1表示可以开始向RAM中写数据。在本系统中所用的图像大小为128×128，帧数为1000，所以cnt最大为16383，pic_num最大为999，只有在满足图3所示的条件后才可进行下一状态的转移，即处理过程才能继续进行。需要注意的是在处理过程中，要判断像素数据是否满足配准对最大灰度值位置的要求；满足，则在RAM相应的地址空间中保存该像素值；不满足，则在RAM相应的地址空间中存入与该最大灰度值相同比特位数的零值；此外，在向RAM中保存每帧图像最大灰度值时，要同时将该最大灰度值所在的图片序号及位置参数一并保存在RAM相应地址空间中，以便排序使用。

所述最大灰度值排序模块，用于对保存在片内RAM中的最大灰度值进行排序，并保存所需最大灰度值及其相关信息；在排序过程中，每取出一个最大灰度值后，要判断此时读出的最大灰度值是否为已排过序并保存的像素值；若是，则保持上一缓存的像素值数据不变；否则，若当前像素值大于缓存的上一像素值时，则改变缓存的像素值数据为当前较大者；每进行完一轮比较，保存一次当前缓存的像素值；按此方法进行排序，直到满足要取出的像素个数为止。与此同时，选图模块工作完成后会发出图片序号及最大灰度值位置的信号以启动配准模块工作。

所述配准模块，用于把选图模块中得出的最大灰度值所在图片序号以及其位置参数，根据式

计算出要截取的图片首地址，然后发送给DDR3读数据模块，以便从DRR3存储器中读出相应的图片像素值，供叠加模块使用。

所述叠加模块，用于将选出并配准过的全部图片叠加在一起，但在处理第一帧图像时该图像的各像素依次进入缓存器1，待存储完成后再从缓存器1中依次读出，同时与初值为0的叠加图像的对应像素依次相加；相当于第一帧图像直接缓存到缓存器3，为下一次的叠加做准备，在第一帧图像各像素依次从缓存器3缓存进入缓存器2的同时，第二帧图像各像素也在依次缓存进缓存器1，当缓存器1和缓存器2同时完成缓存后，再同时将两个缓存器中的像素依次读出并相加后缓存进入缓存器3；依此方式，将选出的所有图像叠加；此外，最后所得的最终叠加图像是暂存在缓存器3中，当读出信号到来后再将其逐像素的读出并存入相应位置。

所述图像显示模块，用于对重建的高分辨率图像进行锐化、保存和输入，它由图像灰度变换模块、重建图像保存模块和VGA驱动模块三个子模块组成；

所述的图像灰度变换模块，用于将叠加完成后得到的重建高分辨率图像数据进行灰度变换处理，以便将图像中感兴趣的目标或区域突显出来；

所述的重建图像保存模块，用于将经图像灰度变换模块处理完成后的最终的高分辨率图像存储起来，以便于VGA驱动模块读取和输出显示；

所述的VGA驱动模块，用于为外部VGA显示设备准备图像数据，以便将系统处理所得到的最终重建高分辨图像输出至FPGA芯片外部的显示驱动单元。

本发明的工作过程是：上电后存储在SD卡中的图像数据不断地向SD卡图像数据读写模块发送，图像数据经过SD卡图像数据读写模块后不断地进入幸运成像算法处理模块进行处理，DDR3图像数据读写模块也持续不断地将经SD卡图像数据读写模块处理后图像数据写入DDR3存储单元中，待SD卡中的所有图像数据存入DDR3且选图模块完成选图后，再根据配准模块发出的信号从DDR3存储单元中将所需图片的像素取出，然后再通过叠加模块的叠加处理将最终的重建高分辨率图像在液晶或CRT显示屏上显示出来。

上面结合附图对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种基于FPGA的幸运成像处理系统，其特征在于：包括SD卡图像存储单元、FPGA处理与控制单元、DDR3存储单元和显示驱动单元；

所述SD卡图像存储单元，用于向FPGA处理与控制单元提供图像像素数据；所述SD卡图像存储单元由SPI接口和标准SD卡组成；

所述FPGA处理与控制单元，用于将外部SD卡图像存储单元中的图像像素数据读入并进行处理，从而得到重建的高分辨率图像，然后再将所得高分辨率图像通过VGA接口在液晶显示器或阴极射线显像管CRT显示器显示出来；

所述DDR3存储单元，用于缓存从SD卡中读出的全部图像像素的数据；

所述显示驱动单元，用于驱动图像信号输出并显示最终的重建高分辨率图像；

所述FPGA处理与控制单元内部集成了SD卡图像数据读写模块、DDR3图像数据读写模块、幸运成像算法处理模块以及图像显示模块；

所述SD卡图像数据读写模块用于将存储在SD卡中的图像读入到FPGA处理与控制单元中，所述SD卡图像数据读写模块包括SD卡初始化模块以及SD卡读数据模块；

所述DDR3图像数据读写模块，它由两个子模块构成：其一是DDR3写数据模块，用于将从SD卡输入的像素数据存储到DDR3存储单元中；另一是DDR3读数据模块，用于将所需的图像数据从DDR3存储单元中读出并送至幸运成像算法处理模块；

所述幸运成像算法处理模块包括选图模块、配准模块和叠加模块；其中选图模块内部又是由最大灰度值查找模块以及最大灰度值排序模块共同组成；选图模块包括片内RAM存储器；

所述最大灰度值查找模块，用于对从SD卡中读出的图像像素值逐个进行比较，以找出每帧图像的最大灰度值，并将其保存在片内RAM中供排序使用；在处理过程中，要判断像素数据是否满足配准对最大灰度值位置的要求；满足，则在RAM相应的地址空间中保存该像素值；不满足，则在RAM相应的地址空间中存入与该最大灰度值相同比特位数的零值；此外，在向RAM中保存每帧图像最大灰度值时，要同时将该最大灰度值所在的图片序号及位置参数一并保存在RAM相应地址空间中，以便排序使用；

所述最大灰度值排序模块，用于对保存在片内RAM中的最大灰度值进行排序，并保存所需最大灰度值及其相关信息；在排序过程中，每取出一个最大灰度值后，要判断此时读出的最大灰度值是否为已排过序并保存的像素值；若是，则保持上一缓存的像素值数据不变；否则，若当前像素值大于缓存的上一像素值时，则改变缓存的像素值数据为当前较大者；每进行完一轮比较，保存一次当前缓存的像素值；按此方法进行排序，直到满足要取出的像素个数为止。

2.根据权利要求1所述的基于FPGA的幸运成像处理系统，其特征在于：所述叠加模块，用于将选出并配准过的全部图片叠加在一起，在处理第一帧图像时该图像的各像素依次进入缓存器1，待存储完成后再从缓存器1中依次读出，同时与像素值初值为0的叠加图像的对应像素依次相加缓存到缓存器3，为下一次的叠加做准备，在第一帧图像各像素依次从缓存器3缓存进入缓存器2的同时，第二帧图像各像素也在依次缓存进缓存器1，当缓存器1和缓存器2同时完成缓存后，再同时将两个缓存器中的像素依次读出并相加后缓存进入缓存器3；依此方式，将选出的所有图像叠加；此外，最后所得的最终叠加图像是暂存在缓存器3中，当读出信号到来后再将其逐像素的读出并存入相应位置。

3.根据权利要求1所述的基于FPGA的幸运成像处理系统，其特征在于：所述图像显示模块，用于对重建的高分辨率图像进行锐化、保存和输入，它由图像灰度变换模块、重建图像保存模块和VGA驱动模块三个子模块组成；

所述的图像灰度变换模块，用于将叠加完成后得到的重建高分辨率图像数据进行灰度变换处理，以便将图像中感兴趣的目标或区域突显出来；

所述的重建图像保存模块，用于将经图像灰度变换模块处理完成后的最终的高分辨率图像存储起来，以便于VGA驱动模块读取和输出显示；

所述的VGA驱动模块，用于为外部VGA显示设备准备图像数据，以便将系统处理所得到的最终重建高分辨图像输出至FPGA芯片外部的显示驱动单元。