CN112035294B - 安全日志文件系统及其实现方法和介质 - Google Patents

Abstract

本发明提供了一种安全日志文件系统及其实现方法和介质，包括：文件配置模块：将文件和文件夹分配到目录项，所述目录项包括文件名、大小和文件内容起始地址，所述目录项作为目录文件内容存放在数据区；转换模块：进行逻辑地址到物理地址的映射、断电恢复、垃圾回收和磨损均衡；提供虚拟的磁盘，使得上层应用直接使用基于闪存的存储设备；存储模块：根据混合性的闪存转换层思想，把逻辑块分成数据块和日志块，所述数据块采用块级别映射，用于存储数据；所述日志块采用页级别映射，用于存储更新。本发明提出的设计方案契合了需求并在已有的基础上加以创新，有较强的可操作性与扩展性。

Description

安全日志文件系统及其实现方法和介质

技术领域

本发明涉及嵌入式文件系统优化技术领域，具体地，涉及一种安全日志文件系统及其实现方法和介质。

背景技术

实现功能安全文件系统的基本思想是采用基于日志的面向事务文件系统。由于磁盘文件系统数据结构如目录结构、空闲指针可能会因系统崩溃而不一致。在操作系统采用基于日志技术之前，通常要适当地修改这些结构。一个典型操作如文件创建可能会涉及修改文件系统内许多结构。修改目录结构，分配文件控制块与数据块，减少这些块的空闲计数。这些修改可能因系统崩溃而中断，从而产生了数据的不一致。例如，空闲计数可能表示文件控制块已分配，但是目录结构还没有指向该文件控制块。除非使用一致性检查程序，否则该文件控制块可能就丢失了。虽然可以允许数据结构损坏再通过恢复来修补，但是这样做会有许多问题。一个问题是一致性检查可能无法修复结构，从而导致文件甚至整个目录丢失。一致性检查需要人工干预来解决冲突，也会给工作上带来不便，浪费了大量时间。

近几年来，虽然很多公司和研究机构尝试着将事务型操作引入文件系统中来确保数据存储的可靠性，但目前全世界成熟的事务性文件系统并不多，可参考的资料也相当少。在已寻找到资料中第一种是基于EXT4文件系统所修改的，其特征在于所述内存日志文件系统包括在内存中构建映射硬盘分区EXT4文件系统日志区的内存日志区的内存日志区构建模块、当硬盘分区挂载时将硬盘分区中日志区文件读入到内存日志区，当硬盘分区卸载时将内存日志区作为日志区文件写入硬盘的日志文件刷新模块以及在硬盘分区卸载后将映射硬盘分区EXT文件系统的内存日志区写入另一硬盘分区日志区的日志区回写模块。相较于本技术方案基于FAT文件系统的做法，其适用的范围略显狭窄，可拓展性不强，不太适合嵌入式领域的应用。第二种则更倾向利用外部硬件，比如备用电池组来确保数据写入的原子性，因此产生的成本较高，也不适用于较小规模或预算有限的嵌入式设备。

专利文献CN103514260A(201310350603.X)公开了一种基于EXT4文件系统的内存日志文件系统，所述内存日志文件系统包括用于在内存中构建映射硬盘分区EXT4文件系统日志区的内存日志区的内存日志区构建模块、用于当硬盘分区挂载时将硬盘分区中日志区文件读入到内存日志区，当硬盘分区卸载时将内存日志区作为日志区文件写入硬盘的日志文件刷新模块以及用于在硬盘分区卸载后将映射硬盘分区EXT4文件系统的内存日志区写入另一硬盘分区日志区的日志区回写模块。该专利中所基于的文件系统为EXT4文件系统，而本发明所基于的为FAT文件系统。该专利在内存中构建映射硬盘分区EXT4文件系统的日志区，而本方案选择将安全文件夹与相关的簇链文件放置在底层存储器上，同时利用两种缓存方法相当程度上抵消了其带来的不利影响。

专利文献CN108703796A(2018105885222.2)提供一种安全增强型日志文件系统，涉及Linux日志文件系统领域，本发明主要包括以下两个部分：BBU高速存储设备和数据写时重定向机制。该专利中为确保日志文件系统日志写入的完整性增加了额外的硬件辅助，这大幅提高了成本，不适用于小型的嵌入式系统方案。该专利是一种涉及Linux日志文件系统的解决方案，而本方案基于的FAT文件系统适用范围更广，性能也比较优异。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种安全日志文件系统及其实现方法和介质。

根据本发明提供的安全日志文件系统，包括：

文件配置模块：将文件和文件夹分配到目录项，所述目录项包括文件名、大小和文件内容起始地址，所述目录项作为目录文件内容存放在数据区；

转换模块：进行逻辑地址到物理地址的映射、断电恢复、垃圾回收和磨损均衡；提供虚拟的磁盘，使得上层应用直接使用基于闪存的存储设备；

存储模块：根据混合性的闪存转换层思想，把逻辑块分成数据块和日志块，所述数据块采用块级别映射，用于存储数据；所述日志块采用页级别映射，用于存储更新。

优选的，在重启时检查是否存在未完成或不完整的任务，若存在，则继续完成未完成的任务或将不完整的任务回带至完整状态。

优选的，所有日志块构成日志缓冲区，当对数据块进行更新时，把更新写入到日志缓冲区中，并把数据块中相应的数据设置无效。

优选的，在把逻辑更新页写入到日志块中的物理页时，逻辑更新页所对应的逻辑页面编号被同时写入到物理页的备用区域，当一个读请求到达时，首先检查日志块中是否已经存在被请求的页，如果日志块中已经存在该页，则直接将该页内容返回给读请求，隐藏该页在数据块中相应的数据。

优选的，当一个逻辑页被多次反复更新时，日志块中就会存在与该逻辑页对应的多个物理页，按照更新操作的先后顺序依次记录每一次更新操作，在日志块中从后往前扫描，就能找到最新版本的物理页。

根据本发明提供的安全日志文件系统实现方法，包括：

步骤1：在FAT表的保留扇区中选择一个作为日志扇区，创建刷新FAT表的记录项，对受到破坏的FAT表进行回滚和刷新；

步骤2：文件系统进行载入，检查安全文件夹是否存在，若安全文件夹存在，则检查存储最后对文件进行的操作和簇链文件；若安全文件夹不存在，则无需进行文件内容恢复。

优选的，FAT表为包含FAT1和FAT2两个表，进行互相刷新；

FAT表的刷新过程包括：

步骤1.1：上电启动后开始进行文件配置表刷新，将日志扇区的刷新状态字段置为1，写目标扇区号，完成后刷新FAT1扇区数据；

步骤1.2：将日志扇区的刷新状态字段置2，写目标扇区号，完成后刷新FAT2扇区数据；

步骤1.3：将日志扇区的刷新状态字段置为0，完成对FAT表的刷新。

优选的，根据断电的发生时间保留旧的簇链文件，若在成功刷新或关闭文件后发生断电，则使用包含已修改簇的簇链文件来恢复文件系统，且写入的文件将处于已修改状态。

优选的，对安全日志文件系统进行功能安全测试，包括：启用Cache功能下功能安全文件系统的读写速度，关闭Cache功能下功能安全文件系统的读写速度以及无缓存条件下原生FAT文件系统的读写速度；测试目标为一个10MB大小的文件，结果取10次平均值；

在功能安全测试中，编写自动化测试函数模拟文件在读取、写入、新建和删除环境下发生随机掉电再上电，循环模拟一千次，若文件系统结构与所保存的数据没有发生异常，则判定文件系统安全。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明在写回过程中若发生掉电、系统崩溃等突发状态，可以回滚到上一个事务点时刻的文件系统状态，保证数据的一致性；

2、本发明提出的设计方案契合了需求并在已有的基础上加以创新，有较强的可操作性与扩展性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为闪存上构建文件系统结构图；

图2为刷新FAT表流程图；

图3为目录项受到破坏后文件系统的工作流程图；

图4为配置卷定义图；

图5为F_POSITION结构图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

本发明提出了一种融合的解决方案，针对原生的FAT文件系统进行改造，确保闪存上存删数据的原子性，使之成为一个基于日志结构的FAT文件系统。

在文件系统与底层闪存硬件之间应用闪存转换层技术。闪存转换层将闪存设备模拟成块设备，可在其中实现坏块管理、磨损均衡、地址映射等功能。

考虑到改造后的安全FAT文件系统的性能会发生下降，再提出两种提高性能的缓存机制：FAT缓存和Write缓存。

为了在闪存上构建文件系统，本技术方案采用如图1所示的FAT文件系统+闪存转换层+闪存芯片思想，这里所提到的闪存转换层与大多数情况下所使用的硬件转换层不同，是利用一些相关的算法与数据结构替代了对应硬件的功能。闪存转换层提供了逻辑地址到物理地址的映射、断电恢复、垃圾回收和磨损均衡。通过提供的上述功能，隐藏了闪存的特性，提供了一个虚拟的磁盘，使得上层应用不需要任何修改就可以直接使用基于闪存的存储设备。

下面对图中所提到发明内容进行更加详细的阐述：

安全FAT的设计说明：由FAT32文件系统的组织形式可知其中FAT表与目录项是比较重要的概念。在FAT表中记录了数据区中簇之间的关系，而数据区中的簇就是存储文件或文件夹信息的基本单位。而FAT文件系统的每一个文件和文件夹都被分配到一个目录项，目录项中记录着文件名、大小、文件内容起始地址以及一些其他元数据(文件或文件夹本身的属性)，目录项作为目录文件内容存放在数据区。

意外断电会对文件系统本身造成破坏，如果同时刻正在操作FAT表或目录项，有产生不完整操作的可能，从而造成数据上的损失。本文中的安全FAT文件系统通过以下概括的三点来解决相关的问题：

(1)记录下将要做什么任务；

(2)执行并完成任务；

(3)删除第1点中所记录下的原始内容；

系统需要在重启时关注是否有未完成或不完整的任务存在，如果发生了这样的情况，要不继续完成正在进行的工作，要不将其回带至先前一致的状态。

由于FAT32在设计中拥有两个FAT表，因此可使双FAT表互为恢复源，只需在FAT1前的保留扇区中选择一个作为日志扇区创建一个刷新FAT表的记录项，便可轻松地回滚受到破坏的FAT表，图2展示了刷新FAT表的流程。

针对目录项受到破坏的情况，本文提出了一种具有创新性的想法，在系统发生意外跳电情况后，最后的事务(对文件进行的操作)存储在名为LSW.SAF的文件中(位于设定的安全文件夹$$SAFEFAT$$中)，同时被修改的文件的簇链(cluster chain)也创建在安全文件夹$$SAFEFAT$$中。被修改的文件有两个簇链文件，一个名为*.cfa，其包含文件原始簇，还有另一个是包含修改后簇链的簇链文件，称为*.cfb。文件被修改后，后一个文件将包含新的簇。

当发生意外的断电后重启文件系统时，它将首先检查文件夹$$SAFEFAT$$是否存在，如果存在，则检查LSW.SAF和簇文件。根据断电的发生时间，它会保留旧的簇文件(*.cfa)，因此文件系统保持其先前(在进行最后修改之前)一致状态。如果在成功刷新/关闭文件后发生断电，则使用包含已修改簇(*.cfb)的簇文件来恢复文件系统，并且写入的文件将处于新(已修改)状态。整个流程如图3所示。

闪存转换层设计说明：本设计方案采用一种混合性的闪存转换层思想，其把逻辑块分成两类：数据块和日志块，前者采用块级别映射，用来存储数据，后者采用页级别映射，用来存储更新。数据块的数量较多，而日志块的数量较少，在项目中占到闪存总空间的3％左右，因此，日志块采用页级别映射后，映射表的规模也很小。所有日志块构成日志缓冲区，当一个更新操作需要对数据块进行更新时，只需要把更新写入到日志缓冲区中，并把数据块中相应的数据设置为“无效”，而不需要擦除原来的数据块，这就可以大大减少对数据块所要执行的擦除操作的总次数。在把逻辑更新页写入到日志块中的物理页的时候，逻辑更新页所对应的逻辑页面编号也会被同时写入到物理页的备用区域，而且写入备用区域的代价是几乎可以忽略不计的。当一个读请求到达时，为了能找到最新版本的物理页，首先需要检查日志块中是否已经存在被请求的页，如果日志块中已经存在该页，就直接将该页内容返回给读请求，该页数据在数据块中相应的旧版本就会被隐藏掉。当一个逻辑页被多次反复更新时，日志块中就会存在与该逻辑页对应的多个物理页，按照更新操作的先后顺序依次记录每一次更新操作，由于后面发生的更新会被记录在日志块中靠后的物理页中，因此，只要在日志块中从后往前扫描，就可以找到最新版本的物理页。

提高性能的缓存机制：

1、FAT缓存

FAT缓存使文件系统可以一次访问从FAT读取多个扇区，因此不必如此频繁地读取新的FAT扇区。其按块排列，每个块都能够覆盖FAT的不同区域。每个块中所包含的扇区数和块数是可调整的。此外，增加FAT缓存功能则每个扇区需要512个额外的RAM字节，同时每个配置的卷都需要提供如图4类似的一组定义。

2、Write缓存

写高速缓存定义了可以在一次操作中从调用者的数据缓冲区中写入的最大扇区数。这也取决于目标驱动器上连续空间的可用性。同时，写高速缓存对其每个条目都需要一个如图5一样的F_POSITION结构，这个结构的目的是在写入错误的情况下能够回退至原本的扇区写入方式。

在内核为Cortex-M4的Waveshare Open407z-c开发板上对文件系统进行了性能测试，表1列出了所使用的硬件信息与所选用的嵌入式操作系统信息。

表1测试板相关信息

设备	相关参数
		处理器	STM32F407，频率168MHz，可提供210DMIPS/566CoreMark性能
内存	SRAM，192KB
		存储设备	三星K9F1G08U0Enandflash，1GB
操作系统	FreeRTOS5.0

具体所做的测试有如下几项：启用Cache功能下功能安全文件系统的读写速度，关闭Cache功能下功能安全文件系统的读写速度以及无缓存条件下原生FAT文件系统的读写速度。测试目标为一个10MB大小的文件，结果取10次平均值。表2列出了测试数据。

表2测试结果

在功能安全测试中，编写了自动化测试函数f_powerfail模拟文件读取、写入、新建、删除等等环境下发生了随机掉电再上电，循环模拟一千次，文件系统结构与所保存的数据没有发生异常。从以上数据可以看出，功能安全文件系统满足了所设想的需求，设计的Cache功能对进一步提升文件系统的性能也起到了相当的作用。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种安全日志文件系统，其特征在于，包括：

文件配置模块：将文件和文件夹分配到目录项，所述目录项包括文件名、大小和文件内容起始地址，所述目录项作为目录文件内容存放在数据区；

转换模块：进行逻辑地址到物理地址的映射、断电恢复、垃圾回收和磨损均衡；提供虚拟的磁盘，上层应用直接使用基于闪存的存储设备；

存储模块：采用混合性的闪存转换层，把逻辑块分成数据块和日志块，所述数据块采用块级别映射，用于存储数据；所述日志块采用页级别映射，用于存储更新；

所有日志块构成日志缓冲区，当对数据块进行更新时，把更新写入到日志缓冲区中，并把数据块中相应的数据设置为无效；

在把逻辑更新页写入到日志块中的物理页时，逻辑更新页所对应的逻辑页面编号被同时写入到物理页的备用区域，当一个读请求到达时，首先检查日志块中是否已经存在被请求的页，如果日志块中已经存在该页，则直接将该页内容返回给读请求，隐藏该页在数据块中相应的数据；

当一个逻辑页被多次反复更新时，日志块中存在与该逻辑页对应的多个物理页，按照更新操作的先后顺序依次记录每一次更新操作，在日志块中从后往前扫描，找到最新版本的物理页。

2.根据权利要求1所述的安全日志文件系统，其特征在于，在重启时检查是否存在未完成或不完整的任务，若存在，则继续完成未完成的任务或将不完整的任务回带至完整状态。

3.一种安全日志文件系统实现方法，其特征在于，采用权利要求1或2所述的安全日志文件系统，包括：

步骤1：在FAT表的保留扇区中选择一个作为日志扇区，创建刷新FAT表的记录项，对受到破坏的FAT表进行回滚和刷新；

步骤2：文件系统进行载入，检查安全文件夹是否存在，若安全文件夹存在，则检查存储最后对文件进行的操作和簇链文件；若安全文件夹不存在，则无需进行文件内容恢复。

4.根据权利要求3所述的安全日志文件系统实现方法，其特征在于，FAT表包含FAT1和FAT2两个表，进行互相刷新；

FAT表的刷新过程包括：

步骤1.1：上电启动后开始进行文件配置表刷新，将日志扇区的刷新状态字段置为1，写目标扇区号，完成后刷新FAT1扇区数据；

步骤1.2：将日志扇区的刷新状态字段置2，写目标扇区号，完成后刷新FAT2扇区数据；

步骤1.3：将日志扇区的刷新状态字段置为0，完成对FAT表的刷新。

5.根据权利要求4所述的安全日志文件系统实现方法，其特征在于，根据断电的发生时间保留旧的簇链文件，若在成功刷新或关闭文件后发生断电，则使用包含已修改簇的簇链文件来恢复文件系统，且写入的文件将处于已修改状态。

6.根据权利要求3所述的安全日志文件系统实现方法，其特征在于，对安全日志文件系统进行功能安全测试，包括：启用Cache功能下功能安全文件系统的读写速度，关闭Cache功能下功能安全文件系统的读写速度以及无缓存条件下原生FAT文件系统的读写速度；测试目标为一个10MB大小的文件，结果取10次平均值；

在功能安全测试中，编写自动化测试函数模拟文件在读取、写入、新建和删除环境下发生随机掉电再上电，循环模拟一千次，若文件系统结构与所保存的数据没有发生异常，则判定文件系统安全。

7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求3至6中任一项所述的方法的步骤。