CN119183526A - 生物样本分析系统、信息处理装置、信息处理方法及生物样本分析方法 - Google Patents

Abstract

根据实施方式的生物样本分析系统包括：发射单元，用于将光发射到生物样本中的生物颗粒上；检测单元，设置有多个事件像素，每个事件像素将由于从照射单元发射光而从生物颗粒辐射的光的亮度的改变作为事件进行检测，事件像素以二维网格形式布置，并且检测单元输出事件数据，该事件数据包括每个事件像素的地址信息和与通过每个事件像素检测事件的时间相关的信息；生成单元，使用多个校正量中的每个校正量来对多条事件数据中的一部分事件数据的时间信息进行校正，并且使用包括具有所校正后的时间信息的事件数据的多条事件数据来生成针对每个校正量的与生物颗粒相关的图像数据；评价单元，用于评价多条图像数据中的每条图像数据；以及处理单元，基于多条图像数据中具有来自评价单元的最高评价的图像数据来生成与生物颗粒相关的生物颗粒信息。

Description

生物样本分析系统、信息处理装置、信息处理方法及生物样本 分析方法

技术领域

本公开涉及生物样本分析系统、信息处理装置、信息处理方法以及生物样本分析方法。

背景技术

迄今为止，已经有流式细胞术作为用于分析(或研究(分析包括本公开中的研究))诸如细胞、微生物和脂质体的生物相关微粒的蛋白质的方法。用于流式细胞术的装置被称为流式细胞仪(FCM)。在流式细胞仪中，使用具有特定波长的激光来照射在流动通道中呈一列流动的微粒，通过光检测器将从每个微粒发射的光(诸如，荧光、前向散射光以及侧向散射光)转换成电信号并且进行量化，并且对结果进行统计研究，从而确定每个微粒的类型、尺寸、结构等。

此外，近年来，已经开发了通过图像传感器获取从微粒发射的荧光的二维图像的所谓的成像流式细胞仪(IFCM)。

引用列表

专利文献

专利文献1：US 6,211,955

发明内容

技术问题

然而，因为从微粒发射的荧光非常弱，所以根据相关技术的成像流式细胞仪不能获取具有足够亮度的清晰图像，并且因此，难以提高微粒分析的准确度。

此外，近年来，已经开发了与细胞的速度同步地将CCD的曝光值传输并积分至相邻排的所谓的时间延迟积分(TDI)-电荷耦合器件(CCD)成像流式细胞仪(例如，参见专利文献1)。然而，在该方法中，不能精确地指定在流动通道中流动的细胞的速度，并且存在图像质量劣化的可能性。

因此，本公开提出了能够抑制图像质量劣化的生物样本分析系统、信息处理装置、信息处理方法以及生物样本分析方法。

问题的技术方案

为了解决上述问题，根据本公开的一个实施方式的生物样本分析系统，包括：照射单元，照射单元用光照射生物样本中的生物颗粒；检测单元，检测单元将通过用光照射而从生物颗粒发射的光的亮度变化作为事件进行检测，检测单元包括以二维格状图案布置的多个事件像素并且输出事件数据，事件数据包括每个事件像素的地址信息和每个事件像素中检测到事件的时间信息；生成单元，生成单元通过使用多个校正量中的每个校正量来对多条事件数据中的一部分事件数据的时间信息进行校正，并且通过使用包括校正后的时间信息的事件数据的多条事件数据来生成针对每个校正量的关于生物颗粒的图像数据；评价单元，评价单元评价多条图像数据中的每条图像数据；以及处理单元，处理单元基于多条图像数据中评价单元评价最高的图像数据来生成关于生物颗粒的生物颗粒信息。

附图说明

图1是示出根据本公开的生物样本分析装置的配置示例的示意图。

图2是示出根据本公开的第一实施方式的生物样本分析装置的更具体的配置示例的框图。

图3是示出根据第一实施方式的基于事件的视觉传感器(EVS)装置的示意性配置示例的框图。

图4是用于描述第一实施方式中针对生物颗粒的图像中的每个位置检测的事件的图。

图5是用于描述根据第一实施方式的时间延迟积分(TDI)-EVS方法的操作示例的示图(第1部分)。

图6是用于描述根据第一实施方式的TDI-EVS方法的操作示例的示图(第2部分)。

图7是用于描述根据第一实施方式的TDI-EVS方法的操作示例的示图(第3部分)。

图8是用于描述根据第一实施方式的TDI-EVS方法的操作示例的示图(第4部分)。

图9是示出事件检测阈值与噪声之间的关系的示例的示图。

图10是示出根据第一实施方式的事件数据处理单元的更具体的配置示例的框图。

图11是示出通过根据第一实施方式的评价函数计算的评价值的示例的示图。

图12是示出根据第一实施方式的事件数据处理单元的操作流程示例的流程图。

图13是用于描述根据第一实施方式的评价值计算的具体示例的示图。

图14是示出根据第一实施方式的操作示例的流程图。

图15是示出在图14的步骤S105中所示的事件流获取操作的更具体的操作示例的流程图。

图16是示出根据本公开第二实施方式的检测单元的部分的示意性配置示例的框图。

图17是示出实现根据本公开的信息处理装置的功能的计算机的示例的硬件配置图。

具体实施方式

在下文中，将参考附图详细描述本公开的实施方式。注意，在以下实施方式中，相同的附图标记表示相同的部分，并且将省略重复的描述。

此外，将按照以下顺序描述本公开。

1.介绍

2.生物样本分析装置的系统配置示例

3.第一实施方式

3.1系统配置示例

3.2基于事件的视觉传感器(EVS)装置的示意性配置示例

3.3时间延迟积分(TDI)-EVS方法的示例

3.4事件检测阈值与噪声之间的关系

3.5事件数据处理单元的具体配置示例

3.6 评价值计算方法

3.7 评价函数的变形

3.8事件数据处理单元的操作流程示例

3.9 评价值计算的具体示例

3.10 操作流程示例

3.11事件流获取操作的流程的示例

3.12结论

4.第二实施方式

5.第三实施方式

6.硬件配置

1.介绍

在TDI-电荷耦合器件(CCD)成像流式细胞仪中，该TDI-CCD成像流式细胞仪与细胞的速度同步地将CCD的曝光值传输并积分至相邻排，例如，获取与图像传感器中的细胞的移动方向正交的排上的所有像素的光接收量，并且针对每排在与细胞的速度同步的时机将光接收量相加(即，进行积分)，使得可以获取没有由细胞的移动引起的抖动的良好的细胞图像，并且降低了与细胞的速度无关的随机噪声。必要的数据传输量是(每排的像素的数量)×(每像素的位数)×(排速率)。

在此，当每排的像素的数量和像素深度分别是细胞分析所需的最小值的128个像素和8位时，每排的数据传送量是排速率的128×8＝1024位。因此，排速率被限制为图像传感器的数据传输带的大约1/1000。

例如，具有40Gbps(千兆位/秒)的数据传输带的图像传感器的最大排速率约为40kHz(千赫兹)，并且当细胞的移动方向的分辨率为细胞分析所需的最小值的0.5μm(微米)时，能够成像的最大细胞速度为(5×10^-7m)×40kHz＝0.02m/s(米/秒)。最大细胞速度是在不使用成像的情况下利用细胞的荧光强度或散射光强度进行分析的常规流式细胞仪中使用的1m/s至5m/s的细胞速度的1/50至1/250，并且因此不能被认为是足够的。虽然在此示出了TDI-CCD方法，但是这同样适用于采用CMOS图像传感器作为图像传感器的TDI互补金属氧化物半导体(CMOS)方法。

在以下实施方式中，基于事件的视觉传感器(EVS)用作用于获取关于生物颗粒的信息(在下文中，也称为生物颗粒信息)的传感器(检测单元)，基于事件的视觉传感器(EVS)以同步或异步的方式输出已经检测到亮度(也称为光强度)改变的像素的坐标、亮度改变的方向(极性)和时间(事件数据)。这使得可以大大减小要传输的生物颗粒信息的数据大小，使得大大放宽了对每单位时间可以观察到的样本的数量的限制，并且作为结果，可以抑制分析时间的冗余。

另外，生物颗粒信息可以包括以下中的至少一个：根据事件数据重建的生物颗粒的图像数据(后述的生物颗粒图像)；从事件数据或生物颗粒的图像数据提取的生物颗粒的诸如形状、尺寸或颜色的特征量；根据事件数据、生物颗粒的图像数据、生物颗粒的特征量等生成的生物颗粒的速度(或相对速度)、指示正常/异常的属性信息等。

此外，在以下实施方式中，使用EVS实现与TDI方法类似的成像方法。在下文中，该方法也被称为TDI-EVS方法。通过在与TDI方法类似的成像方法中使用EVS，可以以减小的噪声等获取生物颗粒信息。例如，可以获取生物颗粒的具有足够亮度的清晰图像(在下文中，也称为生物颗粒图像)。作为结果，能够在抑制分析时间的冗余的同时提高分析准确度。

然而，不仅在TDI-EVS方法中，而且在采用TDI方法的成像方法中，为了获取具有高图像质量的捕捉图像，需要将排速率与对象图像在图像传感器上移动的速度精确地同步。然而，难以精确地指定对象(诸如流经成像流式细胞仪中的流动通道的细胞)的速度。因此，在通过采用TDI方法的成像方法获得的捕捉图像中可能出现模糊等，从而降低了图像质量。

因此，在以下实施方式中，将通过示例描述能够抑制图像质量劣化的生物样本分析系统、信息处理装置、信息处理方法以及生物样本分析方法。

2.生物样本分析装置的系统配置示例

图1示出根据本发明的生物样本分析装置的配置示例。图1中示出的生物样本分析装置100包括：光照射单元101，该光照射单元101用光照射流经流动通道C的生物样本S；检测单元102，该检测单元102检测通过照射产生的光；以及信息处理单元103，该信息处理单元103处理关于由检测单元102检测的光的信息。生物样本分析装置100的示例包括流式细胞仪和成像流式细胞仪。生物样本分析装置100可以包括分选单元104，该分选单元104分选生物样本S中的特定生物颗粒P。包括分选单元104的生物样本分析装置100的示例包括细胞分选仪。

(生物样本)

生物样本S可以是包含生物颗粒P的液体样本。生物颗粒P是例如细胞生物颗粒或非细胞生物颗粒。细胞可以是活细胞，并且细胞的更具体的示例包括血细胞(诸如红细胞或白细胞)和生殖细胞(诸如精子或受精卵)。细胞可以直接从诸如全血的检材收集，或者可以是培养后获得的培养细胞。非细胞生物颗粒的示例包括细胞外囊泡，具体为外泌体和微囊泡。生物颗粒P可以用一种或多种标记物质(例如，染料(具体为荧光染料)和荧光染料标记的抗体)标记。应注意，本公开的生物样本分析装置100可以分析除了生物颗粒之外的颗粒，或者可以分析用于校准等的微球等。

(流动通道)

流动通道C可以被配置成使得生物样本S流动，具体地，形成包含在生物样本S中的生物颗粒P基本上布置成一列的流。包括流动通道C的流动通道结构可以被设计成使得形成层流，并且具体地，被设计成使得形成生物样本S的流(样本流)被鞘液的流包围的层流。流动通道结构的设计可以由本领域技术人员适当选择，并且可以采用已知的流动通道结构。流动通道C可以形成在诸如微芯片(具有微米级流动通道的芯片)或流动室的流动通道结构中。流动通道C的宽度为1mm(毫米)以下，并且可以具体为10μm(微米)以上且1mm以下。流动通道C和包括流动通道C的流动通道结构可以由诸如塑料或玻璃的材料形成。

本公开的装置可以被配置成使得用来自光照射单元101的光照射在流动通道C中流动的生物样本S，具体地，在生物样本S中的生物颗粒P。本公开的装置可以被配置成使得相对于生物样本S的光询问点在形成有流动通道C的流动通道结构中，或者可以被配置成使得光询问点在流动通道结构外部。前一种情况的示例可以包括微芯片或流动池中的流动通道C被光照射的配置。在后一种情况下，在离开流动通道结构(具体地，流动通道结构的喷嘴部分)之后的生物颗粒P可以被光照射，并且该情况的示例包括空气喷射法的流式细胞仪。

(光照射单元)

光照射单元101包括发光的光源单元和将光引导至流动通道C的导光光学系统。光源单元包括一个或多个光源。光源的类型的示例包括激光光源和发光二极管(LED)。从每个光源发射的光的波长可以是紫外光、可见光或红外光中的任意波长。例如，导光光学系统包括诸如分束器组、镜组或光纤的光学组件。此外，导光光学系统可以包括用于收集光的透镜组，并且可以包括例如物镜。生物样本S可以在一个或多个询问点被光照射。光照射单元101可以被配置为相对于一个询问点收集从一个或多个不同的光源发射的光。

(检测单元)

检测单元102包括检测通过光照射单元101用光照射颗粒而产生的光的至少一个光检测器。例如，待检测的光是荧光、散射光(例如，前向散射光、后向散射光以及侧向散射光中的任一种或多种)、透射光或反射光。每个光检测器包括一个或多个光接收元件，例如，光接收元件阵列。每个光检测器可以包括一个或多个光电二极管(诸如光电倍增管(PMT)和/或雪崩光电二极管(APD)以及多像素光子计数器(MPPC))作为光接收元件。光检测器包括例如多个PMT以一维方向布置的PMT阵列。此外，检测单元102可以包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的成像元件。检测单元102可以通过成像元件获取关于生物颗粒P的生物颗粒信息。

如上所述，生物颗粒信息可以包括生物颗粒的生物颗粒图像、生物颗粒的特征量、生物颗粒的属性信息等中的至少一个。另外，生物颗粒的生物颗粒图像可以包括例如明场图像、暗场图像、荧光图像等。

检测单元102包括允许具有预定检测波长的光到达对应的光检测器的检测光学系统。检测光学系统包括诸如棱镜或衍射光栅的分光单元，或诸如分色镜或滤光片的波长分离单元。检测光学系统可以被配置为，例如，对来自生物颗粒P的光进行光谱分离，并通过大于荧光染料数量的多个光检测器来检测不同波长范围内的光。包括这种检测光学系统的流式细胞仪被称为光谱流式细胞仪。此外，例如，检测光学系统可以被配置为将与荧光染料的荧光波长范围对应的光与来自生物颗粒P的光分离，并且使对应的光检测器检测所分离的光。

此外，检测单元102可以包括将由光检测器获得的电信号转换成数字信号的信号处理单元。信号处理单元可以包括作为执行转换的装置的A/D转换器。通过信号处理单元的转换获得的数字信号可以被发送至信息处理单元103。信息处理单元103可以将数字信号处理为关于光的数据(在下文中也称为“光数据”)。光数据可以是例如包括荧光数据的光数据。更具体地，光数据可以是光强度数据，并且光强度可以是包括荧光的光的光强度数据(可以包括诸如面积、高度和宽度的特征量)。

(信息处理单元)

例如，信息处理单元103包括执行各种数据(例如，光数据)的处理的处理单元以及存储各种数据的存储单元。当从检测单元102获取与荧光染料对应的光数据时，处理单元可以对光强度数据执行荧光泄漏校正(补偿处理)。此外，在光谱流式细胞仪的情况下，处理单元对光数据执行荧光分离处理并且获取与荧光染料对应的光强度数据。

可根据例如JP 2011-232259 A中描述的解混方法来执行荧光分离处理。在检测单元102包括成像元件的情况下，处理单元可以基于由成像元件获取的图像来获取生物颗粒P的形态信息。存储单元可以被配置为能够存储所获取的光数据。存储单元可以进一步被配置为能够存储在解混处理中使用的光谱参考数据。

在生物样本分析装置100包括下述的分选单元104的情况下，信息处理单元103可以基于光数据和/或形态信息确定是否对生物颗粒P进行分选。然后，信息处理单元103基于确定结果控制分选单元104，并且可以通过分选单元104分选生物颗粒P。

信息处理单元103可以被配置为能够输出各种数据(例如，光数据和图像)。例如，信息处理单元103可以输出基于光数据生成的各种数据(例如，二维图表和光谱图表)。此外，信息处理单元103可以被配置为能够接收各种数据，并且例如接收用户对图表进行的门控处理。信息处理单元103可以包括用于输出或输入的输出单元(例如，显示器)或输入单元(例如，键盘)。

信息处理单元103可以被配置为通用计算机，并且可以被配置为包括例如中央处理单元(CPU)、随机存取存储器(RAM)和只读存储器(ROM)的信息处理装置。信息处理单元103可以设置在设置有光照射单元101和检测单元102的壳体中，或者可以在壳体的外部。此外，由信息处理单元103执行的各种处理或功能可以通过经由网络来连接的服务器计算机或云来实现。

(分选单元)

分选单元104可以例如根据信息处理单元103的确定结果对生物颗粒P进行分选。用于进行分选的方法可以是以下方法：通过振动产生包含生物颗粒P的液滴，将电荷施加至待分选的液滴，并且通过电极控制液滴的行进方向。用于进行分选的方法可以是通过控制生物颗粒P在流动通道结构中的行进方向来进行分选的方法。例如，使用压力(注射或抽吸)或电荷的控制机构设置在流动通道结构中。流动通道结构的示例包括具有流动通道C分支成在该流动通道C下游侧的回收流动通道和废液流动通道的流动通道结构的芯片(例如，JP2020-76736A中描述的芯片)，并且将特定生物颗粒P回收到回收流动通道中。

3.第一实施方式

接下来，将参照附图详细描述根据本公开的第一实施方式的生物样本分析系统、信息处理装置、信息处理方法和生物样本分析方法。

3.1系统配置示例

图2是示出根据本实施方式的生物样本分析装置的更具体的配置示例的框图。在本实施方式和下列实施方式中，生物样本分析装置可被配置为组合了多个装置的系统。

如图2所示，根据本实施方式的生物样本分析装置100包括：包含在光照射单元101中的光源单元111和导光光学系统112；包含在检测单元102中的检测光学系统121、EVS装置122、事件数据处理单元123和速度测量单元124；信息处理单元103；以及分选单元104，并且观察从流经流动通道C的生物样本S中的生物颗粒P发射的荧光、反射光和/或透射光的图像。要注意的是，光源单元111、导光光学系统112、检测光学系统121、信息处理单元103以及分选单元104可与上面参照图1描述的那些类似。

更具体地，从光源单元111输出的光(在下文中，也称为激发光)由导光光学系统112收集。所收集的光被施加至在流动通道C中高速流动的生物颗粒P，漂浮有生物颗粒P的生物样本S流经该流动通道C。从用光照射的生物颗粒P发射的反射光或透射光和/或荧光的图像通过检测光学系统121形成在EVS装置122的光接收表面上。

(EVS)

细节将在后面描述的EVS装置122包括例如以二维格状图案布置的像素(在下文中，称为事件像素)。每个事件像素基于入射光的亮度变化来检测事件。EVS装置122输出包括已检测到事件的像素的位置信息(X地址和Y地址)、检测到的事件的极性信息(正事件/负事件)、已检测到事件的时间信息(时间戳)等的事件数据。

在与在EVS装置122的光接收表面上移动的生物颗粒P的图像对应的每个像素中生成的一系列事件数据(在下文中，也称为事件流)被发送到事件数据处理单元123。

(速度测量单元)

速度测量单元124测量例如流经流动通道C的生物颗粒P相对于速度测量单元124的相对速度。在该示例中，举例说明了速度测量单元124相对于流动通道C是静止的情况。因此，在以下描述中，速度测量单元124被视为测量生物颗粒P的速度。

对于速度测量单元124，可以采用能够检测生物颗粒P的速度的各种检测方法，诸如静电方法和光学方法。由速度测量单元124检测的生物颗粒P的速度根据需要被发送至事件数据处理单元123。

在生物颗粒P的速度已知的情况下，例如，在通过控制输送生物样本S的泵系统来将流经流动通道C的生物颗粒P的速度控制为保持在期望速度的情况下，可以省略速度测量单元124。然而，即使在生物颗粒P的速度已知的情况下，生物颗粒P的速度也可能由于环境温度、液体输送系统的阻力的变化等而波动。因此，可以使用速度测量单元124来实际测量生物颗粒P的速度。

(事件数据处理单元)

事件数据处理单元123根据从EVS装置122输入的事件流和生物颗粒P的速度来重建生物颗粒P的图像的帧数据，并且向信息处理单元103发送重建的帧数据。

与生物颗粒P的到达频率相比，生物颗粒P的速度变化足够温和。因此，用于重建帧数据的生物颗粒P的速度不限于包括在待重建的帧数据中的生物颗粒P自身的速度，并且可以是在该生物颗粒P之前和/或之后到达的生物颗粒P的速度、平均值等。

(信息处理装置)

信息处理单元103分析从事件数据处理单元123输入的帧数据，并且执行校正以抵消在流动通道C中移动的生物颗粒P的旋转、提取该生物颗粒P的特征量、辨别生物颗粒P的类型等。此外，信息处理单元103可以包括显示单元，并且可以向用户呈现用于分析的生物颗粒信息以及基于分析结果的特征量、统计数据、类型辨别结果等。此外，信息处理单元103可以基于生物颗粒P的类型辨别结果通过控制分选单元104来分选和收集特定类型的生物颗粒P。

3.2基于事件的视觉传感器(EVS)装置的示意性配置示例

接下来，将描述EVS装置122的示意性配置示例。图3是示出根据本实施方式的EVS装置的示意性配置示例的框图。如图3所示，EVS装置122包括像素阵列单元201、X仲裁器202、Y仲裁器203、事件信号处理电路204、系统控制电路205和输出接口(I/F)206。

像素阵列单元201具有多个事件像素20以二维格状图案布置的配置，每个事件像素20基于入射光的亮度变化来检测事件。在以下描述中，行方向是指像素行中的像素的布置方向(附图中的横向)，并且列方向是指像素列中的像素的布置方向(附图中的纵向)。

每个事件像素20包括根据入射光的亮度产生电荷的光电转换元件。在基于从光电转换元件流出的光电流来检测入射光的亮度变化的情况下，事件像素将从自身进行读取的请求输出到X仲裁器202和Y仲裁器203，并且根据X仲裁器202和Y仲裁器203的协调来输出指示已检测到事件的事件信号。

每个事件像素20基于根据入射光的亮度的光电流中是否发生超过预定阈值的变化来检测事件的有无。例如，每个事件像素20检测超过预定阈值的亮度变化(正事件)或低于预定阈值的亮度变化(负事件)作为事件。

当已检测到事件时，事件像素20输出准许将指示事件发生的事件信号输出到X仲裁器202和Y仲裁器203中的每个的请求。接下来，当从X仲裁器202和Y仲裁器203中的每个接收到指示准许输出事件信号的响应时，事件像素20将事件信号输出到事件信号处理电路204。

X仲裁器202和Y仲裁器203对从多个事件像素20中的每个事件像素20提供的事件信号进行输出的请求进行协调，并且将基于协调结果(事件信号的输出的准许/非准许)的响应以及用于使事件检测复位的复位信号发送到已输出请求的事件像素20。

事件信号处理电路204通过对从事件像素20输入的事件信号执行预定的信号处理来生成并输出事件数据。

如上所述，在事件像素20中产生的光电流的变化也可被认为是入射在事件像素20的光电转换单元上的光的光量变化(亮度变化)。因此，也可以说事件是超过预定阈值的事件像素20的光量变化(亮度变化)。指示事件发生的事件数据至少包括位置信息，例如，指示发生了作为事件的光量变化的像素20的位置的坐标。除了位置信息之外，事件数据还可以包括光量改变的极性。

对于在事件已发生时从事件像素20输出的一系列事件数据，只要保持发生了事件时在多条事件数据之间的间隔，就可以说事件数据隐含地包括指示发生了事件时的相对时间的时间信息。

然而，当由于事件数据被存储在存储器等中而未保持当发生了事件时在多条事件数据之间的间隔时，隐含地包括在事件数据中的时间信息丢失。因此，在不保持当发生了事件时在多条事件数据之间的间隔之前，事件信号处理电路204可以在事件数据中包括指示发生了事件的相对时间的时间信息，诸如时间戳。

(其他配置)

系统控制电路205包括生成各种定时信号的定时发生器，并且基于由定时发生器生成的各种定时来执行X仲裁器202、Y仲裁器203、事件信号处理电路204等的驱动控制。

输出I/F206将从事件信号处理电路204以行单位输出的多条事件数据作为事件流依次输出到事件数据处理单元123。

3.3TDI-EVS方法的示例

接下来，将描述根据本示例的TDI-EVS方法的操作示例。图4是用于描述针对生物颗粒的图像中的每个位置检测的事件的示图，并且图5至图8是用于描述根据本实施方式的TDI-EVS方法的操作示例的示图。

在以下描述中，举例说明了生物颗粒P的移动方向与列方向一致的情况，但是本公开不限于此，并且生物颗粒P的移动方向可以与行方向一致。在这种情况下，在以下描述中的像素列由像素行替换，并且列方向由行方向替换。注意，像素列可以是以列方向布置的事件像素20的序列，并且像素行可以是以行方向布置的事件像素20的序列。

在图4中，(a)示出了形成在EVS装置122的光接收表面上的生物颗粒P的图像P_img以及生物颗粒P的移动方向D，(b)示出了图像P_img沿着线段A1-A2的亮度，并且(c)示出了当图像P_img在移动方向移动时沿着线段A1-A2检测到的事件的示例。

在该示例中，假定图4的(a)中所示的生物颗粒P的图像P_img中沿着线段A1-A2的亮度分布是如(b)中所示的中央核心的区域R1的亮度最高、区域R1外部的区域R2的亮度稍低、以及外周部中的膜的区域R3的亮度稍高的分布。在这种情况下，当图像P_img在移动方向移动以穿过位于线段A1-A2上的点A3处的事件像素20时，如图4的(c)中所示，位于线段A1-A2上的点A3处的事件像素20在线段A1-A2上的亮度增加了预定阈值(在下文中，称为事件检测阈值)以上的位置处检测到正事件，并且在线段A1-A2上的亮度减少了事件检测阈值以上的位置处检测到负事件。

图5示出了图4中所示的事件队列的检测应用于以与图像P_img的移动方向平行的列方向布置的像素列的情况。图5示出了在图4的(a)中所示的生物颗粒P的图像P_img在像素阵列单元201的列方向移动的情况下，在与线段A1-A2对应的像素列的事件像素20_0至20_N中的每个中检测到的事件队列的示例。注意，像素列不限于两个以上的事件像素20的阵列，并且可以是一个事件像素20。

如图5中所示，在与线段A1-A2对应的像素列中的事件像素20_0至20_N中的每个中，检测到图4的(c)中所示的事件队列。然而，在每个事件队列中，包括错误事件(即使没有发生事件也错误地检测到事件的发生)或事件丢失(即使最初已经发生事件也没有检测到事件)作为噪声。通常，这种错误事件或事件丢失随机发生。

因此，在本实施方式中，如图6所示，对齐作为事件数据的队列(通过将通过事件像素20_0至20_N检测的事件队列转换成数据而获得该事件数据的队列)的事件流的时间，并且在时间轴上添加(也被称为叠加)具有对齐的时间的事件流。在这种情况下，如图7所示，累积根据亮度变化检测的正确的正事件和正确的负事件，并且抵消且不累积随机的错误事件和事件丢失。作为结果，如图8所示，可以基于正确的正事件和负事件来重建亮度变化。

在亮度变化的重建中，例如，可以通过按时间序列增加正事件中的亮度值和除以负事件中的亮度值来重建沿着生物颗粒P的线段A1-A2的亮度变化。然而，本公开不限于此，并且例如，可以使用各种方法，诸如，基于时间序列中的事件的发生间隔来获得事件之间的亮度梯度并且使用亮度梯度沿着生物颗粒P的线段A1-A2重建亮度变化的方法，以及使用相加之前或之后的事件流作为输入并且使用亮度变化作为输出来执行机器学习的方法。

此外，例如，生物颗粒P的图像P_img首先到达像素列的事件像素20(在下文中，称为头部像素)的图像P_img的到达可以通过监测从EVS装置122输出的头部像素的事件流来检测。例如，可以从头像素的事件流中的事件的发生频率、发生模式等来检测图像P_img到达头部像素。

此外，可以基于例如由速度测量单元124测量的生物颗粒P的速度和在生物颗粒P的移动方向的事件像素20的间隔来确定用于对齐事件流的时间的时间偏移量(也称为校正量)。即，根据生物颗粒P的速度和事件像素20的间距来计算生物颗粒P的图像P_img的像素之间的移动时间，并且使用移动时间作为偏移量来调整每个事件流的事件数据中的时间戳，由此可以对齐各个事件流的时间。

然而，事件流的时间的对齐不限于上述方法，并且可以进行各种修改。例如，可以使用在相同像素列中的每个事件像素20中检测生物颗粒P的图像P_img的到达并且使用所检测的时间之间的差作为偏移量的方法。在这种情况下，可以通过基于准确的时间戳信息的计算来计算偏移量(例如，偏移量的初始值)，并且因此可以预期诸如信号处理成本的降低的效果。

此外，生物颗粒P的图像P_img的移动速度被认为在两个以上的像素列中是相等的。因此，例如，可以基于在两个以上的像素列的每个中检测到图像P_img到达的时间的差的平均值来确定偏移量。

3.4事件检测阈值与噪声之间的关系

如上所述，在本实施方式中，基于正事件和负事件来重建亮度变化。因此，有必要将事件发生阈值设定为足够小，以便获得用于满意地再现生物颗粒P的图像P_img的灰度数(亮度分辨率)。然而，如图9所示，事件检测阈值和噪声处于权衡关系。因此，当事件检测阈值减小时，噪声(诸如与图像P_img的亮度变化不相关的错误事件或事件丢失)增加。例如，可以基于生物样本S的类型、标记生物颗粒P的荧光染料的类型或从光源单元111输出的光(激光)的强度中的至少一个来确定事件检测阈值。

然而，如在本实施方式中，在分别对齐通过相同像素列中的多个事件像素20检测的事件流的时间并且然后将事件流加在一起的情况下，增强了正确的正事件和负事件，但不增强随机的错误事件和事件丢失。因此，能够提高S/N比。作为结果，即使在通过降低事件检测阈值来增大灰度数的情况下，也可以生成关于生物颗粒P的高度准确的生物颗粒信息。例如，可以重建良好再现了生物颗粒P的图像P_img的生物颗粒图像。

3.5事件数据处理单元的具体配置示例

接下来，将参考附图描述根据本实施方式的事件数据处理单元123的具体配置示例。图10是示出根据本实施方式的事件数据处理单元的更具体的配置示例的框图。

如图10所示，事件数据处理单元123包括TDI电路11、评价单元12、选择单元13、缓冲器14和重建单元15。

(TDI电路11)

TDI电路(也称为生成单元)11通过针对每个事件像素20对齐作为事件流从EVS装置122输出的事件数据的时间并且使事件数据的极性相加(叠加)来生成事件图像数据。事件图像数据是使用在特定帧周期期间输入的事件流生成的图像数据，并且可以是例如二维数据(也称为事件信息)，该二维数据包括如参考图4至图8所描述的针对每个像素计数的事件数据的集合。

在此，根据本实施方式的TDI电路11通过改变当由TDI处理生成事件图像数据时的偏移量(即，与生物颗粒P的速度对应的生物颗粒P的图像P_img的像素之间的移动时间)，从在特定帧周期期间输入的事件流生成多个事件图像数据。

偏移量的变化(在下文中，也称为偏移量候选值)可以是各种值，诸如预先寄存的多个值、基于在前一帧中指定的最佳偏移量(在第一帧的情况下是初始值)从多个值限缩的两个以上的值、以及在作为基准的前一帧中指定的偏移量之前和/或之后以预定间隔设定的两个以上的值。

将使用多个偏移量候选值生成的具有不同特征量的多条事件图像数据按照生成的顺序输入到评价单元12和选择单元13。可以将用于生成的偏移量作为元信息添加到事件图像数据。

(评价单元12)

评价单元12计算所输入的事件图像数据的评价值，并将计算出的评价值输出到选择单元13。在此，评价值可以是与从事件图像数据重建的帧数据的图像质量对应的值。稍后将详细描述由评价单元12计算评价值的方法。

(选择单元13)

选择单元13将从TDI电路11依次输入的事件图像数据中的一条输入到重建单元15。例如，选择单元13将评价值最高的事件图像数据输入到重建单元15。

具体而言，例如，选择单元13将最初针对特定帧输入的事件图像数据存储在缓冲器14中。此时，选择单元13可以将从评价单元12输入的针对存储在缓冲器14中的事件图像数据的评价值保存在寄存器(未示出)等中。此外，缓冲器14可以是例如帧缓冲器等。

接下来，在随后输入的事件图像数据的评价值高于存储在缓冲器14中的事件图像数据的评价值的情况下，选择单元13将缓冲器14中的事件图像数据更新为评价值更高的事件图像数据。此时，可以利用用于更新的事件图像数据的评价值来更新寄存器等。

此后，当基于与特定帧相关的所有事件图像数据完成了缓冲器14的更新时，选择单元13将存储在缓冲器14中的事件图像数据输入到重建单元15。

(重建单元15)

如以上参考图8所描述的，重建单元(也称为处理单元)15通过基于针对事件图像数据的每个像素计数的事件数据的极性重建亮度变化来重建帧数据作为图像数据。将所重建的帧数据输入至信息处理单元103(见图2)。

3.6评价值计算方法

接下来，将描述由评价单元12计算评价值的方法。计算事件图像数据的评价值，使得例如从事件图像数据重建的帧数据中的图像质量劣化(诸如模糊或抖动)越低，评价值越高。

因此，可以使用例如以下等式(1)所示的评价函数来计算随着图像质量劣化越低而变得越高的值的评价值e(i)。在等式(1)中，n_p表示事件图像数据中仅分配有正事件的像素的数量，n_n表示仅分配有负事件的像素的数量，并且n_pn是分配有正事件和负事件两者的像素的数量。此外，n_p_e(i)表示仅检测到正事件的像素中的第i个像素(i是自然数)的正事件的数量，并且n_n_e(i)表示仅检测到负事件的像素中的第i个像素的负事件的数量。此外，w()是加权系数。可以根据成像条件等在例如0至1的范围内调整加权系数w()。然而，当不执行加权时，可以省略w()。以下包括等式(1)的等式基于分母不为零的假设。即，假设当分母为和时，n_p或n_n(或n_pn)中的至少一个为1以上，并且当分母为积时，n_p和n_n(和n_pn)全部为1以上。

如上所述，在等式(1)中所示的评价函数中，对于偏移量候选值＝i的事件图像数据，通过将仅分配有正事件的像素中的正事件的总数(Σ(n_p_e(i)))与仅分配有负事件的像素中的负事件的总数(Σ(n_n_e(i)))的和(或加权和)除以仅分配有正事件的像素的数量n_p、仅分配有负事件的像素的数量n_n以及分配有正事件和负事件两者的像素的数量n_pn的和所获得的值计算为评价值e(i)。

通过使用如上所述的评价函数计算评价值e(i)，如图11所示，可以获取所重建的帧数据中的图像质量劣化越低就越高的评价值e(i)。图11是示出由根据本实施方式的评价函数计算的评价值的示例的示图，并且是示出在偏移量候选值(＝事件像素20的间隔(也称为像素间距)/生物颗粒P的速度)以1的增量设定在-180至-120的范围内的情况下，根据在特定成像条件下获取的事件图像数据来绘制在每个偏移量候选值处获得的评价值e(i)的结果的示图。在图11中所示的示例中，当偏移量＝-151时获得最高的评价值e(i)。因此，预测从利用偏移量＝-151生成的事件图像数据重建的帧数据的图像质量最高。

发生了事件的像素中的事件的极性应为正或负。因此，分配有正事件和负事件两者的像素是包括误差(也称为噪声)的像素(在下文中，也称为误差像素)的可能性高。因此，通过在如等式(1)中的评价函数的分母中包括分配有正事件和负事件两者的像素的数量n_pn，能够随着误差像素的数量的增加而降低计算的评价值e(i)。作为结果，选择单元13可以选择具有很少误差像素的事件图像数据，并且因此可以提高要在重建单元15中重建的帧数据的图像质量。

3.7评价函数的变形

用于计算评价值e(i)的评价函数不限于上述等式(1)，并且可以采用各种评价函数。以下等式(2)至等式(18)示出用于计算评价值e(i)的评价函数的一些变化。

例如，下面的等式(2)和等式(3)各自示出用于仅针对正事件和负事件中的一者计算评价值e(i)的评价函数。

在以下等式(4)至等式(6)中，举例说明了在以上等式(1)至等式(3)中的每个中的分子被设定为“1”的情况。如上所述，即使在仅分配有正事件的像素中的正事件的总数(Σ(n_p_e(i))与仅分配有负事件的像素中的负事件的总数(Σ(n_n_e(i))的和(或加权和)是固定值(在该示例中是“1”)的情况下，与等式(1)至等式(3)类似，可以降低在要重建的帧数据中可能发生模糊、抖动等的事件图像数据的评价值e(i)。

在以下等式(7)至等式(12)中，举例说明了分母的n_pn从上述等式(1)至等式(6)中省略的情况。即，评价函数中的分母的n_pn不是必需的，并且可以省略。

此外，如以下等式(13)中所示，还可以仅基于误差像素评价事件图像数据。

此外，在以上等式(1)至等式(10)中，已举例说明分母和/或分子均是数量的和的情况，但是本公开不限于此，并且分母或分子中的至少一个可以是如以下等式(14)至等式(18)中举例说明的积。由于存在误差像素的数量n_pn为零的可能性，所以下面举例说明n_pn不包括在分母中的评价函数。

此外，例如，在以上等式(1)至等式(18)中，分母和分子可以互换。在这种情况下，可以对被评估为所重建的帧数据的图像质量更加良好的事件图像数据计算具有较低值的评价值e(i)。可以将加权系数w()调整到分母不为零的值。

此外，可以获得n_p、n_n和n_pn中的每个值、n_p、n_n和n_pn中的两个以上的值的总计值等作为评价值。这样的评价值利用以下事实：随着偏移量接近生物颗粒P的速度，仅分配有正事件的像素的数量、仅分配有负事件的像素的数量和分配有正事件和负事件两者的像素的数量趋于减小。在这种情况下，评价值越小，评价越高。

此外，对于事件图像数据，最频繁地分配有n_p_e(i)的像素的数量(在下文中，也称为最频繁像素)与最频繁地分配有n_n_e(i)的像素(最频繁像素)的数量的和可以用作评价值。这样的评价值利用以下事实：随着偏移量接近生物颗粒P的速度，在正事件像素和负事件像素中的每一者中的最频繁像素趋于增加。在这种情况下，评价值越大，评价越高。在多个偏移量候选值的评价值相同的情况下，可以采用具有更大的最频繁值的偏移量候选值。

3.8事件数据处理单元的操作流程示例

接下来，将用示例描述上述事件数据处理单元123的操作流程。图12是示出根据本实施方式的事件数据处理单元的操作流程示例的流程图。

如图12所示，在操作中，首先，在TDI电路11和评价单元12中初始化变量i(i＝1)，并且在例如选择单元13中初始化寄存器中的评价值e_max(e_max＝0)(步骤S1)。

接下来，TDI电路11使用从EVS装置122在帧周期内输入的事件流的第i个偏移量候选值v(i)来执行TDI处理TDI(v(i))，从而生成事件图像数据ev_img(i)(步骤S2)。将所生成的事件图像数据ev_img(i)输入到评价单元12和选择单元13。假定存在n+1(n是1以上的整数)个偏移量候选值v(i)，并且向偏移量候选值v(i)分配0至n的编号(与i对应)。

接下来，评价单元12分析输入事件图像数据ev_img(i)以指定n_p、n_n、n_pn、n_p_e(i)和n_n_e(i)中的必要参数，并且将指定的参数代入评价函数fe(ev_img(i))以计算评价值e(i)(步骤S3)。将计算出的评价值e(i)输入到选择单元13。

接下来，选择单元13确定在步骤S3中输入的评价值e(i)是否高于保存在寄存器等中的评价值e_max(步骤S4)。在评价值e(i)等于或小于评价值e_max的情况下(步骤S4中的否)，操作前进至步骤S6。

另一方面，在评价值e(i)高于评价值e_max的情况下(步骤S4中的是)，选择单元13用新的评价值e(i)更新由寄存器等管理的评价值e_max(e_max＝e(i))，并且用新的事件图像数据ev_img(i)更新存储在缓冲器14中的事件图像数据ev_img(ev_img＝ev_img(i))(步骤S5)，并且操作前进至步骤S6。

在步骤S6中，在TDI电路11以及评价单元12中使变量i增加1(i++)。

接下来，控制TDI电路11、评价单元12、选择单元13或事件数据处理部123的控制单元确定增量的变量i是否大于偏移量候选值v(i)的数量n(即，是否完成了对所有偏移量候选值v(i)的处理)(步骤S7)。在i等于或小于n的情况下(步骤S7中的否)，操作返回到步骤S2，并且重复进行后续操作。

另一方面，在i大于n的情况下(步骤S7中的是)，通过选择单元13读取缓冲器14中的事件图像数据ev_img并且将事件图像数据ev_img输入到重建单元15。重建单元15通过执行重建所输入的事件图像数据ev_img的处理(event_to_image(ev_img))来生成帧数据img(步骤S8)。将所生成的帧数据img输入到信息处理单元103。

在步骤S8中，选择单元13可以在计算最终保持在寄存器等中的评价值e_max(＝ev_img(i))时将变量i的值输入到TDI电路11和评价单元12。另一方面，TDI电路11以及评价单元12也可以基于从选择单元13输入的变量i来执行诸如变更下一帧要使用的偏移量候选值v(i)的初始值(也可以是基准值)或者限缩偏移量候选值v(i)的处理。可以使用基于由速度测量单元124(见图2)测量的生物颗粒P的速度的偏移量作为偏移量候选值v(i)的初始值或基准值。

此后，例如，控制事件数据处理单元123的控制单元确定是否结束操作(步骤S9)，并且在控制单元确定结束操作的情况下(步骤S9中的是)，操作结束。另一方面，在控制单元确定不结束操作的情况下(步骤S9中的否)，操作返回到步骤S1，并且执行后续操作。

3.9评价值计算的具体示例

接下来，下面将描述评价值的具体计算示例。图13是用于描述根据本实施方式的评价值计算的具体示例的示图，其中，(A)示出了偏移量为“-149”的情况，(B)示出了偏移量为“-150”的情况，(C)示出了偏移量为“-151”的情况。在下文中，为了简化描述，将举例说明以下情况：在-180至-120的范围内以1的增量设定偏移量候选值(＝事件像素20的间隔/生物颗粒P的速度)，使用三个偏移量候选值(例如，-149至-151的三个偏移量候选值)，并且使用以上等式(1)作为评价函数。

首先，如图13的(A)所示，在偏移量为“-149”(偏移量候选值v(0)＝-149)的情况下，仅分配有正事件的像素的数量n_p为2，仅分配有负事件的像素的数量n_n为3，并且分配有正事件和负事件两者的像素的数量n_pn为1。此外，仅分配有正事件的像素中的正事件的总数n_p_e是3，并且仅分配有负事件的像素中的正事件的总数n_n_e是3。因此，通过等式(1)获得的评价值e(i＝0)是1.00。

此外，如(B)所示，在偏移量为“-150”(偏移量候选值v(1)＝-150)的情况下，仅分配有正事件的像素的数量n_p为3，仅分配有负事件的像素的数量n_n为4，并且分配有正事件和负事件两者的像素的数量n_pn为0。此外，仅分配有正事件的像素中的正事件的总数n_p_e是5，并且仅分配有负事件的像素中的正事件的总数n_n_e是4。因此，通过等式(1)获得的评价值e(i＝1)是1.29。

此外，如(C)所示，在偏移量为“-151”(偏移量候选值v(2)＝-151)的情况下，仅分配有正事件的像素的数量n_p为3，仅分配有负事件的像素的数量n_n为3，并且分配有正事件和负事件两者的像素的数量n_pn为0。此外，仅分配有正事件的像素中的正事件的总数n_p_e是5，并且仅分配有负事件的像素中的正事件的总数n_n_e是4。因此，通过等式(1)获得的评价值e(i＝2)是1.50。

因此，在该示例中，在偏移量为“-151”的情况下的评价值e(i＝2)是最大值，并且从选择单元13输出在偏移量为“-151”的情况下生成的事件图像数据ev_img(i＝2)。

3.10操作流程示例

接下来，将描述通过根据本实施方式的生物样本分析装置100执行的操作的示例。图14是示出根据本实施方式的操作示例的流程图。下面描述的操作的执行可通过控制生物样本分析装置100的控制单元(未示出)等来控制。

如图14所示，在操作中，首先，激活EVS装置122(步骤S101)，开始生物样本S至流动通道C的递送(步骤S102)，并且开始来自光照射单元101的光的输出(步骤S103)。可以改变执行步骤S101至S103的顺序。

如上所述，当开始生物样本S至流动通道C的递送时，在操作中，速度测量单元124测量在流动通道C中流动的生物颗粒P的速度(步骤S104)。将所测量的生物颗粒P的速度输入到事件数据处理单元123。

用来自光照射单元101的光照射流动通道C上的特定点位。因此，当包含在递送至流动通道C的生物样本S中的生物颗粒P经过该点位时，从该点位发射荧光或散射光，并且发射透射光和反射光。从点位发射的光线经由检测光学系统121入射在EVS装置122的光接收表面上。因此，EVS装置122中的每个事件像素20检测由当生物颗粒P经过点位时发射的光的图像引起的亮度变化作为正事件和负事件。针对每个事件像素20检测到的事件数据在任何时间(即，以异步方式)从EVS装置122输出到事件数据处理单元123。

由于将包括仅在发生了事件的事件像素20中发生的事件的极性和时间戳的事件数据作为流(事件流)从EVS装置122输出到事件数据处理单元123，因此与输出所有像素的光接收量的TDI-CCD方法、TDI-CMOS方法等相比，可显著减少数据传输量。作为结果，即使当连接EVS装置122和事件数据处理单元123的数据传输带是相同的带宽时，可以以更高的生物颗粒P的速度进行成像。

事件数据处理单元123基于从EVS装置122输出的每个事件像素20的事件数据来生成每个生物颗粒P的事件流(步骤S105)。每个生物颗粒P的事件流可以是每个事件像素20的事件流的集合。

然后，事件数据处理单元123基于针对每个生物颗粒P生成的事件流，生成通过流动通道C上的点位的生物颗粒P的生物颗粒信息(在此示例中是帧数据)(步骤S106)，并且将重建的生物颗粒信息输出到信息处理单元103(步骤S107)。

此后，确定是否结束操作(步骤S108)，并且在确定不结束操作的情况下(步骤S108中的否)，操作返回至步骤S104，并且执行后续操作。另一方面，在确定结束操作的情况下(步骤S108中的是)，停止来自光照射单元101的光的输出(步骤S109)，停止生物样本S至流动通道C的递送(步骤S110)，并且操作结束。

3.11事件流获取操作的流程的示例

接下来，将参照图15更详细地描述在图14的步骤S105中描述的获取事件流的操作。图15是示出在图14的步骤S105中所示的事件流获取操作的更具体的操作示例的流程图。

如图15所示，在图14的步骤S105中所示的事件流获取操作中，首先，事件数据处理单元123监测从EVS装置122输入的事件数据(事件流)的队列，以确定生物颗粒P是否已经到达流动通道C上的点位(步骤S121)。在开始图14中示出的操作之后，事件数据处理单元123可以不断监测事件流。

当生物颗粒P到达流动通道C上的点位时(步骤S121中的是)，事件数据处理单元123在生物颗粒P到达之后开始收集包括指示生物颗粒P到达的事件数据的事件数据(步骤S122)。在步骤S123中，从EVS装置122输入的所有事件数据可以与事件数据的收集分开地累积在预定存储区域中。

此后，事件数据处理单元123监测从EVS装置122输入的事件数据的队列(事件流)，以确定生物颗粒P是否已经经过流动通道C上的点位(步骤S123)。然后，当生物颗粒P已经结束了经过流动通道C上的点位时(步骤S123中的是)，事件数据处理单元123停止事件数据的收集(步骤S124)，并针对每个事件像素20根据所收集的事件数据来生成已经经过流动通道C上的点位的每个生物颗粒P的事件流(步骤S125)。此后，操作返回至图14中示出的操作。

3.12结论

如上所述，根据本实施方式，评估利用多个偏移量候选值中的每个来生成的事件图像数据，并且因此，能够基于实测值使用最合适的偏移量来选择经过TDI处理的事件图像数据。然后，由于使用评价值最高的事件图像数据重建帧数据，所以可以有效地抑制重建的帧数据的图像质量劣化。

4.第二实施方式

接下来，将描述根据本公开的第二实施方式的生物样本分析系统、信息处理装置、信息处理方法和生物样本分析方法。在以下描述中，引用与上述实施方式的配置相同的配置，并且省略重复描述。

图16是示出根据本实施方式的检测单元的部分的示意性配置示例的框图。图16示出了包括EVS装置122和事件数据处理单元123的示意性配置示例，并且示出了与在第一实施方式中参考图10描述的配置对应的配置。

如图16所示，在本实施方式中，记录单元125添加到EVS装置122的输出，并且从EVS装置122输出的事件流累积在记录单元125中。

以这种方式，从EVS装置122输出的事件流被累积，并且可以从累积的事件流生成帧数据，并且因此，可以在不限于实时性要求的情况下生成帧数据。作为结果，能够增加偏移量候选值的变化，并且因此，能够生成具有更高图像质量的帧数据。

其他配置、操作和效果可与上述实施方式的配置、操作和效果类似，并且因此在此省略其详细描述。

5.第三实施方式

接下来，将描述根据本公开的第三实施方式的生物样本分析系统、信息处理装置、信息处理方法和生物样本分析方法。在以下描述中，引用与上述实施方式的配置相同的配置，并且省略重复描述。

在上述实施方式中，将生成多个偏移量候选值中评价值最高的事件图像数据时的偏移量候选值指定为最佳偏移量，但是指定最佳偏移量的方法不限于此，并且可以进行各种变更。

例如，可以使用通过将例如高斯函数等拟合到使用三个以上的偏移量候选值生成的事件图像数据的评价值而获得的近似曲线来指定最佳偏移量。然后，可以使用由近似曲线指定的最佳偏移量从事件流生成事件图像数据。

以这种方式，通过从经拟合获得的近似曲线指定最佳偏移量，可以指定更准确的偏移量，并且因此，可以进一步抑制要重建的帧数据的图像质量的劣化。另外，由于能够减少TDI电路11执行TDI处理的次数(即，生成事件图像数据的次数)，因此能够缩短处理时间并且能够削减功耗。

另外，在下一帧和后续帧的处理中，能够将要搜索的偏移量候选值的范围限缩到根据近似曲线指定的最佳偏移量的附近，使得能够进一步缩短处理时间并且能够进一步降低功耗。

其他配置、操作和效果可与上述示例的配置、操作和效果类似，并且因此在此省略其详细描述。

6.硬件配置

例如，可通过具有如图17中所示的配置的计算机1000来实现根据上述实施方式、变形例以及应用例的事件数据处理单元123和/或信息处理单元103。图17是示出实现事件数据处理单元123和/或信息处理单元103的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、ROM 1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个组件通过总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序来操作，并控制各组件。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序加载到RAM 1200上，并且执行与各种程序对应的处理。

ROM 1300存储诸如当计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)的引导程序、取决于计算机1000的硬件的程序等。

HDD 1400是可由计算机读取的记录介质，其中，由CPU 1100执行的程序、程序所使用的数据等被非临时记录。具体地，HDD 1400是记录了作为程序数据1450的示例的用于实现根据本公开的各个操作的程序的记录介质。

通信接口1500是用于计算机1000连接到外部网络1550(例如，互联网)的接口。例如，CPU 1100经由通信接口1500从另一设备接收数据或者向另一设备发送由CPU 1100生成的数据。

输入/输出接口1600具有包括上述I/F单元18的配置，并且是用于连接输入/输出装置1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，CPU 1100经由输入/输出接口1600将数据传输至诸如显示器、扬声器或打印机的输出装置。此外，输入/输出接口1600可以用作用于读取记录在预定记录介质中的程序等的介质接口。介质的示例包括诸如数字通用盘(DVD)或相变可重写盘(PD)的光记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质以及半导体存储器。

例如，在计算机1000用作根据上述实施方式的事件数据处理单元123和/或信息处理单元103的情况下，计算机1000的CPU 1100通过执行加载到RAM 1200上的程序来实现事件数据处理单元123和/或信息处理单元103的功能。此外，HDD 1400存储根据本公开的程序等。CPU 1100从HDD 1400读取程序数据1450并执行程序数据1450，但是作为另一示例，可以经由外部网络1550从另一设备获取这些程序。

虽然上面已经描述了本公开的实施方式，但是本公开的技术范围不限于上述实施方式，并且在不背离本公开的范围的情况下可以做出各种修改。此外，可适当地组合不同的实施方式和变形例的组件。

此外，在本说明书中描述的每个实施方式中的效果仅仅是示例。本公开的效果不限于此，并且可以获得其他效果。

应注意，本技术还可具有以下配置。

(1)一种生物样本分析系统，包括：

照射单元，照射单元用光照射生物样本中的生物颗粒；

检测单元，检测单元将通过用光照射而从生物颗粒发射的光的亮度变化作为事件进行检测，检测单元包括以二维格状图案布置的多个事件像素并且输出事件数据，事件数据包括每个事件像素的地址信息和每个事件像素中检测到事件的时间信息；

生成单元，生成单元通过使用多个校正量中的每个校正量来对多条事件数据中的一部分事件数据的时间信息进行校正，并且通过使用包括校正后的时间信息的事件数据的多条事件数据来生成针对每个校正量的关于生物颗粒的图像数据；

评价单元，评价单元评价多条图像数据中的每条图像数据；以及

处理单元，处理单元基于多条图像数据中评价单元评价最高的图像数据来生成关于生物颗粒的生物颗粒信息。

(2)根据(1)所述的生物样本分析系统，其中，

生物颗粒相对于检测单元沿第一方向移动，

多个事件像素包括在与第一方向对应的第二方向上彼此相邻或彼此分开地布置的两个以上的事件像素，以及

生成单元通过使用多个校正量中的每个校正量，对基于布置在第二方向的两个以上的事件像素中位于第二方向的下游的第一事件像素中检测到的事件的第一事件数据的时间信息进行校正，并且将基于在第二方向中位于上游的第二事件像素中检测到的事件的第二事件数据与使用每个校正量校正后的每条第一事件数据进行叠加，从而生成针对每个校正量的图像数据。

(3)根据(2)所述的生物样本分析系统，其中，

第一事件数据和第二事件数据均包括对应的事件的极性，并且

生成单元通过将第一事件数据的极性和第二事件数据的极性进行叠加来生成图像数据。

(4)根据(1)至(3)中任一项所述的生物样本分析系统，其中，评价单元基于包括在图像数据中的像素中分配有事件数据的像素的数量或者包括在图像数据中的事件数据的条数中的至少一者来评价图像数据。

(5)根据(4)所述的生物样本分析系统，其中，

事件数据包括对应的事件的极性，并且

评价单元针对包括在事件数据中的每个极性，对分配有事件数据的像素的数量或者包括在图像数据中的事件数据的条数中的至少一者进行计数，并且基于针对每个极性的所计数的像素的数量或者所计数的事件数据的条数中的至少一者来评价图像数据。

(6)根据(1)至(5)中任一项所述的生物样本分析系统，其中，评价单元基于等式(19)评价图像数据：

其中，图像数据的评价值是e(i)(i是自然数)，n_p表示图像数据中仅分配有正事件的像素的数量，n_p表示图像数据中仅分配有正事件的像素的数量，n_n表示仅分配有负事件的像素的数量，n_pn表示分配有正事件和负事件两者的像素的数量，n_p_e(i)表示仅检测到正事件的像素中的第i个像素的正事件的数量，n_n_e(i)表示仅检测到负事件的像素中的第i个像素的负事件的数量，并且w()表示加权系数。

(7)根据(1)至(6)中任一项所述的生物样本分析系统，其中，多个校正量是基于生物颗粒的速度和事件像素在生物颗粒的运动方向的间隔而确定的值。

(8)根据(1)至(7)中任一项所述的生物样本分析系统，其中，生成单元基于在预定的帧周期期间从检测单元输出的事件数据来生成多条图像数据。

(9)根据(8)所述的生物样本分析系统，其中，生成单元基于当生成基于在前一个帧周期期间从检测单元输出的事件数据生成的多条图像数据中评价单元评价最高的图像数据时使用的校正量，从多个校正量中限缩用于基于在后一个帧周期期间从检测单元输出的事件数据来生成多条图像数据的校正量。

(10)根据(8)或(9)所述的生物样本分析系统，其中，生成单元将当生成基于在前一个帧周期期间从检测单元输出的事件数据生成的多条图像数据中评价单元评价最高的图像数据时使用的校正量设定为用于基于在后一个帧周期期间从检测单元输出的事件数据来生成多条图像数据的校正量的初始值。

(11)根据(1)至(10)中任一项所述的生物样本分析系统，其中，

评价单元基于对多条图像数据中的每条图像数据的评价结果来指定最佳校正量，

生成单元通过使用由评价单元指定的最佳校正量来校正多条事件数据中的一部分事件数据的时间信息，并且通过使用包括校正后的时间信息的事件数据的多条事件数据来生成具有最佳校正量的图像数据，并且

处理单元基于具有最佳校正量的图像数据来生成生物颗粒信息。

(12)根据(1)至(11)中任一项所述的生物样本分析系统，其中，生物颗粒信息是图像数据。

(13)根据(1)至(12)中任一项所述的生物样本分析系统，其中，生物颗粒是细胞生物颗粒或非细胞生物颗粒。

(14)根据(1)至(13)中任一项所述的生物样本分析系统，其中，

照射单元用光照射流动通道上的预定点位，并且

生物颗粒在流动通道中移动以便经过预定点位。

(15)根据(1)至(14)中任一项所述的生物样本分析系统，进一步包括对从生物颗粒发射的光进行光谱分离的光谱光学系统，其中，

生物颗粒是用一种或多种荧光染料标记的，

照射单元用包括一个或多个波长范围内的激发光的光来照射生物颗粒，并且

检测单元将通过光谱光学系统进行光谱分离的每道光线的亮度变化作为事件进行检测。

(16)根据(15)所述的生物样本分析系统，其中，检测单元包括多个检测单元，多个检测单元与通过光谱光学系统进行光谱分离的每道光线按照一对一对应布置。

(17)一种信息处理装置，包括：

生成单元，生成单元通过使用多个校正量中的每个校正量，对检测单元输出的多条事件数据中的一部分事件数据的时间信息进行校正，检测单元将通过用光对生物样本中的生物颗粒进行的照射而从生物颗粒发射的光的亮度变化作为事件进行检测，检测单元包括以二维格状图案布置的多个事件像素并且输出事件数据，事件数据包括每个事件像素的地址信息和每个事件像素中检测到事件的时间信息，并且通过使用包括校正后的时间信息的事件数据的多条事件数据来生成针对每个校正量的关于生物颗粒的图像数据；

评价单元，评价单元评价多条图像数据中的每条；以及

处理单元，处理单元基于多条图像数据中评价单元评价最高的图像数据来生成关于生物颗粒的生物颗粒信息。

(18)一种信息处理方法，包括：

通过使用多个校正量中的每个校正量来对从检测单元输出的多条事件数据中的一部分事件数据的时间信息进行校正，检测单元将通过用光照射生物样本中的生物颗粒而从生物颗粒发射的光的亮度变化作为事件进行检测，检测单元包括以二维格状图案布置的多个事件像素并且输出事件数据，事件数据包括每个事件像素的地址信息和每个事件像素中检测到事件的时间信息；

通过使用包括校正后的时间信息的事件数据的多条事件数据来生成针对每个校正量的关于生物颗粒的图像数据；

评价多条图像数据中的每条图像数据；以及

基于多条图像数据中评价最高的图像数据来生成关于生物颗粒的生物颗粒信息。

(19)一种生物样本分析方法，包括：

通过照射单元用光照射生物样本中的生物颗粒；

通过检测单元输出事件数据，检测单元将通过用光照射而从生物颗粒发射的光的亮度变化作为事件进行检测，并且检测单元包括以二维格状图案布置的多个事件像素，事件数据包括每个事件像素的地址信息和在每个事件像素中检测到事件的时间信息；

通过使用多个校正量中的每个校正量来对多条事件数据中的一部分事件数据的时间信息进行校正，并且通过使用包括校正后的时间信息的事件数据的多条事件数据来生成针对每个校正量的关于生物颗粒的图像数据；

评价多条图像数据中的每条图像数据；以及

基于多条图像数据中评价最高的图像数据来生成关于生物颗粒的生物颗粒信息。

附图标记列表

11 TDI电路

12 评价单元

13 选择单元

14 缓冲器

15 重建单元

20 事件像素

100 生物样本分析装置

101 光照射单元

102 检测单元

103 信息处理单元

104 分选单元

111 光源单元

112 导光光学系统

121 检测光学系统

122 EVS装置

123 事件数据处理单元

124 速度测量单元

125 记录单元

201 像素阵列单元

202 X仲裁器

203 Y仲裁器

204 事件信号处理电路

205 系统控制电路

206输出I/F。

Claims (19)

1.一种生物样本分析系统，包括：

照射单元，所述照射单元用光照射生物样本中的生物颗粒；

检测单元，所述检测单元将通过用光照射而从所述生物颗粒发射的光的亮度变化作为事件进行检测，所述检测单元包括以二维格状图案布置的多个事件像素并且输出事件数据，所述事件数据包括每个所述事件像素的地址信息和每个所述事件像素中检测到所述事件的时间信息；

生成单元，所述生成单元通过使用多个校正量中的每个校正量来对多条所述事件数据中的一部分事件数据的时间信息进行校正，并且通过使用包括校正后的所述时间信息的事件数据的多条所述事件数据来生成针对每个校正量的关于所述生物颗粒的图像数据；

评价单元，所述评价单元评价多条所述图像数据中的每条图像数据；以及

处理单元，所述处理单元基于多条所述图像数据中所述评价单元评价最高的图像数据来生成关于所述生物颗粒的生物颗粒信息。

2.根据权利要求1所述的生物样本分析系统，其中，

所述生物颗粒相对于所述检测单元沿第一方向移动，

多个所述事件像素包括在与所述第一方向对应的第二方向上彼此相邻或彼此分开地布置的两个以上的事件像素，以及

所述生成单元通过使用所述多个校正量中的每个校正量，对基于布置在所述第二方向的两个以上的事件像素中位于所述第二方向的下游的第一事件像素中检测到的事件的第一事件数据的时间信息进行校正，并且将基于在所述第二方向中位于上游的第二事件像素中检测到的事件的第二事件数据与使用每个所述校正量校正后的每条所述第一事件数据进行叠加，从而生成针对每个校正量的所述图像数据。

3.根据权利要求2所述的生物样本分析系统，其中，

所述第一事件数据和所述第二事件数据均包括对应的事件的极性，并且

所述生成单元通过将所述第一事件数据的极性和所述第二事件数据的极性进行叠加来生成所述图像数据。

4.根据权利要求1所述的生物样本分析系统，其中，所述评价单元基于包括在所述图像数据中的所述像素中分配有所述事件数据的像素的数量或者包括在所述图像数据中的所述事件数据的条数中的至少一者来评价所述图像数据。

5.根据权利要求4所述的生物样本分析系统，其中，

所述事件数据包括对应的事件的极性，并且

所述评价单元针对包括在所述事件数据中的每个极性，对分配有所述事件数据的像素的数量或者包括在所述图像数据中的事件数据的条数中的至少一者进行计数，并且基于针对每个极性的所计数的像素的数量或者所计数的事件数据的条数中的至少一者来评价所述图像数据。

6.根据权利要求1所述的生物样本分析系统，其中，所述评价单元基于等式(1)来评价所述图像数据：

其中，所述图像数据的评价值是e(i)(i是自然数)，n_p表示所述图像数据中仅分配有正事件的像素的数量，n_n表示仅分配有负事件的像素的数量，n_pn表示分配有所述正事件和所述负事件两者的像素的数量，n_p_e(i)表示仅检测到所述正事件的像素中的第i个像素的正事件的数量，n_n_e(i)表示仅检测到所述负事件的像素中的第i个像素的负事件的数量，并且w()表示加权系数。

7.根据权利要求1所述的生物样本分析系统，其中，所述多个校正量是基于所述生物颗粒的速度和所述事件像素在所述生物颗粒的运动方向的间隔而确定的值。

8.根据权利要求1所述的生物样本分析系统，其中，所述生成单元基于在预定的帧周期期间从所述检测单元输出的所述事件数据来生成多条所述图像数据。

9.根据权利要求8所述的生物样本分析系统，其中，所述生成单元基于当生成基于在前一个帧周期期间从所述检测单元输出的事件数据生成的多条图像数据中所述评价单元评价最高的图像数据时使用的校正量，从多个校正量中限缩用于基于在后一个帧周期期间从所述检测单元输出的事件数据来生成多条所述图像数据的校正量。

10.根据权利要求8所述的生物样本分析系统，其中，所述生成单元将当生成基于在前一个帧周期期间从所述检测单元输出的事件数据生成的多条图像数据中所述评价单元评价最高的图像数据时使用的校正量设定为用于基于在后一个帧周期期间从所述检测单元输出的事件数据来生成多条所述图像数据的校正量的初始值。

11.根据权利要求1所述的生物样本分析系统，其中，

所述评价单元基于对所述多条图像数据中的每条图像数据的评价结果来指定最佳校正量，

所述生成单元通过使用由所述评价单元指定的所述最佳校正量来校正多条所述事件数据中的一部分事件数据的所述时间信息，并且通过使用包括校正后的所述时间信息的所述事件数据的多条所述事件数据来生成具有所述最佳校正量的图像数据，并且

所述处理单元基于具有所述最佳校正量的所述图像数据来生成所述生物颗粒信息。

12.根据权利要求1所述的生物样本分析系统，其中，所述生物颗粒信息是图像数据。

13.根据权利要求1所述的生物样本分析系统，其中，所述生物颗粒是细胞生物颗粒或非细胞生物颗粒。

14.根据权利要求1所述的生物样本分析系统，其中，

所述照射单元用光照射流动通道上的预定点位，并且

所述生物颗粒在所述流动通道中移动以便经过所述预定点位。

15.根据权利要求1所述的生物样本分析系统，进一步包括对从所述生物颗粒发射的光进行光谱分离的光谱光学系统，其中，

所述生物颗粒是用一种或多种荧光染料标记的，

所述照射单元用包括一个或多个波长范围内的激发光的光来照射所述生物颗粒，并且

所述检测单元将通过所述光谱光学系统进行光谱分离的每道光线的亮度变化作为所述事件进行检测。

16.根据权利要求15所述的生物样本分析系统，其中，所述检测单元包括多个检测单元，所述多个检测单元与通过所述光谱光学系统进行光谱分离的每道光线按照一对一对应布置。

17.一种信息处理装置，包括：

生成单元，所述生成单元通过使用多个校正量中的每个校正量，对检测单元输出的多条事件数据中的一部分事件数据的时间信息进行校正，所述检测单元将通过用光对生物样本中的生物颗粒进行的照射而从生物颗粒发射的光的亮度变化作为事件进行检测，所述检测单元包括以二维格状图案布置的多个事件像素并且输出事件数据，所述事件数据包括每个所述事件像素的地址信息和每个所述事件像素中检测到所述事件的时间信息，并且通过使用包括校正后的所述时间信息的事件数据的多条事件数据来生成针对每个校正量的关于所述生物颗粒的图像数据；

评价单元，所述评价单元评价多条所述图像数据中的每条；以及

处理单元，所述处理单元基于多条图像数据中所述评价单元评价最高的图像数据来生成关于所述生物颗粒的生物颗粒信息。

18.一种信息处理方法，包括：

通过使用多个校正量中的每个校正量来对从检测单元输出的多条事件数据中的一部分事件数据的时间信息进行校正，所述检测单元将通过用光照射生物样本中的生物颗粒而从生物颗粒发射的光的亮度变化作为事件进行检测，所述检测单元包括以二维格状图案布置的多个事件像素并且输出事件数据，所述事件数据包括每个所述事件像素的地址信息和每个所述事件像素中检测到所述事件的时间信息；

通过使用包括校正后的所述时间信息的所述事件数据的多条所述事件数据来生成针对每个校正量的关于所述生物颗粒的图像数据；

评价多条所述图像数据中的每条图像数据；以及

基于多条所述图像数据中评价最高的图像数据来生成关于所述生物颗粒的生物颗粒信息。

19.一种生物样本分析方法，包括：

通过照射单元用光照射生物样本中的生物颗粒；

通过检测单元输出事件数据，所述检测单元将通过用光照射而从所述生物颗粒发射的光的亮度变化作为事件进行检测，并且所述检测单元包括以二维格状图案布置的多个事件像素，所述事件数据包括每个所述事件像素的地址信息和在每个所述事件像素中检测到所述事件的时间信息；

通过使用多个校正量中的每个校正量来对多条所述事件数据中的一部分事件数据的时间信息进行校正，并且通过使用包括校正后的所述时间信息的所述事件数据的多条事件数据来生成针对每个校正量的关于所述生物颗粒的图像数据；

评价多条所述图像数据中的每条图像数据；以及

基于多条所述图像数据中评价最高的图像数据来生成关于所述生物颗粒的生物颗粒信息。