CN111727905A - 基于深度学习的大小鼠旷场实验自动化分析系统和方法 - Google Patents
基于深度学习的大小鼠旷场实验自动化分析系统和方法 Download PDFInfo
- Publication number
- CN111727905A CN111727905A CN202010574288.9A CN202010574288A CN111727905A CN 111727905 A CN111727905 A CN 111727905A CN 202010574288 A CN202010574288 A CN 202010574288A CN 111727905 A CN111727905 A CN 111727905A
- Authority
- CN
- China
- Prior art keywords
- axis
- animal
- data
- pixel point
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 238000002474 experimental method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims description 24
- 241000283984 Rodentia Species 0.000 claims abstract description 49
- 238000001454 recorded image Methods 0.000 claims abstract description 49
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 241001465754 Metazoa Species 0.000 claims description 139
- 210000003414 extremity Anatomy 0.000 claims description 91
- 230000006399 behavior Effects 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 17
- 210000003194 forelimb Anatomy 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 claims description 10
- 210000003128 head Anatomy 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 230000009194 climbing Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 230000003137 locomotive effect Effects 0.000 claims description 3
- 241000699666 Mus <mouse, genus> Species 0.000 claims 4
- 241000699670 Mus sp. Species 0.000 claims 1
- 241000700159 Rattus Species 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012346 open field test Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Biophysics (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的大小鼠旷场实验自动化分析系统，包括相机、导入单元、分析模块、判定模块、数据库和发送单元；所述相机用于实时录制啮齿动物的运动状态，并自动获取录制影像信息，且相机安装在旷场反应箱正上方，将录制影像信息传输至导入单元，所述导入单元用于将录制影像信息传输至分析模块，数据库内存储有啮齿动物的身体信息和图像信息，本发明实现全自动化追踪与精细行为指标提取，无需依靠其他实验硬件设备，大大减低了实验成本，基于12点身体关键点识别与追踪，本发明除了可以检测二维空间相对位置外，还具备三维姿势检测，可以捕获动物三维空间位置，从而识别站立、爬壁等更加精细指标。
Description
技术领域
本发明涉及试验自动化分析技术领域，具体为基于深度学习的大小鼠旷场实验自动化分析系统和方法。
背景技术
旷场试验，将动物放置在一个封闭的平面区域中观测其活动的程序，该区域被分割成方块，通常对动物在给定时间内跨越方块的计数来度量其活动。
目前，全自动化旷场实验分析系统都是基于计算视觉技术与复杂的硬件设备，大大增加了实验成本与操作难度，且无法精细的判定动物的运动以及一些行为，为此，我们提出基于深度学习的大小鼠旷场实验自动化分析系统和方法。
发明内容
本发明的目的在于提供基于深度学习的大小鼠旷场实验自动化分析系统和方法，通过相机的设置，实现全自动化追踪与精细行为指标提取，无需依靠其他实验硬件设备，大大减低了实验成本，相对于对啮齿动物进行染色进而实现鼻尖-躯干中心-尾根3点追踪的系统而言，无需对啮齿动物进行特殊处理，即可实现12点身体关键点识别与追踪，大大减低了人为因素对实验结果的影响，基于12点身体关键点识别与追踪，本发明除了可以检测二维空间相对位置外，还具备三维姿势检测，可以捕获动物三维空间位置，从而识别站立、爬壁等更加精细指标。
本发明的目的可以通过以下技术方案实现：基于深度学习的大小鼠旷场实验自动化分析系统，包括相机、导入单元、分析模块、判定模块、数据库和发送单元；
所述相机用于实时录制啮齿动物的运动状态，并自动获取录制影像信息，且相机安装在旷场反应箱正上方，将录制影像信息传输至导入单元；
所述导入单元用于将录制影像信息传输至分析模块，数据库内存储有啮齿动物的身体信息和图像信息，身体信息包括鼻尖数据、双眼数据、双耳数据、头部中心数据、躯干中心数据、四肢数据和尾根数据，所述分析模块从数据库内获取身体信息和图像信息，并将其与录制影像信息一同进行数据分析操作，得到X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值传输至判定模块；
所述判定模块对X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值进行判定操作，得到动物的运动状态、所处区域和动物行为的判定传输至发送模块；
所述发送模块用于将动物的运动状态、所处区域和动物行为的判定发送至用户端。
优选的，数据分析操作的具体操作过程为：
K1：获取录制影像信息，并将其依据数据库内的身体信息进行啮齿动物身体特征标记，依据鼻尖数据、双眼数据、双耳数据、头部中心数据、躯干中心数据、四肢数据和尾根数据，识别出录制影像信息中的动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据，将录制影像信息与图像信息，依据遮挡比例进行遮挡判定，将遮挡比例分为10个等级，将遮挡等级乘以一个遮挡因数u1，从而计算出可能性值；
K2：对录制影像信息进行每帧分析，即每帧中动物影像的动作，以1920数值为Y轴，1080数值为X轴建立二维坐标系，并将录制影像信息中啮齿动物的每帧所表现的动作在而为坐标系中进行标记；
K3：在二维坐标系中标记出动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据的坐标数据，即该数据对应的X轴和Y轴所对应的坐标值组合；
K4：依据上述K2中的二维坐标系以及K1中的动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据，将其任意两者进行坐标连线，并将其标定为啮齿动物躯干骨架线，将其连接长度标定为骨架长度，且所连接骨架之间的长度，以像素点为单位；
K5：获取K4中的鼻尖-尾根骨架坐标连线，以鼻尖为原点建立二维坐标系，将鼻尖-尾根向量与X轴正方向所成的夹角标定为骨架方向角，且骨架方向角为0°-360°，若鼻尖-尾根向量与X正方向重合则为0°，获取一段时间内骨架方向角的角度变化，建立一个虚拟直角坐标系，并将一段时间内骨架方向角的角度变化在虚拟直角坐标系中进行标记，当角度不断增加，则判定该动物顺时针旋转，当角度不断减小，则判定该动物逆时针旋转，其中一段时间界定为一分钟之内；
K6：将旷场的区域表示为X轴像素点范围为Q-W，且Q-W的值从小到大表示；Y轴像素点范围为：E-R，且E-R的值为从小到大表示，且Q、W、E和R均为预设值；
K7：将像素点转化成距离值，具体为：将像素点带动到像素点与cm换算计算式：1cm＝A个像素点，A＝旷场反应箱边长对应的像素点/旷场反应箱实际边长(100cm)；
K8：获取动物各个部位的运动距离与运动时间，从而计算出各个部位的对应运动速度，其中，各个部位指代动物鼻尖、双眼、双耳、头部中心、躯干中心、四肢和尾根，并将其标定为运动速度数据；
优选的，判定操作的具体操作过程为：
H1：依据X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值对动物的运动状态、所处区域和动物行为进行判定，具体为：
针对动物的运动状态：
F1：整体运动状态：获取尾根速度，并将其与速度比对值进行比对，当尾根速度大于速度比对值，则判定该动物处于整体运动状态，其中速度比对值＝A/30个像素点/帧；
F2：整体静止状态：获取尾根速度，并将其与速度比对值进行比对，当尾根速度大于速度比对值，则判定该动物处于整体静止状态；
针对区域：
P1：中心区域：获取肢体部位像素点，并将其分别在X轴和Y轴上进行比对，具体为：在X轴上：肢体部位像素点大于等于[Q+(W-Q)/3]，且小于等于[W-(W-Q)/3]，在Y轴上：大于等于[E+(R-E)/3]，且小于等于[E-(R-E)/3]，当取肢体部位像素点满足在X和Y轴上的条件时，则判定动物处于中心区域；
P2：中间区域：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
S1：满足X轴上：肢体部位像素点大于等于[Q+(W-Q)/6]，且小于[Q+(W-Q)/3]，或大于[W-(W-Q)/3]且小于[W-(W-Q)/6]；
并且满足Y轴上：肢体部位像素点大于等于[E+(R-E)/6]且小于[R-(R-E)/6]；
S2：满足Y轴上：肢体部位像素点大于等于[E+(R-E)/6]且小于[E+(R-E)/3]，或大于[R-(R-E)/3]且小于等于[R-(R-E)/6]；
并且满足X轴：大于[W-(W-Q)/3]且小于[W-(W-Q)/6]；
P3：外部区域：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
在X轴上：肢体部位像素点大于等于Q，且肢体部位像素点小于[Q+(W-Q)/6]；
或在X轴上：肢体部位像素点大于等于[W-(W-Q)/6]，且肢体部位像素点小于W；
或在Y轴上：肢体部位像素点大于等于E，且肢体部位像素点小于[E+(R-E)/6]；
或在Y轴上：肢体部位像素点大于[R-(R-E)/6]，且肢体部位像素点小于等于R；
P4：趋墙性：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
在X轴上：肢体部位像素点小于Q+5×A；或在X轴上肢体部位像素点大于W-5×A；或在Y轴上肢体部位像素点小于E+5×A；或在Y轴上肢体部位像素点大于R+5×A；
针对动物行为G1：爬壁行为：任意前肢满足可能性大于0.9，且X轴小于Q；任意前肢满足可能性大于0.9，且X轴大于W；任意前肢满足可能性大于0.9，且Y轴大于E；任意前肢满足可能性大于0.9，且Y轴大于R；
G2：伸展：鼻尖与尾根像素点大于10.5×A个像素点；
G3：蜷缩：鼻尖与尾根像素点大于4.5×A个像素点；
G4：原地转头运动：尾根速度小于A/30个像素点/帧且鼻尖与尾根连线每帧的夹角大于10度；
G5：转圈：若鼻尖-尾根角度值第一帧的值T小于180°
D1:后面相邻的两帧之间，满足T+180在Y1于U1之间，Y1小于T+180则为顺时针旋转，Y1大于T+180则为逆时针旋转；
D2:后面相邻两帧的值满足T在Y2与U2之间，Y2小于T则为顺时针旋转，Y2大于T则为逆时针旋转；接下的全部的帧数，重复D1和D2。
若鼻尖-尾根角度值第一帧的值T大于180°
J1：后面相邻的两帧之间，满足T-180在Y3于U3之间。Y3小于T-180则为顺时针旋转，Y3大于T-180则为逆时针旋转；
J2：后面相邻两帧的值满足T在Y4与U4之间，Y4小于T则为顺时针旋转，Y4大于T则为逆时针旋转，接下的全部的帧数，重复J1和J2；其中，角速度为：相邻两帧鼻尖-尾根角度差值的绝对值相加/总帧数，曲流为：鼻尖-尾根角度差值的绝对值相加/相同时间鼻尖的位移；
基于深度学习的大小鼠旷场实验自动化分析方法，该方法具体包括下述步骤：
步骤一：通过安装在旷场反应箱正上方的相机对啮齿动物的运动状态进行实时录制，并自动获取录制影像信息，将录制影像信息传输至导入单元；
步骤二：通过导入单元将录制影像信息传输至分析模块；
步骤三：通过分析模块从数据库内获取啮齿动物的身体信息和图像信息，并将其与录制影像信息一同进行数据分析操作，从而得出X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值，并将其一同传输至判定模块；
步骤四：通过判定模块对X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值进行判定操作，得到动物的运动状态、所处区域和动物行为的判定传输至发送模块；
步骤五：发送模块将动物的运动状态、所处区域和动物行为的判定发送至用户端。
本发明的有益效果：
1、实现全自动化追踪与精细行为指标提取，无需依靠其他实验硬件设备，大大减低了实验成本。
2、相对于对啮齿动物进行染色进而实现鼻尖-躯干中心-尾根3点追踪的系统而言，无需对啮齿动物进行特殊处理，即可实现12点身体关键点识别与追踪，大大减低了人为因素对实验结果的影响。
3、基于12点身体关键点识别与追踪，本发明除了可以检测二维空间相对位置外，还具备三维姿势检测，可以捕获动物三维空间位置，从而识别站立、爬壁等更加精细指标。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为基于深度学习的大小鼠旷场实验自动化分析系统和方法，包括相机、导入单元、分析模块、判定模块、数据库和发送单元；
所述相机用于实时录制啮齿动物的运动状态，并自动获取录制影像信息，且相机安装在旷场反应箱正上方，将录制影像信息传输至导入单元；
其中，旷场实验环境由旷场反应箱与相机(型号：SONY HDR-CX680帧数：30帧分辨率：1920×1080)。旷场反应箱高30～40cm，底边长100cm，内壁涂黑，底面平均分为25个4cm×4cm小方格，正上方2m处架一相机，其视野可覆盖整个旷场内部。旷场光照为全人工照明，可人为设定“白天”和“黑夜”，白天由两侧墙壁的4只节能灯发出约2001ux照度来模拟，夜晚由一侧墙壁的红外光源提供照明，实验开始由相机全程录像；
所述导入单元用于将录制影像信息传输至分析模块，数据库内存储有啮齿动物的身体信息和图像信息，身体信息包括鼻尖数据、双眼数据、双耳数据、头部中心数据、躯干中心数据、四肢数据和尾根数据，所述分析模块从数据库内获取身体信息和图像信息，并将其与录制影像信息一同进行数据分析操作，数据分析操作的具体操作过程为：
K1：获取录制影像信息，并将其依据数据库内的身体信息进行啮齿动物身体特征标记，依据鼻尖数据、双眼数据、双耳数据、头部中心数据、躯干中心数据、四肢数据和尾根数据，识别出录制影像信息中的动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据，将录制影像信息与图像信息，依据遮挡比例进行遮挡判定，将遮挡比例分为10个等级，将遮挡等级乘以一个遮挡因数u1，从而计算出可能性值；
K2：对录制影像信息进行每帧分析，即每帧中动物影像的动作，以1920数值为Y轴，1080数值为X轴建立二维坐标系，并将录制影像信息中啮齿动物的每帧所表现的动作在而为坐标系中进行标记；
K3：在二维坐标系中标记出动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据的坐标数据，即该数据对应的X轴和Y轴所对应的坐标值组合；
K4：依据上述K2中的二维坐标系以及K1中的动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据，将其任意两者进行坐标连线，并将其标定为啮齿动物躯干骨架线，将其连接长度标定为骨架长度，且所连接骨架之间的长度，以像素点为单位；
K5：获取K4中的鼻尖-尾根骨架坐标连线，以鼻尖为原点建立二维坐标系，将鼻尖-尾根向量与X轴正方向所成的夹角标定为骨架方向角，且骨架方向角为0°-360°，若鼻尖-尾根向量与X正方向重合则为0°，获取一段时间内骨架方向角的角度变化，建立一个虚拟直角坐标系，并将一段时间内骨架方向角的角度变化在虚拟直角坐标系中进行标记，当角度不断增加，则判定该动物顺时针旋转，当角度不断减小，则判定该动物逆时针旋转，其中一段时间界定为一分钟之内；
K6：将旷场的区域表示为X轴像素点范围为Q-W，且Q-W的值从小到大表示；Y轴像素点范围为：E-R，且E-R的值为从小到大表示，且Q、W、E和R均为预设值；
K7：将像素点转化成距离值，具体为：将像素点带动到像素点与cm换算计算式：1cm＝A个像素点，A＝旷场反应箱边长对应的像素点/旷场反应箱实际边长(100cm)；
K8：获取动物各个部位的运动距离与运动时间，从而计算出各个部位的对应运动速度，其中，各个部位指代动物鼻尖、双眼、双耳、头部中心、躯干中心、四肢和尾根，并将其标定为运动速度数据；
K9：将X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值传输至判定模块；
所述判定模块对X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值进行判定操作，判定操作的具体操作过程为：
H1：依据X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值对动物的运动状态、所处区域和动物行为进行判定，具体为：
针对动物的运动状态：
F1：整体运动状态：获取尾根速度，并将其与速度比对值进行比对，当尾根速度大于速度比对值，则判定该动物处于整体运动状态，其中速度比对值＝A/30个像素点/帧；
F2：整体静止状态：获取尾根速度，并将其与速度比对值进行比对，当尾根速度大于速度比对值，则判定该动物处于整体静止状态；
针对区域：
P1：中心区域：获取肢体部位像素点，并将其分别在X轴和Y轴上进行比对，具体为：在X轴上：肢体部位像素点大于等于[Q+(W-Q)/3]，且小于等于[W-(W-Q)/3]，在Y轴上：大于等于[E+(R-E)/3]，且小于等于[E-(R-E)/3]，当取肢体部位像素点满足在X和Y轴上的条件时，则判定动物处于中心区域；
P2：中间区域：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
S1：满足X轴上：肢体部位像素点大于等于[Q+(W-Q)/6]，且小于[Q+(W-Q)/3]，或大于[W-(W-Q)/3]且小于[W-(W-Q)/6]；
并且满足Y轴上：肢体部位像素点大于等于[E+(R-E)/6]且小于[R-(R-E)/6]；
S2：满足Y轴上：肢体部位像素点大于等于[E+(R-E)/6]且小于[E+(R-E)/3]，或大于[R-(R-E)/3]且小于等于[R-(R-E)/6]；
并且满足X轴：大于[W-(W-Q)/3]且小于[W-(W-Q)/6]；
P3：外部区域：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
在X轴上：肢体部位像素点大于等于Q，且肢体部位像素点小于[Q+(W-Q)/6]；
或在X轴上：肢体部位像素点大于等于[W-(W-Q)/6]，且肢体部位像素点小于W；
或在Y轴上：肢体部位像素点大于等于E，且肢体部位像素点小于[E+(R-E)/6]；
或在Y轴上：肢体部位像素点大于[R-(R-E)/6]，且肢体部位像素点小于等于R；
P4：趋墙性：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
在X轴上：肢体部位像素点小于Q+5×A；或在X轴上肢体部位像素点大于W-5×A；或在Y轴上肢体部位像素点小于E+5×A；或在Y轴上肢体部位像素点大于R+5×A；
针对动物行为
G1：爬壁行为：任意前肢满足可能性大于0.9，且X轴小于Q；任意前肢满足可能性大于0.9，且X轴大于W；任意前肢满足可能性大于0.9，且Y轴大于E；任意前肢满足可能性大于0.9，且Y轴大于R；
G2：伸展：鼻尖与尾根像素点大于10.5×A个像素点；
G3：蜷缩：鼻尖与尾根像素点大于4.5×A个像素点；
G4：原地转头运动：尾根速度小于A/30个像素点/帧且鼻尖与尾根连线每帧的夹角大于10度；
G5：转圈：若鼻尖-尾根角度值第一帧的值T小于180°
D1:后面相邻的两帧之间(n与n+1，n对应的值为Y1，n+1对应的值为U1)，满足T+180在Y1于U1之间，Y1小于T+180则为顺时针旋转，Y1大于T+180则为逆时针旋转；
D2:后面相邻两帧的值满足T在Y2与U2之间，Y2小于T则为顺时针旋转，Y2大于T则为逆时针旋转；接下的全部的帧数，重复D1和D2。
若鼻尖-尾根角度值第一帧的值T大于180°
J1：后面相邻的两帧之间(n与n+1，n对应的值为Y3，n+1对应的值为U3)，满足T-180在Y3于U3之间。Y3小于T-180则为顺时针旋转，Y3大于T-180则为逆时针旋转；
J2：后面相邻两帧的值满足T在Y4与U4之间，Y4小于T则为顺时针旋转，Y4大于T则为逆时针旋转，接下的全部的帧数，重复J1和J2；其中，角速度为：相邻两帧鼻尖-尾根角度差值的绝对值相加/总帧数，曲流为：鼻尖-尾根角度差值的绝对值相加/相同时间鼻尖的位移；
H2：将上述H1中的动物的运动状态、所处区域和动物行为的判定传输至发送模块；
所述发送模块用于将动物的运动状态、所处区域和动物行为的判定发送至用户端。
基于深度学习的大小鼠旷场实验自动化分析方法：该方法具体包括下述步骤：
步骤一：通过安装在旷场反应箱正上方的相机对啮齿动物的运动状态进行实时录制，并自动获取录制影像信息，将录制影像信息传输至导入单元；
步骤二：通过导入单元将录制影像信息传输至分析模块；
步骤三：通过分析模块从数据库内获取啮齿动物的身体信息和图像信息，并将其与录制影像信息一同进行数据分析操作，从而得出X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值，并将其一同传输至判定模块；
步骤四：通过判定模块对X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值进行判定操作，得到动物的运动状态、所处区域和动物行为的判定传输至发送模块；
步骤五：发送模块将动物的运动状态、所处区域和动物行为的判定发送至用户端。
本发明在工作时，相机用于实时录制啮齿动物的运动状态，并自动获取录制影像信息，且相机安装在旷场反应箱正上方，将录制影像信息传输至导入单元；导入单元用于将录制影像信息传输至分析模块，数据库内存储有啮齿动物的身体信息和图像信息，身体信息包括鼻尖数据、双眼数据、双耳数据、头部中心数据、躯干中心数据、四肢数据和尾根数据，分析模块从数据库内获取身体信息和图像信息，并将其与录制影像信息一同进行数据分析操作，得到X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值传输至判定模块；判定模块对X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值进行判定操作，得到动物的运动状态、所处区域和动物行为的判定传输至发送模块；发送模块用于将动物的运动状态、所处区域和动物行为的判定发送至用户端。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (4)
1.基于深度学习的大小鼠旷场实验自动化分析系统，其特征在于，包括相机、导入单元、分析模块、判定模块、数据库和发送单元；
所述相机用于实时录制啮齿动物的运动状态，并自动获取录制影像信息，且相机安装在旷场反应箱正上方，将录制影像信息传输至导入单元；
所述导入单元用于将录制影像信息传输至分析模块，数据库内存储有啮齿动物的身体信息和图像信息，身体信息包括鼻尖数据、双眼数据、双耳数据、头部中心数据、躯干中心数据、四肢数据和尾根数据，所述分析模块从数据库内获取身体信息和图像信息，并将其与录制影像信息一同进行数据分析操作，得到X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值传输至判定模块；
所述判定模块对X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值进行判定操作，得到动物的运动状态、所处区域和动物行为的判定传输至发送模块；
所述发送模块用于将动物的运动状态、所处区域和动物行为的判定发送至用户端。
2.根据权利要求1所述的基于深度学习的大小鼠旷场实验自动化分析系统，其特征在于，数据分析操作的具体操作过程为：
K1：获取录制影像信息，并将其依据数据库内的身体信息进行啮齿动物身体特征标记，依据鼻尖数据、双眼数据、双耳数据、头部中心数据、躯干中心数据、四肢数据和尾根数据，识别出录制影像信息中的动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据，将录制影像信息与图像信息，依据遮挡比例进行遮挡判定，将遮挡比例分为10个等级，将遮挡等级乘以一个遮挡因数u1，从而计算出可能性值；
K2：对录制影像信息进行每帧分析，即每帧中动物影像的动作，以1920数值为Y轴，1080数值为X轴建立二维坐标系，并将录制影像信息中啮齿动物的每帧所表现的动作在而为坐标系中进行标记；
K3：在二维坐标系中标记出动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据的坐标数据，即该数据对应的X轴和Y轴所对应的坐标值组合；
K4：依据上述K2中的二维坐标系以及K1中的动物鼻尖数据、动物双眼数据、动物双耳数据、动物头部中心数据、动物躯干中心数据、动物四肢数据和动物尾根数据，将其任意两者进行坐标连线，并将其标定为啮齿动物躯干骨架线，将其连接长度标定为骨架长度，且所连接骨架之间的长度，以像素点为单位；
K5：获取K4中的鼻尖-尾根骨架坐标连线，以鼻尖为原点建立二维坐标系，将鼻尖-尾根向量与X轴正方向所成的夹角标定为骨架方向角，且骨架方向角为0°-360°，若鼻尖-尾根向量与X正方向重合则为0°，获取一段时间内骨架方向角的角度变化，建立一个虚拟直角坐标系，并将一段时间内骨架方向角的角度变化在虚拟直角坐标系中进行标记，当角度不断增加，则判定该动物顺时针旋转，当角度不断减小，则判定该动物逆时针旋转，其中一段时间界定为一分钟之内；
K6：将旷场的区域表示为X轴像素点范围为Q-W，且Q-W的值从小到大表示；Y轴像素点范围为：E-R，且E-R的值为从小到大表示，且Q、W、E和R均为预设值；
K7：将像素点转化成距离值，具体为：将像素点带动到像素点与cm换算计算式：1cm＝A个像素点，A＝旷场反应箱边长对应的像素点/旷场反应箱实际边长(100cm)；
K8：获取动物各个部位的运动距离与运动时间，从而计算出各个部位的对应运动速度，其中，各个部位指代动物鼻尖、双眼、双耳、头部中心、躯干中心、四肢和尾根，并将其标定为运动速度数据。
3.根据权利要求1所述的基于深度学习的大小鼠旷场实验自动化分析系统，其特征在于，判定操作的具体操作过程为：
H1：依据X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值对动物的运动状态、所处区域和动物行为进行判定，具体为：
针对动物的运动状态：
F1：整体运动状态：获取尾根速度，并将其与速度比对值进行比对，当尾根速度大于速度比对值，则判定该动物处于整体运动状态，其中速度比对值＝A/30个像素点/帧；
F2：整体静止状态：获取尾根速度，并将其与速度比对值进行比对，当尾根速度大于速度比对值，则判定该动物处于整体静止状态；
针对区域：
P1：中心区域：获取肢体部位像素点，并将其分别在X轴和Y轴上进行比对，具体为：在X轴上：肢体部位像素点大于等于[Q+(W-Q)/3]，且小于等于[W-(W-Q)/3]，在Y轴上：大于等于[E+(R-E)/3]，且小于等于[E-(R-E)/3]，当取肢体部位像素点满足在X和Y轴上的条件时，则判定动物处于中心区域；
P2：中间区域：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
S1：满足X轴上：肢体部位像素点大于等于[Q+(W-Q)/6]，且小于[Q+(W-Q)/3]，或大于[W-(W-Q)/3]且小于[W-(W-Q)/6]；
并且满足Y轴上：肢体部位像素点大于等于[E+(R-E)/6]且小于[R-(R-E)/6]；
S2：满足Y轴上：肢体部位像素点大于等于[E+(R-E)/6]且小于[E+(R-E)/3]，或大于[R-(R-E)/3]且小于等于[R-(R-E)/6]；
并且满足X轴：大于[W-(W-Q)/3]且小于[W-(W-Q)/6]；
P3：外部区域：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
在X轴上：肢体部位像素点大于等于Q，且肢体部位像素点小于[Q+(W-Q)/6]；
或在X轴上：肢体部位像素点大于等于[W-(W-Q)/6]，且肢体部位像素点小于W；
或在Y轴上：肢体部位像素点大于等于E，且肢体部位像素点小于[E+(R-E)/6]；
或在Y轴上：肢体部位像素点大于[R-(R-E)/6]，且肢体部位像素点小于等于R；
P4：趋墙性：获取肢体部位像素点，并依据其在X轴和Y轴上的位置进行判定，具体为：
在X轴上：肢体部位像素点小于Q+5×A；或在X轴上肢体部位像素点大于W-5×A；或在Y轴上肢体部位像素点小于E+5×A；或在Y轴上肢体部位像素点大于R+5×A；
针对动物行为
G1：爬壁行为：任意前肢满足可能性大于0.9，且X轴小于Q；任意前肢满足可能性大于0.9，且X轴大于W；任意前肢满足可能性大于0.9，且Y轴大于E；任意前肢满足可能性大于0.9，且Y轴大于R；
G2：伸展：鼻尖与尾根像素点大于10.5×A个像素点；
G3：蜷缩：鼻尖与尾根像素点大于4.5×A个像素点；
G4：原地转头运动：尾根速度小于A/30个像素点/帧且鼻尖与尾根连线每帧的夹角大于10度；
G5：转圈：若鼻尖-尾根角度值第一帧的值T小于180°
D1:后面相邻的两帧之间，满足T+180在Y1于U1之间，Y1小于T+180则为顺时针旋转，Y1大于T+180则为逆时针旋转；
D2:后面相邻两帧的值满足T在Y2与U2之间，Y2小于T则为顺时针旋转，Y2大于T则为逆时针旋转；接下的全部的帧数，重复D1和D2。
若鼻尖-尾根角度值第一帧的值T大于180°
J1：后面相邻的两帧之间，满足T-180在Y3于U3之间。Y3小于T-180则为顺时针旋转，Y3大于T-180则为逆时针旋转；
J2：后面相邻两帧的值满足T在Y4与U4之间，Y4小于T则为顺时针旋转，Y4大于T则为逆时针旋转，接下的全部的帧数，重复J1和J2；其中，角速度为：相邻两帧鼻尖-尾根角度差值的绝对值相加/总帧数，曲流为：鼻尖-尾根角度差值的绝对值相加/相同时间鼻尖的位移。
4.如权利要求1所述的基于深度学习的大小鼠旷场实验自动化分析方法，其特征在于，该方法具体包括下述步骤：
步骤一：通过安装在旷场反应箱正上方的相机对啮齿动物的运动状态进行实时录制，并自动获取录制影像信息，将录制影像信息传输至导入单元；
步骤二：通过导入单元将录制影像信息传输至分析模块；
步骤三：通过分析模块从数据库内获取啮齿动物的身体信息和图像信息，并将其与录制影像信息一同进行数据分析操作，从而得出X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值，并将其一同传输至判定模块；
步骤四：通过判定模块对X轴像素点范围、Y轴像素点范围、像素点与cm换算计算式、啮齿动物躯干骨架线、骨架方向角、运动速度数据、骨架长度和可能性值进行判定操作，得到动物的运动状态、所处区域和动物行为的判定传输至发送模块；
步骤五：发送模块将动物的运动状态、所处区域和动物行为的判定发送至用户端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574288.9A CN111727905A (zh) | 2020-06-22 | 2020-06-22 | 基于深度学习的大小鼠旷场实验自动化分析系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574288.9A CN111727905A (zh) | 2020-06-22 | 2020-06-22 | 基于深度学习的大小鼠旷场实验自动化分析系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111727905A true CN111727905A (zh) | 2020-10-02 |
Family
ID=72650356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010574288.9A Pending CN111727905A (zh) | 2020-06-22 | 2020-06-22 | 基于深度学习的大小鼠旷场实验自动化分析系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111727905A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112738460A (zh) * | 2020-12-24 | 2021-04-30 | 安庆师范大学 | 一种长江江豚智能实时监测系统 |
| CN113205032A (zh) * | 2021-04-27 | 2021-08-03 | 安徽正华生物仪器设备有限公司 | 基于深度学习的小鼠悬挂实验的自动化分析系统和方法 |
| CN113470077A (zh) * | 2021-07-15 | 2021-10-01 | 郑州布恩科技有限公司 | 一种基于关键点检测的小鼠旷场实验运动行为分析方法 |
| CN113576466A (zh) * | 2021-08-03 | 2021-11-02 | 安徽正华生物仪器设备有限公司 | 基于深度学习适用于啮齿动物的行为分析方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101526996A (zh) * | 2009-02-23 | 2009-09-09 | 华旭 | 一种小鼠自发行为运动监测与体态图象识别的方法 |
| CN101826197A (zh) * | 2009-03-06 | 2010-09-08 | 北京百奥金生物科技有限公司 | 一种监控动物日常活动的方法及系统 |
| US20130230211A1 (en) * | 2010-10-08 | 2013-09-05 | Panasonic Corporation | Posture estimation device and posture estimation method |
| CN105373780A (zh) * | 2015-11-12 | 2016-03-02 | 启安动物行为学科技股份有限公司 | 一种老鼠步态分析中的步迹识别方法、装置及系统 |
| US20170046567A1 (en) * | 2015-04-16 | 2017-02-16 | California Institute Of Technology | Systems and Methods for Behavior Detection Using 3D Tracking and Machine Learning |
| CN106611159A (zh) * | 2016-12-12 | 2017-05-03 | 燕山大学 | 一种基于机器视觉的小鼠探索的识别方法 |
| CN107351080A (zh) * | 2017-06-16 | 2017-11-17 | 浙江大学 | 一种基于相机单元阵列的混合智能研究系统及控制方法 |
| CN108175427A (zh) * | 2017-12-26 | 2018-06-19 | 深圳先进技术研究院 | 啮齿类动物焦虑水平测试实验轨迹显示方法及装置 |
| CN108664942A (zh) * | 2018-05-17 | 2018-10-16 | 西安理工大学 | 小鼠视频多维特征值的提取方法及视频分类方法 |
| CN110287812A (zh) * | 2019-06-04 | 2019-09-27 | 安徽中盛溯源生物科技有限公司 | 动物转圈行为的计算方法及其应用 |
| CN110599520A (zh) * | 2019-08-30 | 2019-12-20 | 深圳先进技术研究院 | 一种旷场实验数据分析方法、系统及终端设备 |
| CN111225558A (zh) * | 2017-08-07 | 2020-06-02 | 杰克逊实验室 | 长期且连续的动物行为监测 |
-
2020
- 2020-06-22 CN CN202010574288.9A patent/CN111727905A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101526996A (zh) * | 2009-02-23 | 2009-09-09 | 华旭 | 一种小鼠自发行为运动监测与体态图象识别的方法 |
| CN101826197A (zh) * | 2009-03-06 | 2010-09-08 | 北京百奥金生物科技有限公司 | 一种监控动物日常活动的方法及系统 |
| US20130230211A1 (en) * | 2010-10-08 | 2013-09-05 | Panasonic Corporation | Posture estimation device and posture estimation method |
| US20170046567A1 (en) * | 2015-04-16 | 2017-02-16 | California Institute Of Technology | Systems and Methods for Behavior Detection Using 3D Tracking and Machine Learning |
| CN105373780A (zh) * | 2015-11-12 | 2016-03-02 | 启安动物行为学科技股份有限公司 | 一种老鼠步态分析中的步迹识别方法、装置及系统 |
| CN106611159A (zh) * | 2016-12-12 | 2017-05-03 | 燕山大学 | 一种基于机器视觉的小鼠探索的识别方法 |
| CN107351080A (zh) * | 2017-06-16 | 2017-11-17 | 浙江大学 | 一种基于相机单元阵列的混合智能研究系统及控制方法 |
| CN111225558A (zh) * | 2017-08-07 | 2020-06-02 | 杰克逊实验室 | 长期且连续的动物行为监测 |
| CN108175427A (zh) * | 2017-12-26 | 2018-06-19 | 深圳先进技术研究院 | 啮齿类动物焦虑水平测试实验轨迹显示方法及装置 |
| CN108664942A (zh) * | 2018-05-17 | 2018-10-16 | 西安理工大学 | 小鼠视频多维特征值的提取方法及视频分类方法 |
| CN110287812A (zh) * | 2019-06-04 | 2019-09-27 | 安徽中盛溯源生物科技有限公司 | 动物转圈行为的计算方法及其应用 |
| CN110599520A (zh) * | 2019-08-30 | 2019-12-20 | 深圳先进技术研究院 | 一种旷场实验数据分析方法、系统及终端设备 |
Non-Patent Citations (3)
| Title |
|---|
| 张敏: "基于体态识别的动物行为自动分析研究与应用", 《中国优秀博硕士学位论文全文数据库(博士) 基础科学辑》 * |
| 赖盛章: ""大鼠机器人迷宫实验系统的设计与实现"", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 邵开: "小鼠行为学自动化分析系统", 《优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112738460A (zh) * | 2020-12-24 | 2021-04-30 | 安庆师范大学 | 一种长江江豚智能实时监测系统 |
| CN113205032A (zh) * | 2021-04-27 | 2021-08-03 | 安徽正华生物仪器设备有限公司 | 基于深度学习的小鼠悬挂实验的自动化分析系统和方法 |
| CN113470077A (zh) * | 2021-07-15 | 2021-10-01 | 郑州布恩科技有限公司 | 一种基于关键点检测的小鼠旷场实验运动行为分析方法 |
| CN113576466A (zh) * | 2021-08-03 | 2021-11-02 | 安徽正华生物仪器设备有限公司 | 基于深度学习适用于啮齿动物的行为分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111727905A (zh) | 基于深度学习的大小鼠旷场实验自动化分析系统和方法 | |
| JP3560670B2 (ja) | 適応的認識システム | |
| Yang et al. | A dual-cameras-based driver gaze mapping system with an application on non-driving activities monitoring | |
| CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
| CN100417223C (zh) | 基于全方位视觉传感器的智能安保装置 | |
| Mania et al. | A framework for self-training perceptual agents in simulated photorealistic environments | |
| Fang et al. | Motion recognition technology of badminton players in sports video images | |
| CN109886155A (zh) | 基于深度学习的单株水稻检测定位方法、系统、设备及介质 | |
| CN109636779A (zh) | 识别家禽体积体尺的方法、装置及存储介质 | |
| CN105760809A (zh) | 用于头部姿态估计的方法和设备 | |
| CN109357629A (zh) | 一种基于三维扫描仪的智能检测系统及使用方法 | |
| CN110379036A (zh) | 变电站智能巡检识别方法、系统、装置及存储介质 | |
| CN116158421A (zh) | 作物病虫害防治喷药方法、系统、存储介质、设备、应用 | |
| CN111507592A (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
| CN109948439A (zh) | 一种活体检测方法、系统及终端设备 | |
| Zhang | 2d Computer Vision | |
| CN118470645A (zh) | 基于视觉检测的笔试智能监控系统及方法 | |
| Cabido-Lopes et al. | Visual transformations in gesture imitation: What you see is what you do | |
| CN115937894A (zh) | 一种基于人体姿态识别的军事训练方法及系统 | |
| CN109784156A (zh) | 一种基于人工智能的全智能无人营业厅安全监控系统 | |
| Jamone et al. | Learning the reachable space of a humanoid robot: a bio-inspired approach | |
| Li et al. | Deformnet: Latent space modeling and dynamics prediction for deformable object manipulation | |
| CN115439535A (zh) | 一种快速目标检测定位方法、装置及无人机系统 | |
| CN114399707A (zh) | 一种单兵战术训练与考核智能系统及方法 | |
| CN113499036B (zh) | 皮肤监测方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |