CN108111818B - 基于多摄像机协同的运动目标主动感知方法和装置 - Google Patents
基于多摄像机协同的运动目标主动感知方法和装置 Download PDFInfo
- Publication number
- CN108111818B CN108111818B CN201711425735.9A CN201711425735A CN108111818B CN 108111818 B CN108111818 B CN 108111818B CN 201711425735 A CN201711425735 A CN 201711425735A CN 108111818 B CN108111818 B CN 108111818B
- Authority
- CN
- China
- Prior art keywords
- camera
- target
- picture
- slave
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 50
- 238000012790 confirmation Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 37
- 230000008447 perception Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000011897 real-time detection Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 15
- 239000000284 extract Substances 0.000 abstract description 5
- 238000012795 verification Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了一种基于多摄像机协同的运动目标主动感知装置和方法。该方法包括：依据主摄像机画面与从摄像机画面进行标定，建立位置映射关系；实时监测主摄像机画面内运动目标，得到候选目标集合；依据目标重要性选取候选目标，依据位置映射关系选取从摄像机进行跟踪拍摄；计算镜头方位角和变焦倍数，调整从摄像机对准候选目标区域，获取该候选目标的高质量图像；根据高质量图像分析候选目标类别，把属于预定设置类型的目标确认为关注目标，放入关注目标集合。本发明利用主从摄像机间位置对应关系，调动从摄像机获取主摄像机画面内候选目标的高质量图像，提取目标图像特征，确认目标类别，实现目标的主动确认。
Description
技术领域
本发明涉及一种多摄像机监控系统中的成像方法和装置，尤其涉及一种基于多摄像机协同的目标主动感知方法和装置，属于视频监控领域。
背景技术
当今，各式视频监控设备在生产、生活环境中广泛应用。视频监控一个重要任务是发现并记录场景中的目标，更进一步的，发现并记录关于目标身份的关键信息，为后续识别目标的身份信息提供帮助。摄像机拍摄到的诸如人脸、车牌、车辆年检标识等，均可以用于确定目标身份，是包含目标唯一性描述信息的部分。摄像机拍摄到更多包含唯一性描述信息，能够为目标身份的识别带来帮助。
现有视频监控设备通过采集监控场景的视频图像，分析视频图像，达到识别和发现场景中目标的效果。但是，由于视频监控应用场景不一，目标的位置和姿态多种多样，部分目标远离或侧对摄像机的目标图像成像质量差，造成基于图像特征的识别方法对部分目标结果差。而现有监控设备使用被动成像策略。设备在固定位置拍摄监控场景，无法主动调整摄像机位置和成像参数改善成像效果。被动成像设备无法主动获取高质量的目标图像，无法获取目标唯一性描述信息，因而无法对目标进行有效识别，在应用中存在着误报、漏报的问题。需要设计一种具有主动成像功能的主动感知设备，解决目标主动确认的问题。
一类卡口相机系统通过在限制目标通过姿态的区域假设监控设备，避免了目标姿态对成像带来的影响，在受限的场景内，解决了目标唯一性描述信息获取的问题。此类系统通过在出入口等区域架设摄像机，辅以闪光灯、红外灯等设备，能够获取质量较高的图像。此类系统拍摄的目标图像分辨率高、质量好，易于提取目标关键信息，目标识别准确率高。但是受限于场景要求，此类系统仅能部署在收费卡口、大楼出入口等少数位置，应用场景有限。
本发明通过摄像机协同，对于主摄像机中发现的待确认目标，调动从摄像机进行跟踪抓拍，并根据抓拍到的高质量目标图像，确认目标类别，在满足了目标主动确认的需求的同时，解决了卡口相机应用场景有限的问题。
本发明设计了一种基于多摄像机协同的运动目标主动感知方法，该方法中从主摄像机画面中检测画面中运动区域，得到候选目标集合，利用摄像机联动关系，调动从摄像机获取每一个候选目标的高质量图像；使用分类器分析目标高质量图像，提取目标图像特征，分析目标类别，根据分类结果将预定设置类型的目标确认关注目标。
发明内容
本发明解决的问题在于，对主摄像机检测出的候选目标，调动周边从摄像机获取候选目标的高质量图像，提取目标图像特征，分析目标类别，确认候选目标是否为关注目标(interested object)。
本发明使用的摄像机分为两类，相对监控场景固定的全景摄像机和具有旋转(Pan)、俯仰(Tilt)、变焦(Zoom)功能的PTZ摄像机。
本发明公开了一种运动目标主动感知装置，包括一台不动全景摄像机和多台PTZ摄像机和所述的运动目标主动感知装置。其中全景监控摄像机为主摄像机，用于获取全景监控视频，PTZ摄像机为从摄像机，用于跟踪和拍摄目标，获取目标高质量图像。运动目标主动感知装置用于在主摄像机画面中提取待确认目标，调动从摄像机拍摄高质量目标图像，分析目标类别，将属于预定设置类型待确认目标的确认为目标。
本发明公开了一种基于多摄像机协同的运动目标自主感知成像方法，其特征在于包括如下步骤：
(1)依据主摄像机画面与从摄像机画面，通过特征提取和特征匹配的方式进行主摄像机与从摄像机间自动标定，建立位置映射关系,
(2)依据检测阈值设定，对主摄像机视场中的多个运动区域进行实时检测，得到候选目标的集合，
(3)依据重要性评价函数选取候选目标集合中重要性最高的候选目标，依据位置映射关系将选取从摄像机跟踪拍摄。
(4)依据候选目标位置和主摄像机与从摄像机间位置映射关系，从摄像机计算镜头方位角和变焦倍数，调整从摄像机对准候选目标区域，获取该候选目标的高质量图像，
(5)提取目标的高质量图像的特征，分析确认目标类别，根据目标分类结果，把属于预定设置类型的目标确认为关注目标，放入关注目标集合，把不属于预定设置类型的目标确认为非关注目标，不放入关注目标集合，
(6)确认是否完成所有候选目标的确认，是则退出，否则返回步骤3。
如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于所述步骤1具有如下流程：
1.1选取任意未标定的从摄像机。
1.2手动调整从摄像机焦距为最小值，调整从摄像机镜头方向，直至从摄像机与主摄像机具有最大化重叠视野。
1.3分别提取主摄像机画面和从摄像机画面加速鲁棒特征(Speeded-Up RobustFeatures)。
1.4使用K最近邻(k-Nearest Neighbor)算法和暴力搜索算法匹配加速鲁棒(SURF)特征点，得到匹配结果GoodMatches。
1.5主摄像机由匹配结果GoodMatches，使用最小二乘法计算主摄像画面与从摄像机画面间的仿射矩阵，建立位置映射关系，完成主从摄像机标定。
1.6判断所有从摄像机是否配准完毕，是则返回步骤1.1，否则退出。
如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤1中，特征匹配步骤中使用K最近邻算法和暴力搜索算法，匹配主摄像机画面和从摄像机画面中的加速鲁棒特征点。对于从摄像机画面每个加速鲁棒特征点，在主摄像机加速鲁棒特征点集合中使用K最近邻(KNN)算法搜索欧式距离最近的3个特征点，结果记入集合Matches；计算Matches中所有加速鲁棒特征点对的欧氏距离，记其中最小的距离为d，取Matches中所有距离小于的min(2d,minDist)点对构成集合GoodMatches，该集合即为匹配特征点对集合。其中minDist为预先设定的阈值，可根据实际情况调整，但应保证GoodMatches中点对个数不少于15个。
如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤1中，主摄像机和从摄像机间位置映射关系包括两部分：主摄像机画面坐标和从摄像机对应关系；主摄像机和从摄像机画面坐标转换关系，
主摄像机画面坐标和从摄像机由包围主摄像机画面中匹配特征点的凸包表示，
根据GoodMatches中的匹配特征点对，计算出主摄像机画面中能够包围所有特征点的凸包，在步骤中C中，落在该凸包中的候选目标分配给该从摄像机。
主摄像机和从摄像机画面坐标转换关系由仿射变换表示，
根据集合GoodMatches中点对的图像坐标位置对应关系，由最小二乘法计算得出的主摄像机画面到从摄像机画面的仿射变换。
如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤2中，使用帧差法检测主摄像机画面中的候选目标，
使用连续自适应均值偏移算法跟踪主摄像机画面中的候选目标，
且候选目标的实时检测的结果具有以下形式：
[ObjectID,Time,PosX_Left,PosY_Left,PosX_Right,PosY_Right]；
其中：
ObjectID表示的是候选目标的编号，
Time表示候选目标的出现时间,
PosX_Left、PosY_Left、PosX_Right、PosY_Right分别表示包围盒左上角和右下角的坐标的时间序列。
如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于所述步骤3中，使用以下公式描述目标的重要性：
E＝Eleave+α×Ewait
其中，Eleave为描述目标离开画面时间的评价函数，目标离开画面的时间越短，该函数数值越大。Ewait为描述目标在目标队列中等待时长的评价函数，未被抓取的时间越久，该函数数值越大；α为可调节参数，α越大越关注目标进入次序。
如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于所述步骤3中，目标离开画面的时间由下述函数估计：
其中，w,h为主摄像机画面宽高，(x,y)为目标当前位置,[x0,y0]为目标进入画面时的位置，为目标运动速度估计值。该函数计算出的时间表示目标在主摄像机画面中沿当前运动方向以匀速直线运动走到画面边界的时间。
如上所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：所述步骤4中，使用主摄像机和从摄像机画面坐标转换关系，将主摄像机中候选目标的坐标转换为从摄像机初始位置画面上的相对坐标，依据鱼眼球面投影规则将从摄像机初始位置画面的相对坐标转换为从摄像机镜头方向的角坐标。从摄像机焦距由此方法估算：若给定目标长宽最大值为l*像素，从摄像机建立位置映射矩阵时的焦距是f,候选目标在从摄像机画面中的宽高为w,h，则可以推出调整后焦距为：
附图说明
图1为根据本发明的一个实施例的基于多摄像机协同的运动目标主动感知方法的流程图。
图2为根据本发明的一个实施例的基于多摄像机协同的运动目标主动感知装置的系统配置图。
图3为根据本发明的一个实施例的基于多摄像机协同的运动目标主动感知方法的主从摄像机标定的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细说明。
根据本发明的一个实施例的基于多摄像机协同的运动目标主动感知装置的系统配置如图2所示。实现本发明中的基于多摄像机协同的运动目标主动感知方法的装置包括：至少两部摄像机，用于实现主从摄像机工作模式；以及，一套运动目标主动感知装置。本发明中的主从摄像机工作模式具体指，对于主摄像机中发现的目标，调动从摄像机进行主动感知，获取高质量视频图像。
本发明使用的摄像机分为两类，一类是对应的监控场景固定的全景摄像机，另一类是具有旋转(Pan)、俯仰(Tilt)、变焦(Zoom)功能的PTZ摄像机。根据本发明的一个具体实施例中的主摄像机与从摄像机包括一台视野固定的全景摄像机和多台PTZ摄像机；作为主摄像机的全景摄像机具有较大视野，其画面能够覆盖监控场景的至少大部分区域。在根据本发明的一个具体实施例中，主摄像机是固定的枪机。在根据本发明的另一个具体实施例中，主摄像机是是固定镜头方向的PTZ摄像机。
在根据本发明的一个实施例，一台从摄像机画面覆盖的监控场景与主摄像机覆盖的监控场景有重叠，而与其他从摄像机覆盖的场景没有重叠。但在根据本发明的又一实施例中，一台从摄像机画面覆盖的监控场景与其他从摄像机覆盖的场景有部分重叠。
根据本发明的运动目标主动感知装置采集主摄像机和多台从摄像机的视频图像，对采集的视频图像进行处理。
根据本发明的一个实施例的运动目标主动感知装置被设置在一台个人计算机(PC)、嵌入式处理盒或板卡上。
在根据本发明的一个实施例中，搭载根据本发明的运动目标主动感知装置的硬件被集成在主摄像机硬件内。在根据本发明的又一个实施例中，根据本发明的运动目标主动感知装置被设置在通过网络连接主摄像机和从摄像机的计算机上。
如图2所示，根据本发明的一个实施例的运动目标主动感知装置包括图像采集单元、候选目标检测单元、目标选取单元、位置映射单元、目标跟踪确认单元。
图像采集单元采集主摄像机和从摄像机的图像。图像采集单元将来自主摄像机的图像传送至候选目标检测单元，用于进行候选目标的检测；图像采集单元还将来自从摄像机的图像，传送至目标跟踪确认单元，用于提取目标特征，分析和确认目标类别。
候选目标检测单元从图像采集单元接收主摄像机的图像，依据检测阈值设定对图像中的运动区域进行实时监测，得到候选目标的集合，并将该集合传送至目标选取单元。根据本发明的一个实施例，候选目标检测单元采用帧差法提取主摄像机画面中的运动区域，并使用连续自适应均值漂移算法跟踪候选目标。
目标选取单元接收来自候选目标检测单元的候选目标的集合，依据目标重要性评价函数，选取候选目标集合中当前时刻重要性最高的候选目标，将选出的候选目标发送至目标位置映射单元。
位置映射单元接受选出的候选目标，依据主摄像机和从摄像机间坐标映射关系选择从摄像机，并发送目标候选再主摄像机画面中的坐标至选定的从摄像机。选定的从摄像机接受目标的坐标，计算镜头角度和焦距调整量，对准候选目标进行拍摄，向目标跟踪确认单元传送高质量目标图像。另外，位置映射单元在根据本发明的运动目标主动感知装置的启动过程中，控制主摄像机和从摄像机完成自动标定的过程，记录位置映射关系。
目标跟踪确认单元接受来自选定的从摄像机的高质量目标图像，提取高质量目标图像中的图像特征，通过分类器目标的图像特征分类，得到目标类别，把属于预定设置类型的目标确认为关注目标，放入关注目标集合，把不属于预定设置类型的目标确认为非关注目标，不放入关注目标集合。
图1所示的是根据本发明的一个实施例的基于多摄像机协同的运动目标主动感知方法，包括5个步骤：
基于图像特征匹配的位置映射关系建立；
基于运动目标检测，获取候选目标集合；
依据重要性评价函数选取候选目标集合中重要性最高的候选目标，依据主摄像机和从摄像机间的位置映射关系，选取从摄像机进行跟踪确认；
依据主从摄像机位置映射关系，从摄像机计算镜头方位和焦距调整量，调整从摄像机镜头对准候选目标方位，获取高质量图像；
使用目标高质量图像提取目标特征，分析确认目标类别。
下面依次对根据本发明的一个实施例中的上述5个步骤进行说明。
(1)基于图像特征匹配的位置映射关系建立
如图3所示，根据本发明的方法的基于图像特征匹配的位置映射关系建立，通过特征提取、特征匹配的方式，标定主摄像机与每一台从摄像机，建立位置映射关系。本发明中的标定是指建立主摄像机画面和从摄像机画面中同一物体的坐标映射的过程。
本发明中的主摄像机和从摄像机间位置映射关系包括两部分：主摄像机画面坐标和从摄像机对应关系；主摄像机画面和从摄像机画面坐标转换关系。
本发明中使用仿射变换描述主摄像机画面与从摄像机画面的坐标映射关系。通过提取主从摄像机画面加速鲁棒特征(Speeded-Up Robust Features)点，利用主摄像机画面和从摄像机画面中相似特征点的位置对应关系进行主从摄像机标定，建立位置映射关系。在根据本发明的一个实施例中，主摄像机画面坐标和从摄像机目标位置坐标映射关系的表征形式为仿射变换矩阵。
仿射变换为平移及线性映射两类函数的复合。在图像处理领域中，仿射变换适用于描述图像平移、旋转、缩放和反转(镜像)。设仿射变换M，M可以用以下公式表示:
主摄像机画面和从摄像机画面中同一场景的坐标对应关系能够用仿射变换描述。给出主摄像机画面和从摄像机画面中已知的数个匹配点对，带入到方程(1)中，采用最小二乘法求解出参数a1～a4、tx和ty，即可得到两幅图像的仿射变换，即本发明中的位置映射矩阵。
在根据本发明的一个实施例中，匹配点对由主摄像机和从摄像机的初始位置图像提取加速鲁棒特征特征点，并匹配方式获取。特征匹配过程中使用暴力搜索主摄像机画面和从摄像机画面中的相似加速鲁棒特征特征点。首先提取主摄像机画面和从摄像机画面的加速鲁棒特征点，对于从摄像机画面的每个加速鲁棒特征点，在主摄像机画面的加速鲁棒特征点集中使用K最近邻(KNN)算法搜索欧式距离最近的3个特征点，结果记入集合Matches；计算Matches中所有加速鲁棒特征点对的欧氏距离，记其中最小的距离为d，取Matches中所有距离小于min(2d,minDist)的点对构成集合GoodMatches，该GoodMatches集合即为输出的匹配特征点对集合。其中minDist为预先设定的阈值，可根据实际情况调整。在根据本发明的一个实施例中，阈值minDist可设为1000。
在根据本发明的一个具体实施例中，位置映射单元依据位置对应关系选取从摄像机跟踪拍摄待确认目标。位置对应关系由GoodMatches中的匹配特征点对通过计算得出。位置映射单元计算能够包含集合GoodMatches中主摄像机画面特征点的凸包，在后续步骤中将落在凸包中的候选目标分配给对应从摄像机跟踪拍摄。
(2)候选目标提取与候选目标集合
运动目标是视频监控中最关注的对象，因此，候选目标提取关注场景中的运动目标。场景中的运动区域称为目标潜在区域，可能包含通过的候选目标。本发明中，通过运动区域检测得到的目标称为候选目标。全体候选目标构成候选目标集合。候选目标集合中记录各个候选目标自进入画面的时间和包围盒坐标的时间序列。
本发明中，候选目标检测单元在主摄像机画面上使用帧差法获取候选目标，使用连续自适应均值漂移(CamShift)算法跟踪候选目标，将候选目标的位置序列记录到候选目标集合中。
在根据本发明的一个实施例中，候选目标集合包括但不限于：
[ObjectID,Time,PosX_Left,PosY_Left,PosX_Right,PosY_Right]；
其中ObjectID表示的是候选目标编号，Time表示当候选目标的出现时间,PosX_Left,PosY_Left,PosX_Right,PosY_Right分别表示包围盒左上角和右下角的坐标。
(3)基于目标重要性评价函数的候选目标选取
目标重要性评价主要根据候选目标的位置、运动方向、速度和进入监控场景后未被感知的时间长度，综合评价目标重要性。在根据本发明的一个实施例中，评价原则是运动速度较快，离监控画面边缘较近且运动方向朝向边缘，进入场景后未被感知的时间约长，则该目标重要性越高。目标选取单元按照重要性排序，抽选重要性最高的目标进行感知。
根据本发明的一个实施例，重要性评价函数形式如下：
E＝Eleave+α×Ewait
其中，Eleave为描述目标离开画面时间的评价函数，目标离开画面的时间越短，该函数数值越大。Ewait为描述目标在目标队列中等待时长的评价函数，未被抓取的时间越久，该函数数值越大；α为可调节参数，α越大越关注目标进入次序。
根据本发明的一个实施例，目标离开画面的时间由下述函数估计：
其中，w,h为主摄像机图像宽高，(x,y)为目标当前位置,[x0,y0]为目标进入画面时的位置，为目标运动速度估计值。该函数计算出的时间表示目标在画面中沿当前运动方向以匀速直线运动走到监控画面边界的时间。
对于所选重要性最高的候选目标，位置映射单元依据位置映射关系选取从摄像机，将候选目标集合记录的目标坐标序列发送至从摄像机。
(4)基于主从摄像机间位置映射关系的从摄像机控制参数计算
根据本发明的一个实施例，使用由初始化步骤生成的位置映射矩阵M进行摄像机间的坐标转换。设主摄像机中的候选目标中心点(x,y)通过主从摄像机间位置映射矩阵M变换到从摄像机初始画面中心的相对坐标过程表示为：
从摄像机初始画面中心的相对坐标(x',y')是从摄像机画面中的二维像素坐标，摄像机无法据此调整，需要转换为从摄像机的方位角坐标。从摄像机依据鱼眼球面投影规则将初始位置画面的相对坐标转换为从摄像机镜头方向的角坐标。
根据本发明的一个实施例，若目标在从摄像机初始画面中心的相对坐标为(x,y)，从摄像机画面宽和高为(w,h)，视场角为摄像机角度调整量有如下形式：
在根据本发明的一个实施例中，主摄像机与从摄像机间包围盒(Bounding Box)尺寸转换通过使用坐标转换目标左上、右下顶点坐标进行估算。以转换后左上、右下顶点围成的包围盒的尺寸，即是目标的预估尺寸。
在根据本发明的一个实施例中，摄像机在调整焦距(视场)中带来的目标尺寸的变化，由焦距的反比例函数进行计算。实现根据本发明的一个实施例的方法和/或装置在运行中能够采集固定尺寸的目标抓拍图像，在给定抓拍图像尺寸要求的情况下，可以估算出从摄像机焦距数值。如给定目标长宽最大值为l*像素，从摄像机建立位置映射关系时的焦距是f,候选目标在从摄像机画面中预估尺寸为(w,h),则可以推出调整后焦距为：
从摄像机根据上述方法计算的摄像机方向和焦距调整量调整摄像机，对准目标后进行一段时间的连续跟踪拍摄，获取高质量目标图像。
(5)使用目标高质量图像提取目标特征，分析确认目标类别
在根据本发明的一个实施例中，目标跟踪确认单元接收从摄像机拍摄的目标高质量图像，并提取目标特征，使用分类器分析目标类别，并根据目标分类结果更新候选目标的类别。在根据本发明的一个实施例中，类型属于预定设置类型的确认为关注目标(interested object)，放入关注目标集合，不属于预定设置类型的目标确认为非关注目标，不放入关注目标集合。
在根据本发明的一个实施例中，提取的特征是能够识别目标类型的特征，主要指的是人脸、躯干、四肢或机动车外观形状、车轮、车牌区域等特征。通过此类区别性特征对候选目标的类别进行确认。分类器通过分析画面中的目标特征，给出目标的分类结果。
在根据本发明的一个实施例中，从摄像机对拍摄的每一帧高质量图像分类，综合统计每一帧的分类结果，选取可能性最大的分类结果作为目标的分类结果。由于摄像机转动速度有限，前几帧视频可能出现较大的模糊或未能捕捉到目标，对分类结果有不良影响。在根据本发明的一个实施例中，可以在目标分类中丢弃低质量图像，以避免对分类结果的不良影响。
以上公开的仅为本发明的具体实施例。在不脱离本发明的权利要求范围的前提下，本领域的技术人员，根据本发明提供的基本技术构思，能够进行各种相应的变化、修正。
Claims (4)
1.一种基于多摄像机协同的运动目标主动感知方法，其特征在于包括：
A)依据主摄像机画面与从摄像机画面，通过特征提取和特征匹配的方式进行主摄像机与从摄像机间自动标定，建立位置映射关系,
B)依据检测阈值设定，对主摄像机视场中的多个运动区域进行实时检测，得到候选目标的集合，
C)依据重要性评价函数，选取候选目标的集合中重要性最高的候选目标，依据位置映射关系选取相应的从摄像机跟踪拍摄，
D)依据候选目标位置和主摄像机与从摄像机间位置映射关系，从摄像机计算镜头方位角和变焦倍数，调整从摄像机对准候选目标区域，获取该候选目标的高质量图像，
E)提取目标的高质量图像的特征，分析确认目标类别，根据目标分类结果，把属于预定设置类型的目标确认为关注目标，放入关注目标集合，把不属于预定设置类型的目标确认为非关注目标，不放入关注目标集合，
其中：
所述步骤A)包括：
A1)选取任意未标定的从摄像机，
A2)把从摄像机焦距调整为最小值，调整从摄像机镜头方向，直至从摄像机与主摄像机具有最大化重叠视野，
A3)分别提取主摄像机和从摄像机画面的加速鲁棒特征，
A4)使用K最近邻算法和暴力搜索算法匹配加速鲁棒特征点，得到匹配结果GoodMatches，
A5)由匹配结果GoodMatches，使用最小二乘法计算主从摄像机画面的仿射矩阵，完成主从摄像机标定，
A6)判断所有从摄像机是否配准完毕，是则返回步骤A1)，否则退出，
且所述基于多摄像机协同的运动目标主动感知方法进一步包括：
F)确认是否完成所有候选目标的确认，是则退出，否则返回步骤C),
所述步骤B)中：
使用帧差法检测主摄像机画面中的候选目标，
使用连续自适应均值偏移算法跟踪主摄像机画面中的候选目标，
且候选目标的实时检测的结果具有以下形式：
[ObjectID,Time,PosX_Left,PosY_Left,PosX_Right,PosY_Right]；
其中：
ObjectID表示的是候选目标的编号，
Time表示候选目标的出现时间,
PosX_Left、PosY_Left、PosX_Right、PosY_Right分别表示包围盒左上角和右下角的坐标的时间序列，
所述步骤C)中：
使用以下公式表征目标的重要性：
E＝Eleave+α×Ewait
其中，
Eleave为描述目标离开画面时间的评价函数，目标离开画面的时间越短，该函数数值越大，
Ewait为描述目标在目标队列中等待时长的评价函数，未被抓取的时间越久，该函数数值越大，
α为可调节参数，α越大越关注目标进入次序，
目标离开画面的时间由下述函数表征：
其中，
w和h分别为主摄像机图像的宽和高，
(x,y)为目标当前位置,
[x0,y0]为目标进入画面时的位置，
为目标运动速度估计值，
表示判断x方向速度分量vx的方向的函数，当vx＞0时，函数取1；当vx≤0时,函数值取0，
由上式表征的时间表示了目标在主摄像机画面中沿当前运动方向以匀速直线运动走到画面的边界的时间，
所述步骤D)中：
从摄像机使用步骤B)中生成的主摄像机和从摄像机间位置映射关系计算从摄像机镜头方向的角坐标和焦距，
从摄像机镜头方向依据如下方式计算：
依据坐标映射关机将主摄像机上的候选目标的坐标转换为从摄像机初始位置画面上的相对坐标，然后依据鱼眼球面投影规则将从摄像机初始位置画面上的相对坐标转换为从摄像机镜头方向的角坐标
摄像机焦距依据如下方式计算：
若给定目标长宽最大值为l*像素，从摄像机建立位置映射关系时的焦距是f,候选目标在从摄像机画面中的宽高为w,h，则可以推出调整后焦距为：
2.根据权利要求1所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：
所述步骤A)中的特征匹配操作使用K最近邻算法和暴力搜索算法，匹配主摄像机和从摄像机画面中的加速鲁棒特征点，
对于从摄像机画面每个加速鲁棒特征点，在主摄像机加速鲁棒特征点集中使用K最近邻算法搜索欧式距离最近的3个特征点，把结果记入集合Matches，
计算集合Matches中所有加速鲁棒特征点对的欧氏距离，记其中最小的距离为d，取集合Matches中所有距离小于min(2d,minDist)的点对构成集合GoodMatches，该集合GoodMatches即为匹配特征点对集合，其中minDist为预先设定的阈值，可根据实际情况调整，但应保证集合GoodMatches中点对的个数不少于15个。
3.根据权利要求1所述的基于多摄像机协同的运动目标主动感知方法，其特征在于：
所述步骤A中，主摄像机和从摄像机间位置映射关系包括两部分：主摄像机画面坐标和从摄像机对应关系；主摄像机和从摄像机画面坐标转换关系，
主摄像机画面坐标和从摄像机由包围主摄像机画面中匹配特征点的凸包表示，
根据集合GoodMatches中的匹配特征点对，计算出主摄像机画面中能够包围所有特征点的凸包，在步骤中C中，落在该凸包中的候选目标分配给该从摄像机，
主摄像机和从摄像机画面坐标转换关系由仿射变换表示，
根据集合GoodMatches中点对的图像坐标位置对应关系，由最小二乘法计算得出的主摄像机画面到从摄像机画面的仿射变换。
4.一种目标主动感知装置，其特征在于包括：
图像采集单元，用于获取主摄像机和从摄像机的视频图像；
候选目标检测单元，用于从主摄像机的视频图像中提取候选目标，形成候选目标集合；
目标选取单元，用于候选目标集合中当前时刻重要性最高的候选目标；
位置映射单元，用于建立主摄像机和从摄像机间位置映射关系，以及选取从摄像机拍摄所选的候选目标并向从摄像机发送候选目标位置信息；
目标跟踪确认单元，用于根据从摄像机拍摄的目标高质量图像，分析目标类别，将属于预定设置类型的目标确认为关注目标，放入关注目标集合，
其中：
位置映射单元使用K最近邻算法和暴力搜索算法匹配主摄像机和从摄像机画面中的加速鲁棒特征点，
对于从摄像机画面每个加速鲁棒特征点，在主摄像机加速鲁棒特征点集中使用K最近邻算法搜索欧式距离最近的3个特征点，把结果记入集合Matches，
计算集合Matches中所有加速鲁棒特征点对的欧氏距离，记其中最小的距离为d，取集合Matches中所有距离小于min(2d,minDist)的点对构成集合GoodMatches，该集合GoodMatches即为匹配特征点对集合，其中minDist为预先设定的阈值，可根据实际情况调整，但应保证集合GoodMatches中点对的个数不少于15个，
位置映射单元中的主摄像机和从摄像机间的位置映射关系包括两部分：主摄像机画面坐标和从摄像机对应关系；主摄像机和从摄像机画面坐标转换关系，
主摄像机画面坐标和从摄像机由包围主摄像机画面中匹配特征点的凸包表示，
根据GoodMatches中的匹配特征点对，计算出主摄像机画面中能够包围所有特征点的凸包，落在该凸包中的候选目标分配给该从摄像机，
主摄像机和从摄像机画面坐标转换关系由仿射变换表示，
根据集合GoodMatches中点对的图像坐标位置对应关系，由最小二乘法计算得出的主摄像机画面到从摄像机画面的仿射变换，
候选目标检测单元使用使用帧差法检测主摄像机画面中的候选目标，
使用连续自适应均值偏移算法跟踪主摄像机画面中的候选目标，
且候选目标的实时检测的结果具有以下形式：
[ObjectID,Time,PosX_Left,PosY_Left,PosX_Right,PosY_Right]；
其中：
ObjectID表示的是候选目标的编号，
Time表示候选目标的出现时间,
PosX_Left、PosY_Left、PosX_Right、PosY_Right分别表示包围盒左上角和右下角的坐标的时间序列，
所述目标跟踪单元中，从摄像机使用位址映射单元中的主摄像机和从摄像机间位置映射关系计算从摄像机镜头方向的角坐标和焦距，
从摄像机镜头方向依据如下方式计算：
依据坐标映射关机将主摄像机上的候选目标的坐标转换为从摄像机初始位置画面上的相对坐标，然后依据鱼眼球面投影规则将从摄像机初始位置画面上的相对坐标转换为从摄像机镜头方向的角坐标
摄像机焦距依据如下方式计算：
若给定目标长宽最大值为l*像素，从摄像机建立位置映射关系时的焦距是f,候选目标在从摄像机画面中的宽高为w,h，则可以推出调整后焦距为：
所述目标选取单元使用以下公式表征目标的重要性：
E＝Eleave+α×Ewait
其中，
Eleave为描述目标离开画面时间的评价函数，目标离开画面的时间越短，该函数数值越大，
Ewait为描述目标在目标队列中等待时长的评价函数，未被抓取的时间越久，该函数数值越大，
α为可调节参数，α越大越关注目标进入次序，
目标离开画面的时间由下述函数表征：
其中，
w和h分别为主摄像机图像的宽和高，
(x,y)为目标当前位置,
[x0,y0]为目标进入画面时的位置，
为目标运动速度估计值，
表示判断x方向速度分量vx的方向的函数，当vx＞0时，函数取1；当vx≤0时,函数值取0，
由上式表征的时间表示了目标在主摄像机画面中沿当前运动方向以匀速直线运动走到画面的边界的时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711425735.9A CN108111818B (zh) | 2017-12-25 | 2017-12-25 | 基于多摄像机协同的运动目标主动感知方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711425735.9A CN108111818B (zh) | 2017-12-25 | 2017-12-25 | 基于多摄像机协同的运动目标主动感知方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108111818A CN108111818A (zh) | 2018-06-01 |
| CN108111818B true CN108111818B (zh) | 2019-05-03 |
Family
ID=62213191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711425735.9A Active CN108111818B (zh) | 2017-12-25 | 2017-12-25 | 基于多摄像机协同的运动目标主动感知方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108111818B (zh) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110830756B (zh) * | 2018-08-07 | 2022-05-17 | 华为技术有限公司 | 一种监控方法与装置 |
| CN113190013B (zh) * | 2018-08-31 | 2023-06-27 | 创新先进技术有限公司 | 控制终端运动的方法和装置 |
| CN110881117A (zh) * | 2018-09-06 | 2020-03-13 | 杭州海康威视数字技术股份有限公司 | 一种画面间区域映射方法、装置及多相机观测系统 |
| CN109377518A (zh) * | 2018-09-29 | 2019-02-22 | 佳都新太科技股份有限公司 | 目标追踪方法、装置、目标追踪设备及存储介质 |
| CN111179305B (zh) * | 2018-11-13 | 2023-11-14 | 晶睿通讯股份有限公司 | 对象位置估算方法及其对象位置估算装置 |
| CN109522846B (zh) * | 2018-11-19 | 2020-08-14 | 深圳博为教育科技有限公司 | 一种起立监测方法、装置、服务器及起立监测系统 |
| CN111612812B (zh) * | 2019-02-22 | 2023-11-03 | 富士通株式会社 | 目标物检测方法、检测装置和电子设备 |
| CN110176039A (zh) * | 2019-04-23 | 2019-08-27 | 苏宁易购集团股份有限公司 | 一种针对人脸识别的摄像机调校方法和系统 |
| CN110059641B (zh) * | 2019-04-23 | 2023-02-03 | 重庆工商大学 | 基于多预置点的深度鸟类识别算法 |
| EP3866110A1 (en) * | 2019-05-31 | 2021-08-18 | SZ DJI Technology Co., Ltd. | Target detection method, target detection apparatus and unmanned aerial vehicle |
| CN110177256B (zh) * | 2019-06-17 | 2021-12-14 | 北京影谱科技股份有限公司 | 一种追踪视频数据获取方法和装置 |
| CN110191324B (zh) * | 2019-06-28 | 2021-09-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、服务器及存储介质 |
| CN112215048B (zh) * | 2019-07-12 | 2024-03-22 | 中国移动通信有限公司研究院 | 一种3d目标检测方法、装置和计算机可读存储介质 |
| CN110430395A (zh) * | 2019-07-19 | 2019-11-08 | 苏州维众数据技术有限公司 | 视频数据ai处理系统及处理方法 |
| CN112308924B (zh) * | 2019-07-29 | 2024-02-13 | 浙江宇视科技有限公司 | 增强现实中摄像机的标定方法、装置、设备及存储介质 |
| CN110493569B (zh) * | 2019-08-12 | 2021-06-15 | 苏州佳世达光电有限公司 | 监控目标拍摄追踪方法及系统 |
| CN112492261A (zh) * | 2019-09-12 | 2021-03-12 | 华为技术有限公司 | 跟踪拍摄方法及装置、监控系统 |
| CN112954188B (zh) * | 2019-12-10 | 2021-10-29 | 李思成 | 一种仿人眼感知的目标主动抓拍方法和装置 |
| CN111131697B (zh) * | 2019-12-23 | 2022-01-04 | 北京中广上洋科技股份有限公司 | 一种多摄像机智能跟踪拍摄方法、系统、设备及存储介质 |
| CN113518174A (zh) * | 2020-04-10 | 2021-10-19 | 华为技术有限公司 | 一种拍摄方法、装置及系统 |
| CN111698467B (zh) * | 2020-05-08 | 2022-05-06 | 北京中广上洋科技股份有限公司 | 基于多摄像机的智能跟踪方法及系统 |
| CN111541851B (zh) * | 2020-05-12 | 2021-08-13 | 南京甄视智能科技有限公司 | 基于无人机悬停勘测的人脸识别设备精准安装方法 |
| CN111354011A (zh) * | 2020-05-25 | 2020-06-30 | 江苏华丽智能科技股份有限公司 | 多运动目标信息捕获与跟踪系统及方法 |
| CN111815722A (zh) * | 2020-06-10 | 2020-10-23 | 广州市保伦电子有限公司 | 一种双景抠像方法及系统 |
| CN111918023B (zh) * | 2020-06-29 | 2021-10-22 | 北京大学 | 一种监控目标跟踪方法及装置 |
| CN111866392B (zh) * | 2020-07-31 | 2021-10-08 | Oppo广东移动通信有限公司 | 拍摄提示方法、装置、存储介质及电子设备 |
| CN112767452B (zh) * | 2021-01-07 | 2022-08-05 | 北京航空航天大学 | 摄像机主动感知方法及系统 |
| CN113179371B (zh) * | 2021-04-21 | 2023-04-07 | 新疆爱华盈通信息技术有限公司 | 一种拍摄方法、装置及抓拍系统 |
| CN114219937A (zh) * | 2021-11-04 | 2022-03-22 | 浙江大华技术股份有限公司 | 目标识别方法和主从多端相机系统 |
| CN113792715B (zh) * | 2021-11-16 | 2022-02-08 | 山东金钟科技集团股份有限公司 | 粮仓害虫监测预警方法、装置、设备及存储介质 |
| CN114155433B (zh) * | 2021-11-30 | 2022-07-19 | 北京新兴华安智慧科技有限公司 | 一种违法土地的检测方法、装置、电子设备及存储介质 |
| CN114785983B (zh) * | 2022-03-07 | 2024-10-18 | 复旦大学 | 一种基于节点通信和设备协同的目标跨域追踪方法 |
| CN114938426B (zh) * | 2022-04-28 | 2023-04-07 | 湖南工商大学 | 用于创建多装置媒体呈现的方法和设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9204040B2 (en) * | 2010-05-21 | 2015-12-01 | Qualcomm Incorporated | Online creation of panoramic augmented reality annotations on mobile platforms |
| CN102291569B (zh) * | 2011-07-27 | 2013-04-10 | 上海交通大学 | 双摄像机自动协同多目标鹰眼观测系统及其观测方法 |
| CN103198487B (zh) * | 2013-04-15 | 2016-05-25 | 厦门博聪信息技术有限公司 | 一种用于视频监控系统中的自动定标方法 |
| CN104125433A (zh) * | 2014-07-30 | 2014-10-29 | 西安冉科信息技术有限公司 | 基于多球机联动结构的视频运动目标监控方法 |
| CN105208327A (zh) * | 2015-08-31 | 2015-12-30 | 深圳市佳信捷技术股份有限公司 | 主从式摄像机智能监控方法及装置 |
-
2017
- 2017-12-25 CN CN201711425735.9A patent/CN108111818B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108111818A (zh) | 2018-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108111818B (zh) | 基于多摄像机协同的运动目标主动感知方法和装置 | |
| CN109887040B (zh) | 面向视频监控的运动目标主动感知方法及系统 | |
| JP5688456B2 (ja) | 熱画像座標を用いた保安用カメラ追跡監視システム及び方法 | |
| CN107438173B (zh) | 视频处理装置、视频处理方法和存储介质 | |
| KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| CN107240124B (zh) | 基于时空约束的跨镜头多目标跟踪方法及装置 | |
| US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
| EP1946567A2 (en) | Device for generating three dimensional surface models of moving objects | |
| CN105915784A (zh) | 信息处理方法和装置 | |
| CN102819847A (zh) | 基于ptz移动摄像头的运动轨迹提取方法 | |
| CN110717445A (zh) | 一种用于自动驾驶的前车距离跟踪系统与方法 | |
| CN112307912A (zh) | 一种基于摄像头确定人员轨迹的方法及系统 | |
| CN110633648B (zh) | 一种自然行走状态下的人脸识别方法和系统 | |
| JP2018156408A (ja) | 画像認識撮像装置 | |
| CN109905641A (zh) | 一种目标监控方法、装置、设备及系统 | |
| Neves et al. | Acquiring high-resolution face images in outdoor environments: A master-slave calibration algorithm | |
| JP2018120283A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN111465937B (zh) | 采用光场相机系统的脸部检测和识别方法 | |
| KR20120002723A (ko) | 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치 | |
| JP3631541B2 (ja) | ステレオ画像による物体の移動追跡方法 | |
| Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
| KR20170133666A (ko) | 영상 분석을 이용한 카메라 캘리브레이션 방법 및 그 장치 | |
| CN113033350B (zh) | 基于俯视图像的行人重识别方法、存储介质和电子设备 | |
| WO2021124657A1 (ja) | カメラシステム | |
| JP2004094707A (ja) | ステレオ画像による平面推定方法および物体検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210427 Address after: No.18 Chuanghui street, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: BUAA HANGZHOU INNOVATION INSTITUTE Address before: 100191 Haidian District, Xueyuan Road, No. 37, Patentee before: BEIHANG University |