CN111476848B - 一种视频流仿真方法及装置 - Google Patents
一种视频流仿真方法及装置 Download PDFInfo
- Publication number
- CN111476848B CN111476848B CN202010243473.XA CN202010243473A CN111476848B CN 111476848 B CN111476848 B CN 111476848B CN 202010243473 A CN202010243473 A CN 202010243473A CN 111476848 B CN111476848 B CN 111476848B
- Authority
- CN
- China
- Prior art keywords
- light intensity
- video stream
- correction
- gamma correction
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012937 correction Methods 0.000 claims abstract description 198
- 238000006243 chemical reaction Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 11
- 230000008859 change Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
- G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Picture Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种视频流仿真方法及装置,应用于仿真技术领域,该方法在获取视频仿真软件输出的理想视频流后,依据目标摄像头的伽马校正公式对理想视频流进行逆向伽马校正,得到与目标摄像头对应的、未进行伽马校正的校正前像素,进一步计算各所得校正前像素经相应的滤镜过滤后的光强值,得到以过滤后的光强值表示的原始像素,最终根据原始像素生成原始视频流。本方法通过逆向伽马校正,还原理想视频流中伽马校正对各像素的改变,通过计算各像素经过滤镜过滤后的光强值,仿真物理摄像头中滤镜对光线的改变,得到原始像素,最终得到原始视频流,从而实现对未设置ISP芯片的摄像头所输出的原始视屏流的仿真,为控制器测试提供有效保障。
Description
技术领域
本发明属于仿真技术领域,尤其涉及一种视频流仿真方法及装置。
背景技术
摄像头作为重要的环境感知传感器,广泛应用于ADAS(Advanced DriverAssistance System,高级驾驶辅助系统)以及AD(Autonomous Driving,智能驾驶)系统中,鉴于摄像头在ADAS以及AD系统中的重要作用,在ADAS控制器和AD控制器的实验室测试阶段,经常通过仿真软件向待测控制器提供仿真得到的理想视频流,以测试待测控制器的运行性能。
目前应用最为广泛的摄像头的工作原理大致为,光线首先通过摄像头设置的拜耳滤镜,通过拜耳滤镜对光线进行过滤,得到特定波长,即特定颜色的光线,特定波长的光线照射在布置于拜耳滤镜之后的COMS感光阵列,CMOS感光阵列进一步将感应电流输出至CMOS芯片,由COMS芯片输出原始视频流。进一步的,原始视频流通过ISP(ImageSignalProcessing,图像信号处理器)进行预设处理后得到输出至控制器的视频流。
现有仿真软件输出的理想视频流能够很好的模拟上述摄像头输出的视频流,但随着车规级摄像头分辨率和帧率的提升,为了减少通讯带宽,越来越多的摄像头将ISP与CMOS芯片分离,在摄像头内只保留CMOS芯片,这种情况下,就需要对CMOS芯片输出的原始视频流进行仿真,而目前大部分仿真软件都只能渲染出理想视频流,对于原始视频流则无能为力。
发明内容
有鉴于此,本发明的目的在于提供一种视频流仿真方法及装置,对理想视频流进行逆变换,得到原始视频流,为控制器测试提供有效保障,具体方案如下:
第一方面,本发明提供一种视频流仿真方法,包括:
获取视频仿真软件输出的理想视频流;所述理想视频流的仿真参数是依据目标摄像头的参数在仿真软件中预先配置的;
依据所述目标摄像头对应的伽马校正公式,对所述理想视频流进行逆向伽马校正,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素;
计算各所述校正前像素经所述目标摄像头中相应滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素;
根据所述原始像素生成原始视频流。
可选的,所述依据目标摄像头对应的伽马校正公式,对所述理想视频流进行逆向伽马校正,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素,包括:
对目标摄像头对应的伽马校正公式进行逆运算,得到逆向伽马校正公式;
根据所述逆向伽马校正公式对所述理想视频流进行逆向还原,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素。
可选的,所述计算各所述校正前像素经所述目标摄像头中相应滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素,包括:
分别计算各所述校正前像素的波长和光强值;
根据与每一所述校正前像素对应的滤镜,确定与所述校正前像素的波长对应的目标光强度转换率;
针对每一所述校正前像素,将所述校正前像素的光强值与相应的目标光强度转换率的乘积作为经滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素。
可选的,所述分别计算各所述校正前像素的波长和光强值,包括:
分别对各所述校正前像素进行色彩空间转换,得到各所述校正前像素的YUV参数;
针对每一所述校正前像素,根据所述YUV参数中的色度和饱和度,计算得到所述校正前像素的波长;以及,
根据所述YUV参数中的亮度,计算得到所述校正前像素的光强值。
可选的,所述确定与所述校正前像素的波长对应的目标光强度转换率,包括:
获取所述滤镜的光电转换特性曲线,其中,所述光电转换特性曲线中记录有光线波长与光强度转换率的对应关系;
根据所述光电转换特性曲线,确定与所述校正前像素的波长对应的目标光强度转换率。
可选的,确定与所述校正前像素对应的滤镜的过程,包括:
获取所述校正前像素的位置坐标;
根据预设映射关系,在所述目标摄像头包括的多个滤镜中,确定与所述位置坐标对应的滤镜,得到与所述校正前像素对应的滤镜,其中,所述预设映射关系中记录有各像素的位置坐标与所述目标摄像头中各滤镜的对应关系。
第二方面,本发明提供一种视频流仿真装置,包括:
第一获取单元,用于获取视频仿真软件输出的理想视频流;所述理想视频流的仿真参数是依据目标摄像头的参数在仿真软件中预先配置的;
逆向校正单元,用于依据所述目标摄像头对应的伽马校正公式,对所述理想视频流进行逆向伽马校正,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素;
计算单元,用于计算各所述校正前像素经所述目标摄像头中相应滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素;
生成单元,用于根据所述原始像素生成原始视频流。
可选的,所述逆向校正单元,用于依据目标摄像头对应的伽马校正公式,对所述理想视频流进行逆向伽马校正,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素时,具体包括:
对目标摄像头对应的伽马校正公式进行逆运算,得到逆向伽马校正公式;
根据所述逆向伽马校正公式对所述理想视频流进行逆向还原,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素。
可选的,所述计算单元,用于计算各所述校正前像素经所述目标摄像头中相应滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素时,具体包括:
分别计算各所述校正前像素的波长和光强值;
针对与各所述校正前像素对应的滤镜,确定与所述校正前像素的波长对应的目标光强度转换率;
针对每一所述校正前像素,将所述校正前像素的光强值与相应的目标光强度转换率的乘积作为经滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素。
可选的,所述计算单元,用于分别计算各所述校正前像素的波长和光强值时,具体包括:
分别对各所述校正前像素进行色彩空间转换,得到各所述校正前像素的YUV参数;
针对每一所述校正前像素,根据所述YUV参数中的色度和饱和度,计算得到所述校正前像素的波长;以及,
根据所述YUV参数中的亮度,计算得到所述校正前像素的光强值。
上述本发明提供的视频流仿真方法,在获取视频仿真软件输出的理想视频流后,依据目标摄像头的伽马校正公式对理想视频流进行逆向伽马校正,得到与目标摄像头对应的、未进行伽马校正的校正前像素,进一步的,计算各所得校正前像素经相应的滤镜过滤后的光强值,得到以过滤后的光强值表示的原始像素,最终根据原始像素生成原始视频流。本发明所提供的仿真方法,通过逆向伽马校正,还原理想视频流中伽马校正对各像素的改变,得到伽马校正前的像素,进一步的,通过计算各像素经过滤镜过滤后的光强值,仿真物理摄像头中滤镜对光线的改变,得到原始像素,所有的原始像素最终组合得到原始视频流,从而实现对未设置ISP芯片的摄像头所输出的原始视频流的仿真,填补现有摄像头视频流仿真的空白,为控制器测试提供有效保障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种视频流仿真方法的流程图;
图2是摄像头滤镜的光电转换特性曲线;
图3是本发明实施例提供的一种视频流仿真装置的结构框图;
图4是本发明实施例提供的另一种视频流仿真装置的结构框图;
图5是本发明实施例提供的一种服务器的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如前所述,在实际应用中,基于CMOS感光阵列实现的摄像头主要可以分为两种,第一种是设置有ISP的摄像头,第二种是将ISP与CMOS芯片分离,仅保留CMOS芯片和滤镜的摄像头。对于第二种摄像头,会将ISP设置于视频信号接收端,从而达到减少通讯带宽,降低数据传输要求的目的。
在物理结构的构成上,第二种摄像头与第一种摄像头相比,仅仅是未设置ISP,其余部分,比如滤镜和CMOS芯片等构成,还是一致的。在此基础上,现有的大部分场景仿真软件已经能够很好的对第一种摄像头输出的视频流进行仿真,得到理想视频流,并应用于ADAS/AD控制器的仿真。因此,面对如何仿真第二种摄像头输出的原始视频流这一问题时,最为常见的思路就是参照第一种摄像头的场景仿真软件的实现过程,只需将与ISP对应的内容删除即可实现对第二种摄像头输出的原始视频流的仿真。
然而,发明人研究发现,虽然现有的场景仿真软件输出的理想视频流能够很好的模拟第一种摄像头输出的视频内容,但其仿真过程并非完全按照物理摄像头的工作过程实现,而且,仿真过程并不能进行严格而明确的过程划分,即不能明确的分离出与物理摄像头ISP相对应的功能模块,如果基于现有仿真软件进行正向划分,仿真原始视频流的难度更大。
发明人采用逆向思维,以现有场景仿真软件输出的理想视频流为基础,通过还原ISP伽马校正和颜色校正对原始视频流的改变,仿真得到第二种摄像头输出的原始视频流。
基于上述内容,本发明实施例提供一种视频流仿真方法,本方法可应用于电子设备,该电子设备可选如笔记本电脑、PC(个人计算机)等具有数据处理能力的电子设备,显然,该电子设备在某些情况下也可选用网络侧的服务器实现;可选的,参照图1,图1是本发明实施例提供的一种视频流仿真方法的流程图,本发明实施例提供的视频流仿真方法的流程,可以包括:
S100、获取视频仿真软件输出的理想视频流。
如前所述,本发明实施例所提供的视频流仿真方法以现有仿真软件输出的理想视频流为基础,因此,首先需要获取由现有视频仿真软件输出的理想视频流,并且所得理想视频流的仿真参数是依据目标摄像头的参数在仿真软件中预先配置的。
需要说明的是,ISP中的伽马校正要求视频流为RGB格式,而现有仿真软件输出的理想视频流包括多种格式,因此,要想进行S110中的逆向伽马校正过程,首先需要将理想视频流的格式转换为RGB格式。对于理想视频流的格式转换,可以参照现有技术中的格式转换方法实现,本发明对于理想视频流具体的格式转换过程不做限定。
S110、依据目标摄像头对应的伽马校正公式,对理想视频流进行逆向伽马校正,得到与目标摄像头对应的、未进行伽马校正的校正前像素。
可以想到的是,本发明实施例中所述及的目标摄像头,即待进行输出视频流仿真的摄像头,该目标摄像头的相关参数都是可以明确获知的,比如目标摄像头中各滤镜的位置、每一帧图像中各像素的位置坐标,以及与目标摄像头所对应的伽马校正公式等。
因此,在对理想视频流进行逆向伽马校正时,首先需要获取目标摄像头对应的伽马校正公式,对该伽马校正公式进行逆运算,得到逆向伽马校正公式。需要说明的是,对于伽马校正公式的逆运算,可以参照现有技术中数学公式逆向变换的方法实现,现有技术中的逆运算方法同样都是可选的,本发明对此不做限定。
在得到逆向伽马校正公式后,即可根据逆向伽马校正公式对理想视频流的各像素进行逆向还原,还原伽马校正对各像素的影响,最终得到与目标摄像头对应的、未进行伽马校正的校正前像素。
S120、计算各校正前像素经目标摄像头中相应滤镜过滤后的光强值,得到以过滤后的光强值表示的原始像素。
实际应用中,ISP对于原始视频流的处理除了上述内容述及的伽马校正以外,还会对原始视频流进行颜色空间校正,因此,在得到校正前像素后,还需要进一步计算各校正前像素经目标摄像头中相应滤镜过滤后的光强值,进而得到以过滤后的光强值表示的原始像素。
可选的,如前所述,伽马校正针对的是以RGB参数表示的像素,基于此,即使经过逆向伽马校正,所得校正前像素仍然是以RGB参数表示。因此,首先需要对所得各个校正前像素进行色彩空间转换,得到各校正前像素的YUV参数。
具体的,任一校正前像素都可以采用如下计算公式实现RGB参数到YUV参数的转换:
Y=0.30R+0.59G+0.11B
U=0.493(B-Y)
V=0.877(R-Y)
公知的,在以YUV参数表示的像素中,Y代表像素的色度、U代表像素的亮度,V代表像素的饱和度。在得到每一校正前像素的YUV参数后,即可根据YUV参数中的色度和饱和度,计算得到各校正前像素的波长,相应的,根据YUV参数中的亮度值,即可计算得到各校正前像素的光强值。
进一步的,CMOS芯片在工作时,感光阵列中的每一个CMOS传感器输出的都是经过相应的滤镜滤光后的光线强度,对于同一滤镜,不同波长的光线经过时,会对应着不同的光强度转换率。可选的,参见图2,图2是摄像头中常用的拜耳滤镜的光电转换特性曲线,拜耳滤镜可以将进入摄像头的光分为三种色光,每一种色光对应一种光电转换特性曲线,在任一条曲线中,都可以根据光的波长,确定对应的光强度转换率。
同时,对于确定的目标摄像头而言,其输出的每一个像素的位置坐标都是已知的,相应的,列中各CMOS传感器的位置也是已知的,基于此,本发明实施例提供预设映镜头内CMOS感光阵射关系,该预设映射关系中记录有各像素的位置坐标与目标摄像头中各滤镜的对应关系,在得到各校正前像素的波长和光强度之后,针对每一校正前像素,根据各校正前像素的位置坐标以及该预设映射关系,确定各校正前像素所对应的滤镜。
获取各校正前像素所对应的滤镜的光电转换特性曲线,根据相应的光电转换特性曲线,即可确定与每一个校正前像素的波长相对应的光强度转换率,得到各校正前像素的波长对应的目标光强度转换率。
最后,针对每一个以波长和光强值表示的校正前像素,将该校正前像素的光强值与对应的目标光强度转换率相乘,所得之积即为该校正前像素经过相应滤镜过滤后的光强值,最终得到以经过滤镜过滤后的光强值表示的原始像素。
S130、根据原始像素生成原始视频流。
遍历理想视频流中的每一个像素,均经过前述步骤进行还原转换,得到全部的原始像素,即可根据原始像素生成原始视频流。需要说明的是,根据原始像素生成原始视频流的方法可以参照现有技术中视频流的生成方式进行,本发明对此不做具体限定。
综上所述,本发明所提供的仿真方法,通过逆向伽马校正,还原理想视频流中伽马校正对各像素的改变,得到伽马校正前的像素,进一步的,通过计算各像素经过滤镜过滤后的光强值,仿真物理摄像头中滤镜对光线的改变,得到原始像素,所有的原始像素最终组合得到原始视频流,从而实现对未设置ISP芯片的摄像头所输出的原始视频流的仿真,填补现有摄像头视频流仿真的空白,为控制器测试提供有效保障。
下面结合实际测试场景对本发明实施例所提供的视频流仿真方法的应用进行简要介绍。
首先,在对待测控制器进行测试前,需要对实际产品中与待测控制器相连的摄像头进行参数化,即按照真实摄像头的参数在场景仿真软件中配置虚拟摄像头。
然后,确定与真实摄像头配合使用的ISP中的伽马校正公式参数以及摄像头中滤光镜片的光电转换特性曲线,将这些已知参数提前准备好。根据上述本发明实施例所提供的视频流仿真方法的执行过程可知,这些参数在应用本发明实施例提供的方法时,都将作为已知参数使用。
最后,针对不同的待测控制器测试场景,选择本发明实施例所提供的视频流仿真方法的具体应用方式。
具体的,如果针对待测控制器进行HIL(Hardware In Loop,硬件在环)场景测试,即通过仿真板卡实现摄像头输出视频仿真时,需要将本发明实施例提供的视频流仿真方法对应的软件加载到仿真板卡中,作为视频仿真板卡信号输出前的后处理部分。
如果针对待测控制器进行MIL(ModelIn Loop,模型在环)场景测试,则需要将本发明实施例提供的视频流仿真方法对应的软件作为现有技术中的场景仿真软件的摄像头模型的一个插件,直接获取场景仿真软件输出的理想视频流,经过前述各步骤的处理后,即可得到未经ISP处理的原始视频流,从而实现对待测控制器的测试工作。
下面对本发明实施例提供的视频流仿真装置进行介绍,下文描述的视频流仿真装置可以认为是为实现本发明实施例提供的视频流仿真方法,在中央设备中需设置的功能模块架构;下文描述内容可与上文相互参照。
可选的,参见图3,图3是本发明实施例提供一种视频流仿真装置的结构框图,该装置可以包括:
第一获取单元10,用于获取视频仿真软件输出的理想视频流;理想视频流的仿真参数是依据目标摄像头的参数在仿真软件中预先配置的;
逆向校正单元20,用于依据目标摄像头对应的伽马校正公式,对理想视频流进行逆向伽马校正,得到与目标摄像头对应的、未进行伽马校正的校正前像素;
计算单元30,用于计算各校正前像素经目标摄像头中相应滤镜过滤后的光强值,得到以过滤后的光强值表示的原始像素;
生成单元40,用于根据原始像素生成原始视频流。
可选的,逆向校正单元20,用于依据目标摄像头对应的伽马校正公式,对理想视频流进行逆向伽马校正,得到与目标摄像头对应的、未进行伽马校正的校正前像素时,具体包括:
对目标摄像头对应的伽马校正公式进行逆运算,得到逆向伽马校正公式;
根据逆向伽马校正公式对理想视频流进行逆向还原,得到与目标摄像头对应的、未进行伽马校正的校正前像素。
可选的,计算单元30,用于计算各校正前像素经目标摄像头中相应滤镜过滤后的光强值,得到以过滤后的光强值表示的原始像素时,具体包括:
分别计算各校正前像素的波长和光强值;
根据与各校正前像素对应的滤镜,确定与各校正前像素的波长对应的目标光强度转换率;
针对每一校正前像素,将校正前像素的光强值与相应的目标光强度转换率的乘积作为经滤镜过滤后的光强值,得到以过滤后的光强值表示的原始像素。
可选的,计算单元30,用于分别计算各校正前像素的波长和光强值时,具体包括:
分别对各校正前像素进行色彩空间转换,得到各校正前像素的YUV参数;
针对每一校正前像素,根据YUV参数中的色度和饱和度,计算得到校正前像素的波长;以及,
根据YUV参数中的亮度,计算得到校正前像素的光强值。
可选的,计算单元30,用于确定与各校正前像素的波长对应的目标光强度转换率时,具体包括:
获取滤镜的光电转换特性曲线,其中,光电转换特性曲线中记录有光线波长与光强度转换率的对应关系;
根据光电转换特性曲线,确定与校正前像素的波长对应的目标光强度转换率。
可选的,参见图4,图4是本发明实施例提供的另一种视频流仿真装置的结构框图,在图3所示实施例的基础上,还包括:
第二获取单元50,用于获取校正前像素的位置坐标;
确定单元60,用于根据预设映射关系,在目标摄像头包括的多个滤镜中,确定与位置坐标对应的滤镜,得到与校正前像素对应的滤镜,其中,预设映射关系中记录有各像素的位置坐标与目标摄像头中各滤镜的对应关系。
可选的,参见图5,图5为本发明实施例提供的服务器的结构框图,参见图4所示,可以包括:至少一个处理器100,至少一个通信接口200,至少一个存储器300和至少一个通信总线400;
在本发明实施例中,处理器100、通信接口200、存储器300、通信总线400的数量为至少一个,且处理器100、通信接口200、存储器300通过通信总线400完成相互间的通信;显然,图5所示的处理器100、通信接口200、存储器300和通信总线400所示的通信连接示意仅是可选的;
可选的,通信接口200可以为通信模块的接口,如GSM模块的接口;
处理器100可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器300,存储有应用程序,可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
其中,处理器100具体用于执行存储器内的应用程序,以实现上述所述的视频流仿真方法的任一实施例。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种视频流仿真方法,其特征在于,包括:
获取视频仿真软件输出的理想视频流;所述理想视频流的仿真参数是依据目标摄像头的参数在仿真软件中预先配置的;
依据所述目标摄像头对应的伽马校正公式,对所述理想视频流进行逆向伽马校正,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素;
计算各所述校正前像素经所述目标摄像头中相应滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素;
根据所述原始像素生成原始视频流。
2.根据权利要求1所述的视频流仿真方法,其特征在于,所述依据所述目标摄像头对应的伽马校正公式,对所述理想视频流进行逆向伽马校正,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素,包括:
对所述目标摄像头对应的伽马校正公式进行逆运算,得到逆向伽马校正公式;
根据所述逆向伽马校正公式对所述理想视频流进行逆向还原,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素。
3.根据权利要求1所述的视频流仿真方法,其特征在于,所述计算各所述校正前像素经所述目标摄像头中相应滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素,包括:
分别计算各所述校正前像素的波长和光强值;
根据与各所述校正前像素对应的滤镜,确定与各所述校正前像素的波长对应的目标光强度转换率;
针对每一所述校正前像素,将所述校正前像素的光强值与相应的目标光强度转换率的乘积作为经滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素。
4.根据权利要求3所述的视频流仿真方法,其特征在于,所述分别计算各所述校正前像素的波长和光强值,包括:
分别对各所述校正前像素进行色彩空间转换,得到各所述校正前像素的YUV参数;
针对每一所述校正前像素,根据所述YUV参数中的色度和饱和度,计算得到所述校正前像素的波长;以及,
根据所述YUV参数中的亮度,计算得到所述校正前像素的光强值。
5.根据权利要求3所述的视频流仿真方法,其特征在于,所述确定与各所述校正前像素的波长对应的目标光强度转换率,包括:
获取所述滤镜的光电转换特性曲线,其中,所述光电转换特性曲线中记录有光线波长与光强度转换率的对应关系;
根据所述光电转换特性曲线,确定与各所述校正前像素的波长对应的目标光强度转换率。
6.根据权利要求3-5任一项所述的视频流仿真方法,其特征在于,确定所述与各所述校正前像素对应的滤镜的过程,包括:
获取各所述校正前像素的位置坐标;
根据预设映射关系,在所述目标摄像头包括的多个滤镜中,确定与所述位置坐标对应的滤镜,得到所述与各所述校正前像素对应的滤镜,其中,所述预设映射关系中记录有各像素的位置坐标与所述目标摄像头中各滤镜的对应关系。
7.一种视频流仿真装置,其特征在于,包括:
第一获取单元,用于获取视频仿真软件输出的理想视频流;所述理想视频流的仿真参数是依据目标摄像头的参数在仿真软件中预先配置的;
逆向校正单元,用于依据所述目标摄像头对应的伽马校正公式,对所述理想视频流进行逆向伽马校正,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素;
计算单元,用于计算各所述校正前像素经所述目标摄像头中相应滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素;
生成单元,用于根据所述原始像素生成原始视频流。
8.根据权利要求7所述的视频流仿真装置,其特征在于,所述逆向校正单元,用于依据所述目标摄像头对应的伽马校正公式,对所述理想视频流进行逆向伽马校正,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素时,具体包括:
对所述目标摄像头对应的伽马校正公式进行逆运算,得到逆向伽马校正公式;
根据所述逆向伽马校正公式对所述理想视频流进行逆向还原,得到与所述目标摄像头对应的、未进行伽马校正的校正前像素。
9.根据权利要求7所述的视频流仿真装置,其特征在于,所述计算单元,用于计算各所述校正前像素经所述目标摄像头中相应滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素时,具体包括:
分别计算各所述校正前像素的波长和光强值;
根据与各所述校正前像素对应的滤镜,确定与各所述校正前像素的波长对应的目标光强度转换率;
针对每一所述校正前像素,将所述校正前像素的光强值与相应的目标光强度转换率的乘积作为经滤镜过滤后的光强值,得到以所述过滤后的光强值表示的原始像素。
10.根据权利要求9所述的视频流仿真装置,其特征在于,所述计算单元,用于分别计算各所述校正前像素的波长和光强值时,具体包括:
分别对各所述校正前像素进行色彩空间转换,得到各所述校正前像素的YUV参数;
针对每一所述校正前像素,根据所述YUV参数中的色度和饱和度,计算得到所述校正前像素的波长;以及,
根据所述YUV参数中的亮度,计算得到所述校正前像素的光强值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010243473.XA CN111476848B (zh) | 2020-03-31 | 2020-03-31 | 一种视频流仿真方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010243473.XA CN111476848B (zh) | 2020-03-31 | 2020-03-31 | 一种视频流仿真方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476848A CN111476848A (zh) | 2020-07-31 |
CN111476848B true CN111476848B (zh) | 2023-04-18 |
Family
ID=71749317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010243473.XA Active CN111476848B (zh) | 2020-03-31 | 2020-03-31 | 一种视频流仿真方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111476848B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175221A (zh) * | 2006-10-30 | 2008-05-07 | 华为技术有限公司 | 视频通讯中视频显示设备伽玛特性校正方法和装置 |
JP2012028937A (ja) * | 2010-07-21 | 2012-02-09 | Nippon Hoso Kyokai <Nhk> | 映像信号補正装置および映像信号補正プログラム |
CN103313079A (zh) * | 2012-03-15 | 2013-09-18 | 索尼公司 | 显示装置、图像处理装置、图像处理方法和计算机程序 |
CN104853171A (zh) * | 2014-02-17 | 2015-08-19 | 索尼公司 | 图像处理设备、用于图像处理的方法以及程序 |
CN106205474A (zh) * | 2014-11-11 | 2016-12-07 | 三星显示有限公司 | 数据处理设备和具有数据处理设备的显示器设备 |
CN106210883A (zh) * | 2016-08-11 | 2016-12-07 | 浙江大华技术股份有限公司 | 一种视频渲染的方法、设备 |
CN108182672A (zh) * | 2014-05-28 | 2018-06-19 | 皇家飞利浦有限公司 | 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003319412A (ja) * | 2002-04-19 | 2003-11-07 | Matsushita Electric Ind Co Ltd | 画像処理支援システム、画像処理装置及び画像表示装置 |
-
2020
- 2020-03-31 CN CN202010243473.XA patent/CN111476848B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101175221A (zh) * | 2006-10-30 | 2008-05-07 | 华为技术有限公司 | 视频通讯中视频显示设备伽玛特性校正方法和装置 |
JP2012028937A (ja) * | 2010-07-21 | 2012-02-09 | Nippon Hoso Kyokai <Nhk> | 映像信号補正装置および映像信号補正プログラム |
CN103313079A (zh) * | 2012-03-15 | 2013-09-18 | 索尼公司 | 显示装置、图像处理装置、图像处理方法和计算机程序 |
CN104853171A (zh) * | 2014-02-17 | 2015-08-19 | 索尼公司 | 图像处理设备、用于图像处理的方法以及程序 |
CN108182672A (zh) * | 2014-05-28 | 2018-06-19 | 皇家飞利浦有限公司 | 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置 |
CN106205474A (zh) * | 2014-11-11 | 2016-12-07 | 三星显示有限公司 | 数据处理设备和具有数据处理设备的显示器设备 |
CN106210883A (zh) * | 2016-08-11 | 2016-12-07 | 浙江大华技术股份有限公司 | 一种视频渲染的方法、设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111476848A (zh) | 2020-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Karaimer et al. | A software platform for manipulating the camera imaging pipeline | |
US10645268B2 (en) | Image processing method and apparatus of terminal, and terminal | |
EP2523160A1 (en) | Image processing device, image processing method, and program | |
CN108337496B (zh) | 白平衡处理方法、处理装置、处理设备及存储介质 | |
CN105049718A (zh) | 一种图像处理方法及终端 | |
CN111161188B (zh) | 降低图像色彩噪声的方法、计算机装置及可读存储介质 | |
CN108230407B (zh) | 一种图像的处理方法和装置 | |
WO2024027287A1 (zh) | 图像处理系统及方法、计算机可读介质和电子设备 | |
CN113298192A (zh) | 红外光图像与可见光图像的融合方法、装置及存储介质 | |
WO2017154293A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
CN111476848B (zh) | 一种视频流仿真方法及装置 | |
CN114998122A (zh) | 一种低照度图像增强方法 | |
CN109754374A (zh) | 一种去除图像亮度噪声的方法及装置 | |
CN117274060B (zh) | 一种无监督的端到端去马赛克方法及系统 | |
US7512264B2 (en) | Image processing | |
CN111917986A (zh) | 图像处理方法及其介质和电子设备 | |
CN103313066B (zh) | 插值方法及装置 | |
CN105991937A (zh) | 一种基于Bayer格式图像的虚拟曝光方法及装置 | |
CN110969675B (zh) | 一种模拟相机不同形状光圈虚化的方法 | |
CN114125319A (zh) | 图像传感器、摄像模组、图像处理方法、装置和电子设备 | |
CN114529460A (zh) | 低照度场景智慧公路监测快速去雾方法、装置和电子设备 | |
CN117408872B (zh) | 色彩图像数据转换方法、装置、设备及存储介质 | |
CN110089103A (zh) | 一种去马赛克方法及装置 | |
KR20210107955A (ko) | 컬러 스테인 분석 방법 및 상기 방법을 이용하는 전자 장치 | |
CN117176933B (zh) | 一种图像信号处理方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 4 / F, building 1, No.14 Jiuxianqiao Road, Chaoyang District, Beijing 100020 Applicant after: Beijing Jingwei Hirain Technologies Co.,Inc. Address before: 8 / F, block B, No. 11, Anxiang Beili, Chaoyang District, Beijing 100101 Applicant before: Beijing Jingwei HiRain Technologies Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |