CN114391259B - 信息处理方法、终端设备及存储介质 - Google Patents
信息处理方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114391259B CN114391259B CN201980100362.9A CN201980100362A CN114391259B CN 114391259 B CN114391259 B CN 114391259B CN 201980100362 A CN201980100362 A CN 201980100362A CN 114391259 B CN114391259 B CN 114391259B
- Authority
- CN
- China
- Prior art keywords
- depth information
- video image
- original depth
- information
- code stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 48
- 230000008030 elimination Effects 0.000 claims description 36
- 238000003379 elimination reaction Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 26
- 238000005070 sampling Methods 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种信息处理方法，包括：通过深度信息传感器获取目标对象的深度信息的情况下，获取所述深度信息对应的原始深度信息，所述原始深度信息表征所述深度信息传感器采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；通过图像传感器获取所述目标对象的视频图像数据；对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，并输出所述视频图像码流。本发明还公开了另一种信息处理方法、终端设备及存储介质。
Description
技术领域
本发明涉及计算机技术，尤其涉及一种信息处理方法、终端设备及存储介质。
背景技术
在当今社会，越来越多的终端上都设置有摄像装置，从而方便用户可以随时随地的拍照或拍视频。在实际运用中，编码端通过现有的摄像装置采用飞行时间技术(Time OfLight，TOF)摄像头、双目摄像头等深度信息传感器获取目标对象的深度信息，在解码端通过深度信息进行目标对象的深度图像的恢复。但深度图像仅提供了目标对象的深度信息，并不能提高目标对象的视频图像的图像质量。
发明内容
本发明实施例提供一种信息处理方法、终端设备及存储介质，能够提高目标对象的视频图像的图像质量。
第一方面，本发明实施例提供一种信息处理方法，包括：
通过深度信息传感器获取目标对象的深度信息的情况下，获取所述深度信息对应的原始深度信息，所述原始深度信息表征所述深度信息传感器采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；
通过图像传感器获取所述目标对象的视频图像数据；
对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，并输出所述视频图像码流。
第二方面，本发明实施例提供一种信息处理方法，包括：
接收视频图像码流，所述视频图像码流为对原始深度信息和视频图像数据进行合并编码得到的，所述原始深度信息是通过深度信息传感器获取目标对象的深度信息的情况下获取的，所述视频图像数据是通过图像传感器获取的所述目标对象的，所述原始深度信息表征所述深度信息传感器采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；
对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像；
对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
第三方面，本发明实施例提供一种终端设备，包括：
第一获取单元，配置为通过深度信息传感单元获取目标对象的深度信息的情况下，获取所述深度信息对应的原始深度信息，所述原始深度信息表征所述深度信息传感单元采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；
第二获取单元，配置为通过图像传感单元获取所述目标对象的视频图像数据；
编码单元，配置为对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流；
输出单元，配置为输出所述视频图像码流。
第四方面，本发明实施例提供一种终端设备，包括：
接收单元，配置为接收视频图像码流，所述视频图像码流为对原始深度信息和视频图像数据进行合并编码得到的，所述原始深度信息是通过深度信息传感单元获取目标对象的深度信息的情况下获取的，所述视频图像数据是通过图像传感单元获取的所述目标对象的；所述原始深度信息表征所述深度信息传感单元采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；
解码单元，配置为对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像；
图像处理单元，配置为对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
第五方面，本发明实施例提供一种终端设备，包括处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行上述终端设备执行的信息处理方法的步骤。
第六方面，本发明实施例提供一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现上述终端设备执行的信息处理方法。
本发明实施例提供的信息处理方法，包括：在编码端，通过深度信息传感器获取目标对象的深度信息的情况下，获取所述深度信息对应的原始深度信息；通过图像传感器获取所述目标对象的视频图像数据；对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，并输出所述视频图像码流。在解码端，接收视频图像码流；对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像；对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。从而将深度传感器获得的原始深度信息，在编码端直接写入视频图像码流，并在解码端进行解析，解析得到原始深度信息对图像传感器采集的图像数据得到的视频图像，得到目标视频图像，提高视频图像的质量，给用户带来更真实的图像视频体验。
附图说明
图1A为本发明实施例信息处理系统的一种可选的结构示意图；
图1B为本发明实施例编码端的一种可选的结构示意图；
图1C为本发明实施例解码端的一种可选的结构示意图
图2为本发明实施例信息处理方法的一种可选的处理流程示意图；
图3为本发明实施例信息处理方法的一种可选的处理流程示意图；
图4为本发明实施例信息处理方法的一种可选的处理流程示意图；
图5为本发明实施例信息处理方法的一种可选的处理流程示意图；
图6为本发明实施例信息处理方法的一种可选的处理流程示意图；
图7为本发明实施例信息处理方法的一种可选的处理流程示意图；
图8A为本发明实施例信息处理系统的一种可选的框架示意图；
图8B为本发明实施例信息处理系统的一种可选的框架示意图；
图9A为本发明实施例解码端的一种可选的框架示意图；
图9B为本发明实施例解码端的一种可选的框架示意图；
图9C为本发明实施例解码端的一种可选的框架示意图；
图9D为本发明实施例解码端的一种可选的框架示意图；
图10为本发明实施例对原始深度信息进行采样的采样示意图；
图11为本发明实施的终端设备的一个可选的结构示意图；
图12是本发明实施例终端设备的一个可选的结构示意图；
图13是本发明实施例提供的电子设备的一个可选的结构示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点和技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。
在对本发明实施例提供的信息处理方法进行详细说明之前，先对深度图像过程进行介绍。
深度图像(depth image)也被称为距离影像(range image)，是指将从图像传感器到场景中各点的距离(深度)作为像素值的图像，能够直接反映了目标对象可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。
这里，编码端对深度信息传感器捕获形成的深度图像进行视频编码，得到编码后的深度图像信息，解码器端仅能够根据编码后的深度图像信息将深度图像进行恢复。但是，深度信息传感器接收到的信息量远超深度图像的信息量。这些海量的信息在生成深度图像后，作为冗余进行抛弃。因此，在上述方案中，并未考虑到这些冗余信息的其他作用，如解码端的图像增强等。
基于上述问题，本发明实施例提供一种信息处理方法，本发明实施例的信息处理方法可以应信息处理系统，
示例性的，本发明实施例应用的信息处理系统100，可为如图1A所示。该信息处理100可以包括编码端101和解码端102。编码端101用于对采集视频图像数据和原始深度信息，并对视频图像数据和原始深度信息进行编码，形成视频图像码流。解码端120用于对图像视频码流进行解码，得到视频图像数据和原始深度信息，并对视频图像数据和原始深度信息进行图像处理，得到目标视频图像。
编码端101和解码端102可包括包含台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或其类似者。
如图1A所示，解码端102可经由链路103接收来自编码端101编码后的视频图像码流。链路103可包括能够将视频图像码流从编码端101移动到解码端102的一个或多个媒体及/或装置。
在一示例中，链路103可包括使编码端101能够实时地将编码后的视频数据直接发送到解码端102的一个或多个通信媒体。在此实例中，编码端101可根据通信标准(例如，无线通信协议)来调制视频图像码流，且可将调制后的视频图像码流发送到解码端102。
在一示例中，链路103可包含存储有编码端101形成的视频图像码流的存储媒体。在此示例中，解码端102可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储视频图像码流的其它合适数字存储媒体。
在又一示例中，链路103可包含文件服务器或存储由编码端101形成的视频图像码流的另一中间存储装置。在此示例中，解码端102可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的视频图像码流。文件服务器可以是能够存储视频图像码流且将视频图像码流发送到解码端102的服务器类型。文件服务器包含web服务器(例如，用于网站)、文件传送协议服务器、网络附加存储装置，及本地磁盘驱动器等。
解码端102可经由标准数据连接(例如，因特网连接)来存取视频图像码流。数据连接的实例类型包含适合于存取存储于文件服务器上的视频图像码流的无线链路(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的组合。
如图1B所示，编码端101包括：深度信息传感器1011、图像传感器1012和视频图像编码器1013，深度信息传感器1011用于获取原始深度信息，图像传感器1012用于获取视频图像数据，视频图像编码器1013用于对原始深度信息和视频图像数据进行编码，形成视频图像码流。
如图1C所示，解码端102包括：视频图像解码器1021和图像处理器1022，视频图像解码器1021用于对视频图像码流进行解码，得到原始深度信息和视频图像数据对应的视频图像，图像处理器1022用于对原始深度信息和视频图像进行处理，得到目标视频图像。这里，原始深度信息作用于视频图像，能够得到清晰度高、噪声低等高质量的视频图像。
在一示例中，如图1C所示，解码端102还包括：深度图像生成器1023，用于基于原始深度信息生成深度图像。
本发明实施例提供的信息处理方法的一种可选处理流程，应用于编码端，如图2所示，包括以下步骤：
S201，通过深度信息传感器获取目标对象的深度信息的情况下，获取所述深度信息对应的原始深度信息。
所述原始深度信息表征所述深度信息传感器采集所述深度信息的采集状态或采集到的所述深度信息以外的信息。
深度信息传感器为能够采集目标对象的深度信息的传感器。在一示例中，深度信息传感器为采用TOF测距方法的TOF模组。在一示例中，深度信息传感器为双目摄像头。
本发明实施例中，编码端在深度信息传感器采集深度信息的情况下，通过深度信息传感器获取原始深度信息，所述原始深度信息包括以下至少之一：电荷信息、相位信息和所述深度信息传感器的属性参数。其中，电荷信息、相位信息为深度信息传感器采集到的所述深度信息以外的信息，深度信息传感器的属性参数表征所述深度信息传感器的采集所述深度信息的采集状态。
以原始深度信息为电荷信息为例，一个时间点的电荷信息可体现为一幅电荷图像。这里，获取深度信息传感器采集深度信息时接收的光信号，并将光信号通过光电转换转换为电信号，电信号经过量化后生成电荷图像。
以原始深度信息为相位信息为例，一个时间点的相位信息可体现为一幅相位图像。
以原始深度信息为深度信息传感器的属性参数为例，原始深度信息可包括：温度、位姿等属性参数。
S202，通过图像传感器获取所述目标对象的视频图像数据。
编码端在图像预览或视频拍摄场景下通过图像传感器获取目标对象的视频图像数据，这里，视频图像数据包括至少一帧图像帧。
本发明实施例中，原始深度信息与视频帧一一对应。在一示例中，不同的电荷图像或相位图像分别对应不同的图像帧。
S203，对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，并输出所述视频图像码流。
编码端通过视频图像编码器对原始深度信息和视频图像数据进行合并编码，视频图像编码器输出视频图像码流，并将视频图像编码器输出的视频图像码流输出至解码端，使得解码端基于原始深度信息对视频图像数据对应的视频图像进行图像处理。
可选地，视频图像编码器采用视频图像编解码协议，对视频图像帧或原始深度信息进行编码，得到视频图像码流信息；视频编解码协议可以为H.264、H.265、H.266、VP9或AV1等。
可选地，，采用视频图像编解码协议对原始深度信息和图像视频数据进行编码，此时，视频图像信息携带的数据不包括深度信息。
在本发明实施例中，在视频图像信息携带的数据不包括深度信息的情况下，编码端可仅获取深度信息传感器在获取深度信息时的原始深度信息，不获取深度信息传感器所采集到的深度信息，或将采集的深度信息丢弃。
可选地，采用视频图像编解码协议对原始深度信息和图像视频数据进行编码，并采用视频图像编解码协议对深度信息传感器采集的深度信息进行编码，此时，视频图像信息携带的数据包括：原始深度信息、深度信息和视频图像数据。
本发明实施例中，对深度信息传感器所采集的深度信息的处理不进行任何限定。
可选地，视频图像编码器采用行业标准或特定组织的特定标准，对视频图像帧或原始深度信息进行编码，得到视频图像码流。
编码端可将全部的原始深度信息输入视频图像编码器，以对全部的原始深度信息进行编码，也可仅将部分原始深度信息输入视频图像编码器，以对部分原始深度信息编码。可选地，部分原始深度信息为指定图像帧对应的原始深度信息。可选地，部分原始深度信息为指定图像位置对应的原始深度信息。
以部分原始深度信息为指定图像视频对应的原始深度信息为例，所述对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，包括：对所述视频图像数据对应的图像帧中指定图像帧对应的原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流。
可选地，指定图像帧为视频图像数据对应的图像帧中的一个图像帧。可选地，指定图像帧包括视频图像数据对应的图像帧中的多个图像帧。
本发明实施例对指定图像帧的数量不进行任何限制。
编码端仅对指定图像帧对应的原始深度信息和所述视频图像数据进行合并编码，对视频图像数据对应的图像帧中指定图像帧以外非指定视频帧对应的原始深度信息不进行编码。
以部分原始深度信息为指定图像位置对应的原始深度信息为例，所述对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，包括：对指定图像位置对应的原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流。
指定图像位置为图像采集范围内指定点所在的位置。可选地，指定图像位置为图像采集范围内指定区域所在的位置。本发明实施例对指定图像位置的范围大小或所在的位置不进行任何限定。
编码端仅对指定图像位置对应的原始深度信息和所述视频图像数据进行合并编码，对图像帧中指定图像位置以外非指定视频位置对应的原始深度信息不进行编码。
本发明实施例中，编码端对所述原始深度信息和所述视频图像数据进行合并编码的编码方式包括以下之一：
编码方式一、根据所述原始深度信息和所述视频图像数据的相关性，对所述原始深度信息和所述视频图像数据进行混合编码，得到视频图像码流；
编码方式二、分别对所述原始深度信息和所述视频图像数据进行独立编码，得到包括第一码流和第二码流的图像视频码流，其中，所述第一码流为所述原始深度信息编码后得到的码流，所述第二码流为所述图像视频数据编码后得到的码流。
在编码方式一中，对原始深度信息和视频图像数据进行编码所采用编解码协议相同。
可选地，在编码方式一中，视频图像码流中的编码信息为对原始深度信和视频图像数据进行联合编码得到的混合编码信息。其中，视频图像编码器可利用原始深度信息和图像视频数据的空间相关性或时间相关性等，对原始深度信和视频图像数据进行联合编码。
可选地，在编码方式一中，将所述原始深度信息对应的第一编码信息写入所述视频图像数据对应的第二编码信息的指定位置处。可选地，指定位置可以为图像信息头、序列信息头、附加参数集或其他任意位置。
可选地，在编码方式一中，利用原始深度信息和图像视频数据的空间相关性或时间相关性等，对原始深度信息进行编码，得到第一编码信息，并对视频图像数据进行编码，得到第二编码信息，并将第一编码信息写入第一编码信息的指定位置处，得到视频图像码流。
在编码方式二中，对原始深度信息所采用编解码协议与对视频图像数据进行编码所采用编解码协议独立。可选地，对原始深度信息所采用编解码协议与对视频图像数据进行编码所采用编解码协议相同。可选地，对原始深度信息所采用编解码协议与对视频图像数据进行编码所采用编解码协议不同。
在一实施例中，如图3所示，在S203之前，包括：
204A，对所述原始深度信息进行预处理。
S203中对原始深度信息和视频图像数据进行合并编码，可执行为S203A：对经过预处理的原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流。
本发明是实施例中，预处理可以为滤波、去噪、信号放大等相位校准等方式中的一种或两种处理方式，还可以为其他处理方式，具体的预处理可根据实际情况确定，本发明实施例对此不做限定。
可选地，编码端通过深度信息传感器对原始深度信息进行预处理。
在一实施例中，如图4所示，在S203之前，包括：
204B，对所述原始深度信息进行冗余消除处理，以消除所述原始深度信息中的冗余信息。
S203中对原始深度信息和视频图像数据进行合并编码，可执行为S203B：对经过冗余消除处理的原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流。
编码端通过对原始深度信息进行冗余消除处理，能够消除原始深度信息中的冗余信息，从而压缩原始深度信息的信息量，使得减小视频数据码流的大小。
本发明实施例中，所述根据对所述原始深度信息进行冗余消除处理，包括以下至少之一：
基于相位相关性对所述原始深度信息冗余消除处理；
基于空间相关性对所述原始深度信息进行冗余消除处理；
基于时间相关性对所述原始深度信息进行冗余消除处理；
基于指定深度对所述原始深度信息进行冗余消除处理；
基于频域相关性对所述原始深度信息进行冗余消除处理；
基于编码二进制数据之间的相关性对所述原始深度信息的编码比特进行冗余消除处理。
可选地，将原始深度信息转换到频域，基于频域相关性对转换为频域的所述原始深度信息进行冗余消除处理。
可选地，指定深度为目标对象所处的场景敏感的深度的范围，基于指定深度对所述原始深度信息进行冗余消除处理，将场景敏感的深度的范围之外的深度对应的原始深度信息作为冗余进行消除。
可选地，对原始深度信息进行熵编码，对基于编码二进制数据之间的相关性对原始深度信息的熵编码结果的编码比特进行冗余消除处理。
以基于空间相关性对所述原始深度信息进行冗余消除处理为例，编码端的原始深度信息对应至少一个视点；从至少一个视点中确定间隔视点，将与间隔视点对应的原始深度信息，作为间隔原始深度信息；将原始深度信息中间隔原始深度以外的原始深度信息作为冗余消除，对间隔原始深度信息和视频图像数据进行合并编码，得到视频数据码流。
以基于时间相关性对所述原始深度信息进行冗余消除处理为例，编码端获取到一端时间内的原始深度信息，并基于采样间隔对获取到的原始深度信息进行采样，并保留采样后的原始深度信息，将获取的原始深度信息中采样后的原始深度信息以外的原始深度信息作为冗余消除，对采样得到的原始深度信息和视频图像数据进行合并编码，得到视频数据码流。
本发明实施例提供的信息处理方法的一种可选处理流程，应用于解码端，如图5所示，包括以下步骤：
S501，接收视频图像码流。
解码端通过链路接收编码端发送的视频图像码流。所述视频图像码流为对原始深度信息和视频图像数据进行合并编码得到的，所述原始深度信息是通过深度信息传感器获取目标对象的深度信息的情况下获取的，所述视频图像数据是通过图像传感器获取的所述目标对象的；所述原始深度信息表征所述深度信息传感器采集所述深度信息的采集状态或采集到的所述深度信息以外的信息。
S502，对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像。
这里，通过视频图像解码器对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像。
解码端将接收的视频图像码流发送至视频图像解码器，视频图像解码器对视频图像码流进行解码。
可选地，视频图像解码器和编码端的视频编码器所支持的视频图像编解码协议相同。
可选地，视频图像编码器对原始深度信息和视频图像数据进行混合编码的情况下，
视频图像解码器对视频图像码流进行混合解码，得到原始深度信息和所述视频图像数据对应的视频图像。
可选地，视频图像编码器对原始深度信息和视频图像数据独立进行编码的情况下，视频图像解码器对视频图像码流中的第一码流和第二码流进行独立解码，对视频图像数据的第一码流进行解码，得到原始深度信息，并对第二码流进行解码，得到所述视频图像数据对应的视频图像。这里，视频图像数据对应的视频图像也可称为原始视频图像。图像视频码流解码得到的原始视频图像可包括一帧或多帧原始视频图像。
S503，对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
通过图像处理器对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
解码端解码得到原始深度信息和视频图像数据后，通过图像处理器，将原始深度信息作用于视频图像，对视频图像进行图像处理，得到目标视频图像。目标视频图像的图像质量高于原始视频图像。
可选地，解码端可基于相位相关性、空间相关性、时间相关性、指定深度、频域相关性、编码二进制数据之间的相关性对解码得到的原始深度信息进行冗余恢复，得到冗余恢复后的原始深度信息，基于冗余恢复后的原始深度信息对视频图像进行图像处理，得到目标视频图像。
以基于空间相关性对解码得到的原始深度信息进行冗余恢复，得到冗余恢复后的原始深度信息为例，解码端对视频图像码流进行独立解码或混合解码，得到间隔视点的原始深度信息和至少一个视点的视频图像；对间隔视点的原始深度信息进行差值，得到至少一个视点中除了间隔视点以外的其他视点的原始深度信息；利用间隔视点的原始深度信息、其他视点的原始深度信息，对视频图像进行图像处理，得到目标视频图像。
以基于时间相关性对解码得到的原始深度信息进行冗余恢复，得到冗余恢复后的原始深度信息为例，解码端对视频图像码流进行独立解码或混合解码，得到采样后的原始深度信息，并基于时间相邻的采样后的原始深度信息恢复相邻的采样后的原始深度信息之间的原始深度信息，利用解码得到的原始深度信息和恢复的原始深度信息，对视频图像进行图像处理，得到目标视频图像。
可选地，所述视频图像解码器和所述图像处理器相互独立。可选地，所述图像处理器集成在所述视频图像解码器内。
在一示例中，以所述原始深度信息为电荷信息为例，所述对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像，包括：根据所述原始深度信息对所述视频图像进行去噪处理或白平衡调节，得到所述目标视频图像。
在一示例中，以所述原始深度信息为相位信息为例，所述对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像，包括：根据所述原始深度信息对所述视频图像进行去模糊处理，得到所述目标视频图像。
解码端中的图像处理器解析每个相位信息，得到解析结果，利用解析结果，对与之对应的视频帧进行去模糊，得到目标视频图像。
在一示例中，在高动态范围(HDR，High Dynamic Range)视频中，每一帧HDR图像是对1幅长曝光图像和1幅短曝光图像进行融合得到的，在当前时刻，针对同一个场景，控制图像传感器拍摄长曝光图像和短曝光图像，并控制深度信息传感器拍摄相位图像，将相位图像作为原始深度信息；对相位图像和长曝光图像进行混合编码或独立编码，对相位图像和短曝光图像进行混合编码或独立编码，得到视频图像码流；并将视频图像码流输出至解码端；解码端解从视频图像码流中解码出长曝光图像、短曝光图像和相位图像；再利用相位图像，对长曝光图像和短曝光图像分别进行去模糊，得到去模糊后的长曝光图像和去模糊后的短曝光图像；对去模糊后的长曝光图像和去模糊后的短曝光图像进行融合，得到一帧更为清晰的HDR图像。
如图6所示，在S502之后，还包括：
S504，对所述原始深度信息进行恢复，得到深度图像。
可选地，通过深度图像生成器对所述原始深度信息进行恢复，得到所述深度图像。
需要说明的是，本发明实施例中，在图6中以S504位于S503之后为例对得到目标视频图像和得到深度图像的先后顺序进行示例性说明，在实际应用中，S504和S503的执行不分先后顺序。
可选地，深度图像生成器与视频图像解码器相互独立。可选地，深度图像生成器集成在视频图像解码器内。
在一示例中，视频图像解码器、深度图像生成器和图像处理器相互独立，此时，将视频图像码流输入视频图像解码器，视频图像解码器输出原始深度信息和视频图像，并将原始深度信息和视频图像输入图像处理器，将原始深度信息输入深度图像生成器，图像处理器输出目标视频图像，深度图像生成器输出深度图像。
在一示例中，深度图像生成器和图像处理器集成在视频图像解码器中，此时，将视频图像码流输入视频图像解码器，视频图像解码器输出目标视频图像和深度图像。
在一示例中，深度图像生成器集成在视频图像解码器内，图像处理器与视频图像解码器相互独立，此时，将视频图像码流输入视频图像解码器，视频图像解码器输出原始深度信息和目标视频图像，并将原始深度信息输入深度图像生成器，深度图像生成器输出深度图像。
在一示例中，图像处理器集成在视频图像解码器内，深度图像生成器与视频图像解码器相互独立，此时，将视频图像码流输入视频图像解码器，视频图像解码器输出原始深度信息、视频图像以及深度图像，并将原始深度信息和视频图像输入图像处理器，图像处理器输出目标视频图像。
本发明实施例还提供一种信息处理方法，应用于包括编码端和解码端的信息处理系统，如图7所示，包括：
S701，编码端在深度信息传感器采集目标对象的深度信息的情况下，获取深度信息对应的原始深度信息。
所述原始深度信息表征所述深度信息传感器采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；
S702，编码端通过图像传感器获取目标对象的视频图像数据；
S703，编码端对原始深度信息和视频图像数据进行合并编码，得到视频图像码流，并输出视频图像码流。
S704，解码端接收视频图像码流。
S705，解码端对视频图像码流进行解码，得到原始深度信息和视频图像数据对应的视频图像。
S706，解码端对原始深度信息和视频图像进行图像处理，得到目标视频图像。
本发明实施例中，解码端接收包括原始深度信息的编码信息和图像视频信息的编码信息的视频图像码流，如此，解码端可以从视频图像码流中解码出原始深度信息和视频图像，进而，解码端不仅可以利用原始深度信息，恢复得到深度图像，还可以利用原始深度信息，对视频图像进行去噪、白平衡调整和去模糊等优化处理，提高了信息利用率，并且优化处理后得到的目标视频图像相较于原始视频图像，图像质量更高。
下面，通过场景的示例对本发明实施例提供的信息处理方法进行举例说明。
本发明的信息系统的框架如图8A和图8B所示。视频图像编码器1013对深度信息传感器1011获取到的原始深度信息801和图像传感器1012采集到的视频图像数据802进行合并编码，形成视频图像码流803；视频图像解码器1021获取视频图像码流803后，对视频图像码流803解析，得到原始深度信息804和视频图像805，深度图像生成器1023对原始深度信息804恢复得到深度图像806，图像处理器1022通过原始深度信息804对视频图像解码器1021得到的视频图像805进行处理，得到目标视频图像807。其中，深度图像生成器1023、图像处理器1022和视频图像解码器1021可以分别独立，如图8A所示；也可以将深度图像生成器1023和图像处理器1022作为视频图像解码器1021的一个组成部分，如图8B所示。
深度信息传感器输出的原始深度信息可以为深度信息传感器所获取得到的最初的数据信息即未经预处理的原始深度信息，也可以为最初的数据信息经预处理后所得到的中间数据信息即经过预处理的原始深度信息；当输出的信息为最初的数据信息，输出的信息可以为电荷信息或相位信息等经过光电转换后的电信号；当输出的信息为中间数据信息，输出的信息可以为对最初的数据信进行相位校准或其他方式等处理后的能够生成深度图像的中间视频图像数据。
视频图像编码器对输入的原始深度信息进行编码形成视频图像码流。其中，编码方式包括：
编码方式1、利用视频图像数据和深度原始信息的相关性，将二者混合进行编码；
编码方式2、分别将视频图像数据和深度原始信息进行独立编码。
在编码方式1中，原始深度信息的编码信息在视频图像数据的编码信息的信息头、序列信息头、附加参数集或者其他等任意位置。
在编码方式2中，利用原始深度信息的空间相关性或时间相关性等其他相关性，对原始深度信息自身进行单独的编码。
在视频图像编码器中，可以对每一幅视频图像对应的原始深度信息都编码，也可以仅对指定图像或指定图像位置对应的原始深度信息进行编码，其他非指定图像或非指定图像位置的对应原始深度信息不进行编码。
对于图像处理器，在拍照或预览场景中，对于景深的产生，可以直接利用原始深度信息作用于视频图像，形成具有景深的目标视频图像，而不用将深度图像和视频图像叠加处理产生具有景深的目标视频图像。
编码端对原始深度信息进行编码的过程中，为了压缩数据量，可以利用且不限于如下相关性消除冗余：
1、若原始深度信息包括多个视频图像的相位信息，利用相位之间的相关性消除相位数据冗余；若原始深度信息为其他数据，利用这些数据间的空间相关性等其相关性消除数据冗余；
2、利用原始深度信息的时间相关性消除数据冗余；
3、利用指定深度消除基于场景的数据冗余；
4、将原始深度信息转化为频域，利用频域相关性消除频域的数据冗余；
5、利用编码二进制数据之间的相关性，消除编码的比特冗余；其中，这里的编码可为熵编码。
本发明实施例中，视频图像编码器形成的包含原始深度信息的视频图像码流中，原始深度信息和视频图像数据可独立解码，即视频图像码流具有可解耦性或独立性，使得采用各种视频图像标准编解码协议的视频图像解码器可以从该视频图像码流中仅提取视频图像，而不提取原始深度信息，也可以仅提取原始深度信息，而不提取视频图像。
如图9A至9D所示，对于视频图像解码器、深度图像生成器和图像处理器，三者相互配合将视频图像码流按照视频图像标准编解码协议进行解码，并产生处理后的图像和原始深度信息；该视频图像标准编解码协议可以为厂商定制的私有标准，也可以为行业标准。视频图像解码器、深度图像生成器和图像处理器这三者的组成方式包括：
组成方式1、如图9A所示，视频图像解码器1021、深度图像生成器1023和图像处理器1022这三者相互独立，视频图像解码器1021解析视频图像码流803得到视频图像805和原始深度信息804后，将原始深度信息804送入深度图像生成器1023产生深度图像806，并将视频图像805和原始深度信息804送入图像处理器1022产生处理后的目标视频图像807；
组成方式2、如图9B所示，深度图像生成器1023和图像处理器1022嵌入视频图像解码器1021内部，在视频图像解码器1021内部对视频图像码流803进行处理，直接输出深度图像806和处理后的目标视频图像807。
组成方式3、如图9C所示，深度图像生成器1023嵌入视频图像解码器1021内部，先在视频图像解码器1021内部对视频图像码流803进行处理，输出深度图像806和视频图像805，再将视频图像805和原始深度信息804送入图像处理器1022，输出处理后的目标视频图像807；
组成方式4、如图9D所示，图像处理器1022嵌入视频图像解码器1021内部，先在视频图像解码器1021内部对图像视频码流803进行处理，输出原始深度信息804和处理后的目标视频图像807，再将原始深度信息804送入深度图像生成器1023，输出深度图像806。
本发明实施例提供的信息处理方法，在编码端，将通过深度信息传感器获取得到的原始深度信息，对原始深度信息进行视频图像编码，形成视频图像码流进行传输；在解码端，通过视频图像码流不仅能够恢复得到深度图像，而且可以通过解析得到的原始深度信息，对原始视频图像进行处理，得到图像质量更高的目标视频图像。
在一示例中，原始深度信息为相位信息，可通过不同时间点采样得到的多幅相位图像恢复得到深度图像，且当因为运动造成原始视频图像模糊时，由于多幅相位图像可携带不同时间点的更多信息，可以基于相位信息通过运动估计将模糊的原始视频图像进行恢复，以得到更为清晰的目标视频图像。
在又一示例中，深度信息传感器为TOF架构或模组，原始深度信息为电荷信息，不仅可以生成深度图像，而且可以根据电荷信息来判断拍摄场景的噪声和外部可见光，通过电荷信息进行原始视频图像的去燥和白平衡调节，以得到图像质量更好的视频图像，给用户更美更真实的图像视频体验。
本发明实施例中，原始深度信息的获取方式包括但是不限于以下方式：
方式一
采用连续调制的TOF方法，在两种不同的发射信号频率下，通过控制积分时间，通过TOF传感器采样得到不同相位的共8组光信号，并对这8组光信号进行光电转换，得到8组电荷信号，再将这8组电荷信号进行10比特量化，生成8张原始电荷图像；解码端将这8张原始电荷图像和TOF传感器的温度等属性参数一起作为原始深度信息进行编码；或者对这8张原始电荷图像进行预处理，生成2幅过程深度数据和一幅背景数据，并将这2幅过程深度数据和一幅背景数据作为原始深度信息进行编码。
方式二
采用双目成像的原理，利用双目摄像头拍摄得到的两幅视频图像，根据两幅视频图像的位姿将计算得到视差等信息，将视差信息和摄像头参数等作为原始深度信息进行编码。
本发明实施例中，以编解码协议3维高性能视频编码(3 Dimension HighEfficiency Video Coding，3D HEVC)为例，对原始深度信息进行编码时，作为一种可能的实现方式，每个视点以及对应的原始深度信息均编码；作为另一种可能的实现方式，可基于视点对原始深度信息进行间隔编码，即由于在同一时刻的不同视点之间，如相位图或电荷图像等原始深度信息存在很强的相关性，可以利用该相关性减少传输的视频图像码流数据量。在一示例中，对于三个视点的视频编码，在编码端，在视频图像码流中仅需要保留左右两个视点的原始深度数据，在解码端，可以通过对左右两个视点的原始深度信息进行插值处理得到中间视点的原始深度信息。
本发明实施例中，以基于时间相关性对原始深度信息进行冗余消除为例，作为一种可能的实现方式，不需要对所有原始深度信息进行编码，而仅需要采用采样的方式对深度信息传感器采集到的原始深度信息采用固定步长进行采样，并通过视频图像编码器对这些采样信号进行编码；解码端恢复得到这些采样信号后，通过插值等方法恢复得到未被采样的原始深度信息。
在一示例中，如图10所示，原始深度信息包括：编号分别为信号1、信号2、信号3、信号4......信号N，采用固定步长3对原始深度信息进行采样，得到采样后的原始深度信息包括：信号1、信号4、信号7......信号N，对于采样后的原始深度信息进行编码并解码，对于解码后的非采样信号，根据其相邻的采样信号进行恢复；如，对信号1和信号4进行插值恢复得到信号2，对信号2和信号4进行插值恢复得到信号3，以此类推。
本发明实施例中，在AR场景中，作为一种可能的实现方式，不需要对整幅深度图像对应的原始深度信息进行编码，而仅需要对部分画面进行编码，从而实现指定的局部原始深度信息的编码传输。
为实现上述信息处理方法，本发明实施例还提供一种终端设备，所述终端设备的组成结构，如图11所示，终端设备1100包括：
第一获取单元1101，配置为通过深度信息传感单元获取目标对象的深度信息的情况下，获取所述深度信息对应的原始深度信息，所述原始深度信息表征所述深度信息传感单元采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；
第二获取单元1102，配置为通过图像传感单元获取所述目标对象的视频图像数据；
编码单元1103，配置为对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流；
输出单元1104，配置为输出所述视频图像码流。
本发明实施例中，编码单元1103，还配置为：
对所述视频图像数据对应的图像帧中指定图像帧视对应的原始深度信息和所述视频图像数据进行合并编码，得到所述视频图像码流。
本发明实施例中，编码单元1103，还配置为：
对指定图像位置对应的原始深度信息和所述视频图像数据进行合并编码，得到所述视频图像码流。
本发明实施例中，编码单元1103，还配置为：
根据所述原始深度信息和所述视频图像数据的相关性，对所述原始深度信息和所述视频图像数据进行混合编码，得到所述视频图像码流。
本发明实施例中，编码单元1103，还配置为：
对所述原始深度信息的进行编码，得到第一编码信息；
将所述第一编码信息写入所述视频图像数据的指定位置；
对写入所述第一编码信息的视频图像数据进行编码，得到所述视频图像码流。
本发明实施例中，编码单元1103，还配置为：
对所述原始深度信息的进行编码，得到第一编码信息；
对视频图像数据进行编码，得到第二编码信息；
将所述第一编码信息和所述第二编码信息进行合并，得到所述视频图像码流。
本发明实施例中，所述终端设备还包括：
预处理单元，配置为：
在对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流之前，对所述原始深度信息进行预处理。
本发明实施例中，所述终端设备还包括：
消除单元，配置为：
在对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流之前，对所述原始深度信息进行冗余消除处理，以消除所述原始深度信息中的冗余信息。
本发明实施例中，所述消除单元，还配置为以下至少之一：
基于相位相关性对所述原始深度信息冗余消除处理；
基于空间相关性对所述原始深度信息进行冗余消除处理；
基于时间相关性对所述原始深度信息进行冗余消除处理；
基于指定深度对所述原始深度信息进行冗余消除处理；
基于频域相关性对所述原始深度信息进行冗余消除处理；
基于编码二进制数据之间的相关性对所述原始深度信息的编码比特进行冗余消除处理。
本发明实施例中，所述原始深度信息包括以下至少之一：电荷信息、相位信息和所述深度信息传感单元的属性参数。
本发明实施例还提供一种终端设备，包括处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行上述终端设备执行的信息处理方法的步骤。
需要说明的是，本发明实施例中的深度信息传感单元、图像传感单元和视频图像编码单元可分别为深度信息传感器、图像传感器和视频图像编码器。
为实现上述信息处理方法，本发明实施例还提供一种终端设备，所述终端设备的组成结构，如图12所示，终端设备1200包括：
接收单元1201，配置为接收视频图像码流，所述视频图像码流为对原始深度信息和视频图像数据进行合并编码得到的，所述原始深度信息是通过深度信息传感单元获取目标对象的深度信息的情况下获取的，所述视频图像数据是通过图像传感单元获取的所述目标对象的；所述原始深度信息表征所述深度信息传感单元采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；
解码单元1202，配置为对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像；
处理单元1203，配置为对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
本发明实施例中，解码单元1202，还配置为通过视频图像解码单元对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像；
处理单元1203，还配置为通过述视频图像解码单元对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
本发明实施例中，所述视频图像解码单元和所述图像处理单元相互独立，或所述图像处理单元集成在所述视频图像解码单元内。
本发明实施例中，所述原始深度信息包括以下至少之一：电荷信息、相位信息和所述深度信息传感单元的属性参数。
本发明实施例中，处理单元1203，还配置为：
当所述原始深度信息为电荷信息，根据所述电荷信息对所述视频图像进行去噪处理或白平衡调节，得到所述目标视频图像。
本发明实施例中，处理单元1203，还配置为：
当所述原始深度信息为相位信息，根据所述相位信息对所述视频图像进行去模糊处理，得到所述目标视频图像。
本发明实施例中，所述终端设备还包括：
生成单元，配置为对所述原始深度信息进行恢复，得到深度图像。
本发明实施例中，所述生成单元，还配置为通过深度图像生成单元对所述原始深度信息进行恢复，得到深度图像，得到所述深度图像。
本发明实施例还提供一种终端设备，包括处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行上述终端设备执行的信息处理方法的步骤。
需要说明的是，本发明实施例中的视频图像解码单元、图像处理单元和深度图像生成单元可分别为视频图像解码器、图像处理器和深度图像生成器。
图13是本发明实施例的电子设备(终端设备)的硬件组成结构示意图，电子设备1300包括：至少一个处理器1301、存储器1302和至少一个网络接口1304。电子设备1300中的各个组件通过总线系统1305耦合在一起。可理解，总线系统1305用于实现这些组件之间的连接通信。总线系统1305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图13中将各种总线都标为总线系统1305。
可以理解，存储器1302可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagneticrandom access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器1302旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器1302用于存储各种类型的数据以支持电子设备1300的操作。这些数据的示例包括：用于在电子设备1300上操作的任何计算机程序，如应用程序13021。实现本发明实施例方法的程序可以包含在应用程序13021中。
上述本发明实施例揭示的方法可以应用于处理器1301中，或者由处理器1301实现。处理器1301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1301可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器1301可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器1302，处理器1301读取存储器1302中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备1300可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、MPU、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种存储介质，用于存储计算机程序。
可选的，该存储介质可应用于本发明实施例中的终端设备，并且该计算机程序使得计算机执行本发明实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生配置为实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供配置为实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非配置为限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (27)
1.一种信息处理方法，所述方法包括：
通过深度信息传感器获取目标对象的深度信息的情况下，获取所述深度信息对应的原始深度信息，所述原始深度信息表征所述深度信息传感器采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；其中，所述原始深度信息用于提高视频图像的视频质量；
通过图像传感器获取所述目标对象的视频图像数据；
对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，并输出所述视频图像码流。
2.根据权利要求1所述的方法，其中，所述对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，包括：
对所述视频图像数据对应的图像帧中指定图像帧对应的原始深度信息和所述视频图像数据进行合并编码，得到所述视频图像码流。
3.根据权利要求1所述的方法，其中，所述对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，包括：
对指定图像位置对应的原始深度信息和所述视频图像数据进行合并编码，得到所述视频图像码流。
4.根据权利要求1至3任一项所述的方法，其中，所述对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，包括：
根据所述原始深度信息和所述视频图像数据的相关性，对所述原始深度信息和所述视频图像数据进行混合编码，得到所述视频图像码流。
5.根据权利要求4所述的方法，其中，所述对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，还包括：
将所述原始深度信息对应的第一编码信息写入所述视频图像数据对应的第二编码信息的指定位置处。
6.根据权利要求1至3任一项所述的方法，其中，所述对所述原始深度信息和所述视频图像数据进行合并编码，包括：
分别对所述原始深度信息和所述视频图像数据进行独立编码，得到包括第一码流和第二码流的图像视频码流，所述第一码流为所述原始深度信息编码后得到的码流，所述第二码流为所述图像视频数据编码后得到的码流。
7.根据权利要求1至6任一项所述的方法，其中，在对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流之前，所述方法还包括：
对所述原始深度信息进行预处理；
所述对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流，包括：
对经过预处理的原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流。
8.根据权利要求1至7任一项所述的方法，其中，在对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流之前，所述方法还包括：
对所述原始深度信息进行冗余消除处理，以消除所述原始深度信息中的冗余信息。
9.根据权利要求8所述的方法，其中，所述根据对所述原始深度信息进行冗余消除处理，包括以下至少之一：
基于相位相关性对所述原始深度信息冗余消除处理；
基于空间相关性对所述原始深度信息进行冗余消除处理；
基于时间相关性对所述原始深度信息进行冗余消除处理；
基于指定深度对所述原始深度信息进行冗余消除处理；
基于频域相关性对所述原始深度信息进行冗余消除处理；
基于编码二进制数据之间的相关性对所述原始深度信息的编码比特进行冗余消除处理。
10.根据权利要求1至9任一项所述的方法，其中，所述原始深度信息包括以下至少之一：电荷信息、相位信息和所述深度信息传感器的属性参数。
11.一种信息处理方法，所述方法包括：
接收视频图像码流，所述视频图像码流为对原始深度信息和视频图像数据进行合并编码得到的，所述原始深度信息是通过深度信息传感器获取目标对象的深度信息的情况下获取的，所述视频图像数据是通过图像传感器获取的所述目标对象的；所述原始深度信息表征所述深度信息传感器采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；其中，所述原始深度信息用于提高视频图像的视频质量；
对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像；
对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
12.根据权利要求11所述的方法，其中，
通过视频图像解码器对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像；
通过图像处理器对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
13.根据权利要求12所述的方法，其中，所述视频图像解码器和所述图像处理器相互独立，或所述图像处理器集成在所述视频图像解码器内。
14.根据权利要求11至13任一项所述的方法，其中，所述原始深度信息包括以下至少之一：电荷信息、相位信息和所述深度信息传感器的属性参数。
15.根据权利要求14所述的方法，其中，当所述原始深度信息为电荷信息，所述对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像，包括：
根据所述电荷信息对所述视频图像进行去噪处理或白平衡调节，得到所述目标视频图像。
16.根据权利要求14所述的方法，其中，当所述原始深度信息为相位信息，所述对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像，包括：
根据所述相位信息对所述视频图像进行去模糊处理，得到所述目标视频图像。
17.根据权利要求11至16任一项所述的方法，其中，所述方法还包括：
对所述原始深度信息进行恢复，得到深度图像。
18.根据权利要求17所述的方法，其中，通过深度图像生成器对所述原始深度信息进行恢复，得到所述深度图像。
19.一种终端设备，所述终端设备包括：
第一获取单元，配置为通过深度信息传感单元获取目标对象的深度信息的情况下，获取所述深度信息对应的原始深度信息，所述原始深度信息表征所述深度信息传感单元采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；其中，所述原始深度信息用于提高视频图像的视频质量；
第二获取单元，配置为通过图像传感单元获取所述目标对象的视频图像数据；
编码单元，配置为对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流；
输出单元，配置为输出所述视频图像码流。
20.根据权利要求19所述的终端设备，其中，所述编码单元，还配置为：
根据所述原始深度信息和所述视频图像数据的相关性，对所述原始深度信息和所述视频图像数据进行混合编码，得到所述视频图像码流。
21.根据权利要求19或20所述的终端设备，其中，所述编码单元，还配置为：
对所述原始深度信息的进行编码，得到第一编码信息；
对视频图像数据进行编码，得到第二编码信息；
将所述第一编码信息和所述第二编码信息进行合并，得到所述视频图像码流。
22.根据权利要求19至21任一项所述的终端设备，其中，所述终端设备还包括：
预处理单元，配置为：
在对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流之前，对所述原始深度信息进行预处理。
23.根据权利要求19至22任一项所述的终端设备，其中，所述终端设备还包括：
消除单元，配置为：
在对所述原始深度信息和所述视频图像数据进行合并编码，得到视频图像码流之前，对所述原始深度信息进行冗余消除处理，以消除所述原始深度信息中的冗余信息。
24.一种终端设备，所述终端设备包括：
接收单元，配置为接收视频图像码流，所述视频图像码流为对原始深度信息和视频图像数据进行合并编码得到的，所述原始深度信息是通过深度信息传感单元获取目标对象的深度信息的情况下获取的，所述视频图像数据是通过图像传感单元获取的所述目标对象的；所述原始深度信息表征所述深度信息传感单元采集所述深度信息的采集状态或采集到的所述深度信息以外的信息；其中，所述原始深度信息用于提高视频图像的视频质量；
解码单元，配置为对所述视频图像码流进行解码，得到所述原始深度信息和所述视频图像数据对应的视频图像；
处理单元，配置为对所述原始深度信息和所述视频图像进行图像处理，得到目标视频图像。
25.根据权利要求24所述的终端设备，其中，所述终端设备还包括：
生成单元，配置为对所述深度信息进行恢复，得到深度图像。
26.一种终端设备，包括处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行上述权利要求1至10任一项所述的信息处理方法的步骤，或执行上述权利要求11至18任一项所述的信息处理方法的步骤。
27.一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现上述权利要求1至10任一项所述的信息处理方法，或实现上述权利要求11至18任一项所述的信息处理方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/116055 WO2021087819A1 (zh) | 2019-11-06 | 2019-11-06 | 信息处理方法、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114391259A CN114391259A (zh) | 2022-04-22 |
| CN114391259B true CN114391259B (zh) | 2024-05-31 |
Family
ID=75849423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980100362.9A Active CN114391259B (zh) | 2019-11-06 | 2019-11-06 | 信息处理方法、终端设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114391259B (zh) |
| WO (1) | WO2021087819A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189371B (zh) * | 2019-05-20 | 2023-06-30 | 东南大学 | 一种基于tof深度相机的小鼠平衡状态判别装置及其方法 |
| CN116170581B (zh) * | 2023-02-17 | 2024-01-23 | 厦门瑞为信息技术有限公司 | 一种基于目标感知的视频信息编解码方法和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102630026A (zh) * | 2011-02-03 | 2012-08-08 | 美国博通公司 | 一种处理视频的方法及系统 |
| WO2019142163A1 (en) * | 2018-01-19 | 2019-07-25 | Interdigital Vc Holdings, Inc. | Processing a point cloud |
| CN110336973A (zh) * | 2019-07-29 | 2019-10-15 | 联想(北京)有限公司 | 信息处理方法及其装置、电子设备和介质 |
| CN110335211A (zh) * | 2019-06-24 | 2019-10-15 | Oppo广东移动通信有限公司 | 深度图像的校正方法、终端设备以及计算机存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130021446A1 (en) * | 2011-07-20 | 2013-01-24 | GM Global Technology Operations LLC | System and method for enhanced sense of depth video |
| CN103440662B (zh) * | 2013-09-04 | 2016-03-09 | 清华大学深圳研究生院 | Kinect深度图像获取方法与装置 |
| CN110355758B (zh) * | 2019-07-05 | 2021-02-09 | 北京史河科技有限公司 | 一种机器跟随方法、设备及跟随机器人系统 |
-
2019
- 2019-11-06 WO PCT/CN2019/116055 patent/WO2021087819A1/zh active Application Filing
- 2019-11-06 CN CN201980100362.9A patent/CN114391259B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102630026A (zh) * | 2011-02-03 | 2012-08-08 | 美国博通公司 | 一种处理视频的方法及系统 |
| WO2019142163A1 (en) * | 2018-01-19 | 2019-07-25 | Interdigital Vc Holdings, Inc. | Processing a point cloud |
| CN110335211A (zh) * | 2019-06-24 | 2019-10-15 | Oppo广东移动通信有限公司 | 深度图像的校正方法、终端设备以及计算机存储介质 |
| CN110336973A (zh) * | 2019-07-29 | 2019-10-15 | 联想(北京)有限公司 | 信息处理方法及其装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114391259A (zh) | 2022-04-22 |
| WO2021087819A1 (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11057646B2 (en) | Image processor and image processing method | |
| US8374444B2 (en) | Method and apparatus for providing higher resolution images in an embedded device | |
| KR102343700B1 (ko) | 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신 | |
| JP2019534606A (ja) | ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置 | |
| KR20120068024A (ko) | 장치 | |
| WO2021057689A1 (zh) | 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置 | |
| CN113508592A (zh) | 编码器、解码器及相应的帧间预测方法 | |
| US20180352248A1 (en) | Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device | |
| CN114391259B (zh) | 信息处理方法、终端设备及存储介质 | |
| US11158025B2 (en) | Methods and apparatus for optimized stitching of overcapture content | |
| KR20110052933A (ko) | 촬영장치 및 촬영영상 제공방법 | |
| JP2023085337A (ja) | イントラ予測のためのクロスコンポーネント線形モデリングの方法、装置、デコーダ、エンコーダおよびプログラム | |
| CN114374841B (zh) | 视频编码码率控制的优化方法、装置及电子设备 | |
| JP2015019326A (ja) | 符号化装置および符号化方法、並びに、復号装置および復号方法 | |
| CN104079942B (zh) | 一种图像处理方法、装置及系统 | |
| JP2018033127A (ja) | ライトフィールド・コンテンツを表す信号を符号化する方法および装置 | |
| JP2021527362A (ja) | イントラ予測のための方法及び装置 | |
| CN113409209B (zh) | 图像去模糊方法、装置、电子设备与存储介质 | |
| WO2021087810A1 (zh) | 信息处理方法和系统、编码装置、解码装置及存储介质 | |
| JP7303930B1 (ja) | 画像処理方法、装置、電子機器および読み取り可能な記憶媒体 | |
| WO2024078403A1 (zh) | 图像处理方法、装置及设备 | |
| CN114175626B (zh) | 信息处理方法、编码装置、解码装置、系统及存储介质 | |
| JP2021170689A (ja) | 画像処理装置および方法 | |
| WO2015141549A1 (ja) | 動画像符号化装置及び方法、及び、動画像復号装置及び方法 | |
| CN111225218A (zh) | 信息处理方法、编码装置、解码装置、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |