[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN101662693B - 多视点媒体内容的发送和播放方法、装置及系统 - Google Patents

多视点媒体内容的发送和播放方法、装置及系统 Download PDF

Info

Publication number
CN101662693B
CN101662693B CN200810146721.8A CN200810146721A CN101662693B CN 101662693 B CN101662693 B CN 101662693B CN 200810146721 A CN200810146721 A CN 200810146721A CN 101662693 B CN101662693 B CN 101662693B
Authority
CN
China
Prior art keywords
information
viewpoint
media content
audio
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200810146721.8A
Other languages
English (en)
Other versions
CN101662693A (zh
Inventor
詹五洲
王东琦
刘源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Huawei Device Shenzhen Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN200810146721.8A priority Critical patent/CN101662693B/zh
Priority to PCT/CN2009/073547 priority patent/WO2010022658A1/zh
Publication of CN101662693A publication Critical patent/CN101662693A/zh
Application granted granted Critical
Publication of CN101662693B publication Critical patent/CN101662693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)

Abstract

本发明实施例公开一种多视点媒体内容的播放和发送方法、装置及系统，涉及媒体内容播放技术。为解决现有技术在进行视点切换以后，音频信号与切换后的视点所对应的视频图像可能不匹配的问题而发明。本发明提供的技术方案为：一种多视点媒体内容的播放方法，包括：接收多视点媒体内容；当进行视点切换时，生成切换后的视点信息；根据所述视点信息和多视点媒体内容，生成与该视点信息对应的视频信号和对应的音频信号；同步输出所述视频信号和音频信号。本发明实施例提供的多视点媒体内容的播放和发送方法、装置及系统可以应用在具有多视点媒体内容播放功能的系统中。

Description

多视点媒体内容的发送和播放方法、装置及系统
技术领域
本发明涉及通信领域，尤其涉及一种多视点媒体内容的发送和播放方法、装置及系统。 
背景技术
多视点媒体内容是指由多视点视频信息和音频信息组成的媒体内容。其中，所述多视点视频信息是指使用多个摄像机，从不同角度对同一场景进行同步拍摄获得的多个视频流组成的视频信息。在多视点媒体内容的播放端，观看者可以通过选择不同的视点，从不同角度观看所述多视点媒体内容。 
但在多视点媒体内容的播放端，声音源的播放方向是固定不变的，即对所述多视点媒体内容进行视点切换以后，观看者观看到的视频信号和听到的音频信号之间可能存在角度差，使得视频信号与音频信号不匹配。例如：如图1所示，观看者P从三个不同的视点(对应的角度分别为∠α、∠β和∠γ)观看同一个场景中的同一个人物，得到所述三个视点对应的视频信号A、B和C，在图1中，声音源位于S处(角度为∠α)，当观看者选择角度为∠α的视点进行观看时，视频信号A与音频信号(从声音源S发出)的角度相同，此时视频信号A与音频信号相匹配；当观看者选择角度为∠β或者∠γ的视点进行观看时，视频信号B或者C和音频信号(从声音源S发出)之间存在角度差，视频信号和音频信号不匹配。 
发明内容
本发明的实施例提供一种多视点媒体内容的发送和播放方法、装置及系统，能够在切换视点以后，使视频信号与音频信号的播放方向匹配。
为达到上述目的，本发明的实施例采用如下技术方案： 
一种多视点媒体内容的播放方法，包括：接收多视点媒体内容，其中，所述多视点媒体内容包括：多视点的视频信息以及该视频信息的三维信息，和音频信息以及该音频信息的音源位置信息，所述三维信息包括所述多视点视频信息的深度信息以及相邻视点视频信息之间的视差信息；当进行视点切换时，生成切换后的视点信息；根据所述视点信息和多视点媒体内容，生成与该视点信息对应的视频信号和对应的音频信号；同步输出所述视频信号和音频信号。 
一种多视点媒体内容的播放装置，包括： 
媒体内容接收单元，用于接收多视点媒体内容，其中，所述多视点媒体内容包括：多视点的视频信息以及该视频信息的三维信息，和音频信息以及该音频信息的音源位置信息，所述三维信息包括所述多视点视频信息的深度信息以及相邻视点视频信息之间的视差信息； 
视点信息生成单元，用于当进行视点切换时，生成切换后的视点信息； 
信号生成单元，用于根据所述视点信息生成单元生成的视点信息，以及媒体内容接收单元接收的多视点媒体内容，生成与该视点信息对应的视频信号和对应的音频信号； 
同步输出单元，用于同步输出所述信号生成单元生成的视频信号和音频信号。 
一种多视点媒体内容的播放系统，包括： 
多视点媒体内容发送装置，用于对接收到的多视点的视频信息以及从多个不同位置接收到的音频信息进行处理，获取所述视频信息的三维信息以及所述音频信息的音源位置信息，将所述多视点的视频信息以及该视频信息的三维信息，和所述音频信息以及该音频信息的音源位置信息进行编码，生成多视点媒 体内容后发送，其中，所述三维信息包括所述多视点视频信息的深度信息以及相邻视点视频信息之间的视差信息； 
多视点媒体内容播放装置，用于接收所述多视点媒体内容发送装置发送的多视点媒体内容，当进行视点切换时，生成切换后的视点信息，根据该视点信息以及接收到的多视点媒体内容，生成对应的视频信号和音频信号，同步输出所述视频信号和音频信号。 
本发明实施例提供的多视点媒体内容的发送和播放方法、装置及系统，由于发送端发送的多视点媒体内容中包含了多视点视频信息的三维信息以及音频信息的音源位置信息，所以播放端能够根据切换后的视点信息以及接收到的多视点媒体内容，生成与该视点信息对应的视频信号和音频信号，解决了现有技术由于音频信号是固定不变的，在进行视点切换以后，音频信号与切换后视点所对应的视频信号不匹配的问题。 
图1为现有技术中观看者从三个不同视点观看多视点媒体内容的示意图； 
图2为本发明实施例提供的多视点媒体内容的发送方法流程图一； 
图3为本发明实施例提供的多视点媒体内容的发送方法流程图二； 
图4为本发明实施例提供的多视点媒体内容的播放方法流程图； 
图5为本发明实施例提供的多视点媒体内容的发送装置结构示意图一； 
附图说明
图6为本发明实施例提供的多视点媒体内容的发送装置结构示意图二； 
图7为本发明实施例提供的多视点媒体内容的播放装置结构示意图一； 
图8为本发明实施例提供的多视点媒体内容的播放装置结构示意图二； 
图9为本发明实施例提供的多视点媒体内容的播放系统结构示意图一； 
图10为本发明实施例提供的多视点媒体内容的播放系统结构示意图二。 
具体实施方式
如图2所示，本发明实施例提供的多视点媒体内容的发送方法，包括： 
步骤201，根据多视点的视频信息，获取所述视频信息的三维信息； 
在本实施例中，所述多视点的视频信息是通过一个摄像机组拍摄获得的，该摄像机组包括一个以上位于不同视点的摄像机，所述步骤201可以对所述多视点的视频信息进行三维信息处理，获得该多视点视频信息的三维信息，其中，该三维信息可以包括：所述多视点视频信息的深度信息以及相邻视点视频信息之间的视差信息等； 
步骤202，根据从多个不同位置接收到的音频信息，获得所述音频信息的音源位置信息； 
在本实施例中，所述从多个不同位置接收到的音频信息是通过一个麦克风阵列获得的，该麦克风阵列包括多个位于不同位置的麦克风，所述步骤202可以对所述通过麦克风阵列获得的音频信息使用波束形成等阵列信号处理技术进行处理，获得所述音频信息的音源位置信息； 
在本实施例中，所述音频信息中可能包括一个以上的音源信号，此时，所 述步骤202获得的音频信息的音源位置信息为每个音源信号对应的音源位置信息； 
步骤203，将所述多视点的视频信息以及该视频信息的三维信息，和所述音频信息以及该音频信息的音源位置信息进行编码，生成多视点媒体内容后发送。 
本发明实施例提供的的多视点媒体内容的发送方法，由于其发送的多视点媒体内容中包含多视点视频信息的三维信息以及音频信息的音源位置信息，所以，为播放端在视点切换以后生成切换后视点对应的视频信号和音频信号提供了条件。 
当本发明实施例提供的多视点媒体内容的发送方法应用在双向系统中时，如应用在会场中，如图3所示，在如图2所示的步骤202之前，还可以包括： 
步骤200a，获取播放的多视点媒体内容的音频信号； 
步骤200b，根据所述获取的播放的多视点媒体内容的音频信号，对所述从多个不同位置接收到的音频信息进行回声抵消处理。 
所述步骤200a和200b可以位于所述步骤201之前，也可以位于所述步骤201之后，在本实施例中，如图3所示，所述步骤200a和200b位于步骤201之前。 
本发明实施例提供的多视点媒体内容的发送方法，由于对接收到的音频信息进行了回声抵消处理，使得在双向系统中，播放端播放的音频信号不会对发送端接收到的音频信息产生干扰。 
如图4所示，本发明实施例提供的多视点媒体内容的播放方法，包括： 
步骤401，接收多视点媒体内容； 
在本实施例中，所述步骤401可以通过网络接收多视点媒体内容发送端发送多视点媒体内容；所述多视点媒体内容可以包括：视频信息以及该视频信息 的三维信息(如：深度信息或者视差信息等)，和音频信息以及该音频信息的音源位置信息等，其中，所述视频信息由一个以上视点拍摄获得的视频流组成，所述音频信息包括至少一个音源信息，所述音频信息的音源位置信息是指每个音源的位置信息； 
步骤402，当进行视点切换时，生成切换后的视点信息，包括：接收用户通过遥控器或者其他输入设备发送的视点切换信息；根据所述视点切换信息以及所述多视点媒体内容中视频信息的三维信息，生成切换后的视点信息； 
步骤403，根据所述视点信息和多视点媒体内容，生成与该视点信息对应的视频信号和对应的音频信号； 
理论上来讲，所述多视点媒体内容中包含的视频信息应该由所有视点拍摄获得的视频流组成，然而，出于拍摄成本的考虑，实际上所述多视点媒体内容中包含的视频信息仅由几个关键视点拍摄获得的视频流组成，例如：所述视频信息是由从景物的前面、左侧面、右侧面和后面拍摄获得的视频流组成； 
综上所述，在本实施例中，所述步骤403具体是利用与切换后的视点相邻的两个关键视点的视频信息以及该视频信息之间的视差信息，使用虚拟视点合成算法，合成所述切换后的视点对应的视频信号； 
在本实施例中，所述步骤403生成与视点信息对应的音频信号的步骤可以包括：首先，根据所述步骤402中获得的切换以后的视点信息，以及所述多视点媒体内容中音频信息的音源位置信息，生成与该视点信息对应的音频信息的音源位置信息；然后，根据所述生成的音频信息的音源位置信息以及所述多视点媒体内容中包含的音频信息，使用波前合成技术，生成与该视点信息对应的音频信号；当然，所述步骤403也可以采用其他类似于波前合成技术的三维音频播放技术生成与切换后的视点对应的音频信号，此处，不对其他情况进行赘 述； 
当所述音频信息中包括一个以上的音源时，所述步骤403需要为每个音源分别生成与切换后的视点对应的音源位置信息； 
步骤404，同步输出步骤403中生成的视频信号和音频信号。 
进一步地，本发明实施例提供的多视点媒体内容的播放方法，在所述步骤403之后，还可以包括：将所述与切换后的视点对应的音频信号进行回声抵消处理的步骤。 
本发明实施例提供的多视点媒体内容的播放方法，能够根据切换后的视点信息以及接收到的多视点媒体内容，生成与该视点信息对应的视频信号和音频信号，解决了现有技术由于音频信号是固定不变的，在进行视点切换以后，音频信号与切换后视点所对应的视频信号位置之间存在角度差，使得播放的音频信号与视频信号不匹配的问题，实现了音频信号与视频信号同步切换的目的，提高了用户观看所述多视点媒体内容的真实感和临场感。 
与上述本发明实施例提供的多视点媒体内容的发送方法相对应地，如图5所示，本发明实施例还提供一种多视点媒体内容的发送装置，包括： 
视频信息处理单元501，用于根据多视点视频信息，获取所述视频信息的三维信息； 
音频信息处理单元502，用于根据从多个不同位置接收到的音频信息，获得所述音频信息的音源位置信息； 
多视点媒体内容生成单元503，用于将所述多视点的视频信息以及所述视频信息处理单元501获得的所述多视点视频信息的三维信息，和所述音频信息以及所述音频信息处理单元502获得的所述音频信息的音源位置信息进行编码，生成多视点媒体内容后发送。
进一步地，如图6所示，本发明实施例提供的多视点媒体内容的发送装置，还可以包括： 
音频信号获取单元504，用于获取播放的多视点媒体内容的音频信号； 
回声抵消处理单元505，用于根据所述回声抵消信息接收单元504获取的播放的音频信号，对所述从多个不同位置接收到的音频信息进行回声抵消处理； 
所述音频信息处理单元502，还用于对所述回声抵消处理单元505处理以后的音频信息进行处理，获取该音频信息的三维信息。 
本发明实施例提供的的多视点媒体内容的发送装置，由于其发送的多视点媒体内容中包含多视点视频信息的三维信息以及音频信息的音源位置信息，所以，为播放端在视点切换以后生成切换后视点对应的视频信号和音频信号提供了条件。 
如图7所示，本发明实施例提供的多视点媒体内容的播放装置，包括： 
媒体内容接收单元701，用于接收多视点媒体内容； 
在本实施例中，所述媒体内容接收单元701可以通过网络接口，从网络上接收发送端经过处理以后的多视点媒体内容；所述多视点媒体内容可以包括：视频信息以及该视频信息的三维信息(如：深度信息或者视差信息等)，和音频信息以及该音频信息的音源位置信息等，其中，所述视频信息由一个以上视点拍摄获得的视频流组成，所述音频信息包括至少一个音源信息，所述音频信息的音源位置信息是指每个音源的位置信息； 
视点信息生成单元702，用于当进行视点切换时，生成切换后的视点信息； 
信号生成单元703，用于根据所述视点信息生成单元702生成的视点信息，以及媒体内容接收单元701接收的多视点媒体内容，生成与该视点信息对应的视频信号和音频信号；
同步输出单元704，用于同步输出所述信号生成单元703生成的视频信号和音频信号。 
进一步地，如图8所示，所述视点信息生成单元702可以包括： 
切换信息获取单元7021，用于获取视点切换信息； 
第一生成单元7022，用于根据所述切换信息获取单元7021获取的视点切换信息，以及所述多视点媒体内容中包含的视频信息的三维信息，生成切换后的视点信息。 
进一步地，如图8所示，所述信号生成单元703包括音频信息生成单元7031，该音频信号生成单元7031可以包括： 
位置信息生成单元70311，用于根据所述视点信息生成单元702生成的视点信息，以及所述多视点媒体内容中包含的音频信息的音源位置信息，生成与所述视点信息对应的音频信息的音源位置信息； 
第二生成单元70312，用于根据所述多视点媒体内容中包含的音频信息以及位置信息生成单元70311生成的与所述视点信息对应的音频信息的音源位置信息，生成与所述视点信息对应的音频信号。 
进一步地，如图8所示，所述多视点媒体内容的播放装置，还可以包括： 
回声抵消处理单元705，用于将所述与视点信息对应的音频信号进行回声抵消处理。 
本发明实施例提供的多视点媒体内容的播放装置，能够根据切换后的视点信息以及接收到的多视点媒体内容，生成与该视点信息对应的视频信号和音频信号，解决了现有技术由于音频信号是固定不变的，在进行视点切换以后，音频信号与切换后视点所对应的视频信号位置之间存在角度差，使得音频信号与视频信号不匹配的问题，实现了音频与视频同步切换的目的，提高了用户观看 所述多视点媒体内容的真实感和临场感。 
如图9所示，本发明实施例提供的多视点媒体内容的播放系统，包括： 
多视点媒体内容发送装置901，用于对接收到的多视点的视频信息以及从一多个不同位置接收到的音频信息进行处理，获取所述视频信息的三维信息以及所述音频信息的音源位置信息，将所述多视点的视频信息以及该视频信息的三维信息，和所述音频信息以及该音频信息的音源位置信息进行编码，生成多视点媒体内容后发送； 
多视点媒体内容播放装置902，用于接收所述多视点媒体内容发送装置901发送的多视点媒体内容，当进行视点切换时，生成切换后的视点信息，根据该视点信息以及接收到的多视点媒体内容，生成对应的视频信号和音频信号，同步输出所述视频信号和音频信号。 
进一步地，当本发明实施例提供的多视点媒体内容的播放系统为一个双向通信系统时，如会场，如图10所示，所述多视点媒体内容的播放系统，还可以包括： 
回声抵消装置903，用于接收所述多视点媒体内容播放装置902生成的音频信号，将该音频信号发送给多视点媒体内容发送装置901； 
所述多视点媒体内容发送装置901，还用于根据所述回声抵消装置903发送的音频信号，对从多个不同位置接收到的音频信息进行回声抵消处理。 
本发明实施例提供的多视点媒体内容的播放系统，能够根据切换后的视点信息以及接收到的多视点媒体内容，生成与该视点信息对应的视频信号和音频信号，解决了现有技术由于音频信号是固定不变的，在进行视点切换以后，音频信号与切换后视点所对应的视频信号位置之间存在角度差，使得音频信号与视频信号不匹配的问题，实现了音频与视频同步切换的目的，提高了用户观看 所述多视点媒体内容的真实感和临场感。 
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一计算机可读存储介质中，如ROM/RAM、磁碟或光盘等。 
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种多视点媒体内容的播放方法，其特征在于，包括：
接收多视点媒体内容，其中，所述多视点媒体内容包括：多视点的视频信息以及该视频信息的三维信息，和音频信息以及该音频信息的音源位置信息，所述三维信息包括所述多视点视频信息的深度信息以及相邻视点视频信息之间的视差信息；
当进行视点切换时，生成切换后的视点信息；
根据所述视点信息和多视点媒体内容，生成与该视点信息对应的视频信号和对应的音频信号；
同步输出所述视频信号和音频信号；
所述根据所述视点信息和多视点媒体内容，生成与该视点信息对应的视频信号包括：利用与切换后的视点相邻的两个关键视点的视频信息以及该视频信息之间的视差信息，使用虚拟视点合成算法，合成所述切换后的视点对应的视频信号。
2.根据权利要求1所述的多视点媒体内容的播放方法，其特征在于，所述生成切换后的视点信息包括：
获取视点切换信息；
根据所述视点切换信息和视频信息的三维信息，生成切换后的视点信息。
3.根据权利要求1所述的多视点媒体内容的播放方法，其特征在于，所述根据所述视点信息和多视点媒体内容，生成与该视点信息对应的音频信号包括：
根据所述视点信息和所述音频信息的音源位置信息，生成与所述视点信息时应的音频信息的音源位置信息；
根据所述音频信息以及与所述视点信息对应的音频信息的音源位置信息，生成与所述视点信息对应的音频信号。
4.根据权利要求1所述的多视点媒体内容的播放方法，其特征在于，所述根据所述视点信息和多视点媒体内容，生成与该视点信息对应的视频信号和对应的音频信号之后，还包括：将所述与视点信息对应的音频信号进行回声抵消处理。
5.一种多视点媒体内容的播放装置，其特征在于，包括：
媒体内容接收单元，用于接收多视点媒体内容，其中，所述多视点媒体内容包括：多视点的视频信息以及该视频信息的三维信息，和音频信息以及该音频信息的音源位置信息，所述三维信息包括所述多视点视频信息的深度信息以及相邻视点视频信息之间的视差信息；
视点信息生成单元，用于当进行视点切换时，生成切换后的视点信息；
信号生成单元，用于根据所述视点信息生成单元生成的视点信息，以及媒体内容接收单元接收的多视点媒体内容，生成与该视点信息对应的视频信号和对应的音频信号；
同步输出单元，用于同步输出所述信号生成单元生成的视频信号和音频信号；
所述信号生成单元，还用于利用与切换后的视点相邻的两个关键视点的视频信息以及该视频信息之间的视差信息，使用虚拟视点合成算法，合成所述切换后的视点对应的视频信号。
6.根据权利要求5所述的多视点媒体内容的播放装置，其特征在于，所述视点信息生成单元包括：
切换信息获取单元，用于获取视点切换信息；
第一生成单元，用于根据所述切换信息获取单元获取的视点切换信息，以及所述多视点媒体内容中包含的视频信息的三维信息，生成切换后的视点信息。
7.根据权利要求5所述的多视点媒体内容的播放装置，其特征在于，所述信号生成单元包括音频信号生成单元，该音频信号生成单元包括：
位置信息生成单元，用于根据所述视点信息生成单元生成的视点信息，以及所述多视点媒体内容中包含的音频信息的音源位置信息，生成与所述视点信息对应的音频信息的音源位置信息；
第二生成单元，用于根据所述多视点媒体内容中包含的音频信息以及位置信息生成单元生成的与所述视点信息对应的音频信息的音源位置信息，生成与所述视点信息对应的音频信号。
8.根据权利要求5所述的多视点媒体内容的播放装置，其特征在于，还包括：
回声抵消处理单元，用于将所述与视点信息对应的音频信号进行回声抵消处理。
9.一种多视点媒体内容的播放系统，其特征在于，包括：
多视点媒体内容发送装置，用于对接多视点的视频信息以及从多个不同位置接收到的音频信息进行处理，获取所述视频信息的三维信息以及所述音频信息的音源位置信息，将所述多视点的视频信息以及该视频信息的三维信息，和所述音频信息以及该音频信息的音源位置信息进行编码，生成多视点媒体内容后发送，其中，所述三维信息包括所述多视点视频信息的深度信息以及相邻视点视频信息之间的视差信息；
多视点媒体内容播放装置，用于接收所述多视点媒体内容发送装置发送的多视点媒体内容，当进行视点切换时，生成切换后的视点信息，根据该视点信息以及接收到的多视点媒体内容，生成对应的视频信号和音频信号，同步输出所述视频信号和音频信号；
所述多视点媒体内容播放装置，还用于利用与切换后的视点相邻的两个关键视点的视频信息以及该视频信息之间的视差信息，使用虚拟视点合成算法，合成所述切换后的视点对应的视频信号。
10.根据权利要求9所述的多视点媒体内容的播放系统，其特征在于，还包括：
回声抵消装置，用于接收所述多视点媒体内容播放装置生成的音频信号，将该音频信号发送给多视点媒体内容发送装置；
所述多视点媒体内容发送装置，还用于根据所述回声抵消装置发送的音频信号，对从多个不同位置接收到的音频信息进行回声抵消处理。
CN200810146721.8A 2008-08-27 2008-08-27 多视点媒体内容的发送和播放方法、装置及系统 Active CN101662693B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200810146721.8A CN101662693B (zh) 2008-08-27 2008-08-27 多视点媒体内容的发送和播放方法、装置及系统
PCT/CN2009/073547 WO2010022658A1 (zh) 2008-08-27 2009-08-26 多视点媒体内容的发送和播放方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810146721.8A CN101662693B (zh) 2008-08-27 2008-08-27 多视点媒体内容的发送和播放方法、装置及系统

Publications (2)

Publication Number Publication Date
CN101662693A CN101662693A (zh) 2010-03-03
CN101662693B true CN101662693B (zh) 2014-03-12

Family

ID=41720839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810146721.8A Active CN101662693B (zh) 2008-08-27 2008-08-27 多视点媒体内容的发送和播放方法、装置及系统

Country Status (2)

Country Link
CN (1) CN101662693B (zh)
WO (1) WO2010022658A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI425498B (zh) * 2011-05-04 2014-02-01 Au Optronics Corp 關聯於雙影像應用的影音播放系統及其方法
CN102984560B (zh) * 2011-09-07 2017-06-20 华为技术有限公司 从断点处播放视频的方法和设备
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
CN104994369B (zh) * 2013-12-04 2018-08-21 南京中兴软件有限责任公司 一种图像处理方法、用户终端、图像处理终端及系统
CN103873846B (zh) * 2014-03-24 2015-09-23 中国人民解放军国防科学技术大学 基于滑窗的众视点真三维显示系统视频同步播放方法
US10235010B2 (en) 2016-07-28 2019-03-19 Canon Kabushiki Kaisha Information processing apparatus configured to generate an audio signal corresponding to a virtual viewpoint image, information processing system, information processing method, and non-transitory computer-readable storage medium
CN106792142B (zh) * 2016-12-23 2021-03-23 惠州Tcl移动通信有限公司 一种移动终端的音频播放方法及系统
CN108566514A (zh) * 2018-04-20 2018-09-21 Oppo广东移动通信有限公司 图像合成方法和装置、设备、计算机可读存储介质
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质
CN114390354B (zh) * 2020-10-21 2024-05-10 西安诺瓦星云科技股份有限公司 节目制作方法、装置和系统及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100284768B1 (ko) * 1998-04-06 2001-03-15 윤종용 다화면비디오디스플레이시스템에서의오디오데이타처리장치
JP2005159592A (ja) * 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置
JP4929740B2 (ja) * 2006-01-31 2012-05-09 ヤマハ株式会社 音声会議装置
KR100874226B1 (ko) * 2007-01-10 2008-12-16 광주과학기술원 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
KR100954033B1 (ko) * 2007-05-07 2010-04-20 광주과학기술원 다시점 화상 시스템에서 시점 종속 다채널 오디오 처리방법 및 장치

Also Published As

Publication number Publication date
WO2010022658A1 (zh) 2010-03-04
CN101662693A (zh) 2010-03-03

Similar Documents

Publication Publication Date Title
CN101662693B (zh) 多视点媒体内容的发送和播放方法、装置及系统
KR102127955B1 (ko) 고차 앰비소닉 오디오 신호의 재생 방법 및 장치
CN101651841B (zh) 一种立体视频通讯的实现方法、系统和设备
CN102480671B (zh) 视频通信中的音频处理方法和装置
Domański et al. Immersive visual media—MPEG-I: 360 video, virtual navigation and beyond
EP3319344B1 (en) Method and apparatus for generating audio signal information
US9179153B2 (en) Refined depth map
EP2201784B1 (en) Method and device for processing a depth-map
CN101384105B (zh) 三维声音重现的方法、装置及系统
KR20150043546A (ko) 3 차원 이미지들에 대한 디스패리티 계산
WO2009074110A1 (en) Communication terminal and information system
JP5540746B2 (ja) 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
JP6404354B2 (ja) 多くの拡声器信号を生成するための装置及び方法、並びにコンピュータ・プログラム
KR20140092910A (ko) 입체 영상 부호화 장치, 입체 영상 복호화 장치, 입체 영상 부호화 방법, 입체 영상 복호화 방법, 입체 영상 부호화 프로그램 및 입체 영상 복호화 프로그램
US9774976B1 (en) Encoding and rendering a piece of sound program content with beamforming data
CN102195894B (zh) 即时通信中实现立体视频通信的系统及方法
KR100874226B1 (ko) 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법
US11856386B2 (en) Apparatus and method for processing audiovisual data
CN109756683B (zh) 全景音视频录制方法、装置、存储介质和计算机设备
JP2012134760A (ja) 立体映像伝送システム
JP2014022947A (ja) 立体視映像伝送装置、立体視映像伝送方法及び立体視映像処理装置
KR101534295B1 (ko) 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
CN102572493A (zh) 图像处理装置和图像处理方法
KR102260653B1 (ko) 3d 영상 제공을 위한 영상 생성 시스템
RU2805260C2 (ru) Устройство и способ обработки аудиовизуальных данных

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee after: Huawei terminal (Shenzhen) Co.,Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: HUAWEI DEVICE Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190110

Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: HUAWEI DEVICE Co.,Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: Huawei terminal (Shenzhen) Co.,Ltd.

TR01 Transfer of patent right