CN116320556A - 一种投屏音视频播放方法及电子设备 - Google Patents
一种投屏音视频播放方法及电子设备 Download PDFInfo
- Publication number
- CN116320556A CN116320556A CN202310239363.XA CN202310239363A CN116320556A CN 116320556 A CN116320556 A CN 116320556A CN 202310239363 A CN202310239363 A CN 202310239363A CN 116320556 A CN116320556 A CN 116320556A
- Authority
- CN
- China
- Prior art keywords
- screen
- display
- sound box
- data
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000004891 communication Methods 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 31
- 238000005266 casting Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 238000007726 management method Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 10
- 230000005611 electricity Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4108—Peripherals receiving signals from specially adapted client devices characterised by an identification number or address, e.g. local network address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
Abstract
本申请提供投屏音视频播放方法,涉及终端领域,用于提升用户视听体验。该方法包括:在目的设备只接收来自第一源设备的第一投屏数据时,在目的设备的显示屏上显示第一显示数据,并通过第一音箱设备和第二音箱设备播放第一音频数据,第一投屏数据包括第一显示数据和第一音频数据。第一音箱设备和第二音箱设备都位于目的设备的外部且分别位于第一侧和第二侧。在接收到第二投屏数据后,目的设备在显示屏划分的两个显示子区域分别显示第一显示数据和第二显示数据,并通过第一音箱设备播放第一音频数据,通过第二音箱设备播放第二音频数据。第二投屏数据包括第二显示数据和第二音频数据。两个显示子区域分别位于显示屏的第一侧和第二侧。
Description
本申请是分案申请,原申请的申请号是202080040098.7,原申请日是2021年10月19日,原申请的全部内容通过引用结合在本申请中。
本申请要求于2019年11月25日提交中国专利局、申请号为201911169032.3、发明名称为“一种投屏音视频播放方法及电子设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及终端技术领域,尤其涉及一种投屏音视频播放方法及电子设备。
背景技术
目前,投屏功能已经广泛应用到电子设备中。例如,用户可以将手机(即源设备)中的显示界面投射至其他支持投屏功能的目的设备(例如智能电视)中进行显示,方便用户在一设备上查看另一设备中的显示内容。
在投屏应用场景下,可将多个源设备中的显示内容投射至同一目的设备中显示。例如,用户A可以将手机1中显示的游戏界面1投射至智能电视中显示,同时,用户B可以将手机2中显示的游戏界面2投射至智能电视中显示。
用户不仅具有视频画面和图片的分享需求,还存在音视频同时分享的需求。目前的投屏应用场景中,目的设备从多个源设备接收到多路的音频数据之后,将每路的音频数据解码后进行混音输出。其中,混音是指两路音频(或多路)数据同时输出,每一路音频数据都同时通过所有音响同时输出,以实现音频数据的合成,最终体现为两路(或者多路)音频数据混合在一起的效果。这种混音的方式会使得投屏者在感官上产生视听混乱,而且投屏的源设备越多,越容易使投屏者加剧这种视听混乱,极大降低了投屏效果。
发明内容
本申请实施例提供了一种投屏音视频播放方法及电子设备,用于可动态调整屏幕相应的音箱设备,使投屏者在感官上将音频与视频对应起来,提升视听体验。
为解决上述技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供一种投屏音视频播放方法,包括:目的设备接收第一源设备发送的第一投屏数据,所述第一投屏数据包括第一显示数据和第一音频数据;所述目的设备在所述目的设备的屏幕上显示所述第一显示数据,并使用所述目的设备的所有音箱设备播放所述第一音频数据;所述目的设备的音箱设备包括第一音箱设备和第二音箱设备,所述第一音箱设备位于所述目的设备的左侧,所述第二音箱设备位于所述目的设备的右侧;在所述目的设备投屏显示和播放所述第一投屏数据时,所述目的设备接收第二源设备发送的投屏请求和第二投屏数据;所述第二投屏数据包括第二显示数据和第二音频数据;在接收到所述第二源设备发送的所述第二投屏数据之后,所述目的设备在所述目的设备的第一屏幕子区域显示所述第一显示数据,在所述目的设备的第二屏幕子区域显示所述第二显示数据,并且所述目的设备使用所述第一音箱设备播放所述第一音频数据,使用所述第二音频设备播放所述第二音频数据;或者,在接收到所述第二源设备发送的所述第二投屏数据之后,所述目的设备在所述第二屏幕子区域显示所述第一显示数据,在所述第一屏幕子区域显示所述第二显示数据,并且所述目的设备使用所述第二音箱设备播放所述第一音频数据,使用所述第一音箱设备播放所述第二音频数据;其中,所述目的设备的屏幕包括所述第一屏幕子区域和所述第二屏幕子区域;所述第一屏幕子区域位于所述屏幕的左侧,所述第二屏幕子区域位于所述屏幕的右侧。具体的,源设备发送的显示数据是指需要在目的设备的屏幕上显示的画面,源设备发送的音频数据是指需要在目的设备的音箱设备中播放的音频。
也就是说,在只有第一源设备向目的设备请求进行投屏时,目的设备使用所有音箱设备播放第一音频数据,当第一源设备和第二源设备都向目的设备请求进行投屏时,目的设备在第一屏幕子区域显示第一显示数据,在第二屏幕子区域显示第二显示数据,使用第一音箱设备播放第一音频数据,使用第二音频设备播放第二音频数据;或者,目的设备在第二屏幕子区域显示第一显示数据,在第一屏幕子区域显示第二显示数据,使用第二音箱设备播放第一音频数据,使用第一音箱设备播放第二音频数据。本申请实施例中,目的设备可以为源设备划分的屏幕区域或者屏幕子区域动态调整屏幕相应的音箱设备,使投屏者在感官上将音频与视频对应起来,提升视听体验。
在一种可能的实现方式中,所述目的设备在所述目的设备的屏幕上显示所述第一显示数据,包括:所述目的设备在所述屏幕上全屏显示所述第一显示数据;或者,所述目的设备在所述第一屏幕子区域或者所述第二屏幕子区域上显示所述第一显示数据;或者,所述目的设备在所述屏幕的中间区域显示所述第一显示数据。
也就是说,目的设备在屏幕显示第一显示数据时,具有多种显示方式,例如全屏显示,或者左侧右侧的屏幕子区域显示,或者屏幕中间区域显示,从而第一源设备的画面可以投屏到目的设备的全屏或者部分屏幕上,实现第一源设备的投屏分享。
在一种可能的实现方式中,所述方法还包括:在所述目的设备在所述目的设备的屏幕上显示所述第一显示数据时,所述目的设备还显示标识信息;所述标识信息包括所述目的设备的标识;在所述第二源设备扫描所述标识信息之后,所述目的设备接收所述第二源设备发送的投屏请求和所述第二投屏数据。具体的,该标识信息可以是通过二维码承载的目的设备的标识,例如目的设备的标识可以是目的设备的MAC地址,或者IP地址。
也就是说,本申请实施例中,第一源设备正在进行投屏时,第二源设备可以通过扫描目的设备的屏幕上显示的标识信息向目的设备请求投屏。例如,第二源设备扫描目的设备的屏幕上显示的二维码,从而获取目的设备的标识,进而第二源设备可以向该目的设备发起投屏请求。
在一种可能的实现方式中,所述标识信息位于所述屏幕的左侧或右侧;或者,所述标识信息位于所述屏幕的左上角、右上角、左下角或者右下角;所述标识信息悬浮于所述屏幕当前显示的画面之上,或者所述标识信息以画中画的方式显示在所述屏幕当前显示的画面中。
也就是说,本申请实施例中,目的设备的屏幕上可以显示标识信息,以供新的源设备扫描进入投屏,该标识信息在目的设备的屏幕上的位置以及该标识信息的显示方式有多种,上述只是具体场景下的举例,不作为对本申请实施例的限定。
在一种可能的实现方式中,若所述标识信息位于所述屏幕的右侧,或者所述标识信息位于所述屏幕的右上角或右下角,则所述目的设备在所述第一屏幕子区域显示所述第一显示数据,在所述第二屏幕子区域显示所述第二显示数据,并且使用所述第一音箱设备播放所述第一音频数据,使用所述第二音频设备播放所述第二音频数据;或者,若所述标识信息位于所述屏幕的左侧,或者所述标识信息位于所述屏幕的左上角或左下角,则所述目的设备在所述第二屏幕子区域显示所述第一显示数据,在所述第一屏幕子区域显示所述第二显示数据,并且使用所述第二音箱设备播放所述第一音频数据,使用所述第一音频设备播放所述第二音频数据。
也就是说,本申请实施例中,目的设备的屏幕上可以显示标识信息,以供新的源设备扫描进入投屏,该标识信息在目的设备的屏幕上的位置有多种实现方式,并且标识信息在目的设备的屏幕上的不同显示位置,可以用于确定显示数据显示的屏幕子区域,还可以用于确定音频数据对应播放设备,上述只是具体场景下的举例,不作为对本申请实施例的限定。
在一种可能的实现方式中,所述标识信息为二维码。也就是说,二维码中可以携带目的设备的标识,例如二维码可以携带目的设备的MAC地址或IP地址等。用户可使用手机中提供的扫码功能扫描该二维码,从而获取目的设备的标识。手机根据目的设备的标识可与目的设备建立通信连接。
在一种可能的实现方式中,所述方法还包括:所述目的设备在接收所述第一源设备发送的第一投屏数据时,所述目的设备接收所述第二源设备发送的投屏退出指令;响应于所述第二源设备的投屏退出指令,所述目的设备在所述目的设备的屏幕上显示所述第一显示数据,并使用所述目的设备的所有音箱设备播放所述第一音频数据。
具体的,目的设备在接收到第二源设备发送的投屏退出指令之后,目的设备还可以停止显示第二源设备的第二显示数据,同时停止播放第二源设备的第二音频数据。另外,目的设备在接收到第二源设备发送的投屏退出指令之后,目的设备不再接收第二源设备发送的第二投屏数据。
或者,也可以是第一源设备先发起退出投屏的指令。在所述目的设备接收到第一源设备发送的投屏退出指令后,所述目的设备可以停止播放第一源设备的投屏数据,而继续播放第二源设备的投屏数据。具体的,所述目的设备可以在第一屏幕子区域或者第二屏幕子区域或者全屏播放第二源设备的显示数据,并使用所有的音箱设备播放第二源设备的音频数据。
也就是说,源设备向目的设备发起加入投屏之后,目的设备可以显示所有源设备的显示数据,并通过目的设备的音箱设备播放所有源设备的音频数据,已经加入投屏分享的源设备还可以中途退出投屏分享,此时,目的设备可以动态的接收一个或多个源设备发来的投屏退出指令。当目的设备的源设备数目发生改变时,目的设备为每个屏幕子区域分配的音箱设备也将动态变化,即目的设备在第二源设备退出投屏时,不再为第二源设备分配屏幕子区域,也不再为第二源设备对应的屏幕子区域配置音箱设备,此时所有的音箱设备仍然播放第一源设备的音频数据。使投屏者在感官上将音频与视频对应起来,提升视听体验。
在一种可能的实现方式中,所述第一音箱设备和/或所述第二音箱设备的数量为一个或多个;所述第一音箱设备和/或所述第二音箱设备为所述目的设备内置的音频模块;或者,所述第一音箱设备和/或所述第二音箱设备为所述目的设备外置的音频模块或音箱。也就是说,本申请实施例中,目的设备的音箱设备可以是内置的或者外置的,并且通过多种形式的音箱设备,都可以动态调整屏幕相应的音箱设备,使投屏者在感官上将音频与视频对应起来,提升视听体验。
第二方面,本申请实施例还提供一种投屏音视频播放方法,包括:目的设备确定需要在所述目的设备中投屏显示的屏幕子区域与音箱设备的映射关系,所述映射关系包括:所述目的设备中投屏显示的屏幕子区域个数,和每个屏幕子区域对应的音箱设备个数与音箱设备位置;所述目的设备为第一源设备分配投屏时使用的第一屏幕子区域,并根据所述映射关系确定所述第一屏幕子区域对应的第一音箱设备;所述目的设备接收所述第一源设备发送的第一显示数据和第一音频数据;所述目的设备在所述投屏界面上的所述第一屏幕子区域中显示所述第一显示数据,并使用所述第一音箱设备播放所述第一音频数据。
也就是说,在第一源设备向目的设备请求进行投屏时,目的设备可以根据为第一源设备分配的第一屏幕子区域确定相应的第一音箱设备,从而在投屏界面上的第一屏幕子区域中显示第一显示数据,并使用第一音箱设备播放第一音频数据。本申请实施例中,目的设备可以为源设备划分的屏幕区域或者屏幕子区域动态调整屏幕相应的音箱设备,使投屏者在感官上将音频与视频对应起来,提升视听体验。
在一种可能的实现方式中,所述目的设备确定需要在所述目的设备中投屏显示的屏幕子区域与音箱设备的映射关系,包括:若所述目的设备内置有两个或两个以上的音箱设备,所述目的设备在初始化时获取需要在所述目的设备中投屏显示的屏幕子区域与音箱设备的映射关系;或者,当所述目的设备与外置的两个或两个以上的音箱设备连接时,所述目的设备在连接成功时获取需要在所述目的设备中投屏显示的屏幕子区域与音箱设备的映射关系。也就是说,本申请实施例中,目的设备的音箱设备可以是内置的或者外置的,并且通过多种形式的音箱设备,都可以动态调整屏幕相应的音箱设备,使投屏者在感官上将音频与视频对应起来,提升视听体验。
在一种可能的实现方式中,所述目的设备为第一源设备分配投屏时使用的第一屏幕子区域,并根据所述映射关系确定所述第一屏幕子区域对应的第一音箱设备,包括:所述目的设备确定所述第一源设备是投屏显示的第一个源设备时,所述目的设备确定所述投屏界面的全屏区域是所述第一屏幕子区域;所述目的设备确定所述第一音箱设备为所述目的设备连接的全部音箱设备。也就是说,目的设备在屏幕显示第一显示数据时,具有多种显示方式,例如全屏显示,从而第一源设备的画面可以投屏到目的设备的全屏上,不限定的是,目的设备在屏幕显示第一显示数据时还可以是左侧右侧的屏幕子区域显示,或者屏幕中间区域显示,从而第一源设备的画面可以投屏到目的设备的全屏或者部分屏幕上,实现第一源设备的投屏分享。
在一种可能的实现方式中,所述目的设备在所述投屏界面上的所述第一屏幕子区域中显示所述第一显示数据,并使用所述第一音箱设备播放所述第一音频数据之后,所述方法还包括:当所述目的设备确定所述第一源设备正在进行投屏、且第二源设备加入投屏时,所述目的设备为所述第一源设备分配投屏时使用的第二屏幕子区域,以及为所述第二源设备分配投屏时使用的第三屏幕子区域;所述目的设备根据所述映射关系确定所述第二屏幕子区域对应的第二音箱设备,以及所述第三屏幕子区域对应的第三音箱设备;所述目的设备接收所述第一源设备发送的第二显示数据和第二音频数据,以及接收所述第二源设备发送的第三显示数据和第三音频数据;所述目的设备在所述投屏界面上的所述第二屏幕子区域中显示所述第二显示数据,在所述第三屏幕子区域中显示所述第三显示数据;并使用所述第二音箱设备播放所述第二音频数据,使用所述第三音频设备播放所述第三音频数据。
也就是说,本申请实施例中,目的设备确定第一源设备正在进行投屏、且第二源设备加入投屏,即目的设备确定有两个源设备都需要进行投屏,此时目的设备可以重新为这两个源设备分配每个源设备的屏幕子区域,以及每个屏幕子区域对应的音箱设备,最后可以使用重新划分的屏幕子区域和重新配置的音箱设备来分别播放各个源设备的显示数据和音频数据,使投屏者在感官上将音频与视频对应起来,提升视听体验。
在一种可能的实现方式中,所述目的设备在所述投屏界面上的所述第二屏幕子区域中显示所述第二显示数据,在所述第三屏幕子区域中显示所述第三显示数据;并使用所述第二音箱设备播放所述第二音频数据,使用所述第三音频设备播放所述第三音频数据之后,所述方法还包括:当所述目的设备确定所述第一源设备正在进行投屏、且所述第二源设备请求退出投屏时,所述目的设备为第一源设备分配投屏时使用的第一屏幕子区域,并根据所述映射关系确定所述第一屏幕子区域对应的第一音箱设备;所述目的设备接收所述第一源设备发送的第一显示数据和第一音频数据;所述目的设备在所述投屏界面上的所述第一屏幕子区域中显示所述第一显示数据,并使用所述第一音箱设备播放所述第一音频数据。
也就是说,目的设备可以动态的接收一个或多个源设备发来的显示数据和音频数据进行投屏音频播放。当目的设备的源设备数目发生改变时,每个源设备在向目的设备投屏时,智能电视为每个屏幕子区域分配的音箱设备也将动态变化。另外,已经加入投屏分享的源设备还可以中途退出投屏分享,此时,目的设备可以动态的接收一个或多个源设备发来的投屏退出指令。当目的设备的源设备数目发生改变时,每个源设备在向目的设备投屏时,智能电视为每个屏幕子区域分配的音箱设备也将动态变化。
在一种可能的实现方式中,所述目的设备在所述投屏界面上的所述第一屏幕子区域中显示所述第一显示数据,并使用所述第一音箱设备播放所述第一音频数据之后,所述方法还包括:当所述目的设备确定所述第一源设备正在进行投屏、且第二源设备加入投屏时,所述目的设备为第二源设备分配投屏时使用的第三屏幕子区域,并根据所述映射关系确定所述第三屏幕子区域对应的第三音箱设备;所述目的设备接收所述第一源设备发送的第一显示数据和第一音频数据,以及接收所述第二源设备发送的第三显示数据和第三音频数据;所述目的设备在所述投屏界面上的所述第一屏幕子区域中显示所述第一显示数据,在所述第安屏幕子区域中显示所述第三显示数据;并使用所述第一音箱设备播放所述第一音频数据,使用所述第三音频设备播放所述第三音频数据。
也就是说,本申请实施例中,目的设备确定第一源设备正在进行投屏、且第二源设备加入投屏,即目的设备确定有两个源设备都需要进行投屏,此时目的设备可以保持原有的第一源设备的屏幕子区域和相应的音箱设备不变的情况下,目的设备只为新增的第二源设备分配屏幕子区域,以及该屏幕子区域对应的音箱设备,最后可以使用划分好的屏幕子区域和配置好的音箱设备来分别播放各个源设备的显示数据和音频数据,使投屏者在感官上将音频与视频对应起来,提升视听体验。
在一种可能的实现方式中,所述目的设备为第二源设备分配投屏时使用的第三屏幕子区域,包括:所述目的设备接收所述第二源设备发送的投屏指令,所述投屏指令由所述第二源设备从所述投屏界面上获取到投屏标识时发送;所述目的设备根据所述第二源设备获取到的投屏标识在所述投屏界面上的位置确定所述第三屏幕子区域。
也就是说,本申请实施例中,第一源设备正在进行投屏时,第二源设备可以通过扫描目的设备的屏幕上显示的投屏标识向目的设备请求投屏。例如,第二源设备扫描目的设备的屏幕上显示的二维码,从而获取目的设备的标识,进而第二源设备可以向该目的设备发起投屏请求。
第三方面,本申请提供一种电子设备,该电子设备为投屏时的目的设备,该目的设备包括:显示屏;通信模块;音箱设备,所述音箱设备包括第一音箱设备和第二音箱设备,所述第一音箱设备位于所述目的设备的左侧,所述第二音箱设备位于所述目的设备的右侧;一个或多个处理器;一个或多个存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述一个或多个存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述目的设备执行时,使得所述目的设备执行如前述第一方面或第二方面中任一项所述的方法。可选的,所述第一音箱设备和第二音箱设备可以为该电子设备的外置音箱。也就是说,该电子设备可以不包括所述第一音箱设备和第二音箱设备。第一音箱设备和第二音箱设备为外部的音箱设备,这两个音箱与所述电子设备相连接(物理连接或者无线连接)。此时,电子设备基于前述的实施例中的方法,控制相应的音箱设备进行播放。此外,当外部的音箱与电子设备进行连接时,电子设备可以提示用户将外部音箱摆放到合适的位置。例如:将一个外部音箱摆放在电子设备的左侧,将另一个外部音箱摆放在电子设备的右侧。从而使得电子设备在播放两个源设备的投屏音频时,能够分别使用这两个外部音箱播放不同的音频。
第四方面,本申请提供一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面至第二方面以及其中可能的实现方式中任一项所述的方法。
第五方面,本申请提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如第一方面至第二方面以及其中可能的实现方式中任一项所述的方法。
可以理解地,上述提供的第三方面所述的电子设备、第四方面所述的计算机存储介质,以及第五方面所述的计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种投屏音频播放系统的场景架构图一;
图2为本申请实施例提供的一种投屏音频播放系统的场景架构图二;
图3为本申请实施例提供的一种电子设备的结构示意图一;
图4为本申请实施例提供的一种投屏音视频播放方法的交互示意图一;
图5a至图5f为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图一;
图6为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图二;
图7a至7j为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图三;
图8为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图四;
图9为本申请实施例提供的一种投屏音视频播放方法的交互示意图二;
图10a至图10i为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图五;
图11a至图11d为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图六;
图12为本申请实施例提供的一种投屏音视频播放方法的交互示意图三;
图13为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图七;
图14为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图八;
图15为本申请实施例提供的一种投屏音视频播放方法的应用场景示意图九;
图16为本申请实施例提供的一种电子设备的结构示意图二。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图显示了本申请的某些实施例,然而应当理解的是,本申请可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻地理解本申请。应当理解的是,本申请的附图及实施例仅用于示例性作用,并非用于限制本申请的保护范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
本申请实施例提供的一种投屏音视频播放方法,可应用于图1所示的一个设备组200中,该设备组200内的各个电子设备100之间可以通过局域网(local area network,LAN)或广域网(wide area network,WAN)互相通信。
例如,可将用户的手机、平板电脑、台式电脑、智能手表、笔记本电脑、大屏设备(例如智能电视或者其它具有较大屏幕且能够播放音视频文件的电子设备)和音箱等多个设备作为设备组200,当用户使用同一个账号登录这些设备时,这些设备之间可通过广域网互相通信。
又例如,可将用户的手机、平板电脑、台式电脑、智能手表、笔记本电脑、大屏设备和音箱等多个设备接入同一个路由器上。此时,这些设备可以通过路由器提供的局域网实现互相通信。
又例如,多个电子设备100之间也可以通过无线通信方式(例如,蓝牙,Wi-Fi或ZigBee网络等)组成一个对等网络(也可称为P2P网络)。例如,用户可将多个电子设备均加入一个Wi-Fi网络。该Wi-Fi网络内的各个电子设备100形成了一个P2P网络,该P2P网络内的所有设备均为设备组200中的成员。
当然,设备组200内的各电子设备100之间还可以通过蜂窝网络互联,或者,各电子设备100之间还可以通过转接设备(例如,USB数据线或Dock设备)互联,从而实现设备组200内各个电子设备100之间的通信功能,本申请实施例对此不作任何限制。
在本申请实施例中,设备组200中一个或多个电子设备100可以作为源设备,同时,设备组200中一个或多个电子设备100可以作为目的设备。源设备可将其显示界面中的显示内容投射至目的设备中显示。另外,源设备还可以将音频数据发送至目的设备中播放。
示例性的,如图2中的(a)所示,以电子设备101为源设备举例,电子设备102和电子设备103均可作为电子设备101的目的设备。电子设备101可将其显示界面中的显示内容投同时射至电子设备102和电子设备103中显示。也就是说,一个源设备可以同时向多个目的设备进行投屏音频播放。另外,源设备还可以将音频数据投射至目的设备中播放。
又或者,如图2中的(b)所示,以电子设备101为目的设备举例,电子设备102和电子设备103均可作为电子设备101的源设备。此时,电子设备102和电子设备103可同时将其显示界面中的显示内容投射至电子设备101中显示。也就是说,一个目的设备可以同时接收并显示多个源设备发来的显示内容。
另外,源设备还可以将音频数据投射至目的设备中播放。例如,结合图2中的(b)示例说明,电子设备102和电子设备103还可以将各自的音频数据发送给电子设备101,当电子设备101在显示视频内容时,同步播放各个源设备的音频数据。本申请实施例中,电子设备101可以使用多个音箱设备来播放音频数据,例如音箱设备可以是独立于电子设备101的外置音箱,也可以是设置于电子设备101内部的音响模块。电子设备101可以使用不同的音箱设备分别播放电子设备102的音频数据和电子设备103的音频数据,电子设备102和电子设备103向同一个电子设备101分享音视频时,音频数据的输出方向能随视频添加位置动态自适应。
在多对一的音视频分享场景,如二对一投屏场景中,电子设备101的屏幕可以分为左右两部分,分别显示每个投屏的内容。例如一个投屏的内容显示在靠左的一部分屏幕中,另一个投屏的内容显示在靠右的一部分屏幕中。若电子设备101配置有左右两个音箱设备,为了使投屏者多感官多维度上聚焦自身一侧的音视频体验,需要在该侧播放对应的音频数据,同时弱化另一侧投屏中音频数据对自身的影响。也就是说,靠左的屏幕中显示的内容对应的音频在左侧的音箱设备中播放;靠右的屏幕中显示的内容对应的音频在右侧的音箱设备中播放。
本申请的一些实施例中,电子设备102是投屏者1操作的手机终端,电子设备103是投屏者2操作的手机终端。两位投屏者都站在同一台大屏屏幕前,例如两位投屏者位于大屏的一左一右,分别进行投屏。电子设备101的屏幕会被分成左右两块,电子设备101的音箱设备也分为左右音箱设备。屏幕画面和音箱具有映射关系。大屏左侧音箱映射挂载在左侧的子屏幕上,大屏右侧音箱挂载在右侧的子屏幕上。因此用户能聚焦感受自身一侧投屏的感官体验,同时能利用大屏提升用户的投屏分享体验。
在一些实施例中,上述设备组200中各个电子设备的具体结构可以是相同的,也可以是不同的。
例如,上述各个电子设备具体可以是手机、平板电脑、智能电视、可穿戴电子设备、车机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、手持计算机、上网本、个人数字助理(personal digital assistant,PDA)、虚拟现实设备等,本申请实施例对此不做任何限制。
示例性的,图3示出了一种电子设备的结构示意图。
其中,电子设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,摄像头193,显示屏194等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括一个或多个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成一个或多个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备执行本申请一些实施例中所提供的投屏音视频播放方法,以及各种功能应用和数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。在另一些实施例中,处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,来使得电子设备执行本申请实施例中提供的投屏音视频播放方法,以及各种功能应用和数据处理。
电子设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。电子设备中的音频模块170的个数和位置排列方式有多种,例如电子设备中设置有偶数个(例如2N个,N为正整数)音频模块170,分别为左音频模块阵列和右音频模块阵列。又如,电子设备中设置有奇数个(例如2N+1个,N为正整数)音频模块170,分别为左音频模块阵列、中音频模块阵列和右音频模块阵列。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备可以设置一个或多个麦克风170C。在另一些实施例中,电子设备可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。触摸传感器可以设置于显示屏,由触摸传感器与显示屏组成触摸屏,也称“触控屏”。
另外,上述电子设备中还可以包括按键、马达、指示器以及SIM卡接口等一种或多种部件,本申请实施例对此不做任何限制。
以下将结合附图详细阐述本申请实施例提供的一种投屏音视频播放方法。本申请实施例中,多个源设备可以向一个或多个的目的设备进行分享音视频。接下来以多个源设备向一个目的设备分享音视频进行示例说明,多个源设备向多个目的设备分享音视频也可以参阅向单个目的设备分享音视频的实施例,此处不做限定。
当多个源设备向一个目的设备分享音视频时,每个源设备的音频数据在目的设备的音频输出方向能随视频添加位置进行动态自适应。该目的设备可以为屏幕划分的子区域与连接的音响设备(包含但不限于集成的音响、外界的音箱)建立拓扑映射关系。在音视频分享者动态加入投屏分享,或者退出投屏分享时,其中的音频输出方向能按照建立的映射关系动态自适应变化。
如图4所示,以投屏时的目的设备为智能电视,源设备为手机进行举例说明,本申请实施例提供的一种投屏音视频播放方法包括:
步骤401、智能电视根据屏幕上需要显示屏幕子区域个数,建立屏幕子区域和音箱设备的映射关系表。
本申请实施例中,智能电视是投屏分享的目的设备,该智能电视具有一智能大屏幕,该大屏幕可以用于显示源设备的视频内容以及图片内容。根据需要投屏分享的源设备的个数不同,智能大屏幕上可以划分为一个或多个的屏幕子区域,对于屏幕子区域的个数不做限定,例如屏幕区域可以是1个,即1个屏幕区域占满全屏,又如屏幕子区域可以是2个,即大屏幕可以分为左右屏幕子区域,又如屏幕子区域可以是3个,即大屏幕可以分为左中右屏幕子区域。
需要说明的是,步骤401可以是在手机发起投屏之前智能电视根据划出的屏幕子区域个数建立上述的映射关系表,也可以是在智能电视的初始化时就建立上述映射关系表。例如可以在智能电视出厂时预配置上述的映射关系表,对于步骤401中智能电视建立映射关系表的具体实现方式,此处不做限定。
本申请实施例中,智能电视不仅通过大屏幕进行视频和图片的投屏分享,还可以进行音频的投屏分享。智能电视可以使用两个音箱设备或者更多的音箱设备。例如,智能电视可以内置两个或者更多的音箱设备,或者智能电视外接两个或更多的音箱设备。即用于播放源设备的音频数据的音箱设备可以为智能电视内部的音频模块,也可以是智能电视外部的独立音箱。
如图5a所示,音箱设备内置于智能电视内时,该音箱设备可以是音频模块,例如智能电视内置左右两个音频模块。不限定的是,智能电视内部可以包括两个或更多的音频模块。在智能电视出厂时预先设置好屏幕子区域和音箱设备的绑定关系。例如:当只显示一个源设备的投屏内容时,同时使用左右两个音频模块。当分为左右两个屏幕子区域分别显示两个源设备的投屏内容时,左边的音频模块播放左边屏幕子区域显示的内容的音频,右边的音频模块播放右边屏幕子区域显示的内容的音频。
如图5b所示,音箱设备内置于智能电视内时,该音箱设备可以是音频模块,例如智能电视内置左中右三个音频模块。在智能电视出厂时预先设置好屏幕子区域和音箱设备的绑定关系。例如:当只显示一个源设备的投屏内容时,同时使用左中右三个音频模块。当分为左中右三个屏幕子区域分别显示三个源设备的投屏内容时,左边的音频模块播放左边屏幕子区域显示的内容的音频,中间音频模块播放中间屏幕子区域显示的内容的音频,右边的音频模块播放右边屏幕子区域显示的内容的音频。
其中,智能电视内置的音频模块可以有多个。如图5c所示,智能电视内置左右两个音频模块阵列。其中,每个音频模块阵列可以包括一个或多个音频模块。如图5c所示,左侧音频模块阵列可以包括:左侧音频模块1和左侧音频模块2;右侧音频模块阵列可以包括:右侧音频模块1和右侧音频模块2。在智能电视出厂时预先设置好屏幕子区域和音箱设备的绑定关系。例如:当只显示一个源设备的投屏内容时,同时使用左右两个音频模块阵列。当分为左右两个屏幕子区域分别显示两个源设备的投屏内容时,左边的音频模块阵列播放左边屏幕子区域显示的内容的音频,右边的音频模块阵列播放右边屏幕子区域显示的内容的音频。
如图5d所示,智能电视也可以外接音箱设备。此时音箱设备是智能电视外部的独立音箱,则音箱设备在与智能电视连接时,智能电视能够获取到屏幕子区域和音箱设备的绑定关系,图5d中以智能电视外接2个音箱设备为例进行说明。例如:当只显示一个源设备的投屏内容时,同时使用左右两个音箱设备(即音箱设备1和音箱设备2)。当分为左右两个屏幕子区域分别显示两个源设备的投屏内容时,左边的音箱设备2播放左边屏幕子区域显示的内容的音频,右边的音箱设备1播放右边屏幕子区域显示的内容的音频。
如图5e所示,智能电视也可以外接音箱设备。音箱设备在与智能电视连接时,智能电视能够获取到屏幕子区域和音箱设备的绑定关系。例如:当只显示一个源设备的投屏内容时,同时使用左中右三个音箱设备。当分为左中右三个屏幕子区域分别显示三个源设备的投屏内容时,左边的音箱设备2播放左边屏幕子区域显示的内容的音频,中间音箱设备3播放中间屏幕子区域显示的内容的音频,右边的音箱设备1播放右边屏幕子区域显示的内容的音频。
如图5f所示,智能电视也可以外接音箱设备,例如智能电视外接左右两个音箱设备阵列。例如右侧音箱设备阵列可以包括:右侧音箱设备1和右侧音箱设备2,左侧音箱设备阵列可以包括:左侧音箱设备3和左侧音箱设备4。音箱设备在与智能电视连接时,智能电视能够获取到屏幕子区域和音箱设备的绑定关系。例如:当只显示一个源设备的投屏内容时,同时使用左右两个音箱设备阵列。当分为左右两个屏幕子区域分别显示两个源设备的投屏内容时,左边的音箱设备阵列播放左边屏幕子区域显示的内容的音频,右边的音箱设备阵列播放右边屏幕子区域显示的内容的音频。例如,当分为四个屏幕子区域时,左侧的两个屏幕子区域分别显示两个源设备的投屏内容时,左侧音箱设备3和左侧音箱设备4分别播放左侧两个屏幕子区域显示的内容的音频,右侧的两个屏幕子区域分别显示两个源设备的投屏内容时,右侧音箱设备1和右侧音箱设备2分别播放右侧两个屏幕子区域显示的内容的音频。
在本申请实施例中,音箱设备在智能电视上的分布位置有多种,例如音箱设备在大屏幕的左右分布,例如音箱设备在大屏幕的左中右分布,例如音箱设备在围绕智能电视的屏幕环绕分布。对于音箱设备的分布位置不做限定。
在本申请实施例中,智能电视在确定出大屏幕上划分的屏幕子区域之后,为每个屏幕子区域分配与智能电视连接的音箱设备,并且对于不同的屏幕子区域,可以分配不同的音箱设备,智能电视根据划分的屏幕子区域和相应分配的音箱设备之间的关系建立屏幕子区域和音箱设备的映射关系表。
其中,该映射关系表可以包括:只显示一个屏幕区域时,智能电视连接的所有音箱设备都分配给该屏幕子区域;当划分有两个屏幕子区域时,每一个屏幕子区域对应有一个或多个音箱设备,且不同屏幕子区域对应于不同的音箱设备。例如左侧屏幕子区域对应于左侧的一个或多个音箱设备,右侧屏幕子区域对应于右侧的一个或多个音箱设备。当划分有三个屏幕子区域时,每一个屏幕子区域对应一个或多个的音箱设备。
例如,屏幕子区域与音箱设备的映射关系表建立过程如下,当只有一个投屏者时,大屏的左右两侧的音箱设备映射挂载到同一个视频显示屏幕上;当有左右两个投屏者时,大屏左侧音箱设备(一个或多个)映射挂载在左侧屏幕子区域上,右侧音箱设备(一个或多个)挂载在右侧屏幕子区域上。当有左中右三个投屏者时,大屏左侧音箱设备(一个或多个)映射挂载在左侧的屏幕子区域上,中间音箱设备(一个或多个)挂载在中间屏幕子区域上,右侧音箱设备(一个或多个)挂载在右侧屏幕子区域上。
步骤402、智能电视与手机1建立通信连接。
示例性的,智能电视与手机1可通过无线方式(例如蓝牙、Wi-Fi或WLAN直连)建立通信连接。或者,智能电视与手机1也可通过有线方式(例如USB数据线、dock设备)建立通信连接。对于智能电视与手机之间的通信方式,不做限定。
以智能电视与手机1建立Wi-Fi连接举例,用户可以打开智能电视和手机1的Wi-Fi功能并接入同一Wi-Fi网络。如果用户希望将手机1中的显示内容和音频数据投射至智能电视中显示,用户可以打开智能电视和手机1中安装的投屏APP。又如,用户可以在手机界面中直接点投屏的按钮,从而手机1发起与智能电视的通信连接,该投屏的按钮例如可以是设置界面、上拉菜单、下拉菜单或者视频APP的播放界面中的按钮。
如图6所示,用户打开手机1中的投屏APP后,手机1可显示界面601。手机1可将搜索到的位于同一Wi-Fi网络下的设备列表602显示在界面601中。例如,设备列表602中包括智能电视的标识603。进而,如果检测到用户选中设备列表602中的标识603,则手机1可通过WLAN直连功能与智能电视建立Wi-Fi连接。上述以智能电视与手机1可通过Wi-Fi连接建立通信的方式进行举例说明,此处仅作举例,不作为对本申请实施例的限定。
另外,在用户选中设备列表602中的标识603后,智能电视还可以提示用户确认建立与手机1的Wi-Fi连接。例如,当智能电视检测到用户确认建立本次Wi-Fi连接后,手机1可通过WLAN直连功能与智能电视建立Wi-Fi连接。
本申请实施例中,智能电视的大屏上可以显示二维码,用户使用手机1扫描该大屏上的二维码与智能电视建立通信。智能电视的大屏上显示二维码的方式有多种,接下来分别进行举例说明。
例如,用户打开智能电视和手机1中的投屏APP后,如图7a所示,智能电视可以显示一个二维码701,二维码701可以占用大屏的全部区域,即二维码701在大屏上以全屏占用的方式来显示。二维码701中可以携带智能电视的标识,例如电视的标识的MAC地址或IP地址等。进而,用户可使用手机1中投屏APP提供的扫码功能扫描该二维码701,从而获取智能电视的标识。这样,手机1根据智能电视的标识,通过WLAN直连功能可与智能电视建立Wi-Fi连接。上述以智能电视与手机1可通过Wi-Fi连接建立通信的方式进行举例说明,此处仅作举例,不作为对本申请实施例的限定。
智能电视与手机1建立通信连接后,智能电视与手机1构成了一个设备组。该设备组内的成员是可以动态增加或减少的。
本申请实施例中,源设备可以通过扫描智能电视的二维码加入投屏,二维码在屏幕上的图像大小和显示位置不做限定。如图7b所示,智能电视可以显示一个二维码701,二维码701可以占用大屏的部分区域,例如二维码701在大屏上以缩小的图像来显示,该二维码701可以在大屏中间位置上按照居中、且缩小的方式显示。
如图7c所示,智能电视可以显示一个二维码701,二维码701可以占用大屏的部分区域,例如二维码701在大屏上以缩小的图像来显示,该二维码701可以在大屏的左上角位置上按照居左、且缩小的方式显示。
如图7d所示,智能电视可以显示一个二维码701,二维码701可以占用大屏的部分区域,例如二维码701在大屏上以缩小的图像来显示,该二维码701可以在大屏的左下角位置上按照居左、且缩小的方式显示。
如图7e所示,智能电视可以显示一个二维码701,二维码701可以占用大屏的部分区域,例如二维码701在大屏上以缩小的图像来显示,该二维码701可以在大屏的右上角位置上按照居右、且缩小的方式显示。
如图7f所示,智能电视可以显示一个二维码701,二维码701可以占用大屏的部分区域,例如二维码701在大屏上以缩小的图像来显示,该二维码701可以在大屏的右下角位置上按照居右、且缩小的方式显示。
如图7g所示,智能电视可以显示一个二维码701,二维码701可以占用大屏的部分区域,例如二维码701在大屏上以缩小的图像来显示,该二维码701可以在大屏的屏幕上方位置上按照居中、且缩小的方式显示。
如图7h所示,智能电视可以显示一个二维码701,二维码701可以占用大屏的部分区域,例如二维码701在大屏上以缩小的图像来显示,该二维码701可以在大屏的屏幕下方位置上按照居中、且缩小的方式显示。
不限定的是,本申请实施例中,二维码可以位于大屏的屏幕中央,或者位于右侧,或者屏幕左侧,或者屏幕上方,或者屏幕下方等,具体可以结合应用场景设置二维码在大屏上的显示方式,另外,二维码在大屏上还有可以有其它的显示方式,例如二维码可以浮于屏幕之上。可选的,在显示二维码的界面上,还可以显示相关的介绍画面,以便用户了解相应的投屏功能如何使用。
另外,智能电视上的二维码的显示方式也不做限定,例如二维码可以弹框显示,或者接收到显示指令之后,从暗到明显示,或者采用水印显示等。
本申请实施例中大屏上显示的二维码个数可以是一个或者多个,例如前述图7a至图7h中,大屏上可以显示一个二维码。如图7i所示,大屏上可以显示两个二维码(二维码701和二维码702)。如图7j所示,大屏上可以显示三个二维码(二维码701、二维码702和二维码703)。通过图7a至图7j的图例说明可知,智能电视的屏幕上可以显示一个二维码,或者同时显示两个二维码,或者显示三个二维码,或者更多的二维码,每个源设备都可以扫描一个二维码,可以加入投屏分享。本申请实施例中对于大屏上显示的二维码个数不做限定。
如图7i所示,用户1可以使用手机1扫描大屏上的二维码与智能电视建立通信连接,用户2也可以使用手机2扫描大屏上的二维码与智能电视建立通信连接,例如手机1的视频数据可以投屏到大屏的屏幕子区域1,手机2的视频数据可以投屏到大屏的屏幕子区域2。手机1和手机2可以通过智能电视进行投屏分享。
需要说明的是,对于智能电视而言,若之前没有源设备接入,该智能电视的大屏可以只显示一个二维码,也可以同时显示两个二维码;当扫描一个二维码添加一个源设备之后,智能电视的大屏可以再显示一个二维码,或者原来显示的第二个二维码缩小显示在左侧、右侧、上方或下方,或者二维码可以悬浮显示在当前界面上,或者二维码可以以画中画的方式显示在当前界面上,详见后续内容以及图例的介绍。
步骤403、手机1向智能电视发送第一投屏指令。
以用户使用手机1中的投屏APP与智能电视建立Wi-Fi连接举例,如图6所示,手机1显示的界面601中还可以包括投屏选项604。如果检测到用户选中智能电视的标识603后点击该投屏选项604,则手机可作为源设备向用户选中的目标设备(即智能电视)发送第一投屏指令。例如,该投屏指令中可包括手机1的标识,智能电视接收到第一投屏指令后可确定后续投屏的源设备为手机1。另外,手机也可以在扫描大屏上的二维码与智能电视建立连接后就自动的投屏,而不需要再点击投屏选择604,具体采用哪种投屏方式,此处不做限定。
当然,用户选中智能电视的标识603后,也可以在投屏APP中手动将智能电视设置为源设备或目标设备。当用户将智能电视设置为目标设备时,手机1为智能电视的源设备;当用户将智能电视设置为源设备时,手机1为智能电视的目的设备,本申请实施例对此不做任何限制。
步骤404、智能电视根据屏幕子区域和音箱设备的映射关系表为屏幕子区域配置相应的音箱设备。
本申请实施例中,智能电视收到手机1的第一投屏指令之后,响应于第一投屏指令,智能电视确定当前源设备,并为该源设备占用的屏幕子区域配置相应的音箱设备。例如,大屏上只显示一个屏幕区域时,智能电视连接的所有音箱设备都分配给该屏幕区域。如图5a-图5d所示,其中所有的音频模块或者音箱设备都分配给该屏幕区域。
本申请实施例中,投屏的屏幕子区域位置是与音箱设备绑定的,即左边的投屏位置对应左边的音箱设备,右边的投屏位置对应右边的音箱设备,若手机1通过扫二维码投屏时,可以是扫左边的二维码,就投屏到左边的音箱设备,若手机1扫右边的二维码,就投屏到右边的音箱设备。
需要说明的是,在多个设备投屏时,智能电视可以根据源设备扫描的二维码的位置确定为该源设备分配哪一个或哪几个音箱设备。例如第一个源设备投屏时,分配所有的音箱设备给第一个源设备。当第二个源设备加入投屏时,若第二个源设备扫描的二维码位于屏幕右侧,则智能电视可以将屏幕的右侧子区域和右侧音箱设备分配给第二个源设备,并且将屏幕的左侧子区域和左侧音箱设备分配给第一个源设备。又例如,若第二个源设备扫描的二维码位于屏幕左侧,则智能电视可以将屏幕的左侧子区域和左侧音箱设备分配给第二个源设备,并且将屏幕的右侧子区域和右侧音箱设备分配给第一个源设备。或者,当第二个源设备加入投屏时,智能电视也可以默认为第二个投屏的源设备分配左侧或者右侧的屏幕区域和音箱设备,并为第一个投屏的源设备分配另一侧的屏幕区域和音箱设备。再或者,在第一个源设备投屏之后,可以在智能电视的屏幕的左侧和右侧同时显示一个二维码,即屏幕上同时显示两个二维码,一个位于左侧,另一个位于右侧。若第二个源设备扫描左侧的二维码,则为第二个源设备分配左侧的屏幕区域和音箱设备,为第一个源设备分配右侧的屏幕区域和音箱设备。若第二个源设备扫描右侧的二维码,则为第二个源设备分配右侧的屏幕区域和音箱设备,为第一个源设备分配左侧的屏幕区域和音箱设备。
步骤405、手机1将手机1中第一显示数据和第一音频数据发送给智能电视进行投屏。
智能电视可以接收手机1发送的第一显示数据和第一音频数据。例如,智能电视确定出当前占用的屏幕子区域对应的音箱设备之后,接收第一显示数据和第一音频数据。其中,需要说明的是,智能电视显示第一显示数据,具体显示的是第一显示数据对应的画面;智能电视播放第一音频数据,具体播放的是第一音频数据对应的音频。
不限定的是,智能电视接收手机的显示数据和音频数据,与智能电视为屏幕子区域配置相应的音箱设备之间没有逻辑上的先后顺序,即可以先执行步骤404再执行步骤405,或者先执行步骤405再执行步骤404,或者同时执行步骤404和步骤405,此处不做限定。
不限定的是,在手机1发送第一投屏指令之后,手机1还可以与智能电视协商出本次投屏的第一投屏参数,此处不再对协商流程做详细说明。手机可按照该第一投屏参数生成需要投屏至智能电视中的显示数据和音频数据。
示例性的,如图8所示,用户在手机1中开启投屏功能之后,打开游戏APP显示第一界面。此时,手机1需要将第一界面投射至智能电视中显示,并将第一音频数据发送给智能电视,如图8所示,智能电视在显示第一界面的同时,还可以根据手机1占用的屏幕子区域分配的音频设备来播放该第一音频数据。
需要说明的是,手机1发送给智能电视的第一音频数据,可以是手机1中的原始音频,也可以是手机1按照第一投屏参数编码后的音频数据,此处不做限定。
步骤406、智能电视显示上述第一显示数据,并使用确定下来的音箱设备播放第一音频数据。
以手机1向智能电视投射上述第一界面举例,如图8所示,智能电视接收到手机1发来的第一显示数据后,可按照协商好的第一投屏参数对第一显示数据进行解码和显示。例如,智能电视可使用与第一投屏参数中编码压缩率对应的解码方式还原第一界面,并按照第一投屏参数中的投屏分辨率显示第一界面。在显示第一显示数据的同时,智能电视还需要使用确定下来的音箱设备播放第一音频数据,投屏者可以通过音箱设备播放的音频数据,体验到投屏分享。
上述实施例中是以智能电视的源设备数目为1个(即上述手机1)举例说明的。可以理解的是,智能电视可以动态的接收一个或多个源设备发来的显示数据和音频数据进行投屏以及音频播放。当智能电视的源设备数目发生改变时,每个源设备在向智能电视投屏时,智能电视为每个屏幕子区域分配的音箱设备也将动态变化。其中,需要说明的是,智能电视显示第一显示数据,具体显示的是第一显示数据对应的画面;智能电视播放第一音频数据,具体播放的是第一音频数据对应的音频。
示例性的,在手机1向智能电视发送显示数据和音频数据的过程中,其他源设备还可以与智能电视建立通信连接,并向智能电视投屏自身的显示数据和音频数据。以手机2为智能电视新增的源设备举例,如图9所示,本申请实施例提供的一种投屏音视频播放方法还包括:
步骤901、智能电视与手机2建立通信连接。
其中,智能电视与手机2建立通信连接的过程,与步骤402中智能电视与手机1建立通信连接的过程类似。例如,手机2可以扫描图10a中所示的二维码,以获取智能电视的标识,并根据智能电视的标识与智能电视建立Wi-Fi连接,本申请实施例对此不再赘述。
示例性的,如图8所示,智能电视可将手机1投射的第一界面居中显示。又例如图10a所示,智能电视还可以将第一界面显示在预设的左侧屏幕子区域,并且,智能电视可在预设的右侧屏幕子区域中继续显示二维码。其他源设备仍可通过扫描二维码与智能电视建立通信连接并开始投屏。图10a中,以二维码占用右侧屏幕子区域的全部子区域为例进行说明。
又例如图8所示,智能电视在显示手机1投射的第一界面时,还可以隐藏上述二维码。并且,智能电视可显示用于呼出二维码的选项。如果检测到用户在智能电视中选中选项,则如图10a所示,智能电视在显示第一界面的同时可重新显示出二维码,以便其他源设备通过扫描二维码与智能电视建立通信连接并开始投屏。
如图10a所示,智能电视还可以将第一界面显示在预设的左侧屏幕子区域,并且,智能电视可在预设的右侧屏幕子区域中继续显示二维码。其他源设备仍可通过扫描二维码与智能电视建立通信连接并开始投屏。图10a中,以二维码占用右侧屏幕子区域的全部子区域为例进行说明。
如图10b所示,智能电视还可以将第一界面显示在预设的左侧屏幕子区域,手机1的第一界面在屏幕子区域中竖屏显示,并且,智能电视可在预设的右侧屏幕子区域中继续显示二维码。其他源设备仍可通过扫描二维码与智能电视建立通信连接并开始投屏。二维码可以占用大屏右侧的部分区域,例如二维码在大屏上以缩小的图像来显示,该二维码可以在大屏右侧的屏幕子区域上按照居中、且缩小的方式显示。或者,手机1的界面也可以在屏幕子区域中横屏显示。
或者,在其它实施方式中,第一界面可以显示在屏幕中间区域,二维码显示在屏幕的左侧或右侧。如图10c所示,第一界面显示在屏幕中间区域,二维码显示在右下角的位置。如图10d所示,第一界面显示在屏幕中间区域,二维码显示在右上角的位置。如图10e所示,第一界面显示在屏幕中间区域,二维码显示在左上角的位置。如图10f所示,第一界面显示在屏幕中间区域,二维码显示在左下角的位置。如图10g所示,第一界面显示在屏幕中间区域,二维码显示在中间靠上的位置(当然也可以显示在中间靠下的位置)。如图10h所示,第一界面全屏显示在屏幕中,二维码显示悬浮显示在第一界面的右上角,并且两个音箱设备都播放手机1的音频数据。可以理解的,类似图10h,二维码也可以显示悬浮或者以画中画的方式显示在其它位置,例如左下角、右下角,左上角等等。
如图10i所示,本申请实施例中大屏上显示的二维码个数可以是一个或者多个,例如前述图10a至图10h中,大屏上可以显示一个二维码,如图10i所示,大屏上可以显示两个二维码。通过图10a至图10i的图例说明可知,智能电视的屏幕上可以显示一个二维码,或者同时显示两个二维码,或者显示三个二维码,或者更多的二维码,每个源设备都可以扫描一个二维码,可以加入投屏分享。本申请实施例中对于大屏上显示的二维码个数不做限定。
智能电视与手机2建立通信连接后,如果智能电视仍与手机1保持着通信连接,则此时智能电视、手机1以及手机2构成了一个设备组。同样,该设备组内的成员是可以动态增加或减少的。
步骤902、手机2向智能电视发送第二投屏指令。
其中,手机2向智能电视发送第二投屏指令的过程,与步骤403中手机1向智能电视发送第一投屏指令的过程类似,故此处不再赘述。
步骤903、智能电视根据屏幕子区域和音箱设备的映射关系表为屏幕子区域配置相应的音箱设备。
本申请实施例中,智能电视收到手机2的第二投屏指令之后,响应于第二投屏指令,智能电视确定当前源设备,并为该源设备占用的屏幕子区域配置相应的音箱设备。例如,之前只显示一个源设备(手机1)的画面时,智能电视连接的所有音箱设备都分配给手机1占用的该屏幕子区域,此时可以改变手机1占用的屏幕子区域与音箱设备的对应关系,将原来全部分配给手机1的屏幕子区域的音箱设备中的一些音箱设备分配给手机2占用的屏幕子区域。又如,投屏的屏幕子区域位置是与音箱设备绑定的,即左边的投屏位置对应左边的音箱设备,右边的投屏位置对应右边的音箱设备,若手机2通过扫二维码投屏时,可以是扫左边的二维码,就投到左边的音箱设备,若手机2扫右边的二维码,就投到右边的音箱设备。
需要说明的是,当两个手机同时投屏时,大屏上可以同时显示两个手机的横屏界面(如图11a所示),或者,大屏上也可以同时显示两个手机的竖屏界面,或者,大屏上还可以显示一个手机的横屏界面和另一个手机的竖屏界面。本申请实施例中对于不同的界面投屏后的显示方式不做限定。
如图11b所示,音箱设备1播放手机1的音频数据,音箱设备2播放手机2的音频数据。
如图11c所示,手机1的竖屏界面投屏到屏幕子区域1,手机2的竖屏界面投屏到屏幕子区域2,大屏上可以同时显示手机1的竖屏界面和手机2的竖屏界面,同时大屏上还有可以显示一个二维码,手机3也可以扫描该二维码,并加入到投屏分享中。
如图11d所示,在大屏上可以显示一个源设备(例如手机1)的画面,同时左右两边各显示一个二维码,手机2可以扫描左侧的二维码,也可以扫描右侧的二维码,若手机2扫描了左侧的二维码,则手机2可以投屏到左侧的屏幕子区域,若手机2扫描了右侧的二维码,则手机2可以投屏到右侧的屏幕子区域。可以理解的是,手机1的界面可以在大屏上进行全屏或者在中间显示,在大屏上投屏的源设备增加了一个新的源设备之后,手机1投屏的屏幕子区域需要移到左边或者右边,同时切换手机1对应的屏幕子区域对应的音箱设备。以保证音箱设备和手机1对应的屏幕子区域的实时对应。
本申请实施例可以应用于双路、多路的音视频分享,以及配上音频的文本流展示等场景,搭载在智能电视等电子设备上。以游戏投屏对抗为例,当两个或多个玩家同时参与同一游戏进行对抗时,会将各自的电子设备上视频和音效分享到大屏目的设备上,在大屏上共享并进行公平竞技,屏幕被划分为左右两个或多个屏幕子区域,左侧玩家的游戏音效在大屏的左侧音响中播放,右侧玩家的游戏音效在大屏右侧音响中播放,在共享各自视角的音视频时,又能聚焦自身一侧的视听体验。
步骤904、手机1将手机1中第一显示数据和第一音频数据发送给智能电视进行投屏。
步骤905、手机2将手机2中第二显示数据和第二音频数据发送给智能电视进行投屏。
智能电视确定出当前占用的屏幕子区域对应的音箱设备之后,智能电视可以显示和播放接收到的手机2发送的第二显示数据和第二音频数据。不限定的是,在手机2发送第二投屏指令之后,手机2还可以与智能电视协商出本次投屏的第二投屏参数,此处不再对协商流程做详细说明。手机可按照该第二投屏参数生成需要投屏至智能电视中的显示数据和音频数据。
示例性的,如图8所示,手机2的第二界面与手机1的第一界面相类似,此处不再对手机2的第二界面进行图例说明,用户在手机2中开启投屏功能后,打开游戏APP显示第二界面。此时,手机2需要将第二界面投射至智能电视中显示,将第二音频数据发送给智能电视,通过智能电视根据手机2占用的屏幕子区域分配的音频设备来播放该第二音频数据。
需要说明的是,手机2发送给智能电视的第二音频数据,可以是手机2中的原始音频,也可以是手机2按照第二投屏参数编码后的音频数据,此处不做限定。
步骤906、智能电视显示第一显示数据和第二显示数据,并使用确定下来的音箱设备播放第一音频数据和第二音频数据。
智能电视可以使用不同的音箱设备分别播放手机1的音频数据和手机2的音频数据,手机1和手机2向一个智能电视分享音视频时,音频数据的输出方向能随视频添加位置动态自适应。在多对一音视频分享场景,如二对一投屏场景中,智能电视的大屏屏幕左右一分为二,投屏者位于对应的一侧;若智能电视配置有左右两个音箱设备,为了使投屏者多感官多维度上聚焦自身一侧的音视频体验,需要在该侧播放对应的音频数据,同时弱化了另一侧投屏中音频数据对自身的影响。
本申请实施例中,手机1是投屏者1操作的终端,手机2是投屏者2操作的终端,两位投屏者都站在同一台大屏屏幕前,一左一右,进行投屏;大屏的屏幕会被分成左右两块,智能电视的音箱也分左右音箱;这时就有屏幕子区域和音箱设备的对应关系。站在大屏左边的用户,可以通过手机1扫描大屏左边的二维码,大屏左侧音箱映射挂载在左侧子屏幕上,站在大屏右边的用户,可以通过手机2扫描大屏右边的二维码,右侧音箱挂载在右侧子屏幕上。因此用户能聚焦感受自身一侧投屏的感官体验,同时能利用大屏提升投屏分享体验。其中,在手机连接大屏进行投屏时或者之前,可以在大屏的界面中显示提示信息,以将上述各实施例中描述的投屏方案提示给用户。例如,当有多个(例如两个)用户投屏时,源设备扫描左边的二维码将会被分配左边的屏幕和音箱设备,源设备扫描右边的二维码将会被分配右边的屏幕和音箱设备。
在本申请的一些实施例中,手机1和手机2都在进行投屏分享,智能电视还可以接收用户发送的屏幕对调的指令,从而智能电视可以改变原来手机1和手机2分别占用的屏幕子区域对应的音箱设备,使得手机的位置改变之后,音箱设备播放的音源方向也发生变化,用户能聚焦感受自身一侧投屏的感官体验,同时能利用大屏提升投屏分享体验。
上述实施例中是以智能电视的源设备数目为2个(即上述手机1和手机2)举例说明的。可以理解的是,智能电视可以动态的接收一个或多个的源设备发来的显示数据和音频数据进行投屏音频播放。当智能电视的源设备数目发生改变时,每个源设备在向智能电视投屏时,智能电视为每个屏幕子区域分配的音箱设备也将动态变化。另外,已经加入投屏分享的源设备还可以中途退出投屏分享,此时,智能电视可以动态的接收一个或多个的源设备发来的投屏退出指令。当智能电视的源设备数目发生改变时,每个源设备在向智能电视投屏时,智能电视为每个屏幕子区域分配的音箱设备也将动态变化。
示例性的,在手机1和手机2向智能电视投屏音频播放数据和音频数据的过程中,已经加入投屏分享的手机可以退出投屏。以手机2为发起投屏退出指令举例,如图12所示,本申请实施例提供的一种投屏音视频播放方法还包括:
步骤1201、手机2向智能电视发送第二投屏退出指令。
其中,手机2向智能电视发送第二投屏退出指令,以指示智能电视该手机2需要退出投屏。
上述手机2可以动态的加入投屏分享,也可以动态的退出投屏分享,同样的,对于手机1页可以动态的加入投屏分享,也可以动态的退出投屏分享,此处不做限定。若手机1需要退出投屏,手机1还可以向智能电视发送第一投屏退出指令。
步骤1202、智能电视取消为手机2占用的屏幕子区域分配的音箱设备。
其中,智能电视接收到手机2发送的第二投屏退出指令之后,智能电视不再播放手机2的音频数据,因此智能电视之前为手机2占用的屏幕子区域分配的音箱设备不需要再保留,智能电视可以取消手机2占用的屏幕子区域分配的音箱设备。
其中,用户可以选择退出多终端的投屏分享,即用户可以取消投屏分享,此时智能电视的大屏可以从显示两个屏幕子区域,切换回显示单个屏幕区域。
步骤1203、智能电视根据屏幕子区域和音箱设备的映射关系表为当前的屏幕子区域配置相应的音箱设备。
本申请实施例中,如图13所示,智能电视收到手机2的第二投屏退出指令之后,响应于第二投屏退出指令,智能电视确定当前源设备,并为该源设备占用的屏幕子区域配置相应的音箱设备。例如,在手机1和手机2正在投屏分享时,手机2的用户可以发送投屏退出指令,此时智能电视根据前述的屏幕子区域和音箱设备的映射关系表,可以收回分配给手机2的音箱设备,并将这些音箱设备重新分配给手机1使用,以实现对所有音箱设备的合理使用。手机2申请退出投屏,则智能电视可以不再为手机2占用的屏幕子区域分配相应的音箱设备。
在投屏之前,用户根据屏幕大小划分不同投屏数量下的子屏幕区域,并统计环境中已连接的音箱设备,建立不同投屏数量下的映射表,作为之后音频自适应调整策略。在投屏时,当有投屏者退出,则按照预设的策略收回已分配的音箱设备,使音频输出方向能动态调整。
上述实施例中是以智能电视的源设备数目为2个(即上述手机1和手机2)举例说明的。可以理解的是,智能电视可以动态的接收一个或多个源设备发来的显示数据和音频数据进行投屏音频播放。当智能电视的源设备数目发生改变时,每个源设备在向智能电视投屏时,智能电视为每个屏幕子区域分配的音箱设备也将动态变化。另外,已经加入投屏分享的源设备还可以中途退出投屏分享,此时,智能电视可以动态的接收一个或多个源设备发来的投屏退出指令。当智能电视的源设备数目发生改变时,每个源设备在向智能电视投屏时,智能电视为每个屏幕子区域分配的音箱设备也将动态变化。
如图14所示,接下来对屏幕子区域与音箱设备的映射关系表的建立过程进行说明,主要包括如下步骤:
1401、确定不同投屏数量时划分的屏幕子区域;
1402、确定每个屏幕子区域对应的音箱设备,及对应的音频输出方向;
1403、建立不同投屏数量时的屏幕子区域与音频设备的映射关系表。
其中,音箱设备还可以表述为音频输出设备。具体的,当只有一个投屏者时,大屏的左右音箱设备映射挂载到同一个视频显示屏幕上,当有左右两个投屏者时,大屏左侧的音箱设备映射挂载在左侧的屏幕子区域上,右侧的音箱设备挂载在右侧的屏幕子区域上。
举例说明如下,只有手机1正在进行投屏分享,此时手机1的音频数据通过智能电视的所有音箱设备来播放,手机2可以通过屏幕上显示的二维码加入到智能电视的投屏分享,例如手机2扫描二维码,发送投屏指令给智能电视,智能电视可以根据前述的屏幕子区域和音箱设备的映射关系表,改变原有手机1对应的音箱设备,即可以从原来分给手机1的音箱设备中拿出一些音箱设备分配给手机2,从而改变了原有的屏幕子区域和音箱设备的映射关系,使得手机2可以加入投屏分享,且手机2能够分配到相应位置的音箱设备,使得手机1的用户听到对应侧的音频数据,手机2也可以听到对应侧的音频数据。
在投屏前,用户根据屏幕大小划分不同投屏数量下的子屏幕区域,并统计环境中已连接的音箱设备,建立不同投屏数量下的映射表,作为之后音频自适应调整策略。在投屏时,当有新投屏者加入,则按照预设的策略分配音箱设备,使音频输出方向能动态调整。例如当只有一个投屏者时,音箱设备可以全部映射到该屏幕,也可以只将其中的部分音箱设备映射到该屏幕。
如图15所示,接下来对手机和智能电视的投屏协商过程进行举例说明:
1501、大屏建立p2p组网,生成二维码,手机1扫码连接。
大屏作为组中心(GroupOwner,GO),手机作为组成员(Group Client,GC),建立p2p组网,同时生成组网二维码,例如包含MacAddress和组网信息,支持免确认连接。
1502、大屏下发投屏设备数量,手机1和大屏协商分辨率等参数,等待大屏确认。
手机1通过扫描二维码进行p2p连接,大屏广播下发当前投屏设备数量变更为1,手机根据当前投屏设备数量,调整投屏分辨率和编码参数并上报,大屏接收分辨率和编码参数,协商完成,下发播放通知。
1503、手机1收到确认,开始传输音视频数据。
1504、大屏端播放手机1视频,按策略选择音响播放音频(如所有音响播放)。
手机收到播放通知,开始屏幕投屏数据流传输,大屏左右侧音响同时播放手机1的音频。
1505、大屏将二维码往右侧移动,手机2扫码连接。可以理解的是,在其它实施方式中,大屏也可以将二维码向左侧移动,等待手机2的接入。
1506a、大屏更新下发投屏设备数量(此时投屏设备数量为2),手机1和大屏协商分辨率等参数,等待确认。
1507a、手机1收到确认,继续传输音视频数据。
1508a、大屏分屏播放手机1视频,按策略选择音响播放音频(如左侧音响播放)。
1506b、大屏将更新后的投屏设备数量发送给手机2,手机2和大屏协商分辨率等参数,等待确认。
1507b、手机2收到确认,开始传输音视频数据。
1508b、大屏分屏播放手机2视频,按策略选择音响播放音频(如右侧音响播放)。
大屏将二维码往右边/左边偏移显示,手机2通过扫描二维码进行p2p连接,大屏广播下发当前投屏设备数量变更为2,手机1、手机2根据当前投屏设备数量,调整投屏分辨率和编码参数并上报。大屏接收分辨率和编码参数,协商完成,下发播放通知,手机1和手机2收到播放通知,开始屏幕投屏数据流传输,大屏左侧播放手机1音频,大屏右侧播放手机2音频。
另外,当手机2成功投屏之后,大屏还可以隐藏二维码。
在本申请的前述实施例中,两个手机通过无线p2p连接,同时投到大屏时,音频适应新增设备选择不同的输出方向,从而提升对应投屏用户的视听体验。当只有手机1投屏时,两侧音响播放手机1的音频数据;当手机2加入投屏后,手机1的视频在屏幕左侧显示,音频被切换到了左侧音响播放,手机2的视频在屏幕右侧显示,对应的音频在右侧音响播放。或者,当手机2加入投屏后,手机1的视频在屏幕右侧显示,音频被切换到了右侧音响播放,手机2的视频在屏幕左侧显示,对应的音频在左侧音响播放。用户能聚焦感受自身一侧投屏的感官体验,同时能利用大屏提升、分享体验。
通过前述实施例的举例说明可知,当有多路投屏输入,且大屏搭载(含外接)的音箱设备数量充足时,将每路音频解码后分别送入不同音频设备播放,可以按视频添加后自适应选择音频输出方向,升级用户视听体验;为需要互动、共享视角但专注自我一侧音效的应用或游戏提供支持。使投屏者在感官上将音频与视频对应起来,提升视听体验。
本申请实施例公开了一种电子设备,该电子设备可以为上述源设备,也可以为上述目的设备。具体的,电子设备可包括处理器,以及与处理器相连的存储器、输入设备和输出设备。其中,输入设备和输出设备可集成为一个设备,例如,可将触摸传感器作为输入设备,将显示屏作为输出设备,并将触摸传感器和显示屏集成为触摸屏。
此时,如图16所示,上述电子设备可以包括:触摸屏1601,所述触摸屏1601包括触摸传感器1606和显示屏1607;一个或多个处理器1602;存储器1603;通信模块1608;一个或多个应用程序(未示出);以及一个或多个计算机程序1604,上述各器件可以通过一个或多个通信总线1605连接。其中该一个或多个计算机程序1604被存储在上述存储器1603中并被配置为被该一个或多个处理器1602执行,该一个或多个计算机程序1604包括指令,上述指令可以用于执行上述实施例中的各个步骤。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述,在此不再赘述。可以理解地,上述电子设备也可以包括显示屏,而触摸传感器没有和显示屏集成触摸屏,可以通过其他输入方式进行输入,如键盘,鼠标或遥控器,或者没有与显示屏相集成的触摸传感器等。
示例性的,上述处理器1602具体可以为图3所示的处理器110,上述存储器1603具体可以为图3所示的内部存储器116和/或外部存储器160,上述显示屏1607具体可以为图3所示的显示屏194,上述触摸传感器1606具体可以为图3所示的传感器模块180中的触摸传感器,本申请实施例对此不做任何限制。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。
Claims (11)
1.一种投屏音视频播放方法,其特征在于,包括:
目的设备接收来自第一源设备的第一投屏数据,所述第一投屏数据包括第一显示数据和第一音频数据;
所述目的设备在所述目的设备的显示屏上显示所述第一显示数据,并通过第一音箱设备和第二音箱设备播放所述第一音频数据;所述第一音箱设备和所述第二音箱设备均位于所述目的设备的外部,并且与所述目的设备通信连接;所述第一音箱设备位于所述目的设备的第一侧,所述第二音箱设备位于所述目的设备的第二侧;
在所述目的设备投屏显示所述第一显示数据,并通过所述第一音箱设备和所述第二音箱设备播放所述第一音频数据时,所述目的设备接收来自第二源设备的第二投屏数据,所述第二投屏数据包括第二显示数据和第二音频数据;
在接收到所述第二投屏数据之后,所述目的设备在所述显示屏上划分为第一显示子区域和第二显示子区域,并在所述第一显示子区域显示所述第一显示数据,在所述第二显示子区域显示所述第二显示数据,并且通过所述第一音箱设备播放所述第一音频数据,通过所述第二音箱设备播放所述第二音频数据;或者,
在接收到所述第二投屏数据之后,所述目的设备在所述显示屏上划分为第一显示子区域和第二显示子区域,并在所述第二显示子区域显示所述第一显示数据,在所述第一显示子区域显示所述第二显示数据,并且通过所述第二音箱设备播放所述第一音频数据,通过所述第一音箱设备播放所述第二音频数据;
其中,所述第一显示子区域位于所述显示屏的第一侧,所述第二显示子区域位于所述显示屏的第二侧。
2.根据权利要求1所述的方法,其特征在于,所述目的设备在所述目的设备的显示屏上显示所述第一显示数据,包括:
所述目的设备在所述显示屏上全屏显示所述第一显示数据。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
当所述目的设备在所述显示屏上显示所述第一显示数据时,所述目的设备还显示标识信息;所述标识信息包括所述目的设备的标识;
在所述第二源设备扫描所述标识信息之后,所述目的设备接收来自所述第二源设备的所述第二投屏数据。
4.根据权利要求3所述的方法,其特征在于,
所述标识信息位于所述显示屏的第一侧或第二侧;
所述标识信息悬浮于所述显示屏当前显示的画面之上,或者所述标识信息以画中画的方式显示在所述显示屏当前显示的画面中。
5.根据权利要求4所述的方法,其特征在于,
若所述标识信息位于所述显示屏的第二侧,则所述目的设备在所述第一显示子区域显示所述第一显示数据,在所述第二显示子区域显示所述第二显示数据,并且通过所述第一音箱设备播放所述第一音频数据,通过所述第二音箱设备播放所述第二音频数据;或者
若所述标识信息位于所述显示屏的第一侧,则所述目的设备在所述第二显示子区域显示所述第一显示数据,在所述第一显示子区域显示所述第二显示数据,并且通过所述第二音箱设备播放所述第一音频数据,通过所述第一音箱设备播放所述第二音频数据。
6.根据权利要求3所述的方法,其特征在于,所述标识信息为二维码。
7.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述目的设备在所述第一显示子区域显示所述第一显示数据,在所述第二显示子区域显示所述第二显示数据,并通过所述第一音箱设备播放所述第一音频数据,通过所述第二音箱设备播放所述第二音频数据之后,或者,
所述目的设备在所述第一显示子区域显示所述第二显示数据,在所述第二显示子区域显示所述第一显示数据,并通过所述第二音箱设备播放所述第一音频数据,通过所述第一音箱设备播放所述第二音频数据之后,
所述目的设备接收来自所述第二源设备的投屏退出指令;
响应于接收到来自所述第二源设备的投屏退出指令,所述目的设备在所述显示屏上显示所述第一显示数据,并通过所述第一音箱设备和所述第二音箱设备播放所述第一音频数据。
8.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
所述目的设备在所述第一显示子区域显示所述第一显示数据,在所述第二显示子区域显示所述第二显示数据,并通过所述第一音箱设备播放所述第一音频数据,通过所述第二音箱设备播放所述第二音频数据之后,或者,
所述目的设备在所述第一显示子区域显示所述第二显示数据,在所述第二显示子区域显示所述第一显示数据,并通过所述第二音箱设备播放所述第一音频数据,通过所述第一音箱设备播放所述第二音频数据之后,
所述目的设备接收来自所述第一源设备的投屏退出指令;
响应于接收到来自所述第一源设备的投屏退出指令,所述目的设备在所述显示屏上显示所述第二显示数据,并通过所述第一音箱设备和所述第二音箱设备播放所述第二音频数据。
9.根据权利要求1或2所述的方法,其特征在于,
所述第一音箱设备或所述第二音箱设备的数量为一个或多个;
所述第一音箱设备为能够播放音频数据的终端设备;
所述第二音箱设备为能够播放音频数据的终端设备。
10.一种电子设备,所述电子设备为目的设备,所述目的设备与第一音箱设备和第二音箱设备通信连接,所述第一音箱设备和所述第二音箱设备均位于所述目的设备的外部,所述第一音箱设备位于所述目的设备的第一侧,所述第二音箱设备位于所述目的设备的第二侧,所述目的设备包括:
处理器;
显示屏,所述显示屏耦合于所述处理器;
存储器,所述存储器耦合于所述处理器;
以及计算机程序,其中所述计算机程序被存储在所述存储器中,所述计算机程序包括指令,当所述指令被所述处理器执行时,使得所述目的设备执行如权利要求1-9中任一项所述的方法。
11.一种计算机可读存储介质,所述计算机可读存储介质被包含在电子设备中,所述电子设备为目的设备,所述计算机可读存储介质存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-9中任一项所述的方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019111690323 | 2019-11-25 | ||
CN201911169032.3A CN111131866B (zh) | 2019-11-25 | 2019-11-25 | 一种投屏音视频播放方法及电子设备 |
PCT/CN2020/121756 WO2021103846A1 (zh) | 2019-11-25 | 2020-10-19 | 一种投屏音视频播放方法及电子设备 |
CN202080040098.7A CN113940089B (zh) | 2019-11-25 | 2020-10-19 | 一种投屏音视频播放方法及电子设备 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080040098.7A Division CN113940089B (zh) | 2019-11-25 | 2020-10-19 | 一种投屏音视频播放方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116320556A true CN116320556A (zh) | 2023-06-23 |
Family
ID=70496687
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911169032.3A Active CN111131866B (zh) | 2019-11-25 | 2019-11-25 | 一种投屏音视频播放方法及电子设备 |
CN202080040098.7A Active CN113940089B (zh) | 2019-11-25 | 2020-10-19 | 一种投屏音视频播放方法及电子设备 |
CN202310239363.XA Pending CN116320556A (zh) | 2019-11-25 | 2020-10-19 | 一种投屏音视频播放方法及电子设备 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911169032.3A Active CN111131866B (zh) | 2019-11-25 | 2019-11-25 | 一种投屏音视频播放方法及电子设备 |
CN202080040098.7A Active CN113940089B (zh) | 2019-11-25 | 2020-10-19 | 一种投屏音视频播放方法及电子设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11812098B2 (zh) |
EP (1) | EP4050900A4 (zh) |
JP (1) | JP7408803B2 (zh) |
CN (3) | CN111131866B (zh) |
WO (1) | WO2021103846A1 (zh) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111131866B (zh) | 2019-11-25 | 2021-06-15 | 华为技术有限公司 | 一种投屏音视频播放方法及电子设备 |
CN111600977A (zh) * | 2020-05-15 | 2020-08-28 | 魏天骋 | 一种以移动终端为数据处理器的共享装置 |
CN113938738A (zh) * | 2020-06-29 | 2022-01-14 | 阿里巴巴集团控股有限公司 | 显示设备的控制方法和系统、播放设备及存储介质 |
CN111796787B (zh) * | 2020-06-30 | 2022-07-26 | 联想(北京)有限公司 | 一种显示方法及显示装置 |
CN111984215A (zh) * | 2020-08-19 | 2020-11-24 | Oppo广东移动通信有限公司 | 多媒体数据播放方法、终端及存储介质 |
CN111988653A (zh) * | 2020-08-25 | 2020-11-24 | 京东方科技集团股份有限公司 | 多视频投屏信息的交互方法、装置、设备及存储介质 |
CN112019896B (zh) * | 2020-08-27 | 2022-03-01 | 北京字节跳动网络技术有限公司 | 投屏方法、装置、电子设备及计算机可读介质 |
US12050837B2 (en) | 2020-08-27 | 2024-07-30 | Douyin Vision Co., Ltd. | Screen projection method and apparatus, electronic device, and computer-readable medium |
CN114189946A (zh) * | 2020-09-15 | 2022-03-15 | 华为技术有限公司 | 数据分享的方法、电子设备和系统 |
CN112181342B (zh) * | 2020-10-15 | 2023-08-18 | Oppo广东移动通信有限公司 | 显示方法、装置、电子设备以及存储介质 |
CN112181343B (zh) * | 2020-10-15 | 2023-05-02 | Oppo广东移动通信有限公司 | 显示方法、装置、电子设备以及存储介质 |
CN114442969B (zh) * | 2020-10-30 | 2024-06-18 | 华为技术有限公司 | 一种设备间屏幕协同方法及设备 |
CN112337100B (zh) * | 2020-11-05 | 2022-11-18 | 北京字节跳动网络技术有限公司 | 基于直播的数据处理方法、装置、电子设备和可读介质 |
CN112565854A (zh) * | 2020-11-12 | 2021-03-26 | 深圳康佳电子科技有限公司 | 一种多信源显示的MicroLED电视及其显示控制方法 |
CN114489533A (zh) * | 2020-11-13 | 2022-05-13 | 华为技术有限公司 | 投屏方法、装置、电子设备及计算机可读存储介质 |
CN112306442B (zh) * | 2020-11-20 | 2023-05-12 | Oppo广东移动通信有限公司 | 跨设备的内容投屏方法、装置、设备及存储介质 |
CN112565876B (zh) * | 2020-11-30 | 2023-03-24 | 深圳乐播科技有限公司 | 投屏方法、装置、设备、系统及存储介质 |
CN112637671B (zh) * | 2020-12-11 | 2023-04-28 | 深圳乐播科技有限公司 | 一种屏幕共享方法及系统 |
CN112738621A (zh) * | 2020-12-25 | 2021-04-30 | 广州长嘉电子有限公司 | 一种非智能电视的无线投屏方法、装置及系统 |
CN114691064B (zh) * | 2020-12-29 | 2024-10-18 | 华为技术有限公司 | 一种双路投屏的方法及电子设备 |
CN114827700B (zh) * | 2021-01-18 | 2023-06-09 | Oppo广东移动通信有限公司 | 投屏内容的显示方法、装置、终端及存储介质 |
CN112866749B (zh) * | 2021-02-18 | 2022-02-18 | 北京仁光科技有限公司 | 多终端信号上屏显示控制系统和方法 |
CN113225610B (zh) * | 2021-03-31 | 2023-08-11 | 北京达佳互联信息技术有限公司 | 投屏方法、装置、设备及存储介质 |
CN113050916A (zh) * | 2021-04-09 | 2021-06-29 | 深圳Tcl新技术有限公司 | 音频播放方法、装置及存储介质 |
CN113282223B (zh) * | 2021-04-29 | 2024-06-28 | 维沃移动通信有限公司 | 显示方法、显示装置和电子设备 |
CN114296579A (zh) * | 2021-04-30 | 2022-04-08 | 海信视像科技股份有限公司 | 显示设备及用户界面的控制方法 |
CN113542841A (zh) * | 2021-06-16 | 2021-10-22 | 杭州当贝网络科技有限公司 | 投屏方法和投屏系统 |
CN113360117B (zh) * | 2021-06-28 | 2024-06-25 | 北京字节跳动网络技术有限公司 | 电子设备的控制方法、装置、终端和存储介质 |
CN113868084B (zh) * | 2021-09-27 | 2024-07-23 | 联想(北京)有限公司 | 智能控制方法、装置及电子设备 |
KR20230053204A (ko) * | 2021-10-14 | 2023-04-21 | 삼성전자주식회사 | 전자 장치들 간의 위치 관계에 기반하여 사용자 인터페이스를 제공하는 방법 및 그를 위한 전자 장치 |
CN113992966B (zh) * | 2021-10-26 | 2024-09-24 | Oppo广东移动通信有限公司 | 重定向方法、装置、设备、存储介质及程序产品 |
CN114125547A (zh) * | 2021-11-16 | 2022-03-01 | 深圳康佳电子科技有限公司 | 基于多协议共存的投屏处理方法、装置、智能终端及介质 |
CN114500129A (zh) * | 2021-12-20 | 2022-05-13 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN114827686B (zh) * | 2022-05-09 | 2024-10-11 | 维沃移动通信有限公司 | 录制数据处理方法、装置及电子设备 |
CN114915833B (zh) * | 2022-06-24 | 2023-11-10 | Vidaa国际控股(荷兰)公司 | 一种显示器控制方法及显示设备、终端设备 |
CN115278348B (zh) * | 2022-07-05 | 2023-11-17 | 深圳乐播科技有限公司 | 一种投屏方法及装置 |
CN115412756A (zh) * | 2022-08-29 | 2022-11-29 | 北京奇艺世纪科技有限公司 | 信息投放方法、装置、电子设备及存储介质 |
CN218957016U (zh) | 2023-01-07 | 2023-05-02 | 深圳博浪科技有限公司 | 自动识别播放音频的图案投影装置 |
CN117119615A (zh) * | 2023-10-25 | 2023-11-24 | 吉林藤兴科技有限公司 | 一种智能移动终端在车辆中控大屏的投屏方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0898102A (ja) | 1994-09-22 | 1996-04-12 | Sony Corp | テレビジョン受信機 |
US5867223A (en) * | 1995-07-17 | 1999-02-02 | Gateway 2000, Inc. | System for assigning multichannel audio signals to independent wireless audio output devices |
US8955020B2 (en) * | 2002-12-11 | 2015-02-10 | Broadcom Corporation | Transcoding and data rights management in a mobile video network with STB as a hub |
JP2004206581A (ja) * | 2002-12-26 | 2004-07-22 | Toshiba Corp | 音響装置、音響装置における音声情報取得方法 |
US8730322B2 (en) | 2004-07-30 | 2014-05-20 | Eyesee360, Inc. | Telepresence using panoramic imaging and directional sound and motion |
CN100405832C (zh) | 2004-12-17 | 2008-07-23 | Tcl王牌电子(深圳)有限公司 | 一种实现可同时接收播放多套节目的电视机装置 |
JP4564925B2 (ja) * | 2006-01-16 | 2010-10-20 | シャープ株式会社 | 放送番組予約装置 |
US20100002151A1 (en) * | 2008-07-01 | 2010-01-07 | Yang Pan | Handheld media and communication device with a detachable projector |
EP2692125B1 (en) * | 2011-03-31 | 2019-06-26 | Sony Mobile Communications AB | System and method for establishing a communication session |
US8521900B2 (en) | 2011-05-05 | 2013-08-27 | Awind Inc. | Remote audio-video sharing method and application program for the same |
CN102355587A (zh) | 2011-08-17 | 2012-02-15 | 冠捷显示科技(厦门)有限公司 | 同步接收转播电视子节目的实现方法及其装置 |
US20140333508A1 (en) * | 2012-08-31 | 2014-11-13 | Game Concourse Inc. | System and method for communicating and interacting with a display screen using a remote device |
US10735408B2 (en) * | 2013-03-14 | 2020-08-04 | Samsung Electronics Co., Ltd. | Application connection for devices in a network |
KR101999958B1 (ko) * | 2013-05-22 | 2019-07-15 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
CN103888808B (zh) * | 2013-11-26 | 2017-10-24 | 小米科技有限责任公司 | 视频显示方法、显示设备、辅助设备及系统 |
US10136182B2 (en) * | 2014-05-16 | 2018-11-20 | Verizon Patent And Licensing Inc. | Presenting multimedia content from multiple sources at a same time |
US20210344991A1 (en) * | 2016-10-13 | 2021-11-04 | Skreens Entertainment Technologies, Inc. | Systems, methods, apparatus for the integration of mobile applications and an interactive content layer on a display |
CN108366062B (zh) | 2018-01-24 | 2021-03-16 | 南京哇嗨网络科技有限公司 | 通过邀请建立投屏连接的方法、客户端、服务器和系统 |
US11477516B2 (en) * | 2018-04-13 | 2022-10-18 | Koji Yoden | Services over wireless communication with high flexibility and efficiency |
CN110147199A (zh) * | 2019-05-23 | 2019-08-20 | 北京硬壳科技有限公司 | 同屏显示方法、装置及触控显示器 |
CN110213646A (zh) * | 2019-05-24 | 2019-09-06 | 深圳市朗强科技有限公司 | 一种显示控制装置、显示控制系统以及显示控制方法 |
CN110191350A (zh) | 2019-05-28 | 2019-08-30 | 上海哔哩哔哩科技有限公司 | 多端投屏方法、计算机设备及存储介质 |
CN110381197B (zh) * | 2019-06-27 | 2021-06-15 | 华为技术有限公司 | 多对一投屏中音频数据的处理方法、装置及系统 |
CN110381345B (zh) | 2019-07-05 | 2020-12-15 | 华为技术有限公司 | 一种投屏显示方法及电子设备 |
CN110351407A (zh) * | 2019-08-08 | 2019-10-18 | 维沃移动通信有限公司 | 一种音频播放方法及移动终端 |
CN111131866B (zh) | 2019-11-25 | 2021-06-15 | 华为技术有限公司 | 一种投屏音视频播放方法及电子设备 |
-
2019
- 2019-11-25 CN CN201911169032.3A patent/CN111131866B/zh active Active
-
2020
- 2020-10-19 CN CN202080040098.7A patent/CN113940089B/zh active Active
- 2020-10-19 EP EP20893128.7A patent/EP4050900A4/en active Pending
- 2020-10-19 US US17/779,295 patent/US11812098B2/en active Active
- 2020-10-19 JP JP2022530285A patent/JP7408803B2/ja active Active
- 2020-10-19 CN CN202310239363.XA patent/CN116320556A/zh active Pending
- 2020-10-19 WO PCT/CN2020/121756 patent/WO2021103846A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN113940089A (zh) | 2022-01-14 |
JP2023503956A (ja) | 2023-02-01 |
WO2021103846A1 (zh) | 2021-06-03 |
JP7408803B2 (ja) | 2024-01-05 |
EP4050900A4 (en) | 2022-12-28 |
US20220408136A1 (en) | 2022-12-22 |
EP4050900A1 (en) | 2022-08-31 |
CN111131866B (zh) | 2021-06-15 |
CN111131866A (zh) | 2020-05-08 |
US11812098B2 (en) | 2023-11-07 |
CN113940089B (zh) | 2023-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113940089B (zh) | 一种投屏音视频播放方法及电子设备 | |
CN117376615B (zh) | 一种投屏显示方法及电子设备 | |
CN112835549B (zh) | 一种切换音频输出设备的方法及设备 | |
CN106412681B (zh) | 弹幕视频直播方法及装置 | |
WO2022121775A1 (zh) | 一种投屏方法及设备 | |
CN112312366B (zh) | 一种通过nfc标签实现功能的方法、电子设备及系统 | |
WO2021043219A1 (zh) | 一种蓝牙回连方法及相关装置 | |
WO2021023035A1 (zh) | 一种镜头切换方法及装置 | |
CN114125789A (zh) | 通信方法、终端设备及存储介质 | |
CN114691059B (zh) | 一种投屏显示方法及电子设备 | |
CN115379435A (zh) | 一种设备能力发现方法及p2p设备 | |
CN112269554B (zh) | 显示系统及显示方法 | |
WO2022206771A1 (zh) | 一种投屏方法、电子设备和系统 | |
WO2022042261A1 (zh) | 屏幕共享方法、电子设备及系统 | |
EP4187535A1 (en) | Audio recording method and device | |
CN117440194A (zh) | 一种投屏画面的处理方法及相关装置 | |
CN114339140A (zh) | 一种可交互监控装置、视频传输方法及装置 | |
WO2021088891A1 (zh) | 显示系统及显示方法 | |
JP2024147994A (ja) | 電子機器、通信装置、制御方法およびプログラム | |
CN114980238A (zh) | Wi-Fi接入的方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |