CN117156189B - 投屏显示方法及电子设备 - Google Patents
投屏显示方法及电子设备 Download PDFInfo
- Publication number
- CN117156189B CN117156189B CN202310212384.2A CN202310212384A CN117156189B CN 117156189 B CN117156189 B CN 117156189B CN 202310212384 A CN202310212384 A CN 202310212384A CN 117156189 B CN117156189 B CN 117156189B
- Authority
- CN
- China
- Prior art keywords
- electronic device
- display
- video streams
- service
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000004891 communication Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000005266 casting Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 56
- 238000012545 processing Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 2
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Telephone Function (AREA)
Abstract
本申请提供了一种投屏显示方法及电子设备,有利于在第一电子设备投屏到第二电子设备的场景下,为用户在第二电子设备上提供多视角的观看画面,满足用户既想观看全局画面又想观看局部画面的需求。该方法包括:第一电子设备确定第二电子设备支持N路视频流的同时显示;第一电子设备获取N个虚拟显示屏;第一电子设备确定目标应用支持M路视频流的同时显示,目标应用包括加载在第一电子设备中的应用;第一电子设备在N个虚拟显示屏中的Z个虚拟显示屏中分别绘制Z路视频流,Z小于或等于第一值,第一值为M和N中的最小值;第一电子设备在第二电子设备中投屏显示Z路视频流。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种投屏显示方法及电子设备。
背景技术
随着汽车工业尤其是汽车硬件的快速发展,汽车媒体功能在人们的生活中扮演着越来越重要的角色,人们在汽车上使用汽车媒体功能的时长逐步提升。例如,在中长途旅行中,副驾或者后排的乘客可以在车上观看体育赛事或游戏直播等媒体节目。
通常,用户可以将手机连接车机,之后通过投屏的方式在车机上观看媒体节目。以乘客在车机上观看足球比赛这类媒体节目为例,对于足球比赛这类多人团体竞技的体育赛事而言,目前,车机以全局视角和局部视角串行切换的方式为用户呈现全局视角的画面(称为全局画面)和局部视角的画面(称为局部画面)。例如,先提供全局画面,等精彩时刻出现之后,通过回放的方式再播放局部画面。然而这样的方式使得用户无法同时看到足球在赛场上的全局移动位置和某个足球明星射球的精彩时刻画面。
综上,在手机投屏到车机的场景下,车机上无法满足用户既想观看全局画面又想观看局部画面这一需求。
发明内容
本申请提供一种投屏显示方法及电子设备,有利于在第一电子设备(例如,手机)投屏到第二电子设备(例如,车机)的场景下,为用户在第二电子设备上提供多视角的观看画面,满足用户既想观看全局画面又想观看局部画面的需求。
第一方面,提供一种投屏显示方法,该方法包括:第一电子设备确定第二电子设备支持N路视频流的同时显示;第一电子设备获取N个虚拟显示屏;第一电子设备确定目标应用支持M路视频流的同时显示,目标应用包括加载在第一电子设备中的应用;第一电子设备在N个虚拟显示屏中的Z个虚拟显示屏中分别绘制Z路视频流,Z小于或等于第一值,第一值为M和N中的最小值;第一电子设备在第二电子设备中投屏显示Z路视频流。
在本申请中,第一电子设备在和第二电子设备连接之后,可以查询第二电子设备是否支持多路视频流的同时显示,在第二电子设备支持N路视频流的同时显示的情况下,为在第二电子设备上同时显示多路视频流配置好N个虚拟显示屏,N个虚拟显示屏可用于绘制N路视频流。
在用户在第二电子设备上打开目标应用(投屏显示在第二电子设备上的目标应用,实际目标应用是加载在第一电子设备中的,第二电子设备中可以不安装目标应用)之后,第一电子设备也可以确定目标APP是否支持多路视频流的同时显示。在第二电子设备支持N路视频流的同时显示,并且目标应用支持M路视频流的同时显示的情况下,第一电子设备和第二电子设备可以基于投屏协议实现在第二电子设备上同时显示Z路视频流的目的。其中,不同的视频流对应目标应用中的媒体节目的不同视角的画面。这样的方式可以满足用户在第二电子设备上同时观看同一个媒体节目的不同视角的画面的需求,提高用户的使用体验。
结合第一方面,在第一方面的某些实现方式中,第一电子设备确定第二电子设备支持N路视频流的同时显示,包括:第一电子设备向第二电子设备发送第一查询请求,第一查询请求用于请求查询第二电子设备是否支持多路视频流的同时显示;第一电子设备接收来自第二电子设备的第一查询反馈,第一查询反馈指示第二电子设备支持N路视频流的同时显示;第一电子设备基于第一查询反馈,确定第二电子设备支持N路视频流的同时显示。第一电子设备获取N个虚拟显示屏,包括:第一电子设备基于第一查询反馈,获取N个虚拟显示屏。
结合第一方面,在第一方面的某些实现方式中,第一电子设备确定目标应用支持M路视频流的同时显示,包括:第一电子设备在接收到来自第二电子设备的第一指示信息的情况下,确定目标应用支持M路视频流的同时显示,第一指示信息用于指示用户在第二电子设备上选择目标应用。
结合第一方面,在第一方面的某些实现方式中,在第一电子设备确定第二电子设备支持N路视频流的同时显示之前,该方法还包括:第一电子设备基于通信连接技术与第二电子设备建立连接。
结合第一方面,在第一方面的某些实现方式中,通信连接技术包括无线保真(wireless fidelity,Wi-Fi)连接、蓝牙连接或通用串行总线(universal serial bus,USB)连接。
结合第一方面,在第一方面的某些实现方式中,第一电子设备在第二电子设备中投屏显示Z路视频流,包括:第一电子设备通过Wi-Fi连接或者USB连接向第二电子设备发送Z路视频流。
第二方面,提供一种投屏显示方法,应用于包括第一电子设备和第二电子设备的投屏显示系统,该方法包括:第一电子设备向第二电子设备发送第一查询请求,第一查询请求用于请求查询第二电子设备是否支持多路视频流的同时显示;第一电子设备接收来自第二电子设备的第一查询反馈,第一查询反馈用于指示第二电子设备支持N路视频流的同时显示;第一电子设备基于第一查询反馈,确定第二电子设备支持N路视频流的同时显示;第一电子设备基于第一查询反馈,获取N个虚拟显示屏;第二电子设备向第一电子设备发送第一指示信息,第一指示信息用于指示用户在第二电子设备上选择目标应用;第一电子设备基于第一指示信息,确定目标应用支持M路视频流的同时显示;第一电子设备在N个虚拟显示屏中的Z个虚拟显示屏中分别绘制Z路视频流,Z小于或等于第一值,第一值为M和N中的最小值;第一电子设备向第二电子设备发送Z路视频流;第二电子设备显示Z路视频流。
第三方面,本申请提供一种电子设备,该电子设备包括:包括:处理器和存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得电子设备执行如第一方面的方法。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现如第一方面的方法。
第五方面,本申请提供一种计算机程序产品,计算机程序产品包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面的方法。
第六方面,本申请提供了一种芯片,芯片包括处理器,处理器用于调用存储器中的计算机程序,以执行如第一方面所述的方法。
应当理解的是,本申请的第二方面至第六方面与本申请的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。
附图说明
图1是本申请实施例适用的一种电子设备的结构示意图;
图2是本申请实施例适用的电子设备的一种软件结构框图;
图3是本申请实施例提供的一种手机和车机交互的框架示意图;
图4是本申请实施例提供的一种投屏显示方法的示意性流程图;
图5是本申请实施例提供的一种车机的界面示意图;
图6是本申请实施例提供的另一种投屏显示方法的示意性流程图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
为了便于清楚描述本申请实施例的技术方案,下面首先对本申请涉及的相关术语进行详细介绍。
在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
此外,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b和c中的至少一项(个),可以表示:a,或b,或c,或a和b,或a和c,或b和c,或a、b和c,其中a,b,c可以是单个,也可以是多个。
图1是本申请实施例适用的一种电子设备的结构示意图。如图1所示,该电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,USB接口130,充电管理模块140,电源管理模块141,电池142,天线101,天线102,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及客户识别模块(subscriberidentity module,SIM)卡接口195等。
可以理解的是,本实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件,或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,显示处理单元(displayprocess unit,DPU),和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器110。其中,处理器可以是电子设备100的神经中枢和指挥中心。处理器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。这就避免了重复存取,减少了处理器110的等待时间,因而提高了电子设备100的效率。
电子设备100的无线通信功能可以通过天线101,天线102,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线101和天线102用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线101复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器等。移动通信模块150可以由天线101接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线101转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN),蓝牙(Bluetooth,BT),全球导航卫星系统(globalnavigation satellite system,GNSS),调频(frequency modulation,FM),近场通信(nearfield communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线102接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线102转为电磁波辐射出去。
在一些实施例中,电子设备100的天线101和移动通信模块150耦合,天线102和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括GSM,GPRS,CDMA,WCDMA,TD-SCDMA,LTE,GNSS,WLAN,NFC,FM,和/或IR技术等。上述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(bei dou navigation satellite system,BDS),准天顶卫星系统(quasi-zenithsatellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emittingdiode,OLED)、有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED)、柔性发光二极管(flex light-emittingdiode,FLED)、Miniled、MicroLed、Micro-oLed或量子点发光二极管(quantum dot lightemitting diodes,QLED)。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐、照片、视频等数据文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行各种功能应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备100执行各种功能应用及数据处理。
传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例适用的电子设备的一种软件结构框图。分层架构将电子设备100的软件系统分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,可以将Android系统分为应用程序层(application,APP)、应用程序框架层(application framework)、安卓运行时(Android runtime)和系统库、硬件抽象层(hardware abstraction layer,HAL)以及内核层(kernel)。在一些实施例中,电子设备100还包括硬件,例如,显示屏、蓝牙芯片、Wi-Fi芯片、USB芯片等。
应用程序层可以包括一系列应用程序包,应用程序层通过调用应用程序框架层所提供的应用程序接口(application programming interface,API)运行应用程序。如图2所示,应用程序包可以包括相机、日历、地图、通话、音乐、WLAN、蓝牙、视频、社交、图库、导航、XX体育等应用程序。
应用程序框架层为应用程序层的应用程序提供API和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示,应用程序框架层可以包括窗口管理器、内容提供器、资源管理器、通知管理器、视图系统、电话管理器、出行服务、投屏服务、显示服务等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备100振动,指示灯闪烁等。
出行服务用于提供包括驾驶车辆场景下的车机互联、来电显示、去电显示等功能。还可以提供给具备多机位/多视角的APP进行多视角能力的查询和请求。还可以提供停车观看媒体节目的安全合规检测。
投屏服务用于初始化多视角观看模式,提供投屏数据流的协议处理。显示服务用于渲染合成图像。
安卓运行时包括核心库和虚拟机。安卓运行时负责安卓系统的调度和管理。核心库包含两部分:一部分是java API框架使用的java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)、互联传输服务等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成和图层处理等。2D图形引擎是2D绘图的绘图引擎。
互联传输服务可以为手机和车机互联提供连接规范的功能。通过互联传输服务,用户可以将电子设备(例如,手机)上符合驾驶安全的应用或者媒体节目投屏到另一个电子设备(例如,车机)上显示,为用户提供更安全、丰富的信息娱乐体验。
硬件抽象层是设备内核驱动的抽象接口,实现向更高级别的java API框架提供访问底层设备的应用程序接口。硬件抽象层可以包括多个库模块,例如,显示模块、USB模块、蓝牙模块、Wi-Fi模块等,每个模块可以为特定类型的硬件组件实现一个接口。当框架API要求访问设备硬件时,Android系统将为该硬件组件加载库模块。
内核层是硬件和软件之间的层。内核层用于驱动硬件,使得硬件工作。内核层至少包含显示驱动、USB驱动、蓝牙驱动、Wi-Fi驱动等,本申请实施例对此不作限定。
应理解,本申请实施例中,电子设备可以是用于实现电子设备功能的装置,也可以是能够支持电子设备实现该功能的装置,例如芯片系统,该装置可以被安装在电子设备中。本申请实施例中,芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。
本申请实施例中的电子设备也可以称为终端(terminal)、用户设备(userequipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。电子设备可以是手机(mobile phone)、个人计算机(personal computer,PC)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)电子设备、增强现实(augmented reality,AR)电子设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。
作为示例而非限定,在本申请实施例中,该电子设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备,是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,例如:智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。
此外,电子设备还可以是物联网(internet of things,IoT)系统中的电子设备。IoT是未来信息技术发展的重要组成部分,其主要技术特点是将物品通过通信技术与网络连接,从而实现人机互连,物物互连的智能化网络。本申请对于电子设备的具体形式不作限定。
应理解,本申请实施例中,电子设备可以是用于实现电子设备功能的装置,也可以是能够支持电子设备实现该功能的装置,例如芯片系统,该装置可以被安装在终端中。本申请实施例中,芯片系统可以由芯片构成,也可以包括芯片和其他分立器件。
目前,第一电子设备(例如,手机)通过互联协议与第二电子设备(例如,车机)互联之后,可以将第一电子设备上的媒体节目投屏到第二电子设备的屏幕上进行观看,丰富用户在第二电子设备上的娱乐体验。
以第一电子设备为手机,第二电子设备为车机为例,在包括但不限于如下的场景中,用户可能有在车机上同时看到媒体节目中的全局画面和局部画面的需求:
在一种场景中,用户可以在车机上观看体育赛事直播,例如,篮球比赛、足球比赛、网球比赛等多人团队竞技赛事,以足球比赛为例,全局画面可以呈现足球在球场上的全局移动位置、球员的位置以及跑动变化,局部画面可以呈现某足球明星带球/射球的精彩时刻。但是目前在只有单一视角时无法在车机的屏幕上同时呈现多人团队竞技赛事中的全局画面和局部画面。
在另一种场景中,用户可以在车机上观看游戏赛事直播,全局画面可以呈现游戏竞技对战过程中的游戏画面,局部画面可以呈现游戏人员的微操和表情。但是目前在只有单一视角时无法在车机的屏幕上同时呈现游戏赛事直播中的全局画面和局部画面。
在再一种场景中,用户可以在车机上观看带货直播,全局画面呈现主播讲解商品的画面,局部画面可以呈现货品的宣传画面。但是目前在只有单一视角时无法在车机的屏幕上同时呈现带货直播中的全局画面和局部画面。
为了呈现全局画面和局部画面,目前常见的方案是将局部画面和全局画面串行切换。例如,先提供全局视角的全局画面,等出现精彩时刻之后,通过回放的方式将另一个视角的局部画面重复播放一遍。然而,该方式由存在如下缺点:
(1)某个时刻只能播放全局画面或者局部画面,另一种画面只能通过回放的方式观看,实时观看较差。
(2)在精彩时刻回放的过程中,会丢失当前赛场上的最新画面,因此并不适合向乒乓球、篮球、羽毛球等实时性强的赛事和直播节目,在媒体节目类型上存在一定的局限性。
在另一种方式,用户可以不采用投屏的方式观看媒体节目,而是通过车机自身的能力在车机的多个屏幕区域多视角并行显示全局画面和局部画面。然而,该方式由存在如下缺点:
(1)通用性差:以观看体育赛事直播为例,车机侧需要安装有可以观看体育赛事的APP,该APP需要适配车机系统,然而并不是每个APP在车机侧都有适配的版本。
(2)流量限制:在多个屏幕区域高清显示需要的数据流量大,一场体育赛事直播可能需要上GB的流量,而车机每月都有固定的流量,一旦车机侧的免费流量用完将无法观看媒体节目。
(3)账号管理麻烦以及双端付费问题:对于在手机和车机上都有观看需求的用户而言,大概率会出现需要同时管理同一个APP的手机版本的账号和车机版本的账号,甚至要付费两次才可以观看付费转播/直播,这种情况在全球直播/转播的赛事中尤为常见。此外,当媒体节目通过不同的APP转播商转播时,用户需要管理的APP的账号以及需要支付的观看费用会呈几何数量级快速膨胀。
有鉴于用户期望在车机上同时看到媒体节目中的全局画面和局部画面的需求,本申请实施例提供一种投屏显示方法,第一电子设备可以查询第二电子设备的多视角能力,即查询第二电子设备是否支持多路视频流的同时显示。在确定第二电子设备支持多路视频流的同时显示,且目标应用也支持多路视频流的同时显示的情况下,第一电子设备可以为第二电子设备提供目标应用中的媒体节目的Z路视频流,在第二电子设备中投屏显示Z路视频流,其中,Z路视频流对应媒体节目的Z个视角的画面,例如,Z=2,2个视角的画面包括全局视角的画面(即全局画面)和局部视角的画面(即局部画面),满足用户期望在车机上同时看到媒体节目中的全局画面和局部画面的需求。
为便于理解,下文中将以第一电子设备为手机,第二电子设备为车机为例进行描述。结合图2的描述,图3是本申请实施例提供的一种手机和车机交互的框架示意图。
手机包括体育类APP(也可以为直播类APP或游戏类APP等)、出行服务、显示服务、投屏服务(发送端)、互联传输服务、Wi-Fi驱动、蓝牙驱动、USB驱动、Wi-Fi芯片、蓝牙芯片、USB芯片、显示屏硬件。其中,显示服务可以包括主显示屏、第一虚拟显示屏以及第二虚拟显示屏,第一虚拟显示屏和第二虚拟显示屏分别用于承载全局画面和局部画面。投屏服务可以包括媒体视频编码服务,媒体视频编码服务可以看作是投屏服务的一个子服务,用于对需要投屏显示到车机侧的数据流进行编码。互联传输服务可以包括发现连接模块、用户数据报协议(user datagram protocol,UDP)、传输控制协议(transmission controlprotocol,TCP)以及互联网协议(internet protocol,IP),互联传输服务可以基于发现连接模块与车机建立连接,通过UDP、TCP或IP中的任一种实现数据传输。
车机包括显示服务、投屏服务(接收端)、互联传输服务、Wi-Fi驱动、Wi-Fi芯片、显示屏10以及显示屏20。可选地,车机还包括蓝牙驱动、USB驱动、蓝牙芯片、USB芯片。
为了便于描述,后续将手机的显示服务称为第一显示服务,手机的投屏服务称为第一投屏服务,手机的互联传输服务称为第一互联传输服务,手机的Wi-Fi驱动称为第一Wi-Fi驱动、手机的蓝牙驱动称为第一蓝牙驱动,手机的USB驱动称为第一USB驱动,手机的Wi-Fi芯片称为第一Wi-Fi芯片,手机的蓝牙芯片称为第一蓝牙芯片,手机的USB芯片称为第一USB芯片,手机的显示屏硬件称为第一显示屏。将车机的显示服务称为第二显示服务,车机的投屏服务称为第二投屏服务,车机的互联传输服务称为第二互联传输服务,车机的Wi-Fi驱动称为第二Wi-Fi驱动、车机的Wi-Fi芯片称为第二Wi-Fi芯片,车机的显示屏10称为第二显示屏,车机的显示屏20称为第三显示屏。
其中,手机和车机可以通过第一互联传输服务和第二互联传输服务建立连接,连接方式可以包括无线连接和有线连接,其中,无线连接包括基于蓝牙的连接方式、基于手机Wi-Fi热点的连接方式或者基于手机Wi-Fi直连(Wi-Fi peer-to-peer,Wi-Fi P2P)的连接方式,有线连接包括通过USB连接线与车机进行连接的方式。其中,基于手机Wi-Fi热点的连接方式或者基于手机Wi-Fi P2P的连接方式需要Wi-Fi驱动和Wi-Fi芯片的支持,有线连接需要USB驱动和USB芯片的支持。手机和车机建立连接之后,第一互联传输服务向出行服务发送连接通知,之后出行服务和第一投屏服务交互以检测车机侧的多视角能力,并初始化第一投屏服务的多视角能力。
在一个体育类的直播现场,工作人员可以通过多机位等手段获取直播现场的多个视角的画面并存储在云端。在用户启动体育类APP之后,体育类APP可以从云端获取直播现场的全局画面和局部画面。体育类APP和出行服务进行交互以请求启动多视角工作模式,将全局画面和局部画面通过已建立的传输通道传输至车机侧的第二显示屏和第三显示屏上。
基于以上对图3的描述,下面结合图4介绍本申请实施例的实现手机和车机端到端全链路的多视角并发显示能力的内部交互流程图。
应理解的是,本申请实施例所描述的多视角模式包括手机将APP的内容投屏显示在车机的多个显示区域上,每个显示区域显示不同视角的画面,例如,其中一个显示区域显示全局画面,另一个显示区域显示局部画面。其中,多个显示区域可以是逻辑意义上的多个显示区域,例如,车机的第二显示屏和第三显示屏实际上是对车机的同一个显示硬件的逻辑上的划分。多个显示区域也可以是物理意义上的多个显示区域,例如,车机的第二显示屏和第三显示屏是两个物理上不同的显示硬件。
图4是本申请实施例提供的一种投屏显示方法400的示意性流程图。其中,手机包括出行服务、第一互联传输服务、第一投屏服务、媒体视频编码服务、第一显示服务、体育类APP。车机包括第二互联传输服务、第二投屏服务、第二显示服务以及显示硬件。其中,车机的显示硬件可以包括第二显示屏和第三显示屏。
本申请实施例所提供的投屏显示方法400可以包括初始化阶段和业务流阶段。其中,初始化阶段的目的是为了获取多个逻辑上不同的虚拟显示屏(virtual display);业务流阶段的目的是通过初始化阶段获取的多个虚拟显示屏绘制多个不同视角的画面,并将这多个不同视角的画面传输给车机,在车机的显示硬件上显示多个同时显示来自同一个APP的多个不同视角的画面。下面结合S401至S446,具体介绍各阶段。
初始化阶段包括S401至S417,具体步骤如下:
S401,第一互联传输服务与第二互联传输服务建立连接。
可选地,手机和车机可以基于通信连接技术建立连接。通信连接技术可以包括Wi-Fi、蓝牙或USB。
在本步骤中,建立连接的过程可以包括设备发现和设备鉴权,连接方式可以包括无线连接方式和有线连接方式。基于Wi-Fi或蓝牙的连接方式为无线连接方式,基于USB的连接方式为有线连接方式。
无线Wi-Fi的无线连接方式又可以包括基于手机Wi-Fi热点的连接方式或者基于手机Wi-Fi P2P的连接方式。
以基于蓝牙的连接方式为例,当手机的出行服务监控到一些用户行为时,出行服务可以向蓝牙模块发送蓝牙搜索指令,以指示蓝牙模块发现附近的蓝牙设备,从附近可能的至少一个蓝牙设备中识别出用户期望连接的目标车载蓝牙,并根据提示确认连接目标车载蓝牙,完成蓝牙连接,建立第一互联传输服务与第二互联传输服务之间的一条底层的物理通讯信道。其中,用户行为可以包括用户在出行服务的界面内开启车机互联的操作,或者用户语音指示连接车机的操作。具体所监控的用户行为可以由出行服务进行自定义设置,本申请实施例对此不作限定。
以基于手机Wi-Fi P2P的连接方式为例,出行服务向第一互联传输服务发送启动Wi-Fi P2P连接模式的指令。第一互联传输服务通过蓝牙连接阶段已经建立的底层的物理通讯信道等待并接收第二互联传输服务议发送的Wi-Fi P2P连接信息。若第一互联传输服务接收到第二互联传输服务的Wi-Fi P2P连接信息,则第一互联传输服务与第二互联传输服务之间可以建立数据通道,该数据通道可用于后续传输投屏数据、音频数据等业务数据。
以基于手机Wi-Fi热点的连接方式为例,出行服务指示手机的Wi-Fi模块开启Wi-Fi热点,手机的Wi-Fi模块向出行服务返回开启Wi-Fi热点成功的消息,携带热点名称和密码。出行服务将热点名称和密码在用户界面展示给用户,并提示用户从车机的Wi-Fi模块连接该热点。基于手机的提示,用户可以通过车机的Wi-Fi模块连接手机的Wi-Fi热点。手机的Wi-Fi模块向第一互联传输服务返回Wi-Fi热点连接结果。在确定Wi-Fi热点连接成功的情况下,出行服务向第一互联传输服务发送启动业务层服务的指令,第一互联传输服务基于该指令启动业务层服务。手机的Wi-Fi模块在确认Wi-Fi热点连接成功之后,向第二互联传输服务发送Wi-Fi热点连接成功的消息。第二互联传输服务在接收到该Wi-Fi热点连接成功的消息之后也启动业务层服务。这样,用于第一互联传输服务和第二互联传输服务之间的数据通道建立成功,可用于后续传输投屏数据、音频数据等业务数据。
S402,第一互联传输服务向出行服务发送连接状态通知。相应地,出行服务接收该连接状态通知。
在第一互联传输服务和第二互联传输服务成功建立连接之后,第一互联传输服务可以向出行服务发送连接状态通知,以通知出行服务连接已建立。
S403,出行服务检测对端是否为车机。
出行服务检测已连接的设备是否为车机,在确定是车机的情况下,可选地,出行服务进一步检测当前是否为车机的投屏模式。若是,继续执行S404。若否,例如当前为车机的应用接续模式,则不适用本申请的投屏显示流程。
S404,出行服务向第一投屏服务发送多视角能力查询的请求(下文中也可以称为第一查询请求)。相应地,第一投屏服务接收该多视角能力查询的请求。
多视角能力查询用于请求查询车机侧是否支持多视角并发显示能力,多视角并发显示能力即表示在不同的显示区域同时显示多个不同视角的画面,例如全局画面和局部画面。当然,多个不同视角的画面也可以都是局部画面或都是全局画面,但是其捕捉的画面内容是不一样的。例如,第一视角的画面是足球场上的全局画面,第二视角的画面是观众席上的全局画面;又例如,第一视角的画面是足球场上的足球明星A的局部画面,第二视角的画面是足球场上的足球明星B的局部画面。
S405,第一投屏服务向第二投屏服务发送多视角能力查询的请求。相应地,第二投屏服务接收该多视角能力查询的请求。
第一投屏服务可以通过与车机侧协商的投屏协议传输多视角能力查询。
S406,第二投屏服务向第二显示服务发送多视角能力查询的请求。相应地,第二显示服务接收该多视角能力查询的请求。
S407,第二显示服务向显示硬件发送多视角能力查询的请求。相应地,显示硬件接收该多视角能力查询的请求。
S408,显示硬件向第二显示服务发送多视角能力反馈(下文中也可称为第一查询反馈)。相应地,第二显示服务接收该多视角能力反馈。
显示硬件根据自身硬件能力,向第二显示服务发送多视角能力反馈,该多视角能力反馈携带所能支持的多视角的数量N,N为大于或等于2的正整数。
S409,第二显示服务向第二投屏服务发送多视角能力反馈。相应地,第二投屏服务接收该多视角能力反馈。
S410,第二投屏服务向第一投屏服务发送多视角能力反馈。相应地,第一投屏服务接收该多视角能力反馈。
S411,第一投屏服务向出行服务发送多视角能力反馈。相应地,出行服务接收该多视角能力反馈。
S412,出行服务向第一投屏服务发送初始化多视角能力的请求。相应地,第一投屏服务接收该初始化多视角能力的请求。
出行服务在确定车机支持多视角能力的情况下,可以指示第一投屏服务初始化多视角能力,为N个视角的画面提供N个虚拟显示屏,N个虚拟显示屏可用于绘制N路视频流。
S413,第一投屏服务向媒体视频编码服务发送初始化N路视频编码的请求。相应地,媒体视频编码服务接收该初始化N路视频编码的请求。
S414,媒体视频编码服务向第一投屏服务发送N路句柄。相应地,第一投屏服务接收该N路句柄。
N路句柄用于获取N个虚拟显示屏。媒体视频编码服务为N个视角提供N路句柄,或者可以说为N个视角提供N个图像缓存器(buffer),N个视角和N路句柄一一对应。
S415,第一投屏服务基于N路句柄向第一显示服务请求虚拟显示服务。
第一投屏服务请求虚拟显示服务可以包括:第一投屏服务请求第一显示服务提供N个虚拟显示屏以承载N个视角的画面。
S416,第一显示服务向第一投屏服务发送N个虚拟显示屏的标识。相应地,第一投屏服务接收该N个虚拟显示屏的标识。
手机上可能不止一个虚拟显示屏(也可称为副屏显示器),每个虚拟显示屏都有其对应的唯一标识。虚拟显示屏用于在手机要显示多屏图像时,承载手机绘制的多屏图像。但是虚拟显示屏并非真实的硬件显示屏,例如液晶显示屏(liquid crystal display,LCD),因此手机需要将在虚拟显示屏上显示的图像数据传输至远端屏幕(例如车机的屏幕、电视的屏幕)上进行显示。
S417,第一投屏服务等待APP请求。
在第一投屏服务获取到N个虚拟显示屏的标识之后,多视角能力的初始化完成,开始等待用户选择体育类APP以启动多视角工作模式。
以上S401至S417介绍了初始化多视角能力的过程。下面结合S418至S446介绍处理业务阶段多视角能力的启动过程。
S418,响应于用户选择体育类APP的操作,体育类APP进行多视角能力自检。
其中,多视角能力自检包括体育类APP检测自身是否支持多视角能力,若支持,支持的多视角的数量是多少。本申请实施例以体育类APP支持的多视角的数量为M为例,M为大于或等于2的整数。
需要说明的是,在手机和车机连接之后,手机可以在车机上投屏显示手机的界面,这样,用户可以在车机上操作手机上的应用。例如,用户在车机上选择体育类APP,车机响应于用户选择体育类APP的操作,向手机发送第一指示信息,第一指示信息用于指示用户在车机上选择了体育类APP(可以理解为打开了体育类APP)。此外,用户也可以在手机上选择体育类APP,本申请实施例对此不作限定。
S419,体育类APP向出行服务发送多视角能力查询的请求。相应地,出行服务接收该多视角能力查询的请求。
本步骤的多视角能力查询的请求与S404中所描述的多视角能力查询的请求类似,用于查询车机侧是否支持多视角并发显示能力。
S420,出行服务向体育类APP发送多视角能力反馈。相应地,体育类APP接收该多视角能力反馈。
在初始化阶段,出行服务已经查询过车机的多视角能力,确定车机支持多视角能力且支持的多视角的数量为N。因此,出行服务可以向体育类APP发送多视角能力反馈,指示车机支持多视角能力且支持的多视角的数量为N。
S421,体育类APP进行多视角能力匹配。
结合S418中的描述,体育类APP支持的多视角的数量为M。结合S420中的描述,车机支持的多视角的数量为N。体育类APP可以基于M和N确定最终在车机上显示的视角数Z。可选地,Z小于或等于第一值,第一值为M和N中的最小值。
S422,体育类APP向出行服务请求启动多视角工作模式。
体育类APP可以在请求启动多视角工作模式时携带实际可为车机提供的多视角的数量Z。下面的步骤中以Z=2为例进行介绍。
S423,出行服务向体育类APP发送请求结果。相应地,体育类APP接收该请求结果。
其中,请求结果中包括句柄的编号与视角的对应关系。例如,句柄1对应全局视角,句柄2对应局部视角。
S424,体育类APP在第一虚拟显示屏上绘制第一画面。
由于句柄和虚拟显示屏之间存在对应关系,而句柄的编号与视角也具有对应关系。因此,在确定句柄的编号与视角的对应关系之后,体育类APP可以确定视角和虚拟显示屏之间的对应关系。例如,Z=2时,在第一虚拟显示屏上绘制第一画面,在第二虚拟显示屏上绘制第二画面。其中,第一画面可以是第一视角的画面,例如全局画面;第二画面可以是第二视角的画面,例如,局部画面。第一视角和第二视角不同。
S425,体育类APP向第一显示服务发送第一画面。相应地,第一显示服务接收第一画面。
S426,第一显示服务将第一画面渲染合成第一图像。
S427,第一显示服务向媒体视频编码服务发送第一图像。相应地,媒体视频编码服务接收该第一图像。
S428,媒体视频编码服务对第一图像进行编码,得到第一视频流。
通常,第一图像的数据量较大,在传输至车机上显示时需要对获取到的第一图像进行编码,以实现对第一图像的压缩,从而可以提高数据传输速率。
S429,媒体视频编码服务向第一投屏服务发送第一视频流。相应地,第一投屏服务接收该第一视频流。
S430,第一投屏服务向出行服务发送第一视频流。相应地,出行服务接收该第一视频流。
S431,出行服务对第一视频流进行协议处理,得到第二视频流。
手机和车机两端需要支持相同的车机互联协议,本步骤中出行服务将第一视频流进行协议处理,可以理解为将第一视频流进行格式转换,使转换后的第二视频流符合车机互联协议规定的数据传输格式,从而实现将第二视频流从第一互联传输服务传输至第二互联传输服务的目的。
S432,出行服务向第一互联传输服务发送第二视频流。相应地,第一互联传输服务接收该第二视频流。
S433,体育类APP在第二虚拟显示屏上绘制第二画面。
S434,体育类APP向第一显示服务发送第二画面。相应地,第一显示服务接收该第二画面。
S435,第一显示服务将第二画面渲染合成第二图像。
S436,第一显示服务向媒体视频编码服务发送第二图像。相应地,媒体视频编码服务接收该第二图像。
S437,媒体视频编码服务对第二图像进行编码,得到第三视频流。
S438,媒体视频编码服务向第一投屏服务发送第三视频流。相应地,第一投屏服务接收该第三视频流。
S439,第一投屏服务向出行服务发送第三视频流。相应地,出行服务接收该第三视频流。
S440,出行服务对第三视频流进行协议处理,得到第四视频流。
S441,出行服务向第一互联传输服务发送第四视频流。相应地,第一互联传输服务接收该第四视频流。
上述S433至S441与S424至S432的描述类似,此处不再赘述。
S442,第一互联传输服务向第二互联传输服务发送第二视频流和第四视频流。相应地,第二互联传输服务接收该第二视频流和第四视频流。
S443,第二互联传输服务向第二投屏服务发送第二视频流和第四视频流。相应地,第二投屏服务接收该第二视频流和第四视频流。
S444,第二投屏服务对第二视频流和第四视频流进行协议解析和解码。
经过协议解析和解码可以将第二视频流恢复为第一视频流,将第四视频流恢复为第三视频流。
S445,第二投屏服务向第二显示服务发送第一视频流和第三视频流。相应地,第二显示服务接收该第一视频流和第三视频流。
S446,第二显示服务向显示硬件发送第一画面和第二画面。
第一画面可以承载在车机的显示硬件的第二显示屏上显示,第二画面可以承载在车机的显示硬件的第三显示屏上显示。
本申请实施例所提供的投屏显示方法具有良好的通用性,不受车机侧是否安装有对应车机版本的APP的以及APP是否安装的影响,只要电子设备上安装有可支持多视角能力的APP即可。并且只需管理同一APP的手机版本的账号密码,无需管理车机版本的账号密码,APP管理更加简单。此外,还可以解决在手机和车机上针对同一个APP双端付费的问题,减少用户的使用成本。
在本申请实施例中,手机的系统服务(包括出行服务和第一投屏服务)向上可以为同一个APP提供多机位/多视角的虚拟显示屏,向下可以通过私有的投屏和传输协议以及通道管理协议将多个视角的画面显示在车机的多个显示区域。这样从上至下端到端全链路的大同多视角能力,将直播现场通过多机位等手段获取到的多个画面实时在车机的多个显示区域上并发显示,解决了用户无法通过车机的屏幕同时观看媒体节目的全局画面和局部画面的问题,为用户提供更加丰富、更加全面、更加还原真实场景的观看体验。
需要说明的是,上文中以手机投屏到车机的屏幕为例进行介绍,此外,本申请实施例所提供的投屏显示方法还可以适用于手机投屏到支持多个屏幕显示的大屏等场景,此处不作限定。
以用户通过手机上的体育类APP在车机上投屏观看足球比赛为例,基于本申请实施例的投屏显示方法,最终在车机上呈现给用户的画面如图5所示。
图5是本申请实施例提供的一种车机的界面示意图。如图5所示,车机的屏幕上有两个显示区域,分别显示足球赛场上的全局画面和局部画面,满足用户同时观看媒体节目的全局画面和局部画面的需求。其中,两个显示区域可以是物理上独立的两块显示硬件,或者两个显示区域是同一块硬件显示屏逻辑划分出的两个显示屏。
结合上文中的方法400,图6是本申请实施例提供的另一种投屏显示方法600的示意性流程图。方法600包括S601至S605,具体步骤如下:
S601,第一电子设备确定第二电子设备支持N路视频流的同时显示。
可选地,S601包括:第一电子设备向第二电子设备发送第一查询请求,第一查询请求用于请求查询第二电子设备是否支持多路视频流的同时显示;第一电子设备接收来自第二电子设备的第一查询反馈,第一查询反馈指示在第二电子设备支持N路视频流的同时显示;第一电子设备基于第一查询反馈,确定第二电子设备支持N路视频流的同时显示。具体第一电子设备内部确定第二电子设备支持N路视频流的同时显示的模块交互可参见方法400中针对的S404至S411的描述,此处不再赘述。
S602,第一电子设备获取N个虚拟显示屏。
可选地,第一电子设备基于第一查询反馈获取N个虚拟显示屏。由于第一查询反馈指示第二电子设备支持N路视频流的同时显示,因此,第一电子设备获取与第二电子设备支持的视频流的数量相等的N个虚拟显示屏,N个虚拟显示屏可用于绘制N路视频流。具体第一电子设备内部获取N个虚拟显示屏的模块交互可参见方法400中针对S412至S416的描述,此处不再赘述。
S603,第一电子设备确定目标应用支持M路视频流的同时显示,目标应用包括加载在第一电子设备中的应用。
可选地,S603包括:第一电子设备在接收到来自第二电子设备的第一指示信息的情况下,确定目标应用支持M路视频流的同时显示,第一指示信息用于指示用户在第二电子设备上选择目标应用。
基于方法400中针对S417和S418的描述,在用户在第二电子设备上打开目标应用(例如方法400中的体育类APP)之后,第二电子设备可以向第一电子设备发送第一指示信息,指示用户在车机上打开了目标应用,即表示用户当下有在目标应用上观看媒体节目的需求。因此,第一电子设备在接收到第一指示信息之后,可以查询目标APP是否支持多路视频流的同时显示。具体第一电子设备内部查询目标APP是否支持多路视频流的同时显示的模块交互可以参见方法400中针对S419至S420的描述,此处不再赘述。
S604,第一电子设备在N个虚拟显示屏中的Z个虚拟显示屏中分别绘制Z路视频流,Z小于或等于第一值,第一值为M和N中的最小值。
可选地,在S604之前,第一电子设备首先确定需要绘制的视频流的数量Z,进而从N个虚拟显示屏中选择Z个虚拟显示屏分别绘制Z路视频流。具体第一电子设备内部确定需要绘制的视频流的数量Z的过程可参见针对S421的描述,此处不再赘述。具体第一电子设备内部在N个虚拟显示屏中的Z个虚拟显示屏中分别绘制Z路视频流的模块交互可以参见方法400的针对S424至S431、S433至S440的描述,此处不再赘述。
S605,第一电子设备在第二电子设备中投屏显示Z路视频流。
可选地,S605包括:第一电子设备通过Wi-Fi连接或者USB连接向第二电子设备发送Z路视频流。具体第一电子设备向第二电子设备发送Z路视频流,第二电子设备在接收到Z路视频流之后,可以在第二电子设备的Z个不同的显示区域显示Z路视频流。
具体第一电子设备在第二电子设备中投屏显示Z路视频流的模块交互可以参见方法400中针对S442至S446的描述,此处不再赘述。
在本申请实施例中,第一电子设备在和第二电子设备连接之后,可以查询第二电子设备是否支持多路视频流的同时显示,在第二电子设备支持N路视频流的同时显示的情况下,为在第二电子设备上同时显示多路视频流配置好N个虚拟显示屏以承载N路视频流。
在用户在第二电子设备上打开目标应用(投屏显示在第二电子设备上的目标应用,实际目标应用是加载在第一电子设备中的,第二电子设备中可以不安装目标应用)之后,第一电子设备也可以确定目标APP是否支持多路视频流的同时显示。在第二电子设备支持N路视频流的同时显示,并且目标应用支持M路视频流的同时显示的情况下,第一电子设备和第二电子设备可以基于投屏协议实现在第二电子设备上同时显示Z路视频流的目的。其中,不同的视频流对应目标应用中的媒体节目的不同视角的画面。基于本申请的技术方案,可以满足用户在第二电子设备上同时观看同一个媒体节目的不同视角的画面的需求,提高用户的使用体验。
本申请实施例提供一种电子设备,该电子设备包括:处理器和存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,使得电子设备执行上述方法。
本申请实施例提供一种芯片。芯片包括处理器,处理器用于调用存储器中的计算机程序,以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似,此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。
一种可能的实现方式中,计算机可读介质可以包括随机存取存储器(randomaccess memory,RAM),只读存储器(read-only memory,ROM),只读光盘(compact discread-only memory,CD-ROM)或其它光盘存储器,磁盘存储器或其它磁存储设备,或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码,并且可由计算机访问。而且,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,数字用户线(digital subscriber line,DSL)或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘,激光盘,光盘,数字通用光盘(digital versatiledisc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
本申请实施例提供一种计算机程序产品,计算机程序产品包括计算机程序,当计算机程序被运行时,使得计算机执行上述方法。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请的保护范围之内。
Claims (9)
1.一种投屏显示方法,其特征在于,包括:
第一电子设备确定第二电子设备支持N路视频流的同时显示;
所述第一电子设备获取N个虚拟显示屏;
所述第一电子设备在接收到来自所述第二电子设备的第一指示信息的情况下,确定目标应用支持M路视频流的同时显示;所述第一指示信息用于指示用户在所述第二电子设备上选择所述目标应用,所述目标应用包括加载在所述第一电子设备中的应用;
所述第一电子设备在所述N个虚拟显示屏中的Z个虚拟显示屏中分别绘制Z路视频流,Z小于或等于第一值,所述第一值为M和N中的最小值;
所述第一电子设备在所述第二电子设备中投屏显示所述Z路视频流;
其中,所述第一电子设备为手机,所述第二电子设备为车机。
2.根据权利要求1所述的方法,其特征在于,所述第一电子设备确定第二电子设备支持N路视频流的同时显示,包括:
所述第一电子设备向所述第二电子设备发送第一查询请求,所述第一查询请求用于请求查询所述第二电子设备是否支持多路视频流的同时显示;
所述第一电子设备接收来自所述第二电子设备的第一查询反馈,所述第一查询反馈指示所述第二电子设备支持N路视频流的同时显示;
所述第一电子设备基于所述第一查询反馈,确定所述第二电子设备支持N路视频流的同时显示;
所述第一电子设备获取N个虚拟显示屏,包括:
所述第一电子设备基于所述第一查询反馈,获取所述N个虚拟显示屏。
3.根据权利要求1或2所述的方法,其特征在于,在所述第一电子设备确定第二电子设备支持N路视频流的同时显示之前,所述方法还包括:
所述第一电子设备基于通信连接技术与所述第二电子设备建立连接。
4.根据权利要求3所述的方法,其特征在于,所述通信连接技术包括无线保真Wi-Fi连接、蓝牙连接或通用串行总线USB连接。
5.根据权利要求4所述的方法,其特征在于,所述第一电子设备在所述第二电子设备中投屏显示所述Z路视频流,包括:
所述第一电子设备通过Wi-Fi连接或者USB连接向所述第二电子设备发送所述Z路视频流。
6.一种投屏显示方法,其特征在于,应用于包括第一电子设备和第二电子设备的投屏显示系统,所述方法包括:
所述第一电子设备向所述第二电子设备发送第一查询请求,所述第一查询请求用于请求查询所述第二电子设备是否支持多路视频流的同时显示;
所述第一电子设备接收来自所述第二电子设备的第一查询反馈,所述第一查询反馈用于指示所述第二电子设备支持N路视频流的同时显示;
所述第一电子设备基于所述第一查询反馈,确定所述第二电子设备支持N路视频流的同时显示;
所述第一电子设备基于所述第一查询反馈,获取N个虚拟显示屏;
所述第二电子设备向所述第一电子设备发送第一指示信息,所述第一指示信息用于指示用户在所述第二电子设备上选择目标应用,所述目标应用包括加载在所述第一电子设备中的应用;
所述第一电子设备基于所述第一指示信息,确定所述目标应用支持M路视频流的同时显示;
所述第一电子设备在所述N个虚拟显示屏中的Z个虚拟显示屏中分别绘制Z路视频流,Z小于或等于第一值,所述第一值为M和N中的最小值;
所述第一电子设备向所述第二电子设备发送所述Z路视频流;
所述第二电子设备显示所述Z路视频流;
其中,所述第一电子设备为手机,所述第二电子设备为车机。
7.一种电子设备,其特征在于,包括:处理器和存储器,其中,
所述存储器用于存储计算机程序;
所述处理器用于调用并执行所述计算机程序,以使所述电子设备执行如权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,用于存储计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至5中任一项所述的方法。
9.一种计算机程序产品,其特征在于,包括计算机程序,当所述计算机程序被运行时,使得计算机执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310212384.2A CN117156189B (zh) | 2023-02-27 | 2023-02-27 | 投屏显示方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310212384.2A CN117156189B (zh) | 2023-02-27 | 2023-02-27 | 投屏显示方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117156189A CN117156189A (zh) | 2023-12-01 |
CN117156189B true CN117156189B (zh) | 2024-08-13 |
Family
ID=88882985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310212384.2A Active CN117156189B (zh) | 2023-02-27 | 2023-02-27 | 投屏显示方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117156189B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105872610A (zh) * | 2015-12-10 | 2016-08-17 | 乐视体育文化产业发展(北京)有限公司 | 多路视频数据的播放方法、设备及系统 |
CN110139063A (zh) * | 2018-02-09 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种确定设备支持视频流路数的方法、装置及设备 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110896495A (zh) * | 2019-11-19 | 2020-03-20 | 北京字节跳动网络技术有限公司 | 用于目标设备的视图调整方法、装置、电子设备和介质 |
CN111324327B (zh) * | 2020-02-20 | 2022-03-25 | 华为技术有限公司 | 投屏方法及终端设备 |
CN111443884A (zh) * | 2020-04-23 | 2020-07-24 | 华为技术有限公司 | 投屏方法、装置和电子设备 |
WO2021212470A1 (zh) * | 2020-04-24 | 2021-10-28 | 青岛海信传媒网络技术有限公司 | 一种显示设备及投屏画面显示方法 |
CN113687803B (zh) * | 2020-05-19 | 2025-01-07 | 华为技术有限公司 | 投屏方法、投屏源端、投屏目的端、投屏系统及存储介质 |
CN111813362B (zh) * | 2020-07-15 | 2022-09-20 | 锐捷网络股份有限公司 | 一种显示控制方法、装置、介质和设备 |
CN113553014B (zh) * | 2020-09-10 | 2023-01-06 | 华为技术有限公司 | 多窗口投屏场景下的应用界面显示方法及电子设备 |
CN114356258A (zh) * | 2020-09-30 | 2022-04-15 | 华为技术有限公司 | 电子设备及其投屏方法和介质 |
WO2022226736A1 (zh) * | 2021-04-26 | 2022-11-03 | 华为技术有限公司 | 一种多屏交互的方法、装置、终端设备和车辆 |
CN113301388B (zh) * | 2021-05-20 | 2022-10-04 | 杭州海康威视数字技术股份有限公司 | 一种视频流处理系统、设备和方法 |
CN113542839B (zh) * | 2021-06-09 | 2022-10-18 | 荣耀终端有限公司 | 电子设备的投屏方法和电子设备 |
CN113573098B (zh) * | 2021-07-06 | 2022-11-01 | 杭州海康威视数字技术股份有限公司 | 一种图像传输方法、装置及电子设备 |
CN113965785A (zh) * | 2021-08-27 | 2022-01-21 | 海信视像科技股份有限公司 | 一种资源同步播放方法及显示设备 |
CN114401433A (zh) * | 2021-08-27 | 2022-04-26 | 海信视像科技股份有限公司 | 一种资源同步播放方法及显示设备 |
CN114040242B (zh) * | 2021-09-30 | 2023-07-07 | 荣耀终端有限公司 | 投屏方法、电子设备和存储介质 |
-
2023
- 2023-02-27 CN CN202310212384.2A patent/CN117156189B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105872610A (zh) * | 2015-12-10 | 2016-08-17 | 乐视体育文化产业发展(北京)有限公司 | 多路视频数据的播放方法、设备及系统 |
CN110139063A (zh) * | 2018-02-09 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种确定设备支持视频流路数的方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117156189A (zh) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12158737B2 (en) | Device control page display method, related apparatus, and system | |
JP7463647B2 (ja) | 通知処理システム、方法および電子デバイス | |
CN110109636B (zh) | 投屏方法、电子设备以及系统 | |
WO2021023220A1 (zh) | 一种内容接续方法、系统及电子设备 | |
US20240192912A1 (en) | Screen projection method for electronic device and electronic device | |
US12118263B2 (en) | Wireless projection method, mobile device, and computer-readable storage medium | |
CN114040242B (zh) | 投屏方法、电子设备和存储介质 | |
CN114741008B (zh) | 分布式跨设备协同方法、电子设备及通信系统 | |
EP4440121A2 (en) | Device capability scheduling method and electronic device | |
WO2023284650A1 (zh) | 通信方法及电子设备 | |
CN115048067A (zh) | 一种投屏显示方法及电子设备 | |
CN113918110A (zh) | 投屏交互方法、设备、系统、存储介质和产品 | |
WO2023005711A1 (zh) | 一种服务的推荐方法及电子设备 | |
WO2022206770A1 (zh) | 一种设备间应用协同工作的方法及设备 | |
WO2022143310A1 (zh) | 一种双路投屏的方法及电子设备 | |
CN117156189B (zh) | 投屏显示方法及电子设备 | |
CN113835802A (zh) | 设备交互方法、系统、设备及计算机可读存储介质 | |
WO2024244964A1 (zh) | 一种设备连接方法及相关设备 | |
CN116055613B (zh) | 一种投屏方法和设备 | |
WO2024159925A1 (zh) | 一种投屏方法、投屏系统和电子设备 | |
CN117156091B (zh) | 视频通话方法及电子设备 | |
CN116709557B (zh) | 业务处理方法、设备及存储介质 | |
CN116679895B (zh) | 一种协同业务的调度方法、电子设备及协同系统 | |
US20230385097A1 (en) | Distributed device capability virtualization method, medium, and electronic device | |
WO2024131878A1 (zh) | 一种投屏方法、电子设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee after: Honor Terminal Co.,Ltd. Country or region after: China Address before: 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong Patentee before: Honor Device Co.,Ltd. Country or region before: China |