[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN117831529A - 显示控制方法、装置、车辆、终端及存储介质 - Google Patents

显示控制方法、装置、车辆、终端及存储介质 Download PDF

Info

Publication number
CN117831529A
CN117831529A CN202311866882.5A CN202311866882A CN117831529A CN 117831529 A CN117831529 A CN 117831529A CN 202311866882 A CN202311866882 A CN 202311866882A CN 117831529 A CN117831529 A CN 117831529A
Authority
CN
China
Prior art keywords
vehicle
terminal
screen
interface
target application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311866882.5A
Other languages
English (en)
Inventor
刘强进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Xiaomi Technology Wuhan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd, Xiaomi Technology Wuhan Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202311866882.5A priority Critical patent/CN117831529A/zh
Publication of CN117831529A publication Critical patent/CN117831529A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种显示控制方法、装置、车辆、终端及存储介质。车辆响应于获取到语音输入消息,识别所述语音输入消息对应的控制指令;若所述控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序,向所述终端发送所述预设显示模式对应的显示参数,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;接收所述终端根据所述显示参数生成的界面渲染数据,并根据所述界面渲染数据在车机屏幕上以所述预设显示模式显示所述目标应用程序的界面。

Description

显示控制方法、装置、车辆、终端及存储介质
技术领域
本公开涉及车辆控制领域,尤其涉及一种显示控制方法、装置、车辆、终端及存储介质。
背景技术
用户在开车时,可能会有一些场景需要操作用户的智能设备(例如手机/ipad)。比如用户想要打开手机上的某个应用程序等。但是,开车过程中操作手机/ipad是一种危险驾驶行为。业界为了解决这个安全问题,通常的做法是把手机/ipad屏幕投射到汽车中控屏幕上,然后用户用眼去看汽车屏幕。
发明内容
为克服相关技术中存在的问题,本公开提供一种显示控制方法、装置、车辆、终端及存储介质。
根据本公开实施例的第一方面,提供一种显示控制方法,应用于车辆,包括:
响应于获取到语音输入消息,识别所述语音输入消息对应的控制指令;
若所述控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序,向所述终端发送所述预设显示模式对应的显示参数,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
接收所述终端根据所述显示参数生成的界面渲染数据,并根据所述界面渲染数据在车机屏幕以所述预设显示模式显示所述目标应用程序的界面。
可选地,所述预设显示模式包括在所述车机屏幕上全屏显示的第一模式,或者在所述车机屏幕的预设区域进行显示的第二模式,不同的预设显示模式对应不同的显示参数。
可选地,在所述预设显示模式包括所述第二模式的情况下,根据所述界面渲染数据在所述车机屏幕的所述预设区域显示所述目标应用程序的界面,并在所述车机屏幕的其它区域显示第一预设界面,所述第一预设界面包括黑屏或者所述车机的应用图标,所述其它区域为所述车机屏幕上除所述预设区域之外的区域。
可选地,所述方法还包括:
响应于接收到用户对所述车机屏幕上显示的所述目标应用程序的界面的触发操作,向所述终端发送所述触发操作对应的屏幕触发事件;
接收所述终端根据所述屏幕触发事件发送的界面响应数据;
根据所述界面响应数据在所述车机屏幕上对所述触发操作进行响应。
可选地,所述识别所述语音输入消息对应的控制指令包括:
将所述语音输入消息发送至服务器,以使所述服务器对所述语音输入消息进行语义识别后确定所述控制指令;
接收所述服务器发送的所述控制指令。
可选地,所述识别所述语音输入消息对应的控制指令包括:
通过预设指令对应关系确定所述语音输入消息对应的所述控制指令。
可选地,所述识别所述语音输入消息对应的控制指令包括:
将所述语音输入消息输入预先训练得到的指令识别大模型后,通过所述指令识别大模型输出所述控制指令。
可选地,所述控制指令包括指示所述终端打开所述目标应用程序的控制指令;所述方法还包括:
向所述终端发送所述控制指令,以使所述终端执行所述控制指令后,打开所述目标应用程序。
可选地,所述方法还包括:
在所述终端打开所述目标应用程序后,控制所述目标应用程序的界面在所述车机屏幕上以所述预设显示模式进行显示。
根据本公开实施例的第二方面,提供一种显示控制方法,应用于终端,包括:
接收车辆发送的预设显示模式对应的显示参数,所述显示参数为所述车辆在确定语音输入消息对应的控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序的情况下发送的,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
根据所述显示参数通过所述目标应用程序生成界面渲染数据;
向所述车辆发送所述界面渲染数据,以使所述车辆根据所述界面渲染数据在车机屏幕以所述预设显示模式显示所述目标应用程序的界面。
可选地,所述根据所述显示参数通过所述目标应用程序生成界面渲染数据包括:
根据所述显示参数通过所述目标应用程序在所述车机屏幕上进行用户界面UI设计后,生成所述界面渲染数据;其中,不同的预设显示模式对应不同的显示参数。
可选地,所述显示参数包括所述车机屏幕的分辨率和尺寸;所述界面渲染数据包括所述目标应用程序的界面中每个UI元素在所述车机屏幕上的位置和大小;
所述根据所述显示参数通过所述目标应用程序在所述车机屏幕上进行用户界面UI设计后,生成所述界面渲染数据包括:
根据所述分辨率和所述尺寸,确定所述目标应用程序的界面中的每个UI元素在所述车机屏幕上的位置和大小。
可选地,所述方法还包括:
接收所述车辆发送的屏幕触发事件,所述屏幕触发事件为所述车辆根据用户对所述车机屏幕上显示的所述目标应用程序的界面的触发操作,生成的屏幕触发事件;
根据所述屏幕触发事件在所述车机屏幕上重新进行UI设计后,生成界面响应数据;
将所述界面响应数据发送至所述车辆,以使所述车辆根据所述界面响应数据在所述车机屏幕上对所述触发操作进行响应。
可选地,所述方法还包括:
在所述终端当前显示的终端界面为所述目标应用程序的界面的情况下,控制所述终端的当前显示界面切换至第二预设界面;或者,
在所述终端当前显示的终端界面不是所述目标应用程序的界面的情况下,控制所述终端保持当前显示界面。
可选地,所述方法还包括:
将所述目标应用程序设置为所述终端的前台应用或锁定所述目标应用程序在后台。
可选地,所述方法还包括:
接收所述车辆发送的控制指令;
根据所述控制指令控制所述终端打开所述目标应用程序;
在所述终端打开所述目标应用程序后,控制所述目标应用程序的界面在所述车机屏幕上以所述预设显示模式进行显示。
根据本公开实施例的第三方面,提供一种显示控制装置,应用于车辆,包括:
消息识别模块,被配置为响应于获取到语音输入消息,识别所述语音输入消息对应的控制指令;
第一发送模块,被配置为若所述控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序,向所述终端发送所述预设显示模式对应的显示参数,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
显示模块,被配置为接收所述终端根据所述显示参数生成的界面渲染数据,并根据所述界面渲染数据在车机屏幕上以所述预设显示模式显示所述目标应用程序的界面。
根据本公开实施例的第四方面,提供一种显示控制装置,应用于终端,包括:
第一接收模块,被配置为接收车辆发送的预设显示模式对应的显示参数,所述显示参数为所述车辆在确定语音输入消息对应的控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序的情况下发送的,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
渲染数据生成模块,被配置为根据所述显示参数通过所述目标应用程序生成界面渲染数据;
第二发送模块,被配置为向所述车辆发送所述界面渲染数据,以使所述车辆根据所述界面渲染数据在车机屏幕以所述预设显示模式显示所述目标应用程序的界面。
根据本公开实施例的第五方面,提供一种车辆,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行本公开第一方面所述方法的步骤。
根据本公开实施例的第六方面,提供一种终端,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行本公开第二方面所述方法的步骤。
根据本公开实施例的第七方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面或者第二方面所提供的显示控制方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:车辆在接收到用户发出的该语音输入消息后,可以识别该语音输入消息对应的控制指令,并在确定控制指令指示终端向车辆的车机以预设显示模式显示目标应用程序的情况下,通过向终端发送预设显示模式对应的显示参数,接收终端根据显示参数生成的界面渲染数据,这样车辆可以根据界面渲染数据在车机屏幕以预设显示模式显示终端上的目标应用程序的界面,以预设显示模式(如全屏显示或者在车机屏幕的预设区域进行显示)显示的目标应用程序的界面与车机的屏幕适配,避免了仅能将终端上目标应用程序的界面镜像投屏至车机屏幕,提升用户体验。另外,用户通过语音输入消息即可实现将终端上目标应用程序的界面在车机屏幕上进行显示,避免了对终端屏幕的手动操作,提升了车辆驾驶的安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种显示控制方法的流程图。
图2是根据图1所示实施例示出的一种显示控制方法的流程图。
图3是根据图1所示实施例示出的一种显示控制方法的流程图。
图4是根据一示例性实施例示出的一种显示控制方法的流程图。
图5是根据图4所示实施例示出的一种显示控制方法的流程图。
图6是根据图4所示实施例示出的另一种显示控制方法的流程图。
图7是根据图4所示实施例示出的另一种显示控制方法的流程图。
图8是根据一示例性实施例示出的一种显示控制装置的框图。
图9是根据图8所示实施例示出的一种显示控制装置的框图。
图10是根据图8所示实施例示出的一种显示控制装置的框图。
图11是根据一示例性实施例示出的一种显示控制装置的框图。
图12是根据图11所示实施例示出的一种显示控制装置的框图。
图13是根据图11所示实施例示出的一种显示控制装置的框图。
图14是根据图11所示实施例示出的一种显示控制装置的框图。
图15是根据图11所示实施例示出的一种显示控制装置的框图。
图16是根据一示例性实施例示出的一种车辆的框图。
图17是根据一示例性实施例示出的一种终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
本公开主要应用于将终端屏幕投屏至车机屏幕的场景中。相关技术中,是通过镜像投屏将终端屏幕投屏至车机屏幕进行显示,通常情况下,车机屏幕尺寸及分辨率与终端屏幕会有很大不同,直接镜像投屏会使得用户观看车机屏幕的用户体验不佳。另外,相关技术中,在将终端屏幕投屏至车机屏幕之前,用户需要先手动打开终端上的某个应用程序。举例来说,用户想要打开手机上的导航类应用程序,并将该导航类应用程序的界面投屏至车机屏幕进行显示,在这之前,用户需要先手动在手机上打开该导航类应用程序,并在手机端触发相关的投屏控件后,才能实现将终端屏幕镜像投屏至车机屏幕,这显然还是需要用户的手动操作,因此,还是存在安全驾驶问题。此外,相关技术中,在将终端屏幕投屏至车机屏幕之后,车机屏幕无法对用户的触发操作进行响应,还是需要用户手动滑动或者点击终端屏幕,这也会影响车辆的安全驾驶。
为解决上述存在的问题,本公开提供一种显示控制方法、装置、车辆、终端及存储介质。下面结合附图对本公开的具体实施方式进行详细说明。
图1是根据一示例性实施例示出的一种显示控制方法的流程图。该方法可以应用于车辆,如图1所示,该方法包括以下步骤:
在步骤S101中,响应于获取到语音输入消息,识别所述语音输入消息对应的控制指令。
其中,该语音输入消息是指用户(一般指车内用户,如驾驶员)发出的语音交互请求消息,车辆可以通过麦克风采集该语音交互请求消息。该语音输入消息可以包括对终端进行控制的语音请求消息(例如,该语音输入消息可以为“请打开手机上的导航应用”或者“全屏显示手机上的导航应用”),该终端(如手机或者ipad)是指与车辆已经建立网络连接的终端,例如终端与车辆处于同一局域网(如WIFI、星闪等)。
车辆上的智能语音助手功能开启后,可以接收用户的该语音输入消息,并对该语音输入消息进行音频响应,以便实现与用户的语音交互。另外,终端与车辆建立网络连接,该语音输入消息也可以通过终端进行采集,终端可以将采集的该语音输入消息发送至服务器,以便服务器对其进行指令识别后确定该控制指令。
另外,实际的应用场景中,该语音输入消息也有可能是用户对车辆进行控制的语音请求消息(例如,该语音输入消息可能是“请打开空调”或者“请将座舱温度调至20度”),此种情况下,无需控制终端屏幕在车机屏幕上进行投屏显示。因此,在本公开中,可以识别该语音输入消息对应的控制指令,在确定该控制指令为指示终端向车辆的车机以预设显示模式显示目标应用程序的控制指令的情况下,可以向终端发送预设显示模式对应的显示参数,以便控制终端上目标应用程序的界面在车机屏幕上按照预设显示模式进行显示。在确定该控制指令为对车辆本身的控制指令的情况下,无需向终端发送该显示参数。
在本步骤的一种实现方式中,车辆可以将所述语音输入消息发送至服务器,以使服务器对语音输入消息进行语义识别后确定控制指令;车辆接收服务器发送的控制指令。
服务器可以对该语音输入消息进行语音识别(如ASR(Automatic SpeechRecognition,自动语音识别)),将该语音输入消息从音频转换为文本数据,然后将该文本数据输入自然语言处理模型后,可以解析得到该语音输入消息对应的语义信息,这样,服务器可以根据该语义信息识别该语音输入消息对应的控制指令,以及该控制指令的类型。其中,该控制指令的类型可以包括用于控制终端的第一指令和用于控制车辆的第二指令。
在本步骤的另一种实现方式中,车辆可以通过预设指令对应关系确定该语音输入消息对应的控制指令。其中,该预设指令对应关系可以包括预先设置的多种控制指令,以及每种控制指令分别对应的一种或者多种语音信息。
在本步骤又一种实现方式中,车辆还可以将该语音输入消息输入预先训练得到的指令识别大模型后,通过该指令识别大模型输出控制指令。其中,该指令识别大模型可以为预先根据预设语料库训练得到的深度学习大模型,本公开对该大模型的模型结构、模型参数及其训练过程不作具体限定。
在步骤S102中,若所述控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序,向所述终端发送所述预设显示模式对应的显示参数,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序。
其中,该目标应用程序是指用户想要开启或者在车机屏幕上进行投屏显示的终端应用程序(如导航应用、音乐类应用等)。另外,在本公开中,在车机侧可以没有安装该目标应用程序,并且该目标应用程序通常是指终端上支持副屏投屏功能的应用程序。
这里的该显示参数可以包括车机屏幕(如车辆的中控屏)的分辨率和尺寸等参数。不同的预设显示模式对应不同的显示参数。该预设显示模式可以包括在车机屏幕上全屏显示的第一模式,或者在车机屏幕的预设区域进行显示的第二模式。用户可以根据自己的需求从该多个预设显示模式中预先设置自己需要的目标显示模式,之后终端上目标应用程序的界面可以按照该目标显示模式在车机屏幕上进行显示。在本公开中,该车机屏幕可以视为终端的副屏。
若该预设显示模式为该第一模式,车辆可以向终端发送整个车机屏幕的尺寸和分辨率,以便终端根据整个车机屏幕的尺寸和分辨率进行UI(User Interface,用户界面)设计后,可以在该车机屏幕上对目标应用程序的界面进行全屏显示。
若该预设显示模式为该第二模式,车辆可以向终端发送该车机屏幕上预设区域对应的尺寸和分辨率,以便终端根据车机屏幕上预设区域的尺寸和分辨率进行UI设计后,可以在该车机屏幕的预设区域对目标应用程序的界面进行显示。
需要说明的是,本公开中,在所述预设显示模式包括所述第二模式的情况下,可以根据所述界面渲染数据在所述车机屏幕的所述预设区域显示所述目标应用程序的界面,并在所述车机屏幕的其它区域显示第一预设界面,所述第一预设界面包括黑屏或者所述车机的应用图标,所述其它区域为所述车机屏幕上除所述预设区域之外的区域。例如,该其它区域可以为车机屏幕上的预设边缘区域,该预设边缘区域可以为环绕屏幕一周的边缘区域,也可以为位于屏幕一侧的边缘区域,该预设边缘区域的宽度可以为预设宽度,该预设宽度可以对应预设区域的边界到车机屏幕的边界之间的距离。
也就是说,本公开除了支持将目标应用程序的界面在车机屏幕上进行全屏显示以外,还可以支持将目标应用程序的界面在车机屏幕上的预设区域进行投屏显示,该预设区域可以包括该车机屏幕的部分区域。另外,车机还可以在该预设边缘区域显示第一预设界面,该第一预设界面可以是黑屏或者是在车机上安装的应用的应用图标,以便用户在车机屏幕上观看终端投屏界面的同时,还可以通过该应用图标对车辆进行相应地操作。
还需说明的是,在用户想要打开或者全屏显示终端上的目标应用程序时,该语音输入消息中通常会包括该目标应用程序的名称,因此,车辆还可以基于该语音输入消息获取到目标应用程序的标识信息,这样,车辆在向终端发送该显示参数的同时,还可以向终端发送该目标应用程序的标识信息,以便终端可以基于该标识信息确定需要在车机屏幕进行投屏显示的目标应用程序。之后终端可以使用该目标应用程序利用终端系统提供的副屏投屏功能,将车辆的车机屏幕作为终端的副屏,根据车辆发送的车机屏幕的显示参数,在车辆车机屏幕上进行UI设计后,生成界面渲染数据,并向车辆发送该界面渲染数据。
另外,从该语音输入消息确定目标应用程序的标识信息的过程中,需要对该语音输入消息进行语音识别以及自然语言处理,此过程涉及较复杂的模型计算,而车机本身的算力有限,因此,在一种实施方式中,可以将该语音输入消息发送至服务器,由服务器获取该目标应用程序的标识信息后向车辆发送。
在步骤S103中,接收所述终端根据所述显示参数生成的界面渲染数据,并根据所述界面渲染数据在车机屏幕上以所述预设显示模式显示所述目标应用程序的界面。
在本步骤中,车辆可以基于该界面渲染数据对车机屏幕进行渲染后,实现在车机屏幕上以预设显示模式显示目标应用程序的界面,不同的目标应用程序通常具有不同的界面。
采用上述方法,车辆在接收到用户发出的该语音输入消息后,可以识别该语音输入消息对应的控制指令,并在确定控制指令指示终端向车辆的车机以预设显示模式显示目标应用程序的情况下,通过向终端发送预设显示模式对应的显示参数,接收终端根据显示参数生成的界面渲染数据,这样车辆可以根据界面渲染数据在车机屏幕以预设显示模式显示终端上的目标应用程序的界面,以预设显示模式(如全屏显示或者在车机屏幕的预设区域进行显示)显示的目标应用程序的界面与车机的屏幕适配,避免了仅能将终端上目标应用程序的界面镜像投屏至车机屏幕,提升用户体验。另外,用户通过语音输入消息即可实现将终端上目标应用程序的界面在车机屏幕上进行显示,避免了对终端屏幕的手动操作,提升了车辆驾驶的安全性。
图2是根据图1所示实施例示出的另一种显示控制方法的流程图,如图2所示,该方法还包括以下步骤:
在步骤S104中,响应于接收到用户对车机屏幕上显示的目标应用程序的界面的触发操作,向所述终端发送所述触发操作对应的屏幕触发事件。
在本公开中,在将目标应用程序的界面投屏显示在车机屏幕后,用户还可以对该车机屏幕上显示的目标应用程序的界面进行滑动、点击等触发操作,避免了传统的仅能在终端侧,对终端屏幕显示的目标应用程序进行触发操作的问题。
车机在获取到该触发操作后,可以生成该触发操作对应的屏幕触发事件,该屏幕触发事件可以包括用户点击或者滑动的屏幕位置信息。之后可以向终端发送屏幕触发事件,以使终端对屏幕触发事件进行响应后,生成界面响应数据。
终端在获取到该屏幕触发事件后,可以基于屏幕触发事件中携带的用户点击或者滑动的屏幕位置信息,以及该屏幕位置信息对应的屏幕控件等信息,基于终端系统提供的副屏投屏功能,在该车机屏幕上重新进行UI设计后,生成该界面响应数据。
在步骤S105中,接收终端根据所述屏幕触发事件发送的界面响应数据。
在步骤S106中,根据界面响应数据在车机屏幕上对触发操作进行响应。
车辆可以基于接收到的界面响应数据对车机屏幕重新进行界面渲染后,实现在车机屏幕上对用户的触发操作进行响应,避免了用户在终端侧进行触发操作而影响车辆驾驶安全的行为。
图3是根据图1所示实施例示出的一种显示控制方法的流程图,如图3所示,该方法还包括以下步骤:
在步骤S107中,向所述终端发送所述控制指令,以使所述终端执行所述控制指令后,打开所述目标应用程序。
在本公开另一种实施例中,该控制指令还可以包括指示所述终端打开所述目标应用程序的控制指令,例如,该语音输入消息为“打开手机上的导航应用”,对该语音输入消息进行指令识别后,可以确定该控制指令为控制终端打开导航应用(一种目标应用程序的示例)的控制指令。此时,车辆可以向终端发送该控制指令,以使所述终端执行所述控制指令后,打开所述目标应用程序。
这样,用户在驾车过程中,可以通过语音控制实现对终端上目标应用程序的开启,无需用户手动操作终端,也可以提升行车安全。
如图3所示,该方法还包括以下步骤:
在步骤S108中,在所述终端打开所述目标应用程序后,控制所述目标应用程序的界面在所述车机屏幕上以所述预设显示模式进行显示。
在本公开另一种可能的实施例中,车辆在确定终端打开该目标应用程序后,可以控制该目标应用程序的UI界面在该车机屏幕上按照该预设显示模式进行显示,以便用户可以在车机屏幕上查看该目标应用程序的UI界面。其中,控制该目标应用程序的UI界面在该车机屏幕上按照该预设显示模式进行投屏显示可以参考上文描述,在此不再赘述。
还需要说明的是,车辆还可以采集用户输入的关闭投屏的请求消息(如用户说“关闭投屏”或者“全屏投屏返回镜像投屏”),此时,车辆可以控制车机屏幕停止对终端界面的投屏显示,或者控制车机屏幕从全屏投屏返回至镜像投屏。另外,车辆还可以基于该关闭投屏的请求消息生成相应的投屏退出指令,并向终端发送该投屏退出指令,以便终端可以停止在该车辆车机屏幕上进行UI设计。
图4是根据一示例性实施例示出的一种显示控制方法的流程图,应用于终端,该终端是指与车辆建立了网络连接的终端,例如该终端可以为与车辆连接相同WIFI网络的终端。如图4所示,该方法包括以下步骤:
在步骤S401中,接收车辆发送的预设显示模式对应的显示参数,所述显示参数为所述车辆在确定语音输入消息对应的控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序的情况下发送的,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序。
其中,该语音输入消息是指用户(一般指车内用户,如驾驶员)发出的语音交互请求消息,车辆可以通过麦克风采集该语音交互请求消息。该语音输入消息可以包括对终端进行控制的语音请求消息,例如,该语音输入消息可以为“请打开手机上的导航应用”或者“全屏显示手机上的导航应用”。该语音输入消息也可以为“全屏显示”。该终端(如手机或者ipad)是指与车辆已经建立网络连接的终端,例如终端与车辆处于同一局域网(如WIFI、星闪等)。
另外,终端与车辆建立网络连接,该语音输入消息也可以通过终端进行采集,终端可以将采集的该语音输入消息发送至服务器,以便服务器对其进行指令识别,确定该控制指令。
该目标应用程序是指用户想要开启或者在车机屏幕上进行投屏显示的终端应用程序(如导航应用、音乐类应用等)。另外,在本公开中,在车机侧可以没有安装该目标应用程序,并且该目标应用程序通常是指终端上支持副屏投屏功能的应用程序。
这里的该显示参数可以包括车机屏幕(如车辆的中控屏)的分辨率和尺寸等参数。不同的预设显示模式对应不同的显示参数。该预设显示模式可以包括在车机屏幕上全屏显示的第一模式,或者在车机屏幕的预设区域进行显示的第二模式。用户可以根据自己的需求从该多个预设显示模式中预先设置自己需要的目标显示模式,之后终端上目标应用程序的界面可以按照该目标显示模式在车机屏幕上进行显示。在本公开中,该车机屏幕可以视为终端的副屏。
若该预设显示模式为该第一模式,车辆可以向终端发送整个车机屏幕的尺寸和分辨率,以便终端根据整个车机屏幕的尺寸和分辨率进行UI(User Interface,用户界面)设计后,可以在该车机屏幕上对目标应用程序的界面进行全屏显示。
若该预设显示模式为该第二模式,车辆可以向终端发送该车机屏幕上预设区域对应的尺寸和分辨率,以便终端根据车机屏幕上预设区域的尺寸和分辨率进行UI设计后,可以在该车机屏幕的预设区域对目标应用程序的界面进行显示。
在步骤S402中,根据所述显示参数通过所述目标应用程序生成界面渲染数据。
其中,该界面渲染数据可以包括目标应用程序的界面中每个UI元素在所述车机屏幕上的位置和大小。
在该语音输入消息是对终端进行控制的语音请求消息的情况下,该语音输入消息中可以包括待控制的终端的目标应用程序的标识信息(如语音输入消息可以为“请打开手机上的导航应用”或者“全屏显示手机上的导航应用”),也可以不包括目标应用程序的标识信息(如语音输入消息为“全屏显示”)。
当语音输入消息中包括目标应用程序的标识信息的情况下,车辆可以向终端发送该目标应用程序的标识信息,这样,终端可以基于该标识信息确定需要在车机屏幕进行投屏显示的目标应用程序。之后终端可以通过该目标应用程序利用终端系统提供的副屏投屏功能,将车辆的车机屏幕作为终端的副屏,根据车辆发送的车机屏幕的显示参数,在车辆车机屏幕上进行UI设计后,生成界面渲染数据,并向车辆发送该界面渲染数据。
另外,当语音输入消息中不包括目标应用程序的标识信息的情况下,车辆不向终端发送该目标应用程序的标识信息,此种情况下,终端可以将终端当前界面显示的应用作为所述目标应用程序。其中,终端当前界面显示的应用通常为终端的前台应用。
在本步骤中,目标应用程序可以根据显示参数在车机屏幕上进行用户界面UI设计后,生成所述界面渲染数据;其中,不同的预设显示模式对应不同的显示参数。
一种实施例中,目标应用程序可以基于终端系统(如安卓系统)提供的副屏投屏功能根据所述分辨率和所述尺寸,确定所述目标应用程序的界面中的每个UI元素在所述车机屏幕上的位置和大小。
在步骤S403中,向所述车辆发送所述界面渲染数据,以使所述车辆根据所述界面渲染数据在车机屏幕以所述预设显示模式显示所述目标应用程序的界面。
采用上述方法,车辆在接收到用户发出的该语音输入消息后,可以识别该语音输入消息对应的控制指令,并在确定控制指令指示终端向车辆的车机以预设显示模式显示目标应用程序的情况下,通过向终端发送预设显示模式对应的显示参数,接收终端根据显示参数生成的界面渲染数据,这样车辆可以根据界面渲染数据在车机屏幕以预设显示模式显示终端上的目标应用程序的界面,以预设显示模式(如全屏显示或者在车机屏幕的预设区域进行显示)显示的目标应用程序的界面与车机的屏幕适配,避免了仅能将终端上目标应用程序的界面镜像投屏至车机屏幕,提升用户体验。另外,用户通过语音输入消息即可实现将终端上目标应用程序的界面在车机屏幕上进行显示,避免了对终端屏幕的手动操作,提升了车辆驾驶的安全性。
图5是根据图4所示实施例示出的一种显示控制方法的流程图,如图5所示,该方法还包括以下步骤:
在步骤S404中,接收车辆发送的屏幕触发事件,所述屏幕触发事件为车辆根据用户对车机屏幕上显示的目标应用程序的界面的触发操作,生成的屏幕触发事件。
在本公开中,在将终端上目标应用程序的用户界面投屏显示在车辆的车机屏幕后,用户还可以对该车机屏幕上显示的目标应用程序的界面进行滑动、点击等触发操作,避免了传统的仅能在终端侧,对终端屏幕显示的目标应用程序进行触发操作的问题。
车机在获取到该触发操作后,可以生成该触发操作对应的屏幕触发事件,并向终端发送该屏幕触发事件。该屏幕触发事件可以包括用户点击或者滑动的屏幕位置信息。
在步骤S405中,根据屏幕触发事件在车机屏幕上重新进行UI设计后,生成界面响应数据。
终端在获取到该屏幕触发事件后,可以基于屏幕触发事件中携带的用户点击或者滑动的屏幕位置信息,以及该屏幕位置信息对应的屏幕控件等信息,基于终端系统提供的副屏投屏功能,在该车机屏幕上重新进行UI设计后,生成该界面响应数据。
在步骤S406中,将界面响应数据发送至车辆,以使车辆根据界面响应数据在车机屏幕上对触发操作进行响应。
车辆可以基于接收到的界面响应数据对车机屏幕重新进行界面渲染后,实现在车机屏幕上对用户的触发操作进行响应,避免了用户在终端侧进行触发操作而影响车辆驾驶安全的行为。
图6是根据图4所示实施例示出的另一种显示控制方法的流程图,如图6所示,该方法还包括以下步骤:
在步骤S407中,在终端当前显示的终端界面为目标应用程序的界面的情况下,控制终端的当前显示界面切换至第二预设界面;或者,在终端当前显示的终端界面不是目标应用程序的界面的情况下,控制终端保持当前显示界面。
在控制目标应用程序的界面在车辆车机屏幕上按照预设显示模式(如全屏显示)的情况下,考虑到目标应用程序在终端屏幕和车机屏幕上的UI设计不同(原因在于终端平面的显示参数与车机屏幕的显示参数不同),因此,通常情况下,目标应用程序的UI界面不能在终端屏幕和车机屏幕上同时进行显示,因此,在本步骤中,在确定终端当前显示的终端界面为目标应用程序的界面的情况下,可以控制终端的当前显示界面切换至第二预设界面(如桌面)。在确定终端当前显示的终端界面不是目标应用程序的界面的情况下,可以控制终端保持当前显示界面不变,从而可以提升用户的终端使用体验。
图7是根据图4所示实施例示出的另一种显示控制方法的流程图,如图7所示,该方法还包括以下步骤:
在步骤S408中,将目标应用程序设置为终端的前台应用或锁定所述目标应用程序在后台。
在将目标应用程序的UI界面投屏至车辆的车机屏幕后,若该目标应用程序是终端的前台应用,可以控制终端的显示界面从该目标应用程序的UI界面切换至预设界面(如返回桌面)。但是,在将终端的显示界面从该目标应用程序的UI界面返回桌面后,终端系统会将该目标应用程序设置为后台应用程序。另外,对于另一种应用场景,即使终端当前的前台应用不是该目标应用程序,终端在接收到将该目标应用程序的界面在车机屏幕上按照预设显示模式进行显示的控制指令后,也可以通过该目标应用程序生成对应的界面渲染数据后发送至车辆,以便将目标应用程序的界面投屏显示在车机屏幕。对于以上两种场景,在终端侧,该目标应用程序均属于后台应用,但考虑到即使目标应用程序处于副屏投屏状态,终端系统也会由于该目标应用程序为后台应用,而减少或者停止为该目标应用程序分配系统资源,这会影响或者无法实现继续在车机屏幕的投屏显示该目标应用程序的UI界面,因此,在本公开一种可能的实现方式中,在将该目标应用程序的UI界面在车辆的车机屏幕按照预设显示模式进行显示后,终端可以将该目标应用程序设置为终端的前台应用,或者在后台锁定该目标应用程序而不被自动关闭,从而避免终端将该目标应用程序视为后台应用而减少或者停止为该目标应用程序分配系统资源,保证后续的副屏投屏状态的正常。
还需要说明的是,在本公开中,车机屏幕可以视为是终端的副屏,因此,终端锁屏后仍不影响车机屏幕上目标应用程序的显示,以及用户在车机屏幕上对该目标应用程序的触发操作。
如上文所述,车辆还可以采集用户输入的关闭投屏的请求消息(如用户说“关闭投屏”或者“全屏投屏返回镜像投屏”),此时,车辆可以控制车机屏幕停止对终端界面的投屏显示。另外,车辆还可以基于该关闭投屏的请求消息生成相应的投屏退出指令,并向终端发送该投屏退出指令,终端在接收到该投屏退出指令后,可以控制终端停止在车机屏幕上进行UI设计。并且,终端可以控制之前在车机屏幕上进行全屏显示的目标应用程序的UI界面重新在终端屏幕进行显示,或者,控制该目标应用程序的UI界面在车机屏幕上进行镜像显示。
在本公开的又一种实施例中,终端还可以接收车辆发送的控制指令;然后根据所述控制指令控制所述终端打开所述目标应用程序;在终端打开所述目标应用程序后,可以控制所述目标应用程序的界面在所述车机屏幕上以所述预设显示模式进行显示。
也就是说,该控制指令还可以包括指示终端打开所述目标应用程序的控制指令,例如,该语音输入消息为“打开手机上的导航应用”,对该语音输入消息进行指令识别后,可以确定该控制指令为控制终端打开导航应用(一种目标应用程序的示例)的控制指令。此时,车辆可以向终端发送该控制指令,以使所述终端执行所述控制指令后,打开所述目标应用程序。这样,用户在驾车过程中,可以通过语音控制实现对终端上目标应用程序的开启,无需用户手动操作终端,也可以提升行车安全。
终端打开该目标应用程序后,可以控制该目标应用程序的UI界面在该车机屏幕上按照该预设显示模式进行显示,以便用户可以在车机屏幕上查看该目标应用程序的UI界面。其中,控制该目标应用程序的UI界面在该车机屏幕上按照该预设显示模式进行投屏显示可以参考上文描述,在此不再赘述。
图8是根据一示例性实施例示出的一种显示控制装置的框图,该装置可以应用于车辆,如图8所示,该装置包括:
消息识别模块801,被配置为响应于获取到语音输入消息,识别所述语音输入消息对应的控制指令;
第一发送模块802,被配置为若所述控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序,向所述终端发送所述预设显示模式对应的显示参数,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
显示模块803,被配置为接收所述终端根据所述显示参数生成的界面渲染数据,并根据所述界面渲染数据在车机屏幕上以所述预设显示模式显示所述目标应用程序的界面。
可选地,所述预设显示模式包括在所述车机屏幕上全屏显示的第一模式,或者在所述车机屏幕的预设区域进行显示的第二模式,不同的预设显示模式对应不同的显示参数。
可选地,在所述预设显示模式包括所述第二模式的情况下,根据所述界面渲染数据在所述车机屏幕的所述预设区域显示所述目标应用程序的界面,并在所述车机屏幕的其它区域显示第一预设界面,所述第一预设界面包括黑屏或者所述车机的应用图标,所述其它区域为所述车机屏幕上除所述预设区域之外的区域。
可选地,图9是根据图8所示实施例示出的一种显示控制装置的框图,如图9所示,该装置还包括:
触发操作响应模块804,被配置为响应于接收到用户对所述车机屏幕上显示的所述目标应用程序的界面的触发操作,向所述终端发送所述触发操作对应的屏幕触发事件;接收所述终端根据所述屏幕触发事件发送的界面响应数据;根据所述界面响应数据在所述车机屏幕上对所述触发操作进行响应。
可选地,所述消息识别模块801,被配置为将所述语音输入消息发送至服务器,以使所述服务器对所述语音输入消息进行语义识别后确定所述控制指令;接收所述服务器发送的所述控制指令。
可选地,所述消息识别模块801,被配置为通过预设指令对应关系确定所述语音输入消息对应的所述控制指令。
可选地,所述消息识别模块801,被配置为将所述语音输入消息输入预先训练得到的指令识别大模型后,通过所述指令识别大模型输出所述控制指令。
可选地,所述控制指令包括指示所述终端打开所述目标应用程序的控制指令;图10是根据图8所示实施例示出的一种显示控制装置的框图,如图10所示,该装置还包括:
指令发送模块805,被配置为向所述终端发送所述控制指令,以使所述终端执行所述控制指令后,打开所述目标应用程序。
可选地,所述显示模块803,被配置为在所述终端打开所述目标应用程序后,控制所述目标应用程序的界面在所述车机屏幕上以所述预设显示模式进行显示。
图11是根据一示例性实施例示出的一种显示控制装置的框图,该装置可以应用于终端,如图11所示,该装置包括:
第一接收模块1101,被配置为接收车辆发送的预设显示模式对应的显示参数,所述显示参数为所述车辆在确定语音输入消息对应的控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序的情况下发送的,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
渲染数据生成模块1102,被配置为根据所述显示参数通过所述目标应用程序生成界面渲染数据;
第二发送模块1103,被配置为向所述车辆发送所述界面渲染数据,以使所述车辆根据所述界面渲染数据在车机屏幕以所述预设显示模式显示所述目标应用程序的界面。
可选地,所述渲染数据生成模块1102,被配置为根据所述显示参数通过所述目标应用程序在所述车机屏幕上进行用户界面UI设计后,生成所述界面渲染数据;其中,不同的预设显示模式对应不同的显示参数。
可选地,所述显示参数包括所述车机屏幕的分辨率和尺寸;所述界面渲染数据包括所述目标应用程序的界面中每个UI元素在所述车机屏幕上的位置和大小;所述渲染数据生成模块1102,被配置为根据所述分辨率和所述尺寸,确定所述目标应用程序的界面中的每个UI元素在所述车机屏幕上的位置和大小。
可选地,图12是根据图11所示实施例示出的一种显示控制装置的框图,如图12所示,该装置还包括:
响应数据生成模块1104,被配置为接收所述车辆发送的屏幕触发事件,所述屏幕触发事件为所述车辆根据用户对所述车机屏幕上显示的所述目标应用程序的界面的触发操作,生成的屏幕触发事件;根据所述屏幕触发事件在所述车机屏幕上重新进行UI设计后,生成界面响应数据;将所述界面响应数据发送至所述车辆,以使所述车辆根据所述界面响应数据在所述车机屏幕上对所述触发操作进行响应。
可选地,图13是根据图11所示实施例示出的一种显示控制装置的框图,如图13所示,该装置还包括:
显示界面控制模块1105,被配置为在所述终端当前显示的终端界面为所述目标应用程序的界面的情况下,控制所述终端的当前显示界面切换至第二预设界面;或者,在所述终端当前显示的终端界面不是所述目标应用程序的界面的情况下,控制所述终端保持当前显示界面。
可选地,图14是根据图11所示实施例示出的一种显示控制装置的框图,如图14所示,该装置还包括:
应用设置模块1106,被配置为将所述目标应用程序设置为所述终端的前台应用或锁定所述目标应用程序在后台。
可选地,图15是根据图11所示实施例示出的一种显示控制装置的框图,如图15所示,该装置还包括:
应用控制模块1107,被配置为接收所述车辆发送的控制指令,并根据所述控制指令控制所述终端打开所述目标应用程序;在所述终端打开所述目标应用程序后,控制所述目标应用程序的界面在所述车机屏幕上以所述预设显示模式进行显示。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的显示控制方法的步骤。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的显示控制方法的代码部分。
图16是根据一示例性实施例示出的一种车辆的框图。例如,车辆1600可以是混合动力车辆,也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆1600可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图16,车辆1600可包括各种子系统,例如,信息娱乐系统1610、感知系统1620、决策控制系统1630、驱动系统1640以及计算平台1650。其中,车辆1600还可以包括更多或更少的子系统,并且每个子系统都可包括多个部件。另外,车辆1600的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中,信息娱乐系统1610可以包括通信系统,娱乐系统以及导航系统等。
感知系统1620可以包括若干种传感器,用于感测车辆1600周边的环境的信息。例如,感知系统1620可包括全球定位系统(全球定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统1630可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统1640可以包括为车辆1600提供动力运动的组件。在一个实施例中,驱动系统1640可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆1600的部分或所有功能受计算平台1650控制。计算平台1650可包括至少一个处理器1651和存储器1652,处理器1651可以执行存储在存储器1652中的指令1653。
处理器1651可以是任何常规的处理器,诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit,GPU),现场可编程门阵列(Field ProgrammableGate Array,FPGA)、片上系统(System on Chip,SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit,ASIC)或它们的组合。
存储器1652可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
除了指令1653以外,存储器1652还可存储数据,例如道路地图,路线信息,车辆的位置、方向、速度等数据。存储器1652存储的数据可以被计算平台1650使用。
在本公开实施例中,处理器1651可以执行指令1653,以完成上述的显示控制方法的全部或部分步骤。
图17是根据一示例性实施例示出的一种终端的框图。例如,终端1700可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图17,终端1700可以包括以下一个或多个组件:处理组件1702,存储器1704,电源组件1706,多媒体组件1708,音频组件1710,输入/输出接口1712,传感器组件1714,以及通信组件1716。
处理组件1702通常控制终端1700的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1702可以包括一个或多个处理器1720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1702可以包括一个或多个模块,便于处理组件1702和其他组件之间的交互。例如,处理组件1702可以包括多媒体模块,以方便多媒体组件1708和处理组件1702之间的交互。
存储器1704被配置为存储各种类型的数据以支持在终端1700的操作。这些数据的示例包括用于在终端1700上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1706为终端1700的各种组件提供电力。电源组件1706可以包括电源管理系统,一个或多个电源,及其他与为终端1700生成、管理和分配电力相关联的组件。
多媒体组件1708包括在所述终端1700和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1708包括一个前置摄像头和/或后置摄像头。当终端1700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1710被配置为输出和/或输入音频信号。例如,音频组件1710包括一个麦克风(MIC),当终端1700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1704或经由通信组件1716发送。在一些实施例中,音频组件1710还包括一个扬声器,用于输出音频信号。
输入/输出接口1712为处理组件1702和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1714包括一个或多个传感器,用于为终端1700提供各个方面的状态评估。例如,传感器组件1714可以检测到终端1700的打开/关闭状态,组件的相对定位,例如所述组件为终端1700的显示器和小键盘,传感器组件1714还可以检测终端1700或终端1700一个组件的位置改变,用户与终端1700接触的存在或不存在,终端1700方位或加速/减速和终端1700的温度变化。传感器组件1714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1716被配置为便于终端1700和其他设备之间有线或无线方式的通信。终端1700可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1716还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端1700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述显示控制方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1704,上述指令可由终端1700的处理器1720执行以完成上述显示控制方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (21)

1.一种显示控制方法,其特征在于,应用于车辆,包括:
响应于获取到语音输入消息,识别所述语音输入消息对应的控制指令;
若所述控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序,向所述终端发送所述预设显示模式对应的显示参数,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
接收所述终端根据所述显示参数生成的界面渲染数据,并根据所述界面渲染数据在车机屏幕上以所述预设显示模式显示所述目标应用程序的界面。
2.根据权利要求1所述的方法,其特征在于,所述预设显示模式包括在所述车机屏幕上全屏显示的第一模式,或者在所述车机屏幕的预设区域进行显示的第二模式,不同的预设显示模式对应不同的显示参数。
3.根据权利要求2所述的方法,其特征在于,在所述预设显示模式包括所述第二模式的情况下,根据所述界面渲染数据在所述车机屏幕的所述预设区域显示所述目标应用程序的界面,并在所述车机屏幕的其它区域显示第一预设界面,所述第一预设界面包括黑屏或者所述车机的应用图标,所述其它区域为所述车机屏幕上除所述预设区域之外的区域。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
响应于接收到用户对所述车机屏幕上显示的所述目标应用程序的界面的触发操作,向所述终端发送所述触发操作对应的屏幕触发事件;
接收所述终端根据所述屏幕触发事件发送的界面响应数据;
根据所述界面响应数据在所述车机屏幕上对所述触发操作进行响应。
5.根据权利要求1所述的方法,其特征在于,所述识别所述语音输入消息对应的控制指令包括:
将所述语音输入消息发送至服务器,以使所述服务器对所述语音输入消息进行语义识别后确定所述控制指令;
接收所述服务器发送的所述控制指令。
6.根据权利要求1所述的方法,其特征在于,所述识别所述语音输入消息对应的控制指令包括:
通过预设指令对应关系确定所述语音输入消息对应的所述控制指令。
7.根据权利要求1所述的方法,其特征在于,所述识别所述语音输入消息对应的控制指令包括:
将所述语音输入消息输入预先训练得到的指令识别大模型后,通过所述指令识别大模型输出所述控制指令。
8.根据权利要求1所述的方法,其特征在于,所述控制指令包括指示所述终端打开所述目标应用程序的控制指令;所述方法还包括:
向所述终端发送所述控制指令,以使所述终端执行所述控制指令后,打开所述目标应用程序。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
在所述终端打开所述目标应用程序后,控制所述目标应用程序的界面在所述车机屏幕上以所述预设显示模式进行显示。
10.一种显示控制方法,其特征在于,应用于终端,包括:
接收车辆发送的预设显示模式对应的显示参数,所述显示参数为所述车辆在确定语音输入消息对应的控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序的情况下发送的,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
根据所述显示参数通过所述目标应用程序生成界面渲染数据;
向所述车辆发送所述界面渲染数据,以使所述车辆根据所述界面渲染数据在车机屏幕以所述预设显示模式显示所述目标应用程序的界面。
11.根据权利要求10所述的方法,其特征在于,所述根据所述显示参数通过所述目标应用程序生成界面渲染数据包括:
根据所述显示参数通过所述目标应用程序在所述车机屏幕上进行用户界面UI设计后,生成所述界面渲染数据;其中,不同的预设显示模式对应不同的显示参数。
12.根据权利要求11所述的方法,其特征在于,所述显示参数包括所述车机屏幕的分辨率和尺寸;所述界面渲染数据包括所述目标应用程序的界面中每个UI元素在所述车机屏幕上的位置和大小;
所述根据所述显示参数通过所述目标应用程序在所述车机屏幕上进行用户界面UI设计后,生成所述界面渲染数据包括:
根据所述分辨率和所述尺寸,确定所述目标应用程序的界面中的每个UI元素在所述车机屏幕上的位置和大小。
13.根据权利要求10-12任一项所述的方法,其特征在于,所述方法还包括:
接收所述车辆发送的屏幕触发事件,所述屏幕触发事件为所述车辆根据用户对所述车机屏幕上显示的所述目标应用程序的界面的触发操作,生成的屏幕触发事件;
根据所述屏幕触发事件在所述车机屏幕上重新进行UI设计后,生成界面响应数据;
将所述界面响应数据发送至所述车辆,以使所述车辆根据所述界面响应数据在所述车机屏幕上对所述触发操作进行响应。
14.根据权利要求10所述的方法,其特征在于,所述方法还包括:
在所述终端当前显示的终端界面为所述目标应用程序的界面的情况下,控制所述终端的当前显示界面切换至第二预设界面;或者,
在所述终端当前显示的终端界面不是所述目标应用程序的界面的情况下,控制所述终端保持当前显示界面。
15.根据权利要求10所述的方法,其特征在于,所述方法还包括:
将所述目标应用程序设置为所述终端的前台应用或锁定所述目标应用程序在后台。
16.根据权利要求10所述的方法,其特征在于,所述方法还包括:
接收所述车辆发送的控制指令;
根据所述控制指令控制所述终端打开所述目标应用程序;
在所述终端打开所述目标应用程序后,控制所述目标应用程序的界面在所述车机屏幕上以所述预设显示模式进行显示。
17.一种显示控制装置,其特征在于,应用于车辆,包括:
消息识别模块,被配置为响应于获取到语音输入消息,识别所述语音输入消息对应的控制指令;
第一发送模块,被配置为若所述控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序,向所述终端发送所述预设显示模式对应的显示参数,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
显示模块,被配置为接收所述终端根据所述显示参数生成的界面渲染数据,并根据所述界面渲染数据在车机屏幕上以所述预设显示模式显示所述目标应用程序的界面。
18.一种显示控制装置,其特征在于,应用于终端,包括:
第一接收模块,被配置为接收车辆发送的预设显示模式对应的显示参数,所述显示参数为所述车辆在确定语音输入消息对应的控制指令指示终端向所述车辆的车机以预设显示模式显示目标应用程序的情况下发送的,所述终端与所述车辆网络连接,所述目标应用程序安装在所述终端,并且所述车机未安装所述目标应用程序;
渲染数据生成模块,被配置为根据所述显示参数通过所述目标应用程序生成界面渲染数据;
第二发送模块,被配置为向所述车辆发送所述界面渲染数据,以使所述车辆根据所述界面渲染数据在车机屏幕以所述预设显示模式显示所述目标应用程序的界面。
19.一种车辆,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行权利要求1-9任一项所述方法的步骤。
20.一种终端,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:执行权利要求10-16任一项所述方法的步骤。
21.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1-9或者10-16中任一项所述方法的步骤。
CN202311866882.5A 2023-12-28 2023-12-28 显示控制方法、装置、车辆、终端及存储介质 Pending CN117831529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311866882.5A CN117831529A (zh) 2023-12-28 2023-12-28 显示控制方法、装置、车辆、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311866882.5A CN117831529A (zh) 2023-12-28 2023-12-28 显示控制方法、装置、车辆、终端及存储介质

Publications (1)

Publication Number Publication Date
CN117831529A true CN117831529A (zh) 2024-04-05

Family

ID=90511080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311866882.5A Pending CN117831529A (zh) 2023-12-28 2023-12-28 显示控制方法、装置、车辆、终端及存储介质

Country Status (1)

Country Link
CN (1) CN117831529A (zh)

Similar Documents

Publication Publication Date Title
CN102883036B (zh) 显示装置、移动通信终端和显示系统
CN107539209B (zh) 控制车辆灯光的方法及装置
CN111193870B (zh) 通过移动设备控制车载摄像头的方法、设备和系统
CN104709203A (zh) 车辆操控方法及装置
TW201741821A (zh) 應用程式處理方法、設備、介面系統、控制設備及操作系統
CN112667084B (zh) 车载显示屏的控制方法及装置、电子设备和存储介质
CN116546068A (zh) 车辆控制方法、装置、车辆、适配器、终端及介质
CN117831529A (zh) 显示控制方法、装置、车辆、终端及存储介质
CN116520886A (zh) 车辆无人机跟随方法、系统、装置、电子设备及存储介质
CN113225431A (zh) 显示屏的控制方法、装置及存储介质
KR101746303B1 (ko) 차량 번호 기반 이용자 정보 공유형 단말기 및 시스템
CN115163370A (zh) 混动车辆的维修方法、装置及电子设备
CN116546069B (zh) 车辆控制方法、装置、车辆、适配器、终端及介质
CN116546070B (zh) 车辆控制方法、装置、车辆、适配器、终端及介质
CN116828419B (zh) 紧急呼叫方法、装置、车辆、移动终端及存储介质
CN114368357B (zh) 车辆控制方法、车辆、智能穿戴设备及可读存储介质
CN116546502B (zh) 中继攻击的检测方法、装置及存储介质
CN117922433A (zh) 影像监测方法、装置、电子设备、车辆及存储介质
CN113342293B (zh) 信息显示方法与装置
CN113361361B (zh) 与乘员交互的方法及装置、车辆、电子设备和存储介质
CN116193387B (zh) 车载单元数据的处理方法、装置、存储介质及电子设备
CN117939444A (zh) 蓝牙连接的控制方法、装置、车辆、终端和介质
CN118760410A (zh) 交互信息处理方法、装置、介质、产品及电子设备
CN109235320B (zh) 道闸控制方法及装置
CN116915826A (zh) 车辆控制方法、装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination