CN101268674B

CN101268674B - 提供远程用户界面的设备和方法

Info

Publication number: CN101268674B
Application number: CN2006800350085A
Authority: CN
Inventors: 全龟
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2005-09-23
Filing date: 2006-09-22
Publication date: 2013-01-02
Anticipated expiration: 2026-09-22
Also published as: EP1927234B1; WO2007035053A1; KR100772861B1; US20070073730A1; EP1927234A4; US8260843B2; KR20070034341A; EP1927234A1; CN101268674A

Abstract

提供一种用于使用网络浏览器提供基于图像的远程用户界面(UI)的设备和方法。服务器包括：用户界面(UI)应用，提供动态图像；服务器通信模块，如果动态图像被更新，则发送用于更新的动态图像的图像更新事件；和超文本传输协议(HTTP)服务器，接收与图像更新事件相应的请求，并且响应于接收的请求，发送更新的动态图像。所述方法包括：如果远程用户界面(UI)中的图像被更新，则发送用于更新的图像的图像更新事件；接收与所述图像更新事件相应的请求；响应于接收的请求，发送更新的图像。

Description

提供远程用户界面的设备和方法

技术领域

根据本发明的设备和方法涉及提供远程用户界面(UI)，尤其涉及使用网络浏览器提供基于图像的远程UI。

背景技术

通常，当装置A接收到装置B通过有线或无线网络提供的用户界面(UI)并且将接收的UI提供给用户时，在装置A看来，所述UI是远程UI。此种远程UI的例子是家庭网络。也就是说，在包括诸如数字电视(TV)、电冰箱、机顶盒、音频系统等电器的家庭网络中，用户可通过数字TV控制所述电器。用户方便使用适合于将要控制的电器的UI。

为此，每个电器提供可以在数字TV的屏幕上显示的UI，并且用户可以使用显示在屏幕上的所述电器的各自的UI(即远程UI)控制所述电器。

为了提供远程UI，可以使用超文本标记语言(HTML)或动态图像更新(dynamic image update)。

图1示出根据现有技术的使用超文本标记语言(HTML)提供远程UI的系统。

参照图1，现有技术基于HTML的远程UI系统包括远程UI服务器110和远程UI客户机130。

远程UI服务器110包括UI应用112和超文本传输协议(HTTP)服务器114。远程UI客户机130包括网络浏览器132。

远程UI服务器110包括待显示的HTML数据，HTML数据可包含字符和各种图像。

在使用网络浏览器132显示远程UI服务器110的HTML页之前，网络浏览器132使用统一资源定位符(URL)将对HTML页的请求(HTML请求)发送给远程UI服务器110。

当远程UI服务器110从远程UI客户机130接收到HTTP请求时，远程UI服务器110通过HTTP响应的方式将存储在远程UI服务器110中的初始HTML文件或者由UI应用112动态产生的初始HTML文件发送给远程UI客户机130的网络浏览器132。

网络浏览器132分析接收的初始HTML文件，并且在远程UI客户机130的屏幕上显示所述HTML文件。

因此，可以通过使用HTML文件显示连接到家庭网络的各电器的UI。例如，当机顶盒具有HTML文件形式的电子节目指南(EPG)屏幕时，通过数字TV的网络浏览器显示允许选择EPG菜单的index.html文件。一旦用户使用遥控器选择EPG菜单，则检索与所述index.html文件链接的EPG.html文件，并且将以HTML形成的EPG显示给用户。因此，在此例中，机顶盒对应于远程UI服务器110，数字TV对应于远程UI客户机130。

图2示出现有技术使用动态图像更新提供远程UI的系统。

参照图2，现有技术远程UI系统包括远程UI服务器210和远程UI客户机230。

远程UI服务器210包括UI应用212和UI服务器214。远程UI客户机230包括UI客户端232。

UI服务器214和UI客户端232通过相互协商的协议彼此通信。

当必须改变部分UI屏幕时，远程UI服务器210的UI应用212通过UI服务器214、以JPG或位图的形式将需要改变的部分的图像发送给远程UI客户机230的UI客户端232。或者，可以使用其他类似的图像格式。此时，还发送待显示的图像的坐标和区域。换句话说，可以发送指示将在坐标(150，100)处显示JPG形式的100×200的图像的消息。

发明内容

技术问题

当如图1所示使用HTML显示远程UI时，以HTML页的形式形成用户的响应，并且可以仅使用少量的数据发送包括文本信息的屏幕。因此，仅占用少量的网络容量，并且提高远程UI对互联网上的服务器的适应性。然而，在整个屏幕或者部分屏幕被动态改变时不容易显示UI，或者在客户机，不容易直接地反映服务器状态的改变并且不容易在屏幕上显示所述改变。

当如图2所示图像被动态地更新时，服务器可以在客户机中直接地更新动态改变的UI，这对动态UI显示有用。然而，难于使所述UI适应互联网上的服务器。

此外，例如，当在家庭网络中存在使用HTML或动态图像更新的电器时，在所述多个电器之间发生UI兼容性问题。

技术方案

本发明提供一种在其中远程UI客户机显示远程UI服务器的数据的系统，所述远程UI客户机具有在其中嵌入有能够从另一装置或互联网服务器接收UI数据并且能够显示接收的UI数据的网络浏览器的远程UI客户机的的系统，所述远程UI服务器提供动态更新的图像。

根据本发明的一方面，提供一种用于提供远程UI的服务器，所述服务器包括：UI应用，提供动态图像；服务器通信模块，如果动态图像被更新，则发送用于更新的动态图像的图像更新事件；和超文本传输协议(HTTP)服务器，接收与图像更新事件相应的请求，并且响应于接收的请求，发送更新的动态图像。根据本发明的另一方面，提供一种远程UI客户机，包括：浏览器模块，显示远程UI；和客户机通信模块，被通知远程UI中的图像被更新的图像更新事件的发生，并且将所述图像更新事件的发生通知给浏览器模块，其中，浏览器模块根据图像更新事件的发生发送对更新的图像的请求，并且将更新的图像显示在远程UI上。根据本发明的另一方面，提供一种远程UI代理服务器，包括：控制模块，接收远程UI的更新的图像；转送通信模块，向显示远程UI的客户机通知关于更新的图像的图像更新事件的发生；和HTTP服务器，接收与所述图像更新事件相应的请求，并且响应于接收的请求，发送更新的图像。

根据本发明的另一方面，提供一种提供远程UI的方法，所述方法包括：如果远程UI中的图像被更新，则发送用于更新的图像的图像更新事件；接收与所述图像更新事件相应的请求；和响应于接收的请求，发送更新的图像。

根据本发明的另一方面，提供一种提供远程UI的方法，所述方法包括：显示远程UI；被通知图像更新事件的发生；发送对更新的图像的请求；和接收更新的图像并显示更新的图像。

附图说明

通过下面参照附图对本发明的示例性实施例进行的详细描述，本发明的上述和其他方面将会变得更加清楚，其中：

图1示出使用超文本标记语言(HTML)提供远程用户界面(UI)的现有技术系统；

图2示出使用动态图像更新提供远程UI的现有技术系统；

图3示出根据本发明示例性实施例的提供远程UI的系统；

图4是示出根据本发明示例性实施例的将初始图像提供给远程UI的方法的流程图；

图5是示出根据本发明示例性实施例的将更新的图像提供给远程UI的方法的流程图；和

图6示出根据本发明的另一示例性实施例的提供远程UI的系统。

具体实施方式

现在将参照示出本发明的示例性实施例的附图更充分地描述本发明。通过参照以下对示例性实施例的详细描述以及附图，可以更容易地理解本发明的优点和特征以及实现本发明的优点和特征的方法。然而，可以以许多不同的形式实施本发明，并且不应将本发明理解为受限于在此阐述的示例性实施例。相反，提供这些示例性实施例，从而本公开更彻底和完整，并且将向本领域的技术人员充分地传达本发明的构思，本发明仅由权利要求限定。在本说明书中，相同的标号始终表示相同的元件。

以下，参照根据本发明的示例性实施例的方法的流程图描述本发明。应该理解，可以通过计算机程序指令实现流程图中的每个块以及流程图中的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器或其他可编程数据处理设备以产生机器，从而通过所述计算机的处理器或其他可编程数据处理设备执行的指令创建用于实现在所述流程图的一个块或多个块中指定的功能的装置。

也可以将这些计算机程序指令存储在可以指导计算机或其他可编程数据处理设备以特定方式运作的计算机可用或计算机可读的存储器中，从而存储在计算机可用或计算机可读的存储器中的指令产生包括实现在所述流程图的块或多个块中指定的功能的指令装置的产品。

也可以将计算机程序指令载入计算机或其他可编程数据处理设备，以使得在所述用于产生计算机实现的程序的计算机或其他可编程设备上执行一系列操作步骤，从而在所述计算机或其他可编程设备上执行的指令提供用于实现在流程图的块或多个块中指定的功能的步骤。

并且，流程图的每个块可代表模块、代码段、或部分代码，其包括用于实现指定逻辑功能的一个或多个可执行指令。还应该注意，在一些可替换的实现中，在所述块中标注的功能可以不按照顺序发生。例如，根据涉及的功能，事实上可以基本同时执行连续示出的两个块，或者有时以相反的顺序执行所述块。

图3示出根据本发明示例性实施例的提供远程UI的系统。

参照图3，提供远程UI的系统300包括远程UI服务器310和远程UI客户机330。

远程UI服务器310包括UI应用312、UI服务器314、超文本传输协议(HTTP)服务器316和服务器通信模块318。远程UI客户机330包括浏览器模块332和客户机通信模块334。

这里使用的术语“模块”的意思是，但不限于，软件和硬件组件，诸如现场可编程门阵列(FPGA)或执行某任务的专用集成电路(ASIC)。模块可以方便地被配置以驻留在可寻址的存储介质上，并且可被配置以在一个或多个处理器上执行。因此，举例来说，模块可以包括：诸如软件组件、面向对象的软件组件、类组件和任务组件的组件、进程、函数、属性、过程、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在组件和模块中提供的功能可被组合为更少的组件和模块，或者可进一步被分离成另外的组件和模块。另外，组件和模块可以以这样的方式被实现，它们在通信系统中的一个或多个计算机上执行。

UI应用312产生将要提供给用户的UI，HTTP服务器316与具有网络浏览器的客户机通信。服务器通信模块318与远程UI客户机330通信以将UI应用312更新的动态图像提供给用户。

UI服务器314控制UI应用312、HTTP服务器316和服务器通信模块318。

浏览器模块332与HTTP服务器316或提供超文本标记语言(HTML)文件的网络服务器通信，并且通过浏览器将UI提供给用户。客户机通信模块334与服务器通信模块318通信以将动态更新的图像提供给用户。

以下，将参照图4和图5详细地描述远程UI服务器310和远程UI客户机330之间的操作。

图4是示出根据本发明示例性实施例的将初始图像提供给远程UI的方法的流程图。

一旦远程UI服务器310和远程UI客户机330被连接，则在操作S410，远程UI客户机330的浏览器模块332将对初始页的请求发送给HTTP服务器316。这里，比如说，初始页的名称是“index.html”。

在操作S415，HTTP服务器316响应于所述请求，将“index.html”文件发送给浏览器模块332。

在操作S420，浏览器模块332分析“index.html”文件的内容并且调用对象，即，将创建对象的请求发送给客户机通信模块334以开始初始化(如取得通信信道)。

客户机通信模块334执行用于取得与远程UI服务器310的服务器通信模块318的通信信道的操作。作为所述操作的示例，如果在操作S425，在如TCP连接中，客户机通信模块334将套接字连接请求发送给服务器通信模块318，则在操作S430，服务器通信模块318以套接字连接响应执行响应，从而取得通信信道。例如，客户机通信模块334可连接到远程UI服务器310的指定TCP端口(例如，所述TCP端口可被表达为“192.168.0.3:9001”)以取得通信信道。

随后，在操作S435，客户机通信模块334将对象初始化响应发送给浏览器模块332。

在操作S440，浏览器模块332执行“index.html”文件的文本主体，并且将对与屏幕图像相应的图像文件的请求发送给HTTP服务器316。所述图像可以针对整个屏幕。在此，举例来说，与整个屏幕相应的图像文件的名称是“whole.jpg”。

在操作S445，HTTP服务器316响应于来自浏览器模块332的请求，将对“whole.jpg”文件的请求发送给UI应用312，并且在操作S450，UI应用312响应于来自HTTP服务器316的请求，将“whole.jpg”文件提供给HTTP服务器316。UI服务器314管理UI应用312和HTTP服务器316之间的通信。

当HTTP服务器316将“whole.jpg”文件发送给浏览器模块332时，浏览器模块332在与所述UI相应的浏览器屏幕上显示“whole.jpg”文件。可以在整个屏幕上显示所述文件。

图5是示出根据本发明示例性实施例的将更新的图像提供给远程UI的方法的流程图。

如果远程UI服务器310的UI应用312更新当前提供给用户的部分屏幕，则在操作S510，UI应用312通过UI服务器314将图像更新通知给服务器通信模块318。UI应用312还将更新的图像的位置信息提供给服务器通信模块318。所述位置信息可以是X-Y坐标，或者其他类似的坐标系。例如，UI应用312可以将更新的图像的左上角的坐标提供给服务器通信模块318。然而，可以发送用于识别更新的图像的位置的任何坐标位置，例如更新的图像的不同角，或中心加偏移等。

在操作S520，服务器通信模块318与客户机通信模块334通信，以提供图像更新事件信息和更新的位置信息。

客户机通信模块334接收动态更新的图像，并且执行用于将更新的图像提供给用户的操作。作为所述操作的示例，客户机通信模块334可以调用回叫函数。例如，在操作S530，客户机通信模块334调用初始页“index.html”中被注册为回叫的javascript函数。

包括所述回叫函数的初始页”index.html”的示例如下。回叫函数是“Comm_onDataArrival ”函数。<HTML><HEAD><METAHTTP-EQUIV＝′PRAGMA′CONTENT＝′NO-CACHE′><OBJECT ID＝′Comm′classid＝′clsid:AAA-BBB-123-XXX′codebase＝′Comm.cab′><PARAMNAME＝DeviceName VALUE＝′Dynamic UI Server′><EMBED ID＝′Comm′DeviceName＝′Dynamic UI Server′TYPE＝′application/Comm′></EMBED></OBJECT><SCRIPT LANGUAGE＝JavaScript event＝DataArrival for＝Comm>//注册事件回叫<！--Comm_onDataArrival()--></SCRIPT><SCRIPTLANGUAGEe＝′JavaScript′><！～Comm.InitCommunication(′192.168.0.3:900′)；function Comm_onDataArrival(){var eventData；eventData＝Comm.GetData()；if(eventData.Type＝＝0x01)//如果′OxO1′是图像更新的事件类型{up-dateImage(eventData.x，eventData.y)；//x和y是图像的坐标。}}functionupdateImage(x，y){var dd＝document.createElement(′div′)；updateArea.appendChild(dd)；//创建当前页的div区域和重叠div区域dd.innerHTML＝′<IMG src＝′update.jpg′style＝position:absolute；left:′+x+′；top:′+y+′>if(count>256)//如果图像被反复叠加，则可发生资源短缺。{Comm.CloseCommunication()；document.reload()；//如果多于预定数目的图像被堆砌在彼此之上，则接收整个图像。}}--></SCRIPT><BODY><IMGsrc＝′whole.jpg′stype＝position:absolute；left:0；top:0>//整个屏幕图像<DIVid＝′updateArea′DIV></BODY></HTML>

如果客户机通信模块334调用函数“Comm_onDataArrival()”，则从函数“Comm_onDataArrival()”获得事件类型和附加数据(例如X和Y坐标)。调用updateImage()函数来创建将在其上通过动态HTML页叠加图像的区域。

在操作S540，浏览器模块332将对更新的图像文件(“update.jpg”文件)的请求发送给HTTP服务器316，在操作S550，HTTP服务器316通过UI服务器314将对更新的图像文件的请求发送给UI应用312。

在操作S560，UI应用312通过UI服务器314将更新的图像文件发送给HTTP服务器316，在操作S570，HTTP服务器316将更新的图像文件发送给浏览器模块332。

浏览器模块332在根据X和Y坐标的位置将更新的图像文件(“update.jpg”文件)叠加到创建的当前HTML页上的div区域之上。当太多图像被叠加时，整个页可被更新以初始化。

当在操作S520，远程UI服务器310产生图像更新事件之后，浏览器模块332接收到更新的图像文件之前，发生另一图像更新事件时，远程UI服务器310等待远程UI客户机330接收当前“update.jpg”文件，然后产生下一个更新事件。

远程UI服务器310可以收集几个图像更新事件，并且根据其确定的时间将这些事件作为单个用于大区域的图像更新事件发送。

参照图6，系统600包括：远程UI服务器610、远程UI代理服务器630和远程UI客户机650。

远程UI服务器610包括分别与图3的UI应用312和UI服务器314对应的UI应用612和UI服务器614。与图3的远程UI服务器310不同，远程UI服务器610不具有HTTP服务器功能并且产生动态UI。

远程UI客户机650与图3中示出的远程UI客户机330相对应，通过浏览器652向用户提供UI。

远程UI代理服务器630在远程UI服务器610和远程UI客户机650之间转送位置信息。

换句话说，由于远程UI服务器610不具有HTTP服务器功能，所以即使图像被UI应用612更新，远程UI服务器610也不能够直接地将更新的图像发送给远程UI客户机650。因此，远程UI代理服务器630从远程UI服务器610接收更新的图像，并且将更新的图像发送给远程UI客户机650。

远程UI代理服务器630包括控制模块632、HTTP服务器634和转送通信模块636。

控制模块632从远程UI服务器610的UI服务器614接收更新的图像和更新的图像的位置信息，并且将接收的图像和位置信息发送给转送通信模块636。

转送通信模块636将浏览器652提供的HTML文件中的图像更新通知给客户机通信模块654，客户机通信模块654将所述图像更新通知给浏览器652。

一旦浏览器652将对更新的图像的请求发送给HTTP服务器634，HTTP服务器634将转送通信模块636接收的更新的图像以及更新的图像的位置信息发送给浏览器652。

HTTP服务器634从控制模块632接收远程UI服务器610创建的远程UI以及更新的图像和更新的图像的位置信息，并且将所述远程UI、更新的图像和更新的图像的位置信息发送给远程UI客户机650。

产业上的可利用性

根据本发明的示例性实施例，通过在网络浏览器中提供动态图像，可以扩大基于HTML的UI显示方法的应用范围。

虽然已经针对本发明的示例性实施例对本发明进行了描述，但是本领域的技术人员应该清楚，在不脱离本发明的范围和精神的情况下，可以进行各种修改和改变。因此，应该理解，上述示例性实施例从各个方面来说不是限定性的，而是示意性的。

Claims

1.一种家庭网络中的远程用户界面服务器，包括：

用户界面应用，提供远程用户界面的初始图像和动态图像；

服务器通信模块，如果动态图像被更新，则发送用于更新的动态图像的图像更新事件；和

超文本传输协议服务器，接收与图像更新事件相应的请求，并且响应于接收的请求，发送更新的动态图像，

其中，所述服务器通信模块将图像更新事件发送给客户机，并且所述超文本传输协议服务器从客户机接收所述请求并将更新的动态图像发送给客户机以使所述客户机将更新的动态图像与远程用户界面的初始图像叠加。

2.如权利要求1所述的远程用户界面服务器，其中，所述超文本传输协议服务器将更新的动态图像的位置信息发送给客户机。

3.如权利要求2所述的远程用户界面服务器，其中，所述位置信息包括X-Y坐标。

4.如权利要求1所述的远程用户界面服务器，其中，所述用户界面应用产生包括所述动态图像的远程用户界面，所述超文本传输协议服务器将所述远程用户界面发送给客户机。

5.如权利要求4所述的远程用户界面服务器，其中，所述远程用户界面符合超文本标记语言格式。

6.一种家庭网络中的远程用户界面客户机，包括：

浏览器模块，显示远程用户界面；和

客户机通信模块，被通知远程用户界面中的动态图像被更新的图像更新事件的发生，并且将所述图像更新事件的发生通知给浏览器模块，

其中，浏览器模块根据图像更新事件的发生发送对更新的动态图像的请求，并且将更新的动态图像与远程用户界面的初始图像叠加并显示在远程用户界面上。

7.如权利要求6所述的远程用户界面客户机，其中，提供所述远程用户界面的服务器通知客户机通信模块图像更新事件的发生，并且所述浏览器模块将对更新的动态图像的请求发送所述给服务器。

8.如权利要求7所述的远程用户界面客户机，其中，所述浏览器模块从所述服务器接收更新的动态图像的位置信息，并且根据所述位置信息显示更新的动态图像。

9.如权利要求8所述的远程用户界面客户机，其中，所述位置信息包括X-Y坐标。

10.如权利要求7所述的远程用户界面客户机，其中，所述远程用户界面符合超文本标记语言格式。

11.一种家庭网络中的远程用户界面代理服务器，包括：

控制模块，接收远程用户界面的更新的动态图像；

转送通信模块，向显示远程用户界面的客户机通知关于更新的动态图像的图像更新事件的发生；和

超文本传输协议服务器，接收与所述图像更新事件相应的请求，并且响应于接收的请求，发送更新的动态图像，

其中，所述超文本传输协议服务器从客户机接收所述与图像更新事件相应的请求，并且响应于接收的请求，将更新的动态图像发送给客户机以使所述客户机将更新的动态图像与远程用户界面的初始图像叠加。

12.如权利要求11所述的远程用户界面代理服务器，其中，所述超文本传输协议服务器将所述更新的动态图像的位置信息发送给所述客户机。

13.如权利要求12所述的远程用户界面代理服务器，其中，所述位置信息包括X-Y坐标。

14.如权利要求11所述的远程用户界面代理服务器，其中，用户界面应用创建包括动态图像的远程用户界面，并且超文本传输协议服务器将创建的远程用户界面发送给客户机。

15.如权利要求14所述的远程用户界面代理服务器，其中，所述远程用户界面符合超文本标记语言格式。

16.一种在家庭网络中提供远程用户界面的方法，所述方法包括：

如果远程用户界面中的动态图像被更新，则发送用于更新的动态图像的图像更新事件；

接收与所述图像更新事件相应的请求；和

响应于接收的请求，发送更新的动态图像，

其中，如果远程用户界面中的图像被更新，则将用于更新的动态图像的图像更新事件发送给客户机，并且响应于接收的请求，将更新的动态图像发送给客户机以使所述客户机将更新的动态图像与远程用户界面的初始图像叠加。

17.如权利要求16所述的提供远程用户界面的方法，还包括：将所述更新的动态图像的位置信息发送给客户机。

18.如权利要求17所述的提供远程用户界面的方法，其中，所述位置信息包括X-Y坐标。

19.如权利要求16所述的提供远程用户界面的方法，其中，所述远程用户界面符合超文本标记语言格式。

20.一种在家庭网络中提供远程用户界面的方法，所述方法包括：

显示远程用户界面；

被通知图像更新事件的发生；

发送对更新的动态图像的请求；和

接收更新的动态图像并显示更新的动态图像，

其中，提供所述远程用户界面的服务器通知所述图像更新事件的发生，从所述服务器根据图像更新事件的发生发送对更新的动态图像的请求，并且更新的动态图像与远程用户界面的初始图像被叠加。

21.如权利要求20所述的提供远程用户界面的方法，其中，所述远程用户界面符合超文本标记语言格式。