[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN107003818B - 在设备之间共享屏幕的方法及使用该方法的设备 - Google Patents

在设备之间共享屏幕的方法及使用该方法的设备 Download PDF

Info

Publication number
CN107003818B
CN107003818B CN201580062292.4A CN201580062292A CN107003818B CN 107003818 B CN107003818 B CN 107003818B CN 201580062292 A CN201580062292 A CN 201580062292A CN 107003818 B CN107003818 B CN 107003818B
Authority
CN
China
Prior art keywords
screen
content
displayed
display
connection state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580062292.4A
Other languages
English (en)
Other versions
CN107003818A (zh
Inventor
崔胜唤
俞任京
郑瑛嫔
沈正炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107003818A publication Critical patent/CN107003818A/zh
Application granted granted Critical
Publication of CN107003818B publication Critical patent/CN107003818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/22Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种与第二设备共享第一设备的屏幕的方法以及使用该方法的设备。该方法包括:在第一连接状态下将关于显示在第一设备上的第一屏幕的信息发送至第二设备,从而使得第一设备与第二设备显示相同的屏幕;将第一设备与第二设备之间的第一连接状态切换至第二连接状态;以及执行控制使得当在第一连接状态切换至第二连接状态的状态下接收到用户输入时,第一设备上显示的第一屏幕切换至第二屏幕,从而所显示的第一屏幕被继续显示在第二设备上,在第二连接状态下,第一设备和第二设备显示独立的屏幕。

Description

在设备之间共享屏幕的方法及使用该方法的设备
技术领域
本发明一般涉及一种用于在设备之间共享屏幕的方法以及使用该方法的设备,更特别地,涉及一种用于将关于正显示在第一设备上的屏幕的信息发送至第二设备的方法。
背景技术
根据有线和无线通信网络的发展,输出可通过显示屏幕而被用户可视地辨识的数据的设备可通过有线和无线通信网络互联。
在此情况下,多种数据可通过有线和无线通信网络在设备之间发送和接收。例如,屏幕可在设备之间共享,为此,可使用诸如镜射技术、流技术等等的屏幕共享技术。
在此情况下,发送关于屏幕的信息或内容的第一设备可被称为源设备、主设备或控制设备,接收关于屏幕的信息或内容的第二设备可被称为同步设备、客户端设备或连接设备。
镜射技术允许将输出至屏幕的数据在设备之间共享。例如,根据镜射技术,源设备的屏幕被压缩,并将压缩的屏幕发送至同步设备。然后,同步设备可将压缩的屏幕解压并显示该屏幕。
流技术也可允许在设备之间共享输出至屏幕的数据。流技术将存储在源设备中的压缩图像内容发送至同步设备。然后,同步设备可将压缩的图像内容解压并显示该图像内容。
按照诸如缆线、无线保真(Wi-Fi)直连等在装置之间的有线或无线连接技术的性能改进,屏幕共享技术已得到快速发展。特别地,屏幕共享技术已得以广泛发展,从而可应用于诸如笔记本、网本、平板个人计算机(PC)等的便携式计算机和诸如智能电话、个人数字助手(PDA)等的便携式终端,以及能够输出诸如TV等的屏幕的所有电子设备。
传统上,为了使用户在设备之间共享屏幕的同时执行另一任务,需要停止屏幕共享而存在不便之处。特别地,存在由一个设备再现内容的同时难以单独地(separately)操作一个设备的问题。另外,传统上,在设备之间共享屏幕的情况主要是两个设备彼此连接的情况,逐渐还需要考虑到一个设备与多个设备彼此连接的情况。
另外,在设备之间执行一个融合服务(convergence service)的情形下执行另一融合服务的情况中,用户需要停止正在执行的融合服务而存在不便之处。在此情况下,举例来说,融合服务可包括诸如设备之间的内容流、设备之间的屏幕共享、设备之间的文件发送、设备之间的远程控制等各种服务。
发明内容
技术问题
因此,需要用于改善在设备之间共享屏幕的情况下的用户便利性的各种方法。特别地,可能需要适合于各种融合服务中的每一种的直观的用户交互。
解决方案
本发明的一方面提供了用于改善在设备之间共享屏幕的情况下的用户便利性的方法。
本发明的另一方面提供了适合于各种融合服务中的每一个的直观的用户交互。
本发明的另一方面提供了,将第一设备与第二设备之间的第一连接状态切换至第二连接状态可包括:响应于选择包括在弹出式屏幕中的用户界面(UI)元素的用户输入而执行切换,弹出式屏幕独立于第一设备上显示的第一屏幕。
将第一设备与第二设备之间的第一连接状态切换至第二连接状态的另一方面可包括:停止同步模式,在同步模式中第一设备和第二设备显示屏幕,并且执行非同步模式,在非同步模式中第一设备和第二设备显示独立的屏幕。
本发明的另一方面提供了,将关于第一屏幕的信息发送至第二设备可包括压缩当前正显示在第一设备上的第一屏幕并将压缩的第一屏幕发送至第二设备。
本发明的另一方面提供了,将关于第一屏幕的信息发送至第二设备包括压缩当前正显示在第一设备上的第一屏幕中所包括的图像内容并将压缩的图像内容发送至第二设备。
本发明的另一方面提供了一种方法,其包括:从第二设备接收关于通过第二设备的用户输入的信息;以及响应于关于用户输入的信息,将关于与用户输入相关的第三屏幕的信息发送至第二设备。
本发明的另一方面提供了一种方法,其包括:在将关于第一屏幕的信息发送至第二设备之前,显示代表与第一设备通信的多个第二设备中的每一个的图标;以及当所显示的图标之一被选择时,在第一连接状态下将第一设备连接至对应于所选图标的第二设备。
本发明的另一方面提供了弹出式屏幕,其可包括指示第一设备与第二设备的屏幕之间的同步或非同步的通知信息。
本发明的另一方面提供了,当第一设备与包括多个第二设备的一组第二设备共享屏幕时,弹出式屏幕可包括以下各项中的至少一个:所述一组第二设备中包括的第二设备的数量、所述一组第二设备的识别信息、以及所述一组第二设备中包括的第二设备的识别信息。
本发明的另一方面提供了感测单元,其可感测选择包括在弹出式屏幕中的UI元素的用户输入,从而执行从第一连接状态至第二连接状态的切换,弹出式屏幕独立于当前第一设备上正显示的第一屏幕。
本发明的另一方面提供了,当执行从第一连接状态至第二连接状态的切换时,控制单元可停止同步模式,在同步模式中第一设备和第二设备显示屏幕,并执行非同步模式,在非同步模式中第一设备和第二设备显示独立的屏幕。
本发明的另一方面提供了,当通信单元将关于正显示在第一设备上的第一屏幕的信息发送至第二设备时,通信单元可将压缩的第一屏幕发送至第二设备。
本发明的另一方面提供了,当通信单元将关于正显示在第一设备上的第一屏幕的信息发送至第二设备时,通信单元可将压缩的第一屏幕中包括的图像内容发送至第二设备。
本发明的另一方面提供了,通信单元可从第二设备接收关于通过第二设备的用户输入的信息,并将关于与用户输入相关的第三屏幕的信息发送至第二设备。
本发明的另一方面提供了,显示单元可显示代表与第一设备通信的多个第二设备中的每一个的图标,以及控制单元可当通过感测单元接收选择所显示的图标之一的用户输入时,在第一连接状态下将第一设备连接至对应于所选图标的第二设备。
本发明的另一方面提供了,弹出式屏幕可包括指示第一设备与第二设备的屏幕之间的同步或非同步的通知信息。
本发明的另一方面提供了,当第一设备与包括多个第二设备的一组第二设备共享屏幕时,弹出式屏幕可包括以下各项中的至少一个:包括在所述一组第二设备中的第二设备的数量、所述一组第二设备的识别信息、以及包括在所述一组第二设备中的第二设备的识别信息。
本发明的另一方面提供了,当在设备之间共享屏幕时,用户可容易地执行多任务工作而不会将私人信息暴露给另一设备。特别地,用户可简单地使用与当前正显示的弹出式屏幕分离的弹出式屏幕来控制另一设备。
本发明的另一方面提供了,在多个设备与一个设备共享屏幕的情况下,用户可容易地添加或排除共享目标设备的屏幕。
本发明的另一方面提供了,用户可选择性地并且容易地切换镜射技术和流技术以共享屏幕。
根据本发明的一个方面,提供了一种通过第一设备与第二设备共享第一设备的屏幕的方法。该方法包括:在第一连接状态下将关于显示在第一设备上的第一屏幕的信息发送至第二设备,从而使得第一设备与第二设备显示相同的屏幕;将第一设备与第二设备之间的第一连接状态切换至第二连接状态;以及执行控制使得当在第一连接状态切换至第二连接状态的状态下接收到用户输入时,第一设备上显示的第一屏幕切换至第二屏幕,从而所显示的第一屏幕被继续显示在第二设备上,在第二连接状态下,第一设备和第二设备显示独立的屏幕。
根据本发明的另一方面,提供了一种通过第一设备与第二设备共享第一设备的屏幕的方法。该方法包括:在第一连接状态下将关于显示在第一设备上的第一屏幕的信息发送至第二设备,在第一连接状态下第一设备与第二设备显示相同的屏幕;将第一设备与第二设备之间的第一连接状态切换至第二连接状态;以及当在第一连接状态切换至第二连接状态的状态下,从第二设备接收到请求将第二设备上显示的第一屏幕切换至第三屏幕的信息时,在第一屏幕被继续显示在第一设备上的同时,将关于第三屏幕的信息发送至第二设备,在第二连接状态下,第一设备和第二设备显示独立的屏幕。
根据本发明的另一方面,提供了一种用于与第二设备共享屏幕的第一设备。第一设备包括:感测单元,被配置为感测用户输入;显示单元,被配置为显示第一屏幕;通信单元,被配置为在第一连接状态下将关于显示在第一设备上的第一屏幕的信息发送至第二设备,在第一连接状态下第一设备与第二设备显示相同的屏幕;以及控制单元,被配置为执行控制使得当在第一连接状态切换至第二连接状态的状态下通过所述感测单元接收到用户输入时,第一设备上显示的第一屏幕切换至将要显示的第二屏幕,并且第一屏幕被继续显示在第二设备上,在第二连接状态下,第一设备和第二设备显示独立的屏幕。
根据本发明的另一方面,提供了一种用于与第二设备共享屏幕的第一设备。第一设备包括:感测单元,被配置为感测用户输入;显示单元,被配置为显示第一屏幕;通信单元,被配置为在第一连接状态下将关于显示在第一设备上的第一屏幕的信息发送至第二设备,在第一连接状态下第一设备与第二设备显示相同的屏幕;以及控制单元,被配置为控制通信单元使得当在第一连接状态切换至第二连接状态的状态下,通过通信单元从第二设备接收到请求将第二设备上显示的第一屏幕切换至第三屏幕的信息时,在第一屏幕被继续显示在第一设备上的同时,将关于第三屏幕的信息发送至第二设备,在第二连接状态下,第一设备和第二设备显示独立的屏幕。
附图说明
通过下文描述连同附图所示,本发明的上述和/或其他方面、特征和优点将更显而易见,在附图中:
图1是根据本发明的实施例的系统的框图;
图2是根据本发明的实施例的设备的框图;
图3是根据本发明的实施例的软件的框图;
图4是根据本发明的实施例的在第一设备和第二设备之间共享屏幕的方法的示图;
图5是根据本发明的实施例的在第一设备和第二设备之间共享屏幕的方法的流程图;
图6A至图18是示出根据本发明的实施例的用于在第一设备和第二设备之间共享屏幕的过程的示图;
图19至图21是示出根据本发明的实施例的弹出式屏幕(pop-up screen)的示例的示图;
图22是示出根据本发明的实施例的控制器面板的示例的示图;
图23至图26是根据本发明的实施例的共享屏幕的方法的流程图;以及
图27是根据本发明的实施例的设备的框图。
具体实施方式
将简要地描述本公开中使用的术语而详细地描述本发明。
用于描述本发明的实施例的术语是目前广泛使用的一般术语,但术语可根据本领域专业技术人员的意图、实践、新技术的出现而变化。另外,一些术语的含义在本发明的描述中进行定义。因此,本发明中使用的术语应基于术语的含义和贯穿本发明的内容而定义。
本发明的实施例可进行修改,并且本发明可具有各种实施例。因此,本发明的一些实施例在附图中示出并在以下的详细描述中详细地描述。然而,要理解的是,如由所附权利要求及其等同物所定义,本发明不限于本发明的实施例,包括所有修改、等同物和代替物而不背离本发明的范围和精神。在本发明的实施例的描述中,因为带有不必要的细节会模糊本发明而不对众所周知的功能进行详细描述。
术语“第一”、“第二”等可用于描述不同的组件,但本发明不限于该术语。该术语仅用于将一个组件与其他组件区分开来。
本文中使用的单数形式旨在包括复数形式,除非另有指明。在本公开中,术语“包括”和“组成”是指本公开中描述的特征、数字、步骤、操作、组件、元素或其组合的存在,但不排除一个或多个其他特征、数字、步骤、操作、组件、元素或其组合的存在或添加的可能性。
在本发明的实施例中,“模块”或“单元”执行至少一个功能或操作,并可在硬件、软件或硬件和软件的组合中实施。另外,多个“模块”或多个“单元”可整合至除了必须以硬件实施的“模块”或“组合”之外的至少一个模块中,并可在至少一个处理器中实施。
在本发明的实施例中,任何一个部分与其他部分部件“连接”的情况包括所述部分彼此直接连接的情况和所述部分在具有插入其间的其他元素的情况下彼此“电连接”的情况。另外,除非明确相反地描述,“包括”任何组件应理解为意指包含其他元素而非排除任何其他元素。
在下文中,参照附图对本发明的实施例进行详细描述,以便本领域技术人员可易于实践本发明。然而,本发明可以各种不同的形式实施,并不限于本公开所描述的实施例。在附图中,省略了与描述无关的部分以明显地描述本发明,贯穿本公开,相似的参考标记用于描述相似的部分。
另外,在本发明的实施例中,用户输入可包括触摸输入、弯曲输入、语音输入、按键输入和多模式输入中的至少一个,但本发明不限于此。
另外,在本发明的实施例中,“触摸输入”指示用户接触显示器或盖子(cover)以控制装置的触摸手势等等。另外,“触摸输入”可包括物体不与显示器接触而与显示器间隔预定距离或更远的状态的触摸(例如,浮动或悬浮)。触摸输入可包括长按(touch and hold)手势、执行触摸然后释放的轻击手势、双击手势、平移手势、轻拂手势、执行触摸然后沿一个方向移动的触摸并拖拽手势、缩小手势等等,但本发明不限于此。
另外,在本发明的实施例中,“按键输入”指示用户使用附于装置的物理按键控制装置的输入。
另外,在本发明的实施例中,“运动输入”指示用户为控制装置而对装置做出的运动。例如,运动输入可包括用户旋转装置、倾斜装置或朝任何方向移动装置的输入。
另外,在本发明的实施例中,“多输入”指示结合了至少两个或更多的输入方案的输入。例如,装置也可接收用户的触摸输入和运动输入,并还可接收用户的触摸输入和语音输入。
另外,在本发明的实施例中,“应用”被称为设计为执行特定任务的计算机程序的集合。在本发明的实施例中,可存在各种应用。例如,应用的示例可包括游戏应用、视频播放应用、地图应用、备忘录应用、日历应用、电话簿应用广播应用、锻炼支持应用、支付应用、图片文件夹应用等等,但不限于此。
另外,在本发明的实施例中,“应用识别信息”可为用于将一个应用与其他应用区分开来的唯一信息。例如,应用识别信息可为图标、索引项、链接信息等等,但不限于此。
另外,在本发明的实施例中,UI元素指示可响应于用户输入与用户交互以提供诸如视觉、听觉、嗅觉等反馈的元素。关于UI元素,如果存在一个区域,其通过图像、文本和视频中的至少一种形式来表示,或者其不显示上述信息但是可响应于用户输入而提供反馈,则该区域可被称为UI元素。另外,UI元素的示例可为上述应用识别信息。
在下文中,参照附图详细描述本发明的实施例。
图1是根据本发明的实施例的系统10的框图。
参照图1,系统10可包括发送屏幕或图像内容的第一设备11,以及接收屏幕或图像内容的第二设备21至2N。第一设备11和接收屏幕或图像内容的第二设备21至2N可使用各种通信方案彼此连接。例如,第一设备11和第二设备21至2N之间的通信可使用诸如蓝牙、Wi-Fi等等的无线通信模块来执行。
作为可显示的装置的第一设备11和第二设备21至2N可为例如智能电话、笔记本电脑、桌面PC、PDA、电子书终端、数字广播终端、自助服务终端、电子相框、导航、数字TV、诸如腕表或头戴式显示器(HMD)的可穿戴设备以及其他移动或非移动计算装置。
第一设备11和第二设备21至2N可使用每个显示单元显示屏幕。在此情况下,屏幕可包括从外部设备接收的或预存的图像内容(例如,视频、图像等)。或者,屏幕可包括各种对象,比如图标、文本、图像等等。各种对象还可包括可与用户交互以响应于用户输入提供诸如视觉、听觉、嗅觉等反馈的UI元素。
尽管本发明描述了以便携终端为目标(target on)的第一设备11和以数字TV为目标的第二设备21,但这仅为示例。第一设备11和第二设备21不限于此,而可以以如上所述的各种种类的设备为目标。
图2是根据本发明的实施例的设备100的框图。图2中所示的设备100的配置可应用于图1的第一设备11和第二设备21至2N。
如图2中所示,设备100可包括第一图像接收单元110、第二图像处理单元120、显示单元130、通信单元140、存储单元150、音频处理单元160、音频输出单元170、传感(sensing)单元180和控制单元190中的至少一个。然而,图2中所示的设备100的配置仅为示例,并且未必限于上述框图。因此,根据设备100的类型或设备100的目的,可省略、修改或添加设备100的一些配置。
第一图像接收单元110通过各种源接收图像数据。例如,第一图像接收单元110可从外部广播站接收广播数据,从外部服务器实时接收VOD数据,以及从外部设备接收图像数据。
第二图像处理单元120是处理通过第一图像接收单元110接收的图像数据的组件。第二图像处理单元120可执行用于图像数据的各种图像处理,诸如解码、缩放、噪声滤波、帧速率转换、分辨率转换等等。
显示单元130显示通过由第二图像处理单元120处理图像数据而获得的视频帧和由图形处理单元193生成的各种屏幕中的至少一个。
显示单元130的实施方案不限于此。例如,显示单元130可以以各种形式的显示器来实施,比如液晶显示器(LCD)、有机发光二极管(OLED)显示器、主动矩阵有机发光二极管(AM-OLED)显示器、等离子体显示面板(PDP)等等。显示单元130还可取决于其实施方案而包括额外的组件。例如,在显示单元130以液晶方案实施的情况下,显示单元130可包括LCD显示面板、向LCD显示面板供光的背光单元以及驱动面板的面板驱动衬底(substrate)。显示单元130可耦合至作为触摸屏幕提供的感测单元180的触摸感测单元181。
显示单元130还可耦合至曲面显示器形式的设备100的前区、侧区和后区中的至少一个。曲面显示器还可实施为柔性显示器,还可实施为非柔性的一般显示器。例如,曲面显示器可通过将多个平面显示器彼此连接来实施。
在曲面显示器实施为柔性显示器的情况下,柔性显示器的特征可在于其可使用诸如纸的薄且柔性的衬底,被弯曲、弯折或翻卷而不受损伤。上述柔性显示器还可使用一般所使用的塑料衬底以及玻璃衬底来制造。在使用塑料衬底的情况下,柔性显示器可通过使用低温制造处理器而不使用现有的制造处理器来形成以避免衬底的损伤。另外,柔性显示器可通过用塑料膜代替包围LCD中的液晶、OLED显示器、AM-OLED显示器、等离子显示面板(PDP)等等的玻璃衬底来提供折叠和展开柔性显示器的能力。上述柔性显示器具有轻且薄的优点,并且抗冲击,可被弯曲或弯折,并且可以各种形式制造。
通信单元140是根据多种类型的通信方案与多种类型的外部设备通信的组件。通信单元140可包括Wi-Fi集成电路或芯片141、蓝牙芯片142、无线通信芯片143和近场通信(NFC)芯片144。控制单元190可使用通信单元140与各种外部设备通信。
例如,Wi-Fi芯片141和蓝牙芯片142中的每一个都可以Wi-Fi方案和蓝牙方案通信。在使用Wi-Fi芯片141或蓝牙芯片142的情况下,诸如服务集标识符、会话密钥等的各种访问信息可被首先发送和接收,通信访问可使用各种访问信息执行,然后可发送和接收各种信息。无线通信芯片143指示根据各种各种通信标准执行通信的芯片,所述各种通信标准诸如电器与电子工程师协会(IEEE)标准、ZigBee、第三代移动通信技术(3G)、第三代合作伙伴项目(3GPP)、长期演进技术(LTE)等。NFC芯片144指示以使用诸如135kHz、13.56MHz、433MHz、860至960MHz、2.45GHz等各种无线射频识别(RF-ID)频带中的13.56MHz频带的NFC方案操作的芯片。
存储单元150可存储操作设备100所必需的各种程序和数据。存储单元150可实施为非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)等等。存储单元150可通过控制单元190访问,其中可通过控制单元190执行数据的读取/记录/编辑/删除/更新等。本公开中的术语“存储单元”可包括存储单元150、控制单元190中的只读存储器(ROM)、随机存取存储器(RAM)或设备100中安装的存储卡(例如,微型安全数字(SD)存储卡、记忆棒等)。
例如,存储单元150可存储用于配置将要显示在显示区域上的各种屏幕的程序、数据等等。
在下文中,参照图3描述设备100中存储的软件的结构。
参照图3,存储单元150可存储包括操作系统(OS)210、内核220、中间件230、应用240等等的软件。
OS 210执行控制和管理硬件的一般操作的功能。就是说,OS 210是执行诸如硬件管理、存储器、安全等等基本功能的层。
内核220用作包括由感测单元180感测的触摸信号的各种信号通过其发送至中间件230的网关。
中间件230包括控制设备100的操作的各种软件模块。
参照图2,中间件230包括X11模块230-1、应用(APP)管理器230-2、连接管理器230-3、安全模块230-4、系统管理器230-5、多媒体框架230-6、主UI框架230-7、窗口管理器230-8和子UI框架230-9。
X11模块230-1是从设备100中包括的各种硬件接收各种事件信号的模块。在此情况下,可设置各种各样的事件,比如感测到用户手势的事件、生成系统警报的事件、执行或终止特定程序的事件等等。
APP管理器230-2是管理存储单元150中安装的各种应用240的执行状态的模块。如果APP管理器230-2从X11模块230-1感测到应用执行事件,APP管理器230-2呼叫并执行对应于感测到的应用执行事件的应用。
连接管理器230-3是用于支持有线或无线网络连接的模块。连接管理器230-3可包括诸如分布网络评估工具(DNET)模块、通用即插即用(UPnP)模块等等的各种子模块。
安全模块230-4是用于支持对硬件的认证、请求准许、安全存储等等的模块。
系统管理器230-5监控设备100中的各组件的状态并将监控结果提供给其他模块。例如,如果有剩余电池电量不足、发生错误、断开通信连接等情况,系统管理器230-5可将监控结果提供给主UI框架230-7或子UI框架230-9以输出通知消息或通知声音。
多媒体框架230-6是用于再现设备100中存储的或从外部源提供的多媒体内容的模块。多媒体框架230-6可包括播放器模块、摄像机模块、声音处理模块等。因此,多媒体框架230-6可再现各种多媒体内容以执行生成和再现屏幕和声音的操作。
主UI框架230-7是用于提供将要显示在显示单元130的主区域上的各种UI的模块,而子UI框架230-9是用于提供将要显示在子区域上的各种UI的模块。主UI框架230-7和子UI框架230-9可包括用于配置各种UI元素的图像编排器(compositor)模块、用于计算将要显示UI元素的坐标的坐标编排器模块、用于将所配置的UI元素渲染至所计算的坐标的渲染模块、用于提供用于配置UI的2D或3D类型的工具的2D/3D UI工具包等等。
窗口管理器230-8可感测使用用户的身体或笔的触摸事件或其他输入事件。如果窗口管理器230-8感测到上述事件,窗口管理器230-8将事件信号发送至主UI框架230-7或子UI框架230-9以执行对应于事件的操作。
另外,窗口管理器230-8还可基于通过运动感测单元182等感测的传感器值存储各种程序模块,比如用于当用户在屏幕上触摸和拖拽时沿拖拽轨迹画线的写入模块、用于计算俯仰角、滚转角、偏转角等的角度计算模块等等。
应用模块240包括用于支持各种功能的应用240-1至240-n。例如,应用模块240可包括用于提供诸如导航程序模块、游戏模块、电子书模块、日历模块、警报管理模块等的各种服务的程序模块。上述应用也可默认安装,也可在使用过程期间由用户任意安装和使用。如果选择了UI元素,主CPU 194可执行对应于使用应用模块240选择的UI元素的应用。
图3中所示的软件的结构仅为示例,且不限于此。因此,根据设备100的类型或设备100的目的,可省略、修改或添加软件的一些结构。
再参照图2,音频处理单元160是处理图像内容的音频数据的组件。音频处理单元160可执行对音频数据的各种处理,诸如解码、放大、滤噪等。由音频处理单元160处理的音频数据可输出至音频输出单元170。
音频输出单元170是输出各种通知声音或语音消息以及通过音频处理单元160对其执行诸如解码、放大和滤噪的各种处理任务的各种音频数据的组件。例如,音频输出单元170可实施为扬声器,但这仅为示例,本发明不限于此。例如,音频输出单元170可实施为能够输出音频数据的输出端子。
感测单元180感测各种用户交互。感测单元180可配置多种传感器并可被配置为包括能够探测设备100的状态改变的所有类型的感测设备的至少一种设备。例如,感测单元180可被配置为包括各种感测设备中的至少一种传感器,比如触摸传感器、加速传感器、陀螺仪传感器、照度传感器、接近传感器、压力传感器、音频传感器(例如,麦克风)、视频传感器(例如,相机模块)、计时器等等。
如图2中所示,感测单元180可按照感测的目的而分类为触摸感测单元181、运动感测单元182等等,但不限于此。例如,感测单元180可根据各种其他目的而分类。这并不是指物理分类,并且一个或多个传感器可彼此耦合以充当感测单元181和182。另外,根据实施方法,感测单元180的一些配置或功能还可包括在控制单元190中。
例如,触摸感测单元181可使用附于显示面板背面的触摸传感器感测用户的触摸输入。控制单元190可从触摸感测单元181获得诸如触摸坐标、触摸时间等信息,并可确定触摸输入的类型(例如,轻击手势、双击手势、平移手势、轻拂手势、触摸并拖拽手势等)。或者,控制单元190可使用通过触摸感测单元181获得的触摸坐标、触摸时间等直接确定触摸输入的类型。
运动感测单元182可使用加速传感器、倾斜传感器、陀螺仪传感器和3轴磁性传感器中的至少一个来感测设备100的运动(例如,旋转、倾斜等)。另外,运动感测单元182可发送生成的电信号至控制单元190。例如,运动感测单元182可测量添加了设备100的动能加速度和重力加速度的加速度,但当设备100不在运动中时可仅测量重力加速度。
控制单元190可使用存储单元150中存储的各种程序来控制设备100的总体操作。
如图2中所示,控制单元190可被配置为随机存取存储器(RAM)191、只读存储器(ROM)192、图形处理单元193、主中央处理单元(CPU)194、第一接口195-1至第n接口195-n和总线196。在此情况下,RAM 191、ROM192、图形处理单元193、主CPU 194、第一接口195-1至第n接口195-n等可通过总线196彼此连接。
RAM 191存储OS和应用程序。例如,当设备100启动时,RAM 191可存储OS和用户选择的各种应用数据。
ROM 192存储用于启动系统的指令集。当输入打开指令以供电时,主CPU 194根据ROM 192中存储的指令将存储在在存储单元150中的OS复制到RAM 191中并执行OS以启动系统。当完成启动时,主CPU 194将存储在存储单元150中的各种应用程序复制在RAM 191中并执行复制在RAM 191中的应用程序以执行各种操作。
图形处理单元193使用计算单元和渲染单元生成包括诸如条目、图像、文本等各种对象的屏幕。在此情况下,计算单元可为使用从感测单元180接收的控制指令,计算诸如坐标值、形状、尺寸、颜色等属性值的组件,其中各个对象将根据屏幕的布局来显示。另外,渲染单元可为基于由计算单元计算出的属性值生成包括对象的各种布局的屏幕的组件。通过渲染单元生成的屏幕可显示在显示单元130的显示区域中。
主CPU 194访问存储单元150并使用存储单元150中存储的OS执行启动。另外,主CPU 194使用存储单元150中存储的各种程序、内容、数据等执行各种操作。
第一接口195-1至第n接口195-n连接至上述各种组件。第一接口195-1至第n接口195-n之一可为通过网络连接至外部设备的网络接口。
例如,如果控制单元190在第一设备11和第二设备21显示相同屏幕时接收到将正显示在第一显示器11上的第一屏幕切换至第二屏幕的用户输入,则控制单元190可控制显示单元130以便正显示在第一设备11上的第一屏幕切换至将要显示的第二屏幕,并可控制第一接口195-1至第n接口195-n之一(以及通信单元140)以便正显示的第一屏幕被继续显示在第二设备21上。
另外,如果控制单元190在第一设备11和第二设备21显示相同的屏幕时从第二设备21接收到将正显示在第二设备21上的第一屏幕切换至第三屏幕的信息,则控制单元190可响应于接收到的信息,在第一屏幕被继续显示在第一设备11上的同时,将关于第三屏幕的信息发送至第二设备21。
另外,控制单元190可在第一屏幕显示在第一设备11上且第二屏幕显示在第二设备21上时通过感测单元180接收到将第一屏幕切换至第三屏幕的用户输入,并可在第一模式状态中将关于第三屏幕的信息发送至第二设备21以便在第一设备11和第二设备21上显示相同的屏幕。在第二模式状态中,控制单元190可控制显示单元130以便第三屏幕显示在第一设备11上,并可控制第一接口195-1至第n接口195-n之一以及通信单元140以便只有第一屏幕被继续显示在第二设备21上。
第一设备11和第二设备21可在多个连接状态的一个连接状态中彼此连接。例如,多个连接状态可包括第一设备11和第二设备21显示相同屏幕的第一连接状态和第一设备11和第二设备21显示独立屏幕的第二连接状态。
第一连接状态是第一设备11和第二设备21的屏幕彼此同步的(synchronized)状态,可指示当第一设备11的屏幕改变时第二设备21的屏幕也同时或几乎同时改变的连接状态。屏幕几乎同时改变的情况可包括例如第一设备11和第二设备21之间的网络连接情况,或者显示相同的屏幕但是具有第一设备11或第二设备21的屏幕数据处理时间的预定的时间差的情况。在第一连接状态中,第一设备11可压缩当前正显示在第一设备11上的屏幕并将压缩的屏幕发送至第二设备21,以与第二设备21同步屏幕。在此情况下,第一设备11压缩屏幕的情形可出现在每个预定周期的事件发生时或改变屏幕的至少一部分的事件发生时。
另外,第一设备11和第二设备21的屏幕彼此非同步的(desynchronized)状态的第二连接状态可指示即使第一设备11的屏幕改变,第二设备21也继续显示先前正在显示的屏幕的状态。如本发明的另一实施例,第二连接状态可指示即使第二设备21的屏幕改变,第一设备11也继续显示先前正在显示的屏幕的状态。在第二连接状态中,即使第一设备11和第二设备21的屏幕彼此不同步,第一设备11和第二设备21也可彼此发送和接收关于屏幕的信息和内容。例如,在第一设备11的屏幕改变的情况下,第一设备11可将关于第一设备11的屏幕的信息发送至第二设备21。在此情况下,即使第二设备21接收关于第一设备11的屏幕的信息,第二设备21也可在存储单元150中临时地或永久地存储接收到的关于屏幕的信息,同时继续显示先前正显示的屏幕。在下文中,以下描述用于第二连接状态的本发明的各种实施例。另外,以下描述了响应于在第一连接状态和第二连接状态之间切换而发生的本发明的各种实施例。
图4是根据本发明的实施例的在第一设备11和第二设备21之间共享屏幕的方法的示图。
参照图4,参考标记410表示第一设备11和第二设备21在屏幕同步状态中共享屏幕,图4的参考标记420表示第一设备11和第二设备21在屏幕非同步状态中共享屏幕。
在如图4的参考标记410所表示的屏幕同步状态中,在第一设备11和第二设备21显示相同的屏幕时第一设备11的屏幕切换至另一屏幕的情况下,第二设备21的屏幕也可切换至另一屏幕。为了保持屏幕同步状态,当根据预定周期或用户输入的事件发生时,第一设备11可将关于第一设备11的屏幕的信息发送至第二设备21。在屏幕包括内容的情况下,第一设备11可将关于内容的信息发送至第二设备21。
与之相对,在如图4的参考标记420中所表示的屏幕非同步状态中,在第一设备11和第二设备21显示相同的屏幕时第一设备11的屏幕切换至另一屏幕的情况下,第二设备21的屏幕可不切换。在此情况下,第一设备11可执行控制,以便第二设备21的屏幕不切换并且第二设备21继续显示先前的屏幕。执行控制以便第二设备继续显示先前的屏幕可包括第一设备11控制第一设备11或第二设备21的情况。例如,执行控制以便第二设备21继续显示先前的屏幕可包括第一设备11不将关于屏幕的信息发送至第二设备21的情况,或者第一设备11将关于在屏幕切换前显示的先前屏幕的信息发送至第二设备21。或者,执行控制以便第二设备21继续显示先前的屏幕可包括第一设备11发送控制信息至第二设备21以便第二设备21继续显示关于先前的屏幕的信息的情况,即使关于屏幕的信息不从第一设备11发送。
在此情况下,根据用户的选择,屏幕同步状态和屏幕非同步状态可在彼此之间切换。例如,根据用户是否选择第一设备11的屏幕上显示的弹出式屏幕中包括的UI元素,第一设备11和第二设备21可在屏幕同步状态或屏幕非同步状态中操作。
另外,在第一设备11和第二设备21之间的屏幕的共享可包括通过镜射方案、流方案及其组合共享屏幕的情况。
图5是根据本发明的实施例的在第一设备11和第二设备21之间共享屏幕的方法的流程图。
参照图5,当第一设备11和第二设备21在步骤511和521中彼此连接并且第一设备11的用户在步骤512中执行共享屏幕的功能时,第一设备11可将请求是否共享屏幕的信号发送至第二设备21。作为回应,第二设备21可在步骤522中同意屏幕共享请求以执行与第一设备11共享屏幕的功能。在第一设备11和第二设备21之间共享屏幕可包括共享当前正显示在第一设备11上的屏幕的情况,以及屏幕被共享从而即使屏幕不显示在第一设备11上,能够显示在第一设备11上并且通过第一设备11的图像处理单元120处理的屏幕反而显示在第二设备21上的情况。
在此情况下,在第一设备11和第二设备21之间共享当前正显示在第一设备11上的屏幕可被称为屏幕同步状态,而在第一设备11和第二设备21之间共享能够显示在第一设备11上并且通过第一设备11的图像处理单元120处理的屏幕可被称为屏幕非同步状态。
在第一设备11和第二设备21处于屏幕同步状态中的情况下,第一设备11可在步骤513中压缩当前正显示在第一设备11上的第一屏幕并存储第一压缩屏幕。例如,第一压缩屏幕可临时地或永久地存储在第一设备11的存储单元150、位于第一设备11外部的可记录介质、或服务器的存储单元中。然后,第一设备11可在步骤514中将第一压缩屏幕发送至第二设备21作为与屏幕相关的信息。第二设备21可在步骤523中解压第一压缩屏幕并更新第二设备21的屏幕。就是说,第二设备21可显示第一屏幕。
在第一设备11和第二设备11显示相同的屏幕时在步骤515中发生事件的情况下,第一设备11可在步骤516中将屏幕更新至另一屏幕。换言之,第一设备11可将第一屏幕切换至第二屏幕。事件发生的情况可包括例如接收到将第一屏幕切换至第二屏幕的用户输入,或者每个预定周期发生事件,以便第一设备11和第二设备21的屏幕继续保持同步的状态。在第一设备11的第一屏幕切换至第二屏幕的情况下,第一设备11可压缩当前正显示在第一设备11上的第二屏幕并存储压缩的第二屏幕。然后,第一设备11可将压缩的第二屏幕发送至第二设备21。第二设备21可对压缩的第二屏幕进行解压并更新第二设备21的屏幕。换言之,第二设备21可显示第二屏幕。
这样,在第一设备11和第二设备21处于屏幕同步状态中的情况下,第一设备11和第二设备21可继续显示相同的屏幕。在此情况下,由第一设备11和第二设备21继续显示相同的屏幕还可包括显示相同的屏幕但是具有归因于第一设备11和第二设备21之间的网络连接状态的预定时间差的情形。就是说,由第一设备11和第二设备21继续显示相同屏幕还可包括显示相同的屏幕但是具有小时间差(例如,60秒以内)的情形,即使第一设备11和第二设备21不同时显示相同的屏幕。
然后,第一设备11和第二设备21中的至少一个可接收请求第一设备11和第二设备21在非同步状态下共享屏幕的信号。该信号可为例如在第一设备11和第二设备21显示相同的屏幕时,响应于通过第一设备11或第二设备21的UI元素的用户输入而生成的信号。
在第一设备11和第二设备21处于非同步状态的情况下,在第一设备11和第二设备21显示相同的屏幕时,在步骤524中可发生将正显示在第二设备21上的屏幕更新至另一屏幕的事件。事件发生的情况可包括例如响应于将第二屏幕切换至第三屏幕的用户输入而发生的事件。随着事件发生,第二设备21可将与事件有关的信息发送至第一设备11。例如,第二设备21可将对应于用户输入的第二屏幕上的坐标位置或对应于坐标位置的UI元素识别信息发送至第一设备11。
第一设备11可在步骤517中接收与事件有关的信息并执行与接收到的事件相对应的功能。例如,第一设备11可通过从存储单元150获得与第二屏幕有关的信息并应用与第二屏幕中的事件有关的信息(例如,第二屏幕上的坐标位置)来执行与接收到的事件相对应的功能。另外,第一设备11可在步骤518中压缩与事件执行结果相关联的第三屏幕并存储压缩的第三屏幕。例如,压缩的第三屏幕可暂时地或永久地存储在第一设备11的存储单元150中、位于第一设备11外部的可记录介质或服务器的存储单元中。然后,第一设备11可在步骤519中发送压缩的第三屏幕至第二设备21。第二设备21可在步骤525中对压缩的第三屏幕进行解压并更新第二设备21的屏幕。换言之,第二设备21可显示第三屏幕。
图6A至图18是示出根据本发明的实施例的用于在第一设备11和第二设备21之间共享屏幕的过程的示图。
根据本发明的实施例,在第一设备11的显示单元130显示屏幕时,第一设备11的通信单元140可发送与第一屏幕有关的信息至第二设备21。另外,在接收切换第一屏幕至第二屏幕的用户输入的情况下,第一设备11的控制单元190可控制显示单元130以便正显示在第一设备11上的第一屏幕切换至将要显示的第二屏幕,并可执行控制以便第二设备21继续显示第一屏幕。
参照图6A,参考标记610,在执行应用(例如,相册应用)并且第一设备11的显示单元130显示包括图像的第一屏幕611时,感测单元180可感测在显示单元130上执行向上拖拽或轻拂手势的用户输入。
响应于用户输入,如在图6A的参考标记620中所示,第一设备11的控制单元190可控制显示单元130以便显示能够选择设备以共享屏幕的共享设备选择屏幕621。共享设备选择屏幕621可包括代表当前可与第一设备11通信的第二设备21至2N的每一个的图标21-1、22-1、23-1、24-1和25-1,图标11-1代表第一设备11。例如,在第一设备11和第二设备21至2N之间使用蓝牙方案的情况下,如果第一设备11的蓝牙功能开启,通信单元140可发送电源信标信号至第二设备21至2N。另外,响应于电源信标信号,第二设备21至2N可发送通知第二设备21至2N可连接的广告信号。在此情况下,共享设备选择屏幕621可显示代表发送广告信号的第二设备21至2N的每一个的图标21-1、22-1、23-1、24-1和25-1。
代表作为共享目标的第二设备21至2N中的每一个的图标21-1、22-1、23-2、24-1和25-1可具有其根据用户在图标21-1、22-1、23-1、24-1和25-1上的拖拽手势或轻拂手势而改变的位置。在代表用户想要共享的第二设备21的图标21-1位于预定区域621-1中的情况下,感测单元180可感测选择第二设备21的用户输入。例如,感测单元180可选择代表第一设备11的图标11-1并感测在代表第二设备21的图标21-1的方向上执行拖拽或轻拂手势的用户输入。
参照图6B,响应于用户输入,如在参考标记630中所示,第一设备11的通信单元140可发送与正在显示的第一屏幕611有关的信息至第二设备21。因而,第一设备11和第二设备21的屏幕彼此同步,以便可显示相同的屏幕。另外,第一设备11的屏幕可显示弹出式屏幕631。弹出式屏幕631是独立于正显示在第一设备11上的第一屏幕611的屏幕,并可不显示在第二设备21上。弹出式屏幕631可包括用于选择第一设备11和第二设备21的屏幕是否彼此同步的UI元素631-1以及与第一设备11共享屏幕的第二设备21的识别信息631-2中的至少一个。为了指示执行设备之间的屏幕同步状态,UI元素631-1可显示文本“克隆开”(CloneOn),但指示执行屏幕同步状态的通知不限于此,而是可通过诸如图形、活动图像、声音等各种形式来指示。弹出式屏幕631可通过术语称为弹出式气泡屏幕或气泡屏幕以指示其是独立于第一设备11的屏幕的屏幕。在图6B的参考标记630中,在第一设备11和第二设备21的屏幕正在彼此同步时,感测单元180可感测在显示单元130上朝一个方向执行拖拽或轻拂手势的用户输入,以将正显示在第一设备11上的第一屏幕611切换至第二屏幕641。
响应于该用户输入,如在图6B的参考标记640中所示,第一设备11的显示单元130可显示第二屏幕641。第一设备11的通信单元140可发送与正在显示的第二屏幕641有关的信息至第二设备21。第二设备21可使用接收的与第二屏幕641有关的信息控制显示单元130以便显示第二屏幕641。因而,第一设备11和第二设备21的屏幕彼此同步,以便可显示相同的第二屏幕641。在第一设备11和第二设备21的屏幕正彼此同步时,感测单元180可感测执行选择弹出式屏幕631中包括的UI元素631-1的轻击手势的用户输入,以停止屏幕之间的屏幕同步状态。
参照图6C,响应于该用户输入,如在参考标记650中所示,可显示包括用于指示停止屏幕之间的屏幕同步状态的文本“克隆关”(Clone Off)的弹出式屏幕651,但指示停止屏幕之间的屏幕同步状态的通知不限于此,而是可通过诸如图形、活动图像、声音等各种形式来指示。然后,感测单元180可感测执行另一应用(例如,消息应用)的用户输入。在本发明的实施例中,执行另一应用的用户输入可为例如执行主屏幕并选择主屏幕上显示的另一应用的快捷方式图标的用户输入、显示最近执行的应用列表并选择应用列表中包括的另一应用的标识符的用户输入、执行对应于另一应用的快捷方式手势的用户输入等等,但不限于此。
响应于用户输入,如在图6C的参考标记660中所示,第一设备11的控制单元190可控制显示单元130以便显示作为另一应用(例如,消息应用)的执行屏幕的第三屏幕661。另外,第一设备11的控制单元190可控制显示单元130以便先前所显示的第二屏幕641被继续显示在第二设备21上。当然,第一设备11的感测单元180可感测执行应用(例如,活动图像应用)的用户输入。
参照图6D,响应于用户输入,如在参考标记670中所示,第一设备11的控制单元190可控制显示单元130,以便显示作为应用(例如,活动图像应用)的执行屏幕的第四屏幕671。在此情况下,第一设备11的控制单元190可控制显示单元130以便先前所显示的第二屏幕641被继续显示在第二设备21上。然后,第一设备11的感测单元180可感测执行选择弹出式屏幕651的轻击手势的用户输入以执行屏幕之间的屏幕同步状态。
响应于用户输入,如在图6D的参考标记680中所示,用于指示执行屏幕之间的屏幕同步状态的通知,可显示包括文本“克隆开”的弹出式屏幕681。在此情况下,第一设备11的控制单元190可发送关于正显示在第一设备11上的第四屏幕671的信息至第二设备21以便相同的屏幕也显示在第二设备21上。关于第四屏幕671的信息可为例如通过压缩第四屏幕671中包括的图像内容671-1而获得的数据。第二设备21可控制显示单元130以便对接收的压缩数据进行解压并显示图像内容671-1。因而,第一设备11和第二设备21的屏幕彼此同步,以便可显示相同的屏幕671-1。
这样,虽然显示了第一设备11的屏幕,但用户可使用弹出式屏幕631、651和681容易地执行多任务工作。
参照图7,在本发明的实施例中,在参考标记710中,第一设备11和第二设备21的屏幕(例如,主屏幕)711彼此同步,以便相同的第一屏幕711可显示在第一设备11和第二设备21上。在此情况下,指示第一设备11和第二设备21是否彼此同步的UI元素712-1可显示在第一设备11的弹出式屏幕712上。文本“开”(ON)可显示在UI元素712上,作为用于指示第一屏幕11处于屏幕同步状态中的通知。在此状态下,第一设备11的感测单元180可感测执行选择弹出式屏幕712中包括的UI元素712-1的轻击手势的用户输入,以停止屏幕之间的屏幕同步状态。
响应于用户输入,如在图7的参考标记720中所示,用于指示停止(或非同步)屏幕之间的屏幕同步状态的文本“关”(OFF)可显示在弹出式屏幕712中包括的UI元素712-1上。然后,感测单元180可感测执行另一应用(例如,相册应用)的用户输入。
响应于用户输入,如在图7的参考标记730中所示,第一设备11和第二设备21的屏幕可彼此非同步,以便第一设备11的控制单元190可控制显示单元130使得显示作为另一应用(例如,相册应用)的执行屏幕的第二屏幕731。另外,第一设备11的控制单元190可控制显示单元130以便先前所显示的第一屏幕711被继续显示在第二设备21上。
这样,用户可使用弹出式屏幕712容易地在屏幕同步状态和屏幕非同步状态之间切换。就是说,弹出式屏幕712可用作屏幕同步状态操作专用工具。
参照图8至图10,如在图7的参考标记730中所示,示出了在第一设备11和第二设备21的屏幕非同步的状态下可扩展的本发明的实施例。
参照图8的参考标记810,如在图7的参考标记730中所示,在第一设备11和第二设备21的屏幕彼此非同步的状态下,第一设备11的感测单元180可感测执行选择弹出式屏幕712中包括的UI元素712-1的轻击手势的用户输入,以执行屏幕之间的屏幕同步状态。
响应于用户输入,如在图8的参考标记820中所示,文本“开”可显示在弹出式屏幕712中包括的UI元素712-1上,作为用于指示执行屏幕之间的屏幕同步状态的通知信息。另外,第一设备11的控制单元190可发送关于正显示在第一设备11上的第二屏幕731的信息至第二设备21,以便相同的屏幕也显示在第二设备21上。第二设备21可使用接收的与第二屏幕731有关的信息显示第二屏幕731。因而,第一设备11和第二设备21的屏幕彼此同步,以便可显示相同的第二屏幕731。
参照图9的参考标记910,如在图7的参考标记730中所示,在第一设备11和第二设备21的屏幕彼此非同步的状态下,第一设备11的感测单元180可感测执行选择弹出式屏幕712中包括的UI元素712-1的轻击手势的用户输入,以执行屏幕之间的屏幕同步状态。
响应于用户输入,如在图9的参考标记920中所示,文本“开”可作为用于指示执行屏幕之间的屏幕同步状态的通知信息显示在弹出式屏幕712中包括的UI元素712-1上。在此情况下,第一设备11的控制单元190可执行控制以便第一设备11的第一屏幕711显示在第二设备21上。例如,第一设备11的控制单元190可控制显示单元130以便从第二设备21接收关于第二设备21的第一屏幕711的信息并显示第一屏幕711。或者,第一设备11的控制单元190可控制显示单元130以便从存储单元150获得并显示发送至第二设备21的第一屏幕711。另外,用于执行第一设备11和第二设备21的屏幕之间的屏幕同步状态而不是弹出式屏幕712的用户交互方案可包括用于选择单独的菜单中包括的UI元素或执行预定的用户手势等等的方案。
参照图10的参考标记1010,如在图7的参考标记730中所示,在第一设备11和第二设备21的屏幕彼此非同步的状态下,可感测切换第一设备11的第二屏幕731和第二设备21的第一屏幕711的用户输入。例如,第一设备11的感测单元180可选择弹出式屏幕712中包括的UI元素以在第一设备11和第二设备21之间切换屏幕,选择单独的菜单中包括的UI元素,或感测执行预定的用户手势的用户输入。
响应于用户输入,第一设备11的控制单元190可控制显示单元130以便彼此切换并显示第一设备11的第二屏幕731和第二设备21的第一屏幕711。例如,第一设备11的控制单元190可控制显示单元130以便从第二设备21或存储单元150获得关于第二设备21的第一屏幕711的信息并显示第一屏幕711。另外,第一设备11的控制单元190可同时或几乎同时发送关于第一设备11的第二屏幕731的信息至第二设备21。第二设备21可控制显示单元130以便使用接收的关于第二屏幕731的信息显示第二屏幕731。
在本发明的实施例中,参照图11A的参考标记1110,第一设备11和第二设备21的第一屏幕(例如,主屏幕)1101可彼此同步,以便相同的第一屏幕1101可显示在第一设备11和第二设备21上。在此情况下,指示第一设备11和第二设备21的第一屏幕1101是否彼此同步的UI元素1102-1可显示在第一设备11的弹出式屏幕1102上。文本“开”可作为指示第一设备11和第二设备21正在彼此同步的通知信息显示在UI元素1102-1上。在此状态下,第一设备11的感测单元180可感测执行选择弹出式屏幕1102中包括的UI元素1102-1的轻击手势的用户输入以停止屏幕之间的屏幕同步状态。
响应于用户输入,如在图11A的参考标记1120中所示,文本“关”可作为用于指示停止(或非同步)屏幕之间的屏幕同步状态的通知信息显示在弹出式屏幕1102中包括的UI元素1102-1上。在停止第一设备11和第二设备21之间的屏幕同步状态的状态下,图11A的第二设备21可感测用于执行应用(例如,相册应用)的用户输入。用于执行应用的用户输入可为例如选择第二设备21的第一屏幕1101上显示的特定应用的快捷方式图标的用户输入。
响应于用户输入,如在图11B的参考标记1130中所示,第二设备21可发送与用户输入有关的信息至第一设备11。例如,第二设备21可发送对应于第二设备21的显示单元130上的用户输入的第一屏幕1101上的坐标位置或对应于坐标位置的UI元素识别信息至第一设备11。第一设备11可如上所述接收与用户输入有关的信息并执行对应于用户输入的功能。例如,第一设备11可执行应用(例如,相册应用)。另外,第一设备11可发送与应用的执行屏幕1131有关的信息至第二设备21。在此情况下,第一设备11可控制显示单元130以便应用的执行屏幕1131不显示在显示单元130上并且第一屏幕1101被继续显示在显示单元130上。然后,第一设备11可感测选择弹出式屏幕1101中包括的UI元素1102-1的用户输入。
响应于用户输入,如在图11B的参考标记1140中所示,文本“开”可作为指示执行屏幕之间的屏幕同步状态的通知信息显示在弹出式屏幕1102中包括的UI元素1102-1上。在此情况下,第一设备11的控制单元190可发送关于第一屏幕1101的信息至第二设备21。第二设备21可使用关于接收的第一屏幕1101的信息显示第一屏幕1101。
这样,根据本发明的实施例,可启用在第一设备11和第二设备21之间的独立控制,以便可进一步增加用户对第二设备21的利用。
参照图12A,在本发明的实施例中,参照参考标记1210,第一设备11和第二设备21的第一应用执行屏幕(例如,游戏应用的执行屏幕)彼此同步,以便相同的第一屏幕1201可显示在第一设备11和第二设备21上。在此状态下,第一设备11的感测单元180可感测选择弹出式屏幕1202中包括的UI元素1202-1的用户输入以停止屏幕之间的屏幕同步状态。
响应于用户输入,如在图12A的参考标记1220中所示,第一设备11的控制单元190可停止第一设备11和第二设备21之间的屏幕同步状态。在停止第一设备11和第二设备21之间的屏幕同步状态的状态下,响应于执行第二应用(例如,文本消息应用)的用户输入,第一设备11的控制单元190可控制显示单元130以便显示作为第二应用的执行屏幕的第二屏幕1221。另外,用户可使用作为第二应用的执行屏幕的第二屏幕1221执行任务(例如,文本消息的创建和发送)。在此情况下,其中另一用户操作正显示在第二设备21上的第一应用,第二设备21可请求与第一应用的操作有关的结果至第一设备11。例如,第二设备21可根据游戏应用的用户操作请求特性(character)的操作结果。作为回应,第一设备11可执行在执行第二应用时反向地(backwardly)执行第一应用的工作的多任务工作。另外,第一设备11可发送与第一应用的操作有关的结果至第二设备21,作为通过执行多任务工作获得的结果。在此情况下,第一设备11的控制单元190可控制显示单元130以便继续显示作为第二应用的执行屏幕的第二屏幕1221。
然后,第一设备11的感测单元180可感测执行先前正在执行的第一应用(例如,游戏应用)的用户输入。
参照图12B,响应于用户输入,如在参考标记1230中所示,第一设备11的控制单元190可控制显示单元130以便显示作为第一应用的执行屏幕的第一屏幕1201。在第一设备11的显示单元130显示第一屏幕1201时,第一设备11可感测选择弹出式屏幕1202中包括的UI元素1202-1的用户输入以执行屏幕之间的屏幕同步状态。
响应于用户输入,如在图12B的参考标记1240中所示,第一设备11的控制单元190可执行第一设备11和第二设备21之间的屏幕同步状态。作为通过执行屏幕同步状态获得的结果,第一设备11和第二设备21可显示相同的屏幕。
这样,在正在执行第一屏幕和第二屏幕之间的屏幕同步状态的状态下,用户可通过使用弹出式屏幕1202暂时执行屏幕非同步而在第一设备11或第二设备21中容易地执行在游戏期间的多任务工作。
参照图13A,在本发明的实施例中,并且参照参考标记1310,第一设备11和第二设备21的第一应用执行屏幕(例如,主屏幕应用的执行屏幕)1301彼此同步,以便相同的第一屏幕1301可显示在第一设备11和第二种21上。在此情况下,第一设备11的感测单元180可感测选择弹出式屏幕1302中包括的UI元素1302-1的用户输入以停止屏幕之间的屏幕同步状态。
响应于用户输入,如在图13A的参考标记1320中所示,第一设备11的控制单元190可停止第一设备11和第二设备21之间的屏幕同步状态。在停止第一设备11和第二设备21之间的屏幕同步状态的情况下,响应于执行第二应用(例如,邮件应用)的用户输入,第一设备11的控制单元190可控制显示单元130以便显示作为第二应用的执行屏幕的第二屏幕1321。另外,用户可使用作为第二应用的执行屏幕的第二屏幕1321执行任务(例如,文本消息的创建和发送)。然后,第一设备11的感测单元180可感测执行第三应用(例如,相册应用)的用户输入。
参照图13B,响应于用户输入,如在参考标记1330中所示,第一设备11的控制单元190可控制显示单元130以便显示作为第三应用的执行屏幕的第三屏幕1331。在此情况下,因为第一设备11和第二设备21之间的屏幕同步状态处于停止状态,第一屏幕1301可继续显示在第二设备21上。
在第三屏幕1331显示在第一设备11上时,第一设备11的感测单元180可感测选择弹出屏幕1302中包括的UI元素1302-1的用户输入以执行屏幕同步状态。响应于用户输入,如在图13B的参考标记1340中所示,第一设备11的控制单元190可执行第一设备11和第二设备21之间的屏幕同步状态。另外,作为通过执行屏幕同步状态获得的结果,第一设备11的通信单元140可发送关于第三屏幕1331的信息至第二设备21。第二设备21可使用接收的关于第三屏幕1331的信息显示第三屏幕1331。
参照图14A,在本发明的实施例中,并参照参考标记1410,第一设备11可控制显示单元130以便执行应用(例如,相册应用)和显示内容(例如,活动图像或图像)列表。在显示内容列表时,第一设备11的感测单元180可感测选择一个或多个内容的用户输入。
响应于用户输入,如在图14A的参考标记1420中所示,第一设备11可控制显示单元130以便显示指示第一内容1421和第二内容1422被选择的视觉反馈1421-1和1422-1。然后,感测单元180可感测在显示单元130上执行向上拖拽或轻拂手势的用户输入。
参照图14B,响应于用户输入,如在参考标记1430中所示,第一设备11的控制单元190可控制显示单元130以便显示能够选择用于共享内容的设备的共享设备选择屏幕1431。在显示共享设备选择屏幕1431时,感测单元180可选择代表第一设备11的图标以感测在代表第二设备21的图标的方向上执行拖拽或轻拂手势的用户输入。
响应于用户输入,如在图14B的参考标记1440中所示,弹出式屏幕1441可显示在第一设备11的屏幕上。弹出式屏幕1441可包括指示是否执行屏幕同步状态的UI元素1441-1,UI元素1441-1可包括文本“克隆开”,作为指示执行第一设备11和第二设备21之间的屏幕同步状态的通知信息。在此情况下,第一设备11的通信单元140可发送关于所选的第一内容1421的信息至第二设备21。例如,关于第一内容1421的信息可为压缩的第一内容1421。第二设备21可使用关于第一内容1421的信息显示包括第一内容1421的屏幕。例如,在由第一设备11选择的内容1421为图像的情况下,第二设备21可对压缩的图像进行解压并显示解压的图像。然后,感测单元180可感测选择UI元素1441-1的用户输入。在此情况下,用户输入可为例如双击UI元素的用户手势。
参照图14C,响应于用户输入,如在参考标记1450中所示,第一设备11的控制单元190可控制显示单元130以便显示第二设备21的控制面板1451。控制面板1451可显示例如代表指示控制目标的第二设备的图标1451-1、用于第二设备的描述或名称1451-2和正显示在第二设备上的屏幕1451-3。在显示控制面板1451时,第一设备11的感测单元180可感测在控制面板1451上朝一个方向执行轻拂或拖拽手势的用户输入。响应于用户输入,第一设备11的通信单元140可发送关于第二内容1422的信息至第二设备21。关于第二内容1422的信息可为例如压缩的内容。
如在图14C的参考标记1460中所示,第二设备21可使用关于第二内容1422的信息显示包括第二内容1422的屏幕。另外,第一设备11的控制单元190可控制显示单元130以便正显示第二内容1422的第二设备21的屏幕被显示在控制面板1451上。
这样,用户可通过使用控制面板1451容易地操作正由第一设备11在第二设备21中执行的屏幕。
参照图15A,根据本发明的实施例,如在参考标记1510中所示,第一设备11可控制显示单元130使得显示弹出式屏幕1512,其指示正与一组第二设备共享第一设备11的屏幕1511。弹出式屏幕1512可包括例如在该组第二设备中包括的第二设备21、22和23的数量,或该组第二设备中代表第二设备21的识别信息。在这种情况下,在该组第二设备中包括的第二设备21、22和23均可显示第一设备11的屏幕1511。然后,第一设备11的感测单元180可感测在显示单元130上执行向上拖拽或轻拂手势的用户输入。
响应于该用户输入,如图15A的参考标记1520中所示,第一设备11的控制单元190可控制显示单元130使得显示共享设备选择屏幕1521。共享设备选择屏幕1521可包括指示第一设备11的识别符11-1、指示当前共享屏幕的至少一个设备的识别符1522、屏幕共享状态1523和能够停止或终止屏幕共享的UI元素1524中至少一个。当显示共享设备选择屏幕1521时,第一设备11的感测单元180可感测搜索共享屏幕的另一设备的用户输入。用户输入可为例如可与第一设备11共享的第二设备21至2N的列表上一个方向上的拖拽或轻拂手势。
响应于该用户输入,如在图15B的参考标记1530中所示,在代表共享屏幕的第二设备24的图标24-1位于预定区域中的情况下,感测单元180可选择代表第一设备11的图标11-1并感测在代表第二设备24的图标24-1的方向上执行拖拽或轻拂手势的用户输入。
响应于该用户输入,如在图15B的参考标记1540中所示,第一设备11可控制显示单元130使得指示正与该组第二设备共享的第一设备11的屏幕1511的第一弹出式屏幕1512以及指示正与图15B的参考标记1530中选择的第二设备24共享的第一设备11的屏幕1511的第二弹出式屏幕1541均显示在第一设备11的屏幕1511上。然后,第一设备11的感测单元180可感测将第二设备24添加至该组第二设备的用户输入。用户输入可为例如将第二弹出式屏幕1541移动至第一弹出式屏幕1512的拖拽或轻拂手势。
参照图15C,响应于该用户输入,如在参考标记1550中所示,第一设备11的控制单元190可将第二设备24添加至该组第二设备。此外,第一设备11的控制单元190可控制显示单元130,从而显示弹出式屏幕1551,其指示正与包括第二设备24的该组第二设备共享第一设备11的屏幕。在这种情况下,包括在该组第二设备中的第二设备21、22、23和24可显示相同的屏幕,如第一设备11的屏幕1511。然后,第一设备11的感测单元180可感测选择弹出式屏幕1551以指示包括在该组第二设备中的第二设备21、22、23和24的列表的用户输入。在这种情况下,用户输入可为例如双击弹出式屏幕1551的用户手势。
响应于该用户输入,如在图15C的参考标记1560中所示,第一设备11的控制单元190可控制显示单元130从而在弹出式屏幕1551上显示包括在该组第二设备内的第二设备21的识别信息1551-1、第二设备22的识别信息1551-2、第二设备23的识别信息1551-3和第二设备24的识别信息1551-4。第二设备21、22、23和24的识别信息可为例如第二设备21、22、23和24中的每一个的用户的名字或昵称、或第二设备21、22、23和24中的每一个的标识符名称、类型或昵称。当显示第二设备21、22、23和24的识别信息时,第一设备11的感测单元180可感测从第二设备21、22、23和24的识别信息中选择第二设备22的识别信息1551-2的用户输入。该用户输入可为例如触摸显示第二设备22的识别信息1551-2的区域(field)的点击手势。
参照图15D,响应于该用户输入,如参考标记1570中所示,第一设备11的控制单元190可从该组第二设备中排除所选的第二设备22。因此,可停止第一设备11与第二设备22之间共享的屏幕或可终止第一设备11与第二设备22之间的连接。然后,第一设备11的控制单元190可感测关闭第二设备21、22、23和24的列表的用户输入。用户输入可为例如双击弹出式屏幕1571的手势。
响应于该用户输入,如在图15D的参考标记1580中所示,第一设备11的控制单元190可控制显示单元130,从而显示指示正与该组第二设备共享的第一设备11的屏幕的弹出式屏幕1581。弹出式屏幕1581可包括例如在该组第二设备中包括的第二设备21、23和24的数量,或该组第二设备中代表第二设备21的识别信息。
这样,用户可使用弹出式屏幕容易地与多个第二设备21至2N共享第一设备11的屏幕。此外,用户可使第二设备21至2N成组以通过使用弹出式屏幕的各种用户交互共享第一设备11的屏幕,并可容易地将至少一个第二设备添加至成组的第二设备21至2N或从成组的第二设备21至2N中排除至少一个第二设备。换言之,根据本发明的实施例,可支持设备之间的成组融合服务(group convergence service)。
参照图16,根据本发明的实施例,如在参考标记1610中所示,第一设备11和第二设备21的第一屏幕1611彼此同步,从而在第一设备11和第二设备21上可显示相同的第一屏幕1611。在这种情况下,可在第一设备11的弹出式屏幕1612上显示指示第一设备11和第二设备21的第一屏幕1611是否彼此同步的UI元素1612-1。在UI元素1612-1上可显示文本“克隆开(Clone On)”以指示第一屏幕1611正被同步。在这种状态下,第一设备11的感测单元180可感测选择包括在弹出式屏幕1612中的UI元素1612-1的用户输入。该用户输入可为例如保持(hold)UI元素1612-1预定时间的用户的保持手势。
响应于该用户输入,如在图16的参考标记1620中所示,第一设备11可控制显示单元130,从而显示包括UI元素1621-1的弹出式屏幕1621以切换将要作为文件发送的正同步的内容。然后,第一设备11的感测单元180可感测选择UI元素1621-1的用户输入。例如,用户输入可为例如点击UI元素1621-1的点击手势。
响应于该用户输入,如在图16的参考标记1630中所示,第一设备11可以文件形式发送屏幕上正显示的内容至第二设备21。在这种情况下,第一设备11可控制显示单元130,从而显示包括指示文件正发送至第二设备21或已发送至第二设备21的通知信息的弹出式屏幕1631。在从第一设备11发送文件的情况下,第二设备21可显示例如指示发送文件的视觉效果1632。
这样,用户可执行使用弹出式屏幕的各种类型的融合服务。由此,可进一步改进使用以多个设备为目标的融合服务的用户的可达性和便利性。
图17是根据本发明的实施例的多个设备11、12和13之间共享的屏幕示图。
参照图17,如在参考标记1710中所示,屏幕在第一设备11和第二设备21之间同步,从而使得第一设备11和第二设备21可显示相同的屏幕。在这种情况下,可接收停止第一设备11和第二设备21的屏幕的屏幕同步状态的用户输入。
响应于该用户输入,如在图17的参考标记1720中所示,可停止第一设备11和第二设备21之间的屏幕的屏幕同步状态。在这种情况下,另一第一设备12可连接至第二设备21。此外,屏幕在另一第一设备12和第二设备21之间同步,从而可在另一第一设备12和第二设备21中显示相同的屏幕。在这种情况下,第二设备21的显示单元130可仅显示另一第一设备12的屏幕,或可显示在停止与另一第一设备12的屏幕的屏幕同步状态之前正显示的第一设备11的所有屏幕。然后,另一第一设备12可接收停止第一设备11和第二设备21的屏幕的屏幕同步状态的用户输入。
响应于该用户输入,如在图17的参考标记1730中所示,可停止另一第一设备12与第二设备21之间的屏幕的屏幕同步状态。在这种情况下,第二设备21的显示单元130可在停止其屏幕的屏幕同步状态之前仅显示另一第一设备12的屏幕,或可在停止与另一第一设备12的屏幕的屏幕同步状态之前彼此一起显示第一设备11的屏幕和另一第一设备12的屏幕。
此外,在停止第二设备21与第一设备11和12之间的屏幕同步状态的状态下,第二设备21可感测用于第一设备11的屏幕和另一第一设备12的屏幕中至少一个的用户输入。例如,第二设备21可感测选择这些屏幕中至少一个的UI元素的用户输入。响应于该用户输入,第二设备21可发送与用户输入关联的信息至第一设备11和12中的至少一个。与用户输入关联的信息可为例如屏幕上对应于用户输入的坐标位置、对应于坐标位置的UI元素识别信息等。然后,作为发送与用户输入相关的信息的结果,第二设备21可根据用户输入从第一设备11和12中至少一个接收关于执行结果屏幕的信息并显示执行结果屏幕。
这样,在第一设备11和12的反向状态下,第一设备11和12可使用多任务由第二设备21的显示单元130操作。
图18是示出根据本发明的实施例的共享设备选择屏幕1801的示例的示图。
参照图18,如参考标记1810和1820中所示,共享设备选择屏幕1801可包括代表可连接至第一设备11的第二设备21至2N中的每一个的图标21-1、21-2、21-3和21-4,以及代表第一设备11的图标11-1。在代表用户想要与第一设备11共享屏幕的第二设备21的图标21-1位于预定区域的情况下,用户可选择图标21-1并以图标11-1的方向执行拖拽或轻拂手势,如在图18的参考标记1810中所示。或者,用户可选择图标11-1并以图标21-1的方向执行拖拽或轻拂手势,如在图18的参考标记1820中所示。参照图18的参考标记1830,在执行用户手势的情况下,可在共享设备选择屏幕1801上显示指示第一设备11和第二设备21彼此连接的视觉效果1803。也就是说,可提供指示第一设备11和第二设备21之间连接状态的可见性(affordance)或视觉反馈。
图19是示出根据本发明的实施例的弹出式屏幕1911的示例的示图。
参照图19,参考标记1910的弹出式屏幕1911可指示这样的状态,其中正执行第一设备11与第二设备21之间的屏幕的屏幕同步状态。相反地,图19的参考标记1920的弹出式屏幕1921可指示这样的状态,其中停止(例如,非同步)第一设备11与第二设备21之间的屏幕的屏幕同步状态。
图20是示出根据本发明的实施例的弹出式屏幕2011的示例的示图。
参照图20,参考标记2010的弹出式屏幕2011可指示这样的状态,其中正执行第一设备11与多个第二设备21至2N之间的屏幕的屏幕同步状态。例如,弹出式屏幕2011可包括其中正执行与第一设备11的屏幕的屏幕同步状态的第二设备21至2N的数量、代表第二设备21至2N的第二设备、或该组第二设备的名称。
图20的参考标记2020的弹出式屏幕可指示其中正执行与第一设备11的屏幕的屏幕同步状态的多个第二设备21至2N。例如,弹出式屏幕2021可包括多个第二设备21至2N中的每一个的用户的姓名或昵称、或多个第二设备21至2N中的每一个的标识符名称、类型或昵称。在弹出式屏幕2021上可显示的多个第二设备21至2N的数量受限的情况下,可包括能够显示多个另外的第二设备21至2N的UI元素2021-1和2021-2。
图21是示出根据本发明的实施例的弹出式屏幕2101的示例的示图。
参照图21,弹出式屏幕2101可包括用于确定第一设备11和第二设备21的屏幕是否彼此同步的UI元素2101-1和用于确定发送内容的方案的UI元素2101-2。
在用户选择UI元素2101-1的情况下,可在第一设备11与第二设备21的屏幕之间执行屏幕同步状态或屏幕非同步状态。
此外,在用户选择UI元素2101-2的状态下,第一设备11可使用镜射方案和流方案中的一个方案发送内容至第二设备21。
图22是示出根据本发明的实施例的控制器面板2211的示例的示图。
参照图22,参考标记2210的控制器面板2211可指示第二设备21正在显示图像内容(例如,图像)。用户可选择控制器面板2211中包括的至少一个UI元素2211-1或2211-2以将第二设备21上正在显示的图像内容切换至另一图像内容。此外,图22的参考标记2220的控制器面板可指示第二设备21正在再现音频内容(例如,音乐)。用户可选择控制器面板2221中包括的至少一个UI元素2221-1、2221-2或2221-3以控制正由第二设备21再现的音频内容。
这样,根据本发明的实施例,在执行融合服务的过程中,可通过共享设备选择屏幕实施通过直觉手势(intuitive gesture)的简单连接,由此能够容易地共享屏幕和内容。
此外,即使在使用融合服务的过程中,也可向用户提供各种类型的便利性。
例如,在使用融合服务的过程中,可根据设备之间的使用情况来使用适当的融合服务。例如,可基于内容的类型和设备的类型而不同地应用融合服务的类型。例如,在内容为家庭屏幕或地图图像的情况下,可使用镜射技术在设备之间共享内容。此外,在内容为活动图像或可连续滑动(slid)的音乐、图片图像的情况下,可使用流技术在设备之间共享内容。此外,在共享内容的设备为智能手机和计算机的情况下,可使用用于发送文件的技术在设备之间共享内容。这样,可根据内容的类型而不同地应用融合服务的类型,可根据用户选择而执行设备的类型,并且设备自动地确定内容的类型,从而可以以最优的方案来共享内容。
作为另一示例,在使用融合服务的过程中,可使用弹出式气泡(bubble pop-up)实施设备和内容之间的有机服务。例如,用户可使用弹出式气泡基于内容的类型选择性地确定屏幕是否彼此同步。例如,在需要设备之间的屏幕的同步的情况下,诸如家庭屏幕或图像,用户可继续维持屏幕的屏幕同步状态。相反地,在不需要屏幕的连续同步的情况下,如在音乐和活动图像中,用户可使用弹出式气泡临时性地停止屏幕同步状态。此外,用户可通过使用弹出式气泡使多个设备成组以整体地共享屏幕,结果,可容易地移除一些成组的设备或容易地添加新的设备。
作为另一示例,在使用融合服务的过程中,可简单地通过使用弹出式气泡来保护隐私。例如,在需要在设备之间屏幕的共享期间的个人多任务工作的情况下,用户可使用弹出式气泡容易地停止屏幕的屏幕同步状态。
图23是根据本发明的实施例的共享屏幕的方法的流程图。
参照图23,在步骤S2301中,第一设备11可显示第一屏幕。当显示第一屏幕时,第一设备11可发送关于第一屏幕的信息至第二设备21,从而由第一设备11和第二设备21显示相同的屏幕。然后,在步骤S2305中,第一设备11可接收切换第一屏幕至第二屏幕的用户输入。如果接收到用户输入,第一设备11可将正显示在第一设备11上的第一屏幕切换至第二屏幕并且显示第二屏幕。此外,在步骤S2307中,第一设备11可执行控制使得在第二设备21上继续显示第一屏幕。
图24是根据本发明的实施例的共享屏幕的方法的流程图。
参照图24,在步骤2401中,第一设备11可显示第一屏幕。在步骤S2403中,第一设备11可发送关于第一屏幕的信息至第二设备21,从而由第一设备11和第二设备21显示相同的屏幕。例如,在步骤2403-1中,第一设备11可压缩当前正显示的第一屏幕并将压缩的第一屏幕发送至第二设备21。
然后,在步骤S2405中,第一设备11可接收选择独立于第一屏幕的弹出式屏幕中包括的UI元素的用户输入。在步骤S2407中,如果接收到用户输入,第一设备11可停止第一设备11与第二设备21显示相同屏幕的同步模式,并执行第一设备11和第二设备21显示独立的屏幕的非同步模式。相反地,在步骤S2403中,如果没有接收到用户输入,第一设备11可继续发送关于第一屏幕的信息至第二设备21,使得当事件发生时第一设备11和第二设备21显示相同的屏幕。事件可例如根据用户输入发生,或可在每个预定周期发生,从而使得屏幕彼此同步。
然后,在步骤S2409中,第一设备11可接收将第一屏幕切换至第二屏幕的用户输入。如果接收到用户输入,第一设备11可将正显示在第一设备11上的第一屏幕切换至第二屏幕并显示第二屏幕。此外,在步骤S2411中,第一设备11可执行控制使得在第二设备21上继续显示第一屏幕。
图25是根据本发明的实施例的共享屏幕的方法的流程图。
参照图25,在步骤S2501中,第一设备11可显示第一屏幕。当显示第一屏幕时,如果实施第一设备11和第二设备21显示相同屏幕的第一连接状态,则第一设备11可发送关于第一屏幕的信息至第二设备21。然后,在步骤S2505中,在第一设备11与第二设备21之间的连接状态切换至第一设备11与第二设备21显示独立屏幕的第二连接状态的状态下,第一设备11可从第二设备21接收请求正在第二设备21上显示的第一屏幕切换至第三屏幕的信息。在步骤S2507中,如果接收到信息,则第一设备11可发送关于第三屏幕的信息至第二设备21,同时第一屏幕继续显示在第一设备11上。
图26是根据本发明的实施例的共享屏幕的方法的流程图。
参照图26,在步骤S2601中,第一设备11可显示第一屏幕,第二设备21可显示第二屏幕。在这种情况下,在步骤S2603中,第一设备11可接收切换第一屏幕至第三屏幕的用户输入。在步骤S2603中,如果在第一模式状态下接收到用户输入,则在步骤S2605中,第一设备11可发送关于第三屏幕的信息至第二设备21,从而使得在第一设备11和第二设备21上显示相同的屏幕。相反地,在步骤S2603中,如果在第二模式状态下接收到用户输入,则在步骤S2607中,第一设备11可执行控制,使得第一设备11显示第三屏幕,第二设备21显示第二屏幕。
图27是根据本发明的实施例的设备100的配置的框图。
参照图27,设备100包括显示单元130、通信单元140和控制单元190。由于上文描述了显示单元130、通信单元140和控制单元190的配置的示例,因而省略其重复描述。
根据实施例,第一设备11的显示单元130可显示第一屏幕。当显示第一屏幕时,第一设备11的通信单元140可发送关于第一屏幕的信息至第二设备21,从而使得第一设备11和第二设备21显示相同的屏幕。
然后,在接收到将第一屏幕切换至第二屏幕的用户输入的情况下,第一设备11的控制单元190可控制第一设备11的显示单元130,从而使得正显示在第一设备11上的第一屏幕切换至将要显示的第二屏幕,并可执行控制使第二设备21继续显示正显示的第一屏幕。
上文描述的根据本发明的各种实施例的共享屏幕的方法可通过程序实施并提供至第一设备11和第二设备21。例如,可提供其上存储有包括用于共享屏幕的方法的程序的非暂时性计算机可读记录介质。
非暂时性计算机可读记录介质并非指示用于短期存储数据的介质,如寄存器、高速缓存器、存储器等,而是指示半永久性存储数据的机器可读介质。例如,上述程序可存储并提供在非瞬时计算机可读记录介质,如光盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。此外,当存储在第一设备11或第二设备21的存储单元150中时,上述程序可作为非暂时性计算机可读记录介质的一个示例来提供。
在上文中,虽然已示出并描述了本发明的实施例,但应理解,本发明不限于所公开的实施例,并可进行修改而不背离本发明的精神和范围。因此,本发明应解释为包括在所附权利要求及其等同物限定的本发明的范围和精神中的所有修改、等同物和替代物。

Claims (15)

1.一种通过第一设备与第二设备共享第一设备的内容的方法,所述方法包括:
在执行应用时,在第一设备上显示第一内容;
基于通过第一设备接收到的第一输入,在第一连接状态下,将与在第一设备上显示的第一内容对应的信息发送至第二设备;
基于通过第一设备接收到的选择独立于在第一设备上显示的第一内容的弹出屏幕中包括的用户界面(UI)元素的第二输入,在第一设备上将第一连接状态改变为第二连接状态,以及
通过第一设备,基于在第二连接状态中接收的用于执行另一应用的第三输入,在第二连接状态下通过第一设备显示与第一设备上第一连接状态中显示的第一内容不同的第二内容,并且将与第一内容对应的信息发送给第二设备,使得基于在第二连接状态下发送的信息,第一内容连续地显示到第二设备,
其中,显示的第二内容包括另一应用的执行屏幕,
其中,第一内容与活动图像相关,
其中,通过使用流方案将第一内容发送到第二设备。
2.如权利要求1所述的方法,
其中,第一连接状态是在第一设备上显示的第一内容被显示在第二设备上的状态,
其中,第二连接状态是与在第一设备上显示的第二内容无关的第一内容被显示在第二设备上的状态。
3.如权利要求1所述的方法,其中,将第一连接状态变化为第二连接状态包括:停止同步模式,在所述同步模式中第一设备和第二设备显示相同的内容,并且执行非同步模式,在所述非同步模式中第一设备和第二设备显示独立的内容。
4.如权利要求1所述的方法,其中,将对应于显示在第一设备上的第一内容的信息发送至第二设备包括压缩显示在第一设备上的第一内容并将压缩的第一内容发送至第二设备。
5.如权利要求1所述的方法,其中,将对应于显示在第一设备上的第一内容的信息发送至第二设备包括压缩显示在第一设备上的第一内容中所包括的图像内容并将压缩的图像内容发送至第二设备。
6.如权利要求1所述的方法,还包括:
从第二设备接收对应于通过第二设备的用户输入的信息;以及
响应于对应于所述用户输入的信息,将对应于与所述用户输入相关的第三内容的信息发送至第二设备。
7.如权利要求1所述的方法,在将对应于显示在第一设备上的第一内容的信息发送至第二设备之前,还包括:
显示代表与第一设备通信的多个第二设备中的每一个的图标;以及
当所显示的图标之一被选择时,在第一连接状态下将第一设备连接至所述多个第二设备中对应于所选图标的一个。
8.如权利要求2所述的方法,其中,所述弹出式屏幕包括指示第一设备与第二设备的内容之间的同步或非同步的通知信息。
9.如权利要求2所述的方法,其中,当第一设备与一组第二设备共享内容时,
所述弹出式屏幕包括以下各项中的至少一个:所述一组第二设备中第二设备的数量、所述一组第二设备的识别信息、以及所述一组第二设备中的第二设备的识别信息。
10.一种用于与第二设备共享内容的第一设备,第一设备包括:
感测单元,被配置为感测用户输入;
显示单元,被配置为在执行应用时显示第一内容;
通信单元;以及
控制单元,被配置为:
控制显示单元在第一设备上显示第一内容;
基于通过感测单元接收的第一输入,在第一连接状态下,通过通信单元将与所述第一设备上显示的所述第一内容对应的信息发送给所述第二设备;
基于通过感测单元接收到的选择独立于在第一设备上显示的第一内容的弹出屏幕中包括的用户界面(UI)元素的第二输入,在第一设备上将第一连接状态改变为第二连接状态,以及
基于在第二连接状态下,通过感测单元接收的用于执行另一应用的第三输入,在第二连接状态下,控制第一设备的显示单元显示与在第一设备上第一连接状态中显示的第一内容不同的第二内容,并且将与第一内容相对应的信息发送到第二设备,使得基于在第二连接状态下发送的信息,第一内容连续地显示到第二设备,
其中,显示的第二内容包括另一应用的执行屏幕,
其中,第一内容与活动图像相关,
其中,通过使用流方案将第一内容发送到第二设备。
11.如权利要求10所述的第一设备,
其中,第一连接状态是在第一设备上显示的第一内容被显示在第二设备上的状态,
其中,第二连接状态是与在第一设备上显示的第二内容无关的第一内容被显示在第二设备上的状态。
12.如权利要求10所述的第一设备,其中,当第一连接状态变化为第二连接状态时,
所述控制单元还被配置为停止同步模式,在所述同步模式中第一设备和第二设备显示相同的内容,并且执行非同步模式,在所述非同步模式中第一设备和第二设备显示独立的内容。
13.如权利要求10所述的第一设备,其中,当所述通信单元将对应于显示在第一设备上的第一内容的信息发送至第二设备时,所述通信单元还被配置为压缩第一内容并将压缩的第一内容发送至第二设备。
14.如权利要求10所述的第一设备,其中,当所述通信单元将对应于显示在第一设备上的第一内容的信息发送至第二设备时,所述通信单元还被配置为压缩第一内容中所包括的图像内容并将压缩的图像内容发送至第二设备。
15.如权利要求10所述的第一设备,其中,所述显示单元还被配置为显示代表与第一设备通信的多个第二设备中的每一个的图标;以及
所述控制单元还被配置为当通过所述感测单元接收到选择所显示的图标之一的用户输入时,在第一连接状态下将第一设备连接至所述多个第二设备中对应于所选图标的一个。
CN201580062292.4A 2014-10-17 2015-10-16 在设备之间共享屏幕的方法及使用该方法的设备 Active CN107003818B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2014-0140804 2014-10-17
KR1020140140804A KR102269481B1 (ko) 2014-10-17 2014-10-17 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
PCT/KR2015/010961 WO2016060514A1 (en) 2014-10-17 2015-10-16 Method for sharing screen between devices and device using the same

Publications (2)

Publication Number Publication Date
CN107003818A CN107003818A (zh) 2017-08-01
CN107003818B true CN107003818B (zh) 2021-05-07

Family

ID=55746964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580062292.4A Active CN107003818B (zh) 2014-10-17 2015-10-16 在设备之间共享屏幕的方法及使用该方法的设备

Country Status (5)

Country Link
US (2) US10353661B2 (zh)
EP (2) EP3825838A1 (zh)
KR (1) KR102269481B1 (zh)
CN (1) CN107003818B (zh)
WO (1) WO2016060514A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD618248S1 (en) 2008-09-23 2010-06-22 Apple Inc. Graphical user interface for a display screen or portion thereof
USD741353S1 (en) * 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD827654S1 (en) * 2013-12-20 2018-09-04 Sony Corporation Wearable player with graphical user interface
KR102269481B1 (ko) 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
CN105808089A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种数据传输方法及第一电子设备
USD768676S1 (en) * 2015-02-11 2016-10-11 Nike, Inc. Display screen with animated graphical user interface
US9583142B1 (en) 2015-07-10 2017-02-28 Musically Inc. Social media platform for creating and sharing videos
USD801348S1 (en) 2015-07-27 2017-10-31 Musical.Ly, Inc Display screen with a graphical user interface for a sound added video making and sharing app
USD801347S1 (en) 2015-07-27 2017-10-31 Musical.Ly, Inc Display screen with a graphical user interface for a sound added video making and sharing app
USD788137S1 (en) * 2015-07-27 2017-05-30 Musical.Ly, Inc Display screen with animated graphical user interface
USD818478S1 (en) * 2016-03-01 2018-05-22 Bobst Mex Sa Display screen or a portion thereof with graphical user interface
USD818479S1 (en) * 2016-03-01 2018-05-22 Bobst Mex Sa Display screen or a portion thereof with graphical user interface
US10572213B2 (en) * 2016-04-04 2020-02-25 Microsoft Technology Licensing, Llc Universal application pinning
KR102570379B1 (ko) * 2016-04-22 2023-08-25 엘지전자 주식회사 스크린 미러링 기능을 제공하는 디스플레이 장치 및 그의 동작 방법
US10482665B2 (en) * 2016-12-16 2019-11-19 Microsoft Technology Licensing, Llc Synching and desyncing a shared view in a multiuser scenario
KR20180080629A (ko) * 2017-01-04 2018-07-12 삼성전자주식회사 전자 장치 및 전자 장치의 어플리케이션 실행 히스토리 표시 방법
USD818037S1 (en) * 2017-01-11 2018-05-15 Apple Inc. Type font
KR102681312B1 (ko) * 2017-02-17 2024-07-04 삼성전자주식회사 화면을 공유하기 위한 전자 장치 및 방법
CN107092453B (zh) * 2017-02-27 2021-02-23 宇龙计算机通信科技(深圳)有限公司 一种屏幕显示控制方法、装置及终端
US10183231B1 (en) * 2017-03-01 2019-01-22 Perine Lowe, Inc. Remotely and selectively controlled toy optical viewer apparatus and method of use
EP3372147A1 (en) * 2017-03-07 2018-09-12 Natus Medical Incorporated User interface for an audiological test system
KR102481894B1 (ko) * 2017-11-06 2022-12-28 삼성전자 주식회사 전자 장치 및 이를 이용한 화면 공유 방법
CN108235089B (zh) * 2018-01-10 2021-02-02 武汉斗鱼网络科技有限公司 线路切换控制方法、存储介质、电子设备及系统
CN109739450B (zh) * 2018-04-08 2020-03-27 北京字节跳动网络技术有限公司 一种交互方法及装置
CN109660842B (zh) 2018-11-14 2021-06-15 华为技术有限公司 一种播放多媒体数据的方法及电子设备
CN111666119B (zh) * 2019-03-06 2023-11-21 华为终端有限公司 Ui组件显示的方法及电子设备
EP3949357A1 (en) * 2019-03-29 2022-02-09 Naxos Finance SA Apparatus for mobile communications having variable dimensions
KR102604202B1 (ko) * 2019-05-28 2023-11-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
USD922422S1 (en) * 2019-06-03 2021-06-15 Abb Power Grids Switzerland Ag Display screen with an animated graphical user interface for power control system
KR102579700B1 (ko) * 2019-06-03 2023-09-18 삼성전자주식회사 데이터를 처리하기 위한 방법 및 이를 지원하는 전자 장치
CN115793950A (zh) * 2019-08-29 2023-03-14 荣耀终端有限公司 一种应用于投屏场景的控制方法以及相关设备
US11061638B2 (en) * 2019-09-17 2021-07-13 The Toronto-Dominion Bank Dynamically determining an interface for presenting information to a user
CN110658963B (zh) * 2019-09-30 2021-04-06 上海沣沅星科技有限公司 人机交互界面的多屏互动系统、设备、介质、交互系统
CN112714214B (zh) * 2019-10-24 2022-05-10 华为终端有限公司 一种内容接续方法、设备、系统、gui及计算机可读存储介质
KR102668429B1 (ko) * 2019-11-15 2024-05-24 삼성전자주식회사 전자장치 및 그 제어방법
CN111045772A (zh) * 2019-12-02 2020-04-21 维沃移动通信有限公司 一种应用分享方法、电子设备及计算机可读存储介质
CN111092990B (zh) * 2019-12-05 2021-08-10 维沃移动通信有限公司 一种应用程序分享方法、电子设备以及存储介质
USD943608S1 (en) * 2020-03-05 2022-02-15 Beijing Dajia Internet Information Technology Co., Ltd Display screen or portion thereof with graphical user interface
US11259420B1 (en) * 2020-03-17 2022-02-22 Deena Copeland Portable retractable display screen
CN111506283B (zh) * 2020-04-26 2023-10-27 西安万像电子科技有限公司 图像显示方法、装置及系统
CN111913628B (zh) * 2020-06-22 2022-05-06 维沃移动通信有限公司 分享方法、装置和电子设备
CN111935150B (zh) * 2020-08-11 2023-07-21 联想(北京)有限公司 内容共享实现方法、装置及电子设备
CN114915813B (zh) * 2021-02-09 2023-04-07 海信视像科技股份有限公司 显示设备及其控制方法
CN113268211B (zh) * 2021-05-13 2023-05-12 维沃移动通信(杭州)有限公司 图像获取方法、装置、电子设备及存储介质
CN115515001B (zh) * 2021-06-22 2023-10-24 荣耀终端有限公司 屏幕镜像方法、装置、设备及存储介质
KR20230008954A (ko) 2021-07-07 2023-01-17 삼성디스플레이 주식회사 표시 장치 및 복수의 표시 장치들의 제어 방법
US20240281191A1 (en) * 2021-07-07 2024-08-22 Lg Electronics Inc. Display device, control method and control system therefor
CN113590067A (zh) * 2021-07-28 2021-11-02 深圳创维-Rgb电子有限公司 投屏控制方法、系统、装置及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924823A (zh) * 2009-06-16 2010-12-22 Lg电子株式会社 移动终端和控制移动终端的操作的方法
CN102123197A (zh) * 2010-01-05 2011-07-13 Lg电子株式会社 移动终端、移动终端系统和控制该移动终端的操作的方法
CN103294428A (zh) * 2012-03-02 2013-09-11 联想(北京)有限公司 一种信息显示方法及电子设备
CN103379221A (zh) * 2012-04-23 2013-10-30 Lg电子株式会社 移动终端及其控制方法
CN103534679A (zh) * 2012-12-12 2014-01-22 华为终端有限公司 媒体流共享的方法及终端
US8819268B1 (en) * 2013-06-19 2014-08-26 Google Inc. Systems and methods for notification of device mirroring

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
ATE229717T1 (de) * 1999-06-18 2002-12-15 Swisscom Mobile Ag Übermittlung und darstellung von videodaten
US6823525B1 (en) * 2000-01-21 2004-11-23 Ati Technologies Inc. Method for displaying single monitor applications on multiple monitors driven by a personal computer
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
TW578128B (en) * 2003-01-02 2004-03-01 Toppoly Optoelectronics Corp Display driving device and method
TWI221745B (en) * 2003-07-04 2004-10-01 Benq Corp Display apparatus with a function of retaining an image and method of retaining an image
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
WO2008041313A1 (fr) * 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
JP2010520310A (ja) * 2007-03-07 2010-06-10 インフィニティ・ディスカバリー・インコーポレイテッド シクロパミンラクタム類似体及びその使用方法
US9647780B2 (en) * 2007-08-24 2017-05-09 Invention Science Fund I, Llc Individualizing a content presentation
US20090290753A1 (en) * 2007-10-11 2009-11-26 General Electric Company Method and system for gaze estimation
JP2009100246A (ja) * 2007-10-17 2009-05-07 Hitachi Ltd 表示装置
AU2009233940A1 (en) * 2008-04-07 2009-10-15 Pioneer Hi-Bred International, Inc. Use of virus-induced gene silencing (VIGS) to down-regulate genes in plants
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
WO2010025557A1 (en) * 2008-09-03 2010-03-11 Smart Technologies Ulc Method of displaying applications in a multi-monitor computer system and multi-monitor computer system employing the method
US9641884B2 (en) * 2008-11-15 2017-05-02 Adobe Systems Incorporated Method and device for establishing a content mirroring session
JP5658547B2 (ja) * 2009-12-29 2015-01-28 シャープ株式会社 ネットワークシステム、通信方法、および通信端末
KR101680344B1 (ko) * 2010-05-06 2016-11-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US9646046B2 (en) * 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
KR20120015931A (ko) * 2010-08-13 2012-02-22 삼성전자주식회사 휴대용 전자 장치 및 그것의 디스플레이 미러링 방법
CN103069832B (zh) * 2010-08-24 2016-08-17 Lg电子株式会社 用于控制内容共享的方法和利用其的便携式终端与内容共享系统
KR101702563B1 (ko) * 2010-10-15 2017-02-03 삼성전자 주식회사 직관적인 선택에 기초해 디바이스에 액세스하는 방법 및 장치
KR101738527B1 (ko) * 2010-12-07 2017-05-22 삼성전자 주식회사 모바일기기 및 그 제어방법
KR101757870B1 (ko) * 2010-12-16 2017-07-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9226020B2 (en) * 2011-05-03 2015-12-29 Lg Electronics Inc. Electronic device and method for operating the same
US9829970B2 (en) * 2011-06-27 2017-11-28 International Business Machines Corporation System for switching displays based on the viewing direction of a user
EP2587342A1 (en) * 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
US9436650B2 (en) * 2011-11-25 2016-09-06 Lg Electronics Inc. Mobile device, display device and method for controlling the same
US8947380B2 (en) * 2012-01-31 2015-02-03 Blackberry Limited Electronic device including touch-sensitive display and method of facilitating input at the electronic device
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
KR20130106684A (ko) * 2012-03-20 2013-09-30 삼성전자주식회사 홈 스크린 공유 방법
US20140017639A1 (en) * 2012-04-06 2014-01-16 Mark Siedlik Automation trainer for training technician, engineers and tradesmen to program a programmable automation controller
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
US9047244B1 (en) * 2012-09-11 2015-06-02 Google Inc. Multi-screen computing device applications
KR101963125B1 (ko) * 2012-09-20 2019-04-02 삼성디스플레이 주식회사 표시 모듈
US9646196B2 (en) * 2012-11-09 2017-05-09 Sony Corporation Image processing device, image processing method, and program
JP6183003B2 (ja) * 2012-11-15 2017-08-23 株式会社リコー 伝送システム
US20140176393A1 (en) * 2012-12-25 2014-06-26 Kabushiki Kaisha Toshiba Information processing apparatus, user assistance method and storage medium
US9197734B2 (en) * 2013-01-04 2015-11-24 Samsung Electronics Co., Ltd. Apparatus and method for sharing screens from multiple mobile devices
KR102012049B1 (ko) * 2013-01-18 2019-08-19 주식회사 엘지유플러스 단말에서의 화면 공유 방법 및 화면 공유가 가능한 단말
EP2760177B1 (en) * 2013-01-29 2019-03-13 BlackBerry Limited Method, Apparatus and Computer storage media for Suspending Screen Sharing During Confidential Data Entry
KR102097640B1 (ko) * 2013-03-08 2020-04-06 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101992340B1 (ko) * 2013-03-27 2019-06-25 삼성디스플레이 주식회사 윈도우 및 표시 장치
TW201445527A (zh) * 2013-05-30 2014-12-01 Hon Hai Prec Ind Co Ltd 畫面監看及廣播系統及方法
TW201447393A (zh) * 2013-06-06 2014-12-16 Wintek Corp 基板結構以及包含其的觸控面板
JP6319970B2 (ja) * 2013-08-20 2018-05-09 キヤノン株式会社 画像通信装置およびその制御方法
KR102133531B1 (ko) * 2013-08-23 2020-07-13 삼성전자주식회사 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
KR20150031098A (ko) * 2013-09-13 2015-03-23 삼성전자주식회사 화면 미러링 방법 및 그에 따른 디스플레이 기기
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기
KR102047498B1 (ko) * 2013-09-24 2019-11-21 삼성전자주식회사 노킹 입력에 기초하여 객체를 공유하는 시스템 및 방법
US20160323542A1 (en) * 2013-12-16 2016-11-03 Samsung Electronics Co., Ltd. User terminal device and method for providing interaction service therefor
KR102181238B1 (ko) * 2014-02-12 2020-11-23 삼성디스플레이 주식회사 유기 발광 표시 장치 및 유기 발광 표시 장치의 제조 방법
US9530450B2 (en) * 2014-03-18 2016-12-27 Vixs Systems, Inc. Video system with fovea tracking and methods for use therewith
CN104954847B (zh) * 2014-03-25 2018-04-10 扬智科技股份有限公司 视频流处理装置、镜像视频显示方法及显示装置
KR102195276B1 (ko) * 2014-05-21 2020-12-24 엘지디스플레이 주식회사 유기발광소자
KR102139676B1 (ko) * 2014-05-27 2020-07-30 엘지디스플레이 주식회사 유기발광소자
TWI549330B (zh) * 2014-06-04 2016-09-11 群創光電股份有限公司 有機發光二極體顯示器
US9602191B2 (en) * 2014-06-27 2017-03-21 X Development Llc Streaming display data from a mobile device using backscatter communications
TWI616808B (zh) * 2014-06-30 2018-03-01 緯創資通股份有限公司 分享顯示畫面的方法及裝置
JP6566616B2 (ja) * 2014-08-19 2019-08-28 キヤノン株式会社 通信装置、その制御方法、およびプログラム
KR102207914B1 (ko) * 2014-10-10 2021-01-27 삼성디스플레이 주식회사 유기 발광 표시 장치
KR102269481B1 (ko) * 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
JP6378606B2 (ja) * 2014-10-20 2018-08-22 キヤノン株式会社 通信装置、その制御方法、およびプログラム
US20160143066A1 (en) * 2014-11-19 2016-05-19 Sony Corporation Method and system for displaying web applications of a first communication device on a second communication device by using ban
KR102345610B1 (ko) * 2015-02-27 2021-12-30 삼성전자주식회사 스크린 미러링 서비스 제공장치 및 방법
US9794733B2 (en) * 2015-03-25 2017-10-17 Sony Corporation System, method and device for transferring information via body coupled communication from a touch sensitive interface
CN106161763B (zh) * 2015-04-24 2020-02-21 联想(北京)有限公司 控制方法、装置及电子设备
US10055888B2 (en) * 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924823A (zh) * 2009-06-16 2010-12-22 Lg电子株式会社 移动终端和控制移动终端的操作的方法
CN102123197A (zh) * 2010-01-05 2011-07-13 Lg电子株式会社 移动终端、移动终端系统和控制该移动终端的操作的方法
CN103294428A (zh) * 2012-03-02 2013-09-11 联想(北京)有限公司 一种信息显示方法及电子设备
CN103379221A (zh) * 2012-04-23 2013-10-30 Lg电子株式会社 移动终端及其控制方法
CN103534679A (zh) * 2012-12-12 2014-01-22 华为终端有限公司 媒体流共享的方法及终端
US8819268B1 (en) * 2013-06-19 2014-08-26 Google Inc. Systems and methods for notification of device mirroring

Also Published As

Publication number Publication date
KR102269481B1 (ko) 2021-06-28
EP3825838A1 (en) 2021-05-26
EP3207460A1 (en) 2017-08-23
KR20160045370A (ko) 2016-04-27
WO2016060514A1 (en) 2016-04-21
US10353661B2 (en) 2019-07-16
US20190272142A1 (en) 2019-09-05
CN107003818A (zh) 2017-08-01
US10635379B2 (en) 2020-04-28
US20160110152A1 (en) 2016-04-21
EP3207460A4 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
CN107003818B (zh) 在设备之间共享屏幕的方法及使用该方法的设备
CN108845782B (zh) 连接移动终端和外部显示器的方法和实现该方法的装置
US20180356971A1 (en) Method of controlling a list scroll bar and an electronic device using the same
US10146402B2 (en) User terminal device for displaying different content for an application based on selected screen and display method thereof
US20170235435A1 (en) Electronic device and method of application data display therefor
KR102284108B1 (ko) 전자 장치가 외부 디스플레이 장치와 화면을 공유하는 방법 및 전자 장치
US20170185373A1 (en) User terminal device, and mode conversion method and sound system for controlling volume of speaker thereof
US10798153B2 (en) Terminal apparatus and server and method of controlling the same
CN108958635B (zh) 显示结束效果的移动设备及其控制方法
US20180349001A1 (en) Automatic Home Screen Determination Based on Display Device
US20140173446A1 (en) Content playing apparatus, method for providing ui of content playing apparatus, network server, and method for controlling of network server
AU2014287980B2 (en) Portable device for providing combined UI component and method of controlling the same
US20160004425A1 (en) Method of displaying graphic user interface and electronic device implementing same
US10353988B2 (en) Electronic device and method for displaying webpage using the same
US10592099B2 (en) Device and method of controlling the device
US11051147B2 (en) Electronic apparatus and method of outputting content by the electronic apparatus
EP2846518A1 (en) Device and method for identifying data
EP3704861B1 (en) Networked user interface back channel discovery via wired video connection
WO2015014138A1 (zh) 一种显示框显示的方法、装置和设备
KR20140034025A (ko) 휴대단말에서 표시장치별 윈도우 레이아웃 제공 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant