CN101826897A

CN101826897A - 实现移动终端与pc交互的方法、装置和系统

Info

Publication number: CN101826897A
Application number: CN201010172630A
Authority: CN
Inventors: 周昊; 马震宇; 王冲; 李毅
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2010-05-12
Filing date: 2010-05-12
Publication date: 2010-09-08
Anticipated expiration: 2030-05-12
Also published as: CN101826897B; WO2011140774A1

Abstract

本发明公开了一种实现移动终端与PC交互的方法、装置和系统，均可由移动终端和PC分别启动协议栈和应用程序，并在移动终端和PC之间建立Wi-Fi连接，实现应用连接；经过高层协议交互和协商，实现移动终端与PC之间的应用过程。本发明方法、装置和系统，实现了移动终端与PC之间的无线应用交互。

Description

实现移动终端与PC交互的方法、装置和系统

技术领域

本发明涉及通信领域，具体涉及基于Wi-Fi实现移动终端与PC交互的方法、装置和系统。

背景技术

Wi-Fi技术的诞生和普及在近距离无线传输应用领域产生了不可估量的作用，已经有越来越多的电子设备集成了Wi-Fi模块和天线，以利用802.11x标准在一个大范围内进行互相识别、组网以及实现高带宽传输。PC和个人移动终端(如手机等)目前均具备对这种标准的良好支持。

传统PC的输入和输出装置大多还都是有线输入和输出，有一部分设备已经实现了无线输入和输出，例如无线鼠标、无线键盘甚至无线摄像头等，但是这些无线设备大都具有以下局限性：

功能特定：例如键盘只能支持基本ASCII码输入，鼠标只能支持滑动以及左、右键输入等；

形式分离：例如键盘和鼠标必须是两个设备，扫描仪和摄像头也是两个设备，用于输出的显示器和音箱也是两个设备；

必须有特定的传输端口：例如键盘、鼠标需要USB、PS2等端口插接，用于输出的显示器需要显卡VGA端口等，音箱需要声卡的输出端口等；

不方便应急使用：例如在用户键盘损坏之后无法及时实现以PC为对象的击键输入(PC的操作系统输入法提供的软键盘除外)等。

可见，移动终端目前尚无法与PC实现有效的无线应用交互。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于Wi-Fi实现移动终端与PC交互的方法和装置，以实现移动终端与PC之间的无线应用交互。

本发明的另一目的在于提供一种基于Wi-Fi实现移动终端与PC交互的系统，同样实现移动终端与PC之间的无线应用交互。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于Wi-Fi实现移动终端与PC交互的方法，该方法包括：

移动终端和PC分别启动协议栈和应用程序，并在移动终端和PC之间建立Wi-Fi连接，实现应用连接；经过高层协议交互和协商，实现移动终端与PC之间的应用过程。

所述协商过程包括：

PC和移动终端进行主/从协商、输出能力协商、输入能力协商、输出数据格式协商、输入数据格式协商。

所述输出能力协商的过程包括：由PC发起输出能力协商，移动终端记录PC的输出能力；或，由移动终端发起输出能力协商，由PC记录移动终端的输出能力；

所述输入能力协商的过程包括：由移动终端发起输入能力协商，PC记录移动终端的输入能力；或，由PC发起输入能力协商，由移动终端记录PC的输入能力。

所述输出数据格式协商的过程包括：由PC发起输出数据格式协商，移动终端记录PC的输出数据格式；

所述输入数据格式协商的过程包括：由移动终端发起输入数据格式协商，PC记录移动终端的输入数据格式。

所述应用过程包括以下至少之一：

移动终端侧输入；PC侧输出；

或，PC侧输入；移动终端侧输出。

所述移动终端侧输入的过程包括：

移动终端的协议栈将击键编码成特定格式数据并向PC发送，由PC接收到击键数据并模拟击键输入；和/或，

移动终端的协议栈根据协商过程中的输入能力协商和数据格式协商结果对采集到的数据进行多媒体编码压缩，并将完成处理的数据向PC发送；PC接收所述数据并由协议栈根据协商的数据格式进行解码，再将解码数据发送至相应的虚拟设备驱动。

所述PC侧输出的过程包括：

PC将捕获的数据根据输出数据编码格式压缩编码，再将完成处理的数据发送到移动终端；移动终端根据数据格式对来自PC的数据进行解码，再对完成处理的数据进行相应处理。

一种基于Wi-Fi实现移动终端与PC交互的装置，该装置包括Wi-Fi连接模块、高层协议栈、输入/输出数据处理器；其中，

所述Wi-Fi连接模块，用于与相连的对端装置之间建立Wi-Fi连接，以支持基于Wi-Fi的应用连接；

所述高层协议栈，用于进行与相连的对端装置之间的高层协议交互和协商；

所述输入/输出数据处理器，用于实现与相连的对端装置之间的应用过程。

所述协商包括：

与相连的对端装置之间进行的主/从协商、输出能力协商、输入能力协商、输出数据格式协商、输入数据格式协商。

进一步包括数据压缩处理模块、多媒体处理模块、安全处理模块；其中，

所述多媒体处理模块，用于根据所述协商得到的多媒体信息对相关的多媒体数据进行包括编码、解码，格式转换在内的多媒体处理；

所述数据压缩处理模块，用于在带宽有限的情况下对数据进行包括压缩和解压缩在内的处理；

所述安全处理模块，用于支持保密数据的传输。

该装置设置于手机中。

该装置设置于PC中，进一步包括虚拟设备驱动，用于以虚拟设备的形式控制操作系统识别并管理多媒体输入设备。

一种基于Wi-Fi实现移动终端与PC交互的系统，该系统包括均设置有Wi-Fi连接模块、高层协议栈、输入/输出数据处理器的手机和PC，PC中还设置有虚拟设备驱动；其中，

手机和PC中的所述Wi-Fi连接模块，用于在手机和PC之间建立Wi-Fi连接，以支持基于Wi-Fi的应用连接；

手机和PC中的所述高层协议栈，用于在手机和PC之间进行高层协议交互和协商；

手机和PC中的所述输入/输出数据处理器，用于实现手机和PC之间的应用过程。

手机和PC中进一步均包括数据压缩处理模块、多媒体处理模块、安全处理模块；其中，

所述安全处理模块，用于支持保密数据的传输。

可见，本发明基于Wi-Fi实现移动终端与PC交互的方法、装置和系统，均能够实现移动终端与PC之间的无线应用交互。

附图说明

图1为本发明一实施例的实现移动终端与交互的系统图；

图2为本发明一实施例的Wi-Fi-I/O协商流程图；

图3为本发明一实施例的移动终端侧输入流程图；

图4为本发明一实施例的PC侧输出流程图；

图5为本发明一实施例的移动终端侧实现与PC交互的流程图；

图6为本发明一实施例的实现移动终端与交互的流程图。

具体实施方式

总体而言，可以基于Wi-Fi实现移动终端与PC之间的I/O交互。另外，还可以利用Wi-Fi的演进技术(例如802.11a/b/g/n系列推进)，以增强无线接入范围和穿越能力；再有，如果需要应用到的Wi-Fi I/O高层协议被工业化，那么可以形成具体的通信标准，该标准所支持的移动终端可能包括手机以及其它带有Wi-Fi甚至是其它制式的移动终端，该移动终端可作为PC的输入/输出终端。

而且，可以在Wi-Fi的接入安全上做进一步考虑，通过Wi-Fi本身的加密技术以及高层协议对数据进行加密以达到保密的目的，禁止其它非法用户随意操控PC。

下面，仅以基于Wi-Fi实现手机与PC之间的交互为例进行描述。

本发明主要涉及以下技术：

Wi-Fi区域网络的构建和身份识别技术；

手机和PC进行I/O交互的高层协议；

个人电脑操作系统虚拟事件技术；

音频、视频采集和传输技术；

信息加密/解密技术。

具体应用中，可以利用带Wi-Fi功能的手机作为PC的多功能I/O设备为用户提供以下服务和功能：

手机为PC提供无线键盘输入服务；

手机为PC提供无线鼠标输入服务；

手机为PC提供无线传输图片扫描输入服务；

手机为PC提供无线传输的麦克风声音输入服务；

手机为PC提供无线图像捕获输入服务；

手机为PC提供无线显示输出服务；

手机为PC提供无线声音输出服务。

并且，可以如图1所示分别在PC和手机中设置以下功能实体：

Wi-Fi连接模块；

输入/输出数据处理器；

多媒体处理模块；

高层协议栈；

安全处理模块；

数据压缩处理模块。

另外，在PC中还要设置虚拟设备驱动。

上述的各功能实体协同工作，从而达到利用手机为PC提供输入输出服务的目的，例如：用户使用手机键盘和鼠标等为PC提供键盘输入和鼠标输入；同时，PC也可以使用手机的扬声器、屏幕等实现自身的声音和图像输出。

下面，针对上述的各功能实体进行详细说明。

1.Wi-Fi连接模块

Wi-Fi连接模块实现手机和PC的连接，其中Wi-Fi的接入点(Access Point)可以由PC提供也可以由手机提供，以便能顺利搜索该Access Point并且进行连接。连接时可以自由选择使用的加密方式。连接完成之后一个底层的点对点无线链路即实现。在所组成的局域网络中，PC和手机都分配到唯一的、不同的局域网IP地址。

在连接成功之后，PC侧运行服务器端服务，等待手机侧进行高层协议接入。高层协议接口可基于TCP/IP协议族的通用Socket应用接口实现，高层协议接入的主要目的在于使PC和手机之间能够进行输入/输出方案的协商及数据传输。

2.高层协议栈

本发明中涉及到的高层协议只是一个初步设想的概念，业界尚未有相关的协议标准支持。高层协议(以下简称“协议”)用于支持基于Wi-Fi的手机进行无线I/O设备的建立连接流程、身份认证、主/从协商、能力协商、传输的数据类型协商、数据格式协商、传输控制、撤销连接流程等。详细内容将从以下几个方面进行阐述：

建立连接流程：在Wi-Fi无线链路构建的TCP/IP连接之上，由Input受体(例如对PC而言，是由手机提供输入的，所以PC为Input受体)建立一个基于TCP或者UDP协议的Socket侦听，并将该Socket侦听发布在某特定端口号上，等待Input发送体(与Input受体的概念相对应，如手机)接入。Input发送体获取局域网段内侦听方的IP地址、所采用的传输层协议和端口号，并进行连接，在连接完毕后发送握手消息，在对方回应握手消息后连接过程结束。

身份认证：连接结束之后，Input发送体向连接的对端发送TCP或者UDP原始数据，该原始数据的格式将受到高层协议约束，数据内容为本次Wi-Fi接入的目的消息，如Wi-Fi I/O。如果Input受体的本次连接同样为了达到这一目的，则Input受体发送确认消息，之后双方将交互设备类型、设备型号等参数。

主/从协商：可以约定好双方在传输中所扮演的角色，即Input受体和Input发送体，以及Output受体和Output发送体等。

能力协商：主从协商完成之后可以进行能力协商。当采用单向传输时，Input受体即Output发送体(其实可以交换过来，PC也能作为手机的Input发送体)。Input发送体将自身的输入能力集向Input受体发送，例如是否支持键盘输入、是否支持鼠标输入、是否支持摄像头输入等。之后进行Output能力协商，即Output发送体将自身所支持的输出能力集向Output受体发送，例如是否支持显示器输出、是否支持声音输出等。能力协商完成之后，在双方的协议栈内部分别维护己方和对方的能力集列表，后续所提供的服务能力完全按照此表进行。

数据传输协商：决定能力集中涉及到的输入/输出的各种类型数据的格式、数据率、类型等详细参数。例如键盘事件、鼠标事件的格式，视频输入/输出所采用的视频格式，以及音频输入/输出所采用的音频格式等。数据协商还包含各类型数据的详细信息，如视频数据还需要附加包含视频尺寸、视频色彩类型、编码格式等。

传输控制：负责在传输过程中对传输速率的控制、以及实现特定消息的发送和接收等。

撤销连接流程：当用户需要解除连接时，首先断开高层协议连接并知会通信双方，之后解除Wi-Fi的底层链路。

3.输入/输出数据处理器中的输入数据处理器

在手机侧，当手机打开Wi-Fi I/O功能之后，运行在手机侧的程序就开始在设定的输入模式下对用户的输入进行检测。

键盘模式：手机将检测用户的每一次普通键击键，并且将其转换为协议所能识别的数据信息，通过Wi-Fi发送到PC。

鼠标模式：手机将检测用户的每一次方向键击键或者滑轮、光学鼠标事件，并且将其转换为协议所能识别的数据信息，通过Wi-Fi发送到PC。

摄像头模式：如果手机具有摄像头设备，在此模式下，手机对摄像头捕获的动态图像信息进行压缩编码并且转换为协议所支持的格式，再通过Wi-Fi发送到PC。

扫描仪模式：如果手机具有摄像头设备，在此模式下，手机对摄像头捕获的静态图像信息进行压缩编码并且转换为协议所支持的格式，再通过Wi-Fi发送到PC。

麦克风模式：在该模式下，手机对麦克风设备采集到的语音数据进行压缩编码再转换为协议支持的格式，再通过Wi-Fi发送到PC。

在PC侧的输入数据处理器的作用主要是：在高层协议开始工作之后，对Input发送体发送过来的数据进行处理，识别输入类型并对Input受体进行控制。

对于键盘输入，在PC上应当使用能受虚拟设备驱动控制的虚拟按键(Virtual Key技术或者Key HOOK技术)对PC进行模拟键盘输入。

对于鼠标输入，在PC上应当使用能受虚拟设备驱动控制的虚拟鼠标(Virtual Mouse技术或者Mouse HOOK技术)对电脑进行模拟鼠标输入。

对于其它多媒体类型的输入，可以在PC上通过包含虚拟设备驱动的虚拟驱动程序来进行。虚拟驱动程序可以控制操作系统识别并管理标准的多媒体输入设备，但虚拟驱动程序的数据来源是应用层而并不是操作系统甚至操作系统的更低层次。上述这类虚拟驱动程序可以提供read接口，使其它调用该接口的应用程序认为是在从硬件获取数据，而事实上数据是来自Input受体所建立的TCP或者UDP端口。如虚拟摄像头，其捕获的图象实际上是通过Wi-Fi从手机侧获得的。

4.输入/输出数据处理器中的输出数据处理器

可以将PC的常规输出数据采集下来并且转换成可通过Wi-Fi传输以及手机可以识别并且可以实际输出的数据流。比如进行显示器截取、声音截取等，并将这些数据进行多媒体处理之后通过Wi-Fi通信模块发送至手机。

在手机侧，手机针对接收到的数据解析数据类型，之后调用相应的驱动接口以实现输出：

显示器输出：将接收到的动态图像通过手机屏幕进行输出，图像大小可缩放、卷动等。

声音输出：将接收到的声音信息通过手机的扬声器或者耳机进行输出，可调节音量。

其它输出：只要是人体能够感受到并且手机本身可以产生的事件，都可以使用手机进行输出，如PC在某个状态之下需要报警，则可以通过手机振动器进行振动输出等。

5.多媒体处理模块

这个子模块同样是部署在手机侧和PC侧，主要用于根据数据协商阶段得到的多媒体信息对相关的多媒体数据进行编码、解码，格式转换等。考虑到传输的效率问题，多媒体处理模块往往需要和数据压缩处理模块协同工作，以保证传输双方在多媒体数据传输过程中的数据正确性、连贯性和真实性。

6.数据压缩处理模块和安全处理模块

数据压缩处理模块能够在带宽有限的情况下对数据进行压缩和解压缩，以确保输入数据率。安全处理模块主要用于保密数据的传输，可以不启用。

针对前述描述，Wi-Fi-I/O协商的操作流程可以表示如图2所示。由图2可见，PC侧和手机侧首先可以进行Wi-Fi连接建立，之后PC侧建立Socket侦听，再由手机侧发起Socket连接并由PC侧进行Socket连接确认。之后，PC侧和手机侧进行身份认证以及主/从协商，并由PC侧发起输出能力协商，手机侧则记录PC的输出能力；还由手机侧发起输入能力协商，PC侧则记录手机的输入能力。并且，PC侧还可以发起输出数据格式协商，手机侧则记录PC的输出数据格式；还由手机侧发起输入数据格式协商，PC侧则记录手机的输入数据格式。

此后，PC侧与手机侧即可进入工作状态，并且能够进行输入/输出数据和控制信息的交互。并且，任何一方可以发起结束工作状态的通知，对方则关闭相应的高层链接。

另外，针对前述描述，手机侧的输入流程可以表示如图3所示。由图3可见，无论用户应用手机进行普通键盘击键还是方向键击键，手机侧的协议栈均可将击键编码成特定格式数据并向PC侧发送，由PC侧接收到击键数据并模拟击键输入。同理，无论用户应用手机扫描图片还是录入语音，手机侧的协议栈均能够根据输入能力协商和数据格式协商结果对采集到的数据进行多媒体编码压缩，并将完成处理的数据向PC侧发送；PC侧则能够接收所述数据并由协议栈根据协商的数据格式进行解码，再将解码数据发送至相应的虚拟设备驱动，以保证应用程序能够从虚拟设备驱动中获得数据。

再有，针对前述描述，PC侧的输出流程可以表示如图4所示。由图4可见，无论PC侧捕获屏幕图像还是声音数据，均可根据输出数据编码格式压缩编码；当然，还可以同时考虑帧率和分辨率。之后，PC侧可以将完成处理的数据发送到手机。

手机则可以接收来自PC侧的数据，并根据数据格式进行解码，再对完成处理的数据进行相应的显示图像或播放声音等处理。

由于在实现交互的过程中通常以手机侧作为主导，因此，下面以手机提供键盘输入和显示输出为例，简单描述手机侧的操作流程。

参见图5，图5为本发明一实施例的移动终端侧实现与PC交互的流程图，该流程包括以下步骤：

步骤501：开启手机Wi-Fi并连接到PC接入点名称(APN)。

具体而言，用户启动手机并启动手机上的Wi-Fi连接，Wi-Fi连接查找到PC的APN并以此连接到PC。

步骤502：手机启动Wi-Fi I/O软件并和PC服务器端实现I/O连接。

如果手机和PC均开启了各自的输入/输出数据处理器，那么手机和PC可以实现上述I/O连接；并且，手机可以在完成I/O连接之后通知用户。

步骤503：输入输出模式选择。

具体而言，用户可以选择手机所提供的输入/输出模式：键盘输入/显示输出，手机则将用户所选择的模式通知给PC侧；当PC侧反馈表示同意通过手机进行键盘输入和/或显示输出时，手机则可将该情况通知给用户。

步骤510：选择键盘输入。

步骤511：在手机上击键，PC响应手机的击键。

具体而言，在手机上的信号将通过Wi-Fi传递到PC，PC则对获知的击键做出响应。进入步骤530。

步骤520：选择显示输出。

步骤521：PC将要显示的图像传递到手机以进行显示。

具体而言，PC上要显示的图像可以通过Wi-Fi传递到手机，由手机显示图像。

步骤530：结束Wi-Fi I/O功能，退出应用。

如：过了一段时间，用户终止了手机的输入/输出功能，手机进而将该情况通知给PC，手机和PC结束交互。之后，手机与PC之间的Wi-Fi连接断开，流程结束。

总体而言，为了基于Wi-Fi实现移动终端与PC交互的技术，需要分别在手机侧和PC侧安装相应的应用程序、协议栈以及虚拟设备驱动。并且，在启动手机和PC中的协议栈和应用程序后，手机和PC之间可以建立Wi-Fi连接以及应用连接；在高层协议交互和协商之后，手机与PC之间可以基于Wi-Fi实现包含输入和输出在内的应用交互。

当用户选择结束会话时，手机与PC断开应用层连接和Wi-Fi连接。

需要说明的是，在输出能力协商过程中，也可以由移动终端发起输出能力协商，由PC记录移动终端的输出能力；在输入能力协商过程中，也可以由PC发起输入能力协商，由移动终端记录PC的输入能力。并且，具体的应用过程也可以包括PC侧输入；移动终端侧输出。

由以上所述流程可见，本发明基于Wi-Fi实现移动终端与PC交互的思路可以表示如图6所示。参见图6，图6为本发明一实施例的实现移动终端与交互的流程图，该流程包括以下步骤：

步骤610：移动终端和PC分别启动协议栈和应用程序，并在移动终端和PC之间建立Wi-Fi连接，实现应用连接。

步骤620：经过高层协议交互和协商，实现移动终端与PC之间的应用过程。

综上所述可见，无论是方法、装置还是系统，本发明基于Wi-Fi实现移动终端与PC交互的技术，均可实现移动终端与PC之间的无线应用交互。

具体而言，由于利用了手机的多媒体和多元输入能力以及便携性的特点，再结合Wi-Fi技术特有的远距离、大带宽的无线性能，因此本发明能够为PC的输入/输出方式以及人机交互方式提供崭新的操作思路，并且具有以下优点：

部署方便：考虑到手机和PC的普及性，手机用户不需要购买无线输入装置就可以使用无线输入。

通信距离长：Wi-Fi超长的有效传输距离保证了用户不需要接近PC就能自如操控；并且与传统无线鼠标、键盘不同的是，用户在户外甚至在异地(需要依靠更广范围的无线链路，如WiMAX支持)也能操控PC。

设备集中：不需要为不同的输入需求购买若干个不同的设备，所有输入和输出只需要一台手机即可实现。

即时特殊设备支援能力：针对没有配置扫描仪、摄像头、麦克风等特殊设备的PC，只需要使用手机(目前的手机基本上都含有摄像头、麦克风等标准配置)就可以为PC提供临时的特殊设备支持，使用户能够即时享用这些特殊设备所带来的服务。

再有，还可以利用PC强大的CPU处理更加复杂的运算，相对而言手机只作为客户端，仅用于输入所需的操作指令，在简化用户操作的同时强化并扩展了手机所能实现的功能。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于Wi-Fi实现移动终端与PC交互的方法，其特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，所述协商过程包括：

3.根据权利要求2所述的方法，其特征在于，

所述输入能力协商的过程包括：由移动终端发起输入能力协商，PC记录移动终端的输入能力；或，由PC发起输入能力协商，由移动终端记录PC的输入能力；

4.根据权利要求1至3任一项所述的方法，其特征在于，所述应用过程包括以下至少之一：

移动终端侧输入；PC侧输出；

或，PC侧输入；移动终端侧输出。

5.根据权利要求4所述的方法，其特征在于，所述移动终端侧输入的过程包括：

6.根据权利要求4所述的方法，其特征在于，所述PC侧输出的过程包括：

7.一种基于Wi-Fi实现移动终端与PC交互的装置，其特征在于，该装置包括Wi-Fi连接模块、高层协议栈、输入/输出数据处理器；其中，

8.根据权利要求7所述的装置，其特征在于，所述协商包括：

9.根据权利要求7所述的装置，其特征在于，进一步包括数据压缩处理模块、多媒体处理模块、安全处理模块；其中，

所述安全处理模块，用于支持保密数据的传输。

10.根据权利要求7至9任一项所述的装置，其特征在于，该装置设置于手机中。

11.根据权利要求7至9任一项所述的装置，其特征在于，该装置设置于PC中，进一步包括虚拟设备驱动，用于以虚拟设备的形式控制操作系统识别并管理多媒体输入设备。

12.一种基于Wi-Fi实现移动终端与PC交互的系统，其特征在于，该系统包括均设置有Wi-Fi连接模块、高层协议栈、输入/输出数据处理器的手机和PC，PC中还设置有虚拟设备驱动；其中，

13.根据权利要求12所述的系统，其特征在于，手机和PC中进一步均包括数据压缩处理模块、多媒体处理模块、安全处理模块；其中，

所述安全处理模块，用于支持保密数据的传输。