CN1379868A

CN1379868A - 个人移动通信装置

Info

Publication number: CN1379868A
Application number: CN00814368.4A
Authority: CN
Inventors: 杰里米·迈克尔·伯斯凯尔; 亚历山大·劳福勒; 马休·约翰·博莱因; 杰弗里·约瑟夫·帕特摩
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 1999-10-18
Filing date: 2000-10-16
Publication date: 2002-11-13
Also published as: WO2001029642A1; JP2003512798A; EP1222518B1; DE60010915D1; CA2386407C; AU7807300A; EP1222518A1; DE60010915T2; CA2386407A1

Abstract

提供一种人机接口装置,其中用户接口的操作取决于用户的检测到的物理和位置属性。如果用户正在移动,则用户接口切换到只输出声音。检测到的位置属性也用于改变用户接口的操作。还提供一种包括这种人机接口装置的移动会议装置。在这种情况下,根据检测到的位置可以调节振铃音或可视显示器。

Description

个人移动通信装置

技术领域

本发明涉及一种装置，其中根据物理和位置环境改变移动个人装置的用户接口。特别是本发明涉及一种移动电话会议装置。在远程通信会议(电话会议)设备中，关于一″虚拟会议空间″产生图像。处于多个彼此远离的位置并利用不同类型接入装置访问该设备的个人可以模仿传统会议的方式彼此交互。当用户正利用电话会议设备时，物理和位置属性能被用来改变用户的表示(representation)。检测到的物理和位置属性还可被用于改变电话会议装置的接口。

背景技术

单个用户在虚拟会议空间显示器中由计算机产生的用户表示，即″化身″(或″图标″)表示。这些可以来源于实况或从存储器取出的用户的视频图像，但通常它们是数字产生的表示。通常，每个用户能够从来自特征菜单的虚拟空间中选择他或她化身的外表。可选择的，每个单独的用户也许能从他自己的观点选择每个其它用户的化身如何出现。会议空间的其它特征例如会议空间的组成部分的颜色和形状也可以由用户选择。

根据本发明，提供一种人机接口装置包括：包括可视显示器装置和音频输出装置的用户接口装置；和用于检测用户物理属性的物理检测器；其中当用户不静止时，可视显示器装置被设置用来抑制通过可视显示器装置的输出。

在一优选实施例中，该装置进一步包括用于检测用户位置属性的位置检测器，其中用户接口装置的操作取决于检测到的用户位置属性。

最好，音频输出装置的输出取决于用户的位置属性，最好可视显示器装置的输出取决于用尸的位置属性。

根据本发明的另一个方面，提供一种人机接口装置包括：包括可视显示器装置和音频输出装置的用户接口装置；用于检测用户物理属性的物理检测器；和用于检测用户位置属性的位置检测器，其中用户接口装置的操作取决于检测到的用户位置属性。

最好，音频输出装置的输出取决于用户的位置属性，最好可视显示器装置的输出取决于用户的位置属性。

根据本发明，还提供一种包括这种人机接口装置的移动会议装置。

附图说明

现在将参照附图仅通过举例描述本发明的实施例，其中：

图1表示具有人/机接口单元的网络，这些人/机接口经各自的客户装置服务于电话会议用户；

图2是显示在图1接口单元上的电话会议表示；

图3a是显示图1中包括物理和位置传感器的客户装置的方框图；

图3b是图3a所示装置的逻辑操作的功能方框图；和

图4到7是图1接口单元上示出的用户表示实例，其中用户的表示取决于使用图3a所示装置收集的位置和物理数据。

具体实施方式

图1表示服务四个用户1，2，3，4(未示出)的网络，该网络允许这四个用户在虚拟电话会议中交互。每个用户具有各自的人/机接口单元21，22，23，24，该单元包括视频和/或音频设备使用户看到和/或听到虚拟会议空间中正在发生什么。接口单元包括用户输入装置(即，音频输入、键盘或小键盘、计算机″鼠标”等等)使用户能够提供输入到虚拟会议空间。每个接口单元21，22，23，24连接到各个客户装置11，12，13，14，这些客户装置提供用户和主服务器10之间的接口，主服务器10控制会议空间的操作。服务器10具有作为进一步输入的虚拟现实(VR)定义存储器30，该存储器30保持着定义该虚拟会议空间的永久性数据(本说明书中还称为会议空间定义单元)。对会议空间的控制由客户装置11，12，13，14和服务器10之间的交互执行。显示控制功能可以发生在服务器10中，或显示控制功能依据客户装置中可用的功能而分布在客户装置11，12，13，14中。客户装置11，12，13，14和服务器10之间的链路可以是永久的硬线连接、虚拟连接(用户感觉其是永久的，但是通过远程通信提供商的共用线路提供)、或拨号连接(即时可用，基于一次一清算来提供)，并且可以包括例如到一个移动装置的无线电链路。服务器10除服务器功能之外还具有类似于客户装置11，12，13，14的功能，但如图所示服务器10只用于服务器功能。

在显示器装置上出现的表示会议空间的图像实例如图2所示。在此例中，用户2，3和4分别由化身42，43和44表示。

回到图1，响应其中一个用户(例如，用户1)通过他相应的用户接口21的输入，客户装置11将这些输入传送到主服务器10，主服务器10根据会议空间定义单元30控制要显示在人机接口单元22，23，24中其它用户的屏幕上的图像，以表示用户1通过接口装置21输入的活动。举一个非常简单的实例，用户1第一次建立与会议空间的连接时的行为由客户装置11变换并由服务器10转换成用户1进入会议空间的表示，接着该表示被传递到各个客户12，13，14以表示成用户1的化身移入显示设备22，23，24的视野内。

可以由用户1通过他相应的客户装置11或者由会议空间中的每个接收用户2，3，4选择单个用户1在虚拟空间的表示方式，例如化身在年龄、性别、头发颜色等等方面的表现，每个接收用户2，3，4可以依照他自己的要求选择一个化身来表示用户1。同样，虚拟会议空间的某些部分可以在会议空间定义单元30集中定义，而其它的方面可以由每个个人客户装置11，12，13，14独立于其它人定义。这种定义可以包括色彩设计、单个用户1，2，3，4在虚拟会议空间中的相对位置等等。

客户装置11是一移动装置，在这里描述的本发明实施例中，移动装置11是无线掌上型计算机。在此说明书中，术语移动装置是指可以被用户到处携带或佩带的所有计算装置，当用户到处移动和从事其它任务时可以使用这些计算装置。该移动装置不同于那些被携带到一位置并且在用户静止时使用的便携式装置。

但是，移动装置可能有或没有可视显示器的能力。即使本装置的确具有这种能力，但用户1可能正在走动或跑动或被分散注意力而不会注意到可视显示器。如图4所示用户1的表示被显示给其他用户2，3，4，因此其它的用户察觉到用户1在接通状态，而用户1不具有到电话会议的视觉链路。

对于利用移动装置的用户，除客户装置11不具备与其它客户装置12，13，14同样复杂的输入输出能力的事实之外，还存在其它方面的服务需要考虑。隐私可能是一个问题。有可能在通话期间别人移进或移出用户周围。为了使会议中的其它用户知道潜在的隐私问题，如图5所示改变用户的化身以指示用户处于接通状态，但是用户可能不处于隐私状态。通过利用预定键或键序列经客户11传送信号到服务器10，用户1可以手工地指示有隐私问题。装置11具有一音频输入，替换利用手工输入键或键序列来指示用户不处于隐私状态，可以利用已知的讲话者识别算法分析收到的音频信号以确定是否检测到除用户以外的人的讲话。装置11可以同时安装有视频输入，在这样情况下可以利用公知的图像分类算法分析经视频输入收到的视频信号，例如以检测捕获图像中是否检测到皮肤或检测捕获图像中的面孔数目。这种图像分类的结果可能用来向服务器10指示用户不处于隐私状态并相应地改变用户的化身。

另一个与利用无线电链路接入虚拟会议空间的移动用户有关的问题是服务质量(QoS)。固定电话网为每个话音信道使用64kb/s，而移动网络为每个话音信道使用9.6kb/s。从客户装置11传送到服务器10的平均比特数/秒由服务器10监视。根据服务器10从客户装置11收到的平均比特数/秒，用户1的化身改变成或多或少的不透明。因此表示用户1化身的不透明与其它用户2，3，4察觉的QoS有关。在本发明的此实施例中，化身越不透明，察觉的QoS越好。

对于移动用户，对虚拟会议空间的注意力会随着目前正执行的′真实世界′任务而改变。例如，当在火车上旅行时，用户可能被要求向检票员出示车票，或者某人可能向用户询问时间。如果用户正在走动、跑动或者由于某种原因不能保持静止，则对虚拟会议空间的注意力将更受到限制。如果用户处于噪声环境中，则对虚拟会议空间的注意力也会少于非常安静环境下的注意力。参照图3a和3b更详细地讨论检测用户的物理和位置属性。

利用客户装置11上经音频输入收到的音频信号分析音频环境。用户也有可能利用预定的键或键序列以便通过客户装置11向服务器10指示他正被分散注意力或在移动中。图6显示用户在线但被分散注意力的表示，图7显示用户在线但处于移动中的表示。

用户接口单元21包括图3所示的物理和位置传感器50，和可视显示器60和音频输入/输出装置61。物理和位置传感器50经串行接口51连接到客户装置11。低加速度检测器52利用ADXL202测量两个方向上一个低力量的加速度。高加速度检测器53利用可从Measurement Specialities Incorporated获得的ACH04-08-05(可以参考互联网上的通用资源定位符(URL)https：//www.msiusa.com)测量三个方向上一个高力量的加速度。提供一个利用罗盘的方向检测器54，该方向检测器给出客户装置方向的绝对量度。使用HMC2003，可从Honywell(URL http：//www.ssechoneywell.com)获得。罗盘是一个对装置的长、宽和高的场灵敏的三轴磁强计。利用ENC压电振动陀螺仪(以注册商标GYROSTAR销售的零件号S42E-2)提供方向和速度检测器55，其可从Murata制造有限公司(URL http：//www.murata.com)获得。陀螺仪测量角速度，给出每个旋转轴两个方向上的速度和方向(即提供六种测量)。加速度检测器52，53、方向检测器54和速度和方向检测器55经复用器(MUX)56连接到微控制器57，在此正如后面要描述的对输出进行分析。

提供全球位置检测器58，其利用从GPS卫星接收信号的全球定位系统(GPS)接收机来测量装置的绝对位置。

GPS提供可以在GPS接收机中处理的特殊编码的卫星信号，使接收机能够计算位置、速度和时间。额定GPS操作星座包括每天沿地球轨道运行两圈、在地球上方11,000英里的24个卫星。(经常存在多于24个工作卫星，因为要发射新的卫星来代替较旧的卫星。)卫星轨道每天一次重复基本相同的地面轨迹(正如地球在卫星下面的转动)。存在六个轨道平面(每个中具有额定的四个卫星)，它们是等间隔的(相隔60度)并关于赤道平面倾斜大约五十五度。此星座为用户提供从地球上的任一点看得见的五到八个卫星。GPS卫星沿地球轨道运行以传送他们精确的位置和海拔。GPS接收机获得该信号，然后测量信号发射和接收之间的间隔以确定接收机和卫星之间的距离。一旦接收机已经计算至少3个卫星的数据，则可以确定它在地表上的位置。

用于本发明此实施例的接收机是Garmin GPS35单元(例如可从英国的Lowe电子有限公司获得)。GPS信号不能在建筑物内部传播，因此还提供一个利用局域信标(LAB)(未示出)的本地位置检测器59，其使用在建筑物内部已知位置的低功率418MHz AM无线电发射机(例如来自RF解决方案的CR91Y、CR72P、CR73Q或CR74R)。因为不需要视线连接，可以使用无线电或红外发射机，虽然无线电提供更为强壮的解决方案。

一旦基于″蓝牙″无线电的系统可用，则还提供一种适当的解决方案。蓝牙是用于无线连接的标准，目的是取代便携式用户装置，例如便携式电话机、膝上型计算机、个人数字助理、数字摄象机和许多其他产品之间的电缆。蓝牙版本1.0规范于1999年7月达成协议，预期第一批产品在2000年中期投入商用。

微控制器57的软件经MUX 56收集来自检测器52，53，54，55的传感器数据，配置该MUX 56以通过模拟端口依次读取每个装置。全球位置检测器58的输出经串行端口连接读取，本地位置检测器59的输出连接到在微控制器57上的数字输入。还提供一个位置数据库64，由微控制器57访问以确定位置名。

图3b是显示物理和位置检测器50的逻辑操作的功能方框图。在微控制器57的软件中实现的位置代理62使用由全球位置检测器58和本地位置检测器59收集的位置数据、分析此数据并使该分析可由客户装置11得到。位置代理62还从物理代理63接收由方向检测器54和速度和方向检测器55测量的关于速度和方向的信息。物理代理也在微控制器57的软件中实现。

位置代理确定GPS是否可用，和全球位置检测器58测量的全球位置是否基于来自三个或三个以上卫星的信号。本地位置检测器59检测来自LAB的信号，每个信号具有唯一的标识符。位置代理62访问位置数据库64以确定与所接收LAB标识符相关的位置名。位置代理62必须能确定以下的内容：

.该装置在内部或外部？如果收到少于三个GPS信号则确定该装置在内部。

.该装置正在移动？来自全球位置检测器58的测量速度(如果该装置在外部)和经物理代理63测量的速度用来确定装置是否在移动。

.装置的位置。如果该装置在外部，经全球位置检测器58测量经度和纬度和/或利用本地位置检测器59和位置数据库64确定位置名。

.移动方向。这可以通过全球位置检测器和/或从物理代理收到的方向数据确定。

物理代理63分析物理传感器信息并使该信息可用于位置代理62。物理代理用来确定以下的用户属性。

.站着。

.走着。

.坐着。

.步调(速度)。

.加速度。

.震动。

物理数据的复杂本性使得简单规则的利用不可靠。本发明此实施例的物理代理63使用隐藏马尔可夫模型(HMM)以根据检测器52，53，54，55，56的输入提供上述的确定。可以在英国电信技术期刊1988年4月第6卷第2期S.J.Cox的″用于自动语音识别的隐藏马尔可夫模型：理论和应用″中找到HMM实施的良好描述(应用于语音识别，但原理相同)。在本发明的其它实施例中，物理代理有可能分析从作为接口单元21一部分提供的视频和音频输入/输出装置接收的视频和音频信息。

客户装置11具有可经物理代理63得到的物理信息，和可经位置代理62得到的位置信息。音频和/或视觉信息用于移动装置中，以为用户提供信息报警和用于电话会议的行为。立体音频还被用于信息报警和空间性电话会议，以便更自然的呈现给用户。

该装置用于信息报警的接口和用于电话会议的接口取决于用户的当前位置和物理环境(即，用户站着/走着/坐着等等)。如果用户不能使用可视显示器，则使用音频接口。如果用户很可能不可接收(例如跑着)，则装置可以将报警转移到消息传送业务，该业务能够在确定用户再次可接收时通知用户。在包括音频输入和分析的本发明的实施例中，也有可能配置在用户可佩带或手持装置上的音频输出，以匹配用户所处真实世界空间的音响效果、环境噪声级等等。所用接口的本质(例如移动装置报警或′振铃音′的声音)可以根据检测到的用户位置改变。例如，如果位置代理62确定用户正沿Knightsbridge走着(著名的商店′Harrods′位于此地)，移动电话手机可以使用一个振铃音，例如讲″在Harrods购物″的话音。如果位置代理62确定用户在教堂，则电话可以使用一支适当的乐曲。与根据检测到的位置改变用户的音频接口相似，根据确定的位置可以改变可视显示器。视频接口的屏幕风格可以做成反映位置的主题。例如，如果用户正浏览网页，并沿博物馆走着，则在用户移动到不同位置时所看到的网页变为反映博物馆区域。

在本发明的实施例中，该实施例包括对从作为接口单元21一部分提供的视觉和音频输入/输出装置收到的视频和音频信息进行分析，有可能使用标准的语音和视频分析算法以为用户提供更复杂的接口。有用于识别音频流内的语音的标准算法，因此有可能制造这样一种移动电话手机，以便在检测到用户目前正与某人通话时自动转移或改变振铃音。还可以利用标准算法例如皮肤检测或脸孔检测来分析视频信息，例如此信息可与音频分析一起用于推断用户是否处于隐私状态。

Claims

1.一种人机接口装置，包括

用户接口装置，包括可视显示器装置和音频输出装置；和

用于检测用户物理属性的物理检测器；

其中当用户不静止时，可视显示器装置被设置用来抑制通过可视显示器装置的输出。

2.根据权利要求1的装置，进一步包括用于检测用户位置属性的位置检测器，其中用户接口装置的操作取决于检测到的用户位置属性。

3.根据权利要求2的装置，其中音频输出装置的输出取决于用户的位置属性。

4.根据权利要求2或权利要求3的装置，其中可视显示器装置的输出取决于用户的位置属性。

5.一种人机接口装置，包括

用户接口装置，包括可视显示器装置和音频输出装置；

用于检测用户物理属性的物理检测器；和

用于检测用户位置属性的位置检测器，其中用户接口装置的操作取决于检测到的用户位置属性。

6.根据权利要求5的装置，其中音频输出装置的输出取决于用户的位置属性。

7.根据权利要求5或权利要求6的装置，其中可视显示器装置的输出取决于用户的位置属性。

8.一种移动会议装置，包括根据前面任何一个权利要求的人机接口装置。