CN103246355A - 在线输入法评测方法、系统及装置 - Google Patents

Abstract

本发明提出了一种在线输入法评测方法和系统。该方法包括以下步骤：对评测参数进行配置；根据配置的评测参数从互联网中抓取评测词汇；将所述评测词汇转换为评测拼音，并将所述评测拼音输入到待测在线输入法中以对所述待测在线输入法进行测试；以及将所述待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。本发明实施例通过对输入法结果的自动评测，不仅提供了评测的准确性，而且无需人工干预，极大地节约了人力成本。此外，评测词汇来自于互联网，具有庞大的词汇量，且可定期更新，因此扩大了评测范围及数据的覆盖度。

Description

在线输入法评测方法、系统及装置

技术领域

本发明涉及输入法技术领域，特别地涉及一种在线输入法评测方法、系统及装置。

背景技术

在线输入法又被称为云输入法，是依托于云计算技术的输入法。其与传统输入法最明显的区别在于，无需本地安装，完全靠服务器运算支持，具有更强大语言模型和词库，能大幅提升输入准确率。

对于输入法产品，效果评测是质量保证的一个重要手段，需要使用某种通用的，被广泛承认的标准来对产品效果进行评价。传统人工评价的方法评测的成本太高，周期过长，评价结果也会随着评价人的变化和时间的推移而不同，这使得评价结果不可重复，缺乏客观性。在这种评测方式下，研究人员无法迅速得知产品改进的效果，延长了产品的开发周期。

实现输入法效果的自动评测系统，需要解决评测指标的设定、评测数据的选择和自动化评测方法的实现等几个关键问题。其中，评价指标的确立是很重要的，一套好的的评测指标，应该能够全面、客观、准确得衡量和体现产品质量，让开发、测试人员及时获取产品相关指标，了解产品优缺点，并能够以此为参考采取下一步措施。评测数据的选取也是同样重要的一个环节，应该做到全面、客观、合理有效，另外就是要“符合应用场景”，即选取贴合用户使用情景，符合用户使用行为的数据，这样尽可能的保证我们的评测结论与最终用户的使用感觉是一致的。自动评测是一种通过自动化方式实现对产品质量进行衡量的评测手段，与人工评测不同，它需要测试人员预先确定自动比较的规则、预期结果等等。

目前，在线输入法的自动评测的准确度还不够，因此还有待于提高。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，特别是解决目前在线输入法自动评测准确度不高的缺陷。

本发明实施例第一方面提出了一种在线输入法评测方法，包括以下步骤：对评测参数进行配置；根据配置的评测参数从互联网中抓取评测词汇；将所述评测词汇转换为评测拼音，并将所述评测拼音输入到待测在线输入法中；以及将所述待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。

本发明实施例第二方面还提出了一种在线输入法评测系统，包括服务器及至少一个客户端，其中，所述至少一个客户端，用于向所述服务器发送测试请求，并对评测参数进行配置，以及接收并显示所述服务器生成的评测结果；所述服务器，用于根据所述至少一个客户端配置的评测参数从互联网中抓取评测词汇，并将所述评测词汇转换为评测拼音，并将所述评测拼音输入到待测在线输入法中，以及将所述待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。

本发明实施例第三方面还提出了一种在线输入法评测服务器，包括：接收模块，用于接收客户端配置的评测参数；词汇生成模块，用于根据配置的评测参数从互联网中抓取评测词汇；转换模块，用于将所述评测词汇转换为评测拼音；测试模块，用于将所述评测拼音输入到待测在线输入法中以对所述在线输入法进行测试；以及评价模块，用于将所述待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。

在本发明的实施例中，可根据词汇在互联网中出现的频次(即频次)以及竞品(即市场中的其他主流在线输入法)对待测在线输入法进行评测。且本发明实施例可对在线输入法的准确率、词汇覆盖率、缺词率、垃圾率、词序合理性等评测指标进行评测。

本发明实施例通过对输入法结果的自动评测，不仅提供了评测的准确性，而且无需人工干预，极大地节约了人力成本。此外，评测词汇来自于互联网，具有庞大的词汇量，且可定期更新，因此扩大了评测范围及数据的覆盖度。本发明实施例每分钟可处理大于6000词条，因此大幅地提高了评测速度。本发明实施例的在线输入法评测方法及系统可用于产品调研和开发阶段，便于开发人员及时了解产品效果，促进产品迭代改进，实现了产品质量的提升。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的在线输入法评测方法流程图；

图2为本发明实施例参数配置界面示意图；

图3为本发明实施例基于词频的自动评测方法流程示意图；

图4为本发明实施例基于词频的自动评测示意图；

图5为本发明实施例基于竞品的输入法效果自动评测方法流程示意图；

图6为本发明实施例在线输入法评测系统的结构图；

图7为本发明实施例评测参数配置页面示意图；

图8为本发明实施例评测结果示意图；以及

图9为本发明实施例在线输入法评测服务器结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

如图1所示，为本发明实施例的在线输入法评测方法流程图。在本发明实施例中，在评测指标的选择上综合了输入法业内指标、用户需求、在线输入法产品特点等情况，可以从多维度对产品效果进行衡量，从而为用户提供一份全面、准确的检验标准。该方法包括以下步骤：

步骤S101，测试人员对评测参数进行配置。在本发明的一个实施例中，对于不同待测在线输入法产品，由于其功能，定位的差异性，会具有不同的评价指标，因此本发明实施例可允许测试人员通过设置界面对于指标进行配置选择。其中，评测参数包括词语类参数、数据库类参数、评测指标类参数中的一种或多种。具体地，词语类参数可为短语、长句、简拼、热词、新词、突发词、随机词、口语、书面语、百科词汇、中英文混合短语、诗歌、桌面等，其中，词语类参数可从互联网中传播的内容获取。数据库类参数可为细胞词库，其中细胞词库可从其他在线输入法中获取。在本发明的实施例中，所示其他在线输入法为竞争产品的在线输入法，例如QQ云输入法、搜狗云输入法、阿里云输入法等。

如图2所示，为本发明实施例参数配置界面示意图。本发明实施例中的各项指标数据均从互联网传播内容中获取，并定期更新。这样，在保证评测数据的合理有效性基础上，也使之更为符合在线输入法的应用场景和用户使用行为，从而使得我们的评测结论与最终用户的使用感觉更为贴近。例如，对于“热词”而言，本发明实施例的评测系统会定时地抓取各大门户“热榜”，“热搜词”等资源，进行去重、过滤等策略后转换为评测词汇；对于“细胞词库”而言，可抓取主流输入法的专业词库资源，进行去重、过滤等策略后转换为评测数据；对于“短语”而言，可将互联网语料经过切词，频次排序后获取；再例如，对于“口语”而言，可获取即时通讯软件聊天记录，经过切词，频次排序后获取。

从以上描述可以看出，本发明实施例的评测词汇可根据测试人员的测试标准根据配置的评测参数从互联网中抓取，因此本发明实施例中的评测词汇具有很高的合理性和有效性，因此从根本上保证了在线输入法评测的准确性。

步骤S102，根据配置的评测参数从互联网中抓取评测词汇。如上所述的，如果测试人员在配置的评测参数中选择了热词，则本发明实施例的评测系统会定时地抓取各大门户“热榜”，“热搜词”等资源，进行去重、过滤等策略后转换为评测词汇。同样地，对于其他词语类参数，例如新词、突发词、随机词、口语、书面语、百科词汇、中英文混合短语、诗歌、桌面等均可采用类似的方式获得。

步骤S103，将评测词汇转换为评测拼音，并将评测拼音输入到待测在线输入法中以对待测在线输入法进行测试。在本发明的一个实施例中，自动评测是一种通过自动化方式实现对产品质量进行衡量的评测手段，与人工评测不同，它需要测试人员预先确定自动比较的规则、预期结果或者是竞品对象等等。具体地，可包括基于词频的评测，基于其他在线输入法(即竞品在线输入法)的效果自动评测、基于标注语料的自动评测及基于规则的自动评测等。在以下的实施例中将对这些自动评测方法进行详细的介绍。

步骤S104，将待测在线输入法的生成结果与评测词汇进行比较以形成评测结果。在本发明的实施例中，可对在线输入法的准确率、词汇覆盖率、缺词率、垃圾率、词序合理性等十余种评测指标进行评测，并生成相应的评测结果，以及将这些评测结果显示给测试人员。

如图3所示，为本发明实施例基于词频的自动评测方法流程示意图。该方法包括以下步骤：

步骤S301，从互联网中抓取文本内容。由于在线输入法可在大部分的常用网站中使用，因此用户输入内容中的高频词代表了用户的输入预期。本发明即利用了该思路，将用户的输入文本经过分词等处理后按照频次排序，高频词即为输出首选结果，将其与待评测产品的输出结果相似程度进行比较，即可获取产品评价和分析数据。在本发明的具体实施例中，文本内容可从用户的输入日志中获取。

步骤S302，对文本内容进行分词，并对分词后的词汇进行频次统计。本发明实施例可通过多种方式对文本内容进行分词，将其划分为具体的词汇。同时，统计这些词汇出现的频次，并对出现的频次进行排序，以确定这些词汇中哪些词汇的出现频次最高。

步骤S303，将出现频次最高的词汇作为评测词汇，并将评测词汇转换为拼音、词语或词频文件等。

步骤S304，将评测词汇对应的拼音输入到待测在线输入法中，并向待测在线输入法发送拼音请求，并记录待测在线输入法产生的结果。通常，该待测在线输入法会产生五个候选结果。

步骤S305，判断出现频次最高的评测词汇是否在候选结果中的首位或是否在候选结果的范围中，以生成对应的评测结果。在本发明的实施例中，可根据评测词汇是否出现在待测在线输入法的结果首位和/或结果范围之内来确定待测在线输入法的首选准确率和/或词汇覆盖率。在本发明的实施例中，大量的用户输入内容即代表了在特定拼音输入下用户最想要的候选结果，因此利用该频次最高的评测词汇就可以自动评价首选准确率和覆盖率等指标。例如，如果该频次最高的评测词汇未出现在候选结果中的首位，则说明该待测在线输入法对于该评测词汇来说首选不准确，这样通过统计所有评测词汇对应的首选结果就可以获得该待测在线输入法对应的首选准确率。同样地，如果该评测词汇未出现在候选结果的范围内，则说明该待测在线输入法对于该评测词汇来说未覆盖该评测词汇，这样通过统计所有评测词汇对应的覆盖结果就可以获得该待测在线输入法对应的覆盖率指标。

如图4所示，为本发明实施例基于词频的自动评测示意图。其中，左图为用户输入词汇及输入频次，以此可以推导出(中图)拼音与高频词对应关系。例如，“姜文”和“视频”的输入频次最高，因此将“姜文”和“视频”作为评测词汇。“姜文”和“视频”对应的拼音分别为“jiangwen”和“shipin”。例如如图4所示，“姜文”和“视频”为拼音“jiangwen”和“shipin”的频次最高的评测词汇，则应在输入法首词位置(右图)，因此如果“降温”为候选结果中的首位，则说明首选不准确。

如图5所示，为本发明实施例基于竞品的输入法效果自动评测方法流程示意图。该方法包括以下步骤：

步骤S501，选择一种或多种其他在线输入法(即竞品输入法)。在本发明的一个实施例中，例如QQ云输入法、搜狗云输入法、阿里云输入法等。

步骤S502，将评测词汇输入竞品的输入法并记录竞品的输入法的生成结果。

步骤S503，将待测在线输入法的生成结果与所述一种或多种其他在线输入法的生成结果进行比较以确定待测在线输入法的缺词率。在本发明的实施例中，可使用竞品在线输入法的输出为参考，用以衡量自身产品结果的准确性和合理性。本次发明的具体方法为，以衡量输入法“缺词率”指标为例，评测人员会以市面上通用的输入法结果来做参考。如果某个拼音，其他输入法能够共同出现的一个候选词，却不在被测输入法中候选集合中，那么这就是一个缺失的有效候选词。通过这种方式，可以自动获取一个基本的缺词率指标，并可进一步提交缺词候选集供测试人员进行人工审核。同理，在对“垃圾词”指标的衡量上，如果待评测产品的候选词没有在任意同类产品内出现，在假设判断该词为“垃圾词”，生成词表，供测试人员进行人工审核。

例如，如果在搜狗云输入法、QQ云输入法和阿里云输入法中，“feijishishi”候选词都包括“飞机失事”一词，且在首位，但待测在线输入法并不包含该词，而在待测在线输入法中的首位为“飞机石狮”，因此可推测该词为缺失的有意义词汇，需要确认并添加，从而可以统计待测在线输入法的缺词率。同样地，在本发明的另一个实施例中，待测在线输入法中“飞机石狮”在任意产品中均不存在，其为垃圾词的可能性较高，需要确认并删除，因此就可以对垃圾词进行统计。

在本发明的一个实施例中，测试人员在评价待测在线输入法前，可以先人工标注出一批符合要求的语料或者结果，并用其来与实际产品结果进行相似程度的比较，以此获取产品评价和分析数据。同理，也可以在竞品上使用同样的方式获取评测结果。具体地，基于标注语料的自动评测方式主要通过人工为拼音标注出相应结果，之后自动去对比与人工标注结果的异同，从而对待测在线输入法进行评测。

在本发明的一个实施例中，还可基于规则进行自动评测。例如根据评测词汇在待测在线输入法的生成结果中的位置对所述评测词汇进行评分，并对所有评测词汇的评分进行统计以确定所述在待测在线输入法的词序合理性。如果评测词汇的评分低于设定的阈值，则将对应的评测词汇提示给测试人员。在本发明的实施例中，测试人员可为质量标准制定评分细则，通过自动化的手段来验证产品效果与规则的匹配程度，以此获取产品评价和分析数据。例如，对于本发明实施例的“词序合理性”指标可采用这种方式。测试人员以高频词表为参考，对候选结果制定了打分规则，如果高频词出现在首选的位置上，打5分，次位置上，4分，依次递减。同样地，如果次高频词出现在第二位，则打5分，偏离一位，则减1分。对于同音词采用该规则进行完全比较。如果单个拼音分数低于阈值的，需要重点关注。整体分值累积后，就可以对输入法的词序效果有基本的认知，也便于与旧版本、竞品进行对比。

如图6所示，为本发明实施例在线输入法评测系统的结构图。该在线输入法评测系统包括服务器100及至少一个客户端200。其中，至少一个客户端200用于向服务器发送测试请求，并对评测参数进行配置，以及接收并显示所述服务器生成的评测结果。如图7所示，为本发明实施例评测参数配置页面示意图。测试人员在如图页面发起评测任务，可进行评测参数设定、竞品选择，也支持用户自行上传标注语料文件(即预先标注拼音和预期结果)。任务配置完成后，线输入法评测系统将运行自动评测过程。其中，评测参数包括词语类参数、数据库类参数、评测指标类参数中的一种或多种。具体地，词语类参数从所述互联网中传播的内容获取，所述数据库类参数从其他在线输入法中获取。

其中，服务器100用于根据至少一个客户端200配置的评测参数从互联网中抓取评测词汇，并将评测词汇转换为评测拼音，并将评测拼音输入到待测在线输入法中，以及将待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。在评测任务执行完成后，用户可逐条查看评测结果详情，包括输入、输出、预期等，并支持分类查找。如图8所示，为本发明实施例评测结果示意图。

在本发明的一个优选实施例中，至少一个客户端200通过浏览器访问服务器100提供的测试页面。本发明实施例的系统以服务器的形式为测试人员提供评测交互服务，测试人员通过客户端的浏览器访问服务器页面使用评测服务。由于采用服务器形式而没有采用传统客户端软件的方式，可以使得服务器统一地定期地抓取和更新评测数据，避免多用户重复获取，减少网络压力。此外，还便于服务器收集各个测试人员的评测数据，提供趋势分析等功能。并且，在无需测试人员升级客户端软件的情况下，服务器可直接升级服务，加快产品迭代速度。

在本发明的一个实施例中，服务器100还用于对待测在线输入法的各项指标进行统计以生成自动评测结果报表，并将自动评测结果报表发送至对应的客户端200。服务器100还可以使用各个指标分值乘以相应权重，从而为各产品计算测试总分。

在本发明的一个实施例中，服务器100还用于从互联网中抓取文本内容，并对文本内容进行分词和对分词后的词汇进行频次统计，以及将出现频次最高的词汇作为评测词汇，其中，服务器100根据评测词汇是否出现在待测在线输入法的结果首位和/或结果范围之内来确定待测在线输入法的首选准确率和/或词汇覆盖率。

在本发明的一个实施例中，服务器100还用于接收测试人员通过客户端200选择的一种或多种其他在线输入法，并将评测词汇输入所述一种或多种其他在线输入法，以及将待测在线输入法的生成结果与所述一种或多种其他在线输入法的生成结果进行比较以确定所述在线输入法的缺词率。

在本发明的一个实施例中，服务器100还用于根据所述评测词汇在待测在线输入法的生成结果中的位置对所述评测词汇进行评分，且在评测词汇的评分低于设定的阈值时，将对应的评测词汇通过对应的客户端提示给测试人员，以及对所有评测词汇的评分进行统计以确定所述在待测在线输入法的词序合理性。

如图9所示，为本发明实施例在线输入法评测服务器结构图。该在线输入法评测服务器100包括接收模块110、词汇生成模块120、转换模块130、测试模块140、评价模块150。其中，接收模块110用于接收客户端配置的评测参数。词汇生成模块120用于根据配置的评测参数从互联网中抓取评测词汇。转换模块130用于将所述评测词汇转换为评测拼音。测试模块140用于将评测拼音输入到待测在线输入法中以对在线输入法进行测试。评价模块150用于将待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。

在本发明的一个实施例中，评价模块150还用于对待测在线输入法的各项指标进行统计以生成自动评测结果报表，并将自动评测结果报表发送至对应的客户端200。

在本发明的一个实施例中，词汇生成模块120进一步包括抓取子模块和频次统计子模块。其中，抓取子模块用于从互联网中抓取文本内容。频次统计子模块用于对文本内容进行分词和对分词后的词汇进行频次统计，以及将出现频次最高的词汇作为评测词汇，其中，评价模块150根据评测词汇是否出现在所述待测在线输入法的结果首位和/或结果范围之内来确定待测在线输入法的首选准确率和/或词汇覆盖率。

在本发明的一个实施例中，接收模块110还用于接收测试人员通过客户端200选择的一种或多种其他在线输入法；测试模块140还用于将评测词汇输入所述一种或多种其他在线输入法；评价模块150还用于将待测在线输入法的生成结果与所述一种或多种其他在线输入法的生成结果进行比较以确定在线输入法的缺词率。

在本发明的实施例中，可根据词汇在互联网中出现的频次(即频次)以及竞品(即市场中的其他主流在线输入法)对待测在线输入法进行评测。且本发明实施例可对在线输入法的准确率、词汇覆盖率、缺词率、垃圾率、词序合理性等评测指标进行评测。

本发明实施例通过对输入法结果的自动评测，不仅提供了评测的准确性，而且无需人工干预，极大地节约了人力成本。此外，评测词汇来自于互联网，具有庞大的词汇量，且可定期更新，因此扩大了评测范围及数据的覆盖度。本发明实施例每分钟可处理大于6000词条，因此大幅地提高了评测速度。本发明实施例的在线输入法评测方法及系统可用于产品调研和开发阶段，便于开发人员及时了解产品效果，促进产品迭代改进，实现了产品质量的提升。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (18)

1.一种在线输入法评测方法，其特征在于，包括以下步骤：

对评测参数进行配置；

根据配置的评测参数从互联网中抓取评测词汇；

将所述评测词汇转换为评测拼音，并将所述评测拼音输入到待测在线输入法中以对所述待测在线输入法进行测试；以及

将所述待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。

2.如权利要求1所述的在线输入法评测方法，其特征在于，所述评测参数包括词语类参数、数据库类参数、评测指标类参数中的一种或多种。

3.如权利要求2所述的在线输入法评测方法，其特征在于，所述词语类参数从所述互联网中传播的内容获取，所述数据库类参数从其他在线输入法中获取。

4.如权利要求1-3任一项所述的在线输入法评测方法，其特征在于，所述根据配置的评测参数从互联网中抓取评测词汇进一步包括：

从所述互联网中抓取文本内容；

对所述文本内容进行分词，并对分词后的词汇进行频次统计；以及

将出现频次最高的词汇作为评测词汇，其中，根据所述评测词汇是否出现在所述待测在线输入法的结果首位和/或结果范围之内来确定所述待测在线输入法的首选准确率和/或词汇覆盖率。

5.如权利要求1-4任一项所述的在线输入法评测方法，其特征在于，还包括：

选择一种或多种其他在线输入法；

将所述评测词汇输入所述一种或多种其他在线输入法；以及

将所述待测在线输入法的生成结果与所述一种或多种其他在线输入法的生成结果进行比较以确定所述待测在线输入法的缺词率。

6.如权利要求1-5任一项所述的在线输入法评测方法，其特征在于，还包括：

根据所述评测词汇在所述待测在线输入法的生成结果中的位置对所述评测词汇进行评分；

如果所述评测词汇的评分低于设定的阈值，则将对应的评测词汇提示给测试人员；以及

对所有评测词汇的评分进行统计以确定所述在待测在线输入法的词序合理性。

7.一种在线输入法评测系统，其特征在于，包括服务器及至少一个客户端，其中，

所述至少一个客户端，用于向所述服务器发送测试请求，并对评测参数进行配置，以及接收并显示所述服务器生成的评测结果；

所述服务器，用于根据所述至少一个客户端配置的评测参数从互联网中抓取评测词汇，并将所述评测词汇转换为评测拼音，并将所述评测拼音输入到待测在线输入法中以对所述待测在线输入法进行测试，以及将所述待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。

8.如权利要求7所述的在线输入法评测系统，其特征在于，所述评测参数包括词语类参数、数据库类参数、评测指标类参数中的一种或多种。

9.如权利要求8所述的在线输入法评测系统，其特征在于，所述词语类参数从所述互联网中传播的内容获取，所述数据库类参数从其他在线输入法中获取。

10.如权利要求7所述的在线输入法评测系统，其特征在于，所述至少一个客户端通过浏览器访问所述服务器提供的测试页面。

11.如权利要求7所述的在线输入法评测系统，其特征在于，所述服务器还用于对所述待测在线输入法的各项指标进行统计以生成自动评测结果报表，并将所述自动评测结果报表发送至对应的客户端。

12.如权利要求7所述的在线输入法评测系统，其特征在于，所述服务器还用于从所述互联网中抓取文本内容，并对所述文本内容进行分词和对分词后的词汇进行频次统计，以及将出现频次最高的词汇作为评测词汇，其中，所述服务器根据所述评测词汇是否出现在所述待测在线输入法的结果首位和/或结果范围之内来确定所述待测在线输入法的首选准确率和/或词汇覆盖率。

13.如权利要求7所述的在线输入法评测系统，其特征在于，所述服务器还用于接收测试人员通过所述客户端选择的一种或多种其他在线输入法，并将所述评测词汇输入所述一种或多种其他在线输入法，以及将所述待测在线输入法的生成结果与所述一种或多种其他在线输入法的生成结果进行比较以确定所述在线输入法的缺词率。

14.如权利要求7所述的在线输入法评测系统，其特征在于，所述服务器还用于根据所述评测词汇在所述待测在线输入法的生成结果中的位置对所述评测词汇进行评分，且在所述评测词汇的评分低于设定的阈值时，将对应的评测词汇通过对应的客户端提示给测试人员，以及对所有评测词汇的评分进行统计以确定所述在待测在线输入法的词序合理性。

15.一种在线输入法评测服务器，其特征在于，包括：

接收模块，用于接收客户端配置的评测参数；

词汇生成模块，用于根据配置的评测参数从互联网中抓取评测词汇；

转换模块，用于将所述评测词汇转换为评测拼音；

测试模块，用于将所述评测拼音输入到待测在线输入法中以对所述待测在线输入法进行测试；以及

评价模块，用于将所述待测在线输入法的生成结果与所述评测词汇进行比较以形成评测结果。

16.如权利要求15所述的在线输入法评测服务器，其特征在于，所述评价模块还用于对所述待测在线输入法的各项指标进行统计以生成自动评测结果报表，并将所述自动评测结果报表发送至对应的客户端。

17.如权利要求15所述的在线输入法评测服务器，其特征在于，所述词汇生成模块进一步包括：

抓取子模块，用于从所述互联网中抓取文本内容；以及

频次统计子模块，用于对所述文本内容进行分词和对分词后的词汇进行频次统计，以及将出现频次最高的词汇作为评测词汇，其中，所述评价模块根据所述评测词汇是否出现在所述待测在线输入法的结果首位和/或结果范围之内来确定所述待测在线输入法的首选准确率和/或词汇覆盖率。

18.如权利要求15所述的在线输入法评测服务器，其特征在于，

所述接收模块，还用于接收测试人员通过所述客户端选择的一种或多种其他在线输入法；

所述测试模块，还用于将所述评测词汇输入所述一种或多种其他在线输入法；

所述评价模块，还用于将所述待测在线输入法的生成结果与所述一种或多种其他在线输入法的生成结果进行比较以确定所述在线输入法的缺词率。

Images