CN107092639A - 一种搜索引擎系统 - Google Patents

Abstract

本发明实施例提供的搜索引擎系统，包括索引装置、数据处理装置、搜索装置和交互装置，上述装置可以是服务器集群，采用分布式架构，可以彼此进行服务器间通信，本技术方案可以是针对互联网领域预设对象的垂直搜索，通过采集预设对象的相关信息，解析处理后，通过接收查询指令，为用户提供有一定价值的信息和相关服务，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎结果查询更准确、可以返回直接定位到预设的对象比如程序员。

Description

一种搜索引擎系统

技术领域

本发明涉及互联网技术领域，特别涉及一种搜索引擎系统。

背景技术

目前常见的搜索引擎大都使用爬虫抓取互联网上各个站点的数据，使用PageRank算法对网页的检索结果进行排序，最终呈献给使用者的与其搜索相关的站点页面的链接。这种搜索引擎最大的局限在于只能检索到与需要检索的信息有关站点，且搜索引擎的海量信息无序化、信息量大、查询不准确、深度不够，并不能根据需要检索的信息直接定位到用户。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种搜索引擎系统。

第一方面，本发明实施例提供一种搜索引擎系统，包括：索引装置，用于从互联网索引与预设对象相关的数据；所述相关的数据包括以下一种或多种：名称、第三方网站中注册的用户名、地址、教育背景、技能、工作、联系方式；

数据处理装置，用于提取、格式化、聚合所述与预设对象相关的数据；

搜索装置，用于将处理好的所述与预设对象相关的数据，加载到基于Lucene的搜索服务器中，对聚合好的数据进行分词，以便能检索到所需要的数据信息，并提供接口；

交互装置，用于接收用户输入的查询指令，将所述查询指令转化为调用信息，根据所述调用信息，通过调用所述接口获取数据呈现给用户。

在一个实施例中，所述数据处理装置使用分布式计算框架Hadoop和/或Spark对所述相关的数据进行提取、格式化、聚合。

在一个实施例中，所述对所述相关的数据进行提取、格式化、聚合后存储在分布式文件系统HDFS构建的数据库中。

在一个实施例中，所述数据处理装置使用Spark加载到所述基于Lucene的搜索服务器中。

在一个实施例中，所述数据处理装置采用图数据库，图节点中存储所述与预设对象相关的数据，以边的方式来建立预设对象相关的数据彼此之间的关系，节点通过边构造出图模型，聚合成一个信息集合。

在一个实施例中，所述搜索装置使用分词器和词典对聚合好的数据进行分词；

所述词典基于计算机、IT、互联网领域文本构建。

在一个实施例中，所述交互装置使用语义分析对所述查询指令过滤。

在一个实施例中，所述交互装置还用于将过滤后的所述查询指令按照预设的规则转化为调用信息。

在一个实施例中，所述交互装置为基于React和Redux实现的前端交互系统。

在一个实施例中，所述数据处理装置根据所述与预设对象相关的数据，按照预设的算法，生成综合评分、网络活跃度。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的一种搜索引擎系统，包括索引装置，用于从互联网索引与预设对象相关的数据；所述相关的数据包括以下一种或多种：名称、第三方网站中注册的用户名、地址、教育背景、技能、工作、标签；数据处理装置，用于提取、格式化、聚合所述与预设对象相关的数据；搜索装置，用于将处理好的所述与预设对象相关的数据，加载到基于Lucene的搜索服务器中，对聚合好的数据进行分词，以便能检索到所需要的数据信息，并提供接口；交互装置，用于接收用户输入的查询指令，将所述查询指令转化为调用信息，根据所述调用信息，通过调用所述接口获取数据呈现给用户。本技术方案可以是针对互联网领域预设对象的垂直搜索，通过采集预设对象的相关信息，解析处理后，通过接收查询指令，为用户提供有一定价值的信息和相关服务，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎结果查询更准确、可以直接定位到预设的对象比如程序员。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的搜索引擎系统结构示意图；

图2为本发明实施例提供的相关的数据之间聚合示意图；

图3为本发明实施例提供的搜索引擎系统结构整体框架示意图；

图4为本发明实施例提供的用户使用该搜索引擎系统的流程图；

图5A为本发明实施例提供的使用本系统检索前端返回的页面示意图；

图5B为本发明实施例提供的在图5A中点击链接进入详情页的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明实施例提供了一种搜索引擎系统，参照图1所示，包括：索引装置、数据处理装置、搜索装置和交互装置：上述装置可以是服务器集群，分布式架构，可以彼此进行服务器间通信。

其中，索引装置比如可以是网络爬虫，按照预设的规则，自动地抓取万维网信息的程序或者脚本。用于从互联网索引与预设对象相关的数据；比如采集的url地址包括但不限于：Github网站上的活跃信息、Stackoverflow上的问答信息、个人博客、微博等各类站点，可以重点抓取一些社交类网站、论坛、圈子等网站。其中上述相关的数据可以包括以下一种或多种：名称、第三方网站中注册的用户名、地址、教育背景、技能、工作、联系方式等各种信息，还可以包括问答信息、技术文章、视频、照片等；上述预设的对象比如可以是程序员、工程师、老师、教授、专家等，上述相关的数据是围绕上述预设的对象的碎片化的信息。

数据处理装置，用于提取、格式化、聚合上述索引装置采集的与预设对象相关的数据；最终完成一个信息相对丰富的用户实体交付给搜索装置。

搜索装置，用于将数据处理装置处理好的上述与预设对象相关的数据，加载到基于Lucene的搜索服务器中，对聚合好的数据进行分词，以便能检索到所需要的数据信息，并提供接口供交互装置调用；其中Lucene是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。搜索装置将数据处理装置的一个个相对丰富的用户实体信息，进行分词归类处理，提取重要的信息作为一个个相对丰富的用户的标签。

交互装置，用于接收用户输入的查询指令，将所述查询指令转化为调用信息，根据所述调用信息，通过调用所述接口获取数据呈现给用户。交互装置通过友好的Web交互界面与用户进行交互，提供统一的搜索入口以与用户进行交互，方便快速获取结构化的用户输入数据，同时将用户输入的查询需求转化为调用信息，调用搜索模块，获取相关数据。最终，该模块负责将搜索结果呈现给用户。

本技术方案可以是针对互联网领域预设对象的垂直搜索，通过采集预设对象的相关信息，解析处理后，通过接收查询指令，为用户提供有一定价值的信息和相关服务，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎结果查询更准确、可以直接定位到预设的对象比如程序员。

在一个实施例中，上述数据处理装置使用分布式计算框架Hadoop和/或Spark对所述相关的数据进行提取、格式化、聚合。具体地，提取需要的信息，删除冗余的信息，并将提取的信息进行聚合。

比如可以采用Hadoop，Hadoop是一个由Apache基金会所开发的分布式系统基础架构，可以充分利用集群的威力进行高速运算和存储；并且可以以并行的方式工作，对上述相关的数据通过并行处理加快处理速度。

比如还可以采用Spark，Spark是专为大规模数据处理而设计的快速通用的计算引擎，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

本实施例中，还可以同时采用Hadoop和Spark，当Spark是为了支持分布式数据集上的迭代作业时，实际上Spark可以是对Hadoop的补充，可以在Hadoop文件系统中并行运行。

在一个实施例中，当采用Hadoop或同时采用Hadoop与Spark分布式计算框架时，对上述相关的数据进行提取、格式化、聚合后存储在分布式文件系统HDFS构建的数据库中，HDFS有着高容错性的特点，并且设计可以用来部署在低廉的硬件上。它提供高吞吐量来访问应用程序的数据，适合本实施例中有着超大数据集的应用程序。

在一个实施例中，上述数据处理装置使用Spark加载到上述基于Lucene的搜索服务器中。

在一个实施例中，上述数据处理装置采用图数据库，图节点中存储所述与预设对象相关的数据，以边的方式来建立预设对象相关的数据彼此之间的关系，节点通过边构造出图模型，聚合成一个信息集合。

具体地，本数据处理装置以图数据库为基础，图节点中存储与预设对象相关的数据，比如：名称、第三方网站中注册的用户名、地址、教育背景、技能、工作、联系方式等，以边的方式来建立上述信息之间的关系。节点通过边构造出图模型，其中一个连通子图则对等于碎片化的与预设对象相关的数据聚合成一个信息集合。参照图2所示，比如自然人“张三”拥有知乎网账号A，“张三”在起个人属性里标记其个人微博账号W，可视为A，W为图中两点，绑定微博账号则可代表链接A，W两点的边，聚合后构成的子图G，则认为为该自然人“张三”。

在一个实施例中，上述搜索装置使用分词器和词典对聚合好的数据进行分词；比如：词典是通过程序处理，也可以与人工标注相结合，基于计算机，IT，互联网等领域文本构建的词典。比如当预设的对象为程序员时，那么词典可以涵盖所有的编程语言(比如包括C#、Basic、Pascal、C语言、Java、C++、SQL、.net等，不限于此)，技能等词汇。所谓的分词，即对数据建立一个索引，根据索引，可以快速定位到数据；在分词方面，本申请还针对传统分词器不能处理的带标点符号的技能词做了优化(如：C#，C++，.NET等)。除此之外，本公开实施例还可以使用机器学习去训练合适的用户模型，对于被检索的人予以一个技能大类/工作职能上的匹配，方便用户检索。

在一个实施例中，上述交互装置可以通过友好的Web交互界面与用户进行交互，提供统一的搜索入口以及多种语义分析过滤器对用户输入的查询指令过滤，比如过滤敏感词汇，可以方便快速获取结构化的用户输入查询指令。

在一个实施例中，上述交互装置还用于将过滤后的所述查询指令按照预设的规则转化为调用信息。预设的规则比如是正则表达式规则表达式，用于识别特殊符号、空格、间隔符等。可以被用来检索、替换那些符合某个模式(规则)的文本，最终转化为调用信息。

在一个实施例中，上述交互装置为基于React和Redux实现的前端交互系统。React是一个用于构建用户界面的JAVASCRIPT库，主要用于构建UI，可以声明式设计，高效灵活；即：可以轻松描述应用，通过对DOM的模拟，最大限度地减少与DOM的交互，可以与已知的库或框架很好地配合。

当与服务器大量交互，或者使用了WebSocket，View要从多个来源获取数据时，可以采用Redux，应用在复杂的场景中。

在一个实施例中，上述数据处理装置根据所述与预设对象相关的数据，按照预设的算法，生成综合评分、网络活跃度。通过一些基础数据，进行大数据分析，综合考虑系数，从而得出新的数据，如：生成综合评分、网络活跃度等。本公开实施例对此不做限定。

下面通过一个具体的实施例说明本发明的技术方案：

在一个实施例中，参照图3所示的整体框架，申请人使用自研的Yascrapy框架采集互联网中开放的信息，数据经过爬虫框架的预处理将数据交付到基于分布式文件系统(HDFS)构建的数据仓库中。例如使用分布式计算框架(Hadoop/Spark)等对数据进行分类，计算，聚合等操作，形成最终以人为核心的数据结构。最后我们将处理好的数据使用Spark插入到ElasticSearch(搜索引擎系统)集群中，供Web端调用。在Web服务器上，比如可以选用的是python实现的非阻塞式服务器Tornado，它同时与ElasticSearch和MySQL进行交互，返回用户需要的数据，并进行权限控制和安全检查等工作。直接与用户交互的则是基于Ract和Redux实现的前端交互系统。

在上述框架的基础上，比如用户使用该搜索引擎系统，可以参照图4所示的流程：

S401、用户搜索关键词；

S402、使用知识图谱获取相关搜索信息；

S403、使用Elasticsearch检索数据；

S404、是否命中数据；是则执行S405，否则执行S406；

S405、返回数据；

S406、记录搜索信息，并触发错误提示。

本实施例中，用户通过使用该搜索引擎系统，可以快速获取预设的对象所掌握的技能情况，同时快速定位预设的对象信息，获取联系方式(如：邮箱，站点私信等)，将原来使用通用搜索引引擎的查询次数降低到1次，将点击次数降低至2到3次，大幅度提高了用户的获取效率。

还是以预设的对象为软件工程师为例，以使用百度搜索“前端”为例，在搜索结果的第一页并不能呈现任何和使用这项技能的人有关的信息，当我们获取到某个和人有关的站点链接后，我们还要跳转到对应站点查看此人的个人信息。而使用本实施例的搜索引擎系统，参照图5A所示，直接可以在检索列表里获取到和人有关的信息，同时能直接到数据对应原始站点查看信息。当点击某个连接进入详情页的时候，参照图5B所示，可以具体查看该对象的相关信息。

上述实施例解决无法在通用搜索引擎里快速定位专业软件工程师的问题，使用本搜索引擎系统后，能够在社交网络里快速定位软件工程师，大幅度提升猎头行业人员获取候选人的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种搜索引擎系统，其特征在于，包括：

索引装置，用于从互联网索引与预设对象相关的数据；所述相关的数据包括以下一种或多种：名称、第三方网站中注册的用户名、地址、教育背景、技能、工作、联系方式；

数据处理装置，用于提取、格式化、聚合所述与预设对象相关的数据；

搜索装置，用于将处理好的所述与预设对象相关的数据，加载到基于Lucene的搜索服务器中，对聚合好的数据进行分词，以便能检索到所需要的数据信息，并提供接口；

交互装置，用于接收用户输入的查询指令，将所述查询指令转化为调用信息，根据所述调用信息，通过调用所述接口获取数据呈现给用户。

2.如权利要求1所述的系统，其特征在于，所述数据处理装置使用分布式计算框架Hadoop和/或Spark对所述相关的数据进行提取、格式化、聚合。

3.如权利要求2所述的系统，其特征在于，所述对所述相关的数据进行提取、格式化、聚合后存储在分布式文件系统HDFS构建的数据库中。

4.如权利要求2所述的系统，其特征在于，所述数据处理装置使用Spark加载到所述基于Lucene的搜索服务器中。

5.如权利要求2所述的系统，其特征在于，所述数据处理装置采用图数据库，图节点中存储所述与预设对象相关的数据，以边的方式来建立预设对象相关的数据彼此之间的关系，节点通过边构造出图模型，聚合成一个信息集合。

6.如权利要求1所述的系统，其特征在于，所述搜索装置使用分词器和词典对聚合好的数据进行分词；

所述词典基于计算机、IT、互联网领域文本构建。

7.如权利要求1所述的系统，其特征在于，所述交互装置使用语义分析对所述查询指令过滤。

8.如权利要求7所述的系统，其特征在于，所述交互装置还用于将过滤后的所述查询指令按照预设的规则转化为调用信息。

9.如权利要求1所述的系统，其特征在于，所述交互装置为基于React和Redux实现的前端交互系统。

10.如权利要求1所述的系统，其特征在于，所述数据处理装置根据所述与预设对象相关的数据，按照预设的算法，生成综合评分、网络活跃度。