网页预处理

1、给原始网页建立索引。

2、针对搜索有网页库进行网页切分，将每一个页面转化为一组词的集合。(正向索引)

3、将网页到索引词的映射转换为索引词到网页的映射，形成倒排文件（包括倒排表和索引词表)
总的来说，搜索引擎从网页数据库获取网页然后进行代码过滤，然后提取正文信息后进行切词，之后的步骤就是对关键词集合进行筛选，得到网页关键词正向索引，最后才将搜索引擎将正向索引转换未关键词到网页的倒排索引，正是这个技术，搜索引擎才有可能在1S内给用户呈现搜索结果。

另外，这其中搜索引擎做的动作就是网页净化和消重，除了去除网页内噪音内容（如广告、版权等），提取网页主题和相关内容外，去除网页集合中内容重复内容。

有同学可能会问，搜索引擎如何识别主体内容的呢?事实上，算法是靠建立HTML标签树和投票方法识别正文文本。

比如，我们定一下规则，

1、如果文本块文本长度少于10个字，0分。介于10~50个字得5分。介于50~250个字，得8分。超过250个字，得10分。

2、文本块文本位置在右侧，得0分。在顶部，得3分。在左侧，得5分。在中部，得10分。

那我们就得出，页面TITLE得分9，正文加粗H1标签得分8等等，DIV部分的AD部分得分0，丢弃。
（以上举例只为了参考，跟实际算法没有关联）

搜索引擎进行网页消重都要经过3个步骤，首先是特征抽取（这其中涉及到I-Match算法、Shingle算法），然后相似度计算、评价是否相似，最后才是消重。

事实上，搜索引擎算法和用户交互的过程就是一个查询的流程，比如用户搜索“搜索引擎原理”，算法分词后得到“搜索引擎”，“原理”，在倒排索引表中找到包含这两个文档列表，求交，然后将用户查询以及上一步找到文档列表中被一条记录进行向量化后，求查询向量和文档向量的相似度，然后从高到底排序，最后就是我们看到的最终搜索结果。