搜索引擎把页面抓回，下一步是对页面内容进行分析，主要包括确定页面类型、提取页面主题、去除页面噪声、去除停止词、中文分词、注册统计、重新建立关键词索引库。

判断页面是普通页面还是PDF、WPS、PPT、TXT等特殊页面；区分文本、图片、视频等内容形式，识别页面网站论坛、视频站、文本站等。

目前，搜索引擎基本不识别JS、AJAX、flash、图像、视频、帧和iframe框架结构的内容，主要是通过文本关键字抓取文本处理和搜索信息。提取页面级功能内容，如标题、关键字和说明。这些特性在网页的内容相关性中占很高的比例。在正常情况下，它还指示网页的主题。

剔除无关广告、登录框、版权公告等杂音内容，提取主题内容。这一部分不是很严谨，而且各个搜索引擎的处理也不一样。一般推荐内容、锚文本、导航等还是很有价值的。

分词是中文搜索引擎中一个独到的步骤。搜索引擎需要识别哪些词可以组合成词。每个搜索引擎都有自己庞大的词库。根据词库匹配，对网页内容进行分段，汉语分词主要有两种方法：基于词典的匹配和基于统计的分词。他们各有利弊。在实际应用中，他们混合使用了这种方法，不仅快速有效，而且可以识别新词，消除歧义。

百度搜索引擎可以使用快照页面查看输入文本分为哪些关键字，如下所示：

分词的目的是理解网页的内容。停止词如“de”、“de”、“ah”和“Ba”将首先删除，使页面文本的主题内容更加突出。当然，虚词也不是很好的，比如以“啊”为主题介绍单词的发音、意义、用法等新华字典页面，“啊”是主题关键词。关键词排名优化是不断跟踪和分析搜索引擎条目和历史数据。

分词后，搜索引擎会统计每个单词出现在页面上的次数并计算密度，这样搜索引擎就能识别出页面内容的相关性。建议关键词布局密度在2%-8%之间，过低容易被认定为主题内容相关性低，过高则可能被认定为关键词堆砌嫌弃，容易受到处罚。

从网站索引的建立可预估网站的优化成果

内容相关性：除了网页标题、关键词、描述和字数密度外，H标签（H1标签也很重，一般用于文章标题，H2、H3标签也有一定的效果，一般用于分段主题，但H4之后不会），而用粗体标签标注的内容显然会比其他普通标签更受关注内容。此外，核心关键字出现在页面的前面比后面好。锚文本链接相关性作为重要数据进行收集和分析。

搜索引擎喜欢原创内容，不喜欢很多重复的内容页面。完成上述步骤后，他们可以识别页面的内容功能并重新重复内容页面。

经过上述处理，记录了页面关键字集，记录了词频、位置、格式（H标签、粗体、锚文本）等权重因子。搜索引擎创建页面和关键字表的索引结构。该指标有两种结构：正向指标结构和反向指标结构。在前向索引结构中，每个文件对应一个文件ID，文件的内容表示为一组关键字。

搜索引擎的用户按关键字进行搜索，正索引不利于查询效率，搜索引擎会把正索引变成倒索引。倒排索引结构是关键字到文件集的映射。用户将仅检索索引页。

包含：只要能被搜索引擎蜘蛛抓取，经过分析，有价值的页面就会被包含进去。

索引：搜索引擎已经包含了页面，并且认为用户有意义的会议内容，可能会创建索引，可能会有流量。网站排名优化是基于网页已被索引。

优帮云seo小编提醒大家，只要网站结构清晰，内容有价值，并且网站定期更新，那么站长平台提交链接和外发链接，以提高搜索引擎对网站的收藏量和索引量，在2-7天内对主页进行SEO优化是非常有可能的。

百度蜘蛛抓取多少页面并不是很重要的，重要的是建立了多少页面的索引库。搜索引擎的索引数据库是分层的。高质量的网页将被分配到重要的索引数据库中，普通网页将保留在普通数据库中，较差的网页将被分配到低级数据库中作为补充材料。目前，60%的检索需求只能通过使用重要的索引库来满足，这也是一些网站的馆藏量过高，但流量不理想的原因。

进入高质量索引库的前提是对用户的价值。包括但不限于：

事实上，互联网上的大多数网站根本不被百度收录。并不是百度没有找到他们，而是在建立数据库之前的筛选过程被过滤掉了。过滤初始阶段：

一些内容使用百度蜘蛛无法解析的技术，如JS、AJAX、flash、图片、视频等。