一、前言

在信息大爆炸时代，搜索引擎是获取精准信息的最主要途径，所以像公司官网这种承载了公司所有产品及服务信息的网站，确保被各大搜索引擎全面收录且搜索展示的排名尽可能靠前是一件非常重要的事情，因此就需要对网站进行一些必要的搜索引擎优化设置，也就是SEO优化。SEO优化是一个非常专业的领域，涵盖内容广泛，限于篇幅，本文仅对网站SEO优化的一般步骤进行阐述，权当抛砖引玉。

二、网站SEO优化一般步骤

2.1 创建robots.txt文件

robots.txt文件是网站与搜素引擎爬虫之间的协议，用简单直接的txt格式文本方式告诉搜素引擎爬虫被允许的权限，也就是说robots.txt是搜索引擎访问网站的时候要查看的第一个文件。当一个搜素引擎爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；robots.txt文件必须位于根目录下。

robots.txt协议主要有三个关键字：

1）User-agent - 设置允许搜索引擎的名称，如Googlebot，Baiduspider，sogou spider等等，通过名称可以很容易看出来它们各自对应的搜索引擎，通配符*表示允许所有搜索引擎；

2）Disallow - 设置不希望被搜索引擎访问的URL，如/admin后台管理目录，根路径/表示全部不被索引；

3）Allow - 设置希望被搜索引擎访问的URL，根路径/表示希望全部被索引；

robots.txt一些常用的示例：

1）希望被所有搜索引擎搜索（注意冒号后面的空格！）：

User-agent: *

Disallow:

等同于：

User-agent: *

Allow: /

2）禁止所有搜索引擎访问网站：

User-agent: *

Disallow: /

3）除了admin后台管理目录，允许所有搜索引擎访问所有文件：

User-agent: *

Disallow: /admin/

4）禁止Google索引：

User-agent: Googlebot

Disallow: /

5）仅允许百度索引，禁止其它所有搜索引擎（注意描述的顺序）：

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

更复杂的设置，可以借助通配符进行精准限制，如限制某个搜索引擎不得访问JPG图片之类。

2.2 在页面增加关键词

然后就是通过meta标签向每个HTML页面加入索引关键词，每个关键词用逗号隔开，比如笔者公司网站所涉及的关键词多达十几个，为了省事，每个页面都添加一样的。

<meta name="keywords" content="公有云, 私有云, 混合云, 华为云, 阿里云, 腾讯云, 多云纳管, 混合云管理平台, 国产自主可控, 3D线激光测量, 3D线激光相机, ROS教学机器人, 开源赛事, 黑客松大赛, 数字孪生, BIM仿真">

<meta name="description" content="你网页的简述">

除了关键词之外，还有一个网页描述，就是一句话描述该页面是介绍什么内容的。

2.3 向搜索引擎提交链接

搜索引擎访问每个站点是有一定的周期的，所以如果网站内容发生了比较大的变更，搜索引擎那边是不会立即进行同步的，如果希望尽快保持同步，就需要手动向搜索引擎提交链接；

上面对网站的索引规则进行了变动后，也可以通过这种方式主动请求搜索引擎进行同步，如主动向百度提交链接：

顺便可以检查一下前面添加的robots.txt是否正确并生效：