在我们优化的过程中，有一些网站设计技术对搜索引擎来说是很不友好，不利于蜘蛛爬行和抓取，这些技术被称为蜘蛛陷阱。下面给大家介绍以下几种常见的蜘蛛陷阱，大家在工作中一定要全力避免。  

一、flash  

1、在网页的某一小部分使用flash增强视觉效果是很正常的，比如用flash做成的广告、图标等。这种小flash和图片是一样的，只是html代码中的很小一部分，页面上还有其他以文字为主的内容，所以对搜索引擎抓取和收录没有影响。  

2、但是有的网站整个首页就是一个大的flash文件，这就构成了蜘蛛陷阱。搜索引擎抓取的html代码只有一个连向flash文件的链接，没有其他文字内容。搜索引擎是无法读取flsh文件中的文字和链接的。  

3、整个网站就是一个大的flash文件，从seo的角度来说是万万不可的。如果flash是必须要加，建议在首页加上一个通往html版本的链接。这个链接应该是在flash文件之外的html代码中，搜索引擎跟踪这个链接可以抓取后面的html版本页面。  

二、各种跳转  

1、除了后面会介绍的301转向以外，搜索引擎对其他形式的跳转都比较敏感，如:302，js，等跳转。  

2、有些网站用户访问首页时会被自动转向到某个目录下的页面。如果是按用户地理位置转向至适合的目录，那倒情有可原。但大部分这种首页转向看不出任何理由和目的，这样的转向能避免则避免。  

3、如果必须转向，301转向是搜索推荐的、用户网址更改的转向，可以把页面权重从旧网址转移到新网址。其他转向方式是都对蜘蛛爬行不利的。  

三、框架结构  

1、如果作为站长的你不知道什么是框架结构，那么恭喜你，你已经避免了这个蜘蛛陷阱，根本没必要知道什么是框架结构。如果你在网站设计中还在使用框架结构，我的建议是取消。  

2、使用框架结构设计页面，在网站诞生初期曾经挺流行的，因为对网站的页面更新维护有一定方便性。不过现在的网站已经很少使用框架了，不利于搜索引擎抓取是框架越来越不流行的重要原因之一，对搜索引擎来说，访问一个使用框架的网址所抓取的html文件只包含调用其他html文件的代码，并不包含文字信息，搜索引擎根本无法判断这个网址的内容是什么。  

四、动态url  

动态url指的是数据库驱动的网站所生成的、带有问号、等号及参数的网址。一般来说动态url不利于搜索引擎蜘蛛爬行，应该尽量避免。  

五、js链接  

由于js可以创造出很多吸引人的视觉效果，有些网站喜欢使用js脚本生成导航系统。这也是比较严重的蜘蛛陷阱之一  

六、要求登录  

有些网站内容放在需要用户登录之后才能看到的会员区域，这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码，也不会注册。  

七、强制使用cookies  

有些网站为了实现某种功能，如记住用户登录信息、跟踪用户访问路径等，强制用户使用cookies，用户浏览器如果没有启用cookies，页面显示不正常。搜索引擎蜘蛛就相当于一个禁用cookies的浏览器，强制使用cookies只能造成搜索引擎蜘蛛无法正常访问。