网页抓取策略可分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫诱捕。被困问题。蜘蛛陷阱是一种对搜索引擎不友好，不利于蜘蛛爬行和爬行的网站设计技术，
网站SEO优化，应该避免哪些蜘蛛陷阱？有些网站设计手法对搜索引擎不友好，不利于蜘蛛爬行和爬行。
一、首先是FLASH蜘蛛陷阱。
如果你的网站上的一个广告或者图标是用Flash做出来增强视觉效果，修饰一下的话，问题不大。但是，如果你的整个网站使用大型Flash文件，就会构成蜘蛛陷阱，因为搜索引擎无法读取flsah的内容。这种网站通常看起来很漂亮，可惜搜索引擎什么都看不到，无法判断网站的话题信息。
二、各种跳蛛陷阱。
只有301转是搜索引擎的最爱，其他转是为了提醒搜索引擎，比如302跳转，JavaScript跳转，闪跳等。一般网页游戏、黄色网站等广告都喜欢用这个来欺骗搜索引擎，比如用户访问首页。自动跳转到游戏页面等。解决方法:尽量不要使用301以外的转弯。当然，基于地理位置的跳跃是可以的，但前提是你的网络。站在搜索引擎眼里，权重比较高。
三、网站框架结构。
框架结构:点击网页的其他文字链接后改变网页，但网页的URL不变，这就是框架结构，这样的网络。网站搜索引擎不能包括在内。
