如何使用robots文件避免蜘蛛黑洞（陷阱）
zhushican | seo教程 | 2015年4月18日
如何使用robots文件避免蜘蛛黑洞（陷阱）
SEOer在网站优化中要避免“蜘蛛陷阱”，“蜘蛛陷阱”是阻止蜘蛛程序爬行网站的障碍物，一旦进入这些陷阱将对网站的索引和收录造成影响。除了常见的登录要求、动态URL、强制用Cookies、框架结构、各种跳转、Flash外还有一种也应该引起SEOer注意，那就是蜘蛛黑洞。
对于搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态URL ，就像一个无限循环的“黑洞”将spider困住，搜索引擎爬虫浪费了大量资源抓取的却是无效网页。