探寻蜘蛛和探寻机器人

作者: zhushican 分类: seo教程 发布时间: 2014年8月10日 次浏览 0条评论

 搜索引擎知道网上的新生事物,而如今新网站的出现数量、老网站的更新都是爆炸式的,要想靠以前那样的人工去完成搜集任务是不现实的,所以搜索引擎的发明者设计了计算机程序,派它们去执行这个任务。

    探测器有多种叫法,也叫爬行器、蜘蛛、机器人。这些形象的叫法是描绘搜索引擎派出的蜘蛛机器人爬行在互联网上探测新的信息Google把它的探测器叫做Googlebot,百度就叫baiduspider,MSN叫MSNbot,而雅虎则称为Slurp。这个探测器实际上是人们编制的计算机程序,由它部分昼夜地进入访问各个网站,取回网站内容标签图片等,然后依照搜索引擎的算法给它们制定索引。所以,这可不是“爬行”而是以光速来访问的。

    一个搜索引擎会同时派遣出许多探测器。这些“机器人”或者从站主直接呈递的网站URL去访问,或者由一个网络用户所装的搜索引擎工具得知用户去的网站,或者是从一个网站中指向另一个网站的链接过去。探测器不一定是从网站的首页进入访问,所以,如果你要探测访问你的其他网页,那么这个进入页就需要和其他网页相连。达到这个目的最容易的办法就是在每一页都加入指向首页的链接。

    但是,探测器对许多网站是不能完整取回信息的,这个大多是由于网站的设计没有按照搜索引擎探测器的思路进行优化。比如,如果一个网页比较大,探测器也只能截获网页的首部,而且只能跟着少量的链接走。Google目前能够吸收100KB的文件,Yahoo会多一点。这个可以通过实验来检验。将一个搜索关键词放在一个很长的网页(约160KB)最后部分,然后看Google的缓存中显现网页的大小是多少。如果不出意料,Google的cache说这个网页只有101KB。很显然,一部分内容没有被Google抓走。

    这个现象告诉我们不要将网页设计得很长、很长。将大的网页拆成若干小的网页具有多个好处

    1)使得网页容易被探测器抓取。

    2)更容易建立合理的网站内部链接关系。

    3)每个网页可以更加集中在重要关键词语。

    4)节省服务器的带宽。

    5)方便浏览者的阅读
   
    如何网站设计得更加方便搜索引擎来访,是搜索引擎优化的重要应用技术。

本文出自 老域名查询 ,转载时请注明出处及相应链接。

本文永久链接: http://www.sc8323.com/2014/621.html

回顶部