搜索引擎要知道网上的新生事物，而如今新网站的出现数量、老网站的更新都是爆炸式的，要想靠以前那样的人工去完成搜集任务是不现实的，所以搜索引擎的发明者设计了计算机程序，派它们去执行这个任务。

    探测器有多种叫法，也叫爬行器、蜘蛛、机器人。这些形象的叫法是描绘搜索引擎派出的蜘蛛机器人爬行在互联网上探测新的信息。Google把它的探测器叫做Googlebot，百度就叫baiduspider，MSN叫MSNbot，而雅虎则称为Slurp。这个探测器实际上是人们编制的计算机程序，由它部分昼夜地进入访问各个网站，取回网站内容、标签、图片等，然后依照搜索引擎的算法给它们制定成索引。所以，这可不是“爬行”而是以光速来访问的。