楼(lou)上说的很多，我(wo)补充一(yi)下，正确(que)的应该叫网(wang)络蜘蛛(zhu)，又(you)称(cheng)爬虫(chong)，本(ben)质(zhi)是搜索引擎派出的一(yi)个执行抓取任务的程序(xu)蜘蛛(zhu)池的本(ben)质是大(da)量的网(wang)站互相链接，每个站单(dan)独产生大量的内容(rong)吸引蜘蛛来爬，几千个(ge)网(wang)站(zhan)互链时，可以想象(xiang)蜘蛛(zhu)的(de)链接