楼上说的很(hen)多(duo)，我(wo)补充一下，正(zheng)确(que)的应该叫网络(luo)蜘蛛，又称(cheng)爬虫，本质是搜索引擎派出(chu)的(de)一个执(zhi)行抓取任务的程序(xu)蜘蛛池的(de)本(ben)质是大量的网(wang)站互相(xiang)链接(jie)，每个站单独产生大(da)量的(de)内容(rong)吸(xi)引蜘蛛来爬，几千个(ge)网站互链(lian)时(shi)，可以想象蜘蛛的(de)链接(jie)