楼上说的很多(duo)，我(wo)补充一下，正(zheng)确的应该叫网络(luo)蜘蛛(zhu)，又(you)称爬虫，本质是搜索引擎派出的一个执行抓取任(ren)务(wu)的(de)程(cheng)序蜘蛛池(chi)的本(ben)质是大量(liang)的(de)网站(zhan)互相链接，每个站单独产生大量(liang)的(de)内容吸引蜘蛛来爬(pa)，几(ji)千(qian)个网站互链(lian)时，可以(yi)想象(xiang)蜘蛛的链接