網(wǎng)絡(luò)蜘蛛
作者：數(shù)風(fēng)流人物
瀏覽：1016次
發(fā)布時(shí)間：2018-05-09
編輯
分享
評(píng)論
贊0
網(wǎng)絡(luò)蜘蛛(Web Spider)又稱(chēng)為：“網(wǎng)絡(luò)爬蟲(chóng)”，“機(jī)器人”，簡(jiǎn)稱(chēng)“蜘蛛”。是通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)，從網(wǎng)站某一個(gè)頁(yè)面（通常是首頁(yè)）開(kāi)始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來(lái)。
網(wǎng)絡(luò)蜘蛛就是一個(gè)爬行程序，一個(gè)抓取網(wǎng)頁(yè)的程序。網(wǎng)絡(luò)蜘蛛與搜索引擎有著比較密切的關(guān)系，目前全球知名的搜索引擎google、百度、雅虎等都為各自開(kāi)發(fā)了網(wǎng)絡(luò)蜘蛛程序。
猜你喜歡