搜索引擎蜘蛛
作者：數(shù)風(fēng)流人物
瀏覽：1066次
發(fā)布時(shí)間：2017-10-23
編輯
分享
評(píng)論
贊0
搜索引擎蜘蛛是一個(gè)自動(dòng)抓取互聯(lián)網(wǎng)上網(wǎng)頁(yè)內(nèi)容的程序，每個(gè)搜索引擎都有自己的蜘蛛。
搜索引擎蜘蛛也叫搜索引擎爬蟲(chóng)、搜索引擎robot。
各大搜索引擎蜘蛛名稱(chēng)：
百度：百度spider
谷歌：googlebot
搜狗：sogou spider
360搜索：360Spider
有道：YodaoBot
雅虎：Yahoo Slurp
必應(yīng)：msnbot
Msn:msnbot
以上是常見(jiàn)的搜索引擎蜘蛛（爬蟲(chóng)），如果你的網(wǎng)站不想讓讓某些蜘蛛抓取，那么可以通過(guò)robots.txt來(lái)限制爬蟲(chóng)的抓取。
猜你喜歡