Robots協(xié)議-作用
作者：一抹淺笑
瀏覽：882次
發(fā)布時(shí)間：2017-08-28
編輯
分享
評論
贊0
robots協(xié)議用來告知搜索引擎哪些頁面能被抓取，哪些頁面不能被抓??；可以屏蔽一些網(wǎng)站中比較大的文件，如：圖片，音樂，視頻等，節(jié)省服務(wù)器帶寬；可以屏蔽站點(diǎn)的一些死鏈接。方便搜索引擎抓取網(wǎng)站內(nèi)容；設(shè)置網(wǎng)站地圖連接，方便引導(dǎo)蜘蛛爬取頁面。
猜你喜歡