尤物视频在线观看|国产尤物视频在线观看|99热在线获取最新地址,久久频这里精品99香蕉久,国产色婷婷精品综合在线,亚洲欧美日韩高清在线看

一:robots基礎(chǔ)知識(shí)

robots協(xié)議（也稱(chēng)爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等），“全稱(chēng)是網(wǎng)絡(luò)爬蟲(chóng)掃除規(guī)范“（Robots Exclusion Protocol），網(wǎng)站經(jīng)過(guò)robots協(xié)議告訴搜索引擎哪些頁(yè)面能夠抓取，哪些頁(yè)面不能夠抓取。

Robot.txt的效果？

能夠讓蜘蛛更高效的匍匐網(wǎng)站

能夠阻撓蜘蛛匍匐動(dòng)態(tài)頁(yè)面，從而處理重復(fù)錄入的問(wèn)題

能夠削減蜘蛛匍匐無(wú)效頁(yè)面，節(jié)約服務(wù)器帶寬

能夠屏蔽搜索引擎屏蔽一些隱私頁(yè)面或許臨時(shí)頁(yè)面

怎么創(chuàng)立robots.txt文件呢？

右擊桌面——新建文本文檔——重命名為robots.txt（一切文件有必要小寫(xiě)）——編寫(xiě)規(guī)矩——用FTP把文件上（放到根目錄下）傳到空間

創(chuàng)立robots.txt需求留意的知識(shí)點(diǎn)：

1、有必要是txt結(jié)束的純文本文件

2、文件名一切字母有必要是小寫(xiě)

3、文件有必要要放在根目錄下

4、文件內(nèi)的冒號(hào)有必要是英文半角狀態(tài)下

二：robots參數(shù)解說(shuō)

User-agent

首要效果：用于描繪搜索引擎蜘蛛的姓名

舉列：

1、描繪一切蜘蛛

User-agent：*

2、描繪百度蜘蛛

User-agent：BaiduSpider

百度：BaiduSpider

谷歌：Googlebot

搜狗：Sogou web spider

好搜：360Spider

MSN：MSNBot

有道：YoudaoBot

宜搜：EasouSpider

User-agent技巧：

1、當(dāng)robots.txt不為空的時(shí)分，有必要至少有一條User-adent記載

2、相同的姓名，只能有一條（例如User-agent:*），可是不同蜘蛛，能夠有多條記載（例如：User-agent：Baiduspider和User-agent:Googlebot）。

Disallow

首要效果：用于描繪不答應(yīng)搜索引擎匍匐和抓取的URL。

運(yùn)用技巧：

1、在robots.txt中至少要有一條Disallow

2、Disallow記載為空，則表明網(wǎng)站一切頁(yè)面都答應(yīng)被抓取。

3、運(yùn)用Disallow，每個(gè)目錄有必要獨(dú)自分隔聲明

4、留意Disallow:/abc/（abc目錄底下的目錄不答應(yīng)抓取，可是目錄底下的html答應(yīng)抓取）和Disallow:/abc（abc目錄底下的目錄跟html都不答應(yīng)被抓?。┑牟町?。