尤物视频在线观看|国产尤物视频在线观看|99热在线获取最新地址,久久频这里精品99香蕉久,国产色婷婷精品综合在线,亚洲欧美日韩高清在线看

昵稱：飛鳥海搏

接單：349   關(guān)注TA

達(dá)標(biāo)率 0%

網(wǎng)站robots文件的作用介紹及寫法大全

作者：飛鳥海搏 瀏覽：142次 發(fā)布時間：2017-12-25
分享 評論 贊0

一個完整的網(wǎng)站,301重定向、404頁面自定義和robots.txt文件都是必有的,沒有為什么,301是為了集權(quán);404是在網(wǎng)站出現(xiàn)死鏈的時候引導(dǎo)蜘蛛以及增加用戶體驗;那robots.txt文件是做什么的呢?它有什么作用呢?


  一、robots文件是什么?


  robots.txt文件是存放在網(wǎng)站根目錄下面的一個TXT文本文檔.它是網(wǎng)站和蜘蛛之間的一個協(xié)議.


  二、robots文件有什么作用?


  如果你網(wǎng)站根目錄有robots.txt這樣一個文件,那蜘蛛在爬行你網(wǎng)站的時候就會首先訪問這個文件(robots文件一般都要存放在根目錄,蜘蛛第一個訪問的文件,因此這個文件是很重要的).robots文件的作用是告訴搜索引擎蜘蛛,網(wǎng)站的哪些文件夾可以抓取,哪些文件夾不能抓取,從而確保我們網(wǎng)站的隱私內(nèi)容不會被收錄.


  三、robots文件怎么寫?


  1.定義搜索引擎


  用User-agent:來定義搜索引擎,其中*表示所有


  百度蜘蛛名字:Baiduspider,谷歌蜘蛛名字:Googlebot.


  User-agent:*表示定義所有蜘蛛


  User-agent: Baiduspider表示自定義百度蜘蛛,


  User-agent: Googlebot表示自定義谷歌蜘蛛


  大家可以參考百度或者淘寶的robots.txt,他么就是這樣寫的,而我們小站只需要自定義所有搜索引擎蜘蛛即可.


  2.禁止訪問和允許訪問


  User-agent: *


  Disallow: /


  表示禁止所有搜索引擎訪問;


  User-agent: *


  Allow: /


  表示允許所有搜索引擎訪問.


  PS:在:后面/前面有一個英文狀態(tài)下的空格,空格必須有,必須是英文狀態(tài)下的


  3.禁止搜索引擎訪問網(wǎng)站中的某些目錄


  假設(shè)a是我網(wǎng)站根目錄的一個文件夾,寫法分別如下:


  User-agent: *


  Disallow: /a


  禁止搜索引擎訪問a文件夾及a文件夾下面的所有文件


  User-agent: *


  Disallow: /a/


  禁止搜索引擎訪問a文件夾下面的所有文件,但是a文件夾是允許被訪問的(這里闡述不太清楚,具體大家可以去百度站長平臺測試)