尤物视频在线观看|国产尤物视频在线观看|99热在线获取最新地址,久久频这里精品99香蕉久,国产色婷婷精品综合在线,亚洲欧美日韩高清在线看

    屏蔽隱私頁面,后臺登陸頁面,緩存頁面,圖片目錄,css目錄,模板頁面,屏蔽雙頁面的內(nèi)容,同時可以屏蔽一些質(zhì)量比較差的頁面,例如金網(wǎng)的所有會員用戶空間頁面,dz的動態(tài)鏈接也可以設(shè)置屏蔽.通過Disallow:命令來進(jìn)行設(shè)置.

    每當(dāng)用戶試圖訪問某個不存在的URL時,服務(wù)器都會在日志中記錄404錯誤(無法找到文件).每當(dāng)搜索蜘蛛來尋找并不存在的robots.txt文件時,服務(wù)器也將在日志中記錄一條404錯誤,所以你應(yīng)該在網(wǎng)站中添加一個robots.txt.

    網(wǎng)站管理員必須使搜索引擎機(jī)器人程序遠(yuǎn)離服務(wù)器上的某些目錄,以保證服務(wù)器性能.比如:大多數(shù)網(wǎng)站服務(wù)器都有程序儲存在"cgi-bin"目錄下,因此在robots.txt文件中加入"Disallow: /cgi-bin"是個好主意,這樣能夠避免所有程序文件都被蜘蛛索引,以達(dá)到節(jié)省服務(wù)器資源的效果.

    一般網(wǎng)站中不需要蜘蛛抓取的文件有:后臺管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等.

    下面是VeryCMS里的robots.txt文件:

    User-agent: *

    Disallow: /admin/ 后臺管理文件

    Disallow: /require/程序文件

    Disallow: /attachment/ 附件

    Disallow: /images/ 圖片

    Disallow: /data/數(shù)據(jù)庫文件

    Disallow: /template/ 模板文件

    Disallow: /css/ 樣式表文件

    Disallow: /lang/ 編碼文件

    Disallow: /script/腳本文件

    Disallow: /js/js文件

    如果你的網(wǎng)站是動態(tài)網(wǎng)頁,并且你為這些動態(tài)網(wǎng)頁創(chuàng)建了靜態(tài)副本,以供搜索蜘蛛更容易抓取.那么你需要在robots.txt文件里設(shè)置避免動態(tài)網(wǎng)頁被蜘蛛索引,以保證這些網(wǎng)頁不會被視為是網(wǎng)站重復(fù)的內(nèi)容.

    robots.txt文件里還可以直接包括在sitemap文件的鏈接.就像這樣:

    Sitemap: http://www.***.com/sitemap.xml

    目 前對此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN.而中文搜索引擎公司,顯然不在這個圈子內(nèi).這樣做的好處就是,站長不用到每個搜索引擎的站長工具或者相似的站長部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就會抓取robots.txt文件,讀取其中的sitemap路徑,接著抓取其中相鏈接的網(wǎng)頁.

    合理使用robots.txt文件還能避免訪問時出錯.比如,不能讓搜索者直接進(jìn)入購物車頁面.因為沒有理由使購物車被收錄,所以你可以在robots.txt文件里設(shè)置來阻止搜索者直接進(jìn)入購物車頁面.