Robots協(xié)議
作者：零啟老師
瀏覽：641次
發(fā)布時(shí)間：2018-03-13
編輯
分享
評(píng)論
贊0
例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的robot訪問 （或者也可以建一個(gè)空文件 “/robots.txt” file）
User-agent: *
Allow: /
例3. 僅禁止Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
猜你喜歡