Robots.txt 文件應(yīng)放在哪里？
作者：胡舒君
瀏覽：2201次
發(fā)布時(shí)間：2016-12-09
編輯
分享
評(píng)論
贊0
Robots.txt 文件必須放在網(wǎng)站的根目錄。放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會(huì)起任何作用。
例子：
http://www.seowhy.com/robots.txt 有效
http://www.seowhy.com/bbs/robots.txt 無效
如果你不能控制根目錄的 robots.txt，則你可以通過在子目錄網(wǎng)頁中使用標(biāo)簽阻止網(wǎng)頁被收錄。
猜你喜歡