robot.txt
作者：妮妮優(yōu)化
瀏覽：1284次
發(fā)布時間：2017-08-13
編輯
分享
評論
贊0
robot.txt
搜索引擎通過一種程序“蜘蛛”（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信 息。您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網(wǎng)站中不想被蜘蛛訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎訪問和收錄了，或者可以通過robots.txt指定搜 索引擎只收錄指定的內(nèi)容。搜索引擎爬行網(wǎng)站第一個訪問的文件就是robot.txt。
猜你喜歡