robots
作者：優(yōu)化師猴子
瀏覽：389次
發(fā)布時間：2018-03-15
編輯
分享
評論
贊0
搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。robots.txt對于任何一個從事SEO研究工作的人都是至關(guān)重要的，因為透過 robots.txt 我們可以直接與搜索引擎蜘蛛進行對話，告訴他們哪些可以抓取，哪些不可以抓取。
猜你喜歡