尤物视频在线观看|国产尤物视频在线观看|99热在线获取最新地址,久久频这里精品99香蕉久,国产色婷婷精品综合在线,亚洲欧美日韩高清在线看

如何識別百度真假蜘蛛

作者:dengying 瀏覽:2150 發(fā)布時間:2015-05-06
編輯 分享 評論 0

  

    百度蜘蛛對于站長來說可謂上賓,可是我們曾經(jīng)遇到站長這樣提問:我們?nèi)绾闻袛喁偪褡ノ覀兙W(wǎng)站內(nèi)容的蜘蛛是不是百度的?其實站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據(jù)平臺不同驗證方法不同,如linux/windows/os三種平臺下的驗證方法分別如下:

  1、在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  2、在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  3、 在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。

  Baiduspider IP是多少

  即便很多站長知道了如何判斷百度蜘蛛,仍然會不斷地問“百度蜘蛛IP是多少”。我們理解站長的意思,是想將百度蜘蛛所在IP加入白名單,只準白名單下IP對網(wǎng)站進行抓取,避免被采集等行為。

  但我們不建議站長這樣做。雖然百度蜘蛛的確有一個IP池,真實IP在這個IP池內(nèi)切換,但是我們無法保證這個IP池整體不會發(fā)生變化。所以,我們建議站長勤看日志,發(fā)現(xiàn)惡意蜘蛛后放入黑名單,以保證百度的正常抓取。

  同時,我們再次強調(diào),通過IP來分辨百度蜘蛛的屬性是非常可笑的事情,所謂的“沙盒蜘蛛”“降權(quán)蜘蛛”等等是從來都不存在的。


詞條統(tǒng)計

  • 瀏覽次數(shù):2150
  • 編輯次數(shù):0次歷史版本
  • 最近更新:2015-05-06
  • 創(chuàng)建者:dengying
  • 相關(guān)詞條

    相關(guān)問答

    相關(guān)百科

    相關(guān)資訊