尤物视频在线观看|国产尤物视频在线观看|99热在线获取最新地址,久久频这里精品99香蕉久,国产色婷婷精品综合在线,亚洲欧美日韩高清在线看

作為一名seoer，對網站日志分析是必需要掌握的一項基本的技能，通過日志分析可以分析爬蟲抓取頁面有效性,通過日志分析蜘蛛返回的狀態(tài)碼能及時發(fā)現網站里面是否存在錯誤或者蜘蛛無法爬取的頁面，排查網站頁面中存在的404錯誤頁面，500服務器錯誤等這些噪音內容上噪音頁面上（重復頁面，低質量頁面，空內容頁面，404頁面，不排名頁面等）

一、網站日志可以為我們做什么？

1. 可以分析爬蟲抓取頁面有效性（減少搜索引擎在一些噪音頁面上：重復頁面，低質量頁面，空內容頁面，404頁面，不排名頁面 的抓取頻率）；

2. 頁面重要內容是否被爬蟲完整爬到并且快速遍歷；

3. 正確分辨蜘蛛爬蟲；

二、常見HTTP狀態(tài)碼解讀.

1. 200代碼，表示蜘蛛爬取正常；

2. 404代碼，訪問的這個鏈接是錯誤鏈接；

3. 301代碼，永久重定向；

4. 302代碼，表示臨時重定向；

5. 304代碼，客戶端已經執(zhí)行了GET，但文件未變化；

6. 500代碼，表示網站內部程序或服務器有錯；

日志里的含義，可以大家看下網站日志中各個數據都代表什么意思，總之這個文件是記錄的一天發(fā)生在網站上的一些行為。當我們拿到這么一個網站日志，我們就可以審視我們的日志，并且通過對日志文件分析解決網站存在的問題；

三、日志代碼解讀.

從日志文件當中可以解讀出兩個部分內容：

1、搜索引擎抓取情況；

1. 從日志文件中，可以大家看到搜索引擎抓取了一些404頁面及低質量重負頁面（噪音行為）

2. 備注：可以通過nslookup ip 識別蜘蛛的真假

3. /date-2016-01.html（低質量重負頁面）

4. /author-1.html（低質量重負頁面）

5. /downloads/（低質量頁面）

6. /contact.html（死鏈接接），但這里有個問題，這個頁面返回的狀態(tài)碼為200而不是404，但頁面卻

   跳轉到404頁面，從中可以發(fā)現服務器設置一定有問題；

   
   

  所以，當我們有一些頁面不希望他們抓取的時候，我們需要在robots中進行規(guī)范。規(guī)范robots一個重要的手段，就是robots.txt。爬蟲糾偏，讓爬蟲花更多的精力放在我的詳情頁面上。

2、用戶訪問網站情況；

  關于用戶網站訪問情況, 主要分析用戶訪問網站行為軌跡及用戶屬性。

對于一個專業(yè)的seoer來說，網站日志分析是我們必須要精通的事情，也希望以上的專業(yè)知識能夠為大家?guī)韼椭?/p>