Googlebot




Googlebot 我們一般稱為Google 機(jī)器人或Google 探測器。
Google “派遣”了不同的Googlebot 對網(wǎng)頁內(nèi)容進(jìn)行獲取。主要包括:
Googlebot:抓取網(wǎng)頁中的文字內(nèi)容。獲取的內(nèi)容保存于Google 網(wǎng)頁搜索和新聞搜索的數(shù)據(jù)庫。我們一般談的Google 機(jī)器人主要指這個。
Googlebot-Mobile:抓取網(wǎng)頁中的文字內(nèi)容,用于Google 手機(jī)搜索。
Googlebot-Image:抓取網(wǎng)頁內(nèi)的圖片內(nèi)容,保存入Google 圖片搜索數(shù)據(jù)庫。
Mediapartners-Google:抓取網(wǎng)頁中的文字內(nèi)容,用于Google Adsense 分析關(guān)鍵詞。只有投放了Google Adsense 的網(wǎng)頁才會被 Mediapartners-Google 探測器爬取。
Adsbot-Google:抓取網(wǎng)頁中的文字內(nèi)容,用于為Google AdWords 提供參考。只有Google AdWords 的目標(biāo)網(wǎng)頁才會被 Adsbot-Google 探測器爬取。