機(jī)器人




機(jī)器人有多種叫法,也叫 crawler (爬行器), spider (蜘蛛)。這個(gè)形象的叫法是描繪搜索引擎派出的蜘蛛機(jī)器人爬行在互聯(lián)網(wǎng)上探測(cè)新的訊息。這個(gè)探測(cè)器實(shí)際上是人們編制的計(jì)算機(jī)程序,由它不分晝夜地進(jìn)入訪問(wèn) 各個(gè)網(wǎng)站,取回網(wǎng)站內(nèi)容、標(biāo)簽、圖片等,然后依照搜索引擎的算法給它們制定成索引。但是,探測(cè)器對(duì)許多網(wǎng)站是不能完整取回信息的,這個(gè)大多是由于網(wǎng)站的設(shè)計(jì)沒(méi)有按照搜索引擎探測(cè)器的思路來(lái)進(jìn)行優(yōu)化。