網(wǎng)頁查重技術(shù)簡單介紹




對于搜索引擎來說,重復(fù)的網(wǎng)頁內(nèi)容是非常有害的。重復(fù)網(wǎng)頁的存在意味著這些網(wǎng)頁就要被搜索引擎多處理一次。更有害的是搜索引擎的索引制作中可能會在索引庫里索引兩份相同的網(wǎng)頁。當(dāng)有人查詢時,在搜索結(jié)果中就會出現(xiàn)重復(fù)的網(wǎng)頁鏈接。所以無論是從搜索體驗還是系統(tǒng)效率檢索質(zhì)量來說這些重負(fù)網(wǎng)頁都是有害處的。
網(wǎng)頁查重技術(shù)起源于復(fù)制檢測技術(shù),即判斷一個文件內(nèi)容是否存在抄襲、復(fù)制另外一個或多個文件的技術(shù)。
網(wǎng)頁和簡單的文檔不同,網(wǎng)頁的特殊屬性具有內(nèi)容和格式等標(biāo)記,因此在內(nèi)容和格式上的相同相似構(gòu)成了4種網(wǎng)頁相似的類型。
1、兩個頁面內(nèi)容格式完全相同。
2、兩個頁面內(nèi)容相同,但格式不同。
3、兩個頁面部分內(nèi)容相同并且格式相同。
4、兩個頁面部分重要相同但格式不同。