首先要明確一點,本文探討范圍僅限內容頁,而非專題頁、列表頁和首頁。那么我在甄別這兩類文章之前,我需要先進行信息的采集。本文對于spider程序部分不進行闡述。當spider程序下載下來網頁信息后,在內容處理的模塊中,我需要先對內容除噪。如果是我,我會喜歡什么樣子的文章呢?我會喜歡我的用戶喜歡的文章,如果硬要加判定標準,那無外乎是兩種:1.原創(chuàng)且用戶喜歡。
2.非原創(chuàng)且用戶喜歡。在這里,我的態(tài)度很明顯,偽原創(chuàng)就是非原創(chuàng)。那么用戶喜歡什么樣的文章呢?很顯然,一些新觀點、新知識往往是用戶喜歡的,也就是說通常原創(chuàng)文章都是用戶喜歡的,而且即便用戶不喜歡,原創(chuàng)站點作為新鮮內容的制造者,也應該受到一定的保護。那么非原創(chuàng)的文章用戶就一定不喜歡嗎?誠然否也。一些站點,其內容往往是經過搜集整理后聚合而成的,那么這些站點對用戶來說就是有價值的,其相對應的文章理應獲得較好的排名。
很多SEO他們懶,進行所謂的偽原創(chuàng),你說你偽原創(chuàng)時插入點自己的觀點與資料也成,結果你們就是改個近義詞什么的,于是我就用到了特征向量,通過特征向量的判斷,把你們這些低劣的偽原創(chuàng)抓出來。關于這個,判斷思想很簡單,你權重最高的前N個關鍵詞集合極為相似的時候,判斷為重復。這里所謂的相似包括但不僅僅局限于權重最高的前N個關鍵詞重合,于是構建了特征向量,當對比的兩個向量夾角與長度,當夾角與長度的差異度小于某個特定值的時候,我將其定義為相似文章。
如果是一個注重用戶體驗的聚合性網站,那么他的作用是將現(xiàn)有的互聯(lián)網內容經過精心的分類與關聯(lián),來方便用戶更好、更有效的閱讀。針對這樣的站點,即便其文章不是原創(chuàng)而是從互聯(lián)網上摘抄的,我也會給予其足夠的重視與排名,因為它良好的聚合內容往往更能滿足用戶的需求。你們說,為什么當站文章中有大量相同時,會快速引起搜索引擎懲罰呢?這里我說的不是摘抄與原創(chuàng)的問題,而是你站內自己和自己的文章重復。之所以搜索引擎反應這么快,同時懲罰嚴厲,根本原因就是在你的文章中,他提取不到內容。現(xiàn)在基本上搜索引擎對于原創(chuàng)的識別,在大面上采用的是關鍵詞匹配結合向量空間模型來進行判斷。Google就是這么做的,在其官方博客有相應的文章介紹。這里,我就做個大白話版本的介紹,爭取做到簡單易懂。