1，網站重復內容的判斷

　　A，獲取多個網頁;

　　B，分別提取網頁的網頁正文;

　　C，從網頁正文中提取一個或多個句子，并根據一個或多個句子計算網頁正文句子簽名;

　　D，根據網頁正文句子簽名對多個網頁進行聚類;

　　E，針對每一類下的網頁，計算網頁的附加簽名;

　　F，根據附加簽名判斷每一類下的網頁是否重復。

　　通過上述方式，網頁重復的判斷系統(tǒng)及其判斷方法通過包括網頁正文句子簽名在內的多維度簽名有效且快速地判斷網頁是否重復。

　　網站頁面基本架構

　　提取正文

　　A，對網頁進行分塊;

　　B，對分塊后的網頁進行塊過濾，以獲取包含網頁正文的內容快;

　　C，從內容塊中提取網頁正文。

　　正文分句

　　A，對網頁正文進行分句;

　　在本步驟中，可利用分號，句號，感嘆號等表示句子完結的標志符號來對網頁正文進行分句。此外，還可以通過網頁正文的視覺信息來對網頁正文進行分句。

　　B，對分句后的網頁正文進行過濾及轉換;

　　在步驟中，首先過濾掉句子中的數字信息;版權信息以及其他對網頁重復判斷不起決定性作用的信息。隨后，對句子進行轉換，例如，進行全角/半角轉換或者繁體/簡體轉換，以使得轉換后的句子的格式統(tǒng)一。

　　C，從過濾及轉換后的網頁正文中提取最長的一個或多個句子;

　　在本步驟中，過濾及轉換后的網頁正文提取出最長的一個句子或者做場的預定數量連續(xù)句子的組合。例如，某個網頁實例中，經過過濾及轉換后的某段最長，遠超其他句子，因此可選擇該段為網頁正文句子，或者選擇最長的連續(xù)句子組合作為網頁正文句子。

　　D，對一個或多個句子進行hash簽名運算，以獲取網頁正文句子簽名。