網站建設
- » 網站建設
聯系方式
聯系人:陳經理
電話:020-8672252
郵箱:service@haoxtv.com
搜索引擎如何監控網站網頁變化? |
編輯:廣州網捷網站建設技術有限公司 時間:2013/01/28 字號:大 中 小 |
摘要:搜索引擎如何監控網站網頁變化? |
(1) 為減少瀏覽器對web服務器流量過大,http 1.1 設計了 if-modified-since 和 E-tag 功能,你可以在每一次下載后,記住last-modified-time 和 E-tag內容,然后下一次抓取時,在http協議上帶上這些值,如果內容沒變化,web服務器直接返回頁面未變化錯誤碼,從而快速得出網頁未變化結論;此法判斷不出,在跳入指紋比較。 (2) 從效率上考慮,我們不能對所有網頁一視同仁,而應該重點檢查;測試發現,大部分網站的網頁變化應該有一定規律的,比如首頁和論壇列表頁等容易發生變化,但老新聞內容頁可能幾年都不會發生變化;只要把經常變的給揪出來,變化內容就順便發現了,那么怎么跟蹤這些變化呢?可以記錄每個url的階段性變化歷史(如訪問了幾次,變化了幾次),然后下次抓取時,對其進行預測,優先級排序,經常變化的經常訪問。 |
上一條:百度與谷歌相比有哪些不足之處 | 下一條:網站被掛黑鏈,怎樣快速恢復百度排名 |