雖然搜索引擎在不斷升級算法，但畢竟還是一個程序，所以在布局網站結構時，應該盡量讓搜索引擎蜘蛛理解。每個搜索引擎蜘蛛都有自己的名字。當它抓取網頁時，它會向網站顯示自己的身份。當搜索引擎蜘蛛抓取網頁時，它會發送一個請求。在請求中，一個字段是用戶代理，用于標識搜索引擎蜘蛛。所以，今天就讓我們一起來深入了解蜘蛛抓取原理吧。

例如，Google搜索引擎spider的徽標是Google bot、Baidu搜索引擎spider和Yahoo搜索引擎spider inktomislurp。如果網站上有訪問日志，網站管理員可以知道哪些搜索引擎蜘蛛來了，它們什么時候來了，它們讀了多少數據。如果網站管理員發現蜘蛛有問題，他或她會使用自己的徽標與他或她聯系。

不允許：

當搜索引擎蜘蛛下載網頁時，它將識別網頁的HTML代碼。在代碼部分，它將有一個元標志。這些標志可以告訴搜索引擎蜘蛛的網頁是否需要被爬網，也可以告訴搜索引擎蜘蛛網頁中的鏈接是否需要被追蹤。例如，這意味著不需要對此網頁進行爬網，但需要對網頁中的鏈接進行跟蹤。

現在一般的網站都希望搜索引擎能更全面地掌握自己網站的網頁，因為這樣可以讓更多的訪問者通過搜索引擎找到這個網站。為了更全面地抓取本網站的網頁，網站管理員可以建立網站地圖，即網站地圖。許多搜索引擎蜘蛛將站點地圖和HTM文件作為網頁訪問條目。網站管理員可以將網頁的所有鏈接放在這個文件中的網頁內容中，這樣搜索引擎蜘蛛就可以輕松地抓取整個網站，避免丟失一些網頁，并減輕服務器的負擔（Google專門用XML對網站地圖進行嚴格的管理）。

搜索引擎建立網頁索引，處理對象是文本文件。對于搜索指南蜘蛛，捕獲的網頁包括各種格式，包括HTML、圖片、文檔、PDF、多媒體、動態網頁和其他格式。抓取這些文件后，我們需要從這些文件中提取文本信息。準確提取這些文檔的信息，一方面對搜索引擎的準確性起著重要的作用，另一方面對搜索引擎蜘蛛對其他鏈接的正確跟蹤也有一定的影響。

對于由專業廠商提供的軟件生成的Doc、PDF等文檔，廠商會提供相應的文本抽取接口。搜索引擎只需要調用這些插件的接口，就可以方便地提取文檔中的文本信息和文件中的其他相關信息。

HTML和其他文檔是不同的。HTML有自己的語法。不同的命令標識符用于標識不同的字體、顏色、位置等。提取文本信息時，需要過濾掉這些標識符。過濾標識符并不困難，因為只要根據不同的標識符獲得相應的信息，這些標識符就有一定的規則。但在識別這些信息時，需要同時記錄許多布局信息。

除了標題和正文外，還會有很多廣告鏈接以及公共頻道鏈接。這些鏈接與文本無關。在提取web內容時，我們需要過濾這些無用的鏈接。比如，一個網站有一個“產品介紹”頻道，因為導航欄會出現在網站的每一頁，這無疑會帶來很多垃圾信息。過濾這些無效鏈接需要大量統計頁面結構規則，提取一些共性特征，統一過濾；對于一些重要的、特殊的網站結果，也需要個別處理。這就要求搜索引擎蜘蛛的設計具有一定的可擴展性。