蜘蛛爬行相當(dāng)于遍歷網(wǎng)絡(luò)的有向圖，因此一個(gè)結(jié)構(gòu)簡(jiǎn)單清晰的網(wǎng)站一定是它，并盡量保證蜘蛛的可讀性。

（1） 樹(shù)形結(jié)構(gòu)的結(jié)構(gòu)是“首頁(yè)-頻道-詳情頁(yè)”；

（2） 從平面首頁(yè)到細(xì)節(jié)頁(yè)的層次盡可能小，便于抓取，能很好地轉(zhuǎn)移權(quán)重。

（3） 網(wǎng)狀網(wǎng)保證每個(gè)頁(yè)面至少有一個(gè)文本鏈接指向，可以使網(wǎng)站盡可能全面地被抓取收錄，對(duì)鏈的構(gòu)建也可以起到積極的排序作用。

（4） 導(dǎo)航為每個(gè)頁(yè)面添加了一個(gè)導(dǎo)航，這使得用戶很容易知道自己在哪里。

（5） 相信有大量的站長(zhǎng)對(duì)子域和目錄的選擇有疑慮。我們認(rèn)為，當(dāng)內(nèi)容較少，內(nèi)容相關(guān)性較高時(shí)，建議以目錄形式實(shí)現(xiàn)，有利于權(quán)重的繼承和收斂；當(dāng)內(nèi)容較多，與主站相關(guān)性稍差時(shí)，建議以子域形式實(shí)現(xiàn)。

（1） 在網(wǎng)站中，同一內(nèi)容頁(yè)面只對(duì)應(yīng)一個(gè)的URL，過(guò)多的URL形式會(huì)分散頁(yè)面的權(quán)重，目標(biāo)URL存在被系統(tǒng)過(guò)濾的風(fēng)險(xiǎn)；

（2） 動(dòng)態(tài)參數(shù)盡量少，URL盡量短；

（3） 美學(xué)使用戶和機(jī)器能夠通過(guò)URL判斷頁(yè)面內(nèi)容的主題；

我們推薦以下幾種URL形式：URL應(yīng)該盡量簡(jiǎn)短易讀，以便用戶快速理解，例如使用拼音作為目錄名；系統(tǒng)中相同的內(nèi)容只產(chǎn)生一個(gè)與之對(duì)應(yīng)的URL，去掉無(wú)意義的參數(shù)；如果無(wú)法保證URL，盡量對(duì)目標(biāo)URL制作不同形式的url301；防止用戶在主域名中輸入錯(cuò)誤的備用域名301。

（1） 別忽視那些倒霉的機(jī)器人檔案。默認(rèn)情況下，一些系統(tǒng)機(jī)器人被搜索引擎抓取。網(wǎng)站建立后，及時(shí)檢查和編寫(xiě)相應(yīng)的機(jī)器人文件，在日常維護(hù)過(guò)程中注意定期檢查；

（2） 建立網(wǎng)站地圖文件和死鏈文件，及時(shí)通過(guò)百度站長(zhǎng)平臺(tái)提交；

（3） 一些電子商務(wù)網(wǎng)站存在地域跳躍的問(wèn)題。建議做一個(gè)統(tǒng)一的頁(yè)面來(lái)識(shí)別頁(yè)面中是否有商品。如果此區(qū)域沒(méi)有商品，請(qǐng)勿返回?zé)o效頁(yè)面。由于spider導(dǎo)出的限制，無(wú)法包含正常頁(yè)面。

（4） 合理使用機(jī)器人、站點(diǎn)地圖、索引量、爬行壓力、死鏈提交、網(wǎng)站改版等站長(zhǎng)平臺(tái)提供的工具。