分析沒有被收錄的頁面
網站頁面沒有被收錄的原因都會很多，你要嘗試在這些沒有被收錄頁面中，尋找出來它們存在的客觀規律，是因爲搜索引擎從來沒有發現?還是因爲URL不合理，導致搜索引擎蜘蛛的抓取失敗?還是網站文章的內容原創度不高引起的。總而言之，只有蜘蛛發現並且成功抓取，纔有被收錄的可能。頁面不被收錄是非常麻煩的事，想要被快速收錄，就需要對網站的情況進行基本的維護和檢測。
先用nofollow屏蔽過度抓取頁面
對網站頁面要學會經常的查看網站日誌，這對網站頁面抓取情況會有一個比較清晰的瞭解。如果你是一位有查看網站日誌習慣的SEOer，那麼你肯定可以發現一個規律，那就是一天當中的60%屬於重複抓取，也就是一種浪費。那麼對過度抓取頁面nofollow屏蔽公共鏈接，通過這樣人工干預的方式，幫助搜索引擎蜘蛛抓取我們認爲是重要的頁面，以達到提高網站收錄率目的。
屏蔽非主流搜索引擎
如果網站進行競價，就需要屏蔽那些非主流搜索引擎，這對降低網站的.競價費用有很大的幫助。這一條是對上面的補充，比較適合沒有預算的SEOer選擇，因此往往產生流量的搜索引擎就那麼幾個，所以屏蔽掉那些非主流搜索引擎蜘蛛，將會給目標搜索引擎提供最大化的服務器流量。本條僅作爲參考，一般的企業網站是沒有必要去屏蔽的。
網站結構處理
網站結構優化如何?蜘蛛從首頁抓到最深層的一頁需要訪問多少頁面?需要蜘蛛訪問的頁面越多，被抓取的可能性也就越低，因此要通過優化網站結構方式，幫助蜘蛛能在比較淺層的位置找到有價值內容，確保每個頁面都用最少的抓取間隔鏈接。
提高網站訪問速度
有經濟實力的建議增加預算，以提高網站訪問速度，因爲總收錄量=總抓取時間 ÷ 單次抓取時間，所以提高網站速度，將降低搜索引擎蜘蛛處理單次抓取的時間，節約下來的抓取時間越多，可供再次抓取更多頁面的機會也就越大。如果是沒有預算的個人站長，可以看網站速度優化，通過技術的方式，降低蜘蛛處理單次抓取的時間。
