筆者曾認真研究和分析過產品從企業到消費者手中的路徑，得出一個結論，消費者向企業購買產品共經歷了以下四個步驟：找到你、了解你、滿意你、忠誠你。企業在建立好網站之后，首先就是要讓客戶找到你。很顯然，要想讓客戶找到你，那么網站就必須被搜索引擎收錄，能在搜索引擎的搜索結果頁面上查找到。因此“網站收錄”是企業網站進行網絡營銷的當務之急，如下圖所示：

 

產品從企業到消費者手中共經歷的四個步驟

不同的搜索引擎對網站收錄情況不一樣，但基本收錄功能是差不多的，下面以百度收錄為例介紹搜索引擎收錄網站的原理。

 

網絡蜘蛛的基本原理：

要想了解網站收錄，首先要了解網絡蜘蛛的基本工作原理。網絡蜘蛛又稱為網絡機器人，英文名字叫Web Spider，這是一個非常形象的名字，如果把互聯網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是通過網頁的鏈接地址來尋找網頁，從網站的某個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中其他鏈接地址，然后通過這些鏈接地址尋找下一個網頁，如此循環下去，直到把這個網站所有的網頁都抓取完。

 

筆者更愿意把網絡蜘蛛稱為抓取機器人，這是因為網絡蜘蛛在抓取所有的頁面文件之后，會把抓取到的文件存入數據庫，可以把這個數據庫比作為一個非常龐大的Excel表格，這個Excel表格的每一行就代表一個網頁，而網頁的文字則被分解到每個單元格里。

 

當用戶在搜索引擎界面中輸入關鍵詞時，搜索引擎程序就會對撞索詞進行處理，從搜索引擎數據庫找到所有包含搜索詞的頁面，并根據排名算法計算出各個網頁的排名。對于這個“搜索詞處理”的環節，就好像在一個龐大的虛擬的Excel表格進行“條件篩選”的過程，當然整個搜索引擎的過程比這復雜得多。

 

網絡蜘蛛在抓取網頁時，一般有兩種策略：廣度優先和深度優先，如下圖所示。

網絡蜘蛛抓取網頁策略

(1）廣度優先

廣度優先是指網絡蜘蛛會先抓取起始網頁中鏈接的所有網頁，然后再選擇其中的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。這是最常用的方式，因為這個方法可以讓網絡蜘蛛并行處理，提高其抓取速度。

 

(2）深度優先

深度優先是指網絡蜘蛛會從起始頁開始，一個鏈接一個鏈接地跟蹤下去，處理完這條線路之后再轉人下一個起始頁，繼續跟蹤鏈接。這個方法有一個優點就是網絡蜘蛛在抓取的時候比較容易。

每個網絡蜘蛛都有自己的名字，在抓取網頁時，都會向網站表明自己的身份。例如Google網絡蜘蛛稱為GoogleBot，百度網絡蜘蛛稱為BaiDuSpider，雅虎網絡蜘蛛稱為Inktomi Slurp等。

     本文鏈接：http://m.gujaratreit.com/xinwenzhongxin/562.html