搜索引擎(→搜索引擎)

　　搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息， 在對信息進行組織和處理后， 為用戶提供檢索服務， 將用戶檢索相關的信息展示給用戶的系統。 搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。 百度和谷歌等是搜索引擎的代表。

　　工作原理

　　第一步：爬行

　　搜索引擎是通過一種特定規律的軟件跟蹤網頁的鏈接， 從一個鏈接爬到另外一個鏈接， 像蜘蛛在蜘蛛網上爬行一樣， 所以被稱為“蜘蛛”也被稱為“機器人”。 (→搜索引擎蜘蛛)的爬行是被輸入了一定的規則的， 它需要遵從一些命令或文件的內容。

　　第二步：抓取存儲

　　搜索引擎是通過蜘蛛跟蹤鏈接爬行到網頁， 并將爬行的數據存入原始頁面數據庫。 其中的頁面數據與用戶瀏覽器得到的HTML是完全一樣的。 搜索引擎蜘蛛在抓取頁面時， 也做一定的重復內容檢測， 一旦遇到權重很低的網站上有大量抄襲、采集或者復制的內容， 很可能就不再爬行。

　　第三步：預處理

　　搜索引擎將蜘蛛抓取回來的頁面， 進行各種步驟的預處理。

　　⒈提取文字

　　⒉中文分詞

　　⒊去停止詞

　　⒋消除噪音(搜索引擎需要識別并消除這些噪聲， 比如版權聲明文字、導航條、廣告等……)

　　5.正向索引

　　6.倒排索引

　　7.鏈接關系計算

　　8.特殊文件處理

　　除了HTML 文件外， 搜索引擎通常還能抓取和索引以文字為基礎的多種文件類型， 如 PDF、Word、WPS、XLS、PPT、TXT 文件等。 我們在搜索結果中也經常會看到這些文件類型。 但搜索引擎還不能處理圖片、視頻、Flash 這類非文字內容， 也不能執行腳本和程序。

　　第四步：排名

　　用戶在搜索框輸入關鍵詞后， 排名程序調用索引庫數據， 計算排名顯示給用戶， 排名過程與用戶直接互動的。 但是， 由于搜索引擎的數據量龐大， 雖然能達到每日都有小的更新， 但是一般情況搜索引擎的排名規則都是根據日、周、月階段性不同幅度的更新。