我們用戶經常瀏覽網頁，就是打開瀏覽器，輸入網址，最后看到網站內容。然而搜索引擎是怎么工作的呢。是不是和我們看網頁有區(qū)別呢。下面我們具體分析一下。
所謂網絡爬蟲，也叫網絡蜘蛛，它是一種程序，能自動取得網站內容的程序，通過將內容存進搜索引擎系統(tǒng)，然后根據分析，以數據庫的形似分門別類的建立索引，方便用戶檢索到這個網頁。這就是爬蟲。
爬蟲通過漫游的形式進行抓取，爬蟲爬到一個頁面后，看到一個鏈接，然后順著那個鏈接又爬到另外一個頁面，爬蟲是不停的從一個頁面跳到另外一個頁面的，它一邊下載這個網頁，一邊在提取這個網頁中的鏈接，那個頁面上所有的鏈接都放在一個公用的“待抓取列表”里。而且爬蟲有個特點，就是他在訪問你網站之前，不去做判斷你這個網頁本身怎么樣的，不對網頁內容判斷就抓取，但是會有優(yōu)先級的劃分，盡可能不抓重復的內容，盡量抓重要內容（比如網站的公共部分）。
搜索引擎同時會派出多個爬蟲進行多線程的抓取，所有被爬蟲抓取的網頁將會被系統(tǒng)儲存，進行一定的分析、過濾（去重），并建立索引，以便之后的查詢和檢索。
濟南網站優(yōu)化：http://mahangsq.com/
