鏈接結構和爬蟲爬行范圍

　　如果希望網(wǎng)站能夠吸引新的訪問者，在網(wǎng)站設計過程中，網(wǎng)站設計者們應考慮商業(yè)引擎網(wǎng)絡爬蟲的工作原理。關于商業(yè)引擎網(wǎng)絡爬蟲工作原理的具體細節(jié)，外人知道得很少，但可以從其一般工作原理中獲得幾點啟示。

　　網(wǎng)絡爬蟲是沿著從網(wǎng)頁文本中提取出來的鏈接爬行的，任何一個網(wǎng)站都應含有足夠的鏈接，以便爬蟲能夠發(fā)現(xiàn)該站點所有的網(wǎng)頁。更具體的講，爬蟲很可能從網(wǎng)站的首頁開始爬行，因此，網(wǎng)站首頁上的鏈接應能夠指向該網(wǎng)站所有的網(wǎng)頁。另外，這些鏈接必須包含在網(wǎng)頁的HTML中，且是標準的HTML(如，使用錨點標簽)，因為爬蟲可能識別不了其他格式的鏈接，包括JAVA或JavaScript格式。

　　許多網(wǎng)站從未被任何搜索引擎發(fā)現(xiàn)過，網(wǎng)站設計者們應該確保他們的網(wǎng)站能夠讓搜索引擎的“爬蟲”發(fā)現(xiàn)。某些搜索引擎有URL提交功能，即允許設計者們將其網(wǎng)站的URL提交到爬行列表中，所有的主流搜索引擎都有這一功能；有些搜索引擎雖沒有此功能，但如果已經(jīng)被索引過的網(wǎng)站中有指向未被索引到的網(wǎng)站的鏈接，那么順著鏈接，爬蟲也能爬取該網(wǎng)站。因此，對于新網(wǎng)站而言，應該確保至少有一個已經(jīng)被主流搜索引擎索引到的網(wǎng)站鏈接到該網(wǎng)站。

　　搜索引擎程序如何解析網(wǎng)頁文本

　　一個網(wǎng)頁中的文本對搜索引擎來說，比對用戶更為重要。網(wǎng)頁中的文本與鏈接主題無關，但可以給出一些網(wǎng)站的總體印象，這些網(wǎng)站里有些內(nèi)容不愿被搜索引擎索引到，所以，在設計時專門提防著搜索引擎。此時，需要區(qū)分“爬行”和“索引”這兩個概念。爬行一個網(wǎng)站是指沿著鏈接訪問該站點上所有的頁面，且一般會為這些網(wǎng)頁保存一個復本。索引則是爬行的下一個階段，即將網(wǎng)頁文本存人到一個特殊的“倒排文檔”數(shù)據(jù)庫中，利用“倒排文檔”數(shù)據(jù)庫，可以快速搜索到與用戶查詢相匹配的頁面。標準搜索引擎一般只索引網(wǎng)頁文本，而忽略圖片和其他多媒體信息。因此，討論搜索時就應該區(qū)分文本和圖片。

　　用戶在訪問網(wǎng)站的時候，從圖片中獲得的信息比從文本中獲得的信息更直觀。舉一個極端的例子，一個來自知名公司的圖標放在頁面中顯眼的位置，就足以說明該網(wǎng)頁是該公司的。相反，搜索引擎則是忽略所有圖片的，至少在從網(wǎng)頁中提取信息時是這樣的。如果一個網(wǎng)頁上都是鞋子的圖片，但其文本中卻沒有一個“鞋”字，那么，搜索引擎不知道這個頁面是關于鞋子的。這就說明，網(wǎng)站的設計者們需要確保頁面中含有描述該站點主題內(nèi)容的詞語。

　　一些更聰明的方法可以用來幫助搜索引擎來判定該頁面是關于鞋子的。Google首先提出了這樣的方法：如果有其他頁面鏈接到含有鞋子圖片的頁面，且錨文本中也提到鞋子，這便證明該圖片頁面是和鞋子相關的。另外，有一些精細的方法，如潛在語義分析，可以根據(jù)主題同義詞，或其他與主題相關的詞來猜測一個網(wǎng)頁的主題。例如，如果一個頁面中含有“靴子”，或其他與鞋子相關的詞(如“鞋帶”和“鞋底”)；那么，這便足以說明該頁面是和鞋子相關的。然而，網(wǎng)絡設計者們不能依賴使用這些先進技術的搜索引擎，因此，應該保證他們站點的關鍵頁面中含有大量與主題相關的文本信息，可以吸引訪問者。當然，這些文本應該在站點頁面的HTML中，而不是在圖片，或Java程序或多媒體形式的媒介中。

　　知道搜索引擎處理網(wǎng)頁的過程，有益于了解它們是如何尋找相關網(wǎng)頁的。似乎所有的商業(yè)搜索引擎都采用了向量空間模型，或是它的變體，向量空間模型一般是與其他技術結合在一起使用的。向量空間模型將所有的網(wǎng)頁都轉換到一個無序的詞庫中，每個頁面都用一個列表表示，列表中是頁面里各個詞出現(xiàn)的頻率。稍后，會用數(shù)學公式將詞頻轉換為權重，該數(shù)學公式能夠賦予文檔中詞頻較高的詞語較高的權重。同時，也會給稀有詞語賦予較高的權重。