雖然百度已全面取消referer，但網(wǎng)站SEO優(yōu)化工作，依然不可缺少。因?yàn)樽鯯EO優(yōu)化，是為了使網(wǎng)站更加適合搜索引擎的檢索行為，為網(wǎng)站帶來(lái)自然流量。常言道，知己知彼，百戰(zhàn)不殆，下面，就和成都網(wǎng)站建設(shè)公司科技一起來(lái)認(rèn)識(shí)一下搜索引擎把。

木蘭網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián)公司,木蘭網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為木蘭成百上千提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站制作要多少錢(qián)，請(qǐng)找那個(gè)售后服務(wù)好的木蘭做網(wǎng)站的公司定做！

首先，和白掌一起認(rèn)識(shí)一下什么是搜索引擎。

搜索引擎，就是在搜索框中，直接輸入所需信息的關(guān)鍵詞，就可從互聯(lián)網(wǎng)中獲取與搜索詞相關(guān)信息的軟件系統(tǒng)。通常，這些搜索結(jié)果會(huì)呈現(xiàn)在搜索結(jié)果頁(yè)，搜索到的信息，可能是網(wǎng)頁(yè)，可能是圖像，也可能是其它類(lèi)型的文件。對(duì)于人工實(shí)時(shí)維護(hù)更新的站點(diǎn)，大多情況下，也就是我們所優(yōu)化的網(wǎng)站，搜索引擎會(huì)派出基于一定算法的網(wǎng)站爬蟲(chóng)來(lái)抓取站點(diǎn)實(shí)時(shí)更新的信息。但是，在搜索引擎發(fā)展之初，并沒(méi)有網(wǎng)站爬蟲(chóng)的存在。

然后，讓我們一起來(lái)看一下搜索引擎早期的發(fā)展。

在互聯(lián)網(wǎng)發(fā)展早期，蒂姆?伯納斯?李建立了第一個(gè)網(wǎng)站并托管在CERN(歐洲核子研究組織)的服務(wù)器上。后來(lái)，蒂姆在這個(gè)網(wǎng)站中列舉了其它網(wǎng)站，其中尚存有記錄的是1992年的一次具有歷史意義的快照。但隨著越來(lái)越多服務(wù)器上線，這份列表無(wú)法及時(shí)更新，自后再上線的新服務(wù)器，都會(huì)出現(xiàn)在NCSAMosaic下一個(gè)名為“What‘sNew”的分類(lèi)中。

第一個(gè)被用于在互聯(lián)網(wǎng)上提供搜索服務(wù)的工具時(shí)Archie，這一象征“Archive“的名稱(chēng)，并不包含其中的字母”v“。這一工具，是由蒙特利爾市McGillUniversity計(jì)算機(jī)科學(xué)專(zhuān)業(yè)的學(xué)生AlanEmtage、BillHeelan和J.PeterDeutschz于1990年做成。他們下載了公共匿名FTP站點(diǎn)上所有文件的目錄列表，創(chuàng)建了一個(gè)可對(duì)文件名稱(chēng)進(jìn)行搜索的數(shù)據(jù)庫(kù)。但不管怎樣，受數(shù)據(jù)量的限制，Archie不能索引這些站點(diǎn)的內(nèi)容，只能進(jìn)行手動(dòng)搜索。

1991年，MarkMcCahill創(chuàng)建了Gopher系統(tǒng)。它的出現(xiàn)促使兩大新搜索程序-Veronica和Jughead-誕生。類(lèi)似于Archie，這兩項(xiàng)搜索程序可搜索收錄于Gopher索引系統(tǒng)中的文件名和標(biāo)題。其中，Veronica提供了在Gopher列表的大多數(shù)目錄標(biāo)題中進(jìn)行關(guān)鍵詞搜索的服務(wù)，Jughead則是一個(gè)從特定Gopher服務(wù)器獲取菜單信息的工具。當(dāng)搜索引擎Archie的名稱(chēng)還未收錄到Archie系列叢書(shū)中，Veronica和Jughead就已存在于這套叢書(shū)中，不過(guò)其中會(huì)索引Archie相關(guān)的內(nèi)容。

1993年夏天，雖然專(zhuān)業(yè)目錄有人工維護(hù)，但尚沒(méi)有為Web而存在的搜索引擎。Geneva某大學(xué)的OscarNierstrasz寫(xiě)了一系列Perl手稿。Oscar會(huì)在這些手稿中，定期反饋網(wǎng)頁(yè)的情況，后來(lái)他又按照一種標(biāo)準(zhǔn)格式，將這些手稿編輯了一遍。這些手稿，就是之后W3Catalog的雛形，web的第一個(gè)原始搜索引擎發(fā)布于1993年9月2日。

1993年6月，MatthewGray打造了第一個(gè)webrobot(搜索引擎爬蟲(chóng)機(jī)器人)-thePerl-basedWorldWideWebWanderer，并將其用于生成一種叫做Wandex的索引。Wanderer存在的目的是為了衡量萬(wàn)維網(wǎng)(WorldWideWeb)的大小，Web的第二個(gè)搜索引擎是Aliweb，它出現(xiàn)于1993年11月。Aliweb沒(méi)有采用webrobot，它是使用一種特定的格式來(lái)索引每一個(gè)站點(diǎn)的信息。

1993年12月，JonathonFletcher創(chuàng)建了JumpStation系統(tǒng)。這種系統(tǒng)使用一種WebRobot來(lái)發(fā)現(xiàn)網(wǎng)頁(yè)并為其建立索引，同時(shí)，用一種web格式來(lái)作為其搜索程序的接口。JumpStation可以說(shuō)是世界上第一個(gè)WorldWideWeb的搜索引擎。它將網(wǎng)頁(yè)搜索引擎的三大基本特征-抓取、索引和搜索-集于一體。但是由于JumpStation所在平臺(tái)可用資源的局限性，其索引內(nèi)容僅限于webrobot遇到的網(wǎng)頁(yè)標(biāo)題和副標(biāo)題。

1994年，WebCrawler誕生，它是允許WebRobot爬取“全文內(nèi)容“的搜索引擎之一。與其前輩不同的是，它支持用戶搜索任一網(wǎng)頁(yè)中的任一個(gè)搜索詞。之后，它成為所有主流搜索引擎的標(biāo)準(zhǔn)，也是第一個(gè)被公眾所熟知的搜索引擎。

同年，卡內(nèi)基梅隆大學(xué)創(chuàng)建了Lycos。Lycos是搜索引擎中的元老，最早提供信息搜索服務(wù)的網(wǎng)站之一，也是重要的商業(yè)典型。1996年，Lycos以收錄6000W文件位居當(dāng)時(shí)最大的搜索引擎。

隨后，互聯(lián)網(wǎng)中出現(xiàn)很多搜索引擎。這些搜索引擎包括Magellan網(wǎng)際網(wǎng)路搜索引擎、EXCITE搜索引擎、Infoseek資訊查找、因特通、NorthernLight搜索引擎和AltaVista，紛紛搶占人氣。Yahoo!是當(dāng)時(shí)廣受歡迎的搜索方式，但它的搜索功能僅能在它的網(wǎng)頁(yè)目錄下運(yùn)行，而不是其網(wǎng)頁(yè)的全文本副本。查詢的人也可以瀏覽目錄，而無(wú)需進(jìn)行關(guān)鍵詞搜索。

1996年，Netscape計(jì)劃在其瀏覽器打造一款專(zhuān)屬自己并極具特色的搜索引擎。消息發(fā)出后，對(duì)此感興趣的互聯(lián)網(wǎng)公司很多，Netscape就改變計(jì)劃，與五家主流搜索引擎達(dá)成協(xié)議，將這五個(gè)搜索引擎輪流放在Netscape的搜索引擎頁(yè)。這五家公司分別是Yahoo!,Magellan，Lycos，Infoseek和Exicite。

1998年，Google從Goto.com引入了PPC的概念，簡(jiǎn)單的說(shuō)就是，買(mǎi)賣(mài)搜索詞，這對(duì)于之后搜索引擎商業(yè)化具有重大意義，使互聯(lián)網(wǎng)變現(xiàn)成為可能。

在20世紀(jì)90年代末期，搜索引擎，也以互聯(lián)網(wǎng)投資風(fēng)暴中的明星產(chǎn)品而著稱(chēng)。有些公司高調(diào)進(jìn)入互聯(lián)網(wǎng)市場(chǎng)，在首次公開(kāi)募股中均獲得了創(chuàng)紀(jì)錄的收益。有些公司則砍掉了其公共搜索引擎，轉(zhuǎn)型為專(zhuān)門(mén)的營(yíng)銷(xiāo)公司，比如NorthernLight。很多搜索引擎公司都遭遇了投機(jī)泡沫(1995-2001)期間的互聯(lián)網(wǎng)泡沫，鼎盛于1999年，結(jié)束于2001年。

2000年前后，Google搜索引擎聲名鵲起。正如谷歌后來(lái)的創(chuàng)始人SergeyBrin和LarryPage所寫(xiě)的AnatomyofaSearchEngine一文中所解釋的，PageRank技術(shù)的提出采用谷歌搜索可以得到較好的搜索結(jié)果。這一為網(wǎng)頁(yè)排名的迭代算法，是通過(guò)互聯(lián)網(wǎng)浩瀚的超鏈接關(guān)系來(lái)確定頁(yè)面的等級(jí)。Google把從A網(wǎng)頁(yè)到B網(wǎng)頁(yè)的鏈接解釋為A網(wǎng)頁(yè)給B網(wǎng)頁(yè)的“點(diǎn)贊”，然后Google根據(jù)“點(diǎn)贊”網(wǎng)頁(yè)(甚至來(lái)源的來(lái)源，即鏈接到A網(wǎng)頁(yè)的網(wǎng)頁(yè))和“被點(diǎn)贊”網(wǎng)頁(yè)的等級(jí)來(lái)決定新的等級(jí)，簡(jiǎn)單的說(shuō)，一個(gè)高等級(jí)的網(wǎng)頁(yè)可使其它低等級(jí)頁(yè)面的等級(jí)提升。谷歌搜索也一直為其搜索引擎維持一個(gè)簡(jiǎn)潔的頁(yè)面。相反，谷歌的很多競(jìng)爭(zhēng)對(duì)手都選擇將其搜索引擎嵌入到某一門(mén)戶網(wǎng)站。樹(shù)欲靜而風(fēng)不止，谷歌因其飽受歡迎一直在被MysterySeeker惡搞，比如前段時(shí)間，谷歌地圖中顯示白宮是個(gè)“黑鬼屋”。

2000年，Yahoo!在Inktomi的搜索引擎中提供搜索服務(wù)。2002年，Yahoo!收購(gòu)Inktomi，并于2003年收購(gòu)Overture。2004年，Yahoo!兼并了Inktomi和Overture的技術(shù)，推出自己的搜索引擎，與谷歌成為競(jìng)爭(zhēng)對(duì)手。

1998年秋天，Microsoft采用Inktomi的搜索結(jié)果推出MSN搜索。1999年上半年，MSN開(kāi)始在Inktomi搜索結(jié)果中摻雜來(lái)自Looksmart搜索結(jié)果。1999年有一段時(shí)間，MSN搜索也會(huì)采用AltaVista的搜索列表。2004年，Microsoft開(kāi)始專(zhuān)注搜索技術(shù)，打造自己的WebRobot。2009年1月1日，Microsoft將MSN更名為Bing并上線。2009年7月29日，Yahoo!與Microsoft達(dá)成合作關(guān)系，在這一合作中，Yahoo!可得到MicrosoftBing技術(shù)的支持。

最后，和白掌一起來(lái)了解一下搜索引擎的工作。

搜索引擎的工作通常分為三個(gè)步驟，即爬行、索引，搜索。

簡(jiǎn)單地說(shuō)，搜索引擎會(huì)存儲(chǔ)標(biāo)記有html的網(wǎng)頁(yè)，這些網(wǎng)頁(yè)通常都是網(wǎng)站爬蟲(chóng)(有時(shí)也稱(chēng)作蜘蛛)抓取來(lái)的。而網(wǎng)站爬蟲(chóng)，會(huì)定期到訪網(wǎng)站，并爬行網(wǎng)站內(nèi)容的自動(dòng)程序。站長(zhǎng)可通過(guò)robots.txt文件來(lái)排除不希望被爬蟲(chóng)抓取的頁(yè)面。

爬蟲(chóng)將頁(yè)面內(nèi)容抓取回來(lái)后，搜索引擎會(huì)對(duì)這些內(nèi)容進(jìn)行分析，以確定如何索引這些內(nèi)容，例如，搜索引擎會(huì)從網(wǎng)頁(yè)的標(biāo)題、網(wǎng)站內(nèi)容、題目或Meta標(biāo)簽中提取出關(guān)鍵詞。網(wǎng)頁(yè)的數(shù)據(jù)會(huì)存儲(chǔ)至索引庫(kù)，用于之后的搜索詞搜索。用戶的搜索詞可以是單個(gè)的詞，索引會(huì)幫助用戶盡可能快的找到搜索詞相關(guān)的信息。

搜索詞處理

用戶在搜索引擎界面輸入關(guān)鍵詞，單擊“搜索”按鈕后，搜索引擎程序即對(duì)搜索詞進(jìn)行處理，如中文特有的分詞處理，去除停止詞，判斷是否需要啟動(dòng)整合搜索，判斷是否有拼寫(xiě)錯(cuò)誤或錯(cuò)別字等情況。搜索詞的處理必須十分快速。

排序

對(duì)搜索詞處理后，搜索引擎程序便開(kāi)始工作，從索引數(shù)據(jù)庫(kù)中找出所有包含搜索詞的網(wǎng)頁(yè)，并且根據(jù)排名算法計(jì)算出哪些網(wǎng)頁(yè)應(yīng)該排在前面，然后按照一定格式返回到“搜索”頁(yè)面。

再好的搜索引擎也無(wú)法與人相比，這就是為什么網(wǎng)站要進(jìn)行搜索引擎優(yōu)化。沒(méi)有SEO的幫助，搜索引擎常常不能正確的返回最相關(guān)、最權(quán)威、最有用的信息。