大型網(wǎng)站的特點
公司主營業(yè)務:網(wǎng)站設計制作、做網(wǎng)站、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳,提高企業(yè)的競爭能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化,感謝他們對我們的高要求,感謝他們從不同領域給我們帶來的挑戰(zhàn),讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)公司推出溫州免費做網(wǎng)站回饋大家。
大型網(wǎng)站一般有如下特點:
1.用戶多,分布廣泛
2.大流量,高并發(fā)
3.海量數(shù)據(jù),服務高可用
4.安全環(huán)境惡劣,易受網(wǎng)絡***
5.功能多,變更快,頻繁發(fā)布
6.從小到大,漸進發(fā)展
7.以用戶為中心
8.免費服務,付費體驗
大型網(wǎng)站架構(gòu)目標
大型網(wǎng)站的架構(gòu)目標有如下幾個:
高性能:提供快速的訪問體驗。
高可用:網(wǎng)站服務一直可以正常訪問。
可伸縮:通過硬件增加/減少,提高/降低處理能力。
擴展性:方便地通過新增/移除方式,增加/減少新的功能/模塊。
安全性:提供網(wǎng)站安全訪問和數(shù)據(jù)加密、安全存儲等策略。
敏捷性:隨需應變,快速響應。
大型網(wǎng)站架構(gòu)模式
如上圖是大型網(wǎng)站的架構(gòu)模式:
1.分層:一般可分為應用層、服務層、數(shù)據(jù)層、管理層與分析層。
2.分割:一般按照業(yè)務/模塊/功能特點進行劃分,比如應用層分為首頁、用戶中心。
3.分布式:將應用分開部署(比如多臺物理機),通過遠程調(diào)用協(xié)同工作。
4.集群:一個應用/模塊/功能部署多份(如:多臺物理機),通過負載均衡共同提供對外訪問。
5.緩存:將數(shù)據(jù)放在距離應用或用戶最近的位置,加快訪問速度。
6.異步:將同步的操作異步化??蛻舳税l(fā)出請求,不等待服務端響應,等服務端處理完畢后,使用通知或輪詢的方式告知請求方。一般指:請求—響應—通知模式。
7.冗余:增加副本,提高可用性、安全性與性能。
8.安全:對已知問題有有效的解決方案,對未知/潛在問題建立發(fā)現(xiàn)和防御機制。
9.自動化:將重復的、不需要人工參與的事情,通過工具的方式,使用機器完成。
10.敏捷性:積極接受需求變更,快速響應業(yè)務發(fā)展需求。
高性能架構(gòu)
高性能的架構(gòu)是以用戶為中心,提供快速的網(wǎng)頁訪問體驗,主要參數(shù)有較短的響應時間、較大的并發(fā)處理能力、較高的吞吐量與穩(wěn)定的性能參數(shù)。
可分為前端優(yōu)化、瀏覽器優(yōu)化、應用層優(yōu)化、代碼層優(yōu)化與存儲層優(yōu)化:
前端優(yōu)化:網(wǎng)站業(yè)務邏輯之前的部分。
瀏覽器優(yōu)化:減少 HTTP 請求數(shù),使用瀏覽器緩存,啟用壓縮,CSS JS 位置,JS 異步,減少 Cookie 傳輸;cdn 加速,反向代理。
應用層優(yōu)化:處理網(wǎng)站業(yè)務的服務器。使用緩存,異步,集群。
代碼優(yōu)化:合理的架構(gòu),多線程,資源復用(對象池,線程池等),良好的數(shù)據(jù)結(jié)構(gòu),JVM調(diào)優(yōu),單例,Cache 等。
存儲優(yōu)化:緩存、固態(tài)硬盤、光纖傳輸、優(yōu)化讀寫、磁盤冗余、分布式存儲(HDFS)、NOSQL 等。
高可用架構(gòu)
大型網(wǎng)站應該在任何時候都可以正常訪問,正常提供對外服務。因為大型網(wǎng)站的復雜性,分布式,廉價服務器,開源數(shù)據(jù)庫,操作系統(tǒng)等特點,要保證高可用是很困難的,也就是說網(wǎng)站的故障是不可避免的。
如何提高可用性,就是需要迫切解決的問題。首先,需要從架構(gòu)級別考慮,在規(guī)劃的時候,就考慮可用性。
行業(yè)內(nèi)一般用幾個 9 表示可用性指標,比如四個 9(99.99),一年內(nèi)允許的不可用時間是 53 分鐘。
不同層級使用的策略不同,一般采用冗余備份和失效轉(zhuǎn)移解決高可用問題:
應用層:一般設計為無狀態(tài)的,對于每次請求,使用哪一臺服務器處理是沒有影響的。一般使用負載均衡技術(需要解決 Session 同步問題)實現(xiàn)高可用。
服務層:負載均衡,分級管理,快速失敗(超時設置),異步調(diào)用,服務降級,冪等設計等。
數(shù)據(jù)層:冗余備份(冷,熱備[同步,異步],溫備),失效轉(zhuǎn)移(確認,轉(zhuǎn)移,恢復)。數(shù)據(jù)高可用方面著名的理論基礎是 CAP 理論。(持久性,可用性,數(shù)據(jù)一致性[強一致,用戶一致,最終一致])
可伸縮架構(gòu)
伸縮性是指在不改變原有架構(gòu)設計的基礎上,通過添加/減少硬件(服務器)的方式,提高/降低系統(tǒng)的處理能力:
應用層:對應用進行垂直或水平切分。然后針對單一功能進行負載均衡(DNS、HTTP[反向代理]、IP、鏈路層)。
服務層:與應用層類似。
數(shù)據(jù)層:分庫、分表、NoSQL 等;常用算法 Hash,一致性 Hash。
可擴展架構(gòu)
可以方便地進行功能模塊的新增/移除,提供代碼/模塊級別良好的可擴展性:
模塊化,組件化:高內(nèi)聚,低耦合,提高復用性,擴展性。
穩(wěn)定接口:定義穩(wěn)定的接口,在接口不變的情況下,內(nèi)部結(jié)構(gòu)可以“隨意”變化。
設計模式:應用面向?qū)ο笏枷?,原則,使用設計模式,進行代碼層面的設計。
消息隊列:模塊化的系統(tǒng),通過消息隊列進行交互,使模塊之間的依賴解耦。
分布式服務:公用模塊服務化,提供其他系統(tǒng)使用,提高可重用性,擴展性。
安全架構(gòu)
對已知問題有有效的解決方案,對未知/潛在問題建立發(fā)現(xiàn)和防御機制。對于安全問題,首先要提高安全意識,建立一個安全的有效機制,從政策層面,組織層面進行保障。在此我向大家推薦一個架構(gòu)學習交流圈。交流學習「企鵝」「君羊」號:948368769 里面會分享一些資深架構(gòu)師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務架構(gòu)的原理,JVM性能優(yōu)化、分布式架構(gòu)等這些成為架構(gòu)師必備的知識體系。還能領取免費的學習資源,目前受益良多
比如服務器密碼不能泄露,密碼每月更新,并且三次內(nèi)不能重復;每周安全掃描等。
以制度化的方式,加強安全體系的建設。同時,需要注意與安全有關的各個環(huán)節(jié)。
安全問題不容忽視,包括基礎設施安全,應用系統(tǒng)安全,數(shù)據(jù)保密安全等:
基礎設施安全:硬件采購,操作系統(tǒng),網(wǎng)絡環(huán)境方面的安全。一般采用正規(guī)渠道購買高質(zhì)量的產(chǎn)品,選擇安全的操作系統(tǒng),及時修補漏洞,安裝殺毒軟件防火墻。
防范病毒,后門。設置防火墻策略,建立 DDOS 防御系統(tǒng),使用***檢測系統(tǒng),進行子網(wǎng)隔離等手段。
應用系統(tǒng)安全:在程序開發(fā)時,對已知常用問題,使用正確的方式,在代碼層面解決掉。
防止跨站腳本***(XSS),注入***,跨站請求偽造(CSRF),錯誤信息,HTML 注釋,文件上傳,路徑遍歷等。
還可以使用 Web 應用防火墻(比如:ModSecurity),進行安全漏洞掃描等措施,加強應用級別的安全。
數(shù)據(jù)保密安全:存儲安全(存儲在可靠的設備,實時,定時備份),保存安全(重要的信息加密保存,選擇合適的人員復雜保存和檢測等),傳輸安全(防止數(shù)據(jù)竊取和數(shù)據(jù)篡改)。
常用的加解密算法(單項散列加密[MD5、SHA],對稱加密[DES、3DES、RC]),非對稱加密[RSA]等。
敏捷性
網(wǎng)站的架構(gòu)設計,運維管理要適應變化,提供高伸縮性,高擴展性。方便的應對快速的業(yè)務發(fā)展,突增高流量訪問等要求。
除上面介紹的架構(gòu)要素外,還需要引入敏捷管理,敏捷開發(fā)的思想。使業(yè)務,產(chǎn)品,技術,運維統(tǒng)一起來,隨需應變,快速響應。
大型架構(gòu)舉例
以上采用七層邏輯架構(gòu):
第一層客戶層:支持 PC 瀏覽器和手機 App。差別是手機 App 可以直接通過IP訪問,反向代理服務器。
第二層前端層:使用 DNS 負載均衡,CDN 本地加速以及反向代理服務。
第三層應用層:網(wǎng)站應用集群;按照業(yè)務進行垂直拆分,比如商品應用,會員中心等。
第四層服務層:提供公用服務,比如用戶服務,訂單服務,支付服務等。
第五層數(shù)據(jù)層:支持關系型數(shù)據(jù)庫集群(支持讀寫分離),NOSQL 集群,分布式文件系統(tǒng)集群;以及分布式 Cache。
第六層大數(shù)據(jù)存儲層:支持應用層和服務層的日志數(shù)據(jù)收集,關系數(shù)據(jù)庫和 NOSQL 數(shù)據(jù)庫的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)收集。
第七層大數(shù)據(jù)處理層:通過 Mapreduce 進行離線數(shù)據(jù)分析或 Storm 實時數(shù)據(jù)分析,并將處理后的數(shù)據(jù)存入關系型數(shù)據(jù)庫。
(實際使用中,離線數(shù)據(jù)和實時數(shù)據(jù)會按照業(yè)務要求進行分類處理,并存入不同的數(shù)據(jù)庫中,供應用層或服務層使用)
一個成熟的大型網(wǎng)站(如淘寶、天貓、騰訊等)的系統(tǒng)架構(gòu)并不是一開始設計時就具備完整的高性能、高可用、高伸縮等特性的,它是隨著用戶量的增加,業(yè)務功能的擴展逐漸演變完善的。
在這個過程中,開發(fā)模式、技術架構(gòu)、設計思想也發(fā)生了很大的變化,就連技術人員也從幾個人發(fā)展到一個部門甚至一條產(chǎn)品線。
所以成熟的系統(tǒng)架構(gòu)是隨著業(yè)務的擴展而逐步完善的,并不是一蹴而就;不同業(yè)務特征的系統(tǒng),會有各自的側(cè)重點。
例如淘寶,要解決海量的商品信息的搜索、下單、支付;例如騰訊,要解決數(shù)億用戶的實時消息傳輸;百度要處理海量的搜索請求。
他們都有各自的業(yè)務特性,系統(tǒng)架構(gòu)也有所不同。盡管如此,我們也可以從這些不同的網(wǎng)站背景中,找出其中共用的技術。
這些技術和手段廣泛運用在大型網(wǎng)站系統(tǒng)的架構(gòu)中,下面就通過介紹大型網(wǎng)站系統(tǒng)的演化過程,來認識這些技術和手段。
最開始的網(wǎng)站架構(gòu)
最初的架構(gòu),應用程序、數(shù)據(jù)庫、文件都部署在一臺服務器上,如下圖:
應用、數(shù)據(jù)、文件分離
隨著業(yè)務的擴展,一臺服務器已經(jīng)不能滿足性能需求,所以將應用程序、數(shù)據(jù)庫、文件各自部署在獨立的服務器上,并且根據(jù)服務器的用途配置不同的硬件,達到最佳的性能效果。
利用緩存改善網(wǎng)站性能
在硬件優(yōu)化性能的同時,也通過軟件進行性能優(yōu)化,在大部分的網(wǎng)站系統(tǒng)中,都會利用緩存技術改善系統(tǒng)的性能。
使用緩存主要源于熱點數(shù)據(jù)的存在,大部分網(wǎng)站訪問都遵循 28 原則(即 80% 的訪問請求,最終落在 20% 的數(shù)據(jù)上),所以我們可以對熱點數(shù)據(jù)進行緩存,減少這些數(shù)據(jù)的訪問路徑,提高用戶體驗。
緩存實現(xiàn)常見的方式是本地緩存、分布式緩存。當然還有 CDN、反向代理等。
本地緩存,顧名思義是將數(shù)據(jù)緩存在應用服務器本地,可以存在內(nèi)存中,也可以存在文件,OSCache 就是常用的本地緩存組件。
本地緩存的特點是速度快,但因為本地空間有限所以緩存數(shù)據(jù)量也有限。
分布式緩存的特點是,可以緩存海量的數(shù)據(jù),并且擴展非常容易,在門戶類網(wǎng)站中常常被使用,速度按道理沒有本地緩存快,常用的分布式緩存是 Memcached、redis。
使用集群改善應用服務器性能
應用服務器作為網(wǎng)站的入口,會承擔大量的請求,我們往往通過應用服務器集群來分擔請求數(shù)。
應用服務器前面部署負載均衡服務器調(diào)度用戶請求,根據(jù)分發(fā)策略將請求分發(fā)到多個應用服務器節(jié)點。
常用的負載均衡技術硬件的有 F5,價格比較貴,軟件的有 LVS、Nginx、HAProxy。
LVS 是四層負載均衡,根據(jù)目標地址和端口選擇內(nèi)部服務器,Nginx 和 HAProxy 是七層負載均衡,可以根據(jù)報文內(nèi)容選擇內(nèi)部服務器。
因此 LVS 分發(fā)路徑優(yōu)于 Nginx 和 HAProxy,性能要高些;而 Nginx 和 HAProxy 則更具配置性,如可以用來做動靜分離(根據(jù)請求報文特征,選擇靜態(tài)資源服務器還是應用服務器)。
數(shù)據(jù)庫讀寫分離和分庫分表
隨著用戶量的增加,數(shù)據(jù)庫成為最大的瓶頸。改善數(shù)據(jù)庫性能常用的手段是進行讀寫分離以及分庫分表,讀寫分離顧名思義就是將數(shù)據(jù)庫分為讀庫和寫庫,通過主備功能實現(xiàn)數(shù)據(jù)同步。
分庫分表則分為水平切分和垂直切分,水平切分是對一個數(shù)據(jù)庫特大的表進行拆分,例如用戶表。
垂直切分則是根據(jù)業(yè)務的不同來切分,如用戶業(yè)務、商品業(yè)務相關的表放在不同的數(shù)據(jù)庫中。
使用 CDN 和反向代理提高網(wǎng)站性能
假如我們的服務器都部署在成都的機房,對于四川的用戶來說訪問是較快的,而對于北京的用戶訪問是較慢的。
這是由于四川和北京分別屬于電信和聯(lián)通的不同發(fā)達地區(qū),北京用戶訪問需要通過互聯(lián)路由器經(jīng)過較長的路徑才能訪問到成都的服務器,返回路徑也一樣,所以數(shù)據(jù)傳輸時間比較長。
對于這種情況,常常使用 CDN 解決,CDN 將數(shù)據(jù)內(nèi)容緩存到運營商的機房,用戶訪問時先從最近的運營商獲取數(shù)據(jù),這樣大大減少了網(wǎng)絡訪問的路徑。比較專業(yè)的 CDN 運營商有藍汛、網(wǎng)宿。在此我向大家推薦一個架構(gòu)學習交流圈。交流學習「企鵝」「君羊」號:948368769 里面會分享一些資深架構(gòu)師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務架構(gòu)的原理,JVM性能優(yōu)化、分布式架構(gòu)等這些成為架構(gòu)師必備的知識體系。還能領取免費的學習資源,目前受益良多
而反向代理,則是部署在網(wǎng)站的機房,當用戶請求達到時首先訪問反向代理服務器,反向代理服務器將緩存的數(shù)據(jù)返回給用戶。
如果沒有緩存數(shù)據(jù)才會繼續(xù)訪問應用服務器獲取,這樣做減少了獲取數(shù)據(jù)的成本。反向代理有 Squid、Nginx。
使用分布式文件系統(tǒng)
用戶一天天增加,業(yè)務量越來越大,產(chǎn)生的文件越來越多,單臺的文件服務器已經(jīng)不能滿足需求,這時就需要分布式文件系統(tǒng)的支撐。常用的分布式文件系統(tǒng)有 GFS、HDFS、TFS。
使用 NoSQL 和搜索引擎
對于海量數(shù)據(jù)的查詢和分析,我們使用 NoSQL 數(shù)據(jù)庫加上搜索引擎可以達到更好的性能。并不是所有的數(shù)據(jù)都要放在關系型數(shù)據(jù)中。
常用的 NoSQL 有 MongoDB、HBase、Redis,搜索引擎有 Lucene、Solr、Elasticsearch。
將應用服務器進行業(yè)務拆分
隨著業(yè)務進一步擴展,應用程序變得非常臃腫,這時我們需要將應用程序進行業(yè)務拆分,如百度分為新聞、網(wǎng)頁、圖片等業(yè)務。
每個業(yè)務應用負責相對獨立的業(yè)務運作。業(yè)務之間通過消息進行通信或者共享數(shù)據(jù)庫來實現(xiàn)。
搭建分布式服務
這時我們發(fā)現(xiàn)各個業(yè)務應用都會使用到一些基本的業(yè)務服務,例如用戶服務、訂單服務、支付服務、安全服務,這些服務是支撐各業(yè)務應用的基本要素。
我們將這些服務抽取出來利用分步式服務框架搭建分布式服務。阿里的 Dubbo 是一個不錯的選擇。
大型電商網(wǎng)站架構(gòu)案例
采用電商案例的原因
分布式大型網(wǎng)站,目前看主要有幾類:
1.大型門戶,比如網(wǎng)易,新浪等。
2.SNS 網(wǎng)站,比如校內(nèi),開心網(wǎng)等。
3.電商網(wǎng)站,比如阿里巴巴,京東商城,國美在線,汽車之家等。
大型門戶一般是新聞類信息,可以使用 CDN,靜態(tài)化等方式優(yōu)化,開心網(wǎng)等交互性比較多,可能會引入更多的 NoSQL,分布式緩存,使用高性能的通信框架等。
電商網(wǎng)站具備以上兩類的特點,比如產(chǎn)品詳情可以采用 CDN,靜態(tài)化,交互性高的需要采用 NoSQL 等技術。因此,我們采用電商網(wǎng)站作為案例,進行分析。
電商網(wǎng)站需求
客戶需求:
1.建立一個全品類的電子商務網(wǎng)站(B2C),用戶可以在線購買商品,可以在線支付,也可以貨到付款。
2.用戶購買時可以在線與客服溝通。
3.用戶收到商品后,可以給商品打分,評價。
4.目前有成熟的進銷存系統(tǒng);需要與網(wǎng)站對接。
5.希望能夠支持 3~5 年,業(yè)務的發(fā)展。
6.預計 3~5 年,用戶數(shù)達到 1000 萬。
7.定期舉辦雙 11、雙 12、三八男人節(jié)等活動。
8.其他的功能參考京東或國美在線等網(wǎng)站。
客戶就是客戶,不會告訴你具體要什么,只會告訴你他想要什么,我們很多時候要引導,挖掘客戶的需求。好在提供了明確的參考網(wǎng)站。在此我向大家推薦一個架構(gòu)學習交流圈。交流學習企鵝「君羊」號:948368769 里面會分享一些資深架構(gòu)師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務架構(gòu)的原理,JVM性能優(yōu)化、分布式架構(gòu)等這些成為架構(gòu)師必備的知識體系。還能領取免費的學習資源,目前受益良多
因此,下一步要進行大量的分析,結(jié)合行業(yè),以及參考網(wǎng)站,給客戶提供方案。
需求功能矩陣
這是需求管理傳統(tǒng)的做法,會使用用例圖或模塊圖(需求列表)進行需求的描述。
這樣做常常忽視掉一個很重要的需求(非功能需求),因此推薦大家使用需求功能矩陣,進行需求描述。
本電商網(wǎng)站的需求矩陣如下:
網(wǎng)站初級架構(gòu)
一般網(wǎng)站,剛開始的做法,是三臺服務器,一臺部署應用,一臺部署數(shù)據(jù)庫,一臺部署 NFS 文件系統(tǒng)。
這是前幾年比較傳統(tǒng)的做法,之前見到一個網(wǎng)站 10 萬多會員,垂直服裝設計門戶,N 多圖片。
使用了一臺服務器部署了應用,數(shù)據(jù)庫以及圖片存儲。出現(xiàn)了很多性能問題,如下圖:
但是,目前主流的網(wǎng)站架構(gòu)已經(jīng)發(fā)生了翻天覆地的變化。一般都會采用集群的方式,進行高可用設計。
至少是上面這個樣子:
使用集群對應用服務器進行冗余,實現(xiàn)高可用。(負載均衡設備可與應用一塊部署)
使用數(shù)據(jù)庫主備模式,實現(xiàn)數(shù)據(jù)備份和高可用。
系統(tǒng)容量預估
預估步驟:
1.注冊用戶數(shù)-日均 UV 量-每日的 PV 量-每天的并發(fā)量。
2.峰值預估:平常量的 2~3 倍。
3.根據(jù)并發(fā)量(并發(fā),事務數(shù)),存儲容量計算系統(tǒng)容量。
根據(jù)客戶需求:3~5 年用戶數(shù)達到 1000 萬注冊用戶,可以做每秒并發(fā)數(shù)預估:
1.每天的 UV 為 200 萬(二八原則)。
2.每日每天點擊瀏覽 30 次。
3.PV 量:200*30=6000 萬。
4.集中訪問量:240.2=4.8 小時會有 6000 萬0.8=4800 萬(二八原則)。
5.每分并發(fā)量:4.8*60=288 分鐘,每分鐘訪問 4800/288=16.7 萬(約等于)。
6.每秒并發(fā)量:16.7萬/60=2780(約等于)。
7.假設:高峰期為平常值的三倍,則每秒的并發(fā)數(shù)可以達到 8340 次。
8.1 毫秒=1.3 次訪問。
沒好好學數(shù)學后悔了吧??。ú恢酪陨纤闶欠裼绣e誤,呵呵~~)
服務器預估:(以 Tomcat 服務器舉例)
按一臺 Web 服務器,支持每秒 300 個并發(fā)計算。平常需要 10 臺服務器(約等于);[tomcat 默認配置是 150],高峰期需要 30 臺服務器。
容量預估:70/90 原則
系統(tǒng) CPU 一般維持在 70% 左右的水平,高峰期達到 90% 的水平,是不浪費資源,并比較穩(wěn)定的。內(nèi)存,IO 類似。
以上預估僅供參考,因為服務器配置,業(yè)務邏輯復雜度等都有影響。在此 CPU,硬盤,網(wǎng)絡等不再進行評估。
網(wǎng)站架構(gòu)分析
根據(jù)以上預估,有幾個問題:
1.需要部署大量的服務器,高峰期計算,可能要部署 30 臺 Web 服務器。并且這三十臺服務器,只有秒殺,活動時才會用到,存在大量的浪費。
2.所有的應用部署在同一臺服務器,應用之間耦合嚴重。需要進行垂直切分和水平切分。
3.大量應用存在冗余代碼。
4.服務器 Session 同步耗費大量內(nèi)存和網(wǎng)絡帶寬。
5.數(shù)據(jù)需要頻繁訪問數(shù)據(jù)庫,數(shù)據(jù)庫訪問壓力巨大。
大型網(wǎng)站一般需要做以下架構(gòu)優(yōu)化(優(yōu)化是架構(gòu)設計時,就要考慮的,一般從架構(gòu)/代碼級別解決,調(diào)優(yōu)主要是簡單參數(shù)的調(diào)整,比如 JVM 調(diào)優(yōu);如果調(diào)優(yōu)涉及大量代碼改造,就不是調(diào)優(yōu)了,屬于重構(gòu)):
1.業(yè)務拆分
2.應用集群部署(分布式部署,集群部署和負載均衡)
3.多級緩存
4.單點登錄(分布式 Session)
5.數(shù)據(jù)庫集群(讀寫分離,分庫分表)
6.服務化
7.消息隊列
8.其他技術
網(wǎng)站架構(gòu)優(yōu)化
業(yè)務拆分
根據(jù)業(yè)務屬性進行垂直切分,劃分為產(chǎn)品子系統(tǒng),購物子系統(tǒng),支付子系統(tǒng),評論子系統(tǒng),客服子系統(tǒng),接口子系統(tǒng)(對接如進銷存,短信等外部系統(tǒng))。
根據(jù)業(yè)務子系統(tǒng)進行等級定義,可分為:
核心系統(tǒng),產(chǎn)品子系統(tǒng),購物子系統(tǒng),支付子系統(tǒng)。
非核心系統(tǒng),評論子系統(tǒng),客服子系統(tǒng),接口子系統(tǒng)。
業(yè)務拆分作用:提升為子系統(tǒng)可由專門的團隊和部門負責,專業(yè)的人做專業(yè)的事,解決模塊之間耦合以及擴展性問題;每個子系統(tǒng)單獨部署,避免集中部署導致一個應用掛了,全部應用不可用的問題。
等級定義作用:用于流量突發(fā)時,對關鍵應用進行保護,實現(xiàn)優(yōu)雅降級;保護關鍵應用不受到影響。
拆分后的架構(gòu)圖:
參考部署方案 2:
如上圖每個應用單獨部署,核心系統(tǒng)和非核心系統(tǒng)組合部署。
應用集群部署(分布式,集群,負載均衡)
分布式部署:將業(yè)務拆分后的應用單獨部署,應用直接通過 RPC 進行遠程通信。
集群部署:電商網(wǎng)站的高可用要求,每個應用至少部署兩臺服務器進行集群部署。
負載均衡:是高可用系統(tǒng)必須的,一般應用通過負載均衡實現(xiàn)高可用,分布式服務通過內(nèi)置的負載均衡實現(xiàn)高可用,關系型數(shù)據(jù)庫通過主備方式實現(xiàn)高可用。
集群部署后架構(gòu)圖:
多級緩存
緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級緩存的方式,進行緩存的設計。
一級緩存為本地緩存,二級緩存為分布式緩存。(還有頁面緩存,片段緩存等,那是更細粒度的劃分)
一級緩存,緩存數(shù)據(jù)字典,和常用熱點數(shù)據(jù)等基本不可變/有規(guī)則變化的信息,二級緩存緩存需要的所有緩存。
當一級緩存過期或不可用時,訪問二級緩存的數(shù)據(jù)。如果二級緩存也沒有,則訪問數(shù)據(jù)庫。
緩存的比例,一般 1:4,即可考慮使用緩存。(理論上是 1:2 即可):
根據(jù)業(yè)務特性可使用以下緩存過期策略:
1.緩存自動過期
2.緩存觸發(fā)過期
單點登錄(分布式 Session)
系統(tǒng)分割為多個子系統(tǒng),獨立部署后,不可避免的會遇到會話管理的問題。一般可采用 Session 同步,Cookies,分布式 Session 方式。電商網(wǎng)站一般采用分布式 Session 實現(xiàn)。
再進一步可以根據(jù)分布式 Session,建立完善的單點登錄或賬戶管理系統(tǒng)。
流程說明如上圖:
用戶第一次登錄時,將會話信息(用戶 ID 和用戶信息),比如以用戶 ID 為 Key,寫入分布式 Session。
用戶再次登錄時,獲取分布式 Session,是否有會話信息,如果沒有則調(diào)到登錄頁。
一般采用 Cache 中間件實現(xiàn),建議使用 Redis,因此它有持久化功能,方便分布式 Session 宕機后,可以從持久化存儲中加載會話信息。
存入會話時,可以設置會話保持的時間,比如 15 分鐘,超過后自動超時。在此我向大家推薦一個架構(gòu)學習交流圈。交流學習「企鵝」「君羊」號:948368769 里面會分享一些資深架構(gòu)師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務架構(gòu)的原理,JVM性能優(yōu)化、分布式架構(gòu)等這些成為架構(gòu)師必備的知識體系。還能領取免費的學習資源,目前受益良多
結(jié)合 Cache 中間件,實現(xiàn)的分布式 Session,可以很好的模擬 Session 會話。
數(shù)據(jù)庫集群(讀寫分離,分庫分表)
大型網(wǎng)站需要存儲海量的數(shù)據(jù),為達到海量數(shù)據(jù)存儲,高可用,高性能一般采用冗余的方式進行系統(tǒng)設計。一般有兩種方式讀寫分離和分庫分表。
讀寫分離:一般解決讀比例遠大于寫比例的場景,可采用一主一備,一主多備或多主多備方式。
本案例在業(yè)務拆分的基礎上,結(jié)合分庫分表和讀寫分離,如上圖:
業(yè)務拆分后:每個子系統(tǒng)需要單獨的庫。
如果單獨的庫太大,可以根據(jù)業(yè)務特性,進行再次分庫,比如商品分類庫,產(chǎn)品庫。
分庫后,如果表中有數(shù)據(jù)量很大的,則進行分表,一般可以按照 ID,時間等進行分表;(高級的用法是一致性 Hash)
在分庫、分表的基礎上,進行讀寫分離。
相關中間件可參考 Cobar(阿里,目前已不在維護),TDDL(阿里),Atlas(奇虎360),MyCat。
分庫分表后序列的問題,JOIN,事務的問題,會在分庫分表主題分享中介紹。
服務化
將多個子系統(tǒng)公用的功能/模塊,進行抽取,作為公用服務使用。比如本案例的會員子系統(tǒng)就可以抽取為公用的服務。
消息隊列
消息隊列可以解決子系統(tǒng)/模塊之間的耦合,實現(xiàn)異步,高可用,高性能的系統(tǒng)。它是分布式系統(tǒng)的標準配置。
本案例中,消息隊列主要應用在購物,配送環(huán)節(jié):
用戶下單后,寫入消息隊列,后直接返回客戶端。
庫存子系統(tǒng):讀取消息隊列信息,完成減庫存。
配送子系統(tǒng):讀取消息隊列信息,進行配送。
目前使用較多的 MQ 有 Active MQ、Rabbit MQ、Zero MQ、MS MQ 等,需要根據(jù)具體的業(yè)務場景進行選擇,建議可以研究下 Rabbit MQ。
其他架構(gòu)(技術)
除了以上介紹的業(yè)務拆分,應用集群,多級緩存,單點登錄,數(shù)據(jù)庫集群,服務化,消息隊列外,還有 CDN,反向代理,分布式文件系統(tǒng),大數(shù)據(jù)處理等系統(tǒng)。
大型網(wǎng)站的架構(gòu)是根據(jù)業(yè)務需求不斷完善的,根據(jù)不同的業(yè)務特征會做特定的設計和考慮。
本文只是講述一個常規(guī)大型網(wǎng)站會涉及的一些技術和手段,希望能給大家?guī)韱l(fā)。