php 高并發(fā)解決思路解決方案,如何應(yīng)對(duì)網(wǎng)站大流量高并發(fā)情況。本文為大家總結(jié)了常用的處理方式,但不是細(xì)節(jié),后續(xù)一系列細(xì)節(jié)教程給出。希望大家喜歡。
創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù),包含不限于網(wǎng)站制作、做網(wǎng)站、房縣網(wǎng)絡(luò)推廣、小程序定制開發(fā)、房縣網(wǎng)絡(luò)營(yíng)銷、房縣企業(yè)策劃、房縣品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等,從售前售中售后,我們都將竭誠(chéng)為您服務(wù),您的肯定,是我們最大的嘉獎(jiǎng);創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供房縣建站搭建服務(wù),24小時(shí)服務(wù)熱線:18980820575,官方網(wǎng)址:www.cdcxhl.com
一 高并發(fā)的概念
在互聯(lián)網(wǎng)時(shí)代,并發(fā),高并發(fā)通常是指并發(fā)訪問。也就是在某個(gè)時(shí)間點(diǎn),有多少個(gè)訪問同時(shí)到來。
二 高并發(fā)架構(gòu)相關(guān)概念
1、QPS (每秒查詢率) : 每秒鐘請(qǐng)求或者查詢的數(shù)量,在互聯(lián)網(wǎng)領(lǐng)域,指每秒響應(yīng)請(qǐng)求數(shù)(指 HTTP 請(qǐng)求)
2、PV(Page View):綜合瀏覽量,即頁(yè)面瀏覽量或者點(diǎn)擊量,一個(gè)訪客在 24 小時(shí)內(nèi)訪問的頁(yè)面數(shù)量
--注:同一個(gè)人瀏覽你的網(wǎng)站的同一頁(yè)面,只記做一次 pv
3、吞吐量(fetches/sec) :?jiǎn)挝粫r(shí)間內(nèi)處理的請(qǐng)求數(shù)量 (通常由 QPS 和并發(fā)數(shù)決定)
4、響應(yīng)時(shí)間:從請(qǐng)求發(fā)出到收到響應(yīng)花費(fèi)的時(shí)間
5、獨(dú)立訪客(UV):一定時(shí)間范圍內(nèi),相同訪客多次訪問網(wǎng)站,只計(jì)算為 1 個(gè)獨(dú)立訪客
6、帶寬:計(jì)算帶寬需關(guān)注兩個(gè)指標(biāo),峰值流量和頁(yè)面的平均大小
7、日網(wǎng)站帶寬: PV/統(tǒng)計(jì)時(shí)間(換算到秒) * 平均頁(yè)面大?。╧b)* 8
三 需要注意點(diǎn):
1、QPS 不等于并發(fā)連接數(shù)(QPS 是每秒 HTTP 請(qǐng)求數(shù)量,并發(fā)連接數(shù)是系統(tǒng)同時(shí)處理的請(qǐng)求數(shù)量)
2、峰值每秒請(qǐng)求數(shù)(QPS)= (總 PV 數(shù)*80%)/ (六小時(shí)秒數(shù)*20%)【代表 80%的訪問量都集中在 20%的時(shí)間內(nèi)】
3、壓力測(cè)試: 測(cè)試能承受的最大并發(fā)數(shù) 以及測(cè)試最大承受的 QPS 值
4、常用的性能測(cè)試工具【ab,wrk,httpload,Web Bench,Siege,Apache JMeter】
四 優(yōu)化
1、當(dāng) QPS 小于 50 時(shí)
優(yōu)化方案:為一般小型網(wǎng)站,不用考慮優(yōu)化
2、當(dāng) QPS 達(dá)到 100 時(shí),遇到數(shù)據(jù)查詢瓶頸
優(yōu)化方案: 數(shù)據(jù)庫(kù)緩存層,數(shù)據(jù)庫(kù)的負(fù)載均衡
3、當(dāng) QPS 達(dá)到 800 時(shí), 遇到帶寬瓶頸
優(yōu)化方案:CDN 加速,負(fù)載均衡
4、當(dāng) QPS 達(dá)到 1000 時(shí)
優(yōu)化方案: 做 html 靜態(tài)緩存
5、當(dāng) QPS 達(dá)到 2000 時(shí)
優(yōu)化方案: 做業(yè)務(wù)分離,分布式存儲(chǔ)
五、高并發(fā)解決方案案例:
1、流量?jī)?yōu)化
防盜鏈處理(去除惡意請(qǐng)求)
2、前端優(yōu)化
(1) 減少 HTTP 請(qǐng)求[將 css,js 等合并]
(2) 添加異步請(qǐng)求(先不將所有數(shù)據(jù)都展示給用戶,用戶觸發(fā)某個(gè)事件,才會(huì)異步請(qǐng)求數(shù)據(jù))
(3) 啟用瀏覽器緩存和文件壓縮
(4) CDN 加速
(5) 建立獨(dú)立的圖片服務(wù)器(減少 I/O)
3、服務(wù)端優(yōu)化
(1) 頁(yè)面靜態(tài)化
(2) 并發(fā)處理
(3) 隊(duì)列處理
4、數(shù)據(jù)庫(kù)優(yōu)化
(1) 數(shù)據(jù)庫(kù)緩存
(2) 分庫(kù)分表,分區(qū)
(3) 讀寫分離
(4) 負(fù)載均衡
5、web 服務(wù)器優(yōu)化
(1) nginx 反向代理實(shí)現(xiàn)負(fù)載均衡
(2) lvs 實(shí)現(xiàn)負(fù)載均衡
大數(shù)據(jù)并發(fā)處理解決方案:
1、HTML靜態(tài)化
效率最高、消耗最小的就是純靜態(tài)化的html頁(yè)面,所以盡可能使網(wǎng)站上的頁(yè)面采用靜態(tài)頁(yè)面來實(shí)現(xiàn),這個(gè)最簡(jiǎn)單的方法其實(shí)也是最有效的方法。但是對(duì)于大量?jī)?nèi)容并且頻繁更新的網(wǎng)站,無法全部手動(dòng)去挨個(gè)實(shí)現(xiàn),于是出現(xiàn)了常見的信息發(fā)布系統(tǒng)CMS,像常訪問的各個(gè)門戶站點(diǎn)的新聞?lì)l道,甚至他們的其他頻道,都是通過信息發(fā)布系統(tǒng)來管理和實(shí)現(xiàn)的,信息發(fā)布系統(tǒng)可以實(shí)現(xiàn)最簡(jiǎn)單的信息錄入自動(dòng)生成靜態(tài)頁(yè)面,還能具備頻道管理、權(quán)限管理、自動(dòng)抓取等功能,對(duì)于一個(gè)大型網(wǎng)站來說,擁有一套高效、可管理的CMS是必不可少的。
2、圖片服務(wù)器分離
對(duì)于Web服務(wù)器來說,不管是Apache、IIS還是其他容器,圖片是最消耗資源的,于是有必要將圖片與頁(yè)面進(jìn)行分離,這是基本上大型網(wǎng)站都會(huì)采用的策略,他們都有獨(dú)立的圖片服務(wù)器,甚至很多臺(tái)圖片服務(wù)器。這樣的架構(gòu)可以降低提供頁(yè)面訪問請(qǐng)求的服務(wù)器系統(tǒng)壓力,并且可以保證系統(tǒng)不會(huì)因?yàn)閳D片問題而崩潰,在應(yīng)用服務(wù)器和圖片服務(wù)器上,可以進(jìn)行不同的配置優(yōu)化,比如apache在配置ContentType的時(shí)候可以盡量少支持,盡可能少的LoadModule,保證更高的系統(tǒng)消耗和執(zhí)行效率。 這一實(shí)現(xiàn)起來是比較容易的一現(xiàn),如果服務(wù)器集群操作起來更方便,如果是獨(dú)立的服務(wù)器,新手可能出現(xiàn)上傳圖片只能在服務(wù)器本地的情況下,可以在令一臺(tái)服務(wù)器設(shè)置的IIS采用網(wǎng)絡(luò)路徑來實(shí)現(xiàn)圖片服務(wù)器,即不用改變程序,又能提高性能,但對(duì)于服務(wù)器本身的IO處理性能是沒有任何的改變。
3、數(shù)據(jù)庫(kù)集群和庫(kù)表散列
大型網(wǎng)站都有復(fù)雜的應(yīng)用,這些應(yīng)用必須使用數(shù)據(jù)庫(kù),那么在面對(duì)大量訪問的時(shí)候,數(shù)據(jù)庫(kù)的瓶頸很快就能顯現(xiàn)出來,這時(shí)一臺(tái)數(shù)據(jù)庫(kù)將很快無法滿足應(yīng)用,于是需要使用數(shù)據(jù)庫(kù)集群或者庫(kù)表散列。
4、緩存
緩存一詞搞技術(shù)的都接觸過,很多地方用到緩存。網(wǎng)站架構(gòu)和網(wǎng)站開發(fā)中的緩存也是非常重要。架構(gòu)方面的緩存,對(duì)Apache比較熟悉的人都能知道Apache提供了自己的緩存模塊,也可以使用外加的Squid模塊進(jìn)行緩存,這兩種方式均可以有效的提高Apache的訪問響應(yīng)能力。
網(wǎng)站程序開發(fā)方面的緩存,Linux上提供的Memory Cache是常用的緩存接口,可以在web開發(fā)中使用,比如用Java開發(fā)的時(shí)候就可以調(diào)用MemoryCache對(duì)一些數(shù)據(jù)進(jìn)行緩存和通訊共享,一些大型社區(qū)使用了這樣的架構(gòu)。另外,在使用web語(yǔ)言開發(fā)的時(shí)候,各種語(yǔ)言基本都有自己的緩存模塊和方法,PHP有Pear的Cache模塊,Java就更多了,.net不是很熟悉,相信也肯定有。
5、鏡像
鏡像是大型網(wǎng)站常采用的提高性能和數(shù)據(jù)安全性的方式,鏡像的技術(shù)可以解決不同網(wǎng)絡(luò)接入商和地域帶來的用戶訪問速度差異,比如ChinaNet和EduNet之間的差異就促使了很多網(wǎng)站在教育網(wǎng)內(nèi)搭建鏡像站點(diǎn),數(shù)據(jù)進(jìn)行定時(shí)更新或者實(shí)時(shí)更新。在鏡像的細(xì)節(jié)技術(shù)方面,這里不闡述太深,有很多專業(yè)的現(xiàn)成的解決架構(gòu)和產(chǎn)品可選。也有廉價(jià)的通過軟件實(shí)現(xiàn)的思路,比如Linux上的rsync等工具。
6、負(fù)載均衡
負(fù)載均衡將是大型網(wǎng)站解決高負(fù)荷訪問和大量并發(fā)請(qǐng)求采用的終極解決辦法。 負(fù)載均衡技術(shù)發(fā)展了多年,有很多專業(yè)的服務(wù)提供商和產(chǎn)品可以選擇。
硬件四層交換
第四層交換使用第三層和第四層信息包的報(bào)頭信息,根據(jù)應(yīng)用區(qū)間識(shí)別業(yè)務(wù)流,將整個(gè)區(qū)間段的業(yè)務(wù)流分配到合適的應(yīng)用服務(wù)器進(jìn)行處理?!〉谒膶咏粨Q功能就象是虛IP,指向物理服務(wù)器。它傳輸?shù)臉I(yè)務(wù)服從的協(xié)議多種多樣,有HTTP、FTP、NFS、Telnet或其他協(xié)議。這些業(yè)務(wù)在物理服務(wù)器基礎(chǔ)上,需要復(fù)雜的載量平衡算法。在IP世界,業(yè)務(wù)類型由終端TCP或UDP端口地址來決定,在第四層交換中的應(yīng)用區(qū)間則由源端和終端IP地址、TCP和UDP端口共同決定。
在硬件四層交換產(chǎn)品領(lǐng)域,有一些知名的產(chǎn)品可以選擇,比如Alteon、F5等,這些產(chǎn)品很昂貴,但是物有所值,能夠提供非常優(yōu)秀的性能和很靈活的管理能力。Yahoo中國(guó)當(dāng)初接近2000臺(tái)服務(wù)器使用了三四臺(tái)Alteon就搞定了。
大數(shù)據(jù)的話可以進(jìn)行以下操作:
減少對(duì)數(shù)據(jù)庫(kù)的讀取,也就是減少調(diào)用數(shù)據(jù)庫(kù),
進(jìn)行數(shù)據(jù)緩存,
利用數(shù)據(jù)庫(kù)的自身優(yōu)化技術(shù),如索引等
精確查詢條件,有利于提高查找速度