大數(shù)據(jù)的話可以進(jìn)行以下操作:
網(wǎng)站建設(shè)公司,為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁設(shè)計及定制網(wǎng)站建設(shè)服務(wù),專注于成都企業(yè)網(wǎng)站建設(shè),高端網(wǎng)頁制作,對成都地磅秤等多個行業(yè)擁有豐富的網(wǎng)站建設(shè)經(jīng)驗的網(wǎng)站建設(shè)公司。專業(yè)網(wǎng)站設(shè)計,網(wǎng)站優(yōu)化推廣哪家好,專業(yè)seo優(yōu)化排名優(yōu)化,H5建站,響應(yīng)式網(wǎng)站。
減少對數(shù)據(jù)庫的讀取,也就是減少調(diào)用數(shù)據(jù)庫,
進(jìn)行數(shù)據(jù)緩存,
利用數(shù)據(jù)庫的自身優(yōu)化技術(shù),如索引等
精確查詢條件,有利于提高查找速度
php 高并發(fā)解決思路解決方案,如何應(yīng)對網(wǎng)站大流量高并發(fā)情況。本文為大家總結(jié)了常用的處理方式,但不是細(xì)節(jié),后續(xù)一系列細(xì)節(jié)教程給出。希望大家喜歡。
一 高并發(fā)的概念
在互聯(lián)網(wǎng)時代,并發(fā),高并發(fā)通常是指并發(fā)訪問。也就是在某個時間點(diǎn),有多少個訪問同時到來。
二 高并發(fā)架構(gòu)相關(guān)概念
1、QPS (每秒查詢率) : 每秒鐘請求或者查詢的數(shù)量,在互聯(lián)網(wǎng)領(lǐng)域,指每秒響應(yīng)請求數(shù)(指 HTTP 請求)
2、PV(Page View):綜合瀏覽量,即頁面瀏覽量或者點(diǎn)擊量,一個訪客在 24 小時內(nèi)訪問的頁面數(shù)量
--注:同一個人瀏覽你的網(wǎng)站的同一頁面,只記做一次 pv
3、吞吐量(fetches/sec) :單位時間內(nèi)處理的請求數(shù)量 (通常由 QPS 和并發(fā)數(shù)決定)
4、響應(yīng)時間:從請求發(fā)出到收到響應(yīng)花費(fèi)的時間
5、獨(dú)立訪客(UV):一定時間范圍內(nèi),相同訪客多次訪問網(wǎng)站,只計算為 1 個獨(dú)立訪客
6、帶寬:計算帶寬需關(guān)注兩個指標(biāo),峰值流量和頁面的平均大小
7、日網(wǎng)站帶寬: PV/統(tǒng)計時間(換算到秒) * 平均頁面大?。╧b)* 8
三 需要注意點(diǎn):
1、QPS 不等于并發(fā)連接數(shù)(QPS 是每秒 HTTP 請求數(shù)量,并發(fā)連接數(shù)是系統(tǒng)同時處理的請求數(shù)量)
2、峰值每秒請求數(shù)(QPS)= (總 PV 數(shù)*80%)/ (六小時秒數(shù)*20%)【代表 80%的訪問量都集中在 20%的時間內(nèi)】
3、壓力測試: 測試能承受的最大并發(fā)數(shù) 以及測試最大承受的 QPS 值
4、常用的性能測試工具【ab,wrk,httpload,Web Bench,Siege,Apache JMeter】
四 優(yōu)化
1、當(dāng) QPS 小于 50 時
優(yōu)化方案:為一般小型網(wǎng)站,不用考慮優(yōu)化
2、當(dāng) QPS 達(dá)到 100 時,遇到數(shù)據(jù)查詢瓶頸
優(yōu)化方案: 數(shù)據(jù)庫緩存層,數(shù)據(jù)庫的負(fù)載均衡
3、當(dāng) QPS 達(dá)到 800 時, 遇到帶寬瓶頸
優(yōu)化方案:CDN 加速,負(fù)載均衡
4、當(dāng) QPS 達(dá)到 1000 時
優(yōu)化方案: 做 html 靜態(tài)緩存
5、當(dāng) QPS 達(dá)到 2000 時
優(yōu)化方案: 做業(yè)務(wù)分離,分布式存儲
五、高并發(fā)解決方案案例:
1、流量優(yōu)化
防盜鏈處理(去除惡意請求)
2、前端優(yōu)化
(1) 減少 HTTP 請求[將 css,js 等合并]
(2) 添加異步請求(先不將所有數(shù)據(jù)都展示給用戶,用戶觸發(fā)某個事件,才會異步請求數(shù)據(jù))
(3) 啟用瀏覽器緩存和文件壓縮
(4) CDN 加速
(5) 建立獨(dú)立的圖片服務(wù)器(減少 I/O)
3、服務(wù)端優(yōu)化
(1) 頁面靜態(tài)化
(2) 并發(fā)處理
(3) 隊列處理
4、數(shù)據(jù)庫優(yōu)化
(1) 數(shù)據(jù)庫緩存
(2) 分庫分表,分區(qū)
(3) 讀寫分離
(4) 負(fù)載均衡
5、web 服務(wù)器優(yōu)化
(1) nginx 反向代理實現(xiàn)負(fù)載均衡
(2) lvs 實現(xiàn)負(fù)載均衡
使用緩存,比如memcache,redis,因為它們是在內(nèi)存中運(yùn)行,所以處理數(shù)據(jù),返回數(shù)據(jù)非???,所以可以應(yīng)對高并發(fā)。
2.增加帶寬和機(jī)器性能,1M的帶寬同時處理的流量肯定有限,所以在資源允許的情況下,大帶寬,多核cpu,高內(nèi)存是一個解決方案。
3.分布式,讓多個訪問分到不同的機(jī)器上去處理,每個機(jī)器處理的請求就相對減少了。
簡單說些常用技術(shù),負(fù)載均衡,限流,加速器等
1、建議你讀寫數(shù)據(jù)和下載圖片分開,各用不同的進(jìn)程完成。
比如說,取數(shù)據(jù)用get-data.php,下載圖片用get-image.php。
2、多進(jìn)程的話,php可以簡單的用pcntl_fork()。這樣可以并發(fā)多個子進(jìn)程。
但是我不建議你用fork,我建議你安裝一個gearman worker。這樣你要并發(fā)幾個,就啟幾個worker,寫代碼簡單,根本不用在代碼里考慮thread啊,process等等。
3、綜上,解決方案這樣:
(1)安裝gearman worker。
(2)寫一個get-data.php,在crontab里設(shè)置它每5分鐘執(zhí)行一次,只負(fù)責(zé)讀數(shù)據(jù),然后把讀回來的數(shù)據(jù)一條一條的扔到 gearman worker的隊列里;
然后再寫一個處理數(shù)據(jù)的腳本作為worker,例如叫process-data.php,這個腳本常駐內(nèi)存。它作為worker從geraman 隊列里讀出一條一條的數(shù)據(jù),然后跟你的數(shù)據(jù)庫老數(shù)據(jù)比較,進(jìn)行你的業(yè)務(wù)邏輯。如果你要10個并發(fā),那就啟動10個process-data.php好了。處理完后,如果圖片地址有變動需要下載圖片,就把圖片地址扔到 gearman worker的另一個隊列里。
(3)再寫一個download-data.php,作為下載圖片的worker,同樣,你啟動10個20個并發(fā)隨便你。這個進(jìn)程也常駐內(nèi)存運(yùn)行,從gearman worker的圖片數(shù)據(jù)隊列里取數(shù)據(jù)出來,下載圖片
4、常駐進(jìn)程的話,就是在代碼里寫個while(true)死循環(huán),讓它一直運(yùn)行好了。如果怕內(nèi)存泄露啥的,你可以每循環(huán)10萬次退出一下。然后在crontab里設(shè)置,每分鐘檢查一下進(jìn)程有沒有啟動,比如說這樣啟動3個process-data worker進(jìn)程:
* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'
* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'
不知道你明白了沒有