1、普遍緩存技術(shù):
創(chuàng)新互聯(lián)2013年開創(chuàng)至今,先為金門等服務(wù)建站,金門等地企業(yè),進行企業(yè)商務(wù)咨詢服務(wù)。為金門企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
數(shù)據(jù)緩存:這里所說的數(shù)據(jù)緩存是指數(shù)據(jù)庫查詢PHP緩存機制,每次訪問頁面的時候,都會先檢測相應(yīng)的緩存數(shù)據(jù)是否存在,如果不存在,就連接數(shù)據(jù)庫,得到數(shù)據(jù),并把查詢結(jié)果序列化后保存到文件中,以后同樣的查詢結(jié)果就直接從緩存表或文件中獲得。
用的最廣的例子看Discuz的搜索功能,把結(jié)果ID緩存到一個表中,下次搜索相同關(guān)鍵字時先搜索緩存表。
舉個常用的方法,多表關(guān)聯(lián)的時候,把附表中的內(nèi)容生成數(shù)組保存到主表的一個字段中,需要的時候數(shù)組分解一下,這樣的好處是只讀一個表,壞處就是兩個數(shù)據(jù)同步會多不少步驟,數(shù)據(jù)庫永遠是瓶頸,用硬盤換速度,是這個的關(guān)鍵點。
2、 頁面緩存:
每次訪問頁面的時候,都會先檢測相應(yīng)的緩存頁面文件是否存在,如果不存在,就連接數(shù)據(jù)庫,得到數(shù)據(jù),顯示頁面并同時生成緩存頁面文件,這樣下次訪問的時候頁面文件就發(fā)揮作用了。(模板引擎和網(wǎng)上常見的一些PHP緩存機制類通常有此功能)
3、 時間觸發(fā)緩存:
檢查文件是否存在并且時間戳小于設(shè)置的過期時間,如果文件修改的時間戳比當(dāng)前時間戳減去過期時間戳大,那么就用緩存,否則更新緩存。
4、 內(nèi)容觸發(fā)緩存:
當(dāng)插入數(shù)據(jù)或更新數(shù)據(jù)時,強制更新PHP緩存機制。
5、 靜態(tài)緩存:
這里所說的靜態(tài)緩存是指靜態(tài)化,直接生成HTML或XML等文本文件,有更新的時候重生成一次,適合于不太變化的頁面,這就不說了。
以上內(nèi)容是代碼級的解決方案,我直接CP別的框架,也懶得改,內(nèi)容都差不多,很容易就做到,而且會幾種方式一起用,但下面的內(nèi)容是服務(wù)器端的緩存方案,非代碼級的,要有多方的合作才能做到
6、 內(nèi)存緩存:
Memcached是高性能的,分布式的內(nèi)存對象PHP緩存機制系統(tǒng),用于在動態(tài)應(yīng)用中減少數(shù)據(jù)庫負載,提升訪問速度。
7、 php的緩沖器:
有eaccelerator, apc, phpa,xcache,這個這個就不說了吧,搜索一堆一堆的,自己看啦,知道有這玩意就OK
8、 MYSQL緩存:
這也算非代碼級的,經(jīng)典的數(shù)據(jù)庫就是用的這種方式,看下面的運行時間,0.09xxx之類的
9、 基于反向代理的Web緩存:
如Nginx,SQUID,mod_proxy(apache2以上又分為mod_proxy和mod_cache)
這個原本就是比較麻煩的,
一種方法就是按照我現(xiàn)在做的,定期更新數(shù)據(jù),給緩存數(shù)據(jù)一個生命周期。
第二種方式也是比較實在的就是在更新系統(tǒng)中加入對緩存的作廢機制,這樣就可以很好的解決了數(shù)據(jù)更新不及時的問題。
考慮到你公司的數(shù)據(jù)非常龐大,故第一種方法可能更加有效一些,可以把網(wǎng)頁中所需要的數(shù)據(jù)采用后臺程序定期生成的方式來實現(xiàn),這樣可以很好的提高瀏覽效率,而且也不會影響到第一次瀏覽的速度。
php的緩存三種.有文件緩存,數(shù)據(jù)庫緩存,memcache緩存;
memcache緩存要求對服務(wù)器支持,而且它的緩存是由期限的,一般是30天。這種緩存的效率是最高的。讀存取的速度最快。
數(shù)據(jù)庫緩存
和
文件緩存比較簡單。適用小的項目。和php新手
主要有:
①普遍緩存技術(shù)②頁面緩存③時間觸發(fā)緩存④內(nèi)容觸發(fā)緩存⑤靜態(tài)緩存(就生成html文件)
⑥內(nèi)存緩存⑦php的緩沖器⑧MYSQL緩存⑨基于反向代理的Web緩存,DNS輪詢
但是一般常用的就 ①②④,其他的是網(wǎng)站數(shù)據(jù)量大,交互多,為減小服務(wù)器壓力才用到
參考資料:
5000部真的不算多了,實時查詢也沒問題的.按照主鍵查詢很快的.
如果是想做緩存,可以考慮用memcache或者redis,會更快一些,因為是內(nèi)存.
如果是文件的話可以將查詢結(jié)果中的電影信息寫到文件中,文件名是電影的id,格式是json.
數(shù)據(jù)庫屬于 IO 密集型的應(yīng)用程序,其主要職責(zé)就是數(shù)據(jù)的管理及存儲工作。而我們知道,從內(nèi)存中讀取一個數(shù)據(jù)庫的時間是微秒級別,而從一塊普通硬盤上讀取一個IO是在毫秒級別,二者相差3個數(shù)量級。所以,要優(yōu)化數(shù)據(jù)庫,首先第一步需要優(yōu)化的就是 IO,盡可能將磁盤IO轉(zhuǎn)化為內(nèi)存IO。本文先從 MySQL 數(shù)據(jù)庫IO相關(guān)參數(shù)(緩存參數(shù))的角度來看看可以通過哪些參數(shù)進行IO優(yōu)化:
?query_cache_size/query_cache_type (global)
Query cache 作用于整個 MySQL Instance,主要用來緩存 MySQL 中的 ResultSet,也就是一條SQL語句執(zhí)行的結(jié)果集,所以僅僅只能針對select語句。當(dāng)我們打開了 Query Cache 功能,MySQL在接受到一條select語句的請求后,如果該語句滿足Query Cache的要求(未顯式說明不允許使用Query Cache,或者已經(jīng)顯式申明需要使用Query Cache),MySQL 會直接根據(jù)預(yù)先設(shè)定好的HASH算法將接受到的select語句以字符串方式進行hash,然后到Query Cache 中直接查找是否已經(jīng)緩存。也就是說,如果已經(jīng)在緩存中,該select請求就會直接將數(shù)據(jù)返回,從而省略了后面所有的步驟(如 SQL語句的解析,優(yōu)化器優(yōu)化以及向存儲引擎請求數(shù)據(jù)等),極大的提高性能。
當(dāng)然,Query Cache 也有一個致命的缺陷,那就是當(dāng)某個表的數(shù)據(jù)有任何任何變化,都會導(dǎo)致所有引用了該表的select語句在Query Cache 中的緩存數(shù)據(jù)失效。所以,當(dāng)我們的數(shù)據(jù)變化非常頻繁的情況下,使用Query Cache 可能會得不償失。
Query Cache的使用需要多個參數(shù)配合,其中最為關(guān)鍵的是 query_cache_size 和 query_cache_type ,前者設(shè)置用于緩存 ResultSet 的內(nèi)存大小,后者設(shè)置在何場景下使用 Query Cache。在以往的經(jīng)驗來看,如果不是用來緩存基本不變的數(shù)據(jù)的MySQL數(shù)據(jù)庫,query_cache_size 一般 256MB 是一個比較合適的大小。當(dāng)然,這可以通過計算Query Cache的命中率(Qcache_hits/(Qcache_hits+Qcache_inserts)*100))來進行調(diào)整。query_cache_type可以設(shè)置為0(OFF),1(ON)或者2(DEMOND),分別表示完全不使用query cache,除顯式要求不使用query cache(使用sql_no_cache)之外的所有的select都使用query cache,只有顯示要求才使用query cache(使用sql_cache)。
?binlog_cache_size (global)
Binlog Cache 用于在打開了二進制日志(binlog)記錄功能的環(huán)境,是 MySQL 用來提高binlog的記錄效率而設(shè)計的一個用于短時間內(nèi)臨時緩存binlog數(shù)據(jù)的內(nèi)存區(qū)域。
一般來說,如果我們的數(shù)據(jù)庫中沒有什么大事務(wù),寫入也不是特別頻繁,2MB~4MB是一個合適的選擇。但是如果我們的數(shù)據(jù)庫大事務(wù)較多,寫入量比較大,可與適當(dāng)調(diào)高binlog_cache_size。同時,我們可以通過binlog_cache_use 以及 binlog_cache_disk_use來分析設(shè)置的binlog_cache_size是否足夠,是否有大量的binlog_cache由于內(nèi)存大小不夠而使用臨時文件(binlog_cache_disk_use)來緩存了。
?key_buffer_size (global)
Key Buffer 可能是大家最為熟悉的一個 MySQL 緩存參數(shù)了,尤其是在 MySQL 沒有更換默認存儲引擎的時候,很多朋友可能會發(fā)現(xiàn),默認的 MySQL 配置文件中設(shè)置最大的一個內(nèi)存參數(shù)就是這個參數(shù)了。key_buffer_size 參數(shù)用來設(shè)置用于緩存 MyISAM存儲引擎中索引文件的內(nèi)存區(qū)域大小。如果我們有足夠的內(nèi)存,這個緩存區(qū)域最好是能夠存放下我們所有的 MyISAM 引擎表的所有索引,以盡可能提高性能。
此外,當(dāng)我們在使用MyISAM 存儲的時候有一個及其重要的點需要注意,由于 MyISAM 引擎的特性限制了他僅僅只會緩存索引塊到內(nèi)存中,而不會緩存表數(shù)據(jù)庫塊。所以,我們的 SQL 一定要盡可能讓過濾條件都在索引中,以便讓緩存幫助我們提高查詢效率。
?bulk_insert_buffer_size (thread)
和key_buffer_size一樣,這個參數(shù)同樣也僅作用于使用 MyISAM存儲引擎,用來緩存批量插入數(shù)據(jù)的時候臨時緩存寫入數(shù)據(jù)。當(dāng)我們使用如下幾種數(shù)據(jù)寫入語句的時候,會使用這個內(nèi)存區(qū)域來緩存批量結(jié)構(gòu)的數(shù)據(jù)以幫助批量寫入數(shù)據(jù)文件:
insert … select …
insert … values (…) ,(…),(…)…
load data infile… into… (非空表)
?innodb_buffer_pool_size(global)
當(dāng)我們使用InnoDB存儲引擎的時候,innodb_buffer_pool_size 參數(shù)可能是影響我們性能的最為關(guān)鍵的一個參數(shù)了,他用來設(shè)置用于緩存 InnoDB 索引及數(shù)據(jù)塊的內(nèi)存區(qū)域大小,類似于 MyISAM 存儲引擎的 key_buffer_size 參數(shù),當(dāng)然,可能更像是 Oracle 的 db_cache_size。簡單來說,當(dāng)我們操作一個 InnoDB 表的時候,返回的所有數(shù)據(jù)或者去數(shù)據(jù)過程中用到的任何一個索引塊,都會在這個內(nèi)存區(qū)域中走一遭。
和key_buffer_size 對于 MyISAM 引擎一樣,innodb_buffer_pool_size 設(shè)置了 InnoDB 存儲引擎需求最大的一塊內(nèi)存區(qū)域的大小,直接關(guān)系到 InnoDB存儲引擎的性能,所以如果我們有足夠的內(nèi)存,盡可將該參數(shù)設(shè)置到足夠打,將盡可能多的 InnoDB 的索引及數(shù)據(jù)都放入到該緩存區(qū)域中,直至全部。
我們可以通過 (Innodb_buffer_pool_read_requests – Innodb_buffer_pool_reads) / Innodb_buffer_pool_read_requests * 100% 計算緩存命中率,并根據(jù)命中率來調(diào)整 innodb_buffer_pool_size 參數(shù)大小進行優(yōu)化。
?innodb_additional_mem_pool_size(global)
這個參數(shù)我們平時調(diào)整的可能不是太多,很多人都使用了默認值,可能很多人都不是太熟悉這個參數(shù)的作用。innodb_additional_mem_pool_size 設(shè)置了InnoDB存儲引擎用來存放數(shù)據(jù)字典信息以及一些內(nèi)部數(shù)據(jù)結(jié)構(gòu)的內(nèi)存空間大小,所以當(dāng)我們一個MySQL Instance中的數(shù)據(jù)庫對象非常多的時候,是需要適當(dāng)調(diào)整該參數(shù)的大小以確保所有數(shù)據(jù)都能存放在內(nèi)存中提高訪問效率的。
這個參數(shù)大小是否足夠還是比較容易知道的,因為當(dāng)過小的時候,MySQL 會記錄 Warning 信息到數(shù)據(jù)庫的 error log 中,這時候你就知道該調(diào)整這個參數(shù)大小了。
?innodb_log_buffer_size (global)
這是 InnoDB 存儲引擎的事務(wù)日志所使用的緩沖區(qū)。類似于 Binlog Buffer,InnoDB 在寫事務(wù)日志的時候,為了提高性能,也是先將信息寫入 Innofb Log Buffer 中,當(dāng)滿足 innodb_flush_log_trx_commit 參數(shù)所設(shè)置的相應(yīng)條件(或者日志緩沖區(qū)寫滿)之后,才會將日志寫到文件(或者同步到磁盤)中??梢酝ㄟ^ innodb_log_buffer_size 參數(shù)設(shè)置其可以使用的最大內(nèi)存空間。
注:innodb_flush_log_trx_commit 參數(shù)對 InnoDB Log 的寫入性能有非常關(guān)鍵的影響。該參數(shù)可以設(shè)置為0,1,2,解釋如下:
0:log buffer中的數(shù)據(jù)將以每秒一次的頻率寫入到log file中,且同時會進行文件系統(tǒng)到磁盤的同步操作,但是每個事務(wù)的commit并不會觸發(fā)任何log buffer 到log file的刷新或者文件系統(tǒng)到磁盤的刷新操作;
1:在每次事務(wù)提交的時候?qū)og buffer 中的數(shù)據(jù)都會寫入到log file,同時也會觸發(fā)文件系統(tǒng)到磁盤的同步;
2:事務(wù)提交會觸發(fā)log buffer 到log file的刷新,但并不會觸發(fā)磁盤文件系統(tǒng)到磁盤的同步。此外,每秒會有一次文件系統(tǒng)到磁盤同步操作。
此外,MySQL文檔中還提到,這幾種設(shè)置中的每秒同步一次的機制,可能并不會完全確保非常準確的每秒就一定會發(fā)生同步,還取決于進程調(diào)度的問題。實際上,InnoDB 能否真正滿足此參數(shù)所設(shè)置值代表的意義正常 Recovery 還是受到了不同 OS 下文件系統(tǒng)以及磁盤本身的限制,可能有些時候在并沒有真正完成磁盤同步的情況下也會告訴 mysqld 已經(jīng)完成了磁盤同步。
?innodb_max_dirty_pages_pct (global)
這個參數(shù)和上面的各個參數(shù)不同,他不是用來設(shè)置用于緩存某種數(shù)據(jù)的內(nèi)存大小的一個參數(shù),而是用來控制在 InnoDB Buffer Pool 中可以不用寫入數(shù)據(jù)文件中的Dirty Page 的比例(已經(jīng)被修但還沒有從內(nèi)存中寫入到數(shù)據(jù)文件的臟數(shù)據(jù))。這個比例值越大,從內(nèi)存到磁盤的寫入操作就會相對減少,所以能夠一定程度下減少寫入操作的磁盤IO。
但是,如果這個比例值過大,當(dāng)數(shù)據(jù)庫 Crash 之后重啟的時間可能就會很長,因為會有大量的事務(wù)數(shù)據(jù)需要從日志文件恢復(fù)出來寫入數(shù)據(jù)文件中。同時,過大的比例值同時可能也會造成在達到比例設(shè)定上限后的 flush 操作“過猛”而導(dǎo)致性能波動很大。
上面這幾個參數(shù)是 MySQL 中為了減少磁盤物理IO而設(shè)計的主要參數(shù),對 MySQL 的性能起到了至關(guān)重要的作用。