1、普遍緩存技術:
10年積累的網(wǎng)站設計制作、網(wǎng)站建設經驗,可以快速應對客戶對網(wǎng)站的新想法和需求。提供各種問題對應的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡服務。我雖然不認識你,你也不認識我。但先網(wǎng)站設計后付款的網(wǎng)站建設流程,更有西和免費網(wǎng)站建設讓你可以放心的選擇與我們合作。
數(shù)據(jù)緩存:這里所說的數(shù)據(jù)緩存是指數(shù)據(jù)庫查詢PHP緩存機制,每次訪問頁面的時候,都會先檢測相應的緩存數(shù)據(jù)是否存在,如果不存在,就連接數(shù)據(jù)庫,得到數(shù)據(jù),并把查詢結果序列化后保存到文件中,以后同樣的查詢結果就直接從緩存表或文件中獲得。
用的最廣的例子看Discuz的搜索功能,把結果ID緩存到一個表中,下次搜索相同關鍵字時先搜索緩存表。
舉個常用的方法,多表關聯(lián)的時候,把附表中的內容生成數(shù)組保存到主表的一個字段中,需要的時候數(shù)組分解一下,這樣的好處是只讀一個表,壞處就是兩個數(shù)據(jù)同步會多不少步驟,數(shù)據(jù)庫永遠是瓶頸,用硬盤換速度,是這個的關鍵點。
2、 頁面緩存:
每次訪問頁面的時候,都會先檢測相應的緩存頁面文件是否存在,如果不存在,就連接數(shù)據(jù)庫,得到數(shù)據(jù),顯示頁面并同時生成緩存頁面文件,這樣下次訪問的時候頁面文件就發(fā)揮作用了。(模板引擎和網(wǎng)上常見的一些PHP緩存機制類通常有此功能)
3、 時間觸發(fā)緩存:
檢查文件是否存在并且時間戳小于設置的過期時間,如果文件修改的時間戳比當前時間戳減去過期時間戳大,那么就用緩存,否則更新緩存。
4、 內容觸發(fā)緩存:
當插入數(shù)據(jù)或更新數(shù)據(jù)時,強制更新PHP緩存機制。
5、 靜態(tài)緩存:
這里所說的靜態(tài)緩存是指靜態(tài)化,直接生成HTML或XML等文本文件,有更新的時候重生成一次,適合于不太變化的頁面,這就不說了。
以上內容是代碼級的解決方案,我直接CP別的框架,也懶得改,內容都差不多,很容易就做到,而且會幾種方式一起用,但下面的內容是服務器端的緩存方案,非代碼級的,要有多方的合作才能做到
6、 內存緩存:
Memcached是高性能的,分布式的內存對象PHP緩存機制系統(tǒng),用于在動態(tài)應用中減少數(shù)據(jù)庫負載,提升訪問速度。
7、 php的緩沖器:
有eaccelerator, apc, phpa,xcache,這個這個就不說了吧,搜索一堆一堆的,自己看啦,知道有這玩意就OK
8、 MYSQL緩存:
這也算非代碼級的,經典的數(shù)據(jù)庫就是用的這種方式,看下面的運行時間,0.09xxx之類的
9、 基于反向代理的Web緩存:
如Nginx,SQUID,mod_proxy(apache2以上又分為mod_proxy和mod_cache)
對于變化頻率非??斓臄?shù)據(jù)來說,如果還選擇傳統(tǒng)的靜態(tài)緩存方式(Memocached、File System等)展示數(shù)據(jù),可能在緩存的存取上會有很大的開銷,并不能很好的滿足需要,而Redis這樣基于內存的NoSQL數(shù)據(jù)庫,就非常適合擔任實時數(shù)據(jù)的容器。
但是往往又有數(shù)據(jù)可靠性的需求,采用MySQL作為數(shù)據(jù)存儲,不會因為內存問題而引起數(shù)據(jù)丟失,同時也可以利用關系數(shù)據(jù)庫的特性實現(xiàn)很多功能。
所以就會很自然的想到是否可以采用MySQL作為數(shù)據(jù)存儲引擎,Redis則作為Cache。而這種需求目前還沒有看到有特別成熟的解決方案或工具,因此采用Gearman+PHP+MySQL UDF的組合異步實現(xiàn)MySQL到Redis的數(shù)據(jù)復制。
MySQL到Redis數(shù)據(jù)復制方案
無論MySQL還是Redis,自身都帶有數(shù)據(jù)同步的機制,比較常用的MySQL的Master/Slave模式,就是由Slave端分析Master的binlog來實現(xiàn)的,這樣的數(shù)據(jù)復制其實還是一個異步過程,只不過當服務器都在同一內網(wǎng)時,異步的延遲幾乎可以忽略。
那么理論上也可以用同樣方式,分析MySQL的binlog文件并將數(shù)據(jù)插入Redis。但是這需要對binlog文件以及MySQL有非常深入的理解,同時由于binlog存在Statement/Row/Mixedlevel多種形式,分析binlog實現(xiàn)同步的工作量是非常大的。
因此這里選擇了一種開發(fā)成本更加低廉的方式,借用已經比較成熟的MySQL UDF,將MySQL數(shù)據(jù)首先放入Gearman中,然后通過一個自己編寫的PHP Gearman Worker,將數(shù)據(jù)同步到Redis。比分析binlog的方式增加了不少流程,但是實現(xiàn)成本更低,更容易操作。
Gearman的安裝與使用
Gearman是一個支持分布式的任務分發(fā)框架。設計簡潔,獲得了非常廣泛的支持。一個典型的Gearman應用包括以下這些部分:
Gearman Job Server:Gearman核心程序,需要編譯安裝并以守護進程形式運行在后臺
Gearman Client:可以理解為任務的收件員,比如在后臺執(zhí)行一個發(fā)送郵件的任務,可以在程序中調用一個Gearman Client并傳入郵件的信息,然后就可以將執(zhí)行結果立即展示給用戶,而任務本身會慢慢在后臺運行。
Gearman Worker:任務的真正執(zhí)行者,一般需要自己編寫具體邏輯并通過守護進程方式運行,Gearman Worker接收到Gearman Client傳遞的任務內容后,會按順序處理。
以前曾經介紹過類似的后臺任務處理項目Resque。兩者的設計其實非常接近,簡單可以類比為:
Gearman Job Server:對應Resque的Redis部分
Gearman Client:對應Resque的Queue操作
Gearman Worker:對應Resque的Worker和Job
這里之所以選擇Gearman而不是Resque是因為Gearman提供了比較好用的MySQL UDF,工作量更小。
安裝Gearman及PHP Gearman擴展
以下均以Ubuntu12.04為例。
apt-get install gearman gearman-server libgearman-dev
檢查Gearman的運行狀況:
/etc/init.d/gearman-job-server status
* gearmand is running
說明Gearman已經安裝成功。
PHP的Gearman擴展可以通過pecl直接安裝
pecl install gearman
echo "extension=gearman.so"/etc/php5/conf.d/gearman.ini
service php5-fpm restart
但是實測發(fā)現(xiàn)ubuntu默認安裝的gearman版本過低,直接運行pecl install gearman會報錯
configure: error: libgearman version 1.1.0or later required
因此Gearman + PHP擴展建議通過編譯方式安裝,這里為了簡單說明,選擇安裝舊版本擴展:
pecl install gearman-1.0.3
Gearman + PHP實例
為了更容易理解后文Gearman的運行流程,這里不妨從一個最簡單的Gearman實例來說明,比如要進行一個文件處理的操作,首先編寫一個Gearman Client并命名為client.php:
?php
$client =newGearmanClient();
$client-addServer();
$client-doBackground('writeLog','Log content');
echo '文件已經在后臺操作';
運行這個文件,相當于模擬用戶請求一個Web頁面后,將處理結束的信息返回用戶:
php client.php
查看一下Gearman的狀況:
(echo status ; sleep 0.1)| netcat127.0.0.14730
可以看到輸出為
writeLog ? ? ? ?100.
說明已經在Gearman中建立了一個名為writeLog的任務,并且有1個任務在隊列等待中。
而上面的4列分別代表當前的Gearman的運行狀態(tài):
任務名稱
在等待隊列中的任務
正在運行的任務
正在運行的Worker進程
可以使用watch進行實時監(jiān)控:
watch -n 1"(echo status; sleep 0.1) | nc 127.0.0.1 4730"
然后我們需要編寫一個Gearman Worker命名為worker.php:
?php
$worker =newGearmanWorker();
$worker-addServer();
$worker-addFunction('writeLog','writeLog');while($worker-work());function writeLog($job){
$log = $job-workload();file_put_contents(__DIR__ .'/gearman.log', $log ."\n", FILE_APPEND | LOCK_EX);}
Worker使用一個while死循環(huán)實現(xiàn)守護進程,運行
php worker.php
可以看到Gearman狀態(tài)變?yōu)椋?/p>
writeLog ? ? ? ?001
同時查看同目錄下gearman.log,內容應為從Client傳入的值Log content。
通過MySQL UDF + Trigger同步數(shù)據(jù)到Gearman
MySQL要實現(xiàn)與外部程序互通的最好方式還是通過MySQL UDF(MySQL user defined functions)來實現(xiàn)。為了讓MySQL能將數(shù)據(jù)傳入Gearman,這里使用了lib_mysqludf_json和gearman-mysql-udf的組合。
安裝lib_mysqludf_json
使用lib_mysqludf_json的原因是因為Gearman只接受字符串作為入口參數(shù),可以通過lib_mysqludf_json將MySQL中的數(shù)據(jù)編碼為JSON字符串
apt-get install libmysqlclient-dev
wget
unzip master.zip
cd lib_mysqludf_json-master/
rm lib_mysqludf_json.so
gcc $(mysql_config --cflags)-shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
可以看到重新編譯生成了 lib_mysqludf_json.so 文件,此時需要查看MySQL的插件安裝路徑:
mysql -u root -pPASSWORD --execute="show variables like '%plugin%';"+---------------+------------------------+|Variable_name|Value|+---------------+------------------------+| plugin_dir ? ?|/usr/lib/mysql/plugin/|+---------------+------------------------+
然后將 lib_mysqludf_json.so 文件復制到對應位置:
cp lib_mysqludf_json.so /usr/lib/mysql/plugin/
最后登入MySQL運行語句注冊UDF函數(shù):
CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';
安裝gearman-mysql-udf
方法幾乎一樣:
apt-get install libgearman-dev
wget
tar -xzf gearman-mysql-udf-0.6.tar.gz
cd gearman-mysql-udf-0.6./configure --with-mysql=/usr/bin/mysql_config
-libdir=/usr/lib/mysql/plugin/
make make install
登入MySQL運行語句注冊UDF函數(shù):
CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';
CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';
最后指定Gearman服務器的信息:
SELECT gman_servers_set('127.0.0.1:4730');
通過MySQL觸發(fā)器實現(xiàn)數(shù)據(jù)同步
最終同步哪些數(shù)據(jù),同步的條件,還是需要根據(jù)實際情況決定,比如將數(shù)據(jù)表data的數(shù)據(jù)在每次更新時同步,那么編寫Trigger如下:
DELIMITER $$
CREATE TRIGGER datatoredis AFTER UPDATE ON data
FOR EACH ROW BEGIN
SET @ret=gman_do_background('syncToRedis', json_object(NEW.id as`id`, NEW.volume as`volume`));END$$
DELIMITER ;
嘗試在數(shù)據(jù)庫中更新一條數(shù)據(jù)查看Gearman是否生效。
Gearman PHP Worker將MySQL數(shù)據(jù)異步復制到Redis
Redis作為時下當熱的NoSQL緩存解決方案無需過多介紹,其安裝及使用也非常簡單:
apt-get install redis-server
pecl install redis
echo "extension=redis.so"/etc/php5/conf.d/redis.ini
然后編寫一個Gearman Worker:redis_worker.php
#!/usr/bin/env php?
$worker =newGearmanWorker();
$worker-addServer();
$worker-addFunction('syncToRedis','syncToRedis');
$redis =newRedis();
$redis-connect('127.0.0.1',6379);while($worker-work());function syncToRedis($job){global $redis;
$workString = $job-workload();
$work = json_decode($workString);if(!isset($work-id)){returnfalse;}
$redis-set($work-id, $workString);}
最后需要將Worker在后臺運行:
nohup php redis_worker.php
通過這種方式將MySQL數(shù)據(jù)復制到Redis,經測試單Worker基本可以瞬時完成。
一種是對 頁面結果的緩存 應用服務器級別的 軟件如 squid
一種是 內存級別的 一般是對 php 頻繁調用的并且如果每次查詢會消耗大量資源的數(shù)據(jù) 軟件有 memcached
一種是 對php 程序進行優(yōu)化編碼的緩存 如 apache 里面的 apc, eAccelerator, XCache 等
還有一種就是文件緩存 這種一般是 用php自己實現(xiàn)的 沒什么可說的.
看你的具體需求是怎樣的了..有疑問 請聯(lián)系 1465663870
一、全頁面靜態(tài)化緩存
也就是將頁面全部生成html靜態(tài)頁面,用戶訪問時直接訪問的靜態(tài)頁面,而不會去走php服務器解析的流程。此種方式,在CMS系統(tǒng)中比較常見,比如dedecms;
一種比較常用的實現(xiàn)方式是用輸出緩存:
Ob_start()******要運行的代碼*******$content=Ob_get_contents();****將緩存內容寫入html文件*****Ob_end_clean();
二、數(shù)據(jù)緩存
顧名思義,就是緩存數(shù)據(jù)的一種方式;比如,商城中的某個商品信息,當用商品id去請求時,就會得出包括店鋪信息、商品信息等數(shù)據(jù),此時就可以將這些數(shù)據(jù)緩存到一個php文件中,文件名包含商品id來建一個唯一標示;下一次有人想查看這個商品時,首先就直接調這個文件里面的信息,而不用再去數(shù)據(jù)庫查詢;其實緩存文件中緩存的就是一個php數(shù)組之類;
Ecmall商城系統(tǒng)里面就用了這種方式;
三、查詢緩存
其實這跟數(shù)據(jù)緩存是一個思路,就是根據(jù)查詢語句來緩存;將查詢得到的數(shù)據(jù)緩存在一個文件中,下次遇到相同的查詢時,就直接先從這個文件里面調數(shù)據(jù),不會再去查數(shù)據(jù)庫;但此處的緩存文件名可能就需要以查詢語句為基點來建立唯一標示;
按時間變更進行緩存
就是對于緩存文件您需要設一個有效時間,在這個有效時間內,相同的訪問才會先取緩存文件的內容,但是超過設定的緩存時間,就需要重新從數(shù)據(jù)庫中獲取數(shù)據(jù),并生產最新的緩存文件;比如,我將我們商城的首頁就是設置2個小時更新一次。
四、頁面部分緩存
該種方式,是將一個頁面中不經常變的部分進行靜態(tài)緩存,而經常變化的塊不緩存,最后組裝在一起顯示;可以使用類似于ob_get_contents的方式實現(xiàn),也可以利用類似ESI之類的頁面片段緩存策略,使其用來做動態(tài)頁面中相對靜態(tài)的片段部分的緩存。
該種方式可以用于如商城中的商品頁;
五、Opcode緩存
首先php代碼被解析為Tokens,然后再編譯為Opcode碼,最后執(zhí)行Opcode碼,返回結果;所以,對于相同的php文件,第一次運行時可以緩存其Opcode碼,下次再執(zhí)行這個頁面時,直接會去找到緩存下的opcode碼,直接執(zhí)行最后一步,而不再需要中間的步驟了。
比較知名的是XCache、TurckMMCache、PHPAccelerator等。
六、按內容變更進行緩存
這個也并非獨立的緩存技術,需結合著用;就是當數(shù)據(jù)庫內容被修改時,即刻更新緩存文件;
比如,一個人流量很大的商城,商品很多,商品表必然比較大,這表的壓力也比較重;我們就可以對商品顯示頁進行頁面緩存;
當商家在后臺修改這個商品的信息時,點擊保存,我們同時就更新緩存文件;那么,買家訪問這個商品信息時,實際問的是一個靜態(tài)頁面,而不需要再去訪問數(shù)據(jù)庫;
試想,如果對商品頁不緩存,那么每次訪問一個商品就要去數(shù)據(jù)庫查一次,如果有10萬人在線瀏覽商品,那服務器壓力就大了;
七、內存式緩存
提到這個,可能大家想到的首先就是Memcached;memcached是高性能的分布式內存緩存服務器。一般的使用目的是,通過緩存數(shù)據(jù)庫查詢結果,減少數(shù)據(jù)庫訪問次數(shù),以提高動態(tài)Web應用的速度、提高可擴展性。
它就是將需要緩存的信息,緩存到系統(tǒng)內存中,需要獲取信息時,直接到內存中??;比較常用的方式就是key_value方式;
connect($memcachehost,$memcacheport)ordie("Couldnotconnect");$memcache-set('key','緩存的內容');$get=$memcache-get($key);//獲取信息?
八、apache緩存模塊
apache安裝完以后,是不允許被cache的。大理IT培訓認為如果外接了cache或squid服務器要求進行web加速的話,就需要在htttpd.conf里進行設置,當然前提是在安裝apache的時候要激活mod_cache的模塊。