PHP屬于編程語言的一種,是一種用于創(chuàng)建動態(tài)和交互式HTML網(wǎng)頁的腳本語言。
成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設、高性價比豐縣網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式豐縣網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設找我們,業(yè)務覆蓋豐縣地區(qū)。費用合理售后完善,十載實體公司更值得信賴。
編程語言是一種被標準化的交流技巧,用來向計算機發(fā)出指令,定義計算機程序,讓程序員能夠準確地定義計算機所需要使用的數(shù)據(jù),并精確地定義在不同情況下所應當采取的行動的一種計算機語言。而編程語言包含很多細分,而PHP就是其中一種。
它的主要特性為:
①開源性和免費性
由于PHP的解釋器的源代碼是公開的,所以安全系數(shù)較高的網(wǎng)站可以自己更改PHP的解釋程序。另外,PHP運行環(huán)境的使用也是免費的。
②快捷性
PHP是一種非常容易學習和使用的一門語言,它的語法特點類似于C語言,但又沒有C語言復雜的地址操作,而且又加入了面向?qū)ο蟮母拍睿偌由纤哂泻啙嵉恼Z法規(guī)則,使得它操作編輯非常簡單,實用性很強。
③數(shù)據(jù)庫連接的廣泛性
PHP可以與很多主流的數(shù)據(jù)庫建立起連接,如MySQL、ODBC、Oracle等,PHP是利用編譯的不同函數(shù)與這些數(shù)據(jù)庫建立起連接的,PHPLIB就是常用的為一般事務提供的基庫。
④面向過程和面向?qū)ο蟛⒂?/p>
在PHP語言的使用中,可以分別使用面向過程和面向?qū)ο?,而且可以將PHP面向過程和面向?qū)ο髢烧咭黄鸹煊?,這是其它很多編程語言是做不到的。
優(yōu)點
①流行,容易上手
PHP是目前最流行的編程語言,這毋庸置疑。它驅(qū)動全球超過2億多個網(wǎng)站,有全球超過81.7%的公共網(wǎng)站在服務器端采用PHP。PHP常用的數(shù)據(jù)結(jié)構(gòu)都內(nèi)置了,使用起來方便簡單,也一點都不復雜,表達能力相當靈活。
②開發(fā)職位很多
在服務器端的網(wǎng)站編程中PHP會更容易幫助你找到工作。很多互聯(lián)網(wǎng)相關企業(yè)都在使用PHP開發(fā)框架,所以可以說市場對PHP的開發(fā)程序員的需求還是比較大的。
③仍然在不斷發(fā)展
PHP在不斷兼容著類似closures和命名空間等技術(shù),同時兼顧性能和當下流行的框架。版本是7之后,一直在提供更高性能的應用。
④可植入性強
PHP語言在補丁漏洞升級過程中,核心部分植入簡單易行,且速度快。
⑤拓展性強
PHP語言在數(shù)據(jù)庫應用過程中,可以從數(shù)據(jù)庫調(diào)取各類數(shù)據(jù),執(zhí)行效率高
PHP 一般有五種常見的設計模式
工廠模式
它具有創(chuàng)建對象的某些方法。可以使用工廠類創(chuàng)建對象,而不直接使用 new。
例如:
?php
interface IUser
{
function getName();
}
class User implements IUser
{
public function __construct( $id ) { }
public function getName()
{
return "Jack";
}
}
class UserFactory
{
public static function Create( $id )
{
return new User( $id );
}
}
$uo = UserFactory::Create( 1 );
echo( $uo-getName()."\n" );
?
另外四種是:觀察者模式,單元素模式,命令鏈模式,策略模式。例子可以百度一搜。
#######?基本的數(shù)據(jù)結(jié)構(gòu)?########
//二分查找(數(shù)組里查找某個元素)
function?bin_sch($array,?$low,?$high,?$k){?
if?($low?=?$high){?
$mid?=?intval(($low+$high)/2);?
if?($array[$mid]?==?$k){?
return?$mid;?
}elseif?($k??$array[$mid]){?
return?bin_sch($array,?$low,?$mid-1,?$k);?
}else{?
return?bin_sch($array,?$mid+1,?$high,?$k);?
}?
}?
return?-1;?
}?
//線性表的刪除(數(shù)組中實現(xiàn))
function?delete_array_element($array,?$i)
{
$len?=?count($array);?
for?($j=$i;?$j$len;?$j++){
$array[$j]?=?$array[$j+1];
}
array_pop($array);
return?$array;
}
//冒泡排序(數(shù)組排序)
function?bubble_sort($array)
{
$count?=?count($array);
if?($count?=?0)?return?false;
for($i=0;?$i$count;?$i++){
for($j=$count-1;?$j$i;?$j--){
if?($array[$j]??$array[$j-1]){
$tmp?=?$array[$j];
$array[$j]?=?$array[$j-1];
$array[$j-1]?=?$tmp;
}
}
}
return?$array;
}
//快速排序(數(shù)組排序)
function?quicksort($array)?{
if?(count($array)?=?1)?return?$array;
$key?=?$array[0];
$left_arr?=?array();
$right_arr?=?array();
for?($i=1;?$icount($array);?$i++){
if?($array[$i]?=?$key)
$left_arr[]?=?$array[$i];
else
$right_arr[]?=?$array[$i];
}
$left_arr?=?quicksort($left_arr);
$right_arr?=?quicksort($right_arr);
return?array_merge($left_arr,?array($key),?$right_arr);
}
#######?自實現(xiàn)函數(shù)?#######
//插入一段字符串
function?str_insert($str,?$i,?$substr)
{
for($j=0;?$j$i;?$j++){
$startstr?.=?$str[$j];
}
for?($j=$i;?$jstrlen($str);?$j++){
$laststr?.=?$str[$j];
}
$str?=?($startstr?.?$substr?.?$laststr);
return?$str;
}
//刪除一段字符串
function?str_delete($str,?$i,?$j)
{
for?($c=0;?$c$i;?$c++){
$startstr?.=?$str[$c];
}
for?($c=($i+$j);?$cstrlen($str);?$c++){
$laststr?.=?$str[$c];
}
$str?=?($startstr?.?$laststr);
return?$str;
}
//復制字符串
function?strcpy($s1,?$s2)
{
if?(strlen($s1)==NULL?||?!isset($s2))?return;
for?($i=0;?$istrlen($s1);?$i++){
$s2[]?=?$s1[$i];
}
return?$s2;
}
//連接字符串
function?strcat($s1,?$s2)
{
if?(!isset($s1)?||?!isset($s2))?return;
$newstr?=?$s1;
for($i=0;?$icount($s);?$i++){
$newstr?.=?$st[$i];
}
return?$newsstr;
}
//簡單編碼函數(shù)(與php_decode函數(shù)對應)
function?php_encode($str)
{
if?($str==''??strlen($str)128)?return?false;
for($i=0;?$istrlen($str);?$i++){
$c?=?ord($str[$i]);
if?($c31??$c107)?$c?+=?20;
if?($c106??$c127)?$c?-=?75;
$word?=?chr($c);
$s?.=?$word;
}?
return?$s;?
}
//簡單解碼函數(shù)(與php_encode函數(shù)對應)
function?php_decode($str)
{
if?($str==''??strlen($str)128)?return?false;
for($i=0;?$istrlen($str);?$i++){
$c?=?ord($word);
if?($c106??$c127)?$c?=?$c-20;
if?($c31??$c107)?$c?=?$c+75;
$word?=?chr($c);
$s?.=?$word;
}?
return?$s;?
}
//簡單加密函數(shù)(與php_decrypt函數(shù)對應)
function?php_encrypt($str)
{
$encrypt_key?=?'abcdefghijklmnopqrstuvwxyz1234567890';
$decrypt_key?=?'ngzqtcobmuhelkpdawxfyivrsj2468021359';
if?(strlen($str)?==?0)?return?false;
for?($i=0;?$istrlen($str);?$i++){
for?($j=0;?$jstrlen($encrypt_key);?$j++){
if?($str[$i]?==?$encrypt_key[$j]){
$enstr?.=?$decrypt_key[$j];
break;
}
}
}
return?$enstr;
}
//簡單解密函數(shù)(與php_encrypt函數(shù)對應)
function?php_decrypt($str)
{
$encrypt_key?=?'abcdefghijklmnopqrstuvwxyz1234567890';
$decrypt_key?=?'ngzqtcobmuhelkpdawxfyivrsj2468021359';
if?(strlen($str)?==?0)?return?false;
for?($i=0;?$istrlen($str);?$i++){
for?($j=0;?$jstrlen($decrypt_key);?$j++){
if?($str[$i]?==?$decrypt_key[$j]){
$enstr?.=?$encrypt_key[$j];
break;
}
}
}
return?$enstr;
}?
到此為止吧:)
第一階段:基礎階段(基礎PHP程序員)
重點:把LNMP搞熟練(核心是安裝配置基本操作) ?目標:能夠完成基本的LNMP系統(tǒng)安裝,簡單配置維護;能夠做基本的簡單系統(tǒng)的PHP開發(fā);能夠在PHP中型系統(tǒng)中支持某個PHP功能模塊的開發(fā)。
時間:完成本階段的時間因人而異,有的成長快半年一年就過了,成長慢的兩三年也有。
Linux
基本命令、操作、啟動、基本服務配置(包括rpm安裝文件,各種服務配置等);會寫簡單的shell腳本和awk/sed 腳本命令等。
Nginx
做到能夠安裝配置nginx+php,知道基本的nginx核心配置選項,知道 server/fastcgi_pass/access_log 等基礎配置,目標是能夠讓nginx+php_fpm順利工作。
MySQL
會自己搭建mysql,知道基本的mysql配置選項;知道innodb和myisam的區(qū)別,知道針對InnoDB和MyISAM兩個引擎的不同配置選項;知道基本的兩個引擎的差異和選擇上面的區(qū)別;能夠純手工編譯搭建一個MySQL數(shù)據(jù)庫并且配置好編碼等正常穩(wěn)定運行;核心主旨是能夠搭建一個可運行的MySQL數(shù)據(jù)庫。
PHP
基本語法數(shù)組、字符串、數(shù)據(jù)庫、XML、Socket、GD/ImageMgk圖片處理等等;熟悉各種跟MySQL操作鏈接的api(mysql/mysqli/PDO),知道各種編碼問題的解決;知道常規(guī)熟練使用的PHP框架(ThinkPHP、Zendframework、Yii、Yaf等);了解基本MVC的運行機制和為什么這么做,稍微知道不同的PHP框架之間的區(qū)別;能夠快速學習一個MVC框架。能夠知道開發(fā)工程中的文件目錄組織,有基本的良好的代碼結(jié)構(gòu)和風格,能夠完成小系統(tǒng)的開發(fā)和中型系統(tǒng)中某個模塊的開發(fā)工作。
前端
如果條件時間允許,可以適當學習下 HTML/CSS/JS 等相關知識,知道什么web標準,div+css的web/wap頁面模式,知道HTML5和HTML4的區(qū)別;了解一些基本的前端只是和JS框架(jQuery之類的);了解一些基本的JavaScript編程知識;(本項不是必須項,如果有時間,稍微了解一下是可以的,不過不建議作為重點,除非個人有強烈興趣)。
系統(tǒng)設計
能夠完成小型系統(tǒng)的基本設計,包括簡單的數(shù)據(jù)庫設計,能夠完成基本的:瀏覽器 - Nginx+PHP - 數(shù)據(jù)庫 架構(gòu)的設計開發(fā)工作;能夠支撐每天幾十萬到數(shù)百萬流量網(wǎng)站的開發(fā)維護工作;
第二階段:提高階段 (中級PHP程序員)
重點:提高針對LNMP的技能,能夠更全面的對LNMP有熟練的應用。 ?目標:能夠隨時隨地搭建好LNMP環(huán)境,快速完成常規(guī)配置;能夠追查解決大部分遇到的開發(fā)和線上環(huán)境的問題;能夠獨立承擔中型系統(tǒng)的構(gòu)架和開發(fā)工作;能夠在大型系統(tǒng)中承擔某個中型模塊的開發(fā)工作。
1. Linux
在第一階段的基礎上面,能夠流暢的使用Shell腳本來完成很多自動化的工作;awk/sed/perl 也操作的不錯,能夠完成很多文本處理和數(shù)據(jù)統(tǒng)計等工作;基本能夠安裝大部分非特殊的Linux程序(包括各種庫、包、第三方依賴等等,比如MongoDB/Redis/Sphinx/Luncene/SVN之類的);了解基本的Linux服務,知道如何查看Linux的性能指標數(shù)據(jù),知道基本的Linux下面的問題跟蹤等。
2. Nginx
在第一階段的基礎上面,了解復雜一些的Nginx配置;包括 多核配置、events、proxy_pass,sendfile/tcp_*配置,知道超時等相關配置和性能影響;知道nginx除了web server,還能夠承擔代理服務器、反向靜態(tài)服務器等配置;知道基本的nginx配置調(diào)優(yōu);知道如何配置權(quán)限、編譯一個nginx擴展到nginx;知道基本的nginx運行原理(master/worker機制,epoll),知道為什么nginx性能比apache性能好等知識。
3. MySQL/MongoDB
在第一階段的基礎上面,在MySQL開發(fā)方面,掌握很多小技巧,包括常規(guī)SQL優(yōu)化(group by/order by/rand優(yōu)化等);除了能夠搭建MySQL,還能夠冷熱備份MySQL數(shù)據(jù),還知道影響innodb/myisam性能的配置選項(比如key_buffer/query_cache/sort_buffer/innodb_buffer_pool_size/innodb_flush_log_at_trx_commit等),也知道這些選項配置成為多少值合適;另外也了解一些特殊的配置選項,比如 ?知道如何搭建mysql主從同步的環(huán)境,知道各個binlog_format的區(qū)別;知道MySQL的性能追查,包括slow_log/explain等,還能夠知道基本的索引建立處理等知識;原理方面了解基本的MySQL的架構(gòu)(Server+存儲引擎),知道基本的InnoDB/MyISAM索引存儲結(jié)構(gòu)和不同(聚簇索引,B樹);知道基本的InnoDB事務處理機制;了解大部分MySQL異常情況的處理方案(或者知道哪兒找到處理方案)。條件允許的情況,建議了解一下NoSQL的代表MongoDB數(shù)據(jù)庫,順便對比跟MySQL的差別,同事能夠在合適的應用場景安全謹慎的使用MongoDB,知道基本的PHP與MongoDB的結(jié)合開發(fā)。
4. Redis/Memcached
在大部分中型系統(tǒng)里面一定會涉及到緩存處理,所以一定要了解基本的緩存;知道Memcached和Redis的異同和應用場景,能夠獨立安裝 Redis/Memcached,了解Memcahed的一些基本特性和限制,比如最大的value值,知道PHP跟他們的使用結(jié)合;Redis了解基本工作原理和使用,了解常規(guī)的數(shù)據(jù)類型,知道什么場景應用什么類型,了解Redis的事務等等。原理部分,能夠大概了解Memcached的內(nèi)存結(jié)構(gòu)(slab機制),redis就了解常用數(shù)據(jù)類型底層實現(xiàn)存儲結(jié)構(gòu)(SDS/鏈表/SkipList/HashTable)等等,順便了解一下Redis的事務、RDB、AOF等機制更好。
5. PHP
除了第一階段的能力,安裝配置方面能夠隨意安裝PHP和各種第三方擴展的編譯安裝配置;了解php-fpm的大部分配置選項和含義(如max_requests/max_children/request_terminate_timeout之類的影響性能的配置),知道m(xù)od_php/fastcgi的區(qū)別;在PHP方面已經(jīng)能夠熟練各種基礎技術(shù),還包括各種深入些的PHP,包括對PHP面向?qū)ο蟮纳钊肜斫?SPL/語法層面的特殊特性比如反射之類的;在框架方面已經(jīng)閱讀過最少一個以上常規(guī)PHP MVC框架的代碼了,知道基本PHP框架內(nèi)部實現(xiàn)機制和設計思想;在PHP開發(fā)中已經(jīng)能夠熟練使用常規(guī)的設計模式來應用開發(fā)(抽象工廠/單例/觀察者/命令鏈/策略/適配器 等模式);建議開發(fā)自己的PHP MVC框架來充分讓開發(fā)自由化,讓自己深入理解MVC模式,也讓自己能夠在業(yè)務項目開發(fā)里快速升級;熟悉PHP的各種代碼優(yōu)化方法,熟悉大部分PHP安全方面問題的解決處理;熟悉基本的PHP執(zhí)行的機制原理(Zend引擎/擴展基本工作機制)。
6. C/C++
開始涉獵一定的C/C++語言,能夠?qū)懟镜腃/C++代碼,對基本的C/C++語法熟悉(指針、數(shù)組操作、字符串、常規(guī)標準API)和數(shù)據(jù)結(jié)構(gòu)(鏈表、樹、哈希、隊列)有一定的熟悉下;對Linux下面的C語言開發(fā)有基本的了解概念,會簡單的makefile文件編寫,能夠使用簡單的GCC/GDB的程序編譯簡單調(diào)試工作;對基本的網(wǎng)絡編程有大概了解。(本項是為了向更高層次打下基礎)。
7. 前端
在第一階段的基礎上面,熟悉基本的HTTP協(xié)議(協(xié)議代碼200/300/400/500,基本的HTTP交互頭);條件允許,可以在深入寫出稍微優(yōu)雅的HTML+CSS+JavaScript,或者能夠大致簡單使用某些前端框架(jQuery/YUI/ExtJS/RequireJS/BootStrap之類);如果條件允許,可以深入學習JavaScript編程,比如閉包機制、DOM處理;再深入些可以讀讀jQuery源碼做深入學習。(本項不做重點學習,除非對前端有興趣)。
8. 系統(tǒng)設計
能夠設計大部分中型系統(tǒng)的網(wǎng)站架構(gòu)、數(shù)據(jù)庫、基本PHP框架選型;性能測試排查處理等;能夠完成類似:瀏覽器 - CDN(Squid) - Nginx+PHP - 緩存 - 數(shù)據(jù)庫 結(jié)構(gòu)網(wǎng)站的基本設計開發(fā)維護;能夠支撐每天數(shù)百萬到千萬流量基本網(wǎng)站的開發(fā)維護工作;
第三階段:高級階段 (高級PHP程序員)
重點:除了基本的LNMP程序,還能夠在某個方向或領域有深入學習。(縱深維度發(fā)展) ?目標:除了能夠完成基本的PHP業(yè)務開發(fā),還能夠解決大部分深入復雜的技術(shù)問題,并且可以獨立設計完成中大型的系統(tǒng)設計和開發(fā)工作;自己能夠獨立hold深入某個技術(shù)方向,在這塊比較專業(yè)。(比如在MySQL、Nginx、PHP、Redis等等任一方向深入研究)
1. Linux
除了第二階段的能力,在Linux下面除了常規(guī)的操作和性能監(jiān)控跟蹤,還能夠使用很多高級復雜的命令完成工作(watch/tcpdump/starce/ldd/ar等);在shell腳本方面,已經(jīng)能夠編寫比較復雜的shell腳本(超過500行)來協(xié)助完成很多包括備份、自動化處理、監(jiān)控等工作的shell;對awk/sed/perl 等應用已經(jīng)如火純青,能夠隨意操作控制處理文本統(tǒng)計分析各種復雜格式的數(shù)據(jù);對Linux內(nèi)部機制有一些了解,對內(nèi)核模塊加載,啟動錯誤處理等等有個基本的處理;同時對一些其他相關的東西也了解,比如NFS、磁盤管理等等;
2. Nginx
在第二階段的基礎上面,已經(jīng)能夠把Nginx操作的很熟練,能夠?qū)ginx進行更深入的運維工作,比如監(jiān)控、性能優(yōu)化,復雜問題處理等等;看個人興趣,更多方面可以考慮側(cè)重在關于Nginx工作原理部分的深入學習,主要表現(xiàn)在閱讀源碼開始,比如具體的master/worker工作機制,Nginx內(nèi)部的事件處理,內(nèi)存管理等等;同時可以學習Nginx擴展的開發(fā),可以定制一些自己私有的擴展;同時可以對Nginx+Lua有一定程度的了解,看看是否可以結(jié)合應用出更好模式;這個階段的要求是對Nginx原理的深入理解,可以考慮成為Nginx方向的深入專業(yè)者。
3. MySQL/MongoDB
在第二階段的基礎上面,在MySQL應用方面,除了之前的基本SQL優(yōu)化,還能夠在完成一些復雜操作,比如大批量數(shù)據(jù)的導入導出,線上大批量數(shù)據(jù)的更改表結(jié)構(gòu)或者增刪索引字段等等高危操作;除了安裝配置,已經(jīng)能夠處理更多復雜的MySQL的問題,比如各種問題的追查,主從同步延遲問題的解決、跨機房同步數(shù)據(jù)方案、MySQL高可用架構(gòu)等都有涉及了解;對MySQL應用層面,對MySQL的核心關鍵技術(shù)比較熟悉,比如事務機制(隔離級別、鎖等)、對觸發(fā)器、分區(qū)等技術(shù)有一定了解和應用;對MySQL性能方面,有包括磁盤優(yōu)化(SAS遷移到SSD)、服務器優(yōu)化(內(nèi)存、服務器本身配置)、除了二階段的其他核心性能優(yōu)化選項(innodb_log_buffer_size/back_log/table_open_cache/thread_cache_size/innodb_lock_wait_timeout等)、連接池軟件選擇應用,對show *(show status/show profile)類的操作語句有深入了解,能夠完成大部分的性能問題追查;MySQL備份技術(shù)的深入熟悉,包括災備還原、對Binlog的深入理解,冷熱備份,多IDC備份等;在MySQL原理方面,有更多了解,比如對MySQL的工作機制開始閱讀部分源碼,比如對主從同步(復制)技術(shù)的源碼學習,或者對某個存儲引擎(MyISAM/Innodb/TokuDB)等等的源碼學習理解,如果條件允許,可以參考CSV引擎開發(fā)自己簡單的存儲引擎來保存一些數(shù)據(jù),增強對MySQL的理解;在這個過程,如果自己有興趣,也可以考慮往DBA方向發(fā)展。MongoDB層面,可以考慮比如說在寫少讀多的情況開始在線上應用MongoDB,或者是做一些線上的數(shù)據(jù)分析處理的操作,具體場景可以按照工作來,不過核心是要更好的深入理解RMDBS和NoSQL的不同場景下面的應用,如果條件或者興趣允許,可以開始深入學習一下MongoDB的工作機制。
4. Redis/Memcached
在第二階段的基礎上面,能夠更深入的應用和學習。因為Memcached不是特別復雜,建議可以把源碼進行閱讀,特別是內(nèi)存管理部分,方便深入理解;Redis部分,可以多做一些復雜的數(shù)據(jù)結(jié)構(gòu)的應用(zset來做排行榜排序操作/事務處理用來保證原子性在秒殺類場景應用之類的使用操作);多涉及aof等同步機制的學習應用,設計一個高可用的Redis應用架構(gòu)和集群;建議可以深入的學習一下Redis的源碼,把在第二階段積累的知識都可以應用上,特別可以閱讀一下包括核心事件管理、內(nèi)存管理、內(nèi)部核心數(shù)據(jù)結(jié)構(gòu)等充分學習了解一下。如果興趣允許,可以成為一個Redis方面非常專業(yè)的使用者。
5. PHP
作為基礎核心技能,我們在第二階段的基礎上面,需要有更深入的學習和應用。從基本代碼應用上面來說,能夠解決在PHP開發(fā)中遇到95%的問題,了解大部分PHP的技巧;對大部分的PHP框架能夠迅速在一天內(nèi)上手使用,并且了解各個主流PHP框架的優(yōu)缺點,能夠迅速方便項目開發(fā)中做技術(shù)選型;在配置方面,除了常規(guī)第二階段會的知識,會了解一些比較偏門的配置選項(php auto_prepend_file/auto_append_file),包括擴展中的一些復雜高級配置和原理(比如memcached擴展配置中的memcache.hash_strategy、apc擴展配置中的apc.mmap_file_mask/apc.slam_defense/apc.file_update_protection之類的);對php的工作機制比較了解,包括php-fpm工作機制(比如php-fpm在不同配置機器下面開啟進程數(shù)量計算以及原理),對zend引擎有基本熟悉(vm/gc/stream處理),閱讀過基本的PHP內(nèi)核源碼(或者閱讀過相關文章),對PHP內(nèi)部機制的大部分核心數(shù)據(jù)結(jié)構(gòu)(基礎類型/Array/Object)實現(xiàn)有了解,對于核心基礎結(jié)構(gòu)(zval/hashtable/gc)有深入學習了解;能夠進行基本的PHP擴展開發(fā),了解一些擴展開發(fā)的中高級知識(minit/rinit等),熟悉php跟apache/nginx不同的通信交互方式細節(jié)(mod_php/fastcgi);除了開發(fā)PHP擴展,可以考慮學習開發(fā)Zend擴展,從更底層去了解PHP。
6. C/C++
在第二階段基礎上面,能夠在C/C++語言方面有更深入的學習了解,能夠完成中小型C/C++系統(tǒng)的開發(fā)工作;除了基本第二階段的基礎C/C++語法和數(shù)據(jù)結(jié)構(gòu),也能夠?qū)W習一些特殊數(shù)據(jù)結(jié)構(gòu)(b-tree/rb-tree/skiplist/lsm-tree/trie-tree等)方便在特殊工作中需求;在系統(tǒng)編程方面,熟悉多進程、多線程編程;多進程情況下面了解大部分多進程之間的通信方式,能夠靈活選擇通信方式(共享內(nèi)存/信號量/管道等);多線程編程能夠良好的解決鎖沖突問題,并且能夠進行多線程程序的開發(fā)調(diào)試工作;同時對網(wǎng)絡編程比較熟悉,了解多進程模型/多線程模型/異步網(wǎng)絡IO模型的差別和選型,熟悉不同異步網(wǎng)絡IO模型的原理和差異(select/poll/epoll/iocp等),并且熟悉常見的異步框架(ACE/ICE/libev/libevent/libuv/Boost.ASIO等)和使用,如果閑暇也可以看看一些國產(chǎn)自己開發(fā)的庫(比如muduo);同時能夠設計好的高并發(fā)程序架構(gòu)(leader-follow/master-worker等);了解大部分C/C++后端Server開發(fā)中的問題(內(nèi)存管理、日志打印、高并發(fā)、前后端通信協(xié)議、服務監(jiān)控),知道各個后端服務RPC通信問題(struct/http/thirft/protobuf等);能夠更熟絡的使用GCC和GDB來開發(fā)編譯調(diào)試程序,在線上程序core掉后能夠迅速追查跟蹤解決問題;通用模塊開發(fā)方面,可以積累或者開發(fā)一些通用的工具或庫(比如異步網(wǎng)絡框架、日志庫、內(nèi)存池、線程池等),不過開發(fā)后是否應用要謹慎,省的埋坑去追bug。
7. 前端
深入了解HTTP協(xié)議(包括各個細致協(xié)議特殊協(xié)議代碼和背后原因,比如302靜態(tài)文件緩存了,502是nginx后面php掛了之類的);除了之前的前端方面的各種框架應用整合能力,前端方面的學習如果有興趣可以更深入,表現(xiàn)形式是,可以自己開發(fā)一些類似jQuery的前端框架,或者開發(fā)一個富文本編輯器之類的比較瑣碎考驗JavaScript功力。
8. 其他領域語言學習
在基礎的PHP/C/C++語言方面有基本積累,建議在當前階段可以嘗試學習不同的編程語言,看個人興趣愛好,腳本類語言可以學學 Python/Ruby 之類的,函數(shù)式編程語言可以試試 Lisp/Haskell/Scala/Erlang 之類的,靜態(tài)語言可以試試 Java/Golang,數(shù)據(jù)統(tǒng)計分析可以了解了解R語言,如果想換個視角做后端業(yè)務,可以試試 Node.js還有前面提到的跟Nginx結(jié)合的Nginx_Lua等。學習不同的語言主要是提升自己的視野和解決問題手段的差異,比如會了解除了進程/線程,還有輕量級協(xié)程;比如在跨機器通信場景下面,Erlang的解決方案簡單的驚人;比如在不想選擇C/C++的情況下,還有類似高效的Erlang/Golang可用等等;主要是提升視野。
9. 其他專業(yè)方向?qū)W習
在本階段里面,會除了基本的LNMP技能之外,會考慮一些其他領域知識的學習,這些都是可以的,看個人興趣和長期的目標方向。目前情況能夠選擇的領域比較多,比如、云計算(分布式存儲、分布式計算、虛擬機等),機器學習(數(shù)據(jù)挖掘、模式識別等,應用到統(tǒng)計、個性化推薦),自然語言處理(中文分詞等),搜索引擎技術(shù)、圖形圖像、語音識別等等。除了這些高大上的,也有很多偏工程方面可以學習的地方,比如高性能系統(tǒng)、移動開發(fā)(Android/IOS)、計算機安全、嵌入式系統(tǒng)、硬件等方向。
10. 系統(tǒng)設計
系統(tǒng)設計在第二階段的基礎之上,能夠應用掌握的經(jīng)驗技能,設計出比較復雜的中大型系統(tǒng),能夠解決大部分線上的各種復雜系統(tǒng)的問題,完成類似 瀏覽器 - CDN - 負載均衡 -接入層 - Nginx+PHP - 業(yè)務緩存 - 數(shù)據(jù)庫 - 各路復雜后端RPC交互(存儲后端、邏輯后端、反作弊后端、外部服務) - 更多后端 醬紫的復雜業(yè)務;能夠支撐每天數(shù)千萬到數(shù)億流量網(wǎng)站的正常開發(fā)維護工作。
一、消息隊列概述\x0d\x0a消息隊列中間件是分布式系統(tǒng)中重要的組件,主要解決應用耦合,異步消息,流量削鋒等問題。實現(xiàn)高性能,高可用,可伸縮和最終一致性架構(gòu)。是大型分布式系統(tǒng)不可缺少的中間件。\x0d\x0a目前在生產(chǎn)環(huán)境,使用較多的消息隊列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。\x0d\x0a二、消息隊列應用場景\x0d\x0a以下介紹消息隊列在實際應用中常用的使用場景。異步處理,應用解耦,流量削鋒和消息通訊四個場景。\x0d\x0a2.1異步處理\x0d\x0a場景說明:用戶注冊后,需要發(fā)注冊郵件和注冊短信。傳統(tǒng)的做法有兩種1.串行的方式;2.并行方式。\x0d\x0a(1)串行方式:將注冊信息寫入數(shù)據(jù)庫成功后,發(fā)送注冊郵件,再發(fā)送注冊短信。以上三個任務全部完成后,返回給客戶端。(架構(gòu)KKQ:466097527,歡迎加入)\x0d\x0a(2)并行方式:將注冊信息寫入數(shù)據(jù)庫成功后,發(fā)送注冊郵件的同時,發(fā)送注冊短信。以上三個任務完成后,返回給客戶端。與串行的差別是,并行的方式可以提高處理的時間。\x0d\x0a假設三個業(yè)務節(jié)點每個使用50毫秒鐘,不考慮網(wǎng)絡等其他開銷,則串行方式的時間是150毫秒,并行的時間可能是100毫秒。\x0d\x0a因為CPU在單位時間內(nèi)處理的請求數(shù)是一定的,假設CPU1秒內(nèi)吞吐量是100次。則串行方式1秒內(nèi)CPU可處理的請求量是7次(1000/150)。并行方式處理的請求量是10次(1000/100)。\x0d\x0a小結(jié):如以上案例描述,傳統(tǒng)的方式系統(tǒng)的性能(并發(fā)量,吞吐量,響應時間)會有瓶頸。如何解決這個問題呢?\x0d\x0a引入消息隊列,將不是必須的業(yè)務邏輯,異步處理。改造后的架構(gòu)如下:\x0d\x0a按照以上約定,用戶的響應時間相當于是注冊信息寫入數(shù)據(jù)庫的時間,也就是50毫秒。注冊郵件,發(fā)送短信寫入消息隊列后,直接返回,因此寫入消息隊列的速度很快,基本可以忽略,因此用戶的響應時間可能是50毫秒。因此架構(gòu)改變后,系統(tǒng)的吞吐量提高到每秒20 QPS。比串行提高了3倍,比并行提高了兩倍。\x0d\x0a2.2應用解耦\x0d\x0a場景說明:用戶下單后,訂單系統(tǒng)需要通知庫存系統(tǒng)。傳統(tǒng)的做法是,訂單系統(tǒng)調(diào)用庫存系統(tǒng)的接口。如下圖:\x0d\x0a傳統(tǒng)模式的缺點:\x0d\x0a1) 假如庫存系統(tǒng)無法訪問,則訂單減庫存將失敗,從而導致訂單失??;\x0d\x0a2) 訂單系統(tǒng)與庫存系統(tǒng)耦合;\x0d\x0a如何解決以上問題呢?引入應用消息隊列后的方案,如下圖:\x0d\x0a訂單系統(tǒng):用戶下單后,訂單系統(tǒng)完成持久化處理,將消息寫入消息隊列,返回用戶訂單下單成功。\x0d\x0a庫存系統(tǒng):訂閱下單的消息,采用拉/推的方式,獲取下單信息,庫存系統(tǒng)根據(jù)下單信息,進行庫存操作。\x0d\x0a假如:在下單時庫存系統(tǒng)不能正常使用。也不影響正常下單,因為下單后,訂單系統(tǒng)寫入消息隊列就不再關心其他的后續(xù)操作了。實現(xiàn)訂單系統(tǒng)與庫存系統(tǒng)的應用解耦。\x0d\x0a2.3流量削鋒\x0d\x0a流量削鋒也是消息隊列中的常用場景,一般在秒殺或團搶活動中使用廣泛。\x0d\x0a應用場景:秒殺活動,一般會因為流量過大,導致流量暴增,應用掛掉。為解決這個問題,一般需要在應用前端加入消息隊列。\x0d\x0a可以控制活動的人數(shù);\x0d\x0a可以緩解短時間內(nèi)高流量壓垮應用;\x0d\x0a用戶的請求,服務器接收后,首先寫入消息隊列。假如消息隊列長度超過最大數(shù)量,則直接拋棄用戶請求或跳轉(zhuǎn)到錯誤頁面;\x0d\x0a秒殺業(yè)務根據(jù)消息隊列中的請求信息,再做后續(xù)處理。\x0d\x0a2.4日志處理\x0d\x0a日志處理是指將消息隊列用在日志處理中,比如Kafka的應用,解決大量日志傳輸?shù)膯栴}。架構(gòu)簡化如下:\x0d\x0a日志采集客戶端,負責日志數(shù)據(jù)采集,定時寫受寫入Kafka隊列;\x0d\x0aKafka消息隊列,負責日志數(shù)據(jù)的接收,存儲和轉(zhuǎn)發(fā);\x0d\x0a日志處理應用:訂閱并消費kafka隊列中的日志數(shù)據(jù);\x0d\x0a以下是新浪kafka日志處理應用案例:\x0d\x0a(1)Kafka:接收用戶日志的消息隊列。\x0d\x0a(2)Logstash:做日志解析,統(tǒng)一成JSON輸出給Elasticsearch。\x0d\x0a(3)Elasticsearch:實時日志分析服務的核心技術(shù),一個schemaless,實時的數(shù)據(jù)存儲服務,通過index組織數(shù)據(jù),兼具強大的搜索和統(tǒng)計功能。\x0d\x0a(4)Kibana:基于Elasticsearch的數(shù)據(jù)可視化組件,超強的數(shù)據(jù)可視化能力是眾多公司選擇ELK stack的重要原因。\x0d\x0a2.5消息通訊\x0d\x0a消息通訊是指,消息隊列一般都內(nèi)置了高效的通信機制,因此也可以用在純的消息通訊。比如實現(xiàn)點對點消息隊列,或者聊天室等。\x0d\x0a點對點通訊:\x0d\x0a客戶端A和客戶端B使用同一隊列,進行消息通訊。\x0d\x0a聊天室通訊:\x0d\x0a客戶端A,客戶端B,客戶端N訂閱同一主題,進行消息發(fā)布和接收。實現(xiàn)類似聊天室效果。\x0d\x0a以上實際是消息隊列的兩種消息模式,點對點或發(fā)布訂閱模式。模型為示意圖,供參考。\x0d\x0a三、消息中間件示例\x0d\x0a3.1電商系統(tǒng)\x0d\x0a消息隊列采用高可用,可持久化的消息中間件。比如Active MQ,Rabbit MQ,Rocket Mq。(1)應用將主干邏輯處理完成后,寫入消息隊列。消息發(fā)送是否成功可以開啟消息的確認模式。(消息隊列返回消息接收成功狀態(tài)后,應用再返回,這樣保障消息的完整性)\x0d\x0a(2)擴展流程(發(fā)短信,配送處理)訂閱隊列消息。采用推或拉的方式獲取消息并處理。\x0d\x0a(3)消息將應用解耦的同時,帶來了數(shù)據(jù)一致性問題,可以采用最終一致性方式解決。比如主數(shù)據(jù)寫入數(shù)據(jù)庫,擴展應用根據(jù)消息隊列,并結(jié)合數(shù)據(jù)庫方式實現(xiàn)基于消息隊列的后續(xù)處理。\x0d\x0a3.2日志收集系統(tǒng)\x0d\x0a分為Zookeeper注冊中心,日志收集客戶端,Kafka集群和Storm集群(OtherApp)四部分組成。\x0d\x0aZookeeper注冊中心,提出負載均衡和地址查找服務;\x0d\x0a日志收集客戶端,用于采集應用系統(tǒng)的日志,并將數(shù)據(jù)推送到kafka隊列;\x0d\x0a四、JMS消息服務\x0d\x0a講消息隊列就不得不提JMS 。JMS(Java Message Service,Java消息服務)API是一個消息服務的標準/規(guī)范,允許應用程序組件基于JavaEE平臺創(chuàng)建、發(fā)送、接收和讀取消息。它使分布式通信耦合度更低,消息服務更加可靠以及異步性。\x0d\x0a在EJB架構(gòu)中,有消息bean可以無縫的與JM消息服務集成。在J2EE架構(gòu)模式中,有消息服務者模式,用于實現(xiàn)消息與應用直接的解耦。\x0d\x0a4.1消息模型\x0d\x0a在JMS標準中,有兩種消息模型P2P(Point to Point),Publish/Subscribe(Pub/Sub)。\x0d\x0a4.1.1 P2P模式\x0d\x0aP2P模式包含三個角色:消息隊列(Queue),發(fā)送者(Sender),接收者(Receiver)。每個消息都被發(fā)送到一個特定的隊列,接收者從隊列中獲取消息。隊列保留著消息,直到他們被消費或超時。\x0d\x0aP2P的特點\x0d\x0a每個消息只有一個消費者(Consumer)(即一旦被消費,消息就不再在消息隊列中)\x0d\x0a發(fā)送者和接收者之間在時間上沒有依賴性,也就是說當發(fā)送者發(fā)送了消息之后,不管接收者有沒有正在運行,它不會影響到消息被發(fā)送到隊列\(zhòng)x0d\x0a接收者在成功接收消息之后需向隊列應答成功\x0d\x0a如果希望發(fā)送的每個消息都會被成功處理的話,那么需要P2P模式。(架構(gòu)KKQ:466097527,歡迎加入)\x0d\x0a4.1.2 Pub/sub模式\x0d\x0a包含三個角色主題(Topic),發(fā)布者(Publisher),訂閱者(Subscriber) 。多個發(fā)布者將消息發(fā)送到Topic,系統(tǒng)將這些消息傳遞給多個訂閱者。\x0d\x0aPub/Sub的特點\x0d\x0a每個消息可以有多個消費者\x0d\x0a發(fā)布者和訂閱者之間有時間上的依賴性。針對某個主題(Topic)的訂閱者,它必須創(chuàng)建一個訂閱者之后,才能消費發(fā)布者的消息。\x0d\x0a為了消費消息,訂閱者必須保持運行的狀態(tài)。\x0d\x0a為了緩和這樣嚴格的時間相關性,JMS允許訂閱者創(chuàng)建一個可持久化的訂閱。這樣,即使訂閱者沒有被激活(運行),它也能接收到發(fā)布者的消息。\x0d\x0a如果希望發(fā)送的消息可以不被做任何處理、或者只被一個消息者處理、或者可以被多個消費者處理的話,那么可以采用Pub/Sub模型。\x0d\x0a4.2消息消費\x0d\x0a在JMS中,消息的產(chǎn)生和消費都是異步的。對于消費來說,JMS的消息者可以通過兩種方式來消費消息。\x0d\x0a(1)同步\x0d\x0a訂閱者或接收者通過receive方法來接收消息,receive方法在接收到消息之前(或超時之前)將一直阻塞;\x0d\x0a(2)異步\x0d\x0a訂閱者或接收者可以注冊為一個消息監(jiān)聽器。當消息到達之后,系統(tǒng)自動調(diào)用監(jiān)聽器的onMessage方法。\x0d\x0aJNDI:Java命名和目錄接口,是一種標準的Java命名系統(tǒng)接口。可以在網(wǎng)絡上查找和訪問服務。通過指定一個資源名稱,該名稱對應于數(shù)據(jù)庫或命名服務中的一個記錄,同時返回資源連接建立所必須的信息。\x0d\x0aJNDI在JMS中起到查找和訪問發(fā)送目標或消息來源的作用。(架構(gòu)KKQ:466097527,歡迎加入)\x0d\x0a4.3JMS編程模型\x0d\x0a(1) ConnectionFactory\x0d\x0a創(chuàng)建Connection對象的工廠,針對兩種不同的jms消息模型,分別有QueueConnectionFactory和TopicConnectionFactory兩種??梢酝ㄟ^JNDI來查找ConnectionFactory對象。\x0d\x0a(2) Destination\x0d\x0aDestination的意思是消息生產(chǎn)者的消息發(fā)送目標或者說消息消費者的消息來源。對于消息生產(chǎn)者來說,它的Destination是某個隊列(Queue)或某個主題(Topic);對于消息消費者來說,它的Destination也是某個隊列或主題(即消息來源)。\x0d\x0a所以,Destination實際上就是兩種類型的對象:Queue、Topic可以通過JNDI來查找Destination。\x0d\x0a(3) Connection\x0d\x0aConnection表示在客戶端和JMS系統(tǒng)之間建立的鏈接(對TCP/IP socket的包裝)。Connection可以產(chǎn)生一個或多個Session。跟ConnectionFactory一樣,Connection也有兩種類型:QueueConnection和TopicConnection。\x0d\x0a(4) Session\x0d\x0aSession是操作消息的接口??梢酝ㄟ^session創(chuàng)建生產(chǎn)者、消費者、消息等。Session提供了事務的功能。當需要使用session發(fā)送/接收多個消息時,可以將這些發(fā)送/接收動作放到一個事務中。同樣,也分QueueSession和TopicSession。\x0d\x0a(5) 消息的生產(chǎn)者\x0d\x0a消息生產(chǎn)者由Session創(chuàng)建,并用于將消息發(fā)送到Destination。同樣,消息生產(chǎn)者分兩種類型:QueueSender和TopicPublisher。可以調(diào)用消息生產(chǎn)者的方法(send或publish方法)發(fā)送消息。\x0d\x0a(6) 消息消費者\x0d\x0a消息消費者由Session創(chuàng)建,用于接收被發(fā)送到Destination的消息。兩種類型:QueueReceiver和TopicSubscriber??煞謩e通過session的createReceiver(Queue)或createSubscriber(Topic)來創(chuàng)建。當然,也可以session的creatDurableSubscriber方法來創(chuàng)建持久化的訂閱者。\x0d\x0a(7) MessageListener\x0d\x0a消息監(jiān)聽器。如果注冊了消息監(jiān)聽器,一旦消息到達,將自動調(diào)用監(jiān)聽器的onMessage方法。EJB中的MDB(Message-Driven Bean)就是一種MessageListener。\x0d\x0a深入學習JMS對掌握JAVA架構(gòu),EJB架構(gòu)有很好的幫助,消息中間件也是大型分布式系統(tǒng)必須的組件。本次分享主要做全局性介紹,具體的深入需要大家學習,實踐,總結(jié),領會。\x0d\x0a五、常用消息隊列\(zhòng)x0d\x0a一般商用的容器,比如WebLogic,JBoss,都支持JMS標準,開發(fā)上很方便。但免費的比如Tomcat,Jetty等則需要使用第三方的消息中間件。本部分內(nèi)容介紹常用的消息中間件(Active MQ,Rabbit MQ,Zero MQ,Kafka)以及他們的特點。\x0d\x0a5.1 ActiveMQ\x0d\x0aActiveMQ 是Apache出品,最流行的,能力強勁的開源消息總線。ActiveMQ 是一個完全支持JMS1.1和J2EE 1.4規(guī)范的 JMS Provider實現(xiàn),盡管JMS規(guī)范出臺已經(jīng)是很久的事情了,但是JMS在當今的J2EE應用中間仍然扮演著特殊的地位。\x0d\x0aActiveMQ特性如下:\x0d\x0a⒈ 多種語言和協(xié)議編寫客戶端。語言: Java,C,C++,C#,Ruby,Perl,Python,PHP。應用協(xié)議: OpenWire,Stomp REST,WS Notification,XMPP,AMQP\x0d\x0a⒉ 完全支持JMS1.1和J2EE 1.4規(guī)范 (持久化,XA消息,事務)\x0d\x0a⒊ 對spring的支持,ActiveMQ可以很容易內(nèi)嵌到使用Spring的系統(tǒng)里面去,而且也支持Spring2.0的特性\x0d\x0a⒋ 通過了常見J2EE服務器(如 Geronimo,JBoss 4,GlassFish,WebLogic)的測試,其中通過JCA 1.5 resource adaptors的配置,可以讓ActiveMQ可以自動的部署到任何兼容J2EE 1.4 商業(yè)服務器上\x0d\x0a⒌ 支持多種傳送協(xié)議:in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA\x0d\x0a⒍ 支持通過JDBC和journal提供高速的消息持久化\x0d\x0a⒎ 從設計上保證了高性能的集群,客戶端-服務器,點對點\x0d\x0a⒏ 支持Ajax\x0d\x0a⒐ 支持與Axis的整合\x0d\x0a⒑ 可以很容易得調(diào)用內(nèi)嵌JMS provider,進行測試\x0d\x0a5.2 RabbitMQ\x0d\x0aRabbitMQ是流行的開源消息隊列系統(tǒng),用erlang語言開發(fā)。RabbitMQ是AMQP(高級消息隊列協(xié)議)的標準實現(xiàn)。支持多種客戶端,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持AJAX,持久化。用于在分布式系統(tǒng)中存儲轉(zhuǎn)發(fā)消息,在易用性、擴展性、高可用性等方面表現(xiàn)不俗。\x0d\x0a幾個重要概念:\x0d\x0aBroker:簡單來說就是消息隊列服務器實體。\x0d\x0aExchange:消息交換機,它指定消息按什么規(guī)則,路由到哪個隊列。\x0d\x0aQueue:消息隊列載體,每個消息都會被投入到一個或多個隊列。\x0d\x0aBinding:綁定,它的作用就是把exchange和queue按照路由規(guī)則綁定起來。\x0d\x0aRouting Key:路由關鍵字,exchange根據(jù)這個關鍵字進行消息投遞。\x0d\x0avhost:虛擬主機,一個broker里可以開設多個vhost,用作不同用戶的權(quán)限分離。\x0d\x0aproducer:消息生產(chǎn)者,就是投遞消息的程序。\x0d\x0aconsumer:消息消費者,就是接受消息的程序。\x0d\x0achannel:消息通道,在客戶端的每個連接里,可建立多個channel,每個channel代表一個會話任務。\x0d\x0a消息隊列的使用過程,如下:\x0d\x0a(1)客戶端連接到消息隊列服務器,打開一個channel。\x0d\x0a(2)客戶端聲明一個exchange,并設置相關屬性。\x0d\x0a(3)客戶端聲明一個queue,并設置相關屬性。\x0d\x0a(4)客戶端使用routing key,在exchange和queue之間建立好綁定關系。\x0d\x0a(5)客戶端投遞消息到exchange。\x0d\x0aexchange接收到消息后,就根據(jù)消息的key和已經(jīng)設置的binding,進行消息路由,將消息投遞到一個或多個隊列里。\x0d\x0a5.3 ZeroMQ\x0d\x0a號稱史上最快的消息隊列,它實際類似于Socket的一系列接口,他跟Socket的區(qū)別是:普通的socket是端到端的(1:1的關系),而ZMQ卻是可以N:M 的關系,人們對BSD套接字的了解較多的是點對點的連接,點對點連接需要顯式地建立連接、銷毀連接、選擇協(xié)議(TCP/UDP)和處理錯誤等,而ZMQ屏蔽了這些細節(jié),讓你的網(wǎng)絡編程更為簡單。ZMQ用于node與node間的通信,node可以是主機或者是進程。\x0d\x0a引用官方的說法: “ZMQ(以下ZeroMQ簡稱ZMQ)是一個簡單好用的傳輸層,像框架一樣的一個socket library,他使得Socket編程更加簡單、簡潔和性能更高。是一個消息處理隊列庫,可在多個線程、內(nèi)核和主機盒之間彈性伸縮。ZMQ的明確目標是“成為標準網(wǎng)絡協(xié)議棧的一部分,之后進入Linux內(nèi)核”?,F(xiàn)在還未看到它們的成功。但是,它無疑是極具前景的、并且是人們更加需要的“傳統(tǒng)”BSD套接字之上的一 層封裝。ZMQ讓編寫高性能網(wǎng)絡應用程序極為簡單和有趣?!盶x0d\x0a特點是:\x0d\x0a高性能,非持久化;\x0d\x0a跨平臺:支持Linux、Windows、OS X等。\x0d\x0a多語言支持; C、C++、Java、.NET、Python等30多種開發(fā)語言。\x0d\x0a可單獨部署或集成到應用中使用;\x0d\x0a可作為Socket通信庫使用。\x0d\x0a與RabbitMQ相比,ZMQ并不像是一個傳統(tǒng)意義上的消息隊列服務器,事實上,它也根本不是一個服務器,更像一個底層的網(wǎng)絡通訊庫,在Socket API之上做了一層封裝,將網(wǎng)絡通訊、進程通訊和線程通訊抽象為統(tǒng)一的API接口。支持“Request-Reply “,”Publisher-Subscriber“,”Parallel Pipeline”三種基本模型和擴展模型。\x0d\x0aZeroMQ高性能設計要點:\x0d\x0a1、無鎖的隊列模型\x0d\x0a對于跨線程間的交互(用戶端和session)之間的數(shù)據(jù)交換通道pipe,采用無鎖的隊列算法CAS;在pipe兩端注冊有異步事件,在讀或者寫消息到pipe的時,會自動觸發(fā)讀寫事件。\x0d\x0a2、批量處理的算法\x0d\x0a對于傳統(tǒng)的消息處理,每個消息在發(fā)送和接收的時候,都需要系統(tǒng)的調(diào)用,這樣對于大量的消息,系統(tǒng)的開銷比較大,zeroMQ對于批量的消息,進行了適應性的優(yōu)化,可以批量的接收和發(fā)送消息。\x0d\x0a3、多核下的線程綁定,無須CPU切換\x0d\x0a區(qū)別于傳統(tǒng)的多線程并發(fā)模式,信號量或者臨界區(qū), zeroMQ充分利用多核的優(yōu)勢,每個核綁定運行一個工作者線程,避免多線程之間的CPU切換開銷。\x0d\x0a5.4 Kafka\x0d\x0aKafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。 這種動作(網(wǎng)頁瀏覽,搜索和其他用戶的行動)是在現(xiàn)代網(wǎng)絡上的許多社會功能的一個關鍵因素。 這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 對于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng),但又要求實時處理的限制,這是一個可行的解決方案。Kafka的目的是通過Hadoop的并行加載機制來統(tǒng)一線上和離線的消息處理,也是為了通過集群機來提供實時的消費。\x0d\x0aKafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),有如下特性:\x0d\x0a通過O(1)的磁盤數(shù)據(jù)結(jié)構(gòu)提供消息的持久化,這種結(jié)構(gòu)對于即使數(shù)以TB的消息存儲也能夠保持長時間的穩(wěn)定性能。(文件追加的方式寫入數(shù)據(jù),過期的數(shù)據(jù)定期刪除)\x0d\x0a高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒數(shù)百萬的消息。\x0d\x0a支持通過Kafka服務器和消費機集群來分區(qū)消息。\x0d\x0a支持Hadoop并行數(shù)據(jù)加載。\x0d\x0aKafka相關概念\x0d\x0aBroker\x0d\x0aKafka集群包含一個或多個服務器,這種服務器被稱為broker[5]\x0d\x0aTopic\x0d\x0a每條發(fā)布到Kafka集群的消息都有一個類別,這個類別被稱為Topic。(物理上不同Topic的消息分開存儲,邏輯上一個Topic的消息雖然保存于一個或多個broker上但用戶只需指定消息的Topic即可生產(chǎn)或消費數(shù)據(jù)而不必關心數(shù)據(jù)存于何處)\x0d\x0aPartition\x0d\x0aParition是物理上的概念,每個Topic包含一個或多個Partition.\x0d\x0aProducer\x0d\x0a負責發(fā)布消息到Kafka broker\x0d\x0aConsumer\x0d\x0a消息消費者,向Kafka broker讀取消息的客戶端。\x0d\x0aConsumer Group\x0d\x0a每個Consumer屬于一個特定的Consumer Group(可為每個Consumer指定group name,若不指定group name則屬于默認的group)。\x0d\x0a一般應用在大數(shù)據(jù)日志處理或?qū)崟r性(少量延遲),可靠性(少量丟數(shù)據(jù))要求稍低的場景使用。