緩存：這應(yīng)該是 Redis 最主要的功能了，也是大型網(wǎng)站必備機(jī)制，合理地使用緩存不僅可以加 快數(shù)據(jù)的訪問(wèn)速度，而且能夠有效地降低后端數(shù)據(jù)源的壓力。
創(chuàng)新互聯(lián)技術(shù)團(tuán)隊(duì)十余年來(lái)致力于為客戶提供網(wǎng)站建設(shè)、成都網(wǎng)站制作、成都品牌網(wǎng)站建設(shè)、營(yíng)銷型網(wǎng)站建設(shè)、搜索引擎SEO優(yōu)化等服務(wù)。經(jīng)過(guò)多年發(fā)展，公司擁有經(jīng)驗(yàn)豐富的技術(shù)團(tuán)隊(duì)，先后服務(wù)、推廣了成百上千家網(wǎng)站，包括各類中小企業(yè)、企事單位、高校等機(jī)構(gòu)單位。
共享Session：對(duì)于一些依賴 session 功能的服務(wù)來(lái)說(shuō)，如果需要從單機(jī)變成集群的話，可以選擇 redis 來(lái)統(tǒng)一管理 session。消息隊(duì)列系統(tǒng)：消息隊(duì)列系統(tǒng)可以說(shuō)是一個(gè)大型網(wǎng)站的必備基礎(chǔ)組件，因?yàn)槠渚哂袠I(yè)務(wù) 解耦、非實(shí)時(shí)業(yè)務(wù)削峰等特性。Redis提供了發(fā)布訂閱功能和阻塞隊(duì)列的功 能，雖然和專業(yè)的消息隊(duì)列比還不夠足夠強(qiáng)大，但是對(duì)于一般的消息隊(duì)列功能基本可以滿足。比如在分布式爬蟲(chóng)系統(tǒng)中，使用 redis 來(lái)統(tǒng)一管理 url隊(duì)列。
分布式鎖：在分布式服務(wù)中?？梢岳肦edis的setnx功能來(lái)編寫分布式的鎖，雖然這個(gè)可能不是太常用。 當(dāng)然還有諸如排行榜、點(diǎn)贊功能都可以使用 Redis 來(lái)實(shí)現(xiàn)，但是 Redis 也不是什么都可以做，比如數(shù)據(jù)量特別大時(shí)，不適合 Redis，我們知道 Redis 是基于內(nèi)存的，雖然內(nèi)存很便宜，但是如果你每天的數(shù)據(jù)量特別大，比如幾億條的用戶行為日志數(shù)據(jù)，用 Redis 來(lái)存儲(chǔ)的話，成本相當(dāng)?shù)母摺?/p>
可以通過(guò)Redis解決并發(fā)問(wèn)題
解決方式一：將Redis連接池化
首先，Redis也歸屬于數(shù)據(jù)庫(kù)范湊，即便它是NoSQL類型，依然為C/S結(jié)構(gòu)模式?？蛻舳嗣看握?qǐng)求都需要建立數(shù)據(jù)庫(kù)連接，在多客戶端請(qǐng)求模式下服務(wù)端與客戶端連接頻繁將導(dǎo)致系列阻塞、超時(shí)等等系列問(wèn)題。學(xué)過(guò)關(guān)系型數(shù)據(jù)庫(kù)的朋友也知道，關(guān)系型數(shù)據(jù)庫(kù)解決方式是采用連接池方式解決多請(qǐng)求連接問(wèn)題。同樣，Redis數(shù)據(jù)庫(kù)也同理，建立友好的連接數(shù)量讓客戶端與服務(wù)端保持一定數(shù)額的連接量，當(dāng)客戶端需要連接時(shí)，能直接從連接池中獲取連接，然后直接訪問(wèn)Redis服務(wù)端。
解決方式二：執(zhí)行關(guān)鍵讀寫時(shí)添加內(nèi)部鎖
軟件開(kāi)發(fā)工程師可以在關(guān)鍵讀寫業(yè)務(wù)地方添加內(nèi)部鎖方式解決Redis高并發(fā)問(wèn)題。常用并發(fā)鎖的地方有：
set方式；
setnx方式；
setnx getset方式；
具體的執(zhí)行方式需要結(jié)合自身項(xiàng)目業(yè)務(wù)來(lái)實(shí)現(xiàn)Redis并發(fā)加鎖、解鎖代碼，但這里提醒大家，需要對(duì)線程內(nèi)容有一定熟悉了解才將該方式寫的代碼投入到生產(chǎn)環(huán)境去 ，因?yàn)殒i的不合理使用會(huì)導(dǎo)致更大問(wèn)題出現(xiàn)，比如死鎖問(wèn)題。（后期有時(shí)間筆者會(huì)針對(duì)性的寫一遍該部分博客文章）
當(dāng)然還有更多Redis并發(fā)問(wèn)題解決方案，比如Lua腳本等等，這里就不一一列舉了，軟件工程師需要切合自身項(xiàng)目業(yè)務(wù)選擇合理的方式。好了，九點(diǎn)鐘了，就不繼續(xù)吹牛了，祝大家工作愉快！（筆者已將本文整理PDF文檔，需要的可私信“Redis高并發(fā)問(wèn)題解決方案”，筆者第一時(shí)間私發(fā)）
unreadQueue中的消息是否也可以定時(shí)存入庫(kù)，不可能一直放在內(nèi)存吧，放內(nèi)存的目的是為了減少數(shù)據(jù)庫(kù)交互次數(shù)
在tomcat關(guān)閉前也應(yīng)該把兩個(gè)隊(duì)列中沒(méi)有存入數(shù)據(jù)庫(kù)的存入吧（和數(shù)據(jù)庫(kù)定時(shí)同步）
如果可以那么在查看記錄，肯定得即要查庫(kù)，又要查Queue了
如果用了緩存，那么看看消息量大小制定合適的時(shí)間點(diǎn)同步，SQL插入好像不好怎么優(yōu)化，至少你得用預(yù)編譯的Statement吧，用存儲(chǔ)過(guò)程當(dāng)然會(huì)比較快，如果你不聯(lián)合查詢和多表插入的話可能差不多。
一、消息中間件相關(guān)知識(shí)
1、概述
消息隊(duì)列已經(jīng)逐漸成為企業(yè)IT系統(tǒng)內(nèi)部通信的核心手段。它具有低耦合、可靠投遞、廣播、流量控制、最終一致性等一系列功能，成為異步RPC的主要手段之一。當(dāng)今市面上有很多主流的消息中間件，如老牌的ActiveMQ、RabbitMQ，炙手可熱的Kafka，阿里巴巴自主開(kāi)發(fā)RocketMQ等。
2、消息中間件的組成
2.1 Broker
消息服務(wù)器，作為server提供消息核心服務(wù)
2.2 Producer
消息生產(chǎn)者，業(yè)務(wù)的發(fā)起方，負(fù)責(zé)生產(chǎn)消息傳輸給broker，
2.3 Consumer
消息消費(fèi)者，業(yè)務(wù)的處理方，負(fù)責(zé)從broker獲取消息并進(jìn)行業(yè)務(wù)邏輯處理
2.4 Topic
2.5 Queue
2.6 Message
消息體，根據(jù)不同通信協(xié)議定義的固定格式進(jìn)行編碼的數(shù)據(jù)包，來(lái)封裝業(yè)務(wù)數(shù)據(jù)，實(shí)現(xiàn)消息的傳輸
3 消息中間件模式分類
3.1 點(diǎn)對(duì)點(diǎn)
PTP點(diǎn)對(duì)點(diǎn):使用queue作為通信載體
說(shuō)明：
消息生產(chǎn)者生產(chǎn)消息發(fā)送到queue中，然后消息消費(fèi)者從queue中取出并且消費(fèi)消息。
消息被消費(fèi)以后，queue中不再存儲(chǔ)，所以消息消費(fèi)者不可能消費(fèi)到已經(jīng)被消費(fèi)的消息。 Queue支持存在多個(gè)消費(fèi)者，但是對(duì)一個(gè)消息而言，只會(huì)有一個(gè)消費(fèi)者可以消費(fèi)。
說(shuō)明：
queue實(shí)現(xiàn)了負(fù)載均衡，將producer生產(chǎn)的消息發(fā)送到消息隊(duì)列中，由多個(gè)消費(fèi)者消費(fèi)。但一個(gè)消息只能被一個(gè)消費(fèi)者接受，當(dāng)沒(méi)有消費(fèi)者可用時(shí)，這個(gè)消息會(huì)被保存直到有一個(gè)可用的消費(fèi)者。
4 消息中間件的優(yōu)勢(shì)
4.1 系統(tǒng)解耦
交互系統(tǒng)之間沒(méi)有直接的調(diào)用關(guān)系，只是通過(guò)消息傳輸，故系統(tǒng)侵入性不強(qiáng)，耦合度低。
4.2 提高系統(tǒng)響應(yīng)時(shí)間
例如原來(lái)的一套邏輯，完成支付可能涉及先修改訂單狀態(tài)、計(jì)算會(huì)員積分、通知物流配送幾個(gè)邏輯才能完成；通過(guò)MQ架構(gòu)設(shè)計(jì)，就可將緊急重要（需要立刻響應(yīng)）的業(yè)務(wù)放到該調(diào)用方法中，響應(yīng)要求不高的使用消息隊(duì)列，放到MQ隊(duì)列中，供消費(fèi)者處理。
4.3 為大數(shù)據(jù)處理架構(gòu)提供服務(wù)
通過(guò)消息作為整合，大數(shù)據(jù)的背景下，消息隊(duì)列還與實(shí)時(shí)處理架構(gòu)整合，為數(shù)據(jù)處理提供性能支持。
4.4 Java消息服務(wù)——JMS
Java消息服務(wù)（Java Message Service，JMS）應(yīng)用程序接口是一個(gè)Java平臺(tái)中關(guān)于面向消息中間件（MOM）的API，用于在兩個(gè)應(yīng)用程序之間，或分布式系統(tǒng)中發(fā)送消息，進(jìn)行異步通信。
5 消息中間件應(yīng)用場(chǎng)景
5.1 異步通信
有些業(yè)務(wù)不想也不需要立即處理消息。消息隊(duì)列提供了異步處理機(jī)制，允許用戶把一個(gè)消息放入隊(duì)列，但并不立即處理它。想向隊(duì)列中放入多少消息就放多少，然后在需要的時(shí)候再去處理它們。
5.2 解耦
降低工程間的強(qiáng)依賴程度，針對(duì)異構(gòu)系統(tǒng)進(jìn)行適配。在項(xiàng)目啟動(dòng)之初來(lái)預(yù)測(cè)將來(lái)項(xiàng)目會(huì)碰到什么需求，是極其困難的。通過(guò)消息系統(tǒng)在處理過(guò)程中間插入了一個(gè)隱含的、基于數(shù)據(jù)的接口層，兩邊的處理過(guò)程都要實(shí)現(xiàn)這一接口，當(dāng)應(yīng)用發(fā)生變化時(shí)，可以獨(dú)立的擴(kuò)展或修改兩邊的處理過(guò)程，只要確保它們遵守同樣的接口約束。
5.3 冗余
有些情況下，處理數(shù)據(jù)的過(guò)程會(huì)失敗。除非數(shù)據(jù)被持久化，否則將造成丟失。消息隊(duì)列把數(shù)據(jù)進(jìn)行持久化直到它們已經(jīng)被完全處理，通過(guò)這一方式規(guī)避了數(shù)據(jù)丟失風(fēng)險(xiǎn)。許多消息隊(duì)列所采用的”插入-獲取-刪除”范式中，在把一個(gè)消息從隊(duì)列中刪除之前，需要你的處理系統(tǒng)明確的指出該消息已經(jīng)被處理完畢，從而確保你的數(shù)據(jù)被安全的保存直到你使用完畢。
5.4 擴(kuò)展性
因?yàn)橄㈥?duì)列解耦了你的處理過(guò)程，所以增大消息入隊(duì)和處理的頻率是很容易的，只要另外增加處理過(guò)程即可。不需要改變代碼、不需要調(diào)節(jié)參數(shù)。便于分布式擴(kuò)容。
5.5 過(guò)載保護(hù)
在訪問(wèn)量劇增的情況下，應(yīng)用仍然需要繼續(xù)發(fā)揮作用，但是這樣的突發(fā)流量無(wú)法提取預(yù)知；如果以為了能處理這類瞬間峰值訪問(wèn)為標(biāo)準(zhǔn)來(lái)投入資源隨時(shí)待命無(wú)疑是巨大的浪費(fèi)。使用消息隊(duì)列能夠使關(guān)鍵組件頂住突發(fā)的訪問(wèn)壓力，而不會(huì)因?yàn)橥话l(fā)的超負(fù)荷的請(qǐng)求而完全崩潰。
5.6 可恢復(fù)性
系統(tǒng)的一部分組件失效時(shí)，不會(huì)影響到整個(gè)系統(tǒng)。消息隊(duì)列降低了進(jìn)程間的耦合度，所以即使一個(gè)處理消息的進(jìn)程掛掉，加入隊(duì)列中的消息仍然可以在系統(tǒng)恢復(fù)后被處理。
5.7 順序保證
在大多使用場(chǎng)景下，數(shù)據(jù)處理的順序都很重要。大部分消息隊(duì)列本來(lái)就是排序的，并且能保證數(shù)據(jù)會(huì)按照特定的順序來(lái)處理。
5.8 緩沖
在任何重要的系統(tǒng)中，都會(huì)有需要不同的處理時(shí)間的元素。消息隊(duì)列通過(guò)一個(gè)緩沖層來(lái)幫助任務(wù)最高效率的執(zhí)行，該緩沖有助于控制和優(yōu)化數(shù)據(jù)流經(jīng)過(guò)系統(tǒng)的速度。以調(diào)節(jié)系統(tǒng)響應(yīng)時(shí)間。
5.9 數(shù)據(jù)流處理
分布式系統(tǒng)產(chǎn)生的海量數(shù)據(jù)流，如：業(yè)務(wù)日志、監(jiān)控?cái)?shù)據(jù)、用戶行為等，針對(duì)這些數(shù)據(jù)流進(jìn)行實(shí)時(shí)或批量采集匯總，然后進(jìn)行大數(shù)據(jù)分析是當(dāng)前互聯(lián)網(wǎng)的必備技術(shù)，通過(guò)消息隊(duì)列完成此類數(shù)據(jù)收集是最好的選擇。
6 消息中間件常用協(xié)議
6.1 AMQP協(xié)議
AMQP即Advanced Message Queuing Protocol,一個(gè)提供統(tǒng)一消息服務(wù)的應(yīng)用層標(biāo)準(zhǔn)高級(jí)消息隊(duì)列協(xié)議,是應(yīng)用層協(xié)議的一個(gè)開(kāi)放標(biāo)準(zhǔn),為面向消息的中間件設(shè)計(jì)?；诖藚f(xié)議的客戶端與消息中間件可傳遞消息，并不受客戶端/中間件不同產(chǎn)品，不同開(kāi)發(fā)語(yǔ)言等條件的限制。
優(yōu)點(diǎn)：可靠、通用
6.2 MQTT協(xié)議
MQTT（Message Queuing Telemetry Transport，消息隊(duì)列遙測(cè)傳輸）是IBM開(kāi)發(fā)的一個(gè)即時(shí)通訊協(xié)議，有可能成為物聯(lián)網(wǎng)的重要組成部分。該協(xié)議支持所有平臺(tái)，幾乎可以把所有聯(lián)網(wǎng)物品和外部連接起來(lái)，被用來(lái)當(dāng)做傳感器和致動(dòng)器（比如通過(guò)Twitter讓房屋聯(lián)網(wǎng)）的通信協(xié)議。
優(yōu)點(diǎn)：格式簡(jiǎn)潔、占用帶寬小、移動(dòng)端通信、PUSH、嵌入式系統(tǒng)
6.3 STOMP協(xié)議
STOMP（Streaming Text Orientated Message Protocol）是流文本定向消息協(xié)議，是一種為MOM(Message Oriented Middleware，面向消息的中間件)設(shè)計(jì)的簡(jiǎn)單文本協(xié)議。STOMP提供一個(gè)可互操作的連接格式，允許客戶端與任意STOMP消息代理（Broker）進(jìn)行交互。
優(yōu)點(diǎn)：命令模式（非topic\queue模式）
6.4 XMPP協(xié)議
XMPP（可擴(kuò)展消息處理現(xiàn)場(chǎng)協(xié)議，Extensible Messaging and Presence Protocol）是基于可擴(kuò)展標(biāo)記語(yǔ)言（XML）的協(xié)議，多用于即時(shí)消息（IM）以及在線現(xiàn)場(chǎng)探測(cè)。適用于服務(wù)器之間的準(zhǔn)即時(shí)操作。核心是基于XML流傳輸，這個(gè)協(xié)議可能最終允許因特網(wǎng)用戶向因特網(wǎng)上的其他任何人發(fā)送即時(shí)消息，即使其操作系統(tǒng)和瀏覽器不同。
優(yōu)點(diǎn)：通用公開(kāi)、兼容性強(qiáng)、可擴(kuò)展、安全性高，但XML編碼格式占用帶寬大
6.5 其他基于TCP/IP自定義的協(xié)議
有些特殊框架（如：redis、kafka、zeroMq等）根據(jù)自身需要未嚴(yán)格遵循MQ規(guī)范，而是基于TCP\IP自行封裝了一套協(xié)議，通過(guò)網(wǎng)絡(luò)socket接口進(jìn)行傳輸，實(shí)現(xiàn)了MQ的功能。
7 常見(jiàn)消息中間件MQ介紹
7.1 RocketMQ
阿里系下開(kāi)源的一款分布式、隊(duì)列模型的消息中間件，原名Metaq，3.0版本名稱改為RocketMQ，是阿里參照kafka設(shè)計(jì)思想使用java實(shí)現(xiàn)的一套mq。同時(shí)將阿里系內(nèi)部多款mq產(chǎn)品（Notify、metaq）進(jìn)行整合，只維護(hù)核心功能，去除了所有其他運(yùn)行時(shí)依賴，保證核心功能最簡(jiǎn)化，在此基礎(chǔ)上配合阿里上述其他開(kāi)源產(chǎn)品實(shí)現(xiàn)不同場(chǎng)景下mq的架構(gòu)，目前主要多用于訂單交易系統(tǒng)。
具有以下特點(diǎn)：
官方提供了一些不同于kafka的對(duì)比差異：
7.2 RabbitMQ
使用Erlang編寫的一個(gè)開(kāi)源的消息隊(duì)列，本身支持很多的協(xié)議：AMQP，XMPP, SMTP,STOMP，也正是如此，使的它變的非常重量級(jí)，更適合于企業(yè)級(jí)的開(kāi)發(fā)。同時(shí)實(shí)現(xiàn)了Broker架構(gòu)，核心思想是生產(chǎn)者不會(huì)將消息直接發(fā)送給隊(duì)列，消息在發(fā)送給客戶端時(shí)先在中心隊(duì)列排隊(duì)。對(duì)路由(Routing)，負(fù)載均衡(Load balance)、數(shù)據(jù)持久化都有很好的支持。多用于進(jìn)行企業(yè)級(jí)的ESB整合。
7.3 ActiveMQ
Apache下的一個(gè)子項(xiàng)目。使用Java完全支持JMS1.1和J2EE 1.4規(guī)范的 JMS Provider實(shí)現(xiàn)，少量代碼就可以高效地實(shí)現(xiàn)高級(jí)應(yīng)用場(chǎng)景。可插拔的傳輸協(xié)議支持，比如：in-VM, TCP, SSL, NIO, UDP, multicast, JGroups and JXTA transports。RabbitMQ、ZeroMQ、ActiveMQ均支持常用的多種語(yǔ)言客戶端 C++、Java、.Net,、Python、 Php、 Ruby等。
7.4 Redis
使用C語(yǔ)言開(kāi)發(fā)的一個(gè)Key-Value的NoSQL數(shù)據(jù)庫(kù)，開(kāi)發(fā)維護(hù)很活躍，雖然它是一個(gè)Key-Value數(shù)據(jù)庫(kù)存儲(chǔ)系統(tǒng)，但它本身支持MQ功能，所以完全可以當(dāng)做一個(gè)輕量級(jí)的隊(duì)列服務(wù)來(lái)使用。對(duì)于RabbitMQ和Redis的入隊(duì)和出隊(duì)操作，各執(zhí)行100萬(wàn)次，每10萬(wàn)次記錄一次執(zhí)行時(shí)間。測(cè)試數(shù)據(jù)分為128Bytes、512Bytes、1K和10K四個(gè)不同大小的數(shù)據(jù)。實(shí)驗(yàn)表明：入隊(duì)時(shí)，當(dāng)數(shù)據(jù)比較小時(shí)Redis的性能要高于RabbitMQ，而如果數(shù)據(jù)大小超過(guò)了10K，Redis則慢的無(wú)法忍受；出隊(duì)時(shí)，無(wú)論數(shù)據(jù)大小，Redis都表現(xiàn)出非常好的性能，而RabbitMQ的出隊(duì)性能則遠(yuǎn)低于Redis。
7.5 Kafka
Apache下的一個(gè)子項(xiàng)目，使用scala實(shí)現(xiàn)的一個(gè)高性能分布式Publish/Subscribe消息隊(duì)列系統(tǒng)，具有以下特性：
7.6 ZeroMQ
號(hào)稱最快的消息隊(duì)列系統(tǒng)，專門為高吞吐量/低延遲的場(chǎng)景開(kāi)發(fā)，在金融界的應(yīng)用中經(jīng)常使用，偏重于實(shí)時(shí)數(shù)據(jù)通信場(chǎng)景。ZMQ能夠?qū)崿F(xiàn)RabbitMQ不擅長(zhǎng)的高級(jí)/復(fù)雜的隊(duì)列，但是開(kāi)發(fā)人員需要自己組合多種技術(shù)框架，開(kāi)發(fā)成本高。因此ZeroMQ具有一個(gè)獨(dú)特的非中間件的模式，更像一個(gè)socket library，你不需要安裝和運(yùn)行一個(gè)消息服務(wù)器或中間件，因?yàn)槟愕膽?yīng)用程序本身就是使用ZeroMQ API完成邏輯服務(wù)的角色。但是ZeroMQ僅提供非持久性的隊(duì)列，如果down機(jī)，數(shù)據(jù)將會(huì)丟失。如：Twitter的Storm中使用ZeroMQ作為數(shù)據(jù)流的傳輸。
ZeroMQ套接字是與傳輸層無(wú)關(guān)的：ZeroMQ套接字對(duì)所有傳輸層協(xié)議定義了統(tǒng)一的API接口。默認(rèn)支持 進(jìn)程內(nèi)(inproc) ，進(jìn)程間(IPC) ，多播，TCP協(xié)議，在不同的協(xié)議之間切換只要簡(jiǎn)單的改變連接字符串的前綴?？梢栽谌魏螘r(shí)候以最小的代價(jià)從進(jìn)程間的本地通信切換到分布式下的TCP通信。ZeroMQ在背后處理連接建立，斷開(kāi)和重連邏輯。
特性：
二、主要消息中間件的比較
下面是以道教育大數(shù)據(jù)培訓(xùn)開(kāi)發(fā)課程，可以參考
第一階段 WEB 開(kāi)發(fā)基礎(chǔ)
HTML基礎(chǔ)
1、Html基本介紹
2、HTML語(yǔ)法規(guī)范
3、基本標(biāo)簽介紹
4、HTML編輯器/文本文檔/WebStrom/elipse
5、HTML元素和屬性
6、基本的HTML元素
6.1 標(biāo)題
6.2 段落
6.3 樣式和style屬性
6.3 鏈接 a
6.4 圖像 img
6.5 表格 table
6.6 列表 ul/ol/dl
7、 HTML注釋
8、表單介紹
9、Table標(biāo)簽
10、DIV布局介紹
11、HTML列表詳解
HTML布局和Bootstrap
1、 HTML塊元素（block）和行內(nèi)元素(inline)
2、使用div實(shí)現(xiàn)網(wǎng)頁(yè)布局
3、響應(yīng)式WEB設(shè)計(jì)（Responsive Web Design）
4、使用bootstrap實(shí)現(xiàn)響應(yīng)式布局
HTML表單元素
1、HTML表單 form
2、HTML表單元素
3、 HTML input的類型 type
4、 Html input的屬性
CSS基礎(chǔ)
1、CSS簡(jiǎn)介及基本語(yǔ)法
2、在HTML文檔中使用CSS
3、CSS樣式
4、CSS選擇器
5、盒子模型
6、布局及定位
CSS高級(jí)/CSS3
1、尺寸和對(duì)齊
2、分類（clear/cursor/display/float/position/visibility）
3、導(dǎo)航欄
4、圖片庫(kù)
5、圖片透明
6、媒介類型 @media
7、CSS3
8、CSS3動(dòng)畫效果
JavaScript基礎(chǔ)
1、JavaScript簡(jiǎn)介
2、基本語(yǔ)法規(guī)則
3、在HTML文檔中使用JS
4、JS變量
5、JS數(shù)據(jù)類型
6、JS函數(shù)
7、JS運(yùn)算符
8、流程控制
9、JS錯(cuò)誤和調(diào)試
JavaScript對(duì)象和作用域
1、數(shù)字 Number
2、字符串String
3、日期 Date
4、數(shù)組
5、數(shù)學(xué) Math
6、DOM對(duì)象和事件
7、BOM對(duì)象
8、Window對(duì)象
9、作用域和作用域鏈
10、JSON
Javascript庫(kù)
1、Jquery
2、Prototype
3、Ext Js
Jquery
1、Jquery基本語(yǔ)法
2、Jquery選擇器
3、Jquery事件
4、Jquery選擇器
5、Jquery效果和動(dòng)畫
6、使用Jquery操作HTML和DOM
7、Jquery遍歷
8、Jquery封裝函數(shù)
9、Jquery案例
表單驗(yàn)證和Jquery Validate
1、用Js對(duì)HTML表單進(jìn)行驗(yàn)證
2、Jquery Validata基本用法
3、默認(rèn)校驗(yàn)規(guī)則和提示信息
4、debug和ignore
5、更改錯(cuò)誤信息顯示位置和樣式
6、全部校驗(yàn)通過(guò)后的執(zhí)行函數(shù)
7、修改驗(yàn)證觸發(fā)方式
8、異步驗(yàn)證
9、自定義校驗(yàn)方法
10、radio 和 checkbox、select 的驗(yàn)證
Java基礎(chǔ)
1、關(guān)于Java
2、Java運(yùn)行機(jī)制
3、第一個(gè)Java程序，注釋
4、Javac,Java,Javadoc等命令
5、標(biāo)識(shí)符與關(guān)鍵字
6、變量的聲明，初始化與應(yīng)用
7、變量的作用域
8、變量重名
9、基本數(shù)據(jù)類型
10、類型轉(zhuǎn)換與類型提升
11、各種數(shù)據(jù)類型使用細(xì)節(jié)
12、轉(zhuǎn)義序列
13、各種運(yùn)算符的使用
流程控制
1、選擇控制語(yǔ)句if-else
2、選擇控制語(yǔ)句switch-case
3、循環(huán)控制語(yǔ)句while
4、循環(huán)控制語(yǔ)句do-while
5、循環(huán)控制語(yǔ)句for與增強(qiáng)型for
6、break，continue，return
7、循環(huán)標(biāo)簽
8、數(shù)組的聲明與初始化
9、數(shù)組內(nèi)存空間分配
10、棧與堆內(nèi)存
11、二維（多維）數(shù)組
12、Arrays類的相關(guān)方法
13、main方法命令行參數(shù)
面向?qū)ο?/p>
1、面向?qū)ο蟮幕舅枷?/p>
2、類與對(duì)象
3、成員變量與默認(rèn)值
4、方法的聲明，調(diào)用
5、參數(shù)傳遞和內(nèi)存圖
6、方法重載的概念
7、調(diào)用原則與重載的優(yōu)勢(shì)
8、構(gòu)造器聲明與默認(rèn)構(gòu)造器
9、構(gòu)造器重載
10、this關(guān)鍵字的使用
11、this調(diào)用構(gòu)造器原則
12、實(shí)例變量初始化方式
13、可變參數(shù)方法
訪問(wèn)權(quán)限控制
1、包 package和庫(kù)
2、訪問(wèn)權(quán)限修飾符private/protected/public/包訪問(wèn)權(quán)限
3、類的訪問(wèn)權(quán)限
4、抽象類和抽象方法
5、接口和實(shí)現(xiàn)
6、解耦
7、Java的多重繼承
8、通過(guò)繼承來(lái)擴(kuò)展接口
錯(cuò)誤和異常處理
1、概念：錯(cuò)誤和異常
2、基本異常
3、捕獲異常 catch
4、創(chuàng)建自定義異常
5、捕獲所有異常
6、Java標(biāo)準(zhǔn)異常
7、使用finally進(jìn)行清理
8、異常的限制
9、構(gòu)造器
10、異常匹配
11、異常使用指南
數(shù)據(jù)庫(kù)基礎(chǔ)（MySQL）
數(shù)據(jù)庫(kù)基礎(chǔ)（MySQL）
JDBC
1、Jdbc基本概念
2、使用Jdbc連接數(shù)據(jù)庫(kù)
3、使用Jdbc進(jìn)行crud操作
4、使用Jdbc進(jìn)行多表操作
5、Jdbc驅(qū)動(dòng)類型
6、Jdbc異常和批量處理
7、Jdbc儲(chǔ)存過(guò)程
Servlet和JSP
1、Servlet簡(jiǎn)介
2、Request對(duì)象
3、Response對(duì)象
4、轉(zhuǎn)發(fā)和重定向
5、使用Servlet完成Crud
6、Session和Coolie簡(jiǎn)介
7、ServletContext和Jsp
8、El和Jstl的使用
Ajax
1、什么是Ajax
2、XMLHttpRequest對(duì)象（XHR）
3、XHR請(qǐng)求
4、XHR響應(yīng)
5、readystate/onreadystatechange
6、Jquery Ajax
7、JSON
8、案例：對(duì)用戶名是否可用進(jìn)行服務(wù)器端校驗(yàn)
綜合案例
1、項(xiàng)目開(kāi)發(fā)一般流程介紹
2、模塊化和分層
3、DButils
4、QueryRunner
5、ResultSetHandle
6、案例：用戶登錄/注冊(cè)，從前端到后端
第二階段 Java SE
訪問(wèn)權(quán)限和繼承
1、包的聲明與使用
2、import與import static
3、訪問(wèn)權(quán)限修飾符
4、類的封裝性
5、static（靜態(tài)成員變量）
6、final（修飾變量，方法）
7、靜態(tài)成員變量初始化方式
8、類的繼承與成員繼承
9、super的使用
10、調(diào)用父類構(gòu)造器
11、方法的重寫與變量隱藏
12、繼承實(shí)現(xiàn)多態(tài)和類型轉(zhuǎn)換
13、instanceof
抽象類與接口
1、抽象類
2、抽象方法
3、繼承抽象類
4、抽象類與多態(tài)
5、接口的成員
6、靜態(tài)方法與默認(rèn)方法
7、靜態(tài)成員類
8、實(shí)例成員類
9、局部類
10、匿名類
11、eclipse的使用與調(diào)試
12、內(nèi)部類對(duì)外圍類的訪問(wèn)關(guān)系
13、內(nèi)部類的命名
Lambda表達(dá)式與常用類
1、函數(shù)式接口
2、Lambda表達(dá)式概念
3、Lambda表達(dá)式應(yīng)用場(chǎng)合
4、使用案例
5、方法引用
6、枚舉類型（編譯器的處理）
7、包裝類型（自動(dòng)拆箱與封箱）
8、String方法
9、常量池機(jī)制
10、String講解
11、StringBuilder講解
12、Math，Date使用
13、Calendars使用
異常處理與泛型
1、異常分類
2、try-catch-finally
3、try-with-resources
4、多重捕獲multi-catch
5、throw與throws
6、自定義異常和優(yōu)勢(shì)
7、泛型背景與優(yōu)勢(shì)
8、參數(shù)化類型與原生類型
9、類型推斷
10、參數(shù)化類型與數(shù)組的差異
11、類型通配符
12、自定義泛型類和類型擦出
13、泛型方法重載與重寫
集合
1 、常用數(shù)據(jù)結(jié)構(gòu)
2 、Collection接口
3 、List與Set接口
4 、SortedSet與NavigableSet
5 、相關(guān)接口的實(shí)現(xiàn)類
6 、Comparable與Comparator
7、Queue接口
8 、Deque接口
9 、Map接口
10、NavigableMap
11、相關(guān)接口的實(shí)現(xiàn)類
12、流操作（聚合操作）
13、Collections類的使用
I/O流與反射
1 、File類的使用
2 、字節(jié)流
3 、字符流
4 、緩存流
5 、轉(zhuǎn)換流
6 、數(shù)據(jù)流
7、對(duì)象流
8、類加載，鏈接與初始化
9 、ClassLoader的使用
10、Class類的使用
11、通過(guò)反射調(diào)用構(gòu)造器
12、安全管理器
網(wǎng)絡(luò)編程模型與多線程
1、進(jìn)程與線程
2、創(chuàng)建線程的方式
3、線程的相關(guān)方法
4、線程同步
5、線程死鎖
6、線程協(xié)作操作
7、計(jì)算機(jī)網(wǎng)絡(luò)（IP與端口）
8、TCP協(xié)議與UDP協(xié)議
9、URL的相關(guān)方法
10、訪問(wèn)網(wǎng)絡(luò)資源
11、TCP協(xié)議通訊
12、UDP協(xié)議通訊
13、廣播
SSM-Spring
1.Spring/Spring MVC
2.創(chuàng)建Spring MVC項(xiàng)目
3.Spring MVC執(zhí)行流程和參數(shù)
SSM-Spring.IOC
1.Spring/Spring MVC
2.創(chuàng)建Spring MVC項(xiàng)目
3.Spring MVC執(zhí)行流程和參數(shù)
SSM-Spring.AOP
1.Spring/Spring MVC
2.創(chuàng)建Spring MVC項(xiàng)目
3.Spring MVC執(zhí)行流程和參數(shù)
SSM-Spring.Mybatis
1.MyBatis簡(jiǎn)介
2.MyBatis配置文件
3.用MyBatis完成CRUD
4.ResultMap的使用
5.MyBatis關(guān)聯(lián)查詢
6.動(dòng)態(tài)SQL
7.MyBatis緩沖
8.MyBatis-Generator
Socket編程
1.網(wǎng)絡(luò)通信和協(xié)議
2.關(guān)于Socket
3.Java Socket
4.Socket類型
5.Socket函數(shù)
6.WebSocket
7.WebSocket/Spring MVC/WebSocket Ajax
IO/異步
window對(duì)象
全局作用域
窗口關(guān)系及框架
窗口位置和大小
打開(kāi)窗口
間歇調(diào)用和超時(shí)調(diào)用（靈活運(yùn)用）
系統(tǒng)對(duì)話框
location對(duì)象
navigator對(duì)象
screen對(duì)象
history對(duì)象
NIO/AIO
1.網(wǎng)絡(luò)編程模型
2.BIO/NIO/AIO
3.同步阻塞
4.同步非阻塞
5.異步阻塞
6.異步非阻塞
7.NIO與AIO基本操作
8.高性能IO設(shè)計(jì)模式
第三階段 Java 主流框架
MyBatis
1.mybatis框架原理分析
2.mybatis框架入門程序編寫
3.mybatis和hibernate的本質(zhì)區(qū)別和應(yīng)用場(chǎng)景
4.mybatis開(kāi)發(fā)dao方法
5.SqlMapConfig配置文件講解
6.輸入映射-pojo包裝類型的定義與實(shí)現(xiàn)
7.輸出映射-resultType、resultMap
8.動(dòng)態(tài)sql
9.訂單商品數(shù)據(jù)模型分析
10.高級(jí)映射的使用
11.查詢緩存之一級(jí)緩存、二級(jí)緩存
12.mybatis與spring整合
13. mybatis逆向工程自動(dòng)生成代碼
Spring/Spring MVC
1. springmvc架構(gòu)介紹
2. springmvc入門程序
3. spring與mybatis整合
4. springmvc注解開(kāi)發(fā)—商品修改功能分析
5. springmvc注解開(kāi)發(fā)—RequestMapping注解
6. springmvc注解開(kāi)發(fā)—Controller方法返回值
7. springmvc注解開(kāi)發(fā)—springmvc參數(shù)綁定過(guò)程分析
8. springmvc注解開(kāi)發(fā)—springmvc參數(shù)綁定實(shí)例講解
9. springmvc與struts2的區(qū)別
10. springmvc異常處理
11. springmvc上傳圖片
12. springmvc實(shí)現(xiàn)json交互
13. springmvc對(duì)RESTful支持
14. springmvc攔截器
第四階段 關(guān)系型數(shù)據(jù)庫(kù)/MySQL/NoSQL
SQL基礎(chǔ)
1.SQL及主流產(chǎn)品
2.MySQL的下載與安裝（sinux/windows）
3.MySql的基本配置/配置文件
4.基本的SQL操作 DDL
5.基本的SQL操作 DML
6.基本的SQL操作 DCL
7.MySQL客戶端工具
8.MySQL幫助文檔
MySQL數(shù)據(jù)類型和運(yùn)算符
1 數(shù)值類型
2 日期時(shí)間類型
3 字符串類型
4 CHAR 和 VARCHAR 類型
5 BINARY 和 VARBINARY 類型
6 ENUM 類型
7 SET 類型
8 算術(shù)運(yùn)算符
9 比較運(yùn)算符
10 邏輯運(yùn)算符
11 位運(yùn)算
12 運(yùn)算符的優(yōu)先級(jí)
MySQL函數(shù)
1 字符串函數(shù)
2 數(shù)值函數(shù)
3 日期和時(shí)間函數(shù)
4 流程函數(shù)
5 其他常用函數(shù)
MySQL存儲(chǔ)引擎
1.MySQL支持的存儲(chǔ)引擎及其特性
2.MyISAM
3.InnoDB
4.選擇合適的存儲(chǔ)引擎
選擇合適的數(shù)據(jù)類型
1 CHAR 與 VARCHAR
2 TEXT 與 BLOB
3 浮點(diǎn)數(shù)與定點(diǎn)數(shù)
4 日期類型選擇
字符集
1 字符集概述
2 Unicode字符集
3 漢字及一些常見(jiàn)字符集
4 選擇合適的字符集
5 MySQL 支持的字符集
6 MySQL 字符集的設(shè)置 .
索引的設(shè)計(jì)和使用
1.什么是索引
2.索引的類型
3.索引的數(shù)據(jù)結(jié)構(gòu) BTree B+Tree Hash
4.索引的存儲(chǔ)
5.MySQL索引
6.查看索引的使用情況
7.索引設(shè)計(jì)原則
視圖/存儲(chǔ)過(guò)程/函數(shù)/觸發(fā)器
1. 什么是視圖
2. 視圖操作
3. 什么是存儲(chǔ)過(guò)程
4. 存儲(chǔ)過(guò)程操作
5. 什么是函數(shù)
6. 函數(shù)的相關(guān)操作
7. 觸發(fā)器
事務(wù)控制/鎖
1. 什么是事務(wù)
2. 事務(wù)控制
3. 分布式事務(wù)
4. 鎖/表鎖/行鎖
5. InnoDB 行鎖爭(zhēng)用
6. InnoDB 的行鎖模式及加鎖方法7
7 InnoDB 行鎖實(shí)現(xiàn)方式7
8 間隙鎖（Next-Key 鎖）
9 恢復(fù)和復(fù)制的需要，對(duì) InnoDB 鎖機(jī)制的影響
10 InnoDB 在不同隔離級(jí)別下的一致性讀及鎖的差異
11 表鎖
12 死鎖
SQL Mode和安全問(wèn)題
1. 關(guān)于SQL Mode
2. MySQL中的SQL Mode
3. SQL Mode和遷移
4. SQL 注入
5. 開(kāi)發(fā)過(guò)程中如何避免SQL注入
SQL優(yōu)化
1.通過(guò) show status 命令了解各種 SQL 的執(zhí)行頻率
2. 定位執(zhí)行效率較低的 SQL 語(yǔ)句
3. 通過(guò) EXPLAIN 分析低效 SQL 的執(zhí)行計(jì)劃
4. 確定問(wèn)題并采取相應(yīng)的優(yōu)化措施
5. 索引問(wèn)題
6.定期分析表和檢查表
7.定期優(yōu)化表
8.常用 SQL 的優(yōu)化
MySQL數(shù)據(jù)庫(kù)對(duì)象優(yōu)化
1. 優(yōu)化表的數(shù)據(jù)類型
2 散列化
3 逆規(guī)范化
4 使用中間表提高統(tǒng)計(jì)查詢速度
5. 影響MySQL性能的重要參數(shù)
6. 磁盤I/O對(duì)MySQL性能的影響
7. 使用連接池
8. 減少M(fèi)ySQL連接次數(shù)
9. MySQL負(fù)載均衡
MySQL集群
MySQL管理和維護(hù)
MemCache
Redis
在Java項(xiàng)目中使用MemCache和Redis
第五階段：操作系統(tǒng)/Linux、云架構(gòu)
Linux安裝與配置
1、安裝Linux至硬盤
2、獲取信息和搜索應(yīng)用程序
3、進(jìn)階：修復(fù)受損的Grub
4、關(guān)于超級(jí)用戶root
5、依賴發(fā)行版本的系統(tǒng)管理工具
6、關(guān)于硬件驅(qū)動(dòng)程序
7、進(jìn)階：配置Grub
系統(tǒng)管理與目錄管理
1、Shell基本命令
2、使用命令行補(bǔ)全和通配符
3、find命令、locate命令
4、查找特定程序：whereis
5、Linux文件系統(tǒng)的架構(gòu)
6、移動(dòng)、復(fù)制和刪除
7、文件和目錄的權(quán)限
8、文件類型與輸入輸出
9、vmware介紹與安裝使用
10、網(wǎng)絡(luò)管理、分區(qū)掛載
用戶與用戶組管理
1、軟件包管理
2、磁盤管理
3、高級(jí)硬盤管理RAID和LVM
4、進(jìn)階：備份你的工作和系統(tǒng)
5、用戶與用戶組基礎(chǔ)
6、管理、查看、切換用戶
7、/etc/...文件
8、進(jìn)程管理
9、linux VI編輯器，awk，cut，grep，sed，find，unique等
Shell編程
1、 SHELL變量
2、傳遞參數(shù)
3、數(shù)組與運(yùn)算符
4、SHELL的各類命令
5、SHELL流程控制
6、SHELL函數(shù)
7、SHELL輸入/輸出重定向
8、SHELL文件包含
服務(wù)器配置
1、系統(tǒng)引導(dǎo)
2、管理守護(hù)進(jìn)程
3、通過(guò)xinetd啟動(dòng)SSH服務(wù)
4、配置inetd
5、Tomcat安裝與配置
6、MySql安裝與配置
7、部署項(xiàng)目到Linux
第六階段：Hadoop生態(tài)系統(tǒng)
Hadoop基礎(chǔ)
1、大數(shù)據(jù)概論
2、 Google與Hadoop模塊
3、Hadoop生態(tài)系統(tǒng)
4、Hadoop常用項(xiàng)目介紹
5、Hadoop環(huán)境安裝配置
6、Hadoop安裝模式
7、Hadoop配置文件
HDFS分布式文件系統(tǒng)
1、認(rèn)識(shí)HDFS及其HDFS架構(gòu)
2、Hadoop的RPC機(jī)制
3、HDFS的HA機(jī)制
4、HDFS的Federation機(jī)制
5、 Hadoop文件系統(tǒng)的訪問(wèn)
6、JavaAPI接口與維護(hù)HDFS
7、HDFS權(quán)限管理
8、hadoop偽分布式
Hadoop文件I/O詳解
1、Hadoop文件的數(shù)據(jù)結(jié)構(gòu)
2、 HDFS數(shù)據(jù)完整性
3、文件序列化
4、Hadoop的Writable類型
5、Hadoop支持的壓縮格式
6、Hadoop中編碼器和解碼器
7、 gzip、LZO和Snappy比較
8、HDFS使用shell+Java API
MapReduce工作原理
1、MapReduce函數(shù)式編程概念
2、 MapReduce框架結(jié)構(gòu)
3、MapReduce運(yùn)行原理
4、Shuffle階段和Sort階段
5、任務(wù)的執(zhí)行與作業(yè)調(diào)度器
6、自定義Hadoop調(diào)度器
7、 異步編程模型
8、YARN架構(gòu)及其工作流程
MapReduce編程
1、WordCount案例分析
2、輸入格式與輸出格式
3、壓縮格式與MapReduce優(yōu)化
4、輔助類與Streaming接口
5、MapReduce二次排序
6、MapReduce中的Join算法
7、從MySQL讀寫數(shù)據(jù)
8、Hadoop系統(tǒng)調(diào)優(yōu)
Hive數(shù)據(jù)倉(cāng)庫(kù)工具
1、Hive工作原理、類型及特點(diǎn)
2、Hive架構(gòu)及其文件格式
3、Hive操作及Hive復(fù)合類型
4、Hive的JOIN詳解
5、Hive優(yōu)化策略
6、Hive內(nèi)置操作符與函數(shù)
7、Hive用戶自定義函數(shù)接口
8、Hive的權(quán)限控制
Hive深入解讀
1 、安裝部署Sqoop
2、Sqoop數(shù)據(jù)遷移
3、Sqoop使用案例
4、深入了解數(shù)據(jù)庫(kù)導(dǎo)入
5、導(dǎo)出與事務(wù)
6、導(dǎo)出與SequenceFile
7、Azkaban執(zhí)行工作流
Sqoop與Oozie
1 、安裝部署Sqoop
2、Sqoop數(shù)據(jù)遷移
3、Sqoop使用案例
4、深入了解數(shù)據(jù)庫(kù)導(dǎo)入
5、導(dǎo)出與事務(wù)
6、導(dǎo)出與SequenceFile
7、Azkaban執(zhí)行工作流
Zookeeper詳解
1、Zookeeper簡(jiǎn)介
2、Zookeeper的下載和部署
3、Zookeeper的配置與運(yùn)行
4、Zookeeper的本地模式實(shí)例
5、Zookeeper的數(shù)據(jù)模型
6、Zookeeper命令行操作范例
7、storm在Zookeeper目錄結(jié)構(gòu)
NoSQL、HBase
1、HBase的特點(diǎn)
2、HBase訪問(wèn)接口
3、HBase存儲(chǔ)結(jié)構(gòu)與格式
4、HBase設(shè)計(jì)
5、關(guān)鍵算法和流程
6、HBase安裝
7、HBase的SHELL操作
8、HBase集群搭建
第七階段：Spark生態(tài)系統(tǒng)
Spark
1.什么是Spark
2.Spark大數(shù)據(jù)處理框架
3.Spark的特點(diǎn)與應(yīng)用場(chǎng)景
4.Spark SQL原理和實(shí)踐
5.Spark Streaming原理和實(shí)踐
6.GraphX SparkR入門
7.Spark的監(jiān)控和調(diào)優(yōu)
Spark部署和運(yùn)行
1.WordCount準(zhǔn)備開(kāi)發(fā)環(huán)境
2.MapReduce編程接口體系結(jié)構(gòu)
3.MapReduce通信協(xié)議
4.導(dǎo)入Hadoop的JAR文件
5.MapReduce代碼的實(shí)現(xiàn)
6.打包、部署和運(yùn)行
7.打包成JAR文件
Spark程序開(kāi)發(fā)
1、啟動(dòng)Spark Shell
2、加載text文件
3、RDD操作及其應(yīng)用
4、RDD緩存
5、構(gòu)建Eclipse開(kāi)發(fā)環(huán)境
6、構(gòu)建IntelliJ IDEA開(kāi)發(fā)環(huán)境
7、創(chuàng)建SparkContext對(duì)象
8、編寫編譯并提交應(yīng)用程序
Spark編程模型
1、RDD特征與依賴
2、集合（數(shù)組）創(chuàng)建RDD
3、存儲(chǔ)創(chuàng)建RDD
4、RDD轉(zhuǎn)換 執(zhí)行 控制操作
5、廣播變量
6、累加器
作業(yè)執(zhí)行解析
1、Spark組件
2、RDD視圖與DAG圖
3、基于Standalone模式的Spark架構(gòu)
4、基于YARN模式的Spark架構(gòu)
5、作業(yè)事件流和調(diào)度分析
6、構(gòu)建應(yīng)用程序運(yùn)行時(shí)環(huán)境
7、應(yīng)用程序轉(zhuǎn)換成DAG
Spark SQL與DataFrame
1、Spark SQL架構(gòu)特性
2、DataFrame和RDD的區(qū)別
3、創(chuàng)建操作DataFrame
4、RDD轉(zhuǎn)化為DataFrame
5、加載保存操作與Hive表
6、Parquet文件JSON數(shù)據(jù)集
7、分布式的SQL Engine
8、性能調(diào)優(yōu) 數(shù)據(jù)類型
深入Spark Streaming
1、Spark Streaming工作原理
2、DStream編程模型
3、Input DStream
4、DStream轉(zhuǎn)換 狀態(tài) 輸出
5、優(yōu)化運(yùn)行時(shí)間及內(nèi)存使用
6、文件輸入源
7、基于Receiver的輸入源
8、輸出操作
Spark MLlib與機(jī)器學(xué)習(xí)
1、機(jī)器學(xué)習(xí)分類級(jí)算法
2、Spark MLlib庫(kù)
3、MLlib數(shù)據(jù)類型
4、MLlib的算法庫(kù)與實(shí)例
5、ML庫(kù)主要概念
6、算法庫(kù)與實(shí)例
GraphX與SparkR
1、Spark GraphX架構(gòu)
2、GraphX編程與常用圖算法
3、GraphX應(yīng)用場(chǎng)景
4、SparkR的工作原理
5、R語(yǔ)言與其他語(yǔ)言的通信
6、SparkR的運(yùn)行與應(yīng)用
7、R的DataFrame操作方法
8、SparkR的DataFrame
Scala編程開(kāi)發(fā)
1、Scala語(yǔ)法基礎(chǔ)
2、idea工具安裝
3、maven工具配置
4、條件結(jié)構(gòu)、循環(huán)、高級(jí)for循環(huán)
5、數(shù)組、映射、元組
6、類、樣例類、對(duì)象、伴生對(duì)象
7、高階函數(shù)與函數(shù)式編程
Scala進(jìn)階
1、 柯里化、閉包
2、模式匹配、偏函數(shù)
3、類型參數(shù)
4、協(xié)變與逆變
5、隱式轉(zhuǎn)換、隱式參數(shù)、隱式值
6、Actor機(jī)制
7、高級(jí)項(xiàng)目案例
Python編程
1、Python編程介紹
2、Python的基本語(yǔ)法
3、Python開(kāi)發(fā)環(huán)境搭建
4、Pyhton開(kāi)發(fā)Spark應(yīng)用程序
第八階段：Storm生態(tài)系統(tǒng)
storm簡(jiǎn)介與基本知識(shí)
1、storm的誕生誕生與成長(zhǎng)
2、storm的優(yōu)勢(shì)與應(yīng)用
3、storm基本知識(shí)概念和配置
4、序列化與容錯(cuò)機(jī)制
5、可靠性機(jī)制—保證消息處理
6、storm開(kāi)發(fā)環(huán)境與生產(chǎn)環(huán)境
7、storm拓?fù)涞牟⑿卸?/p>
8、storm命令行客戶端
Storm拓?fù)渑c組件詳解
1、流分組和拓?fù)溥\(yùn)行
2、拓?fù)涞某Ｒ?jiàn)模式
3、本地模式與stormsub的對(duì)比
4、 使用非jvm語(yǔ)言操作storm
5、hook、組件基本接口
6、基本抽象類
7、事務(wù)接口
8、組件之間的相互關(guān)系
spout詳解 與bolt詳解
1、spout獲取數(shù)據(jù)的方式
2、常用的spout
3、學(xué)習(xí)編寫spout類
4、bolt概述
5、可靠的與不可靠的bolt
6、復(fù)合流與復(fù)合anchoring
7、 使用其他語(yǔ)言定義bolt
8、學(xué)習(xí)編寫bolt類
storm安裝與集群搭建
1、storm集群安裝步驟與準(zhǔn)備
2、本地模式storm配置命令
3、配置hosts文件、安裝jdk
4、zookeeper集群的搭建
5、部署節(jié)點(diǎn)
6、storm集群的搭建
7、zookeeper應(yīng)用案例
8、Hadoop高可用集群搭建
Kafka
1、Kafka介紹和安裝
2、整合Flume
3、Kafka API
4、Kafka底層實(shí)現(xiàn)原理
5、Kafka的消息處理機(jī)制
6、數(shù)據(jù)傳輸?shù)氖聞?wù)定義
7、Kafka的存儲(chǔ)策略
Flume
1、Flume介紹和安裝
2、Flume Source講解
3、Flume Channel講解
4、Flume Sink講解
5、flume部署種類、流配置
6、單一代理、多代理說(shuō)明
7、flume selector相關(guān)配置
Redis
1、Redis介紹和安裝、配置
2、Redis數(shù)據(jù)類型
3、Redis鍵、字符串、哈希
4、Redis列表與集合
5、Redis事務(wù)和腳本
6、Redis數(shù)據(jù)備份與恢復(fù)
7、Redis的SHELL操作
重慶分公司
重慶分公司
