一、大數(shù)據(jù)

創(chuàng)新互聯(lián)建站專注于云安網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供云安營銷型網(wǎng)站建設(shè)，云安網(wǎng)站制作、云安網(wǎng)頁設(shè)計(jì)、云安網(wǎng)站官網(wǎng)定制、小程序定制開發(fā)服務(wù)，打造云安網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供云安網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

1、什么是大數(shù)據(jù)？

大數(shù)據(jù)（Big data或Megadata）：大數(shù)據(jù)，或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間達(dá)到截取、管理、處理、并整理成為人類所能解讀的形式的信息。

2、大數(shù)據(jù)特點(diǎn)

①Volume：數(shù)據(jù)量大，包括采集、存儲和計(jì)算的量都非常大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。

②Variety：種類和來源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。

在這里還是要推薦下我自己建的大數(shù)據(jù)學(xué)習(xí)交流群:529867072，群里都是學(xué)大數(shù)據(jù)開發(fā)的，如果你正在學(xué)習(xí)大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進(jìn)階資料和高級開發(fā)教程，歡迎進(jìn)階中和進(jìn)想深入大數(shù)據(jù)的小伙伴加入。

③Value：數(shù)據(jù)價(jià)值密度相對較低，或者說是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價(jià)值密度較低，如何結(jié)合業(yè)務(wù)邏輯并通過強(qiáng)大的機(jī)器算法來挖掘數(shù)據(jù)價(jià)值，是大數(shù)據(jù)時代最需要解決的問題。

④Velocity：數(shù)據(jù)增長速度快，處理速度也快，時效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到，個性化推薦算法盡可能要求實(shí)時完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。

⑤Veracity：數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量。

二、數(shù)據(jù)倉庫

1、什么是數(shù)據(jù)倉庫？

在計(jì)算中，數(shù)據(jù)倉庫（DW或DWH）也稱為企業(yè)數(shù)據(jù)倉庫（EDW），是用于報(bào)告和數(shù)據(jù)分析的系統(tǒng)，被視為商業(yè)智能的核心組件。DWs從一個或多個不同源的綜合數(shù)據(jù)的中央儲存庫。他們將當(dāng)前和歷史數(shù)據(jù)存儲在一個地方，用于為整個企業(yè)的工作人員創(chuàng)建分析報(bào)告。

2、數(shù)據(jù)倉庫兩種操作方式的特點(diǎn)

①在線分析處理（OLAP）的特點(diǎn)是交易量相對較低。查詢往往非常復(fù)雜，涉及到聚合。對于OLAP系統(tǒng)，響應(yīng)時間是一種有效性度量。數(shù)據(jù)挖掘技術(shù)廣泛使用OLAP應(yīng)用程序。OLAP數(shù)據(jù)庫以多維模式（通常為星型模式）存儲匯總的歷史數(shù)據(jù)。與數(shù)據(jù)集市相比，OLAP系統(tǒng)通常具有數(shù)小時的數(shù)據(jù)延遲，而數(shù)據(jù)集市預(yù)計(jì)延遲將接近一天。OLAP方法用于分析來自多個來源和視角的多維數(shù)據(jù)。OLAP中的三個基本操作是：總結(jié)（合并），鉆取和切片和切塊。

②聯(lián)機(jī)事務(wù)處理（OLTP）的特點(diǎn)是大量短暫的在線事務(wù)（INSERT，UPDATE，DELETE）。OLTP系統(tǒng)強(qiáng)調(diào)非常快速的查詢處理并保持多訪問環(huán)境中的數(shù)據(jù)完整性。對于OLTP系統(tǒng)，有效性以每秒交易次數(shù)來衡量。OLTP數(shù)據(jù)庫包含詳細(xì)和當(dāng)前的數(shù)據(jù)。用于存儲事務(wù)數(shù)據(jù)庫的模式是實(shí)體模型（通常是3NF）。規(guī)范化是對在該系統(tǒng)中數(shù)據(jù)建模技術(shù)的規(guī)范。

三、ETL與DM的區(qū)別

ETL/Extraction-Transformation-Loading——用于完成DB到DW的數(shù)據(jù)轉(zhuǎn)存，它將DB中的某一個時間點(diǎn)的狀態(tài)，“抽取”出來，根據(jù)DW的存儲模型要求，“轉(zhuǎn)換”一下數(shù)據(jù)格式，然后再“加載”到DW的一個過程，這里需要強(qiáng)調(diào)的是，DB的模型是ER模型，遵從范式化設(shè)計(jì)原則，而DW的數(shù)據(jù)模型是雪花型結(jié)構(gòu)或者星型結(jié)構(gòu)，用的是面向主題，面向問題的設(shè)計(jì)思路，所以DB和DW的模型結(jié)構(gòu)不同，需要進(jìn)行轉(zhuǎn)換。

DM/Data Mining/數(shù)據(jù)挖掘——這個挖掘，不是簡單的統(tǒng)計(jì)了，他是根據(jù)概率論的或者其他的統(tǒng)計(jì)學(xué)原理，將DW中的大數(shù)據(jù)量進(jìn)行分析，找出我們不能直觀發(fā)現(xiàn)的規(guī)律。

四、Hadoop

1、什么是Hadoop？

維基百科上面，Hadoop的定義是：一個用java語言編寫的便于大型數(shù)據(jù)集合的分布式儲存和計(jì)算的軟件框架。簡單來說，這是計(jì)算機(jī)領(lǐng)域的一個開源軟件，任何程序開發(fā)者都可以看到它的源代碼，并且進(jìn)行編譯。它的出現(xiàn)讓大數(shù)據(jù)的儲存和處理一下子變的快了很多，也便宜了很多。

2、Hadoop特點(diǎn)是什么？

①高效率（Efficient）：分布式云計(jì)算，采用標(biāo)準(zhǔn)x86架構(gòu)服務(wù)器大規(guī)模集群實(shí)現(xiàn)，每個模塊都是一個離散的處理單元，使用并行計(jì)算技術(shù)，及群內(nèi)各計(jì)算節(jié)點(diǎn)負(fù)載均衡，當(dāng)某節(jié)點(diǎn)負(fù)荷過高時，可智能的將負(fù)荷轉(zhuǎn)移到其他節(jié)點(diǎn)，并支持節(jié)點(diǎn)線性平滑擴(kuò)展；分布式云存儲，采用x86服務(wù)器的本地硬盤實(shí)現(xiàn)，使用分布式文件系統(tǒng)，每份數(shù)據(jù)至少保存在3個節(jié)點(diǎn)，保證存儲設(shè)計(jì)的性能和可靠性目標(biāo)。

②可靠性（Reliable）：能搞自身的維護(hù)數(shù)據(jù)的多個成本，并且在任務(wù)失敗是自動的重新部署計(jì)算任務(wù)

③可擴(kuò)容性（Scalable）：能可靠的儲存和處理PB級的數(shù)據(jù)

④成本低（Economical）：可以通過普通機(jī)器組成的服務(wù)器群來分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計(jì)可達(dá)數(shù)千個節(jié)點(diǎn)。