這篇文章主要介紹了Java開發(fā)者必會(huì)的大數(shù)據(jù)工具和框架有哪些的相關(guān)知識，內(nèi)容詳細(xì)易懂，操作簡單快捷，具有一定借鑒價(jià)值，相信大家閱讀完這篇Java開發(fā)者必會(huì)的大數(shù)據(jù)工具和框架有哪些文章都會(huì)有所收獲，下面我們一起來看看吧。
1、MongoDB——最受歡迎的，跨平臺的，面向文檔的數(shù)據(jù)庫。
MongoDB是一個(gè)基于分布式文件存儲(chǔ)的數(shù)據(jù)庫，使用C++語言編寫。旨在為Web應(yīng)用提供可擴(kuò)展的高性能數(shù)據(jù)存儲(chǔ)解決方案。應(yīng)用性能高低依賴于數(shù)據(jù)庫性能，MongoDB則是非關(guān)系數(shù)據(jù)庫中功能最豐富，最像關(guān)系數(shù)據(jù)庫的，隨著MongDB 3.4版本發(fā)布，其應(yīng)用場景適用能力得到了進(jìn)一步拓展。
MongoDB的核心優(yōu)勢就是靈活的文檔模型、高可用復(fù)制集、可擴(kuò)展分片集群。你可以試著從幾大方面了解MongoDB，如實(shí)時(shí)監(jiān)控MongoDB工具、內(nèi)存使用量和頁面錯(cuò)誤、連接數(shù)、數(shù)據(jù)庫操作、復(fù)制集等。
2、Elasticsearch ——為云構(gòu)建的分布式RESTful搜索引擎。
ElasticSearch是基于Lucene的搜索服務(wù)器。它提供了分布式多用戶能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是比較流行的企業(yè)級搜索引擎。
ElasticSearch不僅是一個(gè)全文本搜索引擎，還是一個(gè)分布式實(shí)時(shí)文檔存儲(chǔ)，其中每個(gè)field均是被索引的數(shù)據(jù)且可被搜索;也是一個(gè)帶實(shí)時(shí)分析功能的分布式搜索引擎，并且能夠擴(kuò)展至數(shù)以百計(jì)的服務(wù)器存儲(chǔ)及處理PB級的數(shù)據(jù)。ElasticSearch在底層利用Lucene完成其索引功能，因此其許多基本概念源于Lucene。
3、Cassandra——開源分布式數(shù)據(jù)庫管理系統(tǒng)，最初是由Facebook開發(fā)的，旨在處理許多商品服務(wù)器上的大量數(shù)據(jù)，提供高可用性，沒有單點(diǎn)故障。
Apache Cassandra是一套開源分布式NoSQL數(shù)據(jù)庫系統(tǒng)。集Google BigTable的數(shù)據(jù)模型與Amazon Dynamo的完全分布式架構(gòu)于一身。于2008開源，此后，由于Cassandra良好的可擴(kuò)展性，被Digg、Twitter等Web 2.0網(wǎng)站所采納，成為了一種流行的分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案。
因Cassandra是用Java編寫的，所以理論上在具有JDK6及以上版本的機(jī)器中都可以運(yùn)行，官方測試的JDK還有OpenJDK 及Sun的JDK。 Cassandra的操作命令，類似于我們平時(shí)操作的關(guān)系數(shù)據(jù)庫，對于熟悉MySQL的朋友來說，操作會(huì)很容易上手。
4、Redis ——開源(BSD許可)內(nèi)存數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)，用作數(shù)據(jù)庫，緩存和消息代理。
Redis是一個(gè)開源的使用ANSI C語言編寫的、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫，并提供多種語言的API。Redis 有三個(gè)主要使其有別于其它很多競爭對手的特點(diǎn)：Redis是完全在內(nèi)存中保存數(shù)據(jù)的數(shù)據(jù)庫，使用磁盤只是為了持久性目的; Redis相比許多鍵值數(shù)據(jù)存儲(chǔ)系統(tǒng)有相對豐富的數(shù)據(jù)類型; Redis可以將數(shù)據(jù)復(fù)制到任意數(shù)
5、Hazelcast ——基于Java的開源內(nèi)存數(shù)據(jù)網(wǎng)格。
Hazelcast 是一種內(nèi)存數(shù)據(jù)網(wǎng)格 in-memory data grid，提供Java程序員關(guān)鍵任務(wù)交易和萬億級內(nèi)存應(yīng)用。雖然Hazelcast沒有所謂的“Master”，但是仍然有一個(gè)Leader節(jié)點(diǎn)(the oldest member)，這個(gè)概念與ZooKeeper中的Leader類似，但是實(shí)現(xiàn)原理卻完全不同。同時(shí)，Hazelcast中的數(shù)據(jù)是分布式的，每一個(gè)member持有部分?jǐn)?shù)據(jù)和相應(yīng)的backup數(shù)據(jù)，這點(diǎn)也與ZooKeeper不同。
Hazelcast的應(yīng)用便捷性深受開發(fā)者喜歡，但如果要投入使用，還需要慎重考慮。
6、EHCache——廣泛使用的開源Java分布式緩存。主要面向通用緩存、Java EE和輕量級容器。
EhCache 是一個(gè)純Java的進(jìn)程內(nèi)緩存框架，具有快速、精干等特點(diǎn)，是hibernate中默認(rèn)的CacheProvider。主要特性有：快速簡單，具有多種緩存策略;緩存數(shù)據(jù)有兩級，內(nèi)存和磁盤，因此無需擔(dān)心容量問題;緩存數(shù)據(jù)會(huì)在虛擬機(jī)重啟的過程中寫入磁盤;可以通過RMI、可插入API等方式進(jìn)行分布式緩存;具有緩存和緩存管理器的偵聽接口;支持多緩存管理器實(shí)例，以及一個(gè)實(shí)例的多個(gè)緩存區(qū)域;提供Hibernate的緩存實(shí)現(xiàn)。
7、Hadoop ——用Java編寫的開源軟件框架，用于分布式存儲(chǔ)，并對非常大的數(shù)據(jù)用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。
充分利用集群進(jìn)行高速運(yùn)算和存儲(chǔ)。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System)，簡稱HDFS。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，MapReduce則為海量的數(shù)據(jù)提供了計(jì)算。
8、Solr ——開源企業(yè)搜索平臺，用Java編寫，來自Apache Lucene項(xiàng)目。
Solr是一個(gè)獨(dú)立的企業(yè)級搜索應(yīng)用服務(wù)器，它對外提供類似于Web-service的API接口。用戶可以通過http請求，向搜索引擎服務(wù)器提交一定格式的XML文件，生成索引;也可以通過Http Get操作提出查找請求，并得到XML格式的返回結(jié)果。
與ElasticSearch一樣，同樣是基于Lucene，但它對其進(jìn)行了擴(kuò)展，提供了比Lucene更為豐富的查詢語言，同時(shí)實(shí)現(xiàn)了可配置、可擴(kuò)展并對查詢性能進(jìn)行了優(yōu)化。
9、Spark ——Apache Software Foundation中最活躍的項(xiàng)目，是一個(gè)開源集群計(jì)算框架。
Spark 是一種與 Hadoop 相似的開源集群計(jì)算環(huán)境，但是兩者之間還存在一些不同之處，這些不同之處使 Spark 在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。
Spark 是在 Scala 語言中實(shí)現(xiàn)的，它將 Scala 用作其應(yīng)用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松。
10、Memcached ——通用分布式內(nèi)存緩存系統(tǒng)。
Memcached是一套分布式快取系統(tǒng)，當(dāng)初是Danga Interactive為了LiveJournal所發(fā)展的，但被許多軟件(如MediaWiki)所使用。Memcached作為高速運(yùn)行的分布式緩存服務(wù)器，具有以下的特點(diǎn)：協(xié)議簡單，基于libevent的事件處理，內(nèi)置內(nèi)存存儲(chǔ)方式。
11、Apache Hive --在Hadoop之上提供類似SQL的層。
Hive是一個(gè)基于Hadoop的數(shù)據(jù)倉庫平臺。通過hive，可以方便地進(jìn)行ETL工作。hive定義了一個(gè)類似于SQL的查詢語言，能夠?qū)⒂脩艟帉懙腟QL轉(zhuǎn)化為相應(yīng)的Mapreduce程序基于Hadoop執(zhí)行。目前，已經(jīng)發(fā)布了Apache Hive 2.1.1 版本。
12、Apache Kafka --最初是由LinkedIn開發(fā)的高吞吐量，分布式訂閱消息系統(tǒng)。
Apache Kafka是一個(gè)開源消息系統(tǒng)項(xiàng)目，由Scala寫成。該項(xiàng)目的目標(biāo)是為處理實(shí)時(shí)數(shù)據(jù)提供一個(gè)統(tǒng)一、高通量、低等待的平臺。Kafka維護(hù)按類區(qū)分的消息，稱為主題(topic)。生產(chǎn)者(producer)向kafka的主題發(fā)布消息，消費(fèi)者(consumer)向主題注冊，并且接收發(fā)布到這些主題的消息。
13、Akka --用于在JVM上構(gòu)建高并發(fā)，分布式和彈性消息驅(qū)動(dòng)應(yīng)用程序的工具包。
Akka 是一個(gè)用 Scala 編寫的庫，用于簡化編寫容錯(cuò)的、高可伸縮性的 Java 和 Scala 的 Actor 模型應(yīng)用。它已經(jīng)成功運(yùn)用在電信行業(yè)，系統(tǒng)幾乎不會(huì)宕機(jī)。
14、HBase --開放源代碼，非關(guān)系型，分布式數(shù)據(jù)庫，采用Google的BigTable建模，用Java編寫，并在HDFS上運(yùn)行。
與FUJITSU Cliq等商用大數(shù)據(jù)產(chǎn)品不同，HBase是Google Bigtable的開源實(shí)現(xiàn)，類似Google Bigtable利用GFS作為其文件存儲(chǔ)系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng);Google運(yùn)行MapReduce來處理Bigtable中的海量數(shù)據(jù)，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù);Google Bigtable利用 Chubby作為協(xié)同服務(wù)，HBase利用Zookeeper作為對應(yīng)。
15、Neo4j --在Java中實(shí)現(xiàn)的開源圖形數(shù)據(jù)庫。
Neo4j是一個(gè)高性能的NOSQL圖形數(shù)據(jù)庫，它將結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在網(wǎng)絡(luò)上而不是表中。它是一個(gè)嵌入式的、基于磁盤的、具備完全事務(wù)特性的Java持久化引擎。
關(guān)于“Java開發(fā)者必會(huì)的大數(shù)據(jù)工具和框架有哪些”這篇文章的內(nèi)容就介紹到這里，感謝各位的閱讀！相信大家對“Java開發(fā)者必會(huì)的大數(shù)據(jù)工具和框架有哪些”知識都有一定的了解，大家如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。
重慶分公司
重慶分公司
