這篇文章將為大家詳細(xì)講解有關(guān)如何保護(hù)Hadoop環(huán)境，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

為賈汪等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計(jì)制作服務(wù)，及賈汪網(wǎng)站建設(shè)行業(yè)解決方案。主營(yíng)業(yè)務(wù)為成都做網(wǎng)站、成都網(wǎng)站制作、賈汪網(wǎng)站設(shè)計(jì)，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠(chéng)的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會(huì)得到認(rèn)可，從而選擇與我們長(zhǎng)期合作。這樣，我們也可以走得更遠(yuǎn)！

Hadoop生態(tài)系統(tǒng)有資源來支持安全性。Knox和Ranger是兩個(gè)重要的Apache開源項(xiàng)目。Knox提供了用于管理安全性的框架，并支持Hadoop集群上的安全性實(shí)施。

Ranger項(xiàng)目專注于開發(fā)工具和技術(shù)，以幫助用戶跨Hadoop集群部署和標(biāo)準(zhǔn)化安全性。它提供了一個(gè)集中式框架，可用于管理資源級(jí)別的策略，例如文件、文件夾、數(shù)據(jù)庫、甚至數(shù)據(jù)庫中的特定行和列。Ranger幫助管理員按組、數(shù)據(jù)類型等實(shí)現(xiàn)訪問策略。Ranger對(duì)不同的Hadoop組件（例如YARN、HBase、Hive等）具有不同的授權(quán)功能。

Knox是在Apache社區(qū)內(nèi)開發(fā)的REST API網(wǎng)關(guān)，用于支持對(duì)Hadoop集群的監(jiān)視、授權(quán)管理、審計(jì)和策略實(shí)施。它為與群集的所有REST交互提供了單個(gè)訪問點(diǎn)。通過Knox，系統(tǒng)管理員可以通過LDAP和Active Directory管理身份驗(yàn)證，進(jìn)行基于HTTP標(biāo)頭的聯(lián)合身份管理，以及在群集上審核硬件。Knox還支持增強(qiáng)的安全性，因?yàn)樗梢耘c企業(yè)身份管理解決方案集成并且與Kerberos兼容。

原始的Hadoop版本不包含加密。更高的版本包括端到端加密，可以保護(hù)在Hadoop集群中靜止的數(shù)據(jù)和在網(wǎng)絡(luò)中移動(dòng)時(shí)的數(shù)據(jù)。在當(dāng)前版本中，HFDS中存儲(chǔ)或通過HFDS訪問的所有數(shù)據(jù)均已可以加密。Hadoop支持在磁盤、文件系統(tǒng)、數(shù)據(jù)庫和應(yīng)用程序級(jí)別進(jìn)行加密。

在Hadoop核心技術(shù)中，HFDS具有稱為加密區(qū)域的目錄。將數(shù)據(jù)寫入Hadoop后，將自動(dòng)對(duì)其進(jìn)行加密（使用用戶選擇的算法），并將其分配給加密區(qū)域。加密特定于文件，而不特定于區(qū)域。這意味著該區(qū)域內(nèi)的每個(gè)文件都使用其自己的唯一數(shù)據(jù)加密密鑰（DEK）進(jìn)行加密。客戶端使用加密的數(shù)據(jù)加密密鑰（EDEK）從HFDS解密數(shù)據(jù)，然后使用DEK讀取和寫入數(shù)據(jù)。加密區(qū)域和DEK加密發(fā)生在體系結(jié)構(gòu)的文件系統(tǒng)和數(shù)據(jù)庫級(jí)別之間。

需要管理加密密鑰，這是Hadoop 密鑰管理服務(wù)器（即KMS）的工作。KMS生成加密密鑰，管理對(duì)存儲(chǔ)密鑰的訪問，并管理HDFS客戶端上的加密和解密。KMS是具有客戶端和服務(wù)器組件的Java Web應(yīng)用程序，它們使用HTTP和REST API相互通信。KMS中的安全性包括HTTPS安全傳輸和對(duì)HTTP SPNEGO Kerboros身份驗(yàn)證的支持。

Hadoop發(fā)行供應(yīng)商和其他解決方案提供商已開發(fā)了特定于其產(chǎn)品或適用于整個(gè)Hadoop環(huán)境的附加安全性。許多增強(qiáng)功能致力于在移動(dòng)數(shù)據(jù)時(shí)保護(hù)Hadoop數(shù)據(jù)。例如，存在可以應(yīng)用于通過HTTP、RPC、數(shù)據(jù)傳輸協(xié)議（DTP）和JDBC傳輸?shù)腍adoop數(shù)據(jù)的Wire加密協(xié)議。還為JDBC客戶端和MapReduce改組提供了SSL保護(hù)，為網(wǎng)絡(luò)RPC提供了SASL等。

Hadoop環(huán)境中的身份驗(yàn)證經(jīng)歷了快速而廣泛的發(fā)展。最初的Hadoop版本不包含任何用于驗(yàn)證用戶身份的條款，因?yàn)檫@是旨在在受信任環(huán)境中使用的有限項(xiàng)目。隨后的發(fā)行版為HDFS中的文件添加了有限的權(quán)限管理功能，但是Hadoop仍未能提供企業(yè)級(jí)身份驗(yàn)證安全性?？爝M(jìn)到今天，企業(yè)用于其核心IT基礎(chǔ)架構(gòu)的用戶身份驗(yàn)證和身份管理解決方案可以擴(kuò)展到Hadoop環(huán)境。

如今，Hadoop可在安全或非安全模式下進(jìn)行配置。主要區(qū)別在于安全模式要求對(duì)每個(gè)用戶和服務(wù)進(jìn)行身份驗(yàn)證。Kerberos是Hadoop安全模式下身份驗(yàn)證的基礎(chǔ)。數(shù)據(jù)作為身份驗(yàn)證過程的一部分進(jìn)行加密。

許多組織使用其Active Directory或LDAP解決方案在Hadoop環(huán)境中執(zhí)行身份驗(yàn)證。該方法以前與Hadoop環(huán)境不兼容，并且很好地表示了Hadoop的成熟和發(fā)展方式。來自Apache Hadoop項(xiàng)目的Knox API用于將Active Directory或LDAP擴(kuò)展到Hadoop集群。它還用于將聯(lián)合身份管理解決方案擴(kuò)展到環(huán)境中。

對(duì)用戶或服務(wù)請(qǐng)求進(jìn)行身份驗(yàn)證不會(huì)自動(dòng)為它授予對(duì)Hadoop集群中所有數(shù)據(jù)的不受限制的訪問權(quán)限?？梢詾椴糠諬DFS甚至特定文件和數(shù)據(jù)類型設(shè)置訪問權(quán)限。如前所述，Ranger促進(jìn)了權(quán)限的建立和實(shí)施。也可以使用其他資源。HDFS權(quán)限指南是允許設(shè)置包含在HFDS目錄和文件權(quán)限的管理員的組件。可以在組和個(gè)人級(jí)別上設(shè)置權(quán)限。權(quán)限包括誰可以訪問文件、更新文件、刪除文件等。服務(wù)級(jí)別授權(quán)是一項(xiàng)單獨(dú)的功能，用于驗(yàn)證嘗試連接到特定Hadoop服務(wù)的客戶端是否有權(quán)訪問該服務(wù)。像《 HDFS權(quán)限指南》一樣，服務(wù)級(jí)別授權(quán)支持個(gè)人和組權(quán)限。Sentry是一個(gè)與Hive、HDFS數(shù)據(jù)表、Impala和其他組件一起使用的模塊，旨在為Hadoop集群中的數(shù)據(jù)和元數(shù)據(jù)提供更精細(xì)的權(quán)限管理。

Ranger，HDFS權(quán)限指南，服務(wù)級(jí)別授權(quán)和Sentry是Hadoop項(xiàng)目的一部分。再次，各種Hadoop商業(yè)版本中都內(nèi)置了其他權(quán)限保護(hù)以及相關(guān)的安全性和管理功能。

企業(yè)通常還使用各種商業(yè)解決方案在Hadoop中執(zhí)行數(shù)據(jù)掩碼。數(shù)據(jù)掩碼是指隱藏原始數(shù)據(jù)記錄（通過加密）的做法，這樣未經(jīng)授權(quán)的用戶就無法訪問它們。數(shù)據(jù)掩碼是在大數(shù)據(jù)環(huán)境中完成的，因?yàn)樵S多應(yīng)用程序需要來自數(shù)據(jù)集的某些信息，而不是完整的記錄。例如，影像診所可能需要知道六個(gè)月內(nèi)在一家機(jī)構(gòu)中有多少患者接受了乳房X光檢查，而無需知道患者的結(jié)果或完整的病史。患者結(jié)果數(shù)據(jù)將與需要不同權(quán)限的臨床醫(yī)生有關(guān)。

從定義上講，大數(shù)據(jù)是大數(shù)據(jù)，但一種萬能的安全方法是不合適的。Hadoop中的功能使組織可以優(yōu)化安全性，以滿足Hadoop環(huán)境中所有單獨(dú)數(shù)據(jù)資產(chǎn)的用戶，合規(guī)性和公司要求。諸如角色，用戶和組權(quán)限，數(shù)據(jù)掩碼以及多種加密和身份驗(yàn)證選項(xiàng)之類的功能使在單個(gè)大型環(huán)境中提供不同級(jí)別的安全性變得切實(shí)可行。Hadoop與Active Directory，LDAP和身份管理解決方案之間日益增長(zhǎng)的集成支持使組織可以擴(kuò)展其企業(yè)安全解決方案，因此Hadoop基礎(chǔ)架構(gòu)不必成為孤島。

安全性是Hadoop變化最快的方面之一。功能不斷增強(qiáng)和超越。有關(guān)最新的安全更新，請(qǐng)與Apache項(xiàng)目或Hadoop發(fā)行商聯(lián)系。

關(guān)于“如何保護(hù)Hadoop環(huán)境”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。