2019/3/22 星期五
1、安裝后，能裝getway的都要裝getway
2、靜態(tài)資源分配默認(rèn)不打開
3、Cloudera使用以下版本控制約定：major.minor.maintenance。 如果群集運(yùn)行Cloudera Manager 5.14.0，則主要版本為5; 次要版本是14; 維護(hù)版本為0。
Cloudera Manager次要版本必須始終等于或大于CDH次要版本。舊版本的Cloudera Manager可能不支持較新版本的CDH中的功能。
例如，Cloudera Manager 5.12.0可以管理CDH 5.12.2，因?yàn)榇我姹臼窍嗤摹?Cloudera Manager 5.12.0無(wú)法管理CDH 5.14.0，因?yàn)镃loudera Manager次要版本12小于CDH次要版本14。
重要：使用Cloudera Manager 6.0.x管理CDH 5.15.x或CDH 5.16群集不是受支持的配置。
CDH和Cloudera Manager支持的操作系統(tǒng)
4、?Cloudera強(qiáng)烈反對(duì)將RHEL 5用于新安裝。
5、????Cloudera不支持Docker容器中的CDH群集部署。
6、Kudu文件系統(tǒng)要求 - 在ext4和XFS上支持Kudu。
7、Linux文件系統(tǒng)保留記錄訪問(wèn)每個(gè)文件的元數(shù)據(jù)。這意味著即使讀取也會(huì)導(dǎo)致寫入磁盤。為了加快文件讀取速度，Cloudera建議您使用/ etc / fstab中的mount選項(xiàng)禁用此選項(xiàng)，稱為atime：
具體操作 //優(yōu)化項(xiàng) *****
我們提供的服務(wù)有：做網(wǎng)站、網(wǎng)站建設(shè)、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、霍爾果斯ssl等。為1000+企事業(yè)單位解決了網(wǎng)站和推廣的問(wèn)題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的霍爾果斯網(wǎng)站制作公司
重慶分公司
重慶分公司
[root@NewCDH-0--141 ~]# vim /etc/fstab
#
# /etc/fstab
# Created by anaconda on Tue Oct 10 15:41:01 2017
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root / xfs defaults 0 0
UUID=ea80e99b-8d97-406f-a527-4247483ad7b6 /boot xfs defaults 0 0
/dev/mapper/centos-home /home xfs defaults 0 0
/dev/mapper/centos-swap swap swap defaults 0 0更改為：
/dev/mapper/centos-root / xfs defaults,noatime 0 0
/dev/mapper/centos-home /home xfs defaults,noatime 0 0
應(yīng)用更改而不重新啟動(dòng)：
mount -o remount /
noatime - 不更新文件系統(tǒng)上 inode 訪問(wèn)記錄，可以提升性能(參見 atime 參數(shù))。
參考鏈接為：https://blog.csdn.net/jc_benben/article/details/782242127、文件系統(tǒng)掛載選項(xiàng)
文件系統(tǒng)掛載選項(xiàng)具有允許您同步寫入的同步選項(xiàng)。
但是，使用sync選項(xiàng)會(huì)導(dǎo)致將數(shù)據(jù)寫入磁盤的服務(wù)性能較差，例如HDFS，YARN，Kafka和Kudu。 在CDH中，大多數(shù)寫入都已被復(fù)制。 因此，對(duì)磁盤進(jìn)行同步寫入是不必要的，昂貴的，并且不值得提供額外的安全性。
NFS和NAS選項(xiàng)不得用作DataNode數(shù)據(jù)目錄安裝，即使使用Hierarchal Storage功能也不能使用。
8、Cloudera Manager和CDH隨附嵌入式PostgreSQL數(shù)據(jù)庫(kù)，用于非生產(chǎn)環(huán)境。生產(chǎn)環(huán)境不支持嵌入式PostgreSQL數(shù)據(jù)庫(kù)。對(duì)于生產(chǎn)環(huán)境，必須將群集配置為使用外部數(shù)據(jù)庫(kù)。
9、在大多數(shù)情況下（但不是全部），Cloudera支持MariaDB，MySQL和PostgreSQL的版本，這些版本是每個(gè)受支持的Linux發(fā)行版的原生版本。
10、對(duì)于MySQL 5.6和5.7，您必須安裝MySQL-shared-compat或MySQL-shared軟件包。這是Cloudera Manager Agent軟件包安裝所必需的。
11、不支持基于MySQL GTID的復(fù)制。
//補(bǔ)充 GTID即全局事務(wù)ID,器保證為每一個(gè)在主上提交的事務(wù)在復(fù)制集群中可以生成一個(gè)唯一的ID.
基于GTID復(fù)制：
1.從服務(wù)器會(huì)告訴主服務(wù)器已執(zhí)行的事務(wù)的GTID值。
2.主庫(kù)會(huì)告訴從哪些GTID事務(wù)沒(méi)有被執(zhí)行。
同一個(gè)事務(wù)在指定的從庫(kù)執(zhí)行一次。
12、cdh不支持mysql的HA //但是我們可以用mysql從
13、要點(diǎn)：重新啟動(dòng)進(jìn)程時(shí)，將使用Cloudera Manager數(shù)據(jù)庫(kù)中保存的信息重新部署每個(gè)服務(wù)的配置。 如果此信息不可用，則群集無(wú)法啟動(dòng)或正常運(yùn)行。 您必須安排并維護(hù)Cloudera Manager數(shù)據(jù)庫(kù)的定期備份，以便在丟失此數(shù)據(jù)庫(kù)時(shí)恢復(fù)群集。 有關(guān)更多信息，請(qǐng)參閱備份數(shù)據(jù)庫(kù)。
14、
cdh6.10~5.16 支持mysql 5.1 5.5 5.6 5.7
cdh6.1~5.9 支持 5.1 5.5 5.6
cdh6.0 支持5.1 5.5
線上我們用的是mysql5.6
Cloudera Manager/CDH 5.9 - 5.16 mariadb 5.5 10.0
Cloudera Manager/CDH 5.5 - 5.8 mariadb 5.5
15 java 堆優(yōu)化
如果堆不需要超過(guò)32 GB，請(qǐng)將堆大小設(shè)置為31 GB或更小以避免此問(wèn)題。
如果需要32 GB或更多，請(qǐng)將堆大小設(shè)置為48 GB或更高，以考慮較大的指針。通常，對(duì)于大小超過(guò)32 GB的堆，請(qǐng)將所需的堆數(shù)乘以1.5。
16、僅支持64位JDK。所有版本的Cloudera Manager 5和CDH 5都支持Oracle JDK 7.Cloudera Enterprise 5.16.1及更高版本支持OpenJDK 8。任何Cloudera Manager或CDH版本都不支持Oracle JDK 9。
17、jdk7 現(xiàn)在都要升級(jí)為jdk8
經(jīng)過(guò)測(cè)試和推薦的Oracle JDK 7版本的Oracle JDK版本說(shuō)明
1.7u80推薦/最新版本測(cè)試
1.7u75推薦
1.7u67推薦
1.7u55最低要求
dev118環(huán)境我們是：java version "1.7.0_67"
18
對(duì)于CDH版本5.13.0及更高版本，由于JDK-8055949，Sentry需要JDK 7u76或更高版本。
CDK 3.0及更高版本由Apache Kafka提供支持需要JDK 8，并且不支持JDK 7。
版本2.2及更高版本的CDS Powered by Apache Spark，可以安裝在CDH 5上，需要JDK 8。
不支持OpenJDK 7。
19、
我們生產(chǎn)用的
java version "1.8.0_102"
由于影響CDH功能的JDK問(wèn)題，不支持Oracle JDK 8u40,8u45和8u60：
版本2.2及更高版本的CDS Powered by Apache Spark，可以安裝在CDH 5上，需要JDK 8。
CDK 3.0及更高版本由Apache Kafka提供支持需要JDK 8，并且不支持JDK 7。
Oracle JDK 8u60與AWS SDK不兼容，并導(dǎo)致DistCP出現(xiàn)問(wèn)題。
Oracle JDK 8版本經(jīng)過(guò)測(cè)試和推薦Oracle JDK版本說(shuō)明
1.8u181推薦/最新版本測(cè)試
1.8u162推薦/最新版本測(cè)試
1.8u144推薦
1.8u131推薦
1.8u121推薦
1.8u111推薦
1.8u102推薦
1.8u91推薦
1.8u74推薦
1.8u31最低要求
經(jīng)過(guò)測(cè)試和推薦的OpenJDK 1.8版OpenJDK版本說(shuō)明
1.8u181測(cè)試的最低要求/最新版本
20、
Java密碼學(xué)擴(kuò)展（JCE）無(wú)限強(qiáng)度管轄要求如果您使用的是CentOS / Red Hat Enterprise Linux 5.6或更高版本或Ubuntu，則必須在所有群集主機(jī)（包括網(wǎng)關(guān)主機(jī)）上安裝Java Cryptography Extension（JCE）Unlimited Strength Jurisdiction Policy File。這是為了確保JDK使用與Red Hat / CentOS操作系統(tǒng)，Kerberos和CDH群集的其余部分相同的默認(rèn)加密類型（aes256-cts）。
為JDK 1.8.0_151（及更高版本）啟用無(wú)限強(qiáng)度加密
????從JDK 1.8.0_151開始，可以使用JDK 1.8.0_151發(fā)行說(shuō)明中記錄的java.security文件啟用無(wú)限強(qiáng)度加密。您無(wú)需安裝JCE策略文件。
????自JDK 1.8.0_161起，默認(rèn)情況下啟用了無(wú)限強(qiáng)度加密。不需要采取進(jìn)一步行動(dòng)。
所以在生產(chǎn)上要開啟 Kerberos 要用jdk 1.8u181推薦/最新版本測(cè)試 1.8u162推薦/最新版本測(cè)試
21、
磁盤的建議：
????磁盤空間
????????Cloudera Manager Server
????????????分區(qū)托管/ var上有5 GB。
????????????分區(qū)托管/ usr上500 MB。
CDH 5（包括Impala和搜索） - 每個(gè)包裹1.5 GB（已包裝），每包2 GB（未包裝）
????????????????Impala - 每個(gè)包裹200 MB
????????????????Cloudera搜索 - 每個(gè)包400 MB
????????Cloudera管理服務(wù) - 主機(jī)監(jiān)視器和服務(wù)監(jiān)視器數(shù)據(jù)庫(kù)存儲(chǔ)在托管/ var的分區(qū)上。確保此分區(qū)上至少有20 GB可用空間。
默認(rèn)情況下，解壓縮的宗地位于/ opt / cloudera / parcels中。
22、內(nèi)存建議
?RAM - 大多數(shù)情況下建議使用4 GB，在使用Oracle數(shù)據(jù)庫(kù)時(shí)是必需的。對(duì)于少于100臺(tái)主機(jī)的非Oracle部署，2 GB可能就足夠了。
但是，要在具有2 GB RAM的計(jì)算機(jī)上運(yùn)行Cloudera Manager Server，必須調(diào)低其最大堆大?。ㄍㄟ^(guò)修改/ etc / default / cloudera-scm-server中的-Xmx）。否則內(nèi)核可能會(huì)因服用太多RAM而終止服務(wù)器。
[root@NewCDH-0--141 ~]# vim /etc/default/cloudera-scm-server
export CMF_JAVA_OPTS="-Xmx2G -XX:MaxPermSize=256m -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/tmp"
23、
?Python - Cloudera Manager需要Python 2.4或更高版本（但與Python 3.0或更高版本不兼容）。 CDH 5中的Hue和CDH 5的軟件包安裝需要Python 2.6或2.7。所有支持的操作系統(tǒng)都包括Python 2.4或更高版本。 Cloudera Manager通過(guò)最新版本的Python 2.x與Python 2.4兼容。 Cloudera Manager不支持Python 3.0及更高版本。
24、
如果Cloudera Manager Server和Agent在同一主機(jī)上運(yùn)行，??請(qǐng)先安裝Cloudera Manager Server，然后添加python-psycopg2存儲(chǔ)庫(kù)或軟件包。添加存儲(chǔ)庫(kù)或程序包后，安裝Cloudera Manager Agent。
25、
網(wǎng)絡(luò)協(xié)議支持
CDH需要IPv4。不支持IPv6，必須禁用IPv6。
注意：請(qǐng)與操作系統(tǒng)供應(yīng)商聯(lián)系以獲取有關(guān)禁用IPv6的幫
26、
/ etc / hosts文件必須：
????????包含有關(guān)所有主機(jī)上的主機(jī)名和IP地址的一致信息
????????不包含大寫主機(jī)名
????????不包含重復(fù)的IP地址
127.0.0.1 localhost.localdomain localhost
192.168.1.1 cluster-01.example.com cluster-01
192.168.1.2 cluster-02.example.com cluster-02
192.168.1.3 cluster-03.example.com cluster-03
27、cdh對(duì)硬件的要求
/usr 最小5G
Cloudera Manager數(shù)據(jù)庫(kù)5 GB如果Cloudera Manager數(shù)據(jù)庫(kù)與服務(wù)監(jiān)視器和主機(jī)監(jiān)視器共享主機(jī)，則需要更多存儲(chǔ)空間來(lái)滿足這些組件的要求。
28、基于主機(jī)的Cloudera Manager服務(wù)器要求
群集主機(jī)數(shù)量 數(shù)據(jù)庫(kù)主機(jī)配置 堆大小 邏輯處理器 Cloudera Manager Server存儲(chǔ)本地目錄
Very small (≤10) Shared 2 GB 4 5 GB minimum
Small (≤20) Shared 4 GB 6 20 GB minimum
Medium (≤200) Dedicated 8 GB 6 200 GB minimum
Large (≤500) Dedicated 10 GB 8 500 GB minimum
Extra Large (>500) Dedicated 16 GB 16 1 TB minimum
注意：在較小的群集上，Cloudera Manager Server和數(shù)據(jù)庫(kù)可以共享主機(jī)。 在較大的群集上，它們必須在單獨(dú)的專用主機(jī)上運(yùn)行。
29、Service Monitor(服務(wù)監(jiān)視器)要求
使用此表中的建議用于群集，其中具有輔助角色的唯一服務(wù)是HDFS，YARN或Impala。
受監(jiān)視實(shí)體數(shù) 所需的主機(jī)數(shù) Java堆大小 推薦的非Java堆大小
0-2,000 0-100 1 GB 6 GB
2,000-4,000 100-200 1.5 GB 6 GB
4,000-8,000 200-400 1.5 GB 12 GB
8,000-16,000 400-800 2.5 GB 12 GB
16,000-20,000 800-1,000 3.5 GB 12 GB
與HBase，Solr，Kafka或Kudu的集群
在群集中部署HBase，Solr，Kafka或Kudu等服務(wù)時(shí)，請(qǐng)使用這些建議。 這些服務(wù)通常具有更大量的受監(jiān)控實(shí)體。
受監(jiān)視實(shí)體數(shù) 所需的主機(jī)數(shù) Java堆大小 推薦的非Java堆大小
0-30,000 0-100 2 GB 12 GB
30,000-60,000 100-200 3 GB 12 GB
60,000-120,000 200-400 3.5 GB 12 GB
120,000-240,000 400-800 8 GB 20 GB
30.
Reports Manager
Reports Manager定期從NameNode獲取fsimage。 它讀取fsimage并為其創(chuàng)建Lucene索引。 為了提高索引性能，Cloudera建議配置盡可能強(qiáng)大的主機(jī)并將SSD磁盤專用于Reports Manager。
Reports Manager組件Java堆CPU磁盤
報(bào)告管理器是fsimage大小的3-4倍。
???? 最少：8個(gè)核心
???? 推薦：16核（32核，啟用超線程）。
1個(gè)專用磁盤，至少是fsimage大小的20倍。 Cloudera強(qiáng)烈建議使用SSD磁盤。
31、
Cloudera建議RAM為60GB到256GB的節(jié)點(diǎn)
磁盤
???? 根卷：100 GB
???? 應(yīng)用程序塊設(shè)備或掛載點(diǎn)（僅限主控主機(jī)）：1 TB
???? Docker Image Block設(shè)備：1 TB
強(qiáng)烈建議將SSD用于應(yīng)用程序數(shù)據(jù)存儲(chǔ)。
33、flume組件需要的硬件資源 //每個(gè)組件需要的硬件資源建議 見單獨(dú)表格
Java Heap： 最低：1 GB 最大4 GB Java堆大小應(yīng)大于最大通道容量
CPU： 使用以下公式計(jì)算核心數(shù) （來(lái)源數(shù)量+匯數(shù)）/ 2 //(Number of sources + Number of sinks ) / 2
磁盤： 建議將多個(gè)磁盤用于文件通道，JBOD設(shè)置或RAID10（由于可靠性提高而首選）。
hdfs組件需要的硬件資源：
組件 內(nèi)存 CPU 磁盤
JournalNode 1 GB（默認(rèn)）
34、
Cloudera Manager 5.15.2. 5.14.4, 5.13.3, 5.12.2, 5.11.2, 5.10.2, 5.9.3, 5.8.5, 5.7.6, 5.6.1, 5.5.6, 5.4.10, 5.3.10, 5.2.7, 5.1.6, and 5.0.7 are previous stable releases of Cloudera Manager 5.14, 5.13, 5.12, 5.11, 5.10, 5.9, 5.8, 5.7, 5.6, 5.5, 5.4, 5.3, 5.2, 5.1, and 5.0 respectively.
也就是說(shuō)
5.15.2. 5.14.4, 5.13.3, 5.12.2, 5.11.2, 5.10.2, 5.9.3, 5.8.5, 5.7.6, 5.6.1, 5.5.6, 5.4.10, 5.3.10, 5.2.7, 5.1.6, and 5.0.7
分別是
5.14, 5.13, 5.12, 5.11, 5.10, 5.9, 5.8, 5.7, 5.6, 5.5, 5.4, 5.3, 5.2, 5.1, and 5.0 的穩(wěn)定版
，所以，我們?cè)谶x擇安裝的時(shí)候就應(yīng)該選穩(wěn)定版
35、Cloudera Manager 5.16.1下載地址為：
yum RHEL/CentOS/Oracle 7
https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/ https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz
36、
?CDH 5是當(dāng)前的穩(wěn)定版本，基于Apache Hadoop 2.3.0或更高版本。
37 impala是可以脫離cdh單獨(dú)安裝的
Impala 2.2.0及更高版本僅適用于CDH 5，所有包都是64位。
Yum RHEL 6/CentOS 6 (64-bit) //單獨(dú)安裝只支持centos6和5 系統(tǒng)
https://archive.cloudera.com/impala/redhat/6/x86_64/impala/2/
https://archive.cloudera.com/impala/redhat/6/x86_64/impala/cloudera-impala.repo
38、 5.13.x增加的新功能
1、?支持Spark上的Hive上的地圖連接的動(dòng)態(tài)分區(qū)修剪。動(dòng)態(tài)分區(qū)修剪（DPP）是一種數(shù)據(jù)庫(kù)優(yōu)化，可以顯著減少查詢掃描的數(shù)據(jù)量，從而更快地執(zhí)行工作負(fù)載。默認(rèn)情況下禁用它，但可以通過(guò)將hive.spark.dynamic.partition.pruning.map.join.only屬性設(shè)置為true來(lái)啟用它。啟用后，DPP僅觸發(fā)分區(qū)列上的連接是地圖連接的查詢。有關(guān)詳細(xì)信息
2、?Apache Pig現(xiàn)在支持使用HCatalog以Parquet格式編寫分區(qū)Hive表。
3、?Sentry支持Hive Metastore高可用性。
39、
????JDK必須是64位。不要使用32位JDK。
????安裝CDH和Cloudera Manager支持的JDK版本之一。
????在每臺(tái)主機(jī)上安裝相同版本的Oracle JDK。
????在/ usr / java / jdk-version中安裝JDK。
40、
?或者通過(guò)運(yùn)行命令visudo然后添加以下行為cloudera-scm組添加新的sudo配置：
????％cloudera-scm ALL =（ALL）NOPASSWD：ALL
?必須配置Sudo，以便/ usr / sbin在運(yùn)行sudo時(shí)位于路徑中。實(shí)現(xiàn)此目的的一種方法是將以下配置添加到sudoers：
????????使用visudo命令編輯/ etc / sudoers文件
????????將此行添加到配置文件中：
????????默認(rèn)值為secure_path = / sbin：/ bin：/ usr / sbin：/ usr / bin
vim /etc/sudoers,進(jìn)入編輯模式，找到這一行："root ALL=(ALL) ALL"在起下面添加"xxx ALL=(ALL) NOPASSWD:ALL"
41
cdh推薦安裝mysql的鏈接 https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_ig_mysql.html 必看
mysql的配置文件 cloudera推薦的
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES42、MySQL 5.6需要5.1驅(qū)動(dòng)程序版本5.1.26或更高版本。
Cloudera建議您在有限數(shù)量的主機(jī)上合并所有需要數(shù)據(jù)庫(kù)的角色，并在這些主機(jī)上安裝驅(qū)動(dòng)程序。 建議在同一主機(jī)上定位所有此類角色，但不是必需的。
確保在運(yùn)行訪問(wèn)數(shù)據(jù)庫(kù)的角色的每個(gè)主機(jī)上安裝JDBC驅(qū)動(dòng)程序。
注意：Cloudera建議僅使用JDBC驅(qū)動(dòng)程序的5.1版。
我們線上的jdbc 版本為 mysql-connector-java-5.1.35-bin.jar
mysql安裝的是5.6的 版本
//下載地址和實(shí)際操作 官方用的推薦的版本為：mysql-connector-java-5.1.46.tar.gz
Download the MySQL JDBC driver from http://www.mysql.com/downloads/connector/j/5.1.html (in .tar.gz format).
Extract the JDBC driver JAR file from the downloaded file. For example:
tar zxvf mysql-connector-java-5.1.46.tar.gz
Copy the JDBC driver, renamed, to /usr/share/java/. If the target directory does not yet exist, create it. For example:
sudo mkdir -p /usr/share/java/
cd mysql-connector-java-5.1.46
sudo cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar
43、Sqoop 2有一個(gè)內(nèi)置的Derby數(shù)據(jù)庫(kù)，但是Cloudera建議您使用PostgreSQL數(shù)據(jù)庫(kù)
//默認(rèn)是Derby數(shù)據(jù)庫(kù) Derby以嵌入模式運(yùn)行，無(wú)法監(jiān)控其運(yùn)行狀況。
????雖然有可能，Cloudera目前沒(méi)有嵌入式Derby數(shù)據(jù)庫(kù)的實(shí)時(shí)備份策略。
44、mysql數(shù)據(jù)庫(kù)需要備份
備份MySQL數(shù)據(jù)庫(kù)
要備份MySQL數(shù)據(jù)庫(kù)，請(qǐng)?jiān)贛ySQL主機(jī)上運(yùn)行mysqldump命令，如下所示：m
$ mysqldump -hhostname -uusername -ppassword database> /tmp/database-backup.sql
例如，要備份在創(chuàng)建Cloudera軟件數(shù)據(jù)庫(kù)中創(chuàng)建的活動(dòng)監(jiān)視器數(shù)據(jù)庫(kù)，請(qǐng)?jiān)诒镜刂鳈C(jī)上以root用戶身份使用密碼amon_password：
$ mysqldump -pamon_password amon> /tmp/amon-backup.sql
要以root用戶身份備份遠(yuǎn)程主機(jī)myhost.example.com上的示例活動(dòng)監(jiān)視器數(shù)據(jù)庫(kù)，請(qǐng)使用密碼amon_password：
$ mysqldump -hmyhost.example.com -uroot -pamon_password amon> /tmp/amon-backup.sql
45、Cloudera Manager中存儲(chǔ)度量標(biāo)準(zhǔn)數(shù)據(jù)以及存儲(chǔ)限制如何影響數(shù)據(jù)保留的信息
服務(wù)監(jiān)視器存儲(chǔ)時(shí)間序列數(shù)據(jù)和運(yùn)行狀況數(shù)據(jù)，Impala查詢?cè)獢?shù)據(jù)和YARN應(yīng)用程序元數(shù)據(jù)。默認(rèn)情況下，數(shù)據(jù)存儲(chǔ)在Service Monitor主機(jī)上的/ var / lib / cloudera-service-monitor /中。您可以通過(guò)修改服務(wù)監(jiān)視器存儲(chǔ)目錄配置（firehose.storage.base.directory）來(lái)更改此設(shè)置。
時(shí)間序列指標(biāo)和運(yùn)行狀況數(shù)據(jù) - 時(shí)間序列存儲(chǔ)（firehose_time_series_storage_bytes - 默認(rèn)值為10 GB，最小值為10 GB）
????Impala查詢?cè)獢?shù)據(jù) - Impala存儲(chǔ)（firehose_impala_storage_bytes - 默認(rèn)為1 GB）
????YARN應(yīng)用程序元數(shù)據(jù) - YARN存儲(chǔ)（firehose_yarn_storage_bytes - 默認(rèn)為1 GB）
cdh的 解釋：
專用于存儲(chǔ) Impala 查詢數(shù)據(jù)的磁盤空間近似量。存儲(chǔ)達(dá)到其最大值后，將會(huì)刪除較舊的數(shù)據(jù)，以便為更新的查詢騰出空間。磁盤使用情況是大概情況，因?yàn)橹挥羞_(dá)到限值后才會(huì)刪除數(shù)據(jù)。
專用于存儲(chǔ)時(shí)間序列和運(yùn)行狀況數(shù)據(jù)的磁盤空間近似量。存儲(chǔ)達(dá)到其最大值后，將會(huì)刪除較舊的數(shù)據(jù)，以便為更新的數(shù)據(jù)騰出空間。磁盤使用情況是大概情況，因?yàn)橹挥羞_(dá)到限值后才會(huì)刪除數(shù)據(jù)。
46、
在cdh監(jiān)控端 cloudera-sever-manager 配置
與HBase，Solr，Kafka或Kudu的集群
在群集中部署HBase，Solr，Kafka或Kudu等服務(wù)時(shí)使用建議。 這些服務(wù)通常具有更大量的受監(jiān)控實(shí)體。
受監(jiān)視實(shí)體數(shù) 所需的主機(jī)數(shù) Java堆大小 推薦的非Java堆大小
0-30,000 0-100 2 GB 12 GB
具有HDFS，YARN或Impala的群集
使用此表中的建議用于群集，其中只有具有輔助角色的服務(wù)是HDFS，YARN或Impala。
0-2,000 0-100 1 GB 6 GB
47、步驟2自定義規(guī)則排除靜態(tài)服務(wù)池向?qū)?br/>HDFS
For the NameNode and Secondary NameNode JVM heaps, the minimum is 50 MB and the ideal is max(4 GB, sum_over_all(DataNode mountpoints’ available space) / 0.000008).
//NameNode and Secondary NameNode JVM heaps 推薦 JVM堆 4G
MapReduce
For the JobTracker JVM heap, the minimum is 50 MB and the ideal is max(1 GB, round((1 GB 2.3717181092 ln(number of TaskTrackers in MapReduce service)) - 2.6019933306)). If the number of TaskTrackers <= 5, the ideal is 1 GB.
For the mapper JVM heaps, the minimum is 1 and the ideal is the number of cores, including hyperthreads, on the TaskTracker host. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a task's heap).
For the reducer JVM heaps, the minimum is 1 and the ideal is (number of cores, including hyperthreads, on the TaskTracker host) / 2. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a task's heap).
//對(duì)于JobTracker JVM堆 推薦值為1G
mapper JVM heaps 推薦值為1G
the reducer JVM heaps 推薦值為1G
HBase
For the memory total allowed for HBase RegionServer JVM heap, the minimum is 50 MB and the ideal is min (31 GB ,(total RAM on region server host) 0.64)
//對(duì)于HBase RegionServer JVM堆允許的內(nèi)存總量，最小值為50 MB，理想值為min（31 GB，（區(qū)域服務(wù)器主機(jī)上的總RAM） 0.64）
YARN
For the memory total allowed for containers, the minimum is 1 GB and the ideal is (total RAM on NodeManager host) 0.64.
//對(duì)于容器允許的內(nèi)存總量，最小值為1 GB 理想值為（NodeManager主機(jī)上的總RAM） 0.64。
Hue
With the exception of the Beeswax Server (only in CDH 4), Hue roles do not have memory limits. Therefore, Cloudera Manager treats them as roles that consume a fixed amount of memory by setting their minimum and ideal consumption values, but not their configuration values. The two consumption values are set to 256 MB.
//除了Beeswax Server（僅在CDH 4中），Hue角色沒(méi)有內(nèi)存限制。因此，Cloudera Manager通過(guò)設(shè)置最小和理想消耗值而不是其配置值，將它們視為消耗固定內(nèi)存量的角色。兩個(gè)消耗值設(shè)置為256 MB。
Impala
With the exception of the Impala daemon, Impala roles do not have memory limits. Therefore, Cloudera Manager treats them as roles that consume a fixed amount of memory by setting their minimum/ideal consumption values, but not their configuration values. The two consumption values are set to 150 MB for the Catalog Server and 64 MB for the StateStore.
For the Impala Daemon memory limit, the minimum is 256 MB and the ideal is (total RAM on daemon host) 0.64.
//除Impala守護(hù)程序外，Impala角色沒(méi)有內(nèi)存限制。因此，Cloudera Manager通過(guò)設(shè)置最小/理想消耗值而不是其配置值，將它們視為消耗固定內(nèi)存量的角色。目錄服務(wù)器的兩個(gè)消耗值設(shè)置為150 MB，StateStore設(shè)置為64 MB。對(duì)于Impala Daemon內(nèi)存限制，最小值為256 MB，理想值為（守護(hù)程序主機(jī)上的總RAM） 0.64。
Solr
For the Solr Server JVM heap, the minimum is 50 MB and the ideal is min(64 GB, (total RAM on Solr Server host) 0.64) / 2.6. For the Solr Server JVM direct memory segment, the minimum is 256 MB and the ideal is min(64 GB, (total RAM on Solr Server host) 0.64) / 2.
//對(duì)于Solr Server JVM堆，最小值為50 MB，理想值為min（64 GB，（Solr Server主機(jī)上的總RAM） 0.64）/ 2.6。
對(duì)于Solr Server JVM直接內(nèi)存段，最小值為256 MB，理想值為min（64 GB，（Solr Server主機(jī)上的總RAM） 0.64）/ 2。
Cloudera Management Service
Alert Publisher JVM heap - Treated as if it consumed a fixed amount of memory by setting the minimum/ideal consumption values, but not the configuration values. The two consumption values are set to 256 MB.
//通過(guò)設(shè)置最小/理想消耗值而不是配置值來(lái)處理，就好像它消耗了固定數(shù)量的內(nèi)存一樣。兩個(gè)消耗值設(shè)置為256 MB。
Service and Host Monitor JVM heaps - The minimum is 50 MB and the ideal is either 256 MB (10 or fewer managed hosts), 1 GB (100 or fewer managed hosts), or 2 GB (over 100 managed hosts).
//最小值為50 MB，理想值為256 MB（10個(gè)或更少的托管主機(jī)），1 GB（100個(gè)或更少的托管主機(jī)）或2 GB（超過(guò)100個(gè)托管主機(jī)）。
Event Server, Reports Manager, and Navigator Audit Server JVM heaps - The minimum is 50 MB and the ideal is 1 GB.
//Event Server, Reports Manager, and Navigator Audit Server JVM heaps 1 GB
Navigator Metadata Server JVM heap - The minimum is 512 MB and the ideal is 2 GB.
Service and Host Monitor off-heap memory segments - The minimum is either 768 MB (10 or fewer managed hosts), 2 GB (100 or fewer managed hosts), or 6 GB (over 100 managed hosts). The ideal is always twice the minimum.
步驟3靜態(tài)服務(wù)池向?qū)У淖远x規(guī)則
YARN
For the memory total allowed for containers, the minimum is 1 GB and the ideal is min(8 GB, (total RAM on NodeManager host) 0.8 service percentage chosen in wizard).
//對(duì)于容器允許的內(nèi)存總量，最小值為1 GB，理想值為min（8 GB，（NodeManager主機(jī)上的總RAM） 0.8 向?qū)е羞x擇的服務(wù)百分比）。
Impala
For the Impala Daemon memory limit, the minimum is 256 MB and the ideal is ((total RAM on Daemon host) 0.8 service percentage chosen in wizard).
//對(duì)于Impala Daemon內(nèi)存限制，最小值為256 MB，理想值為（（守護(hù)程序主機(jī)上的總RAM） 0.8 在向?qū)е羞x擇的服務(wù)百分比）。
MapReduce
Mapper JVM heaps - the minimum is 1 and the ideal is (number of cores, including hyperthreads, on the TaskTracker host service percentage chosen in wizard). Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a given task's heap).
//Mapper JVM heaps最小值為1，理想值為（在向?qū)е羞x擇的TaskTracker主機(jī)服務(wù)百分比上的核心數(shù)，包括超線程）。 內(nèi)存消耗由mapred_child_java_opts_max_heap（給定任務(wù)的堆的大小）進(jìn)行縮放。
Reducer JVM heaps - the minimum is 1 and the ideal is (number of cores, including hyperthreads on the TaskTracker host service percentage chosen in wizard) / 2. Memory consumption is scaled by mapred_child_java_opts_max_heap (the size of a given task's heap).
//Reducer JVM堆 - 最小值為1，理想值為（核心數(shù)，包括在向?qū)е羞x擇的TaskTracker主機(jī)服務(wù)百分比上的超線程）/ 2.內(nèi)存消耗由mapred_child_java_opts_max_heap（給定任務(wù)堆的大?。┻M(jìn)行縮放。
Step 3 Generic Rule
For every {role, segment} pair, the segment's current value is converted into bytes, and then multiplied by the scale factor (1.0 by default, 1.3 for JVM heaps, and freely defined for Custom Service Descriptor services).
//
第3步通用規(guī)則
對(duì)于每個(gè){role，segment}對(duì)，段的當(dāng)前值將轉(zhuǎn)換為字節(jié)，然后乘以比例因子（默認(rèn)情況下為1.0，JVM堆為1.3，自定義服務(wù)描述符服務(wù)自由定義）。
48、修改hbase的gc配置https://www.cloudera.com/documentation/enterprise/5-13-x/topics/admin_hbase_garbage_collection.html
??在每個(gè)RegionServer上，編輯conf / hbase-env.sh。
????在以HBASE_OPTS開頭的行上添加或修改JVM配置選項(xiàng)。
????重新啟動(dòng)RegionServer。
在界面上也可以配置
50、hbase禁用BoundedByteBufferPool
51、Cloudera Manager包含內(nèi)部機(jī)架感知腳本，但您必須指定群集中主機(jī)所在的機(jī)架。如果您的群集包含10個(gè)以上的主機(jī)，Cloudera建議您為每個(gè)主機(jī)指定機(jī)架。 HDFS，MapReduce和YARN將自動(dòng)使用您指定的機(jī)架。
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.html
52、cdh不同版本支持的操作系統(tǒng) 參考鏈接為
https://blog.csdn.net/high3011/article/details/78131668
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#concept_xdm_rgj_j1b
參考鏈接：
講解了cdh中組件的通用規(guī)則 *****
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_autoconfig.html
MYSQL 基于GTID的復(fù)制 https://www.cnblogs.com/yg_zhang/p/5914824.html
