專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)化德免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了成百上千企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

 上面左邊是我的個人微信，如需進一步溝通，請加微信。  右邊是我的公眾號“Openstack私有云”，如有興趣，請關(guān)注。

    公司有兩臺測試服務(wù)器，是華為的RH2288 V3 ，配置64G內(nèi)存，2顆16核CPU ，4塊1TSAS盤，原來是單機使用，為了更充分的利用硬件資源，計劃將這兩臺服務(wù)器安裝PVE5-3進行虛擬化。具體的設(shè)計思路如下：

    兩臺服務(wù)器主要用在公司內(nèi)部開發(fā)測試環(huán)境使用，同時也有計劃給云桌面使用，所以，需要考慮一定的安全性。具體規(guī)劃：

    1、存儲方面，服務(wù)器的4塊硬盤前兩塊做raid1，安裝pve系統(tǒng)，并且后續(xù)的云桌面虛擬機以及重要的虛擬機使用這個盤；后面2塊盤，一塊單獨作lvm給虛擬機使用，一塊做成NFS共享存儲，給虛擬機做備份使用；并且虛擬機備份注意交叉?zhèn)浞荩热鏿ve1上的虛擬機備份到pve2上的nfs盤上，pve2上的虛擬機備份到pve1上的nfs，這樣如果一臺服務(wù)器故障，可以最大限度保護數(shù)據(jù)；

    2、網(wǎng)絡(luò)方面，有2個網(wǎng)絡(luò)，將其中一個網(wǎng)絡(luò)作為管理網(wǎng)絡(luò)（集群管理corosync網(wǎng)絡(luò)），一個物理網(wǎng)絡(luò)作為業(yè)務(wù)網(wǎng)絡(luò)（虛擬機業(yè)務(wù)網(wǎng)絡(luò)）。由于沒有使用ceph分布式存儲，因此這里不涉及到存儲網(wǎng)絡(luò)的設(shè)計。真正使用的時候，由于公司內(nèi)部網(wǎng)絡(luò)流量不是很大，建虛擬機的時候，會同時使用管理網(wǎng)絡(luò)，即虛擬機會同時有2塊網(wǎng)卡，分別接入2個網(wǎng)絡(luò)。

    3、兩臺服務(wù)器之間的關(guān)系，由于只有2臺物理服務(wù)器，做集群需要3臺，因為2臺的集群當(dāng)1臺服務(wù)器關(guān)機的時候集群會發(fā)生腦裂，不適合建集群。同時為了最大化利用硬件資源，以及省電，正式使用的時候，下班和節(jié)假日期間都會關(guān)閉其中1臺或者全部關(guān)電，所以，我的這個環(huán)境并不適合做集群。

首先是將物理機的前2塊磁盤做raid1，完成之后如下圖：

接著安裝pve5-3，詳細過程不贅述，主要是設(shè)置root密碼以及設(shè)置IP地址，如下圖：

大概20分鐘安裝一個PVE節(jié)點，安裝完成之后，就可以開始進入pve 的web管理界面使用了，如下圖：

接下來配置網(wǎng)絡(luò)，新建一個網(wǎng)橋并配置192.168.1.0/24網(wǎng)段的地址給它，搭另一塊網(wǎng)卡進行橋接，如下圖：

注意，網(wǎng)絡(luò)配置需要重啟服務(wù)器才會生效。上面沒有配置網(wǎng)關(guān)，是因為另外一個網(wǎng)橋已經(jīng)配置了網(wǎng)關(guān)，如果這里也配置，會報錯。

接下來配置存儲，如下：

    pvcreate /dev/sdb     ---將第二塊盤劃分一個pv
    vgcreate pve1-vg-sdb /dev/sdb   ---創(chuàng)建vg
    lvcreate --thin -L 900G -n pve1-lvm-vm pve1-vg-sdb     ---將vg的所有空間都給lv ，類型是thin，lv名稱是pve1-lvm-vm

之后，就可以在pve 的web管理界面創(chuàng)建對應(yīng)的lvm ，如下圖：

接下來再創(chuàng)建nfs服務(wù)器，將第四塊盤作為nfs共享盤掛載到nfs服務(wù)。

    pvcreate /dev/sdc     ---將第三塊盤劃分一個pv
    vgcreate pve1-vg-sdc /dev/sdc   ---創(chuàng)建vg
    lvcreate -l  100%VG -n pve1-lvm-nfs pve1-vg-sdc     ---將vg的所有空間都給lv ，lv名稱是pve1-lvm-nfs
mkfs.xfs /dev/pve1-vg-sdc/pve1-lvm-nfs
mkdir -p /data/pve1-nfs
    設(shè)置掛載點 :
    mount /dev/pve1-vg-sdc/pve1-lvm-nfs /data/pve1-nfs
    在/etc/fstab文件中寫入下面這行，使開機自動掛載：
    /dev/pve1-vg-sdc/pve1-lvm-nfs /data/pve1-nfs xfs defaults 0 0
執(zhí)行如下命令進行nfs服務(wù)端的安裝。
apt-get install nfs-common nfs-kernel-server
配置共享目錄
vi /etc/exports
增加如下內(nèi)容：
/data/pve1-nfs     *(rw,sync,no_root_squash,no_subtree_check,insecure)
啟動nfs服務(wù)端
/etc/init.d/nfs-kernel-server start

注：如果修改了/etc/exports的內(nèi)容，執(zhí)行 exportfs -a  進行更新

這樣，在web界面上就可以使用上面共享出來的nfs共享目錄了，如下圖：

    最后，更改一下軟件源，默認是訂閱版，需要收費，更改為非訂閱版，如下：

將/etc/apt/sources.list.d/pve-enterprise.list  文件內(nèi)的唯一一條記錄注釋掉：
#deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise

wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade

    至此，一個PVE節(jié)點搞定！

    第二臺PVE節(jié)點基本一樣，不一樣的地方是這臺服務(wù)器沒有做raid，充分利用存儲資源，配置存儲，將sdb和sdc兩塊盤劃分到一個vg，使用thin lv專門供虛擬機存儲池使用，如下：

    pvcreate /dev/sdb     ---將第二塊盤劃分一個pv
    pvcreate /dev/sdc    ---將第三塊盤劃分一個pv  
    vgcreate pve2-vg-vm /dev/sdb /dev/sdc   ---創(chuàng)建vg
    lvcreate --thin -L 1800G -n pve2-lvm-vm pve2-vg-vm     ---將vg的所有空間都給lv ，類型是thin，lv名稱是pve1-lvm-vm

    第二臺服務(wù)器創(chuàng)建nfs服務(wù)器，將第四塊盤作為nfs共享盤掛載到nfs服務(wù)。

    pvcreate /dev/sdd     ---將第四塊盤劃分一個pv
    vgcreate pve2-vg-nfs /dev/sdd   ---創(chuàng)建vg
    lvcreate -l  100%VG -n pve2-lvm-nfs pve2-vg-nfs     ---將vg的所有空間都給lv ，lv名稱是pve2-lvm-nfs
mkfs.xfs /dev/pve2-vg-nfs/pve2-lvm-nfs
mkdir -p /data/pve2-nfs
    設(shè)置掛載點 :
    mount /dev/pve2-vg-nfs/pve2-lvm-nfs /data/pve2-nfs
    在/etc/fstab文件中寫入下面這行，使開機自動掛載：
    /dev/pve2-vg-nfs/pve2-lvm-nfs /data/pve2-nfs xfs defaults 0 0
執(zhí)行如下命令進行nfs服務(wù)端的安裝。
apt-get install nfs-common nfs-kernel-server
配置共享目錄
vi /etc/exports
增加如下內(nèi)容：
/data/pve2-nfs     *(rw,sync,no_root_squash,no_subtree_check,insecure)
啟動nfs服務(wù)端
/etc/init.d/nfs-kernel-server start

注：如果修改了/etc/exports的內(nèi)容，執(zhí)行 exportfs -a  進行更新

    開始上傳ISO鏡像，創(chuàng)建虛擬機，如果使用容器虛擬機，下載template模板鏡像，在此不贅述。