今天就跟大家聊聊有關(guān)如何進(jìn)行ProxmoxVE V6.0 新特性的分析，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

成都創(chuàng)新互聯(lián)是一家專業(yè)提供沙灣企業(yè)網(wǎng)站建設(shè),專注與成都做網(wǎng)站、網(wǎng)站建設(shè)、H5網(wǎng)站設(shè)計(jì)、小程序制作等業(yè)務(wù)。10年已為沙灣眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

    2019年7月proxmox發(fā)布了PVE 6.0版本，主要是debian操作系統(tǒng)以及ceph版本、以及其他關(guān)鍵組件進(jìn)行了相關(guān)的升級(jí)。PVE自身功能方面，最主要的是能夠?qū)崿F(xiàn)本地磁盤虛擬機(jī)實(shí)現(xiàn)熱遷移。

    對(duì)我來說，V6.0版本有3個(gè)地方有重大改進(jìn)：

    1、逆天新功能，本地磁盤虛擬機(jī)實(shí)現(xiàn)熱遷移

    此次V6.0版本有一個(gè)逆天的新功能，宿主機(jī)本地盤（local disk）上的虛擬機(jī)可以實(shí)現(xiàn)熱遷移！ 

    大家一般的認(rèn)識(shí)，熱遷移一般都是使用分布式存儲(chǔ)、或者共享磁盤的情況下才能實(shí)現(xiàn)，PVE打破了這個(gè)限制。這項(xiàng)功能更加豐富了特定應(yīng)用場(chǎng)景的使用，比如有些人對(duì)分布式存儲(chǔ)就是不感冒，就是喜歡用本地存儲(chǔ)，現(xiàn)在也能使用虛擬機(jī)的熱遷移功能了。

    2、零命令行，實(shí)現(xiàn)集群搭建

    我發(fā)現(xiàn)proxmox有一個(gè)持續(xù)改進(jìn)的思路，就是零命令行！這一點(diǎn)對(duì)于很多開源產(chǎn)品的用戶來說，簡(jiǎn)直是直接戳到了用戶的心窩窩（別想歪了），太貼心了。

    通過web管理界面，你不需要配置什么雙網(wǎng)卡bond，不需要安裝復(fù)雜的集群軟件和復(fù)雜的集群配置，不需要輸入哪怕一條命令！

    只需要將所有宿主物理服務(wù)器安裝好PVE環(huán)境，然后在第一個(gè)節(jié)點(diǎn)創(chuàng)建集群，在第二個(gè)節(jié)點(diǎn)加入集群（復(fù)制粘貼秘鑰），第三個(gè)節(jié)點(diǎn)加入集群（復(fù)制粘貼秘鑰），第四個(gè)節(jié)點(diǎn)加入集群（復(fù)制粘貼秘鑰）。。。。完事。

    3、零命令行，實(shí)現(xiàn)ceph集群的搭建和管理

    通過web界面，不需要配置yum源安裝ceph集群軟件，不需要配置一堆ceph集群參數(shù)，直接點(diǎn)ceph，會(huì)提示下一步（后臺(tái)自動(dòng)安裝軟件），下一步（ceph參數(shù)配置），下一步，完事。

    通過web界面，可以很好的管理ceph集群，比如，查看每個(gè)ceph服務(wù)所在位置，狀態(tài)，版本，停止OSD磁盤、mon、mds等，啟動(dòng)OSD磁盤、mon、mds等 。

    其實(shí)，以上的第2點(diǎn)和第3點(diǎn)在5.4版本也已經(jīng)實(shí)現(xiàn)了，我是根據(jù)官網(wǎng)發(fā)布的介紹視頻做的一個(gè)文字總結(jié)而已。

    今天抽空驗(yàn)證一下第1點(diǎn)，本地磁盤虛擬機(jī)實(shí)現(xiàn)熱遷移。

    先說結(jié)論：

    1、pve6.0版本能夠?qū)崿F(xiàn)本地磁盤虛擬機(jī)熱遷移；

    2、整個(gè)過程沒有在pve后端執(zhí)行一條命令（測(cè)試除外）；

    具體過程詳見下面的操作記錄。

設(shè)計(jì)思路：

基本想法是，3個(gè)以上物理節(jié)點(diǎn)的集群環(huán)境，組成HA，具體設(shè)想如下：

    1.網(wǎng)絡(luò)方面需要內(nèi)部集群管理（corosync）網(wǎng)絡(luò)，業(yè)務(wù)網(wǎng)絡(luò)，2個(gè)網(wǎng)絡(luò)。由于是測(cè)試本地磁盤虛擬機(jī)遷移，因此沒有ceph集群網(wǎng)絡(luò)。

    2.存儲(chǔ)方面，除了系統(tǒng)盤之外，每臺(tái)物理機(jī)使用1塊硬盤作為本地lvm存儲(chǔ)，用作虛擬機(jī)的磁盤使用，因?yàn)槲覀冞@里需要測(cè)試6.0的本地磁盤虛擬機(jī)實(shí)現(xiàn)熱遷移，因此不建ceph分布式存儲(chǔ)集群；

    3.CPU和內(nèi)存方面根據(jù)實(shí)際需求確定，這里不贅述。

操作記錄：

一.環(huán)境準(zhǔn)備：

    基于以上考慮，在這臺(tái)pve環(huán)境上面，創(chuàng)建3個(gè)虛擬機(jī)，3vcpu/12G內(nèi)存/2塊硬盤/2塊網(wǎng)卡 ，其中硬盤方面1塊硬盤為系統(tǒng)盤31G，1塊50G的lvm盤，網(wǎng)卡方面1塊網(wǎng)卡作為虛擬機(jī)網(wǎng)絡(luò)（192.168.170.0/24網(wǎng)段）使用，1塊網(wǎng)卡給集群使用（192.168.1.0/24網(wǎng)段）。創(chuàng)建虛擬機(jī)如下：

 剩下2臺(tái)測(cè)試虛擬機(jī)，直接克隆，分別為pve-2，pve-3 .

    接下來分別啟動(dòng)pve-1，pve-2，pve-3 進(jìn)行proxmox VE的安裝，如下圖：

注意，我這里使用PVE創(chuàng)建PVE虛擬機(jī)，需要用到虛擬化嵌套，安裝PVE的時(shí)候提示沒有開啟kvm虛擬化功能，后面會(huì)給出解決辦法。如下提示，點(diǎn)OK：

安裝步驟都很簡(jiǎn)單，傻瓜式的，其中選擇硬盤會(huì)默認(rèn)第一塊硬盤安裝系統(tǒng)，然后是設(shè)置root密碼（123456）等等，網(wǎng)絡(luò)配置步驟：

 3臺(tái)虛擬機(jī)同時(shí)安裝，非?？?，不到10分鐘，居然就安裝完了！感覺比裝vmware的ESXI也更快啊。

點(diǎn)右下角的Reboot重啟。

第一階段搞定，后面就可以建集群，配網(wǎng)絡(luò)，建存儲(chǔ)之類的后續(xù)操作了。

    通過輸入網(wǎng)址：

    https://192.168.1.111:8006

    https://192.168.1.112:8006

    https://192.168.1.113:8006

    分別可以管理這3臺(tái)pve。

二.配置網(wǎng)絡(luò)

    先將第二塊網(wǎng)卡的網(wǎng)絡(luò)配上，系統(tǒng)安裝過程中配置了第一塊網(wǎng)卡作為內(nèi)部管理集群網(wǎng)絡(luò)，網(wǎng)段是192.168.1.0/24 ，登陸系統(tǒng)后可以發(fā)現(xiàn)這個(gè)地址是配置在網(wǎng)橋上的，網(wǎng)橋上搭一塊網(wǎng)卡進(jìn)行橋接，因此新建一個(gè)網(wǎng)橋并配置192.168.170.0/24網(wǎng)段的地址給它，搭另一塊網(wǎng)卡進(jìn)行橋接，如下圖：

  注意第一塊網(wǎng)卡設(shè)置了網(wǎng)關(guān)是192.168.1.1，這塊網(wǎng)卡就不能設(shè)置網(wǎng)關(guān)了 。這個(gè)比較好理解，其實(shí)就是在主機(jī)上設(shè)置了默認(rèn)網(wǎng)關(guān)，只能有一個(gè)。

    增加完網(wǎng)橋之后，需要重啟pve節(jié)點(diǎn)生效配置。（網(wǎng)絡(luò)更改都需要重啟節(jié)點(diǎn)才能生效。）

三.存儲(chǔ)設(shè)置

    接下來處理存儲(chǔ)，進(jìn)去看pve節(jié)點(diǎn)的存儲(chǔ)，安裝的時(shí)候安裝程序會(huì)默認(rèn)在安裝盤上建立一個(gè)vg，名稱是pve，在這個(gè)vg上建立swap/root/data三個(gè)lv ，其中root這個(gè)lv上掛載/根目錄。 安裝完成之后直接默認(rèn)有兩個(gè)存儲(chǔ)ID，一個(gè)是local，對(duì)應(yīng)的是目錄型存儲(chǔ)，掛載目錄是/var/lib/vz ，一個(gè)是local-lvm，掛載的是data這個(gè)lv，這個(gè)lv的類型是lvm-thin ，lvm-thin這種類型很適合虛擬機(jī)使用，具體如何創(chuàng)建后面再介紹。另外，pve的各種存儲(chǔ)類型主要有目錄型/lvm/lvm-thin/zfs/nfs/ceph等等，具體可以參考官網(wǎng)的admin文檔。

    我當(dāng)初的設(shè)計(jì)是需要將最后一塊50G的盤/dev/sdb作為虛擬機(jī)磁盤存儲(chǔ)，直接在web界面上創(chuàng)建：

上傳第一個(gè)ISO鏡像，通過scp程序，我用的是winscp，直接從本機(jī)上傳到pve-1的/var/lib/vz/templates/iso/目錄中：

四.創(chuàng)建集群：

    注意：在創(chuàng)建集群前，先確保3個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)配置都已經(jīng)配置好了，不要忘了重啟pve使網(wǎng)絡(luò)配置生效。    

    在其中一臺(tái)pve服務(wù)器的web管理界面上首先創(chuàng)建一個(gè)集群，如下圖：

點(diǎn)擊上面的“copy information” ,在另外2個(gè)pve節(jié)點(diǎn)加入這個(gè)集群，如下：

完成之后，隨便登錄一臺(tái)pve的web管理界面，可以看到3臺(tái)pve節(jié)點(diǎn)的集群信息：

發(fā)現(xiàn)pve-2和pve-3上的第2塊硬盤還沒有創(chuàng)建成lvm-thin盤，使用與pve-1一樣的方法，創(chuàng)建lvm-thin盤，本地盤，用于存放虛擬機(jī)鏡像，創(chuàng)建好之后如下：

五、熱遷移功能驗(yàn)證（本地磁盤虛擬機(jī)）

    萬事俱備，只欠東風(fēng)。我們前面創(chuàng)建了3個(gè)節(jié)點(diǎn)的集群，集群主機(jī)沒有使用分布式存儲(chǔ)ceph，而是準(zhǔn)備使用本地lvm-thin磁盤存放虛擬機(jī)鏡像，現(xiàn)在我們來創(chuàng)建一個(gè)測(cè)試虛擬機(jī)，比如在pve-1上面創(chuàng)建一個(gè)centos7的虛擬機(jī)，然后熱遷移到pve-2或者pve-3上面。

    虛擬機(jī)配置如下：

啟動(dòng)虛擬機(jī)，報(bào)錯(cuò)：

上面提到的虛擬化嵌套的問題。原來的解決辦法是通過kvm的虛擬化嵌套解決，后面我發(fā)現(xiàn)有更簡(jiǎn)單的辦法，就是在創(chuàng)建嵌套虛擬機(jī)的時(shí)候，將CPU類型選擇為host，如下：

重新啟動(dòng)上面創(chuàng)建的虛擬機(jī)，成功！

安裝完成，開始進(jìn)行熱遷移測(cè)試，從pve-1遷移到pve-2上，注意，現(xiàn)在pve-1、pve-2、pve-3都只有本地磁盤，沒有共享存儲(chǔ)或者分布式存儲(chǔ)ceph，可以看到有提示：

Migration with local disk might take long .

意思是本地磁盤虛擬機(jī)遷移會(huì)花費(fèi)很長(zhǎng)時(shí)間。如下圖：

報(bào)錯(cuò)：

需要將虛擬機(jī)的cdrom卸載掉：

再次測(cè)試，可以了：

遷移的同時(shí)，打開終端做ping測(cè)試，看看是否影響虛擬機(jī)的正常使用：

發(fā)現(xiàn)遷移過程不影響使用。遷移的原理應(yīng)該是后臺(tái)拷貝虛擬機(jī)鏡像文件到目標(biāo)pve節(jié)點(diǎn)，保存虛擬機(jī)運(yùn)行狀態(tài)以及增量更新數(shù)據(jù)，等拷貝完成后，將增量更新數(shù)據(jù)拷貝到新節(jié)點(diǎn)，同時(shí)將虛擬機(jī)運(yùn)行狀態(tài)轉(zhuǎn)移到目標(biāo)pve節(jié)點(diǎn)，將源pve節(jié)點(diǎn)虛擬機(jī)關(guān)閉，在目標(biāo)pve節(jié)點(diǎn)開啟虛擬機(jī)。

熱遷移成功！從上面可以看到，虛擬機(jī)已經(jīng)從pve-1遷移到了pve-2上了。

觀察ping的結(jié)果，丟包率為0，說明虛擬機(jī)正常運(yùn)行，未受到遷移的影響。

后面附上遷移過程的日志，有心的同學(xué)可以自行研究一下，proxmoxVE是怎么實(shí)現(xiàn)本地磁盤虛擬機(jī)熱遷移的，日志如下：

Task viewer: VM 100 - Migrate (pve-1 ---> pve-2)

OutputStatus

Stop