現(xiàn)在很多服務(wù)器都自帶雙千兆網(wǎng)口，利用網(wǎng)卡綁定既能增加網(wǎng)絡(luò)帶寬，同時(shí)又能做相應(yīng)的冗余，目前應(yīng)用于很多的場景。Linux操作系統(tǒng)下自帶的網(wǎng)卡綁定模式，linux bonding驅(qū)動(dòng)提供了一個(gè)把多個(gè)網(wǎng)絡(luò)接口設(shè)備捆綁為單個(gè)網(wǎng)絡(luò)接口設(shè)置來使用，用于網(wǎng)絡(luò)負(fù)載均衡及網(wǎng)絡(luò)冗余。當(dāng)然現(xiàn)在網(wǎng)卡產(chǎn)商也會(huì)出一些針對(duì)windows操作系統(tǒng)網(wǎng)卡管理軟件來做網(wǎng)卡綁定（windows操作系統(tǒng)沒有網(wǎng)卡綁定功能 需要第三方支持）。
一、 Bonding的應(yīng)用
1、 網(wǎng)絡(luò)負(fù)載均衡
對(duì)于bonding的網(wǎng)絡(luò)負(fù)載均衡是我們?cè)谖募?wù)器中常用到的，比如把三塊網(wǎng)卡，當(dāng)做一塊來用，解決一個(gè)IP地址，流量過大，服務(wù)器網(wǎng)絡(luò)壓力過大的問題。如果在內(nèi)網(wǎng)中，文件服務(wù)器為了管理和應(yīng)用上的方便，大多是用同一個(gè)IP地址。對(duì)于一個(gè)百M(fèi)的本地網(wǎng)絡(luò)來說，文件服務(wù)器在多個(gè)用戶同時(shí)使用的情況下，網(wǎng)絡(luò)壓力是極大的，為了解決同一個(gè)IP地址，突破流量的限制，畢竟網(wǎng)線和網(wǎng)卡對(duì)數(shù)據(jù)的吞吐量是有限制的。如果在有限的資源的情況下，實(shí)現(xiàn)網(wǎng)絡(luò)負(fù)載均衡，最好的辦法就是bonding 。
2、 網(wǎng)絡(luò)冗余
對(duì)于服務(wù)器來說，網(wǎng)絡(luò)設(shè)備的穩(wěn)定也是比較重要的，特別是網(wǎng)卡。大多通過硬件設(shè)備的冗余來提供服務(wù)器的可靠性和安全性，比如電源。bonding 也能為網(wǎng)卡提供冗余的支持。把網(wǎng)個(gè)網(wǎng)卡綁定到一個(gè)IP地址，當(dāng)一塊網(wǎng)卡發(fā)生物理性損壞的情況下，另一塊網(wǎng)卡也能提供正常的服務(wù)。
二、 Bonding的原理
什么是bonding需要從網(wǎng)卡的混雜(promisc)模式說起。我們知道，在正常情況下，網(wǎng)卡只接收目的硬件地址(MAC Address)是自身Mac的以太網(wǎng)幀，對(duì)于別的數(shù)據(jù)幀都濾掉，以減輕驅(qū)動(dòng)程序的負(fù)擔(dān)。但是網(wǎng)卡也支持另外一種被稱為混雜promisc的模式，可以接 收網(wǎng)絡(luò)上所有的幀，比如說tcpdump，就是運(yùn)行在這個(gè)模式下。bonding也運(yùn)行在這個(gè)模式下，而且修改了驅(qū)動(dòng)程序中的mac地址，將兩塊網(wǎng)卡的 Mac地址改成相同，可以接收特定mac的數(shù)據(jù)幀。然后把相應(yīng)的數(shù)據(jù)幀傳送給bond驅(qū)動(dòng)程序處理。
三、 Bonding的模式
linux有七種網(wǎng)卡綁定模式：
| 模式代號(hào) | 模式名稱 | 模式方式 | 說明 |
| 0 | (balance-rr) Round-robin policy | 輪詢策略 | 該策略是按照設(shè)備順序依次傳輸數(shù)據(jù)包，直到最后一個(gè)設(shè)備。這種模式提供負(fù)載均衡和容錯(cuò)能力。 |
| 1 | (active-backup) Active-backup policy | 主備策略 | 該策略只有一個(gè)設(shè)備處于活動(dòng)狀態(tài)。 一個(gè)宕掉另一個(gè)馬上由備份轉(zhuǎn)換為主設(shè)備。mac地址是外部可見的。 此模式提供了容錯(cuò)能力。 |
| 2 | (balance-xor) XOR policy | 異或策略 | 該策略是根據(jù)MAC地址異或運(yùn)算的結(jié)果來選擇傳輸設(shè)備，提供負(fù)載均衡和容錯(cuò)能力。 |
| 3 | Broadcast policy | 廣播策略 | 該策略將所有數(shù)據(jù)包傳輸給所有接口通過全部設(shè)備來傳輸所有數(shù)據(jù)，提供容錯(cuò)能力。 |
| 4 | (802.3ad) IEEE 802.3ad Dynamic link aggregation | 動(dòng)態(tài)鏈接聚合 | 該策略通過創(chuàng)建聚合組來共享相同的傳輸速度，需要交換機(jī)也支持 802.3ad 模式，提供容錯(cuò)能力。 |
| 5 | (balance-tlb) Adaptive transmit load balancing | 適配器傳輸負(fù)載均衡 | 該策略是根據(jù)當(dāng)前的負(fù)載把發(fā)出的數(shù)據(jù)分給每一個(gè)設(shè)備，由當(dāng)前使用的設(shè)備處理收到的數(shù)據(jù)。本策略的通道聯(lián)合不需要專用的交換機(jī)支持，提供負(fù)載均衡和容錯(cuò)能力。
|
| 6 | (balance-alb) Adaptive load balancing | 適配器負(fù)載均衡 | 該策略在IPV4情況下包含適配器傳輸負(fù)載均衡策略，由ARP協(xié)商完成接收的負(fù)載，通道聯(lián)合驅(qū)動(dòng)程序截獲ARP在本地系統(tǒng)發(fā)送出的請(qǐng)求，用其中一個(gè)設(shè)備的硬件地址覆蓋從屬設(shè)備的原地址。 |
第一種：bond0:round robin
1、 標(biāo)準(zhǔn)文檔描述
round-robin policy: Transmit packets in sequential order from the first available slave through the last. This mode provides load balancing and fault tolerance.
2、 特點(diǎn)
第二種：bond1:active-backup
1、 標(biāo)準(zhǔn)文檔描述
Active-backup policy: Only one slave in the bond is active. A different slave becomes active if， and only if， the active slave fails. The bond’s MAC address is externally visible on only one port (network adapter) to avoid confusing the switch. This mode provides fault tolerance. The primary option affects the behavior of this mode.
2、 特點(diǎn)
第三種：bond2:load balancing (xor)
1、 標(biāo)準(zhǔn)文檔描述
XOR policy: Transmit based on [(source MAC address XOR'd with destination MAC address) modulo slave count]. This selects the same slave for each destination MAC address. This mode provides load balancing and fault tolerance.
2、 特點(diǎn)
第四種：bond3:fault-tolerance (broadcast)
1、 標(biāo)準(zhǔn)文檔描述
Broadcast policy: transmits everything on all slave interfaces. This mode provides fault tolerance.
2、 特點(diǎn)
這種模式的特點(diǎn)是一個(gè)報(bào)文會(huì)復(fù)制兩份往bond下的兩個(gè)接口分別發(fā)送出去，當(dāng)有對(duì)端交換機(jī)失效，我們感覺不到任何downtime，但此法過于浪費(fèi)資源；不過這種模式有很好的容錯(cuò)機(jī)制。此模式適用于金融行業(yè)，因?yàn)樗麄冃枰呖煽啃缘木W(wǎng)絡(luò)，不允許出現(xiàn)任何問題。
第五種：bond4:lacp
1、 標(biāo)準(zhǔn)文檔描述
IEEE 802.3ad Dynamic link aggregation. Creates aggregation groups that share the same speed and duplex settings. Utilizes all slaves in the active aggregator according to the 802.3ad specification. Pre-requisites: 1. Ethtool support in the base drivers for retrieving.the speed and duplex of each slave. 2. A switch that supports IEEE 802.3ad Dynamic link aggregation. Most switches will require some type of configuration to enable 802.3ad mode.
2、 特點(diǎn)
802.3ad模式是IEEE標(biāo)準(zhǔn)，因此所有實(shí)現(xiàn)了802.3ad的對(duì)端都可以很好的互操作。802.3ad 協(xié)議包括聚合的自動(dòng)配置，因此只需要很少的對(duì)交換機(jī)的手動(dòng)配置（要指出的是，只有某些設(shè)備才能使用802.3ad）。802.3ad標(biāo)準(zhǔn)也要求幀按順序（一定程度上）傳遞，因此通常單個(gè)連接不會(huì)看到包的亂序。802.3ad也有些缺點(diǎn)：標(biāo)準(zhǔn)要求所有設(shè)備在聚合操作時(shí)，要在同樣的速率和雙工模式，而且，和除了balance-rr模式外的其它bonding負(fù)載均衡模式一樣，任何連接都不能使用多于一個(gè)接口的帶寬。
此外，linux bonding的802.3ad實(shí)現(xiàn)通過對(duì)端來分發(fā)流量（通過MAC地址的XOR值），因此在“網(wǎng)關(guān)”型配置下，所有外出（Outgoing）流量將使用同一個(gè)設(shè)備。進(jìn)入（Incoming）的流量也可能在同一個(gè)設(shè)備上終止，這依賴于對(duì)端802.3ad實(shí)現(xiàn)里的均衡策略。在“本地”型配置下，路兩將通過 bond里的設(shè)備進(jìn)行分發(fā)。
band4是要求參與綁定的端口都運(yùn)行802.3ad協(xié)議。該方式與band0很相似，但是又有區(qū)別。在IEEE802.3ad中，“鏈路聚合控制協(xié)議（LACP）”自動(dòng)通知交換機(jī)應(yīng)該聚合哪些端口，IEEE802.3ad聚合配置之后，鏈路聚合控制協(xié)議單元（LACPDU）就會(huì)在服務(wù)器和交換機(jī)之間進(jìn)行交換，LACP會(huì)通知交換機(jī)在聚合中配置的適配器應(yīng)作為交換機(jī)上的一個(gè)適配器來考慮，而不再有用戶的干預(yù)。（按照協(xié)議應(yīng)當(dāng)如此，但是H3C5500-EI交換機(jī)上并未發(fā)現(xiàn)有單獨(dú)啟用802.3ad或LACP的命令，而聚合組中的靜態(tài)聚合的所有端口均不啟用LACP協(xié)議，所以如果按照band4的模式操作的話，建議在交換機(jī)上手工做動(dòng)態(tài)端口聚合，且手工指定全局報(bào)文按照源MAC和目的MAC地址進(jìn)行聚合負(fù)載分擔(dān)。）根據(jù)IEEE802.3ad的規(guī)范，前往相同IP地址的數(shù)據(jù)包都會(huì)通過相同的適配器進(jìn)行發(fā)送。因此當(dāng)在802.3ad方式下操作時(shí)，信息包會(huì)始終按照標(biāo)準(zhǔn)（standard）的方式進(jìn)行分發(fā)，而不會(huì)按照輪詢（Round-Robin）方式進(jìn)行分發(fā)。
3、 交換機(jī)端配置
interface AggregatePort 1 配置聚合口 interface GigabitEthernet 0/23 port-group 1 mode active 接口下開啟lacp 主動(dòng)模式 interface GigabitEthernet 0/24 port-group 1 mode active
4、 必要條件
條件1：ethtool支持獲取每個(gè)slave的速率和雙工設(shè)定 條件2：switch(交換機(jī))支持IEEE 802.3ad Dynamic link aggregation 條件3：大多數(shù)switch(交換機(jī))需要經(jīng)過特定配置才能支持802.3ad模式
第六種：bond5: transmit load balancing
1、 標(biāo)準(zhǔn)文檔描述
Adaptive transmit load balancing: channel bonding that does not require any special switch support. The outgoing traffic is distributed according to the current load (computed relative to the speed) on each slave. Incoming traffic is received by the current slave. If the receiving slave fails， another slave takes over the MAC address of the failed receiving slave. Prerequisite: Ethtool support in the base drivers for retrieving the speed of each slave.
2、 特點(diǎn)
balance-tlb模式通過對(duì)端均衡外出（outgoing）流量。既然它是根據(jù)MAC地址進(jìn)行均衡，在“網(wǎng)關(guān)”型配置（如上文所述）下，該模式會(huì)通過單個(gè)設(shè)備來發(fā)送所有流量，然而，在“本地”型網(wǎng)絡(luò)配置下，該模式以相對(duì)智能的方式（不是balance-xor或802.3ad模式里提及的XOR方式）來均衡多個(gè)本地網(wǎng)絡(luò)對(duì)端，因此那些數(shù)字不幸的MAC地址（比如XOR得到同樣值）不會(huì)聚集到同一個(gè)接口上。
不像802.3ad，該模式的接口可以有不同的速率，而且不需要特別的交換機(jī)配置。不利的一面在于，該模式下所有進(jìn)入的（incoming）流量會(huì)到達(dá)同一個(gè)接口；該模式要求slave接口的網(wǎng)絡(luò)設(shè)備驅(qū)動(dòng)有某種ethtool支持；而且ARP監(jiān)控不可用。
第七種：bond6:adaptive load balancing
1、
特點(diǎn)
該模式包含了balance-tlb模式，同時(shí)加上針對(duì)IPV4流量的接收負(fù)載均衡(receive load balance， rlb)，而且不需要任何switch(交換機(jī))的支持。接收負(fù)載均衡是通過ARP協(xié)商實(shí)現(xiàn)的。bonding驅(qū)動(dòng)截獲本機(jī)發(fā)送的ARP應(yīng)答，并把源硬件地址改寫為bond中某個(gè)slave的唯一硬件地址，從而使得不同的對(duì)端使用不同的硬件地址進(jìn)行通信。所有端口都會(huì)收到對(duì)端的arp請(qǐng)求報(bào)文，回復(fù)arp回時(shí)，bond驅(qū)動(dòng)模塊會(huì)截獲所發(fā)的arp回復(fù)報(bào)文，根據(jù)算法算到相應(yīng)端口，這時(shí)會(huì)把a(bǔ)rp回復(fù)報(bào)文的源mac，send源mac都改成相應(yīng)端口mac。從抓包情況分析回復(fù)報(bào)文是第一個(gè)從端口1發(fā)，第二個(gè)從端口2發(fā)。以此類推。
(還有一個(gè)點(diǎn)：每個(gè)端口除發(fā)送本端口回復(fù)的報(bào)文，也同樣會(huì)發(fā)送其他端口回復(fù)的報(bào)文，mac還是其他端口的mac)這樣來自服務(wù)器端的接收流量也會(huì)被均衡。
當(dāng)本機(jī)發(fā)送ARP請(qǐng)求時(shí)，bonding驅(qū)動(dòng)把對(duì)端的IP信息從ARP包中復(fù)制并保存下來。當(dāng)ARP應(yīng)答從對(duì)端到達(dá)時(shí)，bonding驅(qū)動(dòng)把它的硬件地址提取出來，并發(fā)起一個(gè)ARP應(yīng)答給bond中的某個(gè)slave(這個(gè)算法和上面一樣，比如算到1口，就給發(fā)送arp請(qǐng)求，1回復(fù)時(shí)mac用1的mac)。使用ARP協(xié)商進(jìn)行負(fù)載均衡的一個(gè)問題是：每次廣播 ARP請(qǐng)求時(shí)都會(huì)使用bond的硬件地址，因此對(duì)端學(xué)習(xí)到這個(gè)硬件地址后，接收流量將會(huì)全部流向當(dāng)前的slave。這個(gè)問題通過給所有的對(duì)端發(fā)送更新（ARP應(yīng)答）來解決，往所有端口發(fā)送應(yīng)答，應(yīng)答中包含他們獨(dú)一無二的硬件地址，從而導(dǎo)致流量重新分布。當(dāng)新的slave加入到bond中時(shí)，或者某個(gè)未激活的slave重新激活時(shí)，接收流量也要重新分布。接收的負(fù)載被順序地分布（round robin）在bond中最高速的slave上。
當(dāng)某個(gè)鏈路被重新接上，或者一個(gè)新的slave加入到bond中，接收流量在所有當(dāng)前激活的slave中全部重新分配，通過使用指定的MAC地址給每個(gè) client發(fā)起ARP應(yīng)答。下面介紹的updelay參數(shù)必須被設(shè)置為某個(gè)大于等于switch(交換機(jī))轉(zhuǎn)發(fā)延時(shí)的值，從而保證發(fā)往對(duì)端的ARP應(yīng)答不會(huì)被switch(交換機(jī))阻截。
當(dāng)集群的機(jī)器數(shù)量較少，或者機(jī)器跨VLAN或者經(jīng)過路由時(shí)，模式6就起不到很好的效果。mod=6與mod=0的區(qū)別：mod=6，先把eth0流量占滿，再占eth2，....ethX；而mod=0的話，會(huì)發(fā)現(xiàn)2個(gè)口的流量都很穩(wěn)定，基本一樣的帶寬。而mod=6，會(huì)發(fā)現(xiàn)第一個(gè)口流量很高，第2個(gè)口只占了小部分流量。
2、 必要條件
條件1：ethtool支持獲取每個(gè)slave的速率；
條件2：底層驅(qū)動(dòng)支持設(shè)置某個(gè)設(shè)備的硬件地址，從而使得總是有個(gè)slave(curr_active_slave)使用bond的硬件地址，同時(shí)保證每個(gè)bond 中的slave都有一個(gè)唯一的硬件地址。如果curr_active_slave出故障，它的硬件地址將會(huì)被新選出來的 curr_active_slave接管。
四、 Bonding參數(shù)介紹
| 參數(shù) | 說明 |
| max_bonds | 為bonding驅(qū)動(dòng)指定創(chuàng)建bonding設(shè)備的數(shù)量。比如，如果max_bonds為3，而且bonding驅(qū)動(dòng)還沒有加載，那么bond0，bond1，bond2將會(huì)被創(chuàng)建。缺省值為1。 |
| lacp_rate | 指定在802.3ad模式下，我們希望的鏈接對(duì)端傳輸LACPDU包的速率?？赡艿倪x項(xiàng)： slow 或者 0 請(qǐng)求對(duì)端每30s傳輸LACPDU fast 或者 1 請(qǐng)求對(duì)端每1s傳輸LACPDU 缺省值是slow |
| downdelay | 指定一個(gè)時(shí)間，用于在發(fā)現(xiàn)鏈路故障后，等待一段時(shí)間然后禁止一個(gè)slave，單位是毫秒(ms)。該選項(xiàng)只對(duì)miimon監(jiān)控有效。downdelay值應(yīng)該是miimon值的整數(shù)倍，否則它將會(huì)被取整到最接近的整數(shù)倍。缺省值為0。 |
| arp_ip_target | 指定一組IP地址用于ARP監(jiān)控的目標(biāo)，它只在arp_interval > 0時(shí)有效。這些IP地址是ARP請(qǐng)求發(fā)送的目標(biāo)，用于判定到目標(biāo)地址的鏈路是否工作正常。多個(gè)IP地址通過逗號(hào)分隔。至少指定一個(gè)IP地址。最多可以指定16個(gè)IP地址。缺省值是沒有IP地址。 |
| arp_interval | 指定ARP鏈路監(jiān)控頻率，單位是毫秒(ms)。如果APR監(jiān)控工作于以太兼容模式（模式0和模式2）下，需要把switch(交換機(jī))配置為在所有鏈路上均勻的分發(fā)網(wǎng)絡(luò)包。如果switch(交換機(jī))被配置為以XOR方式分發(fā)網(wǎng)絡(luò)包，所有來自ARP目標(biāo)的應(yīng)答將會(huì)被同一個(gè)鏈路上的其他設(shè)備收到，這將會(huì)導(dǎo)致其他設(shè)備的失敗。ARP監(jiān)控不應(yīng)該和miimon同時(shí)使用。設(shè)定為0將禁止ARP監(jiān)控。缺省值為0。 |
| miimon | 指定MII鏈路監(jiān)控頻率，單位是毫秒(ms)。這將決定驅(qū)動(dòng)檢查每個(gè)slave鏈路狀態(tài)頻率。0表示禁止MII鏈路監(jiān)控。100可以作為一個(gè)很好的初始參考值。缺省值為0。 |
| mode | 指定bonding的策略。缺省是balance-rr （round robin，輪詢策略）。 |
| primary | 指定哪個(gè)slave成為主設(shè)備（primary device），取值為字符串，如eth0，eth2等。只要指定的設(shè)備可用，它將一直是激活的slave。只有在主設(shè)備（primary device）斷線時(shí)才會(huì)切換設(shè)備。這在希望某個(gè)slave設(shè)備優(yōu)先使用的情形下很有用，比如，某個(gè)slave設(shè)備有更高的吞吐率。 primary選項(xiàng)只對(duì)active-backup模式有效。 |
| updelay | 指定當(dāng)發(fā)現(xiàn)一個(gè)鏈路恢復(fù)時(shí)，在激活該鏈路之前的等待時(shí)間，以毫秒計(jì)算。該選項(xiàng)只對(duì)miimon鏈路偵聽有效。updelay應(yīng)該是miimon值的整數(shù)倍，如果不是，它將會(huì)被向下取整到最近的整數(shù)。缺省值為0。 |
| use_carrier | 指定miimon是否需要使用MII或者ETHTOOL ioctls還是netif_carrier_ok()來判定鏈路狀態(tài)。MII或ETHTOOL ioctls更低效一些，而且使用了內(nèi)核里廢棄的舊調(diào)用序列；而netif_carrier_ok()依賴于設(shè)備驅(qū)動(dòng)來維護(hù)狀態(tài)（判斷載波），在本文寫作時(shí)，大多數(shù)但不是全部設(shè)備驅(qū)動(dòng)支持這個(gè)特性。 如果bonding總是認(rèn)為鏈路是通的，但實(shí)際上是斷的，這有可能是由于你的網(wǎng)絡(luò)設(shè)備驅(qū)動(dòng)不支持netif_carrier_on/off。因?yàn)?netif_carrier的缺省狀態(tài)是"carrier on"，因此如果驅(qū)動(dòng)不支持netif_carrier，則會(huì)顯示鏈路永遠(yuǎn)正常。在這種情況下，把use_carrier設(shè)為0，從而讓bonding使用MII/ETHTOOL ictl來判定鏈路狀態(tài)。 該選項(xiàng)設(shè)為1會(huì)使用netif_carrier_ok()，而設(shè)為0則會(huì)使用廢棄的MII/ETHTOOL ioctls，缺省值是1。 |
| xmit_hash_policy | 在balance-xor和802.3ad模式下選擇不同的hash模式，以用于slave選舉?？赡艿娜≈涤校?layer2 使用硬件MAC地址的XOR來生成hash。公式為： (源MAC地址 XOR 目的MAC地址）% slave數(shù)目 該算法會(huì)將某個(gè)網(wǎng)絡(luò)對(duì)（network peer）上所有的流量全部分配到同一個(gè)slave上。 layer3+4 該策略在可能的時(shí)候使用上層協(xié)議的信息來生成hash。這將允許特定網(wǎng)絡(luò)對(duì)（network peer）的流量分?jǐn)偟蕉鄠€(gè)slave上，盡管同一個(gè)連接（connection）不會(huì)分?jǐn)偟蕉鄠€(gè)slave上。 針對(duì)未分片的TCP和UDP包的計(jì)算公式為： ((源端口 XOR 目的端口) XOR ((源IP XOR 目的IP) AND 0xFFFF) % slave數(shù)目 對(duì)于已分片TCP或UDP包，以及其他的IP包，源端口和目的端口的信息被忽略了；對(duì)于非IP流量，采用和layer2一樣的hash策略。 該策略期望模仿某些交換機(jī)的行為，比如帶PFC2的Cisco交換機(jī)，以及某些Foundry和IBM的產(chǎn)品。 該算法不完全適應(yīng)802.3ad，一個(gè)單一的TCP或UDP會(huì)話同時(shí)包含有分片和未分片的包將會(huì)導(dǎo)致包在兩個(gè)接口上傳遞，這將會(huì)導(dǎo)致投遞亂序。大多數(shù)流量不會(huì)滿足這種條件，正如TCP很少分片，而大多數(shù)UDP流量不會(huì)在長期的會(huì)話中存在。其他的802.3ad實(shí)現(xiàn)有可能不能容忍這樣的不適應(yīng)性。 缺省設(shè)置是layer2。該選項(xiàng)在bonding 2.6.3加入，在早期版本中，該參數(shù)不存在，只只是layer2策略。 |
重慶分公司
重慶分公司
