程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> MySQL綜合教程 >> LVS+Keepalived搭建MyCAT高可用負載均衡集群，lvsmycat

LVS+Keepalived搭建MyCAT高可用負載均衡集群，lvsmycat

編輯：MySQL綜合教程

LVS+Keepalived搭建MyCAT高可用負載均衡集群，lvsmycat

LVS+Keepalived 介紹

LVS

LVS是Linux Virtual Server的簡寫，意即Linux虛擬服務器，是一個虛擬的服務器集群系統。本項目在1998年5月由章文嵩博士成立，是中國國內最早出現的自由軟件項目之一。目前有三種IP負載均衡技術（VS/NAT、VS/TUN和VS/DR），十種調度算法（rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）。

Keepalvied

Keepalived在這裡主要用作RealServer的健康狀態檢查以及Master主機和BackUP主機之間failover的實現

下面，搭建基於LVS+Keepalived的MyCAT高可用負載均衡集群，其中，LVS實現MyCAT的負載均衡，但是，簡單的LVS不能監控後端節點是否健康，它只是基於具體的調度算法對後端服務節點進行訪問。同時，單一的LVS又存在單點故障的風險。在這裡，引進了Keepalived，可以實現以下幾個功能：

1. 檢測後端節點是否健康。

2. 實現LVS本身的高可用。

配置環境：

角色主機IP 主機名操作系統版本軟件版本

VIP 192.168.244.10

LVS-DR-Master 192.168.244.146 keepalived01 CentOS7.1 Keepalived v1.2.13，LVS 1.2.1

LVS-DR-Backup 192.168.244.147 keepalived02 CentOS7.1 Keepalived v1.2.13，LVS 1.2.1

mycat-Realserver 192.168.244.148 mycat01 CentOS7.1 mycat v1.5

mycat-Realserver 192.168.244.149 mycat02 CentOS7.1 mycat v1.5

一、安裝keepalived和ipvsadm

注意：ipvsadm並不是lvs，它只是lvs的配置工具，因lvs在3.10（CentOS7.1的內核版本）的內核中是默認支持的。所以在這裡就不需要重新安裝。

為了方便起見，在這裡我們使用yum的安裝方式

分別在keepalived01和keepalived02兩台主機上安裝keepalived和ipvsadm

# yum install -y keepalived ipvsadm

除了這種簡易方式外，也可直接編譯官方的源碼包。

LVS：http://www.linuxvirtualserver.org/software/index.html

Keepalived：http://www.keepalived.org/download.html

安裝步驟可參考：http://www.cnblogs.com/mchina/archive/2012/05/23/2514728.html

二、配置Keepalived

keepalived01，即LVS-DR-Master上，其配置如下：

[root@keepalived01 ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]     #設置報警郵件地址，可以設置多個，每行一個。
     [email protected]    #需開啟本機的sendmail服務
     [email protected]
   }
   notification_email_from [email protected]  #設置郵件的發送地址
   smtp_server 127.0.0.1      #設置smtp server地址
   smtp_connect_timeout 30    #設置連接smtp server的超時時間
   router_id LVS_DEVEL        #表示運行keepalived服務器的一個標識。發郵件時顯示在郵件主題的信息
}

vrrp_instance VI_1 {
    state MASTER              #指定keepalived的角色，MASTER表示此主機是主服務器，BACKUP表示此主機是備用服務器
    interface eno16777736     #指定HA監測網絡的接口
    virtual_router_id 51      #虛擬路由標識，這個標識是一個數字，同一個vrrp實例使用唯一的標識。即同一vrrp_instance下，MASTER和BACKUP必須是一致的
    priority 100              #定義優先級，數字越大，優先級越高，在同一個vrrp_instance下，MASTER的優先級必須大於BACKUP的優先級
    advert_int 1              #設定MASTER與BACKUP負載均衡器之間同步檢查的時間間隔，單位是秒
    authentication {          #設置驗證類型和密碼
        auth_type PASS        #設置驗證類型，主要有PASS和AH兩種
        auth_pass 1111        #設置驗證密碼，在同一個vrrp_instance下，MASTER與BACKUP必須使用相同的密碼才能正常通信
    }
    virtual_ipaddress {       #設置虛擬IP地址，可以設置多個虛擬IP地址，每行一個
        192.168.244.10 
    }
}

virtual_server 192.168.244.10 8066 {  #設置虛擬服務器，需要指定虛擬IP地址和服務端口，IP與端口之間用空格隔開
    delay_loop 6              #設置運行情況檢查時間，單位是秒
    lb_algo rr                #設置負載調度算法，這裡設置為rr，即輪詢算法
    lb_kind DR                #設置LVS實現負載均衡的機制，有NAT、TUN、DR三個模式可選
    nat_mask 255.255.255.0 
    persistence_timeout 50    #會話保持時間，單位是秒。這個選項對動態網頁是非常有用的，為集群系統中的session共享提供了一個很好的解決方案。
                              #有了這個會話保持功能，用戶的請求會被一直分發到某個服務節點，直到超過這個會話的保持時間。
                              #需要注意的是，這個會話保持時間是最大無響應超時時間，也就是說，用戶在操作動態頁面時，如果50秒內沒有執行任何操作
                              #那麼接下來的操作會被分發到另外的節點，但是如果用戶一直在操作動態頁面，則不受50秒的時間限制
    protocol TCP              #指定轉發協議類型，有TCP和UDP兩種

    real_server 192.168.244.148 8066 { #配置服務節點1，需要指定real server的真實IP地址和端口，IP與端口之間用空格隔開
        weight 1              #配置服務節點的權值，權值大小用數字表示，數字越大，權值越高，設置權值大小可以為不同性能的服務器
                              #分配不同的負載，可以為性能高的服務器設置較高的權值，而為性能較低的服務器設置相對較低的權值，這樣才能合理地利用和分配系統資源
        TCP_CHECK {           #realserver的狀態檢測設置部分，單位是秒
            connect_timeout 3    #表示3秒無響應超時
            nb_get_retry 3       #表示重試次數
            delay_before_retry 3 #表示重試間隔
            connect_port 8066
        } 
    }
    real_server 192.168.244.149 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
}

將該文件scp到keepalived02上，修改如下：

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state BACKUP   #將state從MASTER改為BACKUP
    interface eno16777736
    virtual_router_id 51
    priority 99  #修改優先級
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.244.10
    }
}

virtual_server 192.168.244.10 8066 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.244.148 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
    real_server 192.168.244.149 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
}

在上面這兩個配置文件中，有一個地方尤其需要注意，即interface，網上的相關部署文檔都是eth0，在CentOS7之前，網絡接口的確都是eth0，但在CentOS7中，該接口為eno16777736。所以需要根據生產實際情況進行相應的修改。

三、安裝，配置，啟動MyCAT

分別在mycat01和mycat02兩台主機上部署MyCAT，具體可參考：

http://www.cnblogs.com/ivictor/p/5111495.html

注意：為了便於觀察後續MyCAT負載均衡的效果，MyCAT的配置文件並沒有進行修改，均是指向本地的MySQL實例。

四、在MyCAT服務器上為lo:0綁定VIP地址、抑制ARP廣播

分別在mycat01和mycat02兩台主機上執行以下腳本。

[root@mycat01 ~]# cat realserver.sh

#!/bin/bash
#description: Config realserver

VIP=192.168.244.10
 
/etc/rc.d/init.d/functions
 
case "$1" in
start)
       /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       /sbin/route add -host $VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer Start OK"
       ;;
stop)
       /sbin/ifconfig lo:0 down
       /sbin/route del $VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
*)
       echo "Usage: $0 {start|stop}"
       exit 1
esac
 
exit 0

[root@mycat01 ~]# sh realserver.sh start

[root@mycat02 ~]# sh realserver.sh start

執行ip addr查看VIP是否綁定成功

五、分別在keepalived01和keepalived02上啟動Keepalived服務

[root@keepalived01 keepalived]# service keepalived start

[root@keepalived02 keepalived]# service keepalived start

通過ipvsadm -L命令查看VIP是否能成功映射到後端mycat服務。如果失敗了，可通過/var/log/messages日志定位keepalived啟動失敗的原因。

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          0

[root@keepalived02 keepalived]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          0

從輸出的結果來看，VIP已成功映射到後端mycat服務，下面，具體測試一下

六、測試MyCAT高可用負載均衡集群的可用性。

測試MyCAT集群的負載均衡

通過mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB -e 'select @@hostname'命令來判斷當前訪問的是哪個mycat節點。

但是很奇怪的時，連續執行三次，每次都是訪問mycat02節點。

[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+

通過ipvsadm -L命令查看這三個連接確實都被轉發到mycat02上了。

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          3

原來，這個與配置文件中的persistence_timeout有關，指的是在一定的時間內來自同一IP的連接將會被轉發到同一realserver中。而不是嚴格意義上的輪詢。默認為50s，具體的失效時間還是比較復雜，可參考：lvs持久性工作原理和配置

在這裡，為了觀察到明顯的輪詢效果。將該值設為0。重啟keepalived服務。

重新測試，結果如下

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat01    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat01    |
+------------+

實現了嚴格意義上的輪詢，ipvsadm -L的輸出結果如下：

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr
  -> 192.168.244.148:8066         Route   1      0          2         
  -> 192.168.244.149:8066         Route   1      0          2

每個節點對應2個連接，與上述通過mysql客戶端得到的結果相符。

測試LVS的高可用

手動斷開LVS-DR-Master節點的Keepalived服務

[root@keepalived01 ~]# service keepalived stop
Redirecting to /bin/systemctl stop  keepalived.service
[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

可以發現，mysql客戶端依舊可以通過mycat連接到mysql服務端

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+

重啟LVS-DR-Master節點的Keepalived服務後，不難檢測出keepalived01又重新作為了Master節點（因為BACKUP節點的persistence_timeout沒有修改，所以可根據輪詢的特點來判斷哪個節點是master節點）。

測試Keepalived對於MyCAT服務的監控檢測

手動關閉mycat01節點的mycat服務

[root@mycat01 ~]# cd /usr/local/mycat/
[root@mycat01 mycat]# bin/mycat stop
Stopping Mycat-server...
Stopped Mycat-server.

通過LVS-DR-Master節點節點上的ipvsadm -L可以看出VIP的映射關系中已剔除了mycat01節點。

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr
  -> 192.168.244.149:8066         Route   1      0          0

至此，基於LVS+Keepalived的MyCAT集群搭建完畢。

在整個搭建過程中，有以下幾點需要注意：

1. VIP的端口，必須和後端服務的端口是對應的，我在測試的過程中，將VIP的端口改為7066，結果無法連接上mycat。

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P7066 -utest -ptest -DTESTDB
Warning: Using a password on the command line interface can be insecure.
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.244.10' (111)
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB
Warning: Using a password on the command line interface can be insecure.
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.244.10' (111

2. LVS和後端的realserver還是要物理上分開，剛開始是放到一個機器上測試，但無法得到預期的效果。

3. interface eno16777736這裡是個坑，剛開始寫的是eth0，結果，ping都ping不通，所以還是要與網卡的實際名稱相對應。

4. Keepalived還是蠻強大的，即便不使用LVS，也可基於它做高可用集群。譬如，常見的MySQL的雙主高可用集群。

5. 關於是否要啟動Linux內核中的路由轉發功能，經測試，無論是LVS還是後端MyCAT服務節點，均可不啟動。