程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> 關於MYSQL數據庫 >> MySQL Cluster集群配置方案

MySQL Cluster集群配置方案

編輯:關於MYSQL數據庫
 在為某證券公司設計其OA架構時,初期客戶是30萬用戶在線;然而在項目實施中,客戶又提出50萬用戶同時在線的需求,而且都有寫的需求;這樣初始的設計master-master-slave,讀寫分離滿足不了客戶的要求,所以我們打算采用Mysql Cluster方案;MySQL Cluster 是MySQL適合於分布式計算環境的高實用、高冗余版本。它采用了NDB Cluster 存儲引擎,允許在1個Cluster中運行多個MySQL服務器。在MyQL 5.0及以上的二進制版本中、以及與最新的Linux版本兼容的RPM中提供了該存儲引擎。

  一、MySQL Cluster概述

  MySQL Cluster 是一種技術,該技術允許在無共享的系統中部署“內存中”數據庫的 Cluster 。通過無共享體系結構,系統能夠使用廉價的硬件,而且對軟硬件無特殊要求。此外,由於每個組件有自己的內存和磁盤,不存在單點故障。

  MySQL Cluster 由一組計算機構成,每台計算機上均運行著多種進程,包括MySQL服務器,NDB Cluster 的數據節點,管理服務器,以及(可能)專門的數據訪問程序。

  所有的這些節點構成一個完成的MySQL集群體系。數據保存在“NDB存儲服務器”的存儲引擎中,表(結構)則保存在“MySQL服務器”中。應用程序通過“MySQL服務器”訪問這些數據表,集群管理服務器通過管理工具(ndb_mgmd)來管理“NDB存儲服務器”。

  通過將MySQL Cluster 引入開放源碼世界,MySQL為所有需要它的人員提供了具有高可用性、高性能和可縮放性的 Cluster 數據管理。

  二、MySQL Cluster 基本概念

  “NDB” 是一種“內存中”的存儲引擎,它具有可用性高和數據一致性好的特點。

  MySQL Cluster 能夠使用多種故障切換和負載平衡選項配置NDB存儲引擎,但在 Cluster 級別上的存儲引擎上做這個最簡單。MySQL Cluster的NDB存儲引擎包含完整的數據集,僅取決於 Cluster本身內的其他數據。

  目前,MySQL Cluster的 Cluster部分可獨立於MySQL服務器進行配置。在MySQL Cluster中, Cluster的每個部分被視為1個節點。

  管理(MGM)節點:這類節點的作用是管理MySQL Cluster內的其他節點,如提供配置數據、啟動並停止節點、運行備份等。由於這類節點負責管理其他節點的配置,應在啟動其他節點之前首先啟動這類節點。MGM節點是用命令“ndb_mgmd”啟動的。

  數據節點:這類節點用於保存 Cluster的數據。數據節點的數目與副本的數目相關,是片段的倍數。例如,對於兩個副本,每個副本有兩個片段,那麼就有4個數據節點。不過沒有必要設置多個副本。數據節點是用命令“ndbd”啟動的。

  SQL節點:這是用來訪問 Cluster數據的節點。對於MySQL Cluster,客戶端節點是使用NDB Cluster存儲引擎的傳統MySQL服務器。通常,SQL節點是使用命令“MySQLd –ndbcluster”啟動的,或將“ndbcluster”添加到“my.cnf”後使用“MySQLd”啟動。

  注釋:在很多情況下,術語“節點”用於指計算機,但在討論MySQL Cluster時,它表示的是進程。在單台計算機上可以有任意數目的節點,為此,我們采用術語“ Cluster主機”。

  管理服務器(MGM節點)負責管理 Cluster配置文件和 Cluster日志。 Cluster中的每個節點從管理服務器檢索配置數據,並請求確定管理服務器所在位置的方式。當數據節點內出現新的事件時,節點將關於這類事件的信息傳輸到管理服務器,然後,將這類信息寫入 Cluster日志。

  此外,可以有任意數目的 Cluster客戶端進程或應用程序。它們分為兩種類型:

  標准MySQL客戶端:對於MySQL Cluster,它們與標准的(非 Cluster類)MySQL沒有區別。換句話講,能夠從用PHP、Perl、C、C++、Java、Python、Ruby等編寫的現有MySQL應用程序訪問MySQL Cluster。

  管理客戶端:這類客戶端與管理服務器相連,並提供了啟動和停止節點、啟動和停止消息跟蹤(僅調試版本)、顯示節點版本和狀態、啟動和停止備份等的命令。

  三、開始准備

  1、准備服務器

  現在,我們計劃建立有5個節點的MySQL CLuster體系,因此需要用到5台機器,分別做如下用途:

  

用途 主機名 IP 管理節點 ndb_mgmd 192.168.5.101 數據節點1 ndb1 192.168.5.102 數據節點2 ndb2 192.168.5.103 sql節點1 MySQLd1 192.168.5.104 sql節點2 MySQLd2 192.168.5.105   2、注意事項及其他

  每個節點的操作系統都是Linux,下面的描述中將使用主機名,不再使用IP地址來表示。由於MySQL Cluster采用TCP/IP方式連接,並且節點之間的數據傳輸沒有加密,因此這個體系最好只在單獨的子網中運行,並且考慮到傳輸的速率,強烈建議不要跨越公網使用這個體系。為了測試環境的准備性,我這裡所有hostname相關我全部寫成ip,所需軟件我推薦用mysql-max-5.0.24,下載地址為(已測)http://www.filewatcher.com/_/?q=MySQL-max-5.0.24-Linux-i686.tar.gz

  四、開始安裝

  1、假定條件

  在每個節點計算機上都采用MySQL 用戶來運行Cluster,因此執行如下命令添加相關用戶(如果已經存在則略過,且用root用戶執行):

  root# /usr/sbin/groupadd MySQL

  root# /usr/sbin/useradd -g mysql MySQL

  假設已經下載了MySQL可直接使用的二進制安裝包,且放在 /root 下了。

  2、SQL節點和存儲節點(NDB節點)安裝(即4個機器重復執行以下步驟)

  root# cd /root/

  root# tar zxf MySQL-max-5.0.24-Linux-i686.tar.gz

  root# mv mysql-max-5.0.24-Linux-i686 /usr/local/MySQL/

  root# cd /usr/local/MySQL/

  root# ./configure --prefix=/usr/local/MySQL

  root# ./scripts/MySQL_install_db

  root# chown -R mysql:mysql /usr/local/MySQL/

 3、配置SQL節點

  root# vim /etc/my.cnf

  然後輸入如下內容:

  [MySQLd]

  basedir            = /usr/local/MySQL/

  datadir            = /usr/local/MySQL/data/

  user               = MySQL

  port               = 3306

  socket             = /tmp/MySQL.sock

  ndbcluster

  ndb-connectstring=192.168.5.101

  [MySQL_cluster]

  ndb-connectstring=192.168.5.101

  4、配置存儲節點(NDB節點)

  root# vi /etc/my.cnf

  然後輸入如下內容:

  [MySQLd]

  ndbcluster

  ndb-connectstring=192.168.5.101

  [MySQL_cluster]

  ndb-connectstring=192.168.5101

  5、安裝管理節點

  root# cd /root/

  root# tar zxf MySQL-max-5.0.24-Linux-i686.tar.gz

  root# mkdir /usr/local/MySQL/

  root# mkdir /usr/local/MySQL/data/

  root# cd MySQL-max-5.0.24-Linux-i686/bin/

  root# cp ndb_mgm* /usr/local/MySQL

  root# chown -R mysql:mysql /usr/local/MySQL

  6、配置管理節點

  root# vi /usr/local/MySQL/config.ini

  然後輸入如下內容:

  [ndbd default]

  NoOfReplicas=1

  [tcp default]

  portnumber=3306

  #設置管理節點服務器

  [ndb_mgmd]

  hostname=192.168.5.101

  #MGM上保存日志的目錄

  datadir=/usr/local/MySQL/data/

  #設置存儲節點服務器(NDB節點)

  [ndbd]

  hostname=192.168.5.102

  datadir=/usr/local/MySQL/data/

  #第二個NDB節點

  [ndbd]

  hostname=192.168.5.103

  datadir=/usr/local/MySQL/data/

  #設置SQL節點服務器

  [MySQLd]

  hostname=192.168.5.104

  #第二個SQL節點

  [MySQLd]

  hostname=192.168.5.105

  注釋: [tcp default] 這項寫成portnumber=3306,簡朝陽大哥的書上這點有誤。

五、啟動MySQL Cluster

  較為合理的啟動順序是,首先啟動管理節點服務器,然後啟動存儲節點服務器,最後才啟動SQL節點服務器:

  在管理節點服務器上,執行以下命令啟動MGM節點進程:

  root# /usr/local/mysql/ndb_mgmd -f /usr/local/MySQL/config.ini

  必須用參數“-f”或“--config-file”告訴 ndb_mgm 配置文件所在位置,默認是在ndb_mgmd相同目錄下。

  在每台存儲節點服務器上,如果是第一次啟動ndbd進程的話,必須先執行以下命令:

  root# /usr/local/MySQL/bin/ndbd --initial

  注意,僅應在首次啟動ndbd時,或在備份/恢復數據或配置文件發生變化後重啟ndbd時使用“--initial”參數。因為該參數會使節點刪除由早期ndbd實例創建的、用於恢復的任何文件,包括用於恢復的日志文件。

  如果不是第一次啟動,直接運行如下命令即可:

  root# /usr/local/MySQL/bin/ndbd

  最後,運行以下命令啟動SQL節點服務器:

  root# /usr/local/mysql/bin/MySQLd_safe --defaults-file=/etc/my.cnf &

  如果一切順利,也就是啟動過程中沒有任何錯誤信息出現,那麼就在管理節點服務器上運行如下命令:

  root# /usr/local/MySQL/ndb_mgm

  -- NDB Cluster -- Management ClIEnt --

  ndb_mgm> show

  Cluster Configuration

  ---------------------

  [ndbd(NDB)] 2 node(s)

  id=2 @192.168.5.102 (Version: 5.0.24, Nodegroup: 0, Master)

  id=3 @192.168.5.103 (Version: 5.0.24, Nodegroup: 1)

  [ndb_mgmd(MGM)] 1 node(s)

  id=1 @192.168.5.101 (Version: 5.0.24)

  [MySQLd(API)] 2 node(s)

  id=4 @192.168.5.104 (Version: 5.0.24)44

  id=5 @192.168.5.105 (Version: 5.0.24)

  六、環境測試

  與沒有使用 Cluster的MySQL相比,在MySQL Cluster內操作數據的方式沒有太大的區別。執行這類操作時應記住兩點:

  表必須用ENGINE=NDB或ENGINE=NDBCLUSTER選項創建,或用ALTER TABLE選項更改,以使用NDB Cluster存儲引擎在 Cluster內復制它們。如果使用MySQLdump的輸出從已有數據庫導入表,可在文本編輯器中打開SQL腳本,並將該選項添加到任何表創建語句,或用這類選項之一替換任何已有的ENGINE(或TYPE)選項。

  另外還請記住,每個NDB表必須有一個主鍵。如果在創建表時用戶未定義主鍵,NDB Cluster存儲引擎將自動生成隱含的主鍵。(注釋:該隱含鍵也將占用空間,就像任何其他的表索引一樣。由於沒有足夠的內存來容納這些自動創建的鍵,出現問題並不罕見)。

  (1)確認NDB引擎是否已經正常工作

  在MySQLd1節點上,用root在test數據庫上新建一個t1的表

  MySQL> use test;

  Database changed

  MySQL> show tables;

  Empty set (0.11 sec)

  MySQL> create table t1(a int) engine=ndb;

  Query OK, 0 rows affected (0.74 sec)

  MySQL> insert into t1 values(100);

  Query OK, 1 row affected (0.32 sec)

  在MySQLd2節點2上,用root查看效果

  MySQL> show tables;

  +----------------+

  | Tables_in_test |

  +----------------+

  | t1             |

  +----------------+

  1 row in set (0.00 sec)

  (2)檢測冗余環境的單點故障問題

  a、模擬NDB節點崩潰;

  b、模擬SQL節點崩潰;

  c、由於管理節點是最容易控制的,可以將配置文件和二個可執行程序(ndb_mgmd和ndb_mgm)存放在多台機器上即可,無須太考慮單點故障。

  (3)性能測試方面:內部測試環境我們增加了二台ndbd服務器,即集群方案采用的是1ndbd_mgmd+2MySQLd+4ndbd(四台作ndbd的好處是如果二台服務器同時宕機了,也有一定機率不損失數據;但在生產環境下,二台服務器同時宕機的機率是微乎期乎的);目前公司測試組的同事在進行壓力測試和性能測試,嘗試大量數據的寫入和插入等;初期打算內部測試進行一個月, 一個月後正式上線。

  七、安全關閉

  要想關閉 Cluster,可在MGM節點所在的機器上,在Shell中簡單地輸入下述命令:

  [ndb_mgmd]root# /usr/local/MySQL/ndb_mgm -e shutdown

  運行以下命令關閉SQL節點的MySQLd服務:

  [ndb_mgmd]root# /usr/local/mysql/bin/MySQLadmin -uroot shutdown

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved