程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> MySQL綜合教程 >> 數據庫水平切分方法,數據庫水平切分

數據庫水平切分方法,數據庫水平切分

編輯:MySQL綜合教程

數據庫水平切分方法,數據庫水平切分


在大中型項目中,在數據庫設計的時候,考慮到數據庫最大承受數據量,通常會把數據庫或者數據表水平切分,以降低單個庫,單個表的壓力。我這裡介紹兩個我們項目中常用的數據表切分方法。當然這些方法都是在程序中使用一定的技巧來路由到具體的表的。首先我們要確認根據什麼來水平切分?在我們的系統(SNS)中,用戶的UID貫穿系統,唯一自增長,根據這個字段分表,再好不過。

方法一:使用MD5哈希

做法是對UID進行md5加密,然後取前幾位(我們這裡取前兩位),然後就可以將不同的UID哈希到不同的用戶表(user_xx)中了。

1 2 3 4 function getTable( $uid ){   $ext = substr ( md5($uid) ,0 ,2 );   return "user_".$ext; }

通過這個技巧,我們可以將不同的UID分散到256中用戶表中,分別是user_00,user_01 …… user_ff。因為UID是數字且遞增,根據md5的算法,可以將用戶數據幾乎很均勻的分別到不同的user表中。

但是這裡有個問題是,如果我們的系統的用戶越來越多,勢必單張表的數據量越來越大,而且根據這種算法無法擴展表,這又會回到文章開頭出現的問題了。

方法二:使用移位

  具體方法是:

1 2 public function getTable( $uid ) {        return "user_" . sprintf( "%04d", ($uid >> 20) );}

這裡,我們將uid向右移動20位,這樣我們就可以把大約前100萬的用戶數據放在第一個表user_0000,第二個100萬的用戶數據放在第二個表user_0001中,這樣一直下去,如果我們的用戶越來越多,直接添加用戶表就行了。由於我們保留的表後綴是四位,這裡我們可以添加1萬張用戶表,即user_0000,user_0001 …… user_9999。一萬張表,每張表100萬數據,我們可以存100億條用戶記錄。當然,如果你的用戶數據比這還多,也不要緊,你只要改變保留表後綴來增加可以擴展的表就行了,如如果有1000億條數據,每個表存100萬,那麼你需要10萬張表,我們只要保留表後綴為6位即可。

上面的算法還可以寫的靈活點:

1 2 3 4 5 6 7 8 9 /**  * 根據UID分表算法    * @param int $uid  //用戶ID  * @param int $bit    //表後綴保留幾位  * @param int $seed //向右移動位數  */  function getTable( $uid , $bit , $seed ){     return "user_" . sprintf( "%0{$bit}d" , ($uid >> $seed) );}

總結:

上面兩種方法,都要對我們當前系統的用戶數據量做出可能最大的預估,並且對數據庫單個表的最大承受量做出預估。

比如第二種方案,如果我們預估我們系統的用戶是100億,單張表的最優數據量是100萬,那麼我們就需要將UID移動20來確保每個表是100萬的數據,保留用戶表(user_xxxx)四位來擴展1萬張表。

又如第一種方案,每張表100萬,md5後取前兩位,就只能有256張表了,系統總數據庫就是:256*100萬;如果你系統的總數據量的比這還多,那你實現肯定要MD5取前三位或者四位甚至更多位了。

兩種方法都是將數據水平切分到不同的表中,相對第一種方法,第二種方法更具擴展性。。。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved