程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> 關於MYSQL數據庫 >> MySQL也能並發導入數據

MySQL也能並發導入數據

編輯:關於MYSQL數據庫
對MySQL的用戶而言,備受诟病的一個問題就是導入SQL備份文件時不能並發,使得導入的效率很低。

  今天,我們就來改變下思路,嘗試一下並發導入的方法,供大家參考。

  1、問題分析

  想要實現並發導入,其實沒那麼難,最簡單的思路就是:將完整的文件切分成多份,然後並發導入即可。

  在這裡,我自己的做法是這樣的:

  1) 首先,假設只有一個庫;多個庫的情況也是類似,無非就是循環

  2) 計算SQL文件總行數

  3) 計算SQL文件總大小

  4) 設定每個切分文件最大尺寸

  5) 初始化表結構

  6) 循環處理SQL,按照切分文件最大尺寸切分成多個小文件

  7) 並發導入多個小文件

  上述方法中,如果數據表是 MyISAM 表,則並發導入沒有問題,但如果是 InnoDB 表,則會有表級鎖 AUOT-INC 導致並發效率不高的麻煩,盡管如此,那也比單個文件串行導入來的快一些。想要避免這個麻煩,就得采用 MySQL 5.1 版本了,因為在 5.1 中,改進了 AUTO-INC 的處理方式,規避了表級鎖,很大程度提高了並發效率。

  2、實際測試

  事先設定:最大並大導入線程是16個。

  2.1 MySQL 5.0.67 版本

  innodb_flush_log_at_trx_commit = 1

  串行導入:01:51:34

  並行導入:01:25:05

  innodb_flush_log_at_trx_commit = 0

  串行導入:01:49:36

  並行導入:01:11:29

  2.2 MySQL 5.1版本

  innodb_flush_log_at_trx_commit = 1, innodb_autoinc_lock_mode = 0

  串行導入:01:52:28

  並行導入:01:38:13

  innodb_flush_log_at_trx_commit = 1, innodb_autoinc_lock_mode = 1

  串行導入:01:54:55

  並行導入:01:26:24

  innodb_autoinc_lock_mode = 0

  並行導入:01:38:13

  innodb_autoinc_lock_mode = 1

  並行導入:01:05:51

  更加詳細的測試就不再做了。

  3、小結

  從上面的測試結果可以看到,MySQL 5.1在AUTO-INC鎖方面的改進還是非常大的,對於想要提升並發性能,同時應用相對不是太復雜,並且不擔心會碰到bug的童鞋可以多多嘗試下。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved