mysql高效導數據的方法講解

數據：一個db，2000個表格，2000張表格數據，每條記錄30個column，平均每張表格4.3w條記錄，總共86388670條記錄。

機器：linux 64bit 8G內存 4核[email protected]

基本思路：
復制代碼 代碼如下:
mysql -utest -pxxxx -s -e "source xxxx.sql"


將load語句放在xxxx.sql中

load語法：
復制代碼 代碼如下:
load data  [low_priority] [local] infile 'file_name.txt' [replace | ignore]

如果串行導入數據，會很慢，考慮並行，但可能有沖突，解決辦法：

load之前清空表  
復制代碼 代碼如下:
truncate table xxxx 或 delete from table xxxx;

或使用replace或ignore關鍵字。