1.拼SQL語句,insert後面帶1000個value一次性提交;
2.使用連接池,保持長連接插入;
3.更換Mysql的存儲引擎為Inforbright,然後把數據做成文本,批量導入
4.使用隊列,保持最高插入速度
有沒人有其他更好的方法,最近有130G每天都文件要入庫分析,期待指引密經。
1
LOAD DATA INFILE 'F:\a\data.txt' IGNORE INTO TABLE music.album CHARACTER SETutf8 FIELDS TERMINATED BY ',' lines terminated by '\r\n'(album_id,album_name,singer_name,publish_time,song_count);