程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> 關於MYSQL數據庫 >> MYSQL批量插入數據庫實現語句性能分析

MYSQL批量插入數據庫實現語句性能分析

編輯:關於MYSQL數據庫

       假定我們的表結構如下

    代碼如下  

    CREATE TABLE example (
    example_id INT NOT NULL,
    name VARCHAR( 50 ) NOT NULL,
    value VARCHAR( 50 ) NOT NULL,
    other_value VARCHAR( 50 ) NOT NULL
    )

      通常情況下單條插入的sql語句我們會這麼寫:

    代碼如下  

    INSERT INTO example
    (example_id, name, value, other_value)
    VALUES
    (100, 'Name 1', 'Value 1', 'Other 1');

      mysql允許我們在一條sql語句中批量插入數據,如下sql語句:

    代碼如下  

    INSERT INTO example
    (example_id, name, value, other_value)
    VALUES
    (100, 'Name 1', 'Value 1', 'Other 1'),
    (101, 'Name 2', 'Value 2', 'Other 2'),
    (102, 'Name 3', 'Value 3', 'Other 3'),
    (103, 'Name 4', 'Value 4', 'Other 4');

      如果我們插入列的順序和表中列的順序一致的話,還可以省去列名的定義,如下sql

    代碼如下  

    INSERT INTO example
    VALUES
    (100, 'Name 1', 'Value 1', 'Other 1'),
    (101, 'Name 2', 'Value 2', 'Other 2'),
    (102, 'Name 3', 'Value 3', 'Other 3'),
    (103, 'Name 4', 'Value 4', 'Other 4');

      上面看上去沒什麼問題,下面我來使用sql語句優化的小技巧,下面會分別進行測試,目標是插入一個空的數據表200W條數據

      第一種方法:使用insert into 插入,代碼如下:

    代碼如下  


    $params = array('value'=>'50');
    set_time_limit(0);
    echo date("H:i:s");
    for($i=0;$i<2000000;$i++){
    $connect_mysql->insert($params);
    };
    echo date("H:i:s");

      最後顯示為:23:25:05 01:32:05 也就是花了2個小時多!

      第二種方法:使用事務提交,批量插入數據庫(每隔10W條提交下)最後顯示消耗的時間為:22:56:13 23:04:00 ,一共8分13秒 ,代碼如下:

    代碼如下  

    echo date("H:i:s");

    $connect_mysql->query('BEGIN');
    $params = array('value'=>'50');
    for($i=0;$i<2000000;$i++){
    $connect_mysql->insert($params);
    if($i%100000==0){
    $connect_mysql->query('COMMIT');
    $connect_mysql->query('BEGIN');
    }
    }
    $connect_mysql->query('COMMIT');
    echo date("H:i:s");

      第三種方法:使用優化SQL語句:將SQL語句進行拼接,使用 insert into table () values (),(),(),()然後再一次性插入,如果字符串太長,

      則需要配置下MYSQL,在mysql 命令行中運行 :set global max_allowed_packet = 2*1024*1024*10;消耗時間為:11:24:06 11:25:06;

      插入200W條測試數據僅僅用了1分鐘!代碼如下:

    代碼如下  

    $sql= "insert into twenty_million (value) values";
    for($i=0;$i<2000000;$i++){
    $sql.="('50'),";
    };
    $sql = substr($sql,0,strlen($sql)-1);
    $connect_mysql->query($sql);

      最後總結下,在插入大批量數據時,第一種方法無疑是最差勁的,而第二種方法在實際應用中就比較廣泛,第三種方法在插入測試數據或者其他低要求時比較合適,速度確實快。

    1. 上一頁:
    2. 下一頁:
    Copyright © 程式師世界 All Rights Reserved