程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> C語言 >> C++ >> C++入門知識 >> 關於大數據批量更新的問題(高性能)

關於大數據批量更新的問題(高性能)

編輯:C++入門知識

當你批量操作數據的時候,常常會使用到update table1 from table2)的這種方式。這種方式是最簡潔的。

但當你從excel或者CSV文件更新海量數據時,再使用這種方法,那性能是不是好,字符串拼接又何其之多,大數據是不是需要分組更新?

我不想去檢測各種方法的速度,因為我個人比較認可以下方式,歡迎大家批評與指正。

我需要使用到的類主要是SqlCommandBuilder。


[csharp]
/// <param name="table">准備更新的DataTable新數據</param> 
    /// <param name="TableName">對應要更新的數據庫表名</param> 
    /// <param name="primaryKeyName">對應要更新的數據庫表的主鍵名</param> 
    /// <param name="columnsName">對應要更新的列的列名集合</param> 
    /// <param name="limitColumns">需要在SQL的WHERE條件中限定的條件字符串,可為空。</param> 
    /// <param name="onceUpdateNumber">每次往返處理的行數</param> 
    /// <returns>返回更新的行數</returns> 
    public static int Update(DataTable table, string TableName, string primaryKeyName, string[] columnsName, string limitWhere,int onceUpdateNumber) 
    { 
        if (string.IsNullOrEmpty(TableName)) return 0; 
        if (string.IsNullOrEmpty(primaryKeyName)) return 0; 
        if (columnsName == null || columnsName.Length <= 0) return 0; 
        DataSet ds = new DataSet(); 
        ds.Tables.Add(table); 
        int result = 0; 
        using (SqlConnection sqlconn = new SqlConnection(SqlHelper.ConnString)) 
        { 
            sqlconn.Open(); 
 
            //使用加強讀寫鎖事務    
            SqlTransaction tran = sqlconn.BeginTransaction(IsolationLevel.ReadCommitted); 
            try 
            { 
                foreach (DataRow dr in ds.Tables[0].Rows) 
                { 
                    //所有行設為修改狀態    
                    dr.SetModified(); 
                } 
                //為Adapter定位目標表    
                SqlCommand cmd = new SqlCommand(string.Format("select * from {0} where {1}", TableName,limitWhere), sqlconn, tran); 
                SqlDataAdapter da = new SqlDataAdapter(cmd); 
                SqlCommandBuilder sqlCmdBuilder = new SqlCommandBuilder(da); 
                da.AcceptChangesDuringUpdate = false; 
                string columnsUpdateSql = ""; 
                SqlParameter[] paras = new SqlParameter[columnsName.Length]; 
                //需要更新的列設置參數是,參數名為"@+列名" 
                for (int i = 0; i < columnsName.Length; i++) 
                { 
                    //此處拼接要更新的列名及其參數值 
                    columnsUpdateSql += ("[" + columnsName[i] + "]" + "=@" + columnsName[i] + ","); 
                    paras[i] = new SqlParameter("@" + columnsName[i], columnsName[i]); 
                } 
                if (!string.IsNullOrEmpty(columnsUpdateSql)) 
                { 
                    //此處去掉拼接處最後一個"," 
                    columnsUpdateSql = columnsUpdateSql.Remove(columnsUpdateSql.Length - 1); 
                } 
                //此處生成where條件語句 
                string limitSql = ("[" + primaryKeyName + "]" + "=@" + primaryKeyName); 
                SqlCommand updateCmd = new SqlCommand(string.Format(" UPDATE [{0}] SET {1} WHERE {2} ", TableName, columnsUpdateSql, limitSql)); 
                //不修改源DataTable    
                updateCmd.UpdatedRowSource = UpdateRowSource.None; 
                da.UpdateCommand = updateCmd; 
                da.UpdateCommand.Parameters.AddRange(paras); 
                da.UpdateCommand.Parameters.Add("@" + primaryKeyName, primaryKeyName); 
                //每次往返處理的行數 
                da.UpdateBatchSize = onceUpdateNumber; 
                result = da.Update(ds,TableName); 
                ds.AcceptChanges(); 
                tran.Commit(); 
 
            } 
            catch 
            { 
                tran.Rollback(); 
            } 
            finally 
            { 
                sqlconn.Dispose(); 
                sqlconn.Close(); 
            } 
 
 
        } 
        return result; 
    } 


注:
此方法調用時要傳入的參數,包括主鍵名和列名都應與數據庫實際的名稱相對應.

你可以不傳入限定的where條件,如果傳入,只需傳入:Name="chamy" or Name="jundy",不需加入“where”等字符,不可以在此處傳入主鍵的限定。你只需要在主鍵名這個參數上傳入名稱即可。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved