程式師世界 >> 數據庫知識 >> 其他數據庫知識 >> MSSQL >> MySql更新優化戰略

MySql更新優化戰略

編輯：MSSQL

MySql更新優化戰略。本站提示廣大學習愛好者：（MySql更新優化戰略）文章只能為提供參考，不一定能成為您想要的結果。以下是MySql更新優化戰略正文

模仿場景一：

給數據庫中的一張表的構造調劑，添加幾個字段，前面對之前的數據停止刷新，刷新的內容是對個中的一個已有字段url停止婚配，然後更新新加的字段type和typeid。

後來就寫了個shell劇本來刷數據，成果運轉shell劇本後我就懵了，怎樣這麼慢~~~

情形再現

CREATE TABLE `fuckSpeed` (
`uin` bigint(20) unsigned NOT NULL DEFAULT 0,
`id` int(11) unsigned NOT NULL DEFAULT 0,
`url` varchar(255) NOT NULL DEFAULT '',
`type` int(11) unsigned NOT NULL DEFAULT 0,
`typeid` varchar(64) NOT NULL DEFAULT '',
......
KEY `uin_id` (`uin`,`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

表構造年夜概是下面如許的（省略了很多多少字段），表中只要一個結合索引uin_id，而我在更新的時刻是上面的思緒：

起首依據一個id規模獲得到必定數目的數據

select id,url from funkSpeed where id>=101 and id<=200;

遍歷一切的數據，對每條數據停止更新

#起首對數據停止處置，婚配獲得type和typeid

update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

依照下面的思緒弄了以後，發明更新特殊的慢，均勻每秒鐘3~5個閣下，我也是醉了，我看看要更新的數據，總共有32w+條，如許更新上去年夜概須要24h+，也就是1天還要多，額~~哭了，想一想確定是哪裡出成績了。

發明成績
起首我想到的是是否是由於只要一個過程在更新，招致很慢，我啟動了5個過程，將id分段了，就像上面如許

./update_url.sh 0 10000 &
./update_url.sh 10000 20001 &
./update_url.sh 20001 30001 &
./update_url.sh 30002 40002 &
./update_url.sh 40003 50003 &

運轉以後發明照樣那樣，速度沒有晉升若干，照樣每秒鐘更新3~5個閣下，想一想也是啊，時光弗成能消費在拔出數據之前的那些步調（婚配、組裝sql語句、。。。），應當是拔出的時刻有成績

再來看看我的sql語句

select id,url from funkSpeed where id>=101 and id<=200;，

這裡，試著在敕令行履行了下，成果以下

mysql> select id,url from funkSpeed where id>=0 and id<=200;
Empty set (0.18 sec)

居然花了0.18秒，這個時刻我猜豁然開朗，結合索引我沒有應用到，結合索引失效的前提是——必需要有右邊的字段，用explain驗證下，果真是如許：

然後應用結合索引：

mysql> select uin,id from funkSpeed where uin=10023 and id=162;
+------------+----------+
| uin        |   id     |
+------------+----------+
| 10023      | 162      |
+------------+----------+
1 row in set (0.00 sec)

mysql> explain select uin,id from funkSpeed where uin=10023 and id=162;
+-------------+------+---------------+----------+---------+-------------+------+-------------+
| table       | type | possible_keys | key      | key_len | ref         | rows | Extra       |
+-------------+------+---------------+----------+---------+-------------+------+-------------+
| funkSpeed   | ref | uin_id        | uin_id   | 12      | const,const |    4 | Using index |
+-------------+------+---------------+----------+---------+-------------+------+-------------+
1 row in set (0.00 sec)

可以看到簡直是秒查，這個時刻根本可以判斷成績是湧現在索引這個處所了

我select的時刻次數比擬少，每兩個select之間id相差10000，所以這裡可以疏忽失落，並且這裡沒方法優化，除非在id下面添加索引。

成績產生在

update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

這裡在更新的時刻也是會用到查詢的，我的mysql版本是5.5，不克不及explain update，否則確定可以驗證我所說的，這裡要更新32w+條數據，每條數據都邑去更新，每條數據0.2s閣下，這太嚇人了~~

處理成績
成績找到了，處理起來就輕易多了~~

select的時刻加了一個字段uin，改成上面如許

select uin,id,url from funkSpeed where id>=101 and id<=200;

然後更新的時刻應用

update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id]

如許一來索引就是用上了。

三下五除二改好了代碼，試著啟動了一個過程，看看後果若何，果真，後果晉升的不是一點點，均勻30+次/s，如許年夜概3個小時閣下便可以完成一切的更新了。

模仿場景二：
需求6個表 pid字段寫到對應的brand_id字段

成績sql配景：項目有6個表的要依據pid字段要寫入對應的brand_id字段。然則這個個中有兩個表是萬萬級其余。我的worker運轉以後，線上的mysql主從同步連忙延遲了！運轉了一個多小時以後，竟然延遲到了40分鐘，並且只更新了十幾萬行數據。成績sql以下：

<update id="updateBrandIdByPid" parameterClass="com.jd.chat.worker.domain.param.UpdateBrandIdParam">
        UPDATE $tableName$
        SET brand_id = #newBrandId#
        WHERE pid = #pid#
            AND brand_id = 0
    </update>

項目組的mysql專家幫我剖析了下，由於pid字段沒有索引，mysql引擎要逐行掃描出與傳入的pid值相等的列，然後更新數據，也就是要掃描完1000W+行磁盤數據能力履行完這個sql。更嚴重的是，這個萬萬級的內外面有若干個分歧的pid，我就要履行若干個如許的sql。
同事給我的建議的依據id字段停止sql代碼條理的縱向分表。每次更新1000行的數據，如許mysql引擎就不消每次在掃全表了，數據庫壓力是之前的萬分之一。並且id作為主鍵，是有索引的有索引，有索引能年夜年夜優化查詢機能，優化後的sql以下：

僅僅用了id限區間的語句，將一個萬萬級的年夜表代碼條理長進行縱向切割。從新上線worker後，mysql主從沒有任何延遲！並且經由監督，短短10分鐘就更新了十幾萬數據，效力是之前的6倍！更主要的是數據庫負載平衡，運用安康運轉。

以上經由過程兩個成績模仿場景再現剖析MySql更新優化戰略，願望對年夜家在數據庫方面有所贊助。