程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> 關於MYSQL數據庫 >> Mysql使用索引實現查詢優化

Mysql使用索引實現查詢優化

編輯:關於MYSQL數據庫

索引的目的在於提高查詢效率,可以類比字典,如果要查“mysql”這個單詞,我們肯定需要定位到m字母,然後從下往下找到y字母,再找到剩下的sql。如果沒有索引,那麼你可能需要把所有單詞看一遍才能找到你想要的。

1.索引的優點

假設你擁有三個未索引的表t1、t2和t3,每個表都分別包含數據列i1、i2和i3,並且每個表都包含了1000條數據行,其序號從1到1000。查找某些值匹配的數據行組合的查詢可能如下所示:

SELECT t1.i1, t2.i2, t3.i3
FROM t1, t2, t3
WHERE t1.i1 = t2.i2 AND t2.i1 = t3.i3;

  這個查詢的結果應該是1000行,每個數據行包含三個相等的值。如果在沒有索引的情況下處理這個查詢,那麼如果我們不對這些表進行全部地掃描,我們是沒有辦法知道哪些數據行含有哪些值的。因此你必須嘗試所有的組合來查找符合WHERE條件的記錄。可能的組合的數量是1000 x 1000 x 1000(10億!),它是匹配記錄的數量的一百萬倍。這就浪費了大量的工作。這個例子顯示,如果沒有使用索引,隨著表的記錄不斷增長,處理這些表的聯結所花費的時間增長得更快,導致性能很差。我們可以通過索引這些數據表來顯著地提高速度,因為索引讓查詢采用如下所示的方式來處理:

  1.選擇表t1中的第一行並查看該數據行的值。

  2.使用表t2上的索引,直接定位到與t1的值匹配的數據行。類似地,使用表t3上的索引,直接定位到與表t2的值匹配的數據行。

  3.處理表t1的下一行並重復前面的過程。執行這樣的操作直到t1中的所有數據行都被檢查過。

  在這種情況下,我們仍然對表t1執行了完整的掃描,但是我們可以在t2和t3上執行索引查找,從這些表中直接地獲取數據行。理論上采用這種方式運行上面的查詢會快一百萬倍。當然這個例子是為了得出結論來人為建立的。然而,它解決的問題卻是現實的,給沒有索引的表添加索引通常會獲得驚人的性能提高。
-

2.索引的代價

首先,索引加快了檢索的速度,但是減慢了插入和刪除的速度,同時還減慢了更新被索引的數據列中的值的速度。也就是說,索引減慢了大多數涉及寫操作的速度。發生這種現象的原因在於寫入一條記錄的時候不但需要寫入數據行,還需要改變所有的索引。數據表帶有的索引越多,需要做出的修改就越多,平均性能的降低程度也就越大。在本文的”高效率載入數據”部分中,我們將更細致地了解這些現象並找出處理方法。

  其次,索引會花費磁盤空間,多個索引相應地花費更多的磁盤空間。這可能導致更快地到達數據表的大小限制:

  · 對於MyISAM表,頻繁地索引可能引起索引文件比數據文件更快地達到最大限制。

  · 對於BDB表,它把數據和索引值一起存儲在同一個文件中,添加索引引起這種表更快地達到最大文件限制。

  · 在InnoDB的共享表空間中分配的所有表都競爭使用相同的公共空間池,因此添加索引會更快地耗盡表空間中的存儲。但是,與MyISAM和BDB表使用的文件不同,InnoDB共享表空間並不受操作系統的文件大小限制,因為我們可以把它配置成使用多個文件。只要有額外的磁盤空間,你就可以通過添加新組件來擴展表空間。

  使用單獨表空間的InnoDB表與BDB表受到的約束是一樣的,因為它的數據和索引值都存儲在單個文件中。

  這些要素的實際含義是:如果你不需要使用特殊的索引幫助查詢執行得更快,就不要建立索引。

3.選擇索引

  假設你已經知道了建立索引的語法,但是語法不會告訴你數據表應該如何索引。這要求我們考慮數據表的使用方式。這一部分指導你如何識別出用於索引的備選數據列,以及如何最好地建立索引:

  用於搜索、排序和分組的索引數據列並不僅僅是用於輸出顯示的。換句話說,用於索引的最好的備選數據列是那些出現在WHERE子句、join子句、ORDER BY或GROUP BY子句中的列。僅僅出現在SELECT關鍵字後面的輸出數據列列表中的數據列不是很好的備選列:

SELECT
col_a <- 不是備選列
FROM
tbl1 LEFT JOIN tbl2
ON tbl1.col_b = tbl2.col_c <- 備選列
WHERE
col_d = expr; <- 備選列

  當然,顯示的數據列與WHERE子句中使用的數據列也可能相同。我們的觀點是輸出列表中的數據列本質上不是用於索引的很好的備選列。

  Join子句或WHERE子句中類似col1 = col2形式的表達式中的數據列都是特別好的索引備選列。前面顯示的查詢中的col_b和col_c就是這樣的例子。如果MySQL能夠利用聯結列來優化查詢,它一定會通過減少整表掃描來大幅度減少潛在的表-行組合。

  考慮數據列的基數(cardinality)。基數是數據列所包含的不同值的數量。例如,某個數據列包含值1、3、7、4、7、3,那麼它的基數就是4。索引的基數相對於數據表行數較高(也就是說,列中包含很多不同的值,重復的值很少)的時候,它的工作效果最好。如果某數據列含有很多不同的年齡,索引會很快地分辨數據行。如果某個數據列用於記錄性別(只有”M”和”F”兩種值),那麼索引的用處就不大。如果值出現的幾率幾乎相等,那麼無論搜索哪個值都可能得到一半的數據行。在這些情況下,最好根本不要使用索引,因為查詢優化器發現某個值出現在表的數據行中的百分比很高的時候,它一般會忽略索引,進行全表掃描。慣用的百分比界線是”30%”。現在查詢優化器更加復雜,把其它一些因素也考慮進去了,因此這個百分比並不是MySQL決定選擇使用掃描還是索引的唯一因素。

  索引較短的值。盡可能地使用較小的數據類型。例如,如果MEDIUMINT足夠保存你需要存儲的值,就不要使用BIGINT數據列。如果你的值不會長於25個字符,就不要使用CHAR(100)。較小的值通過幾個方面改善了索引的處理速度:

  · 較短的值可以更快地進行比較,因此索引的查找速度更快了。

  · 較小的值導致較小的索引,需要更少的磁盤I/O。

  · 使用較短的鍵值的時候,鍵緩存中的索引塊(block)可以保存更多的鍵值。MySQL可以在內存中一次保持更多的鍵,在不需要從磁盤讀取額外的索引塊的情況下,提高鍵值定位的可能性。

  對於InnoDB和BDB等使用聚簇索引(clustered index)的存儲引擎來說,保持主鍵(primary key)短小的優勢更突出。聚簇索引中數據行和主鍵值存儲在一起(聚簇在一起)。其它的索引都是次級索引;它們存儲主鍵值和次級索引值。次級索引屈從主鍵值,它們被用於定位數據行。這暗示主鍵值都被復制到每個次級索引中,因此如果主鍵值很長,每個次級索引就需要更多的額外空間。

  索引字符串值的前綴(prefixe)。如果你需要索引一個字符串數據列,那麼最好在任何適當的情況下都應該指定前綴長度。例如,如果有CHAR(200)數據列,如果前面10個或20個字符都不同,就不要索引整個數據列。索引前面10個或20個字符會節省大量的空間,並且可能使你的查詢速度更快。通過索引較短的值,你可以獲得那些與比較速度和磁盤I/O節省相關的好處。當然你也需要利用常識。僅僅索引某個數據列的第一個字符串可能用處不大,因為如果這樣操作,那麼在索引中不會有太多的唯一值。

  你可以索引CHAR、VARCHAR、BINARY、VARBINARY、BLOB和TEXT數據列的前綴。

  使用最左(leftmost)前綴。建立多列復合索引的時候,你實際上建立了MySQL可以使用的多個索引。復合索引可以作為多個索引使用,因為索引中最左邊的列集合都可以用於匹配數據行。這種列集合被稱為”最左前綴”(它與索引某個列的前綴不同,那種索引把某個列的前面幾個字符作為索引值)。

  假設你在表的state、city和zip數據列上建立了復合索引。索引中的數據行按照state/city/zip次序排列,因此它們也會自動地按照state/city和state次序排列。這意味著,即使你在查詢中只指定了state值,或者指定state和city值,MySQL也可以使用這個索引。因此,這個索引可以被用於搜索如下所示的數據列組合:

state, city, zip
state, city
state

  MySQL不能利用這個索引來搜索沒有包含在最左前綴的內容。例如,如果你按照city或zip來搜索,就不會使用到這個索引。如果你搜索給定的state和具體的ZIP代碼(索引的1和3列),該索引也是不能用於這種組合值的,盡管MySQL可以利用索引來查找匹配的state從而縮小搜索的范圍。

  不要過多地索引。不要認為”索引越多,性能越高”,不要對每個數據列都進行索引。我們在前面提到過,每個額外的索引都會花費更多的磁盤空間,並降低寫操作的性能。當你修改表的內容的時候,索引就必須被更新,甚至可能重新整理。如果你的索引很少使用或永不使用,你就沒有必要減小表的修改操作的速度。此外,為檢索操作生成執行計劃的時候,MySQL會考慮索引。建立額外的索引會給查詢優化器增加更多的工作量。如果索引太多,有可能(未必)出現MySQL選擇最優索引失敗的情況。維護自己必須的索引可以幫助查詢優化器來避免這類錯誤。

  如果你考慮給已經索引過的表添加索引,那麼就要考慮你將增加的索引是否是已有的多列索引的最左前綴。如果是這樣的,不用增加索引,因為已經有了(例如,如果你在state、city和zip上建立了索引,那麼沒有必要再增加state的索引)。

  讓索引類型與你所執行的比較的類型相匹配。在你建立索引的時候,大多數存儲引擎會選擇它們將使用的索引實現。例如,InnoDB通常使用B樹索引。MySQL也使用B樹索引,它只在三維數據類型上使用R樹索引。但是,MEMORY存儲引擎支持散列索引和B樹索引,並允許你選擇使用哪種索引。為了選擇索引類型,需要考慮在索引數據列上將執行的比較操作類型:

  · 對於散列(hash)索引,會在每個數據列值上應用散列函數。生成的結果散列值存儲在索引中,並用於執行查詢。散列函數實現的算法類似於為不同的輸入值生成不同的散列值。使用散列值的好處是散列值比原始值的比較效率更高。散列索引用於執行=或<=>操作等精確匹配的時候速度非常快。但是對於查詢一個值的范圍效果就非常差了:

id < 30
weight BETWEEN 100 AND 150

  · B樹索引可以用於高效率地執行精確的或者基於范圍(使用操作<、<=、=、>=、>、<>、!=和BETWEEN)的比較。B樹索引也可以用於LIKE模式匹配,前提是該模式以文字串而不是通配符開頭。

  如果你使用的MEMORY數據表只進行精確值查詢,散列索引是很好的選擇。這是MEMORY表使用的默認的索引類型,因此你不需要特意指定。如果你希望在MEMORY表上執行基於范圍的比較,應該使用B樹索引。為了指定這種索引類型,需要給索引定義添加USING BTREE。例如:

CREATE TABLE lookup
(
id INT NOT NULL,
name CHAR(20),
PRIMARY KEY USING BTREE (id)
) ENGINE = MEMORY;

  如果你希望執行的語句的類型允許,單個MEMORY表可以同時擁有散列索引和B樹索引,即使在同一個數據列上。

  有些類型的比較不能使用索引。如果你只是通過把值傳遞到函數(例如STRCMP())中來執行比較操作,那麼對它進行索引就沒有價值。服務器必須計算出每個數據行的函數值,它會排除數據列上索引的使用。

  使用慢查詢(slow-query)日志來識別執行情況較差的查詢。這個日志可以幫助你找出從索引中受益的查詢。你可以直接查看日志(它是文本文件),或者使用mysqldumpslow工具來統計它的內容。如果某個給定的查詢多次出現在”慢查詢”日志中,這就是一個線索,某個查詢可能沒有優化編寫。你可以重新編寫它,使它運行得更快。你要記住,在評估”慢查詢”日志的時候,”慢”是根據實際時間測定的,在負載較大的服務器上”慢查詢”日志中出現的查詢會多一些。

*4.建索引的幾大原則*

4.1.最左前綴匹配原則,非常重要的原則,mysql會一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配,比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引則都可以用到,a,b,d的順序可以任意調整。

4.2.=和in可以亂序,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意順序,mysql的查詢優化器會幫你優化成索引可以識別的形式

4.3.盡量選擇區分度高的列作為索引,區分度的公式是count(distinct col)/count(*),表示字段不重復的比例,比例越大我們掃描的記錄數越少,唯一鍵的區分度是1,而一些狀態、性別字段可能在大數據面前區分度就是0,那可能有人會問,這個比例有什麼經驗值嗎?使用場景不同,這個值也很難確定,一般需要join的字段我們都要求是0.1以上,即平均1條掃描10條記錄

4.4.索引列不能參與計算,保持列“干淨”,比如from_unixtime(create_time) = '2014-05-29'就不能使用到索引,原因很簡單,b+樹中存的都是數據表中的字段值,但進行檢索時,需要把所有元素都應用函數才能比較,顯然成本太大。所以語句應該寫成create_time = unix_timestamp('2014-05-29');

4.5.盡量的擴展索引,不要新建索引。比如表中已經有a的索引,現在要加(a,b)的索引,那麼只需要修改原來的索引即可。

以上所述是小編給大家介紹的Mysql使用索引實現查詢優化,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對網站的支持!

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved