程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> MySQL綜合教程 >> sysbench對mysql壓力測試的具體教程

sysbench對mysql壓力測試的具體教程

編輯:MySQL綜合教程

sysbench對mysql壓力測試的具體教程。本站提示廣大學習愛好者:(sysbench對mysql壓力測試的具體教程)文章只能為提供參考,不一定能成為您想要的結果。以下是sysbench對mysql壓力測試的具體教程正文


媒介

在對網站全體機能停止benchmark時,可使用多種對象,好比年夜名鼎鼎的ab(Apache bench),http_load等對象。這裡我們不存眷他們的應用,假如你想懂得,可以自行在網上找到謎底。

重點來講MySQL的基准測試若何停止,也有許多種對象來供我們選擇,好比mysqlslap、sysbench、Super Smack等,個中mysqlslap的應用MySQL官網給出了引見,Super Smack是辦事器壓力測試強無力的對象,那末sysbench就是我們停止MySQL基准測試的很英俊的對象了。

sysbench

sysbench是一款開源的多線程機能測試對象,可以履行CPU/內存/線程/IO/數據庫等方面的機能測試。數據庫今朝支撐MySQL/Oracle/PostgreSQL;

它重要包含以下幾種方法的測試:

     1、cpu機能

     2、磁盤io機能

     3、調劑法式機能

     4、內存分派及傳輸速度

     5、POSIX線程機能

     6、數據庫機能(OLTP基准測試)

sysbench的數據庫OLTP測試支撐MySQL、PostgreSQL、Oracle,今朝重要用於Linux操作體系,開源社區曾經將sysbench移植到了Windows,並支撐SQL Server的基准測試。

空話不多說,開端。

1、sysbench裝置

mysql版本: mysql-community-server-5.6.29

OS: CentOS 6.7 X86_64

sysbench 0.5比擬0.4版本有一些變更,包含oltp測試聯合了lua劇本,還多了一些隱蔽選項,本文會觸及獲得一部門。

// 先裝置編譯依附情況
$ sudo yum install gcc gcc-c++ automake make libtool mysql-community-devel
$ cd /tmp && git clone https://github.com/akopytov/sysbench.git
$ cd /tmp/sysbench && ./autogen.sh
$ ./configure --prefix=/usr/local/sysbench-0.5
$ ./make && sudo make install
// 0.5版本須要oltp.lua測試劇本
// 假如是rpm包方法裝置的,在 /usr/share/doc/sysbench/tests/db/ 下可找到
$ cd /usr/local/sysbench && sudo mkdir -p share/tests/db
$ cp /tmp/sysbench/sysbench/tests/db/*.lua share/tests/db/
$ ./bin/sysbench --version
sysbench 0.5

假如須要測試PostgreSQL、Oracle,則在configure時須要加上 –with-oracle 或許 –with-pgsql 參數

2、應用sysbench對mysql壓測

2.1 只讀示例

./bin/sysbench --test=./share/tests/db/oltp.lua \
--mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser \
--mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 \
--report-interval=10 --oltp-dist-type=uniform --rand-init=on --max-requests=0 \
--oltp-test-mode=nontrx --oltp-nontrx-mode=select \
--oltp-read-only=on --oltp-skip-trx=on \
--max-time=120 --num-threads=12 \
[prepare|run|cleanup]

留意最初一行,一項測試開端前須要用prepare來預備好表和數據,run履行真實的壓測,cleanup用來消除數據和表。現實prepare的表構造:

mysql> desc dbtest1a.sbtest1;
+-------+------------------+------+-----+---------+----------------+
| Field | Type       | Null | Key | Default | Extra     |
+-------+------------------+------+-----+---------+----------------+
| id  | int(10) unsigned | NO  | PRI | NULL  | auto_increment |
| k   | int(10) unsigned | NO  | MUL | 0    |        |
| c   | char(120)    | NO  |   |     |        |
| pad  | char(60)     | NO  |   |     |        |
+-------+------------------+------+-----+---------+----------------+
4 rows in set (0.00 sec)

下面的測試敕令代表的是:對mysql停止oltp基准測試,表數目10,每表行數約50w(簡直delete若干就會insert的若干),而且長短事務的只讀測試,連續60s,並發線程數12。

須要解釋的選項:

     mysql-db=dbtest1a:測試應用的目的數據庫,這個庫名要事前創立

     --oltp-tables-count=10:發生表的數目

     --oltp-table-size=500000:每一個表發生的記載行數

     --oltp-dist-type=uniform:指定隨機取樣類型,可選值有 uniform(平均散布), Gaussian(高斯散布), special(空間散布)。默許是special

     --oltp-read-only=off:表現不止發生只讀SQL,也就是應用oltp.lua時會采取讀寫混雜形式。默許 off,假如設置為on,則不會發生update,delete,insert的sql。

     --oltp-test-mode=nontrx:履行形式,這裡長短事務式的。可選值有simple,complex,nontrx。默許是complex

             simple:簡略查詢,SELECT c FROM sbtest WHERE id=N

             complex (advanced transactional) :事務形式在開端和停止事務之前加上begin和commit, 一個事務裡可以有多個語句,如點查詢、規模查詢、排序查詢、更新、刪除、拔出等,而且為了不損壞測試表的數據,該形式下一筆記錄刪除後會在統一個事務裡添加一條雷同的記載。

             nontrx (non-transactional) :與simple類似,然則可以停止update/insert等操作,所以假如做持續的比較壓測,你能夠須要從新cleanup,prepare。

     --oltp-skip-trx=[on|off] :省略begin/commit語句。默許是off

     --rand-init=on:能否隨機初始化數據,假如不隨機化那末初始好的數據每行內容除主鍵分歧外其他完整雷同

     --num-threads=12: 並發線程數,可以懂得為模仿的客戶端並發銜接數

     --report-interval=10:表現每10s輸入一次測試進度申報

     --max-requests=0:壓力測試發生要求的總數,假如以上面的max-time來記,這個值設為0

     --max-time=120:壓力測試的連續時光,這裡是2分鐘。

留意,針對分歧的選項取值就會有分歧的子選項。好比oltp-dist-type=special,就有好比oltp-dist-pct=1、oltp-dist-res=50兩個子選項,代表有50%的查詢落在1%的行(即熱門數據)上,別的50%平均的(sample uniformly)落在別的99%的記載行上。

再好比oltp-test-mode=nontrx時, 便可以有oltp-nontrx-mode,可選值有select(默許), update_key, update_nokey, insert, delete,代表非事務式形式下應用的測試sql類型。

以上代表的是一個只讀的例子,可以把num-threads順次遞增(16,36,72,128,256,512),或許調劑my.cnf參數,比擬後果。別的須要留意的是,年夜部門mysql中央件對事務的處置,默許都是把sql發到主庫履行,所以只讀測試須要加上oltp-skip-trx=on來跳過測試中的顯式事務。

ps1: 只讀測試也能夠應用share/tests/db/select.lua停止,但只是簡略的point select。

ps2: 我在用sysbench壓的時刻,在mysql後端會話裡有時看到年夜量的query cache lock,假如應用的是uniform取樣,最好把查詢緩存關失落。固然假如是做兩組機能比較壓測,由於都受這個身分影響,關懷也不年夜。

2.2 混雜讀寫

讀寫測試照樣用oltp.lua,只需把--oltp-read-only等於off。

./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 prepare
./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 run
./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 cleanup

但是oltp-test-mode=nontrx一向沒有隨著我預期的去走,在mysql general log外面看到的sql記載與complex形式雷同。所以下面示例中的--oltp-test-mode=nontrx --oltp-nontrx-mode=select可以刪失落。

update:

本來sysbench 0.5版本去失落了這個選項,由於作者正在預備1.0版本,所以也就沒有更新0.5版本的doc。網上的博客漫天飛,就沒有一個提出來的,也是沒誰了。

剖析一下oltp.lua劇本內容,可以清晰單個事務各操作的默許比例:select:update_key:update_non_key:delete:insert = 14:1:1:1:1,可經由過程oltp-point-selectsoltp-simple-rangesoltp-sum-rangesoltp-order-rangesoltp-distinct-rangesoltp-index-updatesoltp-non-index-updates這些選項去調劑讀寫權重。

同只讀測試一樣,在atlas,mycat這類中央件測試中假如不加oltp-skip-trx=on,那末一切查詢都邑發往主庫,但假如在有寫入的情形下應用--oltp-skip-trx=on跳過BEGIN和COMMIT,會湧現成績:

ALERT: failed to execute MySQL query: INSERT INTO sbtest4 (id, k, c, pad) VALUES (48228, 47329, '82773802508-44916890724-85859319254-67627358653-96425730419-64102446666-75789993135-91202056934-68463872307-28147315305', '13146850449-23153169696-47584324044-14749610547-34267941374'):
ALERT: Error 1062 Duplicate entry ‘48228' for key ‘PRIMARY'
FATAL: failed to execute function `event': (null)

緣由也很輕易懂得,每一個線程將選擇一個隨機的表,不加事務的情形下高並發更新(拔出)湧現反復key的幾率很年夜,但我們壓測不在意這些數據,所以須要跳過這個毛病--mysql-ignore-errors=1062,這個成績老外有出過打補釘的計劃許可--mysql-ignore-duplicates=on,但作者新參加的疏忽毛病碼這個功效曾經代替了它。mysql-ignore-errors選項是0.5版本參加的,但今朝沒有文檔標明。

這裡不能不信服老外的做事效力和義務心,提個困惑能立馬獲得答復,反不雅國際,好比在atlas,mycat項目裡提到成績到如今都沒人理睬。。。

2.3 只更新

假如基准測試的時刻,你只想比擬兩個項目標update(或insert)效力,那可以不應用oltp劇本,而直接改用update_index.lua

./bin/sysbench --test=./share/tests/db/update_index.lua \
--mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser \
--mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 \
--report-interval=10 --rand-init=on --max-requests=0 \
--oltp-read-only=off --max-time=120 --num-threads=128 \
[ prepare | run | cleanup ]

此時像oltp-read-only=off很多參數都掉效了。須要解釋的是這裡 (非)索引更新,不是where前提依據索引去查找更新,而是更新索引列上的值。

三. 成果解讀

sysbench 0.5: multi-threaded system evaluation benchmark
Running the test with following options:
Number of threads: 128
Report intermediate results every 20 second(s)
Initializing random number generator from timer.
Random number generator seed is 0 and will be ignored
Initializing worker threads...
Threads started!
[ 20s] threads: 128, tps: 2354.54, reads: 33035.89, writes: 9423.39, response time: 66.80ms (95%), errors: 0.00, reconnects: 0.00
[ 40s] threads: 128, tps: 2377.75, reads: 33274.26, writes: 9507.55, response time: 66.88ms (95%), errors: 0.00, reconnects: 0.00
[ 60s] threads: 128, tps: 2401.35, reads: 33615.30, writes: 9607.40, response time: 66.40ms (95%), errors: 0.00, reconnects: 0.00
[ 80s] threads: 128, tps: 2381.20, reads: 33331.50, writes: 9522.55, response time: 67.30ms (95%), errors: 0.00, reconnects: 0.00
[ 100s] threads: 128, tps: 2388.85, reads: 33446.10, writes: 9556.35, response time: 67.00ms (95%), errors: 0.00, reconnects: 0.00
[ 120s] threads: 128, tps: 2386.40, reads: 33421.35, writes: 9545.35, response time: 66.94ms (95%), errors: 0.00, reconnects: 0.00
OLTP test statistics:
  queries performed:
    read:              4003048 //總select數目
    write:              1143728 //總update、insert、delete語句數目
    other:              571864  //commit、unlock tables和其他mutex的數目
    total:              5718640
  transactions:            285932 (2382.10 per sec.) //平日須要存眷的數字(TPS)
  read/write requests:         5146776 (42877.85 per sec.)
  other operations:          571864 (4764.21 per sec.)
  ignored errors:           0   (0.00 per sec.) //疏忽的毛病數
  reconnects:             0   (0.00 per sec.)
General statistics:
  total time:             120.0334s //即max-time指定的壓測現實
  total number of events:       285932  //總的事宜數,普通與transactions雷同
  total time taken by event execution: 15362.6623s
  response time:
     min:                 17.60ms
     avg:                 53.73ms //95%的語句的均勻呼應時光
     max:                252.90ms
     approx. 95 percentile:       66.88ms
Threads fairness:
  events (avg/stddev):      2233.8438/9.04
  execution time (avg/stddev):  120.0208/0.01

我們普通存眷的用於畫圖的目標重要有:

     response time avg: 均勻呼應時光。(前面的95%的年夜小可以經由過程--percentile=98的方法去更改)

     transactions: 准確的說是這一項前面的TPS 。但假如應用了-oltp-skip-trx=on,這項事務數恆為0,須要用total number of events 去除以總時光,獲得tps(其實還可以分為讀tps和寫tps)

     read/write requests: 用它除以總時光,獲得吞吐量QPS

     固然還有一些體系層面的cpu,io,mem相干目標

sysbench還可以對文件體系IO測試,CPU機能測試,和內存分派與傳輸速度測試,這裡就不引見了。

總結

sysbench的缺陷就是,模仿的表構造太簡略,不像tpcc-mysql那樣完全的事務體系。但關於機能壓測比較照樣很有效的,由於sysbench應用的情況參數限制是一樣的。以上就是這篇文章的全體內容了,願望本文的內容對年夜家的進修或許任務能帶來必定的贊助,假如有疑問年夜家可以留言交換。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved