程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> MySQL綜合教程 >> 線程池總結(二),線程池總結

線程池總結(二),線程池總結

編輯:MySQL綜合教程

線程池總結(二),線程池總結


     上一篇主要講了線程池的原理和實現,感覺有點意猶未盡,這篇文章是對上篇文章的一個補充,主要圍繞以下兩點展開,one-connection-per-thread的實現方式以及線程池中epoll的使用。

one-connection-per-thread

根據scheduler_functions的模板,我們也可以列出one-connection-per-thread方式的幾個關鍵函數。

static scheduler_functions con_per_functions=

{     max_connection+1,      // max_threads   

     NULL,   

     NULL,   

     NULL,                             // init   

     Init_new_connection_handler_thread,  // init_new_connection_thread

      create_thread_to_handle_connection,  // add_connection   

     NULL,                                   // thd_wait_begin   

     NULL,                                  // thd_wait_end   

     NULL,                                  // post_kill_notification   

     one_thread_per_connection_end,      // end_thread    

     NULL                             // end

};

1.init_new_connection_handler_thread

這個接口比較簡單,主要是調用pthread_detach,將線程設置為detach狀態,線程結束後自動釋放所有資源。

2.create_thread_to_handle_connection

這個接口是處理新連接的接口,對於線程池而言,會從thread_id%group_size對應的group中獲取一個線程來處理,而one-connection-per-thread方式則會判斷是否有thread_cache可以使用,如果沒有則新建線程來處理。具體邏輯如下:

(1).判斷緩存的線程數是否使用完(比較blocked_pthread_count 和wake_pthread大小)

(2).若還有緩存線程,將thd加入waiting_thd_list的隊列,喚醒一個等待COND_thread_cache的線程

(3).若沒有,創建一個新的線程處理,線程的入口函數是do_handle_one_connection

(4).調用add_global_thread加入thd數組。

 3.do_handle_one_connection

這個接口被create_thread_to_handle_connection調用,處理請求的主要實現接口。

(1).循環調用do_command,從socket中讀取網絡包,並且解析執行;

(2). 當遠程客戶端發送關閉連接COMMAND(比如COM_QUIT,COM_SHUTDOWN)時,退出循環

(3).調用close_connection關閉連接(thd->disconnect());

(4).調用one_thread_per_connection_end函數,確認是否可以復用線程

(5).根據返回結果,確定退出工作線程還是繼續循環執行命令。

4.one_thread_per_connection_end

判斷是否可以復用線程(thread_cache)的主要函數,邏輯如下:

(1).調用remove_global_thread,移除線程對應的thd實例

(2).調用block_until_new_connection判斷是否可以重用thread

(3).判斷緩存的線程是否超過閥值,若沒有,則blocked_pthread_count++;

(4).阻塞等待條件變量COND_thread_cache

(5).被喚醒後,表示有新的thd需要重用線程,將thd從waiting_thd_list中移除,使用thd初始化線程的thd->thread_stack

(6).調用add_global_thread加入thd數組。

(7).如果可以重用,返回false,否則返回ture

線程池與epoll

      在引入線程池之前,server層只有一個監聽線程,負責監聽mysql端口和本地unixsocket的請求,對於每個新的連接,都會分配一個獨立線程來處理,因此監聽線程的任務比較輕松,mysql通過poll或select方式來實現IO的多路復用。引入線程池後,除了server層的監聽線程,每個group都有一個監聽線程負責監聽group內的所有連接socket的連接請求,工作線程不負責監聽,只處理請求。對於overscribe為1000的線程池設置,每個監聽線程需要監聽1000個socket的請求,監聽線程采用epoll方式來實現監聽。

    Select,poll,epoll都是IO多路復用機制,IO多路復用通過一種機制,可以監聽多個fd(描述符),比如socket,一旦某個fd就緒(讀就緒或寫就緒),能夠通知程序進行相應的讀寫操作。epoll相對於select和poll有了很大的改進,首先epoll通過epoll_ctl函數注冊,注冊時,將所有fd拷貝進內核,只拷貝一次不需要重復拷貝,而每次調用poll或select時,都需要將fd集合從用戶空間拷貝到內核空間(epoll通過epoll_wait進行等待);其次,epoll為每個描述符指定了一個回調函數,當設備就緒時,喚醒等待者,通過回調函數將描述符加入到就緒鏈表,無需像select,poll方式采用輪詢方式;最後select默認只支持1024個fd,epoll則沒有限制,具體數字可以參考cat /proc/sys/fs/file-max的設置。epoll貫穿在線程池使用的過程中,下面我就epoll的創建,使用和銷毀生命周期來描述epoll在線程中是如何使用的。

備注:

1.注冊在epoll的fd,若請求就緒,則將對應的event放入到events數組,並將該fd的事務類型清空,因此對於老的連接請求,依然需要調用epoll_ctl(pollfd, EPOLL_CTL_MOD,  fd, &ev)來注冊。

線程池函數調用關系

(1)創建epoll

tp_init->thread_group_init->tp_set_threadpool_size->io_poll_create->epoll_create

(2)關閉epoll

tp_end->thread_group_close->thread_group_destroy->close(pollfd)

(3)關聯socket描述符

handle_event->start_io->io_poll_associate_fd->io_poll_start_read->epoll_ctl

(4)處理連接請求

handle_event->threadpool_process_request->do_command->dispatch_command->mysql_parse->mysql_execute_command

(5)工作線程空閒時

worker_main->get_event->pthread_cond_timedwait

等待thread_pool_idle_timeout後,退出。

(6)監聽epoll

worker_main->get_event->listener->io_poll_wait->epoll_wait

(7)端口監聽線程

main->mysqld_main->handle_connections_sockets->poll 

one-connection-per-thread函數調用關系

(1) 工作線程等待請求

handle_one_connection->do_handle_one_connection->do_command->
my_net_read->net_read_packet->net_read_packet_header->net_read_raw_loop->
vio_read->vio_socket_io_wait->vio_io_wait->poll

備注:與線程池的工作線程有監聽線程幫助其監聽請求不同,one-connection-per-thread方式的工作線程在空閒時,會調用poll阻塞等待網絡包過來;

而線程池的工作線程只需要專心處理請求即可,所以使用也更充分。

(2)端口監聽線程
與線程池的(7)相同 

參考文檔

http://www.cnblogs.com/Anker/p/3265058.html

http://blog.csdn.net/zhanglu5227/article/details/7960677

 

 

 

 

 

 

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved