程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> 關於MYSQL數據庫 >> MySQL分表實現上百萬上千萬記錄分布存儲的批量查詢設計模式

MySQL分表實現上百萬上千萬記錄分布存儲的批量查詢設計模式

編輯:關於MYSQL數據庫

  我們知道可以將一個海量記錄的 MySQL 大表根據主鍵、時間字段,條件字段等分成若干個表甚至保存在若干服務器中。

  唯一的問題就是跨服務器批量查詢麻煩,只能通過應用程序來解決。談談在Java中的解決思路。其他語言原理類似。

  這裡說的分表不是 MySQL 5.1 的 partition,而是人為把一個表分開存在若干表或不同的服務器。

  1. 應用程序級別實現

  見示意圖

  SelectThreadManager 分表數據查詢管理器

  它為分表的每個database or server 建立一個 thread pool

  addTask() - 添加任務

  stopTask() - 停止任務

  getResult() - 獲取執行結果

  最快的執行時間 = 最慢的 MySQL 節點查詢消耗時間

  最慢的執行時間 = 超時時間

  某個 ThreadPool 忙時候處理流程

  1. 假如 ThreadPoolN 非常忙,(也意味 DB N 非常忙);

  2. 新的查詢任務到來,addTask(), 新的任務的一個thread加到ThreadPoolN任務排隊中

  3. 外層應用已經獲得其他 thread 返回結果,繼續等待

  4. 外層應用等待超時的時間到,調用 stopTask() 設置該任務全部 thread 中的停止標志, 外層應用返回。

  5. 若干時間後,ThreadPoolN取到該排隊 Thread, 因為設置了停止位,線程直接運行完成。

  2. JDBC 層實現

  做一個 JDBC Driver 的包裝,攔截 PreparedStatement, Statement 的 executeQuery()

  然後調用 SelectThreadManager 完成

  3. MySQL partition

  MySQL 5.1 的 partition 功能由於單張表的數據跨文件,批量查詢時候同樣存在上述問題,不過它是在 MySQL 內部實現的,不需要外部調用者關心。其查詢實現的原理應該大致類似。

  但 partition 只解決了 IO 的瓶頸,並不能解決 CPU 計算的瓶頸,因此無法代替傳統的手工分表方式。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved