程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> JAVA編程 >> JAVA綜合教程 >> HBase的Write Ahead Log (WAL),hbasewal

HBase的Write Ahead Log (WAL),hbasewal

編輯:JAVA綜合教程

HBase的Write Ahead Log (WAL),hbasewal


HBase的數據寫入操作,會先記錄到HLog中,再真正寫入到MemStore中。
前者是對寫入友好的格式,後者是對查詢友好的格式。所以前者吞吐量更高,寫入成功率大,提高了系統的可靠性,“基本”可以實現宕機後繼續沒有完成的數據更新操作。

API

WAL interface提供了對外的WAL API。
其中最常用的方法是append()。

long append(HRegionInfo info, WALKey key, WALEdit edits, boolean inMemstore) throws IOException;

它追加寫入一系列WALEdit。

API的調用方

每一個HBase region有一個單獨的WAL interface的實例:

HBase客戶端 == Protobuf協議 ==> HRegionServer.execRegionServerService() => MultiRowMutationProtos.callMethod() => MultiRowMutationProtos.mutateRows()=> MultiRowMutationEndpoint.mutateRows() => HRegion.processRowsWithLocks() =>HRegion.doWALAppend()會寫入WAL。

HRegion.processRowsWithLocks()是HRegion更新操作的總控方法——驅動了 獲取所、寫入WAL、寫入MemStore 這一流程。

 

 

原子性

為了實現HBase寫入一行裡的多個列時的原子性,對一行上所有列(即所有KeyValue)的更新操作,都包含在同一個WALEdit對象中:

所以WALEdit中最主要的成員變量,是一系列KeyValue(也就是Cell)的集合:

 

AbstractFSWAL —— 為基於文件系統的WAL實現,提供通用支持

AbstractFSWAL.findRegionsToForceFlush() - 返回當前WAL實例中最老的文件所包含的、還完全被Flush掉的Region

所謂Flush應該是指將這個Region的業務數據從MemStore寫入Store。

如果一個Region被Flush了,那麼其業務數據已經落地到了HFile中。則這個Region的WAL日志(數據操作記錄)就沒有必要存在了,可以刪除,以騰出磁盤空間。

AbstractFSWAL.findRegionsToForceFlush() 用於找到已經被Flush的、相應WAL日志可以被刪除的Region。

 

1. 從AbstractFWSAL.byWalRegionSequenceIds找到第一個文件。

ConcurrentNavigableMap<Path, Map<byte[], Long>> byWalRegionSequenceIds 維護了當前WAL的所有文件,以及每個文件所涉及的Region (包括Region的byte[]名稱和這個Region中最後一次append操作的sequence id)

即 Path (WAL文件名) =>  (byte[] Region名稱, Long sequence id)

 

2. 從第一個文件,找到它的所有Region中,哪些還沒有被Flush

 ConcurrentMap<byte[], ConcurrentMap<byte[], Long>> AbstractFWSAL.SequenceIdAccounting.lowestUnflushedSequenceIds 維護了byte[] Region名稱 + byte[] family名稱 到第一個(即最小的)沒有被Flush的sequence id的映射,稱為lowestUnflushedSequenceId。這裡,每一次append操作對應一個自增的sequence id。所有大於等於lowestUnflushedSequenceId的sequence id,其對應的append操作都沒有被Flush。

因此對於第一步得到的第一個WAL日志文件所涉及的所有Region, 和每個Region的最大sequence id,如果這個最大的sequece id大於這個Region的lowestUnflushedSequenceId,說明這個Region有WAL日志還沒有被Flush。那麼這個Region就會被包含在findRegionsToForceFlush()的結果中。

 

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved