java.lang.NullPointerException: Expected timestamp

java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null

java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null

使用flume的時候出現的問題。

sink是hdfs，然後使用目錄自動生成功能。出現如題的錯誤，看官網文檔說的是需要在每個文件記錄行的開頭需要有時間戳，但是時間戳的格式可能比較難調節，所以亦可設置hdfs.useLocalTimeStamp這個參數，比如以每個小時作為一個文件夾，那麼配置應該是這樣：

a1.sinks.k1.hdfs.path = hdfs://ubuntu:9000/flume/events/%y-%m-%d/%H  
a1.sinks.k1.hdfs.filePrefix = events-  
a1.sinks.k1.hdfs.round = true  
a1.sinks.k1.hdfs.roundValue = 1  
a1.sinks.k1.hdfs.roundUnit = hour  
a1.sinks.k1.hdfs.useLocalTimeStamp = true

或者修改hdfs.timeZone這個參數使之可以和我們上傳的log文件的日期格式一樣應該就可以了，沒有測試過。

查看本欄目