程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> MongoDB數據庫 >> MongoDB綜合知識 >> Mongodb中MapReduce實現數據聚合方法詳解

Mongodb中MapReduce實現數據聚合方法詳解

編輯:MongoDB綜合知識

Mongodb是針對大數據量環境下誕生的用於保存大數據量的非關系型數據庫,針對大量的數據,如何進行統計操作至關重要,那麼如何從Mongodb中統計一些數據呢?

在Mongodb中,給我們提供了三種用於數據聚合的方式:

(1)簡單的用戶聚合函數;

(2)使用aggregate進行統計;

(3)使用mapReduce進行統計;

今天我們首先來講講mapReduce是如何統計,在後續的文章中,將另起文章進行相關說明。

MapReduce是啥呢?以我的理解,其實就是對集合中的各個滿足條件的文檔進行預處理,整理出想要的數據然後進行統計得到最終的統計結果。其中map函數用於對集合中的各個滿足條件的文檔進行預處理,整理出想要的數據。Reduce函數用於對整理出的數據進行處理得到統計結果。Map函數和Reduce函數都是JavaScript函數。

首先,我們先構造一個測試數據集test,使用js腳本往集合中隨機插入一組數據,每條記錄是哪個人花了多少錢買了什麼東西。具體腳本test1.js如下:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">for( var i=0; i<100; i++){ 
var rID=Math.floor(Math.random()*10); 
var price = parseFloat((Math.random()*10).toFixed(2)); 
if(rID<3){ 
db.test.insert({"user":"majing","sku":rID,"price":price}); 
} 
else if(rID>=3 && rID<5){ 
db.test.insert({"user":"wufenglei","sku":rID,"price":price}); 
} 
else if(rID>=5 && rID<8){ 
db.test.insert({"user":"wufenglei","sku":rID,"price":price}); 
} 
else { 
db.test.insert({"user":"liyonghu","sku":rID,"price":price}); 
} 
}</span></span> 

接下來我們通過在控制台執行腳本來向數據庫插入具體的數據,具體執行指令如下:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">mongo 127.0.0.1:27017/test J:/test1.js</span></span> 

執行之後,通過MongoVUE來查看下具體的數據,如下所示,數據已經插入到集合中了:

接下來,我們可以做幾個簡單的統計操作了。

(1)統計不同用戶都買了多少個商品?編寫js腳本test2.js,將結果保存到statis1集合中。

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ 
emit(this.user,1); 
} 
reduce=function(key, values){ 
var count = 0; 
values.forEach(function(val){count += val}); 
return count; 
} 
db.test.mapReduce(map, reduce, {out:"statics1"});</span></span></span> 

按照剛才執行腳本的方式執行test2.js,並查看數據:

從數據庫就可以直觀看到統計數據了,若想查看某個人如majing購買了多少個商品,直接使用

<span style="font-family:KaiTi_GB2312;">
<span style="font-size:18px;">
<span style="font-size:18px;">
<span style="font-family:KaiTi_GB2312;font-size:18px;">db.statics1.find({"_id":"majing"});
</span>
</span>
</span>
</span> 

(2)統計每個用戶購買的每個商品的數量情況

腳本test3.js如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ 
emit({user:this.user,sku:this.sku},1); 
} 
reduce=function(key, values){ 
var count = 0; 
values.forEach(function(val){count += val}); 
return count; 
} 
db.test.mapReduce(map, reduce, {out:"statics2"});</span></span></span> 

按照剛才執行腳本的方式執行test3.js,並查看數據:

總共返回了10條記錄。此時如果我們想查找某個用戶購買商品的情況,可以使用下面的查詢方法:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics2.find({"_id.user":"majing"});</span></span></span> 

如果我們想查找某個用戶購買某個商品的情況,可以使用下面的查詢方法:

(3)統計每個用戶購買商品的總量及花費的總金額

腳本test4.js如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ 
emit({user:this.user},{totalprice:this.price,count:1}); 
} 
reduce=function(key, values){ 
var res = {totalprice:0.00,count:1}; 
values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;}); 
return res; 
} 
db.test.mapReduce(map, reduce, {out:"statics3"});</span></span></span> 

按照剛才執行腳本的方式執行test4.js,並查看數據:

(4)統計每個用戶購買商品的平均價錢

在這個情景下,我們需要用到說道mapReduce裡的另一個參數finalize,該參數是一個javascript腳本函數,用於對reduce後的集合進行一個後期處理操作。

執行腳本test5.js,具體如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ 
emit({user:this.user},{totalprice:this.price,count:1}); 
} 
reduce=function(key, values){ 
var res = {totalprice:0.00,count:1,average:0}; 
values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;}); 
return res; 
} 
finalizeFunc=function(key,reduceResult){ 
reduceResult.totalprice=(reduceResult.totalprice).toFixed(2); 
reduceResult.average=(reduceResult.totalprice/reduceResult.count).toFixed(2); 
return reduceResult; 
} 
db.test.mapReduce(map, reduce, {out:"statics4",finalize:finalizeFunc});</span></span></span> 

執行之後查看得到的數據,具體如下所示,顯示了總價錢,商品數量和商品單價。

如果想查找某個人的,可以和上面的查詢方法一樣,使用find()方法進行查詢:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics4.find({"_id.user":"majing"});</span></span></span> 

以上通過4個簡單的例子對Mongodb中的MapReduce進行了簡單的說明,當然MapReduce功能很強大,大家如果想知道其他高級的使用方法,可以到Mongodb的官網進行查閱和學習,網址為

https://docs.mongodb.com/manual/reference/method/db.collection.mapReduce/ 謝謝。

以上所述是小編給大家介紹的Mongodb中MapReduce實現數據聚合方法詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對網站的支持!

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved