MongoDB aggregate 運用篇個人總結

最近一直在用mongodb，有時候會需要用到統計，在網上查了一些資料，最適合用的就是用aggregate，以下介紹一下自己運用的心得。。

MongoDB 聚合
MongoDB中聚合(aggregate)主要用於處理數據(諸如統計平均值,求和等)，並返回計算後的數據結果。有點類似sql語句中的 count(*)。
aggregate() 方法
MongoDB中聚合的方法使用aggregate()。
語法
aggregate() 方法的基本語法格式如下所示：

db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
實例

集合中的數據如下：

{
  _id: ObjectId(7df78ad8902c)
  title: 'MongoDB Overview', 
  description: 'MongoDB is no sql database',
  by_user: 'jb51.net',
  url: 'http://www.jb51.net',
  tags: ['mongodb', 'database', 'NoSQL'],
  likes: 100
},
{
  _id: ObjectId(7df78ad8902d)
  title: 'NoSQL Overview', 
  description: 'No sql database is very fast',
  by_user: 'jb51.net',
  url: 'http://www.jb51.net',
  tags: ['mongodb', 'database', 'NoSQL'],
  likes: 10
},
{
  _id: ObjectId(7df78ad8902e)
  title: 'Neo4j Overview', 
  description: 'Neo4j is no sql database',
  by_user: 'Neo4j',
  url: 'http://www.neo4j.com',
  tags: ['neo4j', 'database', 'NoSQL'],
  likes: 750
},

現在我們通過以上集合計算每個作者所寫的文章數，使用aggregate()計算結果如下：

> db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : 1}}}])
{
  "result" : [
   {
     "_id" : "w3cschool.cc",
     "num_tutorial" : 2
   },
   {
     "_id" : "Neo4j",
     "num_tutorial" : 1
   }
  ],
  "ok" : 1
}
>

以上實例類似sql語句： select by_user, count(*) from mycol group by by_user
在上面的例子中，我們通過字段by_user字段對數據進行分組，並計算by_user字段相同值的總和。
下表展示了一些聚合的表達式:

表達式 描述 實例 $sum 計算總和。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}]) $avg 計算平均值 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}]) $min 獲取集合中所有文檔對應值得最小值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}]) $max 獲取集合中所有文檔對應值得最大值。 db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}]) $push 在結果文檔中插入值到一個數組中。 db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}]) $addToSet 在結果文檔中插入值到一個數組中，但不創建副本。 db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}]) $first 根據資源文檔的排序獲取第一個文檔數據。 db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}]) $last 根據資源文檔的排序獲取最後一個文檔數據 db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}])

管道的概念
管道在Unix和Linux中一般用於將當前命令的輸出結果作為下一個命令的參數。
MongoDB的聚合管道將MongoDB文檔在一個管道處理完畢後將結果傳遞給下一個管道處理。管道操作是可以重復的。
表達式：處理輸入文檔並輸出。表達式是無狀態的，只能用於計算當前聚合管道的文檔，不能處理其它的文檔。
這裡我們介紹一下聚合框架中常用的幾個操作：
$project：修改輸入文檔的結構。可以用來重命名、增加或刪除域，也可以用於創建計算結果以及嵌套文檔。
$match：用於過濾數據，只輸出符合條件的文檔。$match使用MongoDB的標准查詢操作。
$limit：用來限制MongoDB聚合管道返回的文檔數。
$skip：在聚合管道中跳過指定數量的文檔，並返回余下的文檔。
$unwind：將文檔中的某一個數組類型字段拆分成多條，每條包含數組中的一個值。
$group：將集合中的文檔分組，可用於統計結果。
$sort：將輸入文檔排序後輸出。
$geoNear：輸出接近某一地理位置的有序文檔。

管道操作符實例

1、$project實例

db.article.aggregate(
  { $project : {
    title : 1 ,
    author : 1 ,
  }}
 );

這樣的話結果中就只還有_id,tilte和author三個字段了，默認情況下_id字段是被包含的，如果要想不包含_id話可以這樣:

db.article.aggregate(
  { $project : {
    _id : 0 ,
    title : 1 ,
    author : 1
  }});

2.$match實例

db.articles.aggregate( [
            { $match : { score : { $gt : 70, $lte : 90 } } },
            { $group: { _id: null, count: { $sum: 1 } } }
            ] );

$match用於獲取分數大於70小於或等於90記錄，然後將符合條件的記錄送到下一階段$group管道操作符進行處理。

3.$skip實例

db.article.aggregate(
  { $skip : 5 });

經過$skip管道操作符處理後，前五個文檔被"過濾"掉。

別人寫過的我就不過多描述了，大家一搜能搜索到N多一樣的，我寫一下我的總結。

基礎知識

請大家自行查找更多，以下是關鍵文檔。

操作符介紹：

$project：包含、排除、重命名和顯示字段
$match：查詢，需要同find()一樣的參數
$limit：限制結果數量
$skip：忽略結果的數量
$sort：按照給定的字段排序結果
$group：按照給定表達式組合結果
$unwind：分割嵌入數組到自己頂層文件

文檔：MongoDB 官方aggregate說明。

相關使用：

db.collection.aggregate([array]);

array可是是任何一個或多個操作符。
group和match的用法，使用過sqlserver，group的用法很好理解，根據指定列進行分組統計，可以統計分組的數量，也能統計分組中的和或者平均值等。
group之前的match，是對源數據進行查詢，group之後的match是對group之後的數據進行篩選；

同理，sort，skip，limit也是同樣的原理；

 {_id:1,name:"a",status:1,num:1}
 {_id:2,name:"a",status:0,num:2}
 {_id:3,name:"b",status:1,num:3}
 {_id:4,name:"c",status:1,num:4}
 {_id:5,name:"d",status:1,num:5}

以下是示例：
應用一：統計name的數量和總數；

db.collection.aggregate([
　　{$group:{_id:"$name",count:{$sum:1},total:{$sum:"$num"}}
]);

應用二：統計status=1的name的數量；

db.collection.aggregate([
　　{$match:{status:1}},
　　{$group:{_id:"$name",count:{$sum:1}}}
]);

應用三：統計name的數量，並且數量為小於2的；

db.collection.aggregate([
　　{$group:{_id:"$name",count:{$sum:1}},
　　{$match:{count:{$lt:2}}}
]);

應用四：統計stauts=1的name的數量，並且數量為1的；

db.collection.aggregate([
　　{$match:{status:1}},
　　{$group:{_id:"$name",count:{$sum:1}}},
　　{$match:{count:1}}
]);

多列group，根據name和status進行多列

db.collection.aggregate([
　　{$group:{_id:{name:"$name",st:"$status"},count:{$sum:1}}}
]);

$project該操作符很簡單，

db.collection.aggregate([
　　{$project:{name:1,status:1}}
]);

結果是，只有_id,name,status三個字段的表數據，相當於sql表達式 select _id,name,status from collection
 
$unwind
這個操作符可以將一個數組的文檔拆分為多條文檔，在特殊條件下有用，本人暫沒有進行過多的研究。
 
以上基本就可以實現大部分統計了，group前條件，group後條件，是重點。