(C#)用 ScrapySharp 並行下載天涯圖片，

(C#)用 ScrapySharp 並行下載天涯圖片，

   
      最近因為一個作業需要完成CNKI爬蟲，研究爬蟲架構的時候發現了這個疑似移植於Python的著名開源爬蟲框架Scrapy的ScrapySharp，然而在網上尋找之後只發現了這個F#的Demo，就使用原文中示例的網站寫了這個C#版本的代碼。
    
      PS:研究之後發現，ScrapySharp和Scrapy差距還是挺大的，沒有Scrapy那樣完善的八大組件，只含有獲取網頁內容和基於HtmlAgilityPack擴展的網頁解析功能，莫名有些小失望。
 

        
using System;
using System.IO;
using System.Linq;
using System.Threading.Tasks;
using HtmlAgilityPack;
using ScrapySharp.Extensions;
using ScrapySharp.Network;

namespace ScrapySharpDemo
{
    class Program
    {
        static void Main(string[] args)
        {
            //示例網站地址
            var url = "http://bbs.tianya.cn/post-12-563201-1.shtml";
            var web = new ScrapingBrowser();
            var html = web.DownloadString(new Uri(url));
            var doc = new HtmlDocument();
            doc.LoadHtml(html);
            //獲取網站中的圖片地址
            var urls= doc.DocumentNode.CssSelect("div.bbs-content > img").Select(node => node.GetAttributeValue("original")).ToList();
            //並行下載圖片
            Parallel.ForEach(urls, SavePic);
        }

        public static void SavePic(string url)
        {
            var web = new ScrapingBrowser();
            //因天涯網站限制,所有站外來源都無法訪問圖片,故先設置請求頭Refer屬性為當前頁地址
            web.Headers.Add("Referer", "http://bbs.tianya.cn/post-12-563201-1.shtml");
            var pic = web.NavigateToPage(new Uri(url)).RawResponse.Body;
            var file = url.Substring(url.LastIndexOf("/", StringComparison.Ordinal));
            if (!Directory.Exists("imgs"))
                Directory.CreateDirectory("imgs");
            File.WriteAllBytes("imgs" + file, pic);
        }
    }
}