第二篇：速賣通產品采集系列 之 產品采集實戰

    上一篇 第一篇：速賣通產品采集系列 之 產品采集分析，對速賣通產品采集做了分析，包含要采集產品信息，以及如何采集這些產品信息，這一篇接着來采集實戰，相關技術前篇也說過了，不廢話直接開項目做。

一, 創建解決方案，編寫采集代碼

1. 創建解決方案“CollectorSolution”，在其中新建“Collector” 空 ASP.NET MVC 項目，解決方案結構圖如下：

2.在“Collector” 項目中，分別新增“CollectingController” 控制器，以及和控制器相關的視圖，並將原來默認路由 Home -》 Index 改成 Collecting -》 Index，截圖如下：

RouteConfig 修改成如下：

using System.Web.Mvc;  2 using System.Web.Routing;  3 
namespace Collector  5 {  6     public class RouteConfig  7  {  8         public static void RegisterRoutes(RouteCollection routes)  9  { 10             routes.IgnoreRoute("{resource}.axd/{*pathInfo}"); 11 
 routes.MapRoute( 13                 name: "Default", 14                 url: "{controller}/{action}/{id}", 15                 defaults: new { controller = "Collecting", action = "Index", id = UrlParameter.Optional } 16  ); 17  } 18  } 19 }

3. 分別新增“CollectionViewModel” ,"CollectedProductViewModel","CollectedProductImageViewModel" 視圖模型，和一個存放正則表達式的結構體：“ParseProductPatterns”，代碼分別如下

1.> CollectionViewModel

using System.Collections.Generic;  2 
namespace Collector.Models  4 {  5     public class CollectionViewModel  6  {  7         public CollectionViewModel()  8  {  9             ProductViews = new List<CollectedProductViewModel>(); 10  } 11         public string CollectionUrl { get; set; } 12         public IEnumerable<CollectedProductViewModel> ProductViews { get; set; } 13  } 14 }

2.> CollectedProductViewModel

using System.Collections.Generic;  2 
namespace Collector.Models  4 {  5     public class CollectedProductViewModel  6  {  7         public CollectedProductViewModel()  8  {  9             ProductImages = new List<CollectedProductImageViewModel>(); 10  } 11         public string ProductName { get; set; } 12         public decimal ProductPrice { get; set; } 13         public decimal ProductDiscountPrice { get; set; } 14         public string ProductCurrency { get; set; } 15         public string ProductColor { get; set; } 16         public string ProductSize { get; set; } 17         public IEnumerable<CollectedProductImageViewModel> ProductImages { get; set; } 18  } 19 }

3.>CollectedProductImageViewModel

namespace Collector.Models 2 { 3     public class CollectedProductImageViewModel 4  { 5         public string ImageUrl { get; set; } 6         public int Sort { get; set; } 7  } 8 }

4.>ParseProductPatterns

namespace Collector.Models { public struct ParseProductPatterns { public static string ProductNamePattern = "(?<=<h1 class=\"product-name\" itemprop=\"name\">).*?(?=</h1>)"; public static string ProductJsnPattern = @"(?<=var skuProducts=).*?(?=;\s*var skuAttrIds=)"; public static string ProductImageJsonPattern = "(?<=window.runParams.imageBigViewURL=).*?(?=;)"; public static string ProductCurrencyPattern = "(?<=window.runParams.currencyCode=\").*?(?=\";)"; public static string ProductColorPattern =
            "(?<=<a data-role=\"sku\" data-sku-id=\"{0}\" id=\"sku-1-{0}\" title=\").*?(?=\")"; public static string ProductSizePattern =
            "(?<=<a data-role=\"sku\" data-sku-id=\"{0}\" id=\"sku-2-{0}\" href=\"javascript:void\\(0\\)\"\\s+><span>).*?(?=</)"; } }

基本上容易理解，我這里就不再一一講解了。

4. 視圖布局設計很簡單，如下圖 

采集地址 就是速賣通產品地址，這里不支持店鋪和類型采集地址。表格就是采集產品信息展示。

5. 控制器和視圖代碼如下

1.> CollectingController

using System;  2 using System.Collections.Generic;  3 using System.Linq;  4 using System.Text.RegularExpressions;  5 using System.Web.Mvc;  6 using Collector.Models;  7 using Newtonsoft.Json.Linq;  8 using RestSharp;  9 
namespace Collector.Controllers  11 {  12     public class CollectingController : Controller  13  {  14         // GET: Collecting
        public ActionResult Index()  16  {  17             return View();  18  }  19 
 [HttpPost]  21         public ActionResult Index(CollectionViewModel collectionView)  22  {  23             collectionView = ColllectWithParse(collectionView);  24             return View(collectionView);  25  }  26 
        public CollectionViewModel ColllectWithParse(CollectionViewModel collectionView)  28  {  29             if (collectionView == null || string.IsNullOrEmpty(collectionView.CollectionUrl))  30  {  31                 return collectionView;  32  }  33             var client = new RestClient(collectionView.CollectionUrl);  34             var request = new RestRequest(Method.GET);  35             var response = client.Execute(request);  36             var htmlContent = response.Content;  37             collectionView.ProductViews = ParseProducts(htmlContent);  38             return collectionView;  39  }  40 
        public IEnumerable<CollectedProductViewModel> ParseProducts(string productHtmlContent)  42  {  43             var productName = RegexMatchValue(ParseProductPatterns.ProductNamePattern, productHtmlContent);  44             var productCuurency = RegexMatchValue(ParseProductPatterns.ProductCurrencyPattern, productHtmlContent);  45 
            var productJson = RegexMatchValue(ParseProductPatterns.ProductJsnPattern, productHtmlContent);  47 
            var prodctJsonArray = JArray.Parse(productJson);  49             var products =
                prodctJsonArray.Select(pja =>
 {  52                     var colorWithSizeCode = pja["skuPropIds"].ToString().Split(',');  53                     var priceJson = pja["skuVal"];  54                     var skuPrice = priceJson["skuPrice"];  55                     var price = skuPrice == null ? "0" : skuPrice.ToString();  56                     var actSkuPrice = priceJson["actSkuPrice"];  57                     var discountPrice = actSkuPrice == null ? "0" : actSkuPrice.ToString();  58                     return new
 {  60                         ColorCode = colorWithSizeCode.First(),  61                         SizeCode = colorWithSizeCode.Last(),  62                         Price = Convert.ToDecimal(price),  63                         DiscountPrice = Convert.ToDecimal(discountPrice),  64  };  65  }).ToList();  66 
            var collectedImages = ParseProducImages(productHtmlContent);  68 
            var collectedProducts = products.Select(p => new CollectedProductViewModel  70  {  71                 ProductName = productName,  72                 ProductPrice = p.Price,  73                 ProductDiscountPrice = p.DiscountPrice,  74                 ProductCurrency = productCuurency,  75                 ProductColor = SetProductColorWithSize(ParseProductPatterns.ProductColorPattern,p.ColorCode,productHtmlContent),  76                 ProductSize = SetProductColorWithSize(ParseProductPatterns.ProductSizePattern, p.SizeCode, productHtmlContent),  77                 ProductImages = collectedImages  78  }).ToList();  79             return collectedProducts;  80  }  81 
        private IEnumerable<CollectedProductImageViewModel> ParseProducImages(string productHtmlContent)  83  {  84             var imagesJson = RegexMatchValue(ParseProductPatterns.ProductImageJsonPattern, productHtmlContent);  85             var imageJsonArray = JArray.Parse(imagesJson);  86 
            var images = imageJsonArray.ToObject<List<string>>();  88             return images.Select((t, i) => new CollectedProductImageViewModel  89  {  90                 ImageUrl = t,  91                 Sort = i  92  });  93  }  94 
        private string SetProductColorWithSize(string pattern, string colorWithSizeCode,string input)  96  {  97             var newPattern = string.Format(pattern, colorWithSizeCode);  98             return RegexMatchValue(newPattern, input);  99  } 100 
        private string RegexMatchValue(string pattern, string input, RegexOptions regexOptions = RegexOptions.IgnoreCase|RegexOptions.Singleline) 102  { 103             var regex = new Regex(pattern, regexOptions); 104             var match = regex.Match(input); 105             return match.Value; 106  } 107  } 108 }

2.> Collecting->Index 

@model Collector.Models.CollectionViewModel  2 <!DOCTYPE html>

<html>
<head>
    <meta name="viewport" content="width=device-width" />
    <title></title>
    <!-- CSS goes in the document HEAD or added to your external stylesheet -->
    <style type="text/css">
 table.gridtable {
 font-family: verdana,arial,sans-serif;
 font-size: 11px;
 color: #333333;
 border-width: 1px;
 border-color: #666666;
 border-collapse: collapse;
        }

 table.gridtable th {
 border-width: 1px;
 padding: 8px;
 border-style: solid;
 border-color: #666666;
 background-color: #dedede;
            }

 table.gridtable td {
 border-width: 1px;
 padding: 8px;
 border-style: solid;
 border-color: #666666;
 background-color: #ffffff;
            }
    </style>
</head>
<body>
    <div>
 @using (Html.BeginForm("Index", "Collecting", FormMethod.Post)) 39  { 40             <table>
                <tr>
                    <td>采集地址：</td>
                    <td>
 @Html.TextAreaFor(m => m.CollectionUrl, 4, 0, new { style = "width:1500px;" }) 45                     </td>
                    
                </tr>
                <tr><td colspan="2" style="text-align: right;"><input type="submit" value="開始采集" /></td></tr>
            </table>
 } 51     </div>
    <div>
        <table class="gridtable">
            <thead>
                <tr>
                    <th width="5%">編號</th>
                    <th width="5%">圖片</th>
                    <th width="30%">產品名稱</th>

                    <th width="10%">產品單價</th>
                    <th width="10%">產品參考單價</th>
                    <th width="10%">產品幣別</th>
                    <th width="10%">產品顏色</th>
                    <th width="10%">產品大小</th>
                </tr>
            </thead>
            <tbody>
 @{ 69  var i = 0; 70  if (Model == null || Model.ProductViews == null) 71  { 72  return; 73  } 74  } 75  @foreach (var collectedProduct in Model.ProductViews) 76  { 77                     <tr>
                        <td align="center">@{i++;}@i</td>
                        <td><img src="@collectedProduct.ProductImages.FirstOrDefault().ImageUrl" width="60" height="60" /></td>
                        <td>@collectedProduct.ProductName</td>
                        <td>@collectedProduct.ProductDiscountPrice</td>
                        <td>@collectedProduct.ProductPrice</td>
                        <td>@collectedProduct.ProductCurrency</td>
                        <td>@collectedProduct.ProductColor</td>
                        <td>@collectedProduct.ProductSize</td>
                    </tr>
 } 88 
            </tbody>

        </table>
    </div>
</body>
</html>

這里要說明的是，本篇只是采集的冰山一角的例子，所有沒有搞得很復雜，沒有嚴格封裝，不管是前端，還是后端，希望大家了解，還有本人不喜好在代碼中加注釋，在我看來代碼就是注釋。

二, 測試結果，將MVC項目，部署到IIS，端口號1005，走起看效果。

1. 測試上一篇速賣通產品地址：

http://www.aliexpress.com/store/product/Yoga-Tops-Women-Women-Yoga-Shirts-Womens-Sportswear-Gym-Woman-Running-Shirt-Camisetas-Deporte-Mujer-Gym/1025110_32620359354.html?spm=a2g01.8032156.template-section-container.27.wcM8ES&sdom=3514.555719.493653.0_32620359354

效果截圖如下：

剛剛采集發現上一篇寫的這個產品地址，速賣通不打折，因此沒有了折扣價格。

2.再采集一個地址：

http://www.aliexpress.com/store/product/LEVEL-4-shock-Professional-running-intensive-training-without-rims-snow-sports-bra-open-front-zipper-style/1025110_32357688343.html?spm=2114.12010108.1000013.1.uvJqBj

截圖如下

這個產品的產品變體有很多，所有一網頁還顯示不了。

源碼碼：https://github.com/haibozhou1011/Collector

總結：

好了，速賣通產品采集系列，就全部結束了，總的來說，采集這個活技術都是大家經常用的，主要是前期分析，抓產品信息規則，每個網站多有規律，大家留心觀察就會找到一些蛛絲馬跡，就會有所突破。希望大家如果有更好的采集方法，一定要和大家分享。