【自主開發】電商產品價格實時抓取小工具


  各位朋友,你是不是曾經想從網店夠買心儀的產品,奈何一次又一次的錯過好價格呢?如果你曾經碰到過,那么下面的這個小工具也許可以幫你買到心儀的產品。

     好價的出現往往隨機的,而且時間短暫。機會是給有准備的人的。難道時時的關注網站,不停的刷新頁面,才能等到機會么,當然不是。這種低級、乏味的事情當然要由電腦來做啦!

  好,不扯皮了,下面開始介紹故事的主角:電商產品價格實時抓取小工具!

  

  這個小工具是我在工作之余完成的,它可以實時的抓取指定商品的價格,是否有貨等狀態,並在達到心理價位上,彈窗提醒用戶。

  1、支持的電商

  • 京東(360buy)
  • 亞馬遜(Amazon.cn)
  • 易迅(51buy)
  • 當當(dangdang)

  2、工作原理

  就是一遍又一遍的抓取產品頁面,分析出產品的價格,庫存等信息啦~~~~~~  

  3、工具特點

  主要有以下五個小特點:

  1)自動抓取

    完全自動化

  2) 價格識別

    京東產品的價格是圖片格式的(png),所以需要用到一些圖像識別的小知識。

  3) 多個產品多線程查詢

    通過調度器,可以同時支持多個產品查詢。而通過多線程,則可以提供更快的響應!

  4)設置心理價格,當價格出現時,彈窗提醒。

    當你的心理價位出現時,會彈窗提醒,一定把握時機!

  5)狀態監控

    監控當前隊列數量,線程數量、執行次數和網絡流量等等。

  4、未來的工作

  1)支持更多的電商

    一號店、天貓、新蛋、亞馬遜米國等等

  2)完善庫存狀態的抓取

    目前,京東商城的產品庫存狀態抓取不到,需要進一步研究。

  5、簡易使用教程

  1)Add a product - 添加產品

  

  填寫名稱、網址、間隔和目標價格,點擊確定即可!

  也可以通過配置文件來添加產品,配置文件名為:products.xml。格式如下:

  <?xml version="1.0" encoding="gb2312"?>
  <infor>
    <configuration>
      <MaxAsyncInvokeCount>16</MaxAsyncInvokeCount>
      <ThreadDelayTime>1000</ThreadDelayTime>
    </configuration>
    <productlist>
      <product id="ue900">
        <name>ue900</name>
        <url>http://item.51buy.com/item-448742.html</url>
        <interval>5000</interval>
        <targetprice>2000</targetprice>
      </product>
      <product id="ue9000">
        <name>ue9000</name>
        <url>http://item.51buy.com/item-448746.html</url>
        <interval>5000</interval>
        <targetprice>2000</targetprice>
      </product>   
    </productlist>
  </infor>

  其中configuration用來配置多線程數量和抓取時間間隔(ms).

  product為產品信息,包括產品名稱、網址、抓取間隔(ms,已經無效了)、目標價位即心理價位。

  2)Clear Queue - 清除隊列  

  清除隊列中的頁面請求。

  3)Start? - 開始抓取

  開始抓取價格信息。

  4)Stop? - 停止抓取

  停止抓取價格信息。

  6、下載試用

    http://files.cnblogs.com/junier/ProductClawer.zip


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM