原文:最近做的爬蟲一些事

最近做的爬蟲一些事 標簽 空格分隔 : 雜亂之地 最近在做爬蟲,主要是抓取淘寶商品的銷量數據。在搜索頁很容易就能抓到細覽頁的數據,主要問題難點是在抓取細覽頁中,頁面的銷量及評價數據是通過ajax來動態加載的。這一部分處理比較麻煩。同時又要解決屏蔽的問題。這幾天一直在找解決訪問。一般的爬蟲都是不支持ajax數據的爬取的。寫一下這幾天做的各種工具的demo吧。 現在 年 月 市面上能夠抓取ajax數據 ...

2016-01-30 16:40 0 2700 推薦指數:

查看詳情

安裝ubuntu14.04之后要做的一些

前言:   用ubuntu14.04也有一段時間了,感覺與之前版本相比還是在挺多方面有了改進。但剛裝完還是有一些小問題需要自己動手解決。鑒於網上的內容太過零碎,有方案也太過老舊,因此在這里為大家總結一些個人使用的優化方式跟配置方案,希望可以為剛接觸ubuntu14.04的朋友提供一些幫助 ...

Mon Jul 14 05:33:00 CST 2014 3 7991
最近常常干出一些騎着驢找驢的

最近拉了一條50兆的光纖到家里,另外還弄了一個固定IP,理所當然就是為了自己弄一台服務器. 一切就緒,就差一個SMTP用來發送Email了,搜了一下,好多人都在用系統自帶的SMTP來做,但是我已經安裝了apache,所以不打算再安裝一個IIS因此就找第三方的軟件來搭建SMTP ...

Tue Oct 16 09:45:00 CST 2012 15 3342
關於最近一些事情

  說說最近遇到的事情,有思考還不夠全面,先做個記錄。 第一件事情關於產品交付   大致經過是這樣:   我們開發了一款產品,但是這款產品具備一定的定制性,關於定制,有對應的流程說明,首先是售前牽頭,和銷售配合着與客戶溝通定制內容,然后與研發確認,然后再與客戶溝通並確認。有一個項目 ...

Mon Dec 24 07:29:00 CST 2018 11 78
關於BFC的一些

BFC的生成 在實現CSS的布局時,假設我們不知道BFC的話,很多地方我們生成了BFC但是不知道.在布局中,一個元素是block元素還是inline元素是必須要知道的.而BFC就是用來格式化塊狀元素 ...

Thu Sep 12 17:37:00 CST 2019 0 333
hbase最近一些實踐

有一段實踐沒有寫東西了,最近組里面來了兩個新的小伙伴,並且一起針對目前的hbase集群做了一些運維和優化實踐,比較零散,記錄下來供以后以及和大家參考。 1,hbase regionserver宕機導致集群狀態不一致問題處理和原因調研 問題:region server因oom被kill后 ...

Tue Aug 01 03:17:00 CST 2017 0 1231
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM