方法1. 之前由於公司項目需要，采集過google地圖數據，還有一些大型網站數據。 經驗如下： 1.IP必須需要，比如ADSL。如果有條件，其實可以跟機房多申請外網IP。 2.在有外網IP的機器上，部署代理服務器。 3.你的程序，使用輪訓替換代理服務器來訪問想要采集的網站 ...

背景 這兩天一直在搞Java網絡爬蟲作為Java課程設計，目標是爬取豆瓣電影top250的影評，之后可能還需要進行情感分析，當然這就不是爬蟲的內容了。我的爬蟲程序在一開始只是一個頁面一個頁面的爬取信息，一直沒出現什么太大問題，直到昨晚進行整體測試時，出現了IP被封的問題。大概僅僅爬取了數萬條評論 ...

做微信營銷活動或者APK下載推廣時候，域名經常被封，如何做到微信中正常使用呢？這就要借助一些工具來實現有效的操作。 之前公司有一個新的APP項目上線，讓我們在項目首頁做個二維碼，然后用戶用手機掃一掃就能下載了。但是微信的掃一掃之后下載不了。 　　上網查了一下，微信自帶的內置瀏覽器屏蔽了下載功能 ...

代理服務的介紹： 我們在做爬蟲的過程中經常最初爬蟲都正常運行，正常爬取數據，一切看起來都是美好，然而一杯茶的功夫就出現了錯誤。 如：403 Forbidden錯誤，“您的IP訪問頻率太高”錯誤，或者跳出一個驗證碼讓我們輸入，之后解封，但過一會又出現類似情況。 出現 ...

爬蟲速度優化 優化硬盤存儲：每個網頁大概多大，加起來以后會有多大，需不需要壓縮存儲 優化內存，url去重：減少所有url放在一起去重時，內存不夠用情況，使用bloomFilter算法，查詢效率高 反抓取訪問頻率限制： 研究網站的反爬策略 多ip抓取 ...

很多專業的爬蟲工作者都會覺得爬蟲的技術沒有那么深奧，所謂萬變不離其宗，在復雜也只是那些個東西，但是要想真正的寫好一套完美的爬蟲程序又似乎沒有那么簡單。 原因就在於爬蟲本身的功能是不難的，真正顯示技術的是應對反爬蟲技術。說到反爬蟲最簡單的應對方式就是封鎖IP ...

1.概率分布睡眠 使用正態分布模擬范圍波動的時間，更真實 正態分布是一種連續型概率分布，在自然界中很常見，如身高、壽命、考試成績等，屬於各種因素相加對結果的影響。 μ=1， σ=0.4 運行結果: 0.7064196787554182 1.2534987046066317 ...

對於我們開發的網站，如果網站的訪問量非常大的話，那么我們就需要考慮相關的並發訪問問題了。而並發問題是絕大部分的程序員頭疼的問題， 但話又說回來了，既然逃避不掉，那我們就坦然面對吧~今天就讓我們一起來 ...