最近在做一個書城項目，數據用爬蟲爬取，百度了一下找到這個網站，以擇天記這本小說為例。 爬蟲用到了幾個模塊，cheerio，superagent，async。 superagent是一個http請求模塊，詳情可參考鏈接。 cheerio是一個有着jQuery類似語法的文檔解析模塊，你可以簡單 ...

聊聊並發與並行 並發我們經常提及之，不管是web server，app並發無處不在，操作系統中，指一個時間段中幾個程序處於已經啟動運行到完畢之間，且這幾個程序都是在同一處理機上運行，並且任一個時間點只有一個程序在處理機上運行。很多網站都有並發連接數量的限制，所以當請求發送太快的時候會導致返回值 ...

async/await 繼發執行與並發執行，看如何控制 兩個異步函數 foo bar 繼發執行 並發執行 ...

注：如您下載最新的nodegrass版本，由於部分方法已經更新，本文的例子已經不再適應，詳細請查看開源地址中的例子。一、為什么我要寫這樣一個模塊？ 源於筆者想使用Node.js寫一個爬蟲，雖然Node.js官方API提供的請求遠程資源的方法已經非常簡便，具體參考 http ...

之前寫了個現在看來很不完美的小爬蟲，很多地方沒有處理好，比如說在知乎點開一個問題的時候，它的所有回答並不是全部加載好了的，當你拉到回答的尾部時，點擊加載更多，回答才會再加載一部分，所以說如果直接發送一個問題的請求鏈接，取得的頁面是不完整的。還有就是我們通過訪問鏈接下載圖片的時候，是一張一張來下 ...

安裝 npm install async --save 地址 https://github.com/caolan/async Async的內容主要分為三部分 流程控制： 簡化九種常見的流程的處理 集合處理：如何使用異步操作處理集中的數據 工具類：幾個常用 ...

前言 最近看了些js 並發如何實現，也查閱了一下資料 ，查考了一下demo 日常開發中會遇到並發控制的場景，比如控制請求並發數。那么在 JavaScript 中如何實現並發控制呢？ 並發控制。 下面有8個待辦任務要執行，而我們希望限制同時執行的任務個數 ...

java寫爬蟲服務，思路是線程池，任務隊列，限制並行線程數即可。 go要用另一種設計思路，不能在線程層面限制，協程的異步請求，如果不作處理，並行發出所有網絡請求，因網絡請求數過多，會拋出異常 低版本的go可以並行執行map的操作，高版本會報異常，需要把map改為array,改起來 ...