python協程爬蟲-aiohttp+aiomultiprocess使用
最近使用協程寫了個爬蟲,效果杠杠的啊,使用aiohttp替代requests發起請求,requests是同步的,會阻塞比較久,再加上aiomultiprocess,實現多進程異步協程,每個進程都單獨的事件循環執行多個協程任務;這篇文章主要是記錄下這兩個庫的使用 aiohttp aiohttp ...
最近使用協程寫了個爬蟲,效果杠杠的啊,使用aiohttp替代requests發起請求,requests是同步的,會阻塞比較久,再加上aiomultiprocess,實現多進程異步協程,每個進程都單獨的事件循環執行多個協程任務;這篇文章主要是記錄下這兩個庫的使用 aiohttp aiohttp ...