原文:搞node爬蟲--puppeteer--記一次大坑

解決辦法:升級node,然后重新下載puppeteer插件 設置淘寶鏡像下載 npmconfigsetpuppeteer download host https: npm.taobao.org mirrors npm install puppeteer 問題:報錯 node: UnhandledPromiseRejectionWarning: Error: Failed to launch the ...

2021-01-04 21:52 1 1593 推薦指數:

查看詳情

一次大量 TCP 連接失敗

背景 在一段沒有日志的歷史遺留代碼上面加入監控部署后不久,就收到了服務調用成功率低的告警,真是嘩了狗了 解決過程 client端在線上單機部署,根據監控上面的返回碼比例看出失敗原因都是鏈接失 ...

Mon Dec 21 03:19:00 CST 2015 0 2339
一次大廠的面試過程

前言 2019年6月中旬,實在厭倦了之前平平淡淡的工作和毫不起眼的薪資,不顧親人的反對,毅然決然地決定只身前往沿海城市,想着找到一份更加具有挑戰性的工作,來徹徹底底地重新打磨自己,同時去追求更好的薪 ...

Mon Nov 04 00:43:00 CST 2019 6 1351
一次node爬蟲經歷,手把手教你爬蟲

今天業務突然來了個爬蟲業務,爬出來的數據以Excel的形式導出,下班前一個小時開始做,加班一個小時就做好了。因為太久沒做爬蟲了!做這個需求都是很興奮! 需求說明 訪問網站 (循環)獲取頁面指定數據源 根據頁面數據源再(循環)訪問詳情數據 記錄詳情數據,以Excel形式導出 ...

Sat Nov 30 10:27:00 CST 2019 0 1252
自己的第一次大廠面試的失敗——阿里春招(2020畢業生)

結果其實並沒有什么出乎意料,只是還是有些遺憾,即使知道總將會失敗,我覺得我也可以在失敗前,盡量多爭取一些,獲得更多的面試經驗,但我在第一次電面開始的第5分鍾,就直接婉言拒絕了繼續面試的請求。 一:背景   博主是一個三本獨立院校的大三軟件工程在讀學生,在身邊大多數選擇繼續考研求學的大環境下毅然 ...

Thu Apr 25 22:39:00 CST 2019 0 554
一次大數據量后台服務的性能優化

背景   最近被分配到的一個需求,數據量每周新增上千萬,預計兩個月就會破億,這里記錄一下對這個服務的性能優化的過程。 正文 需求介紹   首先大致介紹一下這個需求的內容。這個需求是一個周報 ...

Mon Jul 19 07:45:00 CST 2021 21 4444
一次大規模數據遷移和加密

  公司的核心業務合作伙伴淘寶網,最近出現泄漏用戶信息的現象,找了好久找不到根源,於是乎,淘寶那邊決定對所有敏感數據進行加密,從出口和入口都走密文,於是乎,我們的工作量就來了。   我們的一個底單數 ...

Fri Mar 03 01:38:00 CST 2017 1 1162
Puppeteer--參考介紹

Puppeteer 是 Chrome 開發團隊在 2017 年發布的一個 Node.js 包,用來模擬 Chrome 瀏覽器的運行。功能比PhantomJs 要強大很多。 一、什么是 Chrome DevTool Protocol 1.CDP ...

Tue Jan 19 04:24:00 CST 2021 0 827
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM