本人最近用python開發着爬蟲相關的項目，在上個月就已經把爬蟲的相關代碼寫得差不多了，因為春節，項目停滯了十多天。最近，當我再次運行之前的爬蟲項目的時候，What？怎么不行了？？本來好好的，報了521錯誤。我只是一個爬蟲菜鳥，還是第一次接觸到這個錯誤。然后我就去百度了。百度一圈后，發現這是 ...

0.序 我同學論文需要數據建模，想用爬蟲軟件爬取數據，就問有沒有人會用爬蟲軟件，我回了句：我不會用爬蟲軟件，但我會寫爬蟲。然后爬蟲事件就拉開了序幕。 1. 我同學要的數據是P2P借款人信息，她就選了翼龍貸上的數據，我先去瀏覽了翼龍貸網站，然后知道了數據的位置。先要進入產品列表 ...

起因：工作中爬取頁面遭遇521狀態碼 scrapy中遭遇521狀態碼，會被無視，而不會被爬蟲處理。 通過F12開發者工具 可知 通過在下載器中間件的查看，可以得知是可以在process_response中獲取response.text 實際上是js代碼，一段不規則 ...

前言 最近配合某客戶做了一個關於XX系統的壓力測試，其實經過和客戶的溝通得知，客戶此系統上線后壓力並不大，但由於應用方前期的表現不是特別盡如人意，對此不太信任，所以要求本次壓力測試着重觀察。 參與 ...

2018年12月5日 第一階段 雖然網上教程很多，但是還是記錄一次完整的步驟 1.安裝nodejs,網上一堆的教程，基本上下載后傻瓜式一路next 2.安裝npm,網上一堆的教程，也是基本下載后傻瓜式一路next 3.安裝完成運行cmd，查看是否安裝成功 4.安裝cnpm ...

記一次講故事機器人的開發-我有故事，讓機器人來讀 最近工作較忙，回家閑下來只想閉目休息，一分鍾屏幕都不想再看，然而我又想追更之前看的小說，於是，需求來了——我需要一個給我講故事的機器人！ 瀏覽器或者閱讀器App里其實也有朗讀功能，但是比較僵硬，總是將引人入勝的情節念成流水賬，分分鍾讓人棄坑 ...

，應用卡死時候數據庫，redis都正常，並且無特殊錯誤日志。開始懷疑是sandbox環境機器問題，測試 ...

一：背景 1. 講故事 昨天繼續還技術債，優化一輪后的程序拉到線上后內存繼續忽高忽低，低的時候20G，高的時候30G，過了一會又下降了幾個G，毫無疑問，程序中有什么集合或者什么操作占用了大量內存，所以准備在28，29G的時候抓dump分析分析。 二：解決思路 從快照中找問題就像看病一樣 ...