在配置文件中修改相關參數： 增加並發 默認的scrapy開啟的並發線程為32個，可以適當的進行增加，再配置文件中修改CONCURRENT_REQUESTS = 100值為100 ...

在“如何運營一家數據標注公司（效率提升篇）”中，我們提到的3個問題，針對它們用什么方式可以很好的解決呢? 　 在本篇中我們把這個話題展開來說，詳細的進行介紹。 說到解決“原始數據的分發和已完成數據的匯總”、“完成數據后的統計工作”、“工作協同性”這三個 ...

今天公司臨時要我給業務取數據做業務分析，數據不大不小，100萬，我剛開始寫了程序去跑這些數據，根據執行的結果預計需要10個小時以上，業務員需要當天分析出數據結果，這個就很讓人絕望了！ 整個取數的流程也不是很復雜，就是先獲取所有數據的id主鍵（我是服務於快遞公司 ...

1、增加並發線程開啟數量 　　settings配置文件中，修改CONCURRENT_REQUESTS = 100,默認為32，可適當增加； 2、降低日志級別 　　運行scrapy時會產生大量日志 ...

工作上會經常遇到量級比較大的數據表 ；場景: 該數據表需要進行alter操作 比如增加一個字段,減少一個字段. 這個在一個幾萬級別數據量的數據表可以直接進行alter表操作,但是要在一個接近1000W的數據表進行操作,不是一件容易的事；可能情況:1.導致數據庫崩潰或者卡死 2.導致 ...

1. 提升方法 提高查詢效率 提高查詢速率通常通過創建索引實現 提高插入效率 批量插入時，使用事務可以提高幾千倍（單次插入，使用事務反而降低性能） sqlite3_exec(db, "begin transaction",0,0,0 ...

參考：https://cloud.tencent.com/developer/article/1636527 　　Tencent ES 是內核級深度優化的 ES 分支， ...

前端工程師其實是一個工作很雜的職位，除了要負責切圖、寫html/css/js外，還要解決一系列的瀏覽器兼容性、網頁性能優化等問題，所以提高前端工程師的開發效率是勢在必行的，也是前端工程化的體現。 對於開發效率，我個人理解是 開發效率 = 新增代碼的效率 + 修改代碼的效率 + 維護代碼 ...