python數據處理中內存優化的一些tricks
1、讀入數據時，pandas默認int類型為int64，未采用最省類型方式讀取，可通過以下方式優化內存 1）數值型能用更低內存類型保存就轉換為更低內存類型 2) 將object類型轉換為category類型 category 類型在底層使用整型數值來表示該列的值,而不使 ...
原文：近期對FTP及Excel數據處理的一些摸索
一個多月沒寫隨筆了，主要是發的東西，自己感覺也很垃圾，說又說回來，誰不是從垃圾變強的，所以不比比，還得努力。come on Python學習也有段時間了，近期為了解決同事的一個難題，所以我們決定聯系Python的同時，幫他解決這個難題。他的難題簡單概括來說，每次他需要登錄某單位的FTP服務器，下載好幾個項目一個月的數據，然后找到其中地源熱泵數據，全部復制到本地，然后打開每個項目的文件，一行一行的復 ...
2017-12-24 12:31 2 914 推薦指數：
相關推薦
Pandas 數據處理 | Datetime 在 Pandas 中的一些用法！
Datatime 是 Python 中一種時間數據類型，對於不同時間格式之間的轉換是比較方便的，而在 Pandas 中也同樣支持 DataTime 數據機制，可以借助它實現許多有用的功能，例如 1，函數to_datetime() 將數據列表中的 Series 列轉化為 datetime 類型 ...
封裝的一些常見的JS DOM操作和數據處理的函數.
//用 class 獲取元素 function getElementsByClass(className,context) { context = context || document ...
大數據處理的一些總結和應用（有關輿情監控）
說到大數據處理可能大家都不會陌生，這是近年來非常火熱的話題，各行各業都想借助大數據為自己助力，有了這個工具，就好像在飛機上看農田一般清晰，一目了然，也也就是業內人士常說的大數據提供了一個------上帝視角 大數據的概念： 1、指的是所涉及的資料量規模巨大到無法通過目前主流 ...
Excel處理數據用到的一些公式和VBA腳本
最近工作中用到EXCEL統計處理一些數據，正好之前有自學了一段時間的EXCEL，這次正好用上。為了加深印象，以后方便翻閱，就記錄下來。這篇會不斷補充。 IF 多條件判斷返回值 IF(logical_test, [value_if_true], [value_if_false ...
python實現excel數據處理
python xlrd讀取excel(表格)詳解 安裝： pip install xlrd 官網地址: https://xlrd.readthedocs.io/ 介紹： 為開發人員提供一個庫，用於從Microsoft Excel（tm）電子表格文件中提取數據。 快速使用xlrd ...
Python之Excel表格數據處理
准備工作 Python讀取Excel數據之后的數據處理 經過處理后生成的文件，數據格式如下： 使用處理后的數據 ...
近期關於緩存設計的一些思考
我們先來看看我們常說的緩存有哪些 CPU 的 L1, L2, L3 緩存 操作系統內存（相對於CPU來說也是緩存） 操作系統 page cache 高速頁緩存（緩存磁盤中的數據） Redis 用作 MySQL的緩存 MySQL buffer pool 的數據頁緩存 ...