python常用數據處理庫


Python之所以能夠成為數據分析與挖掘領域的最佳語言,是有其獨特的優勢的。因為他有很多這個領域相關的庫可以用,而且很好用,比如Numpy、SciPy、Matploglib、Pandas、ScikitLearn、Keras、Gensim等
    1)Numpy,它給Python提供了真正的數組功能,包括多維數組,以及對數據進行快速處理的函數,Numpy還是更多高級擴展庫的依賴庫,比如后續的Scipy、Matplotlib、Pandas等,都一樣;
    2)Scipy,他讓Python成了半個MATLAB,Scipy提供了真正的矩陣類型,及其大量基於矩陣運算的對象和函數,他包括的功能包括最優化、線性代數、積分、插值、你和、特殊函數、快速傅里葉變換、信號處理與圖像處理、常微分求解方程和其他科學與工程中常用的計算;Scipy依賴於Numpy;
    3)Matplotlib,對於Python來說,Matplotlib是最著名的繪圖庫,主要是二維繪圖,當然,也可以支持一些簡答的三圍繪圖;
    4)Pandas,他是Python下最強大的數據分析和探索工具,沒有之一。他包含的高級的數據結構和精巧的工具,使得在Python中處理數據非常快速和簡單,Pandas構建在NumPy之上,他使得以Numpy為中心的應用很容易使用,Pandas的名稱來自於面板數據(Panel Data)和Python數據分析(Data Analysis),他最初被作為金融數據分析工具而開發出來,由AQR Capital Management公司於2008年4月開發出來,並與2009年底開源;
    他的功能非常強大,支持類似於SQL的數據增刪改查,並且帶有豐富的數據處理函數,支持時間序列分析,支持靈活處理確實數據等。Pandas其實很復雜, 夠單獨寫一本書,如果對他有興趣可以看看Pandas主要作者之一 WesMcKinney寫的《利用Python進行數據分析》一書。
    5)StatModels,Pandas着眼於數據的讀取、處理和探索,而StatsModels則更加注重數據的統計建模和分析,他使得Python有了R語言的味道。StatModels支持與Pandas的數據交互,因此,他與Pandas結合,成為了Python下強大的數據挖掘組合;
    6)Scikit-Learn,這是一個和機器學習有關的庫,他是Python下強大的及其學習工具包,他提供了完善的及其學習工具箱,包括:數據預處理、分類、回歸、聚類、預測和模型分析等。他依賴於NumPy、SciPy、Matplotlib等;
    7)Keras,他是用來搭建神經網絡的,他並非簡單的神經網絡庫,而是一個基於Theano的強大的深度學習庫,利用它不僅僅可以搭建普通的神經網絡,還可以搭建各種深度學習模型,如自編碼器、循環神經網絡、遞歸神經網絡、卷積神經網絡等。由於它是基於Theano的,速度相當快。
    8)Theano,他也是一個Python庫,他是由深度學習專家YoshuaBengio帶領的實驗室開發出來的,用來定義、優化和高效地解決多維數組對應數學表達式的模擬估計問題。他具有高效地實現符號分解、高度優化的速度、和穩定性等特點,最重要的是還實現了GPU加速,是的密集型數據的處理速度是CPU的十倍;
    9)Gensim,topic modelling of humans,他主要用來處理語言方面的任務,如文本相似度計算、LDA、Word2Vec等,這些領域的任務往往需要比較多的背景知識,通常的情況是:研究這方面的讀者已經不需要我再多說什么,而不研究這方面的讀者,在這里也說不清楚。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM