1. python數據分析: Numpy (數組,矩陣),Pandas, matplotlib
2. Python 爬蟲模塊:re,urllib, beautifulsoup, request, xpath, lxml,phantomjs,selenium,pymssql
time ,thread,
scrapy框架,Pysplider框架
--------------------numpy
1. arange()
2. linspace()
3. logspace()
4. fromstring()
5. fromfunction()
6. reshape(), shape()
7. tofile()---fromfile(“”,dtype=), np.save()---nvp.load()
3. Numpy------
NumPy 是一個 Python 包。 它代表 “Numeric Python”。 它是一個由多維數組對象和用於處理數組的例程集合組成的庫。使用NumPy,開發人員可以執行以下操作:
- 數組的算數和邏輯運算。
- 傅立葉變換和用於圖形操作的例程。
- 與線性代數有關的操作。 NumPy 擁有線性代數和隨機數生成的內置函數
- 高級功能:廣播
4. Scipy—數值計算庫
SciPy函數庫在NumPy庫的基礎上增加了眾多的數學、科學以及工程計算中常用的庫函數。例如線性代數、常微分方程數值求解、信號處理、圖像處理、稀疏矩陣等等。由於其涉及的領域眾多、本書沒有能力對其一一的進行介紹。作為入門介紹,讓我們看看如何用SciPy進行插值處理、信號濾波以及用 C語言加速計
5. Sympy—符號運算
SymPy是Python的數學符號計算庫,用它可以進行數學公式的符號推導。為了調用方便,下面所有的實例程序都假設事先從sympy庫導入了所有內容
5. Matplotlib—繪圖庫
matplotlib 是python最著名的繪圖庫,它提供了一整套和matlab相似的命令API,十分適合交互式地進行制圖。而且也可以方便地將它作為繪圖控件,嵌入GUI應用程序中。
它的文檔相當完備,並且 Gallery頁面中有上百幅縮略圖,打開之后都有源程序。因此如果你需要繪制某種類型的圖,只需要在這個頁面中瀏覽/復制/粘貼一下,基本上都能搞定
6.TraitsUI---制作用戶界面
Python有着豐富的界面開發庫,除了缺省安裝的Tkinter以外,wxPython、pyQt4等都是非常優秀的界面開發庫。但是它們有一個共同的問題:需要開發者掌握眾多的API函數,許多細節,例如配置控件的屬性、位置以及事件響應都需要開發者一一處理。
在開發科學計算程序時,我們希望快速實現一個夠用的界面,讓用戶能夠交互式的處理數據,而又不希望在界面制作上花費過多的精力。以traits為基礎、以Model-View-Controller為設計思想的TraitUI 庫就是實現這一理想的最佳伴
7.Chaco---交互圖表
Chaco是一個2D的繪圖
8.TVTK—三維可視化數據
VTK (http://www.vtk.org/) 是一套三維的數據可視化工具,它由C++編寫,包涵了近千個類幫助我們處理和顯示數據。它在Python下有標准的綁定,不過其API和C++相同,不能體現出Python作為動態語言的優勢。因此enthought.com開發了一套TVTK庫對標准的VTK庫進行包裝,提供了Python風格的API、支持Trait屬性和numpy的多維數組
9.Mayavi—可視化
雖然VTK 3D可視化軟件包功能強大,Python的TVTK包裝方便簡潔,但是要用這些工具快速編寫實用的三維可視化程序仍然需要花費不少的精力。因此基於VTK開發了許多可視化軟件,例如: ParaView、 VTKDesigner2、Mayavi2等
10.Visual—制作3D
SQL Server
Azure SQL
Azure storage(Blob,File ,Container)
Azure VM
Visual 是Python的一個簡單易用的3D圖形庫,使用它可以快速創建3D場景、動畫。和TVTK相比它更加適合於創建交互式的3D場景,而TVTK則更加適合於數據的3D圖形化顯示。在本節中將通過一個實例簡單的介紹如何使用Visual制作3D動畫
11.Opencv—圖像處理和計算機視覺
OpenCV是Intel公司開發的開源計算機視覺庫。它用C語言高速地實現了許多圖像處理和計算機視覺方面的通用算法,並且通過SWIG提供了Python的調用接口。本章介紹用Python調用OpenCV庫,實現一些簡單的圖像處理和計算機視覺算法。
OpenCV提供的Python調用接口和C語言的API基本上是一致的,這個接口對於動態語言Python來說有些累贅。不過由於Python程序和C語言程序差別不大,用Python調用OpenCV,能夠幫助我們測試 API函數和快速實現算
12.Python GUI編程(Tkinter)
Python 提供了多個圖形開發界面的庫,幾個常用 Python GUI 庫如下:
- Tkinter: Tkinter 模塊(Tk 接口)是 Python 的標准 Tk GUI 工具包的接口 .Tk 和 Tkinter 可以在大多數的 Unix 平台下使用,同樣可以應用在 Windows 和 Macintosh 系統里。Tk8.0 的后續版本可以實現本地窗口風格,並良好地運行在絕大多數平台中。
- wxPython:wxPython 是一款開源軟件,是 Python 語言的一套優秀的 GUI 圖形庫,允許 Python 程序員很方便的創建完整的、功能健全的 GUI 用戶界面。
- Jython:Jython 程序可以和 Java 無縫集成。除了一些標准模塊,Jython 使用 Java 的模塊。Jython 幾乎擁有標准的Python 中不依賴於 C 語言的全部模塊。比如,Jython 的用戶界面將使用 Swing,AWT或者 SWT。Jython 可以被動態或靜態地編譯成 Java 字節碼
Report
1. SSRS report 開發部署和維護,RS服務器的配置
2. 根據客戶業務需求進行Power BI Report開發和部署,配置PowerBI網關以及報表用戶行為追蹤分析,報表預警監測
3. 用SSDT 進行ETL開發,Job的部署和ETL監測,windows task scheduler
4. 把DB遷移至Azure Storage ,Azure VM
5. DB數據庫設計,SQL Server以及優化
6. Python爬取Medium數據python語法
7. 排序算法和數據分析算法,Git 和Github, Powershell 腳本
8. 預處理問答
-----------------------
天善智能、博客園:(Alex@0829)|網易郵箱:Alex_fox0712@163.com, outlook:alex_fox@outlook.com|csdn:那些年郵箱,twitter:Alex Fox|git hub:Alex2018fox