numba,讓python速度提升百倍


python由於它動態解釋性語言的特性,跑起代碼來相比java、c++要慢很多,尤其在做科學計算的時候,十億百億級別的運算,讓python的這種劣勢更加凸顯。

辦法永遠比困難多,numba就是解決python慢的一大利器,可以讓python的運行速度提升上百倍!


什么是numba?

numba是一款可以將python函數編譯為機器代碼的JIT編譯器,經過numba編譯的python代碼(僅限數組運算),其運行速度可以接近C或FORTRAN語言。

python之所以慢,是因為它是靠CPython編譯的,numba的作用是給python換一種編譯器。

                             python、c、numba三種編譯器速度對比

 

使用numba非常簡單,只需要將numba裝飾器應用到python函數中,無需改動原本的python代碼,numba會自動完成剩余的工作。

import numpy as np
import numba
from numba import jit

@jit(nopython=True) # jit,numba裝飾器中的一種
def go_fast(a): # 首次調用時,函數被編譯為機器代碼
    trace = 0
    # 假設輸入變量是numpy數組
    for i in range(a.shape[0]):   # Numba 擅長處理循環
        trace += np.tanh(a[i, i]) 
    return a + trace

  

以上代碼是一個python函數,用以計算numpy數組各個數值的雙曲正切值,我們使用了numba裝飾器,它將這個python函數編譯為等效的機器代碼,可以大大減少運行時間。

 

numba適合科學計算

numpy是為面向numpy數組的計算任務而設計的。

在面向數組的計算任務中,數據並行性對於像GPU這樣的加速器是很自然的。Numba了解NumPy數組類型,並使用它們生成高效的編譯代碼,用於在GPU或多核CPU上執行。特殊裝飾器還可以創建函數,像numpy函數那樣在numpy數組上廣播。

什么情況下使用numba呢?

  • 使用numpy數組做大量科學計算時
  • 使用for循環時

 

學習使用numba

第一步:導入numpy、numba及其編譯器

import numpy as np
import numba 
from numba import jit

 

第二步:傳入numba裝飾器jit,編寫函數

# 傳入jit,numba裝飾器中的一種
@jit(nopython=True) 
def go_fast(a): # 首次調用時,函數被編譯為機器代碼
    trace = 0
    # 假設輸入變量是numpy數組
    for i in range(a.shape[0]):   # Numba 擅長處理循環
        trace += np.tanh(a[i, i])  # numba喜歡numpy函數
    return a + trace # numba喜歡numpy廣播

  nopython = True選項要求完全編譯該函數(以便完全刪除Python解釋器調用),否則會引發異常。這些異常通常表示函數中需要修改的位置,以實現優於Python的性能。強烈建議您始終使用nopython = True。

 
第三步:給函數傳遞實參
# 因為函數要求傳入的參數是nunpy數組
x = np.arange(100).reshape(10, 10) 
# 執行函數
go_fast(x)

  

第四步:經numba加速的函數執行時間

% timeit go_fast(x)
輸出:3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

 

第五步:不經numba加速的函數執行時間

def go_fast(a): # 首次調用時,函數被編譯為機器代碼
    trace = 0
    # 假設輸入變量是numpy數組
    for i in range(a.shape[0]):   # Numba 擅長處理循環
        trace += np.tanh(a[i, i])  # numba喜歡numpy函數
    return a + trace # numba喜歡numpy廣播

x = np.arange(100).reshape(10, 10) 
%timeit go_fast(x)

  輸出:136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

 

結論:

在numba加速下,代碼執行時間為3.63微秒/循環。不經過numba加速,代碼執行時間為136微秒/循環,兩者相比,前者快了40倍。

 

numba讓python飛起來

前面已經對比了numba使用前后,python代碼速度提升了40倍,但這還不是最快的。

這次,我們不使用numpy數組,僅用for循環,看看nunba對for循環到底有多鍾愛!

 

# 不使用numba的情況
def t():
    x = 0
    for i in np.arange(5000):
        x += i
    return x
%timeit(t())
輸出:408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
# 使用numba的情況
@jit(nopython=True) 
def t():
    x = 0
    for i in np.arange(5000):
        x += i
    return x
%timeit(t()) 
輸出:1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

 

使用numba前后分別是408微秒/循環、1.57微秒/循環,速度整整提升了200多倍!

 

結語

numba對python代碼運行速度有巨大的提升,這極大的促進了大數據時代的python數據分析能力,對數據科學工作者來說,這真是一個lucky tool !

當然numba不會對numpy和for循環以外的python代碼有很大幫助,你不要指望numba可以幫你加快從數據庫取數,這點它真的做不到哈。

 


如果大家想要學習更多的python數據分析知識,請關注我的公眾號:pydatas

回復:數據分析,可領取《利用python進行數據分析 第二版》電子書

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM