(數據科學學習手札91)在Python中妥善使用進度條


本文示例代碼已上傳至我的Github倉庫https://github.com/CNFeffery/DataScienceStudyNotes

1 簡介

  在日常運行程序的過程中常常涉及到循環迭代過程,對於執行時間很短的程序來說倒無所謂,但對於運行過程有明顯耗時的涉及循環迭代的程序,為其加上進度條progress bar),是幫助我們監測代碼執行進度以及處理中間異常錯誤非常實用的技巧。

圖1

  本文就將為大家介紹Python中非常實用又風格迥異的兩個進度條相關庫——tqdmalive-progress的主要用法。

2 tqdm常用方法

  tqdmPython中所有進度條相關庫中最出名的,既然是最出名的,自然有它獨到之處。

  tqdm不僅可以生成基礎的可在終端中顯示的進度條,還可以配合jupyter notebookjupyter lab生成更加美觀的網頁交互部件形式的進度條,更是和pandas強強聯手,為pandas中的一些操作提供專有的進度條功能。

  下面我們來對tqdm的主要功能進行介紹。

2.1 基礎用法

  因為是第三方庫,首先需要利用pip install tqdmconda install -c conda-forge tqdm對其進行安裝,安裝完成后先來看看它最基本的用法:

圖2

  利用tqdm.tqdm,將for循環過程中進行迭代的對象簡單包裹,就實現了為循環過程添加進度條以及打印執行速度、已運行時間與預估剩余運行時間等實用信息的功能,同樣也可用於列表推導

圖3

  而針對迭代對象是range()的情況,tqdm還提供了簡化版的trange()來代替tqdm(range())

圖4

  其附帶的參數desc還可以幫助我們設置進度條的說明文字:

圖5

  而如果想要在迭代過程中變更說明文字,還可以預先實例化進度條對象,在需要刷新說明文字的時候執行相應的程序:

圖6

  但當迭代的對象長度一開始未知時,譬如對pandas中的DataFrame.itertuples()進行迭代,我們就只能對其執行速度等信息進行估計,但無法看到進度條遞增情況,因為tqdm不清楚迭代的終點如何:

圖7

2.2 配合jupyter notebook/jupyter lab的美觀進度條

  tqdmjupyter notebookjupyter lab有着特殊的支持,且使用方法非常簡單,只需要將原有的from tqdm import XXX的相應功能導入格式修改為from tqdm.notebook import XXX就可以了,以trange為例:

圖8

2.3 配合pandas中的apply

  tqdmpandas中的apply()過程提供了特殊的支持,因為pandas中的apply()本質上就是串行循環運算,你可以將pandas中的任何apply操作替換為progress_apply,並且記住每個單獨的progress_apply前要先執行tqdm.pandas(),就像下面的例子一樣:

圖9

3 alive-progress常用方法

  雖然與tqdm一樣都是為了給循環過程加上進度條而誕生的庫,但alive-progress相比tqdm增加了更多花樣繁多的動態效果,我們通過調用其專門提供的showtime()函數可以查看所有可用的動態進度條樣式:

圖10

  同樣類似地可以查看所有進度條樣式:

圖11

  使用起來也是非常簡單,但與tqdm用法區別很大,需要配合with關鍵詞,譬如下面我們使用到alive_progress中的alive_bar來生成動態進度條:

圖12

  通過修改bar參數來改變進度條的樣式:

圖13

  更多關於alive-progress的內容感興趣的朋友可以查看官方說明:(https://github.com/rsalmei/alive-progress ),但比較遺憾的是目前的alive-progress只能在終端中運行,還沒有為jupyter開發更美觀的交互式部件,但你可以在譬如網絡爬蟲等任務中使用它,效果也是很不錯的。


  以上就是本文的全部內容,如有疑問歡迎在評論區與我討論~


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM