本文示例文件已上傳至我的
Github
倉庫https://github.com/CNFeffery/DataScienceStudyNotes
1 簡介
jupyter lab
是我最喜歡的編輯器,在過往的文章中也給大家介紹過很多相關資源和實用插件,但本文要給大家介紹的jupyter lab
插件elyra
,絕對是我使用過的最強大的jupyter lab
插件沒有之一,因為它的核心功能就是幫助我們解決數據分析工作中非常重要的問題——搭建工作流。

2 利用elyra搭建工作流
在安裝elyra
插件集之前,請確保你的jupyter lab
版本在2.0
及以上,並且已經安裝好了nodejs
也就是所有jupyter lab
拓展插件都需要的依賴。
不像常規的jupyter lab
插件的安裝方法,我們執行下列命令即可安裝elyra
下集成的多個插件:
pip install --upgrade elyra && jupyter lab build
安裝完之后,你的jupyter lab
操作界面外觀會發生一些變化,我們先記住在安裝elyra
之前我們的jupyter lab
界面長啥樣(我使用的主題感興趣的朋友可以通過jupyter labextension install jupyterlab-tailwind-theme
來安裝):

而在安裝完成重啟jupyter lab
之后,除了左上角的jupyter
logo變化了之外,還新增了圖中我用紅框框選出來的地方:

接下來我們就來介紹如何利用elyra
交互式地搭建工作流。
elyra
賦予了我們通過交互的方式將若干個ipynb
文件組織成工作流的能力,為了方便演示,這里我們創建幾個帶有簡單流程代碼的ipynb
文件:




接着我們在Launcher頁面點擊Pipeline Editor
打開用來交互式編輯notebook流水線的界面:


直接將側邊欄中對應的step1.ipynb
文件拖拽進來:

點擊流水線界面中ipynb
文件對應節點右側的三個圓點,可以打開更多功能選項:

因為我們是本地環境,所以這里只需要在properties
下必填參數Runtime Image
中隨便選一個就行:

保存之后,就完成了本地環境下單個節點的必要參數設置,同樣的將其他ipynb
文件拖拽進來,各自配置好必要參數再如圖13所示將各節點聯結起來:

這樣我們的流水線就搭建好了,是不是非常滴好玩~,接着點擊左上角的運行按鈕,輸入流水線名稱后即可開始運行我們的工作流:

工作流執行成功之后也會有提示:

如果工作流執行到某個節點發生程序錯誤,也會有非常人性化的提示:

對應出錯的ipynb
錯誤代碼塊上方,elyra
也會幫我們創建記錄錯誤信息的markdown
單元格:

最好用的是,配合魔術命令%store
,我們就可以跨notebook
傳遞全局變量,而不需要再往外寫出先前節點的結果文件:
利用%store 變量名
將某個變量轉化為跨kernel
的全局變量:

利用%store -r 變量名
將跨kernel
全局變量中的指定變量加載到當前kernel
中:

而除了搭建工作流這個核心功能外,elyra
還有很多其他的實用功能,感興趣的朋友可以前往官方文檔(https://elyra.readthedocs.io/en/latest/)自行閱讀學習。

以上就是本文的全部內容,歡迎在評論區與我進行討論~