luigi學習1

一、luigi介紹 luigi是基於python語言的，可幫助建立復雜流式批處理任務管理系統。這些批處理作業典型的有hadoop job,數據庫數據的導入與導出，或者是機器學習算法等等。 luigi的github：https://github.com/spotify/luigi 目前已經有 ...

luigi學習5-task詳解

task是代碼執行的地方。task通過target互相依賴。 下面是一個典型的task的大綱視圖。 一、Task.requires requires方法用來指定本task的依賴的其他task ...

luigi框架--關於python運行spark程序

首先，目標是寫個python腳本，跑spark程序來統計hdfs中的一些數據。參考了別人的代碼，故用了luigi框架。 至於luigi的原理 底層的一些東西Google就好。本文主要就是聚焦快速使用，知其然不知其所以然。 python寫Spark或mapreduce還有其他的方法，google ...