一、luigi介绍 luigi是基于python语言的，可帮助建立复杂流式批处理任务管理系统。这些批处理作业典型的有hadoop job,数据库数据的导入与导出，或者是机器学习算法等等。 luigi的github：https://github.com/spotify/luigi 目前已经有 ...

task是代码执行的地方。task通过target互相依赖。 下面是一个典型的task的大纲视图。 一、Task.requires requires方法用来指定本task的依赖的其他task ...

首先，目标是写个python脚本，跑spark程序来统计hdfs中的一些数据。参考了别人的代码，故用了luigi框架。 至于luigi的原理 底层的一些东西Google就好。本文主要就是聚焦快速使用，知其然不知其所以然。 python写Spark或mapreduce还有其他的方法，google ...