楔子 现在相信你已经对DAG的工作原理有了基本的理解，那么下面来看看Dask如何使用DAG来创建健壮的、可扩展的workload(控制器)。 下面我们要完成两件事：使用Dask的DataFrame API来分析结构化数据集；研究一些有用的诊断工具，并使用low-level Delayed ...

1、分布式版本安装步骤 1.conda安装：conda install dask distributed-cconda-forge 2.pip 安装：pip install dask distributed --upgrade 3.source安装： git clone https ...

楔子 前面我们探索了Dask是如何使用DAG在多台机器上协调和管理复杂任务的，但我们当时只是为了说明Dask和DAG之间的关联，而举了一些使用了Delayed API的简单示例罢了。而这次，我们将更深入地了解DataFrame的API。 Dask DataFrame是构建在Delayed对象 ...

1、python dask dataframe series 升序和降序 # conding:utf-8 import time import dask.dataframe as dd import dask.array as da import gc st = time.time ...

楔子 对于任何数据科学项目而言，数据清理都是非常重要的一个环节，因为数据中的异常值会对统计分析产生负面的影响，从而导致我们得出错误的结论，最终可能建立起无法成立的机器学习模型。因此在数据的探索性分析之前，尽可能地清洗数据是很有必要。 在我们清洗数据时，你还会了解到Dask提供的许多操作 ...

楔子 这一章同样很简单，个人觉得没啥好说的，直接把里面用到DataFrame的API贴出来吧。 sum：求和 mean：求平均值 min：求最小值 max：求最大值 mode ...

楔子 开新坑啦，最新本人发现了一本书叫《Data Science with Python and Dask》，或许你还不知道它是什么，或许你已经对它有所了解、但是了解的不够深入。如果是这样的话，那么让我们从头开始一起学习吧。 这本书是英文版本的，所以个人决定将它从头到尾翻译一遍，当然我也会加 ...

楔子 数据科学家面临的一个独特的挑战是倾向于研究静止的数据，而非动态的数据，或者不是专门为预测建模和分析而收集的数据。这和传统的学术研究有很大的不同，在传统的学术研究中，数据是经过仔细和深思熟虑之后 ...