楔子 这一章同样很简单，个人觉得没啥好说的，直接把里面用到DataFrame的API贴出来吧。 sum：求和 mean：求平均值 min：求最小值 max：求最大值 mode：求众数 abs：求绝对值 prod：求所有值的乘积 std：求标准差 var：求方差 size：求元素的个数 count：求非空元素的个数 除此之外还有一个describe，在Dask中也是支持的。 to frame：可以将 ...
2020-10-06 20:10 0 436 推荐指数：
楔子 对于任何数据科学项目而言，数据清理都是非常重要的一个环节，因为数据中的异常值会对统计分析产生负面的影响，从而导致我们得出错误的结论，最终可能建立起无法成立的机器学习模型。因此在数据的探索性分析之前，尽可能地清洗数据是很有必要。 在我们清洗数据时，你还会了解到Dask提供的许多操作 ...
楔子 前面我们探索了Dask是如何使用DAG在多台机器上协调和管理复杂任务的，但我们当时只是为了说明Dask和DAG之间的关联，而举了一些使用了Delayed API的简单示例罢了。而这次，我们将更深入地了解DataFrame的API。 Dask DataFrame是构建在Delayed对象 ...
楔子 数据科学家面临的一个独特的挑战是倾向于研究静止的数据，而非动态的数据，或者不是专门为预测建模和分析而收集的数据。这和传统的学术研究有很大的不同，在传统的学术研究中，数据是经过仔细和深思熟虑之后才收集的，因为要确保数据是真真正正能够派上用场的。但是现如今则不是这样，就像我们之前说的，我们面临 ...
楔子 现在相信你已经对DAG的工作原理有了基本的理解，那么下面来看看Dask如何使用DAG来创建健壮的、可扩展的workload(控制器)。 下面我们要完成两件事：使用Dask的DataFrame API来分析结构化数据集；研究一些有用的诊断工具，并使用low-level Delayed ...
楔子 开新坑啦，最新本人发现了一本书叫《Data Science with Python and Dask》，或许你还不知道它是什么，或许你已经对它有所了解、但是了解的不够深入。如果是这样的话，那么让我们从头开始一起学习吧。 这本书是英文版本的，所以个人决定将它从头到尾翻译一遍，当然我也会加 ...
这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319。 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS 功能：分布式文件系统，用来存储海量 ...
并行计算与分布式计算之间的关系？ 并行计算的核心要点是时间上并行，分布式计算的核心要点是空间上分离，两者是不同的概念。 并行计算可以是分布式的，也可以不是分布式的。 分布式计算可以是并行的，也可以不是并行的。 ...
并行计算、分布式计算以及网格计算和云计算都是属于高性能计算（HPC）的范畴，主要目的在于对大数据的分析与处理，但它们却存在很多差异。我们需要了解两者的原理、特点和运用的场合，对云计算的了解大有裨益。 之所以将两种计算技术放在一起，是因为这两种计算具有共同的特点，都是运用并行来获得更高 ...
