《使用Python和Dask實現分布式並行計算》2. Introducing Dask(介紹Dask)
楔子 現在相信你已經對DAG的工作原理有了基本的理解，那么下面來看看Dask如何使用DAG來創建健壯的、可擴展的workload(控制器)。 下面我們要完成兩件事：使用Dask的DataFrame API來分析結構化數據集；研究一些有用的診斷工具，並使用low-level Delayed ...
原文：《使用Python和Dask實現分布式並行計算》1. Why scalable computing matters(為什么可伸縮計算很重要)
楔子 開新坑啦，最新本人發現了一本書叫 Data Science with Python and Dask ，或許你還不知道它是什么，或許你已經對它有所了解 但是了解的不夠深入。如果是這樣的話，那么讓我們從頭開始一起學習吧。 這本書是英文版本的，所以個人決定將它從頭到尾翻譯一遍，當然我也會加入一些個人的想法進去，以及示例所使用的代碼和書中也不一定是一樣的。不過我相信這些都不是問題，你在學習的時候編 ...
2020-10-02 01:28 2 1046 推薦指數：
相關推薦
《使用Python和Dask實現分布式並行計算》3. Introducing Dask DataFrame(介紹Dask DataFrame)
楔子 前面我們探索了Dask是如何使用DAG在多台機器上協調和管理復雜任務的，但我們當時只是為了說明Dask和DAG之間的關聯，而舉了一些使用了Delayed API的簡單示例罷了。而這次，我們將更深入地了解DataFrame的API。 Dask DataFrame是構建在Delayed對象 ...
《使用Python和Dask實現分布式並行計算》5. Cleaning and transforming DataFrames(清洗和轉換DataFrame)
楔子 對於任何數據科學項目而言，數據清理都是非常重要的一個環節，因為數據中的異常值會對統計分析產生負面的影響，從而導致我們得出錯誤的結論，最終可能建立起無法成立的機器學習模型。因此在數據的探索性分析之前，盡可能地清洗數據是很有必要。 在我們清洗數據時，你還會了解到Dask提供的許多操作 ...
《使用Python和Dask實現分布式並行計算》6. Summarizing and analyzing DataFrames(匯總、分析DataFrame)
楔子 這一章同樣很簡單，個人覺得沒啥好說的，直接把里面用到DataFrame的API貼出來吧。 sum：求和 mean：求平均值 min：求最小值 max：求最大值 mode ...
《使用Python和Dask實現分布式並行計算》4. Loading data into DataFrames(從不同數據源加載數據得到DataFrame)
楔子 數據科學家面臨的一個獨特的挑戰是傾向於研究靜止的數據，而非動態的數據，或者不是專門為預測建模和分析而收集的數據。這和傳統的學術研究有很大的不同，在傳統的學術研究中，數據是經過仔細和深思熟慮之后 ...
分布式並行計算MapReduce
這個作業的要求來自於：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319。 1.用自己的話闡明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作過程。 HDFS 功能：分布式文件系統，用來存儲海量 ...
並行計算與分布式計算
並行計算與分布式計算之間的關系？ 並行計算的核心要點是時間上並行，分布式計算的核心要點是空間上分離，兩者是不同的概念。 並行計算可以是分布式的，也可以不是分布式的。 分布式計算可以是並行的，也可以不是並行的。 ...
並行計算與分布式計算區別與聯系
並行計算、分布式計算以及網格計算和雲計算都是屬於高性能計算（HPC）的范疇，主要目的在於對大數據的分析與處理，但它們卻存在很多差異。我們需要了解兩者的原理、特點和運用的場合，對雲計算的了解大有裨益。 之所以將兩種計算技術放在一起，是因為這兩種計算具有共同的特點，都是運用並行來獲得更高 ...