Spark RDD和DataSet與DataFrame轉換成RDD 一、什么是RDD RDD是彈性分布式數據集（resilient distributed dataset） 的簡稱 ...

spark算子大致上可分三大類算子： 　　1、Value數據類型的Transformation算子，這種變換不觸發提交作業，針對處理的數據項是Value型的數據。 　　2、Key-Value數據類型的Transformation算子，這種變換不觸發提交作業，針對處理的數據項是Key-Value ...

　　隨着業務的發展，數據量劇增，我們一些簡單報表大盤類的任務，就不能簡單的依賴於RDBMS了，而是依賴於數倉之類的大數據平台。 　　數倉有着巨量數據的存儲能力，但是一般都存在一定數據延遲，所以要想完 ...

摘要：遺傳算法（Genetic Algorithm）是一種基於自然選擇過程，模擬生物進化的AI模型，它可以在模擬的生物進化過程中逐代搜索到最優解的一種方法。本文利用遺傳算法實現了一個簡單的程序來對 ...

摘要：本文將系統介紹在GaussDB(DWS)系統中影響性能的壞味道SQL及SQL模式，幫助大家能夠從原理層面盡快識別這些壞味道SQL，在調優過程中及時發現問題，進行整改。 數據庫的應用中，充 ...

摘要：路徑生成是表關聯方式確定的主要階段，本文介紹了幾個影響路徑生成的要素：cost_param, scan方式，join方式，stream方式，並從原理上分析如何干預路徑的生成。 一、cos ...

摘要：所謂全場景AI，是指可以將深度學習技術快速應用在雲邊端不同場景下的硬件設備上，包括雲服務器、移動終端以及IoT設備等等，高效運行並能有效協同。 本文分享自華為雲社區《AI框架的挑戰與 ...

摘要：簡要介紹一下akg正反向算子的注冊和關聯流程。 本文分享自華為雲社區《AKG正反向算子注冊+關聯》，作者：木子_007 。 一、環境 硬件：eulerosv2r8.aarch64 mindspore：1.1 算子注冊需要編譯安裝框架才能生效，所以默認環境中已經有 ...

摘要：以單算子開發為例，帶你了解算子開發及測試全流程。 為什么要自定義算子 深度學習算法由一個個計算單元組成，我們稱這些計算單元為算子（Operator，簡稱Op）。算子是一個函數空間到函數空間上的映射O：X→X；從廣義上講，對任何函數進行某一項操作都可以認為是一個算子。於我 ...

參考：https://zhuanlan.zhihu.com/p/41672471 ...