Spark RDD和DataSet与DataFrame转换成RDD 一、什么是RDD RDD是弹性分布式数据集（resilient distributed dataset） 的简称 ...

spark算子大致上可分三大类算子： 　　1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据。 　　2、Key-Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Key-Value ...

　　随着业务的发展，数据量剧增，我们一些简单报表大盘类的任务，就不能简单的依赖于RDBMS了，而是依赖于数仓之类的大数据平台。 　　数仓有着巨量数据的存储能力，但是一般都存在一定数据延迟，所以要想完 ...

摘要：遗传算法（Genetic Algorithm）是一种基于自然选择过程，模拟生物进化的AI模型，它可以在模拟的生物进化过程中逐代搜索到最优解的一种方法。本文利用遗传算法实现了一个简单的程序来对 ...

摘要：本文将系统介绍在GaussDB(DWS)系统中影响性能的坏味道SQL及SQL模式，帮助大家能够从原理层面尽快识别这些坏味道SQL，在调优过程中及时发现问题，进行整改。 数据库的应用中，充 ...

摘要：路径生成是表关联方式确定的主要阶段，本文介绍了几个影响路径生成的要素：cost_param, scan方式，join方式，stream方式，并从原理上分析如何干预路径的生成。 一、cos ...

摘要：所谓全场景AI，是指可以将深度学习技术快速应用在云边端不同场景下的硬件设备上，包括云服务器、移动终端以及IoT设备等等，高效运行并能有效协同。 本文分享自华为云社区《AI框架的挑战与 ...

摘要：简要介绍一下akg正反向算子的注册和关联流程。 本文分享自华为云社区《AKG正反向算子注册+关联》，作者：木子_007 。 一、环境 硬件：eulerosv2r8.aarch64 mindspore：1.1 算子注册需要编译安装框架才能生效，所以默认环境中已经有 ...

摘要：以单算子开发为例，带你了解算子开发及测试全流程。 为什么要自定义算子 深度学习算法由一个个计算单元组成，我们称这些计算单元为算子（Operator，简称Op）。算子是一个函数空间到函数空间上的映射O：X→X；从广义上讲，对任何函数进行某一项操作都可以认为是一个算子。于我 ...

参考：https://zhuanlan.zhihu.com/p/41672471 ...