准备工作： 1.视频教学http://113.31.104.47/portal/#/course/dashboard/b34d160db64624732ef152a1118af11a 2.DataX的安装部署https://www.cnblogs.com/qingyunzong/p ...

学习花费2h 一、安装 1.安装JDK1.8及以上（推荐低版本对计算机的资源消耗少） 2.安装python2.6.1 添加环境变量 使用的是python3 ...

，因为我没有使用德拓的实验环境，所以在看教学视频是难免会遇到一些错误 首先是DataX的使用， 因为没有用D ...

安装 下载地址 https://github.com/alibaba/DataX/blob/master/userGuid.md 直接解压就行 dataX需要python2.x 我之前已经安装了anaconda3，自带的是python3.7的版本，这边就需要切换 ...

大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛 ...

一.大数据预处理技术 现实世界中的数据一般是不完整的、 带有随机性的、有噪声的或不唯一、不一致的“脏数据”，数据质量不高，无法直接进行数据挖掘，或者挖掘的效果差强人意。为了以后的处理更加方便以及模型具有更好的效果，往往在使用模型之前需要对数据进行预处理，就产生了数据预处理技术。 数据 ...

1.为什么产生大数据技术？ 首先，大数据是众多数据信息的集合，随着社会的发展，我们周围的数据信息越来越多，仅仅是通过我们人脑对这些数据信息进行分类处理，是很有限的，而大数据技术就是为了解决这个问题而产生的，通过这个技术，把这些数据信息进行分类处理，然后把我们所需的数据信息呈现给我们，为我们查找 ...

大数据Hadoop的安装与使用 链接：https://pan.baidu.com/s/12vFNRLPJ9zGA2LTJuIpxJQ 提取码：83fb Vmware的安装：https://www.cnblogs.com/cainiao-chuanqi/p/13130663.html ...