一、 大数据基本概念 大数据Big Data是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处理数据能力的数据集;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。 大数据的预处理 主要完成对已接收数据的辨析、抽取、清洗等操作 ...

大数据概念： 　　大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合， 　　　　　　　　　　　是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 　　主要解决：海量数据的存储和海量数据的分析计算问题 ...

在看过王家林老师的DT大数据梦工厂免费实战大数据视频全集后，我感觉自己受到很大技术熏陶，感觉有一股强大的力量在推动着DT的时代进程。 作为DT时代的迷恋者，我也非常狂热的追求着技术的制高点，有了王老师的推动，但愿能和王老师一起成长，一起提升自我，为时代和社会贡献自己的力量 ...

版权声明：本文为Heriam博主原创文章，遵循CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接：https://jiang-hao.com/articles/2019/b ...

) [TOC] ### 传统系统的问题 “我们正在从IT时代走向DT时代(数据时代)。IT ...

在理解大数据方面，聚类是一种很常用的基本方法。近日，数据科学家兼程序员 Peter Gleeson 在 freeCodeCamp 发布了一篇深度讲解文章，对一些聚类算法进行了基础介绍，并通过简单而详细的例证对其工作过程进行了解释说明。 看看下面这张图，有各种各样的虫子和蜗牛，你试试将它 ...

1、概述 Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。presto可以通过使用分布式查询，可以快速高效的完成海量数据的查询。它是完全基于内存的，所以速度非常快。presto不仅可以查询HDFS，还可以查询RDMBS数据库。 具体的介绍可以参考 ...

ETL 概念 ETL 这个术语来源于数据仓库，ETL 指的是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是 BI 项目重要的一个环节。 通常情况下，在 BI 项目中 ETL ...