本文源码：GitHub·点这里 || GitEE·点这里 一、大数据简介 1、基础概念 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量 ...

如今，大数据技术已进入“后红海”时代，成了“水电煤”一样可以普惠人人的技术。同时，新领域仍在不断演进迭代。 本文的上篇 “Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？”，阐述了后红海时代下大数据体系的演进热点是什么，以及大数据体系3个子领域的技术解读，包括多层智能化 ...

大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛 ...

一.大数据预处理技术 现实世界中的数据一般是不完整的、 带有随机性的、有噪声的或不唯一、不一致的“脏数据”，数据质量不高，无法直接进行数据挖掘，或者挖掘的效果差强人意。为了以后的处理更加方便以及模型具有更好的效果，往往在使用模型之前需要对数据进行预处理，就产生了数据预处理技术。 数据 ...

1、NoSQL产生的原因 　　目前关系型数据库难以应对日益增多的海量数据，横向的分布式扩展能力比较弱，因此构建出非关系型数据库(所谓的NoSQL)，其目的是为了构建一种结构简单、分布式、易扩展、效率高且使用方便的新型数据库系统。 2、NoSQL特点 NoSQL一般提供数据的分布式存储 ...

忽如一夜春风来，无人不谈大数据。大数据就像前两年的云计算一样，是一个时下被炒得很火的概念。那么什么是大数据，大数据是如何定义的，大数据处理技术有哪些，大数据能给我们带来什么益处？虽然我不知道现在这些概念是如何被炒作的，但是作为一名互联网行业的从业者，作为一个大数据技术的实践者，根据自己的理解和经验 ...

主流的大数据技术可以分为两类：一类是面向非实时批处理业务场景，着重于处理传统数据处理技术在有限的时空环境里无法胜任的TB级、PB级海量数据存储、加工、分析、应用等。比较主流的支撑技术有：HDFS、MapReduce、Hive等。另一类是面向实时处理业务场景，比较主流的支撑技术为HBase ...