最近特别忙，忙里偷闲还是抽空把网易云课堂大白老师的《即兴讲话，也能套公式》快速的学习了一遍，收获很大。 作为一名程序员，为啥要去学习这种教我们怎么讲话的课呢？就做一名安静的美男子好好敲代码难道不 ...

vue3.0的pre-alpha版代码已经开源了，就像作者之前放出的消息一样，其数据响应这一部分已经由ES6的Proxy来代替Object.defineProperty实现，感兴趣的同学可以看其实现源码，同样Mobx5也使用Proxy来实现数据响应式。vue和mobx都开始使用Proxy来实现数据 ...

目前大数据平台有很多，这就需要我们可以对大数据平台进行分类，这就可以从大数据处理的过程、大数据处理的数据类型、大数据处理的方式以及平台对数据的部署方式这几方面进行。 首先我们从大数据处理的方式来划分，这样我们就能够把大数据平台分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行 ...

大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解 ...

一、概念 Hadoop诞生于2006年，一个分布式系统基础架构，由Apache基金会开发。Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式：应用程序被分割成许多 ...

基本组件： Zookeeper： 分布式协作框架 节点数目： 测试集群：3个 生产集群：(7个差不多) 小型集群：3个或者5个 中型集群：5个或者7个 大型集群：更多，奇数个 HDFS： 存储海量数据 YARN： 集群 ...

在数据治理中，数据探索服务的价值在初期往往是被忽视的，但是随着业务的增加，分析人员的增加，数据探索服务的价值就会越来越大。 一个成功的数据管理平台，不仅仅要提供各种数据分析的工具，提供各种各样的数据源，更要提供数据探索的能力。 为什么数据探索服务很重要？ 想象一下，作为一名数据科学家 ...

大数据平台的数据采集 数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。 在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中 ...