大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解 ...

本人29岁，从学大数据到现在有5年的时间，我谈一下我的经验分享 我自己的经历：刚开始大数据是看书，一页页的看书，因为身边有一个好的资源，有问题可以问我朋友，后来发现看大数据的零基础书籍很难看下去，很多专业的东西对于一个新手根本就看不懂，没有什么效率。（在这里我个人建议，初学不要看书，我的建议是学 ...

在数据治理中，数据探索服务的价值在初期往往是被忽视的，但是随着业务的增加，分析人员的增加，数据探索服务的价值就会越来越大。 一个成功的数据管理平台，不仅仅要提供各种数据分析的工具，提供各种各样的数据源，更要提供数据探索的能力。 为什么数据探索服务很重要？ 想象一下，作为一名数据科学家 ...

搭建大数据hadoop环境，遇到很多问题，这里记录一部分，以备以后查看。 【遇到问题】、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 网上 ...

原文地址：http://www.sohu.com/a/66109558_116235 数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗，相关 ...

　　一、概念 　　Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统，类似mogilefs，但又不同于mogilefs，hdfs由存放文件元数据信息的namenode和存放数据 ...

做任何事情都要有目标，然后根据这个目标根据自身的条件和外部的情况制定一个思路，这个思路也可以理解为实现目标的路径。那么大数据的平台搭建也不例外。 脚本工具化 没有一个统一的解决方案，针对一些基础通用的功能也没有做抽象和提取，导致脚本维护的成本增加，后期服用的成本也会增高，有重复造轮子的嫌疑 ...

目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 记得第一次参与大数据平台从无到有的搭建，最 ...