进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能 ...

第28讲：Hadoop 平台常见故障汇总以及操作系统性能调优 高俊峰（南非蚂蚁） Hadoop 日常运维问题及其解决方法 1.如何下线一个 datanode 节点? 当一个 datanode 节点所在的服务器故障或者将要退役时，你需要 ...

一,操作命令 　　01,启动gpstart 　　　　参数说明 View Code 　　　 　　　　操作实例 　　　　执行过程 ...

一、总体设计 初来公司时，公司还没有大数据，我是作为大数据架构师招入的，结合公司的线上和线下业务，制定了如下的大数据架构路线图。 二、大数据任务开发和调度平台架构设计 在设计完总体架构后，并且搭建完hadoop/yarn的大数据底层计算平台后， 按照总体架构设计思路， 首先需要构建 ...

前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点，一是充分利用CPU，二是节省内存，三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算，如果对于小数据量，可以设置为单台机器进行计算，这样可以大大缩减 ...

大数据开发独揽大权 大数据技术很早就在BAT这些公司生根发芽，但直到14、15年大数据技术才广泛应用在各大互联网公司，大数据技术由此深入各行各业。 此时大数据开发人才非常紧缺，很多公司大数据从立项，到大数据平台构建，到项目整个流程开发，到后期大数据项目的运维，都是由大数据开发人员一手完成 ...

Hbase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式 ...

发展形势 当前全球信息化发展面临的环境、条件和内涵正发生深刻变化。从国际看，世界经济在深度调整中曲折复苏、增长乏力，全球贸易持续低迷，劳动人口数量增长放缓，资源环境约束日益趋紧，局 ...