星环TDH大数据平台，数据误删除之后，恢复办法
机制：TDH里面数据删除之后，会在hdfs下面生成delta的文件，该文件在下次该表修改时候进行删除compact合并 也就是说我们要在compact之前，删除delta即可恢复到最新的一次版本 --比如新建一个分糖数为3的orc事务表，新建成功之后，存在一个 ...
原文：TDH-大数据基础
大数据概念和基础 .大数据的四个特点：数据规模大，生成 处理速度快，数据类型多样，价值巨大密度低 .大数据历史：三篇论文 GFS,mapReduce,bigTable ,CDH,HBASE,SPARK,TDH等 HDFS .HDFS为什么不适合存储大量小文件 答： .大量文件的元数据占用NameNode大量内存空间 .磁盘寻道时间超过读取时间 .HDFS 何时离开安全模式 答：ActiveNam ...
2018-09-06 17:49 0 4235 推荐指数：
相关推荐
大数据基础原理
上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流 ...
大数据基础整合
第一章 信息科技需要处理的三大核心问题 信息存储、信息传输、信息处理 数据产生方式的变革 运营式系统阶段 数据库的出现使数据管理的复杂度大大降低，数据往往伴随着一定的运营活动而产生并记录在数据库中，数据的产生方式是被动 ...
大数据java基础吗？
大数据必备 关于大数据基础知识，以前浪尖写过一篇文章，也多次在 知识星球里分享过经验。 具体学习内容，可以参看如下文章： 入门大数据必读 这个可以看到做大数据的话java是必需品，因为基本所有的大数据框架都是jvm开发，或者精确一点都是java或者scala。 况且想做一个牛x的大数据 ...
大数据基础---PySpark
一.前言 前面我们学习的是使用Scala和Java开发Spark。最近补充了下Python基础，那么就用Python开发下Spark。Python开发Spark简称PySpark。 二.环境准备 1.安装Python环境 安装方式有两种 使用原生方式安装 直接去官网下载，window ...
大数据基础---大数据调优汇总
前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点，一是充分利用CPU，二是节省内存，三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算，如果对于小数据量，可以设置为单台机器进行计算，这样可以大大缩减 ...
大数据基础---Flink学习总括
第一节 初识 Flink 在数据激增的时代，催生出了一批计算框架。最早期比较流行的有MapReduce，然后有Spark，直到现在越来越多的公司采用Flink处理。Flink相对前两个框架真正做到了高吞吐，低延迟，高性能。 1. Flink 是什么？ 1) Flink 的发展历史 ...
大数据基础架构总结
简介：本文是对大数据领域的基础论文的阅读总结，相关论文包括GFS，MapReduce、BigTable、Chubby、SMAQ。 大数据出现的原因： 大多数的技术突破来源于实际的产品需要，大数据最初诞生于谷歌的搜索引擎中。随着web2.0时代的发展，互联网 ...