【原创】大数据基础之ElasticSearch（4）es数据导入过程
1 准备analyzer 内置analyzer 参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysi ...
原文：【原创】大数据基础之Kafka（2）reassign过程
reassign过程 选择每个partition的各个replica分布到哪个broker 每个partition的第一个replica随机选择一个broker 除第一个replica之外其他的replicas会加一个随机shift之后顺序选择n 个broker 选择这个broker中多个log dir中的哪个来存放 如果这个broker之前存在该partition的replica，则直接使用之前 ...
2021-07-17 22:55 0 160 推荐指数：
相关推荐
【原创】大数据基础之Gobblin（2）持久化kafka到hdfs
gobblin 0.10 想要持久化kafka到hdfs有很多种方式，比如flume、logstash、gobblin，其中flume和logstash是流式的，gobblin是批处理式的，gobblin通过定时任务触发来完成数据持久化，在任务和任务之间是没有任何读写的，这点是和flume ...
【原创】大数据基础之Benchmark（1）HiBench
HiBench 7官方：https://github.com/intel-hadoop/HiBench 一 简介 HiBench is a big data benchmark suite tha ...
【原创】大数据基础之调度框架
常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azk ...
【原创】大数据基础之Hive（2）Hive SQL执行过程之SQL解析过程
Hive SQL解析过程 SQL->AST(Abstract Syntax Tree)->Task（MapRedTask，FetchTask）->QueryPlan（Task集合）->Job（Yarn） SQL解析会在两个地方进行： 一个是SQL执行 ...
【原创】大数据基础之Flume（2）应用之kafka-kudu
应用一：kafka数据同步到kudu 1 准备kafka topic 2 准备kudu表 impala-shell 3 准备flume kudu支持 3.1 下载jar 3.2 开发 代码库：https://github.com ...
【原创】大数据基础之Logstash（5）监控
有两种方式来监控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime me ...
【原创】大数据基础之Spark（7）spark读取文件split过程（即RDD分区数量）
spark 2.1.1 spark初始化rdd的时候，需要读取文件，通常是hdfs文件，在读文件的时候可以指定最小partition数量，这里只是建议的数量，实际可能比这个要大（比如文件特别多或者特 ...