主要的maven文件 *之前被ES的jar包坑过。因为引入的jar包有问题，一直引入不成功，按照上面的配置成功了。上面的5.6.3是我安装ES的版本 运行结果 下面是另一个实现读的，但有报错，没有上面的好 ...

本文主要介绍spark sql读写es、structured streaming写入es以及一些参数的配置 ES官方提供了对spark的支持，可以直接通过spark读写es，具体可以参考ES Spark Support文档(文末有地址)。 以下是pom依赖，具体版本可以根据自己的es ...

一、HDFS写流程 流程： 1.客户端向NameNode通信请求上传文件,附带path 2.namenode进行检查 检查的内容：1.hdfs的文件目录2.权限检查3.集群状态4.租约检查 3.NameNode返回是否可以上传 4.得到肯定回复后，客户端切块，再次请求存放 ...

一、简介 　　HDFS（Hadoop Distributed File System）是GFS的开源实现。 1.优点： 　　能够运行在廉价机器上，硬件出错常态，需要具备高容错性　　流式数据访问，而不是随机读写　　面向大规模数据集，能够进行批处理、能够横向扩展　　简单一致性模型，假定文件是一次 ...

HDFS的读取过程 HDFS的读取流程大致有以下几个步骤： （1）客户端通过调用FileSystem对象的open()来打开希望读取的文件。对于HDFS平台来说，这个对象是DistributedFileSystem类的是一个实例，所以实际调用的是DistributedFileSystem ...

PG。处理来自客户端的读写请求是PG的基本功能。 Pool是整个集群层面定义的一个逻辑的存储池，它规 ...

1、HDFS写流程 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本 ...

前言 最近被大佬问到一个问题，hbase查询数据在最坏的场景下需要进行几次rpc，当时就懵了..下面主要对client端代码进行分析。阅读文章和看源码更配~ 读数据 流程总览 1. 从zookeeper中获取meta信息，并通过meta信息找到需要查找的table的startkey ...