随着2017年大数据各种应用的发展，大数据的价值得以充分的发挥，大数据已在企业、社会各个层面都成为重要的手段，数据已成为新的企业战略制高点，也是各个企业争夺的新焦点。那么我们一直在说着的大数据究竟是什 ...

未来10年将是大数据，人工智能爆发的时代，到时将会有大量的企业需要借助大数据，而Java最大的优势就是它在大数据领域的地位，目前很多的大数据架构都是通过Java来完成的。 在这个Android、iO ...

sqoop在导入数据时，可以使用--query搭配sql来指定查询条件，并且还需在sql中添加\$CONDITIONS，来实现并行运行mr的功能。 运行测试 测试均基于sqoop1，mysql数 ...

记录下和kafka相关的LEO和HW的内容，文中很多理解参考文末书籍还有某前辈。 LEO&HW基本概念 Base Offset：是起始位移，该副本中第一条消息的offset，如下图， ...

Zookeeper集群完成Leader选举后，会进行Leader和Follower的数据同步（或叫状态同步），完成同步是保证服务器数据一致，可以提供服务的前提，接下来记录下Zookeeper数据同步相 ...

在配置大数据节点的过程中，node03节点由于安装了图形化界面，以及IDEA等工具，导致/根分区只有几百兆了，因此需要对根分区进行扩容，本文是在参考如下博文（https://www.jianshu.c ...

使用kafka和sparkstreaming整合时，IDEA运行程序报错"com.fasterxml.jackson.databind.JsonMappingException: Incompatib ...

sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到 ...

接下来，记录下Zookeeper在Hadoop HA中相关的作用，部分内容参考文末博文。 HDFS高可用 Zookeeper的一个重要的应用就是实现Hadoop集群的高可用，在Hadoop 1.x ...

记录下和kafka相关的Message、日志文件、索引文件、consumer记录消费的offset相关内容，文中很多理解参考文末博文、书籍还有前辈。 kafka中的消息 kafka中的消息Mess ...