原文链接：https://mp.weixin.qq.com/s/zxPz_aFEMrshApZQ727h4g** 引言 MQ（消息队列）是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结 ...

01 幂等性如此重要 Kafka作为分布式MQ，大量用于分布式系统中，如消息推送系统、业务平台系统（如结算平台），就拿结算来说，业务方作为上游把数据打到结算平台，如果一份数据被计算、处理了多次，产生 ...

此面试题来自牛客网友分享的字节跳动应届一面，面试时长一小时。 网友情况：985 本硕。 以下为面试过程中提问，岗位为大数据开发： ...

此套面试题来自于各大厂的真实面试题及常问的知识点，如果能理解吃透这些问题，你的大数据能力将会大大提升，进入大厂指日可待 复习大数据面试题，看这一套就够了！ 本文目录： 一 ...

最近有读者私聊我时发现有不少应届生和初学者，他们在大数据怎么学，以及大数据怎么面试，简历怎么写等方面有很大的困扰，今天我们就来谈谈关于大数据的一些事。 写在前面：每个人的学习方法可能不 ...

一、小文件概述　　 　　小文件通常指文件大小要比HDFS块大小还要小很多的文件（在hadoop1.x版本的时候可以通过dfs.blocksize来设置，默认块大小为64M；在hadoop2.x版本的 ...

本文最新版已发布至公众号【五分钟学大数据】 获取此套面试题最新pdf版，请搜索公众号【五分钟学大数据】，对话框发送 面试宝典 扫码获取最新PDF版： ...

一、Linux&Shell 1.1 Linux常用高级命令 　　1）top：查看内存 　　2）df -h：查看磁盘存储情况 　　3）iotop：查看磁盘IO读写情况（sudo yum ...

1. hive内部表和外部表的区别 未被external修饰的是内部表，被external修饰的为外部表。 区别： 内部表数据由Hive自身管理，外部表数据由HDFS管理； ...

第 1 题 连续问题 　　如下数据为蚂蚁森林中用户领取的减少碳排放量 　　找出连续 3 天及以上减少碳排放量在 100 以上的用户 第 2 题 分组问题 　　如下为电商公司用户访 ...