最近一段时间,在做数据ETL相关的事,结合实践以及自己的思考,记录下来,以做参考。 概述 一般来说,数据团队自己是很少生产数据的,一般都是对业务线的数据进行分析加工,从而让数据产生价值。一方面,业务线的数据会存到关系数据(如mysql),磁盘(日志)等存储介质;另一方面,基于大数据 ...
年前的时候系统梳理了一下hbase rpc的实现,并且对组里的小伙伴做了一次分享。趁着热乎劲还没完全消失殆尽,准备赶紧记录下来。 hbase中rpc概况 作为一个分布式系统,hbase的设计是典型的master salve架构。hbase中主要有master,regionserver,client这三个角色。这三个角色之间rpc的调用关系可以用下图来描述。 client client有很多,比方说 ...
2017-02-27 21:33 0 3799 推荐指数:
最近一段时间,在做数据ETL相关的事,结合实践以及自己的思考,记录下来,以做参考。 概述 一般来说,数据团队自己是很少生产数据的,一般都是对业务线的数据进行分析加工,从而让数据产生价值。一方面,业务线的数据会存到关系数据(如mysql),磁盘(日志)等存储介质;另一方面,基于大数据 ...
关键词:牛牛 起名字 三个阶段 作者:李二 日期:3/5/2021 - 5/5/2021 家中新添吞金兽,喜上眉梢!只是起名字这个事情让我费了不少力气。我把这件事记录下来,等牛哥稍大的 ...
所有的文本框,不管单行多行都Ctrl-A全选就好了吧?是啊,很方便。Windows的软件基本都是这样。可为什么我们自己制作的WinForm就默认不是这样呢?谁知道呢,可能是WinForm饱受诟病,要改变一下,不想再封装太多默认功能吧。反正程序员自己加这点功能也不难。 好了 ...
我工作的头几年是在通信设备商做通信设备上的语音软件开发,主要是follow ITU-T/3GPP/RFC等SPEC写代码,相对封闭,没怎么接触开源代码。后来到芯片公司做终端上的voice engine ...
Hbase的RPC主要由HBaseRPC、RpcEngine、HBaseClient、HBaseServer、VersionedProtocol 5个概念组成。 1、HBaseRPC是hbase RPC的实现类,核心方法: 1)、RpcEngine getProtocolEngine ...
RPC是hbase中Master,RegionServer和Client三者之间通信交流的纽带。了解hbase的rpc机制能够为通过源码学习hbase奠定良好的基础。因为了解了hbase的rpc机制能够很快通过debug深入理解hbase各种机制(比方说flush,compaction ...
申明:因学识有限,某些见解和观点或有不妥,如有冒犯还请见谅。如需与作者联系,见文章底部个人签名处,乐于交流。Q群:210285832,欢迎共同志趣者交流。 【前言】 ...
前段时间利用业余时间写了一个简单的 RPC 框架,花费了不少精力。开源出来之后,少部分不太友好的技术人站在上帝视角说了风凉话。就很难受,兄弟,谁还没有一个玻璃心。 简单吐槽一波,给大家聊聊关于 guide-rpc-framework 的一些事情。 01 我的自定义 RPC 框架近况 关注 ...