最近一段時間,在做數據ETL相關的事,結合實踐以及自己的思考,記錄下來,以做參考。 概述 一般來說,數據團隊自己是很少生產數據的,一般都是對業務線的數據進行分析加工,從而讓數據產生價值。一方面,業務線的數據會存到關系數據(如mysql),磁盤(日志)等存儲介質;另一方面,基於大數據 ...
年前的時候系統梳理了一下hbase rpc的實現,並且對組里的小伙伴做了一次分享。趁着熱乎勁還沒完全消失殆盡,准備趕緊記錄下來。 hbase中rpc概況 作為一個分布式系統,hbase的設計是典型的master salve架構。hbase中主要有master,regionserver,client這三個角色。這三個角色之間rpc的調用關系可以用下圖來描述。 client client有很多,比方說 ...
2017-02-27 21:33 0 3799 推薦指數:
最近一段時間,在做數據ETL相關的事,結合實踐以及自己的思考,記錄下來,以做參考。 概述 一般來說,數據團隊自己是很少生產數據的,一般都是對業務線的數據進行分析加工,從而讓數據產生價值。一方面,業務線的數據會存到關系數據(如mysql),磁盤(日志)等存儲介質;另一方面,基於大數據 ...
關鍵詞:牛牛 起名字 三個階段 作者:李二 日期:3/5/2021 - 5/5/2021 家中新添吞金獸,喜上眉梢!只是起名字這個事情讓我費了不少力氣。我把這件事記錄下來,等牛哥稍大的 ...
所有的文本框,不管單行多行都Ctrl-A全選就好了吧?是啊,很方便。Windows的軟件基本都是這樣。可為什么我們自己制作的WinForm就默認不是這樣呢?誰知道呢,可能是WinForm飽受詬病,要改變一下,不想再封裝太多默認功能吧。反正程序員自己加這點功能也不難。 好了 ...
我工作的頭幾年是在通信設備商做通信設備上的語音軟件開發,主要是follow ITU-T/3GPP/RFC等SPEC寫代碼,相對封閉,沒怎么接觸開源代碼。后來到芯片公司做終端上的voice engine ...
Hbase的RPC主要由HBaseRPC、RpcEngine、HBaseClient、HBaseServer、VersionedProtocol 5個概念組成。 1、HBaseRPC是hbase RPC的實現類,核心方法: 1)、RpcEngine getProtocolEngine ...
RPC是hbase中Master,RegionServer和Client三者之間通信交流的紐帶。了解hbase的rpc機制能夠為通過源碼學習hbase奠定良好的基礎。因為了解了hbase的rpc機制能夠很快通過debug深入理解hbase各種機制(比方說flush,compaction ...
申明:因學識有限,某些見解和觀點或有不妥,如有冒犯還請見諒。如需與作者聯系,見文章底部個人簽名處,樂於交流。Q群:210285832,歡迎共同志趣者交流。 【前言】 ...
前段時間利用業余時間寫了一個簡單的 RPC 框架,花費了不少精力。開源出來之后,少部分不太友好的技術人站在上帝視角說了風涼話。就很難受,兄弟,誰還沒有一個玻璃心。 簡單吐槽一波,給大家聊聊關於 guide-rpc-framework 的一些事情。 01 我的自定義 RPC 框架近況 關注 ...