假如每个url大小为10bytes，那么可以估计每个文件的大小为50G×64=320G，远远大于内存限制的4G，所以不可能将其完全加载到内存中处理，可以采用分治的思想来解决。 　　Step1：遍历文 ...

ETL工具之Kettle将一个数据库中的数据提取到另外一个数据库中： 1.打开ETL文件夹，双击Spoon.bat启动Kettle 2.资源库选择，诺无则选 ...

每次面试，互联网的面试官，经常问我有没有用过ETL,每次我都懵逼，说没用过，觉得是多么高大上的东东，数据仓储 今天查了一下，我晕，自己天天用的Kettle就是最典型的ETL， 可以实现不同数据库之 ...

Zookeeper到底是什么！？ 学一个东西，不搞明白他是什么东西，哪还有心情学啊！！ 首先，Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色 ...

我用的hadoop 是2.6.0 版本 ，hive 是 2.1.1版本进入；/home/zkpk/apache-hive-2.1.1-bin/执行hive 后报错： （1）Exception in ...

最近希望能够配置一下负载均衡，在虚拟机上面，但是网上找了很多资料很零散，对于不了解的人，很多不够详细，最近终于做好了，把具体的步骤写下来，方便各位网友查阅学习 这个实验需要安装nginx如果没 ...