[大数据学习研究]1.在Mac上利用VirtualBox搭建本地虚拟机环境
1. 大数据和Hadoop 研究学习大数据，自然要从Hadoop开始。 Hadoop不是一个简单的软件，而是有一些列软件形成的生态，其核心思想来自Google当初发布的三篇论文，后来做了开源的实现， 谷歌的实现和Hadoop的实现大致可以做这样的对应： Google Map/Reduce ...
原文：[大数据学习研究]2.利用VirtualBox模拟Linux集群
. 在主机Macbook上设置HOST 前文书已经把虚拟机的静态IP地址设置好，以后可以通过ip地址登录了。不过为了方便，还是设置一下，首先在Mac下修改hosts文件，这样在ssh时就不用输入ip地址了。 sudo vim etc hosts 或者 sudo vim private etc hosts 这两个文件其实是一个，是通过link做的链接。注意要加上sudo, 以管理员运行,否则不能存 ...
2019-09-16 10:00 0 468 推荐指数：
相关推荐
[大数据学习研究] 错误排查，Hadoop集群部分DataNode不能启动
错误现象 不知道什么原因，今天发现我的hadoop集群启动后datanode只有一台了，我的集群本来有三台的，怎么只剩一台了呢？ 用jps命令检查一下，发现果然有两台机器的DataNode没有启动。 可能原因： 1. 我之前遇到过的问题 ...
研究生阶段的大数据专业都学习什么科目？
相较本科阶段要学习的计算机编程语言，比如：java，linux，mysql等，研究生的大数据专业会更加深入一点，更多的是接触学习数据的采集与分析（Python、Scala），大数据的存储（hbase、hive、sqoop），学习处理软件，学习数学建模软件等等这方面的东西。以武汉大学为例：必修课主要 ...
大数据学习之二——hadoop集群机器准备与连接
，在同一时刻是否同样的值。（等同于所有节点访问同一份最新的数据副本） 可用性（A）：在集群中一部分节点故障 ...
大数据平台集群
基本组件： Zookeeper： 分布式协作框架 节点数目： 测试集群：3个 生产集群：(7个差不多) 小型集群：3个或者5个 中型集群：5个或者7个 大型集群：更多，奇数个 HDFS： 存储海量数据 YARN： 集群 ...
大数据中Linux集群搭建与配置
因测试需要，一共安装4台linux系统,在windows上用vm搭建。 对应4个IP为192.168.1.60、61、62、63，这里记录其中一台的搭建过程，其余的可以直接复制虚拟机，并修改相关配置即可。 软件版本选择： 虚拟机：VMware Workstation 12 Pro 版本 ...
[大数据学习研究] 3. hadoop分布式环境搭建
1. Java安装与环境配置 Hadoop是基于Java的，所以首先需要安装配置好java环境。从官网下载JDK，我用的是1.8版本。 在Mac下可以在终端下使用scp命令远程拷贝到虚拟机linux中。 其实我在Mac上装了一个神器-Forklift。 可以通过SFTP ...
大数据学习之四——HDFS
1.Hadoop与HDFS的关系 Hadoop实现了一个分布式文件系统，即Hadoop Distributed File System，简称HDFS。对外部客户机而言，HDFS就像一个传统的分级文件 ...