原文:大数据学习之路之Hadoop

Hadoop介绍 一 简介 Hadoop是一个开源的分布式计算平台,用于存储大数据,并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理。两个核心: HDFS:Hadoop分布式文件系统 Hadoop Distributed File System ,具有高容错性和伸缩性,使用java开发 MapReduce:Google MapReduce的开 ...

2019-09-19 19:36 0 474 推荐指数:

查看详情

大数据学习之路-phoenix

1.phoenix安装 ------------------ 1.安装phoenix a)下载apache-phoenix-4.10.0-HBase-1.2-bin.tar.gz 下载网 ...

Fri Nov 16 21:03:00 CST 2018 0 1750
大数据技术 - 学习之路(一)

缘起 大学的时候,记得班里好多同学学习Android、iOS开发,那时候客户端开发非常火,并且工作后工资也很高。但是我并没有心动,我觉得这么多人去学并不一定是件好事,很可能跟网站开发一样,一段时间市场饱和后就不会有那么大的需求量,现在看来这个判断是正确的。我想学习一门技术现在处于起步期,但是未来 ...

Mon Feb 25 21:49:00 CST 2019 8 1195
大数据学习Hadoop环境搭建

一、Hadoop的优势 1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理。 2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。 3) 高效性:在MapReduce的思想下,Hadoop是并行工作 ...

Fri Aug 24 00:06:00 CST 2018 2 967
大数据学习之路------借助HDP SANDBOX开始学习

一开始...   一开始知道大数据这个概念的时候,只是感觉很高大上,引起了我的兴趣。当时也不知道,这个东西是做什么的,有什么用,当然现在看来也是很模糊的样子,但是的确比一开始强了不少。   所以学习的过程可能会很艰辛甚至有时候会很缓慢,但是感觉这东西未来会很有用途,最初了解大数据是从《大数据 ...

Mon Oct 17 18:42:00 CST 2016 0 7545
大数据学习之路(持续更新中...)

在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机的学习历程。因为大数据涉及的技术很广需要了解的东西也很多,会让很多新手望而却步。所以,我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑,希望得到老司机的指点和新手的借鉴。 目前正在结合机器学习理论学习 ...

Mon Dec 19 04:22:00 CST 2016 31 74702
大数据学习系列之一 ----- Hadoop环境搭建(单机)

一、环境选择 1,服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G ip:39.108.77.250 2,配置选择 JDK:1.8 (jdk-8u144-linux-x64.tar.gz) Hadoop ...

Sun Dec 10 23:47:00 CST 2017 2 16549
大数据学习之二——hadoop集群机器准备与连接

1.CAP原理,BASE原理 CAP原理是指在一个分布式系统中,Consistency(一致性)、Avzilability(可用性)、Partition tolerance(分区容错性),最多只能同时实现两点,三者不可兼得,所以必须做出取舍。 一致性(C):在分布式系统中的所有数据备份 ...

Wed Jan 24 05:39:00 CST 2018 0 1134
大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了。在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机 ...

Wed Dec 20 03:15:00 CST 2017 2 4910
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM