更新计划 这段时间,会陆续把去年一年在公司做的相关培训,整理成博客分享给大家,在团队内部已经把大部分的.net项目容器化并部署到k8s,中间也踩了很多坑,也会把相关问题整理处理,大家一起学习交流,哈。 .Net Core初识以及启动配置 .Net Core依赖注入、服务注册 ...
一 Hadoop简介: Hadoop是由Apache基金会所开发的分布式系统基础架构,实现了一个分布式文件系统 Hadoop Distributed File System ,简称HDFS Hadoop框架最核心设计就是HDFS和MapReduce,HDFS为海量数据提供了存储,MapReduce为海量数据提供了计算。 Hadoop要解决的问题:海量数据的存储 HDFS 海量数据的分析 MapRe ...
2016-10-06 10:52 1 20252 推荐指数:
更新计划 这段时间,会陆续把去年一年在公司做的相关培训,整理成博客分享给大家,在团队内部已经把大部分的.net项目容器化并部署到k8s,中间也踩了很多坑,也会把相关问题整理处理,大家一起学习交流,哈。 .Net Core初识以及启动配置 .Net Core依赖注入、服务注册 ...
1)Hadoop的启动(先启动zookeeper) 3台都得启动 zookeeper /export/servers/zookeeper-3.4.9/bin/zkServer.sh start /export ...
ClassLoader ssh权限问题 tmp目录属于root权限,但对普通用户都具有777权限 配置SSH scp rsync 完全分布式 最终通过webui hdfs 符号连接 if命令 ...
1、使用hadoop命令查看hdfs下文件 [root@localhost hadoop-2.7.3]# hadoop fs -ls hdfs://192.168.36.134:9000/ 开始在secureCRT上执行这条命令失败,使用netstat -nltp命令查看监听的9000端口 ...
安装etcd服务 下载安装包 解压后将可执行文件复制到/urs/bin目录 配置开机启动etcd.service 启动并加入开机 ...
2)RabbitMQ 三、HttpRunnerManager配置启动 1.数 ...
前言 从今天起,我将一步一步的分享大数据相关的知识,其实很多程序员感觉大数据很难学,其实并不是你想象的这样,只要自己想学,还有什么难得呢? 学习Hadoop有一个8020原则,80%都是在不断的配置配置搭建集群,只有20%写程序! 一、引言(大数据时代) 1.1、从数据中得到信息 ...
Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统 ...