大数据环境搭建
系统 centos7 远程连接工具MobaXterm 一、虚拟机 虚拟机配置 下载安装VMware Station，下载centos7 新建虚拟机 下一步 稍后安 ...
原文：k8s与docker与大数据环境的构建工作
大数据环境与docker 在使用CDH构建在k s上的时候遇到了异常困难的问题，其检查机制会将解析主机的IP作为目标容器的IP，导致两者无法正常安装部署，只能放弃已经做好的容器镜像，之后在不断的寻找中终于到了可以达到预期目标的方法。 首先是找到了Spark的两个容器镜像： 其中big data europe docker spark已经可以直接部署在k s上面，但我们想要构建大数据的环境仅仅有sp ...
2019-10-22 14:31 0 763 推荐指数：
相关推荐
大数据环境下的数据仓库建设
先从大数据数据仓库建设的整体架构说起。 下图是数据仓库的逻辑分层架构： 想看懂数据仓库的逻辑分层架构，必须先弄懂以下4大概念。 数据源：数据来源，互联网公司的数据来源随着公司的规模扩张而呈递增趋势，同时自不同的业务源，比如埋点采集，客户上报，API等。 ODS层：数据仓库源头系统 ...
1.基于HDP大数据环境的搭建
版本规划 安装VirtualBox 然后直接一路下一步 选择一下安装路径 ...
windows下用Eclipse连接大数据环境得hbase
1、解压hbase安装包 2、将大数据环境得hadoop安装包拷贝到windows(这里以d:/hadoop为例) 3、打开C:\Windows\System32\drivers\etc目录下的hosts并添加如下代码 127.0.0.1 localhost192.168.48.134 ...
大数据环境下mongoDB要加索引
mongodb在存储大数据时，对查询的字段需要添加索引，我测试的是阿里云30多万的数据量，不加索引查询已经到8秒，而添加索引之后是毫秒级！ 为集合加索引 mongodb支持内嵌属性添加索引 添加唯一索引 createIndex建立索引时的参数 ...
大数据环境安装部署步骤
系统环境搭建： #2.复制出来的虚拟机配置ip方法#1.删除mac地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0#HWADDR="00:0C:29:64:6A:F9"#2.删除网卡和mac地址绑定的文件 rm -rf /etc ...
使用Ambari快速部署Hadoop大数据环境
作者:杨鑫奇 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习 ...
大数据开发-Docker-使用Docker10分钟快速搭建大数据环境,Hadoop、Hive、Spark、Hue、Kafka、ElasticSearch.....
立个坑，教程后续补上，当然这不是最重要的，如果你仅仅想有个环境可以测试，只需要下面 三步 1.git clone https://github.com/hulichao/docker-bigdata ` 2.安装docker和docker-compose, 然后cd ...