注：本文是在Hadoop单机环境部署完毕，mysql安装完毕的情况下进行。点击下面链接可查看。（感觉之前做的笔记有点杂乱。。。。。。。。） Hadoop单机环境部署 mysql安装(版本5.7) 目录： 1.准备工作 2.hive简介 3.hive安装 4.hive入门 5.使用 ...

Docker部署Hadoop+Hive 由于hadoop与hive等存在版本兼容问题，安装前可以先通过官网确认版本兼容情况： http://hive.apache.org/downloads.html 本次使用的各版本配置 ...

为配合生产hadoop使用，在本地搭建测试环境，使用docker环境实现（主要是省事~），拉取阿里云已有hadoop镜像基础上，安装hive组件，参考下面两个专栏文章： 克里斯：基于 Docker 构建 Hadoop 平台 docker上从零开始搭建hadoop和hive环境 ...

1.Hive不存储数据，Hive需要分析计算的数据，以及计算结果后的数据实际存储在分布式系统上，如HDFS上。 2.Hive某种程度来说也不进行数据计算，只是个解释器，只是将用户需要对数据处理的逻辑，通过SQL编程提交后解释成MapReduce程序，然后将这个MR程序提交给Yarn进行调度执行 ...

状态码 解决：runtime 文件夹改777 3、连接问题 在容器中执行时，MySQL连接的 H ...

----工作流程----这才是最应该解决的问题 项目开始阶段 定义需要使用的族库(但是目前没有，相当混乱)，建筑建模开始，建立标高轴网等基本信息，不应该另存为标高轴网文件，而是利用“复制监视”命令复制标高轴网信息，开始建模。视图样式是否应该预先定义。 冲突检测阶段 标准冲突报告文件(目前 ...

ubanto-hadoop环境搭建 安装 vm 下载：去官网下 VMware-player-5.0.1-894247.zip 安装和配置ubanto 下载：去官网下 ubuntu-12.10-desktop-i386.iso 打开vm，载入ubanto iso文件，进行安装更新 进入 ...

------------------3.10---------------------- 关于爬取时，网页编码不是utf-8，而导致 lxml 输出中文时乱码的解决办法 用requests.ge ...