【hadoop】hadoop3.2.0應用環境搭建與使用指南

下面列出我搭建hadoop應用環境的文章整理在一起，不定期更新，供大家參考，互相學習！！！

雜談篇：

【英語學習】 Re-pick up English for learning big data (not updated regularly)

【轉】大數據工程師需要學習哪些?

【轉】大數據東西辣么多，我該如何給自己一個清晰的定位呢？

【轉】大數據求職者說

【雜談】大數據主流技術簡介

第一篇  大數據主流技術之HADOOP部分

1.1 hadoop3.2.0的安裝並測試

1.2 編譯Hadoop連接eclipse的插件遇見的一系列錯誤，崩潰的操作 

1.3 在eclipse上運行WordCount的操作過程

1.4 看懂WordCount例子

1.5 MapReduce分布式計算框架原理

1.6 簡易剖析Hadoop作業工作機制

第二篇  大數據主流技術之HIVE與HBASE部分

2.1 centos7下mysql的安裝以及基本操作

2.2 centos7下apache-hive-3.1.2-bin的安裝測試

2.3 apache-zookeeper-3.5.5的安裝測試

2.4 hbase-2.2.1配置獨立的zookeeper的安裝與測試

2.5 hbase理論學習

第三篇  大數據主流技術之SQOOP與ZOOKEEPER部分

3.1 安裝配置測試sqoop1

3.2 安裝部署kafka集群（kafka版本：kafka_2.12-2.3.0）

第四篇  內存計算主流技術之SPARK與SCALA部分

4.1 scala安裝測試

4.2 spark-2.4.4的安裝與測試

4.3 scala&sbt+idea安裝配置與測試

4.4 scala&sbt+idea+spark使用過程中問題匯總（不定期更新）

4.5 spark應用（分布式估算圓周率+基於Spark MLlib的貸款風險預測）

腳本：

0.1 linux中編寫腳本批量啟動zookeeper

0.2 一鍵啟動kafka腳本

命令 ：

Hadoop:
啟動：sbin/start-all.sh 或 start-dfs.sh + start-yarn.sh
停止：stop-all.sh
啟功歷史服務器：sbin/mr-jobhistory-daemon.sh start jobhistoryserver
注：因Hadoop和Spark啟動命令一樣，故在設置環境變量時只設置其中一個
MySQL：
啟動：service mysqld start
停止：service mysqld stop
狀態：service mysqld status
Spark：
啟動：sbin/start-all.sh
停止：stop-all.sh
idea：
啟動：bin/idea.s

 文件分享：

鏈接：https://pan.baidu.com/s/1e6zz4p-rCbzzE5DxMA4eFw
提取碼：amdl