1、代理和跨域 1.1 正向代理 1）用户希望代理服务器帮助其和要访问服务器之间实现通信，需要： a.用户IP报文的目的IP=代理服务器IP； b.用户报文端口号=代理服务器监听端口号； c ...

Java heap space问题一般解决方案： 设置 set io.sort.mb=10; 排序所使用的内存数量，默认值是100M，和mapred.child.java.opts相对应，opts ...

Error: java: 无法访问org.apache.hadoop.mapred.JobConf 找不到org.apache.hadoop.mapred.JobConf的类文件 出现此异常，是 ...

hadoop为了防止数据丢失，启动了“安全模式”的设置，每次启动hadoop后一段时间内集群处于安全模式，该模式下集群会检查各节点文件块的记录，如果数据块中满足replication设置 ...

　　HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布式文件系统。HDFS架构中有 ...

Hive进行大数据处理的过程中经常遇到一个任务跑几个小时或者内存溢出等问题，平时会任务执行的遇到的问题 进行参数的调整配置，收集整理的配置参考如下： set dfs.nam ...

LDAP介绍 LDAP概述   LDAP是轻量目录访问协议，（LDAP, Lightweight Directory Access Protocol）LDAP是用于访问目录服务（特别是基于X.50 ...

记录常用的kafka常用的topic相关命令 查看topic列表 创建topic --create：创建命令； --topic：后面指定topic名称； --replication-fa ...

第一次格式化dfs后，启动并使用hadoop，之后如果再次重新执行了格式化（hdfs namenode -format) start-all.sh启动时就会遇到datanode无法启动的问题，通常 ...