简介 最近在摸索利用sparkstreaming从kafka中准实时的读取数据，并将在读取的过程中，可以做一个简单的分析，最后将分析结果写入hbase中。 出现的问题 将从kafka中读取数据的程序打包到服务器上运行，发现需要用kafka相关的包，因此采用assembly的方法打包即可。 运行 spark submit class com.yiban.datacenter.MyDataColle ...
2016-01-30 11:56 0 3287 推荐指数：
我在启动Flume对hdfs写入时报如下错误: 该错误不但对于Flume,对于Hbase,Spark等需要对hdfs读写的都有可能报错.首先需要检查lib包中是否包含如下文件.commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar ...
在进行Spark与HBase 集成的过程中遇到以下问题： 我事先已经将所需要的jar支持包全部拷贝到了各节点下的spark路径下的jar目录，但是在启动bin/spark-shell时总是报以上错误。在网上也看来很多解决方法，比如将缺失的jar包 ...
其实出现这类错误，大部分是编译的插件有问题。 （最开始我也在网上找了各种解决方案，发现最后都有各种各样的问题，要么是没讲清，要么是遇到的问题不同 最后我翻了很多blog，也翻了一波墙，才发现问题是出在编译好的插件那里 因为版本不同，里面的jar包，配置都发生了一些变动，难免不出问题，所以干脆 ...
前几天在写一个拦截器的时候，使用到了StringUtils这个工具类，但是使用postman模拟请求的时候，dispatcherServlet 一直报异常。断点调试，之前的语句一直没有问题，但是一 ...
更新了hive版本后，在创建hive外部表 级联hbase 的时候报如下异常： 起初以为少包：从新导入，确认无误。htrace-core-3.0.4 包是存在的 后对比了2.0.4的包，发现两个版本包的目录和报错的均不一样。 后替换为apache的包，又报了其他兼容问题 ...
项目中用到了Retrofit在android4.4以下版本发生的问题 因为项目的build.gradle文件沿用于一个项目的，在defaultConfig z中已经声明了 multiDexEnabl ...
在build一个Cube，大概进行到第二步的时候 出现如下异常: java.lang.NoClassDefFoundError: org/apache/hive/hcatalog/mapreduce/HCatInputFormat ...
