最近执行pyspark时，直接读取hive里面的数据，经常遇到几个问题： .java.io.IOException: Not a file 然而事实上文件是存在的，是 hdfs 的默认路径出了错，需要配置 files 和 conf。 .pyspark.sql.utils.AnalysisException: Table or view not found 事实上在hive里面是存在这个表的，但是却 ...
2019-12-17 22:42 1 3601 推荐指数：
跑单测用例的时候，以前执行成功的用例，运行时控制台仍然会报 dubbo 相关的错误： Failed to save registry store file, cause: Can not lock the registry cache file 2016-03-22 17:16:05,493 ...
private void closeSocket() { try { socket.close(); } catch (IOException e) { } } IOException ...
这个是一个很莫名的问题，通常让人很难发现。java.io.IOException： stream closed 意思是说流关闭. 天啊，我没有关闭它啊。小弟就遇到过这个问题： 一下运行就会出现这个错误：java.io.IOException : stream ...
参考 https://blog.csdn.net/weixin_44634893/article/details/89629399 ...
可以检查Spark的conf目录下是否又hive-site.xml，如果没有，从Hive安装目录conf下拷贝一份过来 ...
最近使用Pyspark的时候，遇到一些新的问题，希望记录下来，解决的我会补充。 1. WARN DomainSocketFactory: The short-circuit local reads feature cannot be used 2. pyspark TypeError ...
pyspark可以直接将DataFrame格式数据转成table，也可在程序中执行sql代码。 1. 首先导入库和环境，os.environ在系统中有多个python版本时需要设置 2. 获取DataFrame格式数据 获取DataFrame格式的方式有很多种：读取sql ...
最近项目虽然已经在正常运行，但是偶尔会有一些不知名的错误冒出来，比如时不时报一个数据库主键重复或者某些时候会有null的异常报出来。看看代码写完能跑起来还只是开始而已，需要不断精进重构，才能让代码运行 ...
