本地spark报:java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;


  我是在运行rdd.saveAsTextFile(fileName)的时候报的错,找了很多说法……最终是跑到hadoop/bin文件夹下删除了hadoop.dll后成功。之前某些说法甚至和这个解决方法自相矛盾,可能是我没有注意到具体报错信息是不是完全一致的缘故,但是做一下记录。

 

1、删除hadoop.dll(最终解决方法)

  

2、确定一下几件事情(没有解决)

  a) 设置好了环境变量

  b)下载好的hadoop文件的bin目录下存在hadoop.dll和winutils.exe

  c)C:\\windows\Systems下有hadoop.dll,我的没有,将hadoop文件中的复制了过去,重启后无效

 

3、下载的hadoop和项目使用的与hadoop相关的jar版本不一致(没有尝试)

  由于提供的解决方法是根据官网重新编译与jar版本相符的hadoop,太过复杂,并没有做出尝试


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM