您的位置:首页 > 运维架构 > Shell

启动spark-shell出现问题,解决办法

2015-12-29 16:32 781 查看
      在启动spark-shell出现以下问题:

15/12/30 10:05:29 ERROR SparkContext: Errorinitializing SparkContext.

java.lang.IllegalArgumentException: WrongFS:file://219.226.86.159:~/home/iespark/hadoop_program_files/sparkdata/sparklog,expected: file:///

       at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:645)

       at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:80)

       atorg.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:529)

       atorg.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:747)

       atorg.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:524)

       atorg.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:409)

       at org.apache.spark.scheduler.EventLoggingListener.start(EventLoggingListener.scala:100)

       at org.apache.spark.SparkContext.<init>(SparkContext.scala:532)

       atorg.apache.spark.repl.SparkILoop.createSparkContext(SparkILoop.scala:1017)

       原因是我在设置spark-defaults.conf时出现了问题,spark.eventLog.dir设置错了。

      如果spark.eventLog.enabled为 true,该属性为记录spark 事件的根目录。在此根目录中,Spark为 每个应用程序 创建分目录,并将 应用程序的 事件记录到在此目录中。用户可以将此属性设置为HDFS目录,以便history
server读取历史记录文件。

      可以将其设置为file:///home/hadoop/sparkdata/log
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: