Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中( 二 ) _生活百科

文章插图

object Test {def main(args: Array[String]): Unit = {println("hello")var sparkConf = new SparkConf().setMaster("local").setAppName("WordCount");var sc = new SparkContext(sparkConf);sc.stop();}}

5. 测试bug1

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties22/10/31 16:20:35 INFO SparkContext: Running Spark version 3.0.022/10/31 16:20:35 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable D:\software\hadoop-3.2.1\bin\winutils.exe in the Hadoop binaries.

文章插图
原因就是缺少：winutils
下载地址

文章插图
把它发放Hadoop的bin目录下：

文章插图
6. 测试bug2这个没办法复现，拔的网上的记录：

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties22/10/08 21:02:10 INFO SparkContext: Running Spark version 3.0.022/10/08 21:02:10 ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException: A master URL must be set in your configuration	at org.apache.spark.SparkContext.<init>(SparkContext.scala:380)	at org.apache.spark.SparkContext.<init>(SparkContext.scala:120)	at test.wyh.wordcount.TestWordCount$.main(TestWordCount.scala:10)	at test.wyh.wordcount.TestWordCount.main(TestWordCount.scala)

就是这句：A master URL must be set in your configuration
解决方案：就是没有用到本地的地址
右击项目：

文章插图
没有环境就添加上：

文章插图
添加上：
-Dspark.master=local

文章插图
7. 测试完成没有error ，完美?。?

文章插图
五、总结这样就完成了，历尽千辛万苦，终于成功。第一次结束差点劝退，发现自己对这个东西还是不懂，后面再慢慢补Scala 。先上手感受，然后再深度学习?。?
如果对你有用，还请点赞关注下，支持一下一直是小编写作的动力?。?
可以看下一小编的微信公众号，和网站文章首发看，欢迎关注，一起交流哈?。∥⑿潘阉鳎盒⊥醪┛突?