文章插图
![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/1031424635-15.png)
文章插图
object Test {def main(args: Array[String]): Unit = {println("hello")var sparkConf = new SparkConf().setMaster("local").setAppName("WordCount");var sc = new SparkContext(sparkConf);sc.stop();}}
5. 测试bug1Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties22/10/31 16:20:35 INFO SparkContext: Running Spark version 3.0.022/10/31 16:20:35 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable D:\software\hadoop-3.2.1\bin\winutils.exe in the Hadoop binaries.
![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/1031421256-16.png)
文章插图
原因就是缺少:
winutils
下载地址
![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/103142O95-17.png)
文章插图
把它发放
Hadoop
的bin目录下:![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/1031424F4-18.png)
文章插图
6. 测试bug2这个没办法复现 , 拔的网上的记录:
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties22/10/08 21:02:10 INFO SparkContext: Running Spark version 3.0.022/10/08 21:02:10 ERROR SparkContext: Error initializing SparkContext.org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala:380) at org.apache.spark.SparkContext.<init>(SparkContext.scala:120) at test.wyh.wordcount.TestWordCount$.main(TestWordCount.scala:10) at test.wyh.wordcount.TestWordCount.main(TestWordCount.scala)
就是这句:A master URL must be set in your configuration
解决方案:就是没有用到本地的地址
右击项目:
![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/1031421400-19.png)
文章插图
没有环境就添加上:
![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/103142L06-20.png)
文章插图
添加上:
-Dspark.master=local
![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/1031426095-21.png)
文章插图
7. 测试完成没有error , 完美?。?
![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/1031422314-22.png)
文章插图
五、总结这样就完成了,历尽千辛万苦 , 终于成功 。第一次结束差点劝退,发现自己对这个东西还是不懂,后面再慢慢补
Scala
。先上手感受,然后再深度学习?。?如果对你有用,还请点赞关注下,支持一下一直是小编写作的动力?。?
可以看下一小编的微信公众号,和网站文章首发看,欢迎关注,一起交流哈?。∥⑿潘阉鳎盒⊥醪┛突?
![Spark简单介绍,Windows下安装Scala+Hadoop+Spark运行环境,集成到IDEA中](http://img.zhejianglong.com/231019/1031424132-23.jpg)
文章插图
点击访问!小编自己的网站,里面也是有很多好的文章哦!
推荐阅读
- OPPOReno6Z搭载什么处理器_OPPOReno6Z处理器介绍
- OPPOA93有哪些优缺点_OPPOA93优缺点介绍
- 怎么画羊简笔画四年级(画一个最简单的羊)
- Rock18框架之整体框架介绍
- 简笔画如何画漫画羊(简笔画羊的画法大全简单)
- 简单的绵羊怎么画(如何画简单的绵羊)
- 羊怎么画简单又漂亮(一步一步画小羊)
- 简笔画最简单的羊是怎么画的(羊全身怎么画简单漂亮)
- 怎么画简单好看的羊(100种画羊的方法)
- 桥牌的玩法及规则介绍(三分钟看懂桥牌)