Spark on YARN怎么配置的
发布网友
发布时间：2022-04-27 03:56
共2个回答
热心网友
时间：2022-04-14 06:27
Spark On Yarn配置很简单，不需要单独部署Spark集群，只需要开发Spark应用程序，打成jar包，然后使用spark-submit命令提交到Yarn上运行即可。示例：
./spark-submit --class com.lxw1234.test.WordCount --master yarn-cluster --executor-memory 4G --num-executors 10 /home/lxw1234/spark-wordcount.jar /logs/2015-07-14/ /tmp/lxw1234/output/你可以搜索一下"lxw的大数据田地"，里面有很多Spark On Yarn的技术文章。
