如何在spark-submit中指定

发布网友发布时间：2022-05-17 07:11

共1个回答

热心网友时间：2023-10-12 08:52

一、命令
1.向spark standalone以client方式提交job。
?

1

./spark-submit --master spark://hadoop3:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.3.0-hadoop2.3.0.jar

--deploy-mode client，在提交的节点会有个main进程，来运行Driver program。如果使用--deploy-mode cluster，则Driver program直接运行在worker中。
2.向spark on yarn以client方式提交job.
?

1

./spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.3.0-hadoop2.3.0.jar

二、Spark1.0.0 应用程序部署工具spark-submit
随着Spark的应用越来越广泛，对支持多资源管理器应用程序部署工具的需求也越来越迫切。Spark1.0.0的出现，这个问题得到了逐步改善。从Spark1.0.0开始，Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。