spark-submit的时候设置参数和通过sparkconf()设置参数是

发布网友发布时间：11小时前

共1个回答

热心网友时间：9小时前

在使用Spark时，你可能会遇到如何在spark-submit中设置参数和通过sparkconf()设置参数的问题。首先，spark-submit可以加载默认的Spark配置值，并将它们传递给你的应用程序。默认情况下，它会从Spark目录下的conf/spark-defaults.conf文件中读取选项。

通过这种方式加载默认的Spark配置可以避免某些spark-submit参数的需要。例如，如果已经设置了spark.master属性，你就可以安全地在spark-submit中省略--master标志。通常，配置值的优先级是：在SparkConf中显式设置的值最高，其次是spark-submit传递的标志，最后是默认文件中的值。

如果你不确定配置选项的来源，可以通过运行spark-submit并附加--verbose选项来打印出详细的调试信息。