在spark中可以设置一个在多个application共享的rdd么

发布网友发布时间：2022-10-20 18:56

共2个回答

热心网友时间：2024-12-13 05:06

在你提交一个spark程序的时候会对应的开启一个spark实例（一般来说一个应用里面只能开启一个实例，开启多实例貌似需要调整spark系统参数，没试过），如果你这几个任务在提交一个spark任务，你可以用将rdd缓存起来，反复调用。如果是提交的不同的任务的话，是没法对其他任务的rdd进行调用的。

热心网友时间：2024-12-13 05:06

在你提交一个spark程序的时候会对应的开启一个spark实例（一般来说一个应用里面只能开启一个实例，开启多实例貌似需要调整spark系统参数，没试过），如果你这几个任务在提交一个spark任务，你可以用将rdd缓存起来，反复调用。如果是提交的不同的任务的话，是没法对其他任务的rdd进行调用的。。。