spark为什么比mapreduce快

发布网友发布时间：2022-04-24 06:47

共1个回答

热心网友时间：2022-05-01 22:14

a.由于MapRece的shuffle过程需写磁盘，比较影响性能；而Spark利用RDD技术，计算在内存中进行.b.MapRece计算框架(API)比较局限,而Spark则是具备灵活性的并行计算框架.c.再说说SparkAPI方面-Scala:ScalableLanguage,据说是进行并行计算的最好的语言.与Java相比，极大的减少代码量.

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com