如何将PySpark导入Python

发布网友发布时间：2022-06-02 23:28

共1个回答

热心网友时间：2023-10-08 23:40

如何将PySpark导入Python

问题1、ImportError: No mole named pyspark

现象：

已经安装配置好了PySpark，可以打开PySpark交互式界面；

在Python里找不到pysaprk。

解决方法：

a.使用findspark

使用pip安装findspark：pip install findspark；

在py文件中引入findspark：>>> import findspark；

>>> findspark.init()；

导入你要使用的pyspark库：>>> from pyspark import *。

优点：简单快捷

缺点：治标不治本，每次写一个新的Application都要加载一遍findspark

b.把预编译包中的Python库文件添加到Python的环境变量中

export SPARK_HOME=你的PySpark目录

export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

优点：一劳永逸

缺点：对于小白可能不太了解环境变量是什么

问题2、ImportError: No mole named ‘py4j’

现象：

已经安装配置好了PySpark，可以打开PySpark交互式界面；

按照上面的b方式配置后出现该问题。

解决方法：

把py4j添加到Python的环境变量中

注意：这里的py4j-x.xx-src.zip根据自己电脑上的py4j版本决定。

测试成功的环境