如何在mapreduce上使用第三方的Python库
发布网友
发布时间：2022-04-30 15:26
共2个回答
热心网友
时间：2022-04-18 05:47
virtualenv的使用
安装
pip install virtualenv
新建虚拟环境
virtualenv myvp
使得虚拟环境的路径为相对路径
virtualenv --relocatable myvp
激活虚拟环境
source myvp/bin/activate
如果想退出，可以使用下面的命令
deactivate
激活后直接安装各种需要的包
pip install XXX
压缩环境包
tar -czf myvp.tar.gz myvp
在maprece上使用
在上面的脚本中可以看到使用了-catchArchive，但是路径是HDFS的路径，因此需要提前将本地的myvp.tai.gz包上传到HDFS上。
同时#后面的myvp是文件的文件夹，解压后还有一个myvp(因为压缩的时候把文件夹本身也压缩进去了),所有map中使用的时候的路径就是myvp/myvp/bin/…
在map的python脚本中加入如下的代码，会把第三方库加入到python 路径
import sys
sys.path.append("myvp/myvp/lib/python2.7")
这样就能使用到了这个文件夹底下的包，而不需要再map中使用source命令激活
热心网友
时间：2022-04-18 07:05
streaming简单介绍
streaming就是将一些非java例如Python的文件放到maprece上执行，虽然效率可能不如原生的Java好，但是可以放心的写python脚本处理文件，而maprece只是一个辅助的工具,具体的使用可以参照官方文档
$HADOOP_HOME/bin/hadoop streaming -D mapred.job.priority='VERY_HIGH' -D mared.job.map.capacity=500
-D mapred.rece.tasks=0 -D mapred.map.tasks=500
-input myInputDirs(你得HDFS路径)
-output myOutputDir(你的HDFS路径)
-mapper "python yourpythonfile.py"
-recer "python yourpythonfile.py"
-file yourpythonfile.py(需要几个就添加几个-file)
-cacheArchive "/xx/xx/xx/myvp.tar.gz#myvp"(此处是一个HDFS路径，稍后用到)
123456789
使用第三方库
需要使用第三方库如bs4,numpy等时，需要用到虚拟环境virtualenv
virtualenv的使用
安装
pip install virtualenv1
新建虚拟环境
virtualenv myvp1
使得虚拟环境的路径为相对路径
virtualenv --relocatable myvp1
激活虚拟环境
source myvp/bin/activate1
如果想退出，可以使用下面的命令
deactivate1
激活后直接安装各种需要的包
pip install XXX1
压缩环境包
tar -czf myvp.tar.gz myvp1
在maprece上使用
在上面的脚本中可以看到使用了-catchArchive，但是路径是HDFS的路径，因此需要提前将本地的myvp.tai.gz包上传到HDFS上。
同时#后面的myvp是文件的文件夹，解压后还有一个myvp(因为压缩的时候把文件夹本身也压缩进去了),所有map中使用的时候的路径就是myvp/myvp/bin/…
在map的python脚本中加入如下的代码，会把第三方库加入到python 路径
import sys
sys.path.append("myvp/myvp/lib/python2.7")12
这样就能使用到了这个文件夹底下的包，而不需要再map中使用source命令激活
