问题描述
想在集群中使用第三方库,不知道怎么上传相关的依赖关系。
参考办法
开始找到相关解决方法主要有两种:
- 一是通过virtualenv为每个程序创建互不干扰的虚拟环境来运行;
- 二是通过anaconda进行安装包和环境的管理。
相关教程:
后来参考了Yarn的Pypark如何与Redis交互。
实际操作
情况介绍:服务器A中安装了需要依赖的package,服务器B中有相关代码,且通过
尝试指定了dict路径后依然出错,后来将代码放到了服务器A上就可以正常运行了,貌似PYSPARK_PYTHON就解决了问题?用zip的方式jieba需要pkg_resources来解决上述出现的那个错误~但服务器B上也没有pkg_resources
就酱。。。