spark-yarn集群python异常

3,234次阅读

共计 140 个字符，预计需要花费 1 分钟才能阅读完成。

今天在spark yarn集群上面跑代码发现出现import numpy error ，提示没有相应的模块，其实在当前节点上是已经安装好了python开发环境，后面查找了下原因，在其他节点上没有相应的环境配置，需要admin去修改环境配置以及环境变量的设置，确保所有的节点都是一样的环境。