小编典典

如何使用PySpark加载IPython Shell

python

我想加载IPython外壳(不是IPython笔记本),可以在其中通过命令行使用PySpark。那可能吗?我已经安装了Spark 1.4.1。


阅读 252

收藏
2021-01-20

共1个答案

小编典典

如果使用Spark <1.2,则可以简单地bin/pyspark使用环境变量执行IPYTHON=1

IPYTHON=1 /path/to/bin/pyspark

要么

export IPYTHON=1
/path/to/bin/pyspark

尽管以上内容仍可在Spark 1.2及以上版本上正常使用,但建议为这些版本设置Python环境的方法是 PYSPARK_DRIVER_PYTHON

PYSPARK_DRIVER_PYTHON=ipython /path/to/bin/pyspark

要么

export PYSPARK_DRIVER_PYTHON=ipython
/path/to/bin/pyspark

您可以替换ipython为您选择的解释器的路径。

2021-01-20