如何将PySpark中的表数据框导出到CSV？

小编典典

python

我正在使用Spark
1.3.1（PySpark），并且已经使用SQL查询生成了一个表。我现在有一个对象是DataFrame。我想将此DataFrame对象（我称其为“表”）导出到一个csv文件，以便我可以操纵它并绘制列。如何将DataFrame“表格”导出到csv文件？

谢谢！

阅读 183

2020-12-20

共1个答案

小编典典

如果数据帧适合驱动程序内存，并且您想保存到本地文件系统，则可以使用方法将Spark
DataFrame转换为本地Pandas
DataFrame toPandas，然后简单地使用to_csv：

df.toPandas().to_csv('mycsv.csv')

否则，您可以使用spark-csv：

火花1.3

df.save('mycsv.csv', 'com.databricks.spark.csv')

火花1.4+

df.write.format('com.databricks.spark.csv').save('mycsv.csv')

在Spark 2.0+中，您可以csv直接使用数据源：

df.write.csv('mycsv.csv')

2020-12-20