将Dataframe保存到csv直接保存到s3 Python

小编典典

将Dataframe保存到csv直接保存到s3 Python

python

我有一个熊猫DataFrame，我想上传到新的CSV文件。问题是在将文件传输到s3之前，我不想在本地保存文件。是否有像to_csv这样的方法可以将数据帧直接写入s3？我正在使用boto3。
这是我到目前为止的内容：

import boto3
s3 = boto3.client('s3', aws_access_key_id='key', aws_secret_access_key='secret_key')
read_file = s3.get_object(Bucket, Key)
df = pd.read_csv(read_file['Body'])

# Make alterations to DataFrame

# Then export DataFrame to CSV through direct transfer to s3

阅读 219

2020-12-20

共1个答案

小编典典

您可以使用：

from io import StringIO # python3; python2: BytesIO 
import boto3

bucket = 'my_bucket_name' # already created on S3
csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, 'df.csv').put(Body=csv_buffer.getvalue())

2020-12-20