如何从S3存储桶中读取内容作为URL

小编典典

如何从S3存储桶中读取内容作为URL

python

我在下面有s3存储桶网址

s3_filename是 s3://xx/xx/y/z/ion.csv

如果它是存储桶，我可以阅读以下代码

def read_s3(bucket, key):
        s3 = boto3.client('s3')
        obj = s3.get_object(Bucket=bucket, Key=key)
        df = pd.read_csv(obj['Body'])
        return df

阅读 203

2021-01-20

共1个答案

小编典典

由于您似乎正在使用熊猫，因此请注意，它实际上是s3fs在盖子下使用的。因此，如果您的安装相对较新且标准，则可以直接执行以下操作：

df = pd.read_csv(s3_path)

如果您的存储桶有一些特定的配置，例如特殊凭证，KMS加密等，则可以使用显式配置的s3fs文件系统，例如：

fs = s3fs.S3FileSystem(
    key=my_aws_access_key_id,
    secret=my_aws_secret_access_key,
    s3_additional_kwargs={
            'ServerSideEncryption': 'aws:kms',
            'SSEKMSKeyId': my_kms_key,
    },
)
# note: KMS encryption only used when writing; when reading, it is automatic if you have access

with fs.open(s3_path, 'r') as f:
    df = pd.read_csv(f)

# here we write the same df at a different location, making sure
# it is using my_kms_key:
with fs.open(out_s3_path, 'w') as f:
    df.to_csv(f)

就是说，如果您真的很想处理对象，而问题只是关于如何删除潜在的s3://前缀然后进行拆分bucket/key，则可以使用：

bucket, key = re.sub(r'^s3://', '', s3_path).split('/', 1)

但是，这可能会错过更一般的情况，并通过系统处理公约，如awscli或非常s3fs上面提到的。

为了更笼统，您可以在中了解他们的操作方式awscli。通常，这样做通常可以很好地表明某些功能是否已经内置boto3或botocore。但是，在这种情况下，它似乎没有（查看本地发行版本1.18.126）。他们只是从第一条原则开始这样做：请参见此处awscli.customizations.s3.utils.split_s3_bucket_key实现的内容。

从该代码中最终使用的正则表达式，您可以推断出这种情况所awscli允许的情况s3_path确实多种多样：

_S3_ACCESSPOINT_TO_BUCKET_KEY_REGEX = re.compile(
    r'^(?P<bucket>arn:(aws).*:s3:[a-z\-0-9]+:[0-9]{12}:accesspoint[:/][^/]+)/?'
    r'(?P<key>.*)$'
)

2021-01-20