我正在编写一个简单的部署工具,该工具需要从s3中获取tar文件,然后将其解压缩,然后将其上传到我们的登台服务器。我想这样做而不将文件存储在本地,而是将它们保存在内存中。
这是我的代码,用于从s3下载文件
func s3downloadFile(downloader *s3manager.Downloader, item string) { localitem := strings.Replace(item, s3base, "", -1) os.MkdirAll(path.Dir(localitem), os.ModePerm) file, err := os.Create(localitem) if err != nil { exitErrorf("Unable to open file %q, %v", err) } defer file.Close() numBytes, err := downloader.Download(file, &s3.GetObjectInput{ Bucket: aws.String(s3bucket), Key: aws.String(item), }) if err != nil { exitErrorf("Unable to download item %q, %v", item, err) } fmt.Println("Downloaded", file.Name(), numBytes, "bytes") }
我想避免在此示例中创建目录和文件,而只是将所有内容保留在内存中。我省去了从代码中提取文件的步骤。下一步将使用go- scp上传文件,如下所示:
// Finaly, copy the file over // Usage: CopyFile(fileReader, remotePath, permission) client.CopyFile(f, "/path/to/remote/file", "0655")
然后,我的问题将集中在file, err := os.Create(localitem)这段代码的一部分上,即我如何将FileReader保留在内存中,而不是在本地存储文件。
file, err := os.Create(localitem)
在文档中Download提到:
Download
可以通过os.File满足w io.WriterAt的要求,以进行多部分并发下载,或者使用aws.WriteAtBuffer在内存[] byte包装器中。
因此,请使用aws.WriteAtBuffer而不是*os.File:
aws.WriteAtBuffer
*os.File
buf := new(aws.WriteAtBuffer) numBytes, err := downloader.Download(buf, &s3.GetObjectInput{ Bucket: aws.String(s3bucket), Key: aws.String(item), }) tr := tar.NewReader(bytes.NewReader(buf.Bytes())) // ...