我需要递归地读取目录结构,但是一旦我读完每个目录的所有条目,还需要执行其他步骤。因此,我需要编写自己的递归逻辑(并且不能使用简单的filepath.Walk例程)。但是,ioutil.ReadDir和filepath.Glob例程仅返回切片。如果我要限制 ext4 或 xfs 的限制,并建立一个目录,文件的数量达到数十亿怎么办?我希望 golang 具有os.FileInfo在通道而不是排序的切片上返回未排序的一系列(甚至更好的是原始字符串)的函数。在这种情况下,我们如何有效地读取文件条目?
filepath.Walk
ioutil.ReadDir
filepath.Glob
os.FileInfo
上面引用的所有函数似乎都依赖readdirnames于 os / dir_unix.go ,并且由于某种原因,它仅在看起来很容易产生 gothread 并将值推入通道的情况下才创建数组。。这样做可能有合理的逻辑,但目前尚不清楚。我是Go的新手,所以我也很容易错过其他人显而易见的一些原则。
readdirnames
这是源代码,为方便起见:
func (f *File) readdirnames(n int) (names []string, err error) { // If this file has no dirinfo, create one. if f.dirinfo == nil { f.dirinfo = new(dirInfo) // The buffer must be at least a block long. f.dirinfo.buf = make([]byte, blockSize) } d := f.dirinfo size := n if size <= 0 { size = 100 n = -1 } names = make([]string, 0, size) // Empty with room to grow. for n != 0 { // Refill the buffer if necessary if d.bufp >= d.nbuf { d.bufp = 0 var errno error d.nbuf, errno = fixCount(syscall.ReadDirent(f.fd, d.buf)) if errno != nil { return names, NewSyscallError("readdirent", errno) } if d.nbuf <= 0 { break // EOF } } // Drain the buffer var nb, nc int nb, nc, names = syscall.ParseDirent(d.buf[d.bufp:d.nbuf], n, names) d.bufp += nb n -= nc } if n >= 0 && len(names) == 0 { return names, io.EOF } return names, nil }
ioutil.ReadDir和filepath.Glob周围阅读目录条目只是方便的功能。
如果提供的参数> 0 ,则可以直接使用Readdiror Readdirnames方法批量读取目录条目n。
Readdir
Readdirnames
n
对于像读取目录条目这样的基本操作,无需增加goroutine和通道的开销,也无需提供返回错误的替代方法。如果愿意,您始终可以使用自己的goroutine和通道模式包装批处理的调用。