我通常使用大约20 Gb大小的文本文件,并且发现自己经常对给定文件中的行数进行计数。
我现在做的只是cat fname | wc -l,而且需要很长时间。有什么解决方案会更快吗?
cat fname | wc -l
我在安装了Hadoop的高性能集群中工作。我想知道地图缩小方法是否可以提供帮助。
我希望解决方案像解决方案一样简单,只需一条生产线wc -l,但不确定其可行性。
wc -l
有任何想法吗?
尝试: sed -n '$=' filename
sed -n '$=' filename
猫也是不必要的:wc -l filename用您现在的方式就足够了。
wc -l filename