一个封装了Hadoop Client的简单、方便的API,已经在生产环境中经受日千万级别次IO操作的检验。
支持以下功能:
1)自定义HDFS目录前缀
2)支持时间目录格式
3)支持按文件固定大小切分
4)支持一段时间内无IO操作文件自动关闭
5)支持中文
6)支持namenode自动探测实现failover.
7)API本身是线程安全的.
8)API的参数发生变化对用户使用是透明的,框架内部透明处理, [线程,参数]组合对应着一个文件。
HDFS的原理图: