Cascading是一个新式的针对Hadoop clusters的数据处理API,它使用富于表现力的API来构建复杂的处理工作流,而不是直接实现Hadoop MapReduce的算法。
PyCascading 是Cascading 的 Python 打包器(wrapper)。可使用它控制来自 Python 上完整的数据处理流程。
管道是由 Python Operators 模块建造的
用户定义的功能都写在 Python 上
能够传递任意上下文到用户定义的功能上
临时结果的缓存会导致管道更快的重播(faster replay)
使用 Jython 2.5.2 将有利于 Java 和 Python库的集成
PyCascading 能够用于两种模式中:在本地的 Hadoop 或 远程 Hadoop 部署。
使用 PyCascading 所需要的环境是:
Cascading 1.2.* or 2.0.0
Jython 2.5.2+
Hadoop 0.20.2+, the version preferably matching the Hadoop runtime
Java 编译器
Ant
运行条件:
Hadoop 在目标服务器上安装和设置
SSH 访问远程服务器
如果在本地测试,则需要合理的调用 JVM