Hawk_Crawler - 数据采集和清洗工具


GPL
跨平台
C#

软件简介

HAWK是一种数据采集和清洗工具,依据GPL协议开源,能够灵活,有效地采集来自网页,数据库,文件, 并通过可视化地拖拽,
快速地进行生成,过滤,转换等操作。其功能最适合的领域,是爬虫和数据清洗。

Hawk的含义为“鹰”,能够高效,准确地捕杀猎物。

HAWK使用C# 编写,其前端界面使用WPF开发,支持插件扩展。通过图形化操作,能够快速建立解决方案。

GitHub地址:https://github.com/ferventdesert/Hawk

其Python等价的实现是etlpy:http://www.cnblogs.com/buptzym/p/5320552.html

笔者专门为其开发的工程文件已公开在GitHub:https://github.com/ferventdesert/Hawk-Projects

使用时,点击文件,加载工程即可加载。不想编译的话,可执行文件在:https://github.com/ferventdesert/Hawk/tree/master/Versions

编译路径在: Hawk.Core\Hawk.Core.sln

2.gif-3330.9kB

以获取大众点评的所有北京美食为例,使用本软件可在10分钟内完成配置,在1小时之内自动并行抓取全部内容,并能监视子线程工作情况。而手工编写代码,即使是使用python,一个熟练的程序员也可能需要一天以上:

1.gif-1001.8kB

视频演示,复杂度由小到大: