goodcrawler - 网络爬虫


Apache
跨平台
Java

软件简介

goodcrawler(GC) 网络爬虫

GC是一个垂直领域的爬虫,同时也是一个拆箱即用的搜索引擎。

GC基于httpclient、htmlunit、jsoup、elasticsearch。

GC的特点:

1、具有DSL特性的模板。

2、分布式、可扩展。

3、辛亏有htmlunit,它能较好地支持javascript。

5、合理的插件设计,方便功能扩充。

6、天然继承es,本身即是一个完整的搜索引擎。

下载独立运行版