Jedi-Crawler - Node/PhantomJS爬虫


MIT
跨平台
JavaScript

软件简介

Jedi-Crawler 是一款轻量级 Node/PhantomJS爬虫,可以动态的抓取网页内容。

安装:

npm install jedi-crawler

示例代码:

var jedi = require('./modules/jedi.js'),
fs = require('fs');


/// REGISTER ALL THE PADAWANS

var PADAWANS_DIR = "./padawans/";

fs.readdirSync(PADAWANS_DIR).forEach(function(padawan){
  require(PADAWANS_DIR + padawan)(jedi);
});

jedi.crawl('http://en.wikipedia.org/wiki/Montpellier,_France', function(err, data){
  console.log(data);
});