Jedi-Crawler 是一款轻量级 Node/PhantomJS爬虫,可以动态的抓取网页内容。
安装:
npm install jedi-crawler
示例代码:
var jedi = require('./modules/jedi.js'), fs = require('fs'); /// REGISTER ALL THE PADAWANS var PADAWANS_DIR = "./padawans/"; fs.readdirSync(PADAWANS_DIR).forEach(function(padawan){ require(PADAWANS_DIR + padawan)(jedi); }); jedi.crawl('http://en.wikipedia.org/wiki/Montpellier,_France', function(err, data){ console.log(data); });