您可以使用Selenium或Watir来驱动真正的浏览器。

还有一些基于JavaScript的无头浏览器：

• PhantomJS是一款无头Webkit浏览器。
• pjscrape是基于PhantomJS和jQuery的抓取框架。
• CasperJS是基于PhantomJS的导航脚本和测试实用程序，如果您需要做的只是指向要抓取的URL。
• Zombie for Node.js
  我个人最熟悉Selenium，它支持以多种语言编写自动化脚本，并且具有更成熟的工具，例如用于Firefox 的出色的Selenium IDE扩展，可用于编写和运行测试用例，以及可以将测试脚本导出为多种语言。