我正在使用Scrapy来爬行网页。当您单击某个按钮时，仅弹出一些我需要的信息（当然，单击后也会显示在HTML代码中）。
我发现Scrapy可以处理的形式（如登录）如图所示这里。但是问题是没有表格可以填写，所以这不是我所需要的。
如何简单地单击一个按钮，然后显示我需要的信息？
我是否必须使用诸如机械化或lxml之类的外部库？
Scrapy无法解释javascript。
如果您绝对必须与页面上的javascript交互，则要使用Selenium。
如果使用Scrapy，问题的解决方案取决于按钮的作用。
如果只是显示以前隐藏的内容，则可以毫无问题地抓取数据，也不会出现在浏览器中，HTML仍然存在。
如果在按下按钮时通过AJAX动态获取内容，那么最好的办法是使用Firebug等工具查看按下按钮时发出的HTTP请求。然后，您可以直接从该URL请求数据。
如果您想解释javascript，是的，您需要使用其他库，尽管这两者都不适合。他们俩都不了解javascript。硒是要走的路。
如果您可以提供要抓取的页面的URL，我可以看一下。
