在python Scrapy中执行SplashRequest时添加等待元素

小编典典

在python Scrapy中执行SplashRequest时添加等待元素

scrapy

我试图在python中使用Splash for Scrapy抓取一些动态网站。但是，在某些情况下，我发现Splash无法等待整个页面加载。解决此问题的蛮力方法是增加wait时间（例如，下面的代码段中为5秒）。但是，这种方法效率极低，并且仍然无法加载某些数据（有时需要花费5秒钟以上的时间才能加载内容）。这些请求中是否存在某种等待元素的条件？

yield SplashRequest(
          url, 
          self.parse, 
          args={'wait': 5},
          'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36",
          }
)

阅读 1175

2020-04-09

共1个答案

小编典典

是的，你可以编写一个Lua脚本来做到这一点。像这样：

function main(splash)
  splash:set_user_agent(splash.args.ua)
  assert(splash:go(splash.args.url))

  -- requires Splash 2.3  
  while not splash:select('.my-element') do
    splash:wait(0.1)
  end
  return {html=splash:html()}
end

在Splash 2.3之前，你可以使用splash:evaljs('!document.querySelector(".my-element")')代替not splash:select('.my-element')。

将此脚本保存到变量（lua_script = """ ... """）。然后，你可以发送如下请求：

yield SplashRequest(
    url, 
    self.parse, 
    endpoint='execute',
    args={
        'lua_source': lua_script,
        'ua': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36"
    }
}

2020-04-09