我有以下代码,用于使用JSoup在Java中解析HTML。
Document linksDoc = null; linksDoc = Jsoup.connect("http://www.google.com/search?q=jbutton").userAgent("Mozilla").get(); Elements titles = linksDoc.select("h3.r > a"); for(Element e: titles){ System.out.println("text"+cnt+": " +e.attr("href")); }
问题是我只能检索首页搜索结果链接。我应该怎么做才能从Google搜索结果的其余页面获得链接。
&start=10如果要从第二页获得结果,请添加到URL。对于第三页使用&start=20,依此类推。
&start=10
&start=20
Document linksDoc = Jsoup.connect("http://www.google.com/search?q=jbutton&start=10") .userAgent("Mozilla").get(); //...